失眠网 > guava 缓存查询_阿里Java二面难点：Redis缓存穿透击穿缓存雪崩方案

guava 缓存查询_阿里Java二面难点：Redis缓存穿透击穿缓存雪崩方案

时间：2020-01-04 08:29:45

一、缓存穿透

1. 什么是缓存穿透？

为了缓解持久层数据库的压力，在服务器和存储层之间添加了一层缓存；

一个简单的正常请求：当客户端发起请求时，服务器响应处理，会先从redis缓存层查询客户端需要的请求数据，如果缓存层有缓存的数据，会将数据返回给服务器，服务器再返回给客户端；如果缓存层中没有客户端需要的数据，则会去底层存储层查找，再返回给服务器；

缓存穿透就是：当客户端想要查询一个数据，发现redis缓存层中没有(即缓存没有命中)，于是向持久层数据库查询，发现也没有，于是本次查询失败；当用户很多的时候，缓存都没有命中，于是都去请求了持久层数据库，此时会给持久层数据库造成很大的压力，这时候就相当于出现了缓存穿透。

2. 解决办法

在缓存层加布隆过滤器，通俗简述一下其作用：将数据库中的 id ，通过某方式映射到布隆过滤器，当处理不存在的 id 时，布隆过滤器会将该请求过直接过滤出去，不会到数据库做操作。

3. 布隆过滤器

1)概述：布隆过滤器是一种数据结构，比较巧妙的概率型数据结构，实际上是一个很长的二进制向量和一系列随机映射函数，特点是高效地插入和查询，可以用来告诉你 “某样东西一定不存在或者可能存在”，相比于传统的 List、Set、Map 等数据结构，它更高效、占用空间更少，但是缺点是其返回的结果是概率性的，而不是确切的。

2)返回结果的不确切性：布隆过滤器是一个 bit 向量或者说 bit 数组：假设有8位

映射数据1：使用多个不同的哈希函数生成多个哈希值，并对每个生成的哈希值指向的 bit 位置为 1，比如三次hash完后，data1 将1、3、6位，置为1；

映射数据2：data2 将2、3、6位，置为1，此时由于hash为随机性，所以6位和 data1 有重复的，便会覆盖 data1 的第6位的1；

问题来了！！

6 这个 bit 位由于两个值的哈希函数都返回了这个 bit 位，因此它被覆盖了，当我们如果想查询 data3这个值是否存在，假设哈希函数返回了 1、5、6三个值，结果我们发现 5 这个 bit 位上的值为 0，说明没有任何一个值映射到这个 bit 位上，因此我们可以很确定地说 data3 这个值不存在。而当我们需要查询 data1 这个值是否存在的话，那么哈希函数必然会返回 1、3、6，然后我们检查发现这三个 bit 位上的值均为 1，那么我们是否可以说 data1 存在了么？答案是不可以，只能是 data1 这个值可能存在！因为随着增加的值越来越多，被置为 1 的 bit 位也会越来越多，这样某个值 data4 即使没有被存储过，但是万一哈希函数返回的三个 bit 位都被其他位置位了 1 ，那么程序还是会判断 data4 这个值存在。

所以：布隆过滤器的长度会直接影响误报率，布隆过滤器越长且误报率越小。

3)简单剖析布隆过滤器源码

导入guava的包：

com.google.guavaguava23.0

源码：BloomFilter一共四个create方法，最终都是走向第四个方法；

public static BloomFilter create(Funnel super T> funnel, int expectedInsertions) { return create(funnel, (long) expectedInsertions); }public static BloomFilter create(Funnel super T> funnel, long expectedInsertions) { return create(funnel, expectedInsertions, 0.03); // FYI, for 3%, we always get 5 hash functions } public static BloomFilter create(Funnel super T> funnel, long expectedInsertions, double fpp) { return create(funnel, expectedInsertions, fpp, BloomFilterStrategies.MURMUR128_MITZ_64); } static BloomFilter create(Funnel super T> funnel, long expectedInsertions, double fpp, Strategy strategy) {...... }

参数类型：funnel：数据类型；expectedInsertions：期望插入的值的个数；fpp：错误率(默认值为0.03)；strategy：哈希算法。

总结：错误率越大，所需空间和时间越小；反之错误率越小，所需空间和时间越大！