数学应用-布隆过滤器（Bloom Filter）

发表者：Google（谷歌）研究员 吴军

在 日常生活中，包括在设计计算机软件时，我们经常要判断一个元素是否在一 个集合中。比如在字处理软件中，需要检查一个英语单词是否拼写正确（也就是 要判断它 是否在已知的字典中）；在 FBI，一个嫌疑人的名字是否已经在嫌疑 名单上；在网络爬虫里，一个网址是否被访问过等等。最直接的方法就是将集合 中全部的元素存在计算机中，遇到一个新 元素时，将它和集合中的元素直接比 较即可。一般来讲，计算机中的集合是用哈希表（hash table）来存储的。它的 好处是快速准确，缺点是费存储空间。当集合比较小时，这个问题不显著，但是 当集合巨大时，哈希表存储效率低的问题就显现出来 了。比如说，一个象 Yahoo,Hotmail 和 Gmai 那样的公众电子邮件（email）提供商，总是需要过滤 来自发送垃圾邮件的人（spamer）的垃圾邮件。一个办法就是记录下那些发垃圾 邮件的 email 地址。由于那些发送者不停地在注册新的地址，全世界少说也有 几十亿个发垃圾邮件的地址，将他们都存起来则需要大量的网络服务器。如果用 哈希表，每存储一亿 个 email 地址， 就需要 1.6GB 的内存（用哈希表实现的

具体办法是将每一个
email 地 址 对 应 成 一 个 八 字 节 的 信 息 指 纹

m/2006/08/ml ， 然后将这些信息指纹存入哈 希表，由于哈希表的存储效率一般只有 50%，因此一个 email 地址需要占用十 六个字节。一亿个地址大约要 1.6GB， 即十六亿字节的内存）。因此存贮几十 亿个邮件地址可能需要上百 GB 的内存。除非是超级计算机，一般服务器是无法 存储的。

今天，我们介绍一种称作布隆过滤器的数学工具，它只需要哈希表 1/8 到 1/4 的大小就能解决同样的问题。

布隆过滤器是由巴顿.布隆于一九七零年提出的。它实际上是一个很长的二进制 向量和一系列随机映射函数。我们通过上面的例子来说明起工作原理。

假 定我们存储一亿个电子邮件地址，我们先建立一个十六亿二进制（比特）， 即两亿字节的向量，然后将这十六亿个二进制全部设置为零。对于每一个电子邮 件地址 X，我们用八个不同的随机数产生器（F1,F2, …,F8） 产生八个信息指 纹（f1, f2, …, f8）。再用一个随机数产生器 G 把这八个信息指纹映射到 1 到十六亿中的八个自然数 g1, g2, …,g8。现在我们把这八个位置的二进制全 部设置为一。当我们对这一亿个 email 地址都进行这样的处理后。一个针对这 些 email 地址的布隆过滤器就建成了。（见下图）

现 在，让我们看看如何用布隆过滤器来检测一个可疑的电子邮件地址 Y 是否在 黑名单中。我们用相同的八个随机数产生器（F1, F2, …, F8）对这个地址产 生八个信息指纹 s1,s2,…,s8，然后将这八个指纹对应到布隆过滤器的八个二 进制位，分别是 t1,t2,…,t8。如果 Y 在黑名单中，显然，t1,t2,..,t8 对应 的八个二进制一定是一。这样在遇到任何在黑名单中的电子邮件地址，我们都能 准确地发现。

布隆过滤器决不会漏掉任何一个在黑名单中的可 疑地址。但是，它有一条不足 之处。也就是它有极小的可能将一个不在黑名单中的电子邮件地址判定为在黑名 单中，因为有可能某个好的邮件地址正巧对应个八个都 被设置成一的二进制位。 好在这种可能性很小。我们把它称为误识概率。在上面的例子中，误识概率在万 分之一以下。

布隆过滤器的好处在于快速，省空间。但是有一定的误识别率。常见的补救办法 是在建立一个小的白名单，存储那些可能别误判的邮件地址。

声明: 除非转自他站（如有侵权，请联系处理）外，本文采用 BY-NC-SA 协议进行授权 | 智乐兔
转载请注明：转自《数学应用-布隆过滤器（Bloom Filter）》
本文地址：https://www.zhiletu.com/archives-2815.html
关注公众号：