使用Java手动实现布隆过滤器

使用Java手动实现布隆过滤器


(1)定义:布隆过滤器是一种来检索元素是否在给定大集合中的数据结构,这种数据结构优点是高效性能好,缺点是一定的错误识别率和删除难度。理论情况下,添加到集合中的元素越多,误报的可能性就越大。
(2)原理:布隆过滤器说某个元素存在,小概率会误判。布隆过滤器说某个元素不在,那么这个元素一定不在。
(3)使用场景:判断元素存在于一个非常庞大的数据集中、防止缓存穿透、垃圾邮箱过滤、黑名单、爬虫URL去重等。
以上描述源自 JavaGuide.
手动实现如下:
import java.util.BitSet;
import java.util.Objects;

/** * 手动实现一个布隆过滤器,我们需要: * 1. 一个大小合适的位数组保存数据 * 2. 几个不同的哈希函数 * 3. 添加元素到位数组(布隆过滤器)的方法实现 * 4. 判断给定元素是否存在于位数组(布隆过滤器)的方法实现 * * @author roger * @create 2021-06-28 15:12 */
public class MyBloomFilter {
   
    /* * 位数组的大小 * */
    public static final int DEFAULT_SIZE = 2 << 24;
    /* * 通过这个数组可以创建6个不同的哈希函数 * */
    public static final int[] SEEDS = new int[] {
   3, 13, 46, 71, 91, 134};
    /* * 位数组,数组中的元素只能是0或者1 * */
    private BitSet bits = new BitSet(DEFAULT_SIZE);
    /* * 存放包含hash函数的类的数组 * */
    private SimpleHash[] func = new SimpleHash[SEEDS.length];
    /* * 初始化多个包含hash函数的类的数组,每个类中的hash函数都不一样 * */
    public MyBloomFilter() {
   
        // 初始化多个不同的Hash函数
        for (int i = 0; i < SEEDS.length; i++) {
   
            func[i] = new SimpleHash(DEFAULT_SIZE, SEEDS[i]);
        }
    }
    /* * 添加元素到位数组 * */
    public void add(Object value) {
   
        for (SimpleHash f : func) {
   
            bits.set(f.hash(value), true);
        }
    }
    /* * 判断指定元素是否存在于为位数组 * */
    public boolean contains(Object value) {
   
        boolean ret = true;
        for (SimpleHash f : func) {
   
            ret = ret && bits.get(f.hash(value));
        }
        return ret;
    }

    /* * 静态内部类,用于hash操作!*/
    public static class SimpleHash {
   
        private int cap;
        private int seed;

        public SimpleHash(int cap, int seed) {
   
            this.cap = cap;
            this.seed = seed;
        }

        /* * 计算hash值 * */
        public int hash(Object value) {
   
            int h;
            return (value == null) ? 0 : Math.abs(seed * (cap - 1) & ((h = value.hashCode()) ^ (h >>> 16)));
        }
    }

    public static void main(String[] args) {
   
// String value1 = "https://javaguide.cn/";
// String value2 = "https://github.com/Snailclimb";
// MyBloomFilter filter = new MyBloomFilter();
// System.out.println(filter.contains(value1));
// System.out.println(filter.contains(value2));
// filter.add(value1);
// filter.add(value2);
// System.out.println(filter.contains(value1));
// System.out.println(filter.contains(value2));
        Integer value1 = 13423;
        Integer value2 = 13423;
        MyBloomFilter filter = new MyBloomFilter();
        System.out.println(filter.contains(value1));
        System.out.println(filter.contains(value2));
        filter.add(value1);
        filter.add(value2);
        System.out.println(filter.contains(value1));
        System.out.println(filter.contains(value2));

    }
}

全部评论

相关推荐

努力学习的小绵羊:我反倒觉得这种挺好的,给不到我想要的就别浪费大家时间了
点赞 评论 收藏
分享
评论
点赞
收藏
分享
牛客网
牛客企业服务