b站流量生态部

当数据量比较大时，使用常规的方式来判重就不行了。例如，使用 MySQL 数据库判重，或使用 List.contains() 或 Set.contains() 判重就不行了，因为数据量太大会导致内存放不下，或查询速度太慢等问题。 1.空间占用量预测 正常情况下，如果将 40 亿 QQ 号存储在 Java 中的 int 类型的话，一个 int 占 4 字节（byte）那么 40 亿占用空间大小为： 4000000000*4/1024/1024/1024=14.9 GB 1GB=1024MB，1MB=1024KB，1KB=1024B（byte） 所以，我们无法使用正常的手段进行 40 亿 QQ ...