拼多多数据分析二面

今天咱们来聊聊一道经典的面试题：假设有 40 亿个 QQ 号，但服务器只有 1G 内存，如何实现高效的去重操作？ 一、常规方法为什么不行？ 在日常开发中，我们经常会用到一些简单的去重方法，比如使用 HashSet 或 List.contains() 来判断重复。但如果数据量达到 40 亿，这些方法瞬间就会暴露出致命问题。 首先，我们来算一笔账。如果用 Java 的 int 类型存储 40 亿个 QQ 号，每个 int 占用 4 字节，那么总共需要的内存空间是： 40 亿 × 4 字节 = 160 亿字节 ≈ 14.9 GB 这已经远远超出了 1G 内存的限制。即使我们用更省空间的方式存储，...