Shopee后端研发 开放式问答

问，十亿的数据量，每条数据4个字节，如何去重，或者统计每条数据出现的次数；
面试官开始没有说数据量，我回答是，在不考虑空间复杂度的情况下，用集合或哈希表；
面试官后来加入了数据量，和内存不够的条件，我没啥思路，乱答的前缀树做压缩；
这个有什么方法吗？
#shopee校招##Shopee##面试题目#
全部评论
如果只考虑去重、不考虑统计次数的话，可以用布隆过滤器。假设数据量 10^9，失误率 0.1，计算器敲除所需位数换算成内存大小是 571MB，感觉还是有点大。。。没有实操经验，不太懂
1 回复 分享
发布于 2021-07-15 19:49
位图
点赞 回复 分享
发布于 2021-07-12 14:16
hyperloglog
点赞 回复 分享
发布于 2021-07-12 14:51
布隆过滤器了解一下
点赞 回复 分享
发布于 2021-07-12 17:27
最小计数
点赞 回复 分享
发布于 2021-07-12 17:46
bitmap
点赞 回复 分享
发布于 2021-07-14 19:41
位图最简单
点赞 回复 分享
发布于 2021-07-15 20:04
布隆过滤器只能判断一个元素是否一定不存在，怎么统计个数?不懂你们这些说布隆过滤器的?
点赞 回复 分享
发布于 2021-07-18 01:11

相关推荐

11-23 12:02
西南大学 HTML5
点赞 评论 收藏
分享
11-28 17:48
中山大学 C++
点赞 评论 收藏
分享
11-01 08:48
门头沟学院 C++
释放两个offer
给大伙儿释放两个of #美团# #招银网络#
伤心的候选人在吵架：佬你不要的，能不能拿户口本证明过户给我。。球球了
点赞 评论 收藏
分享
11-25 16:10
山东大学 电气设计工程师
点赞 评论 收藏
分享
评论
点赞
29
分享

招聘动态

查看更多

阿里云管培生

2025届校园招聘

快手Star

2025届招聘

快手

销售类投递专区

富士通（西安）

2025校园招聘

全站热榜

正在热议
# 拼多多求职进展汇总 #
234873次浏览 2035人参与
# ai智能作图 #
23583次浏览 278人参与
# 北方华创开奖 #
66363次浏览 549人参与
# 25届秋招总结 #
401690次浏览 4023人参与
# 实习，投递多份简历没人回复怎么办 #
2437420次浏览 34716人参与
# 地方国企笔面经互助 #
6703次浏览 16人参与
# 阿里云管培生offer #
60418次浏览 1755人参与
# 机械求职避坑tips #
22790次浏览 243人参与
# 25届机械人为了秋招做了哪些准备？ #
25583次浏览 358人参与
# 我的实习求职记录 #
6125882次浏览 83982人参与
# 歌尔求职进展汇总 #
42827次浏览 294人参与
# 机械人怎么评价今年的华为 #
157390次浏览 1349人参与
# 如果再来一次，你还会选择这个工作吗？ #
112648次浏览 1124人参与
# 硬件兄弟们 甩出你的华为奖状 #
78203次浏览 626人参与
# 软件开发投递记录 #
1479741次浏览 23936人参与
# 经纬恒润求职进展汇总 #
99472次浏览 960人参与
# 联想求职进展汇总 #
202911次浏览 1816人参与
# 阿里求职进展汇总 #
72451次浏览 793人参与
# 如果可以，你希望哪个公司来捞你 #
32024次浏览 188人参与
# 许愿池 #
217624次浏览 2545人参与
# 如果你有一天可以担任公司的CEO，你会做哪三件事？ #
10128次浏览 217人参与
# 实习与准备秋招该如何平衡 #
723304次浏览 8553人参与
牛客网
牛客企业服务