如何快速的找出重复的数据

现在数据库中有2亿条数据，很多都是重复的，大概真正去重后也就2000多条左右，该怎么快速找出这2000多条数据？
全部评论
hash
点赞 回复 分享
发布于 2017-08-23 20:02
select distinct一下？
点赞 回复 分享
发布于 2017-08-23 20:08
mark。。这种海量数据的怎么搞。。
点赞 回复 分享
发布于 2017-08-23 20:17
布隆过滤器？
点赞 回复 分享
发布于 2017-08-23 20:24
先hash分成很多小文件，然后，分布式进行，hash判断，不知道对不
点赞 回复 分享
发布于 2017-08-23 21:00
如果有这样的情况，不是说明数据库的设计有点问题吗。。。
点赞 回复 分享
发布于 2017-08-23 21:38
总共也就2000多条不同的数据，直接hash不就好了
点赞 回复 分享
发布于 2017-08-23 21:42
为什么数据库会有那么多重复啊，你应该先问面试官让他说说具体情境吧
点赞 回复 分享
发布于 2017-08-24 00:33

相关推荐

11-13 23:47
传音控股_算法
传音内推
不知不觉已经十一月份了，秋招算真的进入中后期了，基本就是考选调，考体制内了，私企最后能投的一波就是十一月月上旬了，现在投着，大佬释放完了hc 大家机会还是有的 只不过很多同学可能已经被逼签。 因为秋招开的比较晚，咱们目前还在继续招人中大家可以继续投递 最近就收到了超级多的简历，有部分同学的简历还有很大的完善空间哦一般是HR和面试官看简历，而HR和面试官关注点不同。HR重点关注简历与岗位是否匹配，是否满足岗位描述（JD）的要求；在所有的简历当中是不是较为出众，值得发起面试；以上两点决定简历能够过HR筛选阶段； 面试官关注的是简历的内容和细节，而且会根据你的简历对你进行提问，你的简历实际上就是给面...
投递传音控股等公司10个岗位 >
点赞 评论 收藏
分享
昨天 21:33
Momenta_C++开发(实习员工)
点赞 评论 收藏
分享
10-21 23:48
蚌埠坦克学院
小米全剧终
时间太长太煎熬了
csgq：可能没hc了 昨天一面完秒挂
点赞 评论 收藏
分享
11-01 19:18
蚌埠坦克学院 智能驾驶系统工程师
不是哥们
这面试时间是认真的吗😰
Natrium_：这时间我以为飞机票
点赞 评论 收藏
分享
不愿透露姓名的神秘牛友
11-13 11:07
点赞 评论 收藏
分享
点赞 收藏 评论
分享

全站热榜

正在热议
# 晒一晒我的offer #
9656601次浏览 104570人参与
# 查收我的offer竞争力报告 #
2636次浏览 55人参与
# 百度开奖 #
74218次浏览 614人参与
# 签约/解约注意事项 #
330825次浏览 2029人参与
# 不给转正的实习，你还去吗 #
1506127次浏览 16856人参与
# 应届生被毁约被毁意向了怎么办 #
18361次浏览 191人参与
# 北方华创开奖 #
17631次浏览 198人参与
# 总结:哪家公司面试体验感最差 #
18070次浏览 72人参与
# 软件开发2024笔面经 #
2300795次浏览 48015人参与
# 大家都开始春招面试了吗 #
406182次浏览 5199人参与
# 我的工作日记 #
18733次浏览 253人参与
# 拼多多求职进展汇总 #
204773次浏览 1881人参与
# 秋招OC许愿 #
220278次浏览 1820人参与
# 正在实习的你，有转正机会吗？ #
302092次浏览 2585人参与
# 实习，投递多份简历没人回复怎么办 #
2369543次浏览 34024人参与
# 毕业后不工作的日子里我在做什么 #
117193次浏览 1104人参与
# 没有实习经历，还有机会进大厂吗 #
799258次浏览 13727人参与
# 你觉得实习只能是打杂吗？ #
65866次浏览 486人参与
# 来聊聊机械薪资天花板是哪家 #
61031次浏览 413人参与
# 牛友们，签完三方你在忙什么？ #
46478次浏览 497人参与
# 双非能在秋招上岸吗？ #
80050次浏览 681人参与
# 00后45度躺现状 #
16430次浏览 218人参与
牛客网
牛客企业服务