如何快速的找出重复的数据

现在数据库中有2亿条数据，很多都是重复的，大概真正去重后也就2000多条左右，该怎么快速找出这2000多条数据？
全部评论
hash
点赞 回复 分享
发布于 2017-08-23 20:02
select distinct一下？
点赞 回复 分享
发布于 2017-08-23 20:08
mark。。这种海量数据的怎么搞。。
点赞 回复 分享
发布于 2017-08-23 20:17
布隆过滤器？
点赞 回复 分享
发布于 2017-08-23 20:24
先hash分成很多小文件，然后，分布式进行，hash判断，不知道对不
点赞 回复 分享
发布于 2017-08-23 21:00
如果有这样的情况，不是说明数据库的设计有点问题吗。。。
点赞 回复 分享
发布于 2017-08-23 21:38
总共也就2000多条不同的数据，直接hash不就好了
点赞 回复 分享
发布于 2017-08-23 21:42
为什么数据库会有那么多重复啊，你应该先问面试官让他说说具体情境吧
点赞 回复 分享
发布于 2017-08-24 00:33

相关推荐

09-29 00:03
四川大学 Java
点赞 评论 收藏
分享
09-26 23:34
西安交通大学 供应链专员
点赞 评论 收藏
分享
09-26 14:03
南京邮电大学 测试工程师
点赞 评论 收藏
分享
09-25 20:59
门头沟学院 产品经理
点赞 评论 收藏
分享
09-28 22:00
武汉理工大学 测试工程师
点赞 评论 收藏
分享
点赞 收藏 评论
分享

全站热榜

正在热议
# 你的简历改到第几版了 #
595400次浏览 8872人参与
# 国庆前的秋招小结 #
23507次浏览 305人参与
# 广发卡校招来了 #
850次浏览 6人参与
# 国央企求职进展汇总 #
20407次浏览 87人参与
# 实习与准备秋招该如何平衡 #
569820次浏览 7148人参与
# 比亚迪求职进展汇总 #
372488次浏览 2082人参与
# 正浩创新校招 #
6791次浏览 81人参与
# 如何写一份好简历 #
532620次浏览 7808人参与
# 职场中对你有帮助的书 #
3855次浏览 42人参与
# 硬件人的简历怎么写 #
190103次浏览 2490人参与
# 我在牛爱网找对象 #
69861次浏览 511人参与
# 毕业季，你想好怎么跟生活对线了吗？ #
117283次浏览 2633人参与
# 找工作，你会甘心进小厂还是猛冲大厂 #
79076次浏览 692人参与
# 银行笔面经互助 #
9542次浏览 148人参与
# 在职场上，你最讨厌什么样的同事 #
3602次浏览 52人参与
# 你的国庆怎么过 #
11906次浏览 179人参与
# 同事是个抢功怪怎么办 #
16399次浏览 115人参与
# 牛友的志愿填报指南 #
15929次浏览 146人参与
# 投递实习岗位前的准备 #
1053168次浏览 16957人参与
# 秋招OC许愿 #
5656次浏览 203人参与
# 互联网公司评价 #
231573次浏览 2948人参与
# 0offer互助地 #
109910次浏览 1165人参与
牛客网
牛客企业服务