如何快速的找出重复的数据

现在数据库中有2亿条数据，很多都是重复的，大概真正去重后也就2000多条左右，该怎么快速找出这2000多条数据？
全部评论
hash
点赞 回复 分享
发布于 2017-08-23 20:02
select distinct一下？
点赞 回复 分享
发布于 2017-08-23 20:08
mark。。这种海量数据的怎么搞。。
点赞 回复 分享
发布于 2017-08-23 20:17
布隆过滤器？
点赞 回复 分享
发布于 2017-08-23 20:24
先hash分成很多小文件，然后，分布式进行，hash判断，不知道对不
点赞 回复 分享
发布于 2017-08-23 21:00
如果有这样的情况，不是说明数据库的设计有点问题吗。。。
点赞 回复 分享
发布于 2017-08-23 21:38
总共也就2000多条不同的数据，直接hash不就好了
点赞 回复 分享
发布于 2017-08-23 21:42
为什么数据库会有那么多重复啊，你应该先问面试官让他说说具体情境吧
点赞 回复 分享
发布于 2017-08-24 00:33

相关推荐

头像
昨天 16:15
已编辑
中南大学 Java
点赞 评论 收藏
分享
09-22 14:54
河南大学 Java
点赞 评论 收藏
分享
头像
09-29 16:18
门头沟学院 Java
点赞 评论 收藏
分享
11-15 15:00
湖南科技大学 系统策划
点赞 评论 收藏
分享
点赞 收藏 评论
分享

全站热榜

正在热议
# 晒一晒我的offer #
9654037次浏览 104551人参与
# 查收我的offer竞争力报告 #
1967次浏览 43人参与
# 百度开奖 #
72929次浏览 597人参与
# 签约/解约注意事项 #
329952次浏览 2023人参与
# 不给转正的实习，你还去吗 #
1505790次浏览 16848人参与
# 应届生被毁约被毁意向了怎么办 #
17705次浏览 183人参与
# 北方华创开奖 #
17357次浏览 193人参与
# 总结:哪家公司面试体验感最差 #
17605次浏览 67人参与
# 拼多多求职进展汇总 #
204414次浏览 1880人参与
# 我的工作日记 #
18585次浏览 252人参与
# 实习，投递多份简历没人回复怎么办 #
2368749次浏览 34001人参与
# 毕业后不工作的日子里我在做什么 #
117154次浏览 1104人参与
# 正在实习的你，有转正机会吗？ #
301134次浏览 2570人参与
# 没有实习经历，还有机会进大厂吗 #
799116次浏览 13724人参与
# 你觉得实习只能是打杂吗？ #
65744次浏览 486人参与
# 双非能在秋招上岸吗？ #
79565次浏览 677人参与
# 00后45度躺现状 #
16329次浏览 216人参与
# 简历被挂麻了，求建议 #
2457613次浏览 32872人参与
# 秋招OC许愿 #
220028次浏览 1818人参与
# 双非本科求职如何逆袭 #
623527次浏览 6832人参与
# 大家都开始春招面试了吗 #
405923次浏览 5195人参与
# 你觉得专业和学校哪个对薪资影响最大 #
25158次浏览 193人参与
牛客网
牛客企业服务