大数据之排序问题求解

一个4T的存放url的文件，机器内存4G，怎么对url按字典序排序
全部评论
4T = 4 * 1024G 计算url的hash值，然后将hash值对1024取模，也就是把4T的文件划分为1024个大小为1g左右的文件。 内存有4g，所有可以对1g的小文件全部放入内存进行排序，待1024个文件都排完序之后，多路归并。
点赞 回复 分享
发布于 2017-09-19 17:22
基数排序？
点赞 回复 分享
发布于 2017-09-19 16:40
归并排序
点赞 回复 分享
发布于 2017-09-19 17:15

相关推荐

11-24 11:10
江南大学 交互设计师
点赞 评论 收藏
分享
11-08 15:25
已编辑
武汉大学 Java
点赞 评论 收藏
分享
头像
10-30 18:40
上海理工大学 Java
抖音电商面经
抖音电商一面1.自我介绍2.实习拷打3.主要用的编程语言是什么4.java有用过那些数据结构（应该是想问用过那些集合）5.arraylist和linkedlist怎么选择？6.arraylist添加元素的底层机制7.arraylist扩容会创建新数组吗8.arraylist可以直接扩容旧数组不创建新数组吗9.如果数据量很大的话，怎么提升扩容的性能？10.arraycopy的底层实现？11.arraycopy可以一次拷贝完吗？12.如果想提高arraylist的拷贝性能还有什么更高效的方法吗？13.并行复制不会出现数据一致性的问题吗？14.arraylist怎么修改可以在扩容时仍能正常给用户提供服务？15.它的get put delete都会涉及那些操作？16.怎么确保在put的时候一定能拿到新元素，同时又保证性能？17.数据量很大，写时复制怎么保证扩容的时候一定能获取到元素呢？18.redis的llen操作的时间复杂度是多少？为什么？19.维护列表长度值会有什么影响呢20.innodb有哪些索引类型21.主键索引、普通索引、唯一索引的区别？22.主键索引、普通索引、唯一索引的存储结构的区别？23.普通索引为什么这么设计存储结构呢？24.算法题：重排链表25.反问 #字节一面#
查看25道真题和解析
点赞 评论 收藏
分享
11-08 19:27
已编辑
第一拖拉机制造厂拖拉机学院 Java
点赞 评论 收藏
分享
11-14 19:50
腾讯_IEG_后台开发(实习员工)
点赞 评论 收藏
分享
点赞 8 评论
分享

全站热榜

正在热议
# 25届秋招总结 #
303529次浏览 2693人参与
# 如果不工作真的会快乐吗 #
59487次浏览 519人参与
# 百度开奖 #
164029次浏览 982人参与
# 地方国企笔面经互助 #
3897次浏览 11人参与
# 美团求职进展汇总 #
1328367次浏览 12453人参与
# 选完offer后，你后悔学本专业吗 #
20199次浏览 144人参与
# 阿里云管培生offer #
17884次浏览 297人参与
# 正在实习的你，几点下班 #
52138次浏览 391人参与
# 国央企薪资爆料 #
8696次浏览 69人参与
# 如何一边实习一边秋招 #
992681次浏览 12640人参与
# 提前批简历挂麻了怎么办 #
146599次浏览 1948人参与
# 学历or实习经历，哪个更重要 #
51328次浏览 402人参与
# 海康威视求职进展汇总 #
399131次浏览 3406人参与
# 米哈游求职进展汇总 #
176183次浏览 1458人参与
# 求职遇到的搞笑事件 #
70915次浏览 577人参与
# 投递实习岗位前的准备 #
1179892次浏览 18398人参与
# 面试体验感最好的是哪家？ #
85183次浏览 846人参与
# 实习生应该准时下班吗 #
167508次浏览 1159人参与
# 得物求职进展汇总 #
66416次浏览 682人参与
# 网申一定要掌握的小技巧 #
5358次浏览 53人参与
# 招聘要求与实际实习内容不符怎么办 #
10322次浏览 273人参与
# 0offer是寒冬太冷还是我太菜 #
899125次浏览 8015人参与
牛客网
牛客企业服务