大数据之排序问题求解

一个4T的存放url的文件,机器内存4G,怎么对url按字典序排序
全部评论
4T = 4 * 1024G 计算url的hash值,然后将hash值对1024取模,也就是把4T的文件划分为1024个大小为1g左右的文件。 内存有4g,所有可以对1g的小文件全部放入内存进行排序,待1024个文件都排完序之后,多路归并。
点赞 回复 分享
发布于 2017-09-19 17:22
基数排序?
点赞 回复 分享
发布于 2017-09-19 16:40
归并排序
点赞 回复 分享
发布于 2017-09-19 17:15

相关推荐

2024-12-21 10:42
已编辑
江西软件职业技术大学 Java
新宿站不停:该提升学历就提升学历,菜了就多练。没事找牛马公司虐自己是吧? 谁没事说自己“经验少”,这不自己把自己塞剎鼻hr嘴里找🐴吗
点赞 评论 收藏
分享
神哥不得了:首先我就是在成都,成都的互联网格外的卷,如果是凭现在的简历的话很难找到大厂,建议再添加一个高质量的项目上去,另外专业技能的话最好是超过每一条的一半
点赞 评论 收藏
分享
评论
点赞
8
分享

创作者周榜

更多
牛客网
牛客企业服务