大数据之排序问题求解

一个4T的存放url的文件，机器内存4G，怎么对url按字典序排序
全部评论
4T = 4 * 1024G 计算url的hash值，然后将hash值对1024取模，也就是把4T的文件划分为1024个大小为1g左右的文件。 内存有4g，所有可以对1g的小文件全部放入内存进行排序，待1024个文件都排完序之后，多路归并。
点赞 回复 分享
发布于 2017-09-19 17:22
基数排序？
点赞 回复 分享
发布于 2017-09-19 16:40
归并排序
点赞 回复 分享
发布于 2017-09-19 17:15

相关推荐

11-24 11:10
江南大学 交互设计师
点赞 评论 收藏
分享
11-08 15:25
已编辑
武汉大学 Java
点赞 评论 收藏
分享
头像
10-30 18:40
上海理工大学 Java
抖音电商面经
抖音电商一面1.自我介绍2.实习拷打3.主要用的编程语言是什么4.java有用过那些数据结构（应该是想问用过那些集合）5.arraylist和linkedlist怎么选择？6.arraylist添加元素的底层机制7.arraylist扩容会创建新数组吗8.arraylist可以直接扩容旧数组不创建新数组吗9.如果数据量很大的话，怎么提升扩容的性能？10.arraycopy的底层实现？11.arraycopy可以一次拷贝完吗？12.如果想提高arraylist的拷贝性能还有什么更高效的方法吗？13.并行复制不会出现数据一致性的问题吗？14.arraylist怎么修改可以在扩容时仍能正常给用户提供服务？15.它的get put delete都会涉及那些操作？16.怎么确保在put的时候一定能拿到新元素，同时又保证性能？17.数据量很大，写时复制怎么保证扩容的时候一定能获取到元素呢？18.redis的llen操作的时间复杂度是多少？为什么？19.维护列表长度值会有什么影响呢20.innodb有哪些索引类型21.主键索引、普通索引、唯一索引的区别？22.主键索引、普通索引、唯一索引的存储结构的区别？23.普通索引为什么这么设计存储结构呢？24.算法题：重排链表25.反问 #字节一面#
查看25道真题和解析
点赞 评论 收藏
分享
11-08 19:27
已编辑
第一拖拉机制造厂拖拉机学院 Java
点赞 评论 收藏
分享
11-14 19:50
腾讯_IEG_后台开发(实习员工)
点赞 评论 收藏
分享
评论
点赞
8
分享

全站热榜

正在热议
# 拼多多求职进展汇总 #
231987次浏览 2026人参与
# 在职场上，你最讨厌什么样的同事 #
5629次浏览 81人参与
# 阿里云管培生offer #
58045次浏览 1741人参与
# 25届秋招总结 #
393332次浏览 3941人参与
# 哪些公司校招卡第一学历 #
32602次浏览 102人参与
# 地方国企笔面经互助 #
6443次浏览 16人参与
# 北方华创开奖 #
65786次浏览 546人参与
# ai智能作图 #
19970次浏览 244人参与
# 硬件兄弟们 甩出你的华为奖状 #
77815次浏览 625人参与
# 实习，投递多份简历没人回复怎么办 #
2434516次浏览 34698人参与
# 工作中，你有没有遇到非常爱骂人的领导？ #
4648次浏览 47人参与
# 实习与准备秋招该如何平衡 #
722299次浏览 8550人参与
# 我的实习求职记录 #
6118074次浏览 83935人参与
# 如果再来一次，你还会选择这个工作吗？ #
109094次浏览 1094人参与
# 签了三方后想毁约怎么办 #
18484次浏览 111人参与
# 25届机械人为了秋招做了哪些准备？ #
24868次浏览 355人参与
# 如果你有一天可以担任公司的CEO，你会做哪三件事？ #
9799次浏览 206人参与
# 游戏求职进展汇总 #
52582次浏览 343人参与
# 夸夸我的求职搭子 #
131933次浏览 1360人参与
# 机械求职避坑tips #
22025次浏览 240人参与
# 腾讯求职进展汇总 #
207237次浏览 1694人参与
# 实习想申请秋招offer，能不能argue薪资 #
35708次浏览 308人参与
牛客网
牛客企业服务