大数据之排序问题求解

一个4T的存放url的文件，机器内存4G，怎么对url按字典序排序
全部评论
4T = 4 * 1024G 计算url的hash值，然后将hash值对1024取模，也就是把4T的文件划分为1024个大小为1g左右的文件。 内存有4g，所有可以对1g的小文件全部放入内存进行排序，待1024个文件都排完序之后，多路归并。
点赞 回复 分享
发布于 2017-09-19 17:22
基数排序？
点赞 回复 分享
发布于 2017-09-19 16:40
归并排序
点赞 回复 分享
发布于 2017-09-19 17:15

相关推荐

11-24 11:10
江南大学 交互设计师
点赞 评论 收藏
分享
11-08 15:25
已编辑
武汉大学 Java
点赞 评论 收藏
分享
10-30 18:40
上海理工大学 Java
抖音电商面经
抖音电商一面1.自我介绍2.实习拷打3.主要用的编程语言是什么4.java有用过那些数据结构（应该是想问用过那些集合）5.arraylist和linkedlist怎么选择？6.arraylist添加元素的底层机制7.arraylist扩容会创建新数组吗8.arraylist可以直接扩容旧数组不创建新数组吗9.如果数据量很大的话，怎么提升扩容的性能？10.arraycopy的底层实现？11.arraycopy可以一次拷贝完吗？12.如果想提高arraylist的拷贝性能还有什么更高效的方法吗？13.并行复制不会出现数据一致性的问题吗？14.arraylist怎么修改可以在扩容时仍能正常给用户提供服务？15.它的get put delete都会涉及那些操作？16.怎么确保在put的时候一定能拿到新元素，同时又保证性能？17.数据量很大，写时复制怎么保证扩容的时候一定能获取到元素呢？18.redis的llen操作的时间复杂度是多少？为什么？19.维护列表长度值会有什么影响呢20.innodb有哪些索引类型21.主键索引、普通索引、唯一索引的区别？22.主键索引、普通索引、唯一索引的存储结构的区别？23.普通索引为什么这么设计存储结构呢？24.算法题：重排链表25.反问 #字节一面#
查看25道真题和解析
点赞 评论 收藏
分享
11-08 19:27
已编辑
第一拖拉机制造厂拖拉机学院 Java
点赞 评论 收藏
分享
11-14 19:50
腾讯_IEG_后台开发(实习员工)
点赞 评论 收藏
分享
评论
点赞
8
分享

全站热榜

正在热议
# 拼多多求职进展汇总 #
240579次浏览 2051人参与
# 实习，投递多份简历没人回复怎么办 #
2447383次浏览 34795人参与
# 阿里云管培生offer #
65337次浏览 1766人参与
# 25届秋招总结 #
424888次浏览 4292人参与
# 虾皮求职进展汇总 #
100403次浏览 810人参与
# 地方国企笔面经互助 #
7362次浏览 18人参与
# 北方华创开奖 #
67953次浏览 558人参与
# ai智能作图 #
35347次浏览 434人参与
# 中兴求职进展汇总 #
470986次浏览 2453人参与
# 我在牛爱网找对象 #
75229次浏览 556人参与
# 双非有机会进大厂吗 #
106156次浏览 1333人参与
# 实习想申请秋招offer，能不能argue薪资 #
37955次浏览 313人参与
# 机械求职避坑tips #
24200次浏览 252人参与
# 发工资后，你做的第一件事是什么 #
10551次浏览 52人参与
# 25届机械人为了秋招做了哪些准备？ #
26796次浏览 366人参与
# 投格力的你，拿到offer了吗？ #
47864次浏览 337人参与
# 我的实习求职记录 #
6144219次浏览 84084人参与
# 投递实习岗位前的准备 #
1193602次浏览 18510人参与
# 机械人怎么评价今年的华为 #
158439次浏览 1354人参与
# 在职场上，你最讨厌什么样的同事 #
6474次浏览 96人参与
# 实习与准备秋招该如何平衡 #
725920次浏览 8568人参与
# 华为工作体验 #
112468次浏览 871人参与
牛客网
牛客企业服务