海量数据处理例题(1)
有一个1G大小的文件, 里面每行是一个词,词的大小不超过16字节,内存限制大小事1m,需要返回出现次数最高的100个次
有一个文件a.txt,内容为每行有字符串和数字用逗号隔开. 现在要求实现一个单机系统,统计出文件中相同字符串,出现的次数和对应数字的总和.
如题2中, 是一个16核的计算机,如何高效完成2.中的任务.
100G大文件单机处理(在100G大文件中找到第一个不重复的字符串,16G内存限制)
有一个1G大小的文件, 里面每行是一个词,词的大小不超过16字节,内存限制大小事1m,需要返回出现次数最高的100个次
有一个文件a.txt,内容为每行有字符串和数字用逗号隔开. 现在要求实现一个单机系统,统计出文件中相同字符串,出现的次数和对应数字的总和.
如题2中, 是一个16核的计算机,如何高效完成2.中的任务.
100G大文件单机处理(在100G大文件中找到第一个不重复的字符串,16G内存限制)
相关推荐