大佬们好，我问个八股呗，求解答。

嗯就是那种很大文件的那种的，然后就比如一个大文件然后取中位数啥的，然后还有两个大文件取交集，或者文件去重等等搞得我好懵😂，太菜了哈哈，希望大家能够帮助一下，让我对这些八股能够有很好的应对方法。
全部评论
大文件一般是内存不够，所以需要考虑分而治之，处理一部分或者将流式处理再将结果进行按序的放在磁盘文件中。第一个大文件取中位数，问题在于进行计数，可以先一部分一部分的读，然后计数，然后再从头计数，取对应的中位数，文件去重，可以考虑对文件做hash，然后保存在一个map里，文件不同，hash不同这样来去重
1 回复 分享
发布于 2023-08-04 00:27 四川
昨天面百度，问了200亿个url，10个kv数据库，怎么检索？
1 回复 分享
发布于 2023-08-04 22:00 浙江
俺会了。分而治之。先分，在对每小块进行处理，再合并。基本思路是这些。嗯多搜搜，然后问问chatGPT再就可以了，哈哈。
点赞 回复 分享
发布于 2023-08-04 15:14 河南
我昨天面试被问到 但是面试官就问我 怎么把大文件拆分成小文件在读入呢
点赞 回复 分享
发布于 2023-08-04 17:32 天津
可以用mmap映射读取部分数据吗
点赞 回复 分享
发布于 2023-08-05 00:29 浙江

相关推荐

头像
10-13 12:47
门头沟学院 前端工程师
快看漫画前端实习
栈和队列基本特性二叉树是什么，看二叉树的中序和后序遍历https和https的区别html语义化http缓存，如何设置强缓存tcp为什么要握手三次握手四次，具体什么个原理浏览器输入url之后发生什么css的标签有什么，优先级怎样有没有做过响应式，怎么做有没有了解rem， 以什么基准设置的css怎么去实现垂直水平方式css的flex怎么去改变主轴方向的位置js基本数据类型，symbol是什么es6新特性，要去判断是不是一个数组应该怎么判断，新的evalue方法？？es6的箭头函数有什么特点来了一道读代码题，es6的this指向，又没答好bind call apply有什么区别讲一下防抖和节流手写...
不给转正的实习，你还去吗
点赞 评论 收藏
分享
10-22 17:53
哈尔滨工程大学 Java
点赞 评论 收藏
分享
10-24 13:55
华为_数据通信_C++开发工程师
复盘秋招22场面试（五）盲目自大，低级错误，非常荒唐
继续复盘面试，发现犯的错误好低级。十分后悔某些面试中的表现。但凡秋招前花五天时间重新过一下相关知识，情况也不会这么差。这样的面试表现，真对不起五年来我的付出和履历。至于为什么秋招会出现这样的原因。归纳原因，我太盲目自信了。以为我22年从杭电考上了成电之后，再加上华为经历的背书，那简直可以高枕无忧了。而且这两年太多人找我咨询各种问题，使得我在求职这方面盲目自大，对网上一些常见的信息都表示不屑。犯下了很多人一听就觉得是非常严重、低级、离谱的错误，甚至我还一直不承认这些错误。例如：1、简历没改，我拿的还是本科毕业的时候缝缝补补的简历。误以为自己是9硕就可以乱杀。事实上很多公司要通过简历筛人的，哪怕你...
查看3道真题和解析
点赞 评论 收藏
分享
10-21 20:53
已编辑
东北大学 Java
点赞 评论 收藏
分享
11-01 08:59
游卡_HR(准入职员工)
点赞 评论 收藏
分享
点赞 24 评论
分享

全站热榜

正在热议
# 25届秋招总结 #
236706次浏览 1933人参与
# 学历or实习经历，哪个更重要 #
40092次浏览 292人参与
# 北方华创开奖 #
22113次浏览 251人参与
# 地方国企笔面经互助 #
2394次浏览 6人参与
# 应届生被毁约被毁意向了怎么办 #
25867次浏览 235人参与
# 选完offer后，你后悔学本专业吗 #
8548次浏览 55人参与
# 机械应届生薪资要多少才合适？ #
12199次浏览 59人参与
# 你最想要的公司福利是？ #
38201次浏览 78人参与
# 查收我的offer竞争力报告 #
15332次浏览 209人参与
# 一觉醒来，我觉醒了超级打工人系统 #
2602次浏览 32人参与
# 没有实习经历，还有机会进大厂吗 #
804083次浏览 13794人参与
# 你觉得第一学历对求职有影响吗？ #
14742次浏览 121人参与
# 我的工作日记 #
20877次浏览 269人参与
# 寒假躺平还是提前实习 #
57730次浏览 424人参与
# 秋招被确诊为…… #
52215次浏览 292人参与
# 总结:哪家公司面试体验感最差 #
24945次浏览 121人参与
# 公司情报交流地 #
31406次浏览 222人参与
# 不给转正的实习，你还去吗 #
1515050次浏览 16957人参与
# 00后45度躺现状 #
38215次浏览 311人参与
# 机械人，签完三方你在忙什么？ #
23614次浏览 123人参与
# 实习，投递多份简历没人回复怎么办 #
2386441次浏览 34244人参与
牛客网
牛客企业服务