大量的小文件会耗尽 NameNode 中的大部分内存,为啥？

“每个文件均按块存储，每个块的元数据存储在 NameNode 的内存中”。一个 1MB 的文件在 128MB 的块中存储，使用的是 1MB 的磁盘空间，那此时是怎么管理的？？

#数据开发工程师#
全部评论
nn存的是文件的元数据信息 如:owner permission等信息。大量小文件回导致元数据过多 大概是这个意思吧
1 回复 分享
发布于 2019-11-16 17:14
你班上人多了，打印名单会很废纸
点赞 回复 分享
发布于 2019-11-16 17:12
好像操作系统在磁盘中用索引式的表示"文件",每个"文件"都占了几个数据块,inode节点也是有表去记录的
点赞 回复 分享
发布于 2019-11-16 17:19
拿走不谢https://zhuanlan.zhihu.com/p/90215486
点赞 回复 分享
发布于 2019-11-16 18:19
无论块大小多少，元数据大小都一样，128m数据的元数据1k，1m数据的元数据的也是1k，那你是愿意多存128m还是大量1m的数据？
点赞 回复 分享
发布于 2019-11-16 21:11

相关推荐

11-19 00:04
中南大学 系统集成
点赞 评论 收藏
分享
11-20 10:41
重庆邮电大学 数据库工程师
点赞 评论 收藏
分享
11-20 08:31
广西大学 自然语言处理
拼多多开奖，年包216w
算是普通人靠薪资拿到的天花板了吧？
杨柳哥：这不是普通人，那这个钱的是天才
点赞 评论 收藏
分享
11-06 16:12
中国地质大学（武汉） 产品经理
杜蕾斯也拒绝我，以后不用了
#牛客创作赏金赛#
jack_miller：杜:你不用我那你就用我的美赞臣
牛客创作赏金赛
点赞 评论 收藏
分享
11-18 15:50
牛客运营
巨坑。。。一定别去这些假国企
国务院国有资产监督管理委员会曾发布过《假冒中央企业名单》的公告，列举出一系列打着国企的旗号，但实际上并不具备国企的资质和背景，甚至存在欺诈风险。为了避免牛友们上当受骗，牛牛整理了部分清单：中自基业控股集团有限公司中自云智慧城市科技集团有限公司中企万邦（北京）企业管理咨询有限公司江西冀睿能源产业有限公司中盛航信（深圳）技术有限公司通航博金建设发展（成都）集团有限公司国华永瑞（杭州）产业管理有限公司商投能运（海南）投资有限公司南昌金赞科技有限公司中金文华（山东）实业有限公司华金产业发展（海南）有限公司国金南瑞（天津）建设集团有限公司……同时，我们在求职央国企的时候也要注意招聘企业、招聘信息的真实性...
点赞 评论 收藏
分享
1 1 评论
分享

招聘动态

查看更多

字节跳动

2025校园招聘

杉川机器人

2025校园招聘

快手Star

2025届招聘

快手

销售类投递专区

库洛游戏

全站热榜

正在热议
# 25届秋招总结 #
261878次浏览 2168人参与
# 0offer是寒冬太冷还是我太菜 #
886626次浏览 7902人参与
# 北方华创开奖 #
23598次浏览 260人参与
# 地方国企笔面经互助 #
2821次浏览 7人参与
# 学历or实习经历，哪个更重要 #
43229次浏览 327人参与
# 选完offer后，你后悔学本专业吗 #
13043次浏览 94人参与
# 查收我的offer竞争力报告 #
19134次浏览 251人参与
# 应届生被毁约被毁意向了怎么办 #
28070次浏览 243人参与
# 你最想要的公司福利是？ #
41711次浏览 144人参与
# 如何一边实习一边秋招 #
987030次浏览 12609人参与
# 一觉醒来，我觉醒了超级打工人系统 #
3262次浏览 36人参与
# 嵌入式转岗的难度怎么样 #
11179次浏览 250人参与
# 你最希望上岸的公司是？ #
76339次浏览 469人参与
# 如何写一份好简历 #
604705次浏览 8501人参与
# 面试体验感最好的是哪家？ #
83557次浏览 816人参与
# 机械应届生薪资要多少才合适？ #
12530次浏览 61人参与
# 牛客十周岁生日快乐 #
48649次浏览 759人参与
# 你认为第一份工作重要吗 #
5413次浏览 49人参与
# 985本硕1个中小厂offer，摆烂or继续努力 #
79803次浏览 589人参与
# 秋招OC许愿 #
227951次浏览 1878人参与
# 来聊聊机械薪资天花板是哪家 #
65408次浏览 443人参与
牛客网
牛客企业服务