大量的小文件会耗尽 NameNode 中的大部分内存,为啥?

每个文件均按块存储,每个块的元数据存储在 NameNode 的内存中”。一个 1MB 的文件在 128MB 的块中存储,使用的是 1MB 的磁盘空间,那此时是怎么管理的??

#数据开发工程师#
全部评论
nn存的是文件的元数据信息 如:owner permission等信息。大量小文件回导致元数据过多 大概是这个意思吧
1 回复 分享
发布于 2019-11-16 17:14
你班上人多了,打印名单会很废纸
点赞 回复 分享
发布于 2019-11-16 17:12
好像操作系统在磁盘中用索引式的表示"文件",每个"文件"都占了几个数据块,inode节点也是有表去记录的
点赞 回复 分享
发布于 2019-11-16 17:19
拿走不谢https://zhuanlan.zhihu.com/p/90215486
点赞 回复 分享
发布于 2019-11-16 18:19
无论块大小多少,元数据大小都一样,128m数据的元数据1k,1m数据的元数据的也是1k,那你是愿意多存128m还是大量1m的数据?
点赞 回复 分享
发布于 2019-11-16 21:11

相关推荐

ProMonkey2024:5个oc?厉害! 但是有一个小问题:谁问你了?😡我的意思是,谁在意?我告诉你,根本没人问你,在我们之中0人问了你,我把所有问你的人都请来 party 了,到场人数是0个人,誰问你了?WHO ASKED?谁问汝矣?誰があなたに聞きましたか?누가 물어봤어?我爬上了珠穆朗玛峰也没找到谁问你了,我刚刚潜入了世界上最大的射电望远镜也没开到那个问你的人的盒,在找到谁问你之前我连癌症的解药都发明了出来,我开了最大距离渲染也没找到谁问你了我活在这个被辐射蹂躏了多年的破碎世界的坟墓里目睹全球核战争把人类文明毁灭也没见到谁问你了(别的帖子偷来的,现学现卖😋)
点赞 评论 收藏
分享
1 1 评论
分享
牛客网
牛客企业服务