大量的小文件会耗尽 NameNode 中的大部分内存,为啥?

每个文件均按块存储,每个块的元数据存储在 NameNode 的内存中”。一个 1MB 的文件在 128MB 的块中存储,使用的是 1MB 的磁盘空间,那此时是怎么管理的??

#数据开发工程师#
全部评论
nn存的是文件的元数据信息 如:owner permission等信息。大量小文件回导致元数据过多 大概是这个意思吧
1 回复 分享
发布于 2019-11-16 17:14
你班上人多了,打印名单会很废纸
点赞 回复 分享
发布于 2019-11-16 17:12
好像操作系统在磁盘中用索引式的表示"文件",每个"文件"都占了几个数据块,inode节点也是有表去记录的
点赞 回复 分享
发布于 2019-11-16 17:19
拿走不谢https://zhuanlan.zhihu.com/p/90215486
点赞 回复 分享
发布于 2019-11-16 18:19
无论块大小多少,元数据大小都一样,128m数据的元数据1k,1m数据的元数据的也是1k,那你是愿意多存128m还是大量1m的数据?
点赞 回复 分享
发布于 2019-11-16 21:11

相关推荐

点赞 评论 收藏
分享
牛客339922477号:都不用reverse,直接-1。一行。啥送分题
点赞 评论 收藏
分享
1 1 评论
分享
牛客网
牛客企业服务