首页 > 试题广场 >

关于 Hadoop 技术描述错误的是（）

[单选题]

HDFS 是一个分布式文件存储系统

HDFS 不适合低延时数据访问的场景

```
HDFS 适合存储大量的小文件
```

HDFS 存储空间由数据节点数决定

查看答案及解析

牛客971849986号

发表于 2020-07-01 00:05:06 回复(0)

你不要担心

HDFS不适合大量小文件的存储，因namenode将文件系统的元数据存放在内存中，因此存储的文件数目受限于 namenode的内存大小。HDFS中每个文件、目录、数据块占用150Bytes。如果存放的文件数目过多的话会占用很大的内存。

发表于 2019-06-17 19:41:37 回复(0)

qpsk

因为hdfs里面数据是分块存储的，一个块可能是64m，128m，，一个小文件就占一个块的存储空间，比较浪费资源

发表于 2019-09-17 10:42:43 回复(2)

小曹冲了

A选项不用说,这个是定义.

B选项说的联盟链应该是指HDFS中的联盟,

Hdfs federation实际是把多个hdfs集群统一到一个命名空间下。Hdfs federation 作用扩大NN容量，共享DN数据，且方便客户端访问。

C选项是错误的,HDFS小文件存储问题一直是一个令人头疼的问题,因为HDFS是基于大数据存储的,但是它还需要存储元数据信息,无论数据量多大,元数据量是差不多的,所以最好是存储大文件,而不是海量小文件,可以使用归约和压缩的方式进行解决

D选项:存储主要是由于DataNode决定,所以数据节点越多,存储能力越强,做错的同学可能DataNode看久了,看到数据节点反应不过来?

发表于 2020-10-19 19:15:54 回复(0)

Heimdallr_

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。

发表于 2019-08-17 14:38:48 回复(0)

💗好运护体💗

运行在HDFS之上的程序有很大量的数据集。典型的HDFS文件大小是GB到TB的级别。所以，HDFS被调整成支持大文件。它应该提供很高的聚合数据带宽，一个集群中支持数百个节点，一个集群中还应该支持千万级别的文件。

发表于 2019-07-22 22:25:02 回复(1)

咬人

不适合大量小文件，因为文件源数据是存在namenode内存中的，如果小文件多，元数据多，占用nn内存大

发表于 2020-04-16 23:36:38 回复(0)

Maaloy💫

联盟链这个选项有问题吧，hadoop只能算是分布式集群框架，可以用来支持搭建联盟链。但是hadoop怎么也算不上是联盟链吧

发表于 2019-10-15 20:10:11 回复(0)

似火流年

联盟链是什么？？？

发表于 2019-08-06 15:53:07 回复(3)

牛客965151348号

产品为什么要学这救命

发表于 2024-02-06 14:14:52 回复(0)

Mr_Calhoun

（看了评论，当前的B选项内容跟原来的不同了） HDFS不适合低延迟的数据访问：比如毫秒级，HDFS 牺牲了低延迟是做不到的，因此HDFS 不适合低延迟的处理场景，适合需要高吞吐率的场景。

发表于 2022-08-27 01:22:42 回复(0)

斯沃福德

显然是C，在hadoop中，每个文件单独切片，而每个切片又对应一个MapTask，小文件多意味着需要多个MapTask，而一个MapTask就需要一定的开销，太多小文件可能会让系统崩溃

发表于 2022-01-04 08:56:26 回复(0)

牛客职导官方账号

【正确答案】C

【解析】

本题考查候选人对Hadoop概念的了解

HDFS中文件是以单个模块的形式进行存储，因此不适合进行大量的小型文件，会造成空间不足的情况，故选C

编辑于 2021-12-24 17:39:21 回复(0)

牛客582810992号

HDFS中数据是以数据块的形式存储的，一个数据块是128MB，每个小文件都会占用一个128M的数据块，所以小文件是很占内存的，占用磁盘空间，有百害而无一利，因此HDFS适合管理存储大文件，而不是小文件。

发表于 2021-11-10 11:44:54 回复(0)

旷兮其若谷、

一个文件块要占NameNode150字节的内存，要是1亿个呢？

128G只能存储9亿的文件块。

发表于 2020-10-23 13:18:00 回复(0)

牛客701072809号

不知道b是啥好难

发表于 2020-04-07 21:50:29 回复(0)

提交观点

问题信息

技术名词数据分析 2019 顺丰集团产品 Hadoop

来自：顺丰科技2019秋招产...

上传者：小小

难度：

16条回答 1531收藏 11072浏览

关于 Hadoop 技术描述错误的是（）

问题信息

热门推荐

相关试题