首页 > 试题广场 >

以下哪个操作可能会产生大量小文件

[单选题]

以下哪个操作可能会产生大量小文件

从海量数据中过滤出符合条件的少量数据

查看正确选项

牛客96717800号

大无语事件发生

发表于 2021-04-24 11:42:30 回复(0)

Nucky_27924

这个题抠字眼的话，就是

A 有大量文件但可能并不小

B 有大量文件，但可能也并不小

C 只有c说结果是少量数据（小文件），勉勉强强把他算上。

发表于 2020-10-20 17:25:12 回复(1)

chaos2112

BC 都有可能吧，

发表于 2020-04-19 14:09:30 回复(0)

阿麦_8932

1.6版本以前的hash shuffle小文件个数是m×r，r就是reduce任务数量

发表于 2021-09-18 20:58:01 回复(0)

牛客333333333号-YB

A选择为什么不会产生小文件呢？比如1000个map执行过滤操作！

发表于 2020-09-22 20:37:38 回复(1)

牛客665052381号

C选项描述为多次从海量数据中过滤出符合条件的少量数据应该比较合适

B选项在reduce数量较多时如果发生数据倾斜这样就会产生不少的小文件吧

发表于 2020-07-27 16:58:42 回复(0)

Cristiano-77

C，大量数据筛出少量数据，hdfs文件比较小的话，要合并小文件这个是普遍存在的问题

发表于 2020-06-16 10:50:00 回复(0)

霍云

为啥不是B

发表于 2020-03-24 01:06:03 回复(2)

提交观点

问题信息

golang工程师运维工程师京东 2019 Spark

上传者：小小

难度：

8条回答 84收藏 2259浏览

扫一扫，把题目装进口袋