大数据面试题—包含真实面经（压力拉满）

从事数据开发，手写面试题5W字，涉及hadoop、zookeeper、kafka、spark、flink、clickhouse等常见的大数据中间件，文档可以后台踢我

1、Hadoop特点hadoop是一个分布式计算平台，能够允许使用编程模型在集群上对大型数据集进行分布式处理hadoop的三大组件：HDFS（分布式文件存储平台）、MR（计算引擎）、YARN（资源调度平台）特点：高扩容：hadoop在集群键分发数据并完成数据计算，集群可以方便进行扩展节点成本低：hadoop使用链家的机器组成集群来分发和处理数据，不依赖高端成本，高效率：在集群中处理和分发数据，处理速度非常快可靠性：存储在hdfs上的数据文件，一般有多个备份，保证数据的可靠性

2、说下Hadoop生态圈组件及其作用hive（离线数据仓库）：基于hdfs，结合类SQL引擎，底层执行MR任务，用于OLAP分析查询的数据仓库。zookeeper（管理员）： 分布式协调服务。就是为用户的分布式应用程序提供协调服务，如：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务等等。kafka（消息通信中间件）flume（日志传输组件）：是一个分布式可靠的高可用的海量日志收集、聚合、移动的工具，通俗来说flume就是一个日志采集工具spark（批处理计算框架）：是一个快速的，通用的集群计算系统。flink（流处理计算框架）

3、Hadoop主要分哪几个部分?他们有什么作用?HDFS：高容错、高可靠性、高可扩展性、高吞吐率的分布式文件存储系统，负责海量数据的存储YARN：资源管理调度系统，负责hadoop生态系统中任务的调度和监控MR：基于HDFS、YARN的分布式并行计算框架，负责海量数据的计算

4、Hadoop集群工作时启动哪些进程?它们有什么作用?NN：是hadoop中的主服务器，管理文件系统名称空间和对集群中存储的文件访问，这些元数据信息是存储在内存中的，也可以持久化到磁盘上。并且可以管理DNSNN：不是NN的冗余守护进程，而是提供周期性检查点和清理任务，帮助NN合并editslog，减少NN的启动时间（并不是NN的备用节点）fsimage - 它是在NameNode启动时对整个文件系统的快照edit logs - 它是在NameNode启动后，对文件系统的改动序列只有NN重启的时候，editlogs才会合并到fsimage文件中，得到一个文件系统的最新快照，但是在NN工作很久以后，editlogs文件变得很大。导致NN的重启会花费很长时间，此时SNN的职责就是帮助editlogs合并到fsimage文件中。定时去获取NN去获取editlogs，并更新到自己的fsimage上，一旦有了新的fsimage，它将拷贝回NN中DN：提供真实的文件数据的存储服务，以数据的形式存储HDFS文件，相应HDFS客户端的读写请求，周期性地向NN汇报心跳信息、数据块信息、缓存数据块信息RM：负责整个集群资源的管理和调度，功能包括对ApplicationMaster的管理、NM的管理、Application管理等，负责整个集群中所有资源的统一管理和分配，并且接受来自各个节点的资源汇报信息；NM：主要处理来自RM分配的任务，监测并且报告Container使用信息给RMJN：两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息，并且一直监控edit log的变化，把变化应用于自己的命名空间。standby可以确保在集群出错时，命名空间状态已经完全同步了。

5、在集群计算的时候，什么是集群的主要瓶颈网络带宽：集群中节点通常通过网络进行数据传输和通信，网络带宽不足，会导致数据传输速度慢，影响整个集群计算性能存储性能：如果存储系统的读写能力较低，会影响数据的读取和写入速度，降低整个集群的计算效率处理能力：集群中的节点数据量和节点的计算能力都会影响整体的计算能力，集群规模较小或者节点的计算能力较低，无法满足大规模数据处理的需求内存容量：进行大规模数据分析和处理，需要大量的内存资源来存储和操作数据，若节点的内存不足，会导致数据无法完全加载到内存中，影响性能数据倾斜：由于数据分布不均匀，导致某些节点的数据负载过重，从而使得这些节点成为整个集群的瓶颈（解决数据倾斜方法后续详谈）

6、搭建Hadoop集群的xml文件有哪些?core-site.xml：配置Hadoop的核心参数，如文件系统默认方案、HDFS地址等。hdfs-site.xml：配置HDFS的相关参数，如副本数量、数据块大小等。mapred-site.xml：配置MapReduce相关参数，如作业跟踪器地址、任务分配器等。yarn-site.xml：配置YARN相关参数，如资源管理器地址、节点管理器等。hive-site.xml：如果需要使用Hive，则需要配置Hive的相关参数，如元数据存储位置、数据库连接等。

7、Hadoop的Checkpoint流程？该流程是指在集群中，将正在运行的任务的状态信息和元数据信息保存在持久化存储中，以便在集群发生故障时候能够及时恢复任务；若不适用HA，hadoop的checkpoint机制就是主节点的元数据备份机制，通过SN，每隔一段时间将NN的元数据更新并备份，然后返回给fsimage和NN，SNN会每隔默认60分钟，都会通知更新日志信息edits，以便后续元数据备份操作；元数据是保存在内存当中的，这样容易丢失，NN的工作量巨大，管理众多DN，还要更新操作日志文件edits，还要将元数据信息序列化到本地，所以SNN就会开始代替NN完成元数据的保存工作流程如下：1、当一个任务开始执行时，Hadoop会周期性地将任务地状态信息和元数据信息写入到Checkpoint目录中。这些信息包括任务的进度、输入数据的位置、已经完成的工作等。2、Checkpoint目录通常位于分布式文件系统（如HDFS）中，以保证数据的安全性和可靠性。3、Hadoop还会在内存中保存一个Checkpoint ID，用于标识当前的Checkpoint。4、在任务执行过程中，如果集群发生故障或节点失效，任务会停止执行。5、当集群恢复正常后，Hadoop会检查Checkpoint目录中的状态信息和元数据信息，并根据Checkpoint ID找到最新的Checkpoint。6、Hadoop会使用Checkpoint中的信息来恢复任务的执行状态，包括任务的进度、输入数据的位置等。7、任务恢复完成后，Hadoop会继续执行任务，并从上次Checkpoint的位置继续处理数据，以确保不会重复执行已经完成的工作。

8、Hadoop的Block大小是什么？为什么要设置这么大？hadoop的块默认大小是128M，在hadoop1.和2.x版本默认为64M原因：文件块越大，寻址时间越短，但磁盘的传输时间越长。磁盘传输的时间会大于寻址时间，导致处理过程变慢，其次，MR中的map任务通常一次只处理一个块中的数据，块过大运行速度也会变慢；文件块越小，寻址时间越长，但磁盘传输时间越短。存储小文件会占用NN中大量内存来存储元数据，管理效率变低；

9、Hadoop里Block划分的原因？分布式存储：Hadoop是一个分布式系统，数据存储在集群中的多个节点上。通过将文件划分为块，可以将这些块分散存储在不同的节点上，实现数据的分布式存储和并行处理。数据冗余：Hadoop使用副本机制来确保数据的可靠性和容错性。将数据划分为块后，可以将每个块的多个副本分布在不同的节点上，以防止数据丢失或节点故障。数据局限性：Hadoop采用了数据局部性原则，即将计算任务分配给存储数据的节点，以减少数据的网络传输和提高计算效率。将数据划分为块后，可以更好地实现数据局部性，因为计算任务可以针对某个块进行处理，而不需要处理整个文件。管理和调度：将数据划分为块后，Hadoop可以更方便地管理和调度数据。块的大小可以根据具体应用和硬件配置进行调整，以优化数据处理和存储地性能。

10、Hadoop中常见的压缩算法Gzip：可以减小文件的大小，但无法进行并行处理Snappy：谷歌开发，具有很高的压缩和解压缩速度，压缩后文件较大LZO：较快的压缩算法，可以在hadoop中实现高速压缩和解压缩，适用于大数据压缩Bzip2：较高压缩比，速度较慢LZ4：极快压缩速度，压缩比较低

11、Hadoop作业提交到YARN的流程？前置基础：Container是yarn中资源的抽象，封装了某一个节点上一定量的cpu和内存资源1、RM接收到一个作业请求后，给该作业生成唯一ApplicationID，并为该作业分配一个ApplicationMaster2、RM将ApplicationID和ApplicationMaster的地址返回给客户端3、客户端与ApplicationMaster的地址建立通信，发送资源请求4、ApplicationMaster收到作业资源需求和启动命令，向RM申请资源5、RM根据可用的资源情况为ApplicationMaster分配所需资源，将资源返回给ApplicationMaster6、ApplicationMaster收到资源位置信息后，与NM通信，将作业所需的资源分配给具体的task7、每个task会在独立的Container中运行，通过心跳机制汇报ApplicationMaster任务的情况8、ApplicationMaster收到所有任务完成的信息，向RM注销自己9、RM收到ApplicationMaster的注销请求后，将该作业从yarn状态存储中删除，释放相关资源

12、Hadoop的Combiner的作用？Combiner是在map阶段之后，reduce阶段之前，对map输出的中间数据进行本地合并和压缩，减少数据的传数量提高整体性能，可将相同的key的多个map输出结果进行合并，减少网络传输的数据量，降低reduce的负载，提高效率；mapper端到reducer端的数量在应用combiner之后会减少，对输出的键值对进行压缩合并，减少数据量

13、Hadoop序列化和反序列化序列化是将数据转换为字节流的过程，反序列化是将字节流重新转换成数据的过程以保证数据在各个节点之间的传输过程中占据更少的磁盘容量

14、Hadoop小文件处理问题？导致的问题存储开销：每个小文件需要占据磁盘空间，默认的块是128MB，大部分小文件会浪费磁盘空间元数据开销：NN会为每个文件分配一个元数据块，小文件数量过多时候，元数据存储和访问的开销会增加数据读取效率低：小文件数量庞大，导致大量的寻址时间和网络传输开销任务调度：MR任务是以块为单位进行调度的，小文件数量庞大会导致任务调度的开销增加处理办法合并小文件：使用工具HAR或者自定义脚本进行合并操作，减少存储和元数据开销（将多个小文件打包成一个HAR文件，NN中的元数据也就存储一份）SequenceFile格式：将小文件换成SequenceFile格式，将多个小文件合并成一个SequenceFile文件，有效处理小文件数据归档：将多个小文件合并为一个大文件，进行归档存储数据压缩：压缩小文件，减少存储空间和网络传输开销

补充：HDFS文件块大小的问题若文件块设置太小，会占用大量的NN的元数据空间，并且在读写操作时候，加大了寻址时间。小文件过多，在进行MR计算时候需要去启动过多的MapTask，每个MapTask处理的数据量很小，导致MapTask的处理时间比启动时间还小；若文件块设置过大，传输时间会远远大于寻址时间，增加了网络消耗，HDFS块的大小设置取决于磁盘传输速率

补充：HDFS中小文件是怎么产生的1、hive表的每次insert into就会产生一个小文件2、reduce数量越多，小文件也就越多3、hive中过度的分区，每个分区下只有几个文件甚至只有一个小文件