链家

收藏
房地产
10000人以上
未融资
苏州市

29

在招职位

9

面试经验

0

真题试卷

上传简历
此刻你想和大家分享什么
职位类型
全部
最新
热门
从事数据开发,手写面试题5W字,涉及hadoop、zookeeper、kafka、spark、flink、clickhouse等常见的大数据中间件,文档可以后台踢我1、Hadoop特点hadoop是一个分布式计算平台,能够允许使用编程模型在集群上对大型数据集进行分布式处理hadoop的三大组件:HDFS(分布式文件存储平台)、MR(计算引擎)、YARN(资源调度平台)特点:高扩容:hadoop在集群键分发数据并完成数据计算,集群可以方便进行扩展节点成本低:hadoop使用链家的机器组成集群来分发和处理数据,不依赖高端成本,高效率:在集群中处理和分发数据,处理速度非常快可靠性:存储在hdfs上的数据文件,一般有多个备份,保证数据的可靠性2、说下Hadoop生态圈组件及其作用hive(离线数据仓库):基于hdfs,结合类SQL引擎,底层执行MR任务,用于OLAP分析查询的数据仓库。zookeeper(管理员): 分布式协调服务。就是为用户的分布式应用程序提供协调服务,如:主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务等等。kafka(消息通信中间件)flume(日志传输组件):是一个分布式可靠的高可用的海量日志收集、聚合、移动的工具,通俗来说flume就是一个日志采集工具spark(批处理计算框架):是一个快速的,通用的集群计算系统。flink(流处理计算框架)3、Hadoop主要分哪几个部分?他们有什么作用?HDFS:高容错、高可靠性、高可扩展性、高吞吐率的分布式文件存储系统,负责海量数据的存储YARN:资源管理调度系统,负责hadoop生态系统中任务的调度和监控MR:基于HDFS、YARN的分布式并行计算框架,负责海量数据的计算4、Hadoop集群工作时启动哪些进程?它们有什么作用?NN:是hadoop中的主服务器,管理文件系统名称空间和对集群中存储的文件访问,这些元数据信息是存储在内存中的,也可以持久化到磁盘上。并且可以管理DNSNN:不是NN的冗余守护进程,而是提供周期性检查点和清理任务,帮助NN合并editslog,减少NN的启动时间(并不是NN的备用节点)fsimage - 它是在NameNode启动时对整个文件系统的快照edit logs - 它是在NameNode启动后,对文件系统的改动序列只有NN重启的时候,editlogs才会合并到fsimage文件中,得到一个文件系统的最新快照,但是在NN工作很久以后,editlogs文件变得很大。导致NN的重启会花费很长时间,此时SNN的职责就是帮助editlogs合并到fsimage文件中。定时去获取NN去获取editlogs,并更新到自己的fsimage上,一旦有了新的fsimage,它将拷贝回NN中DN:提供真实的文件数据的存储服务,以数据的形式存储HDFS文件,相应HDFS客户端的读写请求,周期性地向NN汇报心跳信息、数据块信息、缓存数据块信息RM:负责整个集群资源的管理和调度,功能包括对ApplicationMaster的管理、NM的管理、Application管理等,负责整个集群中所有资源的统一管理和分配,并且接受来自各个节点的资源汇报信息;NM:主要处理来自RM分配的任务,监测并且报告Container使用信息给RMJN:两个NameNode为了数据同步,会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时,会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息,并且一直监控edit log的变化,把变化应用于自己的命名空间。standby可以确保在集群出错时,命名空间状态已经完全同步了。5、在集群计算的时候,什么是集群的主要瓶颈网络带宽:集群中节点通常通过网络进行数据传输和通信,网络带宽不足,会导致数据传输速度慢,影响整个集群计算性能存储性能:如果存储系统的读写能力较低,会影响数据的读取和写入速度,降低整个集群的计算效率处理能力:集群中的节点数据量和节点的计算能力都会影响整体的计算能力,集群规模较小或者节点的计算能力较低,无法满足大规模数据处理的需求内存容量:进行大规模数据分析和处理,需要大量的内存资源来存储和操作数据,若节点的内存不足,会导致数据无法完全加载到内存中,影响性能数据倾斜:由于数据分布不均匀,导致某些节点的数据负载过重,从而使得这些节点成为整个集群的瓶颈(解决数据倾斜方法后续详谈)6、搭建Hadoop集群的xml文件有哪些?core-site.xml:配置Hadoop的核心参数,如文件系统默认方案、HDFS地址等。hdfs-site.xml:配置HDFS的相关参数,如副本数量、数据块大小等。mapred-site.xml:配置MapReduce相关参数,如作业跟踪器地址、任务分配器等。yarn-site.xml:配置YARN相关参数,如资源管理器地址、节点管理器等。hive-site.xml:如果需要使用Hive,则需要配置Hive的相关参数,如元数据存储位置、数据库连接等。7、Hadoop的Checkpoint流程?该流程是指在集群中,将正在运行的任务的状态信息和元数据信息保存在持久化存储中,以便在集群发生故障时候能够及时恢复任务;若不适用HA,hadoop的checkpoint机制就是主节点的元数据备份机制,通过SN,每隔一段时间将NN的元数据更新并备份,然后返回给fsimage和NN,SNN会每隔默认60分钟,都会通知更新日志信息edits,以便后续元数据备份操作;元数据是保存在内存当中的,这样容易丢失,NN的工作量巨大,管理众多DN,还要更新操作日志文件edits,还要将元数据信息序列化到本地,所以SNN就会开始代替NN完成元数据的保存工作流程如下:1、当一个任务开始执行时,Hadoop会周期性地将任务地状态信息和元数据信息写入到Checkpoint目录中。这些信息包括任务的进度、输入数据的位置、已经完成的工作等。2、Checkpoint目录通常位于分布式文件系统(如HDFS)中,以保证数据的安全性和可靠性。3、Hadoop还会在内存中保存一个Checkpoint ID,用于标识当前的Checkpoint。4、在任务执行过程中,如果集群发生故障或节点失效,任务会停止执行。5、当集群恢复正常后,Hadoop会检查Checkpoint目录中的状态信息和元数据信息,并根据Checkpoint ID找到最新的Checkpoint。6、Hadoop会使用Checkpoint中的信息来恢复任务的执行状态,包括任务的进度、输入数据的位置等。7、任务恢复完成后,Hadoop会继续执行任务,并从上次Checkpoint的位置继续处理数据,以确保不会重复执行已经完成的工作。
查看7道真题和解析
点赞 评论 收藏
分享
#牛客在线求职答疑中心##我的求职思考##我的实习求职记录##23届找工作求助阵地#一面(1V3半结构化面试)1.轮流自我介绍(30S)2.对房地产行业的看法和对销售工作的看法3.用三个词形容你理想中的工作团队4.使用例子说明你的核心竞争力5.情景问答:三个人一起为客户推荐房子,客户之前了解到是有停车位的,但是小区突然通知停车位抽签决定,客户租的那套房子无停车位,客户很生气,认为链家骗了他们。如何应对?道歉——解释清楚原因(找物业取证明)——了解客户真正的需求——要停车位就推荐其他房子,不看重停车位尽量促成这一桩交易面试官强调了团队合作分工的重要性6.你的团队中有个比你资质高的老人,总是和你对着干,你怎么办?7.你的团队中有人的业绩很差,你会怎么办?8.你的团队中有人的亲戚找你看房,说如果你不给他低价(低于市场价很多),他就不租这个房子了,你怎么办?不能这么做。解释这样做违反规定,再次介绍这个房子的信息,如果接受不了价格,为他推荐在他期望的价格范围内性价比最高的房子。9.推荐一个物品我当时手里握着鼠标,就推荐了鼠标。反问:1.最看重管培生的品质——有效沟通的能力2.薪资、晋升、成长路线——转岗困难很大一面结束后两天内通知面试结果二面(1V1)1.自我介绍(5-10min)2.(此处应该是要问对于岗位的理解以及自身能力和岗位的匹配度,我在自我介绍环节已经阐述过,面试官:“不错,对岗位有基本的了解”)3.老家哪里?爸妈工作?对你找工作的看法?4.为什么不考公?为什么当销售?5.追问(压力问):一开始当销售业绩不好怎么办?长期开不了单怎么办?反问:1.链家的工作时间2.最看重管培生的品质——沉下心来搞业绩,不放弃,努力晋升做到管理层。(管培生的培养目的)
投递链家等公司10个岗位 牛客在线求职答疑中心 我的求职思考
点赞 评论 收藏
分享
模拟面试
真实面试体验,快速补齐短板
应聘感受
暂无应聘感受
牛客网
牛客企业服务