海量数据

收藏
数据服务
500-999人
上市
北京
榜单瞪羚企业榜单高新技术

5

在招职位

46

面试经验

0

真题试卷

查看官网
上传简历
此刻你想和大家分享什么
职位类型
全部
后端开发
数据
人工智能/算法
最新
热门
从事数据开发,手写面试题5W字,涉及hadoop、zookeeper、kafka、spark、flink、clickhouse等常见的大数据中间件,文档可以后台踢我1、Hadoop特点hadoop是一个分布式计算平台,能够允许使用编程模型在集群上对大型数据集进行分布式处理hadoop的三大组件:HDFS(分布式文件存储平台)、MR(计算引擎)、YARN(资源调度平台)特点:高扩容:hadoop在集群键分发数据并完成数据计算,集群可以方便进行扩展节点成本低:hadoop使用链家的机器组成集群来分发和处理数据,不依赖高端成本,高效率:在集群中处理和分发数据,处理速度非常快可靠性:存储在hdfs上的数据文件,一般有多个备份,保证数据的可靠性2、说下Hadoop生态圈组件及其作用hive(离线数据仓库):基于hdfs,结合类SQL引擎,底层执行MR任务,用于OLAP分析查询的数据仓库。zookeeper(管理员): 分布式协调服务。就是为用户的分布式应用程序提供协调服务,如:主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务等等。kafka(消息通信中间件)flume(日志传输组件):是一个分布式可靠的高可用的海量日志收集、聚合、移动的工具,通俗来说flume就是一个日志采集工具spark(批处理计算框架):是一个快速的,通用的集群计算系统。flink(流处理计算框架)3、Hadoop主要分哪几个部分?他们有什么作用?HDFS:高容错、高可靠性、高可扩展性、高吞吐率的分布式文件存储系统,负责海量数据的存储YARN:资源管理调度系统,负责hadoop生态系统中任务的调度和监控MR:基于HDFS、YARN的分布式并行计算框架,负责海量数据的计算4、Hadoop集群工作时启动哪些进程?它们有什么作用?NN:是hadoop中的主服务器,管理文件系统名称空间和对集群中存储的文件访问,这些元数据信息是存储在内存中的,也可以持久化到磁盘上。并且可以管理DNSNN:不是NN的冗余守护进程,而是提供周期性检查点和清理任务,帮助NN合并editslog,减少NN的启动时间(并不是NN的备用节点)fsimage - 它是在NameNode启动时对整个文件系统的快照edit logs - 它是在NameNode启动后,对文件系统的改动序列只有NN重启的时候,editlogs才会合并到fsimage文件中,得到一个文件系统的最新快照,但是在NN工作很久以后,editlogs文件变得很大。导致NN的重启会花费很长时间,此时SNN的职责就是帮助editlogs合并到fsimage文件中。定时去获取NN去获取editlogs,并更新到自己的fsimage上,一旦有了新的fsimage,它将拷贝回NN中DN:提供真实的文件数据的存储服务,以数据的形式存储HDFS文件,相应HDFS客户端的读写请求,周期性地向NN汇报心跳信息、数据块信息、缓存数据块信息RM:负责整个集群资源的管理和调度,功能包括对ApplicationMaster的管理、NM的管理、Application管理等,负责整个集群中所有资源的统一管理和分配,并且接受来自各个节点的资源汇报信息;NM:主要处理来自RM分配的任务,监测并且报告Container使用信息给RMJN:两个NameNode为了数据同步,会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时,会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息,并且一直监控edit log的变化,把变化应用于自己的命名空间。standby可以确保在集群出错时,命名空间状态已经完全同步了。5、在集群计算的时候,什么是集群的主要瓶颈网络带宽:集群中节点通常通过网络进行数据传输和通信,网络带宽不足,会导致数据传输速度慢,影响整个集群计算性能存储性能:如果存储系统的读写能力较低,会影响数据的读取和写入速度,降低整个集群的计算效率处理能力:集群中的节点数据量和节点的计算能力都会影响整体的计算能力,集群规模较小或者节点的计算能力较低,无法满足大规模数据处理的需求内存容量:进行大规模数据分析和处理,需要大量的内存资源来存储和操作数据,若节点的内存不足,会导致数据无法完全加载到内存中,影响性能数据倾斜:由于数据分布不均匀,导致某些节点的数据负载过重,从而使得这些节点成为整个集群的瓶颈(解决数据倾斜方法后续详谈)6、搭建Hadoop集群的xml文件有哪些?core-site.xml:配置Hadoop的核心参数,如文件系统默认方案、HDFS地址等。hdfs-site.xml:配置HDFS的相关参数,如副本数量、数据块大小等。mapred-site.xml:配置MapReduce相关参数,如作业跟踪器地址、任务分配器等。yarn-site.xml:配置YARN相关参数,如资源管理器地址、节点管理器等。hive-site.xml:如果需要使用Hive,则需要配置Hive的相关参数,如元数据存储位置、数据库连接等。7、Hadoop的Checkpoint流程?该流程是指在集群中,将正在运行的任务的状态信息和元数据信息保存在持久化存储中,以便在集群发生故障时候能够及时恢复任务;若不适用HA,hadoop的checkpoint机制就是主节点的元数据备份机制,通过SN,每隔一段时间将NN的元数据更新并备份,然后返回给fsimage和NN,SNN会每隔默认60分钟,都会通知更新日志信息edits,以便后续元数据备份操作;元数据是保存在内存当中的,这样容易丢失,NN的工作量巨大,管理众多DN,还要更新操作日志文件edits,还要将元数据信息序列化到本地,所以SNN就会开始代替NN完成元数据的保存工作流程如下:1、当一个任务开始执行时,Hadoop会周期性地将任务地状态信息和元数据信息写入到Checkpoint目录中。这些信息包括任务的进度、输入数据的位置、已经完成的工作等。2、Checkpoint目录通常位于分布式文件系统(如HDFS)中,以保证数据的安全性和可靠性。3、Hadoop还会在内存中保存一个Checkpoint ID,用于标识当前的Checkpoint。4、在任务执行过程中,如果集群发生故障或节点失效,任务会停止执行。5、当集群恢复正常后,Hadoop会检查Checkpoint目录中的状态信息和元数据信息,并根据Checkpoint ID找到最新的Checkpoint。6、Hadoop会使用Checkpoint中的信息来恢复任务的执行状态,包括任务的进度、输入数据的位置等。7、任务恢复完成后,Hadoop会继续执行任务,并从上次Checkpoint的位置继续处理数据,以确保不会重复执行已经完成的工作。
查看7道真题和解析
点赞 评论 收藏
分享
2024-04-14 17:00
浙江传媒学院 golang
背景:双非硕士 计专 目前情况:投递岗位数44;简历挂11;开始流程13;面试数量6目前存活岗位:腾讯IEG一面,蔚来后台开发一面,联想Golang一面,快手数据库一面结束岗位:蚂蚁OB内核测开,阿里云瓴羊Java投递刚好一个月稍微描述一下感受,后面更新面经1、感觉压力最大的是腾讯和阿里云瓴羊,但压力的方向不一样,腾讯是1h30m的八股拷打,阿里云基本上在聊场景题。2、准备的还不是很充足,很多八股基础记住之后,没有串联起来所以场景题都回答的不太好。3、感觉永远在等二面,蚂蚁是3.26一面结束的,4.8才挂等死我了。当然也有阿里云秒挂的。4、我感觉快手数据库的老师人好好,面试50min反问聊了20min,我问怎么能学好数据库,有哪些好的学习路径都很耐心地解答我。还给我做了面试总结,告诉了我想做数据库有哪些方向,还告诉我他是怎么做选择的。前一天晚上被阿里云干碎了,被快手的老师治愈了。(偷偷记下了老师的名字,想在他手下干活)阿里云 瓴羊JAVA后端开发 一面1、每个项目都有多少人参加2、你还做过FPGA之类的东西吗(做的有点杂)3、消息队列的部分是你完成的吗,你在项目中做了哪些工作4、数据库如何进行主备切换5、数据库中有1000w条数据,删除了500w条,为什么数据库的物理存储大小没有发生变化(考数据库删除的具体操作过程)6、在分布式的情况下,自增id一定连续吗7、自增id用完了怎么办8、系统该如何设计,使得redis高可用8、海量数据涌入redis服务挂了,怎么起服务都会直接挂掉,怎么快速恢复服务(答了限流,追问那被限流的用户怎么办,一直不能使用服务他们就去别的平台消费了,这个问题聊了很久)9、了解binlog吗10、新增的节点可以靠binlog来恢复吗,怎么恢复无手撕代码,感觉就没有回答上来什么问题28min#实习##我的求职思考#
点赞 评论 收藏
分享
投递海量数据等公司10个岗位
点赞 评论 收藏
分享
模拟面试
真实面试体验,快速补齐短板
应聘感受
暂无应聘感受
牛客网
牛客企业服务