首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
在线笔面试、雇主品牌宣传
登录
/
注册
老欧讲职场
字节跳动_大数据工程师
关注
已关注
取消关注
Flink面试知识点:JobManager 和 TaskManager,不知道现在面试 Flink 岗位的小伙伴多吗??
@老欧讲职场:
Flink面试知识点:JobManager 和 Task
1. Flink 的核心组件:JobManager 和 TaskManager在 Apache Flink 中,JobManager 和 TaskManager 是分布式执行的核心组件,负责协调和执行应用程序。1.1 JobManagerJobManager 是 Flink 集群的大脑,它主要负责三个方面的工作:•作业调度: 接收用户提交的作业,并将这些作业拆分成不同的任务。•资源管理: 与 Flink 的资源管理器(如 YARN 或 Mesos)协作,为作业分配必要的资源。•容错与状态管理: 控制作业的执行,包括容错机制。负责设置检查点(checkpoints)来保存作业的状态,以便在失败时重新启动作业。1.2 TaskManagerTaskManager 是执行任务的工作节点,主要负责:•任务执行:每个 TaskManager 可以执行多个任务。这些任务是作业的实际执行者,每个任务对应作业流程图中的一个节点。•缓冲和状态管理:负责数据的缓冲和任务的状态管理。存储中间结果,并在需要时处理状态的恢复。•数据交换:TaskManagers 之间需要交换数据,例如,在不同的任务之间传递数据流元素。2. Slot 和 Task 在 Flink 中的关系和作用Slot 是 Flink TaskManager 提供的一个资源单元,用于运行一个任务链(task chain)。每个任务都需要运行在一个 slot 中。Slot 的概念允许 Flink 的资源管理更加灵活,保证了资源的隔离,并且允许多个任务共享同一个 slot(如果它们属于同一个任务链)。在 Flink 中,理解 Slot 和 Task 的关系对于调优 Flink 应用和合理分配集群资源至关重要。3. Flink的高可用性机制Apache Flink 的高可用(HA)机制是为了确保 Flink 集群能够在面对各种故障时继续运行作业。这包括了对 JobManager 的故障进行处理,因为它是 Flink 集群的关键协调节点。以下是 Flink 高可用性的关键组件和策略:•多个 JobManager: 运行多个 JobManager 实例以提供高可用性。只有一个 JobManager 是领导者(Leader),负责作业的调度和协调,而其他的 JobManager 作为备用(Standby)处于热备状态。•ZooKeeper 协调: Flink 通常与 Apache ZooKeeper 配合使用来实现高可用性。ZooKeeper 跟踪哪个 JobManager 是当前的领导者,并在领导者失效时选举新的领导者。
点赞 0
评论 0
全部评论
推荐
最新
楼层
还没有回复哦~
相关推荐
03-15 19:22
已编辑
科大讯飞_硬件中心_嵌入式开发工程师
嵌入式/C++笔试面试指南(前言)
本人2023级双二硕士毕业生,先后在Momenta,大疆创新实习,校招面试过很多公司,经验丰富,获得过Momenta、科大讯飞、地平线等公司offer。擅长嵌入式软件开发,立志成为一名嵌入式开发工程师,最后通过自己的努力拿到大厂offer,以下是我的笔试面试总结,分享给大家,希望对大家有帮助。在数字化转型与智能硬件快速发展的时代,嵌入式系统与 C++ 语言作为支撑物联网、人工智能、工业控制等领域的核心技术,正面临着前所未有的人才需求。无论是初入职场的应届生,还是寻求技术突破的从业者,掌握嵌入式开发与 C++ 编程的核心能力,已成为职业发展的关键竞争力。本专题会为笔试面试中的高频考点进行解答,嵌...
嵌入式/C++笔试面试指...
点赞
评论
收藏
分享
03-18 09:44
已编辑
Fibocom广和通_助理工程师(准入职员工)
“双非”我的破局之路!!
本人双非本,高三结束的那个暑假,或许是因为高中太过于苦涩,只有无味的学习。所以对大学开始有了憧憬,期待着交一群志同道合的朋友,期待着坐在树林间吹着春风看着想看的书,嗯,当然还有玩以前没玩过的游戏。但是等待我的不是这个憧憬,而是迷茫不知所错。我不知道大家是否跟我一样,进入大一看着无聊的水课,和不知道有什么作用的专业课,以及永远睡不够的觉。也忘了当初憧憬,不知道想干什么。至此疫情也到来了,起初还能在学校活动,但是最严重的时候直接封到宿舍。噩梦的开始在宿舍的日子里白天灯是没开过的,晚上是没关过的,这段日子大家只干了两件事,睡、玩。伴随着作息混乱,和无尽的吵闹声。整天昏天黑地,更加迷茫不知所措。或许这...
双非应该如何逆袭?
点赞
评论
收藏
分享
02-24 01:06
成都理工大学 Java
Java选手,求指导
打算今年冲一下春招或者秋招,但是现在有点迷茫,不知道接下来做什么了(正在学习算法准备面试题),求各位指导#Java# #春招#
嘎嘎嘎搬砖侠:
我工作6年了,还没开发过70个接口,惭愧惭愧
点赞
评论
收藏
分享
02-10 00:02
美团_到店_Java后端开发工程师
学长学姐去哪了
也去查了一下
EEbond:
给北邮✌️跪了
点赞
评论
收藏
分享
03-17 10:31
度小满_测试开发工程师
人们的悲欢各不相同之违约金
现在肯定很多大佬已经手握多个offer,一些公司有签约窗口,不签约就视为自动放弃。所以很多offer的话就得先签约稳住再说。但是签约条款里是有违约金的,最少也得3000,多的话有一个月薪资的。对于没进入社会的同学来说压力还是很大的。那么违约金怎么缴 要不要缴就是个值得研究的问题。打个广告度小满25届春招开始了,薪资和福利待遇优厚,先投先安排。手慢则无!内推码:NTANSzA内推链接 https://app.mokahr.com/m/campus-recruitment/duxiaoman/74050?sourceToken=883e5eabca169711d4fd5fececa7e...
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
收藏
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
27届java选手如何破局?
4.9W
2
...
拒绝焦虑,从26暑期实习er做起!
4.9W
3
...
美团优选暑期后端一面
9974
4
...
生活有感
7767
5
...
借钱后续:还我了但是过了几天又问我借钱了🤦♀️
7030
6
...
每个人都应该在北京生活四年
6544
7
...
26届阿里云暑期实习Java开发一面面经
6189
8
...
如何让HR对你一见钟情?
5351
9
...
简历如何写才能事半功倍?
4864
10
...
【面试实战9】简历制作技巧,适当的包装可能事半功倍
4586
创作者周榜
更多
正在热议
更多
#
实习要如何选择和准备?
#
8159次浏览
225人参与
#
正在实习的你,几点下班
#
98155次浏览
706人参与
#
携程求职进展汇总
#
202395次浏览
1701人参与
#
美团求职进展汇总
#
1619424次浏览
14601人参与
#
面试等了一周没回复,还有戏吗
#
97532次浏览
891人参与
#
字节求职进展汇总
#
706466次浏览
7169人参与
#
面试被问第一学历差时该怎么回答
#
103828次浏览
658人参与
#
中广核工作体验
#
10736次浏览
50人参与
#
蚂蚁集团工作体验
#
9229次浏览
67人参与
#
科大讯飞工作体验
#
15563次浏览
46人参与
#
满分简历要如何准备?
#
14263次浏览
273人参与
#
稳定和高薪机械人更看重哪个?
#
421647次浏览
5293人参与
#
金蝶求职进展汇总
#
39669次浏览
227人参与
#
牛友打假中心
#
36598次浏览
2309人参与
#
我想去国央企的原因
#
52984次浏览
319人参与
#
讲讲我的真实离职原因
#
32891次浏览
621人参与
#
通信硬件2023笔面经
#
30380次浏览
234人参与
#
听到哪句话就代表面试稳了or挂了?
#
120707次浏览
1092人参与
#
当下环境,你会继续卷互联网,还是看其他行业机会
#
87017次浏览
626人参与
#
用表情包形容我的2023
#
6728次浏览
46人参与
#
工作两年想退休了
#
98242次浏览
1030人参与
牛客网
牛客企业服务