首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
在线笔面试、雇主品牌宣传
登录
/
注册
老欧讲职场
字节跳动_大数据工程师
关注
已关注
取消关注
Flink面试知识点:JobManager 和 TaskManager,不知道现在面试 Flink 岗位的小伙伴多吗??
@老欧讲职场:
Flink面试知识点:JobManager 和 Task
1. Flink 的核心组件:JobManager 和 TaskManager在 Apache Flink 中,JobManager 和 TaskManager 是分布式执行的核心组件,负责协调和执行应用程序。1.1 JobManagerJobManager 是 Flink 集群的大脑,它主要负责三个方面的工作:•作业调度: 接收用户提交的作业,并将这些作业拆分成不同的任务。•资源管理: 与 Flink 的资源管理器(如 YARN 或 Mesos)协作,为作业分配必要的资源。•容错与状态管理: 控制作业的执行,包括容错机制。负责设置检查点(checkpoints)来保存作业的状态,以便在失败时重新启动作业。1.2 TaskManagerTaskManager 是执行任务的工作节点,主要负责:•任务执行:每个 TaskManager 可以执行多个任务。这些任务是作业的实际执行者,每个任务对应作业流程图中的一个节点。•缓冲和状态管理:负责数据的缓冲和任务的状态管理。存储中间结果,并在需要时处理状态的恢复。•数据交换:TaskManagers 之间需要交换数据,例如,在不同的任务之间传递数据流元素。2. Slot 和 Task 在 Flink 中的关系和作用Slot 是 Flink TaskManager 提供的一个资源单元,用于运行一个任务链(task chain)。每个任务都需要运行在一个 slot 中。Slot 的概念允许 Flink 的资源管理更加灵活,保证了资源的隔离,并且允许多个任务共享同一个 slot(如果它们属于同一个任务链)。在 Flink 中,理解 Slot 和 Task 的关系对于调优 Flink 应用和合理分配集群资源至关重要。3. Flink的高可用性机制Apache Flink 的高可用(HA)机制是为了确保 Flink 集群能够在面对各种故障时继续运行作业。这包括了对 JobManager 的故障进行处理,因为它是 Flink 集群的关键协调节点。以下是 Flink 高可用性的关键组件和策略:•多个 JobManager: 运行多个 JobManager 实例以提供高可用性。只有一个 JobManager 是领导者(Leader),负责作业的调度和协调,而其他的 JobManager 作为备用(Standby)处于热备状态。•ZooKeeper 协调: Flink 通常与 Apache ZooKeeper 配合使用来实现高可用性。ZooKeeper 跟踪哪个 JobManager 是当前的领导者,并在领导者失效时选举新的领导者。
点赞 0
评论 0
全部评论
推荐
最新
楼层
还没有回复哦~
相关推荐
03-20 18:01
大连理工大学 VB
2025年毕业生达到1222万,现在选择出海是不是好选择?
最近网上说2025届毕业生人数预计突破1222万……不敢想这样的情况怎么才好就业,去年都已经卷成“诸神黄昏”了,往后就业真的只会更离谱。我学长去年投了200多份简历才勉强上岸,今年他们公司校招HC直接砍半了。身边倒是也有毕业就出海工作的,有个学姐毕业后进了某手机大厂的海外市场部,据说薪资比国内同岗高蛮多的;还有去了非洲做新能源项目,虽然条件艰苦,但给的补贴也挺多的。但说实话,出海真的适合所有人吗?语言壁垒、文化差异、安全问题、回国后的职业衔接……随便一个都可能劝退我。现在纠结的点是:国内卷不动,海外又像开盲盒。有没有人能讲讲,现在真的很迷茫……
伤心结疤:
先评估自己能否接受长期漂泊,再决定是否赌一把。
点赞
评论
收藏
分享
昨天 14:56
成都理工大学 Java
米哈游26暑期进度阻塞
鼠鼠很早就投了米哈游暑期游戏服务器开发岗,3.8的笔试也做了,战绩2.2/3,但是进度一直卡在"测试中",发邮件得到回复是"已与相关部门同事协调",然并卵。 哈基米,你小子还是这么高傲啊,小保底歪我也不说了,一个实习岗也这么婆婆妈妈不痛快,要挂我快点挂我将继续保持对哈基米的制裁,保持0氪金的战绩
投递米哈游等公司10个岗位 >
点赞
评论
收藏
分享
03-20 10:05
已编辑
浙江大学 嵌入式软件工程师
嵌入式面经第三弹:腾讯、科大讯飞、阳光电源、蔚来
本篇涉及的所有问题概要:大家可以试试在看参考答案前,提前尝试解答,以便明确自身知识点的不足部分!想进大厂做嵌入式?想一次性拿下华为、博世、理想、韶音等20+公司的面试?这份超全嵌入式面经就是你的制胜法宝!提前模拟来练习这些问题,面试不再慌!剩下内容都在👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇嵌入式面经第三弹:(嵌入式面经)第11章 20+公司面经杂谈(三):腾讯、科大讯飞、阳光电源、蔚来1.用过交叉编译器吗,简单介绍一下?2.说一下memcpy()和strcpy()的区别?3.你写代码时用过多条件if else if else吗,...
嵌入式笔面经分享
嵌入式转岗的难度怎么样
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
收藏
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
拒绝焦虑,从26暑期实习er做起!
4.8W
2
...
27届java选手如何破局?
3.5W
3
...
美团优选暑期后端一面
7299
4
...
生活有感
6357
5
...
借钱后续:还我了但是过了几天又问我借钱了🤦♀️
6039
6
...
26届阿里云暑期实习Java开发一面面经
5152
7
...
如何让HR对你一见钟情?
4691
8
...
每个人都应该在北京生活四年
4361
9
...
简历如何写才能事半功倍?
4238
10
...
美团一面
4074
创作者周榜
更多
正在热议
更多
#
实习要如何选择和准备?
#
8014次浏览
222人参与
#
正在实习的你,几点下班
#
97889次浏览
705人参与
#
携程求职进展汇总
#
202190次浏览
1701人参与
#
美团求职进展汇总
#
1618125次浏览
14583人参与
#
面试等了一周没回复,还有戏吗
#
97382次浏览
890人参与
#
字节求职进展汇总
#
706029次浏览
7165人参与
#
面试被问第一学历差时该怎么回答
#
103756次浏览
657人参与
#
中广核工作体验
#
10720次浏览
50人参与
#
蚂蚁集团工作体验
#
9207次浏览
67人参与
#
科大讯飞工作体验
#
15523次浏览
46人参与
#
满分简历要如何准备?
#
14064次浏览
270人参与
#
稳定和高薪机械人更看重哪个?
#
421442次浏览
5293人参与
#
金蝶求职进展汇总
#
39617次浏览
226人参与
#
牛友打假中心
#
36152次浏览
2307人参与
#
我想去国央企的原因
#
52943次浏览
319人参与
#
讲讲我的真实离职原因
#
32839次浏览
621人参与
#
通信硬件2023笔面经
#
30355次浏览
234人参与
#
听到哪句话就代表面试稳了or挂了?
#
120520次浏览
1091人参与
#
当下环境,你会继续卷互联网,还是看其他行业机会
#
86952次浏览
626人参与
#
用表情包形容我的2023
#
6717次浏览
46人参与
#
工作两年想退休了
#
98140次浏览
1030人参与
牛客网
牛客企业服务