番茄炒地球 level
获赞
21
粉丝
3
关注
9
看过 TA
180
门头沟学院
2025
C++
IP属地:香港
暂未填写个人简介
私信
关注
2023-07-21 00:44
门头沟学院 C++
D724_主页内推:放一些我的笔记: 思路 数据结构: 在服务端维护未完成的filename,reduceIndex;已完成map任务的计数器、已完成reduce任务的计数器;map任务和reduce任务的状态。这里的slice结构用一个mutex来保护,计数器用go的atomic包来保护。任务状态用sync.Map来保护。 过程: 在worker完成一个map或reduce任务后,发送一个RPC调用来告知coordinator任务已完成。coordinator需要等待worker 10秒,如果10秒完不成任务则把刚刚分配给该worker的任务重新入队。 坑: 这里有一个注意的点,如果某任务的状态为已完成,则后续的请求不能再将其修改为其他状态,这样能避免重复分配某个已完成的任务造成资源的浪费。举一个场景:worker A计算某个map任务,但计算过程中出现长时间卡顿导致coordinator认为其超时而将这个map任务分配给worker B;worker A恢复后完成了这个map任务,发送了RPC告知coordinator任务的完成,此时任务为完成状态。后续worker B超时,如果coordinator又修改这个任务的状态,那么会导致coordinator将这个任务再分配给worker C,导致了worker C资源的浪费。
0 点赞 评论 收藏
分享
关注他的用户也关注了:
牛客网
牛客企业服务