Hadoop集群任务分派

Hadoop分布式开发中集群的任务的分派，怎样为相应的机器分配相应的任务进行分布式运算呢

全部评论

推荐最新楼层

雨师

美团_数据研发

partition？

点赞回复分享

发布于 2017-12-13 15:42

墨斗鱼

香港中文大学产品经理

兄弟我虽然对hadoop只有理论了解，但是对MongoDB做过存储的分布复制集设计与测试。你这个问题是“怎样为相应的机器分配相应的任务进行分布式运算呢” 你有几台机器（服务器）？进行什么运算（是一分多，还是分别做不同的）？

点赞回复分享

发布于 2017-12-13 16:55

墨斗鱼

香港中文大学产品经理

我看了你的评论大概懂了，我是个渣渣，只能提点想法，zookeeper一般是负责集群之间的通信的吧，你的意思是不是这个？但是至于zookeeper怎么分的，应该有他自己内部的算法，你需要做的应该就是把你的算法替换吧。我说的是基于我zookeeper ➕HDFS ➕Hbase做存储的基础，我觉得应该相同吧

点赞回复分享

发布于 2017-12-13 17:05

而今迈步从头越

福建师范大学 Java

yarn分配计算资源来分配任务，zookeeper通过负载均衡和配置管理帮助

点赞回复分享

发布于 2017-12-13 19:36

02-10 15:53

吉林大学珠海学院薪资福利

非技术面试记录

点赞评论收藏

02-10 09:49

已编辑

四川大学 Java

Java SE

注意：括号中为八股在每次面试中出现的概率面向对象编程有哪些特性？(371/1759=21.1%)面向对象编程（Object-Oriented Programming，简称 OOP）是一种以对象为核心的编程范式，它通过模拟现实世界中的事物及其关系来组织代码。OOP 具有三大核心特性：封装、继承、多态。接下来我会逐一详细说明这些特性。第一，封装（Encapsulation）。 封装是指将数据（属性）和行为（方法）捆绑在一起，并对外隐藏对象的内部实现细节。通过访问修饰符（如 private、protected 和 public），我们可以控制哪些部分是对外可见的，哪些是内部私有的。这种机制提高了代...

【神品八股】1759篇面...

点赞评论收藏

02-08 20:56

已编辑

南京工业大学 Java

年过完了，java选手继续尝试一下春招，简历求各位佬猛猛拷打，欢迎锐评

#Java选手#  #简历被挂麻了，求建议#

在等offer的比尔很洒脱：我也是在实习，项目先不说，感觉有点点小熟悉，但是我有点疑问，这第一个实习，公司真的让实习生去部署搭建和引入mq之类的吗，是不是有点过于信任了,我实习过的两个公司都是人家正式早搭好了，根本摸不到部署搭建的

简历被挂麻了，求建议

点赞评论收藏

02-02 20:25

门头沟学院 Java

Java八股

请问这些方法名要记吗？好多啊

数学转码崽：八股文也算是前人总结的精华，但是因为全是结果导向，你光背不去理解它背后的深层原理和这样做的原因，反而忽略了程序员最该重视的过程导向。推荐你不会的就去多问ai，比如我当时背的时候，concurrenthashmap底层原理常见八股网站都会讲，但是我不理解为什么它去用synchronize锁节点，为什么不用reentrantlock去锁节点。面试官问我你为什么觉得synchronize在这个场景下性能更好呢？虽然面试官可能也不确定清楚，但是你可以尝试给他解答，让他看见你的思考，这才是最重要的，毕竟你没实习，你的项目你也无法证明是你自己思考的产物，那就在别的地方体现你的能力

点赞评论收藏