2015-05-06 16:17
牛客大学 Java 0 点赞 评论 收藏
分享
net_hare:1.Hadoop
的冗余复制机制,这种机制保证了存放在
HDFS
中的数据的高可靠性和数据的完整一致性。
2.
原来是
64M,Hadoop-2.4.0
中
HDFS
文件块大小默认为
128M
3.Hadoop
中默认的调度器,它先按照作业的优先级高低,再按照到达时间的先后选择被执行的作业(
FIFO
)。
4.
可以分为两层。第一层是最基本的
Java API
,主要有
5
个可编程组件,分别是
InputFormat
、
Mapper
、
Partitioner
、
Reducer
和
OutputFormat
。
Hadoop
自带了很多直接可用的
InputFormat
、
Partitioner
和
OutputFormat
,大部分情况下,用户只需编写
Mapper
和
Reducer
即可。第二层是工具层,位于基本
Java API
之上,主要是为了方便用户编写复杂的
MapReduce
程序和利用其他编程语言增加
MapReduce
计算平台的兼容性而提出来的。在该层中,主要提供了
4
个编程工具包
,
为
JobControl
、
ChainMapper/ChainReducer
、
Hadoop Streaming
、
Hadoop Pipes。
微博昵称:@net_hare
投递百度等公司10个岗位 >
0 点赞 评论 收藏
分享
0 点赞 评论 收藏
分享
牛小妹:沙发!
0 点赞 评论 收藏
分享
关注他的用户也关注了: