大数据centos7+hadoop2.7.1伪分布式集群虚拟机镜像

大数据学习hadoop环境安装过程布坑无数, 首先个人电脑配置不行,就挂一半了,虚拟机卡到不行;再者安装环境和hadoop、jdk版本切合十分紧密。安装过程比较耗时,网上千篇一律的安装教程,看似很有诚意,其实安装下来多多少少还是各种问题,搞不好一天都在安装这环境!

现在下载我的镜像,把ip地址改改,直接用,要加salve直接再克隆加个同局域网IP地址,master能无密码ssh即可,还请各位点赞加个关注!!!

直接挂载镜像开机即可,本地虚拟网卡ip地址改为192.168.6.1/24
网关改为192.168.6.2

链接:https://pan.baidu.com/s/1ZVcFPYmWZuFBlS4VMmmNEA
提取码:253z

启动Hadoop集群

格式化文件系统

格式化命令如下,该操作需要在HadoopMaster节点上执行:

[lyu@master ~]$ hdfs namenode -format

启动Hadoop

使用start-all.sh启动Hadoop集群,首先进入Hadoop安装主目录,然后执行启动命令:

[lyu@master ~]$ cd ~/hadoop-2.7.1

[lyu@master hadoop-2.7.1]$ sbin/start-all.sh

执行命令后,提示出入yes/no时,输入yes。

查看进程是否启动

在HadoopMaster的终端执行jps命令,在打印结果中会看到4个进程,分别是ResourceManager、Jps、NameNode和SecondaryNameNode,如下图所示。如果出现了这4个进程表示主节点进程启动成功。

[lyu@master hadoop-2.7.1]$ jps
65877 SecondaryNameNode
69698 Jps
66042 ResourceManager
65669 NameNode
[lyu@master hadoop-2.7.1]$


再看看从节点
[lyu@slave ~]$ jps
73052 DataNode
77455 Jps
73176 NodeManager
[lyu@slave ~]$


在HadoopSlave的终端执行jps命令,在打印结果中会看到3个进程,分别是NodeManager、DataNode和Jps,如下图所示。如果出现了这3个进程表示从节点进程启动成功。

Web UI查看集群是否成功启动

在HadoopMaster上启动Firefox浏览器,在浏览器地址栏中输入输入http://master:50070/,检查 namenode 和 datanode 是否正常。UI页面如下图所示。

在HadoopMaster上启动Firefox浏览器,在浏览器地址栏中输入输入http://master:18088/,检查 Yarn是否正常,页面如下图所示。

运行PI实例检查集群是否成功

进入Hadoop安装主目录,执行下面的命令:

[lyu@master~]$ hadoop jar ~/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar pi 10 10


Job Finished in 27.266 seconds
Estimated value of Pi is 3.20000000000000000000
[lyu@master hadoop-2.7.1]$

~~

成功!!

~~

全部评论

相关推荐

喜欢走神的孤勇者练习时长两年半:池是池,发是发,我曾池,我现黑
点赞 评论 收藏
分享
11-09 14:54
已编辑
华南农业大学 产品经理
大拿老师:这个简历,连手机号码和照片都没打码,那为什么关键要素求职职位就不写呢? 从上往下看,都没看出自己到底是产品经理的简历,还是电子硬件的简历? 这是一个大问题,当然,更大的问题是实习经历的描述是不对的 不要只是去写实习流程,陈平,怎么去开会?怎么去讨论? 面试问的是你的产品功能点,是怎么设计的?也就是要写项目的亮点,有什么功能?这个功能有什么难处?怎么去解决的? 实习流程大家都一样,没什么优势,也没有提问点,没有提问,你就不得分 另外,你要明确你投的是什么职位,如果投的是产品职位,你的项目经历写的全都是跟产品无关的,那你的简历就没用 你的面试官必然是一个资深的产品经理,他不会去问那些计算机类的编程项目 所以这种四不像的简历,在校招是大忌
点赞 评论 收藏
分享
评论
点赞
收藏
分享
正在热议
# 25届秋招总结 #
439972次浏览 4484人参与
# 春招别灰心,我们一人来一句鼓励 #
41352次浏览 523人参与
# 阿里云管培生offer #
119629次浏览 2219人参与
# 地方国企笔面经互助 #
7914次浏览 18人参与
# 虾皮求职进展汇总 #
113497次浏览 880人参与
# 实习,投递多份简历没人回复怎么办 #
2453683次浏览 34846人参与
# 北方华创开奖 #
107236次浏览 598人参与
# 实习必须要去大厂吗? #
55552次浏览 959人参与
# 同bg的你秋招战况如何? #
75178次浏览 548人参与
# 提前批简历挂麻了怎么办 #
149763次浏览 1976人参与
# 投递实习岗位前的准备 #
1195578次浏览 18546人参与
# 你投递的公司有几家约面了? #
33165次浏览 188人参与
# 双非本科求职如何逆袭 #
661770次浏览 7394人参与
# 机械人春招想让哪家公司来捞你? #
157585次浏览 2267人参与
# 如果公司给你放一天假,你会怎么度过? #
4714次浏览 53人参与
# 如果你有一天可以担任公司的CEO,你会做哪三件事? #
11214次浏览 253人参与
# 发工资后,你做的第一件事是什么 #
12359次浏览 61人参与
# 工作中,努力重要还是选择重要? #
35521次浏览 384人参与
# 参加完秋招的机械人,还参加春招吗? #
20068次浏览 240人参与
# 实习想申请秋招offer,能不能argue薪资 #
39205次浏览 314人参与
# 我的上岸简历长这样 #
451863次浏览 8087人参与
# 非技术岗是怎么找实习的 #
155831次浏览 2120人参与
牛客网
牛客企业服务