大数据centos7+hadoop2.7.1伪分布式集群虚拟机镜像
大数据学习hadoop环境安装过程布坑无数, 首先个人电脑配置不行,就挂一半了,虚拟机卡到不行;再者安装环境和hadoop、jdk版本切合十分紧密。安装过程比较耗时,网上千篇一律的安装教程,看似很有诚意,其实安装下来多多少少还是各种问题,搞不好一天都在安装这环境!
现在下载我的镜像,把ip地址改改,直接用,要加salve直接再克隆加个同局域网IP地址,master能无密码ssh即可,还请各位点赞加个关注!!!
直接挂载镜像开机即可,本地虚拟网卡ip地址改为192.168.6.1/24
网关改为192.168.6.2
链接:https://pan.baidu.com/s/1ZVcFPYmWZuFBlS4VMmmNEA
提取码:253z
启动Hadoop集群
格式化文件系统
格式化命令如下,该操作需要在HadoopMaster节点上执行:
[lyu@master ~]$ hdfs namenode -format
启动Hadoop
使用start-all.sh启动Hadoop集群,首先进入Hadoop安装主目录,然后执行启动命令:
[lyu@master ~]$ cd ~/hadoop-2.7.1
[lyu@master hadoop-2.7.1]$ sbin/start-all.sh
执行命令后,提示出入yes/no时,输入yes。
查看进程是否启动
在HadoopMaster的终端执行jps命令,在打印结果中会看到4个进程,分别是ResourceManager、Jps、NameNode和SecondaryNameNode,如下图所示。如果出现了这4个进程表示主节点进程启动成功。
[lyu@master hadoop-2.7.1]$ jps
65877 SecondaryNameNode
69698 Jps
66042 ResourceManager
65669 NameNode
[lyu@master hadoop-2.7.1]$
再看看从节点
[lyu@slave ~]$ jps
73052 DataNode
77455 Jps
73176 NodeManager
[lyu@slave ~]$
在HadoopSlave的终端执行jps命令,在打印结果中会看到3个进程,分别是NodeManager、DataNode和Jps,如下图所示。如果出现了这3个进程表示从节点进程启动成功。
Web UI查看集群是否成功启动
在HadoopMaster上启动Firefox浏览器,在浏览器地址栏中输入输入http://master:50070/,检查 namenode 和 datanode 是否正常。UI页面如下图所示。
在HadoopMaster上启动Firefox浏览器,在浏览器地址栏中输入输入http://master:18088/,检查 Yarn是否正常,页面如下图所示。
运行PI实例检查集群是否成功
进入Hadoop安装主目录,执行下面的命令:
[lyu@master~]$ hadoop jar ~/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar pi 10 10
Job Finished in 27.266 seconds
Estimated value of Pi is 3.20000000000000000000
[lyu@master hadoop-2.7.1]$
~~
成功!!
~~