Hadoop安装
一、单机(伪分布式)
1.1、环境
系统环境为Centos作为系统环境,这里不再叙述系统的安***r>基于原生Hadoop 2 ,可以适合任何Hadoop 2.x.y版本,例如 Hadoop 2.7.1, Hadoop 2.4.1等。
Hadoop运行环境搭建
虚拟机网络模式设置为NAT
修改为静态ip
在终端命令窗口中输入
[root@hadoop101 /]#vim /etc/udev/rules.d/70-persistent-net.rules
进入如下页面,删除 eth0 该行;将 eth1 修改为 eth0,同时复制物理 ip 地址
修改IP地址
[root@hadoop101 /]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
需要修改的内容有6项:
HWADDR=
IPADDR=
GATEWAY=
ONBOOT=yes
BOOTPROTO=static
DNS1=8.8.8.8
执行:
[root@hadoop101 /]# service network restart
如果报错,reboot,重启虚拟机。
修改主机名
修改 linux 的 hosts 文件
(1)进入Linux系统查看本机的主机名。通过 hostname 命令查看。
[root@hadoop100 /]# hostname hadoop100
(2)如果感觉此主机名不合适,我们可以进行修改。通过编辑/etc/sysconfig/network文件。
[root@hadoop100~]# vi /etc/sysconfig/network 修改文件中主机名称 NETWORKING=yes NETWORKING_IPV6=no HOSTNAME= hadoop101 注意:主机名称不要有“_”下划线
(3)打开此文件后,可以看到主机名。修改此主机名为我们想要修改的主机名
hadoop101
(4)保存退出。
(5)打开/etc/hosts
[root@hadoop100 ~]# vim /etc/hosts
添加如下内容
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
(6)并重启设备,重启后,查看主机名,已经修改成功
2)修改 window10 的 hosts 文件
(1)进入 C:\Windows\System32\drivers\etc 路径
(2)打开 hosts 文件并添加如下内容
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
关闭防火墙
1)查看防火墙开机启动状态
[root@hadoop101 ~]# chkconfig iptables --list
2)关闭防火墙
[root@hadoop101 ~]# chkconfig iptables off
在 opt 目录下创建文件
1)创建 user 用户
在 root 用户里面执行如下操作
[root@hadoop101 opt]# adduser user [root@hadoop101 opt]# passwd user 更改用户 test 的密码 。 新的 密码: 无效的密码: 它没有包含足够的不同字符 无效的密码: 是回文 重新输入新的 密码: passwd: 所有的身份验证令牌已经成功更新。
2)设置 user 用户具有 root 权限
修改 /etc/sudoers 文件,找到下面一行,在 root 下面添加一行,如下所示:
[root@hadoop101 user]# vi /etc/sudoers ## Allow root to run any commands anywhere root ALL=(ALL) ALL user ALL=(ALL) ALL
修改完毕,现在可以用 user 帐号登录,然后用命令 su - ,即可获得 root 权限进行
操作。
3)在/opt 目录下创建文件夹
(1)在 root 用户下创建 module、software 文件夹
[root@hadoop101 opt]# mkdir module [root@hadoop101 opt]# mkdir software
(2)修改 module、software 文件夹的所有者
[root@hadoop101 opt]# chown user:user module [root@hadoop101 opt]# chown user:user sofrware [root@hadoop101 opt]# ls -al 总用量 16 drwxr-xr-x. 6 root root 4096 4 月 24 09:07 . dr-xr-xr-x. 23 root root 4096 4 月 24 08:52 .. drwxr-xr-x. 4 user user 4096 4 月 23 16:26 module drwxr-xr-x. 2 user user 4096 4 月 23 16:25 software
安装 jdk
1)卸载现有 jdk
(1)查询是否安装 java 软件:
[root@hadoop101 opt]# rpm -qa|grep java
(2)如果安装的版本低于 1.7,卸载该 jdk
[root@hadoop101 opt]# rpm -e 软件包
2)用 SecureCRT 工具将 jdk、Hadoop-2.7.2.tar.gz 导入到 opt 目录下面的 software 文件夹下面
3)在 linux 系统下的 opt 目录中查看软件包是否导入成功
[root@hadoop101 opt]# cd software/ [root@hadoop101 software]# ls hadoop-2.7.2.tar.gz jdk-8u144-linux-x64.tar.gz
4)解压 jdk 到/opt/module 目录下
[root@hadoop101 software]# tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
5)配置 jdk 环境变量
(1)先获取 jdk 路径:
[root@hadoop101 jdk1.8.0_144]# pwd /opt/module/jdk1.8.0_144
(2)打开/etc/profile 文件:
[root@hadoop101 jdk1.8.0_144]# vi /etc/profile
在 profie 文件末尾添加 jdk 路径:
##JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_144 export PATH=$PATH:$JAVA_HOME/bin
(3)保存后退出:
:wq
(4)让修改后的文件生效:
[root@hadoop101 jdk1.8.0_144]# source /etc/profile
(5)重启(如果 java -version 可以用就不用重启):
代码块
6)测试 jdk 安装成功
[root@hadoop101 jdk1.8.0_144]# java -version java version "1.8.0_144"
安装 Hadoop
1)进入到 Hadoop 安装包路径下:
[root@hadoop101 ~]# cd /opt/software/
2)解压安装文件到/opt/module 下面
[root@hadoop101 software]# tar -zxf hadoop-2.7.2.tar.gz -C /opt/module/
3)查看是否解压成功
[root@hadoop101 software]# ls /opt/module/ hadoop-2.7.2
4)在/opt/module/hadoop-2.7.2/etc/hadoop 路径下配置 hadoop-env.sh
(1)Linux 系统中获取 jdk 的安装路径:
[root@hadoop101 jdk1.8.0_144]# echo $JAVA_HOME /opt/module/jdk1.8.0_144
(2)修改 hadoop-env.sh 文件中 JAVA_HOME 路径:
[root@hadoop101 hadoop]# vi hadoop-env.sh
修改 JAVA_HOME 如下 :
export JAVA_HOME=/opt/module/jdk1.8.0_144
5)将 hadoop 添加到环境变量
(1)获取 hadoop 安装路径:
[root@ hadoop101 hadoop-2.7.2]# pwd
/opt/module/hadoop-2.7.2
(2)打开/etc/profile 文件:
[root@ hadoop101 hadoop-2.7.2]# vi /etc/profile
在 profie 文件末尾添加 jdk 路径:(shitf+g)
##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=HADOOP_HOME/bin
export PATH=HADOOP_HOME/sbin
(3)保存后退出:
:wq
(4)让修改后的文件生效:
[root@ hadoop101 hadoop-2.7.2]# source /etc/profile
(5)重启(如果 hadoop 命令不能用再重启):
[root@ hadoop101 hadoop-2.7.2]# sync [root@ hadoop101 hadoop-2.7.2]# reboot
6)修改/opt 目录下的所有文件所有者为 user
[root@hadoop101 opt]# chown user:user -R /opt/
7)切换到 user 用户
[root@hadoop101 opt]# su user