配置hadoop环境(三)

不知道为什么我的vim突然不能用了,我先装一下vim(切换到root用户下安装)
yum -y install vim*

出现complete表示完成安装!

接下来配置hadoop环境,每一个步骤都很关键,不能错了!!!
(1)关闭selinux vim /etc/selinux/config
SELINUX=disabled

(2)切换到hadoop用户,配置免密登陆。
cd 进入hadoop用户的目录
ssh-keygen -t rsa [输入完后连按4个回车]

ssh 主机名 [yes,输入hadoop用户的密码]
ssh-copy-id 主机名 [输入hadoop用户的密码]

3.解压软件包到/opt/module(这里需要xftp工具将这三个压缩包上传到hadoop的家目录下)
cd
tar -zxvf ./jdk-8u202-linux-x64.tar.gz -C /opt/module/
tar -zxvf ./hadoop-2.10.0.tar.gz -C /opt/module/
tar -zxvf ./apache-hive-3.1.1-bin.tar.gz -C /opt/module/

4.编辑环境变量(先进入家目录,隐藏文件以.开头)
vim ~/.bash_profile
在文件末尾添加

5.重新加载该文件,使环境变量生效
source ~/.bash_profile

如何使用以下两个命令检查java和hadoop的版本
java -version
hadoop version

6.修改hadoop的配置文件
cd /opt/module/hadoop-2.10.0/etc/hadoop
(1)vim ./hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_202

(2)vim ./mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_202

(3)vim ./yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_202

(4)vim ./core-site.xml

(5)vim ./hdfs-site.xml

(6)先复制一份,再编辑
cp ./mapred-site.xml.template ./mapred-site.xml
vim ./mapred-site.xml

(7).vim ./yarn-site.xml

(8)vim ./slaves
将里面的localhost修改为你的主机名

7.格式化hadoop集群
在XX主机名这台机器上执行:hdfs namenode -format

8.启动/关闭hadoop集群
执行:start-all.sh
执行:stop-all.sh

使用jps来检查

出现这6个就表示安装成功了。(我哭,昨晚搞了一个晚上都没有搞成功)
9.验证集群
192.168.5.XXX:50070 # 访问Hadoop默认的地址

192.168.5.XXXX:8088 # 访问apache
9.Hive的安装
hive --version
在hdfs上创建hive数据存放目录
hadoop fs -mkdir /tmp
hadoop fs -mkdir -p /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse

在hive的软件目录下执行初始化命令 (需要进入hive目录 cd /opt/module/apache-hive-3.1.1-bin)
bin/schematool -dbType derby -initSchema

初始化成功后就会在hive的安装目录下生成derby.log日志文件和metastore_db元数据库
使用ls查看下

10.进入hive检查是否是真的成功了。(在前面那步的基础上选择bin/hive)

出现这个就表示成功了。
太感动了,一边配置,一边把步骤记下来,还是这种方法有效,昨晚搞了一晚上都没有成功,头发都要掉光了。。。

一个小白,安装步骤是网上资源,自己安装后再总结的,如有侵权,请联系我删除,谢谢!

全部评论

相关推荐

10-28 11:04
已编辑
美团_后端实习生(实习员工)
一个2人:我说几个点吧,你的实习经历写的让人觉得毫无含金量,你没有挖掘你需求里的 亮点, 让人觉得你不仅打杂还摆烂。然后你的简历太长了🤣你这个实习经历看完,估计没几个人愿意接着看下去, sdk, 索引这种东西单拎出来说太顶真了兄弟,好好优化下简历吧
点赞 评论 收藏
分享
头像
11-21 11:39
四川大学 Java
是红鸢啊:忘了还没结束,还有字节的5k 违约金
点赞 评论 收藏
分享
点赞 收藏 评论
分享
牛客网
牛客企业服务