2019-07-24 17:51 已编辑门头沟学院 C++

关注

Windows10安装Hadoop3.0.0（补充了一些内容，提供了安装包）

参考 https://blog.csdn.net/songhaifengshuaige/article/details/79575308

准备工作

1.下载hadoop3.0.0的压缩包，我有压缩包就放在我的csdn上了，bin也是更新过的，不用再更新了。

链接：https://pan.baidu.com/s/14HjD8qLyyfcscxTlsCIy3w
提取码：e432
（这个是我自己加的百度云链接，与参考的链接作者无关）

2.解压缩到D: 盘（这里必须一致，不然下面的就没意义了）

3、配置环境变量:

添加HADOOP_HOME配置：

添加HADOOP_SUER_NAME

在Path中添加如下：

4、Hadoop需要依赖JDK，考虑其路径中不能有空格，故直接安装如下目录：

Hadoop配置：

1、修改D:/hadoop-3.0.0/etc/hadoop/core-site.xml配置:

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

2、修改D:/hadoop-3.0.0/etc/hadoop/mapred-site.xml配置:

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

3、在D:/hadoop-3.0.0目录下创建data目录，作为数据存储路径：

在D:/hadoop-3.0.0/data目录下创建datanode目录；

在D:/hadoop-3.0.0/data目录下创建namenode目录；

4、修改D:/hadoop-3.0.0/etc/hadoop/hdfs-site.xml配置:

<configuration>
   
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
   <property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/D:/hadoop-3.0.0/data/namenode</value>
</property>
<property>
       <name>fs.checkpoint.dir</name>
       <value>/D:/hadoop-3.0.0/data/snn</value>
   </property>
   <property>
       <name>fs.checkpoint.edits.dir</name>
       <value>/D:/hadoop-3.0.0/data/snn</value>
   </property>
   <property>
<name>dfs.datanode.data.dir</name>
<value>/D:/hadoop-3.0.0/data/datanode</value>
</property>
</configuration>

5、修改D:/hadoop-3.0.0/etc/hadoop/yarn-site.xml配置:

<configuration>

   <property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
<property>
   <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
6、修改D:/hadoop-3.0.0/etc/hadoop/hadoop-env.cmd配置

找到"set JAVA_HOME=%JAVA_HOME%"替换为"set JAVA_HOME=D:\hadoop-3.0.0\jdk1.8.0_151"

至此配置完成.

启动服务

1、D:\hadoop-3.0.0\bin> hdfs namenode -format

2、通过start-all.cmd启动服务： D:\hadoop-3.0.0\sbin\start-all.cmd

3、此时可以看到同时启动了如下4个服务：

Hadoop Namenode

Hadoop datanode

YARN Resourc Manager

YARN Node Manager

HDFS应用

1、通过http://127.0.0.1:8088/即可查看集群所有节点状态：

2、访问http://localhost:9870/即可查看文件管理页面：

进入文件管理页面：

创建目录：

上传文件

上传成功

在上传的时候出现 “Couldn't find datanode to write file. Forbidden” 错误时，是datanode没有启动成功。

输入jps发现没有datanode线程。
现给出原因和解决方案

原因

当我们使用hadoop namenode -format格式化namenode时，会在namenode数据文件夹（这个文件夹为自己配置文件中dfs.name.dir的路径）中保存一个current/VERSION文件，记录clusterID，datanode中保存的current/VERSION文件中的clustreID的值是上一次格式化保存的clusterID，这样，datanode和namenode之间的ID不一致。

解决方法

如果dfs文件中有重要的数据，那么在dfs/name目录下找到一个current/VERSION文件，记录clusterID并复制。然后dfs/data目录下找到一个current/VERSION文件，将其中clustreID的值替换成刚刚复制的clusterID的值即可；