安装Hadoop之前首先要从官网上下载相应的Hadoop安装包，用ftp工具传入unbantu。 一、传入成功后，打开CRT 连接上相应的虚拟机，进入ftp目录查看是否有Hadoop压缩包； # cd /srv/ftp //进入ftp目录 # ll //查看目录的文件  已有压缩包。 二、如果你之前进行过修改主机名的操作，需要先做主机名与IP地址的映射。 # hostname //查看主机名# ifconfig //查看IP地址# ...

  如果更改过主机名，在配置SSH之前需要IP与主机名映射，具体映射步骤在《安装Hadoop以及配置Hadoop的基础应用环境》 一、生成SSH秘钥： # cd ~ //首先进入~目录 # ll //查看目录里的内容，如果有.ssh 文件，请先删除，删除命令：rm 文件名 .... //显示文件 # ssh-keygen -t rsa /...

开始时间   2020-04-01   19:01:00 1、超级区块：记录此文件系统的整体信息，包括indoe与数据区块的总量、使用量、剩余量、以及文件系统的格式与相关信息等； 今晚有点特殊情况  请谅解！   我会持续更新  

开始时间：2020-04-03      17:27:24   1、压缩的概念：源文件其实有很多的空间存在，并不是完全填满的，而压缩的技术就是将这些空间填满，以让整个文件占用的容量下降。不过这些压缩过的文件无法被使用，要使用的话必须还原回来未压缩前的模样，这就是解压缩。 2、压缩后与与压缩的文件所占用的磁盘空间大小称为压缩比。 3、常见的压缩文件扩展名： *.Z //compress程序压缩的文件；(已经不流行了)*.zip //zip程序压缩的文件；*.gz //gzip程序压缩的文...

私下里，有不少读者问我：“二哥，如何才能写出一份专业的技术简历呢？我总感觉自己写的简历太烂了，所以投了无数份，都石沉大海了。”说实话，我自己好多年没有写过简历了，但我认识的一个同行，他在阿里，给我说了一些他当年写简历的方法论，我感觉太牛逼了，实在是忍不住，就分享了出来，希望能够帮助到你。 01、简历的本质 作为简历的撰写者，你必须要搞清楚一点，简历的本质是什么，它就是为了来销售你的价值主张的。往深处说，简历就是一块敲门砖，它通过白纸黑字的方式告诉招聘方，我是谁，我想来贵公司担任什么职位，我能够完成什么样的工作，我能够为公司带来什么价值，我期望的薪资是多少。 然后，把招聘方看得口水直流，哎呀...

开始时间： 2020-04-06   11:15:53 1、为啥非要学会vim编辑器呢？   因为所有的Unix-like 系统都会内置vi文本编辑器，其他的编辑器不一定会存在；   很多软件的编辑接口会主动地调动vi；   vim具有程序编辑的能力，可以主动地以字体颜色辨别语法的正确性，方便程序的设计；   因程序简单，编辑速度相当快速。 2、vim的一般命令模式（一共有三种）： vim 文件名 //如果文件名存在就是打开该文件，若文件不存在就是创建该文件并打开。   进入vim编辑器后，可以用[上下左右]按键来移动光...

一、配置文件（core-site.xml   hdfs-site.xml  yarn-site.xml  ）   上述三个文件夹均在此目录下： cd /usr/local/hadoop/etc/hadoop    把配置信息里面的所有hadoopm换成自己的主机名Hadoop core-site.xml 配置信息：<configuration> <property> <name>hadoop.tmp.dir</name> <value>/root/hadoop_tmp</value...

2020年05月07日 17:38 1.要想让硬件知道你指定的命令，我们必须通过Shell将我们输入的命令与内核沟通。 2.Linux系统默认的shell就是bash在系统中的地址为/bin/bash。 3.bash shell的最常用的功能： （1）、历史命令（history） ~/.bash_history记录的是前一次登录以前所执行过的命令，而至于这次登录所执行的命令都被缓存在内存中，当你成功的注销系统后，该命令才会记录到bash_history当中。 （2） 、命令与文件补全功能 （Tab 按键的好处） [Tab] 接在一串命令的第一个字的后面，则为命令补全。 [Tab] 接在一串命...

  一、首先默认有一台namenode,三台datanode，四台虚拟机的配置环境一样，jdk版本一样，hadoop一样,分配好ip地址，做好IP地址与主机名的映射（所有虚拟机的映射都要做好）。、 示例：    二、进行四台虚拟机的相关配置； 1 # vim /usr/local/hadoop/etc/hadoop/core-site.xml     //打开配置文件  输入如下代码（里面的namenode01是我的namenode主机名，四台都是namenode的主机名）：     三、只对namenode格式化 ...

主要的配置文件在 vim /usr/local/hadoop/etc/hadoop/slaves里面，将里面的localhost删除，添加上自己的datanode的主机名，之前配置过免密登录，现在就不用配了。 启动集群的命令为：start-dfs.sh 停止集群的命令为：stop-dfs.sh 启动之后里面会有0.0.0.0这个语句，修改vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml配置文件： 如图   里面的namenode01是namenode的主机名  配置好以后停止dfs集群服务 之后再开启dfs集群服务，就没有0.0.0....

需要本地新建一个文件，之后运用hadoop fs  -put 文件名 /要存储的位置   查看HDFS的内容：     三台datnode的数据块存放的位置： 在HDFS中创建hadoop目录命令：hadoop fs -mkdir /hadoop 上传文件到hadoop目录下：hadoop fs -put 文件名 /hadoop 想要递归查看HDFS中的所有文件命令：hadoop fs -ls -R / 查看HDFS中的文件夹的大小：hadoop fs -dus / 或者 hadoop fs -du -s / 从HDFS复制到本地：hadoop fs -get HDFS...

在这几天，遇到一个Tomcat启动闪退的问题，通过查阅各种资料，算是完美解决。在此分享给朋友们。         首先，确定你的问题在哪里         1.查询错误：win+R 输入cmd，进入一般处理程序。通过cd 找到你Tomcat的bin文件夹，在bin下面输入startup.bat run运行，运行后，如果如（图1）提示，缺少JAVA_HOME 或者缺少JRE_HOME（如图所示）。说明你的环境变量不对，或者是缺少环境变量，那么配置jdk和jre环境，方法（参照2.解决方案）;如果如（图2）所示则需要配置catalina_home环境变量，方法（参照3.解决方案） 在这几天...

HDFS集群的任意一台的hadoop压缩包拷贝到客户端，通过ftp拷贝到客户端 需要本地新建一个文件，之后运用hadoop fs  -put 文件名 /要存储的位置    例：hadoop fs -put /srv/ftp/hadoop.tar / 查看HDFS的内容：    客户端的ip地址与主机名的映射：   三台datnode的数据块存放的位置：   在HDFS中创建hadoop目录命令：hadoop fs -mkdir /hadoop 上传文件到hadoop目录下：hadoop fs -put 文件名(可以同时上传多个文件) /hadoop 想要递归查看HDFS...

随笔- 26  文章- 3  评论- 0  正则表达式 （用于查询数据） 积累   2020-06-08  16:52:13 1、正则表达式的特殊符号：[:alnum:]代表英文大小写字母及数字             [:alpha:]代表英文大小写字母             [:blank:]代表空格和 tab 键             [:cntrl:]键盘上的控制按键，如 CR,LF,TAB,DEL             [:digit:]代表数字 [:graph:]代表空白字符以外的其他             [:lower:]小写字母          ...