【机器学习特训营作业必看】如何将Hadoop程序编译打包?
首先放一个视频教程,可以快速知道如何操作。
下面是图文教程,来自牛客网友@不锈钢老鼠,介绍了详细提交过程,包括代码的编译和打包。参加我牛机器学习课程的同学请参考下。
工具/原料
1、maven
2、jdk
方法/步骤
1、首先到牛客网机器学习课程界面http://www.nowcoder.com/live/1(仅报名用户可见),进入课后练习,然后点高速下载。下载到本地的是一个压缩包,里面是一个maven项目。
2、如果你电脑上没有maven,或者还不知道maven是啥,请到Maven官网 下载,我下载的是最新的3.3.9版本。
3、接下来要配置Maven,也比较简单,在系统环境变量中添加MAVEN_HOME项,值为Maven解压的目录...\...\apache-maven-3.3.9,然后在path中添加项 %MAVEN_HOME%\bin; 就OK了,然后测试一下,cmd输入mvn -v按回车,效果如图表示maven配置成功。如果上一步出问题,可能是你还没有装JDK,这个就不多说了网上多得是请自行百度。(小编注:不懂maven的同学可以看一下这篇 几个maven常用的命令)
4、接下来回到刚从牛客网下好的压缩包,解压后是一个maven项目,因为这是一个实例程序,代码我们就不用修改了,直接用maven编译就了。打开cmd,cd 指令找到当前目录下,然后输入指令mvn compile,maven就会自动过找当前目录下的项目并进行编译。
5、编译完成之后是package,就是把class文件打包成jar文件,这样才能上传到hadoop集群上运行。命令 mvn package
6、打包过程可能会比较漫长,一直在downloading,最终打包完成,这时到刚才项目目录下会发现有个target文件夹,里面有个jar文件,就是我们刚刚打包生成的。
7、最后一步就是把jar文件提交到作业页面上。上传附件后点击运行,就会看到系统输出的log,在等待一会,就可以下载运算的结果了。
8、运算结果是纯文本格式的,有两个,都没有后缀名,我是用记事本打开的,效果如下。入门结束,以后还是得自己改map reduce的代码啊!