【机器学习特训营作业必看】如何将Hadoop程序编译打包?

首先放一个视频教程,可以快速知道如何操作。
下面是图文教程,来自牛客网友@不锈钢老鼠,介绍了详细提交过程,包括代码的编译和打包。参加我牛机器学习课程的同学请参考下。

工具/原料

1、maven
2、jdk

方法/步骤

1、首先到牛客网机器学习课程界面http://www.nowcoder.com/live/1(仅报名用户可见),进入课后练习,然后点高速下载。下载到本地的是一个压缩包,里面是一个maven项目。


2、如果你电脑上没有maven,或者还不知道maven是啥,请到Maven官网 下载,我下载的是最新的3.3.9版本。

3、接下来要配置Maven,也比较简单,在系统环境变量中添加MAVEN_HOME项,值为Maven解压的目录...\...\apache-maven-3.3.9,然后在path中添加项 %MAVEN_HOME%\bin; 就OK了,然后测试一下,cmd输入mvn -v按回车,效果如图表示maven配置成功。如果上一步出问题,可能是你还没有装JDK,这个就不多说了网上多得是请自行百度。(小编注:不懂maven的同学可以看一下这篇 几个maven常用的命令)

4、接下来回到刚从牛客网下好的压缩包,解压后是一个maven项目,因为这是一个实例程序,代码我们就不用修改了,直接用maven编译就了。打开cmd,cd 指令找到当前目录下,然后输入指令mvn compile,maven就会自动过找当前目录下的项目并进行编译。
5、编译完成之后是package,就是把class文件打包成jar文件,这样才能上传到hadoop集群上运行。命令 mvn package 


6、打包过程可能会比较漫长,一直在downloading,最终打包完成,这时到刚才项目目录下会发现有个target文件夹,里面有个jar文件,就是我们刚刚打包生成的。



7、最后一步就是把jar文件提交到作业页面上。上传附件后点击运行,就会看到系统输出的log,在等待一会,就可以下载运算的结果了。

8、运算结果是纯文本格式的,有两个,都没有后缀名,我是用记事本打开的,效果如下。入门结束,以后还是得自己改map reduce的代码啊!


全部评论
要是能来个任何配置maven在eclipse/myeclipse环境的教程就更好了
点赞 回复 分享
发布于 2015-12-07 11:10
再出以一个配置maven在eclipse环境的教程吧,最新版本的eclipse是不是已经包含了maven插件了,还需要再重新配置吗?
点赞 回复 分享
发布于 2015-12-07 15:47
配置路径的时候直接复制安装路径,不要使用文中提到的类似于“%MAVEN_HOME%\bin;”,实践中可能会有问题。另外每一个路径之间用分号隔开。用“mvn -v”检查配置结果时,这个命令中间有个空格
点赞 回复 分享
发布于 2015-12-08 17:12
1、第二次课的第23张PPT说“Mapper会将它们按照key值进行排序”,那么是按照首字母对应的数值从小到大排还是所有字母的数值之和从小到大排? 2、 第24张PPT,排序结果中,“Bye”和“Hello”的list为什么是(1,1)而"Hadoop"和“Word”的list是(2)?其实这四个单词都出现了2次 
点赞 回复 分享
发布于 2015-12-08 18:13
可以不下载eclipse,直接用maven和命令行么
点赞 回复 分享
发布于 2015-12-08 23:05
点赞 回复 分享
发布于 2016-01-06 13:35
我的出现这样的错误  java小白啊
点赞 回复 分享
发布于 2016-01-06 13:36
mvn compile 出现错误
点赞 回复 分享
发布于 2016-01-06 13:36
现在不能上传附件了,啊?
点赞 回复 分享
发布于 2016-07-22 20:25

相关推荐

死在JAVA的王小美:哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈,我也是,让我免了一轮,但是硬气拒绝了
点赞 评论 收藏
分享
威猛的小饼干正在背八股:挂到根本不想整理
点赞 评论 收藏
分享
点赞 收藏 评论
分享
牛客网
牛客企业服务