<span>Spark StandAlone模式和On Yarn模式搭建</span>

Spark StandAlone模式和On Yarn模式搭建

Spark StandAlone模式

上传并解压

tar -zxvf spark-3.0.2-bin-hadoop3.2.tgz -C /data/soft/

修改配置文件

# 进入conf文件夹目录
cd /data/soft/spark-3.0.2-bin-hadoop3.2/conf
  • spark-env.sh
# 修改文件名
mv spark-env.sh.template spark-env.sh
# 修改spark-env.sh
vi spark-env.sh 

export JAVA_HOME=/usr/local/jdk1.8
export SPARK_MASTER_HOST=bigdata01
  • slaves
mv slaves.template slaves
vi slaves

# 配置bigdata02/bigdata03为从节点
bigdata02
bigdata03

分发

scp -r /data/soft/spark-3.0.2-bin-hadoop3.2/ root@bigdata02:/data/soft/

启动集群

sbin/start-all.sh

启动完毕后, 使用jps命令,在主节点bigdata01上可以看到master进程,在从节点bigdata02/bigdata03上可以看到worker进程。

Web UI测试

Spark Web UI http://bigdata01:8080/

测试

./bin/spark-submit  --class org.apache.spark.examples.SparkPi --master spark://bigdata01:7077 examples/jars/spark-examples_2.12-3.0.2.jar 2

停止集群

sbin/stop-all.sh

Spark on Yarn 模式

上传并解压

tar -zxvf spark-3.0.2-bin-hadoop3.2.tgz -C /data/soft/

修改配置文件

# 进入conf文件夹目录
cd /data/soft/spark-3.0.2-bin-hadoop3.2/conf
  • Spark-env.sh
# 修改文件名
mv spark-env.sh.template spark-env.sh
# 修改spark-env.sh
vi spark-env.sh 

export JAVA_HOME=/usr/local/jdk1.8
export HADOOP_CONF_DIR=/data/soft/hadoop-3.2.0/etc/hadoop

测试

  • 提交测试任务
bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster examples/jars/spark-examples_2.12-3.0.2.jar 2

去Yarn上查看任务状态

总结

Standalone:独立集群模式适合学习过程。

On Yarn 共用Hadoop集群资源推荐使用

参考文档

全部评论

相关推荐

06-02 15:53
阳光学院 Java
点赞 评论 收藏
分享
人力小鱼姐:实习经历没有什么含金量,咖啡店员迎宾这种就别写了,其他两段包装一下 想找人力相关的话,总结一下个人优势,结合校园经历里有相关性的部分,加一段自我评价
点赞 评论 收藏
分享
面向对象的火龙果很爱...:去吃一顿炸鸡就走
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务