Spark on Yarn 环境搭建(CDH5.3)

发布于:2021-10-23 08:59:12

前提条件:


1. 以现线上集群为模拟环境,搭建一套CDH5.3的hadoop集群
参考:http://blog.csdn.net/korder/article/details/46909253
2. 执行用户
(此处以root为执行用户,真实环境另做处理)

部署:


1. 启动hadoop集群,如:38节点安装的主namenode
[root@JXQ-23-27-38 ~]# jps
31624 NameNode
23659 WebAppProxyServer
26447 Jps
32581 DFSZKFailoverController
13861 ResourceManager
11119 JobHistoryServer
2. 以38节点为客户机做实验,上传测试数据到HDFS


3. 给root用户操作hdfs权限
su hdfs
hadoop fs -mkdir -p /xxx/data/mydata
hadoop fs -mkdir /xxx/result
hadoop fs -mkdir -p /xxx/spark/lib
hadoop fs -mkdir -p /xxx/spark/wylog
hadoop fs -chown -R root:root /xxx
4. 安装spark核心core
yum install spark-core -y
因为主要测试spark on yarn,只在提交job的38节点安装该核心core就够
5. 优化YARN模式

通常,Spark 会在每次运行 spark-submit 时将组件 JAR 文件复制到 HDFS,正如以下示例日志消息中所示:
15/07/01 14:21:49 INFO yarn.Client: Uploading
file:/home/cmccabe/spark/b2.4/examples/target/scala-2.10/spark-examples-1.0.0-SNAPSHOT-hadoop2.4.0.jar to
hdfs://a2402.halxg.cloudera.com:6000/user/cmccabe/.sparkStaging/application_1402278226964_0012/spark-examples-1.0.0-SNAPSHOT-hadoop2.4.0.jar
15/07/01 14:21:50 INFO yarn.Client: Uploading
file:/home/cmccabe/spark/b2.4/assembly/target/scala-2.10/spark-assembly-1.0.0-SNAPSHOT-hadoop2.4.0.jar to
hdfs://a2402.halxg.cloudera.com:6000/user/cmccabe/.sparkStaging/application_1402278226964_0012/spark-assembly-1.0.0-SNAPSHOT-hadoop2.4.0.jar
通过将 Spark 组件 JAR 文件手动上载到 HDFS,您可以避免每次都执行此复制。然后将 SPARK_JAR 环境变量设为此 HDFS 路径:
hdfs dfs -mkdir -p /xxx/spark/lib
hdfs dfs -put $SPARK_HOME/lib/spark-assembly_*.jar
/user/spark/share/lib/spark-assembly.jar
SPARK_JAR=hdfs://:/user/lib/spark/spark-assembly.jar
提示:如果CDH版本更新,则需要再次手动上载spark的jar组件到HDFS。
6. 上传Spark程序打好的Jar包
hadoop fs -put wylogspark.jar /xxx/spark/wylog

7. 配置spark
vim /etc/spark/conf/spark-env.sh
添加:export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-etc/hadoop/conf}
export SPARK_JAR=hdfs://cdh5-test/xxx/spark/lib/spark-assembly.jar


8. 编写执行脚本submit-yarn.sh
chmod 775 submit-yarn.sh
vim submit-yarn.sh
cd $SPARK_HOME

./bin/spark-submit
--name xxxspark
--class com.cn.xxxspark
--master yarn-cluster
--executor-memory 4g
hdfs://cdh5-test/xxx/spark/wylog/xxxspark.jar
hdfs://cdh5-test/xxx/data/*/*detail*
chensy
hdfs://cdh5-test/xxx/result/cs2


以下为一些参考资料:



运行Spark应用程序:


Spark 应用程序与 MapReduce“作业”类似。每个应用程序都是一个独立的计算,其运行一些用户提供的代码以计算结果。与 MapReduce 作业一 样,Spark 应用程序可以利用多个节点的资源。Spark 围绕着弹性分布式数据集 (RDD) 这一概念,该数据集是可以并行操作的元素的容错集。当前有两种类型的 RDD:并行化集合(采用现有 Scala 集合并在其上并行运行功能)和 Hadoop 数据集(其在 Hadoop 分布式文件系统或 Hadoop 支持的任何其他存储系统中的文件的每个记录上运行功能)。这两种 RDD 可以通过相同的方法进行操作。
每个应用程序都有一个驱动程序进程来协调其执行。此进程可以在前台运行(客户端模式)或在后台运行(群集模式)。客户端模式要简单一点,但群集模式允许您在启动 Spark 应用程序后轻松注销,无需终止应用程序。
Spark 启动 executor 来执行计算。可能有很多 executor 分布在整个群集中,具体视作业大小而定。加载一些 executor 后,Spark 会尝试让任务匹配 executor。

CDH 5.3 引入了一个性能优化,其导致 Spark 更偏好 HDFS 中已缓存在本地的 RDD。这很重要,Spark 会等待这些缓存附*的 executor 在一小段时间内可用。
请注意,Spark 不会在带有缓存数据的节点上启动 executor,也没有机会在任务匹配阶段中进行选择。这对于大多数工作负载不是问题,因为大多数工作负载会在群集中的大多数或所有节点上启动 executor。


Spark 能够以两种模式运行:


? 独立模式:
在独立模式下,Spark 使用主后台程序,其负责协调运行 executor 的 Worker 的工作。独立模式是默认设置,但它不能用于安全的群集。
? YARN 模式:
在 YARN 模式下,YARN ResourceManager 执行 Spark Master 的功能。由运行 executor 的 YARN NodeManager 后台程序执行 Worker 的功能。YARN 模式的设置略微复杂,但它 支持安全性,并提供了与 YARN 的群集范围内资源 管理策略的更好集成。
可以同时运行多个 Spark 应用程序。如果决定在 YARN 上运行 Spark,您可以逐个为应用程序决定是以 YARN 客户端模式还是群集模式运行。当您在客户端模式下运行 Spark 时,驱动程序进程在本地运行;使用群集模式时,它在 ApplicationMaster 上远程运行。


Spark在YARN中有yarn-cluster和yarn-client两种运行模式
1. Yarn Cluster
Spark Driver首先作为一个ApplicationMaster在YARN集群中启动,客户端提交给ResourceManager的每一个job都会在集群的worker节点上分配一个唯一的ApplicationMaster,由该ApplicationMaster管理全生命周期的应用。因为Driver程序在YARN中运行,所以事先不用启动Spark Master/Client,应用的运行结果不能在客户端显示(可以在history server中查看),所以最好将结果保存在HDFS而非stdout输出,客户端的终端显示的是作为YARN的job的简单运行状况。
2. yarn-client
(YarnClientClusterScheduler)查看对应类的文件,在yarn-client模式下,Driver运行在Client上,通过ApplicationMaster向RM获取资源。本地Driver负责与所有的executor container进行交互,并将最后的结果汇总。结束掉终端,相当于kill掉这个spark应用。一般来说,如果运行的结果仅仅返回到terminal上时需要配置这个。客户端的Driver将应用提交给Yarn后,Yarn会先后启动ApplicationMaster和executor,另外ApplicationMaster和executor都 是装载在container里运行,container默认的内存是1G,ApplicationMaster分配的内存是driver- memory,executor分配的内存是executor-memory。同时,因为Driver在客户端,所以程序的运行结果可以在客户端显 示,Driver以进程名为SparkSubmit的形式存在。
配置YARN-Client模式同样需要HADOOP_CONF_DIR/YARN_CONF_DIR和SPARK_JAR变量。


配置:
配置 Spark 的最简单的方法是设置 $SPARK_HOME/conf/spark-defaults.conf。
此文件在表单中包含行:“键值”。可以通过在行的开始处放置一个散列标记 (#) 来创建备注。
不能将备注添加到行的末尾或中间。
以下示例显示了一个 spark-defaults.conf 文件:
spark.master spark://mysparkmaster.cloudera.com:7077
spark.eventLog.enabled true
spark.eventLog.dir hdfs:///user/spark/eventlog
spark.executor.memory 2g
spark.logConf true
把要为每个应用程序使用的配置键放入 spark-defaults.conf 是一个不错的主意。


Spark-Submit 脚本
可以使用 spark-submit 脚本启动 Spark 应用程序,在安装 spark-core 软件包时,该文件安装在了/usr/lib/spark的路径中。
Spark 无法处理表单 ?key=value 的命令行选项;请改用 ?key value。(也就是说,请使用空格而不是等号。)
要运行 spark-submit,,需要已编译的 Spark 应用程序 JAR。

相关推荐

最新更新

猜你喜欢