欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识！
您现在的位置是： 首页

Spark学习笔记

程序员文章站 2022-07-15 17:46:13
...

从这里学习的，讲的真好~ https://www.bilibili.com/video/av62992342/?p=41

Spark

开头别的不多说了，就说Spark为啥存在。他来到这就是为了代替MapReduce的！

MR的缺点

为啥要被代替呢？学过Hadoop知道，Hadoop早期，MR是基于数据集的计算，面向的是数据。基本运算规则是从存储介质中采集数据，然后进行计算，所以它的计算往往是一次性的，这就存在一定的局限性，不适用于数据挖掘和机器学习这样的迭代计算和图形挖掘计算。而且因为文件存储，性能不好！MR和Hadoop耦合，没法换。

后来Hadoop 2.x 就引入了Yarn，这个东西好啊，资源管理器RM（ResourceManager）。这里面有AM（ApplicationMaster）就是应用管理器，AM中的Driver管理NodeManager中的Task。

也就是说：

RM现在管理NodeManager，其中的Driver管理Task，这样实现了解耦。所以这个Task不一定非要是MR任务，此时变成Spark任务或者Flink任务或者Strom任务，都可以！

Spark学习笔记

引入了container，虽然增加了内存的消耗，但是大大提高了扩展性，于是Spark、Flink、Strom才可以搭配使用。

Spark为啥适合？

基于内存计算，由Scala语言开发。

Spark学习笔记

Spark重要角色

###1.Driver 驱动器

是执行程序main方法的进程。负责执行SparkContext、创建RDD、以及RDD转化操作和行动操作代码的执行。如果启动Spark Shell，系统会后台启动一个Spark Driver程序就是在Spark Shell中预加载一个SparkContext叫sc。如果驱动器程序终止，那么Spark应用也结束。工作：

  1. 把用户程序转为JOB
  2. 跟踪Executor的运行状况
  3. 为执行器节点调度任务
  4. UI展示运行情况

2.Executor 执行器

是一个工作进程，负责在Spark作业中运行任务，任务间相互独立。Spark应用启动时，Executor节点被同时启动，伴随Spark应用整个生命周期。如果有Executor节点故障或崩溃，Spark应用也可以继续执行，会将出错节点上的任务调度到其他Executor节点。工作：

  1. 负责运行组成Spark应用的任务，并将结果返回给驱动器进程
  2. 通过自身的块管理器(Block Manager)为用户程序中要求缓存的RDD提供内存式存储。RDD是直接缓存在Executor进程内的，所以任务可以再运行时充分利用缓存数据，加速运算。

Spark Yarn-cluster搭建

前提是HDFS和YARN集群正常启动了！

1.先去配置hadoop的yarn-site.xml

是否启动一个线程检查每个任务使用虚拟内存量，如果超出分配值，则直接kill掉，默认true：

<property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
 </property>

是否启动一个线程检查每个任务使用物理内存量，如果超出分配值，则直接kill掉，默认true：

<property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
 </property>

2.修改spark-env.sh 添加如下配置

YARN_CONF_DIR=/opt/soft/hadoop-2.7.1/etc/hadoop

去找自己的路径，别乱复制！

3.分发配置文件

把这个配置文件给Slave1和Slave2(其实不发也行，Yarn模式的话一个机器能发Spark就足够了)

4.试一下例子

bin/spark-submit \ 
--class org.apache.spark.examples.SparkPi \ 
--master yarn \
 --deploy-mode client \ 
./examples/jars/spark-examples_2.11-2.4.1.jar \ 
100

日志查看

1.修改配置文件spark-defaults.conf

添加内容：

spark.yarn.historyServer.address=Master:10020 
spark.history.ui.port=19888

端口别乱填！根据自己hadoop的mapred-site.xml的配置去对应填写！！！

2.重启Spark历史服务

./sbin/stop-history-server.sh 
./sbin/start-history-server.sh

3.提交个任务到YARN看效果

bin/spark-submit \ 
--class org.apache.spark.examples.SparkPi \
--master yarn \ 
--deploy-mode client \ 
./examples/jars/spark-examples_2.11-2.4.1.jar \ 
100

这回看日志。

YARN部署运行流程：

Spark学习笔记

1.Client 提交任务

2.RM创建ApplicationMaster

3.AM向RM申请资源

4.RM向AM提供资源列表

5.AM选择NM节点并创建Spark执行器对象

6.被选中的NM节点Executor反向注册，通知AM已经准备好执行了。

7.AM分解并调度任务

Spark提交

1.基本语法

bin/spark-submit \ 
--class <main-class> \ 
--master <master-url> \ 
--deploy-mode <deploy-mode> \
 --conf<key>=<value> \
 ... # other options <application-jar> \
 [application-arguments]

2.参数说明

–master：指定的Master地址，默认为Local
–class：你的应用启动类 (例如：org.apache.spark.examples.SparkPi)
–deploy-mode：是否发布你的驱动到worker节点(cluster)或者作为本地客户端client。默认是client
–conf：任意的Spark配置属性，格式key=value，如果值包含空格，可以加引号"key=value"。
application-jar：打包好的应用jar包含依赖，这个URL在集群全局可见。
application-argument：传给main方法的参数
–executor-memory 1G 指定每个Executor可用内存1G

写程序

IDEA创建maven项目，然后POM：
pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.george.sparktest</groupId>
    <artifactId>sparktest</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>2.4.1</version>
        </dependency>

    </dependencies>

    <build>
        <finalName>WordCount</finalName>
        <plugins>
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.2.2</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>3.0.0</version>
                <configuration>
                    <archive>
                        <manifest>
                            <mainClass>WordCount</mainClass>
                        </manifest>
                    </archive>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>

        </plugins>
    </build>

</project>

纯属手敲。。。

然后可以使用Scala开发了。后面可以把程序打成jar包。
idea能看target文件夹里面，有个with-dependencies.jar这个很大，因为依赖都打进去了。
Windows在运行hadoop相关的时候可能会有报错！是个winutils.exe啥啥的，其实不影响我们使用，那个问题主要是源码里有一段这个：

String home = System.getProperty("hadoop.home.dir");

一看就是环境变量的事，HADOOP_HOME为空的话，就会null\bin\winutils.exe。找不到。
所以下载一个common的jar包。配置好环境变量。path添加上%HADOOP_HOME%\bin
听说需要重启？？？

或者还有一个办法：

我们写程序的时候前面加上

System.setProperty("hadoop.home.dir", "D:\\hadoop")

等打包的时候把这个干掉就完事了。。。但是这个要记得删！！！！！！千万别忘！！！！

上一篇： LintCode 139. Subarray Sum Closest

下一篇： Minimum Size Subarray Sum

推荐阅读