Spark是新一代分布式内存计算框架，Apache开源的顶级项目。相比于Hadoop Map-Reduce计算框架，Spark将中间计算结果保留在内存中，速度提升10~100倍；同时它还提供更丰富的算子，采用弹性分布式数据集(RDD)实现迭代计算，更好地适用于数据挖掘、机器学习算法，极大提升开发效率。

在Kubernetes上部署应用的第一步，是创建容器。虽然有些项目会提供官方的容器镜像，但截止到写此文时，Apache Spark并没有提供官方镜像。因此我们将自己创建Spark容器，让我们从Dockerfile开始。

FROMjava:openjdk-8-jdkENVhadoop_ver2.8.2ENVspark_ver2.4.4RUNmkdir-p/opt&&\cd/opt&&\curlhttp://archive.apache.org/dist/hadoop/common/hadoop-${hadoop_ver}/hadoop-${hadoop_ver}.tar.gz|\tar-zx&&\ln-shadoop-${hadoop_ver}hadoop&&\echoHadoop${hadoop_ver}installedin/optRUNmkdir-p/opt&&\cd/opt&&\curlhttp://archive.apache.org/dist/spark/spark-${spark_ver}/spark-${spark_ver}-bin-without-hadoop.tgz|\tar-zx&&\ln-sspark-${spark_ver}-bin-without-hadoopspark&&\echoSpark${spark_ver}installedin/optENVSPARK_HOME=/opt/sparkENVPATH=$PATH:$SPARK_HOME/binENVHADOOP_HOME=/opt/hadoopENVPATH=$PATH:$HADOOP_HOME/binENVLD_LIBRARY_PATH=$HADOOP_HOME/lib/nativeRUNcurlhttp://central.maven.org/maven2/org/apache/hadoop/hadoop-aws/2.8.2/hadoop-aws-2.8.2.jar-o/opt/spark/jars/hadoop-aws-2.8.2.jarRUNcurlhttp://central.maven.org/maven2/org/apache/httpcomponents/httpclient/4.5.3/httpclient-4.5.3.jar-o/opt/spark/jars/httpclient-4.5.3.jarRUNcurlhttp://central.maven.org/maven2/joda-time/joda-time/2.9.9/joda-time-2.9.9.jar-o/opt/spark/jars/joda-time-2.9.9.jarRUNcurlhttp://central.maven.org/maven2/com/amazonaws/aws-java-sdk-core/1.11.712/aws-java-sdk-core-1.11.712.jar-o/opt/spark/jars/aws-java-sdk-core-1.11.712.jarRUNcurlhttp://central.maven.org/maven2/com/amazonaws/aws-java-sdk/1.11.712/aws-java-sdk-1.11.712.jar-o/opt/spark/jars/aws-java-sdk-1.11.712.jarRUNcurlhttp://central.maven.org/maven2/com/amazonaws/aws-java-sdk-kms/1.11.712/aws-java-sdk-kms-1.11.712.jar-o/opt/spark/jars/aws-java-sdk-kms-1.11.712.jarRUNcurlhttp://central.maven.org/maven2/com/amazonaws/aws-java-sdk-s3/1.11.712/aws-java-sdk-s3-1.11.712.jar-o/opt/spark/jars/aws-java-sdk-s3-1.11.712.jarADDstart-common.shstart-workerstart-master/ADDcore-site.xml/opt/spark/conf/core-site.xmlADDspark-defaults.conf/opt/spark/conf/spark-defaults.confENVPATH$PATH:/opt/spark/bin

在这个Dockerfile中，我们首先从官方地址下载Apache Spark和Hadoop，然后从Maven获取关联的jar包。当所有关联的文件都已经下载并解压到一个特定的目录后，我们将这些重要的配置文件添加到镜像中。

在这个过程中，你可以很方便的添加自己环境特有的配置。

原本我们可以跳过以上步骤，直接使用一个预先构建好的镜像，但是通过解读这些步骤可以让我们的读者看到Spark容器内部的内容，高级用户可以据此修改来满足他们特殊的需求。

以上示例中使用到的Dockerfile和其他关联的配置文件，可以从这个GitHub仓库中获取。如果要使用这个仓库中的内容，请先使用以下命令将其克隆到本地：

gitclonegit@github.com:devshlabs/spark-kubernetes.git

现在，你可以根据需要在你的环境中进行任何更改，然后构建镜像，并上传到你使用的容器注册表中。在本文的示例中，我使用Dockerhub作为容器注册表，命令如下：

cdspark-kubernetes/spark-containerdockerbuild.-tmydockerrepo/spark:2.4.4dockerpushmydockerrepo/spark:2.4.4

记得将其中的mydockerrepo替换为你实际的注册表名字。

至此，Spark容器镜像已经构建好，并可以拉取使用了。让我们使用此镜像来部署Spark Master和Worker。第一步是创建Spark Master。我们将使用Kubernetes ReplicationController创建Spark Master。在本文的示例中，我仅用单实例创建Spark Master。而在有HA需求的生产环境中，你可能需要将副本数设置为3或者以上。

kind:ReplicationControllerapiVersion:v1metadata:name:spark-master-controllerspec:replicas:1selector:component:spark-mastertemplate:metadata:labels:component:spark-masterspec:hostname:spark-master-hostnamesubdomain:spark-master-headlesscontainers:-name:spark-masterimage:mydockerrepo/spark:2.4.4imagePullPolicy:Alwayscommand:["/start-master"]ports:-containerPort:7077-containerPort:8080resources:requests:cpu:100m

为了使Spark Worker节点可以发现Spark Master节点，我们还需要创建headless服务。 当你从GitHub仓库完成克隆，并进入spark-kubernetes目录后，就可以启动Spark Master服务了，命令如下：

kubectlcreate-fspark-master-controller.yamlkubectlcreate-fspark-master-service.yaml

现在，确保Master节点和所有的服务都正常运行，然后就可以开始部署Worker节点了。Spark Worker的副本数设置为2，你可以根据需要修改。Worker启动命令如下： kubectl create -f spark-worker-controller.yaml 最后，通过以下命令确认是否所有服务都正常运行： kubectl get all 执行以上命令，你应该可以看到类似下面的内容：

NAMEREADYSTATUSRESTARTSAGEpo/spark-master-controller-5rgz21/1Running09mpo/spark-worker-controller-0pts61/1Running09mpo/spark-worker-controller-cq6ng1/1Running09mNAMEDESIREDCURRENTREADYAGErc/spark-master-controller1119mrc/spark-worker-controller2229mNAMECLUSTER-IPEXTERNAL-IPPORT(S)AGEsvc/spark-master10.108.94.1607077/TCP,8080/TCP9m向Spark集群提交Job

现在让我们提交一个Job，看看是否执行正常。不过在此之前，你需要一个有效的AWS S3账户，以及存有样本数据的桶存在。我使用了Kaggle下载样本数据，样本数据可以从https://www.kaggle.com/datasna … s.csv获取，获取以后需要上传到S3的桶里。假定桶名是s3-data-bucket，那么样本数据文件则位于s3-data-bucket/data.csv。 数据准备好以后，将其加载到一个Spark master pod中执行。以Pod名为spark-master-controller-5rgz2为例，命令如下： kubectl exec -it spark-master-controller-v2hjb /bin/bash 如果你登录进入了Spark系统，可以运行Spark Shell：

exportSPARK_DIST_CLASSPATH=$(hadoopclasspath)spark-shellSettingdefaultloglevelto"WARN".Toadjustlogginglevelusesc.setLogLevel(newLevel).ForSparkR,usesetLogLevel(newLevel).SparkcontextWebUIavailableathttp://192.168.132.147:4040Sparkcontextavailableas'sc'(master=spark://spark-master:7077,appid=app-20170405152342-0000).Sparksessionavailableas'spark'.Welcometo______/__/__________//___\\/_\/_`/__/'_//___/.__/\_,_/_//_/\_\version2.4.4/_/UsingScalaversion2.11.12(JavaHotSpot(TM)64-BitServerVM,Java1.8.0_221)Typeinexpressionstohavethemevaluated.Type:helpformoreinformation.scala>

现在让我们告诉Spark Master，S3存储的详细信息，在上文所示的Scale提示符中输入以下配置：

sc.hadoopConfiguration.set("fs.s3a.endpoint","https://s3.amazonaws.com")sc.hadoopConfiguration.set("fs.s3a.access.key","s3-access-key")sc.hadoopConfiguration.set("fs.s3a.secret.key","s3-secret-key")

现在，只需将以下内容粘贴到Scala提示符中，以提交Spark Job(请记得修改S3相关字段)：

importorg.apache.spark._importorg.apache.spark.rdd.RDDimportorg.apache.spark.util.IntParamimportorg.apache.spark.sql.SQLContextimportorg.apache.spark.graphx._importorg.apache.spark.graphx.util.GraphGeneratorsimportorg.apache.spark.mllib.regression.LabeledPointimportorg.apache.spark.mllib.linalg.Vectorsimportorg.apache.spark.mllib.tree.DecisionTreeimportorg.apache.spark.mllib.tree.model.DecisionTreeModelimportorg.apache.spark.mllib.util.MLUtilsvalconf=newSparkConf().setAppName("YouTube")valsqlContext=newSQLContext(sc)importsqlContext.implicits._importsqlContext._valyoutubeDF=spark.read.format("csv").option("sep",",").option("inferSchema","true").option("header","true").load("s3a://s3-data-bucket/data.csv")youtubeDF.registerTempTable("popular")valfltCountsql=sqlContext.sql("selects.title,s.viewsfrompopulars")fltCountsql.show()

最后，你可以使用kubectl patch command命令更新Spark部署。比如，你可以在负载较高时添加更多工作节点，然后在负载下降后删除这些工作节点。