用python写spark的方法是什么？这个问题可能是我们日常学习或工作经常见到的。希望通过这个问题能让你收获颇深。下面是小编给大家带来的参考内容，让我们一起来看看吧！

为什么要使用Python来写Spark

Python写spark我认为唯一的理由就是：你要做数据挖掘，AI相关的工作。因为很多做数挖的他们的基础语言都是python，他们如果重新学scala比较耗时，而且，python他的强大类库是他的优势，很多算法库只有python有。

Win本地编写代码调试

编辑器：PyCharm

Spark：1.6

Python：2.7

Win环境准备

Python的安装

解压python包，在环境变量里面配上bin的路径

Spark的安装

下载spark的bin文件，解压即可，在环境变量配置SPARK_HOME

要可以通过编辑器来安装，如pycharm，查找pyspark库安装即可

Hadoop安装

安装hadoop环境 。在win下面需要winutils.exe；在环境里面配置HADOOP_HOME 即可。

代码示例

#-*-coding:utf-8-*-from__future__importprint_functionfrompysparkimport*importosprint(os.environ['SPARK_HOME'])print(os.environ['HADOOP_HOME'])if__name__=='__main__':sc=SparkContext("local[8]")rdd=sc.parallelize("helloPysparkworld".split(""))counts=rdd\.flatMap(lambdaline:line)\.map(lambdaword:(word,1))\.reduceByKey(lambdaa,b:a+b)\.foreach(print)sc.stop

问题：

frompysparkimport*

找不到pyspark。那你需要把spark的bin包下面的python的所有都拷贝到（可能需要解压py4j）

%PYTHON%\Lib\site-packages下面去。这样，你的编辑器才能找到。

或者：

配置你的编辑器的环境变量：

PYTHONPATH=F:\home\spark-1.6.0-bin-hadoop2.6\python;F:\python2.7\Lib\site-packages

使用spark-submit提交时用到其他类库 –py-files xxxx/xxxx.zip,xxxx.py。

感谢各位的阅读！看完上述内容，你们对用python写spark的方法是什么大概了解了吗？希望文章内容对大家有所帮助。如果想了解更多相关文章内容，欢迎关注亿速云行业资讯频道。