内容

PySpark是针对Spark的Python API。根据网上提供的资料，现在汇总一下这些类的基本用法，并举例说明如何具体使用。也是总结一下经常用到的这些公有类的使用方式。方便初学者查询及使用。

Public 类们:

• :

• :

• :

• :

• :

• :

• :

类

(loadDefaults=True,_jvm=None,_jconf=None)

配置一个Spark应用，一般用来设置各种Spark的键值对作为参数。

大多数时候，使用来创建SparkConf对象，也用于载入来自spark.* Java系统的属性值。此时，在对象上设置的任何参数都有高于系统属性的优先级。

对于单元测试，也能调用来略过额外的配置，无论系统属性是什么都可以获得相同的配置。

这个类中的设值方法都是支持链式结构的，例如，你可以这样编写配置conf.setMaster(“local”).setAppName(“My app”)。

注意：

(key)

配置中是否包含一个指定键。

(key,defaultValue=None)

获取配置的某些键值，或者返回默认值。

()

得到所有的键值对的list。

(key,value)

设置配置属性。

(pairs)

通过传递一个键值对的list，为多个参数赋值。

(value)

设置应用名称

(key=None,value=None,pairs=None)

设置环境变量复制给执行器。

(key,value)

如果没有，则设置一个配置属性。

(value)

设置主连接地址。

(value)

设置工作节点上的Spark安装路径。

()

返回一个可打印的配置版本。