pycharm编写spark程序,导入pyspark包的3中实现方法

yipeiwu_com6年前Python基础

一种方法:

File --> Default Setting --> 选中Project Interpreter中的一个python版本-->点击右边锯齿形图标(设置)-->选择more-->选择刚才选中的那个python版本-->点击最下方编辑(也就是增加到这个python版本下)-->点击➕-->选中spark安装目录下的python目录-->一路OK。

再次在python文件中写入如下

from pyspark import SparkConf

如果上一种不管用,则采用下一种。

With PySpark package (Spark 2.2.0 and later)

另一种操作方法:

1.Go to File -> Settings -> Project Interpreter

2.Click on install button and search for PySpark

第三种方法(需要先下载spark安装包):

下载spark安装包,将spark主目录中python目录中的pyspark目录拷贝到

/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages

目录中,在pycharm中

from pyspark import SparkContext

成功,可以愉快的用python编写spark程序了。。。。

相关文章

python 类详解及简单实例

python 类详解 类 1.类是一种数据结构,可用于创建实例。(一般情况下,类封装了数据和可用于该数据的方法) 2.Python类是可调用的对象,即类对象 3.类通常在模块的顶层进...

python Django模板的使用方法

python Django模板的使用方法

模板是一个文本,用于分离文档的表现形式和内容。 模板定义了占位符以及各种用于规范文档该如何显示的各部分基本逻辑(模板标签)。 模板通常用于产生HTML,但是Django的模板也能产生任何...

Python多进程multiprocessing.Pool类详解

Python多进程multiprocessing.Pool类详解

multiprocessing模块 multiprocessing包是Python中的多进程管理包。它与 threading.Thread类似,可以利用multiprocessing.P...

在Django中编写模版节点及注册标签的方法

编写模板节点 编写自定义标签的第二步就是定义一个拥有 render() 方法的 Node 子类。 继续前面的例子,我们需要定义 CurrentTimeNode : import da...

python实现决策树ID3算法的示例代码

在周志华的西瓜书和李航的统计机器学习中对决策树ID3算法都有很详细的解释,如何实现呢?核心点有如下几个步骤 step1:计算香农熵 from math import log impo...