pycharm编写spark程序,导入pyspark包的3中实现方法

yipeiwu_com6年前Python基础

一种方法:

File --> Default Setting --> 选中Project Interpreter中的一个python版本-->点击右边锯齿形图标(设置)-->选择more-->选择刚才选中的那个python版本-->点击最下方编辑(也就是增加到这个python版本下)-->点击➕-->选中spark安装目录下的python目录-->一路OK。

再次在python文件中写入如下

from pyspark import SparkConf

如果上一种不管用,则采用下一种。

With PySpark package (Spark 2.2.0 and later)

另一种操作方法:

1.Go to File -> Settings -> Project Interpreter

2.Click on install button and search for PySpark

第三种方法(需要先下载spark安装包):

下载spark安装包,将spark主目录中python目录中的pyspark目录拷贝到

/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages

目录中,在pycharm中

from pyspark import SparkContext

成功,可以愉快的用python编写spark程序了。。。。

相关文章

用python实现刷点击率的示例代码

背景 同事的老爸参加微信的一个活动,需要刷点击率,因此,写了一个程序助之。 准备 微信活动也是有真实地址的。 通过mitmproxy(man in the middle proxy)的方...

详解在Python程序中自定义异常的方法

通过创建一个新的异常类,程序可以命名它们自己的异常。异常应该是典型的继承自Exception类,通过直接或间接的方式。 以下为与RuntimeError相关的实例,实例中创建了一个类,基...

超简单使用Python换脸实例

超简单使用Python换脸实例

换脸! 这段时间,deepfakes搞得火热,比方说把《射雕英雄传》里的朱茵换成了杨幂,看下面的图!毫无违和感! 其实早在之前,基于AI换脸的技术就得到了应用,比方说《速度与激情7》里...

Python远程视频监控程序的实例代码

老板由于事务繁忙无法经常亲临教研室,于是让我搞个监控系统,让他在办公室就能看到教研室来了多少人。o(>﹏<)o||| 最初我的想法是直接去网上下个软件,可是找来找去不是有毒就...

tensorflow获取变量维度信息

tensorflow版本1.4 获取变量维度是一个使用频繁的操作,在tensorflow中获取变量维度主要用到的操作有以下三种: Tensor.shape Tensor.get...