pyspark 读取csv文件创建DataFrame的两种方法

yipeiwu_com7年前 (2020-03-06)Python基础

方法一：用pandas辅助

from pyspark import SparkContext 
from pyspark.sql import SQLContext 
import pandas as pd 
sc = SparkContext()
sqlContext=SQLContext(sc) 
df=pd.read_csv(r'game-clicks.csv') 
sdf=sqlc.createDataFrame(df)

方法二：纯spark

from pyspark import SparkContext 
from pyspark.sql import SQLContext
sc = SparkContext()
sqlContext = SQLContext(sc)
sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('game-clicks.csv')

以上这篇pyspark 读取csv文件创建DataFrame的两种方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持【听图阁-专注于Python设计】。

返回列表

上一篇：Python字符转换

下一篇：PHP生成静态页面详解

相关文章

Python基础之文件读取的讲解

with open(filename) as fp: dataMat = [] for line in fp.readlines(): # fp.rea...

wxPython的安装与使用教程

wxPython的安装与使用教程

一、wxPython介绍 1.wxPython是Python语言的一套优秀的GUI图形库。wxPython可以很方便的创建完整的、功能键全的GUI用...

python判断文件是否存在,不存在就创建一个的实例

如下所示： try: f =open("D:/1.txt",'r') f.close() except IOError: f = open("D:/1.txt",'w')...

Python实现序列化及csv文件读取

Python实现序列化及csv文件读取

这篇文章主要介绍了Python实现序列化及csv文件读取,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下一、python 序列化：序...

Django之使用内置函数和celery发邮件的方法示例

Django之使用内置函数和celery发邮件的方法示例

邮箱配置开启stmp服务以163邮箱为例，点击设置里面的stmp 开启客户端授权密码如上所示，因为我已经开启了，所以出现的是以上页面。这样，邮箱的准备就已经完成了。使用Dj...