宜配屋

pyspark 读取csv文件创建DataFrame的两种方法

yipeiwu_com7年前Python基础

方法一：用pandas辅助

from pyspark import SparkContext 
from pyspark.sql import SQLContext 
import pandas as pd 
sc = SparkContext()
sqlContext=SQLContext(sc) 
df=pd.read_csv(r'game-clicks.csv') 
sdf=sqlc.createDataFrame(df)

方法二：纯spark

from pyspark import SparkContext 
from pyspark.sql import SQLContext
sc = SparkContext()
sqlContext = SQLContext(sc)
sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('game-clicks.csv')

以上这篇pyspark 读取csv文件创建DataFrame的两种方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持【听图阁-专注于Python设计】。

返回列表

上一篇：Python字符转换

下一篇：PHP生成静态页面详解

相关文章

Python字符串替换实例分析

本文实例讲述了Python字符串替换的方法。分享给大家供大家参考。具体如下： 单个字符替换 s = 'abcd' a = ["a", "b", "c"] b = ["c", "d",...

Python简单实现Base64编码和解码的方法

本文实例讲述了Python简单实现Base64编码和解码的方法。分享给大家供大家参考，具体如下： Base64编码是一种“防君子不防小人”的编码方式。广泛应用于MIME协议，作为电子邮件...

pycharm修改界面主题颜色的方法

pycharm修改界面主题颜色的方法

如下所示： 以上这篇pycharm修改界面主题颜色的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持【听图阁-专注于Python设计】。...

python线程池的实现实例

直接上代码：复制代码 代码如下:# -*- coding: utf-8 -*- import Queue import threadingimport urllibimport urll...

python实现获取序列中最小的几个元素

本文实例讲述了python实现获取序列中最小的几个元素。分享给大家供大家参考。 具体方法如下： import heapq import random def issorted(d...

© YiPeiWu.com 【宜配屋】 粤ICP备17031333号

Powered By Z-BlogPHP. Theme by TOYEAN.