宜配屋

pyspark 读取csv文件创建DataFrame的两种方法

yipeiwu_com7年前Python基础

方法一：用pandas辅助

from pyspark import SparkContext 
from pyspark.sql import SQLContext 
import pandas as pd 
sc = SparkContext()
sqlContext=SQLContext(sc) 
df=pd.read_csv(r'game-clicks.csv') 
sdf=sqlc.createDataFrame(df)

方法二：纯spark

from pyspark import SparkContext 
from pyspark.sql import SQLContext
sc = SparkContext()
sqlContext = SQLContext(sc)
sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('game-clicks.csv')

以上这篇pyspark 读取csv文件创建DataFrame的两种方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持【听图阁-专注于Python设计】。

返回列表

上一篇：Python字符转换

下一篇：PHP生成静态页面详解

相关文章

python中(str,list,tuple)基础知识汇总

python是一门动态解释型的强类型定义语言(先编译后解释) 动态类型语言 动态类型的语言编程时，永远也不用给任何变量指定数据类型，该语言会在你第一次赋值给变量时，在内部将数据类型记录下...

Django框架教程之中间件MiddleWare浅析

前言 Django中的中间件是一个轻量级、底层的插件系统，可以介入Django的请求和响应处理过程，修改Django的输入或输出。 中间件的设计为开发者提供了一种无侵入式的开发方式，增强...

Python中函数参数调用方式分析

本文实例讲述了Python中函数参数调用方式。分享给大家供大家参考，具体如下： Python中函数的参数是很灵活的，下面分四种情况进行说明。 (1) fun(arg1, arg2, .....

详解Python中 sys.argv[]的用法简明解释

详解Python中 sys.argv[]的用法简明解释

因为是看书自学的python,开始后不久就遇到了这个引入的模块函数，且一直在IDLE上编辑了后运行，试图从结果发现它的用途，然而结果一直都是没结果，也在网上查了许多，但发现这个问题的比较...

Python自定义简单图轴简单实例

Python自定义简单图轴简单实例

简单定义图轴： import numpy as np import matplotlib.pyplot as plt 创建一个简单的matplotlib实例： fig = pl...

© YiPeiWu.com 【宜配屋】 粤ICP备17031333号

Powered By Z-BlogPHP. Theme by TOYEAN.