宜配屋

pyspark 读取csv文件创建DataFrame的两种方法

yipeiwu_com7年前Python基础

方法一：用pandas辅助

from pyspark import SparkContext 
from pyspark.sql import SQLContext 
import pandas as pd 
sc = SparkContext()
sqlContext=SQLContext(sc) 
df=pd.read_csv(r'game-clicks.csv') 
sdf=sqlc.createDataFrame(df)

方法二：纯spark

from pyspark import SparkContext 
from pyspark.sql import SQLContext
sc = SparkContext()
sqlContext = SQLContext(sc)
sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('game-clicks.csv')

以上这篇pyspark 读取csv文件创建DataFrame的两种方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持【听图阁-专注于Python设计】。

返回列表

上一篇：Python字符转换

下一篇：PHP生成静态页面详解

相关文章

Python Django实现layui风格+django分页功能的例子

Python Django实现layui风格+django分页功能的例子

第一步：首先定义一个视图函数，用于提供数据，实现每页显示数据个数，返回每页请求数据 from django.shortcuts import render from django.c...

Python读取系统文件夹内所有文件并统计数量的方法

大家先看一下Python os模块中的部分函数 python 路径相关的函数 os.listdir(dirname)：列出dirname下的目录和文件 os.getcwd()：获得当前...

pytorch点乘与叉乘示例讲解

点乘 import torch x = torch.tensor([[3,3],[3,3]]) y = x*x #x.dot(x) z = torch.mul(x,x) #x.mul...

在Python中使用__slots__方法的详细教程

正常情况下，当我们定义了一个class，创建了一个class的实例后，我们可以给该实例绑定任何属性和方法，这就是动态语言的灵活性。先定义class： >>> cla...

python机器学习案例教程——K最近邻算法的实现

K最近邻属于一种分类算法，他的解释最容易，近朱者赤，近墨者黑，我们想看一个人是什么样的，看他的朋友是什么样的就可以了。当然其他还牵着到，看哪方面和朋友比较接近（对象特征），怎样才算是跟朋...

© YiPeiWu.com 【宜配屋】 粤ICP备17031333号

Powered By Z-BlogPHP. Theme by TOYEAN.