spark dataframe 将一列展开,把该列所有值都变成新列的方法

yipeiwu_com5年前Python基础

The original dataframe

spark dataframe 将一列展开,把该列所有值都变成新列

需求:hour代表一天的24小时,现在要将hour列展开,每一个小时都作为一个列

实现:

val pivots = beijingGeoHourPopAfterDrop.groupBy("geoHash").pivot("hour").sum("countGeoPerHour").na.fill(0)

并且统计了对应的countGeoPerHour的和,如果有些行没有这个新列对应的数据,将用null填充

The new dataframe

spark dataframe 将一列展开,把该列所有值都变成新列

以上这篇spark dataframe 将一列展开,把该列所有值都变成新列的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

Python中如何使用if语句处理列表实例代码

Python中如何使用if语句处理列表实例代码

前言 每条if语句的核心都是一个值为True或False的表达式,这种表达式被称为条件测试。Python根据条件测试的值为True还是False来决定是否执行if语句中的代码。条件测试为...

使用 Python 清理收藏夹里已失效的网站

使用 Python 清理收藏夹里已失效的网站

失效的书签们 我们日常浏览网站的时候,时不时会遇到些新奇的东西( 你懂的.jpg ),于是我们就默默的点了个收藏或者加书签。然而当我们面对成百上千的书签和收藏夹的时候,总会头疼不已……...

Python socket模块ftp传输文件过程解析

这篇文章主要介绍了Python socket模块ftp传输文件过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 使用环境:pyt...

python3.4+pycharm 环境安装及使用方法

python3.4+pycharm 环境安装及使用方法

遇到很多初学者的盆友,来问python环境安装的问题。。因此,这篇文章就诞生了。。 因个人是windows的环境,所以本文只讲windows环境下的python安装。 作为初用pytho...

python面向对象入门教程之从代码复用开始(一)

前言 本文从代码复用的角度一步一步演示如何从python普通代码进化到面向对象,并通过代码去解释一些面向对象的理论。所以,本文前面的内容都是非面向对象的语法实现方式,只有在最结尾才给出了...