pandas 快速处理 date_time 日期格式方法

yipeiwu_com6年前Python基础

当数据很多,且日期格式不标准时的时候,如果pandas.to_datetime 函数使用不当,会使得处理时间变得很长,提升速度的关键在于format的使用。下面举例进行说明:

示例数据:

date 格式:02.01.2013 即 日.月.年

数据量:3000000

transcation.head()
---------------------------------------------
   date date_block_num shop_id item_id item_price item_cnt_day
0 02.01.2013    0  59 22154  999.00   1.0
1 03.01.2013    0  25  2552  899.00   1.0
2 05.01.2013    0  25  2552  899.00   -1.0
3 06.01.2013    0  25  2554  1709.05   1.0
4 15.01.2013    0  25  2555  1099.00   1.0

处理方式一:

transactions['date_formatted']=pd.to_datetime(transactions['date'])

处理时间: 10min

处理方式二:

transactions['date_formatted']=pd.to_datetime(transactions['date'], format='%d.%m.%Y')

处理时间:10s

附录:format相关

代码 说明
%Y 4位数的年
%y 2位数的年
%m 2位数的月[01,12]
%d 2位数的日[01,31]
%H 时(24小时制)[00,23]
%l 时(12小时制)[01,12]
%M 2位数的分[00,59]
%S 秒[00,61]有闰秒的存在
%w 用整数表示的星期几[0(星期天),6]
%F %Y-%m-%d简写形式例如,2017-06-27
%D %m/%d/%y简写形式

以上这篇pandas 快速处理 date_time 日期格式方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

python将html转成PDF的实现代码(包含中文)

前提: 安装xhtml2pdf https://pypi.python.org/pypi/xhtml2pdf/下载字体:微软雅黑;给个地址:https://www.jb51.net/fo...

Python中变量交换的例子

Python追求简洁,诞生不少运算赋值规则,力求从简,其中就包括两个或者多个变量交换值。 普通语言中 复制代码 代码如下: # 声明变量 a=50 b=10 # 开始交换,先把其中一个值...

Python 3.x 连接数据库示例(pymysql 方式)

Python 3.x 连接数据库示例(pymysql 方式)

由于 MySQLdb 模块还不支持 Python3.x,所以 Python3.x 如果想连接MySQL需要安装 pymysql 模块。 pymysql 模块可以通过 pip 安装。但如果...

python matplotlib画图实例代码分享

python matplotlib画图实例代码分享

python的matplotlib包支持我们画图,有点非常多,现学习如下。 首先要导入包,在以后的示例中默认已经导入这两个包 import matplotlib.pyplot as...

Tensorflow 实现分批量读取数据

之前的博客里使用tf读取数据都是每次fetch一条记录,实际上大部分时候需要fetch到一个batch的小批量数据,在tf中这一操作的明显变化就是tensor的rank发生了变化,我目前...