python读取几个G的csv文件方法

yipeiwu_com6年前Python基础

如下所示:

import pandas as pd
file = pd.read_csv('file.csv',iterator=True)
while True:
  chunk = file.get_chunk(1000)
  print(chunk.head(10))
  print(chunk.tail(10))
 

以上这篇python读取几个G的csv文件方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

分数霸榜! python助你微信跳一跳拿高分

前言 最近微信的跳一跳很火,大家看到排行榜上几百上千的分数,再看看自己百分左右的分数肯定很难过,我手残怪我吗?没关系,如果你跟着我来,也能让你分数霸榜。 原理 首先大家是有一个直观感受,...

Python跑循环时内存泄露的解决方法

Python跑循环时内存泄露的解决方法

Python跑循环时内存泄露 今天在用Tensorflow跑回归做测试时,仅仅需要循环四千多次 (补充说一句,我在个人PC上跑的)。运行以后,我就吃饭去了。等我回来后,Console窗口...

使用tensorflow实现线性svm

本文实例为大家分享了tensorflow实现线性svm的具体代码,供大家参考,具体内容如下 简单方法: import tensorflow as tf import numpy a...

用python3 返回鼠标位置的实现方法(带界面)

用python3 返回鼠标位置的实现方法(带界面)

点击获取后,返回2s后的鼠标位置,显示在文本框 (需要用pip命令安装所需的的库) (pip install 模块名 比如 安装pyautogui 模块 在cmd里面输入: pip in...

对python生成业务报表的实例详解

对python生成业务报表的实例详解

本文介绍一个用python结合xlsxwriter自动生成业务报表的程序。这里的业务数据采用的是指定的值,真实情况下需要其他程序来接入数据。 # -*- coding: utf-8...