python读取几个G的csv文件方法

yipeiwu_com5年前Python基础

如下所示:

import pandas as pd
file = pd.read_csv('file.csv',iterator=True)
while True:
  chunk = file.get_chunk(1000)
  print(chunk.head(10))
  print(chunk.tail(10))
 

以上这篇python读取几个G的csv文件方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

Python读写文件基础知识点

Python读写文件基础知识点

在 Python 中,读写文件有 3 个步骤:  1.调用 open()函数,返回一个 File 对象。  2.调用 File 对象的 read()或 write()...

Python3.7 pyodbc完美配置访问access数据库

Python3.7 pyodbc完美配置访问access数据库

环境 win2008 r2 64为系统 python3.7、pyodbc 安装好python3.7以后,那么就需要安装pyodbc了。 数据库连接 数据库连接网上大致有两种方法,一种是使...

Python模拟用户登录验证

Python模拟用户登录验证

本文实例为大家分享了Python模拟用户登录验证的具体代码,供大家参考,具体内容如下 1.功能简介 此程序模拟用户登录验证的过程,实现用户名输入、黑名单检测、用户有效性判别、密码输入及验...

python中的列表与元组的使用

在python中的数据类型和控制流这篇文章中我们提到过列表,它是基本的数据类型之一。 通俗来说,它就是用来存储一系列数据的。比如存储一个班级的学生。 列表中的每个元素可以通过下标(索引)...

python网络编程学习笔记(六):Web客户端访问

6.1 最简单的爬虫 网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成。python的urllib\urllib2等模块很容易实现这一功能,下面的例...