使用python将大量数据导出到Excel中的小技巧分享
(1) 问题描述:为了更好地展示数据,Excel格式的数据文件往往比文本文件更具有优势,但是具体到python中,该如何导出数据到Excel呢?如果碰到需要导出大量数据又该如何操作呢?
本文主要解决以上两个问题。
(2)具体步骤如下:
1.第一步,安装openpyxl,
使用pip install openpyxl即可,但是在windows下安装的是2.2.6版本,但是centos自动安装的是4.1版本,(多谢海哥的提醒)。
写的代码在windows下运行没问题,但centos上却报错了,说是ew=ExcelWriter(workbook=wb)少提供一个参数,于是果断在 237服务器上我已安装2.2.6版本的,问题解决。
pip install openpyxl==2.2.6
2.第二步,哈哈,没有啦,废话不说了,直接上代码,ps,代码中包含xlwt和openpyxl的两个实现版本。
(3)扩展阅读:通过查阅资料,发现网上众说纷纭,总结起来有如下几点:
python Excel相关的操作的module lib有两组,一组是xlrd、xlwt、xlutils,另一组是openpyxl,
但是前一组(xlrd,xlwt)比较老,只能处理由Excel 97-2003 或者Excel 97 以前版本生成的xls格式的excel文件,xlwt甚至不支持07版以后的excel ,这个格式excel文件一般来说,最大只能支持256列或者65536行的excel文件。
因此面对需要导出大量数据到excel的情况,你将有如下三种选择,
(1) 换一种存储格式,如保存为CSV文件
(2) 使用openpyxl—,因为它支持对Excel 2007+ xlsx/xlsm format的处理
(3) win32 COM (Windows only)
当然,我们要直面困难了,为了更好地展示数据给产品和用户,我们依然选择的第二种。
ps,非常lucky,一番搜索后我找到了openpyxl,支持07+的excel,一直有人在维护,文档清晰易读,参照Tutorial和API文档很快就能上手,就是它了~
(4) 闲话少说,直接上代码,敬请参考
# coding:utf-8 ''' # 希望对大家有帮助哈,请多提问题 create by yaoyz date: 2017/01/24 ''' import xlrd import xlwt # workbook相关 from openpyxl.workbook import Workbook # ExcelWriter,封装了很强大的excel写的功能 from openpyxl.writer.excel import ExcelWriter # 一个eggache的数字转为列字母的方法 from openpyxl.utils import get_column_letter from openpyxl.reader.excel import load_workbook class HandleExcel(): '''Excel相关操作类''' def __init__(self): self. head_row_labels = [u'学生ID',u'学生姓名',u'联系方式',u'知识点ID',u'知识点名称'] """ function: 读出txt文件中的每一条记录,把它保存在list中 Param: filename: 要读出的文件名 Return: res_list: 返回的记录的list """ def read_from_file(self,filename): res_list=[] file_obj=open(filename,"r") for line in file_obj.readlines(): res_list.append(line) file_obj.close() return res_list """ function: 读出*.xlsx中的每一条记录,把它保存在data_dic中返回 Param: excel_name: 要读出的文件名 Return: data_dic: 返回的记录的dict """ def read_excel_with_openpyxl(self, excel_name="testexcel2007.xlsx"): # 读取excel2007文件 wb = load_workbook(filename=excel_name) # 显示有多少张表 print "Worksheet range(s):" , wb.get_named_ranges() print "Worksheet name(s):" , wb.get_sheet_names() # 取第一张表 sheetnames = wb.get_sheet_names() ws = wb.get_sheet_by_name(sheetnames[0]) # 显示表名,表行数,表列数 print "Work Sheet Titile:" ,ws.title print "Work Sheet Rows:" ,ws.get_highest_row() print "Work Sheet Cols:" ,ws.get_highest_column() # 获取读入的excel表格的有多少行,有多少列 row_num=ws.get_highest_row() col_num=ws.get_highest_column() print "row_num: ",row_num," col_num: ",col_num # 建立存储数据的字典 data_dic = {} sign=1 # 把数据存到字典中 for row in ws.rows: temp_list=[] # print "row",row for cell in row: print cell.value, temp_list.append(cell.value) print "" data_dic[sign]=temp_list sign+=1 print data_dic return data_dic """ function: 读出*.xlsx中的每一条记录,把它保存在data_dic中返回 Param: records: 要保存的,一个包含每一条记录的list save_excel_name: 保存为的文件名 head_row_stu_arrive_star: Return: data_dic: 返回的记录的dict """ def write_to_excel_with_openpyxl(self,records,head_row,save_excel_name="save.xlsx"): # 新建一个workbook wb = Workbook() # 新建一个excelWriter ew = ExcelWriter(workbook=wb) # 设置文件输出路径与名称 dest_filename = save_excel_name.decode('utf-8') # 第一个sheet是ws ws = wb.worksheets[0] # 设置ws的名称 ws.title = "range names" # 写第一行,标题行 for h_x in range(1,len(head_row)+1): h_col=get_column_letter(h_x) #print h_col ws.cell('%s%s' % (h_col, 1)).value = '%s' % (head_row[h_x-1]) # 写第二行及其以后的那些行 i = 2 for record in records: record_list=str(record).strip().split("\t") for x in range(1,len(record_list)+1): col = get_column_letter(x) ws.cell('%s%s' % (col, i)).value = '%s' % (record_list[x-1].decode('utf-8')) i += 1 # 写文件 ew.save(filename=dest_filename) """ function: 测试输出Excel内容 读出Excel文件 Param: excel_name: 要读出的Excel文件名 Return: 无 """ def read_excel(self,excel_name): workbook=xlrd.open_workbook(excel_name) print workbook.sheet_names() # 获取所有sheet print workbook.sheet_names() # [u'sheet1', u'sheet2'] sheet2_name = workbook.sheet_names()[1] # 根据sheet索引或者名称获取sheet内容 sheet2 = workbook.sheet_by_index(1) # sheet索引从0开始 sheet2 = workbook.sheet_by_name('Sheet1') # sheet的名称,行数,列数 print sheet2.name,sheet2.nrows,sheet2.ncols # 获取整行和整列的值(数组) rows = sheet2.row_values(3) # 获取第四行内容 cols = sheet2.col_values(2) # 获取第三列内容 print rows print cols # 获取单元格内容 print sheet2.cell(1,0).value print sheet2.cell_value(1,0) print sheet2.row(1)[0].value # 获取单元格内容的数据类型 print sheet2.cell(1,0).ctype # 通过名称获取 return workbook.sheet_by_name(u'Sheet1') """ function: 设置单元格样式 Param: name: 字体名字 height: 字体高度 bold: 是否大写 Return: style: 返回设置好的格式对象 """ def set_style(self,name,height,bold=False): style = xlwt.XFStyle() # 初始化样式 font = xlwt.Font() # 为样式创建字体 font.name = name # 'Times New Roman' font.bold = bold font.color_index = 4 font.height = height borders= xlwt.Borders() borders.left= 6 borders.right= 6 borders.top= 6 borders.bottom= 6 style.font = font style.borders = borders return style """ function: 按照 设置单元格样式 把计算结果由txt转变为Excel存储 Param: dataset:要保存的结果数据,list存储 Return: 将结果保存为 excel对象中 """ def write_to_excel(self, dataset,save_excel_name,head_row): f = xlwt.Workbook() # 创建工作簿 # 创建第一个sheet: # sheet1 count=1 sheet1 = f.add_sheet(u'sheet1', cell_overwrite_ok=True) # 创建sheet # 首行标题: for p in range(len(head_row)): sheet1.write(0,p,head_row[p],self.set_style('Times New Roman',250,True)) default=self.set_style('Times New Roman',200,False) # define style out the loop will work for line in dataset: row_list=str(line).strip("\n").split("\t") for pp in range(len(str(line).strip("\n").split("\t"))): sheet1.write(count,pp,row_list[pp].decode('utf-8'),default) count+=1 f.save(save_excel_name) # 保存文件 def run_main_save_to_excel_with_openpyxl(self): print "测试读写2007及以后的excel文件xlsx,以方便写入文件更多数据" print "1. 把txt文件读入到内存中,以list对象存储" dataset_list=self.read_from_file("test_excel.txt") '''test use openpyxl to handle EXCEL 2007''' print "2. 把文件写入到Excel表格中" head_row_label=self.head_row_labels save_name="test_openpyxl.xlsx" self.write_to_excel_with_openpyxl(dataset_list,head_row_label,save_name) print "3. 执行完毕,由txt格式文件保存为Excel文件的任务" def run_main_save_to_excel_with_xlwt(self): print " 4. 把txt文件读入到内存中,以list对象存储" dataset_list=self.read_from_file("test_excel.txt") '''test use xlwt to handle EXCEL 97-2003''' print " 5. 把文件写入到Excel表格中" head_row_label=self.head_row_labels save_name="test_xlwt.xls" self.write_to_excel_with_openpyxl(dataset_list,head_row_label,save_name) print "6. 执行完毕,由txt格式文件保存为Excel文件的任务" if __name__ == '__main__': print "create handle Excel Object" obj_handle_excel=HandleExcel() # 分别使用openpyxl和xlwt将数据写入文件 obj_handle_excel.run_main_save_to_excel_with_openpyxl() obj_handle_excel.run_main_save_to_excel_with_xlwt() '''测试读出文件,注意openpyxl不可以读取xls的文件,xlrd不可以读取xlsx格式的文件''' #obj_handle_excel.read_excel_with_openpyxl("testexcel2003.xls") # 错误写法 #obj_handle_excel.read_excel_with_openpyxl("testexcel2003.xls") # 错误写法 obj_handle_excel.read_excel("testexcel2003.xls") obj_handle_excel.read_excel_with_openpyxl("testexcel2007.xlsx")
以上这篇使用python将大量数据导出到Excel中的小技巧分享就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。