失眠网,内容丰富有趣,生活中的好帮手!
失眠网 > python导出百万数据到excel_Python 批量插入100万级数据到Excel文件(简洁版)

python导出百万数据到excel_Python 批量插入100万级数据到Excel文件(简洁版)

时间:2020-01-19 13:43:22

相关推荐

python导出百万数据到excel_Python 批量插入100万级数据到Excel文件(简洁版)

引言

python是一门开发语言,可以用来写大型项目,也可以用来写脚本,比如自动化脚本,也可以用来写工具。

背景

我们平时做测试,不一定做自动化测试才用去python,做功能测试,也就是点点点,也可以把它用起来。

比如,我现在页面有一个功能,导入的功能,我想测它最大支持多少数据量导入,或者说多大的文件导入,那么我们得在excel中写入很多条数据(导入模板是xls,xlsx)。

如果是自己手一条一条去弄,显然不现实,数据量不多还好,如果是100万呢,500万呢,1000万呢....

那么,这个时候可以利用python写个脚本,一秒生成百万级+的excel文件。

案例实现

我就将我实际项目遇到的情况拿出来讲。

背景:

1、导入功能;

2、导入模板excel;

3、导入数据格式,两列数据,数据格式不限制。

根据需求,我想测这个导入支持多大的数据量以及达到最大的时候,页面提示什么信息,是报错,还是温馨提示呢?那么就得写这样的一个向excel批量插入数据的脚本:

from xlwt import Workbook

#创建一个工作簿

w = Workbook()

#创建一个工作表

ws = w.add_sheet('1')

# 计数

count = 0

# 行数

link_nums = 5000

for j in range(0,2): #控制列

for i in range(0, link_nums): #控制行

count += 1

if(j == 0): #第一列

ws.write(i, j, i)

if(j == 1):

ws.write(i,j,i)

print("总共生成(单元格): %s数据"%count)

print("总共生成: %s条数据"%link_nums)

w.save('xqtest.xls')

运行结果:

总共生成(单元格): 10000数据

总共生成: 5000条数据

Process finished with exit code 0

打开excel文件查看:

运行时长:

总共生成(单元格): 10000数据

总共生成: 5000条数据

Running time: 7.293443303871468e-07 Seconds

Process finished with exit code 0

拿着生成的excel文件,操作导入,结果报错:

然后测试了这个导入功能,果然是有bug,已经反馈给开发修改了。

总结

方法基本上就是这样,具体根据自己业务需要进行设计。

另外,对测试开发,自动化测试,全栈测试相关技术感兴趣的朋友,可以加入到群里学习和探索交流,进群方式,扫下方二维码。

如果觉得《python导出百万数据到excel_Python 批量插入100万级数据到Excel文件(简洁版)》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。