失眠网,内容丰富有趣,生活中的好帮手!
失眠网 > Python读取CSV文件写入Mysql数据库

Python读取CSV文件写入Mysql数据库

时间:2024-03-25 20:47:20

相关推荐

Python读取CSV文件写入Mysql数据库

环境

win10

python3.7

mysql5.7

方法

pymysql

pip install pymysql

xxx.py

# -*- coding:utf-8 -*-import pandas as pdimport pymysqlimport time, datetimedef get_data(file_name):# 用pandas读取csv# data = pd.read_csv(file_name,engine='python',encoding='gbk')data = pd.read_csv(file_name,engine='python')print (data.head(5)) #打印前5行# 数据库连接conn = pymysql.connect(user="用户名",port=端口,passwd="密码",db="数据库名",host="127.0.0.1",charset = 'utf8')# 使用cursor()方法获取操作游标cursor = conn.cursor()# 数据过滤,替换 nan 值为 Nonedata = data.astype(object).where(pd.notnull(data), None) for ID,CREATE_DATE,CREATE_USER_ACCOUNT,UPDATE_DATE,UPDATE_USER_ACCOUNT,TASK_ID,USER_ACCOUNT,USER_PERSON_TYPE_ID,USER_NAME,COOPERATIVE_MEMBER in zip(data['ID'],data['CREATE_DATE'],data['CREATE_USER_ACCOUNT'],data['UPDATE_DATE'],data['UPDATE_USER_ACCOUNT'],data['TASK_ID'],data['USER_ACCOUNT'],data['USER_PERSON_TYPE_ID'],data['USER_NAME'],data['COOPERATIVE_MEMBER']):CREATE_DATE = format_date(CREATE_DATE) # 这里由于对日期有特殊需求,自己处理了一下,代码就不贴了,如无需要可略过。dataList = [ID,CREATE_DATE,CREATE_USER_ACCOUNT,UPDATE_DATE,UPDATE_USER_ACCOUNT,TASK_ID,USER_ACCOUNT,USER_PERSON_TYPE_ID,USER_NAME,COOPERATIVE_MEMBER]print (dataList) # 插入的值try:insertsql = "INSERT INTO sw_task_member_asign(ID,CREATE_DATE,CREATE_USER_ACCOUNT,UPDATE_DATE,UPDATE_USER_ACCOUNT,TASK_ID,USER_ACCOUNT,USER_PERSON_TYPE_ID,USER_NAME,COOPERATIVE_MEMBER) VALUES(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"cursor.execute(insertsql,dataList)mit()except Exception as e:print ("Exception")print (e)conn.rollback()cursor.close()# 关闭数据库连接conn.close()def main():# 读取数据get_data('xxx.csv')if __name__ == '__main__':main()

注:读取大文件可以用load data导入,但自己并没有尝试成功。写的时候也碰了些坑,搜了不少博客并不适合自己,总会出现各种问题,上述代码可能只并不适配所有场景,仅供参考。

- End -﹀﹀﹀白嫖有风险点赞加收藏

如果觉得《Python读取CSV文件写入Mysql数据库》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。