# coding utf-8import requestsimport jsonimport datetimeimport pymysqluser_agent = 'User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)' # 用来伪装用户身份headers = {'User-Agent': user_agent}p2plist_url = '/wdzj/html/json/dangan_search.json' # 用来存放平台的JSON数据页面print('正在抓取数据')s1 = datetime.datetime.now()r = requests.get(p2plist_url)content = r.textcontent = json.loads(content) # 加载JSON数据s2 = datetime.datetime.now()s3 = (s2 - s1).total_seconds()#print(content)print('抓取完成^\n共用时%s秒' % round(s3))con = pymysql.connect(host="192.168.0.204", user="root", password="jenkins!666", db="ceshi", port=3306) # 连接数据库cur = con.cursor() # 创建游标create_table = 'create table shuju (id int(10) auto_increment primary key,name varchar(20) NOT NULL,pin varchar(20) NOT NULL)' # 创建一个数据库try:cur.execute(create_table)mit()print('创表成功')except Exception as e:print('创表失败\n%s ' % e)con.rollback()# 插入数据语句for x in content:sql = "insert into shuju (name,id,pin) values ('%s','%d','%s')" % (x['platName'], x['platId'], x['platPin'])try:cur.execute(sql)mit()print('插入成功 %s %s %s' % (x['platName'], x['platId'], x['platPin']))except Exception as e:print('插入错误\n%s ' % e)con.rollback()cur.close() # 关闭游标con.close() # 关闭连接
之前用pycaharm无法实现主键自增是因为，第一次创建表时没有配置id自增，后来改成id自增模式，但是没有把原先的表给删除，所有一直无法实现id自增
参照文档
/buddyquan/p/6293503.html
如果觉得《爬取网贷之家平台数据保存到mysql数据库》对你有帮助，请点赞、收藏，并留下你的观点哦！
