因为新浪微博网页版爬虫比较困难，故采取用手机网页端爬取的方式
操作步骤如下：
1. 网页版登陆新浪微博
2.打开
3.查找自己感兴趣的话题，获取对应的数据接口链接
4.获取cookies和headers
# -*- coding: utf-8 -*-
import requests
import csv
import os
base_url = '/api/comments/show?id=4131150395559419&page={page}'
cookies = {'Cookie':'xxx'}
headers = {'User-Agent':'xxx'}
path = os.getcwd()+"/weibo.csv"
csvfile = open(path, 'a+', encoding='utf-8',newline='')
writer = csv.writer(csvfile)
writer.writerow(('username','source','comment'))
for i in range(0,83):
try:
url = base_url.format(page=i)
resp = requests.get(url, headers=headers, cookies=cookies)
jsondata = resp.json()
data = jsondata.get('data')
for d in data:
created_at = d.get("created_at")
source = d.get("source")
username = d.get("user").get("screen_name")
comment = d.get("text")
print((username,source,comment))
writer.writerow((username, source, comment))
except:
print('*'*1000)
pass
csvfile.close()
至于爬出来的数据有非中文的数据，要提取中文请参考：筛选出一段文字中的中文
未完待续。。。。
Python：将爬取的网页数据写入Excel文件中
Python:将爬取的网页数据写入Excel文件中 通过网络爬虫爬取信息后,我们一般是将内容存入txt文件或者数据库中,也可以写入Excel文件中,这里介绍关于使用Excel文件保存爬取到的网页数据的 ...
Python学习笔记之将数据写入到文件中
10-3 访客:编写一个程序,提示用户输入其名字:用户作出响应后,将其名字写入到文件guest.txt 中. 编写Python代码: username = input("Please ent ...
利用Python爬取朋友圈数据，爬到你开始怀疑人生
人生最难的事是自我认知,用Python爬取朋友圈数据,让我们重新审视自己,审视我们周围的圈子. 文:朱元禄(@数据分析-jacky) 哲学的两大问题:1.我是谁?2.我们从哪里来? 本文 jacky试 ...
C# 将List中的数据导入csv文件中
///mingmingruyuedlut/archive//01/20/2849906.html C# 将List中的数据导入csv文件中 将数 ...
PHP将数据写入指定文件中
首先创建一个空的txt文件,这里我们创建了一个1.txt的空文件. 第一种方法:fwrite函数 <?php $file=fopen('1.txt','rb+'); var_dump(fwrit ...
票房和口碑称霸国庆档，用 Python 爬取猫眼评论区看看电影《我和我的家乡》到底有多牛
今年的国庆档电影市场的表现还是比较强势的,两名主力和起到了很好的带头作用. 首日破 2 亿,一举刷新由
Python爬取招聘网站数据，给学习、求职一点参考
1.项目背景 随着科技的飞速发展,数据呈现爆发式的增长,任何人都摆脱不了与数据打交道,社会对于“数据”方面的人才需求也在不断增大.因此了解当下企业究竟需要招聘什么样的人才?需要什么样的技能?不管是对于 ...
python 将json格式的数据写入csv格式的文件中
# coding=utf-8 import json import csv # 重新进行配置读写数据时的默认编码 import sys reload(sys) sys.setdefaultencodi ...
一个简易的Python爬虫，将爬取到的数据写入txt文档中
代码如下: import requests import re import os #url url = "/index.php?title= ...
随机推荐
从外部浏览开启app
先描述一下需求:从浏览器中点击某个按钮,如果手机上装有相应的app,则直接开启app,并且到相对的页面.如果没有装该app,则会到相应的下载app的界面. 我这里主要用的是第三方的东西,就是魔窗中的m ...
Android动画学习(二)——Tween Animation
前两天写过一篇Android动画学习的概述,大致的划分了下Android Animation的主要分类,没有看过的同学请移步:Android动画学习(一)——Android动画系统框架简介.今天接着来 ...
Oracle11g 配置 ST_GEOMETRY
安装环境:ArcGIS Desktop10.2.1 .ArcSDE10.2.134940. Oracle11.2.0.1 操作系统:Windows Server R2 DataCenter 安 ...
des (C语言)
/** * \file des.h * * \brief DES block cipher * * Copyright (C) -, Brainspark B.V. * * This ...
【DP】POJ 2385
题意:又是Bessie 这头牛在折腾,这回他喜欢吃苹果,于是在两棵苹果树下等着接苹果,但苹果不能落地后再接,吃的时间不算,假设他能拿得下所有苹果,但是这头牛太懒了[POJ另一道题目说它是头勤奋的奶牛, ...
湖大校赛 L题 The Sequence likes Ladder
题意:S1=a,Sn=a*(Sn-1)^k%m,且有(a,m)=1,给出i,求Si. 思路:首先我们可以写出Sn的通项a^(1+k+k^2+...k^n-1);其次注意到m的范围是10000以内,所以 ...
UIKit&#160;框架之UICollectionViewController
1.自定义单元格 #import @interface myCollectionViewCell : UICollectionViewCell @prope ...
php foreach 使用&;(与运算符)引用赋值要注意的问题
首先了解一下“引用赋值”,看一个例子: <?php <?php $a=123; $a=123; $b=$a; $b=&$a; $a=321; $a=321; echo"$ ...
ubuntu14.04 制作U盘启动文件
1.制作U盘启动文件 网上搜索:U盘安装Ubuntu 12.10 图文教程(ultraiso) /os/94398.html 2. 重启,按Del(或F2)进BI ...
view import symbols
nm -D [file]|grep -w U or objdump -T [file]|grep "*UND*"
如果觉得《python爬取微博数据存入数据库_Python爬取新浪微博评论数据 写入csv文件中》对你有帮助，请点赞、收藏，并留下你的观点哦！
