因工作需要写了一个微信公众号文章的爬虫程序，贴一下分享给需要的朋友。
首先是抓取文章的url链接，在反复研究之后找到的一个最简单的方法，不需要抓包工具。首先需要自己注册一个微信公众号，有微信即可绑定注册，很简单。打开浏览器搜索‘微信公众号’，按流程注册登录。注册完之后如图：
点击左下角‘素材管理’，然后‘新建图文消息’。再在新打开的页面里，最上方找到‘超链接’选项，点击。
在弹出的框中点击‘选择其他公众号’，然后就是输入你要爬取的公众号名称。
好了，到这里傻瓜式进程结束！正式进入爬虫阶段。。。
这里以‘揭阳星空网’公众号为例，这也是公司要求抓取的公众号之一。左边显示的就是公众号最新发布的一些文章，右边箭头指的就是这些文章相关的url，url、cookie、ua这些就不说了，懂一点爬虫的都应该懂。
点开preview，这是一个json格式的url，在这里就能找到我们需要的数据，包括标题，链接，封面图面以及发布时间。（发布时间是时间戳，要转换为常见时间格式。）
emmmm。。然后开始码，先获取此页所有的url和标题
只做演示所以就只抓这一页的数据，如果要抓多页只需要修改url里的begin参数，begin=0是第一页，begin=5是第二页，以此类推！！！
我们随手打开一篇文章，大家如果有去研究就可以发现，不管是什么公众号什么文章，内容都是放在这个id=‘js_content’的div标签里的，因此我们只需要拿到这里面的内容就可以获取所有的文本和图片。（在这里扩展一下，有些文章里包含视频文件，视频文件大致分为两种，一种是腾讯视频的外部链接，一种应该是小编自行上传的视频文件。如果是自行上传的文件在这个页面也是可以拿到的，但是如果是腾讯视频的链接就是拿不到的，需要做另外处理！这个写不写看后面吧！！）
拿到所有的文章url之后就可以进行遍历获取响应了。
这里的title用了比较多的replace替换，原因在于这个title后面要作为输出word文件的标题，而标题是没办法包含这些特殊字符的，如果不替换掉会报错到令你崩溃。别问一定要这么写吗？反正我是只想到这个方法，一个一个替换！有更好的方法欢迎补充！
这里Document()是第三方库docx的方法，用来做word文档写入操作的。add_heading就是写入标题啦！
代码有点乱，将就看吧！还没时间整理
这里我用的是bs4获取，主要是因为bs4有一个比xpath，re都有优势的地方，那就是可以拿到子节点进行遍历。在拿到js_content的标签之后，就可以直接用soup.children遍历soup的子节点。对bs4不了解的自行百度吧！然后就是一个一个节点去循环遍历了，一般公众号的文字都是放在p标签里，有少部分会放在section标签里，所以是要判断if child.p or child.section，如果存在该标签，那么就current.add_paragraph(text=child.text)，把文本写入word文档，再判断是否存在img标签，存在就匹配出img的url，进行下载，然后就是current.add_picture(pic)写入图片。视频没办法放入word，只能另外处理，还有一些表格啥的也是一样处理方法。遍历完之后就是current.save(你的存储位置）
写入完成效果是这样的
打开是这样的
虽然也保存了样式，不过放入word文档并不美观就是了。还做了去广告处理，这里没贴出来，有朋友需要再贴，反正思路就是找到特殊性。
原本以为到这里就结束了，没想到后面产品经理找我说，还要采文章的点赞数，在看数，阅读数。心里一万头草拟马在奔腾。然后默默回了一句‘好’。
然而在微信公众号平台打开的文章并没有这些参数，无奈只能在微信端试试看了，PC端微信文章打开是有这些数据的，但拿不到相关的参数，只能用抓包工具了，打开fidder，设置只抓微信的包。然后PC端打开一篇文章，在抓到的url里挨个点击寻找。然后。。。然后就找到了！
这里其实挺操蛋的，因为直接拿这里面的url去发送请求是拿不到数据的，这是一个post请求，也就意味着有一些data参数必须要传递上，多次尝试之后，直接贴代码！
没错，这些都是必须要携带的参数，大部分参数都是固定不变的，只有pass_ticket,appmsg_token,key这三个是变化的，因此每次请求可能都要手动更换这三个参数，最操蛋的就是key，基本上是二三十分钟更换一次，如果对数据采集量要求不大应该是足够用了。而且貌似破解不了（反正我破解不了，有大神请带带我）。带上这些必要参数就可以发送post请求拿到json格式的数据啦，然后就是转字典取值了，下面的代码就不贴了。搞完入库！
.08.18最新优化全代码，亲测可用！（参数自行输入）
import jsonimport reimport timeimport pymysqlimport requestsfrom lxml import etreeimport urllib3urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)class Gzh_wz(object):def __init__(self):self.conn = pymysql.connect(xxx)self.cursor = self.conn.cursor()with open('标题.txt', 'r', encoding='utf-8')as r:titles = r.read().replace('\ufeff', '')self.title_l = titles.split('\n')self.cookie = input('cookie：')self.pass_ticket = input('pass_ticket:')self.url_dict = {'揭阳蓝城生活': 'https://mp./cgi-bin/appmsg?action=list_ex&begin=0&count=5&fakeid=MzI0MTA2MDMwMA==&type=9&query=&token=abcd&lang=zh_CN&f=json&ajax=1','揭东生活圈': 'https://mp./cgi-bin/appmsg?action=list_ex&begin=0&count=5&fakeid=MzI0MzA1ODc0NQ==&type=9&query=&token=abcd&lang=zh_CN&f=json&ajax=1'}self.headers = {'cookie': self.cookie,'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36','referer': 'https://mp./cgi-bin/appmsg?t=media/appmsg_edit_v2&action=edit&isNew=1&type=10&token=370616041&lang=zh_CN',}self.app_url = "http://mp./mp/getappmsgext"phoneCookie = "rewardsn=; wxtokenkey=777; wxuin=1797234910; devicetype=Windows10x64; version=62090529; lang=zh_CN; pass_ticket=hjymD+nRjMwS6tz25jYr1rByJW9Yzu8L6Y+I6VDM8EK8bM7Ltcee1dTvMsr6A2I1; wap_sid2=CN7B/tgGElxnWXktSExLc0EyTVFVNGJMTjJ5eVhwSWNDQk5tRHhSd21NaGZNMUoxaWJRdzBlcUJxZG1XUEtuQ1JTekt4dXctS3hLaVFWU0xqdWQxNVJleFAxTGZ4akVFQUFBfjDi67T5BTgNQAE="self.app_headers = {"Cookie": phoneCookie,"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 MicroMessenger/6.5.2.501 NetType/WIFI WindowsWechat QBCore/3.43.901.400 QQBrowser/9.0.2524.400"}self.data = {"is_only_read": "1","is_temp_url": "0","appmsg_type": "9",'reward_uin_count': '0'}def get_link(self):for name, url in self.url_dict.items():print(name)self.url = url.replace('abcd', '1897236457')res = requests.get(self.url, headers=self.headers, verify=False).textres_dict = json.loads(res)details = res_dict['app_msg_list']self.appmsg_token = input('appmsg_token:')if self.appmsg_token == '1':continueself.key = input('key:')for detail in details:self.title = detail['title']self.detail_url = detail['link']self.get_response(detail)self.conn.close()def get_response(self, detail):self.detail_res = requests.get(self.detail_url, headers=self.headers, verify=False).textcon = ''.join(re.findall(r'<div class="rich_media_content " id="js_content".*?</div>', self.detail_res, re.DOTALL))video = re.search(r'video', con)if video:return Nonecon = con.replace('\n', '').replace('style="visibility: hidden;"', '').replace('data-src', 'src')rep = re.search(r'<img.*?>', con, re.DOTALL)if rep:rep = rep.group()rep1 = '点击上方蓝色字体，关注我们'rep2 = '给我点【在看】你也越好看'self.content = con.replace(str(rep), '').replace(rep1, '').replace(rep2, '')publish = detail['create_time']self.cover_img = detail['cover']times = int(publish)timess = time.localtime(times)self.publish_time = time.strftime("%Y-%m-%d %H:%M:%S", timess)self.create_time = str(time.strftime("%Y-%m-%d %H:%M:%S"))create_time_date = self.create_time.split(' ')[0]re_time = re.findall(create_time_date, str(self.publish_time))if re_time:print('--' * 50)print(self.publish_time)else:return Noneif self.title in self.title_l:return Noneelse:self.title_l.append(self.title)with open('标题.txt', 'a', encoding='utf-8')as w:w.write('\n')w.write(self.title)self.tt_dict = {x.split('=')[0]: x.split('=')[1] for x in self.detail_url.split('&')}print(self.tt_dict)if self.tt_dict['idx'] == '1':self.is_headline = '1'else:self.is_headline = '0'detail_ret = etree.HTML(self.detail_res)fro = detail_ret.xpath('//span[contains(text(), "来源：")]')self.gzh_name = ''.join(detail_ret.xpath('//a[@id="js_name"]/text()')).strip()self.author = ' 'if fro:self.is_original = '0'else:self.is_original = '1'self.get_nums()return Nonedef get_nums(self):mid = self.detail_url.split("&")[1].split("=")[1]idx = self.detail_url.split("&")[2].split("=")[1]sn = self.detail_url.split("&")[3].split("=")[1]_biz = self.detail_url.split("&")[0].split("_biz=")[1]params = {"__biz": _biz,"mid": mid,"sn": sn,"idx": idx,"key": self.key,"pass_ticket": self.pass_ticket,"appmsg_token": self.appmsg_token,"uin": "MTc5NzIzNDkxMA==","wxtoken": "777",}con2 = requests.post(self.app_url, headers=self.app_headers, data=self.data, params=params, verify=False).json()try:self.pageview = con2["appmsgstat"]["read_num"]except:self.pageview = 0try:self.look_count = con2["appmsgstat"]["like_num"]except:self.look_count = 0try:self.like_count = con2["appmsgstat"]['old_like_num']except:self.like_count = 0print(self.like_count)print(self.look_count)print(self.pageview)self.deposit_mysql()return Nonedef deposit_mysql(self):sql = "insert into gzh_article(id, gzh_name, author, title, is_original, publish_time, is_headline, content, pageview, look_count, org_url, cover_img, like_count, create_time, import_time) values(null,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s, null)"self.cursor.execute(sql, (self.gzh_name, self.author, self.title, self.is_original, self.publish_time, self.is_headline, self.content,self.pageview, self.look_count, self.detail_url, self.cover_img, self.like_count, self.create_time))mit()time.sleep(1)return Noneif __name__ == '__main__':gzh = Gzh_wz()gzh.get_link()
如果觉得《python爬虫抓取微信公众号文章（含全文图以及点赞数 在看数 阅读数）》对你有帮助，请点赞、收藏，并留下你的观点哦！
