失眠网,内容丰富有趣,生活中的好帮手!
失眠网 > Python3 知乎回答爬取+数据文本分析——如何判断一个人是否喜欢你 项目实战结论及步

Python3 知乎回答爬取+数据文本分析——如何判断一个人是否喜欢你 项目实战结论及步

时间:2022-12-23 22:07:39

相关推荐

Python3 知乎回答爬取+数据文本分析——如何判断一个人是否喜欢你 项目实战结论及步

目录

实现思路及准备爬取知乎动态页面存入数据库一、爬取二、存入三、导出数据1.export2.文件格式修改==(如果想用excel保存的话再做)==数据文本筛选、清洗一、用正则去除数据中多余部分二、jieba分词,去除滥用词等词频结果及词云图一、词频输出的结果二、词云图1.代码2.词云图文本分析结论多说一句

实现思路及准备

**实现思路**1.利用知乎爬取回答 存入数据库 2.从数据库提取数据 过滤清洗3.词频统计,文本分析,做词云图,得结论**准备:**Python3、Mysql8.0、mysqlworkbench所需库:pymysql、json、requests、jieba、re、wordcloud、

爬取知乎动态页面存入数据库

一、爬取

1.先点查看全部回答——F12——network——刷新页面——

2.点击一个文件——preview ——找到一个文件类似这样 展开data里面有回答的就是(一般是answers开头的一个文件)——点旁边headers——复制它的Url

3.到浏览器中打开——修改offset= 这里就可以改变页数

然后就可以用requests库,对页面进行爬取了

这里记得加headers请求头 否则会报错

二、存入

1.在workbench中创建表 把answerer_name设置为主键 ,因为发现更改offset=后的页面会有许多重复回答

29.30行的定位需要把页面代码(json格式)去百度在线格式化一下 就可以找到定位的地方了

这里31行的sql语句是 replace into 且以answerer_name为主键 避免重复输入

2.输出结果, 这里一共爬了九百多条

三、导出数据

1.export

2.文件格式修改==(如果想用excel保存的话再做)==

(1)直接用excel打开会乱码

(2)先用记事本打开——另存为 选择ANSI编码——保存

再将新文件用excel方式打开就可以了

数据文本筛选、清洗

一、用正则去除数据中多余部分

二、jieba分词,去除滥用词等

这里我把字典直接打在代码里了 大家可以写成文档再导入

代码后面有每步的注释

词频结果及词云图

一、词频输出的结果

因为后面的词意义不大 所以就提取到这里

二、词云图

1.代码

2.词云图

文本分析结论

根据回答者的词频统计的个人解释:

1.喜欢你的人主动的次数肯定多

2.喜欢你的人说“一起…吧”的话1定多

3.从跟你聊天的次数、频率自己想去吧

4.ta的眼神会告诉你

5.肯定会关心你

6.拒绝的次数肯定少

多说一句

如果根据大家恋爱前的聊天记录分析 肯定更准 我不介意你们打包发给我

不过我也没报多大希望,毕竟你们都没有对象。⁄(⁄ ⁄ ⁄ω⁄ ⁄ ⁄)⁄

Python3 知乎回答爬取+数据文本分析——如何判断一个人是否喜欢你 项目实战结论及步骤笔记

如果觉得《Python3 知乎回答爬取+数据文本分析——如何判断一个人是否喜欢你 项目实战结论及步》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。