失眠网,内容丰富有趣,生活中的好帮手!
失眠网 > python爬虫处理js混淆加密_python爬虫反反爬 | 像有道词典这样的 JS 混淆加密应该怎么破...

python爬虫处理js混淆加密_python爬虫反反爬 | 像有道词典这样的 JS 混淆加密应该怎么破...

时间:2018-07-02 00:02:46

相关推荐

python爬虫处理js混淆加密_python爬虫反反爬 | 像有道词典这样的 JS 混淆加密应该怎么破...

嘿嘿嘿,小帅b又来跟你说说一些爬虫过程中需要斗智斗勇的事情了,这次咱们就来说说关于一些 JS 混淆加密的事。所谓 JS ,就是 JavaScript ,一种前端的脚本语言,一般情况下每个网站都需要 JS 来做一些数据交互,页面渲染等一些异步操作。当然,对于反爬的人来说,JS 的用处还可以用来对一些数据进行加密。

今天咱们就以有道词典这个在线翻译的网站为例,看看他们是如何加密请求数据的,以及小帅b是如何通过 Python 模拟请求从而获得关键数据的。

输入中文然后点击翻译按钮就会翻译出来英文,比如:

Hello, everyone, I'm Small handsome b.

哈哈哈,ok,我们打开开发者工具,按下 F12 来抓一下数据,当我们点击翻译的时候,可以看到有了一个请求:

点进去看可以发现,POST请求的地址是:

我们再来看一下请求过去携带的参数是啥

可以看到,还是需要挺多参数的,其中的 i 就是我们要翻译的内容,那简单啊~想要得到翻译后的数据,那么我们直接把请求头和所需参数的值复制一下,然后用 requests 请求一波不就搞定了?

说干就干,代码走起!

定义一个请求的 url 和 headers

再把 form data 的数据整过来

requests 走起

运行一波

what? 返回的是一个错误码。

好的吧,如果是这么简单,小帅b何必写这篇教程呢?如果你之前玩过加密相关的,那么你应该对 form data 中的 salt、sign 这两个字眼不陌生,那么,如何破呢?

接下来就是:

学习 python 的正确姿势

我们再点多几次翻译按钮,然后就可以看到有多次请求。

可以发现,每一次的请求中的 salt、sign、ts、bv 参数是会一直变化的。

how to do it?我们回到 NetWork ,我们看到 Initiator 这一栏,可以看到它请求到了 fanyi.min.js:1 这个 js 文件。

我们就点 fanyi.min.js:1 进去看看,牛的一比,直接看不懂...

还好,左下角有一个 {} ,可以点一下

发现有惊喜,直接帮我们把压缩的 js 代码格式化。

牛逼不,行号都给我们显示出来了,不过到了这里,依然懵逼,我们还是不知道怎么拿到 salt、sign、ts、bv 这些参数的值...

咋办?恩,Chrome浏览器的打断点功能在这个时候就要派上用场了。这时候还要把帅b语录搬过来应景哈哈哈。

那么如何使用断点功能呢,我们看到 Chrome 的右边是这样的:

看到这个 XHR/fetch BreakPoints 没,在这里我们可以添加 url ,根据请求这个 url 打断点。而我们要打的断点就是一开始获取到的请求 url :

点击 XHR/fetch BreakPoints 右边的 + 号,然后把链接复制进去:

这时候再点击翻译按钮:

突然,你的屏幕一灰,表示好事将近,我们成功打上了断点,也就是说,现在我们可以在请求之前做一些骚操作。

这时候我们将右边的 Call Stack 展开:

这些,就是我们在点击翻译按钮之后,会调用到 js 里面的方法,从这里下手,来寻找那些参数是被如何加密的,说实话,用文字来说怎么去 debug 有点繁琐..要不,视频走起?

Chrome如何debug 调试 js代码/video/113018342866448

我是全网第一良心博主有没有,请叫我良心b!!!

通过帅b的视频,相信你已经知道了这些参数是如何加密的了,那么接下来就可以通过 Python 模拟了。

代码走起!

ts 在 js 中是这样的:

r = "" + (new Date).getTime()

那么在 Python 中就是这样的:

bv 在 js 中是这样的:

n.md5(navigator.appVersion)

那么它在 Python 中就是这样的:

salt 在 js 中是这样的:

r + parseInt(10 * Math.random(), 10)

那么它在 Python 中就是这样的:

sign 在 js 中是这样的:

n.md5("fanyideskweb" + e + i + "@6f#X3=cCuncYssPsuRUE")

那么它在 Python 中就是这样的:

所以我们获取 form data 的方法就是这样的:

那么我们的请求就可以这样:

这样我们就使用了最正确的参数值来请求了,运行一波:

cool~~~拿到数据啦!顺便说一句,用到的库有这么几个:

完事了!

ps:觉得对你有帮助,给我点个在看,转发,赞赏。让帅b老仙,一直法力无边。另外,接下来会有骚动作,为了能让你及时收到通知,赶紧关注这个公众号并设置为星标,以免到时亏得一批,我们下回见,peace!

扫一扫

学习 Python 没烦恼

如果觉得《python爬虫处理js混淆加密_python爬虫反反爬 | 像有道词典这样的 JS 混淆加密应该怎么破...》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。