失眠网,内容丰富有趣,生活中的好帮手!
失眠网 > 真假蜘蛛识别php 真假百度蜘蛛IP识别终极技巧:一学就会!

真假蜘蛛识别php 真假百度蜘蛛IP识别终极技巧:一学就会!

时间:2024-02-02 19:54:36

相关推荐

真假蜘蛛识别php 真假百度蜘蛛IP识别终极技巧:一学就会!

上篇为大家分享了常见的一些普通的百度蜘蛛IP段,如,降权蜘蛛,竞价蜘蛛,图片蜘蛛,新站爬行蜘蛛,沙盒蜘蛛,高权蜘蛛,内页蜘蛛,隐藏蜘蛛等等。本次为大家分享的是如何精确的识别是否是真实的百度蜘蛛的方法,因为网站空间的问题以及本身技术的问题,很多站长的网站日志无法开启或者日志格式不够规范,导致在网站日志分析过程中,不能非常有效、迅速的去识别百度蜘蛛的爬行记录,对我们日常SEO工作带来了诸多的不便,现在大家跟我一起来学习一个非常简单、准确的通过IP来判断是否是真实的百度蜘蛛的方法:

可以通过DNS反查方式来解决这个问题。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

1、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *. 或 *.baidu.jp 的格式命名,非 *. 或 *.baidu.jp 即为冒充。

2、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*. 或*.baidu.jp 的格式命名,非 *. 或 *.baidu.jp 即为冒充。

3、在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *. 或*.baidu.jp 的格式命名,非 *. 或 *.baidu.jp 即为冒充。

在日常工作中最常见的就是windows和linux两种,本次以windows为示范:

我们通过dos命令来查看,本次找两个IP段220.181.108.140和117.28.255.37,开始菜单—运行—输入 cmd 命令:

开始菜单cmd命令

然后用命令 nslookup ip(ip前面加空格)来查看是否是真实蜘蛛ip,截图如下

nslookup命令

大家要注意的是:只要是百度的IP段,代码中会有出现:name:baiduspider,如果没有出现,那就不说不是真的百度IP段哦!

如果觉得《真假蜘蛛识别php 真假百度蜘蛛IP识别终极技巧:一学就会!》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。