搜索引擎爬虫蜘蛛的USERAGENT大全
搜索引擎爬虫蜘蛛的USERAGENT收集,方便制作采集的朋友。 百度爬虫* Baiduspider+(+/search/spider.htm”)
google爬虫
* Mozilla/5.0 (compatible; Googlebot/2.1; +/bot.html)
* Googlebot/2.1 (+/bot.html)
* Googlebot/2.1 (+/bot.html)
雅虎爬虫(分别是雅虎中国和美国总部的爬虫)
*Mozilla/5.0 (compatible; Yahoo! Slurp China; /help.html”)
*Mozilla/5.0 (compatible; Yahoo! Slurp; /help/us/ysearch/slurp”)
新浪爱问爬虫
*iaskspider/2.0(+/help/help_index.html”)
*Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)
搜狗爬虫
*Sogou web spider/3.0(+/docs/help/webmasters.htm#07″)
*Sogou Push Spider/3.0(+/docs/help/webmasters.htm#07″)
网易爬虫
*Mozilla/5.0 (compatible; YodaoBot/1.0; /help/webmaster/spider/”; )
MSN爬虫
*msnbot/1.0 (+/msnbot.htm”)
如果觉得《搜索引擎爬虫蜘蛛的USERAGENT大全》对你有帮助,请点赞、收藏,并留下你的观点哦!