搜索引擎爬虫蜘蛛的USERAGENT大全

搜索引擎爬虫蜘蛛的USERAGENT收集，方便制作采集的朋友。 百度爬虫

* Baiduspider+(+/search/spider.htm”)

google爬虫

* Mozilla/5.0 (compatible; Googlebot/2.1; +/bot.html)

* Googlebot/2.1 (+/bot.html)

* Googlebot/2.1 (+/bot.html)

雅虎爬虫（分别是雅虎中国和美国总部的爬虫）

*Mozilla/5.0 (compatible; Yahoo! Slurp China; /help.html”)

*Mozilla/5.0 (compatible; Yahoo! Slurp; /help/us/ysearch/slurp”)

新浪爱问爬虫

*iaskspider/2.0(+/help/help_index.html”)

*Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)

搜狗爬虫

*Sogou web spider/3.0(+/docs/help/webmasters.htm#07″)

*Sogou Push Spider/3.0(+/docs/help/webmasters.htm#07″)

网易爬虫

*Mozilla/5.0 (compatible; YodaoBot/1.0; /help/webmaster/spider/”; )

MSN爬虫

*msnbot/1.0 (+/msnbot.htm”)

如果觉得《搜索引擎爬虫蜘蛛的USERAGENT大全》对你有帮助，请点赞、收藏，并留下你的观点哦！