常见搜索引擎蜘蛛爬虫UserAgent(UA标识)的汇总
<div id="navCategory"><h5 class="catalogue">目录</h5><ul class="first_class_ul"><li>百度蜘蛛（baiduspider）</li><li>Google 蜘蛛(googlebot)</li><li>360搜索蜘蛛(360spider)</li><li>搜狗蜘蛛(sogou)</li><li>Bing蜘蛛(bingbot)</li><li>头条搜索爬虫(bytespider)<br/></li><li>神马搜索的蜘蛛爬虫(YisouSpider)</li><li>雅虎搜索引擎的蜘蛛</li><li>总结</li></ul></div><p>User-Agent (UA) 是HTTP协议请求头的一部分，它提供了用户软件的信息，包括应用类型、操作系统、供应商和版本。搜索引擎爬虫频繁的爬行和较高的爬行频率，有时会对网站造成较大的负载。</p><p>搜索引擎爬虫作为搜索引擎获取和理解网页内容的工具，其User-Agent一般都是带有spider、bot字样，同时还会有搜索引擎厂商的标识，比如百度的是 Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html ，搜狗的是Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07) ，不过这些类型都不是唯一的，有多种形式，以及上面部分信息也是会改变的。<br/></p><p class="maodian"></p><h2>百度蜘蛛（baiduspider）</h2><p data-v-2505e99a="" data-v-5b474d2a=""> 百度PC蜘蛛</p><figure><pre>Mozilla/5.0(compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html)</pre></figure><p data-v-2505e99a="" data-v-5b474d2a=""> 或</p><figure><pre>Mozilla/5.0(compatible;Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)</pre></figure><p data-v-2505e99a="" data-v-5b474d2a=""> 百度移动蜘蛛</p><figure><pre>Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;)AppleWebKit/534.46(KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3(compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html)</pre></figure><p data-v-2505e99a="" data-v-5b474d2a=""> 或</p><figure><pre>Mozilla/5.0(iPhone;CPU iPhone OS 9_1 like Mac OS X)AppleWebKit/601.1.46(KHTML,like Gecko)Version/9.0 Mobile/13B143 Safari/601.1(compatible;Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)</pre></figure><p data-v-2505e99a="" data-v-5b474d2a=""> 百度小程序蜘蛛</p><figure><pre>Mozilla/5.0(iPhone;CPU iPhone OS 9_1 like Mac OS X)AppleWebKit/601.1.46(KHTML,like Gecko)Version/9.0 Mobile/13B143 Safari/601.1(compatible;Baiduspider-render/2.0;Smartapp;+http://www.baidu.com/search/spider.html) </pre></figure><p class="maodian"></p><h2>Google 蜘蛛(googlebot)</h2><p data-v-2505e99a="" data-v-5b474d2a="">Google PC蜘蛛</p><figure><pre>Mozilla/5.0 AppleWebKit/537.36(KHTML,like Gecko;compatible;Googlebot/2.1;+http://www.google.com/bot.html)Chrome/W.X.Y.Z Safari/537.36</pre></figure><p data-v-2505e99a="" data-v-5b474d2a=""> 其中W.X.Y.Z是Chrome浏览器版本号。Google蜘蛛从2019年开始使用最新版本的Chrome引擎抓取、渲染页面，所以这个版本号会保持更新。</p><p data-v-2505e99a="" data-v-5b474d2a=""> 或（偶尔使用）</p><figure><pre>Mozilla/5.0(compatible;Googlebot/2.1;+http://www.google.com/bot.html)</pre></figure><p data-v-2505e99a="" data-v-5b474d2a=""> 或（偶尔使用）</p><figure><pre>Googlebot/2.1(+http://www.google.com/bot.html)</pre></figure><p data-v-2505e99a="" data-v-5b474d2a=""> Google移动蜘蛛</p><figure><pre>Mozilla/5.0(Linux;Android 6.0.1;Nexus 5X Build/MMB29P)AppleWebKit/537.36(KHTML,like Gecko)Chrome/W.X.Y.Z Mobile Safari/537.36(compatible;Googlebot/2.1;+http://www.google.com/bot.html)</pre></figure><p data-v-2505e99a="" data-v-5b474d2a=""> Google图片蜘蛛</p><p data-v-2505e99a="" data-v-5b474d2a=""> Googlebot-Image/1.0</p><p data-v-2505e99a="" data-v-5b474d2a=""> Google视频蜘蛛</p><p data-v-2505e99a="" data-v-5b474d2a=""> Googlebot-Video/1.0</p><p class="maodian"></p><h2>360搜索蜘蛛(360spider)</h2><figure><pre>Mozilla/5.0(Windows NT 6.1;WOW64)AppleWebKit/537.36(KHTML,like Gecko)Chrome/50.0.2661.102 Safari/537.36;360Spider</pre></figure><p class="maodian"></p><h2>搜狗蜘蛛(sogou)</h2><p data-v-2505e99a="" data-v-5b474d2a="">搜狗PC蜘蛛</p><figure><pre>Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)</pre></figure><p data-v-2505e99a="" data-v-5b474d2a="">搜狗移动蜘蛛</p><figure><pre>Sogou wap spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)</pre></figure><p class="maodian"></p><h2>Bing蜘蛛(bingbot)</h2><figure><pre>Mozilla/5.0(Linux;Android 6.0.1;Nexus 5X Build/MMB29P)AppleWebKit/537.36(KHTML,like Gecko)Chrome/W.X.Y.Z Mobile Safari/537.36 Edg/W.X.Y.Z(compatible;bingbot/2.0;+http://www.bing.com/bingbot.htm)</pre></figure><p data-v-2505e99a="" data-v-5b474d2a=""> 其中W.X.Y.Z是Chrome和Edge浏览器版本号。和Google一样，Bing也使用最新版本的Microsoft Edge引擎抓取、渲染页面。Edge和Chrome一样，也使用Chromium内核，所以Bing蜘蛛用户代理字符串里还包含一个Chrome版本号。</p><p data-v-2505e99a="" data-v-5b474d2a=""><br/></p><p class="maodian"></p><h2>头条搜索爬虫(bytespider)<br/></h2><ul class=" list-paddingleft-2"><li>PC端：Mozilla/5.0 (compatible; Bytespider;https://zhanzhang.toutiao.com/) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/70.0.0.0 Safari/537.36</li><li>Android端：Mozilla/5.0
(Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile
Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/)</li><li>iOS端：Mozilla/5.0
(iPhone; CPU iPhone OS 7_1_2 like Mac OS X) AppleWebKit/537.36 (KHTML,
like Gecko) Version/7.0 Mobile Safari/537.36 (compatible; Bytespider;
https://zhanzhang.toutiao.com/)</li></ul><p><br/></p><p class="maodian"></p><h2>神马搜索的蜘蛛爬虫(YisouSpider)</h2><p>YisouSpider的行为特点包括频繁的爬行和较高的爬行频率，有时会对网站造成较大的负载，尤其是对于VPS或内存较小的虚拟机，可能会导致网站崩溃或性能下降。此外，YisouSpider的爬行不受时间限制，白天和晚上都会进行爬行，且爬行次数和频率超过其他蜘蛛的总和.</p><p><br/></p><p class="maodian"></p><h2>雅虎搜索引擎的蜘蛛</h2><p>Slurp的主要功能是抓取网页内容，帮助雅虎搜索引擎更新和索引互联网上的信息。与其他搜索引擎蜘蛛类似，Slurp会定期访问网站，抓取新的或更新的内容，并将其添加到雅虎的索引中。</p><p><br/></p><p class="maodian"></p><h2>总结</h2><p>个人使用的蜘蛛列表：['baiduspider', 'googlebot', '360spider', 'sogou', 'bingbot', 'yisouspider', 'bytespider', 'slurp', 'yahoo', 'yandexbot', 'exabot', 'ia_archiver']</p><p><br/></p><p><br/></p><p><br/></p>
頁:
[1]