【紧急】禁止国内搜索引擎访问自己网站，防止AI窃取你的劳动成果
这年头，openAI人工智能的兴起，什么GPTBot、百度文心一言、Kimi、阿里云天工AI、豆包、清华大学智谱清言、讯飞星火、腾讯混元....<br />他们都在训练大模型，投喂给这些人工智能人类的知识，这些知识哪里来？<br />通过爬虫，没事来你的网站，收集你的数据，却不收录你网站，更别提给流量了！<br />原本属于你的流量都给别人了！<br />只有那些谷歌搜索、必应搜索等国外搜索，公正些！<br />国内，还是建议用户采用 “必应”<br /><br /><strong>只允许谷歌搜索、必应搜索爬虫的robots</strong><br /><ol><li><br /><li>User-Agent: Googlebot<br /><li>Allow: /<br /><li>Disallow: <br /><li>User-Agent: bingbot<br /><li>Allow: /<br /><li>Disallow: <br /><li><br /><li>User-Agent: *<br /><li>Disallow: /<br /><li>自定义区<br /><li></ol><br /><br /><br /><strong>DZ论坛能用的robots</strong><br /><br /><br /><strong>知乎的robots文件分析解读：</strong><br />腾讯、搜狗、百度对知乎都有投资，所以，只保留了百度、搜狗。<br />北京智者天下科技有限公司为什么这样做？还不是怕AI，保护自己的利益！<br /><strong>中小微企业、个人站长该怎么办？</strong><br />学知乎，把所有搜索引擎都屏蔽了，只保留给流量的搜索引擎。<br />建议只保留必应，Google，剩下的搜索引擎不公正，捧他们也没啥用。<br />3和Q大战，说明什么？<br />国内都是明着、暗里斗争的！<br /><strong>有没有觉得，你是暗里斗争的牺牲品？</strong><br />明着意思是打着收录优秀网站的幌子，其实就是间接打压其他人。<br />不收录，能省搜索引擎的服务器资源，还有巨大的利益，把流量都引导自己家的网站，什么知道、什么百科、什么贴吧等，<br />看看谷歌作为搜索一哥，从不搞这些花花肠子，把自家服务置顶，更是没有谷歌知道、谷歌百科等侵犯站长利益的网站。<br />必应搜索也是，为什么他们都那么公正，是因为国外反竞争法很严格。<br />国内没指望了，那些3、百等公司都是跟上面有合作的，兼职红客， 负责防御工作，要不怎么跟美国斗网络？<br />缺人才，滴哄着来，狠了，就跑美国了！<br /><br />以下是知乎的robots文件：<br /><ol><li>User-agent: Baiduspider-news<br /><li>Disallow: /appview/<br /><li>Disallow: /login<br /><li>Disallow: /logout<br /><li>Disallow: /resetpassword<br /><li>Disallow: /terms<br /><li>Disallow: /search<br /><li>Allow: /search-special<br /><li>Disallow: /notifications<br /><li>Disallow: /settings<br /><li>Disallow: /inbox<br /><li>Disallow: /admin_inbox<br /><li>Disallow: /*?guide*<br /><li><br /><li>User-agent: Baiduspider<br /><li>Disallow: /appview/<br /><li>Disallow: /login<br /><li>Disallow: /logout<br /><li>Disallow: /resetpassword<br /><li>Disallow: /terms<br /><li>Disallow: /search<br /><li>Allow: /search-special<br /><li>Disallow: /notifications<br /><li>Disallow: /settings<br /><li>Disallow: /inbox<br /><li>Disallow: /admin_inbox<br /><li>Disallow: /*?guide*<br /><li><br /><li>User-agent: Baiduspider-render<br /><li>Disallow: /appview/<br /><li>Disallow: /login<br /><li>Disallow: /logout<br /><li>Disallow: /resetpassword<br /><li>Disallow: /terms<br /><li>Disallow: /search<br /><li>Allow: /search-special<br /><li>Disallow: /notifications<br /><li>Disallow: /settings<br /><li>Disallow: /inbox<br /><li>Disallow: /admin_inbox<br /><li>Disallow: /*?guide*<br /><li><br /><li>User-agent: Baiduspider-image<br /><li>Disallow: /appview/<br /><li>Disallow: /login<br /><li>Disallow: /logout<br /><li>Disallow: /resetpassword<br /><li>Disallow: /terms<br /><li>Disallow: /search<br /><li>Allow: /search-special<br /><li>Disallow: /notifications<br /><li>Disallow: /settings<br /><li>Disallow: /inbox<br /><li>Disallow: /admin_inbox<br /><li>Disallow: /*?guide*<br /><li><br /><li>User-agent: Sogou web spider<br /><li>Disallow: /appview/<br /><li>Disallow: /login<br /><li>Disallow: /logout<br /><li>Disallow: /resetpassword<br /><li>Disallow: /terms<br /><li>Disallow: /search<br /><li>Allow: /tardis/sogou/<br /><li>Disallow: /notifications<br /><li>Disallow: /settings<br /><li>Disallow: /inbox<br /><li>Disallow: /admin_inbox<br /><li>Disallow: /*?guide*<br /><li><br /><li>User-Agent: *<br /><li>Disallow: /<br /><li></ol><br />淘宝更加严格，直接屏蔽了所有搜索引擎。现<br />在是前后端分离，爬虫根本无法爬内容，只能爬到标题。<br /><br />国内搜索引擎再有市场，不给你流量也白扯！<br />有奶才是娘，我反正只留下了谷歌、必应。<br /><br />搜索<em>, </em>你的<em>, </em>必应<em>, </em>爬虫<em>, </em>网站 实在是坑啊 <br />坑有的是整的中小微企业都不愿意建自己公司的官方网站了，建设网站就是不收录，首页都不收录在百这边至少滴熬3年以上，它才可能收录。收录也是排名很低，给用户展示权重高的大网站（包括跟他合作的、爱企查、知道等），你的网站滴翻2页才能看到，而且能看到一个网站首页，已经是万幸了。<br /><br />必应、谷歌搜索，一搜你就排在前面，就好像他们知道你这个是官方网站一样。<br />难道百不知道吗？<br />用户想找的是官方网站，他们就故意排后面，交3千每年就能企业认证，就排到前面。<br /><br />以下主体，免费做企业认证。<br />主体适用对象：（1）政府机关、事业单位、医院、殡仪馆、学校、博物馆、景区等公立机构。（2）央企、国企、世界500强和中国500强（500强企业名单，以上一年度《财富》杂志发布的名单为准）等知名企业。<br />中小微企业，滴交钱。哈哈。<br />谷歌是只要建站，就很快收录网站首页，内页也有很多收录的。用户搜索，就把该给你的流量给予。百是截取各个中小微企业的流量，给别人。 66666666666666666支持 <br />我有个企业站，未备案，一年了收录个首页，已经放弃了，作为内部信息发布平台用 <br />未备案，更不容易被收录了必须滴备案的。<br />企业站，最少也滴每年花点SEO的钱，起码2千元起交3千每年，百就把你该得流量，给你，但是前提还是滴备案 <br />不想搞，反正也不会有线上客户，被米拓搞怕了 <br />没流量，哪里来客户？<br />米拓怎么搞你了？ <br />米拓的事你不知道啊，批量起诉侵权啊 <br />版权不算搞算自己没有遵守授权协议。<br />出来混，都滴交点学费的。<br />用dz就没有版权纠纷允许商业化运营
頁:
[1]