ysx24 發表於 2021-12-30 11:51:06

搜索不遵守规则怎么办

弄了一个备份站点不对外开放，放损友们的游戏截图游戏宏备份等，游戏友们内部使用（当然没有学习日语的视频，都是一群不正经的正经人）<br />并且在论坛根目录下的<br />robots.txt&nbsp;&nbsp;规则只有两行<br /><ol><li>#<br /><li># robots.txt for Discuz! X3<br /><li>#<br /><li><br /><li>User-agent: *<br /><li>Disallow:/<br /><li></ol><br />禁止所有搜索引擎抓取，可谷歌蜘蛛还是时常来，是规则有问题么？<br />规则<em>, </em>备份<em>, </em>正经<em>, </em>一个<em>, </em>站点

初锦 發表於 2021-12-30 14:09:18

<img title="12.PNG" id="aimg_13179" aid="13179" src1="static/image/common/none.gif" zoom="https://www.dismall.com/data/attachment/forum/202112/30/140450pp7idizplvp81d9y.png" src="https://www.dismall.com/data/attachment/forum/202112/30/140450pp7idizplvp81d9y.png" class="zoom" onclick="zoom(this, this.src, 0, 0, 0)" width="589" inpost="1" onmouseover="showMenu({'ctrlid':this.id,'pos':'12'})" /><br /><br />如果你是想要我这种效果，那很容易。如果想要蜘蛛不来，很难，人家凭什么不来？就因为你一纸空文就不来？人家不做生意了吗？谷歌号称全球最大流氓，你指望人家不来？<br /><br /><br />

ysx24 發表於 2021-12-30 14:54:28

谷歌做为全球性大公司，不遵守robots君子协定，这倒有些意外<br />对了&nbsp;&nbsp;你的robots能分享下么

老周部落 發表於 2021-12-30 21:18:24

<ol><li>User-Agent: *<br /><li>Disallow: /</ol><br />好像您的版本少了空格<br /><br />另外 robots.txt 也不会完全避免采集，他还是会定期爬一下 robots.txt 的。<br />另外有的软件防火墙会干掉 robots.txt 访问，如果干掉的话也不能终止爬取。

ysx24 發表於 2021-12-31 05:02:09

<br />改真是，少了个空格
頁: [1]
查看完整版本: 搜索不遵守规则怎么办