搜索不遵守规则怎么办

ysx24 · 发表于 2021-12-30 11:51:06

弄了一个备份站点不对外开放，放损友们的游戏截图游戏宏备份等，游戏友们内部使用（当然没有学习日语的视频，都是一群不正经的正经人）
并且在论坛根目录下的
robots.txt 规则只有两行

禁止所有搜索引擎抓取，可谷歌蜘蛛还是时常来，是规则有问题么？
规则, 备份, 正经, 一个, 站点

初锦 · 发表于 2021-12-30 14:09:18

如果你是想要我这种效果，那很容易。如果想要蜘蛛不来，很难，人家凭什么不来？就因为你一纸空文就不来？人家不做生意了吗？谷歌号称全球最大流氓，你指望人家不来？

ysx24 · 发表于 2021-12-30 14:54:28

谷歌做为全球性大公司，不遵守robots君子协定，这倒有些意外
对了你的robots能分享下么

老周部落 · 发表于 2021-12-30 21:18:24

好像您的版本少了空格

另外 robots.txt 也不会完全避免采集，他还是会定期爬一下 robots.txt 的。
另外有的软件防火墙会干掉 robots.txt 访问，如果干掉的话也不能终止爬取。

ysx24 · 发表于 2021-12-31 05:02:09

改真是，少了个空格

[讨论] 搜索不遵守规则怎么办