求助百度蜘蛛大量爬我的网站。一个将近10g流量都是蜘蛛

牧羊人 · 发表于 2019-9-5 20:30:24

求助百度蜘蛛大量爬我的网站。一天时间将近10g流量都是蜘蛛爬的。  我都不知道为什么中国蜘蛛老是来爬  以前一天还有几十个帖子。爬打不开一个新帖子也没有了。
原来用的虚拟主机，换成服务器的话  cpu2    硬盘50    宽带  3m  够不够？
没有用过服务器  不知道呀
知道的朋友路过看看谢谢  谢谢
蜘蛛, 求助, 百度, 大量, 我的

牧羊人 · 发表于 2019-9-5 20:42:48

在线急等

牧羊人 · 发表于 2019-9-5 21:22:55

不用等大家回复了。我找到问题根源了。在百度站长平台上，以前是一天蜘蛛抓取几百次。最最近一月不知道怎么抽风了，一天平均将近20万次，现在已经设置最高不超过1300次了。应该可以了。

jnpar · 发表于 2019-9-8 23:05:40

抓的频率那么高吗？是好事啊

牧羊人 · 发表于 2019-9-10 18:39:22

事情倒是挺好，就是服务器受不了。乐极生悲大概就是如此现在好了

牧羊人 · 发表于 2019-9-11 19:43:46

能量量你的服务器配置吗？

[讨论] 求助 百度蜘蛛大量爬我的网站。一个将近10g流量都是蜘蛛

[讨论] 求助百度蜘蛛大量爬我的网站。一个将近10g流量都是蜘蛛