全球主机交流论坛

标题: 经常被百度蜘蛛爬死怎么办? [打印本页]

作者: lovesan 时间: 2012-3-27 19:30
标题: 经常被百度蜘蛛爬死怎么办?
我的linode VPS 768那款从上个月开始就莫名的死机几乎是一个星期死3次以上
试过把nginx的连接数设置小点但跟死机没什么区别不一定什么时候就抽疯谁也上不去
后来在网上弄了个脚本监视请求连接数每20秒写一次记录只留100条这几天发现每次死机后最后一条记录的连接数都非常大今天重启后的记录有700多并发连接数开始以为是被攻击了看了一天的日志让我震惊了...满屏的baidu spider 220.181.108.X那段IP 几乎都是同一时间来的尼玛百度太坑爹了吧一次抓那tc 他来就来了几乎每天都来来了还不收录太让人郁闷了又不敢禁止IP 问过几个站长他们都没有这种情况顶多就100左右并发服务器不会宕掉
我该咋办啊我现在已经哭不出来了同志们帮帮我吧...

作者: 失足大叔 时间: 2012-3-27 19:52
这个真不清楚

作者: baljeans 时间: 2012-3-29 00:59
提示: 作者被禁止或删除内容自动屏蔽

作者: Captain 时间: 2012-3-29 01:55
robot改下，让他禁止采集某个文件夹或者网址

作者: johnnyfu829 时间: 2012-3-29 02:58
不收录的话直接禁掉好了

作者: xiusha 时间: 2012-3-29 04:37
什么监控脚本，比较感兴趣～～

作者: 东广梅 时间: 2012-4-1 20:12
缓存一下减压。

作者: g600 时间: 2012-4-2 14:36
前阵子碰到同样的问题，不过我是IIS，于时看了下系统日志，发现是百毒虫子疯狂的在访问一个站的N多乱七八糟的不存的URL，于是修改程序，接管所有错误页，反回404，，百毒虫子马上就退去了。。

作者: 一灰 时间: 2012-4-22 12:52
可能是假蜘蛛，是来采集的

作者: 满意沟通 时间: 2012-4-22 15:23
本帖最后由满意沟通于 2012-5-14 21:23 编辑

一灰发表于 2012-4-22 12:52
可能是假蜘蛛，是来采集的

那个段是真百度的

作者: xx2008 时间: 2012-4-22 21:11
换机器

作者: vpswz 时间: 2012-4-25 21:02
这个真不清楚

作者: Ruclinux 时间: 2012-4-26 22:21
花钱叫大便D死它

作者: G奶 时间: 2012-4-26 23:30
花钱叫大便D死它

作者: openos 时间: 2018-10-10 11:30

每天晚上被百度爬死.

欢迎光临全球主机交流论坛 (https://loc.442266.xyz/)