站内搜索
最近浏览
- 如何用Log Parser确...
- 实战分析:学会识别真假百度蜘...
- thinkphp提示PHP ...
- IIS 7 下限制站点带宽和...
- [操作系统]IIS6.0如何...
- 字符编码笔记:ASCII,U...
- 第十九章 指针一 基本概念
- 入侵溢出学习面面俱到
- [网络服务器]Windows...
- 微软承认系统严重漏洞 Win...
- [J2EE]J2EE 应用服务器技术
- MySql替换数据库内容
- [数据库]sql serve...
- linkd.exe目录映射工...
- [web站点]在IIS上开设...
推荐文章
热文排行
如何用Log Parser确认百度蜘蛛占用大量服务器带宽
这两天一个服务器带宽流量一直大幅增长,但网站流量就是没有增长,同样的流量,之前用2M的时候不卡,后来升级到7M带宽还一直卡着。
查询两天的IIS日志
发现结果如下:
流量基本上都是index.php占用,其它网页基本不占用任何流量,也无其它文件有异常流量,再使用IP雷达查看网络连接
发现百度蜘蛛的IP异常多,再用Log Parser查询两天的日志,发现如下图:
C:Program Files (x86)Log Parser 2.2>LogParser -i:IISW3C -o:CSV "select SUM(sc-bytes) from c:log*.log where cs(User-Agent) like '%Baiduspider%'"
查询结果为:29197152897
换算一下发现:29197152897/1024/1024/1024=27.19196760747582 GB
也就是说,百度蜘蛛两天就消耗掉了27G的流量。
再看百度统计上蜘蛛的抓取频率:
从11月11号起,百度蜘蛛爬行的频率就大幅增长。
由此可判断,服务器带宽异常占用,是百度蜘蛛的爬行异常的原因。
解决办法就是去百度站长平台那里调整一下百度蜘蛛的爬行频率,过些时间即可恢复正常。
http://zhanzhang.baidu.com/pressure/index
技术支持QQ:57219882
附:LogParser下载地址:http://soft.huweishen.com/soft/406.html
IP雷达下载地址:http://soft.huweishen.com/soft/405.html
[ly70041]
添加时间:2015-12-04