干掉google robot的成效

近日一朋友的网站突然因为流量超标被停止访问,但这个网站每日访问量很小,以往从未超过流量,从近期的流量图来看,发现是近期才突然猛增。
tao1.jpg
通过awstats上的日志分析,锁定罪魁祸首。
tao2.jpg
原来是被google robot疯狂的抓取,导致主机流量超标。
tao3.jpg
解决方式:
1.robots.txt文件中禁止google抓取。
User-agent: Googlebot
Disallow: /
2.head标签里面加上 <meta name='googlebot' content='noarchive'>
问题解决!

tag(s): robot
show comments · back · home
Edit with markdown