解决雅虎蜘蛛爬行太多抓取频繁方法分享

2011-02-11 09:25:39  阅读 723 次 评论 10 条

  其实,网站接受搜索引擎蜘蛛爬行多,并不意味着流量就一定多,不过,如果百度、谷歌等蜘蛛爬行多了,收录与流量一定会多。
  
  本站最近尝试过,发现,如果雅虎的蜘蛛爬行来得太多,抓取频繁了,会影响百度与、谷歌等蜘蛛爬行的来访次数。
  
  网上搜过一些原因,主要是雅虎的蜘蛛爬行多了,会影响服务器的负载。不过,总不能因为这样,就屏掉这个雅虎的蜘蛛爬行吧。
  
  笔者,尝试了各种方法。引来百度与谷歌的蜘蛛爬行,但就是不成功,详细查看了蜘蛛爬行监测文件,发现雅虎蜘蛛(Yahoo!Slurp和Yahoo!ChinaSlurp)访问量最大,大约是百度蜘蛛(BaiduSpider)的5倍,是谷歌蜘蛛(googlebot)的10倍,而实际上网站来自雅虎的流量简直都在5%以下。
  
  于是,想到了一个方法,就是将雅虎的蜘蛛爬行的次数与速度减少。这样就不会影响百度与谷歌等搜引擎的蜘蛛爬行了。
  
  方法这里分享下:首先打开TXT记事本,将以下代码复制进去,然后另存为robots.txt,最后将robots.txt上传到你的网站或博客所在主机的根目录:
  
  User-agent:Yahoo-Slurp
  Crawl-delay:300
  
  注明一下User-agent表示搜索引擎的代理蜘蛛,Yahoo-Slurp是雅虎蜘蛛的名字;Crawl-delay表示爬虫延时,300表示时间。
  
  这样,笔者发现,当雅虎的蜘蛛少了,百度与谷歌的则迅速增加了,而且谷歌的来得最多,而且频繁。流量也跟着上去了。(文/汤树东)

本文地址:http://www.tangboke.cn/post/833.html
版权声明:本文为原创文章,版权归 汤树东 所有,欢迎分享本文,转载请保留出处!

发表评论


表情

评论列表

  1. 洁儿
    洁儿  @回复

    真的么?我对蜘蛛这个一直看不懂,拿走你的方法试验一下了。嘿嘿~

  2. 彭枫
    彭枫  @回复

    写得挺不错的,学习了

  3. 太子虹
    太子虹  @回复

    不懂,支持一个

  4. 烟台SEO
    烟台SEO  @回复

    雅虎确实挺多的,蜘蛛太勤快了~~~

  5. 肖俊
    肖俊  @回复

    呵呵,对这个倒是没研究过。以后试着分析对比下。

  6. 韩国
    韩国  @回复

    我以为来的次数多了好呢!关键是要百度、谷歌的流量。

  7. 天津网站优化
    天津网站优化  @回复

    雅虎放弃自身算法改用必应也有关系

  8. 阿修罗
    阿修罗  @回复

    我来学习,谢谢分享。常来常往吧。

  9. 幸运28大全
    幸运28大全  @回复

    博主真是牛人。

  10. 瘦腿
    瘦腿  @回复

    我想只让百度、雅虎和谷歌蜘蛛来爬,禁止其他的蜘蛛,怎么设置呢