解决雅虎蜘蛛爬行太多抓取频繁方法分享

2011-02-11 09:25:39  阅读 763 次 评论 10 条

  其实,网站接受搜索引擎蜘蛛爬行多,并不意味着流量就一定多,不过,如果百度、谷歌等蜘蛛爬行多了,收录与流量一定会多。
  
  本站最近尝试过,发现,如果雅虎的蜘蛛爬行来得太多,抓取频繁了,会影响百度与、谷歌等蜘蛛爬行的来访次数。
  
  网上搜过一些原因,主要是雅虎的蜘蛛爬行多了,会影响服务器的负载。不过,总不能因为这样,就屏掉这个雅虎的蜘蛛爬行吧。
  
  笔者,尝试了各种方法。引来百度与谷歌的蜘蛛爬行,但就是不成功,详细查看了蜘蛛爬行监测文件,发现雅虎蜘蛛(Yahoo!Slurp和Yahoo!ChinaSlurp)访问量最大,大约是百度蜘蛛(BaiduSpider)的5倍,是谷歌蜘蛛(googlebot)的10倍,而实际上网站来自雅虎的流量简直都在5%以下。
  
  于是,想到了一个方法,就是将雅虎的蜘蛛爬行的次数与速度减少。这样就不会影响百度与谷歌等搜引擎的蜘蛛爬行了。
  
  方法这里分享下:首先打开TXT记事本,将以下代码复制进去,然后另存为robots.txt,最后将robots.txt上传到你的网站或博客所在主机的根目录:
  
  User-agent:Yahoo-Slurp
  Crawl-delay:300
  
  注明一下User-agent表示搜索引擎的代理蜘蛛,Yahoo-Slurp是雅虎蜘蛛的名字;Crawl-delay表示爬虫延时,300表示时间。
  
  这样,笔者发现,当雅虎的蜘蛛少了,百度与谷歌的则迅速增加了,而且谷歌的来得最多,而且频繁。流量也跟着上去了。(文/汤树东)

zanshang.png
精彩文章推荐:
强势“立毛主席像+文艺汇演”:这个学校高调纪念毛主席,再次成为全网焦点!
越来越多中国年轻人起来,纪念毛主席和传颂毛泽东思想!
今天9月9日,他依旧与他的人民彼此呼应!
为什么要有文化大革命?这么年轻就把本质说清楚,牛逼!
300多名中国政协委员来韶重听毛主席的课竟然泪流满面!
诺奖得主屠呦呦热爱毛主席,接受访谈让杨澜大失所望,却让百姓大喜过望!
母校湘大终于要创办中国首个“毛泽东学院”!
毛主席在尼泊尔就像马克思当年在中国被年轻人尊为偶像热烈崇拜!
愿这首唱出“伟大的毛泽东”的红歌能世代传唱,歌词坚决不许动!
“饿死三千万”原来是蒋经国出资100万美元炮制而成的,你还当它是个宝,脑残才信!
为毛主席洗冤的中国第一人!
让反毛公知集体上吊,中国人民大会堂唱起了反动派最害怕的歌!
谣诼之霾渐散:清明节人们开始纪念毛主席夫人江青!
这是一条守护了毛主席40+年的民心河!
山东济宁后八村民集资建全国最高毛主席铜像,没人敢拆!
谁这么拽,竟敢说“毛泽东=秦始皇+孔子+马克思+列宁+斯大林”!
美国人拍摄“文革”刚结束时的中国:竟然没有崩溃迹象!
用毛泽东思想审视改革开放,这个精英论坛胆子不是一般的大!
中国官方会晤教科文总干事:会晤厅竟悬挂巨幅毛主席画像!
开国上将许世友竟私藏了12900枚毛主席像章!
影响五千多万人!纪念毛主席就该如此高调、隆重、气派!
万吨货轮撞毛泽东时代建造的南京长江大桥,桥没事,船没了!
全场折服:这教授把毛主席“为人民服务”思想讲活了!
毛主席是谁,他去哪了?长辈们竟然这样回答小朋友的疑惑!
什么力量?让350名政协委员冒雨拜祭毛主席!
九零后当红女歌手高唱《毛主席的话儿记心上》,感觉很特别很美!
深圳市民自发在公园纪念毛主席,高唱《万岁毛主席》!
1975年《解放军报》有篇社论其论述竟然跟此后几十年现实的发展毫米级吻合!
任何人只要做其中一件事,就能在历史上留下自己的大名,而他全做了!
这两个歌手把毛主席最具“无名英雄情怀”的诗唱活了,惊艳全场!
中兴遭遇美国封杀,再次证明背离毛泽东思想,中国革命与建设就会遭受挫折和失败
河南人民捍卫的这尊毛主席像建于“文革”,可能是中国最好看的!
台湾人把《毛泽东语录》包装得大气时尚,让年轻人欲罢不能!
涿州一位企业家自筹资金建了一座毛主席纪念馆,隆重开馆,感动天地人心!
歌颂人民公社歌颂毛主席,年轻人演绎《毛主席来到咱农庄》,感动全场!
小伙子把《北京的金山上》唱活了,歌颂毛主席就得如此大胆!
用毛泽东思想造“芯”,突破美帝封锁,这家企业厉害了!
李讷怀念父亲毛泽东,往事一幕幕,让人唏嘘泪涌!
80后研究生举办“毛式婚礼”启动人生新旅程,赢得社会各方喝彩!
年轻小伙把毛主席最励志的诗词唱出来,全场尖叫!
正值多事之秋:中央高官来韶向毛主席敬献花篮!
英烈保护法全票通过,中华民族最伟大的英雄毛主席更需要捍卫!
真心热爱!商丘80岁的史大爷在家里创办毛主席纪念馆!
许多中国人都没见过的藏民向毛主席敬献哈达场景,让人感慨感动!
图说毛泽东时代老百姓生活状态,像是吃不饱饭且饿肚子的吗?
50名党员站在毛主席雕像前,深情重温入党誓词!
许多中国人都没见过的藏民向毛主席敬献哈达场景,让人感慨感动!
图说毛泽东时代老百姓生活状态,像是吃不饱饭且饿肚子的吗?
50名党员站在毛主席雕像前,深情重温入党誓词!
这个大明星真爷们,竟敢说“毛主席是我的偶像”,公知觉得不爽被狂怼!
washiluf.png
本文地址:http://www.tangboke.cn/post/833.html
版权声明:本文为原创文章,版权归 汤树东 所有,欢迎分享本文,转载请保留出处!

发表评论


表情

评论列表

  1. 洁儿
    洁儿  @回复

    真的么?我对蜘蛛这个一直看不懂,拿走你的方法试验一下了。嘿嘿~

  2. 彭枫
    彭枫  @回复

    写得挺不错的,学习了

  3. 太子虹
    太子虹  @回复

    不懂,支持一个

  4. 烟台SEO
    烟台SEO  @回复

    雅虎确实挺多的,蜘蛛太勤快了~~~

  5. 肖俊
    肖俊  @回复

    呵呵,对这个倒是没研究过。以后试着分析对比下。

  6. 韩国
    韩国  @回复

    我以为来的次数多了好呢!关键是要百度、谷歌的流量。

  7. 天津网站优化
    天津网站优化  @回复

    雅虎放弃自身算法改用必应也有关系

  8. 阿修罗
    阿修罗  @回复

    我来学习,谢谢分享。常来常往吧。

  9. 幸运28大全
    幸运28大全  @回复

    博主真是牛人。

  10. 瘦腿
    瘦腿  @回复

    我想只让百度、雅虎和谷歌蜘蛛来爬,禁止其他的蜘蛛,怎么设置呢