SEO工具之各大搜索引擎蜘蛛的喜好分析

 

大家都做SEO,?#31185;?#23454;我们每天打交道最多的就是搜索引擎放出来的小机器人,也叫搜索引擎蜘蛛,认为大家要做的事情就?#21069;?#23427;们伺候好,顺其意投其好,下面为大家做下各大蜘蛛的喜好分析。

一、首先我们认识下各大搜索引擎蜘蛛的名字

google蜘蛛: googlebot,百度蜘蛛:baiduspider,搜狗蜘蛛:sogou spider,搜搜蜘蛛:Sosospider,yahoo蜘蛛:slurp,alexa蜘蛛:ia_archiver,msn蜘蛛:msnbot,altavista蜘蛛:scooter,lycos蜘蛛: lycos_spider_(t-rex),alltheweb蜘蛛: fast-webcrawler,inktomi蜘蛛: slurp,有道蜘蛛:YodaoBot和OutfoxBot,热土蜘蛛:Adminrtspider 。当然这里只是象征性的列一下,就算我们分析日志的时候看到了也不要太奇怪,?#21482;?#32773;你想禁止它们爬你的站点也是可以的。

二、各大搜索引擎蜘蛛的习惯小结:

google蜘蛛:不太爱爬,但爱收录。

百度蜘蛛:爬谨慎,收录更谨慎。

搜搜蜘蛛:爱爬图片,经常绕在动态地址里出不来。

雅虎蜘蛛:恪守规则,每次都是先爬robots.txt。

其他的没有太多留意,就不多说了。

三、各大搜索引擎蜘蛛对于robots.txt的支持程度

全部分析可能也不现实,这里拿Disallow: /*?*分析(禁止动态页面抓取)。

google表现:写了禁止就不再爬,会在谷歌站长工具中列出来它想爬被你阻止了。

百度的表现:写了禁止之后很少爬,但是偶尔也会爬,相信是起作用了,因为越来越少,以前一天几次现在几天一次。

搜狗蜘蛛:可以说是基本不听话,也不知道是不是不吃这个规则,说它完全不吃它也吃了一点,只?#21069;?#21160;态地址的问号拿掉了,然后照爬,一爬就是一大片,这不知道它能爬出什么东西。

搜搜蜘蛛跟雅虎蜘蛛好像差不多,感觉还是挺有效的,禁止之后没有再有它爬过的痕迹。   经过以上分析,大家对这些蜘蛛该有一定的初步了解了吧?希望大家能继续关注各大蜘蛛,深入挖掘其行为习惯,从而可以更好的有的放矢,做好工作。

 

相关文章

发表评论 取消回复

电子邮件地址不会被公开。 必填项已用*标注

2018-2019cba开赛时间
平特五不中公式规律 云南十一选五历史开奖结果走势图 胜负彩17054分析 江苏快三免费计划软件 蓝月亮高手赛马会 新疆时时彩中奖号规律 江西新快3加减法技巧 2019年意甲赛程 秒速时时彩官网下载 国际足球 2019年白小姐杀二肖 竞彩半全场网上在哪买 内蒙古时时彩 内蒙古快3开奖直播 天天四肖中特期期准