访问中文网站的Yahoo! Slurp属于谁？

Yahoo!与雅虎中文(或中国雅虎)究竟是一种怎样的关系是我一直很好奇但始终不得要领的问题，二者究竟是怎样划分势力范围并协调工作的？雅虎中文负责中国境内的网站还是全球所有的中文网站？还是当搜索项为中文时自动切换到雅虎中文或使用雅虎中文的搜索结果？但从现象上看，似乎这些猜测都有问题，英文Yahoo!同样索引收录中文网站，英文Yahoo!同样可以输出针对中文搜索项的搜索结果，而且，其结果与雅虎中文往往存在着相当大的差别。

或者，简单一点，故且不谈搜索结果中的排序，单纯地比较同一个网站在Yahoo!与雅虎中文页面收录情况，数字上也往往迥然不同差距很大，这是不是意味着Yahoo!与雅虎中文至少在对网站的收录与索引过程方面是分别进行的？虽然这种“冗余”得实在过份的处理方式有点让人不太敢相信， ，但考虑到许多中文网站观察到的事实，Yahoo! Slurp几乎是所有搜索引擎中爬行网站最疯狂的Spider，如果这种情况是因为Yahoo! Slurp需分别为Yahoo!与雅虎中文服务，几乎相当于独立的两个搜索引擎，倒也说得过去。——最近雅虎中文推出的雅虎站点管理器中文版与英文的Site Explorer需分别进行验证似乎也说明了这种可能。

也正因为此，之前在检查服务器日志时，我一直将标识为“HTTP/1.0 Mozilla/5.0+(compatible;+Yahoo!+Slurp+China; …… )”的Yahoo! Slurp看成属于雅虎中文的访问，而将标识中没有“China”字样的Yahoo! Slurp看成属于Yahoo!英文或Yahoo!其他垂直搜索的访问，虽然从来源IP反查DNS，均位于inktomisearch.com。

但这种看法似乎是错误的。

根据Yahoo! Search Blog昨天的声明(注 : 被GFW屏蔽，需使用其他方式访问 )，英文Yahoo!所使用的Slurp 已全部迁移至 crawl.yahoo.net——很奇怪的域名，使用yahoo.net有何深意 ? 当然，检查一下便会发现“http://crawl.yahoo.net”以 301 重定向至“http://help.yahoo.com/help/us/ysearch/slurp/”，仍然是传统的位置——雅虎中文及部分垂直搜索使用的user-agent则仍保持原状。但从对今天以来服务器日志中Yahoo! Slurp的访问记录来看，仍然只有来自inktomisearch.com的访问，没有一条源自crawl.yahoo.net。

这是不是意味着对中文网站而言——当然，我们的服务器在国内——来访的Yahoo! Slurp全部属于雅虎中文的范畴？而Yahoo!只不过使用雅虎中文的索引数据？如果这样的话，注册、使用雅虎站点管理器中文版还是很有意义的。

这样的假设也存在矛盾：如果二者使用相同的索引数据，为什么搜索结果会有那么大的区别？原因恐怕只有天知道了。

版权声明 | 转载/复制本文内容请注明出处并建立指向本文的链接
所属分类 : 搜索引擎动态