中文网站搜索引擎优化技术研究

　　近年来，微软耗费巨资打造自家的搜索引擎，并取得了令人瞩目的成绩，市场占有率节节提升，当然，这也与微软在业界的强大影响力以及Windows平台庞大的用户基础有关，但是，微软所做的旨在保证其搜索质量——包括加强与网站建设者间的互动，如提供查询网站的出站链接的LinkfromDomain命令等——的努力更不能忽视。

　　近来，微软将MSN Search更名为Live Search也标志着正式将其推入市场。虽然对国内用户而言，目前中文的Live搜索仍然标注为Beta版，不过微软通过与中国电信互联星空合作的方式已经在国内搜索引擎市场中占有了一席之地，而且，许多人对其前景颇为看好。

　　不过，存在的一个疑问便是，微软能够应对中国市场么？从某些方面而言，中文网站的建设者或Seoer们，大都历经流氓软件与民族搜索引擎的考验，Live搜索能够抵抗他们非凡的创造力么？

　　众所周知，Live搜索的算法与Google和Yahoo!相比，存在很大的不同，首先，Live搜索没有Google与Yahoo!算法中的时间因子，这样，特定的网页或链接只要被Live搜索纳入索引，其价值便会在最终的搜索结果排名中得到体现；其次，在Live搜索的算法中，关键词密度起到远高于其在Google或Yahoo!中的作用(详细可参考针对MSN进行网站优化与三大搜索引擎下网站优化细节对比)。虽然Live算法采取这样的机制有自己的考虑，甚至也许是在反复权衡类似“Sandbox”之类机制带来的弊端后认为这样处理效果会更佳，并且在英文搜索市场中似乎也没有明显地影响搜索质量(还是本人没有看到 )，但客观而言，这可能会给Spammer带来极大的便利，而同样的漏洞，也许鬼子不去钻，但国人是绝不会放过的。 (more…)

　　robots.txt 是一个标准文本文件档，意在阻止搜索引擎的Spider(或robots）从 Web 服务器下载某些或全部信息，控制Spider的搜索范围。之前我们曾探讨过网站为什么要使用robots.txt及如何使用robots.txt控制搜索引擎的抓取。

　　不过，在标准的robots.txt语法中，只可在 User-agent 项中使用通配符，即使用“*”来代表所有搜索引擎的robots，而在 Disallow 项中，则不能使用通配符以灵活配置robots.txt。

　　Google率先提供了对在robots.txt中使用通配符的扩展支持——至于是不是唯一一个支持通配符语法的搜索引擎则不敢确定——，在Disallow 项中可使用“*”与“$”，其中，”*”匹配任意字符串，而”$”则标志Disallow项目中任意名称的结尾。如下面的例子中，将禁止Googlebot索引收录gif文件：

User-agent:Googlebot
Disallow:/*.gif$

　　近日，Yahoo Search Blog 宣布 Yahoo Slurp也提供了在 robots.txt 中使用通配符的支持，其语法与Google大同小异，同样提供了两个通配符： “*” 与“&”，其中，“*”匹配url中的任意字符串，而“&”则类似于Google的“$”，告诉Yahoo Slurp已到达匹配字符串的结尾。——不知道Yahoo在此使用不同的字符标志结尾是否刻意为之。不过，总的说来，Yahoo最近逐渐呈现出切实满足用户的趋势，包括前不久提供对“NOODP”属性的支持，这是一个好趋势。

　　Update : 之前的消息不确，Yahoo! Slurp同样使用“$”来标识匹配字符串的结尾，与Google和Live搜索的格式相同，这样，以上面的例子来说，我们可以用如下的格式来禁止所有搜索引擎收录GIF文件，——至少对Google、Yahoo与Live搜索有效：

User-agent:*
Disallow:/*.gif$

　　一般而言，对于那些通过spam技术或手段实施搜索引擎优化的SEO(er)，人们常用Black Hat SEO 来标识，而与其相对应的White Hat SEO，则表示SEO的另一个极端，即通过诚实、正当手段来优化网站以获得理想的搜索引擎排名。不过，正如人不能简单地以非好即坏评判一样，这样的非黑即白非白即黑事实上也不能准确概括SEO市场的实际情况，毕竟中间存在着很多过渡色。

　　近日，任职于Yahoo!的Tim Converse给出了更详细的分类方法，——当然，是否合理或是否仍有遗漏值得商榷，不过，挺有意思。——在他名为Search engine optimization (SEO) from black to white文中，给出了如下九种SEO：

1. Dark Inky Black Hat SEO: 排名第一的肯定是最不道德的一种情况了，其目标不仅针对搜索引擎，也针对访问用户，比如说使用spyware。——但愿这样的论述不致引起某些极度爱国人士的反弹，认为这是鬼子对泱泱中华的侮辱。毕竟曾几何时，通过流氓软件来推广网站在中文网站中相当普遍，也是某些民族精英之所以成为精英的基石。
2. Charcoal Hat SEO: 在法律的界限以内，通过欺骗搜索引擎，尽一切可能让与搜索项无关的网页出现在搜索结果前列。——这类SEO颜色如此之“深”有点奇怪，老实说，个人感觉在中文网站搜索引擎优化中这类SEO算是很不错的了。
3. Dark Gray Hat SEO: 通过窃取其他网站内容来创建网页的SEO。——这比Charcoal Hat SEO更道德？
4. Slate Gray Hat SEO: 通过link farms 、linkage或网页跳转等方式实施的SEO。——老实说，有点怀疑本人是不是对Tim Converse的Charcoal Hat SEO理解错了。
5. Gray Hat SEO: 研究搜索引擎的规范、要求、指南，在其允许的范围内尽可能地打擦边球。——惭愧，在本人之前的认识中，这样基本上应该算White Hat SEO了，尤其在中文网站的搜索引擎优化中。
6. Light Gray Hat SEO: 这类SEO创建大量的原创内容，但出发点首先考虑搜索引擎的排名机制、如何逃搜索引擎的duplicate content检测，最后才是该内容是否真正对用户有价值，也即是针对搜索引擎而不是用户。
7. Off-White Hat SEO: 这类SEO在保证网站具有良好架构内部页面可爬行可索引的基础上，针对重要的关键词优化页面。在链接方面，这类不通过linkfarms之类的方式获得链接，但使用大量来自朋友、联盟网站的链接。
8. White Hat SEO: 在网站结构合理的基础上，通过有价值的原创内容和优化手段，让网页无论对搜索引擎还是对访问用户而言都是有价值的，其优化目标为让网页出现在最相关的关键词搜索中。
9. Luminescent Pearly White Hat SEO: 在 White Hat SEO的基础上，避免网页出现在不相关的关键词搜索中。——Tim Converse给出一个这类SEO的例子。

　　您属于哪个类型的SEO呢？Just for fun!

　　IT技术点评网站内的图片被盗链问题由来已久，在使用.htaccess防止图片盗链一文中我们曾探讨过，不过，由于我们使用的Web服务器为IIS，而个人对IIS平台上的类Mod_Rewrite模块存在一定的排斥心理(在Keyword in URL : SEO探索的权益之计中曾作过说明)，因此，这个问题一直没有很好地解决。近来随着Vista天地逐步走上正轨，针对该网站的图片盗链现象也日趋严重起来，——在此就不谈内容的抄袭问题了，虽然在Vista天地中注明“授权网易学院独家转载”，不过有太多的人不认识中国字。——相比较而言，Vista天地中使用的图片比IT技术点评更多，这一方面是由于投入的精力不够，很多时候文字不足图片来凑；另一方面也是因该网站的具体情况，毕竟很多情况需要图片才能更清楚地说明与展示。

　　老实说，目前没有更好的办法，我们所采取的措施只不过是给图片加上水印，不管是否自我安慰，这样总算也可以让网站得到更多的曝光机会，也许有的用户会按照水印中的链接找到我们的网站。

　　除此之外呢？图片盗链是不是能对我们网站的SEO效果有所帮助？这是个人最近常常思考的问题，当然，也不排除有寻找更强心理安慰的企图。

图片盗链可被视作其他网站对源网站的“投票”么？

　　这里所说的意思是，当某个网站在页面中使用类似如下格式的内容时：

＜img src=“http://www.highdiy.com/images/images.jpg”＞

　　有可能会被搜索引擎视作某种类型的链接么？

　　当然，这有点异想天开，毕竟按一般的理论，只有“＜a href=”类型的才是链接，才能出现在搜索引擎“link:”命令的搜索结果中。

　　不过，个人感觉有些事情未必这么绝对，目前观察到的现象包括：

1. 曾进行过这样的测试，在SEO探索中建立了一个孤岛页面，没有任何链接指它，其中包括一张图片，然后在IT技术点评中创建一个正常的网页，但使用该页面中的图片，按说，那个孤岛页面应该不会被搜索引擎发现，不过，几日后发现其已被Yahoo!与Baidu收录，——Google则没有——这是不是说明盗链至少能够帮助原始页面的收录？
2. 与很多朋友的网站相比，无论IT技术点评还是Vista天地，来自Google图片搜索的比例都是相当高的，尤其考虑到IT技术点评网站对图片的处理应该说犯了图片搜索优化的大忌：使用随机生成的字符串作为文件名，这是否能说明图片盗链至少对图片搜索而言相当于链接类型的“投票”？——至于Baidu图片搜索，因目前使用的无论日志分析工具无论Google Analytics 还是 AWStats均无法正确识别Baidu图片搜索的Referer信息，而没有确切数据，实在懒得一点点翻看原始日志了。
3. 不少搜索引擎将大量跨网站交叉使用图片视作Spam，这是不是意味着那将影响最终的搜索结果？

　　当然，以上的猜想统统没有定论。

对图片盗链网站而言，盗链会影响其自身的SEO效果么？

　　对图片盗链网站而言，使用上有别的网站Logo水印的图片会影响用户的观感，会让用户觉得该网站不够专业，但除此之外呢？

　　比如说对极端的情况：当将IT技术点评网站内的某个图片改名后，那些盗链该图片的网页将会在浏览器中显示一个红“X”号，或者类似的“文件没有找到”信息，这除了影响该网站自身的可用性外，对其在搜索引擎中的表现会有影响么？或者说，会不会有类似于那种在网页中出现404错误链接性质的影响？

　　欢迎朋友们提出自己的看法。