DMOZ Clone网站被封事件的背后
2006/04/20 by HighDiyDMOZ，也即ODP ( Open Directory Project：开放目录项目)，是一个完全由人工编辑管理的目录集合，为搜索引擎提供结果或数据，多家搜索引擎使用DMOZ的数据，如 Google、 AOL Search、 AltaVista 等，加入DMOZ往往意味着在搜索引擎眼中重要性大大提升。DMOZ的详细介绍，可见这里。
正因为其“开放”的初衷，DMOZ的数据是可以在一定的协议下被第三方网站使用的，DMOZ甚至提供了简单有效的脚本以帮助第三方网站完整地clone其整个 620,000 页的目录数据。但不幸的是，这种本来很有意义的的作法被许多不道德的网站用来spam，通过Clone DMOZ的数据来大幅提高其在搜索引擎的排名。
最近， WebmasterWorld 的一项研究表明，大约 50% 的这类DMOZ Clone 网站被至少一个搜索引擎封杀，其中，Google封杀的力度最强，约占 37%，Yahoo与 MSN分别为 11%和 9%。
撇开封杀究竟是否正当或合乎情理不提，毕竟DMOZ允许甚至鼓励第三方网站使用其数据，毕竟搜索引擎如Google也在Clone DMOZ的站点数据，一个值得警惕的信号是，各大主要搜索引擎目前已掌握了对相应 duplicate content (重复内容)的判断及认定技术，并且已经对存在大量duplicate content 的网站实施惩罚。这对于没有自己的原创内容而只是Copy/Paste的网站来说是个坏消息。
当然，目前还没有权威性的官方说法对那些网站被封给出解释，也可能那些网站被封还有其他因素在起作用，但使用 duplicating content ，无论是来自开放目录还是其他网站，来建设网站或者仅仅希望以此来提升网站排名都是件风险极大的事。
