胡钢：Robots的规则撰写须遵循互联网精神

胡钢：Robots的规则撰写须遵循互联网精神。

2010年的时候，Google退出中国以后，我们中国搜索引擎市场基本比较平静。而360的介入，对百度的股价据说一天就跌了5.7%，这个影响非常大。据估计，360目前来说它的市场份额从零保持到了20%左右。

百度不允许360搜索抓取百度百科，知道，贴吧的内容是因为这三个产品的流量占了百度的10%，对百度来说也是一项巨大的权益，这样360就动了百度的蛋糕。

以往中美法院判例中，设置Robots协议的一方，往往是生产内容的一方，ICP，而争议的另一方，即搜索引擎服务提供商。法院判决中外都说得很清楚，如果你ICP主张自己的内容不希望别人抓取的话，应该设置禁链，包括使用Robots协议禁止别人搜索，也包括技术手段或技术措施，把它加密也好，屏蔽也好。

另外引起最大争议的一点，UGC，即用户生成内容。或者也属于吕本富院长所说的平台知识的范畴。UGC可以说是一种非常特别的ICP。百度除了它的搜索引擎服务以外，还有几项在业内是成长非常快的业务，所谓的百度百科，百度知道，百度贴吧，都是用户产生的内容。百度更多的起到信息承载，或者说展现的角色。中国的其他主要搜索引擎服务商也大多拥有类似的服务。UGC的内容，它的权利归属，实际上更关键，也更复杂，因为涉及到很多人的利益，并且是涉及到我们的信息或者是知识的自由传播。

百度百科和维基百科的差别，维基百科注释的标注似乎更多也更规范一些，说明网络百科上对内容多半都是有来源的，并不是所谓的网友凭空想象创造出来的，网友更多的是对这些文字等进行编辑。网络百科里面的内容版权的主体是非常复杂的。在相关UGC的服务协议里面也提到了，UGC网络服务提供商的，它只说我是获得一种叫做永久的免费的非独占的一种许可，这和我们传统的ICP不同。ICP一般都直接说这个东西就是我创作的，我是创作者，或者享有独家传播权，独家使用权。所以，对于如此庞大的、权属不清的UGC模式下的内容要主张的权利，应该说相当大的技术上的难度，在法律上也是很有挑战性的。

同时，这里面可能掺杂着，仅仅是同360和百度来说，360在免费安全服务领域处于市场支配地位，百度在搜索引擎方面也具有相应的市场支配地位和优势，他们俩碰撞在一起，有点火星撞地球的韵味了。这似乎是有点说不清楚了，引起了一个词，垄断，还有反垄断的问题，和知识产权，版权的问题掺杂在一起，反不正当竞争的问题，这个事情变得非常复杂。

Robots协议只是一个文本规则，如何撰写设置才是关键。自由流动是互联网的本质精神，而且是每一个互联网用户的切身迫切需要，这句话永远谁都不能说错。

我们可以比较下中美间主要ICP的做法。美国ICP一般设置的Robots协议只是针对自己的特定内容设置禁链，而不对特定的搜索引擎设置禁链。也就是奉行了非歧视原则。而在中国，一些著名的ICP却是针对特定的搜索引擎服务商设置禁链，但此前一般搜索引擎会予以遵守。到底是美国人的做法更公平，还是我们目前针对设定对象的设置更公平呢，这个确实值得深入研究，不能说行业存在的事情一定就是潜规则，滥规则，其实都有它合理的成分，也中国特色的成分，当然，更是一个逐步完善的历史演进的过程。

2012年11月1日中国互联网协会颁布的《互联网搜索引擎服务自律公约》，是在工业和信息化部的指导下，中国互联网协会牵头组织开展了互联网搜索引擎服务自律工作。期间，业内各方都展现了极高的诚意和灵活性。应该说这是业界的一次新胜利。公约第七条表明，业界一致认可了robots协议属于国际通行的行业惯例与商业规则，并应当遵循。公约第八条及第九条，也规定了robots协议设置的原则和违规设置的处置，特别是强调要遵循公平、开放和促进信息自由流动和保护知识产权等的原则。公约还创造性的在第二十条中引入了票决制，并将表决结果作为公约执行机构向有关管理部门提出处理建议的重要依据。同时公约还在第十八条规定了“动态修订、逐步完善”的原则，完全符合互联网技术、商业模式等快速变化的行业特征。这也可简化称为“速立频修”的原则。这也默示了业界对于搜索引擎服务其他问题的更多关注与期待。

我们相信，公约的签署与颁布，只是搜索引擎服务规范的开始，而不是结束。一个公正开放、规范繁荣、良性竞争的中国搜索引擎市场格局，不仅在梦里，更在脚下。

(胡钢：中国互联网协会法律专家，中国消费者协会律师团律师)