Robots协议不应成为市场竞争维护垄断的工具

Robots协议不应成为市场竞争维护垄断的工具。

奇虎360进军搜索市场之后，搜索巨头和360之间的关系似乎更加剑拔弩张。近日，360公司和搜索巨头公司关于搜索引擎爬虫行为争议再度引发业界关注。有分析人士认为，Robots协议不是行业法规或标准，不存在违反与不违反的问题，更不应该成为用于搜索市场竞争的武器。

2012年8月16日，360正式推出搜索引擎，并在上线6天后，占据中国搜索市场10％的份额，成为仅次于搜索引擎的第二大搜索流量来源。但不久，360搜索遭到反制措施，所有来自360搜索的用户请求强行跳转，用户需要二次点击才能得到搜索的结果。

技术专家指出，知道、百科、贴吧等产品在Robots文件中禁止360搜索抓取索引。然而，国内最大的搜索引擎仍允许包括谷歌、必应、搜狗、搜搜在内的所有搜索引擎抓取索引上述内容。通过Robots协议仅阻止360搜索抓取索引，是把Robots协议当成不正当竞争的工具，目的是打击和封堵360搜索。

单方面强调Robots协议的作用，试图作为限制竞争对手的标准，而是否任何一家搜索引擎也如他们所描述的那样遵守Robots协议呢？

据悉，Robots协议由荷兰籍网络工程师于1994年首次提出，是一个被放置在网站中的．ＴＸＴ文件，为搜索引擎爬虫做出提示，设置允许与不允许两种语句，网络爬虫据此“自觉地”抓取或者不抓取该网页内容。

但Robots并不是一个规范，而只是一个约定俗成的协议。Robots协议创始人明确提出Robots协议是一个未经标准组织备案的非官方标准，不属于任何商业组织。如果该协议被当成市场竞争攻击，所有现在和未来的机器人（搜索引擎）不必遵从Robots协议。

业内人士在接受记者采访时认为，Robots协议本是为了搜索引擎更有效的的索引到内容结果页、内容网站服务器等资源免受爬虫频繁打扰而设置的一种技术协议。滥用Robots协议，其结果必将造成行业竞争壁垒，导致互联网行业内不公平竞争泛滥，进而导致搜索引擎给网民展现不完整的搜索结果，阻碍搜索市场的自由竞争。