百度滥用Robots协议360不会坐以待毙

“三百大战”让robots协议从台前走向幕后，这个舶来品引爆了整个互联网世界。这个由荷兰籍网络工程师martijn koster在1994年首次提出的“robots协议”，缘何被百度作为尚方宝剑，屡屡提及，又试图将其作为行业标准拿出来规范市场，甚至作为互联网法则来约束竞争对手？

原生robots协议是网站指导爬虫的善意性提示文件，robots协议作为一个txt文件，是网站内容为了更有效率的被搜索引擎索引，而为爬虫做出提示，只用允许和不允许两种语句表示建议抓哪些内容，不建议抓哪些内容，所有这些提示性建议都是善意的，这种善意的提示一般会被爬虫接受。

然而，百度通过白名单、黑名单的机制，限制360搜索引擎索引其内容，而允许其他搜索引擎索引其内容，显而易见是有备而来，是把360作为假想敌，意欲置之死地而后快。这种强加特殊机制到robots协议中，完全是出于商业利益，完全违背了robots协议的初衷。

robots是一把双刃剑，适用会优化搜索结果，而滥用则会造成整个行业的混乱。百度把它当成一个竞争攻略，为自己设置一个竞争壁垒，让每个网站在前面都能搜，百度蜘蛛能搜索都抓取，别人都不能抓取。

百度作为搜索引擎提供商、服务提供商和内容提供商。从数据库的素材来说，百度可能没有权利，因为这不是百度原创的内容。如果百度数据库里面的素材在汇编方面有独到性的话，可以作为汇编作品的版权拥有者主张汇编作品的权利。如果360由于大规模抓取百度数据库里面的内容，导致影响到或涉及到百度对素材的编排方式的时候，百度就可以认为360侵犯了百度汇编作品的版权*利。

百度试图通过自身的影响力，说服行业主管部门和行业协会，把robots协议生搬硬套到中国作为行业标准，以此对搜索领域的对手进行包抄围剿。百度的所作所为非但没有尊重“robot协议”的本质，反而将“robot协议”变成了不正当竞争的凶器，成为遏制竞争对手的路障。

通过长达七年的技术积累，依靠360浏览器和360安全网址站两个强势的互联网入口。360搜索引擎推出1年后，拿到了近20%的市场份额，使得中国互联网搜索引擎行业重新有了活力，百度一家独大的局面受到冲击。

百度滥用robots协议，不仅有损互联网的平等、分享精神，也违反了不正当竞争法；不仅阻碍了互联网的健康、有序发展，也给自己挖了一个陷阱，使自己从一个极端走向另一个极端。