欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  新闻

百度滥用Robots协议360不会坐以待毙

程序员文章站 2022-06-13 16:31:08
“三百大战”让Robots协议从台前走向幕后,这个舶来品引爆了整个互联网世界。这个由荷兰籍网络工程师Martijn Koster在1994年首次提出的“Robots协议”,缘何被百......

百度滥用Robots协议360不会坐以待毙

“三百大战”让robots协议从台前走向幕后,这个舶来品引爆了整个互联网世界。这个由荷兰籍网络工程师martijn koster在1994年首次提出的“robots协议”,缘何被百度作为尚方宝剑,屡屡提及,又试图将其作为行业标准拿出来规范市场,甚至作为互联网法则来约束竞争对手?

原生robots协议是网站指导爬虫的善意性提示文件,robots协议作为一个txt文件,是网站内容为了更有效率的被搜索引擎索引,而为爬虫做出提示,只用允许和不允许两种语句表示建议抓哪些内容,不建议抓哪些内容,所有这些提示性建议都是善意的,这种善意的提示一般会被爬虫接受。

然而,百度通过白名单、黑名单的机制,限制360搜索引擎索引其内容,而允许其他搜索引擎索引其内容,显而易见是有备而来,是把360作为假想敌,意欲置之死地而后快。这种强加特殊机制到robots协议中,完全是出于商业利益,完全违背了robots协议的初衷。

robots是一把双刃剑,适用会优化搜索结果,而滥用则会造成整个行业的混乱。百度把它当成一个竞争攻略,为自己设置一个竞争壁垒,让每个网站在前面都能搜,百度蜘蛛能搜索都抓取,别人都不能抓取。

百度作为搜索引擎提供商、服务提供商和内容提供商。从数据库的素材来说,百度可能没有权利,因为这不是百度原创的内容。如果百度数据库里面的素材在汇编方面有独到性的话,可以作为汇编作品的版权拥有者主张汇编作品的权利。如果360由于大规模抓取百度数据库里面的内容,导致影响到或涉及到百度对素材的编排方式的时候,百度就可以认为360侵犯了百度汇编作品的版权*利。

百度试图通过自身的影响力,说服行业主管部门和行业协会,把robots协议生搬硬套到中国作为行业标准,以此对搜索领域的对手进行包抄围剿。百度的所作所为非但没有尊重“robot协议”的本质,反而将“robot协议”变成了不正当竞争的凶器,成为遏制竞争对手的路障。

通过长达七年的技术积累,依靠360浏览器和360安全网址站两个强势的互联网入口。360搜索引擎推出1年后,拿到了近20%的市场份额,使得中国互联网搜索引擎行业重新有了活力,百度一家独大的局面受到冲击。

百度滥用robots协议,不仅有损互联网的平等、分享精神,也违反了不正当竞争法;不仅阻碍了互联网的健康、有序发展,也给自己挖了一个陷阱,使自己从一个极端走向另一个极端。