正确的提示信息
扫码打开虎嗅APP
从思考到创造
打开APP
资讯
视频
前沿科技
车与出行
商业消费
社会文化
金融财经
出海
国际热点
游戏娱乐
健康
书影音
医疗
3C数码
观点
其他
榜单
虎嗅视界
24小时
妙投APP
虎嗅智库
登录
极速注册
取消
搜索历史
删除
完成
全部删除
数码
互联网
数码
互联网
热搜词
腾讯
房子
微信
IPO
香港
海底捞
火锅
烂尾
区域经济
账号或密码错误
2013-10-16 08:28
解读百度就“违反Robots协议”向360巨额索赔:一场数据争夺战
罗超Pro
搅局者360面临的巨额诉讼官司即将开庭。百度起诉奇虎360违反“Robots协议”(又称机器人协议或爬虫协议)抓取、复制其网站内容的不正当竞争行为,并索赔1亿元人民币。这个官司在今年2月便已立案,或许由于Robots协议太棘手,等了大半年才开庭。
Robots抓取案根源是百度数据优势
笔者在今年1月6日便
率先发现360内测360百科
,大量词条从界面风格、到词条属性、到扩展阅读几乎保持一致。当时我推测360搜索在2013年的发展方向或将是:在产品线上,360搜索完全走百度的模式——从新闻、网页、问答、地图、音乐到视频等(软件和应用搜索是360特有的)。不过奇虎360后续陆续推出了“雷电手机搜索”“软件搜索”“良医搜索”以及“购物搜索”,实现与百度产品的差异化。
一方面综合搜索百度有先发优势,有着十多年的数据和技术积累,360想在这方面赶超几无可能;另一方面360爬取百度数据的做法,遭到后者多重打压:既有悬在头上的诉讼,也有重定向等技术手段。在360搜索结果点击百度知道、百科等页面,将被重定向,二次点击使得用户无法享受完整的搜索体验。
细心观察Google、360等搜索引擎会发现,首页结果出现百度知道、百科和贴吧内容的几率非常大,搜搜问问、爱问知识人和奇虎问答则是补充。如果搜索引擎没有百度的数据,用户找到想要的结果的几率会降低很多。
百度在2004年开始每年推出一个重量级产品:贴吧、知道和百科。现在百度的数据优势显示了当初UGC策略的英明之处。这些用户创造的数据已经成为百度的核心资产,同时百度官方运营人员也功不可没,而360直接将百度辛苦积攒的数据拿去使用,百度自然难以接受。数据是否丰富将很大程度决定搜索体验。
Robots协议,网站维护自身利益的工具?
Robots协议是网站站长与搜索引擎之间共同讨论后形成、通过Robots.txt落地。网站站长用它决定对搜索引擎的开放程度,引导爬虫如何更有效地爬取自己。现被广泛采用。Google、百度等搜索引擎均严格遵守。通常网站可以在服务器根目录下的“Robots.txt”中指明哪些内容可以被搜索引擎抓取,哪些不可以;也可以指明对那个搜索引擎开放,或者对哪个不开放。限制某个搜索引擎,Robots初衷是限制“BadRob”,即坏爬虫。所谓坏,是指存在安全或隐私问题,抑或太高频率爬取导致服务器压力。
事实上,Robots最初是用来约束搜索引擎的。搜索引擎梦想是获取所有数据,Robots限制了这一点。Robots也可以设置站点地图、屏蔽死链接以及减轻服务器压力不让爬虫爬取大文件。但整体而言搜索引擎是不欢迎Robots的,据某站长介绍,如何要想从搜索引擎获得更多流量,最好别用Robots文件。
不过百度是一家搜索公司,也是一家内容网站——当被Google、360等搜索引擎爬取时,李彦宏的角色就是网站站长。Robots协议对其也有保护作用。对360启用Robots限制很大程度是为了维护自身数据优势,防范竞争。Robots协议现在已逐步成为网站主维护利益的工具。
2008年淘宝屏蔽了Google、百度等搜索引擎也是利用Robots协议,理由是欺诈风险,今年淘宝屏蔽微信也是类似的理由。京东商城也通过Robots协议屏蔽了阿里旗下的购物搜索引擎一淘:因为一淘未经允许抓取京东商品评价,而这些评价花费了京东上亿的积分激励资源。屏蔽一淘得到苏宁易购的效仿。
360对百度不满意之处在于:百度的Robots采用了允许部分网站的方式,360被排除在外。其他搜索引擎例如搜狗就可以搜索百度内容。据接近百度内部人士介绍,搜索引擎要加入百度robots协议的白名单,一般需要与之签署一份书面协议。尽管360前几天与百度打了一场足球赛,但暂时应该还难以与之签署书面协议。
显而易见,百度屏蔽360、淘宝屏蔽百度、京东和苏宁易购屏蔽一淘,均是利用Robots协议来应对竞争对手,而不是因为对方的爬虫是“坏爬虫”。
用户创造内容的版权归属成为焦点
Robots的效力与“口头约定”差不多。但进入搜索引擎行业的均会遵循这个游戏规则,这得靠自律。但是违反协议本身是否被法律制裁,现在难以判断。如果争论焦点围绕著作权,届时还要看360的行为是否符合避风港原则。
360认为百度不应该将Robots协议这么用,他们抓取的数据是用户创造的,百度不应该屏蔽。并且百度不应该只对自己屏蔽。就算360觉得委屈,更合适的方式是推动Robots协议修订,并且说服业界接受,这很难。但现在360采用不遵守协议直接爬取的方法,有点“以暴制暴”的感觉:“规则不公平,抑或有人滥用来对付我,我就不遵守这个规则。”
用户创造内容是否可以不经过网站允许被抓取呢?百度用户创造的内容并没有明确的所有权归属。国内只有知乎等少数UGC社区有CC协议(知识共享),百度内容究竟是属于用户还是百度,UGC社区需要更加明确的版权协议。但360并不能因此就要求百度必须开放数据。况且这些数据的产生百度确实有所付出,例如运营、技术、软硬件资源等。
那么国外有无先例呢?在12年前,美国加州北部的联邦地方法院,eBay起诉Bidder's Edg案中,Bidder‘Edg违反Robots协议抓取eBay数据,BE败诉。但是在2011年4月微软向欧盟起诉Google,因为Google限制竞争对手的搜索引擎正常访问YouTube,微软却获胜了。
难以预测本次百度起诉360案结局怎么样,因为可以借鉴的先例也给出了不同的答案。不过本案结局势必会给接下来国内的互联网内容归属、非法律范畴协议纠纷值提供重大的借鉴意义。
本案也将很大程度影响360搜索此后的发展方向。2008年奇虎便推出了问答,但与百度知道还有差距。接下来360很可能会收购知乎这类内容社区,还会加强自有UGC社区建设,很简单,如果人才智力是互联网公司最有价值的流动资产,那么数据将是未来最重要的固定资产。360现在的数据集中在底层安全数据,应用型数据还太少。这是它冒着被索赔1亿元的风险去爬取别家数据的根本原因。
作者微博为@广州阿超,微信为SuperSofter
本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系 hezuo@huxiu.com
如对本稿件有异议或投诉,请联系tougao@huxiu.com
打开虎嗅APP,查看全文
频道:
前沿科技
支持一下
赞赏
0人已赞赏
分享至:
0
大 家 都 在 看
拆解百度与360搜索的攻守局
郭昂
05:43
#5分钟科普
为什么搜索引擎里的信息越来越少?
柴知道
旧恨未解,新仇又结:五个视角看搜索的格局之变
罗超Pro
为什么必须保护Robots协议?
林华
AI能颠覆搜索引擎吗?
经济观察报观察家
07:13
互联网垄断来袭,谁来守住用户的隐私底线?
动动枪DongDongGun
谷歌一下,你就知道?你也许会懵掉
全媒派©
谷歌用你的隐私换钱,而这只“鸭子”正与它叫板
造就Talk
互联网不需要第二个百度
亿欧网©
互联网爬虫战争永无休止
财经e法
捍卫女性堕胎权,不能靠“谷歌式”隐私保护
丸都山
资本愿意给钱,现在人人都想做一个搜索引擎
白鲸出海©
10:39
#内幕大揭秘
2022年,互联网的“墙”拆了吗?
花狸胡说
12:46
#AI有多智能
ChatGPT兵临城下,搜索引擎攻防战一触即发?
暴富研究局
05:56
割你韭菜的互联网巨头,为什么最害怕反垄断?
X科技实验室
01:14:30
#内幕大揭秘
关于开放平台的一切,从Meta、QQ和微信说起
潘乱
06:48
#AI有多智能
隐私保护的终点是自发上传“果照”?
ECO新势
09:56
#内幕大揭秘
创造了万维网的他,现在想亲手重塑它
差评君
15:58
#Web3.0完全手册
Web3.0是什么?能给我们带来什么改变?
纳斯赛博伯
10:27
#高新技术流
《个信法》的这个彩蛋,99%的报道都没发现
所长林超
大 家 都 在 搜
腾讯
房子
微信
IPO
香港
海底捞
火锅
烂尾
区域经济
APP内打开
好的内容,值得赞赏
您的赞赏金额会直接进入作者的虎嗅账号
自定义
支付:
元
匿名赞赏
支付