正确的提示信息
扫码打开虎嗅APP
从思考到创造
打开APP
资讯
视频
车与出行
年轻一代
十亿消费者
前沿科技
财经
娱乐淘金
医疗健康
文化教育
出海
金融地产
企业服务
创业维艰
社交通讯
全球热点
生活腔调
榜单
虎嗅视界
24小时
活动
妙投APP
虎嗅智库
登录
极速注册
取消
搜索历史
删除
完成
全部删除
数码
互联网
数码
互联网
热搜词
养老院
奶茶
老人
AI
元宇宙
储能
CEO
家居
仓储式超市
账号或密码错误
2014-04-28 22:35
大数据时代,让我们通过数据来找机会,而不仅是解决问题!读《决战大数据》
虎嗅
本书作者车品觉是阿里巴巴集团商业智能部副总裁、数据委员会会长,也被业界称为大数据实践的先行者。近年来,大数据方面的图书出现了不少,但大数据这个时代的来临,给当今的商业带来了极大的冲击,多数电商人无不“谈大数据色变”,并呈现出一种观望、迷茫、手足无措的状态。
本书至少有两个特点,第一,书中的例子几乎都是事关电商的例子,目前来说电商的处理环节可能会是比较长,所涉及的数据也更多,能够理解了电商层面的数据,对于其他行业的数据理解可能也会更到位一些。第二,本书第一次将阿里的大数据秘密展现出来,将阿里运营和管理的数据的方法很通俗地表达出来。相信本书的这两个特点会对电商的从业者有所帮助。
下文特意节选作者的数据化的思考和本书的最后一章《大数据,未来商业的利器》节选内容,让读者先睹为快。
----------------------------------------------------
忽略了趋势,过去的价值一文不值
我们通常都认为,经验应该是越多越好。一个有经验的人总是更能够在很多事情上做出正确的判断,因为积累使然。但事实上,我们发现,有时候经验越多,似乎越容易让人犯一些低级错误。这就好像,你会发觉往往天天研究彩票和股票的人总是发不了大财,而往往是一个菜鸟莫名其妙地就中了大奖和买了一只牛股。
为什么经验有时会使人犯低级错误呢?在这里,我们应该将其分成两种情况来看待:
一种是信息不对称;另一种则是逻辑错误。
当我们讨论信息的不对称时,
首先要讲的就是经验。经验是对过去的度量,但不是所有经验信息的质量都很好。
在经验的数据库里,肯定有一些信息是正确的,有一些是错误的。当经验中混有很多噪音干扰时,我们会跟随错误的经验做出判断,此时,我们就会发现自己变笨了。
比如,在使用没有评估过的经验时,你用 A方案获得了成功,用 B方案却失败了,而且在评估的过程中也不是单纯的 0或1,而是用 0~1的范围来度量的。说到这个,就要提到数据分析师了。一般而言,数据分析师对于信息是很有洁癖的,也就是在对于经验的累积上,他们对质量把控得十分严格,如对于数据信息的排序、分析可靠的信息源进行多次使用、了解信息的出处和知道信息的提供者等。根据这些,数据分析师在它们的辅助下做出了决定。这意味着,你所有的信息来源都需要有正确的途径和渠道,不然,这个决策也会出现偏差。
除此之外,
还有一个因素导致经验使人变笨,那就是在分析时忽略了趋势,
这个道理可以用赛马的故事来举证。
在香港,你经常会发现拿着一大堆材料的人会分析马匹的数据。比如,有人会根据一匹马进行 1 200米跑的时间,来计算它未来可能跑完全程所需要的时间。但我们发现,还是有很多人因算错导致赌马失败。为什么呢?因为历史数据和我们今天面对的情况中出现了一些假象。香港大多数赌马的人,他们最终收集到的数据都是受到影响的,而不是经过清洗的,当然是不准确的。每一个赌马的人都在看过去的数据——马会会给每一个赌马者提供前三场赛马的数据,大家只会关注这个结果,而不会去关注赛马当天发生了什么。如果是我,则会去回看录像,就可能发现其他的情况。比如,如果这匹马本来想发力,但前面有马匹挡住了它,它才被扣除了两秒钟;或者骑师扬鞭,鞭子掉了,扣除 5秒钟;再或者有些马发脾气偏离跑道,也要扣除秒数。当排除所有意外算出的时间,就是干净的、没有影响因素的真正经验了。这时候,我们得到的第 1~3名的数据和最终比赛结束公布出来的第 1~3名的数据就会不一样。
除此之外,还要观察有关赛马成长的趋势问题。事实上,在每一场赛马里都会出现很多意外,如果这些意外都不出现,也会直接导致结果的不同。因为每匹马幼年和成年的状态是完全不同的,因此它的数据价值评估也是不一样的。一匹马 3~4岁等同于我们人类 18~25岁,体能上会出现非常大的变化;又或者,年幼的马匹对于骑士的体重非常敏感,多 1~2磅就会有非常大的影响,但长到 5岁后,负重对其的影响则会慢慢降低,这就是硬趋势。即便有很多过往经验的数据都不能很好地匹配今天你要做的事情时,意味着经验需要将数据进行清洗——把当天的影响因素都找出来,并还原,这时候得到的数据才是正确的经验。
结论就是,经验使人变笨的原因在于你之前的经验本身就存在误差,即数据源本身就存在问题,而这种误差一般人看不出来。因此,在过去的经验积累本身就有问题的情况下,根据经验得出的结论自然会使人犯低级错误。
你永远不要假定这个世界是真空的,所以你还需要多多观察频繁出现的新数据。当有新的数据出现时,以往的经验就需要重新做评估了。
第十一章《大数据,未来商业的利器》
大数据,未来商业的利器
......
假定数据是脏的
在处理数据的时候,会像污水处理厂一样,每一步都问自己要如何处理这些污水。这种情况的出现,到底是因为数据源脏了,还是因为数据提炼过程做得不好?
美国有一家初创公司,专注于与地理位置相关的数据收集、整理和查询服务。它将地理位置的相关指标,按照酒店和旅馆等属性划分为不同细类,对外提供基于位置信息的实时查询,为包括美国最大点评网 Yelp在内的多个知名应用提供底层数据服务。
这家公司最令人印象深刻的是,它对于所收集来的数据会提供一个数据质量评分,以反映数据的可信度和质量水平。它会对这些数据的源头以及对处理数据阶段所用的算法进行评分。也就是说,这家公司在提炼数据的每一个阶段都进行了数据化管理。
这家公司的做法让我们看到了一个趋势,也是一个非常重要的趋势。因为它首先已经接受了数据源肯定是脏的和数据源一定会被污染的事实。所以,它在处理数据的时候,会像污水处理厂一样,每一步都问自己要如何处理这些污水。这种情况的出现,到底是因为数据源脏了,还是因为数据提炼过程做得不好?这个过程我们一定要区分,而且这样的区分是可取的。
这家公司是假定数据是“脏”的来做数据管理,而不是假定数据是稳定的。而且,假定数据是“脏”的来处理数据,在大数据时代将是一个非常重要的趋势。
事实上,我们今天在处理的大数据,依然只是冰山一角,而更大的数据都隐藏在我们的语言中,比如我们说的话和写的字。所以,将来我们要准确地从互动中抓取数据,也一定要依赖对自然语言的处理。现在,美国的很多数据研究人员都在瞄准非结构性数据,即语言处理这一领域。
学会慢慢淡化数据
数据是有优先值的,在数据中有些是特别核心的,有些即使缺失了也没有多大问题。所以,我们要学会真正坐下来盘点那些对公司最有价值、对用户最有价值的数据。
想要确定数据的优先值,就要先解决以下几个问题。
一是数据的标准化。在大数据时代,我们需要一个标准化的东西供我们进行交流。
二是我们到底如何对接和交换数据,如何在交换的时候保持数据的稳定性。比如自然语言,比如在无线和 PC不同场景下受到的影响,这些情况都会滋生出许多新问题。
第三个重要的问题是数据的存储,这将涉及数据的时效性这一问题。有人曾经提出过一个很有价值的观点,即现实中,网站最大的场景变化就是网站改版。因为重新设计网站,本身就影响数据,比如公司的详情页和首页,任何改变都在影响数据。如果在 1~3年后,你才说得出数据的这一改变是由于促销、用户行为或是改版引起的,那这一数据就已经没有任何价值了,这就是数据的时效性。
所以,美国出现了一个概念叫数据淡化(Data Decay),意思很明显,数据会慢慢淡化。我们要更清楚地认识到,数据是有优先值的,在数据中有些是特别核心的,有些即使缺失了也没有多大问题。所以我们要学会真正坐下来盘点那些对公司最有价值、对用户最有价值的数据,这是一个非常重要的趋势。
数据的标签化管理
数据的属性标签是人类经验判断的数据,是数据后的数据。
数据的属性标签是人类经验判断的数据,是数据后的数据。
例如,当你要为一件物品打上标签时,其实就已经动用了你的经验数据分析,并进行了归纳总结,结合当下的环境给出了判断。如果没有考虑环境的影响及准确性的评估,这种经验加上直觉的判断是不稳定且又难以解释的。但从数据收集的角度去看,数据的属性标签又是一个潜力极大的数据。
在数据属性的管理上,对于用户来说,每个人身上贴的标签都是多种多样的,但是对于企业来说,如何将这些标签归一,如何用一个点去将之串联,又如何把这些点连起来去描述这个用户,这才是核心问题。
比如说,你要去应聘一家公司, A公司对你的评价是“很可靠”, B公司对你的评价是“不可靠”,而 C公司准备雇用你,然后 C公司看到了 A公司和 B公司给你贴的两个标签:“可靠”和“不可靠”,它就会困惑。
这样的问题常常发生,那么,
我们要怎么去做标签的管理呢?
首先,我们要明确的是,“可靠”这个概念是没有标准化意义的,除非在定义标签之前,我们就界定清楚这个“可靠”的标准是什么。否则,“可靠”的标准是准时还钱、说话算数,还是他向来都很守时,我们就无从得知了。如果这些标准是“可靠”,就给予了我们一种可以还原数据的能力。所以,在属性管理中,假如属性是“×”,那么我们一定要定义清楚什么是“×”,在没有清楚定义的情况下,这个数据的属性是毫无价值的,而且,将来你也依然不知道怎么使用这一数据。
标签在观察之后加进平台和直接加进去是不一样的。在电商平台中,就有一些标签是在观察后加进去的,如果由卖家自由地加标签进去,必然会造成混乱。所以,标签的属性管理,在运营数据中非常重要。
标签化管理,是一个非常重要的趋势。电商企业今天面对的一些问题在美国的电商企业中同样存在,可见,我们发现的问题,别人也在面对,不过这些问题并不需要现在就去解决。
属性管理的层级化十分有必要,但是在使用数据前,必须要了解数据的场景、数据是如何放进去的和数据的场景是什么。在这一切未知之前,就说数据如何好用的话,是不可能的。所以,现在企业运营数据的趋势是,我们应该找出一些属性进行归类,然后再慢慢地考虑如何
提炼,这对于未来非常重要。
重要的是数据和数据之间的关系,而不是数据本身
大数据价值的实现,在于数据与数据的连接。
Google做了一件非常惊人的事情 —— Google甚至能在不明白某个网页语言的情况下,知道其内容是什么。试想一下,如果你懂俄语,看出俄语网页里在讲什么当然很简单。但是,如果你仅仅通过看字词的排列和网站的分类,就知道网页的内容,这是不是很令人惊叹?
这就是知识图谱,它是一个无穷无尽的世界。事实上,知识图谱并不是数据,而是数据和数据之间的关系。但这里有一个非常大的弊端,就是数据的储藏量非常大、储存的方法也很复杂,且稍微改变一点点关系的定义,整体就会产生巨大的变化。
比如说,有一个知识图谱在说电商平台用户之间的关系,那数据信息就非常庞大了。试想一下,今天电商平台里有多少个用户跟你有关系?假如说有 25个人,那么 25个人的关系就演变成了 25×25条关系。这时候,我再问你“什么是关系”、“见过就算关系,还是一起买过东西叫关系”的问题就具备了一定的难度。
关系建立的维度是无限大的,而且定义稍微改变一下,整个存储和整个数据库都会发生变化。所以,知识图谱的把控是有难度的。举个贴近我们生活的例子,比如说银行很早之前就给你开办了信用卡,决定银行这一决策的不是你的个人关系而是总关系。银行决定是否贷款给你,是要看你爱人做什么职业以及你家中其他人的经济情况如何。当这种种关系关联起来时,就会产生一个极为重要的知识图谱。
以往我们谈大数据时候的本钱,莫过于“我有这种数据,你没有”。在未来,数据和数据之间的关系才是重中之重,而不是单纯的数据本身。
......
未来是人机的结合体
人和机器的结合,或者人和数据的结合将是未来的一种进步模式,人类将通过数据变得更加智能。
很多人会问,大数据目前发展到什么阶段了?我的答案是——水分太多的阶段。但毋庸置疑,大数据已经极大地影响了我们的社会,但还远远没有达到它的爆发点。因为有了大数据,人的经验开始和数据结合,两者相互激活,让人的智慧得到了规模化地放大,这也使得整个社会开始伴随着数据的发展产生巨大的改变。但是,在大数据的使用上,未来的发展空间注定会比现在取得的成绩更加宏大,“数据化运营”和“运营数据”这个数据与人之间的闭环系统也会越来越完善,人机结合仍然有巨大的空间让我们去挖掘。
未来,数据的种类将超出我们的想象。以前的数据更多集中在外部行为的监控上,不论是网络购买行为,还是网上社交行为,都是用户在“远距离”提供数据,即便这样,我们仍然还没有运用好这些数据。随着可穿戴式设备的出现,数据和人将真正融为一体,类似谷歌眼镜这样的设备,将让我们看到的东西即时数据化;类似健康手环类设备和可以深度收集脑电波数据的设备,将随时会使我们人体的活动转化成数据。目前,记录睡眠状况只是其初步的应用,在不远的未来,用数据记录我们每一秒钟的生活也将成为可能。
当万物皆数据的时刻到来时,商业发展的更多新机会将会出现,数据将会帮助我们更好地做出判断,比如,什么时候最适合吃饭、什么时候身体疲惫适合睡觉和什么时候记忆力最好等,这些都能通过数据来进行预判。甚至于,当记录了人的足够数据之后,数据就可能告诉我们此时此刻应该做些什么及最佳的策略。也许在那时,决定人是否聪明的指标,已经不是 IQ,而是是否拥有足够优质的数据。
人和机器的结合,或者人和数据的结合将是未来的一种进步模式,人类将通过数据变得更加智能。
最后我想用两句话来总结:
当下,我们要学会人机分工,让人做人最擅长的事情,让机器做机器最擅长的事情;
未来,我们要相信人机结合,人机的界线已经模糊,无人驾驶汽车已经变成可能。未来人类的身上流动着的是血液以及数据。
如对本稿件有异议或投诉,请联系tougao@huxiu.com
打开虎嗅APP,查看全文
支持一下
赞赏
0人已赞赏
分享至:
2
大 家 都 在 看
大数据时代是否会使《1984》成为现实?读《爆发:大数据时代遇见未来的新思维》
虎嗅
16:30
这个世界正变得更加真实,还是更多偏见?
造就Talk
《大数据时代》,一场生活、工作与思维的大变革
潘乱
什么是大数据,大数据为什么重要,如何应用大数据?读《驾驭大数据》
林海龙
信息越多,问题越多,在大数据时代如何做预测?读《信号与噪声》
虎嗅
大数据时代,我们是怎么量化事情,得出数据的?读《数据化决策》
虎嗅
未来的信息安全专家,可能是数据科学家,甚至社会学家、心理学家!读《大数据时代》
张耀疆
大数据时代的产物:楚门世界的隐私、黑客帝国的恐慌、美国队长的洞察计划
fan_fay
一文读懂:数据的五个特征、三道难题
腾讯研究院
不转型数据化等死,但是转不好型就是找死
造就Talk
数据分析的工作目标是什么
caoz的梦呓
20:23
#这才是正解!
前阿里副总裁:电商时代,谁动了你的钱包?
大佬日志
47:13
#AI有多智能
AI的价值探索:如何拓展商业边界?
大咖说小编
01:22:16
#内幕大揭秘
数据服务公司,怎么从一到十?
潘乱
01:20:30
#AI有多智能
AI技术的“纺织业”是什么?
大咖说小编
20:01
跨年龄人脸识别技术,能够让拐卖儿童犯罪现象消失吗?
造就Talk
07:49
#内幕大揭秘
算法是如何一步一步榨干你钱包的?
新熵
10:20
#AI有多智能
教你如何对抗算法,大数据时代的硬核生存指南
图灵的猫
07:42
大数据会怎么找出潜在的新型冠状病毒接触者?
动动枪DongDongGun
14:40
#AI有多智能
AI是下一场“互联网泡沫”?谈谈大模型发展的三个瓶颈
白呀白Talk
大 家 都 在 搜
养老院
奶茶
老人
AI
元宇宙
储能
CEO
家居
仓储式超市
APP内打开
好的内容,值得赞赏
您的赞赏金额会直接进入作者的虎嗅账号
自定义
支付:
元
匿名赞赏
支付