《大数据时代》，一场生活、工作与思维的大变革

文/潘乱 （虎嗅编辑）

《大数据时代》是一本真正懂大数据的人写的实实在在的关于大数据方方面面的书。

我拿到这本书的当晚，只看了引言部分，就迫不及待在豆瓣上标记了在读。因为又感受那种真正的行家出手时才会有的，厚积薄发高屋建瓴势如破竹的快感。我当时便下断言，这本书已经秒杀所有同题。等到第二天我将这本书看完，觉得我前一晚的判断还是正确的。这本书条理分明、详略得当、引述丰富，把大数据梳理得无比清晰，解决了很多困惑我已久的问题，至少要比那些以其昏昏使人昭昭的所谓专家学者好五倍。

大数据是2012年TMT圈最时髦概念的排头兵。今年3月腾讯推出QQ圈子，按共同好友的连锁反应摊开你的人际关系网，把你的前女友推荐给未婚妻，让人震惊之余，也会感慨这是腾讯多年数据积累的厚积薄发；手机游戏愤怒的小鸟年中曾透露其每天用户登录超过140万次，运营商Rovio每发布一个新的应用，都会立即改变流量，虽然这个量级跟国内的新浪微博和铁道部12306相比还差很远，但光从“体积”看这也算是个大数据了；今年11月奥巴马大选连任成功的胜利果实也被归功于大数据，因为他的竞选团队进行了大规模与深入的数据挖掘。时代杂志更是断言，依靠直觉与经验进行决策的优势急剧下降，在政治领域，大数据的时代已经到来；各色媒体、论坛、专家铺天盖地的宣传让人们对大数据时代的来临兴奋不已，无数公司和创业者都纷纷跳进了这个狂欢队伍。几乎每天都能看到有人在谈论大数据，大数据好像成了可以把任何东西都往里面装的框。尽管我们都知道大数据绝不会仅仅只是“大”而已，但真正能说清楚大数据是什么的人却不多。

在这大数据时代来临的前夜，这本书的作者，野心勃勃的舍恩伯格将这个问题说清楚了。他不断下定义举例子，试图给大数据划定疆域与边界，从思维、商业、管理三个维度分析大数据可能给人类带来的变革和挑战。他还指出大数据时代处理数据理念上的三大转变：“不要随机样本，而是全体数据”“不是精确性，而是混杂性”“不是因果关系，而是相关关系”。作者认为包括文字、方位、沟通等一切事物皆可量化，这些数据的价值在被发掘后仍能不断给予，并厘清了在挖掘过程中数据、技术和思维三类玩家的角色定位。同是大数据行家的译者周涛认为这本书好在三个地方：观点掷地有声、观念高屋建瓴、例子丰富详实。而这三者近乎完美地结合起来，作者驾驭大问题的能力和丰富的知识令人赞叹。

抽样分析是信息收集手段不完善时代的产物，它或许能更快更好地发现问题，但却不能回答事先没考虑过的问题。书中举了大数据与乔布斯癌症治疗的故事，乔布斯是世界上第一个对自身所有DNA和肿瘤DNA进行排序的人，他得到的不是样本，而是包括整个基因的数据文档。由于医生可以按照所有基因按需下药，最终这种方式帮助乔布斯延长了好几年的生命。

大数据时代的另一理念是要效率而非绝对准确，要允许一点点的错误和不完美。谷歌2006年涉足机器翻译，谷歌翻译系统为了训练计算机，会吸收它所能找到的全部翻译。谷歌将语言视为能够判别可能性的数据，而非语言本身。假设你要将中文译作俄语，它可能会选择英语作为中介语言，因为在翻译的时候它能够适当增减词汇，灵活性提高了很多。

关于大数据最早最著名的例子可能来自美国第二大超市塔吉特百货。明尼苏达州一家塔吉特门店曾被客户投诉，一位中年男子指控塔吉特将婴儿产品优惠券寄给他的女儿——一个高中生。但没多久他却来电道歉，因为女儿经他逼问后坦承自己真的怀孕了。塔吉特百货就是靠着分析用户所有的购物数据，然后通过相关关系分析得出事情的真实状况。

随着大数据的出现，数据的价值也在发生改变。所有网民都会被网站要求过填写证明你是人而非机器的验证码，这项名为“CAPTCHA”的技术在2000年被发明时是为了防止垃圾邮件和不必要的骚扰，后来发明者又寻找到了使人的计算能力得到更有效利用的方法，发送两个单词，其中一个单词用来确认输入结果，另外一个机器无法识别的字符则随机发送给五个人，直到他们都输入正确才确认这个单词。这也是我们有时明明输错了最终也能登陆的原因。2009年谷歌收购了这家做验证码公司reCAPTCHA，并将其技术用于图书扫描项目，自此全世界的网民都沦为谷歌的免费打字员。。（谷歌太贱了！）因为众包的力量，这项技术每年能为谷歌省下十多亿美元。

作者最后提到，如果数据不能为我所用，那我们将会沦为数据的奴隶。要防止这种失控局面的出现，至少需要我们在管理层面做出四种变革：1、将个人隐私保护从个人许可到由数据使用者承担责任；2、个人该为其行为而非倾向负责；3、不能让大数据成为黑匣子，它需要雇佣外部监察人来维护公众信任；4、反数据垄断大亨。

如果一个人独自到了陌生城市，第一件事最好就是买张地图。一张好的地图可以让我们知道整体、方向、位置、重要特点以及我们的起点、终点、中间的路径，照着地图走才不易将自己迷失。如果你对大数据概念理解得还不是十分清晰，那么这本《大数据时代》就是你的好地图。

中国互联网发展的重要参与者，知名IT评论人 谢文

因为我本身十分关注大数据，也写过若干关于大数据的文章，做过若干关于大数据的演讲，所以对有关这一主题的论文和书籍非常有兴趣。过去几年，在这方面我读过十几本书、上百篇论文和文章。相对而言，维克托•迈尔-舍恩伯格教授的《大数据时代》是迄今为止我读过的最好的一本专著，中英文都算上。

此书的一大贡献就是在大数据方兴未艾、众说纷纭的时刻，进一步阐述和厘清了大数据的基本概念和特点，这对许多以为大数据就是“数据大”的人来说很有帮助。

在人类历史长河中，即使是在现代社会日新月异的发展中，人们还主要是依赖抽样数据、局部数据和片面数据，甚至在无法获得实证数据的时候纯粹依赖经验、理论、假设和价值观去发现未知领域的规律。因此，人们对世界的认识往往是表面的、肤浅的、简单的、扭曲的或者是无知的。维克托指出，大数据时代的来临使人类第一次有机会和条件，在非常多的领域和非常深入的层次获得和使用全面数据、完整数据和系统数据，深入探索现实世界的规律，获取过去不可能获取的知识，得到过去无法企及的商机。

大数据的出现，使得通过数据分析获得知识、商机和社会服务的能力从以往局限于少数象牙塔之中的学术精英圈子扩大到了普通的机构、企业和政府部门。门槛的降低直接导致了数据的容错率提高和成本的降低，但正如维克托所强调的，最重要的是人们可以在很大程度上从对于因果关系的追求中解脱出来，转而将注意力放在相关关系的发现和使用上。只要发现了两个现象之间存在的显著相关性，就可以创造巨大的经济或社会效益，而弄清二者为什么相关可以留待学者们慢慢研究。大数据之所以可能成为一个“时代”，在很大程度上是因为这是一个可以由社会各界广泛参与，八面出击，处处结果的社会运动，而不仅仅是少数专家学者的研究对象。

大数据将逐渐成为现代社会基础设施的一部分，就像公路、铁路、港口、水电和通信网络一样不可或缺。但就其价值特性而言，大数据却和这些物理化的基础设施不同，不会因为人们的使用而折旧和贬值。例如，一组DNA可能会死亡或毁灭，但数据化的DNA却会永存。所以，维克托赞同许多物理学家的看法，世界的本质就是数据。因此，大数据时代的经济学、政治学、社会学和许多科学门类都会发生巨大甚至是本质上的变化和发展，进而影响人类的价值体系、知识体系和生活方式。哲学史上争论不休的世界可知论和不可知论将会转变为实证科学中的具体问题。可知性是绝对的，无事无物不可知；不可知性是相对的，是尚未知道的意思。

对于不从事网络业、IT业以及数据分析和使用的读者，本书的一大好处就是通俗易懂，通过具体实例说明问题，有助于人们的理解和联想。在时限上，作者概括了直到2012年7月大数据方向上的最新发展，避免了许多同类作品存在的例证过于陈旧、视野相对狭窄的毛病。

作为一位生活在欧美现代社会的学者，维克托是把民主、开放和理性作为已知前提来讨论大数据革命的。这对生活在发展中国家，社会现代化程度尚且有限的读者来说，也许是个遗憾，因为书中描述的许多已经发生的事例可能更像是神话。没有市场经济制度和法治体系作为基础支撑，大数据很可能成为发达国家在下一轮全球化竞争中的利器，而发展中国家依然处于被动依附的状态之中。整个世界可能被割裂为大数据时代、小数据时代和无数据时代。

处于发展中国家前列的中国，目前正面临着一个重大的历史抉择关口。应该说，在过去的三十余年时间里，中国在快速走向工业化、信息化、网络化方面交出了一份不错的成绩单。如今适逢世界走向数据化，迈入大数据时代的时刻，无论对个人、企业还是对社会和国家，都有认真理解、严肃决策的必要性和紧迫性。哪怕仅从这一点考虑，读一读这本书也是很值得的。

宽带资本董事长 田溯宁

从硅谷到北京，大数据的话题正在被传播。随着智能手机以及“可佩带”计算设备的出现，我们的行为、位置，甚至身体生理数据等每一点变化都成为了可被记录和分析的数据。以此为基础，“反馈经济”（feedback economy）等新经济、新商业模式也正在开始形成。维克托•迈尔-舍恩伯格教授这本《大数据时代》，是我看到的最好的大数据著作，不管对于产业实践者，还是对于政府和公众机构，都是非常具有价值的。

如今，一个大规模生产、分享和应用数据的时代正在开启。正如维克托教授所说，大数据的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，绝大部分都隐藏在表面之下。而发掘数据价值、征服数据海洋的“动力”就是云计算。互联网时代，尤其是社交网络、电子商务与移动通信把人类社会带入了一个以“PB”（1024TB）为单位的结构与非结构数据信息的新时代。在云计算出现之前，传统的计算机是无法处理如此量大、并且不规则的“非结构数据”的。

以云计算为基础的信息存储、分享和挖掘手段，可以便宜、有效地将这些大量、高速、多变化的终端数据存储下来，并随时进行分析与计算。大数据与云计算是一个问题的两面：一个是问题，一个是解决问题的方法。通过云计算对大数据进行分析、预测，会使得决策更为精准，释放出更多数据的隐藏价值。数据，这个21世纪人类探索的新边疆，正在被云计算发现、征服。

《大数据时代》列举了众多在公共卫生、商业服务领域大数据变革的例子。一旦“不再追求精确度，不再追求因果关系，而是承认混杂性，探索相关关系”，“思维转变过来，数据就能被巧妙地用来激发新产品和新型服务”。数据正成为巨大的经济资产，成为新世纪的矿产与石油，将带来全新的创业方向、商业模式和投资机会。

庞大的人群和应用市场，复杂性高、充满变化，使得中国成为世界上最复杂的大数据国家。解决这种由大规模数据引发的问题，探索以大数据为基础的解决方案，是中国产业升级、效率提高的重要手段。数据挖掘不仅能够成为公司竞争力的来源，也将成为国家竞争力的一部分。联系到我国现代化所面临的种种问题以及教育、交通、医疗保健等各方面挑战，通过大数据这种创新方式来解决问题，创建新的产业群，实现“中国制造到中国创造”的改变，意义就更大。

“大数据”发展的障碍，在于数据的“流动性”和“可获取性”。美国政府创建了Data.gov网站，为大数据敞开了大门；英国、印度也有“数据公开”运动。中国要赶上这样一场大数据变革，各界应该首先开始尝试公开数据、方式与方法。如同工业革命要开放物质交易、流通一样，开放、流通的数据是时代趋势的要求。《大数据时代》一书也提到了数据拥有权、隐私性保护等问题，但相比较来看，新科技可能带来的改变要远远大于其存在的问题。

本书的译者周涛教授是我国最年轻有为的大数据专家。这位27岁的天才型教授，数年来一直带领我国学术界在大数据研究上向国际一流看齐。更可贵的是，他不仅做研究，也关注着研究成果的商业化及传播。这部译著就是他这种努力的一个成果。

现代历史上的历次技术革命，中国均是学习者。而在这次云计算与大数据的新变革中，中国与世界的距离最小，在很多领域甚至还有着创新与领先的可能。只要我们以开放的心态、创新的勇气拥抱“大数据时代”，就一定会抓住历史赋予中国创新的机会。

大数据不仅改变了公共卫生领域，整个商业领域都因为大数据而重新洗牌。购买飞机票就是一个很好的例子。

2003年，奥伦•埃齐奥尼（Oren Etzioni）准备乘坐从西雅图到洛杉矶的飞机去参加弟弟的婚礼。他知道飞机票越早预订越便宜，于是他在这个大喜日子来临之前的几个月，就在网上预订了一张去洛杉矶的机票。在飞机上，埃齐奥尼好奇地问邻座的乘客花了多少钱购买机票。当得知虽然那个人的机票比他买得更晚，但是票价却比他便宜得多时，他感到非常气愤。于是，他又询问了另外几个乘客，结果发现大家买的票居然都比他的便宜。对大多数人来说，这种被敲竹杠的感觉也许会随着他们走下飞机而消失。然而，埃齐奥尼是美国最有名的计算机专家之一，从他担任华盛顿大学人工智能项目的负责人开始，他创立了许多在今天看来非常典型的大数据公司，而那时候还没有人提出“大数据”这个概念。

1994年，埃齐奥尼帮助创建了最早的互联网搜索引擎MetaCrawler，该引擎后来被InfoSpace公司收购。他联合创立了第一个大型比价网站Netbot，后来把它卖给了Excite公司。他创立的从文本中挖掘信息的公司ClearForest则被路透社收购了。在他眼中，世界就是一系列的大数据问题，而且他认为他有能力解决这些问题。作为哈佛大学首届计算机科学专业的本科毕业生，自1986年毕业以来，他也一直致力于解决这些问题。

飞机着陆之后，埃齐奥尼下定决心要帮助人们开发一个系统，用来推测当前网页上的机票价格是否合理。作为一种商品，同一架飞机上每个座位的价格本来不应该有差别。但实际上，价格却千差万别，其中缘由只有航空公司自己清楚。

埃齐奥尼表示，他不需要去解开机票价格差异的奥秘。他要做的仅仅是预测当前的机票价格在未来一段时间内会上涨还是下降。这个想法是可行的，但操作起来并不是那么简单。这个系统需要分析所有特定航线机票的销售价格并确定票价与提前购买天数的关系。

如果一张机票的平均价格呈下降趋势，系统就会帮助用户做出稍后再购票的明智选择。反过来，如果一张机票的平均价格呈上涨趋势，系统就会提醒用户立刻购买该机票。换言之，这是埃齐奥尼针对9000米高空开发的一个加强版的信息预测系统。这确实是一个浩大的计算机科学项目。不过，这个项目是可行的。于是，埃齐奥尼开始着手启动这个项目。埃齐奥尼创立了一个预测系统，它帮助虚拟的乘客节省了很多钱。这个预测系统建立在41天内价格波动产生的12000个价格样本基础之上，而这些信息都是从一个旅游网站上搜集来的。这个预测系统并不能说明原因，只能推测会发生什么。也就是说，它不知道是哪些因素导致了机票价格的波动。机票降价是因为很多没卖掉的座位、季节性原因，还是所谓的周六晚上不出门，它都不知道。这个系统只知道利用其他航班的数据来预测未来机票价格的走势。“买还是不买，这是一个问题。”埃齐奥尼沉思着。他给这个研究项目取了一个非常贴切的名字，叫“哈姆雷特”。

这个小项目逐渐发展成为一家得到了风险投资基金支持的科技创业公司，名为Farecast。通过预测机票价格的走势以及增降幅度，Farecast票价预测工具能帮助消费者抓住最佳购买时机，而在此之前还没有其他网站能让消费者获得这些信息。

这个系统为了保障自身的透明度，会把对机票价格走势预测的可信度标示出来，供消费者参考。系统的运转需要海量数据的支持。为了提高预测的准确性，埃齐奥尼找到了一个行业机票预订数据库。有了这个数据库，系统进行预测时，预测的结果就可以基于美国商业航空产业中，每一条航线上每一架飞机内的每一个座位一年内的综合票价记录而得出。如今，Farecast已经拥有惊人的约2000亿条飞行数据记录。利用这种方法，Farecast为消费者节省了一大笔钱。

棕色的头发，露齿的笑容，无邪的面孔，这就是奥伦•埃齐奥尼。他看上去完全不像是一个会让航空业损失数百万潜在收入的人。但事实上，他的目光放得更长远。2008年，埃齐奥尼计划将这项技术应用到其他领域，比如宾馆预订、二手车购买等。只要这些领域内的产品差异不大，同时存在大幅度的价格差和大量可运用的数据，就都可以应用这项技术。但是在他实现计划之前，微软公司找上了他并以1.1亿美元的价格收购了Farecast公司。而后，这个系统被并入必应搜索引擎。

到2012年为止，Farecast系统用了将近十万亿条价格记录来帮助预测美国国内航班的票价。Farecast票价预测的准确度已经高达75%，使用Farecast票价预测工具购买机票的旅客，平均每张机票可节省50美元。

Farecast是大数据公司的一个缩影，也代表了当今世界发展的趋势。五年或者十年之前，奥伦•埃齐奥尼是无法成立这样的公司的。他说：“这是不可能的。”那时候他所需要的计算机处理能力和存储能力太昂贵了！虽说技术上的突破是这一切得以发生的主要原因，但也有一些细微而重要的改变正在发生，特别是人们关于如何使用数据的理念。