正确的提示信息
扫码打开虎嗅APP
从思考到创造
打开APP
资讯
视频
前沿科技
车与出行
商业消费
社会文化
金融财经
出海
国际热点
游戏娱乐
健康
书影音
医疗
3C数码
观点
其他
榜单
虎嗅视界
24小时
妙投APP
虎嗅智库
登录
极速注册
取消
搜索历史
删除
完成
全部删除
数码
互联网
数码
互联网
热搜词
老破小
房子
纳斯达克
香港
存量房
张勇
烂尾
游戏
诈骗
账号或密码错误
2014-09-19 10:11
【虎嗅夏季F&M节】腾讯蒋杰:实时计算,腾讯用它来干嘛?
虎嗅
注:本文来自腾讯数据平台部负责人蒋杰在2014虎嗅夏季F&M节上的演讲,虎嗅进行了整理、编辑。
非常感谢虎嗅给我这样的机会。我今天主要讲实时计算的框架和发展,还有应有的场景,还有在腾讯这样的企业是如何应用的。
为什么要做实时计算?
无论是华大基因,还是很多硬件的创业者,他们讲述的话题有所不同,但是各自的话题又都离不开数据。21世纪就是本数据书,如何更好的利用和发现数据,这需要有实时计算的体系。
腾讯实时计算的平台是根据腾讯的效果广告的发展而来的。我们的效果广告为什么要实时计算?因为当你的数据量级在几百亿的时候,它要基于消息队列的模式实现消息队列的延续的过程。在腾讯整个业务的发展过程中,实时计算能为我们解决很多问题。
所以海量数据跟实时的结合是对腾讯实时计算的挑战,而10毫秒快速反应则是我们努力的方向。
比如你一个用户绑定了Q—zone,根据这个用户在腾讯里面的关系链,他的关系加起来是几亿的模型,加上用户量有8亿,8亿用户之间的关系,还有你的点击行为,包括用户的浏览行为,根据行为的过程我们会做一些广告的投放,精准投放的模式,这就需要有海量数据跟实时的结合。因为只有10毫秒,你才能做这样的体系,并且量基本是每天接近300亿。
实时计算的应用场景有哪些?
对于实时计算来说,它的应用场景有很多。
在社交领域它可以实时感知你的好友动向,大家都知道玩什么东西,这已经在很多社交领域有了很多应用。还有电商,淘宝、京东等大型电商的橱窗广告都是用这种模式做了。在游戏行业,特别是预测用户游戏的感受,当你多次失败的时候如何预测流失风险,还有游戏玩到一定程度的时候,你想过关用什么道具,帮你推荐相关的道具这也是一个应用。营销就不用说了,根据实时的地理位置信息,还有商家的信息。
基于这样的平台,我们每天已经支持了1万亿的实时消息接入,大概是2.6万亿实时计算,我们每次写入的存储大概在5千万亿,基于这样我们覆盖了很多业务,也应用到所有的领域。
怎么做实时计算?
很多人说你是怎么做的?我们还是跟传统架构的延伸革命,我们把所有的资源,采用普通的互联网架构,用我们的硬件资源和技术管理起来。
这里面主要是三个模块。
一个模块是做实时采集。
全球200个top点的数据实时采集过来,延迟要达到1秒钟之内,还要做加密,压缩,节省网络流量。在上面要做很多计算引擎,做一些动态的自学习算法模式。
还有一个是做存储模式。
有些消息是要保留的,必须要把它存下来。这个模式有一套技术框架,基于这样的技术框架,我们的应用领域可以覆盖很多。广告是一个,微信的监控也是一个。比如在一个小国家,他用微信非常慢,如果出现了故障,我们可以比运营商还早发现,并且提供报警。
最后一个是基于实时分析与精准推荐。
对互联网来说,计费通常是一次性行为。如果你交电费或者电话费,这次不成功,你下次还会交,因为你需要付费来维持服务。但对于游戏来说,我要打一个关卡,这并不是一个必然的事件。如果游戏过程中我需要付费,但付费不了,那下一次就不会付费了。所以,类似游戏这样的业务对我们整个计算和实时功能要求非常高。
因此。我们用实时分析的模式解决实时的问题。每一个标签的行为,包括耗时都可以被统计进来。同时,我们将实时计算用于精准推荐,精准推荐是实时计算最好的一个应用点,也是一个能够让企业真正有价值的地方。这样我们才能够将用户的体验做到极致。
如对本稿件有异议或投诉,请联系tougao@huxiu.com
打开虎嗅APP,查看全文
频道:
前沿科技
支持一下
赞赏
0人已赞赏
分享至:
1
大 家 都 在 看
虎嗅深圳:夏季F&M创新节速写
虎嗅
34:18
#电商来了
电商业务与数据库技术发展的双向奔赴
大咖说小编
【虎嗅夏季F&M节】“出门问问”CEO李志飞:那些牛逼的工程师适合创业吗?
虎嗅
【虎嗅夏季F&M节】硬件之都论硬件创新,圆桌会议甚至聊出了智能炒菜机
虎嗅
【虎嗅夏季F&M节】平安科技杨一辰:金融企业向左、互联网企业向右
虎嗅
【虎嗅夏季F&M节】90后米公益创始人王子:公益是平的,公益也是一种消费
王子
【虎嗅夏季F&M节】伏牛堂张天一:找回餐饮业的尊严,开创以餐馆为流量入口的商业模式
虎嗅
【虎嗅夏季F&M节】华大基因李英睿:生命是什么?我们为什么要研究它?
虎嗅
【虎嗅夏季F&M节】百度张潼:深度学习接近人脑,是巨头竞相追逐的未来
虎嗅
150万企业离“数据自由”更近了一步
阿尔冯斯©
如何淘金这个千亿增量市场?
五方©
07:55
#职场便利贴
必备商业模型,你能看懂几个?
老丁是个生意人
07:13
#AI有多智能
万物皆可生成式AI,风口还是噱头?
量子位
13:28
#AI有多智能
人工智能独角兽,就是不爱讲人话
宇多田
07:42
大数据会怎么找出潜在的新型冠状病毒接触者?
动动枪DongDongGun
12:03
#AI有多智能
中国电信,又拿了个第一
量子位
04:18
#高新技术流
五分钟,速览数字人产业链与代表玩家
量子位
07:49
#内幕大揭秘
算法是如何一步一步榨干你钱包的?
新熵
13:48
#大佬访谈
对话先临三维副总裁:技术入云塑造3D视觉行业新模式
大咖说小编
12:52
#Web3.0完全手册
Web3.0如何真正地实现去中心化存储?
纳斯赛博伯
大 家 都 在 搜
老破小
房子
纳斯达克
香港
存量房
张勇
烂尾
游戏
诈骗
APP内打开
好的内容,值得赞赏
您的赞赏金额会直接进入作者的虎嗅账号
自定义
支付:
元
匿名赞赏
支付