正确的提示信息
扫码打开虎嗅APP
从思考到创造
打开APP
资讯
视频
前沿科技
车与出行
商业消费
社会文化
金融财经
出海
国际热点
游戏娱乐
健康
书影音
医疗
3C数码
观点
其他
虎嗅视界
24小时
专题/活动
虎嗅智库
登录
极速注册
取消
搜索历史
删除
完成
全部删除
数码
互联网
数码
互联网
热搜词
机场
财务造假
财报
薪资
管理层
粤港澳大湾区
新能源汽车
汽车产业
消费
账号或密码错误
2014-09-19 10:11
【虎嗅夏季F&M节】腾讯蒋杰:实时计算,腾讯用它来干嘛?
虎嗅
注:本文来自腾讯数据平台部负责人蒋杰在2014虎嗅夏季F&M节上的演讲,虎嗅进行了整理、编辑。
非常感谢虎嗅给我这样的机会。我今天主要讲实时计算的框架和发展,还有应有的场景,还有在腾讯这样的企业是如何应用的。
为什么要做实时计算?
无论是华大基因,还是很多硬件的创业者,他们讲述的话题有所不同,但是各自的话题又都离不开数据。21世纪就是本数据书,如何更好的利用和发现数据,这需要有实时计算的体系。
腾讯实时计算的平台是根据腾讯的效果广告的发展而来的。我们的效果广告为什么要实时计算?因为当你的数据量级在几百亿的时候,它要基于消息队列的模式实现消息队列的延续的过程。在腾讯整个业务的发展过程中,实时计算能为我们解决很多问题。
所以海量数据跟实时的结合是对腾讯实时计算的挑战,而10毫秒快速反应则是我们努力的方向。
比如你一个用户绑定了Q—zone,根据这个用户在腾讯里面的关系链,他的关系加起来是几亿的模型,加上用户量有8亿,8亿用户之间的关系,还有你的点击行为,包括用户的浏览行为,根据行为的过程我们会做一些广告的投放,精准投放的模式,这就需要有海量数据跟实时的结合。因为只有10毫秒,你才能做这样的体系,并且量基本是每天接近300亿。
实时计算的应用场景有哪些?
对于实时计算来说,它的应用场景有很多。
在社交领域它可以实时感知你的好友动向,大家都知道玩什么东西,这已经在很多社交领域有了很多应用。还有电商,淘宝、京东等大型电商的橱窗广告都是用这种模式做了。在游戏行业,特别是预测用户游戏的感受,当你多次失败的时候如何预测流失风险,还有游戏玩到一定程度的时候,你想过关用什么道具,帮你推荐相关的道具这也是一个应用。营销就不用说了,根据实时的地理位置信息,还有商家的信息。
基于这样的平台,我们每天已经支持了1万亿的实时消息接入,大概是2.6万亿实时计算,我们每次写入的存储大概在5千万亿,基于这样我们覆盖了很多业务,也应用到所有的领域。
怎么做实时计算?
很多人说你是怎么做的?我们还是跟传统架构的延伸革命,我们把所有的资源,采用普通的互联网架构,用我们的硬件资源和技术管理起来。
这里面主要是三个模块。
一个模块是做实时采集。
全球200个top点的数据实时采集过来,延迟要达到1秒钟之内,还要做加密,压缩,节省网络流量。在上面要做很多计算引擎,做一些动态的自学习算法模式。
还有一个是做存储模式。
有些消息是要保留的,必须要把它存下来。这个模式有一套技术框架,基于这样的技术框架,我们的应用领域可以覆盖很多。广告是一个,微信的监控也是一个。比如在一个小国家,他用微信非常慢,如果出现了故障,我们可以比运营商还早发现,并且提供报警。
最后一个是基于实时分析与精准推荐。
对互联网来说,计费通常是一次性行为。如果你交电费或者电话费,这次不成功,你下次还会交,因为你需要付费来维持服务。但对于游戏来说,我要打一个关卡,这并不是一个必然的事件。如果游戏过程中我需要付费,但付费不了,那下一次就不会付费了。所以,类似游戏这样的业务对我们整个计算和实时功能要求非常高。
因此。我们用实时分析的模式解决实时的问题。每一个标签的行为,包括耗时都可以被统计进来。同时,我们将实时计算用于精准推荐,精准推荐是实时计算最好的一个应用点,也是一个能够让企业真正有价值的地方。这样我们才能够将用户的体验做到极致。
如对本稿件有异议或投诉,请联系tougao@huxiu.com
打开虎嗅APP,查看全文
频道:
前沿科技
支持一下
赞赏
0人已赞赏
分享至:
1
大 家 都 在 看
虎嗅深圳:夏季F&M创新节速写
虎嗅
34:18
#电商来了
电商业务与数据库技术发展的双向奔赴
大咖说小编
【虎嗅夏季F&M节】“出门问问”CEO李志飞:那些牛逼的工程师适合创业吗?
虎嗅
【虎嗅夏季F&M节】硬件之都论硬件创新,圆桌会议甚至聊出了智能炒菜机
虎嗅
【虎嗅夏季F&M节】平安科技杨一辰:金融企业向左、互联网企业向右
虎嗅
【虎嗅夏季F&M节】90后米公益创始人王子:公益是平的,公益也是一种消费
王子
【虎嗅夏季F&M节】伏牛堂张天一:找回餐饮业的尊严,开创以餐馆为流量入口的商业模式
虎嗅
【虎嗅夏季F&M节】华大基因李英睿:生命是什么?我们为什么要研究它?
虎嗅
【虎嗅夏季F&M节】百度张潼:深度学习接近人脑,是巨头竞相追逐的未来
虎嗅
半年12.8亿美金:AI搜索赛道,疯狂融资
白鲸出海©
GPT-4o现货变期货,是什么在拖OpenAI的后腿
极客公园
07:55
#职场便利贴
必备商业模型,你能看懂几个?
老丁是个生意人
07:13
#AI有多智能
万物皆可生成式AI,风口还是噱头?
量子位
13:28
#AI有多智能
人工智能独角兽,就是不爱讲人话
宇多田
07:42
大数据会怎么找出潜在的新型冠状病毒接触者?
动动枪DongDongGun
12:03
#AI有多智能
中国电信,又拿了个第一
量子位
04:18
#高新技术流
五分钟,速览数字人产业链与代表玩家
量子位
11:02
#盘一盘APP
用户领钱、商家免费,支付宝 “ 碰一下 ” 是个啥?
科技狐
07:49
#内幕大揭秘
算法是如何一步一步榨干你钱包的?
新熵
13:48
#大佬访谈
对话先临三维副总裁:技术入云塑造3D视觉行业新模式
大咖说小编
大 家 都 在 搜
机场
财务造假
财报
薪资
管理层
粤港澳大湾区
新能源汽车
汽车产业
消费
APP内打开
好的内容,值得赞赏
您的赞赏金额会直接进入作者的虎嗅账号
自定义
支付:
元
匿名赞赏
支付