信息化 频道

洪坤乾:腾讯海量数据实时计算平台

        【IT168 DTCC大会报道】2014年4月10-12日,第五届中国数据库技术大会在北京五洲皇冠国际酒店隆重举行。本届大会的主题为“大数据技术探索与价值发现”,参会规模达到1,800人。大会邀请近百位优异技术专家和行业领袖分享数据库与大数据技术的最新动态,及其在行业领域里的应用部署和管理经验。

  自2010年以来,国内领先的IT专业网站IT168联合旗下ITPUB、ChinaUnix两大技术社区,已经成功举办了四届中国数据库技术大会,每届大会与会规模超过千人,是目前国内最受欢迎、人气最高的的数据库技术交流盛会。今年是中国数据库技术大会五周年,大会将继续秉承分享IT非常好的应用实践的宗旨,结合传统与创新,为与会者传递数据库、大数据相关的技术和实践。

洪坤乾:腾讯海量数据实时计算平台
▲腾讯公司资深架构师洪坤乾

  在大会第三天下午的“大数据应用及商业模式”的专场上,来自腾讯公司资深架构师洪坤乾先生为我们分享腾讯全流程的实时计算体系及其应用。

  实时计算技术概览  

洪坤乾:腾讯海量数据实时计算平台

          洪坤乾通过一个简单的例子为大家介绍了实时计算模型,通过下面的图大家可以很容易的理解了实时计算模型,实时计算的应用场景包括了社交(实时感知好友的动向)、电商(实时统计商品的热度)、游戏(实时预测用户的感受)、营销(实时感知用户兴趣变化、环境/位置变化、商家优惠策略变化,从而实现精准营销)、运营(实时感知每台机器、每个接口、每个业务的运行状态,实现秒级监控告警)。

洪坤乾:腾讯海量数据实时计算平台

  通过实时计算的应用场景分析,可以得出实时计算包括三个步骤收集、实时处理、存储,洪坤乾表示,我们面临的技术挑战是腾讯拥有海量用户、众多产品、频繁信息,最总形成了海量信息。

  腾讯实时计算平台TRC

  针对上面的挑战,腾讯开发了实时计算平台TRC(Tencent Realtime Compute),通过对海量数据进行实时采集接入,然后采用流式分析计算技术,实时感知外部信息变化;从事件产生到感知变化最后输出结果,秒级延时;基于在线消息流的实时计算模型,区别于传统的离线批量计算模型。

洪坤乾:腾讯海量数据实时计算平台
▲腾讯实时计算平台TRC

  腾讯实时计算平台TRC 可以实现TDBank实时接入、TDProcess实时处理、TDEngine存储引擎、TDEngine存储引擎 – 体系结构、此外腾讯实时计算平台TRC还进行了平台扩展Java for Storm、Storm on Yarn、Pig Latin on Storm。

0
相关文章