信息化 频道

互联网流量数据:看得清 管得准 用得好

  【IT168资讯】在互联网的发展历程中,似乎一直是重“量”不重“质”,只要有足够的带宽,不需要传统电信网的管理和控制能力,这一观点曾经在互联网起步阶段大受追捧。但是随着P2P等应用的兴起,有限的网络容量被“低价值”应用淹没,流量管理逐渐得到重视,并进而在网络管理和优化的多个层面大放异彩。时至今日,大数据已经成为ICT产业核心竞争力,流量管理系统不仅可以支持网络资源优化配置,还能观测业务质量和用户的感知,进而通过数据挖掘提供差异化服务和业务增值。

  由此看来,互联网流量数据,正在从“看得清”、“管得准”向“用得好”发展,这一切的根本源自一项基石性的技术——DPI,即深度包检测,它能够准确地读取IP包载荷的内容信息。在互联网高速化和应用丰富化的今天,DPI技术发展的主流方向是基于串接和硬件实现。串接与并接相比,优势在于线速解析每个IP包,对数据包没有干扰,控制精度高;硬件系统与软件系统相比,优点在于可靠、稳定,可以被准确预知工作状态。目前互联网上“非连接性”业务量越来越大,串接硬件DPI系统的优势也越来越明显。

  鉴于互联网流量管理系统的特殊意义,我国DPI系统自主研发能力和技术水准,对于国家网络安全至关重要。国内最早的串接DPI产品始见于2005年,由北京宽广电信高技术发展有限公司研发而成,公司近日已更名为北京浩瀚深度信息技术股份有限公司,在业务识别、流量控制和异常流量管理方面处于领先地位。该公司产品多年来应用于中国移动、中国电信、中国联通的国家骨干网络和省市级网络的流量管理,该公司产品总监刘彤在接受本报记者采访时表示,公司产品功能从最初的业务识别和用户行为分析,已经逐步扩展到用户上网日志留存、网络安全和攻击检测溯源、业务质量分析和保障、互联网内容审计和监管、智能管道和增值数据业务等领域。目前,在网设备覆盖的链路带宽总容量超过20Tbps。2012年,浩瀚深度发布支持40G的串接DPI设备,并同期开始研制100G的串接DPI设备。

  在多年的实践中,浩瀚深度的DPI系统已经成功与电信运营商各种专业系统进行对接,主要包括:不良网站封堵系统、VoIP电话监测系统、DDoS攻击检测和流量清洗系统、恶意代码检测系统、Cache系统、网页推送和广告运营系统、IDC网站备案和内容审计系统等。系统不仅可以提供高速接口的分析、控制、分流、回流等基础能力,还可直接在DPI平台上构建开放和灵活的第三方扩展接口框架,提供各种规范和层次化的API与第三方系统进行对接。

  在整个移动互联网运营和服务价值链中,流量管理和网络管理是基础性技术,未来的发展方向是通过完善数据分析支持功能扩展、提供流量运营方案,最终驱动智能管道发展、丰富应用服务内容。刘彤认为,运营商智能管道和流量经营的核心是“可视、可管、可控和可增值”。可视指通过数据流的识别和分析实现业务与用户的感知,可管、可控就是对网络资源的分配和优化,精确的流量计费、用户行为分析和数据挖掘是提供差异化服务与增值业务的前提。浩瀚深度的方案采用五个层级的系统架构,包括DPI硬件探针、数据采集层、数据共享层、数据挖掘层和业务应用层。后台系统可根据需要提供用户行为分析、信息推送、增值业务、策略控制、运营系统接口等功能,形成完整的运营闭环平台,有效增强运营商宽带精细化运营能力。为此,浩瀚深度将自主建立海量数据处理平台“浩瀚云”,平台接收和存储DPI设备从互联网采集的海量的信令交互协议与用户上网日志信息,采用分布式并行计算架构,实现海量数据分析与挖掘。云平台部署后,可以根据运营商和服务商的需求进行用户行为喜好分析与定制化的客户聚类及精准营销。

  “浩瀚云”是面向电信海量数据的智能分析平台,刘彤介绍说,它基于Hadoop生态环境和成熟技术,自主研发海量数据环境下的数据挖掘算法和行为分析框架,能够满足百TB、PB级的大数据处理能力,根据运营商和服务商的需求进行热点资源分析、用户行为喜好分析、客户细分和精准营销,通过互联网资源分析和资源智能调度进行网络优化与资源整合,提升管道和客户价值。

  互联网的大数据产业链从下到上分为三个主要的部分,第一是数据的采集、传输和存储,第二是数据的加工、分析和挖掘,第三部分是数据的呈现、应用和消费。有研究报告称,数据市场的年复合增长率为26%,每个层次都是生态链上重要的一环。在大数据产业链上,刘彤表示,浩瀚深度作为大数据的分析以及数据服务的提供商,核心资产和未来的竞争优势在于分析挖掘与积累自己的数据资产。未来,浩瀚数据服务通过部署数据采集探针到“浩瀚云”平台的海量数据处理,提供全方位的服务,形成从数据流、信息流、知识流到资金流的大循环。数据流包括从网络原始数据采集、存储、分析、挖掘的全处理周期,将原始的数据流加工成知识流。通过专业化的运营服务团队,将知识流转换为运营商和服务商可以理解与行动的指南,提出具体的改进方案并策划实施,形成完整的服务项目。当运营商和服务商从数据服务中获得收益时,完成信息到价值的转换。

0
相关文章