信息化 频道

挑战无处不在 管理海量信息的三大妙招

  利用工具提高速度

  帮助决定电视节目播放时长的评级服务公司尼尔森公司在2万家庭中对本地节目的观众进行分析,在2.4万家庭中追踪全国节目。在经历了许多步骤后,包括计算、分析和质量保证,在首次开播后,他们就会在24小时之内将评级提供给客户。

  尼尔森公司负责客户观察的高级副总裁Scott Brown称,数据在位于佛罗里达的一个中央处理设备中被收集,大约20TB的数据会被存储在佛罗里达和俄亥俄。公司使用了一套高速SAN和网络连接存储。这些设备主要来自EMC,不过Brown拒绝透露一些细节。

  报告主要由尼尔森的数据仓库自动生成,但是在生成过程中也需要手工控制。员工能够找到以前报告的数据,经理能够创建关于电视观众数据的定制报告。

  快速访问电视观众数据是业务的关键。Brown称,公司为他们的数据仓库配备了IBM的Netezza工具。标签会被自动的添加到数据上以检索特殊的测量细节。比如,尼尔森能够找到有多少观众使用了环绕立体声音响,或是他们是否使用了Boxee设备来调看他们喜欢的节目。

  我们有非常细微的信息需求。我们有时希望汇总的信息拥有更广的覆盖面,以能够按需要研究观众的习惯。 使用合适的技术

  这些公司为如何处理海量数据提供了一个试验场。StorageIO的Schulz称,一些公司能够模仿他们的一些处理程序,包括对文件进行总和检查,合并元数据,以及使用复制方式以确保数据一直能够被获取。

  Schulz称,在处理海量数据时,最重要的一点是,使用与公司需求相匹配的技术至关重要,而不是越便宜越好,或是当时正在流行的技术。

  尽管大数据带来了许多挑战,但是也为我们带来了许多成功的机遇。

0
相关文章