【IT168 评论】2012年维克托·舍恩伯格出了《大数据时代》这本书开始，大数据从此一火就是4年多。2015年9月，国务院印发了《促进大数据发展行动纲要》之后，大数据更获得了政策上的支持和鼓励。越来越多的公司打着大数据旗号，想要在自己的领域有一番作为。然而在这期间，有很多创业公司凭借“大数据”的概念拿到了高估值和大额融资，但也有很多公司只是凭空说辞。因此，近日一个关于大数据的话题引起众多争议——大数据时代，每个公司都应该设立大数据部门吗?在IT168旗下CU论坛发现了大家的讨论，(讨论地址：http://www.itpub.net/thread-2067515-1-1.html)于是这段时间，小编收集了部分网友和专家意见，这就为你带来火热的大数据二三事!

　　大数据的需求之说

　　“大数据”无处不在。从转型中的传统企业到干劲十足的初创公司，他们似乎都在部署大数据分析。目前全球最大的科技公司都需要和PB级规模的数据打交道。然而，SAP的研究表明，95%的企业通常只需要使用0.5TB到40TB的数据。

　　事实是，处理数据并不是大公司的专利。据国外媒体报道，在美国的一些公司中，有超过50000家公司只有20至500名员工，其中大部分都有解决数据问题的需求。所以大数据市场最大的需求并不是来自那些《财富》50强的大企业，而是来自《财富》500000强。

　　如果我们改变了大数据的定义会怎样?人们通常用3V(velocity、volume、variety)描述大数据，其实“大数据就是一种主观状态，描述的是一个公司的基础架构无法满足其数据处理需求时的情形。”定义没有光鲜亮丽但更近现实。

　　大数据老生常谈之无用输入

　　很多企业常会吹嘘自己拥有多少 TB，甚至是 PB的数据量，还有它们的大型数据科学家团队正在使用 Apache Kafka 流运行海量的 Hadoop 集群，这些企业认为这些都是它们的竞争优势所在。

　　然而，事实上它们当中的大多数都遇到了计算机领域的一个问题：无用输入，无用输出(garbage in, garbage out)。它们不仅没有符合大数据定义的数据复杂度或数据量，而且它们拥有的实际上是劣质数据，它们的业务甚至有可能会因此蒙受损失。根据Experian Data Quality 的数据，88%的企业的收支情况都会受到不准确数据的影响，而且受影响的营收比例高达12%。

　　部分企业确实拥有优质的数据，而且知道如何运用它。从像谷歌这样的成熟网络公司，到像波音这样的工程背景企业，下文列出的企业都能够成功地管理海量的数据，并将其用于实现真正数据驱动的决策。

　　你争我辩之大家说

　　经过小编的整合，这里有网友意见，还有小编曾采访过的技术专家的解析，让我们来看看，这个面临着转型的时代，企业应该如何面对是否设立大数据部门这个问题…

　　IT168CU论坛中的网友1983yu说“专属的大数据部门，一般还是大公司有，中小公司还是少…”

　　“我觉得大数据还是只有少量公司玩的，大部分公司根本没有实力，技术和资金都没法达到。一般要处理大数据，都需要高可用的大集群服务器，很多公司集群都玩的少，更不要说有效的来处理运用这些大数据。一般会成立一个数据部门处理数据相关的业务。 如果是图片和视频类的数据还需要通过算法形成相应的特征值和标签，一般公司都玩不起，现在图片视频识别，没有成熟的开放的接口。”网友anyonefeng说道。

　　网友erp1900则认为：很多行业IT发展还没有达到大数据的层级。还有很多业务没有达到电算化，数据标准，集成等。大数据只是一个前瞻方向。

　　当然，小编也看到了论坛里的实力吐槽，在这里也放出来让大家感受下，如果被boss看到了，这位同学不要找我麻烦…网友mssql_wangwang吐露不满：“说句实话大数据对于现在的中小企业就还只是一个概念，仅仅叫叫口号而已，现在的社会是一个浮造的社会，哪里来钱快就往哪钻，(吐槽下FDC,居说很多老板都关闭实业，搞FDC去了),另外设立相应的大数据部门相信会花不少的钱，大部份企业还没有这个能力。”

　　各位看官看到这里，想必心里已经默默的有了自己的想法，小编随机采访了几位资深开发者，他们是如何理解这个问题的呢?

　　沃趣科技魏兴华：需不需要大数据团队，最主要还是要看企业自身的需求，有了大数据会不会能让企业获得更大的价值?企业目前面临的一些困境，是不是可以通过大数据解决?还有要考虑到构建大数据团队代价不菲，对于一个企业，如果只有一百块，是花在大数据上的价值更大还是花在其他方面价值更大，都需要仔细思考。一个比较好的方式是购买第三方的大数据服务，这对于大部分企业可能是一种更好的方式，把大数据当做一个服务来对待，企业只关注自己的核心业务就好了，毕竟这才是它的核心竞争力。

　　湖南麒麟信息工程技术有限公司技术总监陈松政：“在大数据时代，每一家公司都可以划入数据供应者或数据消费者。供应者又是数据采集者和数据处理者，消费者则是数据来源之一。供应者是少数，包括消费级大数据供应商如facebook、各种行业大数据供应商如电力公司以及大数据增值服务商;消费者占绝大多数，他们可能会把自己公司的数据存放在相应的大数据平台，成为大海里的一滴水。只有供应者需要构建大数据部门，这样才能提供专业高效的服务。随着大数据时代的推进，基于大数据分析进行精准决策越来越普遍，数据分析师将会成为每个消费者必设的岗位。”

　　搜狐视频推荐系统技术主管李修鹏：这个问题需要看情况而定。首先看公司是否拥有进入大数据时代的”钥匙“即拥有海量数据。第二公司是否需要“dirve data”类的数据技术和应用，或者说其对于公司目前发展阶段是能够带来的价值有多大，或者说目前是否有精力和金钱去做这个事情，即适当的时候做适当的事情。目前来说一个应用发展，我认为有四个重要的部分：客户端交换、后台应用、内容、数据服务功能等，如果一个应用发展的90%的精力集中在客户端交换、后台应用、内容这三个方面，我个人成立数据部门目前必须要性不大。

　　举例子来说吧，搜狐视频通过近10年的数据积累和目前亿级别的用户群，自然拥有了了海量的数据。公司对于视频处理、数据挖掘、推荐系统等大数据挖掘应用开发的需求，自然触使大数据部门的成立了。

　　结语

　　对于小公司来说，确实完全没必要从零开始做，还是尽量用开源的产品。大数据牵涉到数据采集、传输、建模存储、查询分析、可视化等多个环节，打造自己的大数据平台显然不是一样性价比高的事情。

　　有市场需求，就会有满足相应需求的公司诞生，于是就诞生了一堆提供大数据服务的公司。 这些公司专注于解决这一块问题，所以更专业。对于需求公司来说，要么自己转型去专门做大数据这一块，要么还是重视自己核心业务及需求本身采用外包形式。