(大数据百科)大数据的发展历程
一直以来，不断增多的数据都是一项挑战。19世纪末，人口普查员不知道如何统计和分类快速增长的美国人口。1890年的人口普查活动促使美国统计学家赫尔曼.霍尔瑞斯发明了电动读卡器，由此开创了数据处理的新纪元，这项技术也成为IBM发展的基础。
大规模的数据信息的价值早在二战时期就被美国军方认识到了，在战争中进行了大规模的数据搜集。在大数据处理和存储技术方面，起初主要是为了满足军事方面的需求。后来随着互联网技术和超级计算机的出现，新的大数据处理问题陆续出现，例如数据集通常大大超出了主存储器、本地磁盘，甚至远程磁盘的承载能力。“9.11事件后，美国政府就开始涉足大数据挖掘领域，组建了用于筛选通信、犯罪、教育、金融、医疗和旅行等记录来识别可疑人员的大数据库。之后又呼吁统一组建一个基于“网络的信息共享系统”应对大规模数据问题。
总的来看，对大规模信息的处理需求从根本上拉动了大数据相关技术的发展，虽然起初对大数据技术的推动力主要源于国家安全方面，例如大数据的存储和处理技术、以及大数据分析算法的研发，但最终这些技术开始广泛应用于教育、金融、医疗等各个行业。
