信息化 频道

京东唐红军分享:Hadoop在京东的应用

  【IT168 现场报道】2013年11月22-23日,作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会,2013 Hadoop中国技术峰会(China Hadoop Summit 2013)于北京福朋喜来登集团酒店隆重举行。来自国内外各行业领域的近千名CIO、CTO、架构师、IT经理、咨询顾问、工程师、Hadoop技术爱好者,以及从事Hadoop研究与推广的IT厂商和技术专家将共襄盛举。

  Hadoop中国技术峰会由China Hadoop Summit专家委员会主办,由IT168、ITPUB、ChinaUnix协办,渠达传媒负责承办。本届大会将秉承“效能、应用、创新”为主题,旨在通过开放、广泛的分享和交流,着力于促进中国企业用户提高应用Hadoop的能力和水平,降低Hadoop技术应用门槛和投资预算门槛,推广大数据的应用价值。笔者目前所在的是主题互联网大数据实践专题专场,下面为大家带来主题演讲的是京东云平台Hadoop资深专家唐红军,他演讲的题目是《 Hadoop在京东的应用》,以下为唐红军的演讲实录。

京东唐红军分享:Hadoop在京东的应用
▲京东云平台Hadoop资深专家唐红军

  Hadoop在京东的“战国时代”

  对于Hadoop在京东技术的发展,唐红军表示,“整个过程分三个阶段,形象的比喻为战国、大秦帝国、西汉初期。在战国时代,刚开始做HADOOP的时候,每个业务组都可能有一个Hadoop集群,问题是一个是人力资源的浪费,第二个是资源利用不合理,为此我们进行了改进。

京东唐红军分享:Hadoop在京东的应用
▲早期 到合并改进

  京东在Hadoop平台“大秦帝国时代”

  在经历第一次合并该进后,京东进入了“大秦帝国时代”,唐红军表示,集群迁移过后我们形成一个统一的Hadoop平台,当时我们采用的架构是一些开源的框架组合起来的,自己开发的东西非常少,自己开发的有权限系统、监控和日志,其他的全部是开源社区的。通过合并改进实现了统一硬件、统一数据、统一人力、统一调度,达到了资源合理利用、节约成本、适应海量数据计算需求、提高效率,最终初步实现了第一代架构。

京东唐红军分享:Hadoop在京东的应用

  对于第一代架构,唐红军表示,“我们集群合并后遇到很多挑战,在开始开发主层结构的时候,一些比较前沿的互联网公司给我们很大的帮助,Facebook公司的工程师和我们也做了交流,有两个主节点,主节点提供读写服务,从节点开始开发是不提供读写服务的,只是做备份,每一个节点都有一个监控服务监控这个节点的状况,中间有一个过渡方案,中间拿了一台服务器放在旁边,上面同步了元数据。”

  对于第一代架构曾经面临过的挑战,唐红军不仅介绍了挑战,包含HDFS稳定性、 无报警预警、无安全、 效率,而且详细说明了他们的解决方法。

8
相关文章