信息化 频道

京东唐红军分享:Hadoop在京东的应用

       京东在Hadoop平台“西汉初期”  

京东唐红军分享:Hadoop在京东的应用

         随着使用的不断深入,唐红军表示,他们进入了统一分治时期,原来来是一个大的集群,上面是用户,下面是开发人员,现在变成一个数据处理平台和服务管理平台。可以看到数据处理平台和服务管理平台下面有一个大的集群,还有很多小的集群,颜色不一样的是非Hadoop集群,都由数据处理平台和服务管理平台管理起来。

京东唐红军分享:Hadoop在京东的应用

  在京东的第二代架构中,唐红军介绍说:“上面是用户,有一个数据管理服务,主要是做数据订阅和元数据管理的,这块讲的不太细,因为这块不是我们项目组做的,资源管理后面会详细讲,资源管理就是管理所谓的服务器,把所谓服务器的资源抽象化,把服务器的CPU和内存、磁盘全部抽象化,抽象成资源,在资源上建资源组,资源组上建我们的服务,资源组内做一个灵活的弹性。”

  于此同时,京东还打造了第二代-Geminifs3.0,未来京东将会为用户解决更多的问题,从日志的收集到数据的生成,都将从这套系统能够完成。整个过程也是十分坎坷不平的,希望越来越多的Hadoop人员能够参与大会,共同讨论你所遇到的问题。

京东唐红军分享:Hadoop在京东的应用
▲IT168专题报道:http://www.it168.com/redian/Hadoop2013

10
相关文章