信息化 频道

DTCC2015:大数据行业应用及开源架构

  在专场现场,搜狐DBA赖亿以infinidb列式数据库为基础,详细的介绍了infinidb在大数据的应用的。以某应用场景为例,搜狐某业务使用了其它数据库,但整体的效率不是很理想,最终使用infinidb解决了问题。众所周知,在整个数据处理中,infinidb的定位在Hbase功能之上做了汇总,它是一个汇聚层。而且它具有MySql协议兼容,能够支持dml,统计类查询10倍,Load数据快,压缩率5倍,而且最主要的是免优化等特点。

大数据的技术架构
搜狐DBA赖亿

  Infinidb能够查询29亿数据只需要3.13秒,不管查询条件如何组合,它的查询很快。Infinidb在数据量越大,它的优势越明显,这是因为在数据存储方面,它是按列进行查询,再按行业查询,然后在查询,这样的速度会更快。

大数据的技术架构
▲Infinidb的单机构架

  Infinidb的核心算法是:hash join 每行都有一个rowid,查询2列以上,通过rowid关联,使用hash join。而且infinidb不担心表的关联,但是很怕Select *。

大数据的技术架构
▲Infinidb的开发式框构

大数据的技术架构
▲Infinidb核心算法hash join

  Infinidb不适合的场景如下:查询包括大量的查询,它的单行查询效率其实和统计类查询效率差不多,大量存在Select*这种列出所有列的查询;通过在线的单行insert录入数据,它的单选插入每秒只能是几十条;需要特别快的查询响应时间比如50ms内;有大的并发,比如200个并发;大量的varchar甚至text的字段。

0
相关文章