(1)配置环境
在Linux下面,Infobright环境的配置可以根据README里的要求,配置brighthouse.ini文件。
(2) 选取高效的数据类型
(3)使用comment lookup
comment lookup只能显式地使用在char或者varchar上面。Comment Lookup可以减少存储空间,提高压缩率,对char和varchar字段采用comment lookup可以提高查询效率。
Comment Lookup实现机制很像位图索引,实现上利用简短的数值类型替代char字段已取得更好的查询性能和压缩比率。CommentLookup的使用除了对 数据类型有要求,对数据也有一定的要求。一般要求数据类别的总数小于10000并且当前列的单元数量/类别数量大于10。Comment Lookup比较适合年龄,性别,省份这一类型的字段。
comment lookup使用很简单,在创建数据库表的时候如下定义即可:
act char(15) comment 'lookup',
part char(4) comment 'lookup',
(4)尽量有序地导入数据
前面分析过Infobright的构架,每一列分成n个DP,每个DPN列面存储着DP的一些统计信息。有序地导入数据能够使不同的DP的DPN内 的数据差异化更明显。比如按时间date顺序导入数据,那么前一个DP的max(date)<=下一个DP的min(date),查询的时候就能够 减少可疑DP,提高查询性能。换句话说,有序地导入数据就是使DP内部数据更加集中,而不再那么分散。
(5)使用高效的查询语句。
这里涉及的内容比较多了,总结如下:
尽量不适用or,可以采用in或者union取而代之
减少IO操作,原因是infobright里面数据是压缩的,解压缩的过程要消耗很多的时间。
查询的时候尽量条件选择差异化更明显的语句
Select中尽量使用where中出现的字段。原因是Infobright按照列处理的,每一列都是单独处理的。所以避免使用where中未出现的字段可以得到较好的性能。
限制在结果中的表的数量,也就是限制select中出现表的数量。
尽量使用独立的子查询和join操作代替非独立的子查询
尽量不在where里面使用MySQL函数和类型转换符
尽量避免会使用MySQL优化器的查询操作
使用跨越Infobright表和MySQL表的查询操作
尽量不在group by 里或者子查询里面使用数学操作,如sum(a*b)。
select里面尽量剔除不要的字段。
Infobright执行查询语句的时候,大部分的时间都是花在优化阶段。Infobright优化器虽然已经很强大,但是编写查询语句的时候很多的细节问题还是需要程序员注意。
原文:http://blog.chinaunix.net/u2/72637/showart_2306114.html
相关推荐
infobright-4.0.7,32位系统,32位。
大数据量存储主要依赖自己提供的高速数据加载工具(百G/小时)和高数据压缩比(>10:1),高效查询主要依赖特殊设计的存储结构对查询的优化,但这里优化的效果还取决于数据库结构和查询语句的设计。 2. 高数据压缩比...
主要是对Infobright的概念、功能、应用进行了阐述。
主要介绍Infobright的工作原理,和性能高的原理
infobright-4.0.7-0-x86_64-ice.zip数据库rpm包文件(infobright)
https://www.infobright.org/downloads/ice/infobright-4.0.7-0-x86_64-ice.rpm
infobright-4.0.7-0-x86_64-ice.rpm安装包,官网没有 最优惠给大家使用
infobright-4.0.7-0-win_64-ice可执行win安装包 造福大家,安装配置的教程可以到我的blog里看看嗷
集齐了mysql官方网站和infobright官方网站的所有珍贵资料,对于学习和研究有很大的帮助
greenplum 简介及数据库对比 。 greenplum hive infobright 对比。
infobright for windows 64 数据仓库 快速安装包
infobright主要实现的就是一个存储引擎,但因为它自身存储逻辑跟关系型数据库根本不同,所以,它不能像InnoDB那样直接作为插件挂接到mysql,它的逻辑层是mysql的逻辑层加上它自身的优化器。 Infobright特征 优点: ...
infobright.7z
实现了mysql数据库以及infobright数据仓库值减表的转存!压缩了空间!使其效率更好!
下载解压后即可获得 infobright-4.0.7-0-x86_64-ice.rpm
infobright-4.0.7-0-src-ice.tar.gz infobright的源代码,好东西需要解释的吗?
NULL 博文链接:https://wangqiaowqo.iteye.com/blog/1606734
infobright-rpm.zip
IndexR 是一个专注于大数据实时分析的分布式列式数据库,它基于HDFS,能快速分析海量结构化数据,支持实时导入并且查询秒级延迟,特别适合ad-hoc场景下的OLAP查询。IndexR 具体实现参考并使用了众多优秀的开源项目,...