Hbase优化

Flush

意义：用于将memstore中的数据写入HDFS，变成storefile文件，空出内存，用于存储新数据
自动触发规则：
1. 默认单个memstore的存储达到128M，就会触发
2. 默认整个region的memstore的数据达到128M*4，就会触发
3. 默认整个regionserver中的memstore的使用率达到堆内存的40%，就会触发
缺点：
1. 自动触发，会导致磁盘IO的负载过高，会影响业务，一般会关闭自动触发，根据实际情况定期的在业务比较少的时候，手动触发
手动触发：
关闭自动触发：将所有自动触发的条件调高，定期的在没有达到自动触发的条件之前通过flush命令手动触发
总结：
将自动触发条件调高，以此来关闭自动触发flush，并在业务量较少时通过手动触发flush,以此来达到优化目的

意义：用于实现将多个storefile文件，合并成一个storefile文件，变成一个整体有序的文件，加快读的效率
自动触发规则：
1. minor compaction：轻量级的合并，合并部分storefile成一个文件，smart算法，将最早生成的三个文件合并，不定期执行，占用IO比较小
2. major compaction：重量级的合并，合并所有的storefile文件成一个文件
3. 默认七天会触发一次compaction
缺点：
1. 自动触发，会导致磁盘IO的负载过高，会影响业务，一般会关闭自动触发，根据实际情况定期的在业务比较少的时候，手动触发
手动触发：
关闭自动触发，通过major_compact命令来进行手动指定表合并或列合并
总结：
关闭自动触发major compaction，并在业务量较少时通过手动触发major_compact

意义：将一个region分裂成两个region，分摊region的负载
自动触发规则：
1. 0.94版本之前规则：如果整个region的某个store的大小达到10GB，就会触发
2. 0.94版本之后Math.min(getDesiredMaxFileSize(),initialSize * tableRegionsCount * tableRegionsCount * tableRegionsCount); 即若region个数在0~100之间，min（10g，256M*region个数的三次方）
缺点：
1. 自动触发，会导致磁盘IO的负载过高，会影响业务，一般会关闭自动触发，根据实际情况定期的在业务比较少的时候，手动触发
手动触发：
关闭自动触发：hbase.client.keyvalue.maxsize=100GB，不可能达到这个值，根据集群region的数据量，来定期手动触发
总结：
关闭自动触发，并在业务量较少时通过手动触发split

BLOOMFILTER：布隆过滤器
用于在检索storefile文件时，根据索引判断该storefile文件中是否有想要的数据，若没有直接跳过
级别： none 不开启，
row 判断是否有需要的rowkey,没有就跳过
rowcol 判断是否有需要的rowkey和cf:c,没有就跳过
Versions： MaxVersions，最大版本数，该列族中的列最多允许存储多少个版本
TTL：版本存活时间，从该版本的timestamp进行计算，一旦到达这个时间，就表示该数据过期，用户hbase自动清理数据
MIN_VERSIONS：最小版本数，该列族中的数据当达到TTL时间以后，最小保留几个版本
BLOCKCACHE：读缓存，是否将这个列簇的数据读到memcache缓存中，默认开启，建议将不经常读取的列簇关闭
IN_MEMORY：代表BLOCKCACHE中的一种缓存的最高级别，默认是关闭的，IN_MEMORY是最高级别的缓存，缓存会定期的进行LRU清理，缓存级别越低，优先会被清理,不要随便开启IN_MEMORY，因为meta表就在IN_MEMORY级别的缓存中
BLOCKSIZE： storefile文件块的大小，默认64k，数据块越小，数据块越多，维护索引越多，内存占用越多，读快写慢，数据块越大，数据块越少，维护索引越少，内存占用越少，读慢写快
COMPRESSION： Hbase中的压缩其实就是hadoop的压缩，本身就是压缩storefile的存储

功能： hbase中实际没有更新和删除操作，hbase中只有增加和查询操作；更新是将新数据插入内存，，删除是将数据逻辑删除，等后续合并时再做覆盖旧版本数据和物理删除数据
意义：
1. 为了快速返回处理读写请求，数据只要写入就里面返回结果
区别：
1. get与scan的区别
  get命令是hbase中最快的查询方式，因为指定了索引rowkey，但是只能查询一条数据
  scan命令可以返回多条数据，一般结合过滤器使用
2. put和delete没有返回结果

hbase:
1. 概念：实时读写的数据库
2. 用途：存储数据
3. 场景：用于实现实现大量数据的实时读写文件，例如搜素引擎，一般用于高性能计算架构中，能存储半结构或结构化数据
hive:
1. 概念：结构化数据仓库
2. 用途：存储数据
3. 场景：只能用于存储结构化数据，用来构建数据仓库的工具
hdfs:
1. 概念：文件存储系统
2. 用途：存储数据
3. 场景：可以用于存储结构化，半结构化，非结构化的数据，适用于一次存入多次读取，例如网盘，用于做数据归档
rdbms:
1. 概念：关系型数据库
2. 用途：存储数据