OpenTSDB TroubleShooting

1. OpenTSDB compactions 触发很大的.tmp文件 和 RegionServer crash.

在默认的情况下,TSD会缓存一个metric在一个小时内的数据,然后组合数据一次性刷写到HBase。 如果时间戳使用的ms级别,那么一次性刷写会导致巨大量的流量到HBase, 数量庞大的qualifier和rowkey会达达超过hfile.index.block.max.size形成大量.tmp文件,并且一次性写入大量数据可能会冲垮RS。

2. 在RS发生Region Split或者Region Migration时,TSD 反应延迟很大

因为region split或者migration的时候,region不可用,那么TSD的asyncHBaseClient会缓存请求RPC到内存,等到Region可用的时候,region会承受缓存的大量的RPC请求,这个会导致response变慢;如果多个region挂掉时,TSD缓存的太多的RPC请求,内存压力大会导致GC问题,反应变慢。
如果有这种情况发生,增大内存 或者 降低hbase.nsre.high_watermark数值。

3. TSD stuck in GC & crash due to OOM

几种情况:
* 见上述2
* 写TSD ops太高:尝试关闭tsd compaction
* 大查询:查询太多time series或者有long range scan. 此时 尽量分批查询。

你可能感兴趣的:(大数据-OpenTSDB)