关于ssdb性能方面的一些思考

    最近接触到ssdb，遇到性能问题，当大量写入数据的时候，查询的延迟会比较高。经过查资料，发现有一个配置参数比较关键：cache size。初看上去，增大cache size，当然会提高性能，但是事实上却并非如此——减小cache size反而会提高性能。

    ssdb是基于leveldb实现的，其基本原理这里就不再赘述了，下面我说一下为什么减小cache size反而会提高性能。

    1.首先，操作系统会利用系统中空闲的内存来缓存读入/写出磁盘的文件，因此即使减小了cache size，让出的哪部分内存也没有浪费，而是在操作系统层面将数据库文件缓存到了内存中。

    2.我们知道，leveldb采用了snappy来压缩数据，其实存放在block cache中的数据是未压缩的，而存放在数据库文件中的数据才是压缩了的，将block cache的size减小，腾出的内存用于缓存数据库文件，这样可以使得内存中缓存更多的数据，从而减少实际的磁盘I/O操作次数。同时，由于snappy压缩比较搞笑，所以压缩、解压所额外消耗的CPU十分有限，与缓存更多文件数据的好处相比，这个坏处在现在实际的服务器硬件配置下几乎可以忽略不计。

    3.leveldb的block cache是只能读取不能写入，当数据库有大量写入的时候，leveldb会有频繁的compact操作，不断地将现有的sstable文件合并成新的sstable文件。不幸的事，block cache中缓存的数据是与文件相关的，因此当频繁compact的时候，block cache就会出现大量的cahe失效——本来就珍贵的内存资源就这样被一些无用的数据占据了，之后的查询还需要不断地进行IO操作，以将新的数据加载入内存。而操作系统的缓存就不会有这样的问题——操作系统将空余的内存映射到磁盘文件上，这样可以读也可以写，因此，让操作系统负责缓存数据的时候，compact操作并不会造成内存中数据的失效，从而大量写操作也就不会严重影响读操作了。