SpanDB: A Fast, Cost-Effective LSM-tree Based KV Store on Hybrid Storage——论文泛读

FAST 2021 Paper 论文阅读笔记整理

问题

键值(KV)存储支持许多关键的应用和服务。它们在内存中执行快速处理,但通常受到I/O性能的限制。最近出现的高速NVMe SSD推动了新KV系统设计,以利用其低延迟和高带宽。

挑战

当前基于LSM树的KV存储未能充分发挥NVMe SSD的全部潜力。例如,在Optane P4800X上部署RocksDB,相对于SATA SSD,对于50%写入的工作负载,吞吐量仅提高了23.58%。

  • 常见KV存储设计的I/O路径,未充分利用超低延迟的NVMe SSD,特别是对于小写入。例如,通过ext4进行操作的延迟比通过Intel SPDK接口[37]高6.8-12.4倍。这特别影响预写式日志(WAL)[52],WAL对数据耐久性和事务的原子性至关重要,它位于写入的关键路径上,容易成为瓶颈[31]。

  • 现有的KV请求处理假定设备速度较慢,工作流设计嵌入了高软件开销,如果切换到基于轮询的快速I/O,则浪费CPU周期。

  • 新的NVMe接口带有访问限制(例如需要将整个设备绑定为SPDK访问,或者将线程绑定在核心上)。这使得KV设计在利用高端SSD进行不同类型的KV I/O时变得更加复杂,并使同步请求处理变得低效。

  • 像Optane这样的顶级SSD对于大规模部署来说成本较高。由于大规模、写入密集型的KV存储不可避免地包含大量的冷数据,将所有数据托管在这些相对较小且昂贵的设备上,可能超出预算。

本文方法

我们提出了SpanDB,一种基于LSM树的KV存储,将流行的RocksDB系统调整为利用高速SSD的选择性部署。

  • 通过整合一个相对较小但速度较快的磁盘(SD),扩展了对最新数据的写入和读取的处理,同时在一个或多个更大更便宜的容量磁盘(CD)上扩展数据存储。将大部分数据托管在更便宜且更大的SSD上,将LSM树的顶层移到更小更快的NVMe SSD上。

  • 通过SPDK实现快速且并行的访问,以更好地利用SD,绕过Linux I/O堆栈,优化高速的WAL写入。将预写式日志(WAL)移到更小更快的NVMe SSD上。

  • 设计了基于轮询I/O的异步请求处理流水线,去除了不必要的同步,将I/O等待与内存处理重叠,并自适应地协调前台/后台的I/O。

  • 根据实际的KV工作负载战略性地和自适应地对数据进行分区,积极地利用CD的I/O资源,特别是带宽,以缓解写放大。

SpanDB: A Fast, Cost-Effective LSM-tree Based KV Store on Hybrid Storage——论文泛读_第1张图片

开源代码:https://github.com/SpanDB/SpanDB

评估显示,SpanDB同时提高了RocksDB的吞吐量高达8.8倍,并将其延迟降低了9.5-58.3%。与为高端SSD设计的KVell相比,SpanDB在更便宜的存储配置下实现了96-140%的吞吐量,延迟降低了2.3-21.6倍。

实验

实验环境:2个20核Xeon Gold 6248处理器,256GB DRAM,CentOS 7.7

数据集:YCSB[16]、LinkBench[6]

实验对比:吞吐量、平均延迟、尾延迟、CPU利用率

总结

针对NVMe SSD和SATA SSD结合的异构存储系统,优化基于LSM-tree的KV存储。作者提出将大部分数据存储在SATA SSD上,将LSM树的顶层和预写式日志(WAL)存储在NVMe SSD上;通过SPDK实现快速且并行的访问,绕过Linux I/O堆栈,优化WAL写入;设计基于轮询I/O的异步请求处理流水线,去除了不必要的同步,将I/O等待与内存处理重叠,并自适应地协调前台/后台的I/O;根据KV工作负载自适应地对数据分区,利用SATA SSD的带宽缓解写放大。

你可能感兴趣的:(论文阅读,论文阅读,KV存储,lsm-tree)