LOSF(Lots of small files)存储问题

LOSF(Lots of small files)存储问题

 

1、影响I/O性能的关键因素

(1)诸如sys_open的系统调用开销

(2)数据寻址时间

(3)文件查询效率

(4)cache策略失效

(5)磁盘数据布局

(6)数据局部性

(7)CPU占用率高

 

2、针对关键因素的解决思路

(1)Big file或者raw block device作为大的存储容器

(2)SSD，增强数据局部性

(3)Hashtable, B+ tree, B* tree索引机制

(4)设计适合应用特征的cache管理策略

(5)Log结构，连续顺序存储

(6)挖掘数据局部性，优化设计on-disk layout及cache

(7)CPU占用率降低依赖于以上各项的改进

 

3、不同层次的解决思路

(1)存储系统

　　SSD、高端磁盘阵列、NAS、SAN、IPSAN，提高IOPS和读写速度，降低数据寻址时间。

(2)文件系统

　　选择适合应用特征的文件系统(reiserfs, ext4, reiser4)，磁盘与文件系统参数调优。

(3)操作系统

　　内核裁剪，内核参数优化，冗余进程清除，网络接口、内存管理、块通用驱动模块优化。

(4)应用系统

　　计算与数据拆分，作业并行化，数据处理流水化，应用层cache设计，数据预测与预取，数据访问模式挖掘。