Java最优文件压缩方案

建议先阅读此文熟悉几种压缩方式:Java-压缩还能这么优化!喜大普奔 - 掘金 (juejin.cn)

疑问:

        mmap按理不存在数据拷贝工作,会更快,文章描述却不是如此,下面进行测试

先说结论:这里主要耗时是在write,故在多文件压缩时,mmap比较吃亏

压缩方式:

  1. mmap读取文件进行压缩
  2. apache.commons.compress包中压缩api(org.apache.commons:commons.compress:1.1.9)采用多线程
  3. 程序执行linux压缩命令tar

测试机器:

        M1 Pro(10+16核)

测试数据:

        三个文件:分别为160.7M 156.1M 32.6M(前两个为dmg文件,最后一个为jar包) 

测试案例(单位ms):

        使用三种方式各压缩三个文件:结果(第一种:8538左右 第二种:4530左右 第三种:6744左右)

        使用三种方式各压缩160.7M文件:结果(第一种:4045左右 第二种:4000左右 第三种:3196左右)

第一种方式:

        优点:无需cpu进行数据拷贝工作

        缺点:串行

第二种方式:

        优点:并行(每次拷贝4096字节到进程,然后写入各自工作线程的私有临时文件,最终合并结果)

        缺点:读取/写入需要cpu介入工作(此数据搬运工作由cpu主持),且会有上下文切换开销

结论:

        cpu资源丰富则可用apache的工具包开多线程跑,不够就执行linux命令去压缩(以往经验来说,生产cpu非高峰期占用一般在20~30之间,故直接用apache工具压缩即可)

你可能感兴趣的:(java,开发语言)