论文笔记:EMR-MERGING: Tuning-Free High-Performance Model Merging
2024neurips1intro随着HuggingFace、timm和torchvision等开源仓库的发展,预训练与微调模型的数量激增,这导致模型部署的存储和成本负担加重。多任务学习(MTL)通过联合训练多数据集来部分缓解上述问题,但它存在以下缺陷:(i)计算成本高;(ii)隐私数据限制导致数据不可获取因此,近年来出现了**模型融合(modelmerging)**方法,试图通过权重合并的方式绕