第31篇:FedSA-LoRA(联邦学习+lora+个性化升级版)

第一部分:要解决的问题第31篇:FedSA-LoRA(联邦学习+lora+个性化升级版)_第1张图片第31篇:FedSA-LoRA(联邦学习+lora+个性化升级版)_第2张图片

第二部分:解决问题所提出的idea

研究发现,A矩阵负责学习通用知识,而B矩阵则专注于捕捉客户端特定知识。这一发现基于对不同数据异质性水平下,客户端间A和B矩阵的相似性分析。

第31篇:FedSA-LoRA(联邦学习+lora+个性化升级版)_第3张图片

第三部分:新方法效果

  • 任务:在自然语言理解(GLUE基准)和生成任务(GSM8K、CodeSearchNet)中测试。

  • 性能

你可能感兴趣的:(联邦学习,人工智能)