ICLR2024论文解读|DP-OPT: MAKE LARGE LANGUAGE MODEL YOUR PRIVACY-PRESERVING PROMPT ENGINEER差分隐私离线提示微调

论文标题

DP-OPT: MAKE LARGE LANGUAGE MODEL YOUR PRIVACY-PRESERVING PROMPT ENGINEER

差分隐私离线提示微调：让大型语言模型成为你的隐私保护提示工程师

论文链接

DP-OPT: MAKE LARGE LANGUAGE MODEL YOUR PRIVACY-PRESERVING PROMPT ENGINEER论文下载

论文作者

Junyuan Hong, Jiachen T. Wang, Chenhui Zhang, Zhangheng Li, Bo Li, Zhangyang Wang

内容简介

本文提出了一种名为Differentially-Private Offsite Prompt Tuning（DP-OPT）的新方法，旨在解决大型语言模型（LLM）提示微调中的数据隐私问题。DP-OPT通过在客户端调整离散提示，并将其应用于云端模型，确保了数据的保密性和隐私性。该方法利用差分隐私技术，生成可在不同模型间迁移的提示，同时保护了提示不泄露私人信息。实验表明，DP-OPT在多种语言任务上表现出色，与非私有方法相比具有竞争力。

分点关键点

1.隐私保护的提示微调

DP-OPT在客户端进行提示微调，避免了将敏感数据发送给云模型供应商，保护了数据的保密性和隐私性。