GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。
Security Papers
1.Constitutional AI: Harmlessness from AI Feedback
简介：随着人工智能系统能力的增强，研究者希望能够借助其力量来监督其他AI。为了实现这一目标，研究者采用了一种自我改进的方法，试图训练一种无害的AI助手。该过程包括两个阶段：监督学习和强化学习。在监督学习阶段，研究者从初始模型中采样，然后生成自我批评和修订。根据修订后的回复，对原始模型进行微调。在强化学习阶段，研究者从微调后的模型中采样，使用一个模型来评估哪两个样本更好。然后，从AI偏好数据集中训练偏好模型。这些方法使更精确地控制AI行为和减少人类标签成为可能。通过这种训练方法，研究者能够提高AI助手的准确性和效率，同时避免潜在的有害行为。这种方法对于监督和规范AI的发展具有重要意义，有助于确保AI系统的安全性和可靠性。
链接：https://arxiv.org/abs/2212.08073.pdf
2.Silent Guardian: Protecting Text from Malicious Exploitation by Large Language Models
简介：随着大型语言模型（LLMs）在各种下游任务中的快速发展和显著成功，人们对其潜力和能力赞叹不已。然而，这种开放性的技术也带来了新的安全和隐私问题。由于LLMs具有强大的模仿和生成能力，它们可能被用于抄袭或模仿写作，进而侵犯原创内容的版权，或基于某个源文本制造滥用的虚假信息。更为严重的是，LLMs还能分析网络文本，从而推断出个人隐私。面对这一新形势，以往的文本保护措施显得力不从心。为了应对这一挑战，研究者提出了一种名为“沉默守护者”（SG）的文本保护机制。该机制专门针对LLMs设计，旨在从源头上防止恶意使用文本。当LLMs接收到受保护的文本时，“沉默守护者”会发挥作用，使模型拒绝生成响应。这样一来，就能有效地遏制利用LLMs进行的恶意行为，保护原创内容和个人隐私的安全。
链接：https://arxiv.org/abs/2312.09669.pdf
3.Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs
简介：随着大型语言模型（LLMs）的快速发展，它们展现出了新的、难以预测的能力，其中一些可能带来潜在风险。为了确保LLMs的安全和负责任部署，开发人员需要评估这些“危险能力”并识别相关风险。在这项研究中，研究者首次收集了一个开源数据集，旨在评估LLMs中的保护措施，并促进更安全的开源LLMs的低成本部署。他们选择了六种流行的LLMs，并对这些模型对于特定指示的响应进行了标注和评估。基于这些标注数据，研究者进一步训练了几个BERT式分类器。令人惊喜的是，这些小型分类器在自动安全评估方面表现出了与GPT-4相当的性能。这一发现为低成本、高效地评估LLMs的安全性提供了新的可能。
链接：https://arxiv.org/abs/2308.13387.pdf
4.Prompt as Triggers for Backdoor Attack: Examining the Vulnerability in Language Models
简介：在这项研究中，研究者提出了一种名为ProAttack的新型高效方法，用于执行基于提示的干净标签后门攻击。这种方法利用提示本身作为触发器，无需外部触发器，确保中毒样本的正确标记，从而提高了后门攻击的隐蔽性。为了验证ProAttack在文本后门攻击中的性能，研究者进行了广泛的实验，涵盖了资源丰富和少样本文本分类任务。实验结果表明，ProAttack在文本后门攻击中展现出竞争力，尤其是在资源丰富的设置中。在无需外部触发器的干净标签后门攻击基准测试中，ProAttack实现了最先进的攻击成功率。
链接：https://arxiv.org/abs/2305.01219.pdf
5.Detecting Language Model Attacks with Perplexity
简介：一种针对大型语言模型（LLMs）的新型黑客攻击技术已经出现。这种攻击利用对抗后缀来欺骗模型，生成具有潜在危险性的响应。攻击者可以利用这种技术诱导LLMs向恶意用户提供复杂的指示，用于制造炸药、策划银行抢劫或协助创建攻击性内容。为了评估这种对抗后缀的威胁，研究者利用开源LLM（GPT-2）来分析具有对抗后缀的查询的困惑度。结果显示，这些具有对抗后缀的查询的困惑度值非常高，这表明它们对于模型具有很大的迷惑性。在研究过程中，研究者还探索了各种常规（非对抗性）提示类型，并发现这些提示类型在纯困惑度过滤中存在假阳性的问题。这意味着使用困惑度作为唯一过滤条件的做法可能会导致误判。为了解决假阳性问题并更准确地检测对抗攻击，研究者采用基于困惑度和令牌长度的Light-GBM训练方法。在测试集中，这种方法能够有效地解决假阳性问题，并正确检测大多数对抗攻击。