【综述】大规模语言模型用于漏洞检测与修复：文献综述与未来研究方向

论文标题：

大规模语言模型用于漏洞检测与修复：文献综述与未来研究方向

这篇论文的标题是《Large Language Model for Vulnerability Detection and Repair: Literature Review and the Road Ahead》，作者包括Xin Zhou、Sicong Cao、Xiaobing Sun和David Lo。其中，Xin Zhou和David Lo来自新加坡管理大学（Singapore Management University）的计算与信息系统学院（School of Computing and Information Systems），Sicong Cao和Xiaobing Sun来自中国扬州大学（Yangzhou University）的信息工程学院（School of Information Engineering）。
2024年4月6日提交到arXiv预印本服务
https://ar5iv.labs.arxiv.org/html/2404.02525

摘要：

论文系统性地回顾了大规模语言模型（LLMs）在软件工程中漏洞检测和修复任务中的应用，分析了2018年至今的36篇文献，涵盖了相关研究的模型、适应技术及面临的挑战。论文提出了三个主要研究问题，并指出未来的研究机会。漏洞检测和修复是软件安全领域的重要任务，传统方法往往存在误报率高和难以应对多样化漏洞的缺点。近

1. 引言：

介绍了软件漏洞的危害性及自动化检测和修复的必要性。传统方法存在误报率高、难以应对多样化漏洞的问题。LLM因其在自然语言和软件工程任务中的成功，成为提升漏洞检测与修复效率的重要工具。

2. 背景知识：

描述了漏洞检测和修复的定义：

• 漏洞检测：将源代码分类为有漏洞或无漏洞。
• 漏洞修复：将有漏洞的代码转化为修复后的代码。
  并简要介绍了LLM模型的三大类：编码器、解码器、编码器-解码器模型。

3. 研究方法：

介绍了文献收集和筛选的过程，包括手动和自动搜索，通过严格的筛选标准最终确定了36篇相关文献。文献发布主要集中在2021年后，显示出该领域的迅速发展。

4. 研究问题1：使用了哪些LLM？

总结了现有研究中使用的15种不同LLM，主要是编码器模型（如CodeBERT）和编码器-解码器模型（如CodeT5），它们在漏洞检测和修复任务中占据主导地位。

5. 研究问题2：如何适应LLM进行漏洞检测？

总结了三种适应技术：微调、零样本提示、少样本提示。微调是最常见的方法，占比82%，并结合了程序分析和数据创新等技术来提升检测效果。

6. 研究问题3：如何适应LLM进行漏洞修复？

在漏洞修复中，采用了微调、零样本和少样本提示。结合了丰富的输入、模型创新、领域预训练等多种技术来提升修复效果，领域预训练的效果最为显著。

7. 未来的挑战与机会：

挑战：

1. 高质量数据集缺乏：现有漏洞数据集质量参差不齐。
2. 数据复杂性：多功能、跨程序的复杂漏洞检测难度大。
3. 输入范围狭窄：现有方法多集中于函数级别，难以处理更大范围的代码。
4. 准确性与鲁棒性：模型在应对数据扰动时表现不够稳定。
5. 与开发人员的信任与协作：模型需要更好地与开发人员协同工作。

机会：

1. 创建高质量的漏洞测试集。
2. 开发面向整个代码库的漏洞检测和修复方法。
3. 探索更大规模的解码器模型在漏洞修复中的应用。
4. 使用定制化的LLM提高漏洞检测和修复性能。

8. 研究有效性威胁：

讨论了文献收集和筛选中的潜在风险，如遗漏相关研究或关键词不准确等。

9. 结论与未来工作：

LLM在漏洞检测与修复领域展现了巨大的应用前景，但仍存在挑战。未来研究可以扩展到漏洞定位、漏洞评估等领域。

---

这篇论文从文献综述的角度为LLM在漏洞检测与修复任务中的应用提供了系统的总结，并为未来的研究指出了重要方向。