第32期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。

Security Papers

1. Exploring the Limits of ChatGPT in Software Security Applications

简介：在本文中，研究者深入研究了LLM（即ChatGPT）在七种软件安全应用中的局限性，包括漏洞检测/修复、调试、反膨胀、反编译、修补、根本原因分析、符号执行和模糊测试。探索表明，ChatGPT不仅擅长生成代码，而且在理解用户用自然语言提供的命令、推理程序内的控制和数据流、生成复杂数据结构等方面表现出强大的能力，甚至反编译汇编代码。值得注意的是，GPT-4在大多数安全任务中都比GPT-3.5有了显着改进。此外，还发现了ChatGPT在安全相关任务中的某些局限性，例如处理长代码上下文的能力受到限制。

链接：

https://arxiv.org/pdf/2312.05275.pdf 

2. Purple Llama CYBERSECEVAL: A Secure Coding Benchmark for Language Models

简介：本文介绍了Cyber SecEval，这是一个综合基准测试，旨在帮助增强用作编码助手的大型语言模型(LLM)的网络安全。通过涉及Llama 2、Code Llama和OpenAI GPT 大语言模型系列的七个模型的案例研究，Cyber SecEval有效地查明了关键的网络安全风险。Cyber SecEval的自动化测试用例生成和评估管道涵盖了广泛的范围，为法学硕士设计者和研究人员提供了广泛衡量和增强法学硕士网络安全属性的工具，有助于开发更安全的人工智能系统。

链接：

https://arxiv.org/pdf/2312.04724.pdf

3. EditGuard: Versatile Image Watermarking for Tamper Localization and Copyright Protection

简介：在人工智能生成内容 (AIGC) 模型可以生成令人惊叹且栩栩如生的图像的时代，未经授权的复制和恶意篡改的挥之不去的阴影对版权完整性和信息安全构成了迫在眉睫的威胁。当前的图像水印方法虽然被广泛接受用于保护视觉内容，但只能保护版权并确保可追溯性。他们未能将日益真实的图像篡改本地化，从而可能导致信任危机、隐私侵犯和法律纠纷。为了解决这一挑战，研究者提出了一种创新的主动取证框架 EditGuard，以统一版权保护和防篡改本地化，特别是对于基于AIGC的编辑方法。它可以细致地嵌入难以察觉的水印，并对被篡改的区域和版权信息进行精确解码。大量实验表明，EditGuard平衡了篡改定位精度、版权恢复精度和各种基于AIGC的篡改方法的通用性，特别是对于肉眼难以检测的图像伪造。

链接：

https://arxiv.org/pdf/2312.08883.pdf

4. Integrating AI and Learning Analytics for Data-Driven Pedagogical Decisions and Personalized Interventions in Education

简介：这项研究利用OpenAI的GPT-4模型的功能，深入探讨了创新学习分析工具的概念化、开发和部署。该工具旨在量化学生的参与度、绘制学习进度图并评估教育背景下不同教学策略的效果。通过对学生的各种关键数据点的分析该工具提供了学习环境的丰富、多维视图。此外，它采用布鲁姆的分类法作为框架来衡量学生的认知水平。该研究阐明了学习分析工具的设计复杂性、实施策略和全面评估，强调了其对提高教育成果和支持学生成功的预期贡献。此外，还解决了将该工具集成到现有教育平台以及必要的稳健、安全和可扩展的技术基础设施中的实用性。这项研究为利用人工智能的潜力塑造教育的未来、促进数据驱动的教学决策并最终培育更有利、个性化的学习环境开辟了途径。

链接：

https://arxiv.org/ftp/arxiv/papers/2312/2312.09548.pdfSecurity Tools

Security Tools

1. AutoMSS

简介：AutoMSS是基于AI Agent实现的针对安全事件自动化分析研判的安全托管运营系统。为了能够自动化的对安全事件进行分析研判，研究者结合LLM以及AI Agent通过一下几个步骤，来提供安全人员的研判效率。首先，从开始部分输入安全事件记录， 由经过微调后的Chatglm2-6B的微调模型对该事件进行分类。然后，根据分类后的结果，使用对应的prompt模板对ChatGLM-pro大模型进行请求，大模型根据向量库中的知识以及自身的逻辑推理能力，生成该类事件的分析研判流程。接着，Agent根据事件的分析研判流程通过调用工具、访问大模型、请求网络等方式来对该事件进行研判。最后，根据分析的结果输出研判结论以及形成对应的研判报告。

链接：

https://github.com/1700111005/autoMSS