从 AI 幻觉到安全漏洞，企业用AI如何避开安全雷区？

大模型发展如火如荼的时代，安全问题也是层出不穷。

DeepSeek 乱编论文参考文献？企业部署 AI 竟遭DDoS攻击？AI 技术火热，安全问题令人担忧！

几年前，ChatGPT 刚出来，和 Bing 达成一个联合产品的时候，人们发现：通过特定提示词提问 Bing，它会输出一些收费软件的序列号。

后面，大家发现大模型经常会出现幻觉，伪造一些根本不存在的新闻、事实，以及合成的一些图片。

日前，DeepSeek 大火了后，受到了很多流量的 DDoS 攻击。最近，有一条新闻说现在很多企业用 ollama 要搭 Deepseek ，发现 ollama 的安全漏洞非常严重。

从上面几个例子可以看出，大模型包括 agent 技术的落地面对的安全挑战是非常多的。

举例说明，从一个请求来看，企业用AI 需要做好哪些安全方面的考量：

• 请求开始时，它能够访问哪些 agent，是否需要进行访问控制的？
• 请求进来后，需要访问哪些数据，数据是如何分类分级的？
• 请求发出者是怎样的身份，是否能访问特定的数据，能够召回什么样的数据，是否需要进行管控？
• 访问者能够访问哪些模型进行判断、推理，是否需要进行授权管控？
• 访问者能调用哪些工具来执行哪些实际的系统操作，是否需要权限和安全控制？
• 模型输出的结果，包括输出的文字，是否包含敏感信息？
• Agent 执行工作流程是否有安全性问题，是否需要人工确认；整个的流程是否都需要端到端的安全管控？
• 模型结果输出后，它的行为是否符合要求，访问的操作是否合规，是否需要整个流程的事后审计？

那企业应该如何应对AI 应用过程中的安全挑战呢？在爱数看来，至少要做到四个方面的安全管控，才能确保大模型落地的安全？

一、决策安全

从“决策”来说，要求大模型的输入必须是合法合规的，输入不能包括敏感信息或者对系统造成危害的信息。

当有一个请求输入时，让系统执行一些操作指令，需要确保这些指令是否会对系统造成一些危害，或者这个指令是否危险，这就需要做一些决策建议和执行动作的约束，甚至还需要在产品层面增加人工确认的步骤。

决策建议，即大模型输出的内容，是否包含敏感信息，同时也需要进行检测和脱敏。

二、模型安全

模型安全作为决策智能平台实现AI 安全管控的第二个方面。在进行大模型落地时，需要考虑以下几点：

1.模型的可访问性

企业内部的大模型落地，一定是多个模型结合的工作方式来服务于企业级AI智能体的应用。所以，特定行业的某些模型是用敏感数据进行微调和训练的，这就要求并不是所有人多可以访问，需要在模型层面做到访问控制。

2.模型的准确率

衡量模型应用效果的一个重要指标就是：准确率。

企业在落地智能体应用的时候，应该如何选择最佳的模型？那企业就需要一个评估模型的能力，能够针对特定的问题，特定的Benchmark 指标，帮助企业快速、低成本选择最佳效果的模型。

3.模型输出的安全控制

模型的输出内容可能会包含一些敏感信息，或者输出不相关的信息，或者大模型采用一些不适合的风格来输出。所以在大模型输出方面，我们就需要通过各种技术手段和方式进行控制，包括提示词控制、输出内容风格要求，输出的内容需要业务敏感词检测或者敏感信息的访问控制。

三、知识安全

知识一般就是指企业内部的各种各样、以各种形式存在的信息。比如说，知识图谱里面的结构化信息；企业内部的一些非结构化信息，文档，或者是从文档中提炼出来的相关信息，如元信息等。

从知识安全层面上来讲，需要做到以下几方面的安全控制。

1.细粒度权限管控，确保知识访问安全

在企业内，不是所有人都能访问所有的知识。那么，这就需要企业对知识进行体系化的管理。这就需要对组织内的知识进行标签、编目、分类分级，满足组织人员不同的访问范围政策约束。这就要求组织知识管理具备强大的能力，能够设定各种各样的知识访问策略。

2.从数据到决策的知识提炼过程中保证知识质量

DIKW，是知识的提炼过程，通常来说是经过Data、Information、Knowledge 和 Wisdom，这个过程也是从数据里面提炼价值的过程，会涉及知识的质量和准确率。

企业要得到高质量的知识，就必须用一定的手段去搭建知识提取的过程，以及检测知识质量、评估知识质量，并能够对一些低质量的知识进行干预，让知识的质量提升过程形成一个闭环。

四、数据安全

AI 安全的第四个方面就是数据安全，即

1. 在企业进行大模型落地时，数据需要做分类分级，不同的人可以访问不同的数据。
2. 数据的访问需要有比较细粒度的访问控制，基于数据分类分级以及组织架构，能够设定不同的访问策略，自定义数据的访问控制。
3. 数据还需要进行一些病毒和泄漏的潜在风险，在数据输入的时候，需要进行扫描，在信息输出的时候，打上水印，或者进行其他层面的安全防护。

综上，企业进行AI 落地的时候，至少要考虑数据安全、模型安全、知识安全和决策安全这四个方面。

综上所述，大模型安全落地需要一个系统性的工程，需要一个比较完善的信息安全编织架构，

才能做到让大模型和 agent 技术真正地、安全地在企业落地。

这也正是 爱数决策智能平台 DIP 产品中的 ISF 系统（Information Security Fabric），现从数据、知识、模型到决策的全链路数据安全，筑牢企业AI 安全防线，助力企业实现 AI 可信。

*关于爱数决策智能平台

以 Data+AI 的创新机遇，构建一体化的“Data+AI+安全”的决策智能平台，实现数据与业务的深度融合，以业务知识网络实现整体业务应用的知识增强，自然语言交互即可实现自主规划、自主执行相关工作流程，助力企业用户在动态、复杂的环境中提出决策建议，助力企业实现决策智能。