完全自主化的AI代理不应被开发

Hugging Face前不久发布了一篇论文，题目《Fully Autonomous AI Agents Should Not be Developed》，论证了完全自主化的AI代理不应被开发。

核心观点

随着AI代理人的自主性增加，用户放弃的控制权越多，系统带来的风险就越大。认为不应该开发完全自主的人工智能代理，提出了多层次自主性（从低级到高级）的框架。

人工智能代理的历史

文中首先回顾了人工智能代理的历史和发展现状，早在亚里士多德就推测 “自动机代替人类奴隶，可以想象管理者不需要下属，主人不需要奴隶，这个条件是每个工具都可以根据命令或智能预测来完成自己的工作” ，看来这个想法古奴隶主曾经设想过。当前智能体和发展到的智能体平台，已经能够进行越来越复杂的物理交互和决策了。

AI代理的定义

随后，思考AI代理到底是什么，提出了定义：能够在非确定性环境中创建特定上下文计划的计算机软件系统。

“能动性（agency）”是自主AI系统概念的核心，在哲学文献中，能动性通常理解为具有行动能力的实体，通过有意向性行动的视角来理解能动性，其中行为是根据主体的心理状态（例如，信念、欲望）和他们出于某种原因采取行动的能力。但人工智能体并不具备人类意义上的心理状态，所以采用自主性（autonomous）来表达。

AI代理的级别

根据自主程度，区分AI代理的级别，可以看到人类和系统控制它们的运作方式。