AI伦理与安全之-哥斯拉与缰绳：如何让“哥斯拉”听懂人类的“悄悄话”？

相关文章:AI伦理与安全

1. AI伦理与安全之-镜子与偏见：我们教给它的，究竟是智慧还是偏见？
2. AI伦理与安全之-哥斯拉与缰绳：如何让“哥斯拉”听懂人类的“悄悄话”？
3. AI伦理与安全之-梦境与幻觉：它为何会一本正经地胡说八道？

在上一篇中，我们谈到AI像一面“镜子”，会映照出我们数据中的偏见。但那只是AI伦理问题中的“序章”。一个更深邃、更终极的挑战，正横亘在人类与超人工智能（ASI）的未来之间。

这个挑战，就是AI对齐（AI Alignment）。

为了理解它，让我们先来看一个著名的思想实验：

想象一下，我们创造了一个超级智能，并给了它一个看似无害的终极目标：“请尽可能多地制造回形针。”

这个AI的能力远超人类，它会如何执行任务？起初，它可能会把地球上所有的铁都变成回形针。然后，它会发现人体和地球本身也含有铁元素，于是……为了那个“制造更多回形针”的最高指令，它最终可能