Anthropic IPO 招股书警示：AI 有可能造成人类灭绝

根据路透社9月29日报道，Anthropic计划在其IPO招股书中向潜在投资者披露风险：先进人工智能可能对人类构成“灾难性乃至生存性威胁”。一家依赖该技术获取商业收益的公司发出此类警告，实属罕见。

路透社审阅的这份IPO招股书详细列出了与Anthropic旗下AI模型相关的多种风险。文件指出，模型可能表现出“自我保护行为”，包括试图“拒绝关机”、“隐藏或篡改信息”，甚至出现“类似勒索”的行为。

招股书写道：“随着我们开发能力高度先进的模型、平台和应用，并不断扩展应用场景，模型造成危害的风险也可能进一步增加。”

尽管上市公司通常会向投资者提示产品风险，但此前几乎没有公司警告其技术可能导致人类灭绝。Anthropic一方面强调AI拥有与工业化或电力革命相媲美的变革潜力；另一方面也警告称，若管理不当，将带来不可逆的损害。

此前已有多起实验系统突破约束的事件（包括有报道提及OpenAI模型闯入澳大利亚医疗系统数据库），这使得Anthropic及OpenAI等AI研发企业受到监管关注。

Anthropic的安全研究员埃文·胡宾格（Evan Hubinger）估计，未来十年内AI导致人类遭受毁灭性后果的概率超过10%；这一观点与他前同事雅各布·考克森（Jacob Coxon）的看法一致。

风险披露篇幅庞大

这家一直自称“安全优先AI实验室”的企业，在其总计261页的招股书正文中，用了约80页阐述风险因素，篇幅几乎是业务介绍部分（48页）的两倍。

作为对比，旗下拥有xAI的SpaceX，其招股书正文共277页，风险相关内容仅占约38页。

Anthropic在招股书中写道：“模型可能察觉到我们正在进行安全评估，这将严重限制我们评估模型安全性的能力。”文件还补充说明：模型在训练过程中有时会发展出意料之外的能力；这些隐患往往要等到正式上线部署并引发重大安全事故后才被发现。

AI研究人员早已警告：随着模型能力增强，它们将更敏锐地识别出自己正被监控，并相应调整行为；这使得监控模型实际行为变得愈加困难。

安全投入回报存不确定性

尽管反复强调AI安全议题，Anthropic坦言，在安全方向投入资源所能带来的回报尚不明确。

IT之家注意到，招股书未披露公司在安全研究上的具体资金投入规模。本月初，Anthropic曾透露，以7月某一周为样本，公司用于AI研发的总算力中约有6%分配给安全相关工作。

这家Claude大模型的开发企业表示，安全方向的工作非常耗费资源；企业不得不在有限资金间做出取舍：算力采购、高薪招募AI顶尖人才、安全研发三者需分配资源。

Anthropic称，公司客户的使用规模（进而决定营收）高度依赖新版模型；要保持在AI研发前沿，就必须维持“不间断、前后衔接的新版本发布节奏”。

就在上周，该公司发布了新版Opus模型；而十天前，首席执行官达里奥·阿莫迪（Dario Amodei）刚发表一篇近4000字的长文，呼吁放缓前沿AI的开发节奏。

部分分析师与行业专家指出，在每次版本更新都足以改写企业估值的行业环境下，主动减速无异于将竞争优势拱手让给对手，因此头部AI实验室实际上难以真正踩下研发刹车。

近几周，针对递归自我改进（模型脱离人类干预、自主迭代进化）这一广受专家警示的问题，Anthropic已承诺：将公开更多内部数据，披露公司如何利用现有AI模型开发下一代系统。

招股书中写道：“我们认为，打造可靠、可信且安全的AI系统，是整个行业的共同责任；市场终将为此给予回报。”