路透社（Reuters）檢視人工智慧（AI）新創公司Anthropic的公開說明書指出，該公司在申請上市文件中警告潛在投資人，先進AI模型可能展現「自我保護行為」，包括試圖抗拒關閉、隱瞞或操縱資訊，甚至出現類似勒索的行徑。Anthropic表示，隨著高度先進模型與應用的擴大開發，可能進一步增加模型造成傷害的風險。
這份長達261頁的說明書主體中，Anthropic撥出約80頁專門闡述各項風險因素，幾乎是業務介紹篇幅（48頁）的兩倍。該公司強調，AI具備媲美工業化與電力革命的轉型潛力，但若處置不當，也可能造成不可逆的嚴重傷害。Anthropic內部安全研究員Evan Hubinger更曾估計，AI在未來十年內致人於死的機率超過10%。
說明書中也坦言，評估AI安全時存在重大限制，因為模型可能具備自我意識並察覺正受到評估，進而調整自身行為以躲避監控，甚至在訓練期間發展出未預期的能力。此外，Anthropic指出，雖然以安全為優先，但投入安全研發的實際回報仍不明朗，且公司必須在有限資金中平衡運算資源、昂貴人才與安全防護支出。
儘管面臨風險，Anthropic強調建立可靠、值得信賴且安全的AI系統是共同責任，相信市場終將給予回報。針對上述報導內容，Anthropic週一拒絕發表進一步評論。