5 月 21 日消息，繼 OpenAI 共同創辦人 Ilya Sutskever 離職之後，另一名 OpenAI 高層 Jan Leike 在 X 平台發布貼文，宣布他已經在上週離開公司。
據悉，Jan Leike 是 OpenAI 旗下 Superalignment（超級對齊）團隊的共同主管，他表示最近幾年 OpenAI 已經不惜內部文化，忽視安全準則，執意高速推出「吸引眼球」的產品。
經查詢得知，OpenAI 在 2023 年 7 月設立 Superalignment 團隊，任務是「確保那些具備『超級智慧』、『比人類還聰明』的 AI 系統能夠遵循人類的意圖」。 當時 OpenAI 承諾在未來的 4 年內投入 20% 的運算能力來保證 AI 模式的安全性，而根據彭博社報道，OpenAI 目前據稱已經解散了 Superalignment 團隊。
Leike 表示，他加入 OpenAI 的原因是「他認為 OpenAI 是世界上最適合進行 AI 安全研究的場所」。 然而目前 OpenAI 領導層已經高度忽視了模型的安全性，將核心優先事項放在獲利與獲取運算資源上。
截至發稿，OpenAI 的Greg Brockman 和Sam Altman 已經聯名對Leike 的看法作出回應，表示他們“已經提高了對於AI 風險的認知，未來還會不斷提升安全工作以應對每款新模型的利害關係”， 翻譯如下：
我們非常感謝 Jan 為 OpenAI 所做的一切，我們知道他將繼續在外部為我們的使命做出貢獻。 鑑於他離職引起的一些問題，我們想解釋一下我們對整體策略的思考。
首先，我們已經提高了對 AGI 風險和機會的認識，以便世界更好地為其做好準備。 我們反覆展示了深度學習擴展帶來的巨大可能性並分析其影響；在國際上呼籲對AGI 進行治理（在這種呼籲變得流行之前）；並且在評估AI 系統的災難性風險的科學領域進行 了開創性的工作。
其次，我們正在為越來越強大的系統的安全部署奠定基礎。 首次讓新技術安全化並不容易。 例如，我們的團隊做了大量工作以安全地將 GPT-4 帶給世界，並且自那以後，持續改進模型行為和濫用監測，以應對從部署中學到的經驗教訓。
第三，未來會比過去更難。 我們需要不斷提升我們的安全工作，以配合每個新模型的風險。 去年，我們採用了準備框架來系統化我們的工作方法。
現在是談談我們如何看待未來的好時機。
隨著模型能力的不斷提升，我們預期它們將更深入地與世界整合。 使用者將越來越多地與由多個多模態模型和工具組成的系統互動，這些系統可以代表使用者採取行動，而不僅僅是透過文字輸入和輸出與單一模型對話。
我們認為這些系統將非常有益並對人們有幫助，並且可以安全地交付，但這需要大量的基礎工作。 這包括在訓練過程中對其連接內容的深思熟慮，解決諸如可擴展監督等難題，以及其他新型安全工作。 在這個方向上建置時，我們尚不確定何時能達到發布的安全標準，如果這會推遲發佈時間，我們也認為是可以接受的。
我們知道無法預見每一種可能的未來場景。 因此，我們需要非常緊密的回饋循環，嚴格的測試，每一步的仔細考慮，世界級的安全性，以及安全與能力的和諧統一。 我們將繼續進行針對不同時間尺度的安全研究。 我們也繼續與政府和許多利益相關者在安全問題上合作。
沒有現成的手冊來指導 AGI 的發展道路。 我們認為經驗理解可以幫助指引前進的方向。 我們既相信要實現巨大的潛在收益，又要努力減輕嚴重的風險；我們非常認真地對待我們的角色，並慎重地權衡對我們行動的反饋。
本文取自媒體，由：Web3快訊 上傳發布，不代表kejixun.com立場。转载，请注明出处：https://news.kejixun.com/3296.html
