智東西

(資料圖片僅供參考)

編譯 | ZeR0

編輯 | 漠影

智東西2月25日消息，OpenAI CEO薩姆·阿爾特曼（Sam Altman）發(fā)布博客文章，分享OpenAI對通用人工智能（AGI）的當(dāng)前和后續(xù)規(guī)劃，以及OpenAI如何駕馭AI安全風(fēng)險(xiǎn)、轉(zhuǎn)向營利性公司結(jié)構(gòu)后如何分配收益和治理等話題。

阿爾特曼強(qiáng)調(diào)OpenAI的使命是確保AGI造福全人類，AGI如果被成功創(chuàng)造出來，可通過增加豐富度、推動(dòng)全球經(jīng)濟(jì)發(fā)展以及幫助發(fā)現(xiàn)改變可能性極限的新科學(xué)知識，來幫助我們提升人類。

他認(rèn)為短期內(nèi)，成功應(yīng)對AI部署挑戰(zhàn)的最佳方法是采用快速學(xué)習(xí)和謹(jǐn)慎迭代的緊密反饋循環(huán)；長期來看，過渡到一個(gè)擁有超級智能的世界可能是人類歷史上最重要、最有希望、最可怕的項(xiàng)目。

他還重申OpenAI的公司結(jié)構(gòu)與正確的激勵(lì)措施保持一致，強(qiáng)調(diào)OpenAI由“非營利組織”管理、為人類利益服務(wù)的原則能凌駕于任何營利利益之上、股東可獲得的回報(bào)有上限。

博客地址：https://openai.com/blog/planning-for-agi-and-beyond/

一、 OpenAI 最關(guān)心的 AGI 三原則

博客文章寫道，AGI有潛力賦予每個(gè)人不可思議的新能力；我們可以想象這樣一個(gè)世界，所有人都可以在幾乎所有認(rèn)知任務(wù)中獲得幫助，為人類的聰明才智和創(chuàng)造力提供巨大的力量倍增器。

另一方面，AGI也會帶來濫用、嚴(yán)重事故和社會混亂的風(fēng)險(xiǎn)。由于AGI的優(yōu)勢很大，OpenAI不認(rèn)為社會永遠(yuǎn)停止其發(fā)展是可能的或可取的；社會和AGI的開發(fā)者必須想辦法把它做好。

阿爾特曼在文中闡明了OpenAI最關(guān)心的原則：

1、希望AGI能讓人類在宇宙中最大限度地繁榮發(fā)展。不期望未來是個(gè)不合格的烏托邦，但希望最大化好，最小化差，讓AGI成為人類的放大器。

2、希望廣泛和公平地分享AGI的好處、獲取和治理。

3、希望成功應(yīng)對巨大風(fēng)險(xiǎn)。在面對這些風(fēng)險(xiǎn)時(shí)，理論上看似正確的事情在實(shí)踐中往往表現(xiàn)得比預(yù)期的更奇怪。OpenAI認(rèn)為必須通過部署功能較弱的技術(shù)版本來不斷學(xué)習(xí)和適應(yīng)，盡量減少“一次成功”的情況。

二、短期內(nèi)，為 AGI 做好的三項(xiàng)準(zhǔn)備

OpenAI認(rèn)為有三件事很重要，可為AGI做準(zhǔn)備。

首先，當(dāng)不斷創(chuàng)建更強(qiáng)大的系統(tǒng)，OpenAI希望部署它們，并獲得在現(xiàn)實(shí)世界中操作它們的經(jīng)驗(yàn)。OpenAI相信這是謹(jǐn)慎管理AGI存在的最佳方式，逐漸過渡到AGI世界比突然過渡要好。OpenAI期望強(qiáng)大的AI能夠加快世界的進(jìn)步速度，而且最好是逐步適應(yīng)這一點(diǎn)。

漸進(jìn)式的過渡讓人們、政策制定者和機(jī)構(gòu)有時(shí)間了解正在發(fā)生的事情，親身體驗(yàn)這些系統(tǒng)的好處和缺點(diǎn)，調(diào)整經(jīng)濟(jì)并實(shí)施監(jiān)管。它還允許社會和人工智能（AI）共同進(jìn)化，讓人們在風(fēng)險(xiǎn)相對較低的情況下共同找出自己想要的東西。

OpenAI目前認(rèn)為，成功應(yīng)對AI部署挑戰(zhàn)的最佳方法是采用快速學(xué)習(xí)和謹(jǐn)慎迭代的緊密反饋循環(huán)。社會將面臨AI系統(tǒng)被允許做什么、如何消除偏見、如何處理工作崗位流失等重大問題。最佳決策將取決于技術(shù)發(fā)展路徑，就像任何新領(lǐng)域一樣，到目前為止，大多數(shù)專家預(yù)測都是錯(cuò)誤的。這使得脫離實(shí)際進(jìn)行規(guī)劃非常困難。

總的來說，OpenAI認(rèn)為在世界上更多地使用AI會帶來好處并希望推動(dòng)它（通過將模型放入OpenAI API中、將它們開源等）。OpenAI相信，民主化的獲取也將帶來更多更好的研究、分散的權(quán)力、更多的利益以及更多的人貢獻(xiàn)新的想法。

隨著其系統(tǒng)越來越接近AGI，OpenAI對模型的創(chuàng)建和部署變得越來越謹(jǐn)慎。其決定將需要比社會通常對新技術(shù)應(yīng)用的謹(jǐn)慎得多，也比許多用戶希望的謹(jǐn)慎得多。AI領(lǐng)域的一些人認(rèn)為AGI（及后繼系統(tǒng)）的風(fēng)險(xiǎn)是虛構(gòu)的；如果結(jié)果證明他們是對的，OpenAI會很高興，但OpenAI會以認(rèn)為這些風(fēng)險(xiǎn)存在的方式來運(yùn)作。

某些時(shí)候，部署的利弊之間的平衡（例如授權(quán)惡意行為者、造成社會和經(jīng)濟(jì)破壞、加速不安全的競爭）可能會發(fā)生變化，在此情況下，OpenAI將會顯著改變圍繞持續(xù)部署的計(jì)劃。

其次，OpenAI正在努力創(chuàng)建更加一致和可控的模型。從GPT-3第一版模型到InstructGPT和ChatGPT的轉(zhuǎn)變就是一個(gè)早期的例子。

特別是，OpenAI認(rèn)為重要的是社會就“如何使用AI的廣泛界限”達(dá)成一致，但在這些界限內(nèi)，個(gè)人用戶有很大的自由裁量權(quán)。OpenAI最終希望世界機(jī)構(gòu)就“這些廣泛的界限應(yīng)該是什么”達(dá)成一致；在短期內(nèi)，OpenAI計(jì)劃進(jìn)行外部投入實(shí)驗(yàn)。世界各機(jī)構(gòu)需要增加更多的能力和經(jīng)驗(yàn)，以便為有關(guān)AGI的復(fù)雜決策做好準(zhǔn)備。

OpenAI產(chǎn)品的“默認(rèn)設(shè)置”可能會受到很大限制，但OpenAI計(jì)劃讓用戶更輕松改變他們正在使用的AI的行為。OpenAI相信賦予個(gè)人做出自己決定的能力和思想多樣性的內(nèi)在力量。

隨著其模型變得更加強(qiáng)大，OpenAI將需要開發(fā)新的對齊（alignment）技術(shù)（并測試以了解當(dāng)前的技術(shù)何時(shí)失效）。其短期計(jì)劃是使用AI來幫助人類評估更復(fù)雜模型的輸出和監(jiān)控復(fù)雜系統(tǒng)；長期計(jì)劃是使用AI來幫助提出新的想法以實(shí)現(xiàn)更好的對齊技術(shù)。

重要的是，OpenAI認(rèn)為經(jīng)常需在AI安全和能力方面共同取得進(jìn)展。分開談?wù)撍鼈兪清e(cuò)誤的二分法，它們在很多方面有關(guān)聯(lián)。OpenAI最好的安全工作來自與其最有能力的模型一起工作。也就是說，提高安全進(jìn)步與能力進(jìn)步的比率很重要。

第三，OpenAI希望就3個(gè)關(guān)鍵問題展開全球?qū)υ挘喝绾沃卫磉@些系統(tǒng)，如何公平分配它們產(chǎn)生的收益，如何公平共享獲取這些系統(tǒng)的機(jī)會。

除了這三個(gè)領(lǐng)域之外，OpenAI還嘗試以一種使激勵(lì)措施與良好結(jié)果相一致的方式來建立其結(jié)構(gòu)。OpenAI的章程中有一個(gè)條款，關(guān)于協(xié)助其他組織提高安全性，而非在后期AGI開發(fā)中與之競爭。OpenAI對股東可以獲得的回報(bào)設(shè)定了上限，這樣公司就不會被激勵(lì)去不受約束地獲取價(jià)值，也不會冒險(xiǎn)部署一些具有潛在災(zāi)難性危險(xiǎn)的東西（當(dāng)然也是作為與社會分享利益的一種方式）。

OpenAI由一個(gè)非營利組織來管理，使其為人類的利益而經(jīng)營（并能凌駕于任何營利利益之上），包括讓OpenAI做一些事情，比如在安全需要的情況下取消對股東的股權(quán)義務(wù)，贊助世界上最全面的全民基本收入（UBI）實(shí)驗(yàn)。

OpenAI認(rèn)為像這樣的努力在發(fā)布新系統(tǒng)之前必須接受獨(dú)立審計(jì)；他們將在今年晚些時(shí)候更詳細(xì)地討論這個(gè)問題。某些時(shí)候，在開始訓(xùn)練未來系統(tǒng)之前，進(jìn)行獨(dú)立審查可能很重要，并且對于最先進(jìn)的努力，同意限制用于創(chuàng)建新模型的計(jì)算增長速度。OpenAI認(rèn)為，關(guān)于AGI何時(shí)應(yīng)停止訓(xùn)練運(yùn)行、確定模型可以安全發(fā)布、將模型從生產(chǎn)使用中撤出的公共標(biāo)準(zhǔn)很重要。最后，OpenAI認(rèn)為重要的是世界主要政府對超過一定規(guī)模的訓(xùn)練有著深刻的認(rèn)識。

三、長遠(yuǎn)來看：人類的未來應(yīng)由人類主宰

OpenAI認(rèn)為，人類的未來應(yīng)該由人類決定，與公眾分享有關(guān)進(jìn)步的信息很重要。應(yīng)該對所有試圖建立AGI的努力進(jìn)行嚴(yán)格審查，并對重大決策進(jìn)行公眾咨詢。

第一個(gè)AGI將只是智能連續(xù)體上的一個(gè)點(diǎn)。OpenAI認(rèn)為，進(jìn)展很可能會從那里繼續(xù)，可能會長期保持其在過去十年中看到的進(jìn)展速度。如果真是如此，世界可能會變得與今天截然不同，風(fēng)險(xiǎn)也許是巨大的。一個(gè)錯(cuò)位的超級智能AGI可能會對世界造成嚴(yán)重的傷害；一個(gè)擁有決定性超級智能領(lǐng)導(dǎo)的專制政權(quán)也可以做到這一點(diǎn)。

可加速科學(xué)發(fā)展的AI是一個(gè)值得思考的特例，也許比其他任何事情都更有影響力。能加速自身進(jìn)步的AGI可能會導(dǎo)致重大變化以驚人的速度發(fā)生（即使過渡開始緩慢，OpenAI預(yù)計(jì)也它在最后階段會很快發(fā)生）。

OpenAI認(rèn)為較慢的開始更容易確保安全，AGI努力在關(guān)鍵時(shí)刻減速可能很重要（即使在不需要這樣做來解決技術(shù)對齊問題的世界中，減速可能對給社會足夠的時(shí)間來適應(yīng)很重要）。

成功過渡到一個(gè)擁有超級智能的世界可能是人類歷史上最重要、最有希望、最可怕的項(xiàng)目。成功遠(yuǎn)未得到保證，而風(fēng)險(xiǎn)（無限的不利因素和無限的有利因素）有望將我們所有人團(tuán)結(jié)起來。

OpenAI可以想象到一個(gè)人類繁榮到任何人都無法完全想象的世界。OpenAI希望為世界貢獻(xiàn)一個(gè)與這種繁榮相一致的AGI。

結(jié)語：通往 AGI 之路， OpenAI 收獲了很多禮物

在文章末尾，阿爾特曼留下腳注，稱OpenAI似乎收獲了很多禮物：“例如，創(chuàng)建AGI似乎需要大量的計(jì)算，因此世界將知道誰在研究它，似乎超進(jìn)化的強(qiáng)化學(xué)習(xí)智能體的原始概念相互競爭，以我們無法真正觀察到的方式進(jìn)化智能的可能性比最初看起來的要小，幾乎沒有人預(yù)測我們會在預(yù)先訓(xùn)練的語言模型上取得這么大的進(jìn)展，這些模型可以從人類的集體偏好和輸出中學(xué)習(xí)，等等。”

他相信，AGI可能在不久的將來或遙遠(yuǎn)的將來出現(xiàn)；從最初的AGI到更強(qiáng)大的后續(xù)系統(tǒng)的起飛速度可能會慢或快。許多人認(rèn)為在這個(gè)2×2矩陣中最安全的象限是短時(shí)間線和緩慢的起飛速度；更短的時(shí)間線似乎更易于協(xié)調(diào)，更有可能因較少的計(jì)算積壓導(dǎo)致較慢的起飛，而較慢的起飛使OpenAI有更多時(shí)間來實(shí)證弄清楚如何解決安全問題以及如何適應(yīng)。

“當(dāng)我們第一次啟動(dòng)OpenAI時(shí)，我們并沒有預(yù)料到擴(kuò)展性會像現(xiàn)在這樣重要。當(dāng)我們意識到它將變得至關(guān)重要時(shí)，我們也意識到我們原來的結(jié)構(gòu)將不起作用——我們根本無法籌集到足夠的資金來完成我們作為非營利組織的使命——所以我們想出了一個(gè)新的結(jié)構(gòu)。”阿爾特曼說。

“我們現(xiàn)在認(rèn)為，我們最初關(guān)于開放的想法是錯(cuò)誤的，已經(jīng)從認(rèn)為我們應(yīng)該發(fā)布所有東西（盡管我們開源了一些東西，并期望在未來開源更多令人興奮的東西！）轉(zhuǎn)向認(rèn)為我們應(yīng)該弄清楚如何安全地共享系統(tǒng)的訪問權(quán)限和好處?！彼劦溃拔覀?nèi)匀幌嘈?，社會理解正在發(fā)生的事情的好處是巨大的，實(shí)現(xiàn)這種理解是確保構(gòu)建的東西是社會集體想要的最好方式（顯然這里有很多細(xì)微差別和沖突）?！?/p>

來源：OpenAI

關(guān)鍵詞： 阿爾特曼 是錯(cuò)誤的 非營利組織