在互聯(lián)網(wǎng)時代，存儲知識變得沒那么重要，可信的AI應該掌握搜索能力，并解釋這些知識，推理其出處和可信度，推導出邏輯上順理成章的事情，至少像大多數(shù)人一樣善于類比（和從類比中類比），并在必要時盡快完成所有這些工作。

ChatGPT掀起了一股「生成式AI」的浪潮，所有任務都可以通過對話的方式生成答案，實現(xiàn)了接口、模型架構(gòu)的統(tǒng)一。

不過生成式AI也有缺陷，比如可控性很差，生成的結(jié)果經(jīng)常是「胡編亂造」，非常難以預測、不可解釋；在復雜推理方面表現(xiàn)不佳。

(資料圖片)

最近，著名AI學者、Robust.AI的創(chuàng)始人兼 CEO 、紐約大學的名譽教授Gary Marcus發(fā)表了一篇論文，對可信的生成式AI提出了16項能力要求。

圖片

論文鏈接：https://arxiv.org/ftp/arxiv/papersw2308/2308.04445.pdf

文中還討論了如何結(jié)合「顯性知識和經(jīng)驗法則」和大型語言模型，使推理引擎能夠自動推導出所有知識的邏輯蘊涵。

圖片

Cyc知識工程

和模糊的語言推理不同，在AI發(fā)展的早期大多采用手寫規(guī)則的方式實現(xiàn)各種任務。

Cyc項目始于1984年，開始的目標是把人類的上百萬條常識編碼為機器可用的形式，包括「每棵樹都是植物」、「植物最終都會死亡」等基本知識，目前該知識庫已經(jīng)包含了320萬條人類定義的斷言，涉及30萬個概念，15000個謂詞。

Cyc 的主要推理機制類似于用「形式邏輯」表達的子句進行「定理證明」。

比如說給定一個場景：一個人看到自己的女兒邁出第一步（A person sees their daughter take her first step）。

此時AGI應該能夠回答出「在這種情況下，那個人在笑嗎？如果是的話，為什么？」（Is that person smiling, in that situation? And, if so, why?)

演繹推理的第一步是用邏輯表達情境和問題，設定3 個變量 p、d、e分別代表觀看的人、女兒和行走事件；?是AND（邏輯與）的符號。

圖片

問題可以表示為：

圖片

假設還有一套「常識性」公理可用于連接情境和問題，用自然語言來表達的話就是：

A1. 人們愛自己的孩子People love their children

圖片

A2. 如果你發(fā)現(xiàn)你愛的人取得了重大成就，你會感到高興If you find out that someone you love has accomplished something significant, it makes you happy

A3. 當一件事讓你開心時，你會微笑When something makes you happy, you smile

A4. 對人來說，邁出第一步是一項重大成就Taking one’s first step is a significant accomplishment for people

A5. 如果你看到某些事件發(fā)生，你就會知道表演者和動作If you see some event happening, you know the performer and the action

A6. 一個人的女兒也是他的孩子A person’s daughter is one of their children

假設這些經(jīng)驗法則都是默認為真，再結(jié)合否命題：

圖片

就可以逐步推理出一個全新的公理，并得出最終答案，進而回答出「為什么」。

Cyc項目的另一個優(yōu)勢是包含超1100個高級推理器，可以顯著提升推理速度。

可信AI的十六個能力

Cyc知識庫可以作為可信的知識源，輔助大型語言模型進行糾錯，可以更好地實現(xiàn)可信人工智能（trustworthy AI）。

1. 可解釋性（Explanation）

一個可信的AI不僅需要給出問題的答案，還要描述出答案生成背后的推理過程，例如用戶可以反復追問一系列「為什么會這樣」的問題，可以通過模型了解更多基礎知識，并最終歸結(jié)到第一性原理和「既定」的基本真理上。

模型在推理鏈中引用的每一個證據(jù)、知識、經(jīng)驗法則等，都需要給出其來源或出處。

圖片

在大多數(shù)情況下，這比人類之間相互交流的標準更高，但在科學領域，以及在涉及家庭保健、財務等非常重要的決策時，用戶也希望獲取更細節(jié)的信息。

模型的解釋應該盡可能簡明扼要，并且能夠根據(jù)上下文、用戶擁有（或推斷擁有）的先驗知識和隱性知識，以及用戶所處（或推斷所處）的資源限制，對細節(jié)進行優(yōu)先排序和篩選。

2. 演繹推理（Deduction）

一個可信的AI應該能夠像人類一樣進行演繹推理，比如說人知道國家有邊界，并且安道爾是一個國家的話，那么就可以推斷出安道爾有邊界。

算術(shù)推理也是一種演繹推理，如果有人進入了一個原本只有四個人的房間，那么房間里就會變成五個人。

圖片

下棋等游戲需要用到窮舉法推理，模型需要把所有可以行動的點列舉出來，再判斷可行性。

演繹推理還包括識別兩個陳述之間存在明顯矛盾或是冗余的的情況。

3. 歸納推理（Induction）

當某些結(jié)論無法從邏輯上推導出來時，可以作為演繹推理的補充，比如說動物的種類通常決定了其解剖結(jié)構(gòu)的主要特征，如果一個新的無脊椎動物叫做「無尾熊」，并且有八條腿和兩只翅膀，那可能會推斷出所有的無尾熊都有這種特征，不過這個結(jié)論可能是錯誤的，但也足以應對日常生活。

圖片

歸納推理更像是一種時間投射，比如某個結(jié)論在t1時間為真（現(xiàn)在有一棟房子），就可以推斷出它在t2時間點（兩年前或三年后擁有房子）為真的概率。

大多數(shù)此類預測都遵循一種概率衰減曲線（線性、正態(tài)、高斯等），每個方向都有相應的參數(shù)，類似的預測也適用于地點、安全性和其他數(shù)十個維度。

在邊界（如州界）和中斷事件（如離婚和賣房，或不太明顯的電話鈴聲）中，情況會發(fā)生變化。

4. 類比推理（Analogy）

人類的許多推理都涉及到對「表面上不相關」的事物之間進行類比，所以模型必須先了解可能存在類比關系的大量、廣泛的事物（物體、行為、屬性等）。

5. 溯因推理（Abductive Reasoning）

有時也稱為最佳解釋推論（inference to the best explanation），如果一個看門人在一個房間里看到了一套椅子，這套椅子看起來就像看門人前一天晚上觀察到的那套椅子，那么在其他條件相同的情況下，就可以推斷出（可能不正確，但卻是最好的解釋）就是這兩套椅子是同一套椅子。

6. 心智理論（Theory of Mind）

當我們與他人交談時，通常可以很快建立出一個很好的模型，可以了解對方知道什么、有能力做什么、關心什么等等，然后再用這個模型來引導互動：

比如與同事交談時更簡潔，與陌生人交談時描述更多細節(jié)，與幼兒交談時使用更簡單的概念和詞匯，或是考慮對方與自己有哪些共同的先驗知識等。

圖片

同樣地，對于AI來說，過于話癆會顯得居高臨下、過于簡潔可能會導致回答含糊不清，或是被誤解。

人工智能應該隨著與用戶互動的加深，不斷增加新的時間標記，而非只是覆蓋和保留最新的模型。

7. 量詞流暢性（Quantifier-fluency）

比如說「每個瑞典人都有一個國王」，并且「每個瑞典人都有一個母親」，雖然表述上相同，但瑞典人的國王只有一個，而母親卻是不同的。

在邏輯學中，可以使用存在量詞、全稱量詞可以避免這種歧義，不過普通人也可以從自然語言中區(qū)分開，因為在推理過程中會引入關于家庭、母親、君主制等常識。

8. 情態(tài)流暢性（Modal-fluency）

人們經(jīng)常會使用「我希望」、「我感覺」等短語來修飾句子，甚至可以包含相當深的嵌套語義關系，模型應當能正確理解句子主體。

9. 可撤銷性（Defeasibility）

人們聽到的、讀到的、說到的、相信的和推理出的很多東西都是默認為真，但新信息層出不窮，如果當時就知道這些信息的話，那么得出的許多結(jié)論可能會截然不同。

人工智能要想變得可信，就必須能夠吸收新信息，并修正先前的信念和答案。

對于某些關鍵應用場景，AI還需要主動告知用戶過去哪些回答是錯誤的，應該修改哪些過去給出的錯誤結(jié)論。

10.正反論證（Pro and Con Arguments）

許多復雜的現(xiàn)實問題都沒有明確的客觀答案，比如我應該上哪所大學？我應該買什么車？

在某些情況下，可以對所有可選項進行加權(quán)和評分，列舉出各自優(yōu)勢和劣勢，提供專家級的建議。

圖片

因為AI所知道的信息默認都是真實的，所以即使一些看似簡單的問題也可能存在多個相當不錯的選擇。

11. 上下文（Contexts）

同樣的一種說法，在不同的群體中可能適應性不同，例如「誰是瑞典國王」的答案隨時間變化而不同，大多數(shù)人類交流都會隱含一些上下文元素，可能會在訓練 LLM 時導致混淆問題。

在執(zhí)行任務時（例如與人互動），使用語境非常重要：可以推斷出為什么要問他們這個問題，他們可能受到什么資源限制，用戶處于什么語境中，他們的回答會有什么用途等等。

12. 元知識和元推理（Meta-knowledge and meta-reasoning）

一個可信的推理器，無論是人類還是AI，都需要能夠獲取并推理自己的知識，最好包括每個事實或經(jīng)驗法則的歷史和出處，并且應該對自己知道/不知道什么，以及自己在各種任務中的能力有多強/多差有一個準確而現(xiàn)實的模型。

人工智能應該能夠自省并解釋它為什么會改變昨天對某些事情的看法，并假設可能會導致它改變對某些事情看法的合理情景，然后緩存這些情景，并警惕可能會出現(xiàn)這些情景的跡象。

另一種重要的元推理是批判性思維，即是否以及何時可以相信某些特定的信息來源，心智理論、語境、正反論證（上文）也都可以被視為元知識和元推理的類型。

13. 明確的道德規(guī)范（Explicitly ethical）

可信的AI應該遵循看似不可侵犯的核心指導原則，例如不撒謊、不造成情感或身體傷害，不過這些原則往往是模糊的、復雜的、相互沖突的，而且是不斷變化的，需要通過元推理來解決。

人工智能需要根據(jù)「契約」對與之互動的每一個人或每一群人做出承諾，并信守承諾，例如不泄露機密。

14. 足夠快的運行速度（Sufficient speed）

就像人類在完成一項任務一樣，人工智能也需要根據(jù)所處理問題的類型提供足夠的響應速度，有些應用需要微秒級的響應時間，有些需要實時的人機對話響應時間（1/4 秒左右），還有一些應用運行速度較慢也沒關系，比如撰寫一份200頁的美國國立衛(wèi)生研究院撥款提案）。

15. 充分的語言性和具身性（Sufficiently Lingual and Embodied）

人類能夠用自然語言交談，或聽和說（理解并產(chǎn)生適當?shù)那白啵蛞曈X解析場景和識別物體、四處走動、操縱實物、使用儀器和設備，能感知質(zhì)地、壓力、溫度、氣味等。

16、廣泛而深刻的知識（Broadly and Deeply Knowledgeable）

在人們交流過程中，默認對方擁有關于世界的大量共同基礎知識，從常識到交通、天氣、犯罪等模型。

在互聯(lián)網(wǎng)時代，存儲知識變得沒那么重要，可信的AI應該掌握搜索能力，并解釋這些知識，推理其出處和可信度，推導出邏輯上順理成章的事情，至少像大多數(shù)人一樣善于類比（和從類比中類比），并在必要時盡快完成所有這些工作。

參考資料：https://arxiv.org/ftp/arxiv/papersw2308/2308.04445.pdf

關鍵詞：