現在提到 AI 的時(shí)候，大家已經(jīng)很少聯(lián)想到電影《終結者》中的天網(wǎng)那樣有自己獨特思維邏輯以至于得出了反人類(lèi)結論的「超人類(lèi)智能」了。這當然是件好事，說(shuō)明我們都知道了現階段的 AI 并不具有那樣的邏輯思維能力，沿著(zhù)現有方向繼續發(fā)展下去也不會(huì )有;也說(shuō)明我們已經(jīng)了解了身邊就有形形色色的運用機器學(xué)習解決具體問(wèn)題的技術(shù)成果。

　　但我們同時(shí)也面對著(zhù)一個(gè)新問(wèn)題，就是隨著(zhù)人類(lèi)用模型做出越來(lái)越多的決策，模型所看重的因素真的和設計它的人類(lèi)所希望的一樣嗎?又或者，模型完全捕捉了設計者提供的數據中的模式，但數據本身卻含有設計者沒(méi)有意識到的偏見(jiàn)。這時(shí)候我們又要怎么辦?

　　DeepMind 安全團隊的這篇文章就對相關(guān)問(wèn)題做出了一些討論、提出了一些見(jiàn)解。它概述了 DeepMind 近期一篇論文《Scalable agent alignment via reward modeling: a research direction》中提出的研究方向;這篇論文試圖為「智能體對齊」問(wèn)題提供一個(gè)研究方向。由此他們提出了一個(gè)基于獎勵建模的遞歸式應用的方法，讓機器在充分理解用戶(hù)意圖的前提下，再去解決真實(shí)世界中的復雜問(wèn)題。雷鋒網(wǎng) AI 科技評論編譯如下。

　　近些年，強化學(xué)習在許多復雜的游戲環(huán)境中展現出令人驚嘆的實(shí)力，從 Atari 游戲、圍棋、象棋到 Dota 2 和星際爭霸 II，AI 智能體在許多復雜領(lǐng)域的表現正在迅速超越人類(lèi)。對研究人員來(lái)說(shuō)，游戲是嘗試與檢驗機器學(xué)習算法的理想平臺，在游戲中，必須動(dòng)用綜合認知能力才能完成任務(wù)，跟解決現實(shí)世界問(wèn)題所需的能力并無(wú)兩樣。此外，機器學(xué)習研究人員還可以在云上并行運行上千個(gè)模擬實(shí)驗，為學(xué)習系統提供源源不斷的訓練數據。

　　最關(guān)鍵的一點(diǎn)是，游戲往往都有明確的目標任務(wù)，以及反映目標完成進(jìn)度的打分系統。這個(gè)打分系統不但能夠為強化學(xué)習智能體提供有效的獎勵信號，還能使我們迅速獲得反饋，從而判斷哪個(gè)算法和框架的表現最好。

　　讓智能體與人類(lèi)一致

　　不過(guò)，AI 的終極目標是幫助人類(lèi)應對現實(shí)生活中日益復雜的挑戰，然而現實(shí)生活中沒(méi)有設置好的獎勵機制，這對于人類(lèi)評價(jià) AI 的工作表現來(lái)說(shuō)形成了挑戰。因此，需要盡快找到一個(gè)理想的反饋機制，讓 AI 能夠充分理解人類(lèi)的意圖并幫助人類(lèi)達成目標。換句話(huà)說(shuō)，我們希望用人類(lèi)的反饋對 AI 系統進(jìn)行訓練，使其行為能夠與我們的意圖保持一致。為了達到這個(gè)目的，DeepMind 的研究人員們定義了一個(gè)「智能體對齊」問(wèn)題如下：

　　如何創(chuàng )建行為與用戶(hù)意圖保持一致的智能體?

　　這個(gè)對齊問(wèn)題可以歸納在強化學(xué)習的框架中，差異在于智能體是通過(guò)交互協(xié)議與用戶(hù)進(jìn)行交流、了解他們的意圖，而非使用傳統的數值化的獎勵信號。至于交互協(xié)議的形式可以有很多種，當中包括演示(模仿學(xué)習，如谷歌的模仿學(xué)習機器人)、偏好傾向(人類(lèi)直接評價(jià)結果，如 OpenAI 和 DeepMind 的你做我評 )、最優(yōu)動(dòng)作、傳達獎勵函數等?？偟膩?lái)說(shuō)，智能體對齊問(wèn)題的解決方案之一，就是創(chuàng )建一個(gè)能讓機器根據用戶(hù)意圖運作的策略。

　　DeepMind 的論文《Scalable agent alignment via reward modeling: a research direction》中概述了一個(gè)正面解決「智能體對齊」問(wèn)題的研究方向?；谶^(guò)去在 AI 安全問(wèn)題分類(lèi)和 AI 安全問(wèn)題闡述方面所做的工作，DeepMind 將描述這些領(lǐng)域至今所取得的進(jìn)展，從而啟發(fā)大家得到一個(gè)對于智能體對齊問(wèn)題的解決方案，形成一個(gè)善于高效溝通，會(huì )從用戶(hù)反饋中學(xué)習，并且能準確預測用戶(hù)偏好的系統。無(wú)論是應對當下相對簡(jiǎn)單的任務(wù)，還是未來(lái)日趨復雜、抽象化的、甚至超越人類(lèi)理解能力的任務(wù)，他們希望系統都能勝任有余。

　　通過(guò)獎勵建模進(jìn)行對齊

　　DeepMind 這項研究方向的核心在于獎勵建模。他們首先會(huì )訓練一個(gè)包含用戶(hù)反饋的獎勵模型，通過(guò)這種方式捕捉用戶(hù)的真實(shí)意圖。與此同時(shí)，通過(guò)強化學(xué)習訓練一個(gè)策略，使獎勵模型的獎勵效果最大化。換句話(huà)說(shuō)，他們把學(xué)習做什么(獎勵模型)與學(xué)習怎么做(策略)區分了開(kāi)來(lái)。

　　獎勵建模示意圖：獎勵模型基于用戶(hù)反饋進(jìn)行訓練，以便更好地捕捉用戶(hù)意圖;同一時(shí)間，獎勵模型為經(jīng)過(guò)強化學(xué)習訓練的智能體提供獎勵。

　　過(guò)去 DeepMind 做過(guò)一些類(lèi)似的工作，比如教智能體根據用戶(hù)喜好做后空翻，根據目標示例將物件排成特定形狀，根據用戶(hù)的喜好和專(zhuān)業(yè)的演示玩 Atari 游戲(你做我評 )。在未來(lái)，DeepMind 的研究人員們還希望可以研究出一套算法，讓系統可以根據用戶(hù)的反饋迅速調整自己去適應用戶(hù)的行為模式。(比如通過(guò)自然語(yǔ)言)

　　擴大獎勵模型規模

　　從長(cháng)遠來(lái)看，DeepMind 的研究人員們希望可以將獎勵模型的規模擴大至一些目前對人類(lèi)評估能力來(lái)說(shuō)還比較復雜的領(lǐng)域。要做到這一點(diǎn)，他們必須提升用戶(hù)評估結果的能力。因此，他們也將闡述如何遞歸地應用獎勵模型：通過(guò)獎勵模型訓練智能體，使其能在用戶(hù)的評估過(guò)程中提供幫助。一旦評估變得比行為簡(jiǎn)單，也就意味著(zhù)系統可以從簡(jiǎn)單的任務(wù)過(guò)渡至更加普遍、復雜的任務(wù)。這也可以看作迭代擴增(iterated amplification)的實(shí)例(詳情見(jiàn)「超級 AI」的種子?復雜到人類(lèi)難以評價(jià)的問(wèn)題，可以教會(huì )一個(gè) AI )。

　　遞歸獎勵模型的示意圖：經(jīng)過(guò)遞歸獎勵模型訓練的智能體(右邊的小圈圈)將幫助用戶(hù)評估由正在被訓練的智能體(右邊打圈圈)產(chǎn)出的結果

　　舉例說(shuō)明，比如想要通過(guò)訓練智能體來(lái)設計計算機芯片，為了評估所提議的芯片設計的可行性，我們會(huì )通過(guò)獎勵模型訓練一組智能體「助手」，幫助我們完成芯片模擬性能基準測試、計算散熱性能、預估芯片的壽命、發(fā)現安全漏洞等任務(wù)。智能體「助手」輸出的成果幫助用戶(hù)評估了芯片設計的可行性，接著(zhù)用戶(hù)可以據此來(lái)訓練芯片設計智能體。雖然說(shuō)智能體「助手」需要解決的一系列任務(wù)，對于今天的學(xué)習系統來(lái)說(shuō)難度還是有點(diǎn)高，然而總比直接讓它設計一個(gè)計算機芯片要容易：想設計出計算機芯片，你必須理解設計過(guò)程中的每一項評估任務(wù)，反之卻不然。從這個(gè)角度來(lái)說(shuō)，遞歸獎勵模型可以讓我們對智能體提供「支持」，使其能在和用戶(hù)意圖保持一致的情況下，去解決越來(lái)越難的任務(wù)。

　　研究面臨的挑戰

　　如果想將獎勵模型應用到復雜的問(wèn)題上，有幾項挑戰依然等待著(zhù)我們去克服。下圖展示了 5 項在研究中可能面臨的挑戰，對此感興趣的同學(xué)可以查閱 DeepMind 論文，文中詳細描述了這些挑戰及對應的解決方案。

　　當我們擴大獎勵建模時(shí)將會(huì )遇到的挑戰(左側)以及最有希望的解決方案(右側)

　　這提醒了我們關(guān)于智能體對齊問(wèn)題的最后一個(gè)關(guān)鍵要素：一旦要在現實(shí)世界中投入使用智能體，首先我們需要向用戶(hù)證明這些智能體已經(jīng)充分對齊。為此，DeepMind 在文中提出了 5 項有助于提高用戶(hù)對于智能體信任度的研究途徑，它們是：設計選擇、測試、可解釋性、形式驗證和理論保證。他們還有一個(gè)充滿(mǎn)野心的想法，那就是為產(chǎn)品制作安全證書(shū)，證書(shū)主要用于證明開(kāi)發(fā)技術(shù)的可靠性，以及增強用戶(hù)使用訓練智能體進(jìn)行工作的信心。

　　未來(lái)的研究方向

　　雖然 DeepMind 的研究人員們深信遞歸獎勵模型會(huì )是智能體對齊訓練非常有前景的一個(gè)研究方向，然而他們目前無(wú)法預估這個(gè)方向在未來(lái)會(huì )怎么發(fā)展(需要大家進(jìn)行更多的研究!)。不過(guò)值得慶祝的是，專(zhuān)注智能體對齊問(wèn)題的其它幾種研究方向也同時(shí)有別的研究人員正在做出成果：

　　模仿學(xué)習

　　短視強化學(xué)習(Myopic reinforcement learning)

　　逆強化學(xué)習(Inverse reinforcement learning)

　　合作逆強化學(xué)習

　　迭代擴增(復雜到人類(lèi)難以評價(jià)的問(wèn)題，可以教會(huì )一個(gè) AI )

　　通過(guò)爭論學(xué)習(人和人吵架生氣，但 AI 和 AI 吵架反倒可以帶來(lái)安全 )

　　智能體基礎組件設計(Agent foundations)

　　DeepMind 也在文中探討了這幾種研究方向的異同之處。

　　如同計算機視覺(jué)系統對于對抗性輸入的魯棒性研究對當今的機器學(xué)習實(shí)際應用至關(guān)重要，智能體對齊研究同樣有望成為機器學(xué)習系統在復雜現實(shí)世界進(jìn)行部署的關(guān)鍵鑰匙?？傊?，人類(lèi)有理由保持樂(lè )觀(guān)：雖然學(xué)術(shù)研究上很可能會(huì )在試圖擴大獎勵模型時(shí)面臨挑戰，然而這些挑戰都是一些有望解決的具體技術(shù)性問(wèn)題。從這個(gè)意義上說(shuō)，這個(gè)研究方向已經(jīng)準備就緒，可以對深度強化學(xué)習智能體進(jìn)行實(shí)證研究。

　　協(xié)助課題研究取得進(jìn)展是 DeepMind 日常工作中很重要的一個(gè)主題。如果作為研究者、工程師或者有天賦的通才，有興趣參與 DeepMind 的研究中來(lái)，DeepMind 也歡迎他們申請加入自己的研究團隊。
　?。?a href="http://www.lsbmaoyi.com">邯鄲網(wǎng)站建設）