近日，上海交通大學(xué)長(cháng)聘教授、通用人工智能研究所所長(cháng)趙海收到兩個(gè)好消息：一是他帶領(lǐng)團隊研發(fā)的“腦啟發(fā)大語(yǔ)言模型”入選了“交大2030”計劃B類(lèi)，獲得500萬(wàn)元經(jīng)費支持;二是他的研究方向列入了上海市科委“類(lèi)腦智能”項目申報指南，這份指南設立“顛覆性技術(shù)研究”專(zhuān)題，支持科學(xué)家探索腦啟發(fā)類(lèi)腦智能的新原理和新方法，研究新型非Transformer架構的類(lèi)腦大模型通用架構。

　　Transformer是谷歌在2017年提出的一種深度學(xué)習架構，此后經(jīng)OpenAI持續開(kāi)發(fā)，徹底改變了自然語(yǔ)言處理、計算機視覺(jué)等領(lǐng)域的技術(shù)格局，成為人工智能大模型普遍采用的架構。那么，上海為何要布局顛覆這種架構的科技項目?類(lèi)腦大模型的研發(fā)進(jìn)展如何?記者在采訪(fǎng)中了解到值得關(guān)注的階段性成果。

　　從腦科學(xué)成果中獲得靈感

　　ChatGPT風(fēng)靡全球后不久，就有一些人工智能知名專(zhuān)家質(zhì)疑Transformer架構的發(fā)展潛力。比如，圖靈獎得主楊立昆認為，這種架構面臨計算成本高、缺乏對復雜世界的理解、決策過(guò)程“黑箱化”等瓶頸，未來(lái)無(wú)法實(shí)現科學(xué)家夢(mèng)寐以求的通用人工智能——智能體具有高效的學(xué)習和泛化能力，能根據所處的復雜環(huán)境自主提出并完成任務(wù)，且符合人類(lèi)倫理規范。

　　今年1月，諾貝爾化學(xué)獎得主哈薩比斯談及通用人工智能時(shí)說(shuō)：“也許我們還需要1—2個(gè)類(lèi)似Transformer的突破。”這意味著(zhù)，Transformer很可能不是大模型架構的最終方案，在探索通用人工智能的道路上，還需要有大的創(chuàng )新突破。

　　

 

　　Transformer很可能不是實(shí)現通用人工智能(AGI)的最終方案。

　　模擬人腦，是創(chuàng )新大模型架構的一條路徑，因為作為大自然進(jìn)化的產(chǎn)物，人腦就是一種通用人工智能體。“2016年，加州大學(xué)伯克利分校團隊在《自然》雜志發(fā)表了一篇論文，他們發(fā)現，大腦皮層的不同區域可編碼特定的語(yǔ)義內容。”趙海向記者介紹了這項腦科學(xué)成果。大模型架構可否模擬大腦的語(yǔ)義編碼機制?2023年9月，這位交大教授有了創(chuàng )新靈感，打算顛覆Transformer架構，研發(fā)一種“腦啟發(fā)大語(yǔ)言模型”。

　　于是，他自籌科研經(jīng)費，租借GPU服務(wù)器，帶領(lǐng)團隊走進(jìn)了類(lèi)腦智能領(lǐng)域的“無(wú)人區”。當時(shí)，用于訓練大模型的GPU服務(wù)器處于價(jià)格高位，趙海團隊每月要花18萬(wàn)元租金。至于研發(fā)能否成功，完全是個(gè)未知數。面對雙重壓力，他選擇了堅持，因為他相信：通用人工智能的真正基石隱藏在人類(lèi)大腦中。

　　新范式模擬人腦全局機制

　　今年3月，150億參數的“腦啟發(fā)大語(yǔ)言模型”(BriLLM)問(wèn)世，交大團隊開(kāi)源發(fā)布了這個(gè)中文大模型的代碼和模型權重。5月，他們發(fā)布了“腦啟發(fā)大語(yǔ)言模型”中文、英文壓縮版，其大小分別為20億和10億參數，但性能與150億參數大模型相當。測試顯示，這3個(gè)非Transformer架構類(lèi)腦大模型的生成能力達到GPT-1水平，引起了華為公司Fellow蔡華等專(zhuān)家的關(guān)注。

　　“BriLLM是首個(gè)在宏觀(guān)尺度上模擬人腦全局機制的大語(yǔ)言模型，對機器學(xué)習范式做了顛覆性創(chuàng )新。”趙海介紹，它采用“信號全連接流動(dòng)”機制，以取代Transformer架構的自注意力機制。這種新的機器學(xué)習范式模擬大腦皮層編碼特定語(yǔ)義的方式，將詞元(token)直接映射為“有向全連接圖”模型架構上的一個(gè)個(gè)節點(diǎn)，讓每個(gè)節點(diǎn)對應一個(gè)語(yǔ)義單元。它還模擬腦電波的傳播方式，讓信號沿著(zhù)“最小阻力”路徑，在“有向全連接圖”上不斷傳播，選擇性地激活一些語(yǔ)義單元節點(diǎn)，使大模型生成準確的文字內容。

　　

 

　　“信號全連接流動(dòng)”機制示意圖

　　與Transformer架構大模型相比，“腦啟發(fā)大語(yǔ)言模型”有四大潛在優(yōu)勢：通過(guò)模擬人腦的語(yǔ)義編碼和信號傳播機制，獲得人腦的低能耗優(yōu)勢，大模型計算成本有望大幅降低;每個(gè)節點(diǎn)都對應明確語(yǔ)義，決策過(guò)程透明可解釋?zhuān)舜竽Ｐ蜎Q策的“黑箱”問(wèn)題，有利于確保人工智能安全可控;由于信號可在各個(gè)節點(diǎn)間無(wú)限制傳播，它有望支持無(wú)限長(cháng)的上下文輸入，且無(wú)須增加模型規模;與多模態(tài)天然適配，在學(xué)習圖像和視頻時(shí)更接近人類(lèi)學(xué)習方式，不依賴(lài)大數據。

　　憑借這些優(yōu)勢，趙海團隊經(jīng)過(guò)4輪評審，獲得了“交大2030”計劃B類(lèi)立項支持。B類(lèi)項目倡導“從 0 到 1”的原始創(chuàng )新，瞄準世界級基礎科學(xué)問(wèn)題。它不設論文指標，允許項目團隊在科研領(lǐng)域自由使用經(jīng)費。“我們打算把500萬(wàn)元主要用于購買(mǎi)算力，未來(lái)兩年開(kāi)發(fā)出像ChatGPT那樣的對話(huà)式大模型，與Transformer架構大模型展開(kāi)競爭。”得到項目支持后，趙海對這一顛覆性創(chuàng )新的前景更有信心了。

　　瞄準百億參數大模型目標

　　在類(lèi)腦大模型這一前沿領(lǐng)域，趙海并不是獨行者。記者從中國科學(xué)院腦智卓越中心了解到，腦認知與類(lèi)腦智能全國重點(diǎn)實(shí)驗室研究員李國齊在研發(fā)“類(lèi)腦通用智能大模型”。他的技術(shù)路線(xiàn)與趙海不同，主要在微觀(guān)尺度上模擬大腦神經(jīng)元的激活方式。

　　李國齊認為，Transformer架構大模型的基礎是“點(diǎn)神經(jīng)元模型+自注意力機制”，而人腦的基本計算單位是樹(shù)突神經(jīng)元模型。它比點(diǎn)神經(jīng)元模型復雜得多，呈樹(shù)狀結構，包含多個(gè)分支和房室，每個(gè)分支和房室都存在不同參數的動(dòng)力學(xué)過(guò)程，使樹(shù)突神經(jīng)元模型擁有多尺度的記憶能力。“我們的目標是研究可否將這種人腦機制融入現有大模型，構建一個(gè)通用的類(lèi)腦智能大模型架構。”

　　為此，他帶領(lǐng)團隊開(kāi)展了一系列探索：在理論層面，發(fā)表了關(guān)于脈沖神經(jīng)網(wǎng)絡(luò )訓練算法的多篇論文，將脈沖神經(jīng)網(wǎng)絡(luò )從過(guò)去的5—10層拓展到50—500層;在神經(jīng)元模型層面，提出了多房室、多分支的并行脈沖神經(jīng)元模型，在解決長(cháng)序列建模問(wèn)題上取得進(jìn)展;在架構層面，提出了“樹(shù)突脈沖神經(jīng)網(wǎng)絡(luò )”這個(gè)概念，將源自人腦的神經(jīng)元模型納入機器學(xué)習框架。

　　談及未來(lái)研發(fā)計劃，李國齊說(shuō)：“我們希望通過(guò)跨學(xué)科合作，推動(dòng)算法、訓練平臺和芯片的深度整合，構建百億至千億參數規模的通用類(lèi)腦大模型。”

　　趙海也打算開(kāi)發(fā)百億參數規模的類(lèi)腦大模型。未來(lái)兩年，他將帶領(lǐng)團隊完成中文和英文預訓練、指令微調能力構建、高效推理部署三項任務(wù)，開(kāi)發(fā)出規模不低于300億參數的中文和英文“腦啟發(fā)大語(yǔ)言模型”，讓用戶(hù)體驗到非Transformer架構大模型的優(yōu)勢。

　　“我們團隊已走通‘從0到1’的原始創(chuàng )新，接下來(lái)要做的是‘從1到10’的升級突破。希望得到政府部門(mén)更多的算力支持，讓我們加快迭代類(lèi)腦大模型。”趙海說(shuō)。

　　原標題：《上海布局“類(lèi)腦大模型”顛覆性創(chuàng )新項目，交大教授挑戰大模型主流架構》

　　欄目主編：黃海華

　　來(lái)源：作者：解放日報 俞陶然