我們擅長(cháng)商業(yè)策略與用戶(hù)體驗的完美結合。
歡迎瀏覽我們的案例。
近日，有媒體報道稱(chēng)，百度正加緊訓練文心大模型 4.0，這將是文心大模型 3.5 版本后又一個(gè)重磅版本。據報道，文心大模型 4.0 進(jìn)展比預期快很多，將是基礎模型的大升級，理解、生成、邏輯、記憶核心能力都將提升，特別是在邏輯推理、代碼和數學(xué)等方面提升最明顯。
10 月 10 日，記者從百度內部人士基本確認了該消息，據悉，即將推出的文心大模型 4.0 的參數量、訓練數據量以及推理成本等都比 3.5 高出一個(gè)數量級。
今年 3 月 16 日，百度官宣新一代大語(yǔ)言模型“文心一言”啟動(dòng)邀測，8 月 31 日正式面向公眾開(kāi)放服務(wù)。如今，文心大模型即將再度升級發(fā)布 4.0 版，如此迅速的大模型升級速度，在國內尚屬唯一。只不過(guò)，快速升級的背后，文心大模型 4.0 快速攀升的參數量、數據量所帶來(lái)的訓練和推理成本提升，也正在成為大模型商業(yè)化過(guò)程中需要考慮的重點(diǎn)。
據此前消息報道，相比文心大模型 3.5，文心 4.0 不僅訓練成本在增加，推理成本也增加了很多，大概是此前的8-10 倍。一直以來(lái)，百度并未對外披露大模型訓練、推理的各項成本，不過(guò)據國盛證券此前估算，GPT-3 訓練一次的成本約為 140 萬(wàn)美元，對于一些更大的 LLM 模型(如擁有 2800 億參數的 Gopher 和擁有 5400 億參數的 PaLM)，訓練成本介于 200 萬(wàn)美元至 1200 萬(wàn)美元之間。作為國內大語(yǔ)言模型代表，文心一言想要在性能上追趕甚至超越 ChatGPT 等國外同行，所需耗費的資金成本，恐怕也將與之相當。
過(guò)高的訓練和推理成本壓力下，在打造領(lǐng)先的底層基礎大模型的路上，注定只能是一場(chǎng)巨頭間的游戲。不過(guò)對于百度而言，由于具備萬(wàn)卡集群、飛槳、文心大模型以及豐富的百度應用生態(tài)優(yōu)勢，獨具芯片、框架、模型及應用四層架構優(yōu)勢，更具技術(shù)競爭力。
在進(jìn)一步降低大模型算力成本和時(shí)間成本上，百度萬(wàn)卡集群的整體優(yōu)勢已得到充分體現——在萬(wàn)卡集群訓練大模型時(shí)，常規方法下工程師們有 30%-40% 時(shí)間都花在容錯和故障恢復上，而在百度智能云自研的集群組網(wǎng)故障管理機制下，模型有效訓練時(shí)間達到 95% 以上，人力及算力資源均得到了利用。
真金白銀投入的背后，目前國外大模型廠(chǎng)商已開(kāi)始嘗試收費模式，無(wú)論是在面向企業(yè)客戶(hù)的B端垂類(lèi)大模型開(kāi)發(fā)，還是面向消費群體的 To C 付費產(chǎn)品，均有不少案例。例如，在面向C端消費者付費領(lǐng)域，目前 GPT-4 已推出“每月支付 20 美元訂閱費”的收費模式。
可以預見(jiàn)，不遠的將來(lái)，以百度為代表的大模型企業(yè)們，或將陸續推出收費模式。在 To C 大模型 AI 應用層面，類(lèi)似愛(ài)奇藝或百度網(wǎng)盤(pán) VIP 會(huì )員的收費模式，也將不斷浮現，逐漸培養用戶(hù)付費習慣。
