微軟研究人員日前推出了名為 ZeRO++ 的新技術(shù)，用于優(yōu)化在訓練大型 AI 模型時(shí)，容易遇到的數據傳輸成本和帶寬限制的難題，可顯著(zhù)減少大模型訓練時(shí)間和成本。

　　據悉，ZeRO++ 建立在現有的 ZeRO 傳輸技術(shù)基礎上，并提供增強的通信策略，可提高訓練效率，同時(shí)減少訓練時(shí)間和成本。

圖片來(lái)自網(wǎng)絡(luò )/侵刪

　　為了減少參數通信量，ZeRO++ 可對權重進(jìn)行量化，其利用基于塊的量化方法來(lái)保持訓練精度，這種優(yōu)化的量化過(guò)程相對原始 Zero 傳輸技術(shù)更快更準確。為了能夠盡量減少通信開(kāi)銷(xiāo)，ZeRO++ 通過(guò)在每臺機器上保持完整的模型副本，以向 GPU 顯存換取通信帶寬。而在梯度通信方面，ZeRO++ 引入了一種名為 qgZ 的新的量化梯度通信方式，可以減少跨節點(diǎn)的流量和延遲。

　　這些改進(jìn)的通信技術(shù)大大減少了通信量，微軟研究人員表示，與 ZeRO 相比，ZeRO++ 減少了高達 4 倍的通信量，提高了訓練吞吐量和效率。當在每個(gè) GPU 上使用小批量大小時(shí)，在高帶寬集群中，ZeRO++ 相比 ZeRO-3 的吞吐量提高了 28% 至 36%。在低帶寬集群中，與 ZeRO-3 相比，ZeRO++ 實(shí)現了平均 2 倍的加速，使得大模型訓練在更多種類(lèi)的集群上更為可行。

　　IT之家注意到，例如 Turing-NLG、ChatGPT 和 GPT-4 這樣的大型模型，其訓練需要跨多個(gè) GPU 設備占用大量顯存和計算資源，而 ZeRO++ 引入了通信優(yōu)化策略，以克服在低帶寬集群上進(jìn)行訓練時(shí)原有 ZeRO 傳輸技術(shù)的帶寬限制。目前微軟已經(jīng)放出了相關(guān)技術(shù)文檔，研究人員可以利用 ZeRO++ 更有效地訓練模型，在 AI 領(lǐng)域探索新的可能性。
　?。?a href="http://www.lsbmaoyi.com">碼上科技）

緯創(chuàng )將斥資 9.99 億元...

最后一頁(yè)