(相關資料圖)

品玩 6 月 27 日訊，據(jù)微軟官方消息，微軟研究人員日前推出了名為 ZeRO++ 的新技術，可顯著減少大模型訓練時間和成本。

ZeRO++ 建立在 ZeRO 傳輸技術基礎上，提供增強的通信策略，可提高訓練效率，同時減少訓練時間和成本。ZeRO++ 可對權重進行量化，其利用基于塊的量化方法來保持訓練精度，這種優(yōu)化的量化過程相對原始 Zero 傳輸技術更快更準確。