Meta 推出下一代訓(xùn)練和推理加速器 （MTIA） 芯片
發(fā)布時間：2024-04-11 10:15:48 熱度：924
4/11/2024，光纖在線訊，據(jù)外媒報道：Meta 透露了有關(guān)其下一代 Meta 訓(xùn)練和推理加速器 （MTIA） 的詳細信息，這是一個旨在優(yōu)化公司 AI 工作負載的定制芯片系列。與前身 MTIA v1 相比，最新版本展示了顯著的性能改進，并在為 Meta 的廣告排名和推薦模型提供支持方面發(fā)揮了至關(guān)重要的作用。
新的 MTIA 芯片是 Meta 對 AI 基礎(chǔ)設(shè)施不斷增長的投資的一部分，旨在補充現(xiàn)有和未來的 AI 系統(tǒng)，以改善其產(chǎn)品和服務(wù)的用戶體驗。隨著 AI 模型的計算需求隨著其復(fù)雜性的不斷提高，Meta 認識到開發(fā)高效且可擴展的解決方案以支持生成式 AI （GenAI） 產(chǎn)品、推薦系統(tǒng)和高級 AI 研究的重要性。
在引擎蓋下，新的MTIA芯片具有8x8的處理元件（PE）網(wǎng)格，可大幅提升密集計算性能（比MTIA v1提高3.5倍）和稀疏計算性能（提高7倍）。該芯片的架構(gòu)專注于實現(xiàn)計算、內(nèi)存帶寬和內(nèi)存容量的最佳平衡，以便有效地為排名和推薦模型提供服務(wù)，即使批量大小相對較小。
圖源：Meta官網(wǎng)
此外，Meta 開發(fā)了一個大型機架式系統(tǒng)，可容納多達 72 個加速器，以支持下一代芯片。該系統(tǒng)旨在將芯片的時鐘頻率從 800 MHz 提高到 1.35GHz，并以 90 瓦的功率運行，與第一代設(shè)計相比，確保具有更高的計算、內(nèi)存帶寬和內(nèi)存容量的更密集的功能。
自 Meta 開始投資 MTIA 以來，軟件一直是其重點關(guān)注的領(lǐng)域。MTIA 堆棧旨在與 PyTorch 2.0 以及 TorchDynamo 和 TorchInductor 等功能完全集成。Meta 還通過創(chuàng)建 Triton-MTIA 編譯器后端來優(yōu)化軟件堆棧，該后端為 MTIA 硬件生成高性能代碼并提高開發(fā)人員的工作效率。
早期結(jié)果表明，在評估的四個關(guān)鍵型號中，下一代MTIA芯片的性能比第一代芯片提高了3倍。在平臺層面，Meta 的設(shè)備數(shù)量增加了一倍，并配備了強大的 2 插槽 CPU，與第一代 MTIA 系統(tǒng)相比，實現(xiàn)了 6 倍的型號服務(wù)吞吐量和 1.5 倍的每瓦性能提升。
目前，MTIA 已經(jīng)部署在 Meta 的數(shù)據(jù)中心，并正在積極為生產(chǎn)中的模型提供服務(wù)。事實證明，該芯片與商用 GPU 高度互補，可在 Meta 特定工作負載上提供性能和效率的最佳組合。作為 Meta 長期路線圖的一部分，MTIA 將繼續(xù)發(fā)展和擴展，以支持公司雄心勃勃的 AI 目標，包括支持 GenAI 工作負載以及對內(nèi)存帶寬、網(wǎng)絡(luò)和容量的投資。
來源：maginative
新的 MTIA 芯片是 Meta 對 AI 基礎(chǔ)設(shè)施不斷增長的投資的一部分，旨在補充現(xiàn)有和未來的 AI 系統(tǒng)，以改善其產(chǎn)品和服務(wù)的用戶體驗。隨著 AI 模型的計算需求隨著其復(fù)雜性的不斷提高，Meta 認識到開發(fā)高效且可擴展的解決方案以支持生成式 AI （GenAI） 產(chǎn)品、推薦系統(tǒng)和高級 AI 研究的重要性。
在引擎蓋下，新的MTIA芯片具有8x8的處理元件（PE）網(wǎng)格，可大幅提升密集計算性能（比MTIA v1提高3.5倍）和稀疏計算性能（提高7倍）。該芯片的架構(gòu)專注于實現(xiàn)計算、內(nèi)存帶寬和內(nèi)存容量的最佳平衡，以便有效地為排名和推薦模型提供服務(wù)，即使批量大小相對較小。
此外，Meta 開發(fā)了一個大型機架式系統(tǒng)，可容納多達 72 個加速器，以支持下一代芯片。該系統(tǒng)旨在將芯片的時鐘頻率從 800 MHz 提高到 1.35GHz，并以 90 瓦的功率運行，與第一代設(shè)計相比，確保具有更高的計算、內(nèi)存帶寬和內(nèi)存容量的更密集的功能。
自 Meta 開始投資 MTIA 以來，軟件一直是其重點關(guān)注的領(lǐng)域。MTIA 堆棧旨在與 PyTorch 2.0 以及 TorchDynamo 和 TorchInductor 等功能完全集成。Meta 還通過創(chuàng)建 Triton-MTIA 編譯器后端來優(yōu)化軟件堆棧，該后端為 MTIA 硬件生成高性能代碼并提高開發(fā)人員的工作效率。
早期結(jié)果表明，在評估的四個關(guān)鍵型號中，下一代MTIA芯片的性能比第一代芯片提高了3倍。在平臺層面，Meta 的設(shè)備數(shù)量增加了一倍，并配備了強大的 2 插槽 CPU，與第一代 MTIA 系統(tǒng)相比，實現(xiàn)了 6 倍的型號服務(wù)吞吐量和 1.5 倍的每瓦性能提升。
目前，MTIA 已經(jīng)部署在 Meta 的數(shù)據(jù)中心，并正在積極為生產(chǎn)中的模型提供服務(wù)。事實證明，該芯片與商用 GPU 高度互補，可在 Meta 特定工作負載上提供性能和效率的最佳組合。作為 Meta 長期路線圖的一部分，MTIA 將繼續(xù)發(fā)展和擴展，以支持公司雄心勃勃的 AI 目標，包括支持 GenAI 工作負載以及對內(nèi)存帶寬、網(wǎng)絡(luò)和容量的投資。
來源：maginative
