4/11/2024，光纖在線訊，據(jù)外媒報(bào)道：Meta 透露了有關(guān)其下一代 Meta 訓(xùn)練和推理加速器 （MTIA） 的詳細(xì)信息，這是一個(gè)旨在優(yōu)化公司 AI 工作負(fù)載的定制芯片系列。與前身 MTIA v1 相比，最新版本展示了顯著的性能改進(jìn)，并在為 Meta 的廣告排名和推薦模型提供支持方面發(fā)揮了至關(guān)重要的作用。

     新的 MTIA 芯片是 Meta 對(duì) AI 基礎(chǔ)設(shè)施不斷增長(zhǎng)的投資的一部分，旨在補(bǔ)充現(xiàn)有和未來的 AI 系統(tǒng)，以改善其產(chǎn)品和服務(wù)的用戶體驗(yàn)。隨著 AI 模型的計(jì)算需求隨著其復(fù)雜性的不斷提高，Meta 認(rèn)識(shí)到開發(fā)高效且可擴(kuò)展的解決方案以支持生成式 AI （GenAI） 產(chǎn)品、推薦系統(tǒng)和高級(jí) AI 研究的重要性。

     在引擎蓋下，新的MTIA芯片具有8x8的處理元件（PE）網(wǎng)格，可大幅提升密集計(jì)算性能（比MTIA v1提高3.5倍）和稀疏計(jì)算性能（提高7倍）。該芯片的架構(gòu)專注于實(shí)現(xiàn)計(jì)算、內(nèi)存帶寬和內(nèi)存容量的最佳平衡，以便有效地為排名和推薦模型提供服務(wù)，即使批量大小相對(duì)較小。

      
圖源：Meta官網(wǎng)
     此外，Meta 開發(fā)了一個(gè)大型機(jī)架式系統(tǒng)，可容納多達(dá) 72 個(gè)加速器，以支持下一代芯片。該系統(tǒng)旨在將芯片的時(shí)鐘頻率從 800 MHz 提高到 1.35GHz，并以 90 瓦的功率運(yùn)行，與第一代設(shè)計(jì)相比，確保具有更高的計(jì)算、內(nèi)存帶寬和內(nèi)存容量的更密集的功能。

     自 Meta 開始投資 MTIA 以來，軟件一直是其重點(diǎn)關(guān)注的領(lǐng)域。MTIA 堆棧旨在與 PyTorch 2.0 以及 TorchDynamo 和 TorchInductor 等功能完全集成。Meta 還通過創(chuàng)建 Triton-MTIA 編譯器后端來優(yōu)化軟件堆棧，該后端為 MTIA 硬件生成高性能代碼并提高開發(fā)人員的工作效率。

     早期結(jié)果表明，在評(píng)估的四個(gè)關(guān)鍵型號(hào)中，下一代MTIA芯片的性能比第一代芯片提高了3倍。在平臺(tái)層面，Meta 的設(shè)備數(shù)量增加了一倍，并配備了強(qiáng)大的 2 插槽 CPU，與第一代 MTIA 系統(tǒng)相比，實(shí)現(xiàn)了 6 倍的型號(hào)服務(wù)吞吐量和 1.5 倍的每瓦性能提升。

     目前，MTIA 已經(jīng)部署在 Meta 的數(shù)據(jù)中心，并正在積極為生產(chǎn)中的模型提供服務(wù)。事實(shí)證明，該芯片與商用 GPU 高度互補(bǔ)，可在 Meta 特定工作負(fù)載上提供性能和效率的最佳組合。作為 Meta 長(zhǎng)期路線圖的一部分，MTIA 將繼續(xù)發(fā)展和擴(kuò)展，以支持公司雄心勃勃的 AI 目標(biāo)，包括支持 GenAI 工作負(fù)載以及對(duì)內(nèi)存帶寬、網(wǎng)絡(luò)和容量的投資。

來源：maginative