NVIDIA打破AI推理性能記錄
發(fā)布時間:2020-10-22 13:48:40 熱度:2908
10/22/2020,光纖在線訊,加利福尼亞州圣克拉拉市— NVIDIA今日宣布,其AI計算平臺在最新一輪MLPerf基準測試中再次打破性能記錄,在這一業(yè)內唯一評估硬件、軟件和服務的第三方AI性能基準測試中進一步擴大了其領先優(yōu)勢。
在今年第二輪MLPerf 推理測試中,NVIDIA創(chuàng)下了數據中心與邊緣計算系統(tǒng)全部六個應用領域的記錄。此次測試中,計算機視覺測試從最初的兩項擴展到四項,涵蓋了AI應用增長最快的領域,包括:推薦系統(tǒng)、自然語言理解、語音識別和醫(yī)療影像。
憑借NVIDIA® A100 Tensor Core GPU出色的推理性能,各個行業(yè)的機構將AI研究轉化為日常運營中的生產力。金融機構使用對話式AI更快速地回答客戶問題,零售商們使用AI保證貨架庫存充足,醫(yī)療機構使用AI分析數百萬張醫(yī)療影像,以更準確地診斷疾病,從而挽救生命。
NVIDIA加速計算部門總經理兼副總裁Ian Buck表示:“我們正處在一個轉折點,各個行業(yè)都致力于更好地利用AI,從而提供新的服務并尋求業(yè)務的發(fā)展。”
“NVIDIA為MLPerf上取得的成績付出了巨大的努力,將助力各企業(yè)的AI性能提升到新的高度,以改善我們的日常生活?!?br>
在MLPerf最新結果出爐之際,NVIDIA 的AI推理業(yè)務也已得到迅速擴展。五年前,只有少數領先的高科技公司使用GPU進行推理?,F在,企業(yè)可通過各大云和數據中心基礎設施供應商來使用NVIDIA的AI平臺。各行業(yè)都在使用NVIDIA 的AI推理平臺改善業(yè)務運營,提供更多的服務。
此外,NVIDIA GPU首次在公有云中實現了超越CPU的AI推理能力?;?nbsp;NVIDIA GPU的總體云端AI推理計算能力每兩年增長約10倍。
NVIDIA問鼎AI推理性能的新高峰
NVIDIA及其合作伙伴提交了基于NVIDIA加速平臺的MLPerf 0.7的測試結果。該平臺包含NVIDIA數據中心GPU、邊緣AI加速器和經過優(yōu)化的NVIDIA軟件。
NVIDIA 于今年早些時候發(fā)布了A100。憑借其第三代Tensor Core核心和多實例GPU技術,A100在ResNet-50測試中的領先優(yōu)勢進一步擴大。在上一輪測試中,它以30倍比6倍的成績擊敗了CPU的測試結果。另外,此次MLPerf Inference 0.7基準測試中,新增了針對數據中心推理性能的推薦系統(tǒng)測試。在該測試中,A100所展現出的性能比最先進的CPU高出237倍。
這意味著,一套DGX A100系統(tǒng)可以提供相當于近1000臺雙插槽CPU服務器的性能,能為客戶AI推薦系統(tǒng)模型從研發(fā)走向生產的過程,提供極高的成本效益。
基準測試結果顯示,NVIDIA T4 Tensor Core GPU仍然是主流企業(yè)、邊緣服務器和高成本效益云實例的可靠推理平臺。在同一測試中,NVIDIA T4 GPU的性能比CPU高出28倍。此外,NVIDIA Jetson AGX Xavier™ 已成為基于Soc的邊緣設備中最強大的平臺。
這些結果離不開高度優(yōu)化的軟件堆棧,包括NVIDIA TensorRT™ 推理優(yōu)化器和NVIDIA Triton™ 推理服務軟件。這兩款軟件堆棧均可在NGC™(NVIDIA的軟件目錄)中獲取。
除NVIDIA提交的結果外,還有11家NVIDIA合作伙伴提交了基于NVIDIA GPU的1,029個測試結果,占數據中心和邊緣類別中參評測試結果總數的85%以上。

關于NVIDIA
NVIDIA(納斯達克股票代碼:NVDA)在1999年發(fā)明的GPU激發(fā)了PC游戲市場的增長,重新定義了現代計算機顯卡,并且對并行計算進行了革新。最近,通過將GPU作為可以感知和理解世界的計算機、機器人乃至自動駕駛汽車的大腦,GPU深度學習再度點燃了全新的計算時代——現代人工智能。更多信息,請訪問http://nvidianews.nvidia.com/。
在今年第二輪MLPerf 推理測試中,NVIDIA創(chuàng)下了數據中心與邊緣計算系統(tǒng)全部六個應用領域的記錄。此次測試中,計算機視覺測試從最初的兩項擴展到四項,涵蓋了AI應用增長最快的領域,包括:推薦系統(tǒng)、自然語言理解、語音識別和醫(yī)療影像。
憑借NVIDIA® A100 Tensor Core GPU出色的推理性能,各個行業(yè)的機構將AI研究轉化為日常運營中的生產力。金融機構使用對話式AI更快速地回答客戶問題,零售商們使用AI保證貨架庫存充足,醫(yī)療機構使用AI分析數百萬張醫(yī)療影像,以更準確地診斷疾病,從而挽救生命。
NVIDIA加速計算部門總經理兼副總裁Ian Buck表示:“我們正處在一個轉折點,各個行業(yè)都致力于更好地利用AI,從而提供新的服務并尋求業(yè)務的發(fā)展。”
“NVIDIA為MLPerf上取得的成績付出了巨大的努力,將助力各企業(yè)的AI性能提升到新的高度,以改善我們的日常生活?!?br>
在MLPerf最新結果出爐之際,NVIDIA 的AI推理業(yè)務也已得到迅速擴展。五年前,只有少數領先的高科技公司使用GPU進行推理?,F在,企業(yè)可通過各大云和數據中心基礎設施供應商來使用NVIDIA的AI平臺。各行業(yè)都在使用NVIDIA 的AI推理平臺改善業(yè)務運營,提供更多的服務。
此外,NVIDIA GPU首次在公有云中實現了超越CPU的AI推理能力?;?nbsp;NVIDIA GPU的總體云端AI推理計算能力每兩年增長約10倍。
NVIDIA問鼎AI推理性能的新高峰
NVIDIA及其合作伙伴提交了基于NVIDIA加速平臺的MLPerf 0.7的測試結果。該平臺包含NVIDIA數據中心GPU、邊緣AI加速器和經過優(yōu)化的NVIDIA軟件。
NVIDIA 于今年早些時候發(fā)布了A100。憑借其第三代Tensor Core核心和多實例GPU技術,A100在ResNet-50測試中的領先優(yōu)勢進一步擴大。在上一輪測試中,它以30倍比6倍的成績擊敗了CPU的測試結果。另外,此次MLPerf Inference 0.7基準測試中,新增了針對數據中心推理性能的推薦系統(tǒng)測試。在該測試中,A100所展現出的性能比最先進的CPU高出237倍。
這意味著,一套DGX A100系統(tǒng)可以提供相當于近1000臺雙插槽CPU服務器的性能,能為客戶AI推薦系統(tǒng)模型從研發(fā)走向生產的過程,提供極高的成本效益。
基準測試結果顯示,NVIDIA T4 Tensor Core GPU仍然是主流企業(yè)、邊緣服務器和高成本效益云實例的可靠推理平臺。在同一測試中,NVIDIA T4 GPU的性能比CPU高出28倍。此外,NVIDIA Jetson AGX Xavier™ 已成為基于Soc的邊緣設備中最強大的平臺。
這些結果離不開高度優(yōu)化的軟件堆棧,包括NVIDIA TensorRT™ 推理優(yōu)化器和NVIDIA Triton™ 推理服務軟件。這兩款軟件堆棧均可在NGC™(NVIDIA的軟件目錄)中獲取。
除NVIDIA提交的結果外,還有11家NVIDIA合作伙伴提交了基于NVIDIA GPU的1,029個測試結果,占數據中心和邊緣類別中參評測試結果總數的85%以上。

關于NVIDIA
NVIDIA(納斯達克股票代碼:NVDA)在1999年發(fā)明的GPU激發(fā)了PC游戲市場的增長,重新定義了現代計算機顯卡,并且對并行計算進行了革新。最近,通過將GPU作為可以感知和理解世界的計算機、機器人乃至自動駕駛汽車的大腦,GPU深度學習再度點燃了全新的計算時代——現代人工智能。更多信息,請訪問http://nvidianews.nvidia.com/。


