2024-04-10 | 中央商情
英特爾推新款AI加速器Gaudi 3 台積電5奈米生產
英特爾(Intel)推出新款AI加速器Gaudi3,採用台積電5奈米生產,預計今年第2季向代工廠提供通用基板和開放加速器模型的標準配置,第3季全面上市。
英特爾表示,Gaudi3加速器是專為高效能、高效率的生成式AI運算所打造,每台加速器都有專屬的異質運算引擎,運算效率高,並擅於處理複雜的矩陣運算,是深度學習演算法的基礎運算。
英特爾指出,Gaudi3搭載128GB的HBMe2記憶體容量、3.7TB的記憶體頻寬和96MB的靜態隨機存取記憶體(SRAM),能夠提供處理大型生成式AI資料集所需的記憶體,且適用於大型語言和多模態模型,有助於提升工作負載效能和資料中心的成本效率。
Gaudi3加速器整合24個200GB的乙太網路連接埠,提供開放標準網路,實現高效擴充,以支援大型運算集,並克服專有網路架構的供應商限制。
英特爾表示,Gaudi3加速器是採用台積電5奈米製程生產,在B16浮點格式的運算效能,為前一代採用7奈米Gaudi2加速器的4倍;Gaudi3的記憶體頻寬和網路頻寬也分別是Gaudi2的1.5倍和2倍。
英特爾說,Gaudi3的參數模型訓練時間、推論吞吐量和推論能源效率皆優於輝達(NVIDIA)的H100,推理速度也優於輝達的H200。
英特爾表示,Gaudi3加速器是專為高效能、高效率的生成式AI運算所打造,每台加速器都有專屬的異質運算引擎,運算效率高,並擅於處理複雜的矩陣運算,是深度學習演算法的基礎運算。
英特爾指出,Gaudi3搭載128GB的HBMe2記憶體容量、3.7TB的記憶體頻寬和96MB的靜態隨機存取記憶體(SRAM),能夠提供處理大型生成式AI資料集所需的記憶體,且適用於大型語言和多模態模型,有助於提升工作負載效能和資料中心的成本效率。
Gaudi3加速器整合24個200GB的乙太網路連接埠,提供開放標準網路,實現高效擴充,以支援大型運算集,並克服專有網路架構的供應商限制。
英特爾表示,Gaudi3加速器是採用台積電5奈米製程生產,在B16浮點格式的運算效能,為前一代採用7奈米Gaudi2加速器的4倍;Gaudi3的記憶體頻寬和網路頻寬也分別是Gaudi2的1.5倍和2倍。
英特爾說,Gaudi3的參數模型訓練時間、推論吞吐量和推論能源效率皆優於輝達(NVIDIA)的H100,推理速度也優於輝達的H200。
最新科技新聞
-
-
電動車市場遭逢逆風 台達電首季純益寫4年新低
(15 小時前) -
彭(雙)浪:友達併購BHTC加速車用布局 不再只是面板公司
(16 小時前) -
輝達員工曝「很難共事」 黃仁勳:成功本非易事
(17 小時前) -
受惠AI需求強勁、台股創高 台經院公布3月景氣燈號亮「綠燈」
(19 小時前)