AMD發(fā)布全新AI加速卡Instinct MI350系列：288GB HBM3E海量?jī)?nèi)存、1400W功耗野獸

快科技6月13日圣何塞現(xiàn)場(chǎng)報(bào)道——

2023年發(fā)布的Instinct MI300X，可以說是AMD最成功的AI GPU加速卡，甚至稱得上AMD歷史上最成功的產(chǎn)品之一，用最快的速度拿到了1億美元收入。

更重大的意義在于，它在幾乎被NVIDIA完全壟斷的高端AI芯片市場(chǎng)上，撕開了一道口子，為行業(yè)提供了更多選擇。

2024年，AMD再接再厲發(fā)布了升級(jí)版的Instinct MI325X，主要提升了HBM3E內(nèi)存，核心規(guī)格沒變。

北京時(shí)間6月13日，AMD在美國(guó)圣何塞舉辦新一屆Advancing AI 2025大會(huì)。

會(huì)上，AMD正式發(fā)布了全新一代“Instinct MI350系列”，包括MI350X、MI355X兩款型號(hào)。

無論性能還是技術(shù)特性，新卡都再次取得了長(zhǎng)足的進(jìn)步，完全可以和NVIDIA Blackwell系列掰一掰手腕。

MI350系列最核心的變化，就是升級(jí)了新一代CDNA 4架構(gòu)(可能也是最后一代CDNA)，同時(shí)采用了新的N3P工藝。

從大的方向上講，這一代的提升主要有四個(gè)方面，首要的自然是更好的AI能力，針對(duì)生成式AI和LLM大語言模型增強(qiáng)了數(shù)學(xué)矩陣模型。

另外，支持新的混合精度數(shù)據(jù)格式、增強(qiáng)Infinity Fabric互連總線和高級(jí)封裝互連、改進(jìn)能效，也都是重中之重。

MI350系列繼續(xù)采用延續(xù)多代的chiplets芯粒設(shè)計(jì)，仍然分為頂層的XCD(加速器計(jì)算模塊)、底部的IOD(輸入輸出模塊)和周圍的HBM3E內(nèi)存模塊。

其中，XCD工藝從5nm升級(jí)為N3P 3nm級(jí)工藝高性能版本，IOD則維持在6nm工藝。

它采用了非常復(fù)雜的多重先進(jìn)封裝技術(shù)，不同模塊之間使用了2.5D、3D混合鍵合，整體則用了臺(tái)積電的CoWoS-S晶圓級(jí)封裝，使用硅中介層作為主要的連接媒介——NVIDIA也在大面積使用它，不過已經(jīng)開始向更高級(jí)的CoWoS-L過渡。

上代MI300X就使用了1530億個(gè)晶體管，創(chuàng)下新高，MI350系列進(jìn)一步增加到1850億個(gè)晶體管。

這是MI350系列的內(nèi)部架構(gòu)和布局圖。

XCD模塊一共有8個(gè)，每個(gè)內(nèi)部分為4組著色器引擎，下轄36組CU計(jì)算單元，還有4MB二級(jí)緩存，配有一個(gè)全局資源調(diào)度分配單元。

整體合計(jì)288個(gè)CU單元、32MB二級(jí)緩存，但是MI350系列每個(gè)XCD中屏蔽了4組CU單元，實(shí)際開啟了256組(1024個(gè)矩陣核心)，反而少于MI300X/MI325X 304組(另屏蔽16組)，而每個(gè)單元的二級(jí)緩存容量沒變。

IOD模塊一共2個(gè)，集成128個(gè)通道HBM3E內(nèi)存控制器、256MB Infinity Cache無限緩存，容量和上代相同，還支持第四代Infinity Fabric互連總線，雙向帶寬提升至1075GB/s。

HBM3E內(nèi)存仍然是8顆，每一顆都是12Hi堆疊，和MI325X相同而高于MI300X 8Hi，只是這次開放了全部容量，單顆是完整的36GB而非32GB，因此總計(jì)多達(dá)288GB。

內(nèi)存?zhèn)鬏斅?Gbps，總帶寬高達(dá)8TB/s，顯著高于MI300X 5.3TB/s、MI325X 6TB/s，尤其是平均到每個(gè)CU單元的內(nèi)存帶寬提升了多達(dá)50%。

每一個(gè)IOD上堆疊四個(gè)XCD、四顆HBM3E，而兩個(gè)IOD之間使用5.5TB/s高帶寬的Infinity Fabric AP進(jìn)行互連整合封裝。

整個(gè)MI350系列芯片與AMD EPYC處理器之間的通道，走的是完整的PCIe 5.0 x16.帶寬128GB/s。

功耗方面，風(fēng)冷模組最高1000W，水冷模組則可以做到1400W。

在裸金屬、SR-IOV虛擬化應(yīng)用中，為了實(shí)現(xiàn)最大化利用，MI350系列支持對(duì)計(jì)算資源進(jìn)行空域分區(qū)，最多可以分成8個(gè)。

不同分區(qū)可以支持多種使用模式，但不同于前代的NSP1、NSP4.這次改為NSP1(單個(gè)分區(qū))、NSP2(雙/四/八個(gè)分區(qū))，看似降級(jí)了，AMD解釋說NSP4模式的性能提升其實(shí)比較有限。

MI350系列在單分區(qū)+NSP1模式下，最高可以支持5200億參數(shù)的AI模型，而在八分區(qū)+NSP2模式下，可以支持最多8個(gè)700億參數(shù)Llama 3.1模型的并發(fā)。

MI350系列針對(duì)生成式AI、LLM的具體改進(jìn)，包括矩陣核心的提升和更靈活的量化機(jī)制，過于專業(yè)就不一一解釋了。

注意這次支持行業(yè)標(biāo)準(zhǔn)的PF6、FP4格式，支持從FP16/BF16到FP32的基于硬件的Stochastic Rounding量化。

MI350系列支持豐富的數(shù)據(jù)格式，包括FP64、FP32、FP16、BF16、FP8、MXFP8、MXFP6、MXFP4、INT8、INT4.

通過提升每個(gè)CU單元每時(shí)鐘周期的性能，F(xiàn)P16、BF16、FP8、FP6、FP4的單位性能都得到了顯著提升。

正因此如，MI355X在核心數(shù)更少的情況下，性能基本追上甚至超過了MI300X，其中矢量FP64、FP32、FP16和矩陣FP32下都基本一致，矩陣FP64下約為一半(單位性能也是一半)，矩陣FP16/BF16、FP8、INT8/INT4下的稀疏性性能則幾乎翻了一倍，還新增支持了矩陣FP6/FP4稀疏性。

可以看到，MIX350系列的性能并非全方位飛躍，有些數(shù)據(jù)格式下甚至更弱了，因?yàn)檫@代更注重支持更多更靈活的數(shù)據(jù)格式、單位性能的提升(類似提升IPC)，以及對(duì)于AI訓(xùn)推更關(guān)鍵的矩陣稀疏性能。

Instinct MI350系列有兩款型號(hào)MI350X、MI355X，都配備完整的288GB HBM3E內(nèi)存，帶寬均為8TB/s。

區(qū)別在于，MI355X是滿血性能，峰值可達(dá)FP64 79TFlops(79萬億次每秒)、FP16 5PFlops(5千萬億次每秒)、FP8 10PFlops(1億億次每秒)、FP6/FP4 20PFlops(2億億次每秒)，整卡功耗最高達(dá)1400W。

MI350X的性能削減了8%，F(xiàn)P4峰值可達(dá)18.4PFlops，整卡功耗最高1000W，和MI325X持平。

當(dāng)然更關(guān)鍵的是實(shí)際性能，官方宣稱MI355X對(duì)比MI300X在不同AI大模型中的推理性能普遍提升了3倍甚至更多。

在AI助手/對(duì)話、內(nèi)容創(chuàng)作、內(nèi)容摘要、對(duì)話式AI等應(yīng)用中，性能同樣全面提升，最高幅度甚至超過4倍。

大模型預(yù)訓(xùn)練與微調(diào)中，提升幅度也不容小覷，最高達(dá)3.5倍。

MI350X對(duì)比NVIDIA B200/GB200.內(nèi)存容量多出60%(后者192GB)，內(nèi)存帶寬持平。

FP64/FP32性能領(lǐng)先約1倍，F(xiàn)P6性能領(lǐng)先最多約1.2倍，F(xiàn)P16、FP8、FP4領(lǐng)先最多約10%。

除了理論性能，大模型推理性能也處在同一水平，或者領(lǐng)先最多約30%，訓(xùn)練性能BF16/FP8預(yù)訓(xùn)練基本同一檔次，F(xiàn)P8微調(diào)則有10%以上的領(lǐng)先。

更關(guān)鍵的是高性價(jià)比，單位價(jià)格可以多生成最多40%的Tokens。

MI350系列依然支持多GPU平臺(tái)化部署，單個(gè)節(jié)點(diǎn)還是最多八卡，總計(jì)就有2304GB HBM3E內(nèi)存，F(xiàn)P16/BF16性能最高40.2PFlops(4.02億億次每秒)，F(xiàn)P8性能最高80.5PFlops(8.05億億次每秒)、FP6/FP4 161PFlops(16.1億億次每秒)。

八卡并行時(shí)，每?jī)烧咧g都是153.6GB/s雙向帶寬的Infinity Fabric通道互連，而每塊卡和CPU之間都是128GB/s雙向帶寬的PCIe 5.0通道連接。

MI350系列支持風(fēng)冷、機(jī)架部署，其中風(fēng)冷下最多64塊并行，液冷時(shí)支持2U到5U，最多128塊并行，也可以96塊。

128卡就能帶來36TB HBM3E內(nèi)存，性能更是達(dá)到恐怖的FP16/BF16 644PFlops(64.4億億次每秒)、FP8 1.28EFlops(128億億次每秒)、FP6/FP4 2.57EFlops(257億億次每秒)。

AMD聲稱，AMD致力于在5年內(nèi)將AI計(jì)算平臺(tái)的能效提升30倍，MI350系列最終做到了38倍!

下一步，從2024年到2030年，AMD將再次把AI系統(tǒng)的能效提升20倍，屆時(shí)只需一臺(tái)機(jī)架即可完成如今275臺(tái)的工作，節(jié)省多達(dá)95%的能源。

特別值得一提的是，作為AI加速系統(tǒng)平臺(tái)的一部分，AMD此前還發(fā)布了一款超高性能網(wǎng)卡Pensando 400 AI(代號(hào)“Pollara”)，首次與EPYC CPU、Instinct GPU一起組成完整的平臺(tái)方案。

這是業(yè)界第一個(gè)符合超剛剛發(fā)布的以太網(wǎng)聯(lián)盟(Ultra Ethernet)規(guī)范的網(wǎng)卡，支持PCIe 5.0.帶寬達(dá)400G(40萬兆)，完全可編程可定制，可卸載和加速AI處理。

現(xiàn)在，AMD有了新一代全部基于自家技術(shù)和產(chǎn)品的AI加速系統(tǒng)平臺(tái)級(jí)解決方案。

EPYC CPU處理器、Instinct GPU加速卡、Pensando網(wǎng)卡無縫配合，尤其是網(wǎng)卡可以卸載接手并高效處理CPU、GPU的部分工作，釋放平臺(tái)的最大性能潛力。

M350系列方案將從第三季度開始供應(yīng)客戶，可以看到各大OEM、ODM廠商基本都在名單之中了。

生態(tài)與應(yīng)用合作伙伴方面，AMD Instinct的朋友圈正在快速擴(kuò)大，全球十大AI企業(yè)中已經(jīng)有七家用上了Instinct，包括微軟、Meta、OpenAI、特斯拉、xAI、甲骨文等。

Meta Llama 3/4模型推理廣泛部署了MI300X，還在與AMD共同研發(fā)下一代MI450.

甲骨文率先引入MI355X，新一代AI集群正在部署多達(dá)131072塊。

微軟Azure私有和開源模型都用上了MI300X。

還有紅帽、Mavell、Cohere、Astera Labs等等，甚至提到了華為，其正在與AMD探討共同利用AMD平臺(tái)打造開放的、可擴(kuò)展的、高性價(jià)比的AI基礎(chǔ)設(shè)施。

最后順帶一提，最新發(fā)布的TOP500超級(jí)計(jì)算機(jī)排行榜上，AMD EPYC+Instinct平臺(tái)支撐了全球最快的兩臺(tái)超算，還在各個(gè)國(guó)家的不同項(xiàng)目中得到了廣泛的部署。

位居榜首的是位于加州勞倫斯利弗莫爾國(guó)家實(shí)驗(yàn)室的El Capitan，采用第四代EPYC處理器、MI300A加速器的組合，擁有超過1100萬個(gè)核心，最大性能達(dá)到1.742 EFlops(147.2億億次每秒)。

緊隨其后的是田納西州橡樹嶺國(guó)家實(shí)驗(yàn)室的Frontier，第三代EPYC、MI250X的組合，最大性能1.353EFlops(135.3億億次每秒)。

這兩臺(tái)超級(jí)計(jì)算機(jī)均由美國(guó)能源部實(shí)驗(yàn)室運(yùn)營(yíng)，均屬于百億億次級(jí)的超算系統(tǒng)。

延伸閱讀——

AMD預(yù)告下代AI加速卡MI400系列：432GB HBM4內(nèi)存!配80萬兆網(wǎng)卡

https://news.mydrivers.com/1/1053/1053507.htm

AMD正式發(fā)布ROCm 7開發(fā)平臺(tái)：AI訓(xùn)練、推理性能暴漲至高3.8倍

https://news.mydrivers.com/1/1053/1053506.htm

AMD MI350系列AI服務(wù)器真機(jī)展示：八卡2.3TB內(nèi)存、每秒16億億次算力

https://news.mydrivers.com/1/1053/1053518.htm