當(dāng)HBM疊上GPU，散熱難題如何成為算力突破的 “攔路虎”？

打開AMD或英偉達(dá)最先進(jìn)的AI產(chǎn)品封裝，你會(huì)發(fā)現(xiàn)一個(gè)熟悉的布局：GPU兩側(cè)是高帶寬內(nèi)存（HBM），這是目前最先進(jìn)的內(nèi)存芯片。這些內(nèi)存芯片盡可能靠近它們所服務(wù)的計(jì)算芯片，以減少AI計(jì)算中最大的瓶頸——將每秒數(shù)十億比特的數(shù)據(jù)從內(nèi)存?zhèn)鬏數(shù)竭壿嬰娐匪璧哪芰亢脱舆t。但是，如果將HBM堆疊在GPU頂部，進(jìn)一步拉近計(jì)算和內(nèi)存的距離，又會(huì)怎樣呢？

圖中較大的黑色方塊是連接到AMD Instinct MI300X GPU 邏輯芯片的高帶寬內(nèi)存[中心]。 來(lái)源：AMD

Imec近期利用先進(jìn)的熱模擬技術(shù)研究了這種情況，并在2025 年 12 月舉行的 IEEE 國(guó)際電子器件會(huì)議(IEDM) 上公布了結(jié)果，結(jié)果令人沮喪。3D堆疊會(huì)使GPU 內(nèi)部的工作溫度翻倍，導(dǎo)致其無(wú)法正常工作。但由 Imec 的James Myers領(lǐng)導(dǎo)的團(tuán)隊(duì)并沒(méi)有就此放棄。他們找到了一些工程優(yōu)化方案，最終可以將溫差降低到幾乎為零。

2.5D和3D先進(jìn)封裝

Imec 首先對(duì)一個(gè) GPU 和四個(gè) HBM 芯片進(jìn)行了熱模擬，模擬的是目前常見的封裝形式，即所謂的 2.5D 封裝。也就是說(shuō)，GPU 和 HBM 都位于稱為中介層的基板上，彼此之間的距離非常小。這兩種芯片通過(guò)集成在中介層表面的數(shù)千個(gè)微米級(jí)銅互連線連接。在這種配置下，模型GPU 的功耗為 414 瓦，峰值溫度略低于 70°C——這是處理器的典型溫度。內(nèi)存芯片的功耗約為40 瓦，溫度略低一些。熱量通過(guò)封裝頂部的液冷散熱，這種液冷方式在新型AI數(shù)據(jù)中心中已十分常見。

“雖然目前仍在采用這種方法，但它未來(lái)的擴(kuò)展性并不理想——尤其因?yàn)樗鼤?huì)遮擋GPU的兩側(cè)，限制封裝內(nèi)部GPU之間的連接，”Imec高級(jí)研究員陳宇凱在IEDM大會(huì)上告訴工程師們。相比之下，“3D方案可以帶來(lái)更高的帶寬、更低的延遲……最重要的改進(jìn)在于封裝尺寸。”

不幸的是，正如陳和他的同事們發(fā)現(xiàn)的那樣，最直接的堆疊方式，即簡(jiǎn)單地將HBM芯片放在 GPU 頂部，并在中心添加一塊空白硅來(lái)填補(bǔ)空隙，會(huì)導(dǎo)致 GPU 的溫度飆升至驚人的 140°C——遠(yuǎn)遠(yuǎn)超過(guò)典型 GPU 的 80°C 限制。

系統(tǒng)技術(shù)協(xié)同優(yōu)化

Imec團(tuán)隊(duì)著手嘗試一系列旨在降低溫度的技術(shù)和系統(tǒng)優(yōu)化方案。他們首先嘗試的是去除一層多余的硅片。要理解其中的原因，首先必須了解HBM究竟是什么。

這種內(nèi)存由多達(dá)12 個(gè)高密度DRAM芯片堆疊而成。每個(gè)芯片都薄至幾十微米，并布滿了垂直連接。這些薄芯片彼此堆疊，并通過(guò)微小的焊球連接，而這堆內(nèi)存又垂直連接到另一塊硅片，稱為基片。基片是一個(gè)邏輯芯片，用于對(duì)數(shù)據(jù)進(jìn)行多路復(fù)用，并將數(shù)據(jù)壓縮到數(shù)量有限的導(dǎo)線中，這些導(dǎo)線能夠穿過(guò)毫米級(jí)的間隙連接到GPU。

但由于HBM 現(xiàn)在位于 GPU 頂部，因此不再需要這樣的數(shù)據(jù)泵。數(shù)據(jù)位可以直接流入處理器，而無(wú)需考慮芯片側(cè)面有多少根導(dǎo)線。邁爾斯表示，當(dāng)然，這一改變意味著要將內(nèi)存控制電路從基礎(chǔ)芯片移到 GPU 中，從而改變處理器的布局。但他認(rèn)為應(yīng)該有足夠的空間，因?yàn)?GPU 不再需要用于解復(fù)用傳入內(nèi)存數(shù)據(jù)的電路。

去掉內(nèi)存這個(gè)中間環(huán)節(jié)，溫度只降低了不到4 攝氏度。但重要的是，它應(yīng)該能大幅提升內(nèi)存和處理器之間的帶寬，這對(duì)于團(tuán)隊(duì)嘗試的另一項(xiàng)優(yōu)化——降低 GPU 速度——至關(guān)重要。

這似乎與提升人工智能計(jì)算能力的初衷背道而馳，但在這種情況下，這反而成為一種優(yōu)勢(shì)。大型語(yǔ)言模型屬于所謂的“內(nèi)存密集型”問(wèn)題，也就是說(shuō)，內(nèi)存帶寬是主要的限制因素。但邁爾斯團(tuán)隊(duì)估計(jì)，在GPU上采用3D堆疊HBM技術(shù)可以將帶寬提升四倍。有了這額外的性能提升空間，即使將GPU時(shí)鐘頻率降低50%，仍然能夠帶來(lái)性能提升，同時(shí)還能將溫度降低20攝氏度以上。實(shí)際上，處理器可能不需要降低這么多。邁爾斯表示，將時(shí)鐘頻率提高到70%只會(huì)使GPU溫度升高1.7攝氏度。

優(yōu)化的HBM

溫度大幅下降的另一個(gè)原因是提高了HBM堆疊層及其周圍區(qū)域的導(dǎo)熱性。這包括將四個(gè)堆疊層合并成兩個(gè)更寬的堆疊層，從而消除一個(gè)散熱區(qū)域；減薄堆疊層頂部通常較厚的芯片；以及用空白硅片填充HBM周圍的更多空間以增強(qiáng)導(dǎo)熱性。

經(jīng)過(guò)上述所有措施，堆疊芯片的運(yùn)行溫度約為88°C。最終的優(yōu)化使溫度降至接近 70°C。通常，芯片約 95% 的熱量是從封裝頂部散發(fā)的，在本例中，頂部由水帶走熱量。但如果在底部也采用類似的冷卻方式，堆疊芯片的溫度最終會(huì)再降低 17°C。

Myers表示，盡管在IEDM上展示的研究表明，GPU搭載HBM內(nèi)存或許可行，但這未必是最佳選擇?！拔覀冋谀M其他系統(tǒng)配置，以幫助我們確定這是否是最佳方案，”他說(shuō)道?！癎PU搭載HBM內(nèi)存引起了一些業(yè)內(nèi)人士的興趣，”因?yàn)樗J(rèn)為這種方式能讓GPU更靠近散熱系統(tǒng)。但這很可能是一個(gè)更復(fù)雜的設(shè)計(jì)，因?yàn)镚PU的電力和數(shù)據(jù)必須垂直流經(jīng)HBM才能到達(dá)GPU。

*聲明：本文系原作者創(chuàng)作。文章內(nèi)容系其個(gè)人觀點(diǎn)，我方轉(zhuǎn)載僅為分享與討論，不代表我方贊成或認(rèn)同，如有異議，請(qǐng)聯(lián)系后臺(tái)。