本文來自格隆匯專欄：半導體行業觀察
因為人工智能的火熱，HBM已經成為了兵家必爭之地。
SK海力士在昨日的財報會上就指出，隨着生成式人工智能(AI)市場的擴張(以ChatGPT為主)，AI服務器的需求迅速增加，HBM3、DDR5等高階產品銷售上揚，進而使得公司第2季營收季增44%、營損縮減15%。
而據行業知名機構TrendForce的調研顯示，目前高端AI服務器GPU搭載HBM已成主流，預估今年全球HBM需求量將年增近六成，達2.9億GB ，2024年將再成長三成。
正因為如此，包括SK海力士、三星和美光在內的三大存儲巨頭正在紛紛加碼HBM。如美光在昨日就對外公佈了其最新的HBM產品。
美光科技，不甘人後
在半導體行業觀察早前發佈的文章《HBM的崛起》中，我們就有講到，因為最初選擇為其高性能內存策略開發一種不同的技術——混合內存立方體 (HMC)，從而導致美光在HBM上錯過了第一波機會。雖然他們在2018年奮起直追，但迄今也沒有改變他們落後的事實。
但美光的管理層在早前的發佈會上聲稱，他們不僅會在 HBM3 上趕上，而且還會超越目前的領先者。他們指出，客户現在正在試用其新的 HBM3 產品，並表示該產品比競爭解決方案具有明顯更高的帶寬，並在性能和功耗方面建立了新的基準，並得到我們的 1-beta 技術、TSV 和其他創新技術的支持，從而實現了差異化的先進技術包裝解決方案。美光方面甚至強調，作為一種產品，它比市場上的其他產品幾乎實現了一代的飛躍。
可以肯定的是，大家對其“口出狂言”是有所保留，但他們終於公佈了其最新的HBM產品。
美光表示，其最新的 HBM3 Gen 2 內存正在向客户提供樣品。他們同時指出，其產品的速度其迄今世界上最快的，具有 1.2 TB/s 的聚合帶寬和最高容量的 8 高堆棧 24GB的容量，採用該公司的 1β (1-beta) 製造工藝製造。美光還聲稱其新內存是最節能的，與該公司上一代 HBM2E 相比，每瓦性能提高了 2.5 倍。
美光聲稱，公司正在使用 16Gbit 芯片的 12-Hi 配置。因此，美光有望成為第一家在更典型的 8-Hi 配置中提供 24 GB HBM3 模塊的供應商。如美光所説，公司也不會止步於基於 8-Hi 24Gbit 的 HBM3 Gen2 模塊，他們透露，公司計劃明年推出更高容量的領先 36 GB 12-Hi HBM3 Gen2 堆棧，以進一步擴充其產品線。
如美光所説，公司的24GB HBM3 Gen2 堆棧將支持帶寬為 4.8 TB/s 的 4096 位 HBM3 內存子系統和帶寬為 7.2 TB/s 的 6096 位 HBM3 內存子系統。將這些數字結合起來，就可以使得Nvidia 的 H100 SXM 的峯值內存帶寬為 3.35 TB/s。
除了高頻之外，美光的 HBM3 Gen2 堆棧還與當前 HBM3 兼容應用程序（例如計算 GPU、CPU、FPGA、加速器）直接兼容。因此，設備製造商最終也可以選擇美光作為 HBM3 內存供應商，等待通常的資格檢查。
通過這些新產品，美光的目標是立即在 HBM3 市場中佔據性能領先地位，這意味着他們需要從技術層面提升競爭力。而為了實現這一目標，美光進行了多項的變革和創新，當中就包括將硅通孔 (TSV) 數量比發貨的 HBM3 產品增加兩倍，並將互連尺寸縮小了 25%，更密集的金屬 TSV 互連還有助於改善器件各層之間的熱傳遞，從而降低熱阻。最終，儘管容量和吞吐量有所增加，但該封裝仍符合標準 0C 至 105C 工作範圍。
此外，美光還縮小了 HBM3 Gen2 堆棧中 DRAM 設備之間的距離。封裝的這兩項變化降低了這些內存模塊的熱阻，並使其更容易冷卻。據介紹，美光將各個 DRAM 層之間的空間減少了 23%，這有助於從最低芯片（往往是最熱的）到頂部芯片（往往是最冷的）的熱傳遞。層間的空氣也可以起到絕緣作用，因此減小芯片之間的距離具有減小氣隙的連鎖效應。然而，美光仍然堅持最終封裝的標準 720um Z 高度（厚度）。
但是，硅通孔數量的增加在帶來優勢的同時，還引入了新的挑戰。
如上所述，美光在其 HBM3 Gen2 堆棧中使用 24 Gb 內存設備（而不是 16 Gb 內存設備），這就讓他們不可避免地必須增加 TSV 數量以確保正確的連接。然而，將 HBM堆棧中的 TSV 數量加倍可以通過促進更多並行數據傳輸來增強整體帶寬（並縮短延遲）、功效和可擴展性。它還通過數據重新路由減輕單個 TSV 故障的影響，從而提高可靠性。然而，這些好處也伴隨着挑戰，例如製造複雜性增加和缺陷率增加的可能性增加（這已經是 HBM 持續關注的問題），這可能會轉化為更高的成本。
與其他 HBM3 內存模塊一樣，美光的 HBM3 Gen2 堆棧具有 Reed-Solomon 片上 ECC、內存單元軟修復、內存單元硬修復以及自動錯誤檢查和清理支持。值得一提的是，美光的 HBM3 Gen 2 封裝與標準 CoWoS 封裝兼容；鑑於業界對 GPU 和其他類型加速器的此類封裝的偏好，這是必然的。
除了即將推出的 HBM3 Gen2 產品之外，美光還宣佈該公司已經在開發 HBMNext內存。該 HBM 迭代將為每個堆棧提供 1.5 TB/s – 2+ TB/s 的帶寬，容量範圍為 36 GB 至 64 GB。
韓國巨頭，遙遙領先
在美光科技試圖彎道超車的時候，來自韓國的三星和SK海力士卻不甘落後。
首先看三星方面。根據他們在之前發佈的路線圖，三星在去年已經實現了HBM3技術的量產。為了追趕領先者，三星量產的HBM 3產品覆蓋了16GB和24GB容量的存儲芯片。據瞭解，這些產品的數據處理速度達到了6.4Gbps，是市場上最快的，有助於提高服務器的學習計算速度。
而按照預計，公司將在2024年實現接口速度高達7.2 Gbps的HBM3p，從而將數據傳輸率相比這一代進一步提升10%，還將堆疊的總帶寬提升到5 TB/s以上。
在我們看來，三星提供的上述參數應該還沒有考慮到高級封裝技術帶來的高多層堆疊和內存寬度提升，為此我們預計到時候單芯片和堆疊芯片到2024年HBM3p都將實現更多的總帶寬提升。而這也將會成為人工智能應用的重要推動力，這就意味着在2025年之後的新一代雲端旗艦GPU中看到HBM3p的使用，從而進一步加強雲端人工智能的算力。
而據韓國媒體ET News的報道，為了應對AI的需求，三星計劃在2024年底前將HBM產的能翻一番。而據當地券商KB Securities稱，到2024年，HBM3將佔三星芯片銷售收入的18%，高於今年預計的6%。三星負責芯片業務的設備解決方案部門總裁兼負責人 Kyung Kye-hyun 在本月早些時候的公司會議上表示，三星將努力控制一半以上的 HBM 市場（現在40%）。
與此同時，SK Hynix也正在加強鞏固自己的在HBM方面的市場份額（50%）。
資料顯示，SK海力士於去年上半年開始量產HBM3 DRAM(第四代高頻寬記憶體產品)，客户就包括了AI芯片大廠英偉達。今年五月，公司帶來了第五代的HBM 3e產品。
據介紹，這個HBM 3增強版的技術可將數據傳輸速率提高 25%，從而為使用這種優質 DRAM 的應用程序提供可觀的性能提升。SK Hynix進一步指出，公司的HBM3E 內存將數據傳輸速率從目前的 6.40 GT/s 提高到 8.0 GT/s，從而將每堆棧帶寬從 819.2 GB/s 提高到 1 TB/s。SK 海力士計劃於 2023 年下半年開始提供 HBM3E 內存樣品，並於 2024 年開始量產。
按照SK海力士所説，公司的新一代HBM產品獲得了高度好評，原因之一在於公司的MR-MUF（Mass Reflow-Molded Underfill ）封裝技術。
據他們介紹，這是一個在堆疊半導體芯片並將液體保護材料注入芯片之間的空間後，再硬化以保護芯片和周圍電路的工藝。與在每個芯片堆疊後應用薄膜型材料相比，MR-MUF 是一種更高效的工藝，並提供有效的散熱。
而為了增加產品的容量或層數，同時保持其厚度，HBM中堆疊的 DRAM 芯片必須比以前薄 40%。但這會導致芯片容易彎曲等問題。因此，SK海力士的團隊通過應用改進的環氧模塑料 (EMC) 並利用新一代的 MR-MUF 技術和新的堆疊方法克服了這些技術問題。
SK海力士表示，與原始 MR-MUF 相比，新一代的 MR-MUF 工藝提供了三項改進：首先，採用新技術來控制晶圓變薄，使其不會彎曲；其次，在12層堆疊過程中，瞬間施加強烈熱量，以確保連接芯片的凸塊均勻拼接；最後，將一種新的散熱 EMC 材料置於真空下，並施加 70 噸壓力來填充芯片之間的狹小空間。
“這種先進的MR-MUF保留了原始MR-MUF的優點，同時將生產率提高了約三倍，並將散熱提高了約2.5倍。”SK海力士強調。
SK海力士財務長Kim Woohyun在昨日的財報説明會中表示，公司整體投資立場不變(今年資本支出預估至少年減50%)，但引領未來市場成長的高密度DDR5、HBM3產能將持續擴大。據BusinessKorea 報道，SK 海力士的目標是在明年將HBM 和DDR5 芯片的銷量翻一番。
統計顯示，SK 海力士目前HBM 產品銷售佔比在數量上還不到1%，但銷售額佔比已達10% 左右。如果HBM3 和DDR5 業務規模擴大一倍，則有望加速營收增長和利潤改善。鑑於SK 海力士今年上半年預計虧損超過6 萬億韓元，此次目標設定也被解讀為該公司希望通過高附加值內存市場實現業績反彈。
寫在最後
雖然HBM的應用前景很好，然而，HBM的發展也面臨一些挑戰。
首先，HBM的成本相對較高，這在一定程度上限制了其在大規模應用中的普及。其次，HBM技術的設計和製造難度相對較高，對芯片製造工藝和堆疊技術提出了更高的要求。這也意味着在實際應用中，需要更多的研發和製造優化，以降低成本並提升生產效率。
儘管面臨一些挑戰，但可以肯定的是，作為一項重要的技術創新，HBM仍然具備廣闊的前景。而在三巨頭都相繼出招之後，一場圍繞HBM的大決戰正式打響。
