3月19日,NVIDIA英偉達今日宣佈推出NVIDIA Blackwell AI工廠平台的新一代產品 —— NVIDIA Blackwell Ultra,開啟了AI推理新時代。
NVIDIA Blackwell Ultra 提升了訓練和測試時擴展推理能力(test-time scaling inference), 即通過在推理過程中增加計算量來提升準確率的技術,以幫助全球各地的企業加速AI推理、代理式AI及物理AI等應用的開發與部署。
基於一年前推出的突破性的Blackwell架構,Blackwell Ultra包括 NVIDIA GB300 NVL72機架級解決方案和NVIDIA HGX B300 NVL16系統。GB300 NVL72的AI性能是NVIDIA GB200 NVL72的1.5倍,這使得建造AI 工廠的收入機會與基於 NVIDIA Hopper構建的系統相比增加了50倍。
"人工智能實現了巨大的飛躍 —— 推理和代理式AI對計算性能的需求呈數量級增長,"NVIDIA創始人兼首席執行官黃仁勛表示。"我們為這一時刻設計了Blackwell Ultra——它是一款單一且多功能的平台,能夠輕鬆高效地完成預訓練、後訓練以及推理型AI推理任務。"
NVIDIA GB300 NVL72在一個機架設計中連接了72個Blackwell Ultra GPU和36個基於Arm Neoverse架構的 NVIDIA Grace CPU,整體表現如同一個巨型GPU,專為測試時擴展而打造。通過GB300 NVL72,AI模型能夠利用平台增強的計算能力探索多種解決方案,將複雜請求分解為多個步驟,從而生成更高質量的響應。
GB300 NVL72預計還將通過NVIDIA DGX Cloud 提供,該平台是一個端到端的全託管 AI 平台,部署於領先的雲服務上,通過軟件、服務和 AI 專業知識為不斷髮展的工作負載優化性能。配備DGX GB300系統的NVIDIA DGX SuperPOD採用 GB300 NVL72 機架設計,為客户提供了一個交鑰匙式 AI 工廠。
NVIDIA HGX B300 NVL16相比Hopper代產品,LLM 推理速度提速了11倍,計算性能提升了7倍,內存容量擴大了4倍,可為最複雜的工作負載(如 AI 推理)提供突破性性能。
此外,Blackwell Ultra平台特別適用於以下應用:
代理式AI, 利用複雜推理和迭代規劃自主解決複雜的多步驟問題。 AI智能體系統超越了簡單的指令執行。他們能夠推理、規劃並採取行動以實現特定目標。
物理 AI,使企業能夠實時生成合成的、具有高度真實感的視頻,用於大規模訓練機器人和自動駕駛汽車等應用。
NVIDIA表示,聯想、戴爾和超微等合作伙伴預計將從2025年下半年開始推出基於Blackwell Ultra的各類服務器。