來源:極客公園作者:鄭玄
3 月21 日晚上11 點,英偉達CEO黃仁勳的演講,爲 GTC 2023 拉開序幕。
ChatGPT 和 GPT-4 掀起這股生成式 AI 熱潮後,爲 AI 提供心臟的英偉達成了背後的大贏家,也讓今年的 GTC 註定成爲有史以來最受關注的一屆。
黃仁勳沒有讓關注者失望。
「AI 的 iPhone 時刻已經到來。」70 分鐘的演講里,老黃重複了四五遍。
每次講這句話前,他都會分享一項關於生成式 AI 的新進展——對創作、醫療、工業等領域的革命,讓普通人用瀏覽器就能訓練大模型的雲服務,以及讓大模型處理成本下降 10 倍的超級芯片……
「AI 的發展會超過任何人的想象。」這句話是對這場演講最好的註腳。
2012 年,Alex Kerchevsky、Ilya Suskever 和他們的導師 Geoff Hinton 在兩塊 GeForce GTX 580 上,使用 1400 萬張圖像訓練了 AlexNet——這被認爲是這一輪 AI 革命的開端,因爲它首次證明瞭 GPU 可以用於訓練人工智能。
4 年後,黃仁勳親手向 OpenAI 交付了第一臺 NVIDIA DGX 超級計算機。此後數年,OpenAI 在大型語言模型上的突破讓 AIGC 開始進入人們的視野,並在去年年底推出 ChatGPT 後徹底破圈。幾個月內這個對話式 AI 產品吸引了超過 1 億用戶,成爲歷史上增長最快的 App。
NVIDIA DGX 最初被用作 AI 的研究設備,現在已經被企業廣泛用於優化數據和處理 AI。根據黃仁勳,財富 100 強公司中有一半安裝了 DGX。
在這之中,部署像 ChatGPT 這樣的 LLM 正在成爲 DGX 越來越重要的一項工作。對此,黃仁勳宣佈了一種新的 GPU——帶有雙圖形處理器 NVLink 的 H100 NVL。
基於英偉達的 Hopper 架構,H100 採用 Transformer 引擎,被設計用於專門處理類似 GPT 這樣的模型。與用於 GPT-3 處理的 HGX A100 相比,一個搭載四對 H100 和 NVLINK 的標準服務器的處理速度快 10 倍。根據官網數據,H100 的綜合技術創新。可以將大型語言模型的速度提高 30 倍。
「H100 可以將大型語言模型處理成本降低一個數量級,」黃仁勳說到。
此外,在過去的十年里,雲計算每年增長 20%,成爲一個 1 萬億美元的行業。爲了 AI 和 雲計算,英偉達設計了 Grace CPU,在新的架構下,GPU 負責處理 AI 的工作負載,Grace CPU 負責採樣,二者之間通過一個 900 GB/s 的高速傳輸設備連接在一起。
「Grace-Hopper 是處理大規模數據集的最佳選擇。」黃仁勳稱,「我們的客戶希望建立訓練數據大幾個數量級的 AI 大模型,Grace-Hopper 是理想的引擎。」
某種意義上來說,計算成本已經成爲今天阻礙生成式 AI 發展的核心問題,OpenAI 爲此燒掉了數十億乃至上百億美元,微軟也出於成本考慮始終沒有向更大範圍的公衆開放新 Bing,甚至限制用戶每天的對話次數。
英偉達此時推出更高效的算力方案,無疑是給行業解決了一個大難題。
今年 GTC 上另一個涉及生成式 AI 的重點,就是 DGX Cloud。
實際上,這並不是英偉達第一次公佈 DGX Cloud。此前英偉達四季報發佈時,黃仁勳就向外界透露英偉達將與雲服務廠商展開合作,讓客戶可以使用網頁瀏覽器,就能通過 NVIDIA DGX Cloud 來使用 DGX 計算機,從而訓練和部署大型語言模型或完成其他 AI 工作負載。
英偉達已經與甲骨文展開合作,預計下個季度微軟 Azure 也會開始託管 DGX 雲,而谷歌雲也將在不久之後加入這一行列,以託管的方式向那些有意願構建新產品和發展 AI 戰略的企業提供 DGX 雲服務。
黃仁勳稱,這種合作關係將英偉達的生態系統帶到了雲服務商手中,同時擴大了英偉達的市場規模和覆蓋面。企業將能夠每月租用 DGX 雲集羣,確保他們能夠快速輕鬆地擴展大型多節點 AI 訓練。
「加速計算是曲速引擎,AI 就是它的能源。」黃仁勳說道,「生成式 AI 日新月異的能力,給我們重新構想其產品和商業模式帶來了緊迫感。」
ChatGPT 和 GPT-4 爲代表的大語言模型在過去幾個月火遍全球,但對英偉達來說,ChatGPT 和大模型並不是 AI 的全部。會上,黃仁勳還分享了更多英偉達在 AI 領域的探索和他本人的觀察。
首先是最火的生成式 AI。
只需要一張手繪的草圖,就能生成 3D 建模的戶型。
撰寫代碼也不在話下。
還有創作音樂。
爲了加速那些尋求利用生成 AI 的人的工作,英偉達宣佈成立 NVIDIA AI Foundations,這是一個雲服務和代工廠,面向需要構建、改進和定製 LLM 和生成式 AI 的用戶,這些客戶使用其專有數據訓練特定領域的 AI。
AI Foundations 的服務包括 NVIDIA NeMo,用於構建文本-文本的生成模型;畢加索,一種視覺語言模型製作服務,面向希望構建基於經授權內容訓練模型的用戶;以及 BioNeMo,幫助生物醫藥研究人員。
作爲生產力工具,AI 也在發揮巨大的價值,黃仁勳在演講中介紹了幾個非常有意思的案例。
第一個是與美國電信巨頭 AT&T。AT&T 需要定期派遣 3 萬名技術人員,爲 700 個區域的 1300 萬名客戶提供服務。這個龐大的數據,調度是一個痛點,如果在 CPU 上運行,調度優化需要一整夜的時間才能完成。
藉助英偉達的 CuOpt,AT&T 可以將調度方案的優化時間加快 100 倍,並可實時更新其調度方案。
某種意義上,在英偉達的幫助下,AT&T 做到了美團、滴滴這些需要實時匹配的互聯網公司用好多年積累才做到的事情。
另一個案例是與芯片公司的合作。隨着中美科技戰,大多數人都知道了光刻機這個半導體產業的關鍵設備。但鮮爲人知的是,隨着製程技術的發展,芯片設計對算力的需求也是半導體行業的一大痛點。
今天計算光刻是芯片設計和製造領域最大的計算工作負載,每年需要消耗數百億 CPU 小時,並且隨着算法越來越複雜,計算光刻的成本也在提高。
對此,英偉達宣佈推出 cuLitho——一個計算光刻庫。並與 ASML、臺積電等巨頭展開合作,從而大幅降低芯片設計過程中的算力消耗,節能減排。
事實上,減少能源消耗,提高計算效率,是黃仁勳眼中 AI 技術將爲人類社會帶來的另一大價值。而在摩爾定律失效的當下,加速計算和 AI 的到來恰逢其時。
「各行業正都在面對可持續發展、生成式 AI 和數字化的挑戰。工業公司正在競相數字化,並重塑爲軟件驅動的科技公司——成爲顛覆者,而不是被顛覆者,」加速計算讓這些公司可以應對這些挑戰,黃仁勳說道。「加速計算是減少電力消耗、實現可持續性發展和碳中和的最佳方式。」