國盛證券估計，ChatGPT芯片需求爲3萬多片英偉達A100GPU，對應初始投入成本約爲8億美元，每日電費在5萬美元左右。
隨着以ChatGPT爲代表的生成式AI興起，其背後以大模型爲基礎的人工智能成爲業界投入的方向。
所謂“大模型”，通常是在無標註的大數據集上，採用自監督學習的方法進行訓練。之後在其他場景的應用中，開發者只需要對模型進行微調，或採用少量數據進行二次訓練，就可以滿足新應用場景的需要。
據騰訊研究院，當前的人工智能大多是針對特定的場景應用進行訓練，生成的模型難以遷移到其他應用，屬於“小模型”的範疇。整個過程不僅需要大量的手工調參，還需要給機器餵養海量的標註數據，這拉低了人工智能的研發效率，且成本較高。
相比之下，大模型的改進可以使所有的下遊小模型受益，大幅提升人工智能的使用場景和研發效率。
同時，在大模型的框架下，ChatGPT所使用的GPT模型，每一代參數量均高速擴張，預訓練的數據量需求和成本亦快速提升。
國盛證券計算機分析師劉高暢、楊然在發表於2月12日的報告《Chatgpt 需要多少算力》中估算，GPT-3訓練一次的成本約爲140萬美元，對於一些更大的LLM模型，訓練成本介於200萬美元至1200萬美元之間。這一成本於全球科技大企業而言並不便宜，但尚在可接受範圍內。
初始投入近十億美元，單日電費數萬美元
國盛證券估算，今年1月平均每天約有1300萬獨立訪客使用ChatGPT，對應芯片需求爲3萬多片英偉達A100GPU，初始投入成本約爲8億美元，每日電費在5萬美元左右:
1)計算假設：
英偉達A100：根據OneFlow報道，目前，NVIDIAA100是AWS最具成本效益的GPU選擇。
英偉達DGXA100服務器：單機搭載8片A100GPU，AI算力性能約爲5PetaFLOP/s，單機最大功率約爲6.5kw，售價約爲19.9萬美元/臺。
標準機櫃：19英寸、42U。單個DGXA100服務器尺寸約爲6U，則標準機櫃可放下約7個DGXA100服務器。則，單個標準機櫃的成本爲140萬美元、56個A100GPU、算力性能爲35PetaFLOP/s、最大功率45.5kw。
2）芯片需求量：
每日諮詢量：根據Similarweb數據，截至2023年1月底，chat.openai.com網站（即ChatGPT官網）在2023/1/27-2023/2/3這一週吸引的每日訪客數量高達2500萬。假設以目前的穩定狀態，每日每用戶提問約10個問題，則每日約有2.5億次諮詢量。
A100運行小時：假設每個問題平均30字，單個字在A100GPU上約消耗350ms，則一天共需消耗729,167個A100GPU運行小時。
A100需求量：對應每天需要729,167/24=30,382片英偉達A100GPU同時計算，纔可滿足當前ChatGPT的訪問量。
3）運行成本：
初始算力投入：以前述英偉達DGXA100爲基礎，需要30,382/8=3,798臺服務器，對應3,798/7=542個機櫃。則，爲滿足ChatGPT當前千萬級用戶的諮詢量，初始算力投入成本約爲542*140=7.59億美元。
每月電費：用電量而言，542*45.5kw*24h=591,864kwh/日。參考HashrateIndex統計，我們假設美國平均工業電價約爲0.08美元/kwh。則，每日電費約爲2,369,640*0.08=4.7萬美元/日。
訓練成本：公有雲下，單次百萬至千萬美元
國盛證券基於參數數量和token數量估算，GPT-3訓練一次的成本約爲140萬美元；對於一些更大的LLM模型採用同樣的計算公式，訓練成本介於200萬美元至1200萬美元之間：
1）基於參數數量和token數量，根據OneFlow估算，GPT-3訓練一次的成本約爲139.8萬美元：每個token的訓練成本通常約爲6N（而推理成本約爲2N），其中N是LLM的參數數量；假設在訓練過程中，模型的FLOPS利用率爲46.2%，與在TPUv4芯片上進行訓練的PaLM模型（擁有5400億參數）一致。
2）對於一些更大的LLM模型（如擁有2800億參數的Gopher和擁有5400億參數的PaLM），採用同樣的計算公式，可得出，訓練成本介於200萬美元至1200萬美元之間。
國盛證券認爲，在公有雲上，對於以谷歌等全球科技大企業而言，百萬至千萬美元級別的訓練成本並不便宜，但尚在可接受範圍內、並非昂貴。
