本文來自格隆匯專欄：中信證券研究；作者：陳俊雲 許英博 賈凱方 劉鋭

ChatGPT在全球AI產業、技術領域帶來的良好示範效應，有望推動AI算法模型結束當前的技術路線分叉，並不斷向以GPT為主導的大語言模型（LLM）靠攏，加速全球AI產業“工業化”時代到來。中期維度，大語言模型領域“暴力美學”預計仍將是我們不斷逼近通用人工智能的最可能路線，基於此基準假設，模型算法架構將遵從漸進的學術研究步伐，高質量數據集、工程實踐能力、核心人才、資本將成為大模型研發領域的核心競爭壁壘。而面對當前GPT等大語言模型在問答可靠性、推理能力等層面缺陷，複雜問題分解、鏈接外部知識&工具等增強語言模型（ALM）方式將是可行的方式，比如ChatGPT插件等。作為中期最具確定性的產業方向之一，我們持續看好全球AI領域的投資機會，並建議持續聚焦芯片、算力設施、模型架構&工程實踐、應用場景等核心環節。

▍報吿緣起：

ChatGPT在全球市場的成功，以及由此引致的全球主要科技企業在AI領域的軍備競賽，正在加速全球AI產業的發展速度。AI算法模型作為產業的核心環節，其本身的技術路線，將直接決定AI產業鏈最終形態，以及各產業環節的分工協作方式、價值分配結構等，對AI算法模型技術路線的系統分析、前瞻性判斷，是構建AI產業中期投資邏輯的核心基礎。在本篇專題中，我們主要回答：AI算法模型是否會朝GPT方向進行收斂、算法模型核心競爭壁壘、算力是否會成為AI產業潛在約束因素，以及如何引入新的知識&工具，以克服當前大語言模型的潛在缺陷等。

▍技術路線：大語言模型（LLM）有望實現主導，並不斷向GPT方案靠攏。

在過去近10年裏，人工智能模型經歷了從小模型到以Transformer為代表的大模型的轉變，我們根據行業發展的歷史總結為以下四個階段。

1）2017年前，以深度學習為核心的小模型佔據主流：這類模型以LSTM及CNN模型作為典型的特徵抽取器，根據特定領域標註數據訓練，在一些任務上可以達到接近人類的水準。但是硬件算力不夠導致針對其他領域重新訓練成本過高，讓其通用型任務的完成情況很差。 

2）2017年到2020年，以谷歌Bert為代表的雙向預訓練+Fine Tuning（微調）的Transformer模型橫空出世成為了人工智能的主流方向。谷歌團隊人員發表的《Attention is all you need》論文開創了Transformer模型，重新統一了自然語言模型(NLP)的研究範式。這類模型以預訓練的方式學習語言學特徵，大幅簡化了過去NLP繁瑣的研究種類。Transformer作為特徵提取器效果好於CNN、LSTM模型等，讓AI首次能在語言任務的部分場景中追平人類。

3）2020年到2022年，產業界與學術界繼續沿着Transformer的道路前景，但開始嘗試不同於Bert的其他Transformer架構，通過預訓練無監督學習的方法不斷增加模型大小成為了這一時段的主流。以1750億參數的GPT-3為代表，各大互聯網巨頭不斷嘗試增加模型體積以獲得更好的效果。GPT-3為代表的自迴歸+Prompting的方法開始展現產品化能力的優越性，與Fine-tuning方法的Bert模型成為兩條道路。

4）2022年至今，ChatGPT的成功證明了GPT模型的Prompting道路的正確性，同時也強調了數據質量的重要性。ChatGPT最重要的成功是在產品化上更進一步：ChatGPT在模型精度上並沒有飛躍性的突破，但從Few Shot prompt（需要輸入範例示範）轉換到Instruct（用人類語言描述想做什麼）更加貼合用户的習慣。

▍競爭壁壘：數據、工程實踐、人才、資本等。

回顧過去近十年人工智能模型的發展，我們發現進入人工智能模型研發的門檻越來越高。從Bert開始到GPT-3再到谷歌的PALM，網絡中的公開語言數據源已經在被儘可能地利用（論壇、新聞、維基百科等等），而模型的進一步優化對數據質量的要求也越來越高。

我們認為優質的私有數據源將在未來3-5年裏人工智能模型的精度優化上發揮更重要的作用。爬蟲難以爬取的社交媒體數據、保存在後台的用户偏好數據、代碼託管數據等仍具有開發空間，這也將成為數據獲取端的優勢，而結合這些私有數據生成的合成數據將進一步放大這些公司數據端的優勢。

此外隨着模型體量仍然在成倍數增加，大量的前期資本投入是阻礙新入者的重要因素。在過去五年內，我們看到人工智能模型的獨角獸都在尋找互聯網科技大廠作為其背後的依靠，主要因為1）能夠得到充足而短時間內不求產出的資金支持，2）依靠互聯網大廠的公有云等相關資源進一步降低成，本3)獲取互聯網大廠長期以來所積累的優質數據源。這也是我們看到為什麼在過去五年內人工智能頭部廠商逐漸從開源走向閉源，利用其資源優勢來打造差異化的AI模型，而落後者更希望通過開源的模式以求縮小與頭部廠商的距離。

研發團隊的工程能力是決定公司在大語言模型競爭力的另一個重要因素。隨着語言模型的體積不斷增加，在研究方法上現今千億量級的模型與之前幾十億量級的小模型發生了本質變化，個體工程師沒有能力通過自有資源積累對大模型的學習經驗。一個合格的大模型研發團隊需要依靠大公司的資源支持才能積累對模型調試、優化、實際部署等各個環節足夠的經驗。優秀的工程人才稀缺以及培養難度讓沒有經驗的新公司進入更為困難，如何招募到一個大模型領域經驗豐富的專家並在其影響力的基礎上招募來自於大公司的有一定工程經驗的團隊將成為新入公司的核心問題。

▍算力成本：單位成本持續保持快速下降趨勢。

根據我們之前系列報吿的測算，儘管人工智能模型的總研發投入持續在提高，但主要原因來自於模型體積的倍數式增長，而人工智能模型的單位成本保持下降趨勢。

在推理端以相同模型為例，在2020年根據Stanford講師Mourri的測算，訓練GPT-3的成本約為460萬美元。而至2022年底，根據我們的重新測算訓練同樣的GPT-3模型在兩年後成本僅需要150萬美元，成本下降了66%以上。在模型推理端以ChatGPT為例，根據我們在2022年底的測算，ChatGPT生成一次回答的成本約在1-2美分之間。而從3月2日OpenAI對ChatGPT API的定價出，0.2美分每1000tokens的定價對應為百億參數級別的模型。結合ChatGPT在訓練過程中所使用得Reward Model（獎勵模型，記錄了人類偏好）應為千億參數級別的模型，這也意味着OpenAI將其在千億參數模型中所學習到的能力通過類似於蒸餾（distillation）的方式濃縮進了百億參數的模型中，快速降低了成本消耗。根據目前用户在社交媒體的反饋結果看，這個百億參數模型的能力以及追平甚至超越了先前的大尺寸模型。

因此無論是模型推理端或訓練端，我們都觀察到單位成本在持續保持下降的趨勢，而總成本的持續提高來源於模型大小的持續增加以及用户數量的增加。當未來模型大小與日活用户數接近閾值後，成本端的優化將會收束模型整體成本的膨脹，也提供給一些中小公司切入垂直領域的機會，最終形成：AI巨頭提供泛用性模型以及服務主要ToC需求，中小公司切入特定垂直行業並根據需求做微調優化模型的格局。

▍未來展望：通過插件等擴展大語言模型（LLM）能力邊界。

目前小公司雖然沒有能力研發底層的大語言模型，但其可以通過微調的形式服務垂直領域的需求。我們認為OpenAI三月份在ChatGPT中推出的插件接口是為了接入小公司的微調成果的一次嘗試：第三方廠商將可以自有的數據源及部分算法作為ChatGPT之上的插件，ChatGPT可以調用插件中的外部API接口來獲得信息。插件提供者使用 OpenAPI 標準編寫 API ，然後這個API會被編譯成一個prompt向 ChatGPT 解釋如何使用 API 來增強其答案。當用户選擇對應插件後，如果 ChatGPT 認為應該從 API 獲取信息，它將發出請求並在嘗試迴應之前將信息添加到上下文中。通過插件接口這一模式簡化了小公司對大語言模型微調的難度，並豐富了基於大語言模型之上的環境生態。同時通過複雜問題分解、鏈接外部知識&工具（比如插件）等增強語言模型方式，亦能有效解決現有大語言模型在問答可靠性、信息及時性等方面的固有缺陷。

▍風險因素：

AI核心技術發展不及預期風險；科技領域政策監管持續收緊風險；全球宏觀經濟復甦不及預期風險；宏觀經濟波動導致歐美企業IT支出不及預期風險；AI潛在倫理、道德、用户隱私風險；企業數據泄露、信息安全風險；行業競爭持續加劇風險等。

▍投資策略：

ChatGPT在全球AI產業、技術領域帶來的良好示範效應，有望推動AI算法模型結束當前的技術路線分叉，並不斷向以GPT為主導的大語言模型（LLM）靠攏。中期維度，大語言模型+“暴力美學”預計仍將是我們不斷逼近通用人工智能的最可能路線。作為中期最具確定性的產業方向之一，我們持續看好全球AI領域的投資機會，並建議持續聚焦芯片、算力設施、模型架構&工程實踐、應用場景等核心環節。

注：本文節選自中信證券研究部已於2023年X月XX日發佈的《XXXXX》報吿

報吿分析師：陳俊雲S1010517080001； 許英博S1010510120041； 賈凱方S1010522080001； 劉鋭S1010522110001