來源:中信證券研究
伴隨ChatGPT在全球市場的流行,其在內容深度搜索中的突出表現引發了市場對其是否能替代傳統搜索引擎的廣泛討論。我們認爲ChatGPT在中短期內無法完全取代傳統搜索引擎,也較難改變當前全球搜索引擎市場競爭格局,但料將會加速搜索引擎演化進程,並在中期形成以傳統搜索爲主、ChatGPT類模型爲輔的新搜索引擎形態,相應帶來谷歌等傳統搜索引擎巨頭AI投入大幅增加。ChatGPT優化了問題與答案生成間的匹配精準度,用戶體驗遠好於傳統搜索引擎。
但背後系列短板亦阻礙了其在中短期對傳統搜索引擎的可能取代:1)受制於模型訓練方式,數據難以實時更新。2)單次搜索成本過於高昂,我們測算生成一條信息的成本在1.3美分左右,是目前傳統搜索引擎的3-4倍。3)統計學模型產生的內容真假混雜,用戶難以辨別。
其中1、3點有望在技術端優化後,通過結合傳統搜索引擎的方式部分解決問題,成本問題中短期內或只能等待硬件成本的繼續下降。ChatGPT產生的鮎魚效應,料將推動全球AI產業化進程的全面提速,以及AI生成內容時代的全面到來。
ChatGPT在問答環節表現優異,引起市場對其是否能替代傳統搜索引擎的廣泛討論。OpenAI團隊最新公佈的語言模型ChatGPT於2022年11月30日向社區發佈測試,在上線兩個月不到的時間內就擁有了超過1000萬DAU,MAU突破20萬。從社區用戶的測試結果看,相比於前一代的GPT3,ChatGPT以對話爲載體,可以回答多種多樣的日常問題,對於多輪對話歷史的記憶能力和篇幅增強。
與GPT-3等大模型相比,ChatGPT回答更全面,可以多角度全方位進行回答和闡述,相較以往的大模型,知識被挖掘得更充分。
ChatGPT在內容深度搜索中的強勢表現引發了市場對其是否能替代傳統搜索引擎的爭論,本篇報告將對ChatGPT及其背後的技術是否能替代傳統搜索引擎的市場以及會對傳統搜索引擎巨頭帶來什麼改變展開一系列分析。
ChatGPT較傳統搜索:在GPT3.5基礎上結合人類反饋強化學習進行訓練,優化了問題與答案生成間的匹配精準度。
OpenAI團隊從 GPT3.5 系列中的一個模型進行微調,使用人類反饋強化學習 (RLHF) 訓練。首先使用了人類標註師撰寫約1.2w-1.5w條問答數據,並用其作爲基礎數據預訓練。隨後讓預訓練好的模型(SFT)針對新問題列表生成若幹條回答,並讓人類標註師對這些回答進行排序。這些回答的排名內容將以配對比較的方式生成一個新的獎勵模型(RM)。最後讓獎勵模型在更大的數據集上重新訓練SFT,並將最後兩個步驟反覆迭代以獲得最終的模型。
經過上述步驟,我們發現最終呈現出的ChatGPT模型在對問題意圖與答案的一致性上大幅提高,根據Deepmind信息,相較於傳統搜索引擎提供內容相關頁面鏈接,ChatGPT可以直接生成面向問題的高完成度回答,並能夠提供回答內容的相關引用鏈接(目前測試版本尚未開發這一功能)。此外針對開放式問題,ChatGPT也可以通過匹配網絡中的數據生成較爲完整的答案,在處理知識類以及創意類的問題時,ChatGPT提供的搜索體驗遠勝於目前的傳統搜索引擎。
ChatGPT取代傳統搜索引擎:中短期可能性較低。
儘管ChatGPT能大幅優化用戶的搜索體驗,但要取代傳統搜索引擎仍然面臨幾個關鍵技術瓶頸。
1) 數據的實時性問題。目前英文版本的ChatGPT數據截至2021年,而中文版本的ChatGPT數據截至2020年,數據庫版本滯後的主要原因是由於語言類大模型的技術限制。ChatGPT目前的在GPT大模型上加入標註數據訓練模式讓實時數據的引入非常困難,如果要重新預訓練模型,我們估計每次預訓練需要用到1000塊以上的英偉達A100顯卡工作半個月至一個月的時間,成本在百萬美元以上。而如果採用使用微調的方式專門訓練新知識,會導致新知識的在模型內的權重過高,頻繁的微調也會導致模型“遺忘”舊的知識。
2)數據的真實性仍不足可靠。在大量的測試後我們發現,雖然ChatGPT回答問題的準確性有所提高,但如果提出的問題較爲模糊或者本身包含部分錯誤信息在內,模型有可能以“一本正經”的語氣生成完全錯誤甚至憑空捏造的回答。真假答案的混雜會讓用戶在需要對專業性問題尋求答案時產生嚴重的困擾,這也是目前語言類大模型普遍存在的問題。據CSDN微信公衆號報道,2022年11月幾乎同一時間上線的Meta服務科研領域的語言類大模型Galactica就因爲真假答案混雜的問題,測試僅僅3天就被用戶投訴下線。
3)模型在線推理端成本高昂。根據模型的現有數據,我們假設每次生成的回答長度平均爲50個詞,使用8x英偉達A100用於推理的情況下,我們估算ChatGPT每一次生成答案的成本約爲1.3美分,約爲谷歌搜索引擎每次搜索成本的3倍。如果每天面對數以億計用戶的搜索請求,如此高昂的成本是公司所不能承受的,中短期內完全取代傳統搜索引擎在商業模式上無法做到。
搜索引擎產品演變:傳統搜索引擎爲主+大語言模型爲輔相結合。
目前ChatGPT的技術路徑難以在較短時間內解決搜索成本的問題,因此從分場景限制用量的思路出發,我們認爲中短期內ChatGPT可以通過部分技術改進輔助傳統搜索引擎實現用戶體驗大幅提升。
1)考慮到ChatGPT在不同分類問題中的表現情況,限制ChatGPT搜索僅在知識類搜索場景下啓用可以有效控制成本。
2)面對時效類問題時,模型自動判斷轉向傳統搜索引擎生成答案,並通過傳統搜索引擎的數據返回生成ChatGPT版本的彙總新答案。
3)針對回答真實性問題,加入對答案產生來源的引用註明給用戶,讓用戶可以快速檢驗回答的可靠性。
總的來看,通過一些小技術的革新(大部分已經出現在了其他大語言模型中,只需要借鑑)就可以讓ChatGPT成爲一個合格的輔助搜索引擎。不過成本的問題短期內暫時看不到太好的解決方法,這也給了目前的搜索引擎巨頭充足的時間以應對Chatgpt會帶來的衝擊。
搜索巨頭如谷歌以及百度均在大語言模型上有深厚的積累,尤其是谷歌擁有與ChatGPT相似的對話類模型Sparrow以及Lamda,其部分技術更是在ChatGPT上有所突破,包括使用了多個RM模型以應對不良信息的產生以及加入了新知識迭代優化的相關思路。預計ChatGPT的成功不會給搜索產業帶來顛覆性的新入局者,但會推動谷歌等搜索巨頭加快迭代大語言模型輔助傳統搜索引擎的新格局。
谷歌在最新一季度的財報電話交流會中表示:“谷歌將在未來幾周或幾個月正式推出類似ChatGPT基於大語言模型的人工智能。這種人工智能將以搜索伴侶的形式輔助其傳統搜索引擎。”不過我們認爲大語言模型的加入也會影響到中期谷歌等巨頭的搜索業務利潤空間。在平均每個用戶生成50個單詞的假設下,我們預計到2023年如果有10%的搜索結果由大語言模型生成,將會給谷歌每年帶來約12億美元的額外運營成本。
風險因素:
AI核心技術發展不及預期風險;科技領域政策監管持續收緊風險;全球宏觀經濟復甦不及預期風險;宏觀經濟波動導致歐美企業IT支出不及預期風險;全球雲計算市場發展不及預期風險;企業數據泄露、信息安全風險;行業競爭持續加劇風險等。
投資策略:
受制於信息更新、回答準確性、算力成本等層面因素的綜合約束,ChatGPT中短期內取代傳統搜索引擎的概率較低,但料將加速搜索引擎產品演化進程,並在中期形成以傳統搜索爲主、ChatGPT類模型爲輔的新搜索引擎形態,倒逼傳統搜索廠商不斷加大AI領域投入,同時鑑於目前全球搜索引擎的市場格局,份額較小的微軟Bing最有可能率先實驗大語言模型的實際應用,谷歌等頭部廠商亦將大概率被動跟隨。ChatGPT產生的鮎魚效應,料將推動全球AI產業化進程的全面提速,以及AI生成內容時代的全面到來。