(相關(guān)資料圖)
文丨陳俊云 許英博 賈凱方 劉銳
伴隨CHATGPT在全球市場的流行,其在內(nèi)容深度搜索中的突出表現(xiàn)引發(fā)了市場對其是否能替代傳統(tǒng)搜索引擎的廣泛討論。我們認為ChatGPT在中短期內(nèi)無法完全取代傳統(tǒng)搜索引擎,也較難改變當前全球搜索引擎市場競爭格局,但料將會加速搜索引擎演化進程,并在中期形成以傳統(tǒng)搜索為主、ChatGPT類模型為輔的新搜索引擎形態(tài),相應帶來谷歌等傳統(tǒng)搜索引擎巨頭AI投入大幅增加。ChatGPT優(yōu)化了問題與答案生成間的匹配精準度,用戶體驗遠好于傳統(tǒng)搜索引擎。但背后系列短板亦阻礙了其在中短期對傳統(tǒng)搜索引擎的可能取代:1)受制于模型訓練方式,數(shù)據(jù)難以實時更新。2)單次搜索成本過于高昂,我們測算生成一條信息的成本在1.3美分左右,是目前傳統(tǒng)搜索引擎的3-4倍。3)統(tǒng)計學模型產(chǎn)生的內(nèi)容真假混雜,用戶難以辨別。其中1、3點有望在技術(shù)端優(yōu)化后,通過結(jié)合傳統(tǒng)搜索引擎的方式部分解決問題,成本問題中短期內(nèi)或只能等待硬件成本的繼續(xù)下降。ChatGPT產(chǎn)生的鯰魚效應,料將推動全球AI產(chǎn)業(yè)化進程的全面提速,以及AI生成內(nèi)容時代的全面到來。
▍報告緣起:
ChatGPT在問答環(huán)節(jié)表現(xiàn)優(yōu)異,引起市場對其是否能替代傳統(tǒng)搜索引擎的廣泛討論。OpenAI團隊最新公布的語言模型ChatGPT于2022年11月30日向社區(qū)發(fā)布測試,在上線兩個月不到的時間內(nèi)就擁有了超過1000萬DAU,MAU突破20萬。從社區(qū)用戶的測試結(jié)果看,相比于前一代的GPT3,ChatGPT以對話為載體,可以回答多種多樣的日常問題,對于多輪對話歷史的記憶能力和篇幅增強。與GPT-3等大模型相比,ChatGPT回答更全面,可以多角度全方位進行回答和闡述,相較以往的大模型,知識被挖掘得更充分。ChatGPT在內(nèi)容深度搜索中的強勢表現(xiàn)引發(fā)了市場對其是否能替代傳統(tǒng)搜索引擎的爭論,本篇報告將對ChatGPT及其背后的技術(shù)是否能替代傳統(tǒng)搜索引擎的市場以及會對傳統(tǒng)搜索引擎巨頭帶來什么改變展開一系列分析。
▍ChatGPT較傳統(tǒng)搜索:在GPT3.5基礎上結(jié)合人類反饋強化學習進行訓練,優(yōu)化了問題與答案生成間的匹配精準度。
OpenAI團隊從 GPT3.5 系列中的一個模型進行微調(diào),使用人類反饋強化學習 (RLHF) 訓練。首先使用了人類標注師撰寫約1.2w-1.5w條問答數(shù)據(jù),并用其作為基礎數(shù)據(jù)預訓練。隨后讓預訓練好的模型(SFT)針對新問題列表生成若干條回答,并讓人類標注師對這些回答進行排序。這些回答的排名內(nèi)容將以配對比較的方式生成一個新的獎勵模型(RM)。最后讓獎勵模型在更大的數(shù)據(jù)集上重新訓練SFT,并將最后兩個步驟反復迭代以獲得最終的模型。
經(jīng)過上述步驟,我們發(fā)現(xiàn)最終呈現(xiàn)出的ChatGPT模型在對問題意圖與答案的一致性上大幅提高,根據(jù)Deepmind信息,相較于傳統(tǒng)搜索引擎提供內(nèi)容相關(guān)頁面鏈接,ChatGPT可以直接生成面向問題的高完成度回答,并能夠提供回答內(nèi)容的相關(guān)引用鏈接(目前測試版本尚未開發(fā)這一功能)。此外針對開放式問題,ChatGPT也可以通過匹配網(wǎng)絡中的數(shù)據(jù)生成較為完整的答案,在處理知識類以及創(chuàng)意類的問題時,ChatGPT提供的搜索體驗遠勝于目前的傳統(tǒng)搜索引擎。
▍ChatGPT取代傳統(tǒng)搜索引擎:中短期可能性較低。
盡管ChatGPT能大幅優(yōu)化用戶的搜索體驗,但要取代傳統(tǒng)搜索引擎仍然面臨幾個關(guān)鍵技術(shù)瓶頸。
1) 數(shù)據(jù)的實時性問題。目前英文版本的ChatGPT數(shù)據(jù)截至2021年,而中文版本的ChatGPT數(shù)據(jù)截至2020年,數(shù)據(jù)庫版本滯后的主要原因是由于語言類大模型的技術(shù)限制。ChatGPT目前的在GPT大模型上加入標注數(shù)據(jù)訓練模式讓實時數(shù)據(jù)的引入非常困難,如果要重新預訓練模型,我們估計每次預訓練需要用到1000塊以上的英偉達A100顯卡工作半個月至一個月的時間,成本在百萬美元以上。而如果采用使用微調(diào)的方式專門訓練新知識,會導致新知識的在模型內(nèi)的權(quán)重過高,頻繁的微調(diào)也會導致模型“遺忘”舊的知識。
2)數(shù)據(jù)的真實性仍不足可靠。在大量的測試后我們發(fā)現(xiàn),雖然ChatGPT回答問題的準確性有所提高,但如果提出的問題較為模糊或者本身包含部分錯誤信息在內(nèi),模型有可能以“一本正經(jīng)”的語氣生成完全錯誤甚至憑空捏造的回答。真假答案的混雜會讓用戶在需要對專業(yè)性問題尋求答案時產(chǎn)生嚴重的困擾,這也是目前語言類大模型普遍存在的問題。據(jù)CSDN微信公眾號報道,2022年11月幾乎同一時間上線的Meta服務科研領(lǐng)域的語言類大模型Galactica就因為真假答案混雜的問題,測試僅僅3天就被用戶投訴下線。
3)模型在線推理端成本高昂。根據(jù)模型的現(xiàn)有數(shù)據(jù),我們假設每次生成的回答長度平均為50個詞,使用8x英偉達A100用于推理的情況下,我們估算ChatGPT每一次生成答案的成本約為1.3美分,約為谷歌搜索引擎每次搜索成本的3倍。如果每天面對數(shù)以億計用戶的搜索請求,如此高昂的成本是公司所不能承受的,中短期內(nèi)完全取代傳統(tǒng)搜索引擎在商業(yè)模式上無法做到。
▍搜索引擎產(chǎn)品演變:傳統(tǒng)搜索引擎為主+大語言模型為輔相結(jié)合。
目前ChatGPT的技術(shù)路徑難以在較短時間內(nèi)解決搜索成本的問題,因此從分場景限制用量的思路出發(fā),我們認為中短期內(nèi)ChatGPT可以通過部分技術(shù)改進輔助傳統(tǒng)搜索引擎實現(xiàn)用戶體驗大幅提升。
1)考慮到ChatGPT在不同分類問題中的表現(xiàn)情況,限制ChatGPT搜索僅在知識類搜索場景下啟用可以有效控制成本。
2)面對時效類問題時,模型自動判斷轉(zhuǎn)向傳統(tǒng)搜索引擎生成答案,并通過傳統(tǒng)搜索引擎的數(shù)據(jù)返回生成ChatGPT版本的匯總新答案。
3)針對回答真實性問題,加入對答案產(chǎn)生來源的引用注明給用戶,讓用戶可以快速檢驗回答的可靠性。
總的來看,通過一些小技術(shù)的革新(大部分已經(jīng)出現(xiàn)在了其他大語言模型中,只需要借鑒)就可以讓ChatGPT成為一個合格的輔助搜索引擎。不過成本的問題短期內(nèi)暫時看不到太好的解決方法,這也給了目前的搜索引擎巨頭充足的時間以應對Chatgpt會帶來的沖擊。
搜索巨頭如谷歌以及百度均在大語言模型上有深厚的積累,尤其是谷歌擁有與ChatGPT相似的對話類模型Sparrow以及Lamda,其部分技術(shù)更是在ChatGPT上有所突破,包括使用了多個RM模型以應對不良信息的產(chǎn)生以及加入了新知識迭代優(yōu)化的相關(guān)思路。預計ChatGPT的成功不會給搜索產(chǎn)業(yè)帶來顛覆性的新入局者,但會推動谷歌等搜索巨頭加快迭代大語言模型輔助傳統(tǒng)搜索引擎的新格局。
谷歌在最新一季度的財報電話交流會中表示:“谷歌將在未來幾周或幾個月正式推出類似ChatGPT基于大語言模型的人工智能。這種人工智能將以搜索伴侶的形式輔助其傳統(tǒng)搜索引擎。”不過我們認為大語言模型的加入也會影響到中期谷歌等巨頭的搜索業(yè)務利潤空間。在平均每個用戶生成50個單詞的假設下,我們預計到2023年如果有10%的搜索結(jié)果由大語言模型生成,將會給谷歌每年帶來約12億美元的額外運營成本。
▍風險因素:
AI核心技術(shù)發(fā)展不及預期風險;科技領(lǐng)域政策監(jiān)管持續(xù)收緊風險;全球宏觀經(jīng)濟復蘇不及預期風險;宏觀經(jīng)濟波動導致歐美企業(yè)IT支出不及預期風險;全球云計算市場發(fā)展不及預期風險;企業(yè)數(shù)據(jù)泄露、信息安全風險;行業(yè)競爭持續(xù)加劇風險等。
▍投資策略:
受制于信息更新、回答準確性、算力成本等層面因素的綜合約束,ChatGPT中短期內(nèi)取代傳統(tǒng)搜索引擎的概率較低,但料將加速搜索引擎產(chǎn)品演化進程,并在中期形成以傳統(tǒng)搜索為主、ChatGPT類模型為輔的新搜索引擎形態(tài),倒逼傳統(tǒng)搜索廠商不斷加大AI領(lǐng)域投入,同時鑒于目前全球搜索引擎的市場格局,份額較小的微軟Bing最有可能率先實驗大語言模型的實際應用,谷歌等頭部廠商亦將大概率被動跟隨。ChatGPT產(chǎn)生的鯰魚效應,料將推動全球AI產(chǎn)業(yè)化進程的全面提速,以及AI生成內(nèi)容時代的全面到來。