成立120天，王小川的大模型公司百川智能又有了新動作。
鈦媒體App獲悉，8月8日下午，百川智能在北京發(fā)布530億參數(shù)通用大模型Baichuan-53B，定位閉源，主要面向B端用戶提供服務(wù)，在寫作、文本創(chuàng)作能力方面已達到行業(yè)較好水平，用于教育、醫(yī)療等領(lǐng)域。目前其已在官網(wǎng)啟動內(nèi)測。
【資料圖】
百川智能創(chuàng)始人兼CEO 王小川對鈦媒體App透露，目前已有阿里云、騰訊云、火山引擎、浪潮、順豐科技等超過150家合作伙伴使用Baichuan模型，預(yù)計下個月將會開放API等相關(guān)組件。
“這次大模型的文科能力更好。”王小川表示，其在理解古詩、生成有個性化風(fēng)格的文章等方面具有較高的水平。百川認為目前閉源大模型反映一種技術(shù)能力，本質(zhì)是為企業(yè)端（To B）服務(wù)，后面還會進行強化、數(shù)據(jù)庫等對接工作，把企業(yè)端服務(wù)優(yōu)先做起來。
王小川現(xiàn)場展示的百川大模型內(nèi)測界面（來源：鈦媒體App編輯拍攝）
王小川還透露，除了企業(yè)端以外，今年底之前，百川智能團隊將部署有消費級（To C）端的超級應(yīng)用。“未來不只有一款的超級應(yīng)用，正在研發(fā)的路上。”
實際上，宣布成立的過去120天，百川智能已連續(xù)推出兩款開源大模型：70億、130億參數(shù)的Baichuan-7B、Baichuan-13B系列，并登上多個評測榜單前列。
而如今，隨著Baichuan-53B大模型的發(fā)布，王小川的百川智能迎來又一重要里程碑，完成開源+閉源大模型并行布局，將全面開啟大模型的商業(yè)化時代。
成立120天完成開源+閉源大模型，中文能力已遠超Llama？
時間倒回至120天前。
今年4月10日，沉寂一年多的搜狗創(chuàng)始人王小川正式對外宣布再度創(chuàng)業(yè)，選擇人工智能（AI）大模型領(lǐng)域，他與前搜狗COO茹立云聯(lián)合成立通用人工智能公司百川智能，旨在打造中國版的OpenAI。
王小川當(dāng)時對鈦媒體App等透露，百川智能已獲得5000萬美元啟動資金，核心團隊則包括前搜狗員工等頂尖AI人才。百川智能將借助語言AI的突破，構(gòu)建中國最好的大模型底座，并在教育、醫(yī)療等領(lǐng)域應(yīng)用落地。
鈦媒體App了解到，截至目前，百川智能員工規(guī)模在113人左右，其中技術(shù)人員占70%-80%。
王小川認為，國內(nèi)最好的大模型標(biāo)準有三點，分別是參數(shù)量、測試集的效果，Chat產(chǎn)品體驗。（詳見鈦媒體App前文：《王小川入局大模型創(chuàng)業(yè)，稱追上GPT-4需要3年左右》、《GPT革命：百川智能與OpenAI的同與不同》）
為了打造國內(nèi)最好的大模型，過去四個月內(nèi)，首先，王小川帶領(lǐng)百川智能團隊推出了兩款開源模型：70億參數(shù)量的中英文預(yù)訓(xùn)練大模型baichuan-7B，以及130億參數(shù)大模型Baichuan-13B系列——包括通用大語言模型Baichuan-13B-Base、對話模型Baichuan-13B-Chat和其INT4/INT8兩個量化版本。
其中，baichuan-7B利用自研超大規(guī)模局部敏感哈希聚類系統(tǒng)和語義聚類系統(tǒng)，最終構(gòu)建了包含1.2萬億token的兼顧質(zhì)量和多樣性的預(yù)訓(xùn)練數(shù)據(jù)。相較于其他同參數(shù)規(guī)模的開源中文預(yù)訓(xùn)練模型，數(shù)據(jù)量提高了超過50%。
而Baichuan-13B則在1.4萬億token數(shù)據(jù)集上訓(xùn)練，超過Meta LLaMA-13B 40%，是當(dāng)前開源130億參數(shù)下訓(xùn)練數(shù)據(jù)量最大的模型，上下文窗口長度為4096，百川稱憑借百億參數(shù)量已經(jīng)展現(xiàn)出可以媲美千億模型的能力。
上述Baichuan模型代碼采用Apache-2.0協(xié)議，模型權(quán)重采用了免費商用協(xié)議，只需進行簡單登記即可免費商用。目前，兩款開源模型均已在Hugging Face、Github和Model Scope等平臺上線。
具體到基準評測上，根據(jù)此前百川智能公布的結(jié)果顯示，在MMLU評測中，baichuan-7B綜合評分達42.5分，超過了英文開源大模型LLaMA-7B的34.2分、中文開源模型ChatGLM-6B的36.9分；中文C-EVAL評測中，baichuan-7B的綜合評分（42.8分）當(dāng)時超過了ChatGLM-6B的38.9分。
Baichuan-13B基準（Benchmark）方面，C-EVAL中，Baichuan-13B在自然科學(xué)、醫(yī)學(xué)、藝術(shù)、數(shù)學(xué)等領(lǐng)域大幅領(lǐng)先LLaMA-13B、Vicuna-13B等同尺寸的大語言模型，在社會科學(xué)、人文科學(xué)等領(lǐng)域超過了ChatGPT；MMLU上，Baichuan-13B超過了所有同尺寸開源模型。
百川智能強調(diào)，其Baichuan-13B系列模型未針對任何基準測試進行專項優(yōu)化，保證了模型的純凈度，具有更高的效能和可定制性。
百川智能Baichuan-13B開源模型基準評測成績比較（截至2023年7月）
截至鈦媒體App發(fā)稿前，據(jù)C-Eval官網(wǎng)顯示，百川智能的開源大模型Baichuan-13B總排名為第17位，平均分為53.6分，Baichuan-6B排名第28位。目前C-Eval平臺總排行第一的是智譜AI公司于今年6月發(fā)布的ChatGLM2，平均分71.1分；排名第二是OpenAI發(fā)布的GPT-4，Meta最新發(fā)布的Llama2大模型沒有參與評測。
整體來說，百川智能公開的兩款開源大模型在各種測評上都有不錯的表現(xiàn)。
王小川7月曾透露，開源大模型里面，百川智能在中文領(lǐng)域現(xiàn)在就可以替代，甚至現(xiàn)在已經(jīng)是超越，未來其開源模型能力一定會超越Llama 2。“開源很簡單，大家可以拿著自己用的，這不是你自己吹牛吹出來的。我覺得是可以做到的，我們應(yīng)該有這樣的自信。”
此次，百川智能正式發(fā)布530億參數(shù)的新一代大模型Baichuan-53B。
具體來說，Baichuan-53B在預(yù)訓(xùn)練數(shù)據(jù)、搜索增強、動態(tài)響應(yīng)策略、對齊能力等方面具有獨特的技術(shù)特點和優(yōu)勢。
其中，Baichuan-53B在預(yù)訓(xùn)練數(shù)據(jù)方面實現(xiàn)全面的世界知識體系、系統(tǒng)的數(shù)據(jù)質(zhì)量體系、多粒度的大規(guī)模聚類系統(tǒng)、細粒度自動化匹配算法等；搜索增強方面，百川智能將搜索技術(shù)與大語言模型能力相結(jié)合，實現(xiàn)創(chuàng)新性的模型優(yōu)化與改進；動態(tài)響應(yīng)策略方面，百川智能將指令任務(wù)細化為16個獨立類別，涵蓋邏輯推理、精準問答等場景進行設(shè)計和優(yōu)化；在回答結(jié)果的搜索增強上，百川智能采用RLHF（人類反饋強化學(xué)習(xí)）技術(shù)，使得大模型能夠參照搜索結(jié)果，針對用戶請求生成高價值且具有實時性的回答。
王小川還在現(xiàn)場展示了Baichuan-53B的落地Chat內(nèi)容生成能力，既可以給出大模型服務(wù)數(shù)字化升級的科技公司候選名字，又可以給古龍的風(fēng)格寫個朋友圈、寫微信春節(jié)祝福語等。
鈦媒體App也在百川大模型內(nèi)測中測試了“如果企業(yè)家抑郁了，你覺得應(yīng)該怎么辦？”這種問題，百川大模型回答認為需要改變生活習(xí)慣、尋求專業(yè)幫助等。
截至目前，百川已完成了“開源+閉源”大模型并行布局，王小川也在現(xiàn)場談及這兩部分布局的原因。
王小川對鈦媒體App表示，大模型的開源與閉源不同于To C市場中的安卓和iOS的選擇。從企業(yè)端（2B）角度看，兩者都有其需求和應(yīng)用。未來，可能未來80%會用到開源模型，大部分企業(yè)可能會使用開源模型進行優(yōu)化，因為它們可以更靈活地適應(yīng)特定場景，并且成本較低。盡管閉源模型功能強大，但在實際應(yīng)用中，開源模型在很多場景下都非常實用。例如，百川的13B和7B模型在某些應(yīng)用中已超越閉源GPT。
王小川強調(diào)，總的來說，開源和閉源模型在不同場景中是互補的，而不是競爭關(guān)系。更重要的是關(guān)注To B和To C的實際應(yīng)用，而不僅僅是討論開源與閉源的問題。這個觀點正逐漸形成共識。
他提到，大模型做開源主要有幾層含義：第一，它是一種市場營銷行為，尤其對于后發(fā)者來說，能迅速吸引關(guān)注并建立良好的聲譽；例如，Llama和OpenAI都將有開源產(chǎn)品；第二，開源可以為未來的商業(yè)化打下基礎(chǔ)，當(dāng)用戶對開源產(chǎn)品產(chǎn)生依賴并需要更高級的功能時，可以從開源轉(zhuǎn)向收費。雖然這一模式在中國尚未完全成功，但可以借鑒國外的經(jīng)驗。此外，更高可靠性、提高大模型數(shù)據(jù)修復(fù)等情況都有很大益處。
談及Baichuan-53B閉源大模型優(yōu)勢，王小川認為，閉源模型可以做得更大并提供簡化的接口，使得部署和推理變得簡單。這樣，客戶能夠更方便地解決復(fù)雜問題，盡管開源模型更為廣泛，但閉源模型在實際使用中更加便捷。
此前王小川已表示，他認為未來開源和閉源會像蘋果和安卓系統(tǒng)一樣并行發(fā)展。大部分服務(wù)會依賴開源模型，而閉源會提供特定的增值服務(wù)。開源模型提供80%，最后靠閉源提供剩下20%服務(wù)。盡管美國之前沒有開源模型，但當(dāng)Llama2發(fā)布時，美國和中國都受到了很大的沖擊。相較于Llama，百川在中文領(lǐng)域的表現(xiàn)是遠超Llama的品質(zhì)。
“未來推動大模型有三個事很重要：一是大模型本身預(yù)訓(xùn)練能力，二是搜索能力，三是強化能力。”王小川提到，強化是比較創(chuàng)新、有難度，但百川希望做到中國最好的、對標(biāo)GPT的模型，因此會持續(xù)挑戰(zhàn)各種難點，實現(xiàn)創(chuàng)新突破。
對于大模型同質(zhì)化現(xiàn)象，王小川強調(diào)，大模型的同質(zhì)化是產(chǎn)業(yè)發(fā)展早期的正常階段，而百川智能的搜索增強未來也會是其大模型發(fā)展的一大差異化優(yōu)勢。
商業(yè)化將成為大模型下半場競爭關(guān)鍵“防線”
近日，搜狗原CMO洪濤在朋友圈官宣即將入職百川智能，負責(zé)商業(yè)化。
王小川對鈦媒體App表示，洪濤回來代表了百川智能在商業(yè)化上的探索，一方面百川智能的大模型發(fā)布速度很快，另一方面也是其在商業(yè)化的考慮以及消費端應(yīng)用的布局考量。
“預(yù)計一年左右，百川智能就會跑通大模型的商業(yè)模式。”今年4月王小川說的‘豪言狀語’正開始逐步落地實踐，比如王小川透露，百川智能在醫(yī)療領(lǐng)域已經(jīng)開始談一些落地商業(yè)合作，而且未來考慮研發(fā)直達用戶的產(chǎn)品；教育領(lǐng)域，百川下一步將與企業(yè)在To B教育大模型領(lǐng)域合作。
當(dāng)前，國內(nèi)大模型賽道進入了“下半場”，大家開始比拼 AI 大模型技術(shù)的商業(yè)化落地，預(yù)計將成為未來幾個月內(nèi)，國內(nèi)大模型賽道競爭的關(guān)鍵“防線”。
目前，OpenAI和微軟做了一個很好的示范：C端方面，ChatGPT采用“每月20美元”Plus會員服務(wù)，并在GPT-4 API上對外付費，OpenAI預(yù)計年收入將達數(shù)十億元；B端方面，微軟365 Copilot上定價提升每人30美元/月。根據(jù)官網(wǎng)定價，企業(yè)用戶訂閱服務(wù)最高達38美元/月，而微軟云Azure OpenAI平臺則提供開發(fā)服務(wù)，GPT-4 32k下每1000個token價格為0.12美元。
Wedbush分析師Dan Ives預(yù)計，未來微軟將拓展AI智能云市場機會，最快可在2025年將云計算年收入提高20%。據(jù)悉，截至今年6月的過去12個月內(nèi)，微軟智能云收入超過1100億美元，Azure OpenAI GPT-4云服務(wù)客戶達1.1萬名。
但相比之下，目前，國內(nèi)暫沒有企業(yè)在大模型中真正產(chǎn)生規(guī)模化收入，互聯(lián)網(wǎng)大廠則大部分采用通用、垂直大模型與云計算業(yè)務(wù)相結(jié)合，通過MaaS（Model As A Service）賣云服務(wù)方案。而同時，大模型公司卻集體面臨算力價格持續(xù)攀升，成本高居不下，企業(yè)急需盈利等問題。
因此，王小川如今給出的答案是：利用通用大模型同步深入產(chǎn)業(yè)端、消費端。
今年6月，百川智能宣布，北京大學(xué)和清華大學(xué)兩所頂尖大學(xué)已率先使用baichuan-7B模型推進相關(guān)研究工作，并計劃在未來與百川智能深入合作，共同推動baichuan-7B模型的應(yīng)用和發(fā)展。
清華大學(xué)互聯(lián)網(wǎng)司法研究院院長、計算機系教授劉奕群認為，baichuan-7B模型在中文上的效果表現(xiàn)十分出色。團隊計劃基于baichuan-7B模型開展司法人工智能領(lǐng)域的相關(guān)研究；北京大學(xué)人工智能研究院助理教授楊耀東提到，baichuan-7B模型的開源對中文語言模型的生態(tài)和學(xué)術(shù)研究有積極影響，同時還將深入探討中文大語言模型的安全和對齊問題。
王小川對鈦媒體App表示，在模型端，百川認為不可能把所有賽道都做完。因此B端做開源模型，從而讓企業(yè)做腸鏡試用，并且希望足夠開放；C端則要有超級應(yīng)用的考量和研發(fā)。
“其實我們跟OpenAI的邏輯不太一樣，他們目前API調(diào)用只是ChatGPT，我們在兩頭走得更遠一點，B端更開放，C端計劃做超級應(yīng)用。”王小川透露，目前百川智能在同時使用阿里、騰訊的云服務(wù)。
對于算力需求，王小川提到，目前大模型行業(yè)算力分訓(xùn)練、推理兩部分，合計成本占大模型總成本的40%以上。如果中國要想解決好 AI 算力需求問題，推理部分中國需要有國產(chǎn)算力能力，只有英偉達（壟斷）是不夠的，而訓(xùn)練部分依然需要英偉達，中國大體頂不上，現(xiàn)在有天花板。“這是整個（行業(yè)）都要解決的問題。”
王小川表示，B端市場需求明確、天花板不高，但面臨的挑戰(zhàn)是如何有效對接企業(yè)的私有數(shù)據(jù)，因為每家企業(yè)的數(shù)據(jù)和需求都有所不同。這涉及到數(shù)據(jù)的連接和信任問題，而且To B的研發(fā)和服務(wù)成本較高。所以，理想的結(jié)構(gòu)應(yīng)該是：一是真實場景的B端市場，二是為B端提供服務(wù)的中間層，三是進行模型研發(fā)和優(yōu)化的后端團隊。這構(gòu)成了一個三層結(jié)構(gòu)。
談及大廠的排他競爭，王小川認為，目前中國大模型還比較開放，互相之間沒有到二選一狀態(tài)。而且，大家對大模型的理解度還不夠，沒有到共識的狀態(tài)，未來慢慢會有更多分層，更多專注在自己的事情，現(xiàn)在還是在“群模亂舞”的狀態(tài)。
“本輪大模型當(dāng)中，可能最終只有不到5個大模型會拿到‘通行船票’。”王小川四個月前的這句話今天他改成：5個大模型里面，百川兩個都在上面。
（本文首發(fā)鈦媒體App，作者｜林志佳）
