從模型能力看,多模態(tài)大模型僅達(dá)到 LLM 大語言模型兩年前的水平,仍在加速進化中。LLM 大語言模型的上限也還有提升空間,年初 DS 帶火的基于長思維鏈實現(xiàn)慢思考的推理能力,各家都積極探索。
從市場格局看,領(lǐng)先者座次也在動態(tài)變化中。中國信通院的調(diào)研發(fā)現(xiàn),2024 年 4 月還是 OAI 處于領(lǐng)先,到年底文心就超過了 GPT,國內(nèi)模型能力在快速上升。
百模大戰(zhàn)至今,仍未塵埃落定。說明模型競賽是一場技術(shù)馬拉松,靠的不是一時一刻的領(lǐng)先,而是持續(xù)不停地奔跑。ChatGPT、文心、DS 等現(xiàn)象級產(chǎn)品,本質(zhì)上都是大模型從高技術(shù)領(lǐng)域轉(zhuǎn)入普及型全民應(yīng)用的一個產(chǎn)品,并不是 AI 大模型技術(shù)體系的全部。
模型的創(chuàng)新之花持續(xù)綻放,常開不敗,離不開底層 AI 技術(shù)體系的長期積累。而放眼國內(nèi),百度的 AI 底蘊,尤其是它的技術(shù)全棧布局確實是有目共睹的。
那么,百度能否戰(zhàn)至基模終局?我們深入文心 4.5 的技術(shù)機理,為大家扒開百度的 AI 根系。
基模還能出現(xiàn)大幅度的升級迭代嗎?這時候,文心大模型帶來了肯定的答案。近兩個月以來,文心大模型的技術(shù)創(chuàng)新,在速度和銳度上都很突出:
進化速度快,3 月 16 日百度對外發(fā)布了文心 4.5 和深度思考模型文心 X1。1 個多月之后,就發(fā)布了文心 4.5 Turbo 和 X1 Turbo。硬剛的百度又重回大模型視野中心。
主要在兩個領(lǐng)域有較大突破:
一是多模態(tài)領(lǐng)域。文心大模型 4.5 是多模態(tài)基礎(chǔ)大模型,文心 4.5 Turbo 源自文心 4.5。文心 4.5 系列模型實現(xiàn)了文本、圖像和視頻的混合訓(xùn)練。通過構(gòu)建針對不同模態(tài)的 " 異構(gòu)專家 ",為每種模態(tài)設(shè)計專門的處理模塊。這些模塊能夠根據(jù)各自模態(tài)的特點進行優(yōu)化,例如圖像模塊專注于視覺特征提取,文本模塊專注于語言理解,而視頻模塊則結(jié)合了時間和空間信息的處理能力。這種設(shè)計使得文心 4.5 Turbo 能夠充分照顧到不同模態(tài)的特點,文本、圖像和視頻數(shù)據(jù)無縫融合,從而實現(xiàn)更高效的多模態(tài)學(xué)習(xí)。
結(jié)果就是,文心 4.5/4.5T 的多模態(tài)理解能力有比較大的提升,也讓不少相關(guān) AI 應(yīng)用如虎添翼。比如 OCR 翻譯,文心 4.5 Turbo 可以迅速識別單據(jù)中的外文并翻譯出來;解答理科題目,可以對圖像進行更好地理解與分析,明確已知條件和所求問題,再整合工具獲取到的信息和自身知識,給出最終答案。
具體來說,深度思考模型爆火之后,各家都在探索進一步優(yōu)化。但大多數(shù)優(yōu)化都集中于單步驟,讓模型通過單步思考、單步調(diào)用工具來解決問題。但全靠人一步步填鴨式教學(xué),教 AI 怎么做,不僅效率低下,而且模型能力提升有限。因此,需要讓模型自主進行多步思考,學(xué)會舉一反三。
百度在后訓(xùn)練環(huán)節(jié),設(shè)計了多元統(tǒng)一獎勵機制,提升模型對結(jié)果質(zhì)量的判別。有了這種多元評判能力,大模型就可以思考很多步,謀定而后動,最后做出最優(yōu)行動決策。這種多元獎勵機制的強化學(xué)習(xí),可以讓模型探索出更復(fù)雜、多步驟的思維鏈和行動鏈,讓模型在解決真實的長程、復(fù)雜性的任務(wù)上會有更好的表現(xiàn)。
最硬核的創(chuàng)新之花,同時出現(xiàn)在多模態(tài)和推理領(lǐng)域。這說明,哪怕是在創(chuàng)新難度更大的技術(shù)摸高階段,百度仍穩(wěn)穩(wěn)站在第一梯隊。
大模型持續(xù)演進,為什么技術(shù)根脈很重要? AI 不是一招鮮,而是需要通盤考量的綜合問題。
1. 數(shù)據(jù)層面來看,在大模型基礎(chǔ)體系中,很多人覺得數(shù)據(jù)建設(shè)就是一些標(biāo)記、清洗等簡單處理工作,但數(shù)據(jù)建設(shè)的許多問題如果解決好了,模型會更高效地學(xué)到東西。比如文心 4.5 Turbo 是多模態(tài)模型,所以在多模態(tài)數(shù)據(jù)建設(shè)方面,就有許多新的工作,像是多模態(tài)的平行數(shù)據(jù)的構(gòu)建,讓模態(tài)和模態(tài)之間的知識和信息能夠共享。此外,模型融合線上反饋的數(shù)據(jù)進行挖掘,讓模型可以有針對性地改進和提升。
2. 知識角度,基于知識點的大規(guī)模稀缺數(shù)據(jù)構(gòu)建也是這次模型的重要創(chuàng)新點。比如通過百度積累的知識體系,可以檢測模型的數(shù)據(jù)分布上有一些地方是欠缺數(shù)據(jù)的,是冷門的、沒什么人用的知識,再針對性地積累和挖掘。更完備的知識體系,可以為文心大模型提供高質(zhì)量的訓(xùn)練數(shù)據(jù)。
而在深度思考方面,百度研制了自反饋增強的技術(shù)框架,來優(yōu)化整個模型訓(xùn)練的過程,讓訓(xùn)練的過程更加有效率,而且顯著降低了模型幻覺,模型理解和處理復(fù)雜任務(wù)的能力大幅提升。
當(dāng)前模型算法層面還需要不斷創(chuàng)新,去提升大模型性能。百度的 AI 信仰、技術(shù)底蘊與人才厚度,支撐著文心持續(xù)演進。
4. 基礎(chǔ)設(shè)施 infra。大模型性能提升的同時,成本下降也是至關(guān)重要的?;A(chǔ)設(shè)施層面的積累,對文心 4.5 Turbo/X1 Turbo 的研發(fā)起到了關(guān)鍵作用。文心 4.5 Turbo 是一個 MoE 架構(gòu)的多模態(tài)模型,不同模態(tài)差異帶來的問題更加凸顯,不同模型的損失計算協(xié)同通信也是難題。而且模型的訓(xùn)練周期很長,訓(xùn)練過程當(dāng)中,故障中斷的解決、自動的恢復(fù)等,對基礎(chǔ)設(shè)施提出了很高要求。繞到文心大模型背后,會發(fā)現(xiàn)是深度學(xué)習(xí)平臺飛槳多年的積累以及不斷扎實的整個平臺的技術(shù)能力,支撐著文心大模型的快速迭代。
一方面,摘下高技術(shù)領(lǐng)域的果實,需要多要素的長期投入和跨領(lǐng)域協(xié)作。另外,進入技術(shù)無人區(qū),當(dāng)主流技術(shù)路線遭遇瓶頸時,擁有完整技術(shù)體系的企業(yè)可以快速切換路徑,或嘗試多技術(shù)交叉的新路徑。
所以,當(dāng)基模競爭的烈度進一步加劇,在風(fēng)云變幻的技術(shù)浪潮中,根系深厚者才可以穿越周期,持續(xù)領(lǐng)跑。
文心能否站到終點?做科技媒體這么多年,一直會有讀者問我們," 百度 AI 說得那么強,怎么總是趕不上熱席 "。但只要讓子彈飛一會兒,等到真的需要跟世界一流掰手腕的時候,百度卻從未缺席。這是為什么?百度 AI 的獨特性,被一位高一的小朋友敏銳洞察到了。
來自福建省惠安第三中學(xué)的陳君航,在本次開放日上分享了自己使用文心的感受:" 技術(shù)真正的魅力不是驚艷誰,而是真正解決一個又一個真實的問題。"
教育、解題、編程,這些都是現(xiàn)實場景中復(fù)雜的任務(wù)要求,需要 AI 大模型控制幻覺、嚴(yán)密思考推理,確??尚偶翱捎眯?。這種與場景更適配的使用感,是靠多種技術(shù)體系協(xié)同解決,以及工程上的系統(tǒng)性創(chuàng)新才能實現(xiàn)。文心大模型,就是在做這樣實用的 AI。
可以說,文心大模型一直走的是真實實用的路線,演進方向在思考能力建設(shè)上的體現(xiàn)是結(jié)構(gòu)化和專業(yè)化。
比如 X1 的先進思維鏈與多模態(tài)能力,就可以讓個人和行業(yè)伙伴 / 企業(yè)用戶去完成更復(fù)雜的任務(wù),基于文心的基模能力,打造代碼智能體、直播數(shù)字人,可以真正幫助程序員、企業(yè)營銷人員解決現(xiàn)實難題。
所以,文心大模型,不是看得見摸不著的海市蜃樓,而是可以真正被個人和企業(yè)移栽到自身生活工作場景中去的 AI 綠洲,生長著文心系列的一棵棵巨樹,可以被嫁接到真實場景,結(jié)合各行各業(yè)的獨特水土,培育出自己的 AI 根苗。
進入 2025,大眾與行業(yè)都很關(guān)切:百模大戰(zhàn),文心能否站到終點?我們不妨拆解為三個小問題:
根在技術(shù)的百度,有世界一流的創(chuàng)新能力與首屈一指的技術(shù)團隊,能否始終確保文心大模型的先進性?
根在全局的百度,具備快速調(diào)整技術(shù)路徑的戰(zhàn)略縱深,在瞬息萬變的技術(shù)領(lǐng)域,相比押注單一主流技術(shù)趨勢的模廠,百度是否更具彈性和韌性?
根在現(xiàn)實的百度,擁有自主研發(fā)的昆侖芯 / 計算集群、飛槳框架、文心系列模型、繁榮技術(shù)生態(tài),那么走向產(chǎn)業(yè)時,文心大模型是否更容易被信任?
臨近決賽圈的基模格局正風(fēng)云變幻,但 AI 根系深厚扎實的文心,或許才是最無懼風(fēng)雨的那一個。