國(guó)產(chǎn)大模型進(jìn)入長(zhǎng)跑期，從參數(shù)至上轉(zhuǎn)向?qū)嵱脙?yōu)先。
【資料圖】
9月7日，在2023騰訊全球數(shù)字生態(tài)大會(huì)上，騰訊混元大模型正式亮相，并宣布通過(guò)騰訊云對(duì)外開(kāi)放。
騰訊混元大模型是由騰訊全鏈路自研的通用大語(yǔ)言模型，擁有超千億參數(shù)規(guī)模，預(yù)訓(xùn)練語(yǔ)料超2萬(wàn)億tokens，具備強(qiáng)大的中文創(chuàng)作能力，復(fù)雜語(yǔ)境下的邏輯推理能力，以及可靠的任務(wù)執(zhí)行能力。
▲混元大模型具備強(qiáng)大的中文創(chuàng)作能力/圖源 騰訊
值得關(guān)注的是，騰訊混元大模型是“從實(shí)踐中來(lái)，到實(shí)踐中去”的實(shí)用級(jí)大模型。騰訊云、騰訊廣告、騰訊游戲、騰訊金融科技、騰訊會(huì)議、騰訊文檔、微信搜一搜、QQ瀏覽器等超過(guò)50個(gè)騰訊業(yè)務(wù)和產(chǎn)品，已經(jīng)接入騰訊混元大模型測(cè)試，并取得初步效果。
據(jù)了解，混元大模型將作為騰訊云MaaS服務(wù)的底座，客戶(hù)不僅可以直接通過(guò)API調(diào)用混元，也可以將混元作為基底模型，為不同產(chǎn)業(yè)場(chǎng)景構(gòu)建專(zhuān)屬應(yīng)用。
騰訊集團(tuán)高級(jí)執(zhí)行副總裁、云與智慧產(chǎn)業(yè)事業(yè)群CEO湯道生表示：“以大模型生成技術(shù)為核心，人工智能正在成為下一輪數(shù)字化發(fā)展的關(guān)鍵動(dòng)力，也為解決產(chǎn)業(yè)痛點(diǎn)帶來(lái)了全新的思路。大模型需要基于產(chǎn)業(yè)場(chǎng)景，與企業(yè)數(shù)據(jù)融合，才能釋放出最大的價(jià)值?！?/p>
久久為功，全鏈路技術(shù)自研
據(jù)騰訊集團(tuán)副總裁蔣杰介紹，騰訊混元大模型從第一個(gè)token開(kāi)始從零訓(xùn)練，掌握了從模型算法到機(jī)器學(xué)習(xí)框架，再到AI基礎(chǔ)設(shè)施的全鏈路自研技術(shù)。
▲騰訊集團(tuán)副總裁 蔣杰/圖源 騰訊
從2021年開(kāi)始，騰訊先后推出千億和萬(wàn)億參數(shù)的NLP稀疏大模型，打破CLUE三大榜單記錄，實(shí)現(xiàn)在中文理解能力上的新突破。
目前，業(yè)界大模型在場(chǎng)景中的應(yīng)用依然有限，主要集中在容錯(cuò)率高、任務(wù)簡(jiǎn)單的休閑場(chǎng)景。騰訊在算法層面進(jìn)行了一系列自研創(chuàng)新，提高了模型的可靠性和成熟度。
針對(duì)大模型容易“胡言亂語(yǔ)”的問(wèn)題，騰訊優(yōu)化了預(yù)訓(xùn)練算法及策略，讓混元大模型的幻覺(jué)相比主流開(kāi)源大模型降低了30%至50%；通過(guò)強(qiáng)化學(xué)習(xí)的方法，讓模型學(xué)會(huì)識(shí)別陷阱問(wèn)題；通過(guò)位置編碼優(yōu)化，提高了超長(zhǎng)文件的處理效果和性能；提出思維鏈的新策略，讓大模型能夠像人一樣結(jié)合實(shí)際的應(yīng)用場(chǎng)景進(jìn)行推理和決策。
此外，騰訊還自研了機(jī)器學(xué)習(xí)框架Angel，使訓(xùn)練速度相比業(yè)界主流框架提升1倍，推理速度比業(yè)界主流框架提升1.3倍。
▲騰訊混元大模型 全鏈路自研/圖源 騰訊
得益于全鏈路自研技術(shù)，騰訊混元大模型能夠理解上下文的含義，并且有長(zhǎng)文記憶能力，可以流暢地進(jìn)行專(zhuān)業(yè)領(lǐng)域的多輪對(duì)話。除此之外，它還能進(jìn)行文學(xué)創(chuàng)作、文本摘要、角色扮演等內(nèi)容創(chuàng)作，做到充分理解用戶(hù)意圖，并高效、準(zhǔn)確的給出有時(shí)效性的答復(fù)。
在中國(guó)信通院《大規(guī)模預(yù)訓(xùn)練模型技術(shù)和應(yīng)用的評(píng)估方法》的標(biāo)準(zhǔn)符合性測(cè)試中，混元大模型共測(cè)評(píng)66個(gè)能力項(xiàng)，在“模型開(kāi)發(fā)”和“模型能力”兩個(gè)重要領(lǐng)域的綜合評(píng)價(jià)均獲得了當(dāng)前的最高分。在主流的評(píng)測(cè)集MMLU、CEval和AGI-eval上，混元大模型均有優(yōu)異的表現(xiàn)，特別是在中文的理科、高考題和數(shù)學(xué)等子項(xiàng)上表現(xiàn)突出。
上海財(cái)經(jīng)大學(xué)校長(zhǎng)劉元春認(rèn)為：“借助于全鏈路自研，中國(guó)將不斷積累大模型相關(guān)人才和技術(shù)，逐漸形成體系化的產(chǎn)業(yè)鏈、人才鏈、技術(shù)鏈和創(chuàng)新鏈，最終走出一條發(fā)展通用人工智能的中國(guó)路徑，助力我們?cè)跀?shù)字技術(shù)的創(chuàng)新上取得突破性進(jìn)展?！?/p>
騰訊全面擁抱大模型
蔣杰表示：“我們研發(fā)大模型的目標(biāo)不是在評(píng)測(cè)上獲得高分，而是將技術(shù)應(yīng)用到實(shí)際場(chǎng)景中。騰訊將全面擁抱大模型?！?/p>
▲大會(huì)現(xiàn)場(chǎng)/圖源 騰訊
在此次大會(huì)上，蔣杰展示了騰訊會(huì)議、騰訊文檔、騰訊廣告等多個(gè)業(yè)務(wù)，在接入騰訊混元大模型后的實(shí)際應(yīng)用情況。
比如騰訊會(huì)議基于混元大模型打造了AI小助手，只需要簡(jiǎn)單的自然語(yǔ)言指令，就能完成會(huì)議信息提取、內(nèi)容分析等復(fù)雜任務(wù)，會(huì)后還能生成智能總結(jié)紀(jì)要。據(jù)實(shí)測(cè)，在指令理解、會(huì)中問(wèn)答、會(huì)議摘要、會(huì)議待辦事項(xiàng)等多個(gè)方面，混元大模型均獲得較高的用戶(hù)采納率。
▲騰訊混元大模型在騰訊會(huì)議中的應(yīng)用/圖源 騰訊
在文檔處理方面，騰訊混元大模型支持?jǐn)?shù)十種文本創(chuàng)作場(chǎng)景，在騰訊文檔推出的智能助手功能中已有應(yīng)用。同時(shí)，混元還能夠一鍵生成標(biāo)準(zhǔn)格式文本，精通數(shù)百種Excel公式，支持自然語(yǔ)言生成函數(shù)，并基于表格內(nèi)容生成圖表，目前這些功能正在內(nèi)測(cè)階段，將在成熟后面向用戶(hù)開(kāi)放。
在廣告業(yè)務(wù)場(chǎng)景，騰訊混元大模型支持智能化的廣告素材創(chuàng)作，能夠適應(yīng)行業(yè)與地域特色，滿(mǎn)足千人千面的需求，實(shí)現(xiàn)文字、圖片、視頻的自然融合。此外，基于混元大模型的能力，廣告智能導(dǎo)購(gòu)能夠幫助商家在企業(yè)微信等場(chǎng)景，提升服務(wù)質(zhì)量和服務(wù)效率。
▲騰訊混元大模型在騰訊廣告中的應(yīng)用/圖源 騰訊
據(jù)了解，今年6月，騰訊云推出了模型即服務(wù)（MaaS）解決方案，提供涵蓋模型預(yù)訓(xùn)練、模型精調(diào)、智能應(yīng)用開(kāi)發(fā)等一站式的行業(yè)大模型服務(wù)。
最近，騰訊云也全面接入Llama 2和Bloom等20多個(gè)主流模型，和混元一樣，都支持直接部署調(diào)用。客戶(hù)可以根據(jù)實(shí)際需求，基于混元、也可以基于開(kāi)源模型，打造自己專(zhuān)屬的行業(yè)大模型。
來(lái)源：上游新聞 馬亮
關(guān)鍵詞：
