2023年7月11日，百川智能正式發(fā)布參數(shù)量130億的通用大語言模型Baichuan-13B-Base、對話模型Baichuan-13B-Chat及其INT4/INT8兩個量化版本。

未來大模型生態(tài)開源閉源并存已經(jīng)是不爭的事實(shí)，如同iOS與安卓。目前，以GPT-4為代表的超大參數(shù)量閉源模型和100億-200億參數(shù)量開源模型是大模型生態(tài)鏈中兩個最佳實(shí)踐。GPT-4固然能力強(qiáng)大，但閉源會要求企業(yè)訪問公網(wǎng)以及難以定制化適配，使用場景受限。而開源能夠使企業(yè)輕松地借助專有數(shù)據(jù)進(jìn)行微調(diào)和私有化部署，進(jìn)而促進(jìn)百行千業(yè)的良性發(fā)展生態(tài)。

Baichuan-13B中英文大模型集高性能、完全開源、免費(fèi)可商用等諸多優(yōu)勢于一身，是目前所有33B以下尺寸開源模型中效果最好的可商用大語言模型。在國外已建立起閉源及開源大模型完整生態(tài)的背景下，彌補(bǔ)了國內(nèi)高品質(zhì)開源商業(yè)模型的不足，對助力中國大模型產(chǎn)業(yè)發(fā)展和技術(shù)進(jìn)步都具有重要意義。

這是百川智能發(fā)布的第二款通用大語言模型，而在前不久的6月15日，百川智能就已經(jīng)推出了首款70億參數(shù)量的中英文語言模型Baichuan-7B，并一舉拿下多個世界權(quán)威Benchmark榜單同量級測試榜首。

開源地址：

Hugging Face：

預(yù)訓(xùn)練模型：https://huggingface.co/baichuan-inc/Baichuan-13B-Base

對話模型：https://huggingface.co/baichuan-inc/Baichuan-13B-Chat

Github：

https://github.com/baichuan-inc/Baichuan-13B

Model Scope：

預(yù)訓(xùn)練模型：https://modelscope.cn/models/baichuan-inc/Baichuan-13B-Base/

對話模型：https://modelscope.cn/models/baichuan-inc/Baichuan-13B-Chat/

最強(qiáng)性能中英文百億參數(shù)量開源模型

預(yù)訓(xùn)練模型“底座”因其靈活的可定制性，適合具有一定開發(fā)能力的開發(fā)者和企業(yè)，而普通用戶則更關(guān)注具有對話功能的對齊模型。因此百川智能在發(fā)布預(yù)訓(xùn)練模型Baichuan-13B-Base的同時(shí)還發(fā)布了其對話模型Baichuan-13B-Chat，Baichuan-13B-Chat部署簡單、開箱即用，極大降低了開發(fā)者的體驗(yàn)成本。

相比此前發(fā)布的Baichuan-7B，Baichuan-13B在1.4萬億token數(shù)據(jù)集上訓(xùn)練，超過LLaMA-13B 40%，是當(dāng)前開源13B尺寸下訓(xùn)練數(shù)據(jù)量最大的模型，

在語言模型中，上下文窗口長度對于理解和生成與特定上下文相關(guān)的文本至關(guān)重要。Baichuan-13B上下文窗口長度為4096，不同于Baichuan-7B的RoPE編碼方式，Baichuan-13B使用了ALiBi位置編碼技術(shù)，能夠處理長上下文窗口，甚至可以推斷超出訓(xùn)練期間讀取數(shù)據(jù)的上下文長度，從而能夠更好的捕捉文本中上下文的相關(guān)性，做出更準(zhǔn)確的預(yù)測或生成。

作為一款中英文雙語大模型，Baichuan-13B采用了相對平衡的中英文語料配比和多語言對齊語料，從而在中英兩種語言上表現(xiàn)均很優(yōu)異。在同等參數(shù)量的開源模型中堪稱實(shí)力擔(dān)當(dāng)，能更好滿足商業(yè)化場景需求。

主流百億參數(shù)開源模型benchmark成績

中文領(lǐng)域，在權(quán)威評測C-EVAL中，Baichuan-13B性能一騎絕塵，在自然科學(xué)、醫(yī)學(xué)、藝術(shù)、數(shù)學(xué)等領(lǐng)域大幅突出LLaMA-13B、Vicuna-13B等同尺寸的大語言模型，在社會科學(xué)、人文科學(xué)等領(lǐng)域甚至超越了ChatGPT。

英文領(lǐng)域，其表現(xiàn)同樣優(yōu)秀，在英文最權(quán)威的榜單MMLU上，Baichuan-13B超過了所有同尺寸開源模型，并且在各個維度都具有顯著優(yōu)勢。

必須要說的是，有些模型為了能在評測中取得更好的成績，會在基座模型和對話模型上引入較多針對benchmark的優(yōu)化。此舉雖然可以在榜單上獲取更高的分?jǐn)?shù)，但是沒有本質(zhì)地提升模型的基礎(chǔ)能力，并且在下游任務(wù)中易產(chǎn)生回復(fù)長度短、質(zhì)量低的問題，造 成高分低能的現(xiàn)象。百川智能的Baichuan-13B-Base和Baichuan-13B-Chat未針對任何benchmark測試進(jìn)行專項(xiàng)優(yōu)化，保證了模型的純凈度，具有更高的效能和可定制性。

中國亟待建立自己的開源大模型生態(tài)

眾所周知大模型的訓(xùn)練成本極高，在海量算力的成本壓力下OpenAI和谷歌都選擇了閉源來保證自家大模型的優(yōu)勢地位。但是從計(jì)算機(jī)科學(xué)與人工智能的發(fā)展歷程來看，開源始終對軟件技術(shù)乃至IT技術(shù)發(fā)展有著巨大的推動作用。

大模型時(shí)代，Meta率先走上了開源的道路，LLaMA基座開源之后因其出色的性能，迅速吸引了大量開發(fā)者。在其基礎(chǔ)上開發(fā)了各種ChatGPT開源替代品，并且以極低的訓(xùn)練成本屢次達(dá)到匹敵GPT-3.5的性能，極大激發(fā)了開源模型的創(chuàng)新活力。

未來大模型生態(tài)閉源與開源并存已是行業(yè)共識。憑借閉源路線的GPT、Palm2以及開源路線的LLaMA，美國在大模型領(lǐng)域已經(jīng)構(gòu)建起了完整的生態(tài)。盡管中文世界不乏優(yōu)秀的開發(fā)者、出色的創(chuàng)新能力和廣泛的應(yīng)用場景，但由于缺少高性能和高定制性的開源基座模型，在大語言模型領(lǐng)域的相關(guān)研究和應(yīng)用上仍存在較大的挑戰(zhàn)。中國急需優(yōu)質(zhì)開源可商用大模型補(bǔ)齊相關(guān)領(lǐng)域的空白，與開發(fā)者和企業(yè)共同推動中國人工智能應(yīng)用的創(chuàng)新生態(tài)發(fā)展。

Baichuan-13B開啟中文開源大模型商業(yè)化時(shí)代

作為同級最好的開源可商用中英文預(yù)訓(xùn)練語言模型，Baichuan-13B-Base 不僅對學(xué)術(shù)研究完全開放，所有開發(fā)者均可通過郵件向百川智能申請授權(quán)，在獲得官方商用許可后即可免費(fèi)商用。

并且，為了盡可能降低模型的使用門檻，百川智能同時(shí)開源了Baichuan-13B-Chat的INT8和INT4兩個量化版本，在近乎無損的情況下可以很方便的將模型部署在如3090等消費(fèi)級顯卡上。

本次百川智能發(fā)布的Baichuan-13B中英文大語言模型，憑借百億參數(shù)量已經(jīng)展現(xiàn)出可以媲美千億模型的能力，大大降低企業(yè)部署和調(diào)試的使用成本，讓中國開源大模型商業(yè)化進(jìn)入真正可用階段。Baichuan-13B的開源，實(shí)現(xiàn)了國內(nèi)開源大模型對美國大模型開源領(lǐng)域的追趕，改變了此前國內(nèi)在相關(guān)領(lǐng)域一直落后的局面。

同時(shí)，其開源模型的代碼完全公開，所有人都可以隨時(shí)查看，算法透明，不僅有利于研究人員深入探索和研究模型原理，并且有利于建立和深化公眾對大模型的信任，可以說Baichuan-13B不僅是百川大模型之路上的又一里程碑，也是中國大模型快速迭代的重要標(biāo)志。

百川智能創(chuàng)始人王小川表示，“Baichuan-13B是百川智能為科技強(qiáng)國送上的一份禮物，我們期待國內(nèi)大模型行業(yè)以及垂直領(lǐng)域能夠在此基礎(chǔ)上開發(fā)出更多優(yōu)秀產(chǎn)品及行業(yè)應(yīng)用，讓技術(shù)在真實(shí)、豐富的應(yīng)用場景中快速迭代創(chuàng)新，我們愿與眾多企業(yè)、開發(fā)者一道為國內(nèi)開源社區(qū)的生態(tài)繁榮貢獻(xiàn)自己的力量?！?/p>