全球最強(qiáng)開源模型，一夜易主！超級(jí)獨(dú)角獸Databricks重磅推出1320億參數(shù)的開源模型——DBRX，超越了Llama 2、Mixtral和Grok-1。
它采用了細(xì)粒度MoE架構(gòu)，這種架構(gòu)讓推理速度比LLaMA 2-70B快了2倍！最重要的是，訓(xùn)練成本直接砍半！只用了1000萬(wàn)美元和3100塊H100，Databricks就在2個(gè)月內(nèi)推出了DBRX。比起Meta開發(fā)Llama2所用的成本和芯片，這是非常小的一部分。
早在2023 年 3月，Databricks 就跟著 ChatGPT 的風(fēng)推出了開源語(yǔ)言模型 dolly。
根據(jù)睿獸分析數(shù)據(jù)顯示，Databricks自從2013年成立以來(lái)共完成了11輪融資。最近的兩輪融資發(fā)生在2023年，2023年3月獲得了來(lái)自Vantage Legacy Capital的H+輪投資；9月完成了由T. Rowe Price領(lǐng)投，A16z、Tiger Global Management 老虎環(huán)球基金、英偉達(dá)、微軟等14家機(jī)構(gòu)公司參投的I輪融資，投資金額6.85億美元。本輪融資過(guò)后Databricks估值高達(dá)430億美元（約合3000億元人民幣）。
Databricks公司誕生于2013年，由一群與學(xué)術(shù)界和開源社區(qū)有著深厚淵源的人士創(chuàng)立的。
包括現(xiàn)任CEO Ali Ghodsi在內(nèi)的七位創(chuàng)始人是UC Berkeley的AMPLab研究員。值得一提的是，Databricks公司的其中一位聯(lián)合創(chuàng)始人辛湜來(lái)自中國(guó)，畢業(yè)后先后在谷歌和IBM從事系統(tǒng)開發(fā)工作，后到加州大學(xué)伯克利分校攻讀計(jì)算機(jī)博士學(xué)位。
他們構(gòu)思了Apache Spark，這是一個(gè)用于大規(guī)模數(shù)據(jù)處理的開源統(tǒng)一分析引擎。在大規(guī)模數(shù)據(jù)工程、數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)方面起著重要作用。
Databricks以其lakehouse平臺(tái)而聞名，這是一套數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖的組合，可以在單一平臺(tái)上統(tǒng)一數(shù)據(jù)、分析和AI部署，以便客戶管理企業(yè)數(shù)據(jù)、產(chǎn)生洞察，并快速構(gòu)建自己的生成式人工智能解決方案。其客戶包括AT&T、殼牌、Walgreens等大公司。
盡管谷歌等巨頭過(guò)去一年里部署了AI，但行業(yè)內(nèi)的許多大公司，還沒有在自己數(shù)據(jù)上廣泛使用大模型，這讓Databricks意識(shí)到金融、醫(yī)藥等行業(yè)的公司渴望類似ChatGPT的工具，但又擔(dān)心將敏感數(shù)據(jù)發(fā)到云上。
于是他們產(chǎn)生了為客戶定制大模型的想法。為此，Databricks還在去年6月以13億美元的價(jià)格，收購(gòu)了AI初創(chuàng)公司MosaicML，開始訓(xùn)練大模型。DBRX一推出就成為“最強(qiáng)”開源大模型。
Databricks的首席神經(jīng)網(wǎng)絡(luò)架構(gòu)師 & DBRX 團(tuán)隊(duì)負(fù)責(zé)人 Jonathan Frankle 曾經(jīng)是 MosaicML 的首席科學(xué)家， Databricks 收購(gòu)了 MosaicML后， Frankle 辭掉了哈佛大學(xué)的教授工作，專心開發(fā) DBRX。
DBRX在語(yǔ)言理解、編程、數(shù)學(xué)和邏輯方面輕松擊敗了開源模型LLaMA2-70B、Mixtral，以及Grok-1。另外，與閉源模型GPT-3.5相比，DBRX Instruct的性能全面超越了它，甚至還可與Gemini 1.0 Pro和Mistral Medium相較量。
伴隨著DBRX的推出，問(wèn)題也隨之而來(lái)，作為迄今最強(qiáng)的開源大模型，任何人都可以使用或修改，這是否會(huì)帶來(lái)不可預(yù)知的風(fēng)險(xiǎn)，比如被網(wǎng)絡(luò)犯罪或者生化武器濫用？Databricks表示，已經(jīng)對(duì)模型進(jìn)行了全面的安全測(cè)試。Eleuther AI的執(zhí)行主任Stella Biderman說(shuō)，幾乎沒有證據(jù)表明開源會(huì)增加安全風(fēng)險(xiǎn)。
目前，企業(yè)可以在Databricks平臺(tái)上訪問(wèn)DBRX，能在RAG系統(tǒng)中利用長(zhǎng)上下文功能，還可以在自己的私有數(shù)據(jù)上構(gòu)建定制的DBRX模型。而開源社區(qū)可以通過(guò)GitHub存儲(chǔ)庫(kù)和Hugging Face訪問(wèn)DBRX。
Databricks通過(guò)DBRX向Meta、谷歌、OpenAI等AI公司發(fā)起挑戰(zhàn)，隨著AI領(lǐng)域的競(jìng)爭(zhēng)日益激烈，Databricks將成為一個(gè)重要的競(jìng)爭(zhēng)者。
