編者按：本文來自微信公眾號 新智元（ID：AI_era），編輯：YHluck，創(chuàng)業(yè)邦經(jīng)授權(quán)轉(zhuǎn)載。
什么？馬斯克終于開源了Grok-2！
一大早，xAI正式官宣，向所有人開源Grok-2！
馬斯克還預(yù)告，Grok-3將在6個月后開源。
Grok-2于2024年完成訓(xùn)練，體積超500GB。其混合專家（MoE）架構(gòu)在Grok-1的基礎(chǔ)上進(jìn)行了改進(jìn)。
那Grok-2到底開源了哪些部分？開源版本的技術(shù)特點(diǎn)是什么？開源權(quán)限有什么？
我們?yōu)槟阋灰皇崂砹讼?，上干貨?/p>
開源了什么？
xAI本次向所有用戶開源了Grok-2以下核心部分：
模型權(quán)重
模型架構(gòu)
Grok-2開源版本技術(shù)特點(diǎn)
這個開源的「大腦」擁有非常強(qiáng)大的技術(shù)規(guī)格：
巨大的模型規(guī)模：總參數(shù)量高達(dá)9050億（905B），在推理時，每次會激活其中的1360億（136B）參數(shù)。這使它成為目前最強(qiáng)大的開源模型之一。
超長的上下文窗口：支持高達(dá)131,072 (128k) token的上下文長度。
這意味著它可以一次性閱讀和處理非常長的文檔或?qū)υ挌v史（大約相當(dāng)于一本200多頁的書），進(jìn)行更復(fù)雜的推理和總結(jié)。
混合專家架構(gòu) (MoE)：這種架構(gòu)可以在不增加巨大計算成本的前提下，大幅擴(kuò)展模型規(guī)模，提升模型能力。
較新的訓(xùn)練數(shù)據(jù)：其預(yù)訓(xùn)練數(shù)據(jù)覆蓋了大量的文本和代碼，截止到2024年初。
Grok-2和Grok-1架構(gòu)不同點(diǎn)，網(wǎng)友對此做了一個總結(jié)：
開源權(quán)限是什么？
商業(yè)用途門檻：僅當(dāng)關(guān)聯(lián)公司年收入低于一百萬美元時，才可用于商業(yè)用途。超過此門檻的商業(yè)用途需獲得xAI的單獨(dú)許可。
限制：除非本協(xié)議條款允許對Grok 2進(jìn)行修改或微調(diào)，否則不得使用材料、衍生品或輸出（包括生成的數(shù)據(jù)）來訓(xùn)練、創(chuàng)建或改進(jìn)任何基礎(chǔ)、大型語言或通用人工智能模型。
目前，Grok-2現(xiàn)已正式開源，可在Hugging Face上下載。
HF地址：https://huggingface.co/xai-org/grok-2
使用方法：通過SGLang部署
下載權(quán)重文件
你可以把/local/grok-2替換成任意你喜歡的文件夾名稱。
hf download xai-org/grok-2 --local-dir /local/grok-2
下載過程中你可能會遇到一些錯誤，請多次重試直到下載成功。
如果下載成功，該文件夾下應(yīng)包含42個文件，總大小大約為500GB。
啟動服務(wù)器
安裝最新版的SGLang推理引擎（版本≥v0.5.1），地址：
https://github.com/sgl-project/sglang/
使用以下命令啟動推理服務(wù)器。這個檢查點(diǎn)（checkpoint）配置為 TP=8，所以需要8張GPU（每張顯存大于40GB）。
python3 -m sglang.launch_server --model /local/grok-2 --tokenizer-path /local/grok-2/tokenizer.tok.json --tp 8 --quantization fp8 --attention-backend triton
發(fā)送請求
這是一個經(jīng)過額外訓(xùn)練的模型，所以需要使用正確的對話模板。
python3 -m sglang.test.send_one --prompt "Human: What is your name?<|separator|>\n\nAssistant:"
你應(yīng)該能看到模型輸出名字——Grok。
大佬點(diǎn)評
網(wǎng)友XFreeze稱，xAI發(fā)展的速度極其驚人！
他透露，xAI位于孟菲斯的巨像數(shù)據(jù)中心僅用122天建成并全面投入運(yùn)營，配備100,000塊英偉達(dá)H100 GPU。
「短短兩年內(nèi)，xAI憑借Grok 4的發(fā)布，以極其精簡的團(tuán)隊(duì)登頂全球最強(qiáng)人工智能之巔。」他感嘆道。
黃仁勛曾稱，這是「超人」之舉，只有馬斯克能做到！
在人工智能發(fā)展進(jìn)程上，有網(wǎng)友毫不吝嗇地贊美馬斯克和xAI：他們正以光速推動AI的進(jìn)步。
他還預(yù)告，Grok 5訓(xùn)練即將開始。
有網(wǎng)友感嘆道，92天內(nèi)將容量翻倍，這不是資本分配帶來的結(jié)果，而是一種繞過傳統(tǒng)使用一種新的運(yùn)營策略帶來的。
有網(wǎng)友表示，這一切，就像在實(shí)時觀看一個科幻夢想成真——真正達(dá)到了創(chuàng)新的巔峰！
Grok 4發(fā)布會上，馬斯克曾預(yù)告了下一步路線圖——
8月將發(fā)布編碼模型，9月發(fā)布多模態(tài)智能體，10月發(fā)布視頻生成模型。
xAI模型能飛速迭代，主要背靠了強(qiáng)大的超算中心。預(yù)計5年內(nèi)，xAI將打造出5000塊H100巨無霸超算。
老馬自信滿滿地表示，「xAI很快就能干掉谷歌以外的所有對手，就連谷歌，超過它也是遲早的事」。
真是有點(diǎn)期待，下一個AI帝國誕生了。
參考資料：
https://x.com/jefffhj/status/1959360923929575803
https://huggingface.co/xai-org/grok-2
https://x.com/amXFreeze/status/1959158372231487627
本文為專欄作者授權(quán)創(chuàng)業(yè)邦發(fā)表，版權(quán)歸原作者所有。文章系作者個人觀點(diǎn)，不代表創(chuàng)業(yè)邦立場，轉(zhuǎn)載請聯(lián)系原作者。如有任何疑問，請聯(lián)系editor@cyzone.cn。
