五月天成人小说,中文字幕亚洲欧美专区,久久妇女,亚洲伊人久久大香线蕉综合,日日碰狠狠添天天爽超碰97

扎克伯格宣戰(zhàn)AGI:Llama 3訓(xùn)練中,今年要囤35萬塊H100,砸近百億美元

事情越來越明確了,各大科技公司的下一代服務(wù)會構(gòu)建在通用 AI 之上。

編者按:本文來自微信公眾號 機(jī)器之心(ID:almosthuman2014),作者:機(jī)器之心,創(chuàng)業(yè)邦經(jīng)授權(quán)轉(zhuǎn)載。

為了通用人工智能(AGI)的宏大目標(biāo),扎克伯格正在給 Meta 的 AI 研究部門進(jìn)行大幅度的改組。

本周四,Meta 首席執(zhí)行官馬克?扎克伯格宣布,他的公司正在致力于為人工智能助手構(gòu)建「通用智能」并「負(fù)責(zé)任地開源」,Meta 正在將其兩個主要研究小組(FAIR 和 GenAI)合并在一起以實現(xiàn)這一目標(biāo) 。

為此,Meta 將準(zhǔn)備屯集業(yè)內(nèi)最為強(qiáng)大的 AI 算力。扎克伯格表示,公司將購買超過 35 萬塊英偉達(dá) H100 GPU—— 這是目前業(yè)界構(gòu)建生成式 AI 性能最強(qiáng)大的芯片。

有第三方投資機(jī)構(gòu)的研究估算,英偉達(dá)面向 Meta 的 H100 出貨量在 2023 年能達(dá)到 15 萬塊,這個數(shù)字與向微軟的出貨量持平,并且至少是其他公司的三倍。扎克伯格表示,如果算上英偉達(dá) A100 和其他人工智能芯片,到 2024 年底,Meta 的 GPU 算力將達(dá)到等效近 60 萬 H100。

H100 雖然性能強(qiáng)大,但價格也極其高昂。每塊 GPU 的成本約為 2.5 萬美元(根據(jù)英偉達(dá)早期的商品名冊顯示,16 塊 H100 GPU 組成的系統(tǒng)成本約為 40 萬美元)到 3 萬美元。如果按照這個數(shù)字來計算的話,Meta 追求通用人工智能光在 GPU 上的花費可能是 87.5 億美元到 105 億美元。

看起來,Meta 正在進(jìn)行一次創(chuàng)業(yè)風(fēng)投式的大額投資。

圖片

今年底獲得等效 60 萬 H100 算力,那么現(xiàn)在正在訓(xùn)練 Llama3 的 Meta 已經(jīng)擁有了多少算力?人們紛紛進(jìn)行了猜測。

不過另一方面,也有人表示了質(zhì)疑:英偉達(dá)真的能在 2024 年底生產(chǎn)這么多芯片嗎?

AGI 要循序漸進(jìn),Llama 3 加強(qiáng)代碼能力

隨后,在面向 The Verge 的訪談中,扎克伯格透露了更多的想法。

「我們認(rèn)為,為了打造計劃中的產(chǎn)品,我們需要打造通用智能,」扎克伯格表示?!赶蛉藗儌鬟_(dá)這一點非常重要,因為許多最優(yōu)秀的研究人員都希望致力于更遠(yuǎn)大的目標(biāo)?!?/p>

在生成式 AI 時代,人工智能人才的爭奪已變得前所未有的激烈,每家科技公司都在爭奪數(shù)量有限的研究人員和工程師。擁有專業(yè)知識的人才可以獲得每年超過 100 萬美元的高額薪酬。即使像扎克伯格這樣的巨頭 CEO 也經(jīng)常需要親自試圖贏得一些關(guān)鍵員工的支持,或者阻止一名研究人員叛逃到競爭對手那里。

「我們已經(jīng)習(xí)慣了相當(dāng)激烈的人才爭奪戰(zhàn),」扎克伯格表示。「但事情的變化很快,有很多家公司都在追求相同的愿景,許多風(fēng)投和資金正在投向不同的項目,這使得人們很容易開展新的創(chuàng)業(yè)?!?/p>

但對于 AGI,扎克伯格像其他領(lǐng)域內(nèi)人士一樣,都沒有明確的定義,也不知道它何時到來。

他表示,「你可以質(zhì)疑通用智能是否可以達(dá)到人類水平的智能,或者超越人類智能,再或者成為某些遙遠(yuǎn)未來的超級智能。但對我來說,重要的部分實際上是智能所能達(dá)到的廣度,即擁有不同的能力,比如必須能夠推理并擁有直覺?!?/p>

因此,在扎克伯格看來,AGI 的到來是一個循序漸進(jìn)的過程,而不會在某一瞬間出現(xiàn)。

正如扎克伯格解釋的那樣,Meta 對 AGI 新的、更廣泛的關(guān)注受到了自家 Llama 2 大模型的影響。Meta 認(rèn)為 Llama 2 生成代碼的能力對于人們在 Meta 應(yīng)用程序中使用大模型沒有意義,但它仍是構(gòu)建更聰明 AI 的重要技能之一。不過,Llama 2 的寫代碼能力比較差。

扎克伯格拋出一個假設(shè):對于大模型,代碼能力看起來似乎并不是那么重要,因為不會有很多人在 WhatsApp 上問編碼問題。不過事實證明,編碼非常重要,它可以讓大模型理解知識的嚴(yán)謹(jǐn)性和層次結(jié)構(gòu),并且通常具有更多直觀的邏輯性。

因此,扎克伯格透露,Meta 正在訓(xùn)練的 Llama 3 將具有更強(qiáng)代碼生成能力。并且與谷歌的 Gemini 模型一樣,Llama 3 還將具有更高級的推理和規(guī)劃能力。

「雖然 Llama 2 不是行業(yè)突出的模型,但卻是最好的開源模型。對于 Llama 3 及其之后的模型,我們的目標(biāo)是打造成為 SOTA,并最終成為行業(yè)突出的模型?!?/p>

去年 7 月,Llama 2 的推出讓大模型領(lǐng)域進(jìn)入了開源大發(fā)展的新階段,人們對于 Llama 3 非常期待。扎克伯格的一番話引發(fā)了研究社區(qū)的歡呼。

圖片

開源與閉源之爭

一直以來,誰能最終控制 AGI 是一個頗受爭議的問題。

扎克伯格憑借對公司股票的投票控制權(quán),在 Meta 擁有絕對權(quán)力。這使他處于一個獨特的強(qiáng)大地位,如果 AGI 得以實現(xiàn),這一地位可能會被危險地放大。他的答案是,Meta 迄今為止為 Llama 所遵循的劇本可以被視為開源,至少對于大多數(shù)用例來說。

他沒有點名,而是將 Meta 的方法與 OpenAI 的方法進(jìn)行了對比,后者最初的目的是開源模型,但越來越不透明?!杆羞@些公司過去都曾是開放的,都曾經(jīng)發(fā)布過他們所有的工作,并且常常談?wù)搶⑷绾伍_源自己的工作。」

雖然山姆?奧特曼和其他人擁護(hù)閉源人工智能開發(fā)方法的安全優(yōu)勢,但扎克伯格卻看到了精明的商業(yè)策略。與此同時,他認(rèn)為,迄今為止已部署的模型尚未造成災(zāi)難性損害。

圖片

「在很多情況下,那些一開始就擁有突出優(yōu)勢的大公司也是那些呼吁最多的公司,他們說需要為構(gòu)建 AI 設(shè)置相應(yīng)的護(hù)欄,」扎克伯格表示。「我確信他們中的一些人對安全的擔(dān)憂是合理的,但主要的目的是符合戰(zhàn)略。」

當(dāng)然,扎克伯格有他自己的動機(jī)。他對 AI 開放愿景的最終結(jié)果仍然是權(quán)力的集中,只是形式不同。Meta 已經(jīng)擁有比地球上幾乎任何公司都多的用戶,并且是利潤豐厚的社交媒體業(yè)務(wù)。AI 功能可以說可以讓這些的平臺更具粘性和更有用。如果 Meta 能夠通過公開發(fā)布模型來有效規(guī)范 AI 的發(fā)展,那么它對生態(tài)系統(tǒng)的影響力只會越來越大。

還有另一個問題:如果 Meta 上實現(xiàn)了 AGI ,是否開源最終取決于扎克伯格。他還沒有準(zhǔn)備好做出任何承諾,因為「不想因為自己說過會做某事而被束縛」。

但扎克伯格同時表示:「只要它有意義并且是安全和負(fù)責(zé)任的事情,那么我認(rèn)為我們通常會傾向于開源?!?/p>

扎克伯格:AI 不是新支點

然而,從「Meta」這個公司名字來看,扎克伯格此時公布關(guān)于 AGI 的目標(biāo),顯得有些尷尬。

距離這家公司改名、宣布押注元宇宙才過去兩年時間,VR 仍然是一個小眾行業(yè),且前景不算非常明朗。

不過,扎克伯格并不同意「Meta 將 AI 視為又一支點」的說法。

圖片

「我不知道如何更明確地表明,我們將繼續(xù)關(guān)注 Reality Labs 和 Metaverse,」扎克伯格還表示, Meta 每年在該計劃上的支出仍超過 150 億美元。

同時,扎克伯格認(rèn)為生成式 AI 能在 Meta 的硬件研究中發(fā)揮著更加關(guān)鍵的作用。比如其雷朋智能眼鏡最近就添加了視覺人工智能助手,可以識別物體和翻譯語言。

他還認(rèn)為未來的虛擬世界將由 AI 生成,并充滿了陪伴真人的 AI 角色。扎克伯格表示,Meta 今年將推出一個新平臺,讓任何人都可以創(chuàng)建自己的人工智能角色,并將其分發(fā)到 Meta 的社交應(yīng)用程序中,比如 Facebook、Instagram 和 Threads 。

參考內(nèi)容:

https://www.instagram.com/reel/C2QARHJR1sZ/

https://www.theverge.com/2024/1/18/24042354/mark-zuckerberg-meta-agi-reorg-interview

本文為專欄作者授權(quán)創(chuàng)業(yè)邦發(fā)表,版權(quán)歸原作者所有。文章系作者個人觀點,不代表創(chuàng)業(yè)邦立場,轉(zhuǎn)載請聯(lián)系原作者。如有任何疑問,請聯(lián)系editor@cyzone.cn。

反饋
聯(lián)系我們
推薦訂閱