編者按:本文來自微信公眾號 “量子位”(ID:QbitAI),作者:夢晨,創(chuàng)業(yè)邦經(jīng)授權(quán)轉(zhuǎn)載。
Manus背后公司名為“蝴蝶效應(yīng)”,真的帶火了整個智能體賽道——
開源復(fù)現(xiàn)潮出現(xiàn)了,商業(yè)閉源產(chǎn)品也卷起來了。
目前進(jìn)度最快的兩個項目,都是在Manus發(fā)布的第0天發(fā)布了復(fù)現(xiàn)代碼。
除了之前介紹的OpenManus之外,另一個開源項目OWL已經(jīng)把DeepSeek模型整合到多智能體協(xié)作框架中。
OWL來自國內(nèi)開源社區(qū)CAMEL-AI團(tuán)隊。
OWL最新提交的結(jié)果在智能體測試基準(zhǔn)GAIA的驗證集上排名平均分第3,在開源項目中排第1。
其Level 1分?jǐn)?shù)81.13同樣超過了OpenAI的Deep Research,與Manus曬出的86.5已經(jīng)非常接近。
雖然Level 2和Level 3分?jǐn)?shù)還有差距,不過CAMEL-AI團(tuán)隊的李國豪在交流群中表示,有信心刷爆。
今日的GitHub熱榜上,大多是Agent相關(guān)的項目和工具庫,老牌Agent項目MetaGPT與AutoGPT雙雙被頂?shù)角芭拧?/p>
Camel-AI、OpenManus所使用的代碼庫browser-use也現(xiàn)身,此外金融、編程等領(lǐng)域的垂直智能體也備受關(guān)注。
與此同時,有人注意到Claude團(tuán)隊推出的模型上下文協(xié)議MCP不是已經(jīng)有小半年了么,為什么突然每個人都在討論它?
原來是每個人都想知道如何造一個Manus,而MCP是一種有效的實現(xiàn)途徑呀。
Manus火到海外
再來看看Manus本尊的進(jìn)展。
官方社交媒體賬號被短暫禁封后現(xiàn)已恢復(fù),稱將發(fā)布更多演示和更新。
Manus這個產(chǎn)品也成功火到了國外,方法很簡單:發(fā)邀請碼。
除了給海外大V單獨發(fā)之外,Manus聯(lián)創(chuàng)季逸超還與抱抱臉CEO取得聯(lián)系,公開分享100個碼,見者有份,先到先得。
兩人的交流中季逸超談到Agent能力可能更多的是對齊問題而不是基礎(chǔ)能力問題,基礎(chǔ)模型被訓(xùn)練為“無論任務(wù)有多復(fù)雜,都一次性回答所有問題”,而“只需對代理軌跡進(jìn)行一點后期訓(xùn)練,就可以立即產(chǎn)生顯著的變化”。
(順便碼不用去試了,半夜就搶光了。)
海外用戶得到碼之后的劇情和這邊差不多,有不少試用之后被驚艷到的,變成“自來水”的。
并且海外用戶的付費意愿確實要強(qiáng)一些,畢竟比起OpenAI兩萬美元一個月的博士級智能體總是要便宜許多。
很多人拿到Manus做的第一件事,都是讓他收集自己的資料,編寫并部署個人主頁。
其中Rowan Cheung表示Manus收集到關(guān)于他的個人信息100%準(zhǔn)確且是最新的。
類似的任務(wù)還有日本網(wǎng)友讓Manus部署一個介紹他自己的網(wǎng)站。
他分享了體驗中的一個細(xì)節(jié):雖然Manus可以自己完成所有任務(wù),但如果在執(zhí)行過程中給出意見,它也可以靈活地改變計劃并執(zhí)行,就好像真的再給人下達(dá)指令一樣。
更復(fù)雜的編程類任務(wù)還有制作一個javascript的飛行游戲。
也有人把它當(dāng)做Deep Research類工具,尋找租房信息只花了不到10分鐘時間。
主要的抱怨集中在速度有些慢,以及沒有碼。
One More Thing
作為Manus出圈的副作用之一,GAIA基準(zhǔn)測試正在成為智能體類產(chǎn)品必爭之地。
GAIA由Meta AI、HuggingFace和AutoGPT團(tuán)隊推出,圖靈獎得主Yann LeCun和HuggingFace首席科學(xué)家Thomas Wolf參與,旨在解決現(xiàn)有大語言模型基準(zhǔn)測試被快速突破、難以評估新模型的問題。
GAIA測試由450+具有明確答案的復(fù)雜問題組成,分為三個難度級別,考驗智能體系統(tǒng)的工具使用能力以及自主性。
Level 1:通常解題步驟不超過5步,且不需要工具,或最多使用一種工具。如簡單的信息檢索和處理,任何優(yōu)秀的語言模型都可以完成。
Level 2:需要在5-10步之間完成,并且需要組合使用不同工具。如“根據(jù)附件 Excel 文件計算當(dāng)?shù)乜觳瓦B鎖店食品(不含飲料)的總銷售額”。
Level 3:面向近乎完美的通用AI助手,要求AI能夠執(zhí)行任意長度的復(fù)雜動作序列,使用多種工具,并具備廣泛的世界知識和信息獲取能力。
如“在2006年1月21日NASA的每日天文圖片中有兩名宇航員,截至2023年8月,找出較小宇航員所在NASA宇航員小組中在太空停留時間最短的宇航員及其停留時間”,解答這類問題需要綜合網(wǎng)絡(luò)搜索、信息篩選、知識推理等多種能力。
人類在Level 2、和Level 3上的成功率分別是92%和87.3%,測試推出時最先進(jìn)的語言模型GPT-4得分為9.7%和0。
此外GAIA排行榜分為測試集(Test)和驗證集(Validation)兩項,其中驗證集是公開數(shù)據(jù),測試集為私有數(shù)據(jù),測試集的含金量更高一些。
目前測試集排行榜中,h2oGPTe Agent(來自H20.ai)、Trase Agent(來自Trase Systems)兩個商業(yè)閉源系統(tǒng)的Level 2分?jǐn)?shù)與Manus公布分?jǐn)?shù)(70.1%)接近。
Manus團(tuán)隊公布的Level 3分?jǐn)?shù)為57.7%,領(lǐng)先幅度比較大。
ImageNet數(shù)據(jù)集與競賽開啟了深度學(xué)習(xí)浪潮之后,每個時代都有自己的當(dāng)紅榜單指引著最前沿技術(shù)的發(fā)展。
在BERT時代是語言理解基準(zhǔn)CLUE、SpuerCLUE。
隨后ChatGPT、Claude、Gemini已經(jīng)刷爆了考驗各學(xué)科知識的MMLU、以及用戶用腳投票的ChatBot Arena大模型競技場。
o1/r1/QwQ類推理模型正在比拼數(shù)學(xué)(AIME、FrontierMath)、博士級別理科題(GPQA)、編程/軟件工程能力(Codeforces、SWE-bench、LiveCodeBench)。
智能體刷GAIA,似乎正在成為行業(yè)最新共識。
或者不久以后,可以期待一下AgentArena智能體競技場?
OpenManus
https://github.com/mannaandpoem/OpenManus
OWL
https://github.com/camel-ai/owl
GAIA Bencmark
https://huggingface.co/spaces/gaia-benchmark/leaderboard
https://arxiv.org/abs/2311.12983
本文為專欄作者授權(quán)創(chuàng)業(yè)邦發(fā)表,版權(quán)歸原作者所有。文章系作者個人觀點,不代表創(chuàng)業(yè)邦立場,轉(zhuǎn)載請聯(lián)系原作者。如有任何疑問,請聯(lián)系editor@cyzone.cn。