編者按:本文來自微信公眾號 量子位,作者:允中,創(chuàng)業(yè)邦經(jīng)授權(quán)轉(zhuǎn)載。
“3D大模型終于可以生成銳利的邊角了!”
“在鉆研了一陣3D人工智能后,我總算通過Hyper3D.ai用上了Rodin1.5,它真的可能改變游戲規(guī)則?!?/p>
2024年的最后一天,隨著3D生成工具Rodin Gen-1.5的上線,在網(wǎng)絡(luò)上掀起了新一波對于3D生成討論的熱潮。
用Rodin背后的研發(fā)團(tuán)隊(duì)——影眸科技CTO張啟煊的話說:
這是3D大模型第一次能生成如此銳利的邊緣——我愿稱之為“圓滑當(dāng)?shù)罆r(shí)代的銳利異類”——對于CAD類工業(yè)模型與硬表面模型,它有絕對的優(yōu)勢,擴(kuò)大了3D生成的使用群體。
體驗(yàn)鏈接:Hyper3D.ai
由于Rodin的這次更新恰逢年末,海外很多用戶都在放假,但這也并沒有阻擋用戶們對測試這個(gè)新模型的熱情:
不論是《雙城之戰(zhàn)》中的??怂谷住?/p>
或者是細(xì)節(jié)更多的賽博朋克靴子——
對于這些結(jié)構(gòu)鮮明的模型,Rodin Gen-1.5都是信手拈來。
甚至有動(dòng)畫師把Rodin生成的資產(chǎn)直接運(yùn)用在了動(dòng)畫制作中(以下視頻中的3D資產(chǎn)有70%由Rodin生成)。
來源:B站UP主 做3D的小鄧子
當(dāng)然這樣結(jié)構(gòu)鮮明的生成模型,對3D打印愛好者也是極其友好的,稍作涂裝就是一只精巧的玩具:
AI生成領(lǐng)域的專業(yè)用戶也對Rodin生成模型的質(zhì)量贊賞有加:
然而,這已經(jīng)不是影眸科技這家3D大模型公司第一次給這一領(lǐng)域帶來一些“小震撼”了。
3D大模型研發(fā)的“非共識”道路????
2024年8月,全球最頂尖的計(jì)算機(jī)圖形學(xué)會(huì)議 ACM SIGGRAPH 大會(huì)上,影眸與上科大聯(lián)合研發(fā)的3D原生大模型Clay發(fā)表,并與團(tuán)隊(duì)同年研發(fā)的3D服裝生成模型Dresscode同時(shí)獲得SIGGRAPH2024最佳論文榮譽(yù)提名,團(tuán)隊(duì)也成為這一領(lǐng)域內(nèi)唯一在同一個(gè)學(xué)術(shù)頂會(huì)上獲得兩項(xiàng)該提名的中國團(tuán)隊(duì)。
Clay的提出顯著提升了3D生成的質(zhì)量,也成為了當(dāng)前學(xué)術(shù)界3D大模型廣泛認(rèn)可的技術(shù)路徑。
Clay、DressCode獲得SIGGRAPH2024最佳論文榮譽(yù)提名
基于CLAY的三維資產(chǎn)生成工具Rodin Gen-1在去年6月推出,產(chǎn)品以它最接近“Production-Ready”的生成效果,上線后就備受關(guān)注。
它的生成質(zhì)量、可用性都代差級地領(lǐng)先當(dāng)時(shí)的同類產(chǎn)品。憑借其優(yōu)質(zhì)的生成效果,Rodin僅用45天就達(dá)成了100萬美元ARR,而大名鼎鼎的HeyGen達(dá)到這個(gè)數(shù)字花了7個(gè)月。
這背后,來源于影眸始終如一對“Prodution-Ready”的追求。
“Production-Ready”這個(gè)詞來自CG行業(yè)。CG行業(yè)中有一個(gè)詞——后期(Post-Production),而“Production-Ready”的意思就可以直接接入到后續(xù)的流程中使用。
這也是影眸產(chǎn)品研發(fā)、開發(fā)的共識,正是這樣的共識,讓影眸在開始3D大模型研發(fā)之初,就走上了一條“非共識”的道路。
在那時(shí),2D升3D的技術(shù)方案是學(xué)術(shù)界主流的3D生成方式,同時(shí),市面上已經(jīng)有團(tuán)隊(duì)推出了基于2D升維技術(shù)路徑的3D生成產(chǎn)品。
可是影眸憑借多年的技術(shù)探索和產(chǎn)品打造經(jīng)驗(yàn),他們看到了2D升維路徑的瓶頸。2D數(shù)據(jù)終究只記錄了真實(shí)物體的一個(gè)側(cè)面,再多角度的圖像也無法完整描述一個(gè)3D內(nèi)容,因此模型學(xué)到的東西依舊存在很多信息缺失,生成結(jié)果還是需要大量的人工修正,很難滿足使用需求。唯一的解法是從一開始就用3D原生數(shù)據(jù)。
彼時(shí),影眸正遭遇著資本環(huán)境快速變差導(dǎo)致的融資失利。于是一個(gè)艱難的選擇擺在了影眸面前:
到底是先用主流技術(shù)做出一個(gè)產(chǎn)品上牌桌,還是用更大的力氣去死磕一個(gè)還不明確的技術(shù)方向。
影眸團(tuán)隊(duì)選擇了后者,更難、更需要時(shí)間、但是更正確的事。
7個(gè)月后,對技術(shù)的精準(zhǔn)直覺和堅(jiān)持給了他們回報(bào)。
而Rodin Gen-1.5的發(fā)布更是影眸對“Production-Ready”堅(jiān)持的更進(jìn)一步。通過新一代3D原生表達(dá),Rodin Gen-1.5全面解決了行業(yè)內(nèi)長期存在的薄面與邊緣銳度問題,再次提高 3D 生成全行業(yè)商用標(biāo)準(zhǔn)。
無機(jī)形狀的生成能力、銳利的邊緣以及非常干凈的拓?fù)浣Y(jié)構(gòu),這是Rodin 1.5在3D生成能力上最凸顯出來的性能提升。這一點(diǎn)在游戲,尤其是產(chǎn)品設(shè)計(jì)領(lǐng)域中尤為重要。這次升級也讓影眸的產(chǎn)品領(lǐng)先幅度再次擴(kuò)大。
已進(jìn)入游戲、動(dòng)畫工作流????????????
現(xiàn)在,用戶借助Rodin對幾何以及PBR材質(zhì)的精準(zhǔn)生成能力,能夠快速地制作適用于不同場景的三維資產(chǎn)。
用戶們已經(jīng)在試驗(yàn)Rodin輔助游戲制作的能力。
有直接生成單個(gè)靜態(tài)物件的。
來源:X.com @MartinNebelong?
也有為大場景批量生成npc的。
事實(shí)上,已經(jīng)有用戶將Rodin生成的結(jié)果放入自己開發(fā)的游戲中了。?
也有個(gè)人開發(fā)者基于Rodin開發(fā)了一整套工作流。
來源:B站UP主 T-BOY?
動(dòng)畫、影視制作也是Rodin應(yīng)用的一大場景。
有用戶使用Rodin生成的資產(chǎn)搭建了一整個(gè)城鎮(zhèn),制作了簡單的動(dòng)畫。
來源:X.com @jungle_jimjim
也有用戶和現(xiàn)有AI路線結(jié)合,在離線引擎中制作高質(zhì)量CG內(nèi)容。
來源:X.com @Itryandlearn3D
稍作調(diào)整,Rodin的資產(chǎn)質(zhì)量甚至可以達(dá)到影視級。
來源:B站UP主 T-BOY
3D大模型何時(shí)迎來“ChatGPT時(shí)刻”????????
影眸認(rèn)為,在Rodin-Gen1.5之前,3D大模型的發(fā)展主要有2個(gè)階段:
Level1 —— Clay發(fā)布前的基于2D升維技術(shù)路徑的3D生成,需要大量人工后期的修正才能達(dá)到可用標(biāo)準(zhǔn)
Level2 —— 以Clay為基礎(chǔ)的3D原生三維生成大模型,剛剛觸碰到“Prodution-Ready”的標(biāo)準(zhǔn)
而Rodin Gen-1.5的發(fā)布,已經(jīng)把三維大模型帶到了Level3的程度,它對生成模型更加精確、細(xì)致地表達(dá),解決了3D大模型一直以來存在的問題,大幅拓寬了3D大模型的使用邊界。
過去幾年里,生成式AI已在文字、圖像、音頻、視頻取得重大進(jìn)展,3D生成常被認(rèn)為是“世界模型(World Model)”的 “最后一塊拼圖”。隨著技術(shù)進(jìn)步和消費(fèi)需求的提升,3D行業(yè)未來的發(fā)展前景廣闊。去年,AutoDesk、Meta、NVIDIA、騰訊、微軟等紛紛推出了自己的3D生成大模型,積極布局這一前沿領(lǐng)域。在與行業(yè)巨頭的競爭中,影眸團(tuán)隊(duì)?wèi){借其在3D建模/圖形學(xué)領(lǐng)域的深耕與對3D行業(yè)用戶需求洞察,在技術(shù)與商業(yè)化方面長期領(lǐng)先。
在未來,3D生成還有很大的可供挖掘的空間。要實(shí)現(xiàn)在AR/VR/虛擬世界中的個(gè)人創(chuàng)作,就要解放用戶的3D內(nèi)容創(chuàng)作能力。作為構(gòu)建在三維空間中的世界,未來機(jī)器對世界的理解也必然基于三維,所以在具身智能領(lǐng)域,對3D的需求是始終存在的。
相信在影眸科技等3D大模型團(tuán)隊(duì)的共同努力下,我們很快就會(huì)迎來3D領(lǐng)域的“ChatGPT”時(shí)刻。
本文為專欄作者授權(quán)創(chuàng)業(yè)邦發(fā)表,版權(quán)歸原作者所有。文章系作者個(gè)人觀點(diǎn),不代表創(chuàng)業(yè)邦立場,轉(zhuǎn)載請聯(lián)系原作者。如有任何疑問,請聯(lián)系editor@cyzone.cn。