當AI技術持續(xù)向更縱深的領域探索,3D大模型正以驚人速度改變創(chuàng)意產業(yè)格局。
7月18日,在杭州拱墅舉辦的2025創(chuàng)業(yè)邦新青年創(chuàng)投大會上,VAST創(chuàng)始人&CEO宋亞宸帶來了這一技術發(fā)展現狀、核心突破及產業(yè)應用的深度分享,為我們展開了一幅3D大模型從實驗室技術走向產業(yè)落地的全圖景。
他認為,3D大模型技術快速發(fā)展將重塑設計產業(yè)全鏈路。首先,設計過程將變得更高效,創(chuàng)意得以快速落地。小工作室、個人創(chuàng)作者能以更低成本、更高效率產出高質量3D內容。這勢必進一步激發(fā)UGC生態(tài)潛力,使設計與消費、虛擬與現實的邊界逐漸模糊。最終,整個行業(yè)也將從重投入、高風險向輕量化、個性化轉變。
以下是宋亞宸現場演講實錄,經創(chuàng)業(yè)邦整理。
01技術迭代,兩年崛起的3D大模型與核心突破
我們公司叫VAST,是一家專注于3D大模型研發(fā)的企業(yè)。雖然公司成立僅兩年,但3D大模型這一技術的發(fā)展速度非???。目前,我們已經服務了3.5萬家中小客戶、700多家大客戶,還有三百萬海外創(chuàng)作者在使用我們的3D大模型。如果大家在這15分鐘里沒能記住太多內容,我想有一個關鍵點一定要強調:這一技術從被人類發(fā)明至今,才兩年多時間。
在兩年多以前,人類想要實現“心想事成”或“言出法隨”般的創(chuàng)意落地,難度其實很大。但自從這一技術誕生后,一切都不同了——只需輸入一段文字、一張圖片,甚至更復雜的多模態(tài)輸入(比如三視圖),一個3D模型就能被快速生成。短短兩年多里,幾乎每3-5個月就會有一個全新的大模型出現,給各行各業(yè)帶來了非常大的變革。這種變革在普通用戶的日常體驗中可能還不明顯,不過接下來我會和大家聊聊行業(yè)里已經發(fā)生的變化。
我們本月將發(fā)布3.0版本的3D大模型,參數規(guī)模達到兩三百億級別。它的核心能力可以通過一段視頻來展示:基于文字或圖片生成3D模型后,系統(tǒng)能自動通過語義分割將模型拆分成一個個部分,每個部分會自動完成補全,用戶可以單獨對某一部分進行編輯、風格化調整;調整滿意后,還能通過AI算法重新組合起來。比如,你可以先構建一個基礎模型,再生成一把精致的寶劍、一件帥氣的披風,將它們集成到自己想要的角色身上;也可以上傳一張圖片,讓AI自動識別圖片風格,對模型部件進行風格化處理;還能用智能筆刷調整細節(jié),比如在衣服上添加LOGO。
我們還采用自回歸路線開發(fā)了低模生成功能,能為模型提供更優(yōu)的拓撲結構、布線設計,以及UV和烘焙優(yōu)化。更重要的是,我們實現了“萬物骨骼綁定”——不管是貓、人、龍還是蛇,AI都能自動完成骨骼綁定并讓它們動起來,真正實現了在一整套AI工作流上端到端地制作3D內容。
在技術路線上,我們既有閉源技術,也做了很多開源工作。目前這一技術還處于相對早期的階段,我們希望通過大量開源工作——包括發(fā)表40多篇頂會論文——來推動整個技術的發(fā)展。
值得一提的是,3D大模型解決了傳統(tǒng)多模態(tài)生成技術的一大痛點。像文生圖、文生視頻等技術,輸出的內容往往是不分層的,很難接入傳統(tǒng)創(chuàng)作管線或編輯工具進行二次開發(fā)和專業(yè)修改。而3D大模型的語義分割功能,相當于自動完成了分層,這一功能目前在全世界范圍內只有我們的產品具備。低模生成則讓模型能更好地適配游戲、動畫、XR、元宇宙等場景的創(chuàng)作管線,提升實時渲染性能;貼圖材質的優(yōu)化讓模型表面的顏色可以手動調整,滿足個性化需求;而“萬物骨骼綁定”更是突破了傳統(tǒng)局限,讓生成的萬物都能變得可動可交互。
02場景落地,3D大模型如何重構行業(yè)創(chuàng)作邏輯
3D大模型到底能發(fā)揮什么作用?這是一個很重要的話題,之前我也沒和大家深入聊過。它的出現,正在多個行業(yè)里引發(fā)深刻變革。
在游戲領域,這種變革尤為顯著。過去,開發(fā)一款專業(yè)游戲往往需要投入數億甚至更多資金,幾百人甚至上千人的團隊耗時數年才能完成,不僅投資風險大,周期也很長。而現在,尤其是在美術環(huán)節(jié),創(chuàng)作成本大幅下降;更重要的是,創(chuàng)作門檻降低了——不僅大公司能開發(fā)游戲,一些小型工作室甚至個人都能制作更輕量級的游戲,而且周期更短、成本更低。
在空間與場景設計領域,3D大模型的應用也在改變傳統(tǒng)流程。前段時間,我們剛和酷家樂簽署戰(zhàn)略合作協(xié)議,用戶可以在里面生成自己的家,進行布置——想把桌子放在室內中央,放一個沙發(fā),擺一些擺件,都能直接生成;生成完成后,用戶可以在軟件里直接下單,系統(tǒng)會推薦相近的產品,還能讓消費者清楚了解設計的預算。
XR領域的發(fā)展長期受限于創(chuàng)作門檻和成本過高,導致內容嚴重不足。而現在,已有幾千個XR應用是基于我們的技術能力開發(fā)出來的。比如開發(fā)者創(chuàng)作的“XR日記”,過去日記是文字形式,現在可以變成3D場景;還有一個開發(fā)者制作的釣魚游戲,突破了傳統(tǒng)釣魚游戲內容重復的問題——AI能自動生成不同地域的特色魚類,用戶去中國區(qū)域釣魚,會遇到中國特有的魚;去大西洋區(qū)域釣魚,會遇到大西洋的特色魚類,內容深度大幅增加,開發(fā)者只需在中間設一個池塘,就能讓用戶不斷體驗釣魚的樂趣。
3D大模型還為設計領域的從業(yè)者和學習者提供了便利。很多2D設計從業(yè)者畫草圖、拍照片、做2D設計都沒問題,但要在3D領域展現創(chuàng)意就會遇到困難;中國一些美術院校的大學生做畢設時,無論是新媒體交互、當代藝術還是陳設藝術,都需要將作品3D化,而3D大模型正好能滿足這一需求。
在實時互動場景中,3D大模型的應用也很有意思。比如在網易今年年初發(fā)布的游戲《燕云十六聲》中,有一個叫“萬物太極”的亮點玩法:玩家在游戲中往前走,遇到一條河過不去,就能生成一座橋走過去;遇到天上的寶箱夠不到,能實時生成一個梯子爬上去;打怪獸打不過,能生成一棵樹躲在后面。這種交互形態(tài),在虛擬世界、數字孿生、XR元宇宙等場景中,將會成為非常主流的交互方式——心里想要什么,或者用文字、圖片表達出來,對應的3D內容就能實時生成并實現交互。
03跨界融合,從虛擬創(chuàng)作到實體落地的全鏈路
3D大模型的價值不僅局限于虛擬領域,更在于打通虛擬與現實的連接,尤其是在實體行業(yè)中發(fā)揮著重要作用。
在電商領域,展示展陳是非常重要的一環(huán)。目前大部分展示展陳方式和信息傳遞方式都以2D為主,而3D大模型能改變這一現狀——隨著3D創(chuàng)作門檻和成本的下降,那些用2D難以充分傳遞信息或信息密度不夠高的場景,都能通過3D來呈現,不僅信息密度大大提升,沉浸感也會更好。除了電商,博物館的展品展示、菜單呈現、廣告、教育等場景,都能借助3D技術提升效果。
在品牌營銷領域,3D大模型正在激活UGC的潛力。過去,品牌發(fā)布IP時,往往只能通過官方賬號或請KOL發(fā)布視頻進行傳播;而現在,品牌可以向二創(chuàng)開發(fā)者和創(chuàng)作者社區(qū)開放能力,讓他們快速進行二次創(chuàng)作,這些大量的3D內容能在朋友圈、抖音、小紅書等平臺快速傳播,形成更廣泛的二次傳播效應。
更重要的是,3D大模型正在與柔性化生產(尤其是3D打?。┚o密結合,讓文創(chuàng)產品從虛擬創(chuàng)意走向實體落地。在文旅場景和定制化產品生產中,這種結合尤為明顯:用戶可以通過3D大模型表達自己的定制需求,系統(tǒng)則快速生成設計圖或工業(yè)原稿,直接對接產線進行3D打印。無論是手辦、鍵帽、鑰匙扣、冰箱貼,還是其他任何文創(chuàng)產品,用戶只需通過文字或圖片輸入想法,就能輸出3D設計稿,進入生產流程,最終收到定制化的實體產品。