編者按：本文來自微信公眾號(hào) 投資實(shí)習(xí)所（ID：startupboy），作者：StartupBoy，創(chuàng)業(yè)邦經(jīng)授權(quán)轉(zhuǎn)載。
昨天關(guān)于播客商業(yè)化的文章《你日常聽的播客，一年僅廣告就有 800 多萬美金收入》，我們能感受到信息/知識(shí)的創(chuàng)造以及其傳播的價(jià)值，從本質(zhì)上來說也是對(duì)價(jià)值信息進(jìn)行有效的組織和高效的再次分發(fā)，AI 的發(fā)展應(yīng)該會(huì)帶來更高效的方式。
而 AI 在其它領(lǐng)域的發(fā)展，可能正在產(chǎn)生更大的變革。最近，一位 AI 模特通過廣告每月最高收入可達(dá) 1.1 萬美金的事情得到了很大的傳播，讓我們對(duì) AI 在模特經(jīng)紀(jì)領(lǐng)域的價(jià)值有了一個(gè)新的認(rèn)識(shí)。
這個(gè) AI 模特叫 Aitana López，是西班牙一家模特經(jīng)紀(jì)公司通過 AI 生成的一個(gè)虛擬模特，目前在 Instagram 的粉絲已經(jīng)超過了 20 萬（11 月底才 13 萬），通過接廣告的模式，每月最高收入已經(jīng)做到了 1.1 萬美金，其每個(gè)廣告的報(bào)價(jià)均超過了 1000 美金，從 Ins 上的圖片看目前接的廣告主要是服裝特別是內(nèi)衣。
根據(jù)模特經(jīng)紀(jì)公司 The Clueless 創(chuàng)始人的說法，之所以做了這樣一個(gè) AI 模特，是因?yàn)榕c真實(shí)模特的合作不是特別順暢，并且有些問題是無法控制的，進(jìn)而導(dǎo)致一些合作項(xiàng)目沒法推進(jìn)，于是用 AI 設(shè)計(jì)了這個(gè)虛擬模特。
經(jīng)紀(jì)機(jī)構(gòu)還對(duì)其人設(shè)做了設(shè)計(jì)，像 Aitana López 的人設(shè)就被設(shè)計(jì)為：堅(jiān)強(qiáng)而堅(jiān)定的女性，熱情的天蝎座，愛好電子游戲和健身。下圖里的第一個(gè)就是這個(gè) AI 模特：
這個(gè) AI 模特的案例，讓很多人在社交媒體上分享認(rèn)為，未來的網(wǎng)紅（influencer）可能會(huì)越來越多的被各種 AI creator 所取代，有些媒體甚至打出了 RIP TikTok Influencer 的標(biāo)題，而模特這個(gè)行業(yè)可能也會(huì)越來越多的出現(xiàn)各種類型的 AI 模特。
雖然還還不至于如此，不過我覺得未來很多行業(yè)可能都將是 AI 與人（AI+Humans）的一種混合模式，就像已經(jīng)有人喊出了合成社交網(wǎng)絡(luò)概念一樣，我覺得未來會(huì)是一個(gè)合成社會(huì)。而對(duì)于網(wǎng)紅或者模特這個(gè)行業(yè)，阿里最近發(fā)表的這個(gè) AI 技術(shù)研究，我覺得可能會(huì)加速 AI 模特的到來。
阿里巴巴智能計(jì)算研究院前兩天在 GitHub 上發(fā)布了一個(gè) AI 研究論文：Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation，通過一張圖片可以實(shí)現(xiàn)任何角色視頻的生成，其發(fā)布的幾個(gè)視頻在海外社交媒體得到了非常大的傳播。
下面是整個(gè)完整的 Demo 視頻，不僅介紹了研究團(tuán)隊(duì)所采用的方法，也對(duì)這種方法與其它方法甚至真人的效果進(jìn)行了比較。
投資實(shí)習(xí)所
，贊10
相比于直接的 AI 生成視頻，這個(gè)方法看起來要簡(jiǎn)單的多，只需要一張圖和一個(gè)姿勢(shì)指導(dǎo)就可以生成非常不錯(cuò)的視頻，視頻里展示的效果已經(jīng)不比真人的舞蹈動(dòng)作差了。
像視頻里面展示的舞蹈視頻，我覺得抖音里的小姐姐以后可能都離不開 AI 了，AnimateAnyone 采用的方法基本上概括為下面這張圖：
研究團(tuán)隊(duì)在論文里說，
角色動(dòng)畫的目標(biāo)是通過驅(qū)動(dòng)信號(hào)從靜態(tài)圖像生成角色視頻。目前，由于其強(qiáng)大的生成能力，擴(kuò)散模型已經(jīng)成為視覺生成研究的主流。然而，在圖像到視頻的轉(zhuǎn)換領(lǐng)域，尤其是在角色動(dòng)畫中，要在時(shí)間上保持與角色詳細(xì)信息的一致性仍然是一個(gè)巨大的挑戰(zhàn)。
在本文中，我們利用擴(kuò)散模型的力量，提出了一個(gè)為角色動(dòng)畫量身定制的新框架。為了保持參考圖像中復(fù)雜外觀特征的一致性，我們?cè)O(shè)計(jì)了 ReferenceNet 通過空間注意力合并細(xì)節(jié)特征。為了確?？煽匦院瓦B續(xù)性，我們引入了一個(gè)高效的姿態(tài)引導(dǎo)器來指導(dǎo)角色的動(dòng)作，并采用了一個(gè)有效的時(shí)間建模方法來確保視頻幀之間平滑的過渡。
通過擴(kuò)大訓(xùn)練數(shù)據(jù)，我們的方法可以為任意角色制作動(dòng)畫，在角色動(dòng)畫方面比其他圖像到視頻的方法取得了更優(yōu)越的結(jié)果。此外，我們還在時(shí)尚視頻和人類舞蹈合成的基準(zhǔn)測(cè)試上評(píng)估了我們的方法，取得了最先進(jìn)的結(jié)果。
團(tuán)隊(duì)也在 GitHub 對(duì)他們采用的方法做了簡(jiǎn)單的概述：
姿勢(shì)序列首先使用姿勢(shì)引導(dǎo)器進(jìn)行編碼，然后與多幀噪聲融合，接著 Denoising UNet 進(jìn)行去噪處理以生成視頻。Denoising UNet 的計(jì)算塊包括空間注意力、交叉注意力和時(shí)間注意力，如上圖右側(cè)虛線框所示。
參考圖像的整合涉及兩個(gè)方面。首先，通過 ReferenceNet 提取詳細(xì)特征，并用于空間注意力。其次，通過 CLIP 圖像編碼器提取語義特征，用于交叉注意力。時(shí)間注意力在時(shí)間維度上操作。最后，VAE 解碼器將結(jié)果解碼為視頻剪輯。
看完這個(gè)視頻 Demo 后，我的感覺是像模特、舞蹈類網(wǎng)紅、卡通動(dòng)漫動(dòng)畫設(shè)計(jì)、游戲 VR、視覺特效等行業(yè)似乎都可以使用這個(gè)方式。
AnimateAnyone 這個(gè)項(xiàng)目是發(fā)布在 HumanAIGC 這個(gè)賬號(hào)下的，而這個(gè)賬號(hào)的描述是 Alibaba TongYi XR，可能是通義千問下面的 XR 團(tuán)隊(duì)，目前在 GitHub 的 Star 數(shù)已經(jīng)超過 7200 了，而 HumanAIGC 這個(gè)賬號(hào)在 2 周前才建立。
本文（含圖片）為合作媒體授權(quán)創(chuàng)業(yè)邦轉(zhuǎn)載，不代表創(chuàng)業(yè)邦立場(chǎng)，轉(zhuǎn)載請(qǐng)聯(lián)系原作者。如有任何疑問，請(qǐng)聯(lián)系editor@cyzone.cn。
