重磅新規(guī)落地，AI行業(yè)的一次大洗牌

吳曉波頻道·2025-09-02

所有AI生成、合成的內(nèi)容，都必須加上標(biāo)識，讓用戶、監(jiān)管和機器，都能一眼看出來?！?/div>

編者按：本文來自微信公眾號，吳曉波頻道（ID：wuxiaobopd），作者：蔣紫涵，編輯：徐濤，創(chuàng)業(yè)邦經(jīng)授權(quán)轉(zhuǎn)載。

下面這段《貓和老鼠》的動畫，你看得出來是AI生成的嗎？

圖源：小紅書

如果說這種“以假亂真”的動畫還只是玩笑，那么，那些披著“真實”外衣的AI合成內(nèi)容，就足以讓人心生恐懼。

前段時間，“AI合成全紅嬋”帶貨視頻在網(wǎng)上瘋傳，哪怕其家人緊急辟謠，仍有不少人受騙下單；往前，西藏日喀則地震后，一張小孩被壓在廢墟下的照片賺足了眼淚與轉(zhuǎn)發(fā)，結(jié)果卻被證實是AI合成……

假視頻、假圖片只是冰山一角，更隱蔽的，是那些充斥在我們信息流里的假新聞和假數(shù)據(jù)：“西安突發(fā)爆炸！火光沖天！傷亡不明！”“大媽擺攤賣水果被罰16萬，監(jiān)管局回應(yīng)不交就罰145萬！”“80后的死亡率已經(jīng)超過70后！”

圖源：小紅書

這些奪人眼球的爆款新聞，最終都被證實純屬虛構(gòu)，卻早已收割了無數(shù)人的轉(zhuǎn)發(fā)、關(guān)注、憤怒。

這背后，有“AI幻覺”（AI在無明確依據(jù)的情況下編造并不存在的事件、數(shù)據(jù)、細(xì)節(jié)）的推波助瀾，但更嚴(yán)重的，是有人利用AI批量制造假新聞，形成產(chǎn)業(yè)鏈，從中非法牟利。

據(jù)央廣網(wǎng)報道，去年1月以來，一家MCN機構(gòu)通過AI軟件生成虛假新聞，最高峰一天能生成4000至7000篇，相關(guān)人員直至去年6月才被刑拘；據(jù)南都大數(shù)據(jù)研究院不完全統(tǒng)計，2024年搜索熱度較高的50個國內(nèi)AI風(fēng)險相關(guān)輿情案例中，超1/5與AI造謠有關(guān)；此前上海一女童走失事件中，有團(tuán)伙利用AI工具編造“女孩父親系繼父”等謠言，6天內(nèi)發(fā)布268篇文章，多篇文章點擊量超過100萬次……

伴隨著科技的飛速發(fā)展，越來越多人發(fā)現(xiàn)，自己已經(jīng)無法輕易分辨眼前的東西是真是假，在老年群體中，這一情況更為嚴(yán)重。網(wǎng)絡(luò)上，“AI生成的視頻爸媽深信不疑”“連善意都被AI玩弄”的吐槽層出不窮。真假難辨的內(nèi)容，正在讓公眾陷入混亂與焦慮，讓社會共識的形成越來越困難，也讓互聯(lián)網(wǎng)信息池被嚴(yán)重污染。

正如數(shù)字力場負(fù)責(zé)人、專欄作者佘宗明所言：“都說‘科技向善’，再往前一步，其實就是‘科技向真’。科技向真不是說不能用AIGC工具‘魔改’內(nèi)容、‘邪修’創(chuàng)意，而是說要遵循某些底線性的真實原則，比如是AI生成的‘勁爆’圖片或‘震撼’視頻就得標(biāo)注是AI生成的，是AI編造的‘小作文’就得提醒是AI編造的，必須制假標(biāo)假，不能以假亂真?！?/p>

對此，我國在2月底出臺了強制性國家標(biāo)準(zhǔn)《網(wǎng)絡(luò)安全技術(shù)人工智能生成合成內(nèi)容標(biāo)識方法》，于昨日（9月1日）正式施行。

未可知人工智能研究院院長、中國社會科學(xué)院技術(shù)經(jīng)濟學(xué)博士杜雨認(rèn)為：“這意味著對AIGC的治理從前瞻性的行業(yè)自律指南（怎么做更好），邁向了普適性的強制性監(jiān)管規(guī)范（必須怎么做）。這并非給技術(shù)發(fā)展‘踩剎車’，而是為其‘鋪軌’和‘校準(zhǔn)方向’。”

那么，這兩份文件，具體規(guī)定了些什么？

用一句話來說，就是所有AI生成、合成的內(nèi)容（包括文本、圖片、音頻、視頻、虛擬場景等），都必須加上標(biāo)識，讓用戶、監(jiān)管和機器，都能一眼看出來。

其中，標(biāo)識分為兩種：

顯式標(biāo)識：直接展示給用戶看；

隱式標(biāo)識：藏在文件元數(shù)據(jù)中，方便監(jiān)管和機器識別，包含這條內(nèi)容的生產(chǎn)者、唯一編號等信息。

隱式標(biāo)識規(guī)范

對普通用戶來說，最相關(guān)的是顯式標(biāo)識，未來你在網(wǎng)上沖浪時，能清楚了解哪些內(nèi)容是AI生成的：

◎ 首先，AI生成的文本內(nèi)容，必須在開頭、末尾或中間，添加文字提示或者角標(biāo)等，如下圖所示：

圖源：《網(wǎng)絡(luò)安全技術(shù)人工智能生成合成內(nèi)容標(biāo)識方法》

◎ 其次，對圖片內(nèi)容和視頻內(nèi)容而言，圖片、視頻畫面內(nèi)需包含“人工智能”或“AI”+“生成”和/或“合成”的文字，文字高度不能低于圖片最短邊長的5%，正常播放速度下，視頻畫面中的標(biāo)識持續(xù)時間不能少于2秒。

圖源：《網(wǎng)絡(luò)安全技術(shù)人工智能生成合成內(nèi)容標(biāo)識方法》

◎ 第三，AI生成或合成的音頻文件中，必須包含一段正常語速的“AI生成”等提示語音，或者一段清晰可辨的“短長短短”（為AI的摩斯碼）特殊節(jié)奏音。

圖源：《網(wǎng)絡(luò)安全技術(shù)人工智能生成合成內(nèi)容標(biāo)識方法》

◎ 最后，所有使用到AI的交互場景，都需要使用文字進(jìn)行標(biāo)注，在內(nèi)容附近或者交互界面的適當(dāng)位置持續(xù)顯示提示文字，如下圖所示：

圖源：《網(wǎng)絡(luò)安全技術(shù)人工智能生成合成內(nèi)容標(biāo)識方法》

文件中，“視頻畫面中的標(biāo)識持續(xù)時間不能少于2秒”“文字高度不能低于圖片最短邊長的5%”等細(xì)節(jié)要求，凸顯了相關(guān)部門對AI標(biāo)識的嚴(yán)格態(tài)度——不能靠小字糊弄、不能靠加速視頻蒙混過關(guān)，必須要讓用戶一眼就能識別出“這是AI生成的內(nèi)容”。

并且，《辦法》還對平臺端提出了更高要求：平臺需核驗用戶上傳的文件元數(shù)據(jù)，確認(rèn)文件是否包含隱式標(biāo)識和顯式標(biāo)識，對確認(rèn)或疑似為AI生成/合成的內(nèi)容，進(jìn)行清晰醒目的提示標(biāo)識。換句話說，AI標(biāo)識不只要靠“創(chuàng)作者自覺”，平臺也必須承擔(dān)“把關(guān)義務(wù)”。

圖源：小紅書

當(dāng)然，除了用戶和內(nèi)容平臺，這兩份文件的落地，也在悄然重塑著各行各業(yè)的運行邏輯。對企業(yè)來說，這既是壓力，也是新商機的涌現(xiàn)；對不同行業(yè)的從業(yè)者來說，這既是洗牌，也是新競爭的開始。對此，我們邀請了幾位專家，來聽聽他們的觀察與判斷。

大頭有話說

杜雨

未可知人工智能研究院院長

中國社會科學(xué)院技術(shù)經(jīng)濟學(xué)博士

我認(rèn)為這一文件的核心是為了應(yīng)對三類風(fēng)險：

◎ 第一，防范欺詐和虛假信息的傳播。AIGC技術(shù)能夠批量生成高度逼真的內(nèi)容，容易被用于制造謠言、進(jìn)行詐騙甚至干擾輿論。強制標(biāo)識相當(dāng)于給AI生成內(nèi)容貼上“電子水印”，幫助公眾快速辨別真?zhèn)危Ｗo(hù)自身權(quán)益和社會信任基礎(chǔ)。

◎ 第二，明確版權(quán)與內(nèi)容歸屬。AI生成內(nèi)容在知識產(chǎn)權(quán)方面仍存在大量模糊地帶，標(biāo)注來源有助于厘清權(quán)利邊界，減少法律糾紛，也是對原創(chuàng)生態(tài)的一種保護(hù)。

◎ 第三，這一點非常關(guān)鍵——防止互聯(lián)網(wǎng)數(shù)據(jù)被污染。目前很多低質(zhì)量、錯誤甚至惡意的AI生成內(nèi)容未經(jīng)標(biāo)識就涌入網(wǎng)絡(luò)，如果它們被當(dāng)作訓(xùn)練數(shù)據(jù)回收給下一代模型，會導(dǎo)致模型性能退化，形成“垃圾進(jìn)、垃圾出”的惡性循環(huán)。強制標(biāo)注相當(dāng)于為數(shù)據(jù)構(gòu)建了“隔離帶”，保障AI長期發(fā)展的數(shù)據(jù)環(huán)境健康。

未來，在新聞、金融、醫(yī)療、教育等高風(fēng)險、高信任度要求的領(lǐng)域，強制標(biāo)識是AI技術(shù)得以規(guī)?；瘧?yīng)用的“準(zhǔn)入許可”和“信任票”。它明確了應(yīng)用的邊界和責(zé)任，反而能打消社會顧慮，為那些真正創(chuàng)造價值的AI應(yīng)用掃清障礙，加速其落地進(jìn)程。

對于相關(guān)企業(yè)而言，確實面臨著新的責(zé)任和挑戰(zhàn)，例如，給所有AI生成的內(nèi)容“打標(biāo)簽”，需要在產(chǎn)品和技術(shù)流程里加?xùn)|西，肯定有投入，并且，用別家的AI工具生成內(nèi)容，或者平臺分發(fā)內(nèi)容，也都得檢查有沒有標(biāo)，這叫“誰運營誰負(fù)責(zé)”，責(zé)任鏈條變長了。如果該標(biāo)沒標(biāo)，或者故意冒充真人創(chuàng)作，可能會面臨處罰。

AI手機生成寫真圖片

但是，這同樣帶來了全新的商業(yè)機會：

◎ 第一，“可信AI”會成為核心競爭力。以后用戶會更信任那些老實標(biāo)識、內(nèi)容質(zhì)量高的AI產(chǎn)品，這能幫你建立品牌信任，反而是個加分項。

◎ 第二，合規(guī)技術(shù)本身就能成一門生意。比如做數(shù)字水印、AI內(nèi)容檢測工具、合規(guī)解決方案，這些需求會越來越大，成為一個新的賽道。

◎ 第三，高質(zhì)量內(nèi)容的價值會更突出。當(dāng)?shù)唾|(zhì)AI內(nèi)容被標(biāo)識和過濾掉，真正優(yōu)質(zhì)、有創(chuàng)意的內(nèi)容（無論是人還是AI做的）會變得更值錢。

佘宗明

數(shù)字力場負(fù)責(zé)人、專欄作者

跟歐盟慣有的強監(jiān)管（過度強調(diào)安全）、美國一貫的軟約束（側(cè)重行業(yè)自律）比，中國在互聯(lián)網(wǎng)和AI上的治理向來更注重“平衡的藝術(shù)”。單就AI生成內(nèi)容標(biāo)注來說，中國的做法有兩個典型特點：

??第一，將標(biāo)識要求與《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》《生成式人工智能服務(wù)管理暫行辦法》等法規(guī)充分銜接，形成相對全面系統(tǒng)的AI治理法規(guī)體系。

??第二，創(chuàng)新性地提出文本符號標(biāo)識、音頻節(jié)奏標(biāo)識、文件元數(shù)據(jù)標(biāo)識等低成本且具有可操作性的標(biāo)識方法，兼顧了監(jiān)管需求與企業(yè)實際承受能力，平衡了規(guī)范與發(fā)展的關(guān)系，更貼合中國龐大而多元的AI 產(chǎn)業(yè)生態(tài)特點。

未來，我認(rèn)為有兩點可以做：

◎ 第一，建立AI生成內(nèi)容元數(shù)據(jù)共享庫，推動“行業(yè)協(xié)作與標(biāo)準(zhǔn)共享”，打通平臺間溯源壁壘。

◎ 第二，建立權(quán)威的AI內(nèi)容檢測與認(rèn)證機構(gòu)，當(dāng)對某些內(nèi)容是否為AI生成存在爭議時，可由該機構(gòu)進(jìn)行專業(yè)鑒定，確保標(biāo)識的準(zhǔn)確性與公正性。

董毅智

上海正策律師事務(wù)所律師

從律師的角度來看，這是一份未來在司法層面非?？尚?、并且極具行業(yè)標(biāo)準(zhǔn)意義的文件。律師在處理相關(guān)合規(guī)事務(wù)，尤其是在訴訟環(huán)節(jié)時，它提供了堅實的法律依據(jù)。這不僅關(guān)乎文件本身的規(guī)范性，也代表了未來立法層面的發(fā)展方向。

未來，進(jìn)一步完善配套設(shè)施，我認(rèn)為有三個方向：

??第一，技術(shù)溯源能力的建設(shè)，通過技術(shù)手段實現(xiàn)對數(shù)據(jù)和內(nèi)容的深層次驗證。

??第二，全流程合規(guī)，覆蓋數(shù)據(jù)采集、模型訓(xùn)練、內(nèi)容生成到分發(fā)的全周期管理體系。

??第三，法律責(zé)任的明確，設(shè)立清晰的懲戒和追償機制，對違法犯罪行為形成實質(zhì)性威懾。

??第四，教大家怎么正確認(rèn)識、對待AI。

劉曉博

財經(jīng)評論員

公眾號“劉曉博說財經(jīng)”

對自媒體行業(yè)而言，這項規(guī)定總體上是利好，因為目前大多數(shù)自媒體創(chuàng)作仍以人工為主，AI使用比例并不高，而那些依靠AI制造特殊場面獲取流量的賬號（比如抖音上流行的“貓打臺球”等視頻），一旦被明確標(biāo)注為AI生成，粉絲的興趣和吸引力勢必下降。畢竟，觀眾普遍還是更偏好真實的內(nèi)容，而不是AI生成的內(nèi)容。

強制標(biāo)識確實會影響讀者的接受度和信任度，但這反過來也會推動自媒體行業(yè)的生態(tài)優(yōu)化：選題方向、內(nèi)容風(fēng)格以及互動方式將更加注重真實性與創(chuàng)造力，而不是依賴“誤以為真實”的驚奇效果來博眼球。從長遠(yuǎn)來看，也能倒逼AI技術(shù)在創(chuàng)意和內(nèi)容價值上不斷進(jìn)步，而不是停留在制造噱頭的層面。

同時，這項措施還有助于讓短視頻、自媒體的競爭更合理、更公平，并保護(hù)大家的隱私、減少謠言的傳播、社會情緒的誤導(dǎo)和激化。