編者按：本文來自微信公眾號 騰訊研究院（ ID：cyberlawrc），作者：騰訊研究院，創(chuàng)業(yè)邦經(jīng)授權轉載。

本文節(jié)選自《AI，一敗涂地？》

本文約80%的內容系借由AI工具撰寫

2022 年 11 月，當人們還沉浸在 ChatGPT 帶來的驚艷之時，有小部分的用戶很快發(fā)現(xiàn)了這個聊天機器人的問題：它解決了此前所有 AI 機器人都有的問題——“不像真的”，卻帶來了全新的問題——“它說假話也像真的”。

現(xiàn)在我們知道了，在人工智能領域有一個專門的術語來形容這種“一本正經(jīng)的編造假話”，它被稱之為“幻覺”。

早在 1995 年，計算機科學家 斯蒂芬·塞勒（Stephen Thaler）在當時的人工智能背景下引入了幻覺的概念，這一概念最初被用于指代神經(jīng)網(wǎng)絡中自發(fā)產(chǎn)生的新想法或概念，因為這與人類的幻覺類似，沒有明確的外部信息輸入。因此，在很長一段時間里，在 AI 領域“幻覺”是一個帶有一定褒義色彩的術語，“有幻覺”意味著你的 AI 具備一定創(chuàng)造性能力。

在 2017 年左右，這個術語發(fā)生了色彩上的變化，因為在這個時間點，世界上已經(jīng)存在一些可以穩(wěn)定憑空生成圖像或文字的 AI 了，因此創(chuàng)造性不再是一個遠在天邊不可實現(xiàn)的目標。在當年 Google 的一篇論文中，研究人員開始用幻覺描述那些在使用神經(jīng)機器翻譯模型時，生成與原文不相符的譯文的現(xiàn)象。

到 2022 年 8 月，也就是 ChatGPT 震驚世人 3 個月前，F(xiàn)acebook 母公司 Meta 在它們的一篇論文中用這個術語來形容“自信的說假話”，這也就是我們現(xiàn)如今所熟悉的，最新版本的關于“AI幻覺”的定義。

2024 年，哈工大與華為發(fā)布了一篇 長達49 頁的關于 AI 幻覺的論文，其中提到，按照生成內容與真實世界的偏離程度，幻覺可以被分為事實性幻覺（Factuality Hallucination）和忠實性幻覺（Faithfulness Hallucination）。

事實性幻覺指的是模型生成的內容與可證實的現(xiàn)實世界事實不一致：

• 如果生成的事實性內容可以在可靠來源中找到，但存在矛盾，則稱為事實不一致。例如，當被問及“第一個登上月球的人”時，模型可能會錯誤地回答“尤里·加加林”，而正確答案是尼爾·阿姆斯特朗。

• 如果生成的事實性內容無法根據(jù)已有的現(xiàn)實世界知識進行驗證，則稱為事實捏造。例如，當被問及“獨角獸的歷史起源”時，模型可能會編造出一個看似合理但實際上毫無根據(jù)的答案，比如，“獨角獸在公元前 10000 年左右的亞特蘭蒂斯平原上漫游，它們被視為神圣的生物，經(jīng)常與皇室聯(lián)系在一起”。

忠實性幻覺指的是生成的內容與用戶指令或輸入提供的上下文不一致，以及生成內容本身不自洽：

• 如果模型的輸出偏離了用戶的指令，則稱為指令不一致。例如，用戶明確指示將英語問題翻譯成西班牙語，但模型卻直接回答了這個問題。

• 如果模型的輸出與用戶提供的上下文信息不符，則稱為上下文不一致。例如，用戶提到尼羅河起源于非洲中部的大湖地區(qū)，但模型卻回答尼羅河起源于非洲中部的山脈。

• 如果模型的輸出在邏輯上自相矛盾，則稱為邏輯不一致。例如，在解決數(shù)學方程式時，模型的推理步驟正確，但最終答案與推理鏈不一致。

經(jīng)常使用 AI 產(chǎn)品的讀者應該對此并不陌生，可以說幻覺是這一輪大語言模型的通病。

那么，是什么導致了幻覺呢？目前來看，它與大語言模型的訓練方式和 AI 感知世界的方法有關。

數(shù)據(jù)是幻覺的根源。有缺陷的數(shù)據(jù)源可能包含錯誤信息和偏見，導致模型模仿性錯誤。比如，訓練數(shù)據(jù)中包含大量的科幻小說，而在數(shù)據(jù)集中并未給這些語料標注虛構，那么 AI 就有可能對那些科幻小說中的設定“信以為真”。此外，數(shù)據(jù)源還可能存在知識邊界，即缺乏特定領域知識或過時的信息，使得模型在面對特定問題時“無中生有”。即使數(shù)據(jù)本身沒有問題，模型也可能因為對數(shù)據(jù)利用不當而產(chǎn)生幻覺。模型可能過度依賴數(shù)據(jù)中的虛假關聯(lián)，或者在面對長尾知識或復雜推理場景時出現(xiàn)知識回憶失敗，從而生成不準確的內容。

訓練過程中的缺陷也會導致幻覺。在預訓練階段，模型架構的缺陷，如單向表征的不足和注意力機制的缺陷，可能導致模型無法捕捉復雜的上下文依賴關系，從而產(chǎn)生幻覺。此外，不理想的訓練目標和曝光偏差也會導致模型過度自信，生成不符合事實的內容。在對齊階段，模型可能面臨能力錯位，即被訓練生成超出自身知識范圍的內容，或者信念錯位，即生成與自身內部信念相悖的內容。

最后，在推理階段，解碼策略的隨機性和解碼表征的不完美也可能導致幻覺。隨機采樣策略在增加生成多樣性的同時，也增加了模型采樣到低頻詞的可能性，從而導致幻覺。此外，模型在解碼時可能缺乏對上下文的充分關注，或者受到softmax瓶頸的限制，無法準確表達多樣化的輸出概率，從而導致不準確的預測。

可以用最通俗的話打個不恰當?shù)谋确?，如果一個人從出生就被關在伸手不見五指的黑房子里，他對世界一切的了解，來自一個不斷用語言描述世界的喇叭，那么當這個人描述“云彩”的時候，就不會按照現(xiàn)實世界的真實邏輯，而是會按照過往喇叭講過的內容去描述——這個世界上怎么會沒有綠色的云呢？《大話西游》里明明說了，會有一只猴子駕著七彩祥云飛來。

大語言模型就是那個從小被關在黑屋子里，只接受了文字培訓并且只能用文字與我們溝通的人，也就是“紙上得來終覺淺”的進階版本。

那么，當一個這樣只會“紙上談兵”的“人”進入到我們的工作生活中時，它會引發(fā)什么問題呢？

我們先從一個最簡單的例子說起：

2024 年 2 月，一名乘客起訴了加拿大航空，原因是該航空公司的智能聊天機器人客服提供了“虛假的折扣”。

起因是該乘客于 2023 年 11 月需要乘坐飛機往返多倫多參加他祖母的葬禮。部分的海外航司針對類似的情況，會提供喪親折扣，以幫助消費者更容易地度過艱難時期。因此，該名乘客在購買機票之前，詢問了加拿大航空的智能機器人相關折扣問題。

機器人對他失去至親的遭遇表示惋惜，并慷慨地承諾該乘客可以購買原價機票，然后憑借相關手續(xù)在 90 天內申請喪親折扣退款。

顯然，加航根本沒有這種折扣，其只是這個聊天機器人在訓練過程中，從別的航司過往折扣那里學來的。

在后續(xù)的訴訟中，加航辯稱他們不能為一個不知道會說出什么話的機器人付法律責任。但法庭顯然并不認可這一點，法官認為加航?jīng)]有采取必要的措施保證機器人的準確性，這就像是一家公司沒有給客服人員培訓合格就讓他們上崗一樣。

最終，該乘客不僅獲得了機器人在“幻覺”中給出的承諾折扣，還額外獲得了一筆賠償金。

如果所有的幻覺，只停留在經(jīng)濟層面，那可能還是一個小問題。接下來的這個案例，則展現(xiàn)了 AI 幻覺捅出更大簍子的“潛力”：

2023 年 5 月，美國一家律所 Levidow, Levidow & Oberman 代理了一起針對哥倫比亞航空公司的訴訟。該訴訟的原告是一名受工傷的前哥航員工，員工希望能夠從哥航得到更合理的賠償。

為了更好地支持員工的訴求，原告的代理律師搜集了許多個同類型的案例作為案情摘要，順便為哥航塑造成一個一向不太在意員工福利的公司形象。

這在美國的訴訟實操領域是非常常見的，唯一的問題是，以往的案例搜集律師們會依賴 Google，而這次的律師用了 ChatGPT——案情摘要里至少有 6 個相關案件是完全不存在的，由 ChatGPT 的幻覺編造。

原因其實也比較簡單，ChatGPT 直到 2023 年 5 月才開始逐漸向它的付費用戶推送聯(lián)網(wǎng)搜索功能。而在此之前，ChatGPT 只能依據(jù)自己訓練時的數(shù)據(jù)庫內容進行生成和推理。

這意味著，當律師讓其“尋找”類似案例時，ChatGPT 是不可能完成這個任務的。而系統(tǒng)指令又要求 AI 在這種情況下應該“說點什么”，于是 ChatGPT 編造了完整的相關案例，包括虛假的姓名、案卷號、案情，等等。

當法院發(fā)現(xiàn)這一點時，律師表示非常后悔，這是他第一次使用 ChatGPT 來作為法律研究工具，并且他主觀上不知道“AI 可能會編造內容”，也沒有去一一驗證那些由 AI 提供的案件是否真實存在，并承諾在未來如果使用 AI 進行法律研究，他一定會驗證真實性。

法庭接受了律師的懺悔，但駁回了訴訟請求，并對律師事務所罰款 5000 美元。

然而，幻覺可能帶來的損失，還不止于此，在接下來這個案例中，它甚至可能直接威脅生命：

2023 年 9 月 1 日，英國衛(wèi)報的一名記者發(fā)現(xiàn)，在亞馬遜電子書的旅游類排行榜上，充斥著由 AI 制作的書籍。這些書籍的作者從未到訪過他們所介紹的地方，他們只是簡單地給 AI 下了幾條提示詞，AI 便根據(jù)自身的知識庫和互聯(lián)網(wǎng)上可能搜集到的信息生成了完整的電子書。

與其他幻覺造成的損失一樣，這些書籍的作者當然沒有去驗證這些 AI 生成書籍的真?zhèn)巍吘谷绻麄冋嫒チ诉@些地方實地探訪，又何必需要由 AI 來撰寫呢？

然而問題是，其中的部分書籍不僅涉及“旅游”，還涉及旅游過程中的“飲食”，比如挖蘑菇。

記者發(fā)現(xiàn)了至少四本完全由 AI 撰寫的關于挖蘑菇的電子書，其中包括Wild Mushroom Cookbook: form sic forest to gourmet plate, a complete guide to wild mushroom cookery（《野生蘑菇食譜：從森林到美食盤子，野生蘑菇烹飪的完整指南》）和The Supreme Mushrooms Books Field Guide of the South-West（《西南部最高蘑菇書籍野外指南》）。

這就非?？膳铝恕?/p>

記者隨后聯(lián)系了一位專門從事野外菌菇探索的專家來審查這些由 AI 生成的“蘑菇路書”，結果是非常危險。因為部分電子書描述了如何依靠嗅覺和味覺來判別蘑菇是否可以食用。

對于許多有劇毒的蘑菇來說，當你把它放進嘴里或大力嗅聞的時候，你就已經(jīng)離出現(xiàn)“幻覺”不遠了。

幻覺的出現(xiàn)，很大程度上顛覆了我們此前對計算機程序和系統(tǒng)的認知與想象。在許多人的認知中，計算機/自動化是“不會出錯”的。

就像人用筆做計算可能會出錯，但計算器計算數(shù)字時卻從不會出錯。在前 AI 時代，大部分程序的 bug，要么是人為導致的，要么是某段程序之外的部分發(fā)生了變化，偏離了原本的運行邏輯導致。

這對于程序員來說其實十分省心——只要我提前預想好了所有的可能性，并編寫了正確的代碼，我就可以預期程序一定會正常運行。

但大語言模型帶來的幻覺，讓計算機程序首次可以大量自行生成錯誤。尤其是對于那些將 AI 直接引入可變編程系統(tǒng)的解決方案來說，一次正常運行不再代表次次正常運行。一次錯誤運行，也不代表系統(tǒng)本身存在錯誤。從全局來看，這在某種程度上降低了計算機系統(tǒng)的可靠性和穩(wěn)定性。

當我們提及生成式人工智能帶來的效率提升時，總是提到 AI 可以低成本、無休止地執(zhí)行我們之前的某些工作，比如生成文案、對接客戶、生成圖畫。但如果幻覺夾雜其中，就讓這種生產(chǎn)力顯得沒有那么高效了。

畢竟，在工作任務相等的情況下，檢查工作是否正確完成和人工完成這些工作可能是相似的。比如，當 AI 在 10 分鐘內為你撰寫了一篇幾萬字的論文時，你可能需要花費跟寫幾萬字論文同等的時間去驗證論文里的每一個引用是否真實存在，論文中的邏輯是否真的符合共識。

目前，人工智能領域針對幻覺還沒有從根本上的解決方案。

但大體上形成了兩種緩解的方法，一種是優(yōu)化訓練數(shù)據(jù)，進一步調整訓練方式，增強大語言模型的能力，讓幻覺出現(xiàn)的幾率從源頭上降低。

另一種，則是在大語言模型之外，設置合適的工程性防護措施，攔截可能的錯誤問題。

比如，2023 年 2 月，Google 基于追趕 ChatGPT 而首次公開演示其模型 Bard AI 時，這款產(chǎn)品在許多問題上給出了錯誤的回答，這一度導致 Google 的股票大跌。

為了解決這個問題，在 Google 后續(xù)的 Gemini 面向用戶發(fā)布時，推出了“核查回答”功能。這個功能允許用戶通過一鍵來驗證 Gemini 給出的答案是否可靠。它的原理是，在用戶點擊這個按鈕之后，Gemini 在此啟動，將剛剛回答中的每一個事實都進行一次 Google 搜索，然后通過對比 Google 搜索中得到的結果來驗證 Gemini 在首次回答時給出的答案是否有據(jù)可查。

鑒于短期內，單憑大語言模型這一單一技術可能無法克服其自身所產(chǎn)生的幻覺，類似 Gemini“核查回答”這樣的外掛式防護措施，將成為解決 AI 幻覺，提高 AI 系統(tǒng)穩(wěn)定性的重要方法。

本文為專欄作者授權創(chuàng)業(yè)邦發(fā)表，版權歸原作者所有。文章系作者個人觀點，不代表創(chuàng)業(yè)邦立場，轉載請聯(lián)系原作者。如有任何疑問，請聯(lián)系editor@cyzone.cn。