編者按：本文來自微信公眾號 硅星人Pro（ID：Jessica），作者 ：油醋，創(chuàng)業(yè)邦經(jīng)授權轉載。
ChatGPT發(fā)布一年多，已經(jīng)在全世界累積了超過1.8億用戶。而隨著越來越多的人們開始頻繁使用它，近幾個月關于GPT-4在“變笨”、“變懶”的說法不絕于耳。
大家發(fā)現(xiàn)這個昔日大聰明在回答提問時逐漸失去了最初的理解力和準確性，時不時給出“驢唇不對馬嘴”的答案，或是干脆擺爛、拒絕回答。
對于GPT-4降智的原因，用戶們有許多自己的猜測。而最近，來自加州大學圣克魯茲分校的一篇論文，給出了學術界的最新解釋。
「我們發(fā)現(xiàn)，在LLM訓練數(shù)據(jù)創(chuàng)建日期之前發(fā)布的數(shù)據(jù)集上，LLM的表現(xiàn)出奇地好于之后的數(shù)據(jù)集。」
eLLM訓練數(shù)據(jù)收集日期之前和之后發(fā)布的數(shù)據(jù)集，對零樣本（藍色）和少樣本（綠色）任務的準確率對比。
也就是說，大模型在它們之前“見過”的任務上表現(xiàn)優(yōu)秀，在新任務上則相對拉垮。這更像是一種檢索的模擬智能方法，回答問題全靠記，而非純粹基于學習理解能力。
因此論文認為，許多大模型在處理早期數(shù)據(jù)時展現(xiàn)出的優(yōu)異表現(xiàn)，實際上是受到了「任務污染」的影響。
我們知道，大語言模型之所以強大，是因為在各種零樣本和少樣本任務中表現(xiàn)出色，顯示出處理復雜和多樣化問題的靈活性。
而「任務污染」就是一種對零樣本或少樣本評估方法的污染，指在預訓練數(shù)據(jù)中已包含了任務訓練示例——你以為GPT初次回答就這么得心應手？No！其實它在訓練過程中就已經(jīng)“見過”這些數(shù)據(jù)了。
評估的模型與數(shù)據(jù)集
由于封閉模型不會公開訓練數(shù)據(jù)，開放模型也僅提供了數(shù)據(jù)源，爬取網(wǎng)站去獲取數(shù)據(jù)并非易事，所以想簡單驗證是困難的。
為了實測任務污染的范圍，論文中共評估了12種不同的模型，包括5個GPT-3系列封閉模型和Fairseq MoE、Bloom、LLaMA等7個開放模型，并列出訓練集創(chuàng)建和模型發(fā)布日期。
在數(shù)據(jù)集上則劃分為兩類：2021年之前和2021年之后發(fā)布的數(shù)據(jù)集。以此來對比新老數(shù)據(jù)集之間的零樣本或少樣本任務性能差異。
四種測量方法
基于以上樣本，研究人員采用了四種方法來衡量大模型的任務污染范圍。
1. 訓練數(shù)據(jù)檢查：直接搜索訓練數(shù)據(jù)以找到任務訓練示例。
發(fā)現(xiàn)經(jīng)過微調(diào)的Llama模型Alpaca和Vicuna，在訓練中加入少量任務示例后，對比原版Llama性能有所提升。
2. 任務示例提取：從現(xiàn)有模型中提取任務示例。
具體方法是通過提示詞指令，讓模型生成訓練示例。由于在零樣本或少樣本評估中，模型本不應該接受任何任務示例訓練，所以只要LLM能夠根據(jù)提示生成訓練示例，就是任務污染的證據(jù)。
結果發(fā)現(xiàn)，從GPT-3第一代davinci-001到后來的3.5-T，代表可以生成訓練示例的紅色X越來越多了，證明任務污染越發(fā)嚴重。
3. 成員身份推斷：僅適用于生成任務，核心是檢查模型為輸入示例生成的內(nèi)容是否與原始數(shù)據(jù)集完全相同。如果一致，就可以認定這個示例是LLM訓練數(shù)據(jù)的成員。
因為如果在開放式生成任務中出現(xiàn)這種精準匹配，那模型無異于具備了預知能力，能準確復現(xiàn)數(shù)據(jù)集中的具體措辭，表現(xiàn)可以說是“天秀”了，這就強烈暗示了模型在訓練時已經(jīng)學習過這些內(nèi)容。
結果顯示在GPT-3系列和最近開源的大模型中，這種生成內(nèi)容與原始數(shù)據(jù)完全相同的情況普遍存在，且污染程度隨時間呈上升趨勢。
4. 時間序列分析：對于已知訓練數(shù)據(jù)收集時間的模型，測量其在已知發(fā)布日期的數(shù)據(jù)集上的性能，并使用時間序列證據(jù)檢查污染的證據(jù)。
通過對所有數(shù)據(jù)集和LLM進行全球性的時間序列分析，發(fā)現(xiàn)對于在LLM發(fā)布之前收集的數(shù)據(jù)集（左側），無論是零樣本還是少樣本任務中，擊敗多數(shù)基線的可能性都遠遠更大。
最終結論
在所有實驗過后，論文給出如下關鍵結論：
由于任務污染，閉源模型在零樣本或少樣本評估中的性能表現(xiàn)被夸大了，特別是那些經(jīng)過人類反饋的強化學習（RLHF）或指令微調(diào)的模型。由于污染程度仍然未知，我們需要謹慎對待。
在實驗中，對于沒有展示出污染可能性的分類任務，大模型在零樣本和少樣本設置里很少顯示出相對多數(shù)基線在統(tǒng)計學意義上的顯著性改進。
隨著時間推移，GPT-3系列模型在許多下游任務的零樣本或少樣本性能上的提升很可能是由于任務污染造成的。
即使是開源的LLM，出于多種原因，檢查訓練數(shù)據(jù)的任務污染也可能是困難的。
鼓勵公開訓練數(shù)據(jù)集，以便更容易診斷污染問題。
GPT“變笨”不孤單，所有大模型殊途同歸？
讀過論文后，許多網(wǎng)友也悲觀地表示：降智沒準兒是目前所有大模型的共同命運。
對于沒有持續(xù)學習能力的機器學習模型來說，其權重在訓練后被凍結，但輸入分布卻不斷漂移。近兩億用戶五花八門的新問題日夜不間斷，如果模型不能持續(xù)適應這種變化，其性能就會逐步退化。
就比如基于大模型的編程工具，也會隨著編程語言的不斷更新而降級。
而持續(xù)重新訓練這些模型的成本很高，人們遲早會放棄這種效率低下的方法。就目前的LLM來說，很難構建可以在不嚴重干擾過去知識的情況下，連續(xù)適應新知識的機器學習模型。
有網(wǎng)友認為：“圍繞人工智能的所有炒作大多是基于這樣一個假設：人工智能將會越來越好。但按照這些大型語言模型的設計方式，實現(xiàn)通用人工智能幾乎是不可能的。在特定場景下的小眾用例是這項技術的最佳使用方式?！?/p>
而持續(xù)學習，恰恰是生物神經(jīng)網(wǎng)絡的優(yōu)勢。由于生物網(wǎng)絡具有強大的泛化能力，學習不同的任務可以進一步增強系統(tǒng)的性能，從一個任務中獲得的知識有助于提升整個學習過程的效率——這種現(xiàn)象也稱為元學習。
“從本質(zhì)上講，你解決的問題越多，就會變得越好，而大模型雖然每天被數(shù)以百萬計的問題所觸發(fā)，它們并不會自動地在這些任務上變得更加出色，因為它們的學習能力被凍結在了某一時刻?！?/p>
不過想來一個有些矛盾的現(xiàn)實是，現(xiàn)在的人們越來越依賴于AI生成的內(nèi)容，用退化中的大模型提供的答案去解決生活中的實際問題。未來大模型爬到的數(shù)據(jù)，將會越來越多會是它自己創(chuàng)造的東西，而不是來自人腦。
AI用AI的產(chǎn)出去自我訓練，最終結果又會走向何方呢？如果不著手從根本上解決數(shù)據(jù)污染和持續(xù)學習能力的問題，未來的世界會和大模型一起變笨嗎？
參考資料（原文地址）：https://arxiv.org/abs/2312.16337
本文為專欄作者授權創(chuàng)業(yè)邦發(fā)表，版權歸原作者所有。文章系作者個人觀點，不代表創(chuàng)業(yè)邦立場，轉載請聯(lián)系原作者。如有任何疑問，請聯(lián)系editor@cyzone.cn
