馬毅：揭開模型黑盒走向自主智能，推動智能技術(shù)的進化之躍

創(chuàng)業(yè)邦·2024-09-03

我們正處在從第一階段到第二階段的臨界點上。

“知識是智能的積分，智能是知識的微分?！?/p>

“一個智能的系統(tǒng)必須要有自主改進增加自身知識的機制，即能自學習的機制。所以一個系統(tǒng)，即使有知識，但只要它不能做到自我改進，無論它規(guī)模多大都是沒有任何智能的?！?/p>

“過去 10 年我們做的事情包括生成模型、識別，就是 1956 年達特茅斯會議說不做的事情，是動物層面的智能，跟真正的‘人工智能’其實是不一樣的?！?/p>

“真正的人工智能是指要讓機器擁有人獨有的智能，比如抽象能力、符號能力、邏輯能力，但這些都是現(xiàn)在大模型機制里沒有的?！?/p>

……

大模型的狂飆讓許多人看到了人工智能從理論變?yōu)楝F(xiàn)實的希望，雖然現(xiàn)在我們還并不清楚模型生成內(nèi)容的具體機制，但圍繞其生成能力的應(yīng)用想象和商業(yè)實踐已經(jīng)策馬先馳。在這幅由企業(yè)家雄心勾勒，充滿樂觀與浪漫意味的未來圖景里，“通用人工智能”是勢必抵達的終點。

不過在科學和商業(yè)的交匯之地，仍然有不少人保持克制與謹慎。他們徐徐加入這股洶涌的浪潮，為人工智能的商業(yè)探索注入稀缺的冷靜與深思。憶生科技創(chuàng)始人，全球著名計算機視覺、人工智能、統(tǒng)計與應(yīng)用數(shù)學專家馬毅，便是其中之一。

8月22日，2024AGI商業(yè)趨勢大會在深圳舉辦?；顒佑蓜?chuàng)業(yè)邦主辦，南山區(qū)科技創(chuàng)新局、西麗湖國際科教城融合創(chuàng)新中心、深圳市“模力營”AI生態(tài)社區(qū)為支持單位，攬勝運動為大會指定用車，搜狐為戰(zhàn)略合作媒體。會上，我們有幸邀請到馬毅教授帶來他關(guān)于智能科技范式變革的深度分享，現(xiàn)場金句頻出令人備受啟發(fā)。

以下為現(xiàn)場演講內(nèi)容，經(jīng)創(chuàng)業(yè)邦整理后發(fā)布：

今天的人工智能還處在相對原始的階段

春節(jié)前后，我們成立了一家公司叫憶生科技。今天是我第一次代表憶生科技來與大家分享。過去這幾年，人工智能，主要是大模型方向非常熱。但其實，成立公司是在我個人研究經(jīng)歷基礎(chǔ)上發(fā)展出來的一個自然而然的結(jié)果，和眼下的這場熱浪并沒有直接聯(lián)系。

曾國藩講過一句話，“眾爭之地勿往，久利之事勿為”。但不巧的是，AI就是我一直在做的領(lǐng)域，躲不掉的，現(xiàn)在發(fā)展到這個階段，種種原因讓我必須踏足到這個“眾爭之地”。

我是清華自動化系畢業(yè)的，加入伯克利就是在智能系統(tǒng)實驗室。李澤湘是我的同門師兄。我們都是學控制的，他的方向偏機械控制，我偏感知，做計算機視覺方向。從理論的角度來看，控制和感知正好是一個完整的閉環(huán)系統(tǒng)的兩個方向，也就是智能的認知和決策。

我寫的第一本書就是計算機3D視覺相關(guān)的。視覺信號是海量高維的數(shù)據(jù)，里邊有用的信息都在數(shù)據(jù)的一些低維結(jié)構(gòu)上，是信息的載體。它的本質(zhì)是針對這些高維數(shù)據(jù)里面的低維結(jié)構(gòu)，包括子空間、稀疏表達、壓縮感知，怎么開發(fā)出非常高效的算法，將信息提取出來。這就是我博士畢業(yè)以后，包括在微軟研究院時側(cè)重做的基礎(chǔ)理論和算法的工作。

后來隨著深度網(wǎng)絡(luò)的發(fā)展，它逐漸成為了人工智能最基礎(chǔ)的工具。再后來，我們發(fā)現(xiàn)深度網(wǎng)絡(luò)也在做與壓縮感知同樣的事情，也是從高維數(shù)據(jù)里面提取這些有用的低維結(jié)構(gòu)的一個手段而已。

接著就是過去大概六到七年，我主要的工作是想把深度網(wǎng)絡(luò)背后的基本原理搞清楚。將其徹底由黑盒子變成白盒，開環(huán)變成閉環(huán)。

去年到港大以后，我開始重新梳理人工智能的科研體系和教學體系。這也正是現(xiàn)在港大成立計算與數(shù)據(jù)學院的原因所在。因為今天，人工智能已經(jīng)不是一個單一的學科，實際上已經(jīng)把控制理論、信息理論等等集成到一起。我們需要整合多學科的資源和理論，比如統(tǒng)計學、數(shù)據(jù)科學、計算機科學等等，同時還要引入更多學科的視角，才能進一步了解智能的機制，找到未來發(fā)展的方向。這個趨勢在全球范圍都比較明顯：伯克利、斯坦福、MIT、港大……不少學校都在開始成立 AI 學院，或者是將統(tǒng)計系、計算機系，甚至更多的系整合起來。同時，我也正在準備一本新書，希望能幫助大家更好地看清楚智能的原理和本質(zhì)。

以上是我在學術(shù)研究和學科建設(shè)方面的主要工作，基本都是圍繞著智能機制展開的。

為什么要成立憶生科技這家公司呢？

前面我提到，我們并不是看見了大模型的爆發(fā)才開始行動，但最終的目標其實與大模型并不矛盾，反而是和當前的模型生態(tài)有很多互補的地方。我們的底層邏輯是因為看到了智能發(fā)展的階段性機會，它基于一個非常嚴格的理論基礎(chǔ)——對智能的原理的理解，同時在工程層面也看到了已經(jīng)被驗證的能力和效果。

過去 10 年，雖然人工智能的工程技術(shù)蓬勃發(fā)展，但是在理論方面一直滯后，大家都并不清楚它的具體機制，將其視為神秘的黑盒子。但，就和物理學的發(fā)展歷史一樣，實驗可以先走但理論一定要跟上。

我很喜歡我們計算機領(lǐng)域一位先驅(qū)Knuth（高德納）的話“最好的理論來自于實踐，最好的實踐來自于理論”。而且過去 10 年這么多的實踐成果，后面一定有了不起的理論。過去幾年我一直很興奮，因為看到了在理論層面突破的機會，這是一生難得一次的令人振奮的機會。

智能到底是什么？

大家都在講人工智能。如果打開最近一年多來的媒體報道，總是能發(fā)現(xiàn)“智能”兩個字前面不斷被加上非常多的形容詞——人工智能、通用智能、超級智能等等。大家有興趣可以想一想，你們真的清楚這些形容詞各自究竟指的是什么嗎？我反正是不太清楚的。

過去幾年里，我投入了大量精力研究智能機制這件事情，逐漸形成了對智能的認識：智能分成各種不同的層次、不同的概念的子集。從某種意義上說生命就是智能的載體，之所以有生命是因為有智能。我們可以看到生物的進化，從生物起源開始，最早的智能模式是物種進化，通過 DNA 遺傳，但是自身也不知道怎么改進，只能隨機變異、物競天擇、適者生存。

后面神經(jīng)、大腦相繼出現(xiàn)，個體開始能適應(yīng)環(huán)境，才有了個體層面的智能，然后演化到出現(xiàn)人類，有了人的個體智能。

大概 5 億年前，神經(jīng)系統(tǒng)出現(xiàn)了、大腦開始出現(xiàn)了，個體可以通過試錯學習了。到了近寒武紀和寒武紀期間，有兩件事情先后發(fā)生，先是出現(xiàn)了大腦，然后寒武紀早期眼睛出現(xiàn)了，繼而發(fā)生了物種大爆炸。動物從此開始感知到了更大范圍的外部環(huán)境并且能通過智能機制與外部環(huán)境互動?？梢钥吹剑?strong>最重要的分水嶺正是大腦的出現(xiàn)。

從科學來講，我們今天的機器智能技術(shù)就在這個（指向DNA和LUCA）階段。這當然有用，生命出現(xiàn)了，非常了不起，但是相比真正的高級的智能，現(xiàn)在還處在非常早期。

今天，很多人經(jīng)常把智能和知識這兩件事情混淆，包括全球業(yè)界的“頂流”人物。

邁向更自然的智能：從知識的“遺傳”到知識的自主更新

什么叫智能？知識不是智能，知識只是智能活動的結(jié)果。

一個智能的系統(tǒng)必須要有自主改進并增加自身知識的機制，即能自學習的機制。所以一個系統(tǒng)，即使有知識，只要做不到自我改進，那么無論它多大都是沒有任何智能的。

一個黑盒子的 GPT4 和一個嬰兒誰有智能？誰有知識？

大模型有知識，有繼承我們“遺傳”給它知識，但是沒有智能。嬰兒有智能，還沒有知識，但他有獲取知識的能力甚至發(fā)現(xiàn)全新的知識。所以知識與智能是兩個相關(guān)但不同的概念。

所以，大家如果學過微積分可以記住這個類比：知識是智能的積分，智能是知識的微分。

從機器發(fā)展的起源，人類就在模擬大腦，向大腦學習，而不是向 DNA 學習。研究的是模擬神經(jīng)元是怎么工作的，以及我們的大腦是怎么工作的，包括卷積神經(jīng)網(wǎng)絡(luò)，就是從這里來模擬，兩次諾貝爾獎以及他們啟發(fā)的兩次圖靈獎都是在做這個事情。

為什么我們過去幾年要把黑盒子變成白盒子？這已經(jīng)不僅僅是科學探索的問題，而是變成一種責任。一件事情一旦變成黑盒，大家不理解就會有神秘感，這會帶來很多問題。以前我們沒有天體物理學，不知道是什么在對天上的日月星辰起作用，就會產(chǎn)生宗教、迷信以及神秘主義的東西?，F(xiàn)在對于大模型、深度網(wǎng)絡(luò)，我們也認為它是黑盒子，大家通過試錯去做，不理解其中的機制，好像很神秘。所以很多人覺得它什么都能干，認為現(xiàn)在的AI已經(jīng)完全超過人類了，很恐慌。但是真正對機制和原理了解之后，就跟有了牛頓力學、開普勒定律之后的天體研究一樣，天體運動不再神秘了，一目了然。

要弄清其機制，必須搞清楚智能或者學習本身到底在干什么，它的目的是什么，怎么去學。深度網(wǎng)絡(luò)到底在干什么，怎么把它做對。這是我過去五六年一直在研究和探索的事情。

在過去幾年，大家都在做很多的模型，Transformer是通過經(jīng)驗設(shè)計出來的，好像還挺好用，也能 scale ，有很多神奇的現(xiàn)象出現(xiàn)。

那么現(xiàn)在，能不能通過第一性原理，把更簡潔、可控的結(jié)構(gòu)推導出來？其實可以的。搞清楚以后，得到的將是數(shù)學上可解釋的模型，其結(jié)構(gòu)將真正帶有幾何統(tǒng)計或者語義上的信息，而不再是黑盒子。

我們看最近這十年，前五年在做人臉識別、物體識別、目標檢測，后五年又在做生成模型。但，如果站在整個智能研究歷史的時間尺度上，從智能的機制角度去思考，就會發(fā)現(xiàn)，我們最近十年在做的事情是非常碎片化的。我們的大腦是一個系統(tǒng)，識別是一個方向，生成預測是另一個方向，它們都只是我們大腦功能的一個碎片而已。

大腦系統(tǒng)這兩個方向的功能，是對外部世界建模的統(tǒng)一的、完整系統(tǒng)的局部功能。

實際上，這件事情學界早就明白，難在怎么去實現(xiàn)它。現(xiàn)在有些傳播很廣的概念，相信在座的大家多少也聽說過，比如說看到大模型在做壓縮，在優(yōu)化 complexity，然后就以此宣稱智能的本質(zhì)就是壓縮。我不評價對錯，但是的確是缺乏歷史認知的，比較淺的。如果仔細研究了過去 80 年的智能理論和實踐的發(fā)展到底經(jīng)歷了什么，前人為了實現(xiàn)智能都做過什么，就不會輕易地下結(jié)論。

這些年來，從不可計算的壓縮的概念，到可計算的，到高效的，再到可規(guī)模化的實現(xiàn)，這是非常漫長的歷程，有很多人作出了重要的貢獻。

到了今天，我們是時候去重新學習和研究自然界是怎么實現(xiàn)智能的，以及好好思考有沒有可能更加好地去實現(xiàn)它？我這里給出的答案是閉環(huán)反饋機制，就像維納說的學習自然界的閉環(huán)反饋機制，從而更自然地實現(xiàn)智能。它也許不是那個終極的答案，我甚至不知道有沒有所謂終極的答案。但是至少，應(yīng)該向著更加自然的方向去探索。

通過白盒化與自主智能，推動智能技術(shù)的進化之躍

在我看來，未來智能技術(shù)本身的發(fā)展也將會跟生物發(fā)展的歷程相似。

第一個階段就是通過 DNA 遺傳，把上一代學到的知識傳授給下一代，現(xiàn)在的模型其實客觀上來說就是在做這件事。人類所有的語料、科學發(fā)展的知識，訓練給大模型，通過監(jiān)督學習，傳給下一代，通過強化學習改進。但是，現(xiàn)在的模型系統(tǒng)有真正的“大腦”嗎？是沒有的。

第二個階段是具有自主學習能力的個體系統(tǒng)具備了獲取新知識的能力。這會帶來生產(chǎn)力的進一步巨大提升。

第三個階段才能到真正的通用的“人工智能”。

大家如果想把歷史看清楚，最好是找第一手的信息和資料去看，不要道聽途說。

過去 10 年我們做的事情，包括生成模型、識別，正是 1956 年達特茅斯會議明確說了不去做的事情，是動物層面的智能，跟真正的“人工智能”甚至是 180 度反過來的。

真正的當年提的出“人工智能”代表是人的智能，是抽象能力、符號能力、邏輯能力，這是現(xiàn)在大模型機制里沒有的。

認清楚這個事情，才知道技術(shù)到底該怎么走。實際上我們還處在第一個階段到第二個階段的發(fā)展過程中，在那個臨界點上。憶生科技是希望推動實現(xiàn)這個跳躍，從第一階段到第二階段。第三個階段還不知道，有人在嘗試一些零星的方法，但是目前不夠系統(tǒng)。

我們希望能推動第二階段更快到來：從知識的“遺傳”到知識的自主更新，從經(jīng)驗試錯到原理演繹，從黑盒子到白盒子，從語言模型到世界模型。

語言承載的其實并不是每個人學到的全部知識，而僅僅是是我們?nèi)祟惪梢怨蚕沓鰜淼闹R。人的大腦處理語言的區(qū)域是很小的，大部分在處理的是語言之外的信息。如何處理視覺信號、觸覺信號、聲音信號、嗅覺等等這些都是大腦更廣闊的區(qū)域。所以，今天的智能技術(shù)還有非常廣闊的前景等著我們?nèi)パ芯亢吞剿鳌?/p>

我們正在做這方面的努力，至少有了很好的基礎(chǔ)?，F(xiàn)在對深度網(wǎng)絡(luò)這個學習機制的主干有了很好的數(shù)學的理解，完全可以通過白盒來設(shè)計這樣的網(wǎng)絡(luò)，知道學習在做什么，而且得到的網(wǎng)絡(luò)結(jié)構(gòu)在數(shù)學上完全可以解釋。

從技術(shù)上看，白盒有很大的優(yōu)勢，因為不用再通過經(jīng)驗試錯，全世界太多的團隊都在試，浪費太嚴重了。這和生命早期是一樣的，就是在靠“變異”，大家自己也不知道怎么改。百模大戰(zhàn)，最后就是靠外部環(huán)境來選擇，不是不能進步，但是代價巨大。

過去半年，我們團隊內(nèi)部的改進結(jié)構(gòu)已經(jīng)迭代了好幾代?，F(xiàn)在有了原理，就可以去判斷目前的這些經(jīng)驗的結(jié)果，哪些是必要的，哪些是不必要的，然后就可以設(shè)計最優(yōu)的構(gòu)架，去高效落地、規(guī)?；?。

這也就是我們成立公司的原因，在學校驗證好的東西，要把它工程化、規(guī)?；?。因為我們已經(jīng)意識到這種技術(shù)未來對產(chǎn)業(yè)將會產(chǎn)生很大的價值。

在過去，一個實驗室階段的成果要產(chǎn)品化、商業(yè)化周期是非常長的。但很幸運，在人工智能領(lǐng)域，我們明顯地看到——從一個實驗室階段的成果到現(xiàn)象級的工具和產(chǎn)品，周期越來越短。最早的 reinforce learning、阿爾法狗做了 10 年；GPT4 ，8 年；diffusion model 2 年；Sora 半年。因為軟件、數(shù)據(jù)、算力的平臺越來越建全，我們想積極促成這件事。好的思想和方法，應(yīng)該通過一個產(chǎn)業(yè)的方式來盡快地轉(zhuǎn)化，所以我們必須踏入這個 “眾爭之地”，順應(yīng)這個潮流。

大家也都看到了像伯克利、斯坦福的學生創(chuàng)業(yè)，團隊越來越小，年紀越來越輕，估值越來越高。去年我跟硅谷的創(chuàng)投老總們吃飯，聊到他們很苦惱的一個事情——現(xiàn)在投AI 都快看不懂了，大量的項目來自年輕一代的人才。所以我們在工程技術(shù)層面也一直持續(xù)地迭代，把技術(shù)的實現(xiàn)和落地做好。