8月22日，2024AGI商業(yè)趨勢大會(huì)在深圳成功舉行。大會(huì)由創(chuàng)業(yè)邦主辦，南山區(qū)科技創(chuàng)新局、西麗湖國際科教城融合創(chuàng)新中心、深圳市“模力營”AI生態(tài)社區(qū)為支持單位，攬勝運(yùn)動(dòng)為大會(huì)指定用車，搜狐為戰(zhàn)略合作媒體。現(xiàn)場匯聚數(shù)十位AI業(yè)界重量級(jí)行業(yè)人士，共話AIGC與大模型的技術(shù)趨勢和商業(yè)未來。

在下午的演講環(huán)節(jié)，聯(lián)想集團(tuán)副總裁、聯(lián)想研究院人工智能實(shí)驗(yàn)室負(fù)責(zé)人范建平博士展示了聯(lián)想在AI PC領(lǐng)域的端側(cè)個(gè)人智能體。

通過大模型壓縮、定向增強(qiáng)、異構(gòu)推理加速和混合意圖理解等技術(shù)，聯(lián)想成功地將大模型部署到了端側(cè)設(shè)備中，并在業(yè)界率先推出具備五大特性的真正意義上的AI PC:內(nèi)置個(gè)人大模型與用戶自然交互的智能體、本地異構(gòu)算力（CPU/GPU/NPU）、個(gè)人知識(shí)庫、開放人工智能應(yīng)用生態(tài)、個(gè)人數(shù)據(jù)和隱私安全保護(hù)。

以下為演講內(nèi)容，經(jīng)創(chuàng)業(yè)邦整理后發(fā)布。

AI PC的關(guān)鍵能力：記憶、規(guī)劃、知識(shí)、理解和自我認(rèn)知

自從大型模型問世以來，我們知道它們非常強(qiáng)大，但同時(shí)也非常龐大。如何將這些龐大的模型集成到個(gè)人電腦中？這就像是在狹小的空間里施展技藝，極具挑戰(zhàn)。我們需要保持必要的功能，同時(shí)去除不必要的部分。

因此，我們采用終端側(cè)的大型模型作為智能體的大腦。顯然，由于它比ChatGPT小，模型本身的能力可能不如ChatGPT。但我們可以通過增強(qiáng)額外的能力，比如記憶能力，任務(wù)規(guī)劃能力，將復(fù)雜任務(wù)分解為能夠完成的多個(gè)小任務(wù)，從而實(shí)現(xiàn)更棒的個(gè)性化服務(wù)和更好的交互體驗(yàn)。同時(shí)因?yàn)閭€(gè)人電腦是生產(chǎn)力工具，還需要構(gòu)建知識(shí)庫和工具庫。如何讓我們的PC用戶更有效地完成日常工作，更好地理解用戶，這是知識(shí)庫和工具庫的任務(wù)。

另一個(gè)是理解能力，如何通過多樣化的客戶輸入來理解其意圖，并根據(jù)意圖完成任務(wù)。

還有智能體的畫像。實(shí)現(xiàn)智能一個(gè)重要的標(biāo)志是清晰地知道自己的能力邊界，所以明白自己能做什么不能做什么，對于智能體來說也非常重要。

總之，我們構(gòu)建了高性能的本地個(gè)人智能體的架構(gòu)。除了大型模型，我們還要添加其他獨(dú)特的組件，以更好地高效地完成客戶的任務(wù)。

聯(lián)想之AI_PC創(chuàng)新：個(gè)人智能體模型與PC的結(jié)合

第一，我們面對首一項(xiàng)任務(wù)是如何將大型模型集成到個(gè)人電腦中。個(gè)人電腦的內(nèi)存是有限的，而大型模型的特點(diǎn)是大。首先要做的就是壓縮，如何將大型模型壓縮到幾乎不影響其性能，并且能夠部署到個(gè)人電腦中，我需要進(jìn)行大量的高質(zhì)量壓縮工作。

通過對大型模型的理解，我們發(fā)現(xiàn)它們像人一樣，知識(shí)是分層的。我們可以對不同的區(qū)域、不同的層采用不同的量化標(biāo)準(zhǔn)。不必要的部分，我們可以去除。就像有些人即使沒有小腦也能思考一樣。通過這樣的一系列量化工作，我們成功地將大模型部署到個(gè)人電腦中并運(yùn)行。

第二，我們所說的AI PC與傳統(tǒng)的ChatGPT有相似之處，也有不同之處。我們希望它是一個(gè)智能的設(shè)備，不同于ChatGPT的閑聊功能。我們的產(chǎn)品是用來完成工作的，所以我們要強(qiáng)調(diào)它完成任務(wù)的能力，并抑制一些無關(guān)緊要的閑聊功能。

因此，我們需要對大型模型的能力進(jìn)行有針對性的增強(qiáng)，并加入許多行業(yè)知識(shí)，使其具備解決問題的能力。這是我們的第二項(xiàng)工作。

第三，我們知道所有這些大型模型的運(yùn)行都需要環(huán)境，就像人的成長需要環(huán)境一樣，大型模型的運(yùn)行也需要環(huán)境，我們稱之為推理引擎。如何讓推理引擎更好地運(yùn)行大型模型？我們創(chuàng)造性地改進(jìn)了GGUF，編寫了許多底層算子來優(yōu)化GGUF，形成了我們聯(lián)想自己的版本。

這套全新版本其推理性能甚至超過了幾個(gè)國外主流芯片公司自己的架構(gòu)，導(dǎo)致發(fā)展到現(xiàn)在，他們都主動(dòng)提出希望我們與他們合作，優(yōu)化大型模型在他們的硬件平臺(tái)上的運(yùn)行能力。這在以前是完全不可想像的。

此外，我們需要真實(shí)理解用戶的意圖。我們知道用戶的需求是多樣化的，文化層次也不同，他們的輸入可能與我們想象的用戶需求完全不同。如何進(jìn)行查詢擴(kuò)展，完成這些工作，以及如何理解他們的意圖我們都做了一系列創(chuàng)新工作。

比如：當(dāng)用戶使用我們的AI PC時(shí)，他們想要我們做什么，是調(diào)整設(shè)備還是工具，需要進(jìn)行意圖理解。為此，我們提出了分層意圖理解，將意圖分為多個(gè)層次來理解。最重要的一步是構(gòu)建所謂的知識(shí)庫。因?yàn)槲覀冎?，?dāng)大型模型缺乏私有信息時(shí)，它們是沒有個(gè)性化信息的。如何讓大型模型擁有自己的私有信息，同時(shí)成為一個(gè)個(gè)性化的智能體，我們需要對其進(jìn)行增強(qiáng)。

我們已經(jīng)討論過檢索和查詢的增強(qiáng)。我們需要打開RAG，讓每個(gè)組件形成一個(gè)強(qiáng)大的流程去做自動(dòng)化，這樣才能提供更好的理解和解釋。我們還添加其他組件，讓他們聯(lián)合起來以提供更好的交互體驗(yàn)。

例如，知識(shí)庫可以提供更好的交互體驗(yàn)，規(guī)劃可以提供更好的交互體驗(yàn)增強(qiáng)，特別是在處理多條問題時(shí)，沒有規(guī)劃是無法回答問題的。還有記憶，就像人一樣。每次遇到新任務(wù)時(shí)，尤其是公司的老員工，我們都會(huì)問自己：我昨天做過同樣的事情嗎？如果有，那我就可以調(diào)用昨天的解決方案。而且調(diào)用昨天的解決方案后，我還可以做一些小的調(diào)整，使其成為當(dāng)前問題的解決方案。

把這些層次都有機(jī)結(jié)合在一起時(shí)，我們AI PC中的任務(wù)就是這樣處理的?？蛻粲卸鄻踊妮斎脒M(jìn)來，我們會(huì)進(jìn)行信用評(píng)估、愉悅度提升、擴(kuò)展，還會(huì)去理解其意圖，會(huì)去搜索記憶，如果記憶中有相關(guān)信息，我們會(huì)進(jìn)行增強(qiáng)的推理。如果是新任務(wù)，我們會(huì)進(jìn)行任務(wù)組合，然后去調(diào)用知識(shí)庫，形成更好的上下文，最后返回到大模型中，它能夠與你交互，給出相關(guān)響應(yīng)，而不會(huì)胡說八道。這就是我們所說的AI PC，實(shí)際上我們給個(gè)人電腦裝上了一個(gè)大腦，外加一套我們自己建立的搜索引擎和理解規(guī)劃引擎。

AI PC的生態(tài)系統(tǒng)解決方案：混合智能

其實(shí)聯(lián)想是一家非常國際化的公司，非常重視生態(tài)系統(tǒng)，不僅僅是個(gè)人電腦，還有智能手機(jī)和整個(gè)產(chǎn)業(yè)鏈上的所有設(shè)備。當(dāng)它們加上聯(lián)想智能體后，可以變成一個(gè)個(gè)真正意義上的智能設(shè)備。

所謂的智能解決方案就是，我們根據(jù)客戶的需求理解和安全要求來進(jìn)行處理。如果這個(gè)請求非常適合個(gè)人業(yè)務(wù)，那么我們就會(huì)在個(gè)人電腦中尋找答案；如果用戶意圖與企業(yè)級(jí)的知識(shí)相關(guān)，那么我們會(huì)在企業(yè)級(jí)知識(shí)庫中尋找答案；如果只是純粹的閑聊，那么我們偶爾會(huì)把它交給第三方大模型，讓它隨意地進(jìn)行閑聊。

這就涉及混合智能，而且它多層次的，除了上面提到的生態(tài)系統(tǒng)中的混合智能設(shè)備，還涉及端側(cè)模型,云端大型模型，以及企業(yè)的私有大模型，當(dāng)然也包括混合理解。例如，過去一兩年的AI，主流是數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)?，F(xiàn)在我們則是在考慮結(jié)合了數(shù)據(jù)驅(qū)動(dòng)和知識(shí)驅(qū)動(dòng)的AI。

我們希望能夠?qū)⑦@兩樣?xùn)|西有效地整合，發(fā)揮各自的優(yōu)勢。記得我在中科院讀博士的時(shí)候，我們當(dāng)時(shí)要做一套糾錯(cuò)系統(tǒng)，如果你年齡稍微大一點(diǎn)的話，你就知道那時(shí)中國的VCD機(jī)最大的特點(diǎn)是什么錯(cuò)都能糾。我們創(chuàng)造性地采用了長短碼兩種設(shè)計(jì)，當(dāng)時(shí)的想法是這樣的，讓天才去做天才的事情，讓苦力勞動(dòng)者做苦力的事情。相互之間發(fā)揮各自的優(yōu)勢。

回到AI PC，其實(shí)它也需要數(shù)據(jù)和知識(shí)聯(lián)合微調(diào)。因?yàn)橥ㄓ么竽Ｐ退菦]有企業(yè)數(shù)據(jù)的，我們?nèi)绾芜M(jìn)行知識(shí)和數(shù)據(jù)的聯(lián)合微調(diào)？而且還有非常重要的一點(diǎn)是，AI PC是一個(gè)異構(gòu)計(jì)算系統(tǒng)，需要CPU、NPU、GPU的聯(lián)合推理，根據(jù)各自的可用性和各自的能力，去調(diào)配我們的任務(wù)。

還有一個(gè)混合就是大小模型，就是我們的工具箱里有很多小模型在一起，我們的大模型可以靈活地調(diào)用這些小模型，來實(shí)現(xiàn)最好的性能。

我們未來還會(huì)去做所謂的MOE，就是我們不是混合專家，更像是一個(gè)混合AI代理。我們團(tuán)隊(duì)做過混合還有深度提升等技術(shù)，這些都可以給我們提供很好的思路和背景，來做好未來的混合AI代理。

9月19-20日，更多的創(chuàng)新者將登上2024 DEMO CHINA的舞臺(tái)。讓我們相約·成都，一起見證更多超能勇士的崛起。