關(guān)于DeepSeek，百度智能云怎么看？

作者| 吳銘

出品|產(chǎn)業(yè)家

問：伴隨著DeepSeek的出現(xiàn)，外界對(duì)咱們百度也有一些討論。想聊下目前百度智能云在部署適配方面有哪些最新動(dòng)作？效果如何？

答：首先DeepSeek的爆火給AI行業(yè)注入了一股全新的活力，其實(shí)相較于外界的討論，我們更首要關(guān)注的是如何讓企業(yè)快速使用上優(yōu)質(zhì)模型去開發(fā)自身的應(yīng)用，千帆大模型平臺(tái)在近期上架了DeepSeek-R1和DeepSeek-V3模型，并同步推出了行業(yè)領(lǐng)先的超低價(jià)格方案。在整體部署適配過程中我們也結(jié)合百度智能云的優(yōu)勢(shì)去做了3個(gè)關(guān)鍵動(dòng)作，在保證模型效果的同時(shí)進(jìn)一步降低使用成本以及使用門檻：

第一個(gè)，在算力層面，目前百度智能云成功點(diǎn)亮了昆侖芯P800萬卡集群，我們也基于百舸算力平臺(tái)適配了國(guó)產(chǎn)化P800芯片，來提供整個(gè)模型推理服務(wù)，為DeepSeek提供優(yōu)質(zhì)且適配性強(qiáng)的環(huán)境，使模型發(fā)揮出更高的性能。同時(shí)，百度百舸基于昆侖芯P800，發(fā)布部署 “滿血版 DeepSeek R1 + 聯(lián)網(wǎng)搜索” 服務(wù)，通過聯(lián)網(wǎng)搜索功能，將最新的互聯(lián)網(wǎng)數(shù)據(jù)融入答案生成，為企業(yè)提供更及時(shí)、準(zhǔn)確的信息支持。

第二個(gè)，在平臺(tái)層面，我們基于DeepSeek做了千帆大模型平臺(tái)工程架構(gòu)的優(yōu)化，通過自身在大模型推理性能優(yōu)化方向的技術(shù)積累，針對(duì)DeepSeek模型進(jìn)行了極致的性能優(yōu)化，比如通過高效的PD分離式推理架構(gòu)，實(shí)現(xiàn)模型吞吐的大幅度提升，進(jìn)而顯著降低模型推理成本。

我們?yōu)橛羞M(jìn)一步應(yīng)用需求的企業(yè)，千帆ModelBuilder提供基于模型開發(fā)工具鏈進(jìn)行一鍵部署、蒸餾這樣的能力，能讓企業(yè)客戶更好的將DeepSeek用起來，完成特定模型需求的再開發(fā)；千帆AppBuilder全面接入DeepSeek模型，具備百度AI搜索及其他組件能力，還有更多RAG、Agent、工作流工具助力大模型應(yīng)用搭建。

千帆大模型平臺(tái)作為企業(yè)級(jí)一站式大模型與AI原生應(yīng)用開發(fā)及服務(wù)平臺(tái)，我們很高興可以看到像DeepSeek這樣擁有優(yōu)質(zhì)效果的國(guó)產(chǎn)模型出現(xiàn)，來帶動(dòng)國(guó)內(nèi)對(duì)于大模型的應(yīng)用，那自千帆上線R1和V3后首日就吸引超過1.5萬家客戶調(diào)用，這個(gè)客戶量還在不斷增長(zhǎng)，我們也期待可以給更多企業(yè)高性能低成本模型的更好體驗(yàn)，千帆也會(huì)為更多諸如DeepSeek這樣的優(yōu)質(zhì)模型提供優(yōu)質(zhì)土壤，帶來增益賦能。

第三個(gè)，在應(yīng)用層面，百度智能云旗下客悅、曦靈、一見、甄知四款大模型應(yīng)用產(chǎn)品，也正式上線接入DeepSeek模型的新版本，為企業(yè)智能外呼、數(shù)字人視頻腳本生成、視覺智能分析、知識(shí)管理等高價(jià)值業(yè)務(wù)場(chǎng)景，提供更加豐富的AI大模型應(yīng)用選擇，滿足用戶多元化落地需求。

同時(shí)，百度智能云正加速推進(jìn)金融、交通、政務(wù)、汽車、醫(yī)療、工業(yè)等行業(yè)應(yīng)用產(chǎn)品與DeepSeek模型的適配驗(yàn)證工作，積極探索大模型在智能問數(shù)、公文寫作、理財(cái)助手、合規(guī)管理、醫(yī)療輔診等行業(yè)垂直業(yè)務(wù)場(chǎng)景中的能力拓展與應(yīng)用進(jìn)化。

問：隨著國(guó)產(chǎn)大模型的興起，萬卡集群已從單純算力供給逐漸向“有效”算力供給過渡，百度智能云在國(guó)產(chǎn)算力的構(gòu)建上有什么規(guī)劃？這些規(guī)劃實(shí)現(xiàn)起來對(duì)百度而言難度大嗎？（硬件、軟件都可以聊聊）

答：難度肯定是有的，但我們也在持續(xù)深耕算力基礎(chǔ)設(shè)施的建設(shè)。比如，最近百度智能云已經(jīng)成功點(diǎn)亮國(guó)產(chǎn)昆侖芯萬卡集群，未來還將進(jìn)行三萬卡集群的建設(shè)，在這個(gè)過程中，從硬件到軟件，技術(shù)挑戰(zhàn)是全方位的。而24年9月升級(jí)的百度百舸AI異構(gòu)計(jì)算平臺(tái)4.0，圍繞落地大模型全旅程的算力需求，在集群創(chuàng)建、開發(fā)實(shí)驗(yàn)、模型訓(xùn)練、模型推理四大方面，能為企業(yè)提供“多、快、穩(wěn)、省”的AI基礎(chǔ)設(shè)施，在萬卡集群的建設(shè)中發(fā)揮了至關(guān)重要的作用。

首先，突破硬件擴(kuò)展性瓶頸，如卡間互聯(lián)的拓?fù)湎拗?，避免通信帶寬成為瓶頸；同時(shí)，圍繞芯片及集群功耗，基于萬卡規(guī)模常規(guī)方案功耗可達(dá)十兆瓦或更高，采用創(chuàng)新性散熱方案，從而解決萬卡集群的能效與散熱問題；完善模型的分布式訓(xùn)練優(yōu)化，采用高效并行化任務(wù)切分策略，訓(xùn)練主流開源模型的集群MFU提升至58%；在提升穩(wěn)定性方面，提供容錯(cuò)與穩(wěn)定性機(jī)制，避免由于單卡故障率隨規(guī)模指數(shù)上升而造成的萬卡集群有效性大幅下降，保障有效訓(xùn)練率達(dá)到98%；最后，針對(duì)機(jī)間通信帶寬需求，建設(shè)超大規(guī)模HPN高性能網(wǎng)絡(luò)，優(yōu)化拓?fù)浣Y(jié)構(gòu)，從而降低通信瓶頸，帶寬有效性達(dá)到90%以上。

昆侖芯作為百度自研的AI芯片，憑借其獨(dú)特的技術(shù)優(yōu)勢(shì)，在百舸4.0的能力加持下，在生成式人工智能時(shí)代展現(xiàn)出了巨大的競(jìng)爭(zhēng)力。未來一年，將是各種AI原生應(yīng)用爆發(fā)的黃金時(shí)期。自研芯片和萬卡集群的建成帶來了強(qiáng)大的算力支持，同時(shí)有效提升百度和客戶的資源整體利用率，降低大模型訓(xùn)練成本，推動(dòng)了模型降本的趨勢(shì)，為整個(gè)行業(yè)提供了新的思路和方向。

除此之外，百度智能云也提供百舸DeepSeek一體機(jī)、千帆DeepSeek一體機(jī)，國(guó)產(chǎn)首個(gè)單機(jī)8卡支持DeepSeek滿血版和蒸餾版模型，實(shí)現(xiàn)模型的本地化開箱即用。

問：最近，我們也看到一個(gè)新的現(xiàn)象，百度智能云針對(duì)此次DeepSeek模型上線提供了超低推理價(jià)格，低至DeepSeek官方刊例價(jià)3-5折，這背后是由于什么樣的技術(shù)驅(qū)動(dòng)的？是新一輪的價(jià)格戰(zhàn)打響了嗎？

答：真正的低價(jià)都是由技術(shù)驅(qū)動(dòng)的。在看到的這個(gè)新價(jià)格背后，對(duì)應(yīng)的是百度智能云在推理引擎性能優(yōu)化技術(shù)、推理服務(wù)工程架構(gòu)創(chuàng)新以及推理服務(wù)全鏈路安全保障上的深度融合。百度智能云千帆ModelBuilder始終致力于為用戶提供全流程、一站式的 AI 服務(wù)，除了強(qiáng)大的模型資源，還匹配了完善的一站式模型效果調(diào)優(yōu)工具鏈，包含數(shù)據(jù)加工、模型精調(diào)、模型評(píng)估、模型量化等關(guān)鍵環(huán)節(jié)，助力企業(yè)根據(jù)自身業(yè)務(wù)需求深度優(yōu)化模型性能。同時(shí)，百度智能云千帆ModelBuilder具備卓越的模型推理托管能力，支持vLLM、LMDeploy、TensorRT-LLM、SGLang等各類主流推理框架，還支持模型的自定義導(dǎo)入與部署，為開發(fā)者提供了高度靈活的開發(fā)環(huán)境。

（1）推理引擎性能優(yōu)化技術(shù)

基于百度智能云在大模型推理性能優(yōu)化方向的技術(shù)積累，針對(duì)DeepSeek模型MLA結(jié)構(gòu)的計(jì)算進(jìn)行了極致的性能優(yōu)化，并通過計(jì)算、通信、內(nèi)存不同資源類型算子的有效重疊及高效的Prefill/Decode分離式推理架構(gòu)等，在核心延遲指標(biāo)TTFT/TPOT滿足SLA的條件下，實(shí)現(xiàn)模型吞吐的大幅度提升，進(jìn)而顯著降低模型推理成本。

（2）推理服務(wù)的工程架構(gòu)創(chuàng)新

在推理服務(wù)層面，進(jìn)行了深入的優(yōu)化與創(chuàng)新。針對(duì)推理架構(gòu)，做了嚴(yán)格的推/拉模式的性能對(duì)比。經(jīng)驗(yàn)證拉模式在請(qǐng)求處理的成功率、響應(yīng)延時(shí)以及吞吐量等關(guān)鍵指標(biāo)上均展現(xiàn)出更為卓越的性能。為了進(jìn)一步提升系統(tǒng)的穩(wěn)定性和用戶體驗(yàn)，巧妙地設(shè)計(jì)了一種請(qǐng)求失敗的續(xù)推機(jī)制，這顯著增強(qiáng)了系統(tǒng)的容錯(cuò)能力和服務(wù)SLA達(dá)標(biāo)率。同時(shí)針對(duì)多輪對(duì)話和system設(shè)定等場(chǎng)景中存在重復(fù)Prompt前綴的情況，實(shí)現(xiàn)了主流的KV-Cache復(fù)用技術(shù)，并輔以全局Cache感知的流量調(diào)度策略。這一舉措有效避免了Token KV的重復(fù)計(jì)算，從而大幅降低推理延遲，提高了推理吞吐。

（3）推理服務(wù)的穩(wěn)定安全保障

千帆平臺(tái)基于百度自身長(zhǎng)期的大模型安全技術(shù)積累，集成獨(dú)家內(nèi)容安全算子，實(shí)現(xiàn)模型安全增強(qiáng)與企業(yè)級(jí)高可用保障，基于大模型全生命周期數(shù)據(jù)安全與模型保護(hù)機(jī)制，在千帆平臺(tái)上的模型均擁有使用安全的安全保障；基于在安全方面的專項(xiàng)優(yōu)化，確保DeepSeek-R1&DeepSeek-V3模型，企業(yè)用戶在使用過程也具有更高的安全性。

問：現(xiàn)在不少企業(yè)會(huì)選擇直接通過模型API的方式來接入DeepSeek，想問下通過云平臺(tái)來調(diào)用新模型，為各行業(yè)應(yīng)用普及AI有怎樣的不同和優(yōu)勢(shì)？

答：通過云服務(wù)平臺(tái)來調(diào)用模型，我們覺得主要是從三個(gè)方面去滲透以及普及行業(yè)的，云平臺(tái)的核心為降低成本、提升大模型落地易用性以及助力企業(yè)更好地構(gòu)建AI原生應(yīng)用，通過云平臺(tái)提供的便捷的工具型服務(wù)，企業(yè)能更聚焦在自身的業(yè)務(wù)發(fā)展。

首先我們覺得推動(dòng)行業(yè)應(yīng)用普及最關(guān)鍵的就是降低成本，那以往企業(yè)引入 AI 需投入大量資金購(gòu)買和維護(hù)硬件設(shè)備，而云平臺(tái)可以通過提供彈性計(jì)算資源，從“購(gòu)買”到“租賃”，企業(yè)按需租用付費(fèi)，在避免資源浪費(fèi)同時(shí)，大大降低了AI應(yīng)用的初始成本。

其次，云平臺(tái)的另一個(gè)重要優(yōu)勢(shì)就是它具備很強(qiáng)的易用性，這對(duì)于各行業(yè)應(yīng)用 AI 起到了極大的推動(dòng)作用。云平臺(tái)需要配備各種各樣豐富且實(shí)用的工具鏈，比如精調(diào)工具鏈、數(shù)據(jù)工具鏈、壓縮工具鏈等等，能夠幫助企業(yè)更好地構(gòu)建數(shù)據(jù)飛輪，實(shí)現(xiàn)模型效果的不斷迭代，更好的賦能應(yīng)用。那與此同時(shí)，平臺(tái)提供的工具鏈也要適配各種模型，企業(yè)隨時(shí)可以切換模型并且更快速便捷的用上效果更好的模型；以上兩點(diǎn)目前我們的千帆ModelBuilder也都提供了這樣高效便捷的工具鏈服務(wù)。

那最后，各行業(yè)AI的使用探索其實(shí)基于原生應(yīng)用的構(gòu)建。云平臺(tái)上面提供的多樣化組件及應(yīng)用開發(fā)的能力降低了AI原生應(yīng)用的構(gòu)建門檻，也為行業(yè)內(nèi)的應(yīng)用場(chǎng)景和商業(yè)模式帶來了更多創(chuàng)新可能。千帆AppBuilder也是這樣的一站式模型應(yīng)用開發(fā)平臺(tái)，高效、低門檻解決大模型應(yīng)用落地最后一公里問題。

有了應(yīng)用后，云平臺(tái)提供的完善日志分析及告警系統(tǒng)，也確保了企業(yè)AI應(yīng)用的穩(wěn)定性，同時(shí)云平臺(tái)具備完善的模型安全以及高可用保障措施，提供模型使用的全方位安全保障。

所以整體從構(gòu)建、到運(yùn)行，云平臺(tái)為企業(yè)在模型使用上提供了全流程保障，降本增效的同時(shí)也讓企業(yè)聚焦自身業(yè)務(wù)，更好的推動(dòng)整個(gè)AI行業(yè)的發(fā)展。

問：作為一家出身創(chuàng)業(yè)公司的產(chǎn)品，DeepSeek這次爆火，在百度看來，它的出現(xiàn)有出乎咱們的意料嗎？咱們百度對(duì)待這次“爆火”內(nèi)部的態(tài)度是怎么樣的？

答：創(chuàng)新是不能被計(jì)劃的。你不知道創(chuàng)新何時(shí)何地到來，你所能做的是，營(yíng)造一個(gè)有利于創(chuàng)新的環(huán)境。我們生活在一個(gè)非常激動(dòng)人心的時(shí)代。在過去，當(dāng)我們談?wù)撃柖蓵r(shí)說，每18個(gè)月性能會(huì)翻倍、成本會(huì)減半；但今天，當(dāng)我們談?wù)摯笳Z言模型時(shí)，可以說每12個(gè)月，推理成本就可以降低90%以上。這比我們過去幾十年經(jīng)歷的計(jì)算機(jī)革命要快得多。大語言模型是一個(gè)非常龐大的領(lǐng)域。在中國(guó)，我們必須在推理和訓(xùn)練方面創(chuàng)新以降低成本。幸運(yùn)的是，過去一年，我們看到了顯著進(jìn)步。

百度的技術(shù)背景是搜索引擎，它天然接近大語言模型，所以我們?cè)?023年3月就推出了文心一言，我們也是上市公司中第一個(gè)推出類ChatGPT應(yīng)用的。谷歌后來推出了Bard,并將其更名為Gemini。正如我們今天所知。這是一個(gè)非常激動(dòng)人心的時(shí)刻，我們到處都能看到創(chuàng)新，我們必須適應(yīng)這種快速變化的創(chuàng)新。

問：我們也觀察到，伴隨DeepSeek的爆火，全球許多大型芯片廠商和許多大型交易所的股價(jià)大幅下跌。原因是之前有令人瞠目結(jié)舌的數(shù)十億美元被投資于推理數(shù)據(jù)中心、訓(xùn)練這些人工智能系統(tǒng)和模型，伴隨著DeepSeek的出現(xiàn)市場(chǎng)不少人開始“看衰”這類投資，咱們百度對(duì)此怎么看？對(duì)于數(shù)據(jù)中心和AI基礎(chǔ)設(shè)施的未來咱們的理解是怎樣的？

答：從基本面來看，最重要的主題仍然是技術(shù)進(jìn)步非常快，成本每年降低約90%，性能越來越好。當(dāng)技術(shù)發(fā)展如此之快，你無法停止投入。你必須投入，以確保處于這場(chǎng)技術(shù)創(chuàng)新或革命的最前沿。我們?nèi)孕鑼?duì)芯片、數(shù)據(jù)中心和云基礎(chǔ)設(shè)施進(jìn)行持續(xù)投入，用于打造更好、更智能的下一代模型。

為此，需要使用更多的算力來嘗試不同的路徑。也許，在某個(gè)時(shí)刻你會(huì)找到一條捷徑，比如說只需600萬美元就能訓(xùn)練出一個(gè)模型，但在此之前，你可能已經(jīng)花費(fèi)了數(shù)十億美元，用來探索哪條路才是花費(fèi)這600萬美元的正確途徑。

我們對(duì)人工智能的未來持樂觀態(tài)度。我們認(rèn)為，即使在當(dāng)前水平下，大語言模型也已經(jīng)在各種場(chǎng)景中創(chuàng)造大量?jī)r(jià)值。我們有數(shù)十萬客戶在使用大模型提高招聘、電子商務(wù)、醫(yī)療保健甚至能源、電力等領(lǐng)域的效率。

我們已經(jīng)看到了很多這樣的應(yīng)用案例。在過去，他們可能需要花費(fèi)不到1萬美元來實(shí)現(xiàn)某些目標(biāo)，而使用大型語言模型后，只需花費(fèi)大約1000美元。所以，這已經(jīng)為他們創(chuàng)造了價(jià)值。

問：拋開外界的聲音，想正式了解下，此次DeepSeek-R1的發(fā)布及開源，對(duì)百度智能云業(yè)務(wù)有什么影響？

答：DeepSeek R1發(fā)布及開源，推動(dòng)應(yīng)用爆發(fā)、帶動(dòng)算力增加，最利好百度智能云。

1、首先產(chǎn)品上DeepSeek降低大模型應(yīng)用門檻，快速普及推動(dòng)應(yīng)用落地更早，帶動(dòng)算力增加；百度智能云在GPU時(shí)代更有優(yōu)勢(shì)地位。

a、全棧AI技術(shù)能力，尤其是近期點(diǎn)亮的昆侖芯萬卡集群：獨(dú)有的四層架構(gòu)，實(shí)現(xiàn)從云基礎(chǔ)設(shè)施、框架、模型到應(yīng)用端到端優(yōu)化；

b、2025年2月5日，百度智能云成功點(diǎn)亮昆侖芯三代萬卡集群，是國(guó)內(nèi)首個(gè)正式點(diǎn)亮的自研萬卡集群，并將進(jìn)一步點(diǎn)亮 3 萬卡集群。

c、百舸產(chǎn)品提供穩(wěn)定、極速、高效的算力平臺(tái)，極速滿足客戶全旅程算力需求，10萬卡時(shí)代企業(yè)保持領(lǐng)先的第一選擇。

d、領(lǐng)先的千帆大模型平臺(tái)：支持國(guó)內(nèi)外各種主流模型+豐富工具鏈，近期接入DeepSeek后首日調(diào)用客戶就多達(dá)1.5萬家，價(jià)格全行業(yè)最低；

2、商業(yè)化：百度智能云具備廣泛的市場(chǎng)認(rèn)可，GPU云優(yōu)勢(shì)帶動(dòng)商業(yè)化進(jìn)展快速

a、中國(guó)最大的大模型產(chǎn)業(yè)落地規(guī)模，超60%以上的央企及大量民營(yíng)企業(yè)使用，2024年大模型中標(biāo)第一（從中標(biāo)廠商看，百度智能云在中標(biāo)項(xiàng)目數(shù)、行業(yè)覆蓋數(shù)、央企中標(biāo)項(xiàng)目數(shù)這三個(gè)維度里均為第一。從行業(yè)分布看，百度智能云在能源、政務(wù)、金融這三個(gè)行業(yè)的中標(biāo)項(xiàng)目數(shù)位于所有廠商第一。）

b、2025年1月份，百度中標(biāo)項(xiàng)目和中標(biāo)金額雙第一