阿爾法公社：目前中國的生成式AI已經(jīng)完成了基礎(chǔ)大模型的積累階段（各大廠和頭部創(chuàng)業(yè)公司都已有大模型），下一步將進(jìn)入AI的大規(guī)模應(yīng)用階段。但是AI的安全問題不解決，無論是終端用戶，還是企業(yè)級用戶始終會對采用AI心存疑慮。

解決AI的安全問題，將推動AI的進(jìn)一步普及，創(chuàng)造更多價值。隨著AI在C端和企業(yè)端的廣泛應(yīng)用，AI安全這個剛需的需求量將大增。

AI正被越來越多的企業(yè)采用，為他們帶來價值，甚至成為一些企業(yè)的核心能力。但是，針對AI的安全仍然很不完善，也讓很多企業(yè)一邊對AI的“超能力”興趣盎然，一邊又對AI是否安全心存疑慮。如果說數(shù)據(jù)安全還可以用私有化部署來解決，但如果AI模型本身被侵入，豈不是授人以入侵自己隱私的高效工具？

一家致力于AI系統(tǒng)安全的創(chuàng)業(yè)公司Protect AI已經(jīng)開始在模型層面保護(hù)AI的安全，它由曾經(jīng)管理AWS全球AI和ML業(yè)務(wù)的連續(xù)創(chuàng)業(yè)者Ian Swanson創(chuàng)立，幫助企業(yè)在大規(guī)模采用AI的同時抵御安全漏洞、數(shù)據(jù)泄露和其他新興威脅。

今年7月，Protect AI獲得由Evolution Equity Partners和Salesforce Ventures共同領(lǐng)投，Acrew Capital、Boldstart Ventures、Knollwood Capital和Pelion Ventures等投資機(jī)構(gòu)參投的3500萬美元A輪融資。

在2022年12月，他們曾獲得由Acrew Capital和Boldstart Ventures共同領(lǐng)投的1350萬美元種子輪融資，目前，它的累計(jì)融資額達(dá)到4850萬美元。

Protect AI的創(chuàng)始人Ian Swanson表示：“我們看到了AI可以帶來的價值，但也看到了這些系統(tǒng)固有的風(fēng)險。我們的使命是幫助客戶構(gòu)建一個更安全的AI驅(qū)動的世界?！?/p>

來自AWS和Oracle的豪華創(chuàng)業(yè)團(tuán)隊(duì)要從模型層面保護(hù)AI的安全

對于想使用AI能力的企業(yè)來說，AI/ML的安全挑戰(zhàn)變得越來越復(fù)雜，各種基礎(chǔ)模型和外部的第三方訓(xùn)練數(shù)據(jù)集（許多受歡迎的AI開源項(xiàng)目已發(fā)現(xiàn)可被用來攻擊的代碼），加劇了這種復(fù)雜性。

大多數(shù)組織缺乏檢測機(jī)器學(xué)習(xí)供應(yīng)鏈中的威脅和漏洞的技能和資源，而且大多數(shù)CISO（首席信息安全官）還沒有將機(jī)器學(xué)習(xí)特定的掃描和AI漏洞修復(fù)列為優(yōu)先事項(xiàng)。

技能和資源的缺乏導(dǎo)致了盲點(diǎn)，并產(chǎn)生了獨(dú)特的AI安全挑戰(zhàn)，使組織面臨一系列問題：監(jiān)管不合規(guī)、個人身份信息泄露、數(shù)據(jù)操縱、模型污染和聲譽(yù)風(fēng)險。

Endor Labs（一家專注于開源軟件安全的公司）最近的一項(xiàng)調(diào)查發(fā)現(xiàn)，在Github排名前100的AI開源項(xiàng)目中有52%存在漏洞。

據(jù)Synopsys（新思科技）調(diào)查，大數(shù)據(jù)、AI、BI和ML代碼庫中近80%的代碼依賴于開源組件，其中超過40%的代碼庫存在高風(fēng)險漏洞。

企業(yè)對AI的加速采用，除了AI本身的吸引力外，還在于MLOps技術(shù)幫助降低門檻：通過提供維護(hù)和監(jiān)控大規(guī)模AI/ML系統(tǒng)的流程、治理和程序，它能夠?qū)I模型投入生產(chǎn)流程的成本降低。

但是Protect AI的團(tuán)隊(duì)注意到，AI/ML帶來了一種新的、獨(dú)特的攻擊面，而目前市場上已有的網(wǎng)絡(luò)安全解決方案并未解決這個問題，AI需要新的安全方法。

注：網(wǎng)絡(luò)安全中的“攻擊面”指的是一個系統(tǒng)或網(wǎng)絡(luò)中可以被潛在攻擊者利用的所有可能的點(diǎn)和路徑。

于是Protect AI將安全性納入AI工具和流程的工作流中，讓安全性從一開始就伴隨AI流程，而不是成為事后的考慮因素。這樣，MLOps（機(jī)器學(xué)習(xí)+運(yùn)營）就升級成了MLSecOps（機(jī)器學(xué)習(xí)+安全+運(yùn)營），創(chuàng)造了一個新的領(lǐng)域。

Protect AI由Ian Swanson與Daryan Dehghanpisheh、Badar Ahmed共同創(chuàng)立。Swanson曾領(lǐng)導(dǎo)AWS的全球AI和ML業(yè)務(wù)，也是連續(xù)創(chuàng)業(yè)者。Swanson創(chuàng)立的上一家創(chuàng)業(yè)公司DataScience.com正是MLOps領(lǐng)域技術(shù)最先進(jìn)的公司之一，后來被Oracle收購，Badar Ahmed和Swanson曾經(jīng)在DataScience.com及Oracle共事。

而Daryan Dehghanpisheh則是Ian Swanson在AWS的老同事，當(dāng)時Swanson領(lǐng)AWS的AI客戶解決方案團(tuán)隊(duì)，Dehghanpisheh則是AI架構(gòu)師。

可以看出，這是一個“豪華”創(chuàng)業(yè)團(tuán)隊(duì)，既有過硬的技術(shù)，又有創(chuàng)業(yè)經(jīng)歷，還在大廠管理過大團(tuán)隊(duì)，幫助大量客戶處理過問題。所以Salesforce Venture的投資人表示，他們對Protect AI最大的信心來源是出色的團(tuán)隊(duì)，其次是AI安全這個增長迅速且容量龐大的潛在市場。

Protect AI的種子輪投資人，Acrew Capital的創(chuàng)始合伙人Mark Kraynak也表示：“AI/ML是一種全新的應(yīng)用類別和底層基礎(chǔ)設(shè)施，就像移動網(wǎng)絡(luò)、物聯(lián)網(wǎng)和Web3一樣。新的應(yīng)用生態(tài)系統(tǒng)的安全遵循相同的循環(huán)：了解漏洞，找到它們，再添加上下文理解和優(yōu)先級，最后實(shí)現(xiàn)自動化修復(fù)。Protect AI的團(tuán)隊(duì)從MLOps出發(fā)，進(jìn)化到MLSecOps，我們對這一進(jìn)化感到興奮。”

從開源軟件到首個MLSecOps平臺

現(xiàn)在黑客們針對AI的攻擊有多可怕？以機(jī)器學(xué)習(xí)系統(tǒng)中最受歡迎的工具之一MLflow（它可用于管理端到端的機(jī)器學(xué)習(xí)生命周期）舉例。

攻擊者們可以通過MLflow的漏洞，在未經(jīng)認(rèn)證的情況下遠(yuǎn)程讀取MLflow服務(wù)器中用戶的任何文件。MLflow的另一個漏洞，則能讓攻擊者直接控制MLflow服務(wù)器上的所有AI模型和數(shù)據(jù)。

目前，Protect AI擁有旗艦安全平臺AI Radar，開源產(chǎn)品NB Defense，以及全球首個人工智能和機(jī)器學(xué)習(xí)漏洞賞金平臺huntr。

AI Radar

AI Radar是Protect AI的旗艦產(chǎn)品，也是行業(yè)內(nèi)首個MLSecOps平臺。這個平臺主要解決的關(guān)鍵挑戰(zhàn)是：讓企業(yè)用戶的AI系統(tǒng)更可視化，更方便審計(jì)，也更好管理。

AI Radar使組織能夠通過評估其ML供應(yīng)鏈的安全性并迅速識別和減輕風(fēng)險，從而更安全地部署AI。它通過實(shí)時監(jiān)控和洞察ML系統(tǒng)的攻擊面，生成和更新防篡改的ML物料清單（MLBOM），與SBOM不同，它提供了ML系統(tǒng)中所有組件和依賴關(guān)系的列表，使客戶完全了解AI/ML的來源。它還能跟蹤公司的“軟件供應(yīng)鏈”組件：運(yùn)營工具、平臺、模型、數(shù)據(jù)、服務(wù)和云基礎(chǔ)設(shè)施。

該平臺使用集成的模型掃描工具來檢測大模型和其他ML推理工作負(fù)載中的安全政策違規(guī)、模型漏洞和惡意代碼注入攻擊。此外，AI Radar可以與第三方AppSec和CI/CD編排工具以及模型穩(wěn)健性框架集成。

AI Radar使整個AI系統(tǒng)，可觀察，可管理，可審計(jì)，不再是一個黑盒子。彌合了AI團(tuán)隊(duì)和應(yīng)用安全專業(yè)人員之間的鴻溝。

許多大型企業(yè)使用多個ML軟件供應(yīng)商，如Amazon Sagemaker、Azure Machine Learning和Dataiku，從而導(dǎo)致他們的ML管道有各種配置。

Ian Swanson強(qiáng)調(diào)AI Radar保持供應(yīng)商中立，并無縫集成所有這些不同的ML系統(tǒng)，創(chuàng)建一個統(tǒng)一的“單一視窗”。通過這種方式，客戶可以輕松獲取任何ML模型的位置和來源以及其創(chuàng)建中使用的數(shù)據(jù)和組件的關(guān)鍵信息。

Ian Swanson表示，ProtectAI的下一步重點(diǎn)是為AI Radar找到產(chǎn)品和市場契合點(diǎn)（PMF），它的早期客戶包括AI基礎(chǔ)模型供應(yīng)商和MLOps平臺提供商，以及金融服務(wù)、醫(yī)療保健、生命科學(xué)等領(lǐng)域的公司。

NB Defense

Protect AI推出的第一個產(chǎn)品是NB Defense，這是一個開源應(yīng)用程序，旨在解決AI開發(fā)平臺Jupyter Notebook中的漏洞。

AI開發(fā)者使用Jupyter Notebook來創(chuàng)建和分享包含實(shí)時代碼、函數(shù)、可視化、數(shù)據(jù)和文本的文檔。研究機(jī)構(gòu)發(fā)現(xiàn)，未妥善保護(hù)的Jupyter Notebook文件可能會容易受到基于Python的勒索軟件和加密貨幣挖礦攻擊。

Protect AI使用NB Defense掃描了1000多個公共Jupyter Notebook，并發(fā)現(xiàn)了許多泄露的個人身份信息和可能被攻擊者利用來攻擊云系統(tǒng)的關(guān)鍵漏洞，包括獲得對敏感數(shù)據(jù)庫的訪問權(quán)限。

而NB Defense是針對Jupyter Notebook的安全解決方案，它創(chuàng)建了一個從傳統(tǒng)安全功能到Jupyter Notebook掃描的轉(zhuǎn)換層，并且生成安全報(bào)告，報(bào)告中包含指向Jupyter Notebook中問題區(qū)域的特定上下文鏈接，以便進(jìn)行修復(fù)。

NB Defense目前提供免費(fèi)許可，AI開發(fā)者們可以輕松安裝NB Defense。

huntr

huntr是全球首個AI/ML漏洞賞金平臺，安全研究人員可以在這個平臺/社區(qū)上發(fā)現(xiàn)、披露、修復(fù)AI和ML安全威脅，并獲得獎勵。

huntr的前身是huntr.dev，它由Adam Nygate于2020年創(chuàng)立，擁有超過一萬名專注于開源軟件（OSS）的安全研究員的龐大網(wǎng)絡(luò)，一直處于OSS安全研究和開發(fā)的前沿。

huntr是Protect AI的MLSecOps社群的一個重要組成部分，由此也可以看出Protect AI擁抱安全開發(fā)者和建立生態(tài)的決心。

Protect AI的威脅研究負(fù)責(zé)人Chloé Messdaghi強(qiáng)調(diào)了該平臺的精神：“我們相信透明度和公平的報(bào)酬。我們的使命是削減噪音，為安全研究人員提供一個能夠認(rèn)可他們的貢獻(xiàn)、獎勵他們的專業(yè)知識，并培養(yǎng)協(xié)作和知識共享社群的平臺。”

AI安全未來會是企業(yè)的剛需

安全對于AI的重要性已經(jīng)不言而喻，無論是對于C端用戶還是企業(yè)客戶，都是剛需。隨著AI在企業(yè)流程中滲透得越來越深，創(chuàng)造越來越多的價值，它的安全性會越被企業(yè)的高層重視。

海外的某知名投資機(jī)構(gòu)，近日也推出一篇關(guān)于AI安全的文章，文章提到了AI安全的兩大重點(diǎn)：云安全模型，AI的可觀察性、可管理性和可審計(jì)性；還有幾個重要模塊：數(shù)據(jù)來源安全，AI Agent身份驗(yàn)證，工具鏈和供應(yīng)鏈的風(fēng)險防范，MLSecOps，模型版本管理，以及數(shù)據(jù)中毒防范，模型盜竊防范。

Protect AI的重點(diǎn)就是AI的可觀察性，可管理性和可審計(jì)性，推出了MLSecOps平臺，也能防范模型盜竊。而在其他的幾個方向，仍然有大量的創(chuàng)業(yè)機(jī)會，海外也已經(jīng)有不少創(chuàng)業(yè)公司在AI安全賽道耕耘。

例如Hidden Layer，它可以在不需要訪問任何原始數(shù)據(jù)或供應(yīng)商模型的情況下保護(hù)AI模型免受攻擊，目前融資額600萬美元。

Robust Intelligence的產(chǎn)品可以對AI模型進(jìn)行安全方面的壓力測試，目前融資額3000萬美元。

CalypsoAI做的是驗(yàn)證和監(jiān)控AI應(yīng)用的工具，目前融資額2300萬美元。

目前中國的生成式AI已經(jīng)完成了基礎(chǔ)大模型的積累階段（各大廠和頭部創(chuàng)業(yè)公司都已有大模型），下一步將進(jìn)入AI的大規(guī)模應(yīng)用階段。

解決AI的安全問題，將推動AI的進(jìn)一步普及，創(chuàng)造更多價值。隨著AI在C端和企業(yè)端的廣泛應(yīng)用，AI安全這個剛需的需求量將大增。

而這也將產(chǎn)生眾多的創(chuàng)業(yè)機(jī)會，值得期待。

本文由阿爾法公社原創(chuàng)。