阿爾法公社：目前中國(guó)的生成式AI已經(jīng)完成了基礎(chǔ)大模型的積累階段（各大廠和頭部創(chuàng)業(yè)公司都已有大模型），下一步將進(jìn)入AI的大規(guī)模應(yīng)用階段。但是AI的安全問題不解決，無論是終端用戶，還是企業(yè)級(jí)用戶始終會(huì)對(duì)采用AI心存疑慮。

解決AI的安全問題，將推動(dòng)AI的進(jìn)一步普及，創(chuàng)造更多價(jià)值。隨著AI在C端和企業(yè)端的廣泛應(yīng)用，AI安全這個(gè)剛需的需求量將大增。

AI正被越來越多的企業(yè)采用，為他們帶來價(jià)值，甚至成為一些企業(yè)的核心能力。但是，針對(duì)AI的安全仍然很不完善，也讓很多企業(yè)一邊對(duì)AI的“超能力”興趣盎然，一邊又對(duì)AI是否安全心存疑慮。如果說數(shù)據(jù)安全還可以用私有化部署來解決，但如果AI模型本身被侵入，豈不是授人以入侵自己隱私的高效工具？

一家致力于AI系統(tǒng)安全的創(chuàng)業(yè)公司Protect AI已經(jīng)開始在模型層面保護(hù)AI的安全，它由曾經(jīng)管理AWS全球AI和ML業(yè)務(wù)的連續(xù)創(chuàng)業(yè)者Ian Swanson創(chuàng)立，幫助企業(yè)在大規(guī)模采用AI的同時(shí)抵御安全漏洞、數(shù)據(jù)泄露和其他新興威脅。

今年7月，Protect AI獲得由Evolution Equity Partners和Salesforce Ventures共同領(lǐng)投，Acrew Capital、Boldstart Ventures、Knollwood Capital和Pelion Ventures等投資機(jī)構(gòu)參投的3500萬美元A輪融資。

在2022年12月，他們?cè)@得由Acrew Capital和Boldstart Ventures共同領(lǐng)投的1350萬美元種子輪融資，目前，它的累計(jì)融資額達(dá)到4850萬美元。

Protect AI的創(chuàng)始人Ian Swanson表示：“我們看到了AI可以帶來的價(jià)值，但也看到了這些系統(tǒng)固有的風(fēng)險(xiǎn)。我們的使命是幫助客戶構(gòu)建一個(gè)更安全的AI驅(qū)動(dòng)的世界?！?/p>

來自AWS和Oracle的豪華創(chuàng)業(yè)團(tuán)隊(duì)要從模型層面保護(hù)AI的安全

對(duì)于想使用AI能力的企業(yè)來說，AI/ML的安全挑戰(zhàn)變得越來越復(fù)雜，各種基礎(chǔ)模型和外部的第三方訓(xùn)練數(shù)據(jù)集（許多受歡迎的AI開源項(xiàng)目已發(fā)現(xiàn)可被用來攻擊的代碼），加劇了這種復(fù)雜性。

大多數(shù)組織缺乏檢測(cè)機(jī)器學(xué)習(xí)供應(yīng)鏈中的威脅和漏洞的技能和資源，而且大多數(shù)CISO（首席信息安全官）還沒有將機(jī)器學(xué)習(xí)特定的掃描和AI漏洞修復(fù)列為優(yōu)先事項(xiàng)。

技能和資源的缺乏導(dǎo)致了盲點(diǎn)，并產(chǎn)生了獨(dú)特的AI安全挑戰(zhàn)，使組織面臨一系列問題：監(jiān)管不合規(guī)、個(gè)人身份信息泄露、數(shù)據(jù)操縱、模型污染和聲譽(yù)風(fēng)險(xiǎn)。

Endor Labs（一家專注于開源軟件安全的公司）最近的一項(xiàng)調(diào)查發(fā)現(xiàn)，在Github排名前100的AI開源項(xiàng)目中有52%存在漏洞。

據(jù)Synopsys（新思科技）調(diào)查，大數(shù)據(jù)、AI、BI和ML代碼庫(kù)中近80%的代碼依賴于開源組件，其中超過40%的代碼庫(kù)存在高風(fēng)險(xiǎn)漏洞。

企業(yè)對(duì)AI的加速采用，除了AI本身的吸引力外，還在于MLOps技術(shù)幫助降低門檻：通過提供維護(hù)和監(jiān)控大規(guī)模AI/ML系統(tǒng)的流程、治理和程序，它能夠?qū)I模型投入生產(chǎn)流程的成本降低。

但是Protect AI的團(tuán)隊(duì)注意到，AI/ML帶來了一種新的、獨(dú)特的攻擊面，而目前市場(chǎng)上已有的網(wǎng)絡(luò)安全解決方案并未解決這個(gè)問題，AI需要新的安全方法。

注：網(wǎng)絡(luò)安全中的“攻擊面”指的是一個(gè)系統(tǒng)或網(wǎng)絡(luò)中可以被潛在攻擊者利用的所有可能的點(diǎn)和路徑。

于是Protect AI將安全性納入AI工具和流程的工作流中，讓安全性從一開始就伴隨AI流程，而不是成為事后的考慮因素。這樣，MLOps（機(jī)器學(xué)習(xí)+運(yùn)營(yíng)）就升級(jí)成了MLSecOps（機(jī)器學(xué)習(xí)+安全+運(yùn)營(yíng)），創(chuàng)造了一個(gè)新的領(lǐng)域。

Protect AI由Ian Swanson與Daryan Dehghanpisheh、Badar Ahmed共同創(chuàng)立。Swanson曾領(lǐng)導(dǎo)AWS的全球AI和ML業(yè)務(wù)，也是連續(xù)創(chuàng)業(yè)者。Swanson創(chuàng)立的上一家創(chuàng)業(yè)公司DataScience.com正是MLOps領(lǐng)域技術(shù)最先進(jìn)的公司之一，后來被Oracle收購(gòu)，Badar Ahmed和Swanson曾經(jīng)在DataScience.com及Oracle共事。

而Daryan Dehghanpisheh則是Ian Swanson在AWS的老同事，當(dāng)時(shí)Swanson領(lǐng)AWS的AI客戶解決方案團(tuán)隊(duì)，Dehghanpisheh則是AI架構(gòu)師。

可以看出，這是一個(gè)“豪華”創(chuàng)業(yè)團(tuán)隊(duì)，既有過硬的技術(shù)，又有創(chuàng)業(yè)經(jīng)歷，還在大廠管理過大團(tuán)隊(duì)，幫助大量客戶處理過問題。所以Salesforce Venture的投資人表示，他們對(duì)Protect AI最大的信心來源是出色的團(tuán)隊(duì)，其次是AI安全這個(gè)增長(zhǎng)迅速且容量龐大的潛在市場(chǎng)。

Protect AI的種子輪投資人，Acrew Capital的創(chuàng)始合伙人Mark Kraynak也表示：“AI/ML是一種全新的應(yīng)用類別和底層基礎(chǔ)設(shè)施，就像移動(dòng)網(wǎng)絡(luò)、物聯(lián)網(wǎng)和Web3一樣。新的應(yīng)用生態(tài)系統(tǒng)的安全遵循相同的循環(huán)：了解漏洞，找到它們，再添加上下文理解和優(yōu)先級(jí)，最后實(shí)現(xiàn)自動(dòng)化修復(fù)。Protect AI的團(tuán)隊(duì)從MLOps出發(fā)，進(jìn)化到MLSecOps，我們對(duì)這一進(jìn)化感到興奮?！?/p>

從開源軟件到首個(gè)MLSecOps平臺(tái)

現(xiàn)在黑客們針對(duì)AI的攻擊有多可怕？以機(jī)器學(xué)習(xí)系統(tǒng)中最受歡迎的工具之一MLflow（它可用于管理端到端的機(jī)器學(xué)習(xí)生命周期）舉例。

攻擊者們可以通過MLflow的漏洞，在未經(jīng)認(rèn)證的情況下遠(yuǎn)程讀取MLflow服務(wù)器中用戶的任何文件。MLflow的另一個(gè)漏洞，則能讓攻擊者直接控制MLflow服務(wù)器上的所有AI模型和數(shù)據(jù)。

目前，Protect AI擁有旗艦安全平臺(tái)AI Radar，開源產(chǎn)品NB Defense，以及全球首個(gè)人工智能和機(jī)器學(xué)習(xí)漏洞賞金平臺(tái)huntr。

AI Radar

AI Radar是Protect AI的旗艦產(chǎn)品，也是行業(yè)內(nèi)首個(gè)MLSecOps平臺(tái)。這個(gè)平臺(tái)主要解決的關(guān)鍵挑戰(zhàn)是：讓企業(yè)用戶的AI系統(tǒng)更可視化，更方便審計(jì)，也更好管理。

AI Radar使組織能夠通過評(píng)估其ML供應(yīng)鏈的安全性并迅速識(shí)別和減輕風(fēng)險(xiǎn)，從而更安全地部署AI。它通過實(shí)時(shí)監(jiān)控和洞察ML系統(tǒng)的攻擊面，生成和更新防篡改的ML物料清單（MLBOM），與SBOM不同，它提供了ML系統(tǒng)中所有組件和依賴關(guān)系的列表，使客戶完全了解AI/ML的來源。它還能跟蹤公司的“軟件供應(yīng)鏈”組件：運(yùn)營(yíng)工具、平臺(tái)、模型、數(shù)據(jù)、服務(wù)和云基礎(chǔ)設(shè)施。

該平臺(tái)使用集成的模型掃描工具來檢測(cè)大模型和其他ML推理工作負(fù)載中的安全政策違規(guī)、模型漏洞和惡意代碼注入攻擊。此外，AI Radar可以與第三方AppSec和CI/CD編排工具以及模型穩(wěn)健性框架集成。

AI Radar使整個(gè)AI系統(tǒng)，可觀察，可管理，可審計(jì)，不再是一個(gè)黑盒子。彌合了AI團(tuán)隊(duì)和應(yīng)用安全專業(yè)人員之間的鴻溝。

許多大型企業(yè)使用多個(gè)ML軟件供應(yīng)商，如Amazon Sagemaker、Azure Machine Learning和Dataiku，從而導(dǎo)致他們的ML管道有各種配置。

Ian Swanson強(qiáng)調(diào)AI Radar保持供應(yīng)商中立，并無縫集成所有這些不同的ML系統(tǒng)，創(chuàng)建一個(gè)統(tǒng)一的“單一視窗”。通過這種方式，客戶可以輕松獲取任何ML模型的位置和來源以及其創(chuàng)建中使用的數(shù)據(jù)和組件的關(guān)鍵信息。

Ian Swanson表示，ProtectAI的下一步重點(diǎn)是為AI Radar找到產(chǎn)品和市場(chǎng)契合點(diǎn)（PMF），它的早期客戶包括AI基礎(chǔ)模型供應(yīng)商和MLOps平臺(tái)提供商，以及金融服務(wù)、醫(yī)療保健、生命科學(xué)等領(lǐng)域的公司。

NB Defense

Protect AI推出的第一個(gè)產(chǎn)品是NB Defense，這是一個(gè)開源應(yīng)用程序，旨在解決AI開發(fā)平臺(tái)Jupyter Notebook中的漏洞。

AI開發(fā)者使用Jupyter Notebook來創(chuàng)建和分享包含實(shí)時(shí)代碼、函數(shù)、可視化、數(shù)據(jù)和文本的文檔。研究機(jī)構(gòu)發(fā)現(xiàn)，未妥善保護(hù)的Jupyter Notebook文件可能會(huì)容易受到基于Python的勒索軟件和加密貨幣挖礦攻擊。

Protect AI使用NB Defense掃描了1000多個(gè)公共Jupyter Notebook，并發(fā)現(xiàn)了許多泄露的個(gè)人身份信息和可能被攻擊者利用來攻擊云系統(tǒng)的關(guān)鍵漏洞，包括獲得對(duì)敏感數(shù)據(jù)庫(kù)的訪問權(quán)限。

而NB Defense是針對(duì)Jupyter Notebook的安全解決方案，它創(chuàng)建了一個(gè)從傳統(tǒng)安全功能到Jupyter Notebook掃描的轉(zhuǎn)換層，并且生成安全報(bào)告，報(bào)告中包含指向Jupyter Notebook中問題區(qū)域的特定上下文鏈接，以便進(jìn)行修復(fù)。

NB Defense目前提供免費(fèi)許可，AI開發(fā)者們可以輕松安裝NB Defense。

huntr

huntr是全球首個(gè)AI/ML漏洞賞金平臺(tái)，安全研究人員可以在這個(gè)平臺(tái)/社區(qū)上發(fā)現(xiàn)、披露、修復(fù)AI和ML安全威脅，并獲得獎(jiǎng)勵(lì)。

huntr的前身是huntr.dev，它由Adam Nygate于2020年創(chuàng)立，擁有超過一萬名專注于開源軟件（OSS）的安全研究員的龐大網(wǎng)絡(luò)，一直處于OSS安全研究和開發(fā)的前沿。

huntr是Protect AI的MLSecOps社群的一個(gè)重要組成部分，由此也可以看出Protect AI擁抱安全開發(fā)者和建立生態(tài)的決心。

Protect AI的威脅研究負(fù)責(zé)人Chloé Messdaghi強(qiáng)調(diào)了該平臺(tái)的精神：“我們相信透明度和公平的報(bào)酬。我們的使命是削減噪音，為安全研究人員提供一個(gè)能夠認(rèn)可他們的貢獻(xiàn)、獎(jiǎng)勵(lì)他們的專業(yè)知識(shí)，并培養(yǎng)協(xié)作和知識(shí)共享社群的平臺(tái)。”

AI安全未來會(huì)是企業(yè)的剛需

安全對(duì)于AI的重要性已經(jīng)不言而喻，無論是對(duì)于C端用戶還是企業(yè)客戶，都是剛需。隨著AI在企業(yè)流程中滲透得越來越深，創(chuàng)造越來越多的價(jià)值，它的安全性會(huì)越被企業(yè)的高層重視。

海外的某知名投資機(jī)構(gòu)，近日也推出一篇關(guān)于AI安全的文章，文章提到了AI安全的兩大重點(diǎn)：云安全模型，AI的可觀察性、可管理性和可審計(jì)性；還有幾個(gè)重要模塊：數(shù)據(jù)來源安全，AI Agent身份驗(yàn)證，工具鏈和供應(yīng)鏈的風(fēng)險(xiǎn)防范，MLSecOps，模型版本管理，以及數(shù)據(jù)中毒防范，模型盜竊防范。

Protect AI的重點(diǎn)就是AI的可觀察性，可管理性和可審計(jì)性，推出了MLSecOps平臺(tái)，也能防范模型盜竊。而在其他的幾個(gè)方向，仍然有大量的創(chuàng)業(yè)機(jī)會(huì)，海外也已經(jīng)有不少創(chuàng)業(yè)公司在AI安全賽道耕耘。

例如Hidden Layer，它可以在不需要訪問任何原始數(shù)據(jù)或供應(yīng)商模型的情況下保護(hù)AI模型免受攻擊，目前融資額600萬美元。

Robust Intelligence的產(chǎn)品可以對(duì)AI模型進(jìn)行安全方面的壓力測(cè)試，目前融資額3000萬美元。

CalypsoAI做的是驗(yàn)證和監(jiān)控AI應(yīng)用的工具，目前融資額2300萬美元。

目前中國(guó)的生成式AI已經(jīng)完成了基礎(chǔ)大模型的積累階段（各大廠和頭部創(chuàng)業(yè)公司都已有大模型），下一步將進(jìn)入AI的大規(guī)模應(yīng)用階段。

解決AI的安全問題，將推動(dòng)AI的進(jìn)一步普及，創(chuàng)造更多價(jià)值。隨著AI在C端和企業(yè)端的廣泛應(yīng)用，AI安全這個(gè)剛需的需求量將大增。

而這也將產(chǎn)生眾多的創(chuàng)業(yè)機(jī)會(huì)，值得期待。

本文由阿爾法公社原創(chuàng)。