編者按：本文來(lái)自微信公眾號(hào) 阿爾法公社（ ID：alphastartups），作者：阿爾法公社，創(chuàng)業(yè)邦經(jīng)授權(quán)轉(zhuǎn)載。

無(wú)論對(duì)于AI應(yīng)用公司，還是使用AI應(yīng)用的用戶和客戶，AI模型的安全性都非常重要。對(duì)于AI公司，在保護(hù)AI模型安全的同時(shí)，能夠不增加多余的工作成本，并保護(hù)好原始數(shù)據(jù)和算法不外泄，同樣值得看重。

一家叫HiddenLayer的公司打造了一個(gè)全面的安全平臺(tái)，它提供即插即用的AI安全性，不會(huì)從AI模型的層面增加不必要的復(fù)雜性，也不需要訪問(wèn)原始數(shù)據(jù)和算法。

近日，這家公司獲得由M12和Moore Strategic Ventures聯(lián)合領(lǐng)投，Booz Allen Ventures、IBM Ventures、Capital One Ventures和Ten Eleven Ventures（領(lǐng)投了它的種子輪融資）參與投資的5000萬(wàn)美元A輪融資，這是截至目前AI安全領(lǐng)域金額最高的A輪融資。

HiddenLayer已經(jīng)幫助保護(hù)了數(shù)家財(cái)富100強(qiáng)公司在金融和網(wǎng)絡(luò)安全等領(lǐng)域使用的AI/ML模型。

它也已經(jīng)與Intel和Databricks建立戰(zhàn)略合作伙伴關(guān)系，并獲得了RSAC最具創(chuàng)新性初創(chuàng)公司和SC Media最有前景的早期初創(chuàng)公司等榮譽(yù)。公司在過(guò)去的一年中將其員工數(shù)量增加了近四倍，并計(jì)劃在今年底將員工數(shù)量從50人增加到90人，進(jìn)一步投資于研發(fā)。

遭遇針對(duì)AI的攻擊后，連續(xù)創(chuàng)業(yè)者看到機(jī)會(huì)

據(jù)Gartner統(tǒng)計(jì)，2022年所有AI網(wǎng)絡(luò)攻擊中，五分之二的組織遭受了AI隱私泄露或安全事件，其中四分之一的攻擊是惡意的。

英國(guó)的網(wǎng)絡(luò)安全管理機(jī)構(gòu)National Cyber Security Center也警告說(shuō)：“攻擊者們正在攻擊大語(yǔ)言模型聊天機(jī)器人（例如ChatGPT），以獲取機(jī)密信息、生成冒犯性內(nèi)容和“觸發(fā)意外后果。”

在一項(xiàng)由HiddenLayer委托Forrester所做的研究中，86%的人“非常關(guān)心或關(guān)心”他們組織的機(jī)器學(xué)習(xí)模型安全。

大多數(shù)回應(yīng)的公司表示，他們目前依賴手工流程來(lái)應(yīng)對(duì)AI模型威脅，80%的受訪者希望在未來(lái)12個(gè)月內(nèi)投資于一個(gè)能夠管理ML模型完整性和安全性的解決方案。

與其他領(lǐng)域相比，網(wǎng)絡(luò)安全尤其技術(shù)性強(qiáng)和專業(yè)化，根據(jù)《財(cái)富》雜志此前的研究，預(yù)計(jì)到2027年，全球網(wǎng)絡(luò)安全市場(chǎng)將達(dá)到4030億美元，從2020年到2027年的復(fù)合年增長(zhǎng)率為12.5%。

HiddenLayer由Christopher Sestito（CEO）、Tanner Burns（首席科學(xué)家）和James Ballard（CIO）共同創(chuàng)立。他們?cè)谥暗墓綜ylance（一家安全初創(chuàng)公司，后被BlackBerry收購(gòu)。）遭遇了對(duì)AI模型的網(wǎng)絡(luò)攻擊后產(chǎn)生了這個(gè)創(chuàng)業(yè)想法。

HiddenLayer的CEO兼聯(lián)合創(chuàng)始人Chris Sestito回憶道：“在我們保護(hù)的機(jī)器學(xué)習(xí)模型直接通過(guò)我們的產(chǎn)品受到攻擊后，我們領(lǐng)導(dǎo)了救援工作，并意識(shí)到這對(duì)于在我們的產(chǎn)品中部署機(jī)器學(xué)習(xí)模型的任何組織都將是一個(gè)巨大的問(wèn)題。我們決定創(chuàng)立HiddenLayer，旨在教育企業(yè)了解這一重大威脅，并幫助他們抵御攻擊。”

Sestito曾在Cylance領(lǐng)導(dǎo)威脅研究，Ballard是Cylance的數(shù)據(jù)策劃團(tuán)隊(duì)負(fù)責(zé)人，Burns則是威脅研究員。

Chris Sestito談到市場(chǎng)機(jī)會(huì)時(shí)說(shuō)：“我們知道，幾乎每家企業(yè)現(xiàn)在都在多種形式上使用AI，但我們也知道，沒有其他技術(shù)在沒有安全保護(hù)的情況下實(shí)現(xiàn)了如此廣泛的采納。我們致力于為市場(chǎng)上滿足這一未滿足需求的客戶創(chuàng)造最無(wú)摩擦的安全解決方案?！?/p>

在談到技術(shù)時(shí)，Chris Sestito則說(shuō)：“許多數(shù)據(jù)科學(xué)家依賴預(yù)訓(xùn)練的、開源的或?qū)Ｓ械臋C(jī)器學(xué)習(xí)模型，以縮短分析時(shí)間并簡(jiǎn)化測(cè)試工作，然后從復(fù)雜的數(shù)據(jù)集中獲得洞察。使用公開可用的預(yù)訓(xùn)練開源模型，有可能使組織暴露于被篡改的公開可用模型的遷移學(xué)習(xí)攻擊。

我們的平臺(tái)提供了保護(hù)AI模型免受對(duì)抗性攻擊、漏洞和惡意代碼注入的工具。它監(jiān)控AI系統(tǒng)的輸入和輸出，在部署之前測(cè)試模型的完整性。它使用技術(shù)僅觀察模型的輸入和由它們產(chǎn)生的輸出的向量（或數(shù)學(xué)表示），而不需要訪問(wèn)他們的專有模型?！?/p>

M12的管理合伙人Todd Graham表示：“受到自己與對(duì)抗性AI攻擊的經(jīng)驗(yàn)的啟發(fā)，HiddenLayer的創(chuàng)始人們建立了一個(gè)對(duì)任何使用AI和ML技術(shù)的企業(yè)都必不可少的平臺(tái)。

他們對(duì)這些攻擊的親身經(jīng)歷，結(jié)合他們的愿景和新穎的方法，使該公司成為保護(hù)這些模型的首選解決方案。從與創(chuàng)始人的第一次會(huì)面開始，我們就知道這在安全領(lǐng)域是一個(gè)大創(chuàng)意，并希望幫助他們擴(kuò)大規(guī)模?！?/p>

打造全面保護(hù)AI安全的MLSec平臺(tái)

HiddenLayer的旗艦產(chǎn)品是檢測(cè)和預(yù)防針對(duì)機(jī)器學(xué)習(xí)驅(qū)動(dòng)系統(tǒng)的網(wǎng)絡(luò)攻擊的安全平臺(tái)（MLSec），它是業(yè)界首款MLDR（機(jī)器學(xué)習(xí)檢測(cè)與響應(yīng)）解決方案，能夠保護(hù)企業(yè)及其客戶免受新興攻擊手段的侵害。

這個(gè)MLSec平臺(tái)由HiddenLayer MLDR、ModelScanner和Security Audit Reporting組成。

HiddenLayer的MLSec平臺(tái)配備了一個(gè)簡(jiǎn)單但功能強(qiáng)大的儀表板，允許安全經(jīng)理一目了然地了解他們的企業(yè)ML/AI模型是否處于安全狀態(tài)。它還會(huì)根據(jù)問(wèn)題的嚴(yán)重性自動(dòng)列出安全問(wèn)題和警報(bào)的優(yōu)先級(jí)，并存儲(chǔ)企業(yè)可能被要求進(jìn)行的合規(guī)性、審計(jì)和報(bào)告的數(shù)據(jù)。

其MLDR解決方案采用基于機(jī)器學(xué)習(xí)的方法，每分鐘分析數(shù)十億的模型交互，以識(shí)別惡意活動(dòng)，而無(wú)需訪問(wèn)或事先了解用戶的ML模型或敏感訓(xùn)練數(shù)據(jù)。它能夠檢測(cè)并響應(yīng)針對(duì)ML模型的攻擊，保護(hù)知識(shí)產(chǎn)權(quán)和商業(yè)機(jī)密免受盜竊或篡改，確保用戶不會(huì)受到攻擊。

HiddenLayer還提供面向?qū)剐詸C(jī)器學(xué)習(xí)（AML）專家團(tuán)隊(duì)的咨詢服務(wù)，他們可以進(jìn)行威脅評(píng)估，為客戶的網(wǎng)絡(luò)安全和開發(fā)運(yùn)營(yíng)人員提供培訓(xùn)，并進(jìn)行“紅隊(duì)”演練，以確?？蛻舻姆烙胧┌搭A(yù)期工作。

HiddenLayer的MLSec平臺(tái)可以防范的攻擊種類

推斷/提?。?/strong>提取攻擊涉及攻擊者操縱模型輸入，分析輸出，并推斷決策邊界以重構(gòu)訓(xùn)練數(shù)據(jù)，提取模型參數(shù)，或通過(guò)訓(xùn)練一個(gè)近似目標(biāo)的替代模型進(jìn)行模型盜取。

盜取機(jī)器學(xué)習(xí)模型：攻擊者竊取昂貴的機(jī)器學(xué)習(xí)框架的成果。

訓(xùn)練數(shù)據(jù)的提?。?/strong>攻擊者可以在不訪問(wèn)機(jī)器學(xué)習(xí)模型的參數(shù)的情況下，僅通過(guò)觀察其輸出來(lái)進(jìn)行成員推斷攻擊。當(dāng)目標(biāo)模型接受敏感信息的訓(xùn)練時(shí)，成員推斷可能會(huì)引起安全和隱私問(wèn)題。

數(shù)據(jù)投毒：當(dāng)攻擊者向訓(xùn)練集注入新的、特定修改的數(shù)據(jù)時(shí)，就會(huì)發(fā)生投毒。這會(huì)欺騙或顛覆機(jī)器學(xué)習(xí)模型，使其提供不準(zhǔn)確、偏見或惡意的結(jié)果。

模型注入：模型注入是一種依賴于通過(guò)插入一個(gè)惡意模塊來(lái)修改機(jī)器學(xué)習(xí)模型的技術(shù)，該模塊引入了一些秘密的有害或不希望的行為。

模型劫持：這種攻擊可以將惡意代碼注入到現(xiàn)有的PyTorch模型中，它會(huì)將當(dāng)前目錄中的所有文件泄露到遠(yuǎn)程服務(wù)器。

HiddenLayer提供以下具體服務(wù)

威脅建模：通過(guò)發(fā)現(xiàn)性訪談和基于場(chǎng)景的討論，評(píng)估整體的AI/ML環(huán)境和資產(chǎn)風(fēng)險(xiǎn)。

ML風(fēng)險(xiǎn)評(píng)估：對(duì)客戶的人工智能運(yùn)營(yíng)生命周期進(jìn)行詳細(xì)分析，并深入分析客戶最關(guān)鍵的AI模型，以確定當(dāng)前的AI/ML投資對(duì)組織的風(fēng)險(xiǎn)，以及改善所需的努力和/或控制措施。

專家培訓(xùn)：為數(shù)據(jù)科學(xué)和安全團(tuán)隊(duì)提供全天培訓(xùn)，幫助他們獲得防范這些針對(duì)AI的攻擊和威脅。

紅隊(duì)評(píng)估：對(duì)抗性機(jī)器學(xué)習(xí)研究（AMLR）團(tuán)隊(duì)將模擬攻擊者的攻擊來(lái)評(píng)估現(xiàn)有的防范措施，并修補(bǔ)漏洞。

AI/ML模型掃描：使用HiddenLayer的模型完整性掃描器，測(cè)試和驗(yàn)證現(xiàn)有的AI/ML模型是否免受威脅（例如惡意軟件）和篡改。

ML檢測(cè)與響應(yīng)（MLDR）實(shí)施服務(wù) ：專業(yè)地實(shí)施和整合HiddenLayer的MLDR產(chǎn)品到AI/ML環(huán)境中，為數(shù)據(jù)科學(xué)和安全團(tuán)隊(duì)提供所需的功能和可見性，以預(yù)防攻擊、提高響應(yīng)速度，并最大化模型的有效性。

與巨頭的合作，加強(qiáng)生態(tài)建設(shè)

除了產(chǎn)品和平臺(tái)建設(shè)外，HiddenLayer也擁有強(qiáng)有力的合作伙伴，它Databricks達(dá)成了合作伙伴關(guān)系，將AI模型部署到Databricks數(shù)據(jù)湖中的企業(yè)用戶也能使用MLSec平臺(tái)。這就從數(shù)據(jù)湖層面將安全性內(nèi)置到AI中。

通過(guò)與Intel的戰(zhàn)略合作，把英特爾SGX上的機(jī)密計(jì)算和HiddenLayer的機(jī)器學(xué)習(xí)模型掃描器相結(jié)合，提供了軟硬一體的AI安全解決方案。

這兩大戰(zhàn)略合作，讓HiddenLayer的整個(gè)生態(tài)更加完整，也獲得了客戶的青睞，它目前已經(jīng)在金融，政府等領(lǐng)域獲得了數(shù)家大客戶。

AI進(jìn)入實(shí)用階段，AI安全的創(chuàng)業(yè)機(jī)會(huì)顯現(xiàn)

針對(duì)AI的安全，尤其是模型層面的安全，已經(jīng)是一個(gè)確定的需求，此前已有專做AI模型安全的Protect AI獲得由Evolution Equity Partners和Salesforce Ventures共同領(lǐng)投的3500萬(wàn)美元A輪融資。

而根據(jù)HiddenLayer創(chuàng)始人Sestito的說(shuō)法，隨著AI市場(chǎng)的增長(zhǎng)，AI安全的市場(chǎng)也會(huì)同步的增長(zhǎng)，除了Protect AI和HiddenLayer以外，還有Robust Intelligence、CalypsoAI、Halcyon和Troj.ai等公司也在AI安全領(lǐng)域耕耘。

例如HiddenLayer的早期投資者Ten Eleven Ventures也投資了Halcyon的2000萬(wàn)美元種子輪融資，這家公司主要做的是AI勒索軟件的防御工具，可以幫助使用AI軟件的用戶防范攻擊，并從攻擊中快速恢復(fù)回來(lái)。

隨著這波AI的浪潮從概念炒作階段進(jìn)入到實(shí)際的應(yīng)用階段，從以大模型創(chuàng)業(yè)為主，進(jìn)入到AI應(yīng)用創(chuàng)業(yè)為主，AI的安全性越發(fā)重要。無(wú)論是保證AI模型的安全，還是保護(hù)AI應(yīng)用的安全，AI安全的發(fā)展都能夠讓AI在ToC端和企業(yè)端的滲透進(jìn)一步加深。

海外已經(jīng)有了數(shù)量不少的AI安全創(chuàng)業(yè)公司，在中國(guó)市場(chǎng)，同樣的需求也大量存在，我們期待本土的優(yōu)秀創(chuàng)業(yè)者們向著這個(gè)重要的創(chuàng)業(yè)領(lǐng)域進(jìn)發(fā)。

本文為專欄作者授權(quán)創(chuàng)業(yè)邦發(fā)表，版權(quán)歸原作者所有。文章系作者個(gè)人觀點(diǎn)，不代表創(chuàng)業(yè)邦立場(chǎng)，轉(zhuǎn)載請(qǐng)聯(lián)系原作者。如有任何疑問(wèn)，請(qǐng)聯(lián)系editor@cyzone.cn。