編者按：本文來自微信公眾號 阿爾法公社（ ID：alphastartups），作者：阿爾法公社，創(chuàng)業(yè)邦經(jīng)授權(quán)轉(zhuǎn)載。

無論對于AI應(yīng)用公司，還是使用AI應(yīng)用的用戶和客戶，AI模型的安全性都非常重要。對于AI公司，在保護AI模型安全的同時，能夠不增加多余的工作成本，并保護好原始數(shù)據(jù)和算法不外泄，同樣值得看重。

一家叫HiddenLayer的公司打造了一個全面的安全平臺，它提供即插即用的AI安全性，不會從AI模型的層面增加不必要的復(fù)雜性，也不需要訪問原始數(shù)據(jù)和算法。

近日，這家公司獲得由M12和Moore Strategic Ventures聯(lián)合領(lǐng)投，Booz Allen Ventures、IBM Ventures、Capital One Ventures和Ten Eleven Ventures（領(lǐng)投了它的種子輪融資）參與投資的5000萬美元A輪融資，這是截至目前AI安全領(lǐng)域金額最高的A輪融資。

HiddenLayer已經(jīng)幫助保護了數(shù)家財富100強公司在金融和網(wǎng)絡(luò)安全等領(lǐng)域使用的AI/ML模型。

它也已經(jīng)與Intel和Databricks建立戰(zhàn)略合作伙伴關(guān)系，并獲得了RSAC最具創(chuàng)新性初創(chuàng)公司和SC Media最有前景的早期初創(chuàng)公司等榮譽。公司在過去的一年中將其員工數(shù)量增加了近四倍，并計劃在今年底將員工數(shù)量從50人增加到90人，進一步投資于研發(fā)。

遭遇針對AI的攻擊后，連續(xù)創(chuàng)業(yè)者看到機會

據(jù)Gartner統(tǒng)計，2022年所有AI網(wǎng)絡(luò)攻擊中，五分之二的組織遭受了AI隱私泄露或安全事件，其中四分之一的攻擊是惡意的。

英國的網(wǎng)絡(luò)安全管理機構(gòu)National Cyber Security Center也警告說：“攻擊者們正在攻擊大語言模型聊天機器人（例如ChatGPT），以獲取機密信息、生成冒犯性內(nèi)容和“觸發(fā)意外后果?！?/p>

在一項由HiddenLayer委托Forrester所做的研究中，86%的人“非常關(guān)心或關(guān)心”他們組織的機器學(xué)習(xí)模型安全。

大多數(shù)回應(yīng)的公司表示，他們目前依賴手工流程來應(yīng)對AI模型威脅，80%的受訪者希望在未來12個月內(nèi)投資于一個能夠管理ML模型完整性和安全性的解決方案。

與其他領(lǐng)域相比，網(wǎng)絡(luò)安全尤其技術(shù)性強和專業(yè)化，根據(jù)《財富》雜志此前的研究，預(yù)計到2027年，全球網(wǎng)絡(luò)安全市場將達(dá)到4030億美元，從2020年到2027年的復(fù)合年增長率為12.5%。

HiddenLayer由Christopher Sestito（CEO）、Tanner Burns（首席科學(xué)家）和James Ballard（CIO）共同創(chuàng)立。他們在之前的公司Cylance（一家安全初創(chuàng)公司，后被BlackBerry收購。）遭遇了對AI模型的網(wǎng)絡(luò)攻擊后產(chǎn)生了這個創(chuàng)業(yè)想法。

HiddenLayer的CEO兼聯(lián)合創(chuàng)始人Chris Sestito回憶道：“在我們保護的機器學(xué)習(xí)模型直接通過我們的產(chǎn)品受到攻擊后，我們領(lǐng)導(dǎo)了救援工作，并意識到這對于在我們的產(chǎn)品中部署機器學(xué)習(xí)模型的任何組織都將是一個巨大的問題。我們決定創(chuàng)立HiddenLayer，旨在教育企業(yè)了解這一重大威脅，并幫助他們抵御攻擊?！?/p>

Sestito曾在Cylance領(lǐng)導(dǎo)威脅研究，Ballard是Cylance的數(shù)據(jù)策劃團隊負(fù)責(zé)人，Burns則是威脅研究員。

Chris Sestito談到市場機會時說：“我們知道，幾乎每家企業(yè)現(xiàn)在都在多種形式上使用AI，但我們也知道，沒有其他技術(shù)在沒有安全保護的情況下實現(xiàn)了如此廣泛的采納。我們致力于為市場上滿足這一未滿足需求的客戶創(chuàng)造最無摩擦的安全解決方案?！?/p>

在談到技術(shù)時，Chris Sestito則說：“許多數(shù)據(jù)科學(xué)家依賴預(yù)訓(xùn)練的、開源的或?qū)Ｓ械臋C器學(xué)習(xí)模型，以縮短分析時間并簡化測試工作，然后從復(fù)雜的數(shù)據(jù)集中獲得洞察。使用公開可用的預(yù)訓(xùn)練開源模型，有可能使組織暴露于被篡改的公開可用模型的遷移學(xué)習(xí)攻擊。

我們的平臺提供了保護AI模型免受對抗性攻擊、漏洞和惡意代碼注入的工具。它監(jiān)控AI系統(tǒng)的輸入和輸出，在部署之前測試模型的完整性。它使用技術(shù)僅觀察模型的輸入和由它們產(chǎn)生的輸出的向量（或數(shù)學(xué)表示），而不需要訪問他們的專有模型?！?/p>

M12的管理合伙人Todd Graham表示：“受到自己與對抗性AI攻擊的經(jīng)驗的啟發(fā)，HiddenLayer的創(chuàng)始人們建立了一個對任何使用AI和ML技術(shù)的企業(yè)都必不可少的平臺。

他們對這些攻擊的親身經(jīng)歷，結(jié)合他們的愿景和新穎的方法，使該公司成為保護這些模型的首選解決方案。從與創(chuàng)始人的第一次會面開始，我們就知道這在安全領(lǐng)域是一個大創(chuàng)意，并希望幫助他們擴大規(guī)模?！?/p>

打造全面保護AI安全的MLSec平臺

HiddenLayer的旗艦產(chǎn)品是檢測和預(yù)防針對機器學(xué)習(xí)驅(qū)動系統(tǒng)的網(wǎng)絡(luò)攻擊的安全平臺（MLSec），它是業(yè)界首款MLDR（機器學(xué)習(xí)檢測與響應(yīng)）解決方案，能夠保護企業(yè)及其客戶免受新興攻擊手段的侵害。

這個MLSec平臺由HiddenLayer MLDR、ModelScanner和Security Audit Reporting組成。

HiddenLayer的MLSec平臺配備了一個簡單但功能強大的儀表板，允許安全經(jīng)理一目了然地了解他們的企業(yè)ML/AI模型是否處于安全狀態(tài)。它還會根據(jù)問題的嚴(yán)重性自動列出安全問題和警報的優(yōu)先級，并存儲企業(yè)可能被要求進行的合規(guī)性、審計和報告的數(shù)據(jù)。

其MLDR解決方案采用基于機器學(xué)習(xí)的方法，每分鐘分析數(shù)十億的模型交互，以識別惡意活動，而無需訪問或事先了解用戶的ML模型或敏感訓(xùn)練數(shù)據(jù)。它能夠檢測并響應(yīng)針對ML模型的攻擊，保護知識產(chǎn)權(quán)和商業(yè)機密免受盜竊或篡改，確保用戶不會受到攻擊。

HiddenLayer還提供面向?qū)剐詸C器學(xué)習(xí)（AML）專家團隊的咨詢服務(wù)，他們可以進行威脅評估，為客戶的網(wǎng)絡(luò)安全和開發(fā)運營人員提供培訓(xùn)，并進行“紅隊”演練，以確保客戶的防御措施按預(yù)期工作。

HiddenLayer的MLSec平臺可以防范的攻擊種類

推斷/提?。?/strong>提取攻擊涉及攻擊者操縱模型輸入，分析輸出，并推斷決策邊界以重構(gòu)訓(xùn)練數(shù)據(jù)，提取模型參數(shù)，或通過訓(xùn)練一個近似目標(biāo)的替代模型進行模型盜取。

盜取機器學(xué)習(xí)模型：攻擊者竊取昂貴的機器學(xué)習(xí)框架的成果。

訓(xùn)練數(shù)據(jù)的提?。?/strong>攻擊者可以在不訪問機器學(xué)習(xí)模型的參數(shù)的情況下，僅通過觀察其輸出來進行成員推斷攻擊。當(dāng)目標(biāo)模型接受敏感信息的訓(xùn)練時，成員推斷可能會引起安全和隱私問題。

數(shù)據(jù)投毒：當(dāng)攻擊者向訓(xùn)練集注入新的、特定修改的數(shù)據(jù)時，就會發(fā)生投毒。這會欺騙或顛覆機器學(xué)習(xí)模型，使其提供不準(zhǔn)確、偏見或惡意的結(jié)果。

模型注入：模型注入是一種依賴于通過插入一個惡意模塊來修改機器學(xué)習(xí)模型的技術(shù)，該模塊引入了一些秘密的有害或不希望的行為。

模型劫持：這種攻擊可以將惡意代碼注入到現(xiàn)有的PyTorch模型中，它會將當(dāng)前目錄中的所有文件泄露到遠(yuǎn)程服務(wù)器。

HiddenLayer提供以下具體服務(wù)

威脅建模：通過發(fā)現(xiàn)性訪談和基于場景的討論，評估整體的AI/ML環(huán)境和資產(chǎn)風(fēng)險。

ML風(fēng)險評估：對客戶的人工智能運營生命周期進行詳細(xì)分析，并深入分析客戶最關(guān)鍵的AI模型，以確定當(dāng)前的AI/ML投資對組織的風(fēng)險，以及改善所需的努力和/或控制措施。

專家培訓(xùn)：為數(shù)據(jù)科學(xué)和安全團隊提供全天培訓(xùn)，幫助他們獲得防范這些針對AI的攻擊和威脅。

紅隊評估：對抗性機器學(xué)習(xí)研究（AMLR）團隊將模擬攻擊者的攻擊來評估現(xiàn)有的防范措施，并修補漏洞。

AI/ML模型掃描：使用HiddenLayer的模型完整性掃描器，測試和驗證現(xiàn)有的AI/ML模型是否免受威脅（例如惡意軟件）和篡改。

ML檢測與響應(yīng)（MLDR）實施服務(wù) ：專業(yè)地實施和整合HiddenLayer的MLDR產(chǎn)品到AI/ML環(huán)境中，為數(shù)據(jù)科學(xué)和安全團隊提供所需的功能和可見性，以預(yù)防攻擊、提高響應(yīng)速度，并最大化模型的有效性。

與巨頭的合作，加強生態(tài)建設(shè)

除了產(chǎn)品和平臺建設(shè)外，HiddenLayer也擁有強有力的合作伙伴，它Databricks達(dá)成了合作伙伴關(guān)系，將AI模型部署到Databricks數(shù)據(jù)湖中的企業(yè)用戶也能使用MLSec平臺。這就從數(shù)據(jù)湖層面將安全性內(nèi)置到AI中。

通過與Intel的戰(zhàn)略合作，把英特爾SGX上的機密計算和HiddenLayer的機器學(xué)習(xí)模型掃描器相結(jié)合，提供了軟硬一體的AI安全解決方案。

這兩大戰(zhàn)略合作，讓HiddenLayer的整個生態(tài)更加完整，也獲得了客戶的青睞，它目前已經(jīng)在金融，政府等領(lǐng)域獲得了數(shù)家大客戶。

AI進入實用階段，AI安全的創(chuàng)業(yè)機會顯現(xiàn)

針對AI的安全，尤其是模型層面的安全，已經(jīng)是一個確定的需求，此前已有專做AI模型安全的Protect AI獲得由Evolution Equity Partners和Salesforce Ventures共同領(lǐng)投的3500萬美元A輪融資。

而根據(jù)HiddenLayer創(chuàng)始人Sestito的說法，隨著AI市場的增長，AI安全的市場也會同步的增長，除了Protect AI和HiddenLayer以外，還有Robust Intelligence、CalypsoAI、Halcyon和Troj.ai等公司也在AI安全領(lǐng)域耕耘。

例如HiddenLayer的早期投資者Ten Eleven Ventures也投資了Halcyon的2000萬美元種子輪融資，這家公司主要做的是AI勒索軟件的防御工具，可以幫助使用AI軟件的用戶防范攻擊，并從攻擊中快速恢復(fù)回來。

隨著這波AI的浪潮從概念炒作階段進入到實際的應(yīng)用階段，從以大模型創(chuàng)業(yè)為主，進入到AI應(yīng)用創(chuàng)業(yè)為主，AI的安全性越發(fā)重要。無論是保證AI模型的安全，還是保護AI應(yīng)用的安全，AI安全的發(fā)展都能夠讓AI在ToC端和企業(yè)端的滲透進一步加深。

海外已經(jīng)有了數(shù)量不少的AI安全創(chuàng)業(yè)公司，在中國市場，同樣的需求也大量存在，我們期待本土的優(yōu)秀創(chuàng)業(yè)者們向著這個重要的創(chuàng)業(yè)領(lǐng)域進發(fā)。

本文為專欄作者授權(quán)創(chuàng)業(yè)邦發(fā)表，版權(quán)歸原作者所有。文章系作者個人觀點，不代表創(chuàng)業(yè)邦立場，轉(zhuǎn)載請聯(lián)系原作者。如有任何疑問，請聯(lián)系editor@cyzone.cn。