企業(yè)智能之旅（4）：智能企業(yè)為生成式 AI 做好數據準備

出海新觀點·2024-09-18

在數字經濟時代，數據是企業(yè)數字化轉型和生成式 AI 技術創(chuàng)新的戰(zhàn)略制高點，數據能力驅動了生成式 AI 的發(fā)展，AI 也根本改變了數據的分析應用。最近對企業(yè)首席數字官的一份調研中，93% 受訪者認為擁有實用的數據戰(zhàn)略管理好數據是企業(yè)生成式 AI 成功的關鍵，46% 受訪者認為數據是妨礙他們成功的主要很困難和障礙，而 57% 受訪者坦誠還沒有建立好有關的數據戰(zhàn)略。

如果把生成式 AI 應用比喻成在數據海洋上漂流的冰山的漂浮在水上的一角，那么企業(yè)數據架構和數據積累則是這座冰山藏在水下的巨大冰體。企業(yè)數據的全面多樣、一致準確、和安全可靠是智能企業(yè)生成式 AI 項目成功的關鍵。企業(yè)需要制定企業(yè)的數據戰(zhàn)略，構建數據驅動的文化，建立與之相適應的企業(yè)組織機構，構建現代的數據架構，采用現代的數據管理工具，做好數據安全隱私合規(guī)相關的數據治理。關于如何有效地為生成式 AI 做好數據準備工作，我們做以下概述介紹，供您參考。

1. 數據是企業(yè)的血液，數據為企業(yè)帶來敏捷和效率

數據是企業(yè)重要的資產，分析型數據是企業(yè)運維的關鍵，幫助企業(yè)了解企業(yè)的現狀和問題，預測性數據則為企業(yè)帶來預測力和洞察力，幫助企業(yè)決策以掌控動態(tài)和方向。數據也是企業(yè)重要的負債，存儲管理數據為企業(yè)帶來成本支出，而數據安全隱私合規(guī)也為企業(yè)帶來責任和負擔。企業(yè)管理好數據，利用數據做更好的決策，能更好掌握市場動態(tài)和趨勢，改善客戶體驗，發(fā)現新的成長機會，提高業(yè)務運營效率。

關于數據的重要性有不少有趣的比喻。有人說數據是企業(yè)的“原油”，“黃金”，“牛奶”或“美酒”，也有人把數據看作“洪水“。這些比喻從不同方面闡述了數據的重要特性。我喜歡把數據看做企業(yè)的“血液”，而企業(yè)的數據流就是企業(yè)的血液流。企業(yè)數據管理水平高，企業(yè)就能更加健康、敏捷、高效。把數據作為資產轉化為產品，可以為企業(yè)帶來巨大的價值。

2. 建立數據驅動的企業(yè)文化，增強數據文化水平

企業(yè)數據驅動的文化意味著企業(yè)將數據作為企業(yè)重要的戰(zhàn)略資產，讓數據在企業(yè)中容易獲取并廣泛使用，利用數據進行業(yè)務管理和決策。企業(yè)領導團隊要帶頭以數據來決策，打破部門間的數據壁壘，鼓勵所有人員用數據來指導行動，移除有效使用數據的障礙。企業(yè)要建立數據是戰(zhàn)略資產的觀念，建立機構指定專人負責數據的流通和治理，將數據開發(fā)為產品并為企業(yè)一線工作人員廣泛使用。企業(yè)要建立數據相關的統一的語匯，培養(yǎng)教育員工提高數據水平（data literacy），掌握獲取數據的渠道，學會使用各種數據工具。領導要不滿足于利用數據形成的簡單結論，而是利用數據提出分析問題，通過探索和實驗獲得答案和洞察。

3. 搭建數字現代基礎架構：數據湖與數據網

生成式 AI 對企業(yè)的數據平臺和管理提出了新的更高的要求。企業(yè)需要搭建一個強力的數據基礎架構以實現數據的價值，并為生成式 AI 打下堅實的基礎。這個數據基礎架構要打破部門間的數據孤島和壁壘，跨企業(yè)存儲組織數據，保證數據質量，管理元數據，提供數據目錄分類，支持數據抽取查詢，維護數據隱私安全合規(guī)。

亞馬遜云科技提供數據存儲、數據庫、數據倉庫、數據分析、數據展示等全方位的云原生和無服務器的數據云服務。亞馬遜云原生數據戰(zhàn)略通過“云原生數據基礎架構”、“數據聯通一體化融合”、“智能驅動的數據應用創(chuàng)新”三個支柱與“數據治理與數據安全”一個基石，幫助企業(yè)治理好數據。企業(yè)通過“智能湖倉”和“數據網格”架構，將數據庫、倉、湖連接成為一個數據網，實現零 ETL 的數據聯通和部署，通過數據分析和 AI 服務構建現代企業(yè)應用。

4. 為生成式 AI 做好專門的能力提升和數據準備

生成式 AI 所利用的非結構化的數據需要準確，新鮮、獨特、全面的高質量數據。在生成式 AI 的流程里，選定的海量數據通過標注和預處理，用來進行對基礎模型的訓練，隨后用來對模型精調和持續(xù)訓練，然后作為輸入通過模型推理，成為生成式 AI 應用的輸出。數據和 AI 耦合成雙飛輪，形成數據到模型到應用的生成式 AI 服務端到端的智能數據應用。為生成式 AI 做好數據工作，企業(yè)需要掌握下面 7 個方面的能力：數據的收集和存儲，數據清洗，數據整合集成，數據標注和分類，數據版本控制，數據世系溯源，數據流程運營，和數據生命周期管理。

為生成式 AI 做好數據準備，企業(yè)特別需要在數據架構中構建特定功能支持最廣泛的用例集，聚焦數據生命周期的關鍵點，確保高質量的數據，定義數據采集、管理、注釋和維護的角色、職責和流程，使用生成式 AI 幫助企業(yè)管理自己的數據。其中一些值得專門指出的點包括：（1）策劃建立反映不同觀點的數據集，（2）通過啟用而不是通過限制來治理數據，（3）把數據作為有價值的產品，（4）提升數據透明度和可用范圍，（5）文檔應該賦能而不是窮于應付，（6）尊重用戶隱私、授權和保密權。

5. 提高數據質量，確保生成式 AI 應用的高質量輸入輸出

數據質量對生成式 AI 的決定性作用如何強調都不過分，低質量的數據帶來額外的成本和風險，產生低質量的模型和結果，造成高成本的修復，失去用戶的信任，產生網絡安全漏洞。傳統的數據質量管理已經不夠，我們建議通過以下一些特別的措施改進和擴展所需的數據：（1）獲取更多種類和更加準確的原數據，特別是各種非結構化的數據；（2）當缺少所需數據時，用數據合成的方法人工產生數據用來建模和測試；（3）用人工智能技術加速形成端到端的可重復的規(guī)模使用的數據產品；（4）更好地通過關聯和協同來管理數據，保持數據的一致性；（5）通過云平臺遷移構建現代化的數據架構；（6）制定統一的數據安全標準，在數據流程中的每一步加強數據安全管理。

6. 使用生成式 AI 提升數據管理應用水平

生成式 AI 帶來了數據應用的范式轉移，重塑了數據分析行業(yè)，使具有不同技術背景的數據分析師能夠高效地執(zhí)行數據處理任務。許多生成式 AI 有關的算法、模型和工具原本就是為更好的數據分析而發(fā)展起來的，無疑它們將會被更廣泛深入地被用于數據的實時和預測分析。生成式 AI 可以用來做數據的標注和預處理，生成分析所需的數據，自動化數據的分析，強化數據的語義分析，將數據轉化成文字、圖像、視頻等多模態(tài)。人工智能通過自動生成樣板代碼和促進數據從源到目標的無縫移動，和生成的自動化模式和自定義代碼的協同作用，標志著數據處理的飛躍，在數據工程中發(fā)揮著關鍵作用。

使用生成式 AI 增強數字管理應用的水平，可以在下述幾個方面做出努力：（1）廣泛利用生成式 AI 挖掘所有數據以獲取最大的價值；（2）除了培訓模型以外，利用大模型的語言語義模型工具，盡可能加強對數據的學習和理解；（3）利用 AI 盡量自動化規(guī)?；M行更多的數據工作；（3）讓數據工作人員有時間結合業(yè)務做更多的獨立的創(chuàng)造性的分析和思考；（4）綜合統籌數據和人工智能資源，做好人員新技能的獲得和再培訓。

智能之旅是我們這一代企業(yè)經營者和員工的的使命，而構建企業(yè)數據的核心能力需要企業(yè)領導團隊的持續(xù)努力和不斷實踐。通過制定和加速企業(yè)的數據戰(zhàn)略，構建數據驅動的文化，建立與之相適應的企業(yè)組織機構，采用現代的數據技術建立現代的數據架構，并做好數據安全隱私合規(guī)相關的數據治理，企業(yè)將能通過生成式 AI 的加持，有效通過數字化轉型創(chuàng)新，用數據幫助企業(yè)成長和創(chuàng)造價值。其中的三大關鍵點是高質量的數據、好的模型與工具，和數據的安全隱私主權的治理管控。