人工智能指的是計算代理的開發，這些代理可以執行與人類智能相關的任務，包括語音識別、視覺感知和一般問題解決，其發展高度依賴數據的流通和使用，例如在數據收集、數據準備、模型開發和部署等重要環節均需要利用數據進行訓練、測試以及評估等。伴隨自然語言處理、搜索引擎、智能生成應用等人工智能技術和產品在日常生活中的深度融合與廣泛應用，數據使用規模增長，流動性增強，暴露面增多，由此帶來的數據泄露、數據被盜用或數據投毒等安全風險值得進一步關注。目前，美國、英國、歐盟、新加坡等國家和地區已通過發布國家戰略、行政命令、規范指南和研究報告等手段，對人工智能技術和產品在實際應用中涉及的數據安全問題進行規制，以控制和減輕人工智能技術的應用所帶來的數據安全風險。

本文旨在探討人工智能面臨的數據安全風險，梳理和分析國外人工智能數據安全規制現狀并有針對性地提出我國人工智能的發展路徑。

人工智能面臨的數據安全風險

技術脆弱性容易導致數據泄露或被盜用

人工智能技術自身的脆弱性和復雜性等特點容易造成數據泄露或被盜用。一方面，深度學習、大模型等人工智能技術本身仍處在發展階段，容易出現重要結構丟失等問題，引發數據泄露。例如，2023年12月，DeepMind的研究人員聯合美國華盛頓大學、康奈爾大學等高校研究人員利用分歧攻擊等方法，發現了ChatGPT的數據泄露漏洞，利用該漏洞可以提取出大約1GB的訓練數據。另一方面，人工智能在開發和應用過程中需要大量接入應用程序接口（Application Programming Interface，API），API自身的漏洞和安全隱患以及不同API之間不同的數據安全防護能力和要求進一步提升了數據在收集、流動和處理過程中的安全防護要求，也從側面加劇了數據泄露和被盜用的風險。

人工智能技術實際應用過程中容易過度收集數據

人工智能技術從本質上是一種通過數據驅動的方法，因此允許人工智能系統在日常應用場景中訪問、收集和處理個人信息等數據是合理且不可避免的。然而，目前智能音箱、智能攝像頭、智能門鎖、智能網聯汽車等智能設備廣泛應用于家庭、交通、辦公、娛樂等場所，容易出現相關設備在未經授權或超出授權的情況下收集個人信息、超出業務功能實現所需數據范圍收集信息等問題，可能違反個人信息保護相關法律對于數據收集合法、正當、必要和最小化等要求，進而引發識別和暴露數據主體行為的風險，損害數據主體的相關權益。

算法模型透明度有待加強

在沒有用戶參與的情況下，通過自動化手段使用事實數據或經過推斷做出決策的過程被稱為自動化決策（Automated Decision Making，ADM），這是人工智能技術應用的重要場景之一。例如，日常購物、新聞和短視頻瀏覽、廣告推送等很多活動都涉及到通過特定算法對用戶的日常行為、偏好、個人習慣、經濟狀況等信息進行收集、整合、處理分析、評估和判斷，對人們的日常生活乃至社會發展產生了很大的影響。根據大多數國家和地區的數據安全立法和建議，自動化決策應該是透明、可解釋、不帶有偏見和歧視的，但實際情況卻不容樂觀。伴隨著人工智能技術的不斷發展，特別是近十年來深度學習技術、大模型技術等普遍呈現“黑箱”特征，并且通過在網絡中使用復雜的非線性關聯和連接，算法的復雜化發展造成了目前自動化決策容易缺乏透明性和可解釋性，進一步增加了個人隱私泄露的風險和侵犯個人合法權益等問題。

訓練數據遭受攻擊后可能引起決策失誤

準確性是人工智能系統的核心要求之一。人工智能算法做出的不準確的決策可能會導致有害于用戶乃至社會的嚴重后果。例如，對交通情況的不準確判斷可能導致交通擁堵甚至車禍發生；對健康狀況的不準確判斷可能影響用戶的就診時機。人工智能的決策失誤往往是因為訓練數據遭受了“投毒”“欺騙”等外部攻擊，例如數據投毒通過在訓練數據里加入偽裝數據、惡意樣本等破壞數據的完整性，進而導致訓練的算法模型決策出現偏差，造成相關數據被偽造或者被篡改，或者潛在攻擊者通過向計算模型注入無效數據，利用潛在漏洞破壞計算結果或者引導輸出隱私信息等，潛在危害很大。

國外人工智能數據安全規制現狀

美國：多方參與，協同推進人工智能數據安全落地

美國白宮、聯邦行政部門、科研機構等多方主體通過發布行政命令、實踐指南和研究報告等方式嘗試給出解決人工智能數據安全問題的路徑，以維護其在人工智能領域的全球領先地位。

2023年10月30日，美國總統拜登簽署頒布了《關于安全、可靠、值得信賴地開發和使用人工智能的行政命令》，該命令明確了美國政府對待人工智能的政策法制框架，涉及人工智能技術的技術研發、安全保障、全球合作等關鍵議題。該命令專門設置了“保護美國民眾的隱私”章節，詳細闡述了白宮應對人工智能數據安全問題的3條措施。一是針對人工智能技術在實際應用中對個人隱私的威脅，要支持并加快加密技術等隱私保護技術的研發和資金投入，保護用于人工智能的訓練數據以及普通用戶的個人信息的安全。二是推動開展機構評估工作，評估各機構如何收集和使用商業可用信息，包括從數據代理那里獲得的信息，并加強對聯邦機構的指導。三是制定實施指導方針，以評估人工智能技術中使用到的隱私保護技術的有效性。

在此基礎上，2024年4月，美國國家安全局發布了《安全部署人工智能系統：部署安全、彈性人工智能系統的最佳實踐》,該實踐建議采取強密碼策略、內部網絡分區、訪問控制和加密。另外，還可以使用數據偽裝等方法來混淆數據，使得攻擊者無法對數據進行分析從而防止針對人工智能系統中的數據進行外部或內部攻擊。

此外，美國斯坦福大學也在同一時期發布了《反思人工智能時代的隱私問題——針對“以數據為中心”世界的政策建議》白皮書，該白皮書談到了3項人工智能數據安全保護措施。一是進一步調整數據收集規則，將數據收集的“默認狀態”從“統一收集”改變為“不同意收集”，充分實現數據收集最小化。二是持續關注人工智能下數據全生命周期的安全，增強數據處理活動的透明度，確保數據從收集、存儲到加工、處理等各個環節的安全。三是優化個人信息的管理模式，持續更新技術保護手段并建立新的數據治理機制。

英國：包容審慎，溫和規范人工智能發展與數據流通共享

在人工智能數據安全規制方面，英國政府一方面提出“基于原則”的人工智能治理方法，兼顧“監管”與“創新”，為行業提供了具備確定性、一致性的監管方法。另一方面不斷促進數據流動與共享，持續賦能人工智能健康發展。

在治理方面，2023年3月，英國政府發布了《促進創新的人工智能監管方法》。該方法明確提出，人工智能在使用過程中存在隱私和代理風險，具體來說就是家中連接的設備可能會不斷收集數據，包括對話，這可能會對個人的家庭生活進行近乎完整的描述。訪問這些數據的各方主體越多，隱私風險就越大。對此，可以通過利用“適當的透明度和可解釋性”原則來加強用戶和監管人員對于人工智能系統實際運行情況的了解，從而解決相應的隱私風險。

在促進數據流通共享方面，2023年12月，英國《數據保護和數字信息法案》在上議院進行了二讀，該法案提到，要減少數據流動的障礙，并與提供足夠數據保護能力水平的國家（如美國、阿聯酋等）建立“數據橋梁”，促進數據流通，從而從側面間接推動人工智能的發展。

在技術方面，2022年9月7日，英國信息專員辦公室發布了《匿名化、假名化及隱私增強技術指南草案》，介紹了隱私增強技術的基本概念、傳統隱私增強技術和新型隱私增強技術的類型定義和應用場景，并通過3項具體場景給出了隱私增強技術的應用指南。

歐盟：嚴格規制，有效防范人工智能數據安全風險

歐盟在人工智能數據安全規制方面保持了一貫的強勢姿態，通過禁止或限制高風險應用來監管人工智能，從而解決或緩解正在面臨的數據安全風險。2024年5月，歐洲理事會正式批準《人工智能法案》。作為專門針對人工智能的綜合性立法，該法案明確提出了3項保護人權和隱私的具體措施。一是透明度和可解釋性。要求人工智能系統的開發者提供關于算法工作原理的足夠信息，確保用戶和系統之間的互動是透明的。這一舉措有助于用戶理解系統的決策過程，從而避免因為不可預測的行為而侵犯人權。二是數據保護。強化了數據保護要求，包括對個人數據的收集、處理和使用進行嚴格監管。開發者必須遵循數據最小化原則，只收集完成任務所必需的數據，并采取措施保護數據的機密性、完整性和可用性。三是禁止濫用。明確禁止利用人工智能系統侵犯人權和隱私的行為，如歧視、侵犯隱私、操縱個人數據等。違反者將面臨嚴厲的法律制裁。

除此之外,《通用數據保護條例》《算法問責及透明度監管框架》以及《數字服務法案》等已經頒布和生效的法律規范也不同程度涉及了算法解釋權的設立、算法透明度和可解釋性的監管以及算法透明審計等內容，進一步提升了人工智能數據安全。

新加坡：靈活開放，明確人工智能數據安全原則和方向

新加坡政府對人工智能發展的監管始終秉持開放和學習的態度。2018年，新加坡金融管理局發布了《促進新加坡金融業公平、道德、可問責和透明地使用人工智能和數據分析的原則》，對金融機構合理、準確使用人工智能和數據分析工具并建立有效的問責機制等進行指引。

2023年12月，新加坡發布了《國家人工智能戰略2.0》，明確提出在合成數據生成、數據注釋、聯邦學習和同態加密等領域加強隱私增強技術的研發，并且明確將為企業和個人提供安全工具包，以應對人工智能安全風險。

2024年3月，新加坡個人數據保護委員會發布了《關于在人工智能推薦和決策系統中使用個人數據的咨詢指南》。該指南明確了人工智能系統在數據收集和準備、模型開發和部署等環節對個人信息的保護要求，明確數據收集最小化、數據匿名化等注意事項，同時給予了相關服務提供商最佳案例指導，為實踐工作有序開展提供參考。

對我國的啟示及借鑒

為充分解決人工智能數據安全風險，促進人工智能技術健康發展，要從強化頂層設計、強化安全監管、加快技術創新等方面著手，構建全方位、多元化的解決方案。

強化頂層設計

全面的頂層設計是支撐人工智能數據安全的基礎。目前，國內針對算法和生成式人工智能已經出臺了《互聯網信息服務算法推薦管理規定》《互聯網信息服務深度合成管理規定》《生成式人工智能服務管理暫行辦法》等法律規范，明確提出了人工智能服務提供者應當建立數據安全和個人信息保護管理制度并采取技術措施，實施算法備案、分類分級管理等。面對人工智能數據安全監管的頂層設計已初步構建，但與美歐等發達國家和地區覆蓋多行業多領域的監管策略相比，仍存在重點行業重點領域頂層設計缺失等問題。為進一步強化人工智能數據安全頂層設計，建議盡快制定醫療、教育、通信、新能源、智能網聯汽車等人工智能技術普遍應用的重點行業重點領域人工智能數據安全規范指引，合理擴大監管范圍，進一步明確相關行業主體在人工智能數據安全方面的責任和義務，規范技術應用和管理措施，確定違規罰則，確保相關行業人工智能數據安全。

加強實踐指引

明晰的實踐指引是確保人工智能數據安全的關鍵核心。近年來，歐美等發達國家和地區均發布了人工智能的實踐或實踐指引，用以引導行業企業合理處理人工智能數據安全風險，提升安全能力。目前為止，國內針對人工智能數據安全的實踐指引較為缺乏，企業經常面臨“如何做”“做到什么程度”的困惑。為解決上述問題，一方面，建議重點行業重點領域適時發布人工智能數據安全行業實踐指引，明確本行業本領域人工智能數據安全防護重點難點，指導企業建立健全人工智能數據安全技術和管理體系，幫助企業快速有效處理數據安全風險。另一方面，建議適時開展行業人工智能數據安全典型實踐遴選工作，充分挖掘典型經驗做法，樹立安全防護標桿，有效促進相關從業人員切實提升數據安全防護能力。

加快技術創新

有效的安全技術手段是實現人工智能數據安全的重要保障。英國、新加坡、歐盟等國家和地區均提出了加強安全多方計算、聯邦學習等隱私增強技術的研究和應用，以應對人工智能數據安全風險，加強數據安全防護。目前國內在類似技術的研究和應用方面仍處在起步階段，相關技術發展時間較短，與國外相比仍有一定差距。因此，應當盡快推動隱私計算、合成數據生成、數據質量管理等與人工智能數據安全緊密相關的前沿技術穩定發展，明晰技術應用范式，進一步優化技術架構，提升技術性能和效率。推動相關技術在重點行業應用，引導相關技術落地實踐。另外，應當進一步探索和開發人工智能數據安全保障框架，明確數據安全保障機制、流程和達到的效果，進一步指導安全技術應用實施。

總結與展望

人工智能作為新興領域正處在快速發展時期，對于社會生活產生了顯著影響。例如，ChatGPT、文心一言等生成式人工智能不僅深度賦能政務、金融、交通、購物等生活的方方面面，成為日常生活的得力助手，并且有力推動了數據、算力、算網等深度融合，賦能新質生產力的發展。然而，人工智能技術的廣泛應用所帶來的數據泄露、被盜用、被篡改等問題也日益嚴重。我國作為人工智能和數據安全領域的先行國家，要始終秉持既嚴肅認真又審慎包容的態度，發揮相關優勢，在頂層設計、實踐指引、技術創新等方面不斷發力，有效提升人工智能數據安全保護能力，更好推動社會高質量發展。