文 | 中國科學院信息工程研究所 虎嵩林
習近平總書記指出：“要重視通用人工智能發展，營造創新生態，重視防范風險”。近年來，以生成式預訓練大模型（GPT）為代表的生成式人工智能大模型（簡稱“大模型”）迅猛發展，顯著提升了通用理解和生成能力，但也帶來了前所未有的安全風險。本文在梳理當前大模型的認知應用、信息應用和物理應用三類應用模式的基礎上，分析其對國家安全的沖擊。因此，本文建議建立國家級大模型安全科技平臺，搶占人工智能安全科技制高點，突破大模型安全關鍵技術，培育人才隊伍，助力人工智能安全產業集群發展，為人工智能大模型的可持續健康發展保駕護航。
一、大模型應用的深度和廣度不斷拓展
隨著大模型及其應用的蓬勃發展，繼 OpenAI推 出 ChatGPT 之后，國內外科技公司如谷歌、Meta、百度、阿里巴巴、智譜和百川等也迅速跟進，相繼推出了各自的大模型，并積極投入到大模型賦能的新型應用中。參照認知域、信息域和物理域的劃分方法，當前基于大模型的應用主要可以分為三類。
一是認知應用，即基于大模型的信息內容生成應用，涵蓋文本、圖像、音頻、視頻生成以及跨模態生成，典型的代表如 ChatGPT、Sora、GPT-4o 等。據量子位智庫測算，2028 年起，我國人工智能生成內容（AIGC）產業市場規模將持續保持高速增長，2030 年市場規模超萬億。人工智能生成內容將成為認知域的重要組成部分。同時，大模型認知類應用也將成為繼社交網絡和推薦平臺之后，人們獲取信息的新形態，這將深刻影響人類的思想和意識形態。
二是信息應用，即基于大模型的信息系統指令控制應用，以智能體為典型代表。大模型賦能的智能體能夠訪問網絡、調用應用程序編程接口（API），使用各類信息系統工具，例如電力系統智能體能夠自主理解歷史數據、感知實時信息，從而實現電力調度策略的優化等。大模型與信息系統的深度融合將對信息域的應用形態演變產生深遠影響。據國外調研機構 Markets and Markets預計，2023 年全球自主人工智能和自主智能體（Autonomous Agent）市場的收入規模超過 48 億美元，到 2028 年有望達到 285 億美元左右（約合2000 億元人民幣）。
三是物理應用，即基于大模型的物理世界行為控制，包括對工業設備、無人機、機器人等的控制，典型代表如具身智能。人形機器人作為具身智能的一種形態，有望成為人工智能下一個重要落地應用場景。根據IFR和中國電子學會數據，盡管人形機器人處于起步階段，但參照其他電子產品滲透率超過 20% 后將爆發式增長，預計到 2030 年，我國人形機器人市場規模有望達到約 8700 億元。此外，由人工智能賦能的各類自主武器系統也已經投入實戰，有望引發繼火藥和核武器之后的“第三次軍事革命”。
從認知應用到信息應用、物理應用，大模型應用的深度和廣度不斷擴展，正在發展成為人類價值觀和知識的重要載體，以及認知和決策的重要基礎設施。
二、大模型安全風險引發全球關切
在賦能新質生產力發展的同時，大模型的安全風險也在全球范圍內引發了高度關注。計算機領域的國際最高獎項——圖靈獎得主杰弗里·辛頓以及 OpenAI 公司 CEO 薩姆·奧爾特曼等領軍人物，都曾通過聲明或文章聯名發出警告，指出這些模型可能帶來的“毀滅性”風險，并將其與流行病以及核戰爭相提并論。此外，《自然》（Nature）雜志預測 2024 年值得期待的重大科學事件：GPT5的發布和聯合國人工智能高級別咨詢機構將于 2024 年年中發布人工智能治理報告，這也反映出全球對統籌發展和安全的重大關切。我們認為，大模型將在認知、信息和物理三個領域對政治、經濟、軍事、文化等總體國家安全觀涉及的各個方面產生沖擊。
一是認知域安全。數據污染、模型算法的局限性或者惡意攻擊等因素，都可能導致大模型歪曲正確的價值觀，生成和散播虛假有害信息，誤導人類決策，從而破壞政治、文化等領域的認知安全根基，甚至成為破壞穩定的社會操縱工具。
二是信息域安全。大模型正迅速成為智能化時代的基礎底座，其地位類似于數字化時代“數據庫”。如果安全漏洞被惡意利用，可能產生各類非法工具調用和操作，將嚴重威脅信息系統的安全與穩定運行。此外，基于大模型的網絡攻防技術的發展也將加速大模型武器化的趨勢，顛覆現有的網絡和系統安全格局，對信息系統產生破壞性影響。
三是物理域安全。大模型已經被廣泛應用于無人機等領域的自動控制以及 FigureAI（與 OpenAI 合作開發自主通用人形機器人的公司）為代表的具身智能中，成為包括工控設備、武器裝備在內的各類物理系統的“神經中樞”。對大模型的惡意利用或安全攻擊，可能引發設備失控、物理系統損毀，甚至導致嚴重的戰爭災難。
需要強調的是，大模型本身正在從人類可利用的工具客體向認識和改造自然社會的主體轉變。由于其豐富的創造潛力，大模型已被廣泛應用于數學定理證明、化學研究等科學探索中。在社會層面，《科學》（Science）雜志的政策論壇（Policy Forum）欄目中的一篇文章中提出，人工智能可以在無需人類指導的情況下獨立運營公司，成為具有權利和義務的法律主體，并呼吁為這一新的“物種”制定相應的法律框架。隨著大模型在社會生產和生活各個領域的“主體化”，技術革新將不斷引發倫理和法律層面的深刻變革。更嚴重的是，一旦機器實現了通用人工智能，擺脫了人類的控制，在認知域、信息域、物理域上自主部署，與各類武器系統連接，并“毫無人性”地指揮殺戮和破壞，這將給人類和地球帶來滅絕式的風險。“站在十字路口的人類”將迎來人工智能的“奧本海默時刻”。
在大模型基礎設施屬性日益凸顯的智能時代，沒有大模型的安全，就無法保障大模型技術和產業的健康快速發展。確保基于大模型的數字和物理空間應用安全，促使大模型遵循人類價值觀、服從人類意圖，并實現有用性（Helpful）、無害性（Harmless）和誠實性（Honest）3H 多目標的平衡，已經成為亟待解決的重大難題。
三、大模型安全科技發展仍處在起步階段
當前，大模型安全已成為全球共識，并成為大國科技競爭的重要制高點。歐盟發布《人工智能法案》，提出全面的人工智能分級監管機制，開啟了人工智能全球監管時代。美國于 2023 年通過行政命令，要求評估人工智能的安全風險。拜登政府已多次與人工智能領域的企業家和學者會面，并提出了《人工智能權利法案藍圖》。在英國召開的首屆人工智能安全全球峰會上，中國、美國、英國、德國等 28 國及歐盟共同簽署了《布萊切利宣言》，強調了理解和解決人工智能安全問題的緊迫性。我國于 2023 年 7 月發布《生成式人工智能服務管理暫行辦法》，提出促進創新和依法治理相結合的監管原則，以支持生成式人工智能大模型的安全發展。同時，我國也積極在國際上發出人工智能治理的中國倡議，提出堅持“智能向善（AI for good）”的宗旨，以不斷提升人工智能技術的安全性、可靠性、可控性和公平性。
（一）大模型安全技術研究尚處于早期發展階段
當前，大模型安全研究尚處于早期發展階段，涵蓋了眾多的研究方向。這些研究領域包括但不限于生成內容檢測、模型水印、紅隊測試、對齊、越獄攻擊、有害內容識別、隱私保護以及安全理論探析等，且目前尚未形成一個得到廣泛認可的分類體系。從網絡安全角度出發，我們可以將其簡單劃分為安全測評、安全攻擊、風險識別和安全防護四個方面。
一是安全測評。主要目標是測評大模型在預防不良輸出、確保數據隱私、消除偏見和保障公平性、防范對抗性攻擊等方面的能力。目前，安全測評基準包括關注有毒和虛假信息的 HELM，聚焦攻擊冒犯、偏見歧視等七個安全維度的 SafetyBench，以及一些專注于某一特定安全維度的評測工作等。
二是安全攻擊。 主要分為“善意”的紅隊測試和惡意攻擊兩種形態。紅隊測試通過人工或自動化手段與待測大模型進行對抗性交互，以發現模型的安全風險，主要用于主動測試模型風險和發現潛在漏洞，常被應用于風險的主動測評和安全對齊。惡意攻擊主要包括越獄攻擊和提示注入攻擊。其中，越獄攻擊利用大模型漏洞，誤導模型輸出有害或不實內容；提示注入攻擊則通過操縱模型輸入，劫持或誘導模型接受攻擊者控制的指令，從而產生欺騙性輸出或泄露信息。盡管提示注入也是越獄攻擊的一種手段，但相比而言，越獄攻擊主要是針對模型，而提示注入的攻擊目標則主要是針對用戶或系統提示。
三是風險識別。當前，生成式內容安全風險識別的常見方法分為判別式和生成式兩種。判別式風險識別主要基于預訓練的小模型來識別生成式有害內容，以 OpenAI 和 Google 的 Moderation 和 Perspective 為代表，這些工具廣泛用于識別有害內容。生成式風險識別則利用大模型自身的能力來判斷生成的有害內容，以基于 GPT-4 的內容審核為代表，旨在提高模型和用戶生成有害內容的發現效率。風險識別可以服務于數據準備階段的有害信息過濾、推理階段的用戶問題和模型生成回復的有害性判別，并且也是安全測評和紅隊測試中自動化有害判別的主要依據。
四是安全防護。常見的方法包括關注模型內生的安全對齊方法、關注特定知識安全的模型編輯方法、關注外部安全的護欄方法以及關注模型輸出安全的檢索增強方法等。安全對齊主要利用監督微調和基于人類反饋的強化學習等方法引導模型對齊人類偏好，以消除模型本身的有害性和幻覺。典型的對齊方法還包括人工智能憲法、面向過程的細粒度對齊、直接偏好優化、即插即用對齊、超級對齊和社會對齊等。關注特定知識安全的模型編輯方法旨在不重新訓練模型的情況下，對模型的不安全知識進行更新和修正，主要包括神經元編輯、模型層編輯和微調編輯等。關注外部安全的護欄方法則通過分類判別模型對大模型的輸入（用戶請求）和輸出進行不良和不實內容的識別和過濾，以保護模型免受惡意用戶的提示攻擊，并矯正不良或不實內容。關注模型輸出安全的檢索增強方法則通過檢索外部信息來修正大模型生成的內容或約束大模型執行的行為。
（二）大模型研究理論和方法等多個層面面臨突出挑戰
經過近兩年的快速發展，雖然學術界和工業界在大模型安全攻擊、風險檢測、安全防護和風險測評方向取得了一定成果，但仍面臨以下難題和挑戰。
一是對大模型安全缺陷的機理缺乏認知。科學界目前對大模型“智能涌現”原理尚缺乏深入理解，也不是非常清楚提示學習、上下文學習、思維鏈等新學習范式的內在機理，這嚴重制約了我們從理論上認知安全缺陷的機理，并防御利用這些新型學習范式進行的各類攻擊。
二是大模型的安全性無理論保障。學界普遍認為無法 100% 保證系統的安全，已有理論證明，對于任意安全對齊的模型，總存在一定長度的攻擊提示可以攻破其安全防護，因此“可安全性”的邊界不明確。
三是大模型當前的安全技術存在局限性。例如，安全對齊的泛化能力遠小于模型的泛化能力，造成泛化能力的失配；模型的預訓練目標與安全對齊目標沖突也會帶來潛在安全風險。主流的基于人類反饋的強化學習也存在錯誤目標泛化和錯誤獎勵管理等突出問題。總體來看，大模型在內在機理、安全理論和技術方法等方面仍存在諸多局限性。如何解決認知域，尤其是信息域和物理域的大模型安全仍面臨重重挑戰。
四、統籌布局建立國家級大模型安全科技平臺
國務院《新一代人工智能發展規劃》明確提出，“在大力發展人工智能的同時，必須高度重視可能帶來的安全風險挑戰，加強前瞻預防與約束引導，最大限度降低風險，確保人工智能的安全、可靠、可控發展”。加強生成式人工智能安全技術研究，搶占科技制高點，為我國大模型安全健康發展保駕護航，是落實《規劃》精神的必要舉措，也是國家戰略所需和科技發展所向。
大模型安全不再像傳統安全那樣僅僅是計算機應用的伴生物，而是需要優先構筑的基礎底座。由于大模型能力具有可解釋性差、隨機性強等典型特征，如果沒有這個安全底座，在認知域，尤其是信息域和物理域中，將難以預判和干預各類風險，這將嚴重制約乃至會扼殺應用的推廣，大模型自身也將無法實現可持續的發展。
大模型安全研究必然需要大算力、各類用于安全的大數據、齊全的主流大模型以及大規模的認知域、信息域和物理域基礎設施條件。我們將這些需求概括為“四大”：大算力、大數據、大模型和大設施。當前，我國大模型企業面臨國內外人工智能技術的激烈競爭和推廣應用的巨大壓力，切近的發展目標與需要大規模投入的安全目標之間難以有效協調，企業間的市場競爭也使得安全能力的共創和共享難以實現。科教單位也無力獨立建設“四大”條件。因此，亟需國家層面介入，以統籌發展與安全，落實國務院發展規劃精神，部署前瞻性的第三方國立研究隊伍，匯聚國內各方優勢力量，測繪“安全風險”，推動技術突破，以支撐“前瞻預防與約束引導”，并有效助力第三方大模型安全企業的成長。建議發揮新型舉國體制優勢，統籌布局、加快推動生成式人工智能安全科技發展，建立國家級生成式人工智能安全平臺，推動形成發展與安全協同并進、相互促進的良好循環態勢。
一是盡快建設國家級開放式大模型安全科技平臺。搭建國家級的統一算力支撐平臺，提供統一數據服務，支持國產商用大模型和國內外開源大模型的統一部署，建設統一的認知、信息和物理安全所需的基礎設施。同時，建設開放的大模型安全“攻檢防”一體化平臺，不斷評測并集成各類先進的“攻檢防”算法、工具和數據，為科學現象觀察、分析研究和實驗提供基礎環境，為突破生成式人工智能內生安全缺陷機理和新型安全理論等科學難題，取得重要技術突破和引領性原創發現創造條件，并為我國大模型安全漏洞挖掘防護、技術發展和產業孵化等提供堅實的平臺環境支持。
二是匯聚、選拔和培育大模型安全人才隊伍。匯聚優質產、學、研、用各界資源，通過舉辦國家級大模型安全大賽等形式，選拔在攻擊、風險發現、安全防護等領域具有優勢的隊伍，深度融合產、學、研、用的大模型安全和發展需求，培養更多具備前瞻性和實戰能力的生成式人工智能安全專家，為我國生成式人工智能安全領域的發展提供堅實的人才支撐。
三是助力人工智能安全產業的企業集群發展。基于大模型安全的關鍵核心技術突破，打通科技轉化價值鏈，助力“專精特新”硬科技企業的創業與發展，打造人工智能安全產業的企業集群，加強人工智能技術和應用發展產業與安全產業的協同，營造安全的人工智能發展生態，助力我國人工智能技術及其賦能的“新質生產力”安全、可持續發展。建議加快制訂統籌生成式人工智能發展與安全的具體舉措，采取多措并舉的策略，充分利用我國在人工智能科技發展的政策優勢、當前生成式人工智能研究和產業化基礎，以及巨大的市場空間和規模化應用潛力，促進生成式人工智能安全科技與產業發展，為解決全球人工智能安全和治理貢獻中國智慧和中國力量。
（本文刊登于《中國信息安全》雜志2024年第6期）
