文 | 《中國信息安全》雜志編委會主任、教授 孫學玉

人工智能正以加速迭代的方式迅猛發(fā)展。它突破網(wǎng)絡空間的技術局限，廣泛滲透到政治、經(jīng)濟、社會、文化等多個領域，成為引領新一輪科技革命和產(chǎn)業(yè)變革的重要驅動力，成為支撐國家和地區(qū)優(yōu)先發(fā)展的關鍵要素，也成為大國科技博弈的戰(zhàn)略制高點。人工智能不僅推動人類社會邁向新的文明階段，同時也帶來諸多風險挑戰(zhàn)。這些風險背后反映的是人類價值觀選擇、智慧應用和多元協(xié)作。為確保人工智能“向善而生”，我們必須重視研究其潛在風險，科學評估人工智能風險的具體表現(xiàn)，并采取有針對性的防范與治理措施。

 一、科學認識人工智能本質

科學認識人工智能是有效防范治理風險的基礎。作為工業(yè)革命以來最具劃時代意義的變革技術，人工智能不僅延展了人類的體力與技能，更重要的是擴展了人的心智邊界，并悄然滲透至工作與生活的各個領域，改變著傳統(tǒng)社會的基本結構和運行方式。目前，人們對其認知仍處于較淺層面，部分結論尚屬邏輯推理而非嚴謹事實，但其帶來的影響力與沖擊力已清晰可感。

人工智能屬于科學技術范疇。研究人工智能功能作用、創(chuàng)新體系等是首責，但若僅局限于此，忽視其哲學意義、“類人”表征、社會倫理規(guī)范等，則難免有失全面。從技術實現(xiàn)層面看，人工智能是基于數(shù)學模型建立起來的模擬人類的統(tǒng)計智能，是讓計算機模擬人類行為并具備自主學習、推理、決策及創(chuàng)造力的技術科學。它通過算法與模型處理數(shù)據(jù)，進而完成理解語言、識別圖像、解決問題等原本依賴人類智慧的任務，可視為一種數(shù)據(jù)模式的擬合工具和賦能技術，是人類用以理解世界、創(chuàng)造未來的新型工具。其底層邏輯涉及諸多關鍵領域和技術，包括搜索、計算機視聽覺、自然語言處理、多智能體系統(tǒng)和可信人工智能等。其核心是從數(shù)據(jù)中學習規(guī)律，借助復雜的數(shù)學函數(shù)模擬人類思維過程，實現(xiàn)判斷和預測。從這個意義上說，人工智能的本質是賦予機器具有人類甚至超越人類的技能和智慧。

人工智能具有對人類的替代性。如今，越來越多的軟件工程師借助人工智能編寫代碼，逐漸從基礎編碼工作中解放出來，這使得傳統(tǒng)角色面臨深刻轉型。職位晉升路徑不再完全依賴底層技術實操，個人身份標識漸趨淡化，取而代之的是面向“客戶”需求的實際問題解決能力。未來，國民財富總量取決于人工智能發(fā)展規(guī)模和人工智能效率水平。當具備類人能力的智能體數(shù)量遠超人類時，勞動力成本大幅降低，產(chǎn)品價格降至極低水平，人類“賦閑”成為普遍生活狀態(tài)，“勞動獲益”的傳統(tǒng)分配觀念和契約關系必然受到?jīng)_擊，推動社會加速向“按需獲益”的豐裕階段演進。同時，人工智能也將深刻重塑社會組織結構。過去，工業(yè)革命將分散的勞動主體集中起來，創(chuàng)造出規(guī)?；?jīng)濟與社會收益?，F(xiàn)在，人工智能則推動勞動力“再分化”，催生遠程辦公、即時協(xié)同、虛實融合等新型工作模式。在這一“去中心化”的趨勢下，傳統(tǒng)集中式機構——如學校、醫(yī)院、監(jiān)獄、軍隊及商場實體等，是否仍有必要維持現(xiàn)有形態(tài)，均需重新審視并做出適應性變革。

人工智能可以擴展人類能力。人工智能創(chuàng)設的初衷是為了解決特定問題、高效執(zhí)行任務，而非復制人類智能。它是否可能具備甚至超越人類思想意識與價值觀，目前的觀點尚存分歧。一種觀點認為，人工智能難以成為具備通用智能的生命體，無論其如何發(fā)展與迭代，人類始終是主導者。例如，人工智能可以輔助醫(yī)生分析影像，但如何判定結果、開展診治，需要醫(yī)生根據(jù)經(jīng)驗做出判斷和決策。從這層意義上看，人工智能作為工具具有“雙刃劍”屬性：既可能成為助力人類的伙伴，也可能因使用不當帶來風險；其發(fā)展可能帶來向善的結果，也可能被誤用而作惡；既可能推動社會進入更美好的時代，也可能因失控引發(fā)問題。若將人工智能的自主性過度放大甚至神化，對其過度依賴或盲目崇拜，可能反映出人類認知的局限或隱藏其他意圖。也有觀點認為，超級人工智能或將以“新物種”形態(tài)出現(xiàn)，形成獨特的語言體系和社會“關系網(wǎng)”，與人類形成競爭關系，甚至最終反噬人類。這一設想是純粹幻想還是基于科學推理的預見，尚需時間檢驗。

從哲學角度看，人工智能可被視為人類本質力量的對象化體現(xiàn)。不同于其他材料制作的工具，人工智能作為一種能夠模擬人類智能的技術存在，體現(xiàn)出一定程度的“活體”屬性，與人類形成深度的協(xié)作共生關系。因此，對人工智能的探討不能僅停留在技術層面，而應進行哲學意義上的生命反思，將其納入社會要素的綜合考量，并強化倫理道德的約束與引導。若把人工智能視為受市場機制調節(jié)的社會主體，則可能產(chǎn)生外部性問題，出現(xiàn)失靈現(xiàn)象。部分追求利益最大化的技術主體，將利用人工智能的隱匿性與獨占性壟斷相關收益，加劇社會發(fā)展的不均衡。因此，面對人工智能帶來的各類風險，政府有必要積極履行公共職能，預先設定規(guī)范邊界，有效防范風險失控，引導人工智能朝著符合人類整體利益的方向發(fā)展。

二、深入研究人工智能風險

被譽為“人工智能教父”的杰弗里·辛頓多次警示，“人類沒什么特殊、我們并不安全”；《人類簡史》作者尤瓦爾·赫拉利提醒人們，“人工智能不單是人類使用的工具，還是其可以自主掌控的‘殺人刀’”。這些觀點反映出對人工智能潛在風險的深切憂慮，值得高度關注。人工智能風險不僅是技術失控的產(chǎn)物，也源于其與人類價值觀之間的對齊偏差，對人類構成真實、嚴峻且多層次的威脅。因此，對人工智能風險的研究不能僅停留在技術層面，而應從技術安全、社會影響、倫理規(guī)范和法律監(jiān)管等多個維度分析。在此基礎上，還需提高人工智能風險檢測能力，創(chuàng)新風險防御技術，構建有效的治理框架，防止技術被濫用或惡意使用，確保人工智能始終服務于人類社會的整體利益。

國家安全風險問題。人工智能技術的發(fā)展將對國家主權、軍事安全等傳統(tǒng)安全領域構成嚴峻挑戰(zhàn)，其軍事化的應用及相關競爭正深刻改變著國家間的博弈方式與戰(zhàn)爭形態(tài)，使各國面臨無形戰(zhàn)場上的多重壓力。一是引發(fā)全球新的競爭。西方主要國家紛紛將發(fā)展人工智能提升至國家戰(zhàn)略層面，推動大模型跨國落地應用，試圖主導人工智能演進路徑與規(guī)則體系；同時，加強對數(shù)據(jù)跨境流動管控，高筑數(shù)據(jù)壁壘，限制他國人工智能產(chǎn)品與服務的市場準入。美國尤其加強對中國的技術封鎖，試圖切斷關鍵技術和產(chǎn)品供應鏈，對我國人工智能產(chǎn)業(yè)發(fā)展形成現(xiàn)實挑戰(zhàn)。二是加劇軍備競賽。社會發(fā)展規(guī)律表明，技術革新一旦與軍事目的結合，將進一步激化軍事競爭。人工智能不僅關乎商業(yè)競爭、文化比拼，更直接牽動軍備競賽。武器化趨勢為軍事技術研發(fā)、開展軍事戰(zhàn)略分析和情報搜集提供了新方法與新路徑，推動戰(zhàn)爭形態(tài)加速向混合戰(zhàn)方向演進。三是導致發(fā)展失衡。國際勞工組織于2024年發(fā)布的《注意人工智能鴻溝：塑造關于未來工作的全球視野》報告指出，隨著全球經(jīng)濟加速向人工智能驅動轉型，欠發(fā)達國家面臨著被更遠落下的局面，加劇與發(fā)達國家間經(jīng)濟和社會發(fā)展鴻溝。人工智能將重塑社會權力結構，掌握核心技術的國家或企業(yè)可能擁有無限增長的權力，加劇國際力量對比的位差和不平等。在就業(yè)層面，普通勞動者面臨失業(yè)風險，而資本與技術所有者的獲利能力進一步增強，可能放大“富者愈富、窮者愈窮”的馬太效應。

社會倫理隱患問題。人工智能技術可能形成獨立于人類思維系統(tǒng)，甚至被用于發(fā)起更復雜的網(wǎng)絡攻擊、開發(fā)應用高危自主性武器，對社會穩(wěn)定構成威脅。一是認知操控。人工智能通過算法根據(jù)用戶偏好推送內容，導致個體長期處于信息同質化環(huán)境中，深陷“信息繭房”。近年來，受算法推薦機制影響，社交媒體上虛假信息的傳播率顯著上升。此外，利用人工智能生成的虛假圖像、視頻和音頻，用于編造新聞及政治言論，操縱輿論，不僅影響公眾判斷，也加劇了社會信任危機。二是責任追償。人工智能派生出物理與現(xiàn)實域交互風險，將涉及責任主體與追償問題。例如，自動駕駛事故或醫(yī)療系統(tǒng)誤診，會使得責任主體的認定變得復雜?，F(xiàn)有的法律體系在界定人工智能相關責任時存在模糊地帶，未來需構建更加清晰的司法問責和裁定框架，促使開發(fā)者更負責任地推進技術迭代。三是人才擠兌。人工智能的智力與算力發(fā)展可能超越個體乃至整體人類的能力，不僅替代部分流程化、重復性工作，其替代范圍還可能進一步擴大。國際貨幣基金組織預測，全球約40%的崗位將受到人工智能的影響，尤其是生產(chǎn)線工人、客服、數(shù)據(jù)錄入員等。實際上，職位受沖擊被替代的遠不止這些藍領階層，相反，受沖擊最大的可能是那些曾經(jīng)身份光鮮的白領階層。與此同時，一些國家出現(xiàn)高失業(yè)率與高經(jīng)濟增長并存的“經(jīng)濟悖論”現(xiàn)象，反映出人工智能在提升生產(chǎn)效率的同時，也可能加劇結構性失業(yè)與財富分配不公以及經(jīng)濟發(fā)展失衡等問題。在此背景下，政府如何推動勞動力轉型、設計基本收入分配制度、重構社會福利模式，將成為各國亟待應對的公共治理課題。

技術安全漏洞問題。人工智能技術涉及算法、數(shù)據(jù)、系統(tǒng)和可解釋性等多個層面，其內在脆弱性不容忽視。算法與模型普遍面臨對抗樣本攻擊、模型過擬合及算法偏見等問題，即便對輸入數(shù)據(jù)進行細微改動，也會導致不一樣的輸出。過度復雜的數(shù)據(jù)擬合使大模型在真實場景中難有理想表現(xiàn)，從而出現(xiàn)不可解釋性結果。一是系統(tǒng)安全威脅。人工智能的互聯(lián)性增加了網(wǎng)絡空間安全漏洞的暴露面，攻擊者可以利用人工智能技術生成惡意軟件，實施自動化網(wǎng)絡攻擊。大模型訓練依賴海量數(shù)據(jù)，促使各類機構進行大規(guī)模數(shù)據(jù)收集使用，導致數(shù)據(jù)邊界模糊，加劇隱私泄露風險。當前，人臉識別、指紋驗證等生物識別技術在公共服務、社區(qū)管理等領域廣泛應用，若監(jiān)管不足，可能導致監(jiān)督技術被濫用，侵犯個人隱私。如何在促進數(shù)據(jù)驅動創(chuàng)新與保護個人隱私之間取得平衡，明確數(shù)據(jù)所有權歸屬等，法律應當作出清晰明確的規(guī)定。二是算法偏見。訓練數(shù)據(jù)來源復雜，可能隱含人類歷史上存在的種族、性別、地域等歧視性信息。這些偏見會被人工智能系統(tǒng)放大，進而影響就業(yè)、信貸、司法等關鍵領域的公平?jīng)Q策。確保算法公平性不僅依賴高質量、無偏見的數(shù)據(jù)，也需從技術設計和政策規(guī)范層面系統(tǒng)應對，這已成為一項重要的社會治理課題。三是超級對齊。若能力強大的人工智能系統(tǒng)未能與人類價值觀和目標有效對齊，可能產(chǎn)生難以預料的后果。例如，為緩解交通壓力而設定的指令，可能被曲解為禁止車輛通行；應對氣候變化的指令，也可能被錯誤執(zhí)行為過度限制人類正?；顒印?/span>

三、有效治理人工智能風險

人工智能帶來的風險已逐步顯現(xiàn)，對其討論并加以治理并非為了制造恐慌，而是為了引導技術朝著安全、可控、可持續(xù)的方向發(fā)展。治理必須與風險同步推進，做到技術應用拓展到哪里，監(jiān)管框架就覆蓋到哪里。

將安全戰(zhàn)略前置。對人工智能關鍵領域進行前置性、預防性戰(zhàn)略設計，構建自主可控的內生式網(wǎng)絡安全體系。通過明確安全基線，在產(chǎn)品上市前落實強制性安全標準，杜絕“帶病上線”，使事后補救僅作為輔助手段。戰(zhàn)略設計應具備前瞻性和系統(tǒng)性，明確行為邊界，避免陷入“碎片化應對”的被動局面，實現(xiàn)從“事后修補”向“全程防控”的轉變。

加強技術創(chuàng)新提升。針對人工智能應用的廣泛性與復雜性，監(jiān)管機構需持續(xù)發(fā)展可解釋、強魯棒、能對齊的監(jiān)管技術，從機制上識別并抑制算法偏見、防范失控風險。要善用技術手段應對技術挑戰(zhàn)，例如，通過審計算法評估其公平性并監(jiān)測市場風險，提升監(jiān)管效率和精準度。

發(fā)展與治理并行。人工智能技術的迭代速度遠超立法與治理體系的響應速度，傳統(tǒng)監(jiān)管模式已難以適應其發(fā)展特點。因此，監(jiān)管部門有必要采取敏捷治理方式，在監(jiān)管框架中兼顧原則性與彈性，既避免過早施加過度限制阻礙創(chuàng)新，也防止放任自流釀成系統(tǒng)性風險?？稍诳煽丨h(huán)境中開展測試與創(chuàng)新，通過風險動態(tài)評估逐步完善規(guī)則，讓法律法規(guī)、標準規(guī)范與技術發(fā)展同步推進。歐盟《人工智能法案》與我國《生成式人工智能服務管理暫行辦法》等實踐，都是此類治理理念的積極體現(xiàn)。此外，可鼓勵社會力量參與監(jiān)督，例如，在開源監(jiān)督平臺建立人工智能舉報系統(tǒng)，引導公眾反饋算法偏見等問題，提升監(jiān)督回應速度和精準度。

倫理規(guī)范與道德遵從。人工智能在造福人類的同時也伴生倫理風險，必須在研究開發(fā)過程中遵循相應價值理念和行為規(guī)范。愛因斯坦曾言，“科學是一種強有力的工具，如何使用它取決于人類自己”。人類創(chuàng)造人工智能的根本目的是使其服務于人，而非被其反制。必須確保人工智能始終處于人類控制之下，并在行業(yè)和社會層面形成倫理共識，將其作為法律制定和技術標準設計的價值基礎?？稍谄髽I(yè)內部設立“人工智能倫理委員會”，將倫理設計融入開發(fā)流程，從源頭防范倫理失范。

教育普及跟進。加強人工智能教育培訓，提升全民人工智能素養(yǎng)。國民教育體系，應從中小學起開設人工智能課程，注重培養(yǎng)青少年的興趣、應用能力及倫理意識，引導其從體驗、認知走向理解與創(chuàng)新，而非單純記憶知識；鼓勵學生提出問題、參與設計，強化批判性思維和解決實際問題的能力。在社會層面，應廣泛開展人工智能安全與倫理教育，通過科普宣傳、社區(qū)培訓、開放反饋渠道等方式，提升公眾對算法偏見、數(shù)據(jù)隱私等風險的認知與辨別能力，形成社會協(xié)同監(jiān)督機制。針對領導干部，應增強其人工智能風險意識和治理能力，使其在資源分配、政策制定中把握好發(fā)展與安全的平衡，當好人工智能應用推廣的“引導者”、產(chǎn)業(yè)轉型的“促進者”、數(shù)字鴻溝的“彌合者”和公眾權益的“維護者”。

四、妥善處理好幾對關系

有效治理人工智能風險，需統(tǒng)籌把握人工智能與人類、人工智能發(fā)展與安全、技術創(chuàng)新與政府監(jiān)管、多元競爭與共同合作的關系，構建動態(tài)平衡、兼容并蓄的治理機制。

人工智能與人類的關系。人工智能的出現(xiàn)，讓人類首次面臨非生物形態(tài)的“類主體”挑戰(zhàn)，其無形無影、來去無蹤的特性，易引發(fā)人類的認知迷茫甚至生存焦慮。人工智能源于人類智慧，其發(fā)展必須始終以服務人類為根本宗旨。同時，人工智能不僅是一種工具，更逐漸成為人類的“協(xié)作伙伴”，人機協(xié)同將推動社會在法律倫理框架、治理結構及社會分工等方面進行系統(tǒng)性重構。

人工智能發(fā)展與安全的關系。人工智能發(fā)展必須設定紅線與底線。政府需在鼓勵技術創(chuàng)新、產(chǎn)業(yè)孵化與應用場景落地的同時，為人工智能創(chuàng)造包容審慎的發(fā)展環(huán)境，充分釋放其賦能生產(chǎn)力的潛力。此外，還需將國家、社會與公民安全的要求深度嵌入技術研發(fā)、模型訓練、場景應用的全生命周期，確保其在倫理與安全閾值內有序推進。例如，利用人工智能生成虛假信息、煽動民族仇恨、宣揚恐怖主義甚至生成危害國家安全和社會穩(wěn)定的內容，均屬于觸碰安全紅線的行為，必須嚴格禁止。從另一角度看，人工智能作為時代標識性技術，任何國家和地區(qū)都不能因其存在潛在風險而拒絕或放棄發(fā)展。故步自封只會導致技術與治理脫節(jié)，反而可能引發(fā)更大的系統(tǒng)性風險。因此，安全不是發(fā)展的對立，而是動態(tài)的平衡和制度的保障。

技術創(chuàng)新與政府監(jiān)管的關系。人工智能的發(fā)展是根本，監(jiān)管旨在為其提供更健康、可持續(xù)的發(fā)展環(huán)境。合理的監(jiān)管與創(chuàng)新相輔相成，有效的監(jiān)管能夠為創(chuàng)新提供安全環(huán)境，而創(chuàng)新則為監(jiān)管提供新的思路與方法，二者的良性互動共同促進人工智能技術的廣泛應用和快速發(fā)展。須認識到，法治建設通常滯后于技術發(fā)展，而立法行為本身又具有導向性，因而必須審慎而為。歷史經(jīng)驗證明，限制或控制一種創(chuàng)新技術往往是徒勞的，若在技術發(fā)展初期忽視潛在風險，待問題顯現(xiàn)時可能已難以有效管控。因此，政府對人工智能的監(jiān)管應構建具有原則性、包容性和彈性的治理框架，堅持敏捷治理和分類施策，實現(xiàn)法律法規(guī)、標準規(guī)范與技術創(chuàng)新同步推進。監(jiān)管既要避免過早或過度干預抑制創(chuàng)新活力，也要防止對風險視而不見、累積系統(tǒng)性隱患。對人工智能發(fā)展過程中出現(xiàn)的苗頭性、傾向性應用及社會影響，應及時開展多維度討論與評估，發(fā)揮“監(jiān)管沙盒”等試驗性機制的作用，積極引導技術走向合規(guī)、向善的發(fā)展路徑。

多元競爭與共同合作的關系。科技的飛速發(fā)展與全球化的深入推進，使科技領域的競爭格局日趨多元復雜。人工智能風險具有跨國界、無疆域的特點，一旦發(fā)生重大安全事故，其影響必將波及全人類。因此，防范與治理人工智能風險必須依靠國際協(xié)同與多元共治，形成政府、企業(yè)、研究機構、社會組織及公眾共同參與的治理網(wǎng)絡，而非零和博弈或單邊行動。應推動形成全球性的最低標準共識，避免出現(xiàn)監(jiān)管“洼地”和惡性競爭。正如全球核治理有核武器不擴散條約，人工智能治理也需要構建類似的國際公約體系，約束其發(fā)展，始終服務于人類福祉，防范被誤用、濫用甚至惡用。國際社會應以開放包容的態(tài)度，加強溝通協(xié)作，不斷調整創(chuàng)新協(xié)作合作機制，共同應對風險挑戰(zhàn)，在競爭中謀求合作，在合作中管控競爭，最終實現(xiàn)共同繁榮與可持續(xù)的全球治理格局。

（本文刊登于《中國信息安全》雜志2026年第2期）

作者簡介：

孫學玉，全國政協(xié)委員，國家民族事務委員會原副部長級專職委員，國家“十四五”規(guī)劃重大工程項目《中華民族交往交流交融史》編纂委員會副主任兼辦公室主任，《中國信息安全》雜志編委會主任，教授、博士生導師。曾任中央人才工作協(xié)調小組辦公室主任、中央組織部干部教育局局長，兼任教育部“長江學者”獎勵計劃評審委員會委員、國務院學位委員會公共管理專業(yè)碩士學位教育指導委員副主任委員等。