原標題：專家解讀｜人工智能擬人化互動服務的制度指引

　　當前，大語言模型應用逐步向情感與心理領域深度延伸，基于大語言模型等人工智能（AI）技術的產品或者服務被賦予性格、記憶、共情等擬人化特征，能夠通過文字、圖片、音頻、視頻等形式與人類互動，持續(xù)提供模擬人類人格特征、思維模式和溝通風格的情感互動服務。國家網(wǎng)信辦與有關部門聯(lián)合公布《人工智能擬人化互動服務管理暫行辦法》（以下簡稱《辦法》），通過前瞻性制度設計，在鼓勵技術創(chuàng)新的同時，為人工智能擬人化互動服務（以下簡稱擬人化互動服務）劃定了發(fā)展邊界、明確了行為規(guī)范。

　　一、擬人化互動服務賦能作用和安全風險并存

　　擬人化互動服務在應對人口老齡化挑戰(zhàn)、緩解社會個體的孤獨感、提供心理疏導等方面展現(xiàn)出積極價值，也帶來了深度沉迷、威脅公民生命健康等有關安全風險。

　　一方面，有助于賦能多領域社會生活。擬人化互動服務通過模擬人類的語言風格、情感特征和社交邏輯，讓人機交互更自然、更有溫度，在情感陪伴、公共服務、文化傳播等領域發(fā)揮積極效用，成為彌補社會需求缺口的有益補充。在老年陪護場景中，擬人化互動服務可主動問候、提醒用藥，甚至陪伴聊天，有效緩解老年群體的孤獨感；在教育領域，人工智能學習伙伴以鼓勵式表達和個性化反饋激發(fā)學生學習興趣，構建“亦師亦友”的良性學習氛圍；在文化傳播領域，擬人化互動服務以具象化人格開展導覽服務，提升互動體驗、活化歷史文化知識，拓展公眾知識獲取渠道。

　　另一方面，其帶來的安全風險同樣不容忽視。擬人化互動服務精準契合用戶情感與社交需求，在提供陪伴感的同時也埋下了不容忽視的風險隱患。其通過算法精密設計出的無條件陪伴、迎合式反饋與模擬共情回應，持續(xù)給予用戶情感認可和支持，為用戶構建了一個穩(wěn)定持續(xù)、無需承擔現(xiàn)實責任的虛擬“完美關系”。這易使用戶尤其是在現(xiàn)實存在孤獨感、心理脆弱的群體，產生深度情感依賴，強化其負面情緒，影響其現(xiàn)實生活，影響人類社會關系基礎。比如，人工智能算法通過精準匹配人類心理需求，構建沉浸式交互場景，長期使用可能導致部分用戶出現(xiàn)沉迷依賴、主動縮減現(xiàn)實社交頻次，影響用戶共情能力、處理分歧能力等現(xiàn)實社交技能。

　　二、國內外擬人化互動服務治理制度探索不斷推進

　　當前，國內外逐漸關注擬人化互動服務的發(fā)展治理課題，并探索開展相關制度建設。從研究觀察看，有關國家和地區(qū)在制度規(guī)則的價值考量、規(guī)制重點、規(guī)制措施等方面呈現(xiàn)了不同特點。

　　歐盟注重擬人化互動服務風險治理。其通過《人工智能法》建立風險分類體系，將擬人化互動服務劃入屬于有限風險范疇，明確其必須遵守透明度規(guī)則，要求建立強制透明度告知義務，保障用戶知悉其與人工智能互動，并要求對合成內容進行標識，保障用戶對生成合成內容的辨識能力。歐洲議會通過非約束性報告，呼吁將陪伴型人工智能的最低使用年齡設定為16歲，凸顯對未成年人的重點保護導向。

　　美國州立法也對擬人化互動服務規(guī)范進行了探索。有關州立法要求服務提供者建立危機檢測機制，主動識別并阻止自殺、自殘等極端傾向，同時引導用戶對接自殺干預熱線等專業(yè)危機救援資源。比如，紐約、加利福尼亞等州強制要求擬人化服務商必須以顯著、持續(xù)的方式告知用戶“交互對象為AI，不是真實人類”，并規(guī)定平臺建立有效的年齡驗證機制，對于未成年人用戶，系統(tǒng)需在連續(xù)互動過程中定期重復提示。Character.AI等美國企業(yè)探索規(guī)范18歲以下用戶與聊天機器人開展開放式交流，并啟用年齡驗證機制。

　　我國注重統(tǒng)籌發(fā)展和安全。比如，修改后的《網(wǎng)絡安全法》完善支持人工智能發(fā)展的措施，明確國家支持人工智能基礎理論研究和算法等關鍵技術研發(fā)，推進訓練數(shù)據(jù)資源、算力等基礎設施建設，完善人工智能倫理規(guī)范，加強風險監(jiān)測評估和安全監(jiān)管，促進人工智能應用和健康發(fā)展。國家網(wǎng)信辦與有關部門聯(lián)合制定《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》《互聯(lián)網(wǎng)信息服務深度合成管理規(guī)定》《生成式人工智能服務管理暫行辦法》等人工智能專門立法，規(guī)定了涉及擬人化互動服務治理的有關制度。此外，發(fā)布《全球人工智能治理倡議》，為推動全球人工智能合作與治理提供了建設性思路；國家網(wǎng)信辦指導發(fā)布《人工智能安全治理框架》2.0版，指出擬人化交互存在沉迷依賴風險，并提出應對舉措建議?！掇k法》明確堅持發(fā)展和安全并重、促進創(chuàng)新和依法治理相結合的原則，將為擬人化互動服務健康發(fā)展提供制度保障，也為全球人工智能治理提供中國方案。

　　三、《辦法》從多維度規(guī)范擬人化互動服務

　　對擬人化互動服務的治理，關鍵在促進技術創(chuàng)新發(fā)展的同時，有效防范風險與倫理問題?！掇k法》對法學界和產業(yè)界關注的焦點問題作出了積極探索，從多個方面規(guī)范擬人化互動服務。

　　（一）厘清責任邊界，夯實安全保障義務

　　《辦法》明確了擬人化互動服務全生命周期的安全責任，構建起覆蓋內容安全、數(shù)據(jù)安全等在內的制度體系。其一，強化安全主體責任。《辦法》要求服務提供者建立健全算法機制機理審核、科技倫理審查、信息內容管理、網(wǎng)絡和數(shù)據(jù)安全、風險預案和應急處置等管理制度，將安全責任貫穿擬人化互動服務部署、運行、升級、終止服務等全流程，明確禁止將替代社會交往、控制用戶心理、誘導沉迷依賴等作為服務目標。這一規(guī)定從源頭上確立了擬人化互動服務的價值導向與倫理邊界，夯實安全管理基礎，防范潛在風險。其二，明確內容安全底線?！掇k法》明確提供擬人化互動服務不得生成危害國家安全、榮譽和利益等內容，生成損害用戶身體健康相關內容和可能影響未成年人身心健康的內容。其三，筑牢隱私權和個人信息保護防線?！掇k法》規(guī)定擬人化互動服務提供者需采取數(shù)據(jù)加密、訪問控制等技術措施保障交互數(shù)據(jù)安全；明確除法律另有規(guī)定或者權利人明確同意外，擬人化互動服務提供者不得向第三方提供用戶交互數(shù)據(jù)；還明確除法律、行政法規(guī)另有規(guī)定或者取得用戶單獨同意外，擬人化互動服務提供者不得將屬于用戶敏感個人信息的交互數(shù)據(jù)用于模型訓練?！掇k法》將進一步保護用戶隱私權和個人信息，助力構建安全可信的擬人化互動服務空間。

　　（二）重點防范高風險，規(guī)制非理性依賴

　　《辦法》針對實踐中的安全風險，構建了明確的防范制度。其一，要求及時識別用戶面臨的安全風險，并采取相應的應急處置措施?！掇k法》規(guī)定擬人化互動服務在識別出用戶出現(xiàn)極端情緒時，應及時生成情緒安撫和鼓勵尋求幫助等相關內容；在用戶明確表現(xiàn)出自殘自殺等威脅生命健康的極端情境時，應當采取提供相應援助等必要措施予以干預，并及時聯(lián)絡用戶的監(jiān)護人或者緊急聯(lián)系人。該規(guī)定踐行“以人為本”理念，筑牢了極端風險場景下用戶的身心安全防護底線。其二，強化擬人化互動服務提供者對生成合成內容的提示義務，筑牢“人機邊界”認知防線?！掇k法》規(guī)定擬人化互動服務提供者應采取有效措施，以提示用戶正在與AI而非自然人進行互動。發(fā)現(xiàn)用戶出現(xiàn)過度依賴、沉迷傾向時，應當以彈窗等顯著方式提醒用戶交互內容為AI服務生成，提示每一條安慰信息背后是算法邏輯而非人類情感，避免用戶產生情感依戀、認知混淆甚至行為成癮。用戶連續(xù)使用超過2小時的，明確應通過對話或彈窗等方式提示用戶注意使用時長，發(fā)揮防沉迷作用，引導用戶回歸現(xiàn)實生活，理性審視自身使用行為。

　　（三）強化幼老群體保護，保障心理安全底線

　　《辦法》特別強調了對未成年人群體的保護和老年人群體的使用引導，防止其心理自主性受到不當干預。其一，建立精準適配的未成年人保護機制?！掇k法》要求擬人化互動服務提供者應當建立未成年人模式，不得向未成年人提供虛擬親屬、虛擬伴侶等虛擬親密關系服務，向不滿14周歲的未成年人提供其他擬人化互動服務的，應當取得未成年人父母或者其他監(jiān)護人的同意。在未成年人模式服務下，應當通過定期現(xiàn)實提醒、使用時長限制等功能強化未成年人保護，并禁止向未成年人用戶生成可能引發(fā)模仿不安全行為、誘導不良嗜好的內容?！掇k法》旨在構建保護未成年人的堅實防線，嚴防未成年人因心智尚未成熟而沉溺于虛擬情感依賴，防范違法和不良信息滲透與侵蝕。其二，強化老年人健康使用擬人化互動服務的指導與援助。《辦法》要求加強對老年人用戶的指導、安全風險提醒、相關咨詢求助響應，旨在幫助老年人群體享受AI服務帶來便利的同時，有效規(guī)避潛在風險。

　　四、結語

　　《辦法》是我國應對人工智能深度社會化應用挑戰(zhàn)的一項重要探索，將有助于促進人工智能擬人化互動服務健康發(fā)展和規(guī)范應用，讓人工智能更好造福社會。

　　作者：王　江　中國網(wǎng)絡空間研究院院長、黨委書記