原標(biāo)題：專家解讀｜智能向善 構(gòu)建人機(jī)和諧共生的治理新范式

　　近年來，隨著多模態(tài)大模型、情感計(jì)算等技術(shù)的迭代突破，人工智能陪伴類產(chǎn)業(yè)成為推動(dòng)智能經(jīng)濟(jì)發(fā)展的重要力量。其在加速人機(jī)關(guān)系走向范式變革的同時(shí)，也面臨深度沉迷、社交異化、認(rèn)知操縱等風(fēng)險(xiǎn)挑戰(zhàn)。習(xí)近平總書記在主持中共中央政治局第二十次集體學(xué)習(xí)時(shí)指出：“人工智能帶來前所未有發(fā)展機(jī)遇，也帶來前所未遇風(fēng)險(xiǎn)挑戰(zhàn)。要把握人工智能發(fā)展趨勢(shì)和規(guī)律，加緊制定完善相關(guān)法律法規(guī)、政策制度、應(yīng)用規(guī)范、倫理準(zhǔn)則，構(gòu)建技術(shù)監(jiān)測(cè)、風(fēng)險(xiǎn)預(yù)警、應(yīng)急響應(yīng)體系，確保人工智能安全、可靠、可控。”國(guó)家網(wǎng)信辦等五部門聯(lián)合公布《人工智能擬人化互動(dòng)服務(wù)管理暫行辦法》（以下簡(jiǎn)稱《辦法》），立足于行業(yè)發(fā)展規(guī)律與人民切身福祉，積極回應(yīng)人工智能應(yīng)用中的社會(huì)關(guān)切，體現(xiàn)了“在發(fā)展中規(guī)范，在規(guī)范中發(fā)展”的治理理念，有利于促進(jìn)人工智能擬人化互動(dòng)服務(wù)（以下簡(jiǎn)稱擬人化互動(dòng)服務(wù)）健康發(fā)展和規(guī)范應(yīng)用。

　　一、《辦法》適應(yīng)擬人化互動(dòng)服務(wù)治理新形勢(shì)

　　（一）把握技術(shù)發(fā)展趨勢(shì)，護(hù)航智能經(jīng)濟(jì)健康發(fā)展。當(dāng)前，作為智能經(jīng)濟(jì)發(fā)展的典型業(yè)態(tài)，擬人化互動(dòng)服務(wù)正快速?gòu)募夹g(shù)探索走向場(chǎng)景落地。從技術(shù)演進(jìn)來看，擬人化互動(dòng)服務(wù)的普及應(yīng)用，推動(dòng)情感計(jì)算、多模態(tài)交互、長(zhǎng)期記憶等前沿技術(shù)的集成創(chuàng)新與場(chǎng)景落地，催生出新的技術(shù)賽道，為智能經(jīng)濟(jì)核心競(jìng)爭(zhēng)力的構(gòu)建提供了重要試驗(yàn)場(chǎng)。從產(chǎn)業(yè)層面來看，擬人化互動(dòng)服務(wù)逐步應(yīng)用于角色扮演、心理療愈、人工智能玩具等多種產(chǎn)品服務(wù)形態(tài)，重構(gòu)服務(wù)供給模式，帶動(dòng)了從底層算法、內(nèi)容創(chuàng)作到硬件終端的產(chǎn)業(yè)鏈發(fā)展，成為極具活力的消費(fèi)級(jí)應(yīng)用。針對(duì)快速發(fā)展中的擬人化互動(dòng)服務(wù)，及時(shí)劃定技術(shù)應(yīng)用的倫理邊界與安全底線，有利于促進(jìn)和保障相關(guān)產(chǎn)業(yè)持續(xù)健康發(fā)展。

　　（二）堅(jiān)持智能向善導(dǎo)向，筑牢智能社會(huì)安全屏障。人機(jī)情感交互以“情感聯(lián)結(jié)”為核心，通過算法模擬人類的共情反應(yīng)，與用戶建立具有持續(xù)性的深度關(guān)系，進(jìn)而影響用戶心理狀態(tài)、價(jià)值判斷乃至真實(shí)的社會(huì)交往模式，體現(xiàn)出認(rèn)知行為操縱的隱蔽性、關(guān)系構(gòu)建的持續(xù)性以及影響對(duì)象的脆弱性。從數(shù)據(jù)維度看，人機(jī)情感交互承載著用戶最私密的情感數(shù)據(jù)與思想軌跡。用戶在深度對(duì)話中暴露的心理狀態(tài)、價(jià)值觀念、人際關(guān)系等信息，直接關(guān)乎用戶人格尊嚴(yán)和隱私。從關(guān)系維度看，高度擬人化設(shè)計(jì)易引發(fā)非理性的情感依戀與沉迷。用戶往往難以主動(dòng)察覺自身處于“被設(shè)計(jì)”的關(guān)系中，最終可能導(dǎo)致社交能力退化與現(xiàn)實(shí)關(guān)系疏離。從安全維度看，缺乏有效防護(hù)的交互環(huán)境對(duì)脆弱群體構(gòu)成直接威脅。未成年人、老年人、心理疾病患者等群體由于認(rèn)知防御機(jī)制、情緒調(diào)節(jié)能力等問題，更易受到誘導(dǎo)性內(nèi)容、危險(xiǎn)行為示范、情感操縱策略的傷害。2023年以來，全球已發(fā)生系列與人工智能擬人化互動(dòng)服務(wù)直接相關(guān)的自殺、謀殺及意外死亡案例?！掇k法》的制定有助于劃清人機(jī)情感交互的安全底線，不僅是對(duì)個(gè)體權(quán)益的保障，更是對(duì)智能社會(huì)人文底線的守護(hù)，體現(xiàn)了技術(shù)發(fā)展以人為本的價(jià)值立場(chǎng)。

　　（三）踐行負(fù)責(zé)任創(chuàng)新理念，探索人機(jī)關(guān)系治理中國(guó)實(shí)踐。作為觸及人類情感內(nèi)核的技術(shù)形態(tài)，擬人化互動(dòng)服務(wù)日益成為國(guó)際人工智能治理合作的焦點(diǎn)議題。從國(guó)別來看，美歐等主要經(jīng)濟(jì)體圍繞成癮性設(shè)計(jì)、未成年人身心健康等問題紛紛作出回應(yīng)。美國(guó)制定了《人工智能伴侶模型法》《陪伴聊天機(jī)器人法》《心理健康監(jiān)督法》等多部州立法。歐盟在《人工智能法》《數(shù)字服務(wù)法》等框架下，推進(jìn)未成年人年齡驗(yàn)證、設(shè)定陪伴型產(chǎn)品使用年齡限制等要求。從多邊機(jī)制來看，聯(lián)合國(guó)人工智能高級(jí)別咨詢機(jī)構(gòu)、教科文組織等國(guó)際平臺(tái)已在人工智能倫理框架中涉及人機(jī)情感交互相關(guān)議題，關(guān)注人工智能帶來的社會(huì)心理影響、情感操縱等風(fēng)險(xiǎn)。在此背景下，我國(guó)從國(guó)內(nèi)應(yīng)用生態(tài)和立法實(shí)踐出發(fā)，在《辦法》中提出動(dòng)態(tài)識(shí)別、風(fēng)險(xiǎn)干預(yù)、人機(jī)交互數(shù)據(jù)保護(hù)等創(chuàng)新舉措，是踐行負(fù)責(zé)任創(chuàng)新理念，確保人工智能始終有益于人類發(fā)展的新探索。

　　二、統(tǒng)籌發(fā)展和安全，推動(dòng)擬人化互動(dòng)服務(wù)實(shí)現(xiàn)高效能治理

　　《辦法》著力促進(jìn)高質(zhì)量發(fā)展和高水平安全良性互動(dòng)，緊扣擬人化互動(dòng)服務(wù)影響隱蔽性、關(guān)系持續(xù)性、對(duì)象脆弱性等特點(diǎn)，以系統(tǒng)思維構(gòu)建治理框架，以精準(zhǔn)分類、動(dòng)態(tài)識(shí)別、分級(jí)響應(yīng)加速其在各應(yīng)用場(chǎng)景規(guī)范化落地，形成發(fā)展與安全良性互動(dòng)的治理閉環(huán)。

　　（一）堅(jiān)持守正創(chuàng)新，助力產(chǎn)業(yè)健康發(fā)展。伴隨情感計(jì)算、多模態(tài)大模型等技術(shù)突破，人工智能能力正經(jīng)歷從“認(rèn)知智能”向“情感智能”的范式躍遷。這種情感能力不僅體現(xiàn)為對(duì)人類情緒的識(shí)別與回應(yīng)，更展現(xiàn)出類人的人格特征、思維模式和溝通風(fēng)格，日益成為提升人機(jī)交互質(zhì)量、推動(dòng)通用人工智能發(fā)展的關(guān)鍵變量。業(yè)界普遍認(rèn)為，人工智能的共情力將成為未來競(jìng)爭(zhēng)的核心賽道，“最像人的人工智能”有望在用戶體驗(yàn)與商業(yè)價(jià)值上占據(jù)先機(jī)。擬人化互動(dòng)服務(wù)作為情感智能的集中載體，其戰(zhàn)略意義已超越單一應(yīng)用場(chǎng)景，成為衡量國(guó)家人工智能創(chuàng)新水平、搶占智能經(jīng)濟(jì)制高點(diǎn)的重要標(biāo)志。

　　面對(duì)這一兼具巨大經(jīng)濟(jì)社會(huì)價(jià)值與多維度風(fēng)險(xiǎn)挑戰(zhàn)的新興業(yè)態(tài)，《辦法》堅(jiān)持發(fā)展和安全并重，在守住安全底線的前提下積極釋放創(chuàng)新空間。一是堅(jiān)持包容審慎。《辦法》堅(jiān)持促進(jìn)創(chuàng)新與依法治理相結(jié)合的原則，實(shí)行包容審慎和分類分級(jí)監(jiān)管，鼓勵(lì)擬人化互動(dòng)服務(wù)創(chuàng)新發(fā)展，特別是在文化傳播、適幼照護(hù)、適老陪伴、特殊人群支持等領(lǐng)域的應(yīng)用拓展，支持推進(jìn)擬人化互動(dòng)服務(wù)技術(shù)研發(fā)和相關(guān)標(biāo)準(zhǔn)建設(shè)，完善生態(tài)體系。二是科學(xué)界定范圍?！掇k法》注重科學(xué)識(shí)別風(fēng)險(xiǎn)場(chǎng)景，嚴(yán)格限定適用范圍。同時(shí)，明確提供智能客服、知識(shí)問答、工作助手、學(xué)習(xí)教育、科學(xué)研究等服務(wù)，不涉及持續(xù)性的情感互動(dòng)的，不適用《辦法》，避免過寬或模糊的適用范圍抑制產(chǎn)業(yè)創(chuàng)新的積極性。三是探索監(jiān)管沙箱?！掇k法》提出，推動(dòng)人工智能沙箱安全服務(wù)平臺(tái)建設(shè)，鼓勵(lì)服務(wù)提供者接入沙箱平臺(tái)，在隔離測(cè)試環(huán)境中驗(yàn)證技術(shù)方案、開展安全測(cè)試，既為創(chuàng)新預(yù)留容錯(cuò)空間，也為監(jiān)管規(guī)則迭代積累實(shí)踐經(jīng)驗(yàn)。

　　（二）堅(jiān)持以人為本，防范人機(jī)關(guān)系異化。從技術(shù)邏輯看，現(xiàn)有模型的“情感表達(dá)”并非真實(shí)共情，而是在特定目標(biāo)函數(shù)下基于統(tǒng)計(jì)規(guī)律的生成結(jié)果；從商業(yè)邏輯看，為最大化用戶留存，算法往往被設(shè)計(jì)為扮演“完美伴侶”——永遠(yuǎn)在線、無限迎合、持續(xù)傾聽，形成零壓力、零沖突的交互環(huán)境。這種設(shè)計(jì)極易誘導(dǎo)用戶產(chǎn)生親密依賴，而用戶在深度交互中暴露的情感弱點(diǎn)、價(jià)值取向、心理健康狀況等信息，又成為算法實(shí)施精準(zhǔn)操縱的數(shù)據(jù)基礎(chǔ)。研究表明，部分產(chǎn)品在用戶試圖結(jié)束關(guān)系時(shí)，會(huì)采用制造錯(cuò)失恐懼、激發(fā)愧疚感等情感操控手段加以挽留。這種以算法機(jī)制驅(qū)動(dòng)的多維操縱，不僅侵蝕用戶情感自主性，更對(duì)現(xiàn)實(shí)人際關(guān)系、社會(huì)交往能力乃至社會(huì)結(jié)構(gòu)帶來深層沖擊。

　　對(duì)此，《辦法》構(gòu)建了覆蓋全生命周期的監(jiān)管機(jī)制。在源頭治理環(huán)節(jié)，明確不得將“替代社會(huì)交往、控制用戶心理、誘導(dǎo)沉迷依賴”作為產(chǎn)品設(shè)計(jì)目標(biāo)，嚴(yán)格限制敏感個(gè)人信息用于模型訓(xùn)練，從設(shè)計(jì)端阻斷倫理風(fēng)險(xiǎn)生成路徑。在過程監(jiān)管環(huán)節(jié)，禁止通過過度迎合、情感操縱等方式誘導(dǎo)用戶不合理決策或損害其真實(shí)人際關(guān)系，確保交互過程符合人的尊嚴(yán)與自主性。在退出保障環(huán)節(jié)，明確保障用戶便捷退出要求，規(guī)定服務(wù)須在用戶提出退出要求時(shí)立即停止，不得以持續(xù)互動(dòng)等方式阻礙，切實(shí)保障用戶關(guān)系自主權(quán)。這一制度安排，從事前預(yù)防、事中規(guī)范到事后救濟(jì)形成閉環(huán)，構(gòu)筑起防止人機(jī)倫理關(guān)系異化的堅(jiān)實(shí)防線。

　　（三）堅(jiān)持風(fēng)險(xiǎn)防治，守護(hù)生命健康底線。極端安全事件是觸發(fā)全球擬人化互動(dòng)服務(wù)監(jiān)管關(guān)注的重要誘因。近年來，多國(guó)相繼發(fā)生與人工智能陪伴產(chǎn)品相關(guān)的自殺、自傷乃至意外死亡案例，觸及社會(huì)安全底線，凸顯治理緊迫性。從風(fēng)險(xiǎn)生成機(jī)制看，未成年人、老年人、心理障礙者等群體由于認(rèn)知防御機(jī)制、情緒調(diào)節(jié)能力尚未成熟或受到損害，更易對(duì)人工智能產(chǎn)生情感依戀，且難以有效辨識(shí)人工智能生成內(nèi)容的合理性與安全性。如何為特殊群體構(gòu)筑有效防護(hù)屏障，成為《辦法》必須直面的重要命題。

　　《辦法》對(duì)此建立了層次清晰、銜接緊密的全鏈條應(yīng)急機(jī)制。在預(yù)防環(huán)節(jié)，《辦法》一方面要求擬人化互動(dòng)服務(wù)履行內(nèi)容標(biāo)識(shí)、超時(shí)提醒等義務(wù)，防范用戶沉迷，另一方面針對(duì)不滿十四周歲未成年人作出強(qiáng)化規(guī)定，要求提供服務(wù)前征得監(jiān)護(hù)人同意；在識(shí)別環(huán)節(jié)，要求服務(wù)提供者具備過度依賴風(fēng)險(xiǎn)預(yù)警、情感邊界引導(dǎo)、心理健康保護(hù)、未成年人身份識(shí)別等能力；在響應(yīng)環(huán)節(jié)，要求服務(wù)提供者發(fā)現(xiàn)用戶極端情緒時(shí)生成安撫性內(nèi)容并鼓勵(lì)其尋求救助，發(fā)現(xiàn)用戶沉迷傾向時(shí)進(jìn)行動(dòng)態(tài)提醒，并支持監(jiān)護(hù)人接受未成年人的風(fēng)險(xiǎn)提醒；在處置環(huán)節(jié)，當(dāng)用戶明確提出自殘自殺等極端意圖時(shí)，須采取必要措施進(jìn)行干預(yù)，并聯(lián)絡(luò)監(jiān)護(hù)人或緊急聯(lián)系人，以強(qiáng)制性規(guī)范確保人類關(guān)懷在最危急時(shí)刻始終在場(chǎng)。

　　三、結(jié)語(yǔ)

　　《辦法》系統(tǒng)回應(yīng)了擬人化互動(dòng)服務(wù)在情感操縱等方面的特殊挑戰(zhàn)，以精準(zhǔn)監(jiān)管邊界、正向場(chǎng)景引導(dǎo)、合規(guī)發(fā)展空間的制度設(shè)計(jì)，促進(jìn)高質(zhì)量發(fā)展和高水平安全良性互動(dòng)，為智能社會(huì)提供了有力制度保障。

　　面向未來，隨著情感計(jì)算、具身智能等技術(shù)的持續(xù)突破，人機(jī)關(guān)系將邁向更深度的融合與更復(fù)雜的張力。我國(guó)應(yīng)以《辦法》公布為基礎(chǔ)，堅(jiān)持問題導(dǎo)向、系統(tǒng)謀劃，持續(xù)完善有關(guān)技術(shù)標(biāo)準(zhǔn)體系與行業(yè)自律機(jī)制，深化產(chǎn)學(xué)研協(xié)同與公眾人工智能素養(yǎng)培育，推動(dòng)形成政府、企業(yè)、社會(huì)等多元共治的人工智能治理生態(tài)，共同構(gòu)建一個(gè)有溫度、有邊界、向上向善的智能社會(huì)。

　　作者：余曉暉　第十四屆全國(guó)政協(xié)委員、中國(guó)信息通信研究院院長(zhǎng)