原標(biāo)題：專家解讀｜系統(tǒng)強(qiáng)化擬人化互動服務(wù)安全能力 持續(xù)推進(jìn)人工智能安全治理體系完善

　　隨著人工智能技術(shù)的深入發(fā)展和廣泛應(yīng)用，具備擬人化互動能力的智能應(yīng)用日益普及，深刻改變著人們的交流方式和生活方式。從智能客服到虛擬陪伴，從教育輔導(dǎo)到心理咨詢，人工智能擬人化互動服務(wù)已經(jīng)深度融入經(jīng)濟(jì)社會發(fā)展各領(lǐng)域。然而，技術(shù)進(jìn)步在帶來便利的同時，也引發(fā)了情感依賴、價值觀誤導(dǎo)、未成年人保護(hù)等新的風(fēng)險挑戰(zhàn)。《人工智能擬人化互動服務(wù)管理暫行辦法（征求意見稿）》（以下簡稱《辦法》）對擬人化互動服務(wù)的安全提出明確要求，對于有效防范技術(shù)風(fēng)險、切實(shí)保護(hù)用戶權(quán)益、促進(jìn)人工智能健康發(fā)展具有重要意義。

　　一、《辦法》有效銜接現(xiàn)有法規(guī)體系，積極回應(yīng)擬人化互動服務(wù)新挑戰(zhàn)

　　《辦法》是我國人工智能治理體系的重要組成部分，是對現(xiàn)有治理架構(gòu)的進(jìn)一步完善和深化。《辦法》與《生成式人工智能服務(wù)管理暫行辦法》《人工智能生成合成內(nèi)容標(biāo)識辦法》等規(guī)章在治理思路上一脈相承、相互銜接，在治理對象和治理重點(diǎn)上各有側(cè)重、相互補(bǔ)充，共同構(gòu)建起覆蓋人工智能技術(shù)研發(fā)、應(yīng)用、傳播全流程的安全治理體系。

　　擬人化互動服務(wù)作為人工智能技術(shù)應(yīng)用的新形態(tài)，具有鮮明的技術(shù)特征和顯著的風(fēng)險特征。一是情感交互的深度性，不同于傳統(tǒng)的信息查詢、內(nèi)容生成等功能性服務(wù)，擬人化互動服務(wù)通過算法模擬人類情感反應(yīng)機(jī)制，能夠與用戶建立情感聯(lián)結(jié)，對用戶心理狀態(tài)和行為模式產(chǎn)生深層次影響。二是用戶關(guān)系的持續(xù)性，擬人化互動服務(wù)往往涉及長期性、高頻次的交互過程，用戶可能與人工智能系統(tǒng)建立類似人際關(guān)系的情感紐帶，這種持續(xù)性互動關(guān)系使得潛在風(fēng)險不斷累積和放大。三是影響對象的脆弱性，未成年人處于認(rèn)知發(fā)展階段，老年人面臨數(shù)字鴻溝挑戰(zhàn)，這些群體在使用擬人化互動服務(wù)時，更需要適當(dāng)?shù)囊龑?dǎo)和保護(hù)機(jī)制，以防止產(chǎn)生過度依賴。四是價值傳遞的隱蔽性，擬人化互動服務(wù)在交互過程中往往較直接地輸出內(nèi)容，價值觀傳遞更加隱蔽和潛移默化，對用戶世界觀、人生觀、價值觀的影響更為深遠(yuǎn)。

　　二、《辦法》堅(jiān)持精準(zhǔn)施策，系統(tǒng)聚焦擬人化互動服務(wù)重點(diǎn)特性與關(guān)鍵環(huán)節(jié)規(guī)范

　　《辦法》立足擬人化互動服務(wù)的技術(shù)特性和應(yīng)用場景，從鼓勵創(chuàng)新應(yīng)用、強(qiáng)化安全設(shè)計(jì)、規(guī)范訓(xùn)練數(shù)據(jù)、建立風(fēng)險識別、完善提示機(jī)制、探索沙箱監(jiān)管等關(guān)鍵方面入手，構(gòu)建起全鏈條、多層次、立體化的治理框架。

　　（一）堅(jiān)持正向引導(dǎo)與風(fēng)險防范并重，推動技術(shù)向善發(fā)展

　　《辦法》在明確安全底線的同時，積極鼓勵擬人化互動服務(wù)在合理場景的創(chuàng)新應(yīng)用。一方面，鼓勵提供者在充分論證安全性、可靠性的前提下，合理拓展應(yīng)用場景，充分發(fā)揮技術(shù)優(yōu)勢服務(wù)經(jīng)濟(jì)社會發(fā)展。另一方面，明確劃定安全紅線，嚴(yán)禁開展危害國家安全、破壞倫理道德的服務(wù)，嚴(yán)禁生成鼓勵、美化、暗示自殺自殘的內(nèi)容，嚴(yán)禁利用用戶心理脆弱狀態(tài)、通過算法操縱等方式誘導(dǎo)用戶作出不合理決策。這種“鼓勵什么、禁止什么”的雙向治理模式，突破了傳統(tǒng)的單純限制性監(jiān)管思路。通過正向激勵引導(dǎo)企業(yè)將技術(shù)能力投向真正有益于社會的應(yīng)用場景，同時通過底線約束防范技術(shù)能力被用于操控用戶心理利用脆弱性謀利，既為產(chǎn)業(yè)發(fā)展留足空間，又能夠有效防范技術(shù)異化風(fēng)險。

　　（二）建立全生命周期安全管理制度，構(gòu)建立體化防護(hù)體系

　　《辦法》要求服務(wù)提供者建立覆蓋全流程的安全管理制度體系，涵蓋算法機(jī)制審核、科技倫理審查等多個關(guān)鍵環(huán)節(jié)，形成多維度的安全保障機(jī)制。特別強(qiáng)調(diào)提供者在設(shè)計(jì)、運(yùn)行、升級、終止服務(wù)等各個階段都應(yīng)落實(shí)安全要求，確保安全措施同步設(shè)計(jì)、同步使用。這種全生命周期的安全管理理念，將安全責(zé)任貫穿于技術(shù)研發(fā)應(yīng)用的各個環(huán)節(jié)，本質(zhì)上是將安全作為技術(shù)系統(tǒng)的內(nèi)生屬性而非外加約束，從制度層面筑牢了安全防線，推動企業(yè)從技術(shù)架構(gòu)層面夯實(shí)擬人化互動服務(wù)的安全基礎(chǔ)。

　　（三）強(qiáng)化訓(xùn)練數(shù)據(jù)質(zhì)量管控與安全對齊要求，從技術(shù)根源保障模型可控

　　《辦法》高度重視訓(xùn)練數(shù)據(jù)對提升擬人化互動服務(wù)安全水平的基礎(chǔ)性作用，體現(xiàn)了精準(zhǔn)治理的理念。如提出評估合成數(shù)據(jù)的安全性的要求，避免放大訓(xùn)練數(shù)據(jù)中的偏差，防止在專業(yè)領(lǐng)域等場景產(chǎn)生危險的“幻覺”輸出，影響用戶生命健康安全。在情感陪伴、角色扮演等容易產(chǎn)生心理依賴的場景下，要求提高訓(xùn)練數(shù)據(jù)的多樣性，通過負(fù)向采樣、對抗訓(xùn)練等手段，提升模型生成內(nèi)容安全性，防止模型在追求用戶滿意度的過程中偏離安全軌道，從算法源頭提升擬人化互動服務(wù)的安全性和可靠性。

　　（四）構(gòu)建智能化風(fēng)險識別與分級提示機(jī)制，實(shí)現(xiàn)動態(tài)防護(hù)與理性引導(dǎo)

　　《辦法》要求提供者建立智能化的用戶狀態(tài)識別和風(fēng)險預(yù)警機(jī)制，通過技術(shù)手段實(shí)現(xiàn)對用戶使用行為的感知。當(dāng)發(fā)現(xiàn)用戶出現(xiàn)負(fù)面情緒、極端傾向、過度依賴、沉迷等風(fēng)險信號時，提供者應(yīng)當(dāng)及時識別并采取干預(yù)措施。通過“以智能治智能”的思路，充分發(fā)揮了人工智能在風(fēng)險防范治理方面的技術(shù)優(yōu)勢，將被動防御轉(zhuǎn)變?yōu)橹鲃幼R別。對于表達(dá)自殺、自殘等危險傾向的用戶，要求立即進(jìn)行人工接管，提供必要的心理疏導(dǎo)和專業(yè)幫助引導(dǎo)，確保技術(shù)手段的局限性能夠通過人工干預(yù)得到彌補(bǔ)。在提示機(jī)制方面，《辦法》在已有標(biāo)識機(jī)制基礎(chǔ)上進(jìn)一步強(qiáng)化提示提醒要求，通過設(shè)計(jì)基于使用時長和場景類型的差異化干預(yù)閾值設(shè)計(jì)，既避免過度打擾影響用戶體驗(yàn)，又能在關(guān)鍵節(jié)點(diǎn)進(jìn)行有效提醒。這種多層次、遞進(jìn)式的干預(yù)體系，構(gòu)建起動態(tài)監(jiān)測、實(shí)時預(yù)警、及時干預(yù)、理性引導(dǎo)的全方位安全防護(hù)網(wǎng)。

　　（五）創(chuàng)新監(jiān)管沙箱機(jī)制，探索包容審慎監(jiān)管新路徑

　　《辦法》首次引入監(jiān)管沙箱機(jī)制，探索為技術(shù)創(chuàng)新提供了制度化的試驗(yàn)空間。對于技術(shù)先進(jìn)、應(yīng)用場景新穎但尚未完全成熟的擬人化互動服務(wù)，在確保基本安全要求的前提下，在限定應(yīng)用范圍、限定用戶群體、加強(qiáng)動態(tài)監(jiān)測的條件下開展試點(diǎn)應(yīng)用。這一機(jī)制具有重要的方法論意義。擬人化互動服務(wù)技術(shù)迭代快、應(yīng)用場景復(fù)雜、社會影響深遠(yuǎn)，沙箱監(jiān)管可實(shí)現(xiàn)管理部門與企業(yè)的深度互動。企業(yè)可以在真實(shí)場景中驗(yàn)證技術(shù)方案，降低創(chuàng)新試錯成本。管理部門可以在風(fēng)險可控前提下近距離觀察技術(shù)應(yīng)用效果，深入了解新興業(yè)態(tài)的運(yùn)行規(guī)律，及時發(fā)現(xiàn)潛在風(fēng)險，總結(jié)實(shí)踐經(jīng)驗(yàn)，持續(xù)完善治理規(guī)則。

　　三、《辦法》著眼長遠(yuǎn)發(fā)展，為人工智能產(chǎn)業(yè)健康發(fā)展提供堅(jiān)實(shí)保障

　　《辦法》的研制是完善我國人工智能治理體系建設(shè)的新探索，對于完善技術(shù)安全體系、維護(hù)人民群眾利益、促進(jìn)產(chǎn)業(yè)健康發(fā)展具有積極意義。

　　（一）進(jìn)一步完善人工智能安全治理技術(shù)體系

　　《辦法》與《生成式人工智能服務(wù)管理暫行辦法》《人工智能生成合成內(nèi)容標(biāo)識辦法》等文件共同構(gòu)成了系統(tǒng)完備、科學(xué)規(guī)范、運(yùn)行有效的人工智能治理制度體系。這一體系既關(guān)注技術(shù)研發(fā)應(yīng)用的安全性、可靠性，也關(guān)注技術(shù)應(yīng)用的社會影響和倫理問題；既規(guī)范內(nèi)容生成、標(biāo)識傳播等技術(shù)功能層面，也延伸至情感交互、價值傳遞等社會關(guān)系層面；既強(qiáng)調(diào)事前預(yù)防、源頭治理，也注重事中監(jiān)測、動態(tài)管理和事后處置、責(zé)任追究?！掇k法》將治理視角從技術(shù)功能的“內(nèi)容安全”深入拓展到社會關(guān)系的“情感安全”，從信息傳播的“真實(shí)準(zhǔn)確”延伸覆蓋到價值傳遞的“正確導(dǎo)向”，標(biāo)志著我國人工智能治理進(jìn)入更加精細(xì)化、更加關(guān)注人本價值的新階段。

　　（二）切實(shí)維護(hù)人民群眾使用人工智能的根本安全

　　《辦法》把保護(hù)用戶合法權(quán)益、維護(hù)用戶身心健康、促進(jìn)人的全面發(fā)展作為根本出發(fā)點(diǎn)和落腳點(diǎn)。通過建立強(qiáng)提示機(jī)制有效保障用戶知情權(quán)和選擇權(quán)，通過明確底線要求堅(jiān)決防范技術(shù)濫用風(fēng)險和安全隱患，通過強(qiáng)化對齊算法切實(shí)確保價值觀正確導(dǎo)向，通過強(qiáng)化相關(guān)群體保護(hù)要求充分體現(xiàn)對未成年人、老年人等群體的關(guān)懷關(guān)愛。《辦法》高度關(guān)注擬人化互動服務(wù)可能對用戶心理健康、人際關(guān)系、價值觀念產(chǎn)生的深層次影響，要求服務(wù)提供者不僅要確保技術(shù)安全、數(shù)據(jù)安全、內(nèi)容安全等基礎(chǔ)性安全，更要切實(shí)承擔(dān)社會責(zé)任。這種從技術(shù)安全延伸到心理安全、從個體保護(hù)延伸到社會影響的全方位保護(hù)，讓人工智能技術(shù)真正成為提升人民生活品質(zhì)、增進(jìn)人民福祉的有力工具。

　　（三）為“人工智能+”戰(zhàn)略深入實(shí)施提供有力安全保障

　　國務(wù)院印發(fā)的《關(guān)于深入實(shí)施“人工智能+”行動的意見》明確提出要推進(jìn)人工智能與經(jīng)濟(jì)社會各領(lǐng)域深度融合。擬人化互動服務(wù)作為人工智能技術(shù)應(yīng)用的重要方向，在教育培訓(xùn)、醫(yī)療健康、養(yǎng)老服務(wù)、文化娛樂等眾多領(lǐng)域具有廣闊的應(yīng)用前景?！掇k法》通過明確發(fā)展方向、劃定安全邊界、創(chuàng)新治理機(jī)制，為擬人化互動服務(wù)的規(guī)范發(fā)展、健康發(fā)展創(chuàng)造了良好的制度環(huán)境和市場環(huán)境。監(jiān)管沙箱等創(chuàng)新性治理機(jī)制為技術(shù)創(chuàng)新、模式創(chuàng)新提供了充分的試驗(yàn)空間，鼓勵和支持企業(yè)在合規(guī)前提下大膽探索、勇于創(chuàng)新?！掇k法》在確保安全與促進(jìn)發(fā)展之間找到了科學(xué)的平衡點(diǎn)，為“人工智能+”戰(zhàn)略的深入實(shí)施、人工智能產(chǎn)業(yè)的高質(zhì)量發(fā)展提供了堅(jiān)實(shí)的制度保障和有力的政策支撐。（作者：張震，國家互聯(lián)網(wǎng)應(yīng)急中心副處長、正高級工程師）