OpenAI 測試「防極端」機制 ! 將讓ChatGPT引導極端傾向用戶接受支援

火報記者 陳銳/報導

OpenAI 正與合作夥伴探索一項新機制，針對在 ChatGPT 上出現暴力或極端主義傾向的用戶，提供去極端化引導與實際支援服務，這項工具目前正在紐西蘭開發，預計結合人工介入與聊天機器人回應。

該計畫由新創公司 ThroughLine 推動，該公司近年已為OpenAI及其競爭對手 Anthropic、Google 提供危機處理支援，現行機制中，當系統偵測到用戶出現自殘、家庭暴力或飲食失調等風險訊號時，會將其導向當地的心理健康與支援資源，如今，服務範圍正進一步擴展至防範暴力極端主義。

根據規劃，未來若AI辨識出用戶可能涉及極端思想或行為風險，系統將透過專門設計的對話模型進行初步干預，並視情況轉介至真人專業服務，開發團隊強調，這類工具不僅關注內容本身，更重視使用者的心理狀態與互動脈絡，希望在問題升級前介入。

該項目亦與Christchurch Call進行諮詢合作，該倡議成立於2019年Christchurch mosque shootings之後，目標是減少網路仇恨與極端內容的擴散，相關專家將提供反極端主義指導，而ThroughLine則負責技術開發與整合。

背景上，AI平台正面臨越來越多監管與法律壓力，今年稍早，OpenAI曾因未通報一起涉及暴力事件的用戶而遭政府關注，凸顯平台在「何時介入」與「如何介入」之間的兩難，業界普遍認為，單純封鎖帳號或移除內容，可能無法有效降低風險，甚至可能將用戶推向監管更少的平台。

開發團隊指出，新系統可能採取「混合模式」，由AI進行初步互動，再轉由真人服務跟進，同時審慎評估是否需要通報相關機構，關鍵挑戰在於如何在保障隱私與防止風險擴散之間取得平衡，避免因過度干預反而導致行為升級。

分析人士認為，隨著AI聊天機器人使用量快速成長，使用者在對話中揭露的敏感資訊也顯著增加，從心理健康延伸至政治與極端議題，未來這類「主動介入型AI」若能有效運作，將可能成為平台治理與社會安全之間的重要橋樑。

這篇文章 OpenAI 測試「防極端」機制 ! 將讓ChatGPT引導極端傾向用戶接受支援 最早出現於 火報。