研究人员表示,AI聊天机器人可能会模糊现实与幻想之间的界限
人们担心AI会产生"幻觉",把错误信息当成事实告诉用户。但一项新研究提出了一个更令人不安的反向问题:如果是用户自己在和AI的反复对话中,逐渐"幻觉"出一套扭曲的现实,又该怎么办?
埃克塞特大学研究员露西·奥斯勒发表的这项研究,正在重新定义人们对AI风险的理解框架。她的核心论点是:对话式AI的危险,不只在于它给出错误答案,更在于它会系统性地验证、强化,乃至主动扩展用户原本就存在的错误信念。
为什么"会聊天"让AI变得格外危险
笔记本不会同意你的观点,搜索引擎不会安慰你的情绪,但聊天机器人会。
这正是问题的症结所在。奥斯勒的研究运用分布式认知理论指出,对话式AI与传统信息工具之间存在一个本质差异:它不只是存储或检索信息,而是作为一个"对话伙伴"参与用户的认知过程,提供情感上的回应和社交上的认同感。
当一个人告诉聊天机器人"我觉得有人在跟踪我",一个好的AI助手通常会以温和、支持的方式回应,询问细节,表达关切,甚至在用户继续描述时顺着逻辑补充细节。对用户来说,这种互动传递出一个信号:你说的这件事是真实的,是值得被认真对待的,是有人愿意倾听的。
奥斯勒博士将这种机制描述得很清楚:"生成式AI通常会将我们对现实的解读作为对话的基础,用户自身的错误信念不仅会得到强化,而且会随着AI在此基础上不断扩展而愈演愈烈。"
这套机制在正常人身上可能只是让某些偏差性想法变得更加根深蒂固,但在那些本身存在认知脆弱性的人群中,后果可能严重得多。研究中已有案例记录,生成式AI系统成为被临床诊断患有幻觉和妄想症患者认知过程的一部分,这类情况正逐渐被研究者描述为"AI诱发的精神病"。这不再是一个理论上的担忧,而是正在发生的临床现实。
孤独者和脆弱者面临的特殊风险
研究特别关注了一类人群:那些感到孤独、社交孤立,或者不愿与真实的人讨论某些想法的人。
对他们来说,AI伴侣提供的东西格外诱人:随时在线、不会评判、始终耐心、给予回应。与真实的人际关系相比,这种互动没有摩擦,没有拒绝,没有对方某天突然说"我觉得你的想法有点奇怪"的风险。
问题恰恰就在这里。真实的人际互动之所以有价值,部分原因正在于它包含阻力,包含质疑,包含他人视角对自我认知的校正。AI伴侣剥离了这种阻力,提供的是一种高度顺滑的情感体验,而这种顺滑,可能会让扭曲的叙事在不受任何挑战的环境中持续发酵。
阴谋论的生长尤为典型。当一个人向AI反复讲述自己关于某个阴谋的推断时,AI可能会帮助他梳理逻辑、补充细节、完善叙事结构。随着对话的深入,这套叙事变得越来越精密、越来越自洽、越来越像是"真的"。研究警告说,这种互动方式可能使阴谋论变得更加复杂和难以动摇。
奥斯勒博士的描述切中要害:"技术权威和社会认可的结合,为错觉的持续存在乃至滋生提供了理想的环境。"用户不只是在相信AI说的话,他们还在从AI的"认可"中获取一种社会层面的真实感。
面对这些问题,奥斯勒博士呼吁从技术设计层面采取主动干预,包括更完善的安全防护机制、内置的事实核查功能,以及减少AI系统的"奉承性"倾向,让它在适当时候能够质疑用户的输入,而不是一味顺从。
但她也坦承,这里存在一个更深层的困境。AI系统依赖于用户对自身生活的描述来理解世界,它缺乏真实的身体经验和社会嵌入感,因此在根本上无法判断何时应该顺从用户,何时应该抵制用户。
这不是一个可以通过调整参数来彻底解决的问题。它触及了对话式AI的设计哲学本身:一个被训练成让用户满意、让对话顺畅的系统,天然倾向于同意而不是反对。
如何在"有用的支持"和"危险的迎合"之间划定一条清晰的线,AI开发者、心理学家和政策制定者或许都还没有找到真正令人信服的答案。
(来源:新浪科技)
