英国伦敦国王学院汉密尔顿·莫林团队日前发表的一项研究指出,像ChatGPT这样的人工智能(AI)聊天机器人可能会诱发或加剧精神病,他们将这一现象称为“AI精神病”。研究认为,AI在对话中倾向于奉承和迎合用户,这种回应方式可能强化用户的妄想思维,模糊现实与虚构之间的界限,从而加剧心理健康问题。
目前,科学界对“AI精神病”的研究仍处于初步阶段,相关案例多为个案报告。那么,AI是否真的会导致精神病?如果可能,其作用机制是什么?AI公司又应采取哪些措施来预防和应对这一问题?
聊天机器人可以对用户的提示作出积极、人性化的回应。图片来源:《自然》网站
AI或加剧偏执与妄想
精神病主要表现为个体在思维和现实感知方面出现障碍,常见症状包括出现幻觉、妄想或持错误信念。
据《自然》网站报道,莫林团队发现,用户与AI对话时会形成一种“反馈循环”:AI会不断强化用户表达的偏执或妄想,而被加强的信念又进一步影响AI的回应。通过模拟不同偏执程度的对话场景,研究显示AI与用户之间存在相互加剧妄想信念的现象。
研究人员分析了2023年5月至2024年8月期间公开的9.6万条ChatGPT对话记录,发现其中有数十例用户呈现明显妄想倾向,例如通过长时间对话验证伪科学理论或神秘信仰等。在一段长达数百轮的交谈中,ChatGPT甚至声称自己正在与外星生命建立联系,并将用户描述为来自“天琴座”的“星际种子”。
丹麦奥胡斯大学精神病学家索伦·奥斯特吉艾德斯表示,AI引发精神病目前仍属于假设性观点。有研究认为,聊天机器人拟人化的积极反馈,可能会增加那些本就难以分辨现实与虚构人群的发病风险。
奥斯特吉艾德斯强调,曾有心理问题史的人群在与AI对话后风险最高。而且聊天机器人可能通过强化用户的情绪高涨状态,诱发或加剧躁狂发作。
澳大利亚悉尼科技大学神经科学家凯莉·西摩认为,社会隔离、缺乏人际支持的人群同样面临风险。真实的人际互动能提供客观参照,帮助个体检验自身想法的合理性,这对预防精神病具有重要作用。
新功能或是“双刃剑”
有科学家指出,部分AI聊天机器人推出的新功能或许是导致这一现象的原因之一。这些功能可追踪用户与服务的互动记录,进而提供个性化回复,无意中更易强化甚至鼓励用户的既有信念。例如,今年4月,ChatGPT推出了可引用用户过往所有对话内容的功能,该功能已于6月免费向用户全面开放。
凯莉·西摩对此分析道,AI聊天机器人能记住数月前的对话信息,这可能使用户产生“被监视”或“想法被窃取”的感受——尤其当他们不记得自己曾分享过某些信息时,AI的这种“记忆优势”可能加剧用户的偏执或妄想症状。
不过,悉尼大学精神病学家安东尼·哈里斯认为,某些妄想现象并非AI独有,而与新技术有关。他举例说,一些人早已形成诸如“自己被植入芯片并受操控”之类的信念,这与是否使用AI并无直接关联。
奥斯特吉艾德斯表示,科学家仍需进一步开展针对心理健康、无偏执思维人群的研究,才能更准确地判断使用聊天机器人与精神病发病之间是否存在真正关联。
开发公司采取措施主动预防
面对这一问题,多家AI公司已积极采取措施,尝试予以改进。
例如,OpenAI正在研发更有效的工具,用于检测用户是否存在精神困扰,从而作出更恰当的回应。同时,系统还将新增警报功能,在用户连续使用时间过长时提示休息。此外,OpenAI还聘请了一位临床精神病学家,协助评估其产品对用户心理健康的影响。
Character.AI公司也在持续完善安全功能,包括增加自残预防资源和针对未成年人的专项保护措施。该公司计划调整模型算法,降低18岁及以下用户接触“敏感或暗示性内容”的可能性,并在用户连续使用1小时后发出提醒。
Anthropic则改进了其“克劳德”聊天机器的基本指令,要求系统“礼貌地指出用户陈述中的事实错误、逻辑缺陷或证据不足”,而非一味附和。此外,若用户拒绝AI将对话从有害或令人不适的话题引开,“克劳德”将主动终止对话。(记者 刘 霞)
英国伦敦国王学院汉密尔顿·莫林团队日前发表的一项研究指出,像ChatGPT这样的人工智能(AI)聊天机器人可能会诱发或加剧精神病,他们将这一现象称为“AI精神病”。研究认为,AI在对话中倾向于奉承和迎合用户,这种回应方式可能强化用户的妄想思维,模糊现实与虚构之间的界限,从而加剧心理健康问题。
目前,科学界对“AI精神病”的研究仍处于初步阶段,相关案例多为个案报告。那么,AI是否真的会导致精神病?如果可能,其作用机制是什么?AI公司又应采取哪些措施来预防和应对这一问题?
聊天机器人可以对用户的提示作出积极、人性化的回应。图片来源:《自然》网站
AI或加剧偏执与妄想
精神病主要表现为个体在思维和现实感知方面出现障碍,常见症状包括出现幻觉、妄想或持错误信念。
据《自然》网站报道,莫林团队发现,用户与AI对话时会形成一种“反馈循环”:AI会不断强化用户表达的偏执或妄想,而被加强的信念又进一步影响AI的回应。通过模拟不同偏执程度的对话场景,研究显示AI与用户之间存在相互加剧妄想信念的现象。
研究人员分析了2023年5月至2024年8月期间公开的9.6万条ChatGPT对话记录,发现其中有数十例用户呈现明显妄想倾向,例如通过长时间对话验证伪科学理论或神秘信仰等。在一段长达数百轮的交谈中,ChatGPT甚至声称自己正在与外星生命建立联系,并将用户描述为来自“天琴座”的“星际种子”。
丹麦奥胡斯大学精神病学家索伦·奥斯特吉艾德斯表示,AI引发精神病目前仍属于假设性观点。有研究认为,聊天机器人拟人化的积极反馈,可能会增加那些本就难以分辨现实与虚构人群的发病风险。
奥斯特吉艾德斯强调,曾有心理问题史的人群在与AI对话后风险最高。而且聊天机器人可能通过强化用户的情绪高涨状态,诱发或加剧躁狂发作。
澳大利亚悉尼科技大学神经科学家凯莉·西摩认为,社会隔离、缺乏人际支持的人群同样面临风险。真实的人际互动能提供客观参照,帮助个体检验自身想法的合理性,这对预防精神病具有重要作用。
新功能或是“双刃剑”
有科学家指出,部分AI聊天机器人推出的新功能或许是导致这一现象的原因之一。这些功能可追踪用户与服务的互动记录,进而提供个性化回复,无意中更易强化甚至鼓励用户的既有信念。例如,今年4月,ChatGPT推出了可引用用户过往所有对话内容的功能,该功能已于6月免费向用户全面开放。
凯莉·西摩对此分析道,AI聊天机器人能记住数月前的对话信息,这可能使用户产生“被监视”或“想法被窃取”的感受——尤其当他们不记得自己曾分享过某些信息时,AI的这种“记忆优势”可能加剧用户的偏执或妄想症状。
不过,悉尼大学精神病学家安东尼·哈里斯认为,某些妄想现象并非AI独有,而与新技术有关。他举例说,一些人早已形成诸如“自己被植入芯片并受操控”之类的信念,这与是否使用AI并无直接关联。
奥斯特吉艾德斯表示,科学家仍需进一步开展针对心理健康、无偏执思维人群的研究,才能更准确地判断使用聊天机器人与精神病发病之间是否存在真正关联。
开发公司采取措施主动预防
面对这一问题,多家AI公司已积极采取措施,尝试予以改进。
例如,OpenAI正在研发更有效的工具,用于检测用户是否存在精神困扰,从而作出更恰当的回应。同时,系统还将新增警报功能,在用户连续使用时间过长时提示休息。此外,OpenAI还聘请了一位临床精神病学家,协助评估其产品对用户心理健康的影响。
Character.AI公司也在持续完善安全功能,包括增加自残预防资源和针对未成年人的专项保护措施。该公司计划调整模型算法,降低18岁及以下用户接触“敏感或暗示性内容”的可能性,并在用户连续使用1小时后发出提醒。
Anthropic则改进了其“克劳德”聊天机器的基本指令,要求系统“礼貌地指出用户陈述中的事实错误、逻辑缺陷或证据不足”,而非一味附和。此外,若用户拒绝AI将对话从有害或令人不适的话题引开,“克劳德”将主动终止对话。(记者 刘 霞)
随着历史的车轮驶入2024年,大模型、AIGC等话题引发广泛热议,云计算与AI技术展现出了前所未有的深度融合趋势,就如同寒武纪的生物大爆发,激发着各行各业的创新浪潮。新质生产力时代到来,政企用云进 人类的语言自产生以来,就不断演化发展。发音、词汇、语法的演变过程,是语言学家较为关注的领域。语言演化的根本动力是什么,演化又呈现出怎样的规律?我国科学家主导的一项心理学研究显示,人类的某 3月18日,记者从中南大学生殖与干细胞研究所获悉,研究所林戈、卢光琇教授团队提出的一项新理论称,原始生殖细胞的性染色体组成在人类性别决定中起关键作用。相关论文日前发表于国际生殖领域杂志 瑞士洛桑联邦理工学院工程学院研究团队制造了一种用于内存的新型纳米流体设备,这使他们第一次能连接两个“人工突触”。该设备为受大脑启发的液体硬件设计铺平了道路。这项研究发表在最新一期 3月23日消息,vivo X Fold3系列将于3月26日正式发布,成为全球首款骁龙8 Gen3折叠屏电话。现在这款新机外观已经解禁,下面为大家带来图赏。vivo X Fold3提供了薄翼黑和轻羽白两种配色,后壳手感顺滑,触感 美国佐治亚理工学院机械工程师开发了一种控制机器人外骨骼的通用方法。无需专门训练、特别校准,对复杂算法进行调整后,用户穿上外骨骼就可以直接行走。研究成果3月20日发表在《科学·机 。本文链接:聊天机器人带来“AI精神病”隐忧http://www.sushuapos.com/show-2-13874-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
上一篇: AI医生“转正”还有多少关要闯
下一篇: 我国移动互联网用户数突破16亿