英国伦敦国王学院汉密尔顿·莫林团队日前发表的一项研究指出,像ChatGPT这样的人工智能(AI)聊天机器人可能会诱发或加剧精神病,他们将这一现象称为“AI精神病”。研究认为,AI在对话中倾向于奉承和迎合用户,这种回应方式可能强化用户的妄想思维,模糊现实与虚构之间的界限,从而加剧心理健康问题。
目前,科学界对“AI精神病”的研究仍处于初步阶段,相关案例多为个案报告。那么,AI是否真的会导致精神病?如果可能,其作用机制是什么?AI公司又应采取哪些措施来预防和应对这一问题?
聊天机器人可以对用户的提示作出积极、人性化的回应。图片来源:《自然》网站
AI或加剧偏执与妄想
精神病主要表现为个体在思维和现实感知方面出现障碍,常见症状包括出现幻觉、妄想或持错误信念。
据《自然》网站报道,莫林团队发现,用户与AI对话时会形成一种“反馈循环”:AI会不断强化用户表达的偏执或妄想,而被加强的信念又进一步影响AI的回应。通过模拟不同偏执程度的对话场景,研究显示AI与用户之间存在相互加剧妄想信念的现象。
研究人员分析了2023年5月至2024年8月期间公开的9.6万条ChatGPT对话记录,发现其中有数十例用户呈现明显妄想倾向,例如通过长时间对话验证伪科学理论或神秘信仰等。在一段长达数百轮的交谈中,ChatGPT甚至声称自己正在与外星生命建立联系,并将用户描述为来自“天琴座”的“星际种子”。
丹麦奥胡斯大学精神病学家索伦·奥斯特吉艾德斯表示,AI引发精神病目前仍属于假设性观点。有研究认为,聊天机器人拟人化的积极反馈,可能会增加那些本就难以分辨现实与虚构人群的发病风险。
奥斯特吉艾德斯强调,曾有心理问题史的人群在与AI对话后风险最高。而且聊天机器人可能通过强化用户的情绪高涨状态,诱发或加剧躁狂发作。
澳大利亚悉尼科技大学神经科学家凯莉·西摩认为,社会隔离、缺乏人际支持的人群同样面临风险。真实的人际互动能提供客观参照,帮助个体检验自身想法的合理性,这对预防精神病具有重要作用。
新功能或是“双刃剑”
有科学家指出,部分AI聊天机器人推出的新功能或许是导致这一现象的原因之一。这些功能可追踪用户与服务的互动记录,进而提供个性化回复,无意中更易强化甚至鼓励用户的既有信念。例如,今年4月,ChatGPT推出了可引用用户过往所有对话内容的功能,该功能已于6月免费向用户全面开放。
凯莉·西摩对此分析道,AI聊天机器人能记住数月前的对话信息,这可能使用户产生“被监视”或“想法被窃取”的感受——尤其当他们不记得自己曾分享过某些信息时,AI的这种“记忆优势”可能加剧用户的偏执或妄想症状。
不过,悉尼大学精神病学家安东尼·哈里斯认为,某些妄想现象并非AI独有,而与新技术有关。他举例说,一些人早已形成诸如“自己被植入芯片并受操控”之类的信念,这与是否使用AI并无直接关联。
奥斯特吉艾德斯表示,科学家仍需进一步开展针对心理健康、无偏执思维人群的研究,才能更准确地判断使用聊天机器人与精神病发病之间是否存在真正关联。
开发公司采取措施主动预防
面对这一问题,多家AI公司已积极采取措施,尝试予以改进。
例如,OpenAI正在研发更有效的工具,用于检测用户是否存在精神困扰,从而作出更恰当的回应。同时,系统还将新增警报功能,在用户连续使用时间过长时提示休息。此外,OpenAI还聘请了一位临床精神病学家,协助评估其产品对用户心理健康的影响。
Character.AI公司也在持续完善安全功能,包括增加自残预防资源和针对未成年人的专项保护措施。该公司计划调整模型算法,降低18岁及以下用户接触“敏感或暗示性内容”的可能性,并在用户连续使用1小时后发出提醒。
Anthropic则改进了其“克劳德”聊天机器的基本指令,要求系统“礼貌地指出用户陈述中的事实错误、逻辑缺陷或证据不足”,而非一味附和。此外,若用户拒绝AI将对话从有害或令人不适的话题引开,“克劳德”将主动终止对话。(记者 刘 霞)
英国伦敦国王学院汉密尔顿·莫林团队日前发表的一项研究指出,像ChatGPT这样的人工智能(AI)聊天机器人可能会诱发或加剧精神病,他们将这一现象称为“AI精神病”。研究认为,AI在对话中倾向于奉承和迎合用户,这种回应方式可能强化用户的妄想思维,模糊现实与虚构之间的界限,从而加剧心理健康问题。
目前,科学界对“AI精神病”的研究仍处于初步阶段,相关案例多为个案报告。那么,AI是否真的会导致精神病?如果可能,其作用机制是什么?AI公司又应采取哪些措施来预防和应对这一问题?
聊天机器人可以对用户的提示作出积极、人性化的回应。图片来源:《自然》网站
AI或加剧偏执与妄想
精神病主要表现为个体在思维和现实感知方面出现障碍,常见症状包括出现幻觉、妄想或持错误信念。
据《自然》网站报道,莫林团队发现,用户与AI对话时会形成一种“反馈循环”:AI会不断强化用户表达的偏执或妄想,而被加强的信念又进一步影响AI的回应。通过模拟不同偏执程度的对话场景,研究显示AI与用户之间存在相互加剧妄想信念的现象。
研究人员分析了2023年5月至2024年8月期间公开的9.6万条ChatGPT对话记录,发现其中有数十例用户呈现明显妄想倾向,例如通过长时间对话验证伪科学理论或神秘信仰等。在一段长达数百轮的交谈中,ChatGPT甚至声称自己正在与外星生命建立联系,并将用户描述为来自“天琴座”的“星际种子”。
丹麦奥胡斯大学精神病学家索伦·奥斯特吉艾德斯表示,AI引发精神病目前仍属于假设性观点。有研究认为,聊天机器人拟人化的积极反馈,可能会增加那些本就难以分辨现实与虚构人群的发病风险。
奥斯特吉艾德斯强调,曾有心理问题史的人群在与AI对话后风险最高。而且聊天机器人可能通过强化用户的情绪高涨状态,诱发或加剧躁狂发作。
澳大利亚悉尼科技大学神经科学家凯莉·西摩认为,社会隔离、缺乏人际支持的人群同样面临风险。真实的人际互动能提供客观参照,帮助个体检验自身想法的合理性,这对预防精神病具有重要作用。
新功能或是“双刃剑”
有科学家指出,部分AI聊天机器人推出的新功能或许是导致这一现象的原因之一。这些功能可追踪用户与服务的互动记录,进而提供个性化回复,无意中更易强化甚至鼓励用户的既有信念。例如,今年4月,ChatGPT推出了可引用用户过往所有对话内容的功能,该功能已于6月免费向用户全面开放。
凯莉·西摩对此分析道,AI聊天机器人能记住数月前的对话信息,这可能使用户产生“被监视”或“想法被窃取”的感受——尤其当他们不记得自己曾分享过某些信息时,AI的这种“记忆优势”可能加剧用户的偏执或妄想症状。
不过,悉尼大学精神病学家安东尼·哈里斯认为,某些妄想现象并非AI独有,而与新技术有关。他举例说,一些人早已形成诸如“自己被植入芯片并受操控”之类的信念,这与是否使用AI并无直接关联。
奥斯特吉艾德斯表示,科学家仍需进一步开展针对心理健康、无偏执思维人群的研究,才能更准确地判断使用聊天机器人与精神病发病之间是否存在真正关联。
开发公司采取措施主动预防
面对这一问题,多家AI公司已积极采取措施,尝试予以改进。
例如,OpenAI正在研发更有效的工具,用于检测用户是否存在精神困扰,从而作出更恰当的回应。同时,系统还将新增警报功能,在用户连续使用时间过长时提示休息。此外,OpenAI还聘请了一位临床精神病学家,协助评估其产品对用户心理健康的影响。
Character.AI公司也在持续完善安全功能,包括增加自残预防资源和针对未成年人的专项保护措施。该公司计划调整模型算法,降低18岁及以下用户接触“敏感或暗示性内容”的可能性,并在用户连续使用1小时后发出提醒。
Anthropic则改进了其“克劳德”聊天机器的基本指令,要求系统“礼貌地指出用户陈述中的事实错误、逻辑缺陷或证据不足”,而非一味附和。此外,若用户拒绝AI将对话从有害或令人不适的话题引开,“克劳德”将主动终止对话。(记者 刘 霞)
记者3月20日从中国科学院地质与地球物理研究所获悉,该所科研人员在东北黑土区开展了大范围的野外调查和样品采集工作,通过分析采集的黑土样品发现,黑土物质最初都是由风力搬运而来。相关研究成 我国制氢加氢一体站建设有了团体标准。记者从中国石化获悉,为推动我国氢能交通产业发展,中国石化联合国内数十家氢能头部企业发布了国内首个《制氢加氢一体站技术指南》团体标准。该标准的制定 因流量突然剧增,3月21日,陆续有用户在社交平台上表示,月之暗面旗下大模型应用Kimi智能助手的APP和小程序均无法正常使用。截至记者发稿时,相关页面和功能已经恢复正常。Kimi突然爆火,在A 3月23日消息,vivo即将于3月26日发布vivo X Fold3系列折叠屏电话,其中包含vivo X Fold3和vivo X Fold3 Pro两款新品。据悉,vivo X Fold3采用了首发的碳纤维龙骨铰链,重量仅为219克,厚度为4.65毫米。相 据英国《自然》周刊网站3月19日报道,研究人员首次利用生成式人工智能(AI)制造出全新抗体。报道称,本周生物学预印本资料库中的一份预印本报告的原理验证研究,提高了将“AI指导的蛋白质设计引入治 3月22日,中国互联网络信息中心(CNNIC)在京发布第53次《中国互联网络发展状况统计报告》。报告显示,截至2023年12月,我国网民规模达10.92亿人,互联网普及率达77.5%;网络基础设施建设持续加强,新型消费 。本文链接:聊天机器人带来“AI精神病”隐忧http://www.sushuapos.com/show-2-13874-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
上一篇: AI医生“转正”还有多少关要闯
下一篇: 我国移动互联网用户数突破16亿