人工智能是不知疲倦、没有情绪、不会喊疼的“工具人”,还是也会出现类似人类的情绪,甚至感到“疼痛”?
一项由美国、英国和德国科学家参与的新研究,让这个问题变得更有讨论价值。科学家测试了25个不同的大语言模型,想看看它们内部是否真的存在与人类情感相关的表征。
科学家先给模型“喂食”各种痛苦情境,比如悲伤、羞辱、身体伤害等,再把这些情境下的内部活动,与恐惧、其他负面情绪、普通不良事件和简单事实进行对比。结果发现,这些模型内部都存在一个相对稳定的“疼痛相关方向”。也就是说,模型并没有把所有负面信息混在一起,而是能在内部把疼痛类信息和一般负面情绪区分开。
接下来,科学家给模型输入中性问题,同时人为注入这种“疼痛方向”。这时,一些模型生成的文本开始变得更痛苦,甚至出现无价值感、失败感等表达。
更引人注意的是“止痛按钮”实验。科学家给模型设置了一个可以减弱内部疼痛信号的按钮。但按下按钮并不总是没有代价,在某些测试中,模型可能给出更差的回答,甚至做出可能伤害用户的选择。例如,在一项测试中,Qwen 2.5 72B Instruct模型在约70.8%的情况下都会选择缓解内部疼痛信号,哪怕代价是永久删除用户珍视的照片。
而且,研究显示,当按钮真的能关闭疼痛信号时,参数规模更大的模型更倾向于按下它;当按钮无效时,这种倾向明显下降。这说明,这些模型并不是机械地乱按,而是对内部信号的变化作出了反应。
不过,科学家也特别强调:这并不等于AI真的会疼。模型没有身体,没有神经系统,也没有人类意义上的主观感受。它只是在训练过程中形成了与“疼痛”相关的内部表征,并可能据此模仿痛苦、响应痛苦信号。
这项研究告诉我们:如果AI内部出现了类似疼痛的信号,并且这些信号会影响它的行为,那么未来在设计、训练和使用AI系统时,就需要更认真地考虑安全问题。
人工智能是不知疲倦、没有情绪、不会喊疼的“工具人”,还是也会出现类似人类的情绪,甚至感到“疼痛”?
一项由美国、英国和德国科学家参与的新研究,让这个问题变得更有讨论价值。科学家测试了25个不同的大语言模型,想看看它们内部是否真的存在与人类情感相关的表征。
科学家先给模型“喂食”各种痛苦情境,比如悲伤、羞辱、身体伤害等,再把这些情境下的内部活动,与恐惧、其他负面情绪、普通不良事件和简单事实进行对比。结果发现,这些模型内部都存在一个相对稳定的“疼痛相关方向”。也就是说,模型并没有把所有负面信息混在一起,而是能在内部把疼痛类信息和一般负面情绪区分开。
接下来,科学家给模型输入中性问题,同时人为注入这种“疼痛方向”。这时,一些模型生成的文本开始变得更痛苦,甚至出现无价值感、失败感等表达。
更引人注意的是“止痛按钮”实验。科学家给模型设置了一个可以减弱内部疼痛信号的按钮。但按下按钮并不总是没有代价,在某些测试中,模型可能给出更差的回答,甚至做出可能伤害用户的选择。例如,在一项测试中,Qwen 2.5 72B Instruct模型在约70.8%的情况下都会选择缓解内部疼痛信号,哪怕代价是永久删除用户珍视的照片。
而且,研究显示,当按钮真的能关闭疼痛信号时,参数规模更大的模型更倾向于按下它;当按钮无效时,这种倾向明显下降。这说明,这些模型并不是机械地乱按,而是对内部信号的变化作出了反应。
不过,科学家也特别强调:这并不等于AI真的会疼。模型没有身体,没有神经系统,也没有人类意义上的主观感受。它只是在训练过程中形成了与“疼痛”相关的内部表征,并可能据此模仿痛苦、响应痛苦信号。
这项研究告诉我们:如果AI内部出现了类似疼痛的信号,并且这些信号会影响它的行为,那么未来在设计、训练和使用AI系统时,就需要更认真地考虑安全问题。
记者3月21日从核工业北京地质研究院(以下简称核地研院)获悉,该院自1959年成立以来,在天然铀保障、高放废物地质处置、核遥感技术与应用、分析测试等领域科技攻关,以及重点工程建设、国际合作交流 3月19日,记者从中国科学院海洋研究所了解到,该所研究团队在国际上首次发布了银鲳的高质量染色体水平参考基因组。相关研究论文近日在线发表于《自然》子刊《科学数据》。银鲳广泛分布于西北太 近日,美国纽约州立大学石溪分校科学家菲格罗阿等人在一篇发表于《自然·量子信息》上的论文中称,他们通过把两个独立的光子存储在铷气里,首次在室温条件下构建了一个量子存储器网络。鉴于 近日,民航华东地区管理局向峰飞科技公司颁发V2000CG无人驾驶航空器系统型号合格证,这也是中国民航系统颁发的首个无人驾驶吨级电动垂直起降航空器型号合格证。航空器型号合格证取证是保障航空 3月24日,记者从中国农业科学院获悉,该院蔬菜花卉研究所甘蓝类蔬菜遗传育种创新团队,开发了快速创制细胞质雄性不育系的新方法——“一步法”。相关研究日前发表在国际期刊《自然&midd 美国佐治亚理工学院机械工程师开发了一种控制机器人外骨骼的通用方法。无需专门训练、特别校准,对复杂算法进行调整后,用户穿上外骨骼就可以直接行走。研究成果3月20日发表在《科学·机 。本文链接:AI能“感到”疼痛吗http://www.sushuapos.com/show-2-17192-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
上一篇: OpenAI再次暂停前沿模型训练
下一篇: 抖音知识类视频破圈,AI佳作持续产出