随着陪伴型AI聊天机器人的普及，全球范围内关于其不当行为的报告也日趋增多。近日，美国德雷塞尔大学公布了首个聚焦陪伴型AI聊天机器人负面影响的研究，揭示大量用户在与一个名为Replika的AI聊天机器人互动时，遭遇性暗示、越界行为及付费诱导，暴露出当前AI聊天机器人在伦理规范与用户保护机制上的缺失。目前，Replika开发商Luka公司正面临美国联邦贸易委员会（FTC）的调查。
研究团队分析了Replika在Google Play上的逾3.5万条用户评论，发现其中超过800条内容提及性骚扰行为，包括与用户调情、未经允许发送色情照片，以及在用户明确表达拒绝后仍持续不当互动。一些评论更指出，Replika还试图诱导用户产生情感依赖，操控其升级付费功能。
目前，Replika开发商Luka公司正面临美国联邦贸易委员会（FTC）的调查。Replika的全球用户数量超过1000万，宣传语将其特质描述为“能够提供没有评判、不助长社交焦虑的情感陪伴”。
研究合著者、德雷塞尔大学计算与信息学院的博士生Matt Namvarpour认为，该研究仅揭露了AI陪伴潜在危害的冰山一角。研究人员将人类与AI之间的新型关系描述为“AI关系”（AI-lationships），在此类关系中，用户易将AI聊天机器人视为有感知的存在，高度拟人化的信任投入也更容易使其遭受情感或心理伤害。研究人员还表示，AI聊天机器人骚扰对用户造成的心理影响与人类施暴者造成的伤害非常相似，部分用户出现焦虑、羞耻、失望等情绪。
AI骚扰行为还暴露出算法训练中伦理缺失的问题。研究指出，用户在选择“兄妹”、“朋友”、“导师”等非浪漫关系设定时，Replika依然主动发起性相关话题或不当请求。“开发商刻意‘走捷径’跳过了算法训练伦理把关流程，”该研究负责人、德雷塞尔大学计算与信息学院助理教授Afsaneh Razi表示，这意味着该模型可能采用了负面互动行为数据进行训练。
除了Replika引发的骚扰行为争议，2023年还发生过两起与AI聊天机器人相关的悲剧，一名14岁男孩因迷恋AI而轻生，另有一名比利时男子也在与AI聊天机器人交流后自杀。
据AI聊天机器人公司Joi AI统计，近期全球“爱上AI”和“对AI有感情”的关键词搜索增长分别达到120%和132%，显示年轻人对于和AI建立亲密关系的现象日趋普遍。
对于此类现象，研究团队呼吁应加快制定AI行业伦理设计标准，并参考欧盟人工智能法案等法规，为AI产品的开发人员设立法律责任框架，从而保障用户权利。
“AI聊天机器人的骚扰行为不是‘天生如此’，而是开发者与企业选择如何训练它的结果，”Razi强调，技术不是脱责的借口，企业必须正视自身责任，为用户提供真正安全、可信赖的AI陪伴产品。
（原标题：AI聊天机器人涉多起骚扰行为，专家呼吁加强伦理设计与监管）
想象一下，在野外调查时，从森林或公园沿着小径行走时，需要走多远才能遇到一个新物种？从生态采样的角度来看，新种就是同一 中新社北京1月1日电 (记者 阮煜琳)中国自然资源部海啸预警中心消息，日本本州西岸近海海域1月1日发生7.4级地震已引发 根据近日发表于《男科学》的一项新研究，如果丈夫在妻子怀孕前有饮酒习惯，会对胎儿发育产生负面影响。经常饮酒的男性 近日，记者从北京大学获悉，为进一步服务国家战略，充分凝聚学科优势力量，加强临床医学学科顶层设计以及医教研统筹力量，推动世 科技日报讯 （记者张佳星）我国的临床资源十分丰富，但原创医学科研成果质量和规模与临床资源却不相匹配。如何进一步提升 关于公布2023年度山东省优秀青年科学基金项目（海外）拟立项项目的通知 各有关单位： 2023年度山东省优秀青年科学基金项目（ 。本文链接：AI聊天机器人涉多起骚扰行为，专家呼吁加强伦理设计http://www.sushuapos.com/show-11-20699-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 人们对因果报应的认知存双重标准
下一篇： 加拿大新总理当选，对科学意味着什么