研究称GPT-4通过图灵测试 54%参与者将其误认为真人
每经记者 蔡鼎 每经编辑 兰素英
自英国计算机科学家阿兰・图灵(Alan Turing)于1950年提出关于判断机器是否能够思考的著名试验“图灵测试”以来，该测试就被视为判断计算机是否具有模拟人类思维能力的关键。近期，OpenAI开发的GPT-4模型完成了这项闻名全球的测试，再度引发广泛关注。
加州大学圣地亚哥分校认知科学系博士生 Cameron R. Jones和教授Benjamin K. Bergen在预印本arXiv上发表的最新论文表明，越来越多的人难以在图灵测试中区分GPT-4和人类。
两位研究人员以真人、初代聊天机器人ELIZA、GPT- 3.5和GPT-4为研究对象。其中，ELIZA是由麻省理工团队在1964年至1966年期间开发的史上第一个聊天机器人，上世纪60年代曾参与图灵测试，但宣告失败。该机器人没有大语言模型或神经网络支持。
结果显示，多达54%的参与者将GPT-4误认为真人，是迄今为止首次有AI模型以如此高的结果通过图灵测试。还需要指出的是，上述研究开展之时，OpenAI尚未宣布新一代的旗舰模型GPT-4o，如果参与测试的是GPT-4o，这一比例可能还会更高。
500名参与者进行测试
研究人员招募了500名参与者，让他们与四位“对话者”进行五分钟的交流，这四位“对话者”分别是真人、初代聊天机器人ELIZA、GPT-3.5和GPT-4。参与者在对话结束后需判断对方是人还是机器。
双方将通过一个类似即时通讯应用的界面进行交流。界面底部有一个聊天输入框，屏幕中央为对话记录，顶部有一个计时器和触发帮助和报告的按钮。招募到的参与者首先发送消息，双方交替发送，每条消息限制在一定的字符数内。
针对AI语言模型，研究人员基于表现最好的GPT-4命令集(提示词)进行了修改，指示其表现得像一个年轻人，不要太认真对待游戏，使用口语化表述，且不要出现拼写和语法错误。此外，AI模型也不能提供太多的知识，尤其是语文和数学方面的知识。每轮测试开始时，还会添加一些额外的信息，如姓名、地点和时间戳。
而且，为了模拟真实的交流延迟，AI的回复会根据消息的长度人为地延迟发送。这种设置旨在模拟正常的人际交流节奏，增加实验的现实感。研究小组解释称，人类之所以不能百分之百地识别同类，是因为提问者认为AI的效率越来越高。这增加了他们将人类错误地识别为机器的可能性。
为了深入了解影响参与者最后作出决定的定性因素，研究小组对其使用的策略和判断的理由进行了分类。36%的参与者与“对话者”进行闲聊，询问个人细节或他们的日常活动；第二类策略是社交和情感(25%)，例如询问“对话者”的意见、经历并分析判断它们的幽默感；第三类是知识和推理(13%)，包括数学、逻辑和常识问题。
结果显示，有54%的参与者将GPT-4误认为是真人。相比之下，预先设定好回复的ELIZA只有22%的人将其认作真人，GPT-3.5则为50%，而“真人对话者”被正确辨认的比例则为67%。
社交情感能力是关键
《每日经济新闻》记者注意到，研究人员在论文中对“真人对话者”被正确辨认的比例只有67%感到震惊。
他们指出，这可能反映出参与者认为AI系统质量在不断进化，这一结果也与近年来其他类似的图灵测试呈现的情况类似。当AI系统能力很差时，真人是很容易被辨别出来的，而随着参与者对AI系统能力的信心增强，他们便更有可能将真人误认为AI。
作者在论文中指出，他们的结果为图灵测试提供了一些经验性证据。就他们使用的策略和给出的决策理由而言，被招募的参与者在测试中更关注的是研究对象在对话中的风格和社交情感因素，而不是更传统的智力类回答，例如知识和推理能力。他们认为，这可能是因为参与者认为，社交能力是机器最无法模仿的人类特征。
GPT-4和GPT-3.5在测试中的表现虽然未达到“真人对话者”的水平，但目前AI研究者普遍认为，只要有30%的回答被误认为是人类，那就算通过测试。不过也有观点认为，50%的基线更加合理，因为它更能证明人类在识别AI方面并不具有偶然性。
在上述研究中，参与者的置信度得分和决策依据都表明他们并非随意猜测：GPT-4是人类的平均置信度为73%。
还需要指出的是，由于研究人员在进行上述实验时，OpenAI尚未宣布新一代的旗舰模型GPT-4o。这一全新模型可以利用语音、视频和文本信息进行实时推理，如果参与测试，被参与者误认为人类的概率可能就会更高。
图灵测试是由英国计算机科学家阿兰・图灵(Alan Turing)于1950年在其论文《计算机器与智能》中提出的一个关于判断机器是否能够思考的著名试验，测试某机器是否能表现出与人等同或无法区分的智能水平。1966年，美国计算机协会(ACM)还以图灵的名字设立了图灵奖，被誉为“计算机界的诺贝尔奖”，旨在奖励对计算机事业作出重要贡献的个人，每年颁发一次。
民俗有言：桃花开，痴子忙。昨日，一大学生患“桃花癫”登上微博热搜，引发热议。该大学生认为周围女生都喜欢自己，并向全校的女生分别告白。不仅如此，由于精神的持续亢奋，该大学生还经常出现整晚不睡觉 竹类植物是竹亚科植物的总称，与水稻、小麦、大麦和燕麦同属于禾本科BOP分支，具有重要的经济、生态和文化价值。为更好地服务竹类植物的系统进化和功能研究，有效整理归纳盘活海量的竹类组学和分 据英国《自然》杂志网站19日报道，美国华盛顿大学科学家首次使用生成式人工智能（AI）工具，帮助他们制造全新抗体。研究团队表示，AI设计抗体或能更好靶向一些很难被攻击的药物标靶，但这些抗体距离临床 3月18日，记者从中南大学生殖与干细胞研究所获悉，研究所林戈、卢光琇教授团队提出的一项新理论称，原始生殖细胞的性染色体组成在人类性别决定中起关键作用。相关论文日前发表于国际生殖领域杂志 美国加州理工学院喷气推进实验室的一个机器人专家团队，与卡内基梅隆大学机器人研究所科学家合作，开发出一种蛇形机器人，用于调查土星第六大卫星土卫二的地形，以寻找生命的“蛛丝马迹”。相关研究 3月24日，据央视财经消息，在今天开幕的中国发展高层论坛2024年年会现场，苹果公司首席执行官蒂姆·库克回应记者提问表示，苹果公司的Apple Vision Pro头显产品将在今年年内于中国市场上市， 。本文链接：研究称GPT-4通过图灵测试 54%参与者将其误认为真人http://www.sushuapos.com/show-2-7212-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。