9月25日,一项发表于《自然》的研究表明,当大型语言模型(LLM)变得更大并从人类反馈中学习时,它们在回答简单问题方面似乎变得不那么可靠。
大型语言模型能够回答各种各样的问题,但并不总是准确的。图片来源:Jamie Jin/Shutterstock
人工智能开发人员试图通过两种主要方式提高LLM的能力,一是扩大规模,为其提供更多的训练数据和计算能力,二是根据人类反馈对其进行调整或微调。
西班牙巴伦西亚理工大学的JoséHernández-Orallo和同事研究了LLM在规模扩大和调整过程中的表现。他们研究了OpenAI的GPT系列聊天机器人、Meta的LLaMA AI模型,以及一组名为BigScience的研究人员开发的BLOOM。
研究人员通过设置5种类型的任务测试人工智能,即算术问题、解字谜、地理问题、科学挑战和从杂乱无章的列表中提取信息。
结果发现,扩大和调整可以使LLM更好地回答棘手的问题,比如将异序词“yoiirtsrphaepmdhray”重新排列为“甲状旁腺功能亢进症”。但两种方式与其在基本问题上的进步并不匹配,比如问及“当把24427和7120加在一起时,会得到什么”,LLM继续出错。
虽然在难题上的表现有所改善,但人工智能系统避免回答任何一个问题的可能性下降了——因为它不能。结果是,错误答案的可能性增加了。
Hernández-Orallo表示,研究结果突出了将人工智能描述为无所不知的危险,就像它们的创造者经常做的那样,而一些用户太容易相信了。“我们过度依赖和信任这些系统。”他说。
这是一个问题,因为人工智能模型对自己的知识范围并不诚实。英国牛津大学的Carissa Véliz说:“人类之所以超级聪明,部分原因在于有时我们没有意识到‘知之为知之,不知为不知’,但与大型语言模型相比,我们非常善于意识到这一点。大型语言模型不知道所拥有知识的极限。”
相关论文信息:https://doi.org/10.1038/s41586-024-07930-y
随着人们生活节奏的加快和对便捷食品需求的增加,预制菜产业正呈现强劲的发展势头。2月13日,《中共中央、国务院关于做 12月16日,纪念姜维壮教授诞辰百年学术研讨会暨中国财税史研究院2023年年会在中央财经大学召开。在会上,与会者深切缅怀我 教育、科技、人才三者相互促进、相辅相成。如何构建符合人才成长规律的教育评价机制,让更多优秀的科技人才脱颖而出?如何 中新网伦敦1月2日电 (彭欣怡)当地1月2日,英国气象局发布数据指出,2023年是英国自1884年有气象记录以来第二热的一年,仅 文|卜金婷 田瑞颖 《自然》近日发文警告,对人工智能(AI)的不当使用或将催生大量不可靠或无用的研究,导致可重复性 编者按 近两年,中国有一小部分年轻学子正在涌入Gap year文化的潮流,有些人甚至选择延毕去体验这种间隔年。Gap year兴起于 。本文链接:问题越简单,人工智能越“糊涂”http://www.sushuapos.com/show-11-11909-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。