设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

分不清9.9与9.11谁大? 大模型数学能力堪忧

发布时间: 2024-07-19 16:25:29 来源:

  分不清9.9与9.11谁大? 大模型数学能力堪忧  Pfa速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  每经记者 可杨 每经编辑 梁枭Pfa速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  13.11%和13.8%哪个大?9.9和9.11哪个大?Pfa速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  两道小学数学难度的题目难倒了众多主流大模型,在比大小的过程中,不少大模型给出了错误的答案。此外,此前《每日经济新闻》发布的《每日经济新闻大模型评测报告(第1期)》中,主流大模型被要求计算企业营业收入复合增长率时,没有一家大模型计算出正确答案。Pfa速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  7月17日,有大模型企业人士向记者表示,对于大模型而言,这不是很难解决的技术问题,只要“喂”了这方面的数据,就能得到准确的答案,只不过大部分的大模型厂商没有把这方面的训练作为重心,所以可能会出现上述不准确的回答。Pfa速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  大模型比大小“翻车”Pfa速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  由综艺节目《歌手2024》排名引发的热议蔓延到了大模型领域,也成了一场针对大模型数学能力的小测。Pfa速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  在《每日经济新闻》记者7月17日的测试中,对于13.11%与13.8%谁大的问题,除了智谱清言外,文心一言、通义千问、Kimi、商汤商量、百川智能百小应等大模型均给出了正确回答。Pfa速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  大部分大模型都在给出答案的同时呈现了推理过程。智谱清言给出的推理过程显示,在比较13.11%和13.8%时,13.11%是更大的数值。这是因为当比较两个百分数时,首先比较整数部分,如果它们相同,则比较小数部分。在这里,两个数的整数部分都是13,但13.11的小数部分11大于13.8的小数部分8,因此13.11%大于13.8%。Pfa速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  从推理过程判断,可能由于小数点后数位不同,大模型在比较过程中产生了幻觉。经过两轮提问后,智谱清言给出了正确回答。Pfa速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  当记者把问题换成“9.9与9.11谁大”,零一万物的万知大模型等同样在一开始给出了错误答案,当记者进一步追问“9.11减9.9等于多少”,甚至有大模型给出了“0.21”的答案。Pfa速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  万知大模型的推理过程稍显混乱:在比较9.9和9.11时,由于整数部分都是9,所以比较小数点后的第一位数字。9.9的小数点后第一位是9,而9.11的小数点后第一位是1。由于9小于10,所以在比较小数点后第二位数字时,9.9的小数点后第二位是0(隐含的),而9.11的小数点后第二位是1。因此,9.9的小数点后第二位数字(隐含的0)小于9.11的小数点后第二位数字(1),所以9.9小于9.11。Pfa速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  随后,记者向大模型提问:为何会出现有大模型认为13.11大于13.8的情况?Pfa速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  ChatGPT给出的回答显示,出现这种情况的原因可能是由于计算或比较方式的错误。可能的误差原因包括:数值理解错误,有时系统可能会误解数字的小数点位置;字符串比较,如果直接按字符串比较,可能会出现错误。因为字符串比较是按字符顺序逐一比较的,而不是按数值比较;代码实现错误,在编程中,可能存在比较逻辑或转换错误。Pfa速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  文心一言给出的解答则是,训练数据偏差、输入处理与理解、模型幻觉、推理能力不足等原因。训练数据偏差层面,即大模型在训练过程中,可能接触到了大量包含数字的数据,但这些数据并不总是以比较大小为目的。例如,数字可能出现在版本号、股票代码、基金表现、汇率等上下文中,这些场景下的数字大小并不总是具有直接的比较意义。如果训练数据中存在关于数字比较的偏差或不足,模型可能无法学习到正确的比较规则。Pfa速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  另一方面,可能由于大模型在处理输入文本时,将数字视为字符序列,而不是具有数值意义的实体。因此,在比较数字大小时,模型可能没有正确地将其转换为数值进行比较。另外,模型在处理小数时可能存在困难,特别是当小数位数不同时。模型可能没有正确地理解小数部分的比较规则。Pfa速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  这个问题不难解决Pfa速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  7月17日,有大模型企业人士在接受记者电话采访时表示,对于大模型而言,这不是很难解决的技术问题,只要“喂”了这方面的数据,其实就能得到准确的答案,只不过大部分的大模型厂商没有把这方面的训练作为重心,所以可能会出现上述不准确的回答。Pfa速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  这也并非大模型的数学能力首次受到关注。Pfa速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  6月,上海人工智能实验室通过旗下司南评测体系OpenCompass对7个大模型进行高考“语数外”全卷能力测试。测试结果显示,三科总分420分,大模型最高分仅303分,其中语文、英语表现相对良好,数学全不及格。Pfa速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  在此前《每日经济新闻》发布的《每日经济新闻大模型评测报告(第1期)》中,对主流大模型的财务数据计算和分析能力同样进行了测评。在财务数据计算中,当被要求计算营业收入复合增长率时,没有一家大模型计算出正确答案。Pfa速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  综 合 来 看 ,Anthropic Claude 3 Opus表现最为出色,以总分136分高居榜首。该模型在计算题的任务一(同比增长率计算)和任务二(毛利率计算)中均获得了较高的分数,但在任务三(复合增长率计算)中未能给出正确答案。Pfa速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  幻方求索DeepSeek-V2是“财务数据计算和分析”场景评测中的一匹“黑马”,以总分133.4分位列第二。该模型在计算题的任务一和任务二中同样表现良好,但在任务三中也未能给出正确答案。不过,在计算复合增长率的任务中,尽管其答案有误,但已掌握了正确的公式。Pfa速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  零一万物Yi-Large的总分达到了126.4分,该模型尽管“分析写作题”得分略逊一筹,但在计算题的任务一和任务二中表现稳定。该模型在计算复合增长率时,同样给出了错误答案,但也给出了正确的公式。Pfa速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  中新经纬1月11日电 据国家药品监督管理局网站消息,1月9日至10日,全国药品监督管理工作会议在北京召开。  会议对2024年药品监管工作作了四个方面具体部署。一是打好防控药品安全风险主动仗。把防范化解药品质量安   越来越多国人选择旅游过春节  “南北互换过年”备受欢迎  证券时报记者 周春媚  甲辰龙年为期8天的春节长假,成为了近年来最为火爆的春节旅游假期。  各地景区张灯结彩、人山人海,迎来客流高峰。迎春灯会、 中国经济导报、中国发展网讯 为加快构建“一区三圈四园”产业发展新格局,发挥商务楼宇安商引商的引擎作用,2月21日,《海口市秀英区促进楼宇经济高质量发展扶持政策(试行)》(以下简称《扶持政策》)发布实施,   约7折“抄底”剩余50%股权,领展全资吞下上海万科七宝项目,6个月过渡期后拟更名  对于此次7折收购七宝万科广场剩余50%股权,领展资产管理发言人向《每日经济新闻》记者介绍:  七宝项目规模庞大且兼具长期增长潜力,   大叔追“鸟”、小伙爱“骆驼”,北面户外业务“群狼环伺”  王涵艺  近日,威富集团(VFC.N)发布2024财年第三季度财报(截至2023年12月30日的三个月内),集团收入同比下滑16%至29.60亿美元(约合213亿元人民币),净利润   加拿大将要求钢铁进口商填报“熔化和浇注国家”信息  中新网多伦多2月22日电 (记者 余瑞冬)加拿大政府要求,从今年11月5日开始,根据加拿大钢铁进口监测计划,钢铁进口商在填写进口报关单时,将需要向加边境服务局报告 。

本文链接:分不清9.9与9.11谁大? 大模型数学能力堪忧http://www.sushuapos.com/show-5-22261-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: 光伏行业“组团”转战中东 多家公司拿下沙特大单

下一篇: 暑期档何以如此热力十足

热门资讯

推荐资讯

  • 同程旅行与北京市朝阳区签订合作协议

      近日,同程旅行与北京市朝阳区人民政府签订全面战略合作协议,双方将在智能出行、数字科技、乡村振兴等领域进行全面合作,共同推动朝阳区数字经济重点领域创新应用,带动朝阳区

  • 宫崎骏的第13块积木

    又一次,宫崎骏退休食言,推出新作《你想活出怎样的人生》。影片讲述了少年牧真人通过一段奇幻旅程而成长的故事。吉卜力粉丝中流传着一句话:“宫崎骏撤

  • 米芾到底写了多少“第一山”?

    “二月天杨柳醉春烟,三月三来山青草漫漫。”在央视2024年的春节联欢晚会后,一首《上春山》传唱大江南北。既然要上春山,就要上天下“第一山”,那这“第

  • 河北邯郸市推进大型旅游景区消费维权服务站全覆盖

      近日,河北省邯郸市市场监管局印发《关于进一步加强全市旅游景区消费维权服务站规范化建设的通知》,大力推进旅游景区消费维权服务站规范化建设,进一步畅通消费维权渠道。 

  • 酒店分销技术商SiteMinder已接近收支平衡

    澳大利亚酒店分销与技术提供商SiteMinder公布2024财年第三季度财报,营收同比增长23.3%至4600万美元,主要得益于Demand Plus元搜索产品的强劲表现和用户基数的持续扩大。公司已

  • 格力电器2023年净利润290.17亿元,同比上涨18.41%

    4月29日,格力电器发布2023年全年业绩报告。2023年,格力电器实现营业收入2039.79亿元,同比上涨7.93%;归母净利润290.17亿元,同比上涨18.41%;基本每股收益5.22元。公告还披露,本次拟

  • 张家界旅游集团2024年一季度营收5861.47万元

      4月29日,张家界旅游集团发布2024年第一季度财报。财报显示,张家界旅游集团2024年一季度实现营业收入5861.47万元,同比下降8.48%;归属于上市公司股东的净利润亏损4648.19万

  • 携程:五一假期流行小城游!县域旅游市场增速高于一二线城市

      五一假期,旅游热情高涨,全国多地景区再现“人山人海”。5月5日,携程发布《2024五一假期旅行总结》。携程数据显示,五一假期,国内旅游市场在去年同期高位基础上保持稳中有增的

  • 自然资源部:继续大力保障保障性住房用地供应

      近日,据自然资源部消息,为适应房地产市场供求关系发生重大变化的新形势,支持盘活存量土地,促进房地产市场平稳健康发展,自然资源部下发通知,要求各地做好年度住宅用地供应计划

  • “五一”旅游新动向:小城缘何受青睐丨“假日经济”长红密码

    21世纪经济报道记者高江虹 北京报道 为期五天的2024年“五一”假期落幕。5月6日,文化和旅游部发布数据显示,今年“五一”假期全国国内旅游

  • 万科启动北京朝阳区首个“村地区管”租赁住房项目

      近日,北京万科在朝阳区的“G地块集体土地租赁住房项目”举行了开工奠基仪式,标志着朝阳区在集体土地租赁住房领域的创新探索迈出了实质性步伐。该项目由北京朝阳高碑店乡

  • 陈晓卿出书讲述如何“吃透”人生

    “美食的终极意义在于获得生理和心理的幸福感。这种幸福感是非常主观的,有时候和食物本身相关,有时候和生活经历相关,吃家常菜得到的满足感,吃燕鲍翅并

  • 日榜
  • 周榜
  • 月榜