设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

大模型一对一战斗75万轮,GPT-4夺冠,Llama 3位列第五

发布时间: 来源: 量子位

Llama 3英文能力与GPT-4并列第一ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

克雷西 发自 凹非寺ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
量子位 | 公众号 QbitAI

关于Llama 3,又有测试结果新鲜出炉——ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

大模型评测社区LMSYS发布了一份大模型排行榜单,Llama 3位列第五,英文单项与GPT-4并列第一。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

图片ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

不同于其他Benchmark,这份榜单的依据是模型一对一battle,由全网测评者自行命题并打分。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

最终,Llama 3取得了榜单中的第五名,排在前面的是GPT-4的三个不同版本,以及Claude 3超大杯Opus。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

而在英文单项榜单中,Llama 3反超了Claude,与GPT-4打成了平手。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

对于这一结果,Meta的首席科学家LeCun十分高兴,转发了推文并留下了一个“Nice”。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

图片ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

PyTorch之父Soumith Chintala也激动地表示,这样的成果令人难以置信,对Meta感到骄傲。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

Llama 3的400B版本还没出来,单靠70B参数就获得了第五名……ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
我还记得去年三月GPT-4发布的时候,达到与之相同的表现几乎是一件不可能的事。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
……ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
现在AI的普及化实在是令人难以置信,我对Meta AI的同仁们做出这样的成功感到非常骄傲。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

图片ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

那么,这份榜单具体展示了什么样的结果呢?ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

近90个模型对战75万轮

截至最新榜单发布,LMSYS共收集了近75万次大模型solo对战结果,涉及的模型达到了89款。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

其中,Llama 3参与过的有1.27万次,GPT-4则有多个不同版本,最多的参与了6.8万次。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

图片ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

下面这张图展示了部分热门模型的比拼次数和胜率,图中的两项指标都没有统计平局的次数。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

图片ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

榜单方面,LMSYS分成了总榜和多个子榜单,GPT-4-Turbo位列第一,与之并列的是早一些的1106版本,以及Claude 3超大杯Opus。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

另一个版本(0125)的GPT-4则位列其后,紧接着就是Llama 3了。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

不过比较有意思的是,较新一些的0125,表现还不如老版本1106。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

图片ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

而在英文单项榜单中,Llama 3的成绩直接和两款GPT-4打成了平手,还反超了0125版本。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

图片ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

中文能力排行榜的第一名则由Claude 3 Opus和GPT-4-1106共享,Llama 3则已经排到了20名开外。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

图片ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

除了语言能力之外,榜单中还设置了长文本和代码能力排名,Llama 3也都名列前茅。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

不过,LMSYS的“游戏规则”又具体是什么样的呢?ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

人人都可参与的大模型评测

这是一个人人都可以参与的大模型测试,题目和评价标准,都由参与者自行决定。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

而具体的“竞技”过程,又分成了battle和side-by-side两种模式。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

图片ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

battle模式下,在测试界面输入好问题之后,系统会随机调用库中的两个模型,而测试者并不知道系统到底抽中了谁,界面中只显示“模型A”和“模型B”。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

在模型输出答案后,测评人需要选择哪个更好,或者是平手,当然如果模型的表现都不符合预期,也有相应的选项。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

只有在做出选择之后,模型的身份才会被揭开。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

side-by-side则是由用户选择指定的模型来PK,其余测试流程与battle模式相同ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

不过,只有battle的匿名模式下的投票结果才会被统计,且在对话过程中模型不小心暴露身份就会导致结果失效。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

图片ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

按照各个模型对其他模型的Win Rate,可以绘制出这样的图像:ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

图片ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

示意图,较早版本

而最终的排行榜,是利用Win Rate数据,通过Elo评价系统换算成分数得到的。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

Elo评价系统是一种计算玩家相对技能水平的方法,由美国物理学教授Arpad Elo设计。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

具体到LMSYS,在初始条件下,所有模型的评分(R)都被设定为1000,然后根据这样的公式计算出期待胜率(E)。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

图片ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

随着测试的不断进行,会根据实际得分(S)对评分进行修正,S有1、0和0.5三种取值,分别对应获胜、失败和平手三种情况。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

修正算法如下式所示,其中K为系数,需要测试者根据实际情况调整。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

图片ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

最终将所有有效数据纳入计算后,就得到了模型的Elo评分。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

不过实际操作过程中,LMSYS团队发现这种算法的稳定性存在不足,于是又采用了统计学方法进行了修正。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

他们利用Bootstrap方法进行重复采样,得到了更稳定的结果,并估计了置信度区间。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

最终修正后的Elo评分,就成了榜单中的排列依据。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

One More Thing

Llama 3已经可以在大模型推理平台Groq(不是马斯克的Grok)上跑了。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

这个平台的最大亮点就是“快”,之前用Mixtral模型跑出过每秒近500 token的速度。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

跑起Llama 3,也是相当迅速,实测70B可以跑到每秒约300 Token,8B版本更是接近了800。ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

图片ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

参考链接:ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
[1]https://lmsys.org/blog/2023-05-03-arena/ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
[2]https://chat.lmsys.org/?leaderboardZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
[3]https://twitter.com/lmsysorg/status/1782483699449332144ZSx速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

今年1月,英国分子生物学家肖尔托·戴维发表文章,指控美国哈佛大学医学院附属丹娜-法伯癌症研究所科学家通过修改图片伪造数据。随后该研究所正式宣布撤回6篇论文,并纠正了另外31篇论文的 因流量突然剧增,3月21日,陆续有用户在社交平台上表示,月之暗面旗下大模型应用Kimi智能助手的APP和小程序均无法正常使用。截至记者发稿时,相关页面和功能已经恢复正常。Kimi突然爆火,在A 造成女性更容易睡不好的原因是多方面的,包括更年期等生理周期等,而女性长期的失眠除了会导致内分泌进一步失调,还会诱发心脏病、高血压、糖尿病、免疫力低下、记忆下降、脱发、皮肤松弛等。北京 从手机到手表再到电动汽车,锂离子充电电池为众多设备提供动力。但随着消费者丢弃电子产品的增加,越来越多的锂可能会进入环境。研究人员在美国化学会2024年春季会议上展示的一项研究成果,描述了 3月25日消息,去年huawei在Mate 60系列上首发了玄武机身架构,采用一体化金属机身,搭配上超耐用锦纤材质,使整机的抗挤压能力提高10倍,使用更放心。“玄武”是极其坚固的代表,huawei还在问界M9上采用了“ 3月25日6时左右将迎来水星东大距。这是水星今年第二次大距、首次东大距,也是公众尝试观测水星的好机会。届时,水星位于太阳东边,与太阳张角约为18.7度。以北京地区为例,在日落时,水星地平高度约为 。

本文链接:大模型一对一战斗75万轮,GPT-4夺冠,Llama 3位列第五http://www.sushuapos.com/show-2-5308-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: 1966年杨成武汇报部队建设,毛主席突然插话说 曾国藩杀人很厉害(1966年杨成武汇报部队建设)

下一篇: 黑照变废为宝!超能AI一句话修出创意大片,亲妈看了都说真

热门资讯

推荐资讯

  • 天利科技收监管函 事关2025年业绩预告

      中新经纬3月27日电 27日,深交所创业板公司管理部对江西天利科技股份有限公司(下称“天利科技”)出具监管函。  来源:深交所网站  深交所创业板公司管理部表示,2026年1

  • 2025年中国新设个体工商户1619.4万户

      中新经纬3月26日电 据国家市场监管总局微信公众号26日消息,近日,国家市场监管总局公布数据显示,2025年全国新设个体工商户1619.4万户,总体发展平稳,为繁荣消费、稳定就业、服

  • A股三大指数跌超1%,化工板块逆市走强

      中新经纬3月26日电 26日,A股低开低走,三大指数跌超1%。上证指数跌1.09%,报3889.08点;深证成指跌1.41%,报13606.44点;创业板指跌1.34%,报3272.49点。  Wind截图  盘面上看,油

  • 外媒:欧洲天然气库存快空了

      中新经纬3月25日电 据彭博社报道,欧洲即将进入天然气储备季,但储罐已快耗尽,这意味着它将需要与亚洲买家竞争以确保供应。  报道称,根据欧洲天然气基础设施公司的数据,目前

  • “中园石化”被立案调查 律师解读是否涉嫌“傍名牌”|宅男财经

      【宅男财经|专家面对面】有网友发帖称,加完油才发现自己去的是“中园石化”,而不是“中国石化”,并称名字真的太像了!当前,河北石家庄鹿泉区市监局已对此立案调查,将根据调

  • 金价过山车,黄金基金要继续拿吗?

      中新经纬3月25日电 (周奕航)“黄金基金亏麻了,我要躺平了。”“由盈转亏,黄金基金还要不要继续拿着?”……近日,在社交平台上,关于黄金基金该持有还是赎回的讨论持续升温。 

  • 报告:预计2026年土地市场将延续分化格局

      中新经纬3月25日电 中指研究院微信公众号25日发布《一季度土地市场盘点》(下称《报告》)称,基于当前市场态势与政策导向,预计2026年土地市场将延续分化格局。  《报告》

  • 商务部:1-2月智能眼镜网零额增长183.5%

      中新经纬3月25日电 据商务部网站25日消息,商务部电子商务司负责人介绍2026年1-2月我国电子商务发展情况。  2026年1-2月,我国电子商务稳定发展,数字消费稳中向好,产业电商

  • 国家能源局:截至2月底太阳能发电装机容量同比增33.2%

      中新经纬3月25日电 “国家能源局”微信号25日消息,截至2月底,太阳能发电装机容量12.3亿千瓦,同比增长33.2%。  国家能源局当日发布2026年1-2月份全国电力统计数据。  

  • 海底捞公布2025全年业绩:营收432.25亿元,其他餐厅收入大幅增长

      中新经纬3月24日电 2026年3月24日,海底捞(06862)公布其2025年全年业绩。公告显示,2025年海底捞实现收入432.25亿元,同比增长1.1%;年内净利润为40.42亿元,核心经营利润为54.03

  • 中煤大同能源有限责任公司董事长张仲清被查

      中新经纬3月24日电 据安徽纪检监察网通报,中煤大同能源有限责任公司党委书记、董事长张仲清涉嫌严重违纪违法,目前正接受中国中煤能源集团有限公司纪委纪律审查和安徽省宿

  • 三亚通报出租车司机擅自停车意图拼客:责令滴滴对账号封禁1个月

      中新经纬3月24日电 三亚市交通运输局24日凌晨通过“三亚交通”公众号发布通报称,近日,有网民反映搭乘出租车出行过程中,遭遇驾驶员擅自停车意图搭载其他乘客的违规问题,引发

  • 日榜
  • 周榜
  • 月榜