来自Transformer作者创业公司
能打得过GPT-4的开源模型出现了!
大模型竞技场最新战报:
1040亿参数开源模型Command R+攀升至第6位,与GPT-4-0314打成平手,超过了GPT-4-0613。

这也是第一个在大模型竞技场上击败GPT-4的开放权重模型。
大模型竞技场,可是大神Karpathy口中唯二信任的测试基准之一。

Command R+来自AI独角兽Cohere。这家大模型创业公司的联合创始人兼CEO,正是Transformer最年轻作者Aidan Gomez(简称割麦子)。

这份战报一出,又掀起了一波大模型社区的热烈讨论。
大家伙儿兴奋的理由很简单:基础大模型卷了一整年,没想到在2024年格局还在不断地发展变化。
HuggingFace联合创始人Thomas Wolf就说:

另外,Cohere机器学习总监Nils Reimers还指出了值得关注的一点:
Command R+最大的特色是对内置RAG(检索增强生成)进行了全面优化,而在大模型竞技场中,RAG这样的外挂能力并未纳入测试。

RAG优化模型登上开源王座
在Cohere官方定位中,Command R+是一个“RAG优化模型”。
就是说,这个1040亿参数的大模型主要针对检索增强生成技术进行了深度优化,以减少幻觉的产生,更适配于企业级工作负载。
和此前推出的Command R一样,Command R+的上下文窗口长度是128k。
此外,Command R+还具备以下特点:
- 覆盖10+种语言,包括英语、中文、法语、德语等;
- 能使用工具完成复杂业务流程的自动化
从测试结果来看,在多语种、RAG和工具使用这三个维度上,Command R+都达到了GPT-4 turbo的水平。
但在输入成本方面,Command R+的价格仅为GPT-4 turbo的1/3。
输出成本方面,Command R+则是GPT-4 turbo的1/2。

正是这点引发了不少网友的关注:

不过,尽管在大模型竞技场这种人类主观评测上表现抢眼,还是有网友甩出了一些不同观点。
在HumanEval上,Command R+的代码能力就连GPT-3.5都没打过,在两组测试中分别排在32位和33位。
最新版GPT-4 turbo则没有悬念地拿下了第一。

另外,我们也在最近刚登上正经论文的弱智吧benchmark上简单测试了一下Command R+的中文能力。

你给打个分?
需要说明的是,Command R+的开源只面向学术研究,并不能免费商用。
One More Thing
最后的最后,还是多聊一嘴割麦子小哥。
Aidan Gomez,Transformer圆桌骑士中最年轻的一位,加入研究团队时只是个本科生——
不过,是在多伦多大学读大三时就加入了Hinton实验室的那种。
2018年,割麦子被牛津大学录取,开始像他的论文搭子们那样攻读CS博士学位。
但在2019年,随着Cohere的创立,他最终选择退学加入AI创业的浪潮。
Cohere主要是为企业提供大模型解决方案,目前估值达到了22亿美元。
参考链接:
[1]https://twitter.com/lmsysorg/status/1777630133798772766
[2]https://txt.cohere.com/command-r-plus-microsoft-azure/
— 完 —
马斯克开源3140亿参数的Grok,大模型争相开源所为何求? 作者:刘晓洁 特斯拉CEO埃隆・马斯克(Elon Musk)给大模型领域投下一枚重磅炸弹。 北京时间3月18日凌晨,马斯克旗下大模型公司 xAI 在官网宣布开源 3140 3月21日是世界睡眠日,今年中国主题为“健康睡眠 人人共享”。人的一生约有三分之一的时间是在睡眠中度过,睡眠、运动、营养被视为保障机体正常发育和健康的三大要素。关于睡眠有哪些常见认知误 3月21日是世界睡眠日,中国主题为“健康睡眠 人人共享”。近日发布的《2023年中国居民睡眠白皮书》显示,我国居民平均睡眠时长6.75小时,平均在零点后入睡,夜间睡眠时长普遍偏短。你是否有睡眠困扰 记者3月20日从西安交通大学第二附属医院获悉,该院皮肤病院夏育民教授科研团队研究设计了一种靶向抗双链抗体的D型模拟肽(D-ALW多肽)纳米微粒,成功应用于MRL/lpr红斑狼疮小鼠模型的治疗,为目前红斑 人类的语言自产生以来,就不断演化发展。发音、词汇、语法的演变过程,是语言学家较为关注的领域。语言演化的根本动力是什么,演化又呈现出怎样的规律?我国科学家主导的一项心理学研究显示,人类的某 所谓香喷喷的婴儿,到底是源于人们的爱意,还是说确有其香?《通讯·化学》21日一项小型研究首次分析了婴儿和青少年体味化学组成的差异。研究显示,有两种较难闻的化合物仅在青少年体味样本中 。本文链接:开源模型首胜GPT-4!竞技场最新战报引热议,Karpathy:这是我唯二信任的榜单http://www.sushuapos.com/show-2-4735-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。