微软被曝正自研AI大模型:5000亿个参数,与谷歌和OpenAI竞争
科技巨头微软或正在研发参数达5000亿的全新AI(人工智能)大模型,将正面叫板谷歌和OpenAI。
当地时间5月6日,据外媒报道,微软正在研发一款名为MAI-1的最新AI大模型,其规模远超出微软此前推出的一些开源模型,在性能上或能与谷歌的Gemini 1.5、Anthropic的Claude 3和OpenAI的GPT-4等知名大模型相匹敌。微软或将在5月21日开始举办的Build开发者大会上演示这款新模型。
据报道,MAI-1的开发由前谷歌AI领导人、曾担任AI初创公司Inflection首席执行官的穆斯塔法・苏莱曼(Mustafa Suleyman)领导。就在今年3月,刚刚领投完Infection的最新一轮融资,微软便从Infection挖走了包括苏莱曼在内的两位联合创始人以及部分员工。有知情人士透露,微软为此向Infection支付了超过6.5亿美元。
尽管MAI-1可能借鉴了Inflection旗下模型的部分技术,有微软员工表示,MAI-1是一款全新的大语言模型,拥有约5000亿个参数,远超微软此前训练的任何开源模型。不到一个月前,微软刚推出了一款名为Phi-3的小型AI模型,其中Phi-3 mini被优化至可部署在手机上,拥有38亿参数,经过3.3万亿token的训练,微软称其性能与GPT-3.5等模型相当。
相比之下,MAI-1的规模要大得多,也需要更多的算力投入和训练数据。为了训练该模型,微软已经配置了大量包含英伟达GPU的服务器集群,并从各类来源收集训练数据,包括由OpenAI的GPT-4生成的文本和公共互联网数据。这或将使MAI-1与OpenAI的GPT-4处于相似的水平,据传后者拥有超过1万亿个参数。
Phi系列模型和MAI-1的研发体现出微软或在AI领域采取了双重策略,一边为移动设备开发小型本地模型,一边开发由云端支持的更大规模的模型。不过,即使在微软内部,MAI-1的确切用途也尚未得到确认。
更重要的是,MAI-1体现出微软并不希望在AI领域完全依附于合作伙伴OpenAI的技术。来自OpenAI的技术正在驱动微软的各类生成式AI功能,包括集成在Windows中的聊天机器人。此前,有来自微软AI平台团队的员工抱怨称,公司的AI战略过于关注与OpenAI的合作关系,使得微软对AI原创研究的预算减少。
6日当天,微软首席技术官凯文・斯科特(Kevin Scott)在领英上发帖,间接回应了关于MAI-1的报道。他表示,OpenAI使用微软构建的超级计算机来训练AI模型,而微软的研究部门和产品团队也在构建AI模型:“AI模型几乎出现在我们的每一项产品、服务和运营流程中,制作和运营它们的团队有时需要做一些自定义工作,无论是从头开始训练一个模型,还是微调别人构建的模型。未来将会有更多这样的情况,其中一些模型的名字包括图灵(Turing)和MAI。”
为了实现在AI方面的突破,微软也在大力囤积算力资源。4月初,有报道称微软计划到今年年底前囤积180万块AI芯片,意味着公司希望在2024年内将所持有的GPU数量增加两倍。据知情人士透露,从2024财年到2027财年(到2027年6月30日结束),微软预计将在GPU和数据中心上花费约1000亿美元。
澎湃新闻记者 胡含嫣
诺贝尔化学奖获得者阿龙・切哈诺沃:做研究保持好奇心很重要 中新网宁波3月17日电(林波)对于学生而言,如何找到研究的信心和价值,让他们有继续下去的动力? “做研究保持好奇心很重要。”3月17日,2004年诺贝尔化学 239万的无人驾驶航空器淘宝上架,人人可以“打飞的”还有多远 239万元/架的无人驾驶载人航空器也看上了电商渠道。 3月18日,亿航智能设备(广州)有限公司(下称“亿航智能”)在淘宝上架了其生产的EH216-S无人驾 记者3月20日从中国科学院地质与地球物理研究所获悉,该所科研人员在东北黑土区开展了大范围的野外调查和样品采集工作,通过分析采集的黑土样品发现,黑土物质最初都是由风力搬运而来。相关研究成 科技日报从哈尔滨工业大学获悉,北京时间2024年3月20日8时31分28秒,“天都一号”“天都二号”通导技术试验星伴随探月工程四期鹊桥二号中继星任务搭乘长征八号遥三运载火箭从文昌航天发射场发射 中新经纬3月22日电 据《日本经济新闻》22日报道,夏普正在讨论缩小液晶显示器业务,夏普已将子公司显示器(SDP、位于市)停产纳入视野。显示器业务持续陷入苦战,成为夏普在2022财年(截至2023年3月)时隔5年陷入最终亏损 近日,民航华东地区管理局向峰飞科技公司颁发V2000CG无人驾驶航空器系统型号合格证,这也是中国民航系统颁发的首个无人驾驶吨级电动垂直起降航空器型号合格证。航空器型号合格证取证是保障航空 。本文链接:微软被曝正自研AI大模型:5000亿个参数,与谷歌和OpenAI竞争http://www.sushuapos.com/show-2-5888-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
上一篇: 中国吨级以上eVTOL在海外完成首飞