21世纪经济报道记者邓浩 上海报道
近期基础大模型领域热点不断，先是量化巨头幻方上线全新系列模型DeepSeek-V3首个版本上线并同步开源，以极低训练成本引发海内外对大模型经济性的广泛讨论。
1月15日，本土“大模型六小龙”之一的MiniMax发布并开源了MiniMax-01全新系列模型，第一次大规模实现线性注意力机制，直接挑战传统的Transformer架构，再一次在行业掀起巨浪。
某大模型领域专家对记者解释，“传统的Transformer的注意力机制的计算复杂度随着序列长度的增加而呈二次增长，所以做长文本效率很低。MiniMax一直在做’线性注意力机制’这一套，做了比较大的改进，从而可以做到400万token的超长上下文。”
也有不少业内人士对记者表示，MiniMax的创新可以增强现有方法的效率，但没有改变本质。实际效果还需要应用的验证和共识。
创新大模型增强效率
此前，MiniMax一直选择闭源，外界对其技术细节知之甚少，没想到这一次上手即是“王炸”。
不仅采用全新架构，而且实现综合性能比肩海外顶尖模型。据MiniMax透露，该模型的参数量高达4560亿个，其中单次激活459亿个。能够高效处理全球最长400万token的上下文，是GPT-4o的32倍，Claude-3.5-Sonnet的20倍。
为什么需要这么大的窗口处理能力？
事实上，在处理长文本内容、复杂任务的高效执行以及应对多模态/跨模态任务等情况时，越高的信息处理能力越能让模型充分理解需求，从而得到更优的结果。
雪浪云高级副总裁、雪浪工业软件研究院副院长郭翘就对记者表示，“我们已经积累了不少工业语料，相当于工业场景数据，可以很快测试一些基础大模型的能力，而上下文的长度是非常重要的指标。”
为什么可以做到？关键在于其使用了基于线性注意力机制的新架构，其中每8层中有7个是基于Lightning Attention的线性注意力，有1层是传统的SoftMax注意力。
用个通俗的比喻，假如我们需要在一个装满卷轴的藏宝箱，找出一个与宝藏位置最相关的卷轴。传统的注意力机制类似于一群赏金猎人，每一个猎人会把手里的每一个卷轴都与其他所有卷轴依次做比较，随着卷轴书数量的增多，工作量会呈平方级增长。
而线性注意力机制相当于一位聪明的考古学家，他用一套相对简单的办法，依次对这些卷轴进行检阅，不断记录并累计对线索的理解，最后得出综合判断。这个工作量是随着卷轴增加而线性增长的，相对更高效。
MiniMax称，主要“受益于我们的架构创新，我们的模型在处理长输入的时候有非常高的效率，接近线性复杂度。”而且，MiniMax还在技术论文中透露，“我们正在研究更高效的架构，以期完全摒弃softmax注意力机制，从而有可能实现无计算负担的无限上下文窗口。”
况客科技（北京）有限公司管理合伙人安嘉晨对记者表示，“（MiniMax的影响）现在谈可能还为之过早，之前很多类似的其实最终没有成功证明自己比transformer好，这个需要应用的验证和共识。”
某硅谷技术专家也对记者分析，“从去年开始，硅谷一直在诟病Transformer架构，认为没办法商用，成本消耗太大。Minimax的模型本质是对现有方法效率的增强，但是没有改变本质。”
对于MiniMax来说，花费巨大精力和成本构建这个全新的架构，有着更大的野心。
MiniMax直言，“我们相信2025年会是Agent高速发展的一年，不管是单Agent的系统需要持续的记忆，还是多Agent的系统中Agent之间大量的相互通信，都需要越来越长的上下文。在这个模型中，我们走出了第一步，并希望使用这个架构持续建立复杂Agent所需的基础能力。”
不过，上述硅谷技术专家表示并不太认可这个说法，其认为“就单纯AI agent来说，其实用不了太多的token，几千个足够了。多模态会需要，但技术还没到这个点上。”
安嘉晨则坦言，“MiniMax的应用很成功，星野之类的APP，但是（Agent）用模型的话，我觉得竞争还是很激烈的，现在很难说谁比谁明显领先多少。”
开源、口碑与性价比
其实，在基础大模型领域，自从OpenAI推出O1和O3模型之后，产业界和投资界都逐渐形成新的共识，Scaling Law已经趋缓，预训练模型热度开始转向推理模型。
前述硅谷技术专家称，“预训练大模型，现在大家有一个统一的共识，还没办法转化成真实的生产力，性价比极不合适。投资人也有点慌，因为不知道要烧（钱）到什么时候。”
最近的案例是李开复的零一万物，李开复公开表态，只有大厂能烧超大的模型，“我们觉得要和一个烧得起大模型的大厂合作，以后超大的模型由阿里训练，我们就可以用小而精的团队来做小而便宜的模型，拥抱应用的爆发。”
实际上，商业化是摆在现在大模型初创公司面前的一条必答题。
除了零一万物，月之暗面、百川智能、智谱AI等也在加速探索B端业务的变现，而MiniMax相对比较另类，2023年6月和9月，其相继在海外和国内上线AI陪伴产品“Talkie”、“星野”。2024年5月上线C端产品“海螺AI”，作为生产力助手。此前有媒体预测，MiniMax2024年收入预计达到7000万美元，而大部分收入来自Talkie的广告。
该硅谷技术专家透露，“Minimax在国内比较犹豫，但在海外愿意花钱去租GPU，可以侧面印证海外收入还不错。”
实际上，某熟悉MiniMax的业内人士曾对记者表示，由于MiniMax创始团队出身传统AI四小龙，吃过不少B端的“亏”，比如项目制开发，无法规模化做大，利润微薄，因此其在大模型领域创业时特别注重商业变现。
可是，现在价格内卷也开始在预训练模型不断蔓延，如何在白菜价中实现规模盈利，仍将继续考验入局的玩家。
MiniMax称，“受益于架构的创新、效率的优化、集群训推一体的设计以及我们内部大量并发算力复用，我们得以用业内最低的价格区间提供文本和多模态理解的API，标准定价是输入token 1元/百万token，输出token 8元/百万token。”
对于业内比较关心的开源问题，MiniMax解释，“选择开源，一是因为我们认为这有可能启发更多长上下文的研究和应用，从而更快促进Agent时代的到来，二是开源也能促使我们努力做更多创新，更高质量地开展后续的模型研发工作。”
前述硅谷技术专家对此表示，“我觉得大模型开源，主要还是做口碑。特别是在中国，一旦开源，客户的选择成本会很低。而且后续也可以有延伸的增值服务。”
安嘉晨也认为，“闭源模型要盈利，就只能卷性能，但卷性能和盈利这两者几乎很难平衡，也许只有少数的一两个才能坚持闭源且盈利；开源的话，卷性能的需求下降了，自然成本压力也能缓释，还有可能占个生态位，未来还有建立商业模式的可能性。”
郭翘则对记者分析，“我们只关注开源模型，为什么不用闭源（模型）？因为制造业的客户更关心数据安全，必须要保证私有化部署，而闭源模型通常是提供网络接口，通过公有云服务，这是B端客户不太容易接受的。”
3月17日，记者从海南大学获悉，该校化学化工学院副教授李萌婷与相关研究团队合作，合成了多功能复合金纳米花颗粒。该颗粒配合温和光热、光动力、药物控释联合疗法，可有效促进感染性组织再生修复。 据英国《金融时报》网站3月13日报道，科学家们已经在利用人工智能(AI)阐释人体所谓的“黑暗基因组”，并开发一种可能很强大的癌症检测、监测和治疗新方法。美国约翰斯·霍普金斯大学的研 记者3月21日从安徽农业大学获悉，该校生命科学学院韩毅教授课题组与国内外专家合作，发现了植物避盐性的关键基因。该研究对于提高植物耐盐性，帮助盐碱地下的农作物稳产具有重要理论指导意义。相 据一项在本周举行的美国心脏协会会议上提交的新研究，每天进食时间控制在8小时内的间歇性禁食方法可能与心脏病死亡风险上升相关。近年来越来越流行的间歇性禁食指限制进食时间，在每天或每周的 3月24日消息，今天数码博主“厂长是关同学”曝光了huaweiMate 70系列电话的部分配置信息。该博主表示，huawei全新的Mate 70系列首发会搭载新的芯片，芯片的性能差不多可以比肩5.5nm，还是值得期待的。同 美国佐治亚理工学院机械工程师开发了一种控制机器人外骨骼的通用方法。无需专门训练、特别校准，对复杂算法进行调整后，用户穿上外骨骼就可以直接行走。研究成果3月20日发表在《科学·机 。
本文链接：MiniMax挑战Transformer架构，要做AI agent时代的新基建？业内称没有改变本质，尚需应用共识http://www.sushuapos.com/show-2-10182-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。