2月17日，人工智能初创公司月之暗面在其官方微信公众号分享了其前段时间刚刚发布的Kimi k1.5多模态思考模型诞生的过程。
这款模型与DeepSeek-R1同日发布，但由于后者过于火爆，使得前者的发布消息几乎被淹没。在热潮日渐平静之际，月之暗面研究员Flood Sung在分享中透露，长思维链的有效性其实在一年多前就已经知道了，但为了省钱，他们优先选择攻关长文本而不是长思维链（Long-CoT：Long Chain of Thought）；在去年9月OpenAI o1推出后，月之暗面决定出手长思维链。
据月之暗面官方介绍，新推出的k1.5多模态思考模型实现了SOTA（state-of-the-art，指最佳技术或最高水平模型）级别的多模态推理和通用推理能力。在长思维链模式下，kimi K1.5的数学、代码、多模态推理能力，也达到长思考SOTA模型OpenAI o1正式版水平。
“长思维链的有效性其实在一年多前就已经知道了，月之暗面Kimi联合创始人Tim周昕宇很早就验证过，使用很小的模型，训练模型做几十位的加减乘除运算，将细粒度的运算过程合成出来变成很长的思维链数据做监督微调（Supervised Fine-Tuning），就可以获得非常好的效果。我依然记得当时看到那个效果的震撼。”Flood Sung表示。
Flood Sung称，他们意识到长上下文的重要性，但优先考虑把文本搞长，对长思维链这件事情不够重视。“主要还是考虑了成本问题”，他表示，长上下文主要做的是长文本输入，有预填充，有Mooncake（Kimi底层的推理平台，已逐步开源）加持，成本速度可控，而长思维链是长文本输出，成本高很多，速度也要慢很多。在这种情况下，把输出搞长就没有成为一个高优选项。
长思维链技术路线是一种基于思维链（Chain-of-Thought, CoT）的推理增强技术，旨在通过生成更长的推理链来提升大型语言模型（LLM）在复杂推理任务中的性能。与传统的短推理链（Short CoT）相比，长思维链能够处理更复杂的任务，因为它允许模型在生成最终答案之前进行更深入的思考。
OpenAI o1模型验证了长思维链在数学和编码等推理任务中的有效性。在长思考（long thought）的帮助下，大语言模型（LLM ）倾向于探索、反思和自我改进推理过程，以获得更准确的答案。
“OpenAI o1发布，震撼，效果爆炸，Long-CoT的有效让我陷入反思。”
但还有什么比性能更重要呢？Flood Sung认为，成本和速度有摩尔定律加持，可以不断下降，只要把性能搞上去，剩下的都不是主要问题。“所以，我们得搞长思维链，搞o1。”
他还提到在实际训练的过程中有了重要的发现：模型会随着训练提升性能也不断增加token数，也就是这是RL（强化学习）训练过程中模型可以自己涌现的，“这个和友商 Deepseek的发现几乎是一样的。”
Flood Sung称，AGI（Artificial General Intelligence，通用人工智能）确实就是近在眼前的事情，如今他重新开始思考ASL（Artificial Super Intelligence，超级人工智能）。对于做强化学习（RL）的人来说，从来都不会把实现AGI作为目标，现在给AI一个可衡量的目标，然后让AI自己去探索，通过强化学习来提升模型，未来不过是把这一过程不断地复制到更复杂的场景中去。
（原标题：月之暗面研究员透露：为了省钱，未能更早将“长思维链”作为高优选项）
2019年，我国新能源汽车产销量刚刚迈过100万辆的关口不久，当时市场渗透率约为5%。之后的5年时间，我国新能源汽车的发展 近日，“面向经济主战场 共建科技创新生态”科技创新驱动高质量发展研讨会在京举行。中国科学院相关科研院所数十位专家出 中新网1月1日电 据国家地震台网官方微博消息，中国地震台网自动测定：1月1日15时10分在日本本州西岸近海附近(北纬37.98度，东 编者按 世界在变，变化中不断积蓄着突破的力量。局势纵横看似山重水复，历史规律昭示未来终将柳暗花明。2023年与我们挥 科技日报北京12月29日电 （记者张佳欣）向人体运送药物的主要挑战是能不断将药物准确送达病灶位置，同时确保它们留在病灶 据微信公众号“厦门大学管理学院”发布的讣告，中共党员、厦门大学退休干部，管理学院原院长沈艺峰教授于 2024年1月2日上午 。本文链接：月之暗面研究员：未能更早将“长思维链”作为高优选项http://www.sushuapos.com/show-11-17457-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 超长寿命高效制氢新技术研发成功