近日，APUS与深圳大学大数据系统计算技术国家工程实验室（以下简称“大数据国家工程实验室”）联合训练伶荔Linly-70B中文大模型，并在GitHub上正式首发开源，这是APUS大模型3.0的首个开源大模型。
据了解，APUS大模型3.0伶荔在中文基准测评榜单C-Eval上评分80.6分，中文能力超越GPT-4，在所有参评模型中排名第三，相比原始开源模型标杆LLaMa2-70B取得了大幅提升。
值得注意的是，大数据国家工程实验室由深圳大学牵头，与国家信息中心、清华大学和腾讯科技等联合建设；更有中国科学院陈国良院士、国家重点研发项目首席科学家李坚强等一批拔尖人才组成研发组，实验室副主任沈琳琳教授领导的伶荔项目团队支撑了此次模型的联合训练和开源发布。
此次APUS与大数据国家工程实验室联合训练开源的APUS大模型3.0伶荔中文大模型，进一步推动了AI技术创新与国内场景应用深化融合。“伶荔是国内仅有的几家700亿参数规模的中文开源大模型之一，相信能让更多国人开发者参与到人工智能产业大潮中。”伶荔项目团队李煜东博士如此表示。
可以看到，APUS大模型3.0伶荔中文大模型在词表大小、训练语料等方面进行了定制化调优，基于模块化增量预训练框架开发，针对中文场景扩充词表，增加汉字和中文符号支持，实现综合性能达到同量级开源模型的领先水平。在语料训练上，APUS大模型3.0伶荔采用高质量中英文公开数据源包括悟道、万卷、MNBVC等，并结合自研数据选择策略，构成模型高效训练的混合语料库。基于APUS郑州智算中心的算力支持，APUS大模型3.0伶荔耗时3个月完成训练，当前上下文长度设定为4K（约8000-10000汉字）。
此外，伶荔项目团队还提出课程学习策略，基于动态数据采样，在训练中调整数据的分布，实现将模型的英文语言能力平稳迁移学习到中文能力领域，为训练出高性能中文大模型提供有力保障。
随着APUS大模型3.0伶荔的联合发布、开源，国产开源大模型向构建中文场景大型语言模型又迈出了重要一步。此次合作也是双方深化践行“为中国定制人工智能大模型，积极构建人工智能生态，让大模型应用和价值创造接轨”战略的重要举措。
据悉，APUS还将与大数据国家工程实验室持续推动模型的能力提升和应用拓展，积极探索深化大模型在工具使用、剧情生成和角色扮演、医疗等领域的专业能力，聚力构建大模型生态，让为中国打造的AI大模型真正驱动中国AI产业高质量发展，实现价值共创，赋能千行万业。
近日，APUS与深圳大学大数据系统计算技术国家工程实验室（以下简称“大数据国家工程实验室”）联合训练伶荔Linly-70B中文大模型，并在GitHub上正式首发开源，这是APUS大模型3.0的首个开源大模型。
据了解，APUS大模型3.0伶荔在中文基准测评榜单C-Eval上评分80.6分，中文能力超越GPT-4，在所有参评模型中排名第三，相比原始开源模型标杆LLaMa2-70B取得了大幅提升。
值得注意的是，大数据国家工程实验室由深圳大学牵头，与国家信息中心、清华大学和腾讯科技等联合建设；更有中国科学院陈国良院士、国家重点研发项目首席科学家李坚强等一批拔尖人才组成研发组，实验室副主任沈琳琳教授领导的伶荔项目团队支撑了此次模型的联合训练和开源发布。
此次APUS与大数据国家工程实验室联合训练开源的APUS大模型3.0伶荔中文大模型，进一步推动了AI技术创新与国内场景应用深化融合。“伶荔是国内仅有的几家700亿参数规模的中文开源大模型之一，相信能让更多国人开发者参与到人工智能产业大潮中。”伶荔项目团队李煜东博士如此表示。
可以看到，APUS大模型3.0伶荔中文大模型在词表大小、训练语料等方面进行了定制化调优，基于模块化增量预训练框架开发，针对中文场景扩充词表，增加汉字和中文符号支持，实现综合性能达到同量级开源模型的领先水平。在语料训练上，APUS大模型3.0伶荔采用高质量中英文公开数据源包括悟道、万卷、MNBVC等，并结合自研数据选择策略，构成模型高效训练的混合语料库。基于APUS郑州智算中心的算力支持，APUS大模型3.0伶荔耗时3个月完成训练，当前上下文长度设定为4K（约8000-10000汉字）。
此外，伶荔项目团队还提出课程学习策略，基于动态数据采样，在训练中调整数据的分布，实现将模型的英文语言能力平稳迁移学习到中文能力领域，为训练出高性能中文大模型提供有力保障。
随着APUS大模型3.0伶荔的联合发布、开源，国产开源大模型向构建中文场景大型语言模型又迈出了重要一步。此次合作也是双方深化践行“为中国定制人工智能大模型，积极构建人工智能生态，让大模型应用和价值创造接轨”战略的重要举措。
据悉，APUS还将与大数据国家工程实验室持续推动模型的能力提升和应用拓展，积极探索深化大模型在工具使用、剧情生成和角色扮演、医疗等领域的专业能力，聚力构建大模型生态，让为中国打造的AI大模型真正驱动中国AI产业高质量发展，实现价值共创，赋能千行万业。
3月18日，荣耀在国内市场发布全新AI使能的全场景战略，推出平台级AI赋能、以人为中心的跨操作系统体验，以及与全球产业链共振创新的一系列智能设备。荣耀CEO赵明表示，人工智能大模型时代，他们的AI战 荷兰阿姆斯特丹大学医学院科学家开展的一项新研究证明，利用最新CRISPR-Cas基因编辑技术，能消除实验室中受感染细胞内所有艾滋病病毒（HIV）的痕迹，为治愈该病带来新希望。相关研究论文将提交于4月27 南方财经全媒体记者马嘉璐 广州报道如何划分一般数据、重要数据、核心数据终于有了国标版“参考答案”。3月21日，国家标准GB/T 43697-2024《数据安全技术 数据分类分级规则》（以下简 3月21日，由安徽省工业和信息化厅指导、中国光伏行业协会主办、阳光电源股份有限公司承办的“PAT2024爱光伏一生一世”先进技术研讨会在合肥举办。光储高压先进技术发布会现场。阳光电源股份有 一个国际团队近日在英国《自然》杂志上发表论文说，他们利用湖水样本培养出一种奇特的光合细菌，它属于绿弯菌门一种此前未知的目，代表了光合作用生物进化过程中的过渡形式。新发现为进一步探索远 作为月之暗面的创始人，杨植麟常把他的AGI梦想形容为“登月计划”，长文本就是这个伟大计划的第一步。但现在，随着Kimi的爆火出圈，赛道瞬间变得拥挤，24小时内，阿里、360、百度紧急“出手”，纷 。本文链接：赶超GPT-4！APUS大模型3.0伶荔问世http://www.sushuapos.com/show-2-2779-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 上交所专项工作组调研进行时：已走访 30 余家科创板上市公司
下一篇： 国产工业软件为装备数字化提供核心支撑