设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

压缩算法为大语言模型“瘦身”

发布时间: 来源: 中国科技网

据美国科学促进会旗下网站11月19日报道,美国普林斯顿大学和斯坦福大学团队开发出一种新压缩算法CALDERA,能精简大型语言模型(LLM)的海量数据,为LLM“瘦身”。这项算法不仅有助保护数据隐私、节约能源、降低成本,还能推动LLM在手机和笔记本电脑上高效使用。4Ox速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

团队举例称,当人们使用ChatGPT时,请求会被发送到OpenAI公司的后端服务器进行处理。这一过程不仅成本高昂、能耗巨大,通常还很慢。如果用户想要使用消费级图形处理单元运行LLM,就需要对这些LLM进行压缩。4Ox速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

CALDERA算法通过减少LLM冗余并降低信息层的精度来发挥作用。“瘦身”后的LLM更加精简,可在手机或笔记本电脑等设备上存储和访问,同时提供了与未压缩版本几乎一样准确而微妙的性能。4Ox速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

虽然CALDERA并非首个压缩LLM的算法,但其独特之处在于兼具“低精度”和“低排序”两种特性。其中,“低精度”减少了比特数,加快了数据存储和处理速度。而“低排序”则降低了LLM数据中的冗余。4Ox速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

团队表示,使用CALDERA压缩的LLM可能适用于那些对精度要求不是最高的场景。此外,用户可在智能手机或笔记本电脑等设备上对压缩后的LLM进行微调,这使其能根据特定需求调整模型来增强隐私,而无需与第三方共享敏感数据。4Ox速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

不过团队也提醒道,在智能手机或笔记本电脑上运行LLM,可能会占用设备内存。4Ox速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

据美国科学促进会旗下网站11月19日报道,美国普林斯顿大学和斯坦福大学团队开发出一种新压缩算法CALDERA,能精简大型语言模型(LLM)的海量数据,为LLM“瘦身”。这项算法不仅有助保护数据隐私、节约能源、降低成本,还能推动LLM在手机和笔记本电脑上高效使用。4Ox速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

团队举例称,当人们使用ChatGPT时,请求会被发送到OpenAI公司的后端服务器进行处理。这一过程不仅成本高昂、能耗巨大,通常还很慢。如果用户想要使用消费级图形处理单元运行LLM,就需要对这些LLM进行压缩。4Ox速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

CALDERA算法通过减少LLM冗余并降低信息层的精度来发挥作用。“瘦身”后的LLM更加精简,可在手机或笔记本电脑等设备上存储和访问,同时提供了与未压缩版本几乎一样准确而微妙的性能。4Ox速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

虽然CALDERA并非首个压缩LLM的算法,但其独特之处在于兼具“低精度”和“低排序”两种特性。其中,“低精度”减少了比特数,加快了数据存储和处理速度。而“低排序”则降低了LLM数据中的冗余。4Ox速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

团队表示,使用CALDERA压缩的LLM可能适用于那些对精度要求不是最高的场景。此外,用户可在智能手机或笔记本电脑等设备上对压缩后的LLM进行微调,这使其能根据特定需求调整模型来增强隐私,而无需与第三方共享敏感数据。4Ox速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

不过团队也提醒道,在智能手机或笔记本电脑上运行LLM,可能会占用设备内存。4Ox速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

记者3月20日从中国科学院地质与地球物理研究所获悉,该所科研人员在东北黑土区开展了大范围的野外调查和样品采集工作,通过分析采集的黑土样品发现,黑土物质最初都是由风力搬运而来。相关研究成 据英国《自然》杂志网站19日报道,美国华盛顿大学科学家首次使用生成式人工智能(AI)工具,帮助他们制造全新抗体。研究团队表示,AI设计抗体或能更好靶向一些很难被攻击的药物标靶,但这些抗体距离临床 近日有消息称,huaweiMate60已经停产。作为huawei于2023年8月末发布的最新旗舰机型,huaweiMate60的停产意味着huawei新款旗舰或即将上市,接替Mate60。2023年8月29日,huaweiMate60 Pro、huaweiMate60等 英伟达的GPU又升级了。3月19日,英伟达CEO黄仁勋发布了最新的B200算力芯片GPU,FP8精度下的训练性能是上一代的2.5倍,FP4精度下的推理性能更是达到了上一代的5倍。然而,这场技术狂欢背后,却令AI领域 3月23日消息,荣耀Magic6 RSR 保时捷设计于3月22日正式开售,售价为9999元。该款电话首销当天即被抢购一空,荣耀商城显示,下一轮销售时间将是3月29日上午10:08。荣耀总裁赵明在微博上表示,荣耀Magic6 RS 3月24日消息,今天数码博主“厂长是关同学”曝光了huaweiMate 70系列电话的部分配置信息。该博主表示,huawei全新的Mate 70系列首发会搭载新的芯片,芯片的性能差不多可以比肩5.5nm,还是值得期待的。同 。

本文链接:压缩算法为大语言模型“瘦身”http://www.sushuapos.com/show-2-9427-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: “跨芯片”量子纠缠实现 有助建构更强大的量子计算能力

下一篇: 世界互联网大会蓝皮书显示 我国已建近万家数字化车间和智能工厂

热门资讯

  • 站在“人工智能+”探索前列

    今年全国两会期间,人工智能成为热点话题,“人工智能+”首次被写入政府工作报告。一头连着数字经济发展大局,一头连着行业变革与创新,“人工智能+”既是

  • 数字化管理已在故宫广泛应用

    在今天的故宫,工作人员使用的数字化办公平台名叫“内务辅”,这款应用的开发者,是与故宫博物院合作的钉钉(中国)信息技术有限公司(以下简称“钉钉”)。3月1

  • 多功能金纳米花颗粒 可促进感染性组织修复

    3月17日,记者从海南大学获悉,该校化学化工学院副教授李萌婷与相关研究团队合作,合成了多功能复合金纳米花颗粒。该颗粒配合温和光热、光动力、药物控

  • 我国首个适应高寒气候肉羊品种通过鉴定

    记者19日从兰州大学获悉,天华肉羊通过国家畜禽遗传资源委员会审定鉴定,成为我国首个适应高寒气候的肉羊品种。该品种由兰州大学草地农业科技学院李发

  • CRISPR能消除培养细胞中艾滋病病毒

    荷兰阿姆斯特丹大学医学院科学家开展的一项新研究证明,利用最新CRISPR-Cas基因编辑技术,能消除实验室中受感染细胞内所有艾滋病病毒(HIV)的痕迹,为治愈

  • 科学新发现丨有史以来最大的三维宇宙地图发布

    根据《天体物理学杂志》的最新报道,一个国际天文学家团队利用欧洲空间局的盖亚(Gaia)太空望远镜收集的数据,创建了迄今为止最庞大的三维宇宙地图。该地

  • 英伟达AI风暴席卷医疗行业 “AI制药”是风口还是泡沫?

      英伟达AI风暴席卷医疗行业 “AI制药”是风口还是泡沫?  季媛媛  全球医疗健康行业正刮起最强AI风暴。  当地时间3月18日,全球瞩目的顶级AI盛会――英伟达2024年GPU

  • 联合国机构报告称2022年全球产生6200万吨电子垃圾

    联合国机构3月20日发布的《全球电子垃圾监测》报告显示,2022年全球范围内共产生6200万吨电子垃圾,其中仅有不到四分之一被回收利用。报告显示,2022年

  • 云海二号02组卫星发射成功

    记者从中国航天科技集团获悉,3月21日13时27分,长征二号丁运载火箭/远征三号上面级在酒泉卫星发射中心起飞,随后将云海二号02组卫星送入预定轨道,发射任

  • Kimi掀起国产大模型长文本竞赛

    作为月之暗面的创始人,杨植麟常把他的AGI梦想形容为“登月计划”,长文本就是这个伟大计划的第一步。但现在,随着Kimi的爆火出圈,赛道瞬间变得

  • 我国网民规模达10.92亿人 互联网普及率达77.5%

    3月22日,中国互联网络信息中心(CNNIC)发布第53次《中国互联网络发展状况统计报告》(以下简称《报告》)。《报告》显示,截至2023年12月,我国网民规模达10.9

  • 聚焦AI框架技术创新 加速大模型规模化落地

    “人工智能作为数字新基建重点建设方向,前景广阔,大有作为。今年的政府工作报告更首次提出开展‘人工智能+’行动,无疑将为人工智能技术在

推荐资讯

  • 日榜
  • 周榜
  • 月榜