科技日报北京11月21日电 （记者刘霞）据美国科学促进会旗下网站19日报道，美国普林斯顿大学和斯坦福大学团队开发出一种新压缩算法CALDERA，能精简大型语言模型（LLM）的海量数据，为LLM“瘦身”。这项算法不仅有助保护数据隐私、节约能源、降低成本，还能推动LLM在手机和笔记本电脑上高效使用。
团队举例称，当人们使用ChatGPT时，请求会被发送到OpenAI公司的后端服务器进行处理。这一过程不仅成本高昂、能耗巨大，通常还很慢。如果用户想要使用消费级图形处理单元运行LLM，就需要对这些LLM进行压缩。
CALDERA算法通过减少LLM冗余并降低信息层的精度来发挥作用。“瘦身”后的LLM更加精简，可在手机或笔记本电脑等设备上存储和访问，同时提供了与未压缩版本几乎一样准确而微妙的性能。
虽然CALDERA并非首个压缩LLM的算法，但其独特之处在于兼具“低精度”和“低排序”两种特性。其中，“低精度”减少了比特数，加快了数据存储和处理速度。而“低排序”则降低了LLM数据中的冗余。
团队表示，使用CALDERA压缩的LLM可能适用于那些对精度要求不是最高的场景。此外，用户可在智能手机或笔记本电脑等设备上对压缩后的LLM进行微调，这使其能根据特定需求调整模型来增强隐私，而无需与第三方共享敏感数据。
不过团队也提醒道，在智能手机或笔记本电脑上运行LLM，可能会占用设备内存。
中新网上海12月19日电 (记者 许婧)上海交通大学分析测试中心实验动物中心新大楼启用仪式19日举行。随着新大楼的落成，一 关于启动2024年与莫斯科大学互换奖学金、与圣彼得堡大学互换奖学金遴选工作的通知 根据《中国国家留学基金管理委 12月18日晚，甘肃临夏州积石山县发生6.2级地震，震源深度10公里，已致多人遇难，部分水、电、交通、通讯等基础设施受损。应急管 12月18日，由中国科协—北京大学科学文化研究院、中国科协创新战略研究院及北京大学科学技术与医学史系共同主办的“第三 中国工程院资深院士、胜利油田原资深首席高级专家顾心怿同志，因病医治无效，于2024年1月2日在济南逝世，享年88岁。 顾心怿 记者1月2日从中国科学院昆明植物研究所获悉，近期高黎贡山国家级自然保护区怒江管护局、贡山管护分局联合该所组成的考察 。本文链接：压缩算法为大语言模型“瘦身”http://www.sushuapos.com/show-11-14336-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 谷歌可能被迫出售Chrome，OpenAI考虑推出浏览器
下一篇： 新理论首次精确定义单光子形状