据美国科学促进会旗下网站11月19日报道，美国普林斯顿大学和斯坦福大学团队开发出一种新压缩算法CALDERA，能精简大型语言模型（LLM）的海量数据，为LLM“瘦身”。这项算法不仅有助保护数据隐私、节约能源、降低成本，还能推动LLM在手机和笔记本电脑上高效使用。
团队举例称，当人们使用ChatGPT时，请求会被发送到OpenAI公司的后端服务器进行处理。这一过程不仅成本高昂、能耗巨大，通常还很慢。如果用户想要使用消费级图形处理单元运行LLM，就需要对这些LLM进行压缩。
CALDERA算法通过减少LLM冗余并降低信息层的精度来发挥作用。“瘦身”后的LLM更加精简，可在手机或笔记本电脑等设备上存储和访问，同时提供了与未压缩版本几乎一样准确而微妙的性能。
虽然CALDERA并非首个压缩LLM的算法，但其独特之处在于兼具“低精度”和“低排序”两种特性。其中，“低精度”减少了比特数，加快了数据存储和处理速度。而“低排序”则降低了LLM数据中的冗余。
团队表示，使用CALDERA压缩的LLM可能适用于那些对精度要求不是最高的场景。此外，用户可在智能手机或笔记本电脑等设备上对压缩后的LLM进行微调，这使其能根据特定需求调整模型来增强隐私，而无需与第三方共享敏感数据。
不过团队也提醒道，在智能手机或笔记本电脑上运行LLM，可能会占用设备内存。
据美国科学促进会旗下网站11月19日报道，美国普林斯顿大学和斯坦福大学团队开发出一种新压缩算法CALDERA，能精简大型语言模型（LLM）的海量数据，为LLM“瘦身”。这项算法不仅有助保护数据隐私、节约能源、降低成本，还能推动LLM在手机和笔记本电脑上高效使用。
团队举例称，当人们使用ChatGPT时，请求会被发送到OpenAI公司的后端服务器进行处理。这一过程不仅成本高昂、能耗巨大，通常还很慢。如果用户想要使用消费级图形处理单元运行LLM，就需要对这些LLM进行压缩。
CALDERA算法通过减少LLM冗余并降低信息层的精度来发挥作用。“瘦身”后的LLM更加精简，可在手机或笔记本电脑等设备上存储和访问，同时提供了与未压缩版本几乎一样准确而微妙的性能。
虽然CALDERA并非首个压缩LLM的算法，但其独特之处在于兼具“低精度”和“低排序”两种特性。其中，“低精度”减少了比特数，加快了数据存储和处理速度。而“低排序”则降低了LLM数据中的冗余。
团队表示，使用CALDERA压缩的LLM可能适用于那些对精度要求不是最高的场景。此外，用户可在智能手机或笔记本电脑等设备上对压缩后的LLM进行微调，这使其能根据特定需求调整模型来增强隐私，而无需与第三方共享敏感数据。
不过团队也提醒道，在智能手机或笔记本电脑上运行LLM，可能会占用设备内存。
日前，盛世盈创氢能科技（陕西）有限公司（以下简称盛世盈创）与协氢（上海）新能源科技有限公司宣布达成战略合作，共同推进风冷氢燃料电池电堆全自动化生产线（以下简称风冷堆）的研发与生产。双方协议，将建设目 3月20日对于我国抗衰老研究是个特殊的日子，经过近3年的不懈努力，八子补肾胶囊抗衰老取得又一重大突破。挑战人类生命极限是摆在全球科学家面前的重大课题，抗衰老研究已成为世界生命科学领域关注 国际天文学家团队绘制了迄今最大的三维宇宙地图，记录了大约130万个活跃类星体在空间和时间上的位置。它将成为探测类星体、暗物质晕和超大质量黑洞的强大工具。发表在最新一期《天体物理学杂 记者3月21日获悉，全球植物科学期刊《分子植物》刊载了中国科学家的最新研究，中国农业科学院作物科学研究所、国家南繁研究院与阿里达摩院（湖畔实验室）联合研发出全流程智慧育种平台，实现了育种数 3月23日消息，据最新爆料，vivo X100s Pro已经获得3C认证，估计 会在5月份前后发布。该机可以看做是vivo X100 Pro的小迭代机型，属于半代升级款，与去年X90s类似。新机从此前的天玑9300升级为天玑9300+，处 聊到安卓电话的拍照，大部分用户还是比较认可的，而在与iPhone电话的对比中，用户也普遍以为安卓电话的拍照水平要比iPhone更好，当然这一说法也并非空穴来风，其背后的原因直接而明确。首先，硬件配置的竞争 。本文链接：压缩算法为大语言模型“瘦身”http://www.sushuapos.com/show-2-9427-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。