提出基于深度学习的传统-智能混合解决方案
随着以深度学习为代表的新一代人工智能技术不断取得突破，学术界与工业界逐渐意识到人工智能技术在图像、视频压缩领域的巨大应用潜力。
基于深度学习的图像视频压缩技术被视为超越传统压缩技术能力极限、取得突破性进展的明日之星。
近日，第六届深度学习图像压缩挑战赛（以下将简称“CLIC大赛”）比赛结果公布，由火山引擎多媒体实验室与北大组成的联合参赛平台b-2在高码率视频压缩和低码率视频压缩两个赛道均夺得主客观指标冠军。基于深度学习技术，b-2平台提出了一项“传统-智能混合解决方案”。
传统—智能混合解决方案
b-2 平台在充分理解传统压缩技术与深度学习压缩技术的各自原理的基础上，发挥两种技术路线的各自优势，取长补短，将二者有机融合成为一个整体，形成了独具特色的传统——智能混合解决方案。
传统编码模块在业界已有传统编码框架基础上，加入了非对称四叉树划分等创新技术。智能编码模块则引入了基于深度学习的环路滤波等技术。
△非对称四叉树划分结构；(a)H1型水平UQT，(b)H2型水平UQT，(c)V1型垂直UQT，(d)V2型垂直UQT。
编码单元划分是混合视频编码框架的基础，决定着编码单元的基本形状和尺寸。灵活的划分方法能更有效地表达视频丰富的纹理和运动，对编码性能的提升起着至关重要的作用。
团队提出了非对称四叉树 (UQT) 划分结构，旨在提高视频的编码效率。与现有的四叉树(Quad Tree, QT)，二叉树(Binary Tree, BT)，三叉树(Ternary Tree, TT)划分结构相比，UQT通过一次划分生成的子编码单元能触及更深的划分深度，能更有效地捕捉视频丰富的细节特性。
此外，UQT生成的子块形状是无法通过 QT 、BT、TT组合实现的，一定程度上弥补了现有划分的不足，丰富了划分的表达。
△环路滤波网络结构示意图，包括网络的输入，滤波与输出模块
传统视频编码中采用环路滤波器去除编码失真，缩小原始图像与重建之间的失真，例如经典的去块滤波、样本自适应偏移和自适应环路滤波等。
参赛平台提出了一种基于残差卷积网络的增强型环路滤波技术，有机地将环路滤波技术与深度学习技术结合在一起，在网络结构中与模型训练中充分利用传统视频编码的先验信息，提升环路滤波效率。
网络输入方面，除重建像素外，团队将编码过程中的预测信息、划分信息、边界强度以及量化参数等作为增强信息供深度网络学习，丰富先验知识，使得网络能更好地感知压缩失真。
在分层参考的编码结构中，待编码帧将参考已重建的高质量帧。团队提出对不同时域层次帧所使用的滤波器采用迭代训练的方式，获取最接近真实编码的训练数据，实现更高性能的滤波。
此外，每个条带及最大编码单位均可以在多个滤波模型中自适应地选择率失真性能最优的网络模型，并将选择信息传输到解码端。
△CLIC视频压缩赛道基于MOS的排行榜
CLIC大赛由电气与电子工程师协会IEEE主办，从诞生开始就获得了学术界与工业界的广泛关注。
2023年CLIC大赛暂停一届，本届大赛依托于数据压缩领域的顶级会议 Data Compression Conference (DCC)再次举办。本届DCC中，火山引擎多媒体实验室有8篇论文入选。此外，这也是该团队自2022年CLIC大赛高码率视频压缩和低码率视频压缩两个赛道夺冠后，再次蝉联。
火山引擎多媒体实验室是字节跳动旗下的研究团队，致力于探索多媒体领域的前沿技术，参与国际标准化工作，其众多创新算法及软硬件解决方案已经广泛应用在抖音、西瓜视频等产品的多媒体业务，并向火山引擎的企业级客户提供技术服务。实验室成立以来，多篇论文入选国际顶会和旗舰期刊，并获得数项国际级技术赛事冠军、行业创新奖及最佳论文奖。
— 完 —
记者3月19日从天津大学获悉，该校环境学院刘庆岭教授团队与吉林大学于吉红院士团队以及天津工业大学梅东海教授团队合作，证明了无有机模板剂合成的具有OFF和ERI拓扑共生结构的Cu-T催化剂具有优 3月19日，记者从香港科技大学获悉，该校以人工智能生成式工具设计出10位“AI讲师”， 这些“AI讲师”来自世界各地，属不同民族及文化背景。该校希望通过创新教学模式，激发学生学习热情，提升课堂参与度 玻璃，是我们日常生活中常见且应用非常广泛的一种材料，如外墙、窗户、杯子、灯饰……但玻璃的应用远不止于此。2024年3月22日14时，由中国下一代教育基金会与中国平安共同主办、科技 自2019年以来，科学家已经在国际空间站上培育出了包括人类大脑、心脏和乳房在内的多个类器官模型。这些类器官通常利用人类干细胞培育而成，在一系列化学生长物质的帮助下，干细胞可发育成类似人体 英伟达AI风暴席卷医疗行业 “AI制药”是风口还是泡沫？ 季媛媛 全球医疗健康行业正刮起最强AI风暴。 当地时间3月18日，全球瞩目的顶级AI盛会――英伟达2024年GPU技术大会(NVIDIA GTC 2024)正式开幕。据相关 “人工智能作为数字新基建重点建设方向，前景广阔，大有作为。今年的政府工作报告更首次提出开展‘人工智能+’行动，无疑将为人工智能技术在国内各行各业的广泛应用开启新篇章。”3月22 。本文链接：北大&火山引擎夺冠！CLIC视频压缩挑战赛结果公布，中国团队表现亮眼http://www.sushuapos.com/show-2-4656-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。