提出基于深度学习的传统-智能混合解决方案
随着以深度学习为代表的新一代人工智能技术不断取得突破，学术界与工业界逐渐意识到人工智能技术在图像、视频压缩领域的巨大应用潜力。
基于深度学习的图像视频压缩技术被视为超越传统压缩技术能力极限、取得突破性进展的明日之星。
近日，第六届深度学习图像压缩挑战赛（以下将简称“CLIC大赛”）比赛结果公布，由火山引擎多媒体实验室与北大组成的联合参赛平台b-2在高码率视频压缩和低码率视频压缩两个赛道均夺得主客观指标冠军。基于深度学习技术，b-2平台提出了一项“传统-智能混合解决方案”。
传统—智能混合解决方案
b-2 平台在充分理解传统压缩技术与深度学习压缩技术的各自原理的基础上，发挥两种技术路线的各自优势，取长补短，将二者有机融合成为一个整体，形成了独具特色的传统——智能混合解决方案。
传统编码模块在业界已有传统编码框架基础上，加入了非对称四叉树划分等创新技术。智能编码模块则引入了基于深度学习的环路滤波等技术。
△非对称四叉树划分结构；(a)H1型水平UQT，(b)H2型水平UQT，(c)V1型垂直UQT，(d)V2型垂直UQT。
编码单元划分是混合视频编码框架的基础，决定着编码单元的基本形状和尺寸。灵活的划分方法能更有效地表达视频丰富的纹理和运动，对编码性能的提升起着至关重要的作用。
团队提出了非对称四叉树 (UQT) 划分结构，旨在提高视频的编码效率。与现有的四叉树(Quad Tree, QT)，二叉树(Binary Tree, BT)，三叉树(Ternary Tree, TT)划分结构相比，UQT通过一次划分生成的子编码单元能触及更深的划分深度，能更有效地捕捉视频丰富的细节特性。
此外，UQT生成的子块形状是无法通过 QT 、BT、TT组合实现的，一定程度上弥补了现有划分的不足，丰富了划分的表达。
△环路滤波网络结构示意图，包括网络的输入，滤波与输出模块
传统视频编码中采用环路滤波器去除编码失真，缩小原始图像与重建之间的失真，例如经典的去块滤波、样本自适应偏移和自适应环路滤波等。
参赛平台提出了一种基于残差卷积网络的增强型环路滤波技术，有机地将环路滤波技术与深度学习技术结合在一起，在网络结构中与模型训练中充分利用传统视频编码的先验信息，提升环路滤波效率。
网络输入方面，除重建像素外，团队将编码过程中的预测信息、划分信息、边界强度以及量化参数等作为增强信息供深度网络学习，丰富先验知识，使得网络能更好地感知压缩失真。
在分层参考的编码结构中，待编码帧将参考已重建的高质量帧。团队提出对不同时域层次帧所使用的滤波器采用迭代训练的方式，获取最接近真实编码的训练数据，实现更高性能的滤波。
此外，每个条带及最大编码单位均可以在多个滤波模型中自适应地选择率失真性能最优的网络模型，并将选择信息传输到解码端。
△CLIC视频压缩赛道基于MOS的排行榜
CLIC大赛由电气与电子工程师协会IEEE主办，从诞生开始就获得了学术界与工业界的广泛关注。
2023年CLIC大赛暂停一届，本届大赛依托于数据压缩领域的顶级会议 Data Compression Conference (DCC)再次举办。本届DCC中，火山引擎多媒体实验室有8篇论文入选。此外，这也是该团队自2022年CLIC大赛高码率视频压缩和低码率视频压缩两个赛道夺冠后，再次蝉联。
火山引擎多媒体实验室是字节跳动旗下的研究团队，致力于探索多媒体领域的前沿技术，参与国际标准化工作，其众多创新算法及软硬件解决方案已经广泛应用在抖音、西瓜视频等产品的多媒体业务，并向火山引擎的企业级客户提供技术服务。实验室成立以来，多篇论文入选国际顶会和旗舰期刊，并获得数项国际级技术赛事冠军、行业创新奖及最佳论文奖。
— 完 —
今年全国两会期间，人工智能成为热点话题，“人工智能+”首次被写入政府工作报告。一头连着数字经济发展大局，一头连着行业变革与创新，“人工智能+”既是新质生产力发展的“新引擎”，也是产业和消费 记者19日从西北大学获悉，该校地质学系、大陆动力学国家重点实验室刘鹏副教授与中国地质大学（北京）李国武教授团队申请的两种新矿物，近日经国际矿物学学会新矿物命名与分类专业委员会审查、投票，均 科技日报从哈尔滨工业大学获悉，北京时间2024年3月20日8时31分28秒，“天都一号”“天都二号”通导技术试验星伴随探月工程四期鹊桥二号中继星任务搭乘长征八号遥三运载火箭从文昌航天发射场发射 记者3月20日从中国科学技术大学获悉，该校郭光灿院士团队在量子态分辨研究中取得重要进展。研究组在最小资源消耗的量子态分辨问题中首次提出了全局最优自适应策略，并发展了自适应集体测量实验 据一项在本周举行的美国心脏协会会议上提交的新研究，每天进食时间控制在8小时内的间歇性禁食方法可能与心脏病死亡风险上升相关。近年来越来越流行的间歇性禁食指限制进食时间，在每天或每周的 3月24日消息，今日一则#男孩捡17岁女生电话归还反被讹200#的话题登上微博热搜，引发网民热议。据报道，3月23日，山西长治。郭女士父亲捡到一台iPhone电话，归还时机主反称电话后壳里的200元现金不见了。郭 。本文链接：北大&火山引擎夺冠！CLIC视频压缩挑战赛结果公布，中国团队表现亮眼http://www.sushuapos.com/show-2-4656-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。