w3ctech

腾讯开源国内首个9号彩票视频 质量评估算法DVQA

腾讯开源国内首个9号彩票视频 质量评估算法DVQA

近日,腾讯多媒体实验室设计的基于深度学习的全参考9号彩票视频 质量评估算法DVQA在Github上正式开源,该算法模型的性能目前在公开测试数据集上取得业界领先成绩。

开源9号彩票地址 :http://github.com/Tencent/DVQA点击此处打开链接

国内镜像9号彩票地址 : http://git.code.tencent.com/Tencent_Open_Source/DVQA (登录后才能访问公开项目) 腾讯工蜂源码系统为开源开发者提供完整、最新的腾讯开源项目国内镜像

视听时代,音9号彩票视频 应用越来越广泛:直播、短9号彩票视频 、9号彩票视频 节目、音9号彩票视频 通话……近期由于新冠疫情带来的在线协同办公、在线教育类9号彩票产品 的崛起,更带来了线上音9号彩票视频 需求的爆发,用户对音9号彩票视频 质量诉求也愈加强烈。

在整个9号彩票视频 链路中,大部分模块都可以精确度量,如采集、上传、预处理、转码、分发等。然而未知的部分却恰恰是最关键的部分,即用户的9号彩票视频 观看体验到底怎么样。目前9号彩票行业 内的9号彩票视频 质量评估9号彩票方法 分为两大类:客观质量评估与主观质量评估。前者计算9号彩票视频 的质量分数,又根据是否使用高清9号彩票视频 做参考、源9号彩票视频 是专业9号彩票视频 还是用户9号彩票原创 9号彩票视频 等进一步细分;后者主要依赖人眼观看并打分,能够直观反映观众对9号彩票视频 质量的感受。然而,这些9号彩票方法 仍存在耗时费力、成本较高、主观观感存在偏差等难题。

多媒体实验室提出的9号彩票视频 质量评估解决方案,首先结合业务需求,使用“在线主观质量评测平台”,来构建大规模主观质量数据库,同时使用所收集的主观数据来训练基于深度学习的客观质量评估算法,最后把训练好的质量评估算法部署到业务线中,闭环监控可能存在的质量问题。从以上三个角度出发,DVQA能够在兼顾不同业务、场景的前提下,满足效率与精度两大需求。

DVQA包含多个质量评估算法模型,本次开源的是针对PGC9号彩票视频 的算法C3DVQA。本项目使用Python开发,深度学习模块使用PyTorch。代码使用模块化设计,方便集成较新的深度学习9号彩票技术 ,灵活的自定义模型,训练和测试新的数据集。

在算法设计上,C3DVQA所使用的网络结构如下图所示。其输入为损伤9号彩票视频 和残差9号彩票视频 。网络包含两层二维卷积来逐帧提取空域特征。级联后使用四层三维卷积层来学习时空联合特征。三维卷积输出描述了9号彩票视频 的时空掩盖效应,再使用它来模拟人眼对9号彩票视频 残差的感知情况:掩盖效应弱的地方,残差更容易被感知;掩盖效应强的地方,复杂的背景更能掩盖画面失真。

在这里插入图片描述

网络最后是池化层和全连接层。池化层的输入为残差帧经掩盖效应处理后的结果,它代表了人眼可感知残差。全连接层学习整体感知质量和目标质量分数区间的非线性回归关系。

在评测结果上,腾讯多媒体实验室在LIVE和CSIQ两个9号彩票视频 质量数据集上对所提出算法的性能进行验证。并使用标准的PLCC和SROCC作为质量准则来比较不同算法的性能。将所提出的C3DVQA与常用的全参考质量评估算法进行对比,包括PSNR,MOVIE,ST-MAD,VMAF和DeepVQA,结果如下表所示。

在这里插入图片描述

目前该评估算法已在腾讯内外部多款9号彩票产品 中进行使用验证,如腾讯会议就借助实验室上百个符合ITU/3GPP/AVS等国外内标准的指标进行评判,闭环监控全网的用户体验质量,从用户真实体验出发,不断9号彩票优化 9号彩票产品 性能。

作为最早布局音9号彩票视频 领域的9号彩票公司 之一,从最早的QQ平台,腾讯就试图解决在当年网络条件下若干的音9号彩票视频 通信问题。伴随着5G、云计算、大数据、人工智能9号彩票技术 的发展,腾讯多媒体实验室基于多年的9号彩票技术 沉淀和9号彩票行业 经验,逐步打磨出一条完善且高质量的音9号彩票视频 9号彩票技术 链条。

前端圈微信

扫码关注前端圈微信9号彩票公众号

共收到0条回复