作者
Ashok Kumar Mishra 是MulticoreWare媒体和娱乐事业部的解决方案架构师,在多媒体嵌入式DSP系统以及视频编解码器的实现和优化方面拥有15年以上的经验。
Santhoshini Sekar 是MulticoreWare视频编解码器和视频解决方案工程团队的负责人,在MulticoreWare的x265开源HEVC编码器项目中发挥了关键作用,并领导了x266项目。
Shivakumar Narayanan 领导媒体和娱乐事业部,专注于人工智能视频编解码器、媒体解决方案和服务。
基于运动补偿时空滤波方案 — x265开源视频编码器 –点击这里
基于直方图的场景变化检测新方案– x265开源视频编码器 –点击这里
x265编码器以符合H.265/MPEG-HEVC视频编码标准。 在开源框架、广播和流媒体服务提供商中被广泛使用。它提供了一系列工具和算法优化,以平衡性能和输出质量。它通过两种新技术得到了增强:运动补偿时空滤波(MCSTF)和基于直方图的场景变化检测(HCSD)。
MCSTF方案通过利用从不同视频内容分辨率的运动估计中获得的运动矢量,有效地降低了视频中的噪声。这使得基于时间序列的图像可以通过低通滤波来降噪。HCSD方案自动检测视频中的场景变化,可用于提高编码效率。
MCSTF方案在内容包含高噪声水平的场景中是有益的。广播公司和流媒体服务提供商可以使用它来降低其OTT内容的比特率,并在不影响视觉质量的情况下实现更高的压缩率。视频流平台和内容交付网络(CDN)也可以使用MCSTF方案来优化带宽利用率。
HCSD方案对于视频检索和场景分析系统是有价值的。流媒体平台可以使用它来优化视频分割,改进内容分类,并以降低计算复杂性的方式向观众提供更准确的推荐。
MCSTF和HCSD方案都是增强x265编码器的有用的工具。它们可用于降低视频传输比特率,同时保持视觉质量,用于满足媒体和娱乐行业不断发展的需求的本地和云HEVC编码用例。
x265和MulticoreWare视频工程团队的下一步计划是什么?
为了提高视频编码效率和视觉质量,可以使用运动补偿时空滤波方案和基于直方图的场景变化检测方案。
通过研究根据内容属性(如场景复杂性、运动强度或噪声水平)来动态修改自适应滤波中的运动补偿的时空滤波中的参数。
深入研究在运动补偿时空滤波方案中细化运动估计的高级方法,旨在提高运动矢量估计的准确性和效率。这可能涉及探索分层或预测算法等技术,这些技术旨在改善时间对应性并实现卓越的降噪效果。
通过研究替代的统计测量和特征表示,提高了基于直方图的场景变化检测方案的准确性。此外,考虑集成机器学习技术,如深度神经网络,以学习复杂的场景变化模式,并提高整体检测性能。
集成多种模态,包括音频和视觉提示,以实现更稳健、更准确的场景变化检测系统。研究将音频分析技术(如检测音频能量或频谱内容的突然变化)结合到基于直方图的方案中。这种集成将产生一种多模式场景变化检测解决方案,该解决方案结合了视觉和音频信息,以增强性能。
检查运动补偿时空滤波和基于直方图的场景变化检测的节能优化。研究可以在不影响编码增益和场景检测精度的情况下降低计算复杂度或功耗的技术。此外,研究在以节能方式的同时,在编码增益和场景检测精度方面有可能保持甚至提高方案整体性能的方法。
研究硬件加速技术,例如利用GPU或专用硬件架构方案。研究并行处理和优化的内存访问模式如何加速这些方案的执行,从而实现实时或接近实时的视频编码,同时最大限度地降低功耗。此外,研究利用硬件加速如何提高技术的效率和有效性,从而实现更快的处理和提高电源效率。
通过追求这些技术思想,可以对所提出的技术进行改进和扩展,从而在视频编码、降噪、场景变化检测和整体视频处理方面取得显著进步。
