CN108337516B - 一种面向多用户的hdr视频动态范围可分级编码方法 - Google Patents

一种面向多用户的hdr视频动态范围可分级编码方法 Download PDF

Info

Publication number
CN108337516B
CN108337516B CN201810094956.0A CN201810094956A CN108337516B CN 108337516 B CN108337516 B CN 108337516B CN 201810094956 A CN201810094956 A CN 201810094956A CN 108337516 B CN108337516 B CN 108337516B
Authority
CN
China
Prior art keywords
dynamic range
video
hdr video
quantization
residual signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810094956.0A
Other languages
English (en)
Other versions
CN108337516A (zh
Inventor
蒋刚毅
陈璐俊
郁梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yiqilin Cultural Media Co ltd
Nantian Shujin Beijing Information Industry Development Co ltd
Shanghai Ruishenglian Information Technology Co ltd
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201810094956.0A priority Critical patent/CN108337516B/zh
Publication of CN108337516A publication Critical patent/CN108337516A/zh
Application granted granted Critical
Publication of CN108337516B publication Critical patent/CN108337516B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种面向多用户的HDR视频动态范围可分级编码方法，首先，考虑HDR视频感知特性，提出了动态范围可分级模型，将不同动态范围级的HDR视频分解成为一个标准动态范围视频和多个残差信号帧序列；然后，结合亮度掩蔽效应和人眼感知特性，对多个残差信号帧序列进行量化和滤波处理，滤除残差中的零散数据点，保留残差信号帧序列相邻动态范围级之间的整体差异信息，提高残差信号帧序列的编码效率；最后，在解码端重建得到标准动态范围视频和各个动态范围级的HDR视频，以适应多用户端显示设备。该方法还利用视觉掩蔽特性抑制了噪声，提高了动态范围可分级编码的效率。

Description

一种面向多用户的HDR视频动态范围可分级编码方法
技术领域
本发明涉及视频编解码技术领域，尤其是涉及一种面向多用户的HDR视频动态范围可分级编码方法。
背景技术
高动态范围(High Dynamic Range,HDR)视频是数字媒体领域的新研究热点，它能更真实地反映现实场景，为用户带来更真实的视觉体验。传统视频***用户端显示设备主要采用8bit标准动态范围(Standard Dynamic Rang,SDR)显示器，不能直接显示HDR视频。现有少数HDR显示设备通过扩大亮度范围来显示或部分显示HDR视频，但这些HDR显示设备的动态范围参差不齐，有10bit、12bit等。在现有的HDR视频编码传输中，同一HDR视频流难以同时满足多个用户不同动态范围显示设备的需求。这就要求视频***服务端要在HDR视频编码过程中，充分考虑终端用户显示多动态范围(Multiple Dynamic Range,MDR)视频的需求。显然，实现HDR视频的动态范围可分级编码是满足MDR视频需求的一个有效途径。
SDR视频一般以8bit量化深度进行存储，动态范围固定不变。现有的视频可分级编码技术主要考虑了时间、空间和质量上的可分级性，以满足用户对不同帧率、图像分辨率和图像质量等级调整的需求。2014年10月，视频编码联合协作小组(Joint CollaborativeTeam on Video Coding,JCT-VC)在高性能视频编码(High Efficiency Video Coding,HEVC)标准的基础上，发布了可分级视频编码(Scalable High Efficiency Video Coding,SHVC)标准，主要对可分级编码特有编码工具、解码过程进行了改进，其中“Scalable Main”和“Scalable Main10”档次分别实现了SDR视频和HDR视频在时空及质量上的可分级编码。2015年2月，为了提高SHVC对HDR视频的压缩性能，动态图像专家组(Moving PictureExperts Group,MPEG)发起了技术征求稿(Call for Evidence,CfE)，希望通过扩展HEVC标准、添加新技术以实现HDR和宽色域(Wide Color Gamut,WCG)视频的高效编码。随之人们也提出了一些HDR视频图像内容处理的相关技术，如感知量化编码(Perceptual Quantizer，PQ)、对数伽马分布(Hybrid Log Gamma，HLG)的非线性操作，以及HDR视频主观测试实验的开展。
尽管现有HEVC的扩展版本能对HDR视频进行编码，但其本身是依据SDR视频提出的编码标准，主要单一地编码固定动态范围的视频，在动态范围可分级性方面具有很大的局限性。为此，一些学者也提出了HDR视频编码的新方案。Rusanovskyy等人提出了采用动态范围调整(Dynamic Range Adjustment,DRA)后向兼容编码方式对HDR视频进行编码，与非后向兼容编码方式相比，其性能有所提升；Mir等人提出了双层后向兼容HDR视频编码的改进方案，并与单层HLG性能进行比较，但是现有的后向兼容编码方式仍存在不足，它们只能满足高低两种动态范围用户的需求，未能实现不同动态范围级视频的联合编码。考虑到MDR用户所需要的动态范围可分级性，还需要实现用户端显示设备友好兼容HEVC标准的高效HDR视频编码。此外，视频像素的量化深度表达了其动态范围特性，量化深度越大，所能表现的动态范围也越广；现在市场上已存在像素量化深度为10bit、12bit的HDR显示设备，相信不久的将来人们会研发出现更高动态范围的HDR显示设备。因此，为了实现面向MDR用户的HDR视频编码传输，研究兼容HEVC标准的HDR视频动态范围可分级编码技术是一个解决同时满足MDR用户的HDR视频流服务需求的有效途径。
发明内容
本发明所要解决的技术问题是提供一种面向多用户的HDR视频动态范围可分级编码方法，该方法能够使同一HDR视频流同时满足在多个用户的不同动态范围显示设备上显示。
本发明所采用的技术方案是，一种面向多用户的HDR视频动态范围可分级编码方法，包括下列步骤：
(1)、将输入的HDR视频经过基于感知量化(PQ)的转换处理，转换为用不同量化深度表示的多个动态范围级的HDR视频序列；
(2)、通过建立一种动态范围可分级的模型(DRSM)，将一个HDR视频帧分解为一个SDR基本帧和多个残差信号帧(RSFs)，RSFs表示相邻两个动态范围级之间的差异信息，同时记录原始RSFs的最大值和最小值；
(3)、根据统计分析及感知特性分析，对RSFs序列进行中值滤波的预处理，利用人眼亮度掩蔽效应滤除RSFs中对感知质量影响不大的像素点，保留RSFs所能反映的总体差异性；
(4)、将处理后的RSFs序列与SDR序列分别通过统一的HEVC编码器，编码成动态范围分级的视频码流，同时对将所记录的RSFs最大值和最小值作为辅助增强信息(Supplemental Enhancement Information,SEI)进行编码传输，以辅助解码端HDR视频重建；
(5)、在解码端通过DRSM的逆过程，解码重建得到不同动态范围量化深度的SDR和HDR视频，以实现HDR视频内容适应在多用户端MDR显示设备上显示。
本发明的有益效果是：提出了一种面向多用户的HDR视频动态范围可分级编码方法，该方法通过考虑HDR视频感知特性的动态范围可分集模型DRSM，将HDR视频流分解成为一个标准动态范围SDR视频和多个残差信号帧RSFs序列，形成动态范围分级的码流，从而满足多用户多动态范围显示设备的需求；同时，结合亮度掩蔽效应和人眼感知特性对RSFs进行滤波处理，提高RSFs的编码效率，进一步提高编码方法的效率。
步骤(1)中，将输入的HDR视频经过基于感知量化(PQ)的转换处理的具体方法为：包括下列步骤：
一、将原始OpenEXR格式的HDR-RGB图像数据通过PQ的非线性函数转换到感知域的RG’B；
二、经由一个3×3的转换矩阵实现从R'G'B'到Y'CbCr的颜色空间转换；
三、将转换后的数据量化为不同比特深度的整型数据，即：
Figure BDA0001564789160000031
其中，(Y',Cb,Cr)表示经颜色空间转换得到的4:4:4浮点型数据，(DY',DCb,DCr)表示量化后的整型数据，Clip3(·)表示两个方向限制的裁剪函数，219*2b-8表示亮度尺度，2b-4表示亮度信号偏移量，224*2b-8表示色度尺度，2b-1表示色差信号偏移量，b表示量化深度，Round(·)表示舍入取整函数；
四、将4:4:4的色度格式采样为4:2:0的色度格式，并转换得到4:2:0色度格式的Y'CbCr视频序列，以适应后续的HEVC编码***。
步骤(2)中，建立一种动态范围可分级的模型DRSM的具体过程为：
一、将较低一级动态范围的视频内容进行动态范围上采样，得到较高一级量化深度的HDR视频，即：Vd'(x,y)＝Vd-Δd(x,y)＜＜2，d∈{10,12,14,16},Δd＝2，Vd'表示由Vd-Δd经过动态范围上采样得到的HDR视频序列，其动态范围较Vd-Δd高一级；
二、与原始转换得到的相同动态范围级的HDR视频序列作差，为了适应SDR视频的HEVC编码器，将分解得到的残差量化到与SDR序列相同量化深度的RSFs，用以表示相邻两个动态范围级之间的差异信息，即
Figure BDA0001564789160000032
d∈{10,12,14,16}，i∈N*，Vd'表示由Vd-Δd经过动态范围上采样得到的HDR视频序列，Vd表示原始HDR视频序列，即对归一化的残差数据进一步量化到与SDR视频帧相同量化深度的数据范围，以实现与SDR视频帧的数据编码相兼容；
步骤(3)中，对RSFs序列进行中值滤波的预处理的具体过程为：
一、根据人眼视觉感知特性中的亮度掩蔽效应，人眼对平坦区域的细节感知能力较低，且对复杂区域的失真感知能力较低，取画面中的平坦区域，对应RSFs中的该区域可以通过滤波处理滤除人眼不敏感的信息；取画面中的复杂内容区域，对应RSFs中的该区域所包含的信息较少，滤波处理对其有价值内容的表达不造成影响；
二、统计BalloonFestival序列的RSFs量化前RSFso的像素值特性；
三、通过对RSFs的统计分析发现，在复杂区域包含大量的孤立噪声点信息，在平坦区域也有不易被用户感知的孤立数据点信息，而在既有前景又有背景的区域存在易感知的边缘和纹理特性的信息；
四、考虑到人眼具有亮度掩蔽效应，即对单一亮区域或单一暗区域内的纹理和细节信息较敏感，而对同时包含亮暗区域的场景中区域内的纹理和细节不敏感，经分析，大部分HDR视频序列场景均同时包含亮暗区域，可采用中值滤波的方式对RSFs进行预处理，使其对应位置的内容趋于平缓，且能保留相邻动态范围级间的总体差异特性；
步骤(5)中，在解码端通过DRSM的逆过程进行HDR视频重建的具体过程为：
一、面向标准动态范围显示设备的SDR视频由SDR视频码流经HEVC解码器直接解码获得；
二、面向高动态范围显示设备的HDR视频可通过DRSM的逆过程重建得到，即：
Figure BDA0001564789160000041
d∈{10,12,14,16},Δd＝2，i∈N*，其中，
Figure BDA0001564789160000042
表示重建的动态范围为dbit的HDR视频序列，
Figure BDA0001564789160000043
表示较低一级动态范围为d-Δd的重建HDR视频序列，
Figure BDA0001564789160000044
表示重建的dbit视频帧中坐标位置(x,y)处的像素值，若视频帧的分辨率为L*W，则{(x,y)x＝0,1,2,...,L-1,y＝0,1,2,...,W-1}；
Figure BDA0001564789160000045
表示像素值p的反量化过程，即：
Figure BDA0001564789160000046
其中，pmax和pmin的取值从辅助增强信息中获得。
附图说明
图1为本发明一种面向多用户的HDR视频动态范围可分级编码方法总体实现框图；
图2为本发明以BalloonFestival序列第1帧为例的动态范围可分级模型图；
图3为对本发明的编码方法进行测试所采用的HDR视频测试序列图；
图4为序列BalloonFestival的率失真性能曲线对比图；
图5为序列SunRise的率失真性能曲线对比图；
图6为序列Market3的率失真性能曲线对比图；
图7为序列Tibul2的率失真性能曲线对比图。
具体实施方式
以下参照附图并结合具体实施方式来进一步描述发明，以令本领域技术人员参照说明书文字能够据以实施，本发明保护范围并不受限于该具体实施方式。
本发明涉及一种面向多用户的HDR视频动态范围可分级编码方法，包括下列步骤：
1、将输入的HDR视频经过基于感知量化(PQ)的转换处理，转换为用不同量化深度(如8bit、10bit、12bit等)表示的多个动态范围级的HDR视频序列；
2、为了使现有的MDR显示设备给用户带来高质量的HDR视频画面，提出了一种动态范围可分级的模型(Dynamic Range Scalable Model,DRSM)，实现将一个HDR视频帧分解为一个SDR基本帧和多个残差信号帧(Residual Signal Frames,RSFs)，RSFs能表示相邻两个动态范围级之间的差异信息；
3、对RSFs序列进行感知滤波预处理，再与SDR序列分别通过适用于SDR视频的HEVC编码器，形成动态范围分级的视频码流；
4、将RSFs的最大、最小值作为辅助增强信息(Supplemental enhancementinformation,SEI)进行编码传输，以辅助解码端HDR视频重建；
5、在解码端通过DRSM的逆过程，解码重建得到不同动态范围量化深度的SDR和HDR视频，以实现HDR视频内容能适应在多用户端MDR显示设备上显示。
图1为本发明的一种面向多用户的HDR视频动态范围可分级编码方法总体实现框图，用亮度深度8bit、10bit、12bit来为例，其具体的实现步骤如下：
1、将输入的HDR视频经过基于感知量化(PQ)的转换处理，转换为用不同量化深度表示的多个动态范围级的HDR视频序列，用亮度深度8bit、10bit、12bit来为例，将其HDR视频序列分别标记为VSDR_8bit、VSDR_10bit、VSDR_12bit；
2、将原始OpenEXR格式的HDR-RGB图像数据通过PQ的非线性函数转换到感知域的R'G'B'；
3、经由一个3×3的转换矩阵实现从R'G'B'到Y'CbCr的颜色空间转换；
4、将转换后的数据量化为8bit、10bit以及12bit的整型数据，
Figure BDA0001564789160000051
其中，(Y',Cb,Cr)表示经颜色空间转换得到的4:4:4浮点型数据，(DY',DCb,DCr)表示量化后的整型数据，Clip3(·)表示两个方向限制(即0～2b-1)的裁剪函数，219*2b-8表示亮度尺度，2b-4表示亮度信号偏移量，224*2b-8表示色度尺度，2b-1表示色差信号偏移量，b表示量化深度，Round(·)表示舍入取整函数；
5、将4:4:4的色度格式下采样为4:2:0的色度格式，并转换得到4:2:0色度格式的8bit、10bit以及12bit的Y'CbCr视频序列，以适应后续的HEVC编码***；
6、将较低一级动态范围的视频内容进行动态范围上采样，得到较高一级量化深度的HDR视频，即
Figure BDA0001564789160000061
其中，VSDR8(x,y)和VHDR10(x,y)分别表示8bit和10bit视频帧中坐标位置(x,y)处的像素值(即上述的(DY',DCb,DCr)再经色度下采样得到)，VHDR10'(x,y)和VHDR12'(x,y))则表示VSDR8(x,y)和VHDR10(x,y)经过动态范围上采样处理在(x,y)处的像素值，<<2表示按位左移2位，若视频帧的分辨率为L*W，则{(x,y)y＝0,1,2,...,L-1,y＝0,1,2,...,W-1}；
7、与原始转换得到的相同动态范围级的HDR视频序列作差，为了适应SDR视频的HEVC编码器，将分解得到的残差量化到与SDR序列相同量化深度的RSFs，用以表示相邻两个动态范围级之间的差异信息，
Figure BDA0001564789160000062
Figure BDA0001564789160000063
其中，SRSF1、SRSF2分别表示8bit到10bit的RSF1和10bit到12bit的RSF2，Q(p)表示均匀量化函数，即对归一化的残差数据进一步量化到与SDR视频帧相同量化深度的数据范围，以实现与SDR视频帧的数据编码相兼容，b表示量化深度，取8表示与SDR视频帧数据同级，pmax和pmin分别表示所有像素值的最大值和最小值，同时记录RSFs每一帧的pmax和pmin；
8、根据步骤7和步骤8建立出来一种动态范围可分级的模型(DRSM)，将一个HDR视频帧分解为一个SDR基本帧和多个残差信号帧(RSFs)，RSFs能表示相邻两个动态范围级之间的差异信息，同时记录原始RSFs的最大、最小值；
9、根据人眼视觉感知特性中的亮度掩蔽效应，人眼对平坦区域的细节感知能力较低，且对复杂区域的失真感知能力较低，如图2中，虚框内的天空属于平坦区域，包含的内容比较平缓，信息较少，对应RSFs中的该区域可以通过滤波处理滤除人眼不敏感的信息；草地和人群属于复杂内容区域，人眼可容忍的失真较大，对应RSFs中的该区域所包含的信息较少，滤波处理对其有价值内容的表达不影响；
10、统计BalloonFestival序列的RSFs量化前RSFso的像素值特性，RSFso表示量化前的残差信号，RSF1o和RSF2o分别表示8bit到10bit和10bit到12bit的原始残差信号，发现RSF1o和RSF2o的像素值都在[-7,6]区间内，主要集中在0值附近，且均为整像素值，在下面表1中列出了Balloon Festival序列前20帧的RSFso像素最大、最小值，即作为SEI进行编码传输的内容；
11、通过对RSFs的统计分析发现，在复杂区域包含大量的孤立噪声点信息，在平坦区域也有不易被用户感知的孤立数据点信息，而在既有前景又有背景的区域存在易感知的边缘和纹理特性的信息；
12、考虑到人眼具有亮度掩蔽效应，即对单一亮区域或单一暗区域内的纹理和细节信息较敏感，而对同时包含亮暗区域的场景中区域内的纹理和细节不敏感，经分析，大部分HDR视频序列场景均同时包含亮暗区域，可采用中值滤波的方式对RSFs进行预处理，使其对应位置的内容趋于平缓，且能保留相邻动态范围级间的总体差异特性；
13、利用人眼亮度掩蔽效应有效滤除RSFs中对感知质量影响不大的像素点，保留RSFs所能反映的总体差异性；
14、将处理后的RSFs序列与SDR序列分别通过统一的HEVC编码器，编码成动态范围分级的视频码流，同时对将所记录的RSFs最大、最小值作为辅助增强信息(SupplementalEnhancement Information,SEI)进行编码传输，以辅助解码端HDR视频重建；
15、面向8bit显示设备的SDR视频(VRSDR8)由SDR视频码流HEVC解码器直接解码得到；
16、面向10bit和12bit显示设备的HDR视频(VRHDR10和VRHDR12)可由DRSM的逆过程重建得到，
Figure BDA0001564789160000071
其中，VRHDR10(x,y)和VRHDR12(x,y)分别表示重建的10bit和12bit视频帧中坐标位置(x,y)处的像素值，VRSDR8(x,y)表示8bit的SDR解码视频帧在坐标位置(x,y)处的像素值，若视频帧的分辨率为L*W，则{(x,y)x＝0,1,2,...,L-1,y＝0,1,2,...,W-1}；Qinv(p)表示像素值p的反量化过程，p取8，pmax和pmin从SEI信息中获得。
接下来，对本发明的编码方法进行测试，以证明本发明的编码方法的有效性和可行性。
测试所采用的HDR视频测试序列均来自于公认的测试数据库，由MPEG提供，分别是BalloonFestival、SunRise、Market3和Tibul2，分辨率大小为1920×1080，原始帧图像格式为OpenEXR，其首帧内容如图3所示。
表1为BalloonFestival序列编码码率统计汇总表。RSFs滤波预处理前后，编码码率消耗的差异很大，实验测试了QP为12、17、22、27时，中值滤波窗口分别为3×3、7×7、11×11、15×15，用全帧内配置进行编码的情况，并统计了该4种与RSFs处理前共5种状态下的编码码率消耗占比情况。以BalloonFestival序列为例，QP＝12时，全帧内编码SDR、RSF1、RSF2的平均码率分别为58342.58(7.88％)、304769.44(41.17％)、377137.01(50.95％)。其中，包含基本画面内容的SDR码率只占总码率的7.88％，而表示动态范围级间差异信息的RSF1和RSF2码率占比却高达92.12％，过高的码率消耗代价不利于在实际编码传输中应用。结合人眼视觉感知对RSFs进行中值滤波预处理，可以通过设定的窗口滤除局部块内的零散数据点，有效降低RSFs的编码码率，同时保持相邻动态范围级间的整体差异性。在表1中，Medfilt列的non表示对RSFs不处理直接编码，W*W(W＝3，7，11，15)表示中值滤波窗口的尺寸，对全RSFs进行滤波预处理后进行编码。表中统计了不同QP下，不同程度的滤波预处理对编码码率消耗的影响，并计算了各情况下的码率占比，最后计算了相同QP下，滤波预处理的各情况相对于不处理时的码率下降率。由表中数据可知，对RSFs进行滤波预处理后再编码，能较大程度降低码率，与不处理直接编码相比码率最大下降达88.18％。
表1
Figure BDA0001564789160000081
Figure BDA0001564789160000091
表2为本发明所述方法与原始参考平台的BD-rate结果(％)。方案一Proposed1表示采用15*15窗口滤波处理的编码方案；方案二Proposed2表示采用11*11窗口滤波处理的编码方案。方案一的率失真性能最优，平均节省码率32.03％和31.28％，最高节省59.0％，方案二平均节省码率4.05％和4.30％。BD-rate变化起伏较大，是因为滤波预处理有效去除了RSFs中的孤立数据点，提高了帧内相关性，显著降低了码率，且对重建质量影响不大。BalloonFestival序列的RSFs中包含大量渐变信息，经量化和滤波处理仍会消耗较大码率，方案一的性能与HM-16.4相近。SunRise序列的RSFs在较亮和较暗区域包含信息较多，滤波处理能很好去除孤立噪声点并保留有价值内容，最优方法码率节省了25.5％和26.5％。Market3序列的RSFs包含的内容信息较少且较平缓，孤立噪声点滤除后，极大提高了RSFs的编码相关性，降低了编码码率，最优方法码率节省了59.0％和59.1％，次优方法码率也节省了49.8％和50.3％。Tibul2序列的RSFs在边缘区域和不平整面的信息较多，经过滤波处理能有效滤除不平整面的无意义噪声，最优方法码率节省了39.1％和38.3％。
表2
Figure BDA0001564789160000092
Figure BDA0001564789160000101
表3为不同滤波处理方案与不处理方案比较的BD-rate结果(％)。为了研究RSFs滤波处理前后对可分级编码性能的影响，进行了4种不同滤波处理方案与不做滤波处理方案比较，编码重建后用PSNR和HDR-VDP-2.2衡量的BD-rate表示。其中，Proposed1表示采用3*3窗口滤波处理的方案，Proposed2表示采用7*7窗口滤波处理的方案，Proposed3表示采用11*11窗口滤波处理的方案，Proposed4表示采用15*15窗口滤波处理的方案。与经过DRSM后不进行滤波处理的方案相比，各滤波方案均节省了很多码率，这进一步说明，适当的滤波处理能有效去除无意义的零散数据点，增加RSFs帧内编码的相关性，节省码率的同时保留动态范围级间的整体差异信息，用于重建。
表3
Figure BDA0001564789160000102
图4、图5、图6以及图7是根据HDR-VDP-2.2质量指标和码率消耗绘制的率失真曲线。这里将对DRSM分级产生的所有序列直接编码的方法记为Proposed0。图4为重建12bitBalloonFestival序列的率失真曲线，Proposed0的性能远低于HM平台，经过适当的滤波预处理可以提高编码性能，Proposed3和Proposed4都接近或优于HM平台编码算法；图5为重建12bitSunRise序列的率失真曲线，当滤波窗口增大到一定值后对率失真性能的影响不大，说明滤波窗口存在一个饱和阈值，Proposed3和Proposed4的性能略优于HM平台编码算法；图6为重建12bit Market3序列的率失真曲线，滤波窗口较大时性能提升较缓，该序列的RSFs包含的动态范围级间差异信息较少，经滤波处理滤除较多，但Proposed2、Proposed3和Proposed4的体率失真性能与HM平台相比有较大提升；图7为重建12bit Tibul2序列的率失真曲线，Proposed1的性能也不佳，滤波窗口越大率失真性能提高越多，Proposed3和Proposed4的性能总体优于HM平台的编码算法。

Claims (5)

1.一种面向多用户的HDR视频动态范围可分级编码方法，其特征在于：包括下列步骤：
(1).将输入的HDR视频经过基于感知量化的转换处理，转换为用不同量化深度表示的多个动态范围级的HDR视频序列；
(2).通过建立一种动态范围可分级模型，将一个HDR视频帧分解为一个SDR基本帧和多个残差信号帧，残差信号帧表示相邻两个动态范围级之间的差异信息，同时记录原始残差信号帧的最大值和最小值；
(3).根据统计分析及感知特性分析，对残差信号帧序列进行中值滤波的预处理，利用人眼亮度掩蔽效应滤除残差信号帧中对感知质量影响小的像素点，保留残差信号帧所能反映的总体差异性；
(4).将处理后的残差信号帧序列与SDR序列分别通过统一的HEVC编码器，编码成动态范围分级的视频码流，同时将残差信号帧的最大值和最小值作为辅助增强信息进行编码传输，以辅助解码端HDR视频重建；
(5).在解码端通过动态范围可分级模型的逆过程，解码重建得到不同动态范围量化深度的SDR和HDR视频，以实现HDR视频内容适应在多用户端MDR显示设备上显示。
2.根据权利要求1所述的一种面向多用户的HDR视频动态范围可分级编码方法，其特征在于：步骤(1)中，将输入的HDR视频经过基于感知量化的转换处理的具体方法包括下列步骤：
一.将原始OpenEXR格式的HDR-RGB图像数据通过感知量化的非线性函数转换到感知域的R'G'B'；
二.经由一个3×3的转换矩阵实现从R'G'B'到Y'CbCr的颜色空间转换；
三.将转换后的数据量化为不同比特深度的整型数据，即：
Figure FDA0003252197960000011
其中，(Y',Cb,Cr)表示经颜色空间转换得到的4:4:4色度格式的浮点型数据，(DY',DCb,DCr)表示量化后的整型数据，Clip3(·)表示两个方向限制的裁剪函数，219*2b-8表示亮度尺度，2b-4表示亮度信号偏移量，224*2b-8表示色度尺度，2b-1表示色差信号偏移量，b表示量化深度，Round(·)表示舍入取整函数；
四.将4:4:4的色度格式采样为4:2:0的色度格式，并转换得到4:2:0色度格式的Y'CbCr视频序列，以适应后续的HEVC编码***。
3.根据权利要求1所述的一种面向多用户的HDR视频动态范围可分级编码方法，其特征在于：步骤(2)中，建立一种动态范围可分级模型的具体过程为：
一.将较低一级动态范围的视频内容进行动态范围上采样，得到较高一级量化深度的HDR视频，即：Vd'(x,y)＝Vd-Δd(x,y)＜＜2，d∈{10,12,14,16},Δd＝2，其中，Vd'表示由Vd-Δd经过动态范围上采样得到的HDR视频序列，其动态范围较Vd-Δd高一级，Vd-Δd表示较低一级动态范围的HDR视频序列；
二.将步骤一中得到的较高一级量化深度的HDR视频与原始转换得到的相同动态范围级的HDR视频序列作差，为了适应SDR视频的HEVC编码器，将作差得到的残差量化到与SDR序列相同量化深度的残差信号帧，用以表示量化后的相邻两个动态范围级之间的差异信息，即
Figure FDA0003252197960000021
其中，RSFi表示量化前的相邻两个动态范围级之间的差异信息，Vd'表示Vd-Δd经过动态范围上采样得到的HDR视频序列，Vd表示原始转换得到的相同动态范围级的HDR视频序列，p表示像素值，p＝(Vd(x，y)-Vd′(x，y))，若视频分辨率为L*W，则{(x,y)|x＝0,1,2,...,L-1,y＝0,1,2,...,W-1}；Q(p)表示均匀量化函数，即对归一化的残差数据进一步量化到与SDR视频帧相同量化深度的数据范围，以实现与SDR视频帧的数据编码相兼容，b表示量化深度，取8表示与SDR视频帧数据同级，pmax和pmin分别表示所有像素值的最大值和最小值，同时记录量化前的多个残差信号帧RSFs中每一帧的pmax和pmin。
4.根据权利要求1所述的一种面向多用户的HDR视频动态范围可分级编码方法，其特征在于：步骤(3)中，对残差信号帧序列进行中值滤波的预处理的具体过程为：
一.根据人眼视觉感知特性中的亮度掩蔽效应，人眼对平坦区域的细节感知能力较低，且对复杂区域的失真感知能力较低，取画面中的平坦区域，对应残差信号帧中的该区域通过滤波处理滤除人眼不敏感的信息；取画面中的复杂内容区域，对应残差信号帧中的该区域所包含的信息较少，滤波处理不会对其有价值内容的表达造成影响；
二.统计记录BalloonFestival序列残差信号帧量化前的像素值特性；
三.通过对残差信号帧的统计分析发现，在复杂区域包含大量的孤立噪声点信息，在平坦区域也有不易被用户感知的孤立数据点信息，而在既有前景又有背景的区域存在易感知的边缘和纹理特性的信息；
四.考虑到人眼具有亮度掩蔽效应，即对单一亮区域或单一暗区域内的纹理和细节信息较敏感，而对同时包含亮暗区域的场景中区域内的纹理和细节不敏感，经分析，大部分HDR视频序列场景均同时包含亮暗区域，可采用中值滤波的方式对残差信号帧进行预处理，使其对应位置的内容趋于平缓，且能保留相邻动态范围级间的总体差异特性。
5.根据权利要求1所述的一种面向多用户的HDR视频动态范围可分级编码方法，其特征在于：步骤(5)中，在解码端通过动态范围可分级的模型DRSM的逆过程进行HDR视频重建的具体过程为：
一.面向标准动态范围显示设备的SDR视频由SDR视频码流经HEVC解码器直接解码获得；
二.面向高动态范围显示设备的HDR视频可通过DRSM的逆过程重建得到，即：
Figure FDA0003252197960000031
其中，SRSFi表示量化后的相邻两个动态范围级之间的差异信息，
Figure FDA0003252197960000032
表示重建的动态范围为d bit的HDR视频序列，
Figure FDA0003252197960000033
表示较低一级动态范围为d-Δd的重建HDR视频序列，
Figure FDA0003252197960000034
表示重建的d bit视频帧中坐标位置(x,y)处的像素值，若视频帧的分辨率为L*W，则{(x,y)|x＝0,1,2,...,L-1,y＝0,1,2,...,W-1}，
Figure FDA0003252197960000037
表示重建的(d-Δd)bit视频帧中坐标位置(x,y)处的像素值，Qinv(p)表示像素值p的反量化过程，即：
Figure FDA0003252197960000036
其中，pmax和pmin分别表示所有像素值的最大值和最小值，pmax和pmin的取值从辅助增强信息中获得，b表示量化深度。
CN201810094956.0A 2018-01-31 2018-01-31 一种面向多用户的hdr视频动态范围可分级编码方法 Active CN108337516B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810094956.0A CN108337516B (zh) 2018-01-31 2018-01-31 一种面向多用户的hdr视频动态范围可分级编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810094956.0A CN108337516B (zh) 2018-01-31 2018-01-31 一种面向多用户的hdr视频动态范围可分级编码方法

Publications (2)

Publication Number Publication Date
CN108337516A CN108337516A (zh) 2018-07-27
CN108337516B true CN108337516B (zh) 2022-01-18

Family

ID=62926894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810094956.0A Active CN108337516B (zh) 2018-01-31 2018-01-31 一种面向多用户的hdr视频动态范围可分级编码方法

Country Status (1)

Country Link
CN (1) CN108337516B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769677B (zh) * 2018-05-31 2021-07-30 宁波大学 一种基于感知的高动态范围视频动态范围可分级编码方法
CN110933416B (zh) * 2019-11-12 2021-07-20 宁波大学 高动态范围视频自适应预处理方法
CN114846807A (zh) * 2019-12-30 2022-08-02 北京达佳互联信息技术有限公司 色度残差的编解码
CN111508424A (zh) * 2020-05-22 2020-08-07 东莞阿尔泰显示技术有限公司 Led显示屏色调映射的方法及控制***
CN112261442B (zh) * 2020-10-19 2022-11-11 上海网达软件股份有限公司 一种用于视频hdr与sdr实时转码的方法及***
CN113225553B (zh) * 2021-04-18 2022-09-06 南京理工大学 预测高动态视频双层向后兼容编码***中最佳阈值点的方法
CN114173189B (zh) * 2021-10-29 2023-02-07 荣耀终端有限公司 视频编辑方法、电子设备和存储介质
CN114549359B (zh) * 2022-02-24 2024-04-02 中国传媒大学 一种hdr视频动态范围无参考质量评价方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105828089A (zh) * 2016-01-31 2016-08-03 西安电子科技大学 一种基于自适应感知量化的视频编码方法和***
WO2017015397A1 (en) * 2015-07-22 2017-01-26 Dolby Laboratories Licensing Corporation Video coding and delivery with both spatial and dynamic range scalability
CN107197235A (zh) * 2017-06-26 2017-09-22 杭州当虹科技有限公司 一种hdr视频预处理方法
CN107211152A (zh) * 2015-01-30 2017-09-26 汤姆逊许可公司 用于对高动态范围（hdr）视频进行编码和解码的方法和装置
CN107438182A (zh) * 2016-05-04 2017-12-05 汤姆逊许可公司 用于对高动态范围画面进行编码/解码的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10735755B2 (en) * 2015-04-21 2020-08-04 Arris Enterprises Llc Adaptive perceptual mapping and signaling for video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107211152A (zh) * 2015-01-30 2017-09-26 汤姆逊许可公司 用于对高动态范围（hdr）视频进行编码和解码的方法和装置
WO2017015397A1 (en) * 2015-07-22 2017-01-26 Dolby Laboratories Licensing Corporation Video coding and delivery with both spatial and dynamic range scalability
CN105828089A (zh) * 2016-01-31 2016-08-03 西安电子科技大学 一种基于自适应感知量化的视频编码方法和***
CN107438182A (zh) * 2016-05-04 2017-12-05 汤姆逊许可公司 用于对高动态范围画面进行编码/解码的方法和装置
CN107197235A (zh) * 2017-06-26 2017-09-22 杭州当虹科技有限公司 一种hdr视频预处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
High dynamic range video compression exploiting luminance masking;Zhang Y et al.;《IEEE Transactions on Circuits and Systems for Video Technology》;20150427;第26卷(第5期);第950-964页 *
融合视觉感知特性的HDR视频编码率失真优化算法;杨桐 等.;《光电工程》;20180115;第45卷(第01期);第83-93页 *

Also Published As

Publication number Publication date
CN108337516A (zh) 2018-07-27

Similar Documents

Publication Publication Date Title
CN108337516B (zh) 一种面向多用户的hdr视频动态范围可分级编码方法
US11375193B2 (en) System for coding high dynamic range and wide color gamut sequences
CN108769677B (zh) 一种基于感知的高动态范围视频动态范围可分级编码方法
US20240048739A1 (en) Adaptive perceptual mapping and signaling for video coding
US10506232B2 (en) System for reshaping and coding high dynamic range and wide color gamut sequences
US9544610B2 (en) High dynamic range codecs
JP2018524871A5 (zh)
RU2758035C2 (ru) Способ и устройство для реконструкции данных изображений по декодированным данным изображений
CN1695381A (zh) 在数字视频信号的后处理中使用编码信息和局部空间特征的清晰度增强
CN108900838B (zh) 一种基于hdr-vdp-2失真准则的率失真优化方法
JP2018101866A (ja) 画像処理装置、画像処理方法及びプログラム
JP2018101867A (ja) 画像処理装置、画像処理方法及びプログラム
US8422779B2 (en) Image data processing for more efficient compression
MX2011000692A (es) Sistemas y metodos para compresion de video altamente eficiente al usar retencion selectiva de detalle visual relevante.
CN110545426B (zh) 基于编码损伤修复cnn的空域可分级视频编码方法
Kumar et al. Human visual system based enhanced AMBTC for color image compression using interpolation
US7702161B2 (en) Progressive differential motion JPEG codec
WO2019203973A1 (en) Method and device for encoding an image or video with optimized compression efficiency preserving image or video fidelity
Lauga et al. Segmentation-based optimized tone mapping for high dynamic range image and video coding
CN111882564A (zh) 一种超高清医学病理图像的压缩处理方法
Lu et al. Compression efficiency improvement over HEVC main 10 profile for HDR and WCG content
EP3026908A1 (en) Method and device for quantizing and de-quantizing a picture using scaling factors for chrominance based on luminance
EP3308541B1 (en) System for coding high dynamic range and wide color gamut sequences
Boitard et al. Chroma scaling for high dynamic range video compression
Lauga et al. Region-based tone mapping for efficient High Dynamic Range video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230721

Address after: 100000 No. 159, Yard 1, Shuiding Road, Miaofengshan, Mentougou District, Beijing

Patentee after: Beijing Yiqilin Cultural Media Co.,Ltd.

Address before: Building C, No.888, Huanhu West 2nd Road, Lingang New District, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai

Patentee before: Shanghai ruishenglian Information Technology Co.,Ltd.

Effective date of registration: 20230721

Address after: Room 407, 4th Floor, No. 10 Shangdi Information Road, Haidian District, Beijing, 100000

Patentee after: Nantian Shujin (Beijing) Information Industry Development Co.,Ltd.

Address before: 100000 No. 159, Yard 1, Shuiding Road, Miaofengshan, Mentougou District, Beijing

Patentee before: Beijing Yiqilin Cultural Media Co.,Ltd.

Effective date of registration: 20230721

Address after: Building C, No.888, Huanhu West 2nd Road, Lingang New District, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai

Patentee after: Shanghai ruishenglian Information Technology Co.,Ltd.

Address before: 315211, Fenghua Road, Jiangbei District, Zhejiang, Ningbo 818

Patentee before: Ningbo University

TR01 Transfer of patent right