CN110933416B - 高动态范围视频自适应预处理方法 - Google Patents
高动态范围视频自适应预处理方法 Download PDFInfo
- Publication number
- CN110933416B CN110933416B CN201911099679.3A CN201911099679A CN110933416B CN 110933416 B CN110933416 B CN 110933416B CN 201911099679 A CN201911099679 A CN 201911099679A CN 110933416 B CN110933416 B CN 110933416B
- Authority
- CN
- China
- Prior art keywords
- actual brightness
- current channel
- interval
- actual
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000007781 pre-processing Methods 0.000 title claims abstract description 12
- 238000013139 quantization Methods 0.000 claims abstract description 56
- 238000009826 distribution Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 230000002146 bilateral effect Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 241000287196 Asthenes Species 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 abstract description 7
- 230000004438 eyesight Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 15
- 230000008447 perception Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000013441 quality evaluation Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种高动态范围视频自适应预处理方法,首先计算每帧的各通道的最大、最小实际亮度值各自对应的量化亮度值,得到未使用的整型量化数据个数;接着去重统计各通道中落于所划分的32个各实际亮度间隔内的实际亮度值个数,以此为依据将未使用的整型量化数据优先分配给容易造成视觉产生对比度失真区域所在的实际亮度间隔;然后在确定最终分配给各实际亮度间隔的整型量化数据个数后计算各实际亮度间隔的最大、最小实际亮度值,进而对各通道中的每个像素点进行映射完成预处理;优点是能解决HDR视频非向后兼容编码框架中采用PQ曲线从16bit浮点型数据到10bit整型数据的转换过程中造成的HDR视频编码性能下降的问题。
Description
技术领域
本发明涉及一种高动态范围视频信号处理技术,尤其是涉及一种高动态范围视频自适应预处理方法。
背景技术
随着高动态范围(High Dynamic Range,HDR)视频/图像技术的不断发展,显示设备能够呈现出更加丰富的对比度以及更高动态范围的亮度和色度信息,给人们带来了更加逼近真实的光影效果的视觉体验。高动态范围视频/图像的采集、存储、压缩、传输等方面的问题已成为了研究热点,不同于低动态范围(Low Dynamic Range,LDR)视频/图像采用8bit整型数据来表示单个通道的每个像素,高动态范围视频/图像采用16bit或32bit浮点型数据来表示单个通道的每个像素,所表示的亮度值能够以较高的精度覆盖人类视觉所能感知的动态范围,然而更高位深的数据造成了视频数据量的成倍增加。动态图像专家组(MovingPicture Experts Group,MPEG)通过对HEVC(High Efficiency Video Coding)扩展实现了对更高位深的视频信号的压缩,但改进的HEVC平台并不兼容对浮点型数据格式的视频信号进行压缩,所以必须对浮点型数据格式的高动态范围视频信号进行预处理,将浮点型数据量化为满足HEVC平台所兼容位深的整型数据。
位深是限制整型数据格式的视频信号的动态范围的主要因素,用于HEVC编码的整型数据所表示的量化亮度值,需要满足相邻量化亮度值的间隔不能高于视觉的感知阈值。Miller等人采用追踪各条曲线峰值的方法建立了恰可察觉失真(Just NoticeableDifference,JND)模型,并进一步改进得到了感知量化(Perceptual Quantizer,PQ)曲线作为高动态范围视频信号的光电转换函数(EOTF),PQ曲线能够实现将10-6~104nit范围的实际亮度值量化到10bit位深的量化亮度值(“实际亮度值”表示10-6~104nit范围的以浮点型数据存储的亮度值,“量化亮度值”表示以0、1、2、……、1024整型数据存储的亮度值)。PQ曲线因为量化精度的限制所呈现的对比度阈值较高,2014年,国际电影和电视工程师协会(SMPTE)把PQ曲线作为感知量化的标准,从而实现了对高动态范围视频信号的编码并进行端到端的传输。2015年,MPEG针对扩展的HEVC标准使之兼容对高动态范围和宽色域(WideColor Gamut,WCG)视频信号的编码发出了征集草案,草案中提出的基于感知转换函数(Perceptual Transformation Function,PTF)的非向后兼容的高动态范围视频编码框架,同样把PQ曲线作为高动态范围视频感知量化的转换函数。随着显示技术的不断发展,现有的高动态范围显示器的实际亮度峰值已接近104nit,即PQ曲线所能支持的最大实际亮度值。
但是,并不是每个高动态范围视频场景的实际亮度值都能覆盖如此大的动态范围,从10-6nit~104nit。量化的过程必然会造成一部分整型数据的浪费;而且,从浮点型数据到整型数据的转换也会造成HDR视频帧空域量化失真,导致高动态范围视频信号在压缩传输过程中带来非编码器引起的质量下降。因此,有必要研究一种先对高动态范围视频信号进行处理使之更加符合PQ曲线的量化性能,进而在高动态范围视频信号编码中提高性能的方法。
发明内容
本发明所要解决的技术问题是提供一种高动态范围视频自适应预处理方法,其能够解决HDR视频非向后兼容编码框架中采用PQ曲线从16bit浮点型数据到10bit整型数据的转换过程中造成的HDR视频编码性能下降的问题。
本发明解决上述技术问题所采用的技术方案为:一种高动态范围视频自适应预处理方法,其特征在于包括以下步骤:
步骤一:在二维坐标系中,将位深为10bit的PQ曲线所覆盖的实际亮度范围非线性地划分为32个实际亮度间隔,使每个实际亮度间隔对应的量化亮度间隔初始拥有的整型量化数据为32个;
步骤二:将待预处理的高动态范围视频中的每帧分为Red、Green、Blue三个通道;然后将待预处理的高动态范围视频中当前待处理的第i帧定义为当前帧;其中,i为正整数,i的初始值为1,1≤i≤Frame,Frame表示待预处理的高动态范围视频中包含的帧的总帧数;
步骤三:将当前帧的当前待处理的第m个通道定义为当前通道;其中,m=1,2,3,m=1表示Red通道,m=2表示Green通道,m=3表示Blue通道;
步骤四:获取当前通道的最大实际亮度值和最小实际亮度值;然后计算当前通道的最大实际亮度值对应的量化亮度值,记为并计算当前通道的最小实际亮度值对应的量化亮度值,记为再根据和计算当前通道对应的未使用的整型量化数据的个数,记为
步骤五:去重统计当前通道中落于位深为10bit的PQ曲线所覆盖的各个实际亮度间隔内的实际亮度值的个数,将当前通道中落于位深为10bit的PQ曲线所覆盖的第j个实际亮度间隔内的实际亮度值的个数记为其中,去重统计是指相同的实际亮度值仅计数1个,j为正整数,j的初始值为1,1≤j≤32;
步骤六:对当前通道进行双边滤波处理;然后对当前通道经双边滤波处理后得到的图像进行K-means聚类操作,聚类目标设置为聚为两类,得到当前通道的掩膜图,将当前通道中与其掩膜图中的白色区域所对应的一块区域作为容易造成视觉产生对比度失真的区域,记为
步骤七:根据确定当前通道下位深为10bit的PQ曲线所覆盖的所有实际亮度间隔中需要调整优化的实际亮度间隔,并将这些需要调整优化的实际亮度间隔构成的集合记为Ω,而将剩余的实际亮度间隔构成的集合记为Ω';
步骤八:将当前通道对应的未使用的整型量化数据分配给Ω中的每个实际亮度间隔,以实现Ω中的每个实际亮度间隔的调整优化;然后计算当前通道下最终分配给Ω中的每个实际亮度间隔的整型量化数据的个数,将当前通道下最终分配给Ω中的第k个实际亮度间隔的整型量化数据的个数记为 其中,k为正整数,k的初始值为1,1≤k≤K,K表示Ω中的实际亮度间隔的总个数,round()表示四舍五入取整函数,表示当前通道中落于Ω中的第k个实际亮度间隔内的实际亮度值的个数;
步骤九:在步骤八的基础上,计算当前通道对应的剩余还未使用的整型量化数据的个数,记为若则不进行继续分配,直接执行步骤十;若则将当前通道对应的剩余还未使用的整型量化数据分配给Ω'中的每个实际亮度间隔,计算当前通道下最终分配给Ω'中的每个实际亮度间隔的整型量化数据的个数,将当前通道下最终分配给Ω'中的第k'个实际亮度间隔的整型量化数据的个数记为再执行步骤十;其中,k'为正整数,k'的初始值为1,1≤k'≤K',K'表示Ω'中的实际亮度间隔的总个数,K+K'=32,表示当前通道中落于Ω'中的第k'个实际亮度间隔内的实际亮度值的个数;
步骤十:根据当前通道下最终分配给位深为10bit的PQ曲线所覆盖的每个实际亮度间隔的整型量化数据的个数,计算当前通道下位深为10bit的PQ曲线所覆盖的每个实际亮度间隔的最大实际亮度值和最小实际亮度值,将当前通道下位深为10bit的PQ曲线所覆盖的第j个实际亮度间隔的最大实际亮度值和最小实际亮度值对应记为和 其中,g为正整数,g的初始值为1,1≤g≤j,表示当前通道下最终分配给位深为10bit的PQ曲线所覆盖的第g个实际亮度间隔的整型量化数据的个数,表示当前通道下位深为10bit的PQ曲线所覆盖的第j-1个实际亮度间隔的最大实际亮度值,为的反函数,c1、c2、c3、p1、p2均为常数,c1=0.8359、c2=18.8515、c3=18.6875、p1=0.1593、p2=78.8437,为引入的变量,此处用于代表
步骤十一:对当前通道中的每个像素点进行映射,得到映射后的图像,即为预处理后的图像,将预处理后的图像中坐标位置为(x,y)的像素点的实际亮度值记为 的获取过程为:当当前通道中坐标位置为(x,y)的像素点的实际亮度值大于或等于且小于或等于时,令其中,1≤x≤Width,1≤y≤High,Width表示当前通道的宽度,High表示当前通道的高度,j*∈[1,32],表示通过步骤十得到的当前通道下位深为10bit的PQ曲线所覆盖的第j*个实际亮度间隔的最大实际亮度值,表示通过步骤十得到的当前通道下位深为10bit的PQ曲线所覆盖的第j*个实际亮度间隔的最小实际亮度值,表示当前通道中坐标位置为(x,y)的像素点的实际亮度值对应的量化亮度值,表示当前通道中坐标位置为(x,y)的像素点的实际亮度值,表示当前通道下位深为10bit的PQ曲线所覆盖的第j*个实际亮度间隔对应的量化亮度间隔的最小量化亮度值,也即为所在的第j*个量化亮度间隔的最小量化亮度值,表示当前通道下位深为10bit的PQ曲线所覆盖的第j*个实际亮度间隔对应的量化亮度间隔的最大量化亮度值,也即为所在的第j*个量化亮度间隔的最大量化亮度值;
步骤十二:令m=m+1;然后将当前帧的下一个待处理的通道作为当前通道;再返回步骤四继续执行,直至当前帧的三个通道处理完毕;其中,m=m+1中的“=”为赋值符号;
步骤十三:令i=i+1;然后将待预处理的高动态范围视频中下一帧待处理的帧作为当前帧;再返回步骤三继续执行,直至待预处理的高动态范围视频中的所有帧处理完毕;其中,i=i+1中的“=”为赋值符号。
所述的步骤四中, 其中,符号为向上取整符号,符号为向下取整符号,max()为取最大值函数,min()为取最小值函数,表示当前通道的最大实际亮度值,表示当前通道的最小实际亮度值,c1、c2、c3、p1、p2均为常数,c1=0.8359、c2=18.8515、c3=18.6875、p1=0.1593、p2=78.8437,为引入的变量,计算时用于代表计算时用于代表
所述的步骤七中,Ω的获取过程为:
2)将值为298的实际亮度值所在的实际亮度间隔的间隔标号记为J1;
与现有技术相比,本发明的优点在于:
1)本发明方法能够根据不同高动态范围视频场景,获取高动态范围视频中的每帧的各个通道的最大实际亮度值和最小实际亮度值各自对应的量化亮度值,进而计算得到各个通道对应的浪费的整型量化数据的个数,避免了现有技术未考虑到整型量化数据有浪费或者简单笼统确定浪费的整型量化数据问题。
2)本发明方法通过计算浪费的整型量化数据的个数从而实现优化分配的过程中,不是以一个通道来代表三个通道,而是分为三个通道分别来计算,对整型量化数据的分配进行优化时采用三个通道分别处理的方法可以避免由于不同通道下实际亮度值概率密度分布不同而造成分配不合理的影响。
3)本发明方法在得到浪费的整型量化数据的个数后,首先将当前通道对应的未使用的整型量化数据分配给容易造成视觉产生对比度失真的区域对应的实际亮度间隔构成的集合,以实现该集合中的每个实际亮度间隔的调整优化;然后仍有多余的再分配给其他实际亮度间隔,在这个过程中,有考虑到编码后HDR视频的感知质量,由于在对编码后HDR视频的感知质量评分中,对比度存在一定影响,因此在优化分配多余整型量化数据时优先考虑容易造成视觉产生对比度失真的区域,这样可在一定程度上提升编码后HDR视频的感知质量得分。
4)本发明方法在统计当前通道中落于位深为10bit的PQ曲线所覆盖的各个实际亮度间隔内的像素值的个数时,考虑到一个通道内存在许多相同的实际亮度值而采用去重统计方式,去重统计是指相同的实际亮度值仅计数1个,这样避免了非去重统计下相同实际亮度值重复计数而造成的整型量化数据分配过多,以至于对优化后提升编码性能意义不大。
5)本发明方法通过对HDR视频信号的自适应映射预处理,改进了16bit浮点型数据到10bit整型数据转换过程中的整型量化数据浪费与视频帧空域量化失真问题,从而提升了HDR视频的编码性能。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种高动态范围视频自适应预处理方法,其总体实现框图如图1所示,其包括以下步骤:
步骤一:在二维坐标系中,将位深为10bit的PQ曲线所覆盖的实际亮度范围非线性地划分为32个实际亮度间隔,使每个实际亮度间隔对应的量化亮度间隔初始拥有的整型量化数据为个;在二维坐标系中若X轴表示实际亮度间隔则Y轴表示量化亮度间隔,若Y轴表示实际亮度间隔则X轴表示量化亮度间隔。
步骤二:将待预处理的高动态范围视频中的每帧分为Red、Green、Blue三个通道;然后将待预处理的高动态范围视频中当前待处理的第i帧定义为当前帧;其中,i为正整数,i的初始值为1,1≤i≤Frame,Frame表示待预处理的高动态范围视频中包含的帧的总帧数。
步骤三:将当前帧的当前待处理的第m个通道定义为当前通道;其中,m=1,2,3,m=1表示Red通道,m=2表示Green通道,m=3表示Blue通道。
步骤四:获取当前通道的最大实际亮度值和最小实际亮度值;然后计算当前通道的最大实际亮度值对应的量化亮度值,记为并计算当前通道的最小实际亮度值对应的量化亮度值,记为再根据和计算当前通道对应的未使用的整型量化数据的个数,记为
在此具体实施例中,步骤四中, 其中,符号为向上取整符号,符号为向下取整符号,max()为取最大值函数,min()为取最小值函数,表示当前通道的最大实际亮度值,表示当前通道的最小实际亮度值,c1、c2、c3、p1、p2均为常数,c1=0.8359、c2=18.8515、c3=18.6875、p1=0.1593、p2=78.8437,为引入的变量,计算时用于代表计算时用于代表
步骤五:去重统计当前通道中落于位深为10bit的PQ曲线所覆盖的各个实际亮度间隔内的实际亮度值的个数,将当前通道中落于位深为10bit的PQ曲线所覆盖的第j个实际亮度间隔内的实际亮度值的个数记为其中,去重统计是指相同的实际亮度值仅计数1个,j为正整数,j的初始值为1,1≤j≤32。
步骤六:对当前通道进行双边滤波处理;然后对当前通道经双边滤波处理后得到的图像进行K-means聚类操作,聚类目标设置为聚为两类,得到当前通道的掩膜图,将当前通道中与其掩膜图中的白色区域所对应的一块区域作为容易造成视觉产生对比度失真的区域,记为
步骤七:根据确定当前通道下位深为10bit的PQ曲线所覆盖的所有实际亮度间隔中需要调整优化的实际亮度间隔,并将这些需要调整优化的实际亮度间隔构成的集合记为Ω,而将剩余的实际亮度间隔构成的集合记为Ω'。
在此具体实施例中,步骤七中,Ω的获取过程为:
2)将值为298的实际亮度值所在的实际亮度间隔的间隔标号记为J1。
步骤八:将当前通道对应的未使用的整型量化数据分配给Ω中的每个实际亮度间隔,以实现Ω中的每个实际亮度间隔的调整优化;然后计算当前通道下最终分配给Ω中的每个实际亮度间隔的整型量化数据的个数,将当前通道下最终分配给Ω中的第k个实际亮度间隔的整型量化数据的个数记为 其中,k为正整数,k的初始值为1,1≤k≤K,K表示Ω中的实际亮度间隔的总个数,round()表示四舍五入取整函数,表示当前通道中落于Ω中的第k个实际亮度间隔内的实际亮度值的个数。
步骤九:在步骤八的基础上,计算当前通道对应的剩余还未使用的整型量化数据的个数,记为若则不进行继续分配,直接执行步骤十;若则将当前通道对应的剩余还未使用的整型量化数据分配给Ω'中的每个实际亮度间隔,计算当前通道下最终分配给Ω'中的每个实际亮度间隔的整型量化数据的个数,将当前通道下最终分配给Ω'中的第k'个实际亮度间隔的整型量化数据的个数记为再执行步骤十;其中,k'为正整数,k'的初始值为1,1≤k'≤K',K'表示Ω'中的实际亮度间隔的总个数,K+K'=32,表示当前通道中落于Ω'中的第k'个实际亮度间隔内的实际亮度值的个数。
步骤十:根据当前通道下最终分配给位深为10bit的PQ曲线所覆盖的每个实际亮度间隔的整型量化数据的个数,计算当前通道下位深为10bit的PQ曲线所覆盖的每个实际亮度间隔的最大实际亮度值和最小实际亮度值,将当前通道下位深为10bit的PQ曲线所覆盖的第j个实际亮度间隔的最大实际亮度值和最小实际亮度值对应记为和 其中,g为正整数,g的初始值为1,1≤g≤j,表示当前通道下最终分配给位深为10bit的PQ曲线所覆盖的第g个实际亮度间隔的整型量化数据的个数,表示当前通道下位深为10bit的PQ曲线所覆盖的第j-1个实际亮度间隔的最大实际亮度值,为的反函数,c1、c2、c3、p1、p2均为常数,c1=0.8359、c2=18.8515、c3=18.6875、p1=0.1593、p2=78.8437,为引入的变量,此处用于代表
步骤十一:对当前通道中的每个像素点进行映射,得到映射后的图像,即为预处理后的图像,将预处理后的图像中坐标位置为(x,y)的像素点的实际亮度值记为 的获取过程为:当当前通道中坐标位置为(x,y)的像素点的实际亮度值大于或等于且小于或等于时,令其中,1≤x≤Width,1≤y≤High,Width表示当前通道的宽度,High表示当前通道的高度,j*∈[1,32],表示通过步骤十可以得到的当前通道下位深为10bit的PQ曲线所覆盖的第j*个实际亮度间隔的最大实际亮度值,表示通过步骤十可以得到的当前通道下位深为10bit的PQ曲线所覆盖的第j*个实际亮度间隔的最小实际亮度值,表示当前通道中坐标位置为(x,y)的像素点的实际亮度值对应的量化亮度值,表示当前通道中坐标位置为(x,y)的像素点的实际亮度值,表示当前通道下位深为10bit的PQ曲线所覆盖的第j*个实际亮度间隔对应的量化亮度间隔的最小量化亮度值,也即为所在的第j*个量化亮度间隔的最小量化亮度值,表示当前通道下位深为10bit的PQ曲线所覆盖的第j*个实际亮度间隔对应的量化亮度间隔的最大量化亮度值,也即为所在的第j*个量化亮度间隔的最大量化亮度值。
步骤十二:令m=m+1;然后将当前帧的下一个待处理的通道作为当前通道;再返回步骤四继续执行,直至当前帧的三个通道处理完毕;其中,m=m+1中的“=”为赋值符号。
步骤十三:令i=i+1;然后将待预处理的高动态范围视频中下一帧待处理的帧作为当前帧;再返回步骤三继续执行,直至待预处理的高动态范围视频中的所有帧处理完毕;其中,i=i+1中的“=”为赋值符号。
对本发明方法进行测试,以验证本发明方法的有效性和可行性。
本发明方法针对的是HDR视频非向后兼容编码框架中采用PQ曲线完成从16bit浮点型数据到10bit整型数据的转换过程中造成HDR视频非向后兼容编码性能下降的问题。编码性能下降意味着相同码率前提下编码后HDR视频质量下降或者相同编码后HDR视频质量前提下编码码率需要更多。在此依据相同编码后HDR视频质量前提下经本发明方法预处理与未经本发明方法预处理的HDR视频进行编码所消耗的码率进行测试。测试所采用的高动态范围视频序列为Market3序列和BalloonFestival序列,来自于MPEG,分辨率大小为1920×1080。
利用本发明方法分别对Market3序列和BalloonFestival序列进行自适应预处理,将利用本发明方法预处理后的高动态范围视频序列与原始的高动态范围视频序列按照高动态范围视频非向后兼容编码框架同时输入到HM编码仿真平台中,且保持编码配置相同。选用PSNR_DE、HDR-VDP-2两个客观质量评价方法来计算重建的高动态范围视频的质量,依据编码多产生的码率以及解码端重建的高动态范围视频的质量结合BD-rate来衡量。如表1所示,在相同的PSNR_DE、HDR-VDP-2分值下,负值表示相同质量评价准则下对经本发明方法预处理后的高动态范围视频进行编码相对对原始的高动态范围视频进行编码可以节省的码率。
表1经本发明方法预处理后编码相对未经本发明方法预处理后编码在不同质量评价准则下可节省的码率情况
Market3序列 | BalloonFestival序列 | |
PSNR_DE | -12.31% | -13.20% |
HDR-VDP-2 | -26.66% | -18.31% |
平均 | -19.49% | -15.76% |
从表1中可以看出,针对Market3序列利用本发明方法预处理后能够平均节省19.49%的码率,针对BalloonFestival序列利用本发明方法预处理后能够平均节省15.76%的码率,充分说明了本发明方法对HDR视频预处理可有效解决HDR视频非向后兼容编码框架中采用PQ曲线完成从16bit浮点型数据到10bit整型数据的转换过程中造成HDR视频非向后兼容编码性能下降问题。
Claims (3)
1.一种高动态范围视频自适应预处理方法,其特征在于包括以下步骤:
步骤一:在二维坐标系中,将位深为10bit的PQ曲线所覆盖的实际亮度范围非线性地划分为32个实际亮度间隔,使每个实际亮度间隔对应的量化亮度间隔初始拥有的整型量化数据为32个;
步骤二:将待预处理的高动态范围视频中的每帧分为Red、Green、Blue三个通道;然后将待预处理的高动态范围视频中当前待处理的第i帧定义为当前帧;其中,i为正整数,i的初始值为1,1≤i≤Frame,Frame表示待预处理的高动态范围视频中包含的帧的总帧数;
步骤三:将当前帧的当前待处理的第m个通道定义为当前通道;其中,m=1,2,3,m=1表示Red通道,m=2表示Green通道,m=3表示Blue通道;
步骤四:获取当前通道的最大实际亮度值和最小实际亮度值;然后计算当前通道的最大实际亮度值对应的量化亮度值,记为并计算当前通道的最小实际亮度值对应的量化亮度值,记为再根据和计算当前通道对应的未使用的整型量化数据的个数,记为
步骤五:去重统计当前通道中落于位深为10bit的PQ曲线所覆盖的各个实际亮度间隔内的实际亮度值的个数,将当前通道中落于位深为10bit的PQ曲线所覆盖的第j个实际亮度间隔内的实际亮度值的个数记为其中,去重统计是指相同的实际亮度值仅计数1个,j为正整数,j的初始值为1,1≤j≤32;
步骤六:对当前通道进行双边滤波处理;然后对当前通道经双边滤波处理后得到的图像进行K-means聚类操作,聚类目标设置为聚为两类,得到当前通道的掩膜图,将当前通道中与其掩膜图中的白色区域所对应的一块区域作为容易造成视觉产生对比度失真的区域,记为
步骤七:根据确定当前通道下位深为10bit的PQ曲线所覆盖的所有实际亮度间隔中需要调整优化的实际亮度间隔,并将这些需要调整优化的实际亮度间隔构成的集合记为Ω,而将剩余的实际亮度间隔构成的集合记为Ω';
步骤八:将当前通道对应的未使用的整型量化数据分配给Ω中的每个实际亮度间隔,以实现Ω中的每个实际亮度间隔的调整优化;然后计算当前通道下最终分配给Ω中的每个实际亮度间隔的整型量化数据的个数,将当前通道下最终分配给Ω中的第k个实际亮度间隔的整型量化数据的个数记为 其中,k为正整数,k的初始值为1,1≤k≤K,K表示Ω中的实际亮度间隔的总个数,round()表示四舍五入取整函数, 表示当前通道中落于Ω中的第k个实际亮度间隔内的实际亮度值的个数;
步骤九:在步骤八的基础上,计算当前通道对应的剩余还未使用的整型量化数据的个数,记为若则不进行继续分配,直接执行步骤十;若则将当前通道对应的剩余还未使用的整型量化数据分配给Ω'中的每个实际亮度间隔,计算当前通道下最终分配给Ω'中的每个实际亮度间隔的整型量化数据的个数,将当前通道下最终分配给Ω'中的第k'个实际亮度间隔的整型量化数据的个数记为再执行步骤十;其中,k'为正整数,k'的初始值为1,1≤k'≤K',K'表示Ω'中的实际亮度间隔的总个数,K+K'=32,表示当前通道中落于Ω'中的第k'个实际亮度间隔内的实际亮度值的个数;
步骤十:根据当前通道下最终分配给位深为10bit的PQ曲线所覆盖的每个实际亮度间隔的整型量化数据的个数,计算当前通道下位深为10bit的PQ曲线所覆盖的每个实际亮度间隔的最大实际亮度值和最小实际亮度值,将当前通道下位深为10bit的PQ曲线所覆盖的第j个实际亮度间隔的最大实际亮度值和最小实际亮度值对应记为和 其中,g为正整数,g的初始值为1,1≤g≤j,表示当前通道下最终分配给位深为10bit的PQ曲线所覆盖的第g个实际亮度间隔的整型量化数据的个数,表示当前通道下位深为10bit的PQ曲线所覆盖的第j-1个实际亮度间隔的最大实际亮度值,为的反函数,
步骤十一:对当前通道中的每个像素点进行映射,得到映射后的图像,即为预处理后的图像,将预处理后的图像中坐标位置为(x,y)的像素点的实际亮度值记为 的获取过程为:当当前通道中坐标位置为(x,y)的像素点的实际亮度值大于或等于且小于或等于时,令其中,1≤x≤Width,1≤y≤High,Width表示当前通道的宽度,High表示当前通道的高度,j*∈[1,32],表示通过步骤十得到的当前通道下位深为10bit的PQ曲线所覆盖的第j*个实际亮度间隔的最大实际亮度值,表示通过步骤十得到的当前通道下位深为10bit的PQ曲线所覆盖的第j*个实际亮度间隔的最小实际亮度值,表示当前通道中坐标位置为(x,y)的像素点的实际亮度值对应的量化亮度值,Yi m(x,y)表示当前通道中坐标位置为(x,y)的像素点的实际亮度值, 表示当前通道下位深为10bit的PQ曲线所覆盖的第j*个实际亮度间隔对应的量化亮度间隔的最小量化亮度值,也即为所在的第j*个量化亮度间隔的最小量化亮度值,表示当前通道下位深为10bit的PQ曲线所覆盖的第j*个实际亮度间隔对应的量化亮度间隔的最大量化亮度值,也即为所在的第j*个量化亮度间隔的最大量化亮度值;
步骤十二:令m=m+1;然后将当前帧的下一个待处理的通道作为当前通道;再返回步骤四继续执行,直至当前帧的三个通道处理完毕;其中,m=m+1中的“=”为赋值符号;
步骤十三:令i=i+1;然后将待预处理的高动态范围视频中下一帧待处理的帧作为当前帧;再返回步骤三继续执行,直至待预处理的高动态范围视频中的所有帧处理完毕;其中,i=i+1中的“=”为赋值符号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911099679.3A CN110933416B (zh) | 2019-11-12 | 2019-11-12 | 高动态范围视频自适应预处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911099679.3A CN110933416B (zh) | 2019-11-12 | 2019-11-12 | 高动态范围视频自适应预处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110933416A CN110933416A (zh) | 2020-03-27 |
CN110933416B true CN110933416B (zh) | 2021-07-20 |
Family
ID=69853813
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911099679.3A Active CN110933416B (zh) | 2019-11-12 | 2019-11-12 | 高动态范围视频自适应预处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110933416B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114173189B (zh) * | 2021-10-29 | 2023-02-07 | 荣耀终端有限公司 | 视频编辑方法、电子设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101371583A (zh) * | 2006-01-23 | 2009-02-18 | 马普科技促进协会 | 高动态范围编解码器 |
CN105828089A (zh) * | 2016-01-31 | 2016-08-03 | 西安电子科技大学 | 一种基于自适应感知量化的视频编码方法和*** |
CN108337516A (zh) * | 2018-01-31 | 2018-07-27 | 宁波大学 | 一种面向多用户的hdr视频动态范围可分级编码方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8270710B2 (en) * | 2007-10-11 | 2012-09-18 | Unified Color Technologies, Llc | Representation and quantization of digital images and evaluation of color differences |
JP6302600B2 (ja) * | 2014-09-26 | 2018-03-28 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 知覚的量子化されたビデオコンテンツの符号化および復号化 |
MX359721B (es) * | 2015-01-19 | 2018-10-08 | Dolby Laboratories Licensing Corp | Gestión de pantalla para video de alta gama dinámica. |
US11259023B2 (en) * | 2018-04-12 | 2022-02-22 | Qualcomm Incorporated | Harmonization of transform-based quantization and dynamic range adjustment scale derivation in video coding |
-
2019
- 2019-11-12 CN CN201911099679.3A patent/CN110933416B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101371583A (zh) * | 2006-01-23 | 2009-02-18 | 马普科技促进协会 | 高动态范围编解码器 |
CN105828089A (zh) * | 2016-01-31 | 2016-08-03 | 西安电子科技大学 | 一种基于自适应感知量化的视频编码方法和*** |
CN108337516A (zh) * | 2018-01-31 | 2018-07-27 | 宁波大学 | 一种面向多用户的hdr视频动态范围可分级编码方法 |
Non-Patent Citations (4)
Title |
---|
An Adaptive Quantizer for High Dynamic Range Content: Application to Video Coding;Yi Liu等;《IEEE Transactions on Circuits and Systems for Video Technology》;20171225;全文 * |
Perceptual Signal Coding for More Efficient Usage of Bit Codes;Scott Miller等;《SMPTE Motion Imaging Journal》;20131231;全文 * |
基于对比敏感度函数的高动态范围视频编码;佘航飞等;《光电子·激光》;20181031;全文 * |
基于视觉感知的深度图超分辨和高动态范围视频压缩;于胜韬;《中国博士学位论文全文数据库》;20190731;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110933416A (zh) | 2020-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108063944B (zh) | 一种基于视觉显著性的感知码率控制方法 | |
KR101794817B1 (ko) | 지각적으로 양자화된 비디오 콘텐츠를 인코딩 및 디코딩하는 방법 | |
CN1303820C (zh) | 基于质量的图像压缩 | |
JP6913827B2 (ja) | Oled表示パネルのグレースケール補正表の圧縮方法 | |
CN105324997B (zh) | 用于增强动态范围信号的分层编码的自适应整形 | |
CN108924554B (zh) | 一种球形加权结构相似度的全景视频编码率失真优化方法 | |
CN1110962C (zh) | 用于视频信号编码***的自适应量化器 | |
CN106358040B (zh) | 一种基于显著性的码率控制比特分配方法 | |
CN102420988B (zh) | 一种利用视觉特性的多视点视频编码*** | |
CN108900838B (zh) | 一种基于hdr-vdp-2失真准则的率失真优化方法 | |
CN110401833B (zh) | 图像传输方法及装置 | |
CN1081052A (zh) | 高清晰度电视信号的编码技术 | |
EP3200457B1 (en) | Content-adaptive reshaping for high dynamic range images | |
CN106937116A (zh) | 基于随机训练集自适应学习的低复杂度视频编码方法 | |
CN105120295A (zh) | 一种基于四叉树编码分割的hevc复杂度控制方法 | |
CN110933416B (zh) | 高动态范围视频自适应预处理方法 | |
CN112887725A (zh) | 参考帧缓存数据压缩方法、计算机装置及计算机可读存储介质 | |
CN110381315B (zh) | 码率控制方法及装置 | |
JP3289712B2 (ja) | ディジタル画像データの圧縮方法及びその装置 | |
CN115474044B (zh) | 一种Bayer域图像有损压缩方法 | |
CN114189688B (zh) | 基于亮度模板匹配的色度分量预测方法 | |
CN107948643B (zh) | 一种降低jpeg图像方块效应的方法 | |
CN109451309B (zh) | Hevc全i帧编码基于显著性的ctu层码率分配方法 | |
CN113301339A (zh) | 数据编码、解码方法及装置 | |
CN113591878B (zh) | 动态hdr图像特征提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240124 Address after: 313200 Room 337, Building 3, No. 266, Zhenxing Road, Yuyue Town, Deqing County, Huzhou City, Zhejiang Province Patentee after: Huzhou Chuangguan Technology Co.,Ltd. Country or region after: China Address before: 315211, Fenghua Road, Jiangbei District, Zhejiang, Ningbo 818 Patentee before: Ningbo University Country or region before: China |
|
TR01 | Transfer of patent right |