CN113628106A - 图像动态范围处理方法和装置 - Google Patents
图像动态范围处理方法和装置 Download PDFInfo
- Publication number
- CN113628106A CN113628106A CN202010383489.0A CN202010383489A CN113628106A CN 113628106 A CN113628106 A CN 113628106A CN 202010383489 A CN202010383489 A CN 202010383489A CN 113628106 A CN113628106 A CN 113628106A
- Authority
- CN
- China
- Prior art keywords
- value
- interpolation point
- coordinate value
- pixel
- maximum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000013507 mapping Methods 0.000 claims abstract description 219
- 238000000034 method Methods 0.000 claims abstract description 126
- 230000006870 function Effects 0.000 claims description 346
- 238000012545 processing Methods 0.000 claims description 32
- 230000015654 memory Effects 0.000 claims description 21
- 101100517648 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) NUM1 gene Proteins 0.000 claims description 12
- 101100129590 Schizosaccharomyces pombe (strain 972 / ATCC 24843) mcp5 gene Proteins 0.000 claims description 12
- 230000001419 dependent effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 108091001599 RGB-10 Proteins 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 18
- 238000012546 transfer Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 230000003068 static effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101000830742 Homo sapiens Tryptophan 5-hydroxylase 1 Proteins 0.000 description 1
- 102100024971 Tryptophan 5-hydroxylase 1 Human genes 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012885 constant function Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
本申请提供了一种图像动态范围处理方法和装置,其中,方法包括:获取第一三次样条曲线相关的第一插值点的第一坐标值和第三插值点的第一坐标值;根据待处理图像的第一亮度区间的直方图信息,确定第一三次样条曲线相关的第二插值点的第一坐标值,第一亮度区间为第一插值点的第一坐标值和第三插值点的第一坐标值之间的区间,第一插值点的第一坐标值、第二插值点的第一坐标值以及第三插值点的第一坐标值用于确定第一三次样条曲线的函数,第一三次样条曲线的函数用于将待处理图像中亮度值位于第一亮度区间内的像素的亮度值映射为第一目标亮度值,从而修正待处理图像的动态范围。本申请提升了图像的显示效果。
Description
技术领域
本申请涉及图像处理领域,具体涉及一种图像动态范围处理方法和装置。
背景技术
动态范围(Dynamic Range,DR)在很多领域用来表示某个变量的最大值和最小值的比率。在数字图像中,动态范围表征了在图像可显示范围内的最大亮度与最小亮度之间的比率,也就是图像从“最亮”到“最暗”之间灰度划分的等级数。一个图像的动态范围越大,它所能表示的亮度层次越丰富,图像的视觉效果越逼真。由于真实世界中自然场景的动态范围在10-3到106之间,动态范围非常大,因此称之为高动态范围(High Dynamic Range,HDR)。相对于高动态范围图像,普通图像的动态范围为低动态范围(Low Dynamic Range,LDR)。
现阶段的显示设备,一般把动态范围不足0.1到400nits的称为标准动态范围(Standard Dynamic Range,SDR)显示设备;把动态范围超过0.01到540nits的称为高动态范围High Dynamic Range,HDR)显示设备,不同的高动态范围显示设备显示的动态范围不同,如0.01到540nits的高动态范围显示设备,0.005到1000nits的高动态范围显示设备等,同理不同的标准动态范围显示设备显示动态范围也不同。为了使得图像适应不同动态范围的显示设备(高动态范围显示设备和低动态范围显示设备),需要对图像进行动态范围调整(压缩或拉伸),以将图像的动态范围调整到显示设备的显示能力范围内进行显示。
现有技术中,通过映射曲线将图像中的每个像素的亮度值映射为目标亮度值,以通过像素的亮度值的改变调整图像的动态范围。然而,由于现有的映射曲线的形态不够灵活,导致图像中的部分区域的亮度层次出现丢失,亮度比对不明显,使得调整动态范围后的图像的显示效果不佳。
发明内容
本申请提供一种图像动态范围处理方法和装置,能够提升图像的显示效果。
第一方面,提供一种图像动态范围处理方法,包括:获取第一三次样条曲线相关的第一插值点的第一坐标值和第三插值点的第一坐标值,所述第一插值点的第一坐标值和所述第三插值点的第一坐标值为亮度值;根据待处理图像的第一亮度区间的直方图信息,确定所述第一三次样条曲线相关的第二插值点的第一坐标值,所述第一亮度区间为所述第一插值点的第一坐标值和所述第三插值点的第一坐标值之间的区间,所述第一插值点的第一坐标值、所述第二插值点的第一坐标值以及所述第三插值点的第一坐标值用于确定所述第一三次样条曲线的函数,所述第一三次样条曲线的函数用于将所述待处理图像中亮度值位于所述第一亮度区间内的像素的亮度值映射为第一目标亮度值,从而修正所述待处理图像的动态范围。
通过获取第一插值点的第一坐标值、第三插值点的第一坐标值,以及根据待处理图像的第一亮度区间的直方图即可确定第二插值点的第一坐标值,插值点的确定方式简单,易于执行,此外,通过确定第一三次样条曲线相关的第一插值点至第三插值点的第一坐标值,以根据第一插值点至第三插值点的第一坐标值确定第一三次样条曲线的函数,从而根据第一三次样条曲线的函数将待处理图像亮度值位于第一亮度区间内的像素的亮度值映射为第一目标像素值,即待处理图像中的一部分像素的亮度值根据第一三次样条曲线的函数进行映射,对第一亮度区间内的像素进行了保护,提升图像的显示效果;另外,相比于仅根据基础映射曲线对待处理图像进行亮度映射,本申请通过第一三次样条曲线的函数对部分像素进行亮度映射,而剩下的像素的亮度值根据基础映射曲线进行映射,即相当于改变了基础映射曲线中的一段曲线原有的映射关系,换言之,改变了基础映射曲线中与第一亮度区间对应的曲线的形态,实现了对特定区域的保护,同时也增加了基础映射曲线的形态的多样性、灵活性、鲁棒性和普适性,进而提升了调整动态范围后的图像的显示效果。
在一种可能的实现方式中,所述第一三次样条曲线的函数根据如下方式获得:获取基础映射曲线的函数;根据所述基础映射曲线的函数,对所述第一插值点的第一坐标值,以及所述第三插值点的第一坐标值进行映射,得到所述第一插值点的第二坐标值,以及所述第三插值点的第二坐标值;根据所述第一插值点的第一坐标值,所述第二插值点的第一坐标值,所述第三插值点的第一坐标值,所述第一插值点的第二坐标值,以及所述第三插值点的第二坐标值,确定所述第二插值点的第二坐标值;根据所述第一插值点的第一坐标值,所述第二插值点的第一坐标值,所述第三插值点的第一坐标值,所述第一插值点的第二坐标值,所述第三插值点的第二坐标值,以及所述第二插值点的第二坐标值,确定所述第一三次样条曲线的函数。
在一种可能的实现方式中,所述根据所述第一插值点的第一坐标值,所述第二插值点的第一坐标值,所述第三插值点的第一坐标值,所述第一插值点的第二坐标值,以及所述第三插值点的第二坐标值,确定所述第二插值点的第二坐标值,包括:根据如下公式确定所述第二插值点的第二坐标值;
其中,VA2为所述第二插值点的第二坐标值,VA1为所述第一插值点的第二坐标值,VA3为所述第三插值点的第二坐标值,TH2为所述第二插值点的第一坐标值,TH1为所述第一插值点的第一坐标值,TH3为所述第三插值点的第一坐标值。
在一种可能的实现方式中,所述方法还包括:根据所述第三插值点的第一坐标值、所述待处理图像的第一像素的RGB分量最大值,确定第二三次样条曲线相关的第四插值点、第五插值点和第六插值点的第一坐标值;其中:所述第一像素为所述待处理图像中RGB分量最大值最大的像素,所述像素的RGB分量最大值为所述像素的R分量、G分量和B分量中的最大值;所述第四插值点的第一坐标值、所述第五插值点的第一坐标值以及所述第六插值点的第一坐标值,用于确定所述第二三次样条曲线的函数,所述第二三次样条曲线的函数用于将待处理图像中亮度值位于第二亮度区间内的像素的亮度值映射为第二目标亮度值,从而修正所述待处理图像的动态范围,所述第二亮度区间为所述第四插值点的第一坐标值和第六插值点的第一坐标值之间的区间,所述第一亮度区间与所述第二亮度区间之间不存在重合区域。
在一种可能的实现方式中,所述方法还包括:将所述三次样条曲线的函数和所述待处理图像的数据信息发送至解码端,以使所述解码端根据所述三次样条曲线的函数对所述待处理图像的动态范围进行修正,所述待处理图像的数据信息用于获取所述待处理图像。
在一种可能的实现方式中,所述获取第一三次样条曲线相关的第一插值点的第一坐标值和第三插值点的第一坐标值包括:将所述第一插值点的第一坐标值设置为第一预设亮度值;将所述第三插值点的第一坐标值设置为第二预设亮度值。
在一种可能的实现方式中,所述第二插值点的第一坐标值根据下述公式确定:
其中,TH2为所述第二插值点的第一坐标值,Nframe为所述待处理图像中亮度值位于所述第一亮度区间内的像素的总数量,i为所述待处理图像中亮度值位于所述第一亮度区间内的像素中的第i个像素,f(i)为所述第i个像素的亮度值。
在一种可能的实现方式中,所述根据所述第三插值点的第一坐标值、所述待处理图像的第一像素的RGB分量最大值,确定第二三次样条曲线相关的第四插值点、第五插值点和第六插值点的第一坐标值包括:根据第一公式确定所述第四插值点的第一坐标值,其中,所述第一公式为:
根据第二公式确定所述第五插值点的第一坐标值,其中,所述第二公式为:
将所述第六插值点的第一坐标值设置为所述第一像素的RGB分量最大值;
其中,TH1_high为所述第四插值点的第一坐标值,TH2_high为所述第五插值点的第一坐标值,MaxSource的取值为所述第一像素的RGB分量最大值,TH3为所述第三插值点的第一坐标值,U为一预设数值。
在一种可能的实现方式中,所述根据所述第三插值点的第一坐标值、所述待处理图像的第一像素的RGB分量最大值,确定第二三次样条曲线相关的第四插值点、第五插值点和第六插值点的第一坐标值包括:根据所述第三插值点的第一坐标值、所述第一像素的RGB分量最大值确定所述第四插值点的第一坐标值的初始值;将所述第六插值点的第一坐标值设置为所述第一像素的RGB分量最大值;根据所述第四插值点的第一坐标值的初始值和所述第六插值点的第一坐标值,确定第一像素数量和第二像素数量;其中,所述第一像素数量为所述待处理图像中亮度值位于第三亮度区间的像素的数量,所述第三亮度区间为所述第四插值点的第一坐标值的初始值与所述第六插值点的第一坐标值之间的区间,所述第二像素数量为所述待处理图像中或者待处理图像的亮度直方图中的像素的总数量;根据所述第一像素数量、所述第二像素数量、所述第三插值点的第一坐标值、所述第四插值点的第一坐标值的初始值和所述第六插值点的第一坐标值确定所述第四插值点的第一坐标值;根据所述待处理图像的所述第二亮度区间的直方图信息,所述第四插值点的第一坐标值和所述第六插值点的第一坐标值,确定所述第五插值点的第一坐标值。
在一种可能的实现方式中,所述第二亮度区间包括N个子区间,N为正整数,所述根据所述待处理图像的所述第二亮度区间的直方图信息,所述第四插值点的第一坐标值和所述第六插值点的第一坐标值,确定所述第五插值点的第一坐标值,包括:从所述N个子区间中确定出第i个子区间,所述第i个子区间位于所述N个子区间的n个子区间中,所述n个子区间的序号大于或者等于N/4,并且所述n个子区间的序号小于或者等于3N/4,所述待处理图像中亮度值位于所述第i个子区间的像素个数为所述n个子区间中的最少值;根据所述第四插值点的第一坐标值、第六插值点的第一坐标值、所述i确定所述第五插值点的第一坐标值。
在一种可能的实现方式中,所述N的取值为8。
在一种可能的实现方式中,所述根据所述第三插值点的第一坐标值、所述第一像素的RGB分量最大值确定所述第四插值点的第一坐标值的初始值包括:根据如下确定所述第四插值点的第一坐标值的初始值:
其中,TH1_high1为所述第四插值点的第一坐标值的初始值,MaxSource的取值为所述第一像素的RGB分量最大值,U为一预设数值,TH3为所述第三插值点的第一坐标值。
在一种可能的实现方式中,所述根据所述第一像素数量、所述第二像素数量、所述第三插值点的第一坐标值、所述第四插值点的第一坐标值的初始值和所述第六插值点的第一坐标值确定所述第四插值点的第一坐标值包括:确定所述第三亮度区间的长度占所述第一像素的RGB分量最大值的比例;根据如下公式确定所述第四插值点的第一坐标值:
其中,TH1_high为所述第四插值点的第一坐标值,MaxSource的取值为所述第一像素的RGB分量最大值,U为一预设数值,TH3为所述第三插值点的第一坐标值,highRatio为所述第一像素数量与所述第二像素数量的比例,wholeratio为所述第三亮度区间的长度占所述第一像素的RGB分量最大值的比例,TH1_high1为所述第四插值点的第一坐标值的初始值,TH3_high为所述第六插值点的第一坐标值,POW(x,j)指x的j次方。
在一种可能的实现方式中,所述根据所述第四插值点的第一坐标值、第六插值点的第一坐标值、所述i确定所述第五插值点的第一坐标值包括:
根据如下公式确定所述第五插值点的第一坐标值:
其中,TH2_high为所述第五插值点的第一坐标值,TH1_high为所述第四插值点的第一坐标值,TH3_high为所述第六插值点的第一坐标值,n_min为所述i。
在一种可能的实现方式中,所述方法还包括:根据所述待处理图像的亮度直方图,第四插值点的第一坐标值,第五插值点的第一坐标值和第六插值点的第一坐标值,确定第三像素数量和第四像素数量,所述第三像素数量为所述亮度直方图中位于所述第四插值点的第一坐标值和所述第五插值点的第一坐标值之间的区间的像素数量,所述第四像素数量为所述亮度直方图中位于所述第五插值点的第一坐标值和所述第六插值点的第一坐标值之间的区间的像素数量;根据所述第三像素数量和所述第四像素数量,确定所述第五插值点的第二坐标值的调整强度,所述调整强度用于指示第五插值点的第二坐标值相对于所述第五插值点的第二坐标值的初始值的偏移程度。
在一种可能的实现方式中,所述根据所述第三像素数量和所述第四像素数量,确定所述第五插值点的第二坐标值的调整强度包括:根据下述公式确定所述第五插值点的第二坐标值的调整强度:
其中,TH_high_strength为所述第五插值点的第二坐标值的调整强度,TH_high_strength1为所述第五插值点的第二坐标值的调整强度的默认值,Δ为调整步长,NUM1为所述第三像素数量,NUM2为所述第四像素数量。
在一种可能的实现方式中,所述第五插值点的第二坐标值的初始值通过如下公式获得:
其中,VA2_high1为所述第五插值点的第二坐标值的初始值,VA1_high为所述第四插值点的第二坐标值,VA3_high为所述第六插值点的第二坐标值,TH2_high为所述第五插值点的第一坐标值,TH1_high为所述第四插值点的第一坐标值,TH3_high为所述第六插值点的第一坐标值。
在一种可能的实现方式中,所述基础映射曲线的函数用于将所述待处理图像中的像素的亮度值映射为第三目标亮度值,所述基础映射曲线的函数为一以所述待处理图像中的像素的亮度值为自变量、所述第三目标亮度值为因变量的亮度映射函数,其中,所述亮度映射函数如下所示:
所述亮度映射函数的参数包括:a、b、p、m、n,L'为所述第三目标亮度值,L为所述待处理图像中的像素的亮度值。
第二方面,提供一种图像动态范围处理方法,包括:获取待处理图像的第一像素的RGB分量最大值,其中:所述第一像素为所述待处理图像中像素的RGB分量最大值最大的像素,所述像素的RGB分量最大值为所述像素的R分量、G分量和B分量中的最大值;根据所述第一像素的RGB分量最大值和所述待处理图像的亮度直方图确定至少一个三次样条曲线相关的插值点的第一坐标值,其中,每个所述三次样条曲线相关的插值点包括第一插值点、第二插值点和第三插值点,所述插值点的第一坐标值为亮度值,每个所述三次样条曲线相关的插值点的第一坐标值用于确定对应的所述三次样条曲线的函数,每个所述三次样条曲线的函数用于将所述待处理图像中亮度值位于对应的第一亮度区间内的像素的亮度值映射为第一目标亮度值,从而修正所述待处理图像的动态范围,所述三次样条曲线的函数对应的第一亮度区间为所述三次样条曲线相关的第一插值点的第一坐标值和第三插值点的第一坐标值之间的区间。
通过获取获取待处理图像的第一像素的RGB分量最大值,以及根据第一像素的RGB分量最大值和待处理图像的亮度直方图即可确定至少一个三次样条曲线相关的插值点的第一坐标值,插值点的确定方式简单,易于执行,此外,通过确定三次样条曲线相关的第一插值点至第三插值点的第一坐标值,以根据第一插值点至第三插值点的第一坐标值确定三次样条曲线的函数,从而根据三次样条曲线的函数将待处理图像亮度值位于第一亮度区间内的像素的亮度值映射为第一目标像素值,即待处理图像中的一部分像素的亮度值根据三次样条曲线的函数进行映射,对第一亮度区间内的像素进行了保护,提升图像的显示效果;另外,相比于仅根据基础映射曲线对待处理图像进行亮度映射,本申请通过三次样条曲线的函数对部分像素进行亮度映射,而剩下的像素的亮度值根据基础映射曲线进行映射,即相当于改变了基础映射曲线中的一段曲线原有的映射关系,换言之,改变了基础映射曲线中与第一亮度区间对应的曲线的形态,实现了对特定区域的保护,同时也增加了基础映射曲线的形态的多样性、灵活性、鲁棒性和普适性,进而提升了调整动态范围后的图像的显示效果。
在一种可能的实现方式中,所述三次样条曲线的数量为一个;所述根据所述第一像素的RGB分量最大值和所述待处理图像的亮度直方图确定至少一个三次样条曲线相关的插值点的第一坐标值包括:根据所述亮度直方图确定第一百分比对应的第二像素的RGB分量最大值、第二百分比对应的第三像素的RGB分量最大值、第三百分比对应的第四像素的RGB分量最大值,其中,所述第一百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第二像素的RGB分量最大值的像素占所述多个像素的百分比,所述第二百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第三像素的RGB分量最大值的像素占所述多个像素的百分比,所述第三百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第四像素的RGB分量最大值的像素占所述多个像素的百分比;根据所述第一百分比对应的第二像素的RGB分量最大值、所述第二百分比对应的第三像素的RGB分量最大值、所述第三百分比对应的第四像素的RGB分量最大值确定所述第一插值点的第一坐标值;将所述第三插值点的第一坐标值设置为所述第一像素的RGB分量最大值;根据所述第一插值点的第一坐标值、所述第三插值点的第一坐标值、所述亮度直方图中所述第一亮度区间对应的直方图信息,确定所述第二插值点的第一坐标值。
在一种可能的实现方式中,所述根据所述第一百分比对应的第二像素的RGB分量最大值、所述第二百分比对应的第三像素的RGB分量最大值、所述第三百分比对应的第四像素的RGB分量最大值确定所述第一插值点的第一坐标值包括:根据所述第一百分比对应的第二像素的RGB分量最大值、所述第二百分比对应的第三像素的RGB分量最大值和亮度阈值确定所述第一插值点的第一坐标值的第一取值;根据所述第一百分比对应的第二像素的RGB分量最大值、所述第二百分比对应的第三像素的RGB分量最大值、所述第三百分比对应的第四像素的RGB分量最大值和所述第一取值确定所述第一插值点的第一坐标值。
在一种可能的实现方式中,所述第一百分比为90%,所述第二百分比为95%,所述第三百分比为99%;所述根据所述第一百分比对应的第二像素的RGB分量最大值、所述第二百分比对应的第三像素的RGB分量最大值和亮度阈值确定所述第一插值点的第一坐标值的第一取值包括:根据下述公式确定所述第一插值点的第一坐标值的第一取值,
其中,TH1_used1为所述第一取值,g_maxRGBdistribution90为所述90%比对应的第二像素的RGB分量最大值,g_maxRGBdistribution95为所述95%对应的第三像素的RGB分量最大值,THRESOLD为所述亮度阈值。
在一种可能的实现方式中,所述根据所述第一百分比对应的第二像素的RGB分量最大值、所述第二百分比对应的第三像素的RGB分量最大值、所述第三百分比对应的第四像素的RGB分量最大值和所述第一取值确定所述第一插值点的第一坐标值包括:确定两倍的所述第二百分比对应的第三像素的RGB分量最大值与所述第一百分比对应的第二像素的RGB分量最大值的差;判断所述第三百分比对应的第四像素的RGB分量最大值是否大于得到的差与第一预设数值的和且所述第一取值是否大于第一阈值;若是,则将所述第一插值点的第一坐标值设置为所述第一取值。
在一种可能的实现方式中,所述根据所述第一百分比对应的第二像素的RGB分量最大值、所述第二百分比对应的第三像素的RGB分量最大值、所述第三百分比对应的第四像素的RGB分量最大值确定所述第一插值点的第一坐标值包括:根据所述待处理图像的亮度直方图确定第四百分比对应的第五像素的RGB分量最大值、第五百分比对应的第六像素的RGB分量最大值,第六百分比对应的第七像素的RGB分量最大值,其中,所述第四百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第五像素的RGB分量最大值的像素占所述多个像素的百分比,所述第五百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第六像素的RGB分量最大值的像素占所述多个像素的百分比,所述第六百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第七像素的RGB分量最大值的像素占所述多个像素的百分比;根据所述第四百分比对应的第五像素的RGB分量最大值、第一百分比对应的第二像素的RGB分量最大值和亮度阈值确定所述第一插值点的第一坐标值的第一取值;根据所述第一百分比对应的第二像素的RGB分量最大值、第二百分比对应的第三像素的RGB分量最大值和亮度阈值确定所述第一插值点的第一坐标值的第二取值;根据所述第二百分比对应的第三像素的RGB分量最大值、第三百分比对应的第四像素的RGB分量最大值和亮度阈值确定所述第一插值点的第一坐标值的第三取值;根据所述第四百分比对应的第五像素的RGB分量最大值、第五百分比对应的第六像素的RGB分量最大值、所述第一百分比对应的第二像素的RGB分量最大值、第二百分比对应的第三像素的RGB分量最大值、第三百分比对应的第四像素的RGB分量最大值、第六百分比对应的第七像素的RGB分量最大值和所述第一取值至所述第三取值确定所述第一插值点的第一坐标值。
在一种可能的实现方式中,所述第一百分比为90%,第二百分比为95%,第三百分比为99%,所述第四百分比为50%,第五百分比为10%,第六百分比为100%;所述确定所述第一插值点的第一坐标值的第一取值包括:根据第一公式确定所述第一插值点的第一坐标值的第一取值,其中,所述第一公式为:
所述确定所述第一插值点的第一坐标值的第二取值包括:根据第二公式确定所述第一插值点的第一坐标值的第二取值,其中,所述第二公式为:
所述确定所述第一插值点的第一坐标值的第三取值包括:根据第三公式确定所述第一插值点的第一坐标值的第三取值,其中,所述第三公式为:
其中,TH1_used1为所述第一取值,TH1_used2为所述第二取值,TH1_used3为所述第三取值,g_maxRGBdistribution90为所述90%对应的第二像素的RGB分量最大值,g_maxRGBdistribution95为所述95%对应的第三像素的RGB分量最大值,g_maxRGBdistribution50为所述50%对应的第五像素的RGB分量最大值,g_maxRGBdistribution99为所述99%对应的对应的第四像素的RGB分量最大值,g_maxRGBdistribution10为所述10%对应的第六像素的RGB分量最大值,THRESOLD为亮度阈值。
在一种可能的实现方式中,所述确定所述第一插值点的第一坐标值包括:通过第四公式确定所述第一插值点的第一坐标值的初始值:
通过第五公式并结合所述第一插值点的第一坐标值的初始值、所述第二取值和所述第三取值确定所述第一插值点的第一坐标值:
其中,TH1为所述第一插值点的第一坐标值,TH1_used为所述第一插值点的第一坐标值的初始值,TH1_used1为所述第一取值,TH1_used2为所述第二取值,TH1_used3为所述第三取值,g_maxRGBdistribution90为所述90%对应的第二像素的RGB分量最大值,g_maxRGBdistribution95为所述95%对应的第三像素的RGB分量最大值,g_maxRGBdistribution50为所述50%对应的第五像素的RGB分量最大值,g_maxRGBdistribution99为所述99%对应的对应的第四像素的RGB分量最大值,g_maxRGBdistribution10为所述10%对应的第六像素的RGB分量最大值,g_maxRGBdistribution100为所述100%对应的第七像素的RGB分量最大值。
在一种可能的实现方式中,所述第一亮度区间包括N个子区间,N为正整数;所述根据所述第一插值点的第一坐标值、所述第三插值点的第一坐标值、所述亮度直方图中所述第一亮度区间对应的直方图信息,确定所述第二插值点的第一坐标值包括:从所述N个子区间中确定出第i个子区间,所述第i个子区间位于所述N个子区间的n个子区间中,所述n个子区间的序号大于或者等于N/4,并且所述n个子区间的序号小于或者与3N/4,所述待处理图像中亮度值位于所述第i个子区间的像素个数为所述n个子区间中的最少值;根据所述第一插值点的第一坐标值、所述第三插值点的第一坐标值、所述i确定所述第二插值点的第一坐标值。
在一种可能的实现方式中,所述N的取值为8。
在一种可能的实现方式中,所述根据所述第一插值点的第一坐标值、所述第三插值点的第一坐标值、所述i确定所述第二插值点的第一坐标值包括:
根据下述公式确定所述第二插值点的第一坐标值:
其中,TH2为所述第二插值点的第一坐标值,TH1为所述第一插值点的第一坐标值,TH3为所述第三插值点的第一坐标值,n_min为所述i。
在一种可能的实现方式中,所述三次样条曲线的函数根据如下方式获得:获取基础映射曲线的函数;根据所述基础映射曲线的函数,对所述第一插值点的第一坐标值,以及所述第三插值点的第一坐标值进行映射,得到所述第一插值点的第二坐标值,以及所述第三插值点的第二坐标值;根据所述第一插值点的第一坐标值,所述第二插值点的第一坐标值,所述第三插值点的第一坐标值,所述第一插值点的第二坐标值,以及所述第三插值点的第二坐标值,确定所述第二插值点的第二坐标值;根据所述第一插值点的第一坐标值,所述第二插值点的第一坐标值,所述第三插值点的第一坐标值,所述第一插值点的第二坐标值,所述第三插值点的第二坐标值,以及所述第二插值点的第二坐标值,确定所述三次样条曲线的函数。
在一种可能的实现方式中,所述根据所述第一插值点的第一坐标值,所述第二插值点的第一坐标值,所述第三插值点的第一坐标值,所述第一插值点的第二坐标值,以及所述第三插值点的第二坐标值,确定所述第二插值点的第二坐标值,包括:根据如下公式确定所述第二插值点的第二坐标值;
其中,VA2为所述第二插值点的第二坐标值,VA1为所述第一插值点的第二坐标值,VA3为所述第三插值点的第二坐标值,TH2为所述第二插值点的第一坐标值,TH1为所述第一插值点的第一坐标值,TH3为所述第三插值点的第一坐标值。
在一种可能的实现方式中,所述基础映射曲线的函数用于将所述待处理图像中的像素的亮度值映射为第二目标亮度值,所述基础映射曲线的函数为一以所述待处理图像中的像素的亮度值为自变量、所述第二目标亮度值为因变量的亮度映射函数,其中,所述亮度映射函数如下所示:
所述亮度映射函数的参数包括:a、b、p、m、n,L'为所述第而目标亮度值,L为所述待处理图像中的像素的亮度值。
在一种可能的实现方式中,所述方法还包括:根据所述待处理图像的亮度直方图,第一插值点的第一坐标值,第二插值点的第一坐标值和第三插值点的第一坐标值,确定第一像素数量和第二像素数量,所述第一像素数量为所述亮度直方图中位于所述第一插值点的第一坐标值和所述第二插值点的第一坐标值之间的区间的像素数量,所述第二像素数量为所述亮度直方图中位于所述第二插值点的第一坐标值和所述第三插值点的第一坐标值之间的区间的像素数量;根据所述第一像素数量和所述第二像素数量,确定所述第二插值点的第二坐标值的调整强度,所述调整强度用于指示第二插值点的第二坐标值相对于所述第二插值点的第二坐标值的初始值的偏移程度。
在一种可能的实现方式中,所述根据所述第一像素数量和所述第二像素数量,确定所述第二插值点的第二坐标值的调整强度包括:根据下述公式确定所述第二插值点的第二坐标值的调整强度:
其中,TH_strength为所述第二插值点的第二坐标值的调整强度,TH_strength1为所述第二插值点的第二坐标值的调整强度的默认值,Δ为调整步长,NUM1为所述第一像素数量,NUM2为所述第二像素数量。
在一种可能的实现方式中,所述第二插值点的第二坐标值的初始值通过如下公式获得:
其中,VA21为所述第二插值点的第二坐标值的初始值,VA1为所述第一插值点的第二坐标值,VA3为所述第三插值点的第二坐标值,TH2为所述第二插值点的第一坐标值,TH1为所述第一插值点的第一坐标值,TH3为所述第三插值点的第一坐标值。
第三方面,提供一种图像动态范围处理方法,包括:接收编码端发送的三次样条曲线的函数和所述待处理图像的数据信息,其中,所述待处理图像的数据信息用于获取所述待处理图像,所述三次样条曲线的函数用于将所述待处理图像中亮度值位于与其对应的区间内的像素的亮度值映射为目标亮度值,从而修正所述待处理图像的动态范围;根据所述三次样条曲线的函数和所述待处理图像的数据信息修正所述待处理图像的动态范围。
第四方面,提供一种图像动态范围处理装置,包括:获取模块,用于获取第一三次样条曲线相关的第一插值点的第一坐标值和第三插值点的第一坐标值,所述第一插值点的第一坐标值和所述第三插值点的第一坐标值为亮度值;第一确定模块,用于根据待处理图像的第一亮度区间的直方图信息,确定所述第一三次样条曲线相关的第二插值点的第一坐标值,所述第一亮度区间为所述第一插值点的第一坐标值和所述第三插值点的第一坐标值之间的区间,所述第一插值点的第一坐标值、所述第二插值点的第一坐标值以及所述第三插值点的第一坐标值用于确定所述第一三次样条曲线的函数,所述第一三次样条曲线的函数用于将所述待处理图像中亮度值位于所述第一亮度区间内的像素的亮度值映射为第一目标亮度值,从而修正所述待处理图像的动态范围。
在一种可能的实现方式中,所述第一三次样条曲线的函数根据如下方式获得:所述获取模块,还用于获取基础映射曲线的函数;所述第一确定模块,还用于根据所述基础映射曲线的函数,对所述第一插值点的第一坐标值,以及所述第三插值点的第一坐标值进行映射,得到所述第一插值点的第二坐标值,以及所述第三插值点的第二坐标值;根据所述第一插值点的第一坐标值,所述第二插值点的第一坐标值,所述第三插值点的第一坐标值,所述第一插值点的第二坐标值,以及所述第三插值点的第二坐标值,确定所述第二插值点的第二坐标值;根据所述第一插值点的第一坐标值,所述第二插值点的第一坐标值,所述第三插值点的第一坐标值,所述第一插值点的第二坐标值,所述第三插值点的第二坐标值,以及所述第二插值点的第二坐标值,确定所述第一三次样条曲线的函数。
在一种可能的实现方式中,所述第一确定模块,用于根据如下公式确定所述第二插值点的第二坐标值;
其中,VA2为所述第二插值点的第二坐标值,VA1为所述第一插值点的第二坐标值,VA3为所述第三插值点的第二坐标值,TH2为所述第二插值点的第一坐标值,TH1为所述第一插值点的第一坐标值,TH3为所述第三插值点的第一坐标值。
在一种可能的实现方式中,所述装置还包括:第二确定模块,用于根据所述第三插值点的第一坐标值、所述待处理图像的第一像素的RGB分量最大值,确定第二三次样条曲线相关的第四插值点、第五插值点和第六插值点的第一坐标值;其中:所述第一像素为所述待处理图像中RGB分量最大值最大的像素,所述像素的RGB分量最大值为所述像素的R分量、G分量和B分量中的最大值;所述第四插值点的第一坐标值、所述第五插值点的第一坐标值以及所述第六插值点的第一坐标值,用于确定所述第二三次样条曲线的函数,所述第二三次样条曲线的函数用于将待处理图像中亮度值位于第二亮度区间内的像素的亮度值映射为第二目标亮度值,从而修正所述待处理图像的动态范围,所述第二亮度区间为所述第四插值点的第一坐标值和第六插值点的第一坐标值之间的区间,所述第一亮度区间与所述第二亮度区间之间不存在重合区域。
在一种可能的实现方式中,所述装置还包括:发送模块,用于将所述三次样条曲线的函数和所述待处理图像的数据信息发送至解码端,以使所述解码端根据所述三次样条曲线的函数对所述待处理图像的动态范围进行修正,所述待处理图像的数据信息用于获取所述待处理图像。
在一种可能的实现方式中,所述获取模块,具体用于将所述第一插值点的第一坐标值设置为第一预设亮度值;将所述第三插值点的第一坐标值设置为第二预设亮度值。
在一种可能的实现方式中,所述第二插值点的第一坐标值根据下述公式确定:
其中,TH2为所述第二插值点的第一坐标值,Nframe为所述待处理图像中亮度值位于所述第一亮度区间内的像素的总数量,i为所述待处理图像中亮度值位于所述第一亮度区间内的像素中的第i个像素,f(i)为所述第i个像素的亮度值。
在一种可能的实现方式中,所述第二确定模块,具体用于根据第一公式确定所述第四插值点的第一坐标值,其中,所述第一公式为:
根据第二公式确定所述第五插值点的第一坐标值,其中,所述第二公式为:
将所述第六插值点的第一坐标值设置为所述第一像素的RGB分量最大值;
其中,TH1_high为所述第四插值点的第一坐标值,TH2_high为所述第五插值点的第一坐标值,MaxSource的取值为所述第一像素的RGB分量最大值,TH3为所述第三插值点的第一坐标值,U为一预设数值。
在一种可能的实现方式中,所述第二确定模块,用于采用如下方式确定所述第四插值点、所述第五插值点和所述第六插值点的第一坐标值:根据所述第三插值点的第一坐标值、所述第一像素的RGB分量最大值确定所述第四插值点的第一坐标值的初始值;将所述第六插值点的第一坐标值设置为所述第一像素的RGB分量最大值;根据所述第四插值点的第一坐标值的初始值和所述第六插值点的第一坐标值,确定第一像素数量和第二像素数量;其中,所述第一像素数量为所述待处理图像中亮度值位于第三亮度区间的像素的数量,所述第三亮度区间为所述第四插值点的第一坐标值的初始值与所述第六插值点的第一坐标值之间的区间,所述第二像素数量为所述待处理图像中或者待处理图像的亮度直方图中的像素的总数量;根据所述第一像素数量、所述第二像素数量、所述第三插值点的第一坐标值、所述第四插值点的第一坐标值的初始值和所述第六插值点的第一坐标值确定所述第四插值点的第一坐标值;根据所述待处理图像的所述第二亮度区间的直方图信息,所述第四插值点的第一坐标值和所述第六插值点的第一坐标值,确定所述第五插值点的第一坐标值。
在一种可能的实现方式中,所述第二亮度区间包括N个子区间,N为正整数,所述第二确定模块用于采用如下方式确定所述第五插值点的第一坐标值:从所述N个子区间中确定出第i个子区间,所述第i个子区间位于所述N个子区间的n个子区间中,所述n个子区间的序号大于或者等于N/4,并且所述n个子区间的序号小于或者等于3N/4,所述待处理图像中亮度值位于所述第i个子区间的像素个数为所述n个子区间中的最少值;根据所述第四插值点的第一坐标值、第六插值点的第一坐标值、所述i确定所述第五插值点的第一坐标值。
在一种可能的实现方式中,所述N的取值为8。
在一种可能的实现方式中,所述第二确定模块用于采用如下方式确定所述第四插值点的第一坐标值的初始值:
其中,TH1_high1为所述第四插值点的第一坐标值的初始值,MaxSource的取值为所述第一像素的RGB分量最大值,U为一预设数值,TH3为所述第三插值点的第一坐标值。
在一种可能的实现方式中,所述第二确定模块用于采用如下方式确定所述第四插值点的第一坐标值:确定所述第三亮度区间的长度占所述第一像素的RGB分量最大值的比例;根据如下公式确定所述第四插值点的第一坐标值:
其中,TH1_high为所述第四插值点的第一坐标值,MaxSource的取值为所述第一像素的RGB分量最大值,U为一预设数值,TH3为所述第三插值点的第一坐标值,highRatio为所述第一像素数量与所述第二像素数量的比例,wholeratio为所述第三亮度区间的长度占所述第一像素的RGB分量最大值的比例,TH1_high1为所述第四插值点的第一坐标值的初始值,TH3_high为所述第六插值点的第一坐标值,POW(x,j)指x的j次方。
在一种可能的实现方式中,所述第二确定模块用于采用如下方式确定所述第五插值点的第一坐标值:
其中,TH2_high为所述第五插值点的第一坐标值,TH1_high为所述第四插值点的第一坐标值,TH3_high为所述第六插值点的第一坐标值,n_min为所述i。
在一种可能的实现方式中,所述装置还包括:
所述第二确定模块,还用于根据所述待处理图像的亮度直方图,第四插值点的第一坐标值,第五插值点的第一坐标值和第六插值点的第一坐标值,确定第三像素数量和第四像素数量,所述第三像素数量为所述亮度直方图中位于所述第四插值点的第一坐标值和所述第五插值点的第一坐标值之间的区间的像素数量,所述第四像素数量为所述亮度直方图中位于所述第五插值点的第一坐标值和所述第六插值点的第一坐标值之间的区间的像素数量;根据所述第三像素数量和所述第四像素数量,确定所述第五插值点的第二坐标值的调整强度,所述调整强度用于指示第五插值点的第二坐标值相对于所述第五插值点的第二坐标值的初始值的偏移程度。
在一种可能的实现方式中,所述第二确定模块,具体用于根据下述公式确定所述第五插值点的第二坐标值的调整强度:
其中,TH_high_strength为所述第五插值点的第二坐标值的调整强度,TH_high_strength1为所述第五插值点的第二坐标值的调整强度的默认值,Δ为调整步长,NUM1为所述第三像素数量,NUM2为所述第四像素数量。
在一种可能的实现方式中,所述第五插值点的第二坐标值的初始值通过如下公式获得:
其中,VA2_high1为所述第五插值点的第二坐标值的初始值,VA1_high为所述第四插值点的第二坐标值,VA3_high为所述第六插值点的第二坐标值,TH2_high为所述第五插值点的第一坐标值,TH1_high为所述第四插值点的第一坐标值,TH3_high为所述第六插值点的第一坐标值。
在一种可能的实现方式中,所述基础映射曲线的函数用于将所述待处理图像中的像素的亮度值映射为第三目标亮度值,所述基础映射曲线的函数为一以所述待处理图像中的像素的亮度值为自变量、所述第三目标亮度值为因变量的亮度映射函数,其中,所述亮度映射函数如下所示:
所述亮度映射函数的参数包括:a、b、p、m、n,L'为所述第三目标亮度值,L为所述待处理图像中的像素的亮度值。
第五方面,本申请提供一种图像动态范围处理装置,包括:
获取模块,用于获取待处理图像的第一像素的RGB分量最大值,其中:所述第一像素为所述待处理图像中像素的RGB分量最大值最大的像素,所述像素的RGB分量最大值为所述像素的R分量、G分量和B分量中的最大值;第一确定模块,用于根据所述第一像素的RGB分量最大值和所述待处理图像的亮度直方图确定至少一个三次样条曲线相关的插值点的第一坐标值,其中,每个所述三次样条曲线相关的插值点包括第一插值点、第二插值点和第三插值点,所述插值点的第一坐标值为亮度值,每个所述三次样条曲线相关的插值点的第一坐标值用于确定对应的所述三次样条曲线的函数,每个所述三次样条曲线的函数用于将所述待处理图像中亮度值位于对应的第一亮度区间内的像素的亮度值映射为第一目标亮度值,从而修正所述待处理图像的动态范围,所述三次样条曲线的函数对应的第一亮度区间为所述三次样条曲线的函数相关的第一插值点的第一坐标值和第三插值点的第一坐标值之间的区间。
在一种可能的实现方式中,所述三次样条曲线的数量为一个;
所述第一确定模块,还用于根据所述亮度直方图确定第一百分比对应的第二像素的RGB分量最大值、第二百分比对应的第三像素的RGB分量最大值、第三百分比对应的第四像素的RGB分量最大值,其中,所述第一百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第二像素的RGB分量最大值的像素占所述多个像素的百分比,所述第二百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第三像素的RGB分量最大值的像素占所述多个像素的百分比,所述第三百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第四像素的RGB分量最大值的像素占所述多个像素的百分比;根据所述第一百分比对应的第二像素的RGB分量最大值、所述第二百分比对应的第三像素的RGB分量最大值、所述第三百分比对应的第四像素的RGB分量最大值确定所述第一插值点的第一坐标值;将所述第三插值点的第一坐标值设置为所述第一像素的RGB分量最大值;根据所述第一插值点的第一坐标值、所述第三插值点的第一坐标值、所述亮度直方图中所述第一亮度区间对应的直方图信息,确定所述第二插值点的第一坐标值。
在一种可能的实现方式中,所述第一确定模块,用于采用下述方式确定所述第一插值点的第一坐标值:
根据所述第一百分比对应的第二像素的RGB分量最大值、所述第二百分比对应的第三像素的RGB分量最大值和亮度阈值确定所述第一插值点的第一坐标值的第一取值;
根据所述第一百分比对应的第二像素的RGB分量最大值、所述第二百分比对应的第三像素的RGB分量最大值、所述第三百分比对应的第四像素的RGB分量最大值和所述第一取值确定所述第一插值点的第一坐标值。
在一种可能的实现方式中,所述第一百分比为90%,所述第二百分比为95%,所述第三百分比为99%;
所述确定模块,用于根据下述公式确定所述第一插值点的第一坐标值的第一取值,
其中,TH1_used1为所述第一取值,g_maxRGBdistribution90为所述90%比对应的第二像素的RGB分量最大值,g_maxRGBdistribution95为所述95%对应的第三像素的RGB分量最大值,THRESOLD为所述亮度阈值。
在一种可能的实现方式中,所述第一确定模块,用于采用如下方式确定所述第一插值点的第一坐标值:确定两倍的所述第二百分比对应的第三像素的RGB分量最大值与所述第一百分比对应的第二像素的RGB分量最大值的差;判断所述第三百分比对应的第四像素的RGB分量最大值是否大于得到的差与第一预设数值的和且所述第一取值是否大于第一阈值;若是,则将所述第一插值点的第一坐标值设置为所述第一取值。
在一种可能的实现方式中,所述第一确定模块,用于采用如下方式确定所述第一插值点的第一坐标值:根据所述待处理图像的亮度直方图确定第四百分比对应的第五像素的RGB分量最大值、第五百分比对应的第六像素的RGB分量最大值,第六百分比对应的第七像素的RGB分量最大值,其中,所述第四百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第五像素的RGB分量最大值的像素占所述多个像素的百分比,所述第五百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第六像素的RGB分量最大值的像素占所述多个像素的百分比,所述第六百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第七像素的RGB分量最大值的像素占所述多个像素的百分比;根据所述第四百分比对应的第五像素的RGB分量最大值、第一百分比对应的第二像素的RGB分量最大值和亮度阈值确定所述第一插值点的第一坐标值的第一取值;根据所述第一百分比对应的第二像素的RGB分量最大值、第二百分比对应的第三像素的RGB分量最大值和亮度阈值确定所述第一插值点的第一坐标值的第二取值;根据所述第二百分比对应的第三像素的RGB分量最大值、第三百分比对应的第四像素的RGB分量最大值和亮度阈值确定所述第一插值点的第一坐标值的第三取值;根据所述第四百分比对应的第五像素的RGB分量最大值、第五百分比对应的第六像素的RGB分量最大值、所述第一百分比对应的第二像素的RGB分量最大值、第二百分比对应的第三像素的RGB分量最大值、第三百分比对应的第四像素的RGB分量最大值、第六百分比对应的第七像素的RGB分量最大值和所述第一取值至所述第三取值确定所述第一插值点的第一坐标值。
在一种可能的实现方式中,所述第一百分比为90%,第二百分比为95%,第三百分比为99%,所述第四百分比为50%,第五百分比为10%,第六百分比为100%;所述第一确定模块,用于根据第一公式确定所述第一插值点的第一坐标值的第一取值,其中,所述第一公式为:
根据第二公式确定所述第一插值点的第一坐标值的第二取值,其中,所述第二公式为:
根据第三公式确定所述第一插值点的第一坐标值的第三取值,其中,所述第三公式为:
其中,TH1_used1为所述第一取值,TH1_used2为所述第二取值,TH1_used3为所述第三取值,g_maxRGBdistribution90为所述90%对应的第二像素的RGB分量最大值,g_maxRGBdistribution95为所述95%对应的第三像素的RGB分量最大值,g_maxRGBdistribution50为所述50%对应的第五像素的RGB分量最大值,g_maxRGBdistribution99为所述99%对应的对应的第四像素的RGB分量最大值,g_maxRGBdistribution10为所述10%对应的第六像素的RGB分量最大值,THRESOLD为亮度阈值。
在一种可能的实现方式中,所述第一确定模块,用于通过第四公式确定所述第一插值点的第一坐标值的初始值:
通过第五公式并结合所述第一插值点的第一坐标值的初始值、所述第二取值和所述第三取值确定所述第一插值点的第一坐标值:
其中,TH1为所述第一插值点的第一坐标值,TH1_used为所述第一插值点的第一坐标值的初始值,TH1_used1为所述第一取值,TH1_used2为所述第二取值,TH1_used3为所述第三取值,g_maxRGBdistribution90为所述90%对应的第二像素的RGB分量最大值,g_maxRGBdistribution95为所述95%对应的第三像素的RGB分量最大值,g_maxRGBdistribution50为所述50%对应的第五像素的RGB分量最大值,g_maxRGBdistribution99为所述99%对应的对应的第四像素的RGB分量最大值,g_maxRGBdistribution10为所述10%对应的第六像素的RGB分量最大值,g_maxRGBdistribution100为所述100%对应的第七像素的RGB分量最大值
在一种可能的实现方式中,所述第一亮度区间包括N个子区间,N为正整数;所述第一确定模块,用于采用下述方式确定所述第二插值点的第一坐标值:从所述N个子区间中确定出第i个子区间,所述第i个子区间位于所述N个子区间的n个子区间中,所述n个子区间的序号大于或者等于N/4,并且所述n个子区间的序号小于或者与3N/4,所述待处理图像中亮度值位于所述第i个子区间的像素个数为所述n个子区间中的最少值;根据所述第一插值点的第一坐标值、所述第三插值点的第一坐标值、所述i确定所述第二插值点的第一坐标值。
在一种可能的实现方式中,所述N的取值为8。
在一种可能的实现方式中,所述第一确定模块,用于根据下述公式确定所述第二插值点的第一坐标值:
其中,TH2为所述第二插值点的第一坐标值,TH1为所述第一插值点的第一坐标值,TH3为所述第三插值点的第一坐标值,n_min为所述i。
在一种可能的实现方式中,所述三次样条曲线的函数根据如下方式获得:所述获取模块,还用于获取基础映射曲线的函数;所述第一确定模块,还用于根据所述基础映射曲线的函数,对所述第一插值点的第一坐标值,以及所述第三插值点的第一坐标值进行映射,得到所述第一插值点的第二坐标值,以及所述第三插值点的第二坐标值;根据所述第一插值点的第一坐标值,所述第二插值点的第一坐标值,所述第三插值点的第一坐标值,所述第一插值点的第二坐标值,以及所述第三插值点的第二坐标值,确定所述第二插值点的第二坐标值;根据所述第一插值点的第一坐标值,所述第二插值点的第一坐标值,所述第三插值点的第一坐标值,所述第一插值点的第二坐标值,所述第三插值点的第二坐标值,以及所述第二插值点的第二坐标值,确定所述三次样条曲线的函数。
在一种可能的实现方式中,所述第一确定模块,用于根据如下公式确定所述第二插值点的第二坐标值;
其中,VA2为所述第二插值点的第二坐标值,VA1为所述第一插值点的第二坐标值,VA3为所述第三插值点的第二坐标值,TH2为所述第二插值点的第一坐标值,TH1为所述第一插值点的第一坐标值,TH3为所述第三插值点的第一坐标值。
在一种可能的实现方式中,所述基础映射曲线的函数用于将所述待处理图像中的像素的亮度值映射为第二目标亮度值,所述基础映射曲线的函数为一以所述待处理图像中的像素的亮度值为自变量、所述第二目标亮度值为因变量的亮度映射函数,其中,所述亮度映射函数如下所示:
所述亮度映射函数的参数包括:a、b、p、m、n,L'为所述第而目标亮度值,L为所述待处理图像中的像素的亮度值。
在一种可能的实现方式中,所述装置还包括:第二确定模块,用于根据所述待处理图像的亮度直方图,第一插值点的第一坐标值,第二插值点的第一坐标值和第三插值点的第一坐标值,确定第一像素数量和第二像素数量,所述第一像素数量为所述亮度直方图中位于所述第一插值点的第一坐标值和所述第二插值点的第一坐标值之间的区间的像素数量,所述第二像素数量为所述亮度直方图中位于所述第二插值点的第一坐标值和所述第三插值点的第一坐标值之间的区间的像素数量;根据所述第一像素数量和所述第二像素数量,确定所述第二插值点的第二坐标值的调整强度,所述调整强度用于指示第二插值点的第二坐标值相对于所述第二插值点的第二坐标值的初始值的偏移程度。
在一种可能的实现方式中,所述第二确定模块,用于根据下述公式确定所述第二插值点的第二坐标值的调整强度:
其中,TH_strength为所述第二插值点的第二坐标值的调整强度,TH_strength1为所述第二插值点的第二坐标值的调整强度的默认值,Δ为调整步长,NUM1为所述第一像素数量,NUM2为所述第二像素数量。
在一种可能的实现方式中,所述第二插值点的第二坐标值的初始值通过如下公式获得:
其中,VA21为所述第二插值点的第二坐标值的初始值,VA1为所述第一插值点的第二坐标值,VA3为所述第三插值点的第二坐标值,TH2为所述第二插值点的第一坐标值,TH1为所述第一插值点的第一坐标值,TH3为所述第三插值点的第一坐标值。
第六方面,提供一种图像动态范围处理装置,包括:接收模块,用于接收编码端发送的三次样条曲线的函数和所述待处理图像的数据信息,其中,所述待处理图像的数据信息用于获取所述待处理图像,所述三次样条曲线的函数用于将所述待处理图像中亮度值位于与其对应的区间内的像素的亮度值映射为目标亮度值,从而修正所述待处理图像的动态范围;修正模块,用于根据所述三次样条曲线的函数和所述待处理图像的数据信息修正所述待处理图像的动态范围。
第七方面,提供一种图像处理的设备,包括处理器和存储器,所述处理器和所述存储器耦合,所述处理器用于使得所述装置执行第一方面至第三方面中任一项所述的方法。
第八方面,提供一种芯片装置,包括:输入接口、输出接口、至少一个处理器、存储器,所述输入接口、所述输出接口、所述处理器以及所述存储器之间通过内部连接通路互相通信,所述处理器用于执行所述存储器中的代码,其特征在于,当所述处理器执行所述代码时,所述芯片装置实现上述第一方面至第三方面中任一项所述的方法。
第九方面,提供一种计算机可读存储介质,用于存储计算机程序,所述计算机程序包括用于实现上述第一方面至第三方面中任一项所述的方法。
第十方面,提供一种计算机程序产品,所述计算机程序产品中包含指令,当所述指令在计算机上运行时,使得计算机实现上述第一方面至第三方面中任一项所述的方法。
附图说明
图1为PQ光电转移函数的图像;
图2为HLG光电转移函数的图像;
图3为SLF光电转移函数的图像;
图4为现有使用在动态的动态范围调整方案中的映射曲线的示意图;
图5为本申请实施例提供的图像动态范围处理的端到端的***结构示意图;
图6为本申请实施例提供的一种图像动态范围处理方法的流程示意图一;
图7为第二三次样条曲线与基础映射曲线的示意图;
图8为本申请实施例提供的一种图像动态范围处理方法的流程示意图二;
图9为本申请实施例提供的图像动态范围处理装置的结构示意图一;
图10为本申请实施例提供的图像动态范围处理装置的结构示意图二;
图11为本申请实施例提供的图像动态范围处理装置的结构示意图三;
图12示出了本申请实施例提供的图像处理设备的结构示意图。
具体实施方式
下面将结合附图,对本申请中的技术方案进行描述。
首先,对本申请实施例中涉及的相关概念和技术作简单介绍。
动态范围(Dynamic Range)在很多领域用来表示某个变量最大值与最小值的比率。在数字图像中,动态范围表示了在图像可显示的范围内最大亮度值和最小亮度值之间的比率。自然界的动态范围是非常大的。例如,星空下的夜景亮度约为0.001cd/m2,太阳本身亮度高达1000,000,000cd/m2。其中,cd/m2(坎德拉每平方米)是衡量亮度的国际单位制导出单位。这样,自然界的动态范围达到了1000,000,000/0.001=1013的数量级。
但是,在自然界真实的场景当中,太阳的亮度和星光的亮度不会同时得到。对真实世界中的自然场景来说,动态范围在10-3到106范围内。由于这是一个非常大的动态范围,因此,我们通常将其称作为高动态范围(High Dynamic Range,HDR)。相对于高动态范围,普通图片上的动态范围称之为低动态范围(Low Dynamic Range,LDR)。由此可以理解的是,数码相机的成像过程实际上就是真实世界的高动态范围到相片的低动态范围的映射。
图像的动态范围越大,表明图像显示的场景细节越多,亮度的层次越丰富,视觉效果越逼真。传统的数字图像一般采用一个字节,即8比特的空间来存储一个像素值,而高动态范围采用浮点数多字节来存储一个像素值,因此,能够表示出自然场景的高动态范围。
光学数字成像的过程(例如,数码相机的成像过程)是将真实场景的光辐射通过图像传感器转化为电信号,并以数字图像的方式保存下来。而图像显示的目的是通过显示设备重现一幅数字图像所描述的真实场景。两者的最终目标是使用户获得与其直接观察真实场景相同的视觉感知。
而光辐射(光信号)所能展示的真实场景中的亮度层次几乎是线性的,因此也将光信号称为线性信号。但是,光学数字成像在将光信号转换为电信号的过程中,并不是每一个光信号都对应着一个电信号,转换得到的电信号是非线性的。因此,也将电信号称为非线性信号。
光电转移函数(Optical Electro Transfer Function,OETF)表示图像像素的线性信号到非线性信号转换关系。现阶段常用的光电转移函数包括以下三种:
感知量化(Perceptual Quantizer,PQ)光电转移函数、混合对数伽马(HybridLog-Gamma,HLG)光电转移函数和场景亮度保真(Scene Luminance Fidelity,SLF)光电转移函数。这三种光电转移函数为音视频编码标准(Audio Video coding Standard,AVS)标准规定的光电转移函数。
PQ光电转移函数是根据人眼的亮度感知模型提出的感知量化光电转移函数。参见图1,图1为PQ光电转移函数的图像。
PQ光电转移函数表示图像像素的线性信号值到PQ域非线性信号值的转换关系,PQ光电转移函数可以表示为公式(1):
其中,式(1)中各参数的计算如下:
HLG光电转移函数是在传统的Gamma曲线的基础上改进得到的。参见图2,图2为HLG光电转移函数的图像。
HLG光电转移函数在低段应用传统的Gamma曲线,在高段补充了log曲线。HLG光电转移函数表示图像像素的线性信号值到HLG域非线性信号值的转换关系,HLG光电转移函数可表示为公式(2):
其中,L表示线性信号值,其取值范围为[0,12],L'表示非线性信号值,其取值范围为[0,1],a、b、c为HLG光电转移系数,a=0.17883277,b=0.28466892,c=0.55991073。
SLF光电转移函数是在满足人眼光学特性的前提下,根据HDR场景亮度分布获得的最优曲线。参见图3,图3为SLF光电转移函数的图像。
SLF光电转移曲线表示图像像素的线性信号值到SLF域非线性信号值的转换关系。图像像素的线性信号值到SLF域非线性信号值的转换关系如公式(3)所示:
其中,SLF光电转移函数可以表示为公式(4):
其中,L表示线性信号值,其值归一化为[0,1],L'表示非线性信号值,其值取值范围为[0,1],p、m、a、b为SLF光电转移系数,p=2.3,m=0.14,a=1.12762,b=-0.12762。
由于不同的显示设备,其显示能力也各不相同。因此,一般会根据显示设备的显示能力,采用映射曲线将图像中的每个像素的亮度值映射为目标亮度值,以通过像素的亮度值的改变调整图像的动态范围。换句话说,就是将图像的动态范围调整到显示设备所能显示的动态范围内进行显示。
动态范围的调整方法主要应用在前端的光照信号和后端的终端显示设备的适配上,例如前端采集到的光照信号为4000nit,而后端的终端显示设备(电视机,IPAD)的显示能力只有500nit,因此如何把4000nit信号映射到500nit的设备上,是一种从高到低的映射过程。另外一种是前端采集到的光照信号为100nit,而后端的终端显示设备的显示能力为2000nit,如何把100nit的信号更好地显示在2000nit的设备上,是另外一种从低到高的映射过程。
这种动态范围的调整方法可以分为静态的和动态。静态的动态范围调整方法是根据同一个视频内容或者同一个硬盘内容,由单一的数据进行整体的映射过程,也就是映射曲线通常是一样的,即每个场景使用同一个映射曲线。动态的动态范围调整方法是根据特定区域,每一个场景或者根据每一帧的内容进行动态的调整,换言之,根据特定区域,每一个场景或者每一帧进行不同的映射曲线处理,采用动态的动态范围调整方法需要携带每一帧、每一个场景的信息。
在静态的动态范围调整方法中,需要向后端的显示设备传输静态元数据,通过静态元数据指导后端的显示设备生成映射曲线,由于静态的动态范围调整方法针对同一个视频内容或者同一个硬盘内容使用同一个映射曲线,因此,针对同一个视频内容或者同一个硬盘内容,静态元数据保持不变。在动态的动态范围调整方法中,需要向后端的显示设备传输动态元数据,通过动态元数据指导后端的显示设备生成映射曲线,由于动态的动态范围调整方法针对每一场景或者每一帧进行不同的映射曲线处理,因此,针对每一场景或者每一帧进行不同的映射曲线处理所需的动态元数据不同。
需要说明的是,相对于静态的动态范围调整方法,由于动态的动态范围调整方法针对每一场景或者每一帧进行不同的映射曲线处理,因此,动态的动态范围调整方法可以适应更加多样化的场景,显示适配效果更佳,因而成为了目前的主流选择。
但是,在现有的动态的动态范围调整方法中,采用的映射曲线的形态不够灵活,导致图像中部分区域的亮度层次出现丢失,亮度比对不明显,使得调整动态范围后的图像的显示效果不佳。例如,图4为现有使用在动态的动态范围调整方案中的映射曲线的示意图,从图中可以看到该映射曲线的形态只有C型、反S型和反C型。若图像为明暗对比强烈的场景,需要正S型的映射曲线,然而,通过图4中的映射曲线对图像进行动态范围调整时,由于该映射曲线的形态中不存在正S型,因此,通过图4中的映射曲线对图像进行动态映射后,会导致图像的亮度层次出现丢失,亮度比对不明显,使得调整动态范围后的图像的显示效果不佳。
为此,本申请提供一种图像动态范围处理方法,通过确定三次样条曲线相关的第一插值点至第三插值点的第一坐标值,插值点的第一坐标值为亮度值,以根据第一插值点至第三插值点的第一坐标值确定三次样条曲线的函数,从而根据三次样条曲线的函数将待处理图像中的亮度值位于第一亮度区间内的像素的亮度值映射为第一目标像素值,从而修正待处理图像的动态范围,其中,第一亮度区间为第一插值点的第一坐标值和第三插值点的第一坐标值之间的区间。
显然,在通过基础映射曲线对待处理图像中的像素的亮度值进行映射时,通过根据第一插值点至第三插值点的第一坐标值确定的三次样条曲线的函数将待处理图像中亮度值位于第一亮度区间内的像素的亮度值映射为第一目标像素值,即根据三次样条曲线的函数对待处理图像中的部分像素进行亮度映射,而待处理图像的中亮度值位于第一亮度区间之外的像素根据基础映射曲线进行亮度映射,改变了待处理图像中部分像素的亮度值的原有的映射关系,即改变了基础映射曲线中与第一亮度区间对应的曲线的形态,增加了基础映射曲线的形态的多样性和灵活性,提升了调整动态范围后的图像的显示效果。
图5为本申请实施例提供的图像动态范围处理的端到端的***结构示意图。参见图5,该***包括:
编码端和解码端,其中,编码端包括预处理模块和编码模块;解码端包括解码模块和动态范围调整模块。
具体的,预处理模块,用于接收待处理图像,该待处理图像可以是视频中的一帧图像,也可以为一张独立的图片,并提取待处理图像中的动态元数据,需要说明的是,动态元数据包括基本动态元数据和三次样条曲线的函数的参数,或者动态元数据包括基本动态元数据和基础映射曲线的函数的参数和三次样条曲线的函数的参数。待处理图像包括多个像素,那么,从待处理图像中提取的基本动态元数据包括max imun_maxrgb、average_maxrgb、var iance_maxrgb、min imum_maxrgb,其中,max imun_maxrgb用于表示显示内容的最大亮度,例如,max imun_maxrgb为待处理图像的多个像素中RGB分量最大值最大的像素的RGB分量最大值;min imum_maxrgb用于表示显示内容的最小亮度,例如,min imum_maxrgb为待处理图像的多个像素中RGB分量最大值最小的像素的RGB分量最大值;average_maxrgb用于表示显示内容的平均亮度,例如average_maxrgb为待处理图像的多个像素的RGB分量最大值的平均值,var iance_maxrgb用于表示显示内容的亮度变化范围,例如,var iance_maxrgb为待处理图像中的多个像素的RGB分量最大值的90%分位点处对应的RGB分量最大值与待处理图像中的多个像素的RGB分量最大值的10%分位点处对应的RGB分量最大值。三次样条曲线的函数用于对待处理图像中亮度值位于其自变量的取值范围内的像素的亮度值进行映射,基础映射曲线的函数用于对待处理图像中亮度值位于三次样条曲线的函数的自变量范围外的像素的亮度值进行映射,以调整待处理图像的动态范围。
编码模块,用于对动态元数据进行编码,将动态元数据嵌入到码流中,以及对待处理图像进行编码,将待处理图像嵌入到码流中,以通过码流向解码端发送动态元数据和待处理图像。
解码模块,用于解码出待处理图像和动态元数据。
动态范围调整模块,用于若动态元数据包括基本动态元数据和三次样条曲线的函数的参数,则根据解码出的待处理图像和动态元数据以及显示设备的峰值亮度计算基础映射曲线的函数的参数,并根据基础映射曲线的函数的参数构建基础映射曲线的函数以及根据三次样条曲线的函数的参数构建三次样条曲线的函数,通过基础映射曲线的函数和三次样条曲线的函数调整待处理图像的动态范围;若动态元数据包括基本动态元数据和基础映射曲线的函数的参数以及三次样条曲线的函数的参数,则根据基础映射曲线的函数的参数构建基础映射曲线的函数,根据三次样条曲线的函数的参数构建三次样条曲线的函数,并通过基础映射曲线的函数和三次样条曲线的函数调整待处理图像的动态范围,无需计算基础映射曲线的函数的参数。
上述编码端和解码端例如可以为手机显示设备和机顶盒、电视显示设备、网络直播或者视频应用的转换设备等,本申请对此不作特殊限定。需要说明的是,上述图5中的端到端的***的结构示意图仅为示例性的,并不用于限定本申请。
根据图5中示出的***的工作原理可知,通过确定三次样条曲线的函数和基础映射曲线的函数,并结合三次样条曲线的函数和基础映射曲线的函数的作用可知,在根据三次样条曲线的函数和基础映射曲线的函数对待处理图像进行亮度映射时,一部分像素的亮度值根据三次样条曲线的函数进行映射,一部分像素的亮度值根据基础映射曲线的函数进行映射,相比于现有的单纯的根据基础映射曲线的函数对所有像素的亮度值进行映射的方式,本***通过三次样条曲线的函数对部分像素的亮度值进行映射,相当于改变了基础映射曲线中的一段曲线原有的映射关系,即改变了基础映射曲线中与第一亮度区间对应的曲线的形态,实现了对特定区域的保护,同时也增加了基础映射曲线的形态的多样性、灵活性、鲁棒性和普适性,进而提升了调整动态范围后的图像的显示效果。
图6为本申请实施例提供的一种图像动态范围处理方法的流程示意图一,该图像动态范围处理方法的执行主体例如为图5中的编码端,本申请对此不做特殊限定。如图6所示,图像动态范围处理方法包括以下步骤:
步骤601,获取第一三次样条曲线相关的第一插值点的第一坐标值和第三插值点的第一坐标值,第一插值点的第一坐标值和第三插值点的第一坐标值为亮度值。
具体的,将第一插值点的第一坐标值设置为第一预设亮度值,将第三插值点的第一坐标值设置为第二预设亮度值。第一预设亮度值例如可以为人眼能够感知的亮度下限值,第二预设亮度值例如可以为人类肤色的亮度下限值,本申请实施例对此不作特殊限定,例如,还可以根据经验值设置第一预设亮度值和第二预设亮度值。例如,第一插值点的第一坐标值为0.15、第三插值点的第一坐标值为0.35。
在此处设置的亮度值可以是像素的R分量、G分量和B分量中的最大值,也可以是像素的R分量、G分量和B分量的平均值等,本申请对此不作特殊限定。
步骤602,根据待处理图像的第一亮度区间的直方图信息,确定第一三次样条曲线相关的第二插值点的第一坐标值,第一亮度区间为第一插值点的第一坐标值和第三插值点的第一坐标值之间的区间,第一插值点的第一坐标值、第二插值点的第一坐标值以及第三插值点的第一坐标值用于确定第一三次样条曲线的函数,第一三次样条曲线的函数用于将待处理图像中亮度值位于第一亮度区间内的像素的亮度值映射为第一目标亮度值,从而修正待处理图像的动态范围。
具体的,可以根据下述公式确定第二插值点的第一坐标值:
其中,TH2为第二插值点的第一坐标值,Nframe为待处理图像中亮度值位于第一亮度区间内的像素的总数量,i为待处理图像中亮度值位于第一亮度区间内的像素中的第i个像素,f(i)为所述第i个像素的亮度值。
第一亮度区间的直方图信息为待处理图像的亮度直方图中位于第一插值点的第一坐标值和第三插值点的第一坐标值之间的区间的直方图。Nframe的数值为第一亮度区间的直方图信息所包括的像素的总数量。待处理图像的亮度直方图的横轴代表的是待处理图像中的像素的亮度,由左向右,从全黑逐渐过渡到全白,纵轴代表的则是待处理图像中处于这个亮度范围的像素的相对数量。需要说明的是,在构建待处理图像的亮度直方图时,可以以像素的R分量、G分量和B分量中的最大值作为像素的亮度值,也可以以像素的R分量、G分量和B分量的平均值作为像素的亮度值等,本申请对此不作特殊限定。
在本申请的其他实施中,还可以根据下述公式确定第二插值点的第一坐标值:
其中,TH2为第二插值点的第一坐标值,Nframe为待处理图像中亮度值位于第一亮度区间内的像素的像素的总数量,i为待处理图像中亮度值位于第一亮度区间内的像素中的第i个像素,f(i)为第i个像素的亮度值。
在本申请的其他实施例中,还可以将第二插值点的第一坐标值设置为第一插值点的第一坐标值和第三插值点的第一坐标值的平均值。
第一三次样条曲线的函数的获取过程包括以下四个步骤,其中:
步骤一、获取基础映射曲线的函数。基础映射曲线的函数用于将待处理图像中的像素的亮度值映射为第三目标亮度值,基础映射曲线的函数为一以待处理图像中的像素的亮度值为自变量、第三目标亮度值为因变量的亮度映射函数。例如,亮度映射函数如下所示:
亮度映射函数的参数包括:a、b、p、m、n,L'为第三目标亮度值,L为待处理图像中的像素的亮度值。
需要说明的是,上述基础映射曲线的函数仅为示例性的,并不用于限定本申请。
基础映射曲线的函数的自变量和因变量所表示的亮度值可以是像素的R分量、G分量和B分量中的最大值,也可以是像素的R分量、G分量和B分量的平均值等,本申请对此不作特殊限定。
获取基础映射曲线的函数包括:获取基础映射曲线的函数的参数的取值,然后,根据基础映射曲线的函数的参数的取值构建基础映射曲线。
下面,将以基础映射曲线的函数为上述亮度映射函数为例,对获取基础映射曲线的函数的过程进行说明。
首先,将m设置为2.4,将n设置为1,将b设置为参考显示设备的最小亮度MinDisplay。此处的参考显示设备可以是显示待处理图像的显示设备,还可以是当前计算中假定的一个显示设备。
根据待处理图像中的average_maxrgb(avgL)并结合下述公式计算p的第一取值:
然后,根据待处理图像的最大亮度校正值max_lum和p1确定p的取值,具体的过程如下:
其中,PdeltaH1、PdeltaL1、TPH1、TPL1均是预设值,默认值分别为:0.6、0、0.9、0.75,g1()为y=xN,默认为y=x。
最后,根据b、p、m、n、K1、K2、K3计算H(L):
其中,K1、K2、K3均为预设值,默认值均为1。
a的计算公式为:
a=(MaxDisplay-MinDisplay)/(H(MaxSource)-H(MinSource))
其中,MaxDisplay为参考显示设备的最大亮度,MinDisplay为参考显示设备的最小亮度,MaxSource为待处理图像的最大亮度校正值max_lum,MinSource为待处理图像的最小亮度值。
下面,对确定待处理图像的最大亮度校正值max_lum的过程进行说明。
具体的,获取待处理图像中的max imun_maxrgb,average_maxrgb,var iance_maxrgb。需要说明的是,这三个参数已经在上文中进行了说明,因此此处不再进行赘述。
根据下述公式确定待处理图像的最大亮度参考值max_lum的第一取值:
MAX=B×max imun_maxrgb+A×(2×average_maxrgb)+(1-A-B)×(2×variance_maxrgb)
根据下述公式和max_lum的第一取值确定待处理图像的最大亮度校正值max_lum:
其中,max_lum为最大亮度校正值,MaxRefDisplay为显示设备的最大显示亮度值,MIN为预设的最小显示亮度值,MAX为最大亮度参考值max_lum的第一取值。
步骤二、根据基础映射曲线的函数,对第一插值点的第一坐标值,以及第三插值点的第一坐标值进行映射,得到第一插值点的第二坐标值,以及第三插值点的第二坐标值。
具体的,将第一插值点的第一坐标值作为自变量代入基础映射曲线的函数中,将得到的值确定为第一插值点的第二坐标值,同理,将第三插值点的第一坐标值作为自变量代入基础映射曲线的函数中,将得到的值确定为第三插值点的第二坐标值。
需要说明的是,上述计算第一插值点的第二坐标值和第三插值点的第二坐标值的方式仅为示例性的,并不用于限定本申请,例如,还可以根据第一插值点的第一坐标值确定第一插值点的第二坐标值,需要说明的是,不管通过哪种方式计算第一插值点的第二坐标值,计算得到的第一插值点的第二坐标值需要与代入基础映射曲线的函数中求得的第一插值点的第二坐标值相同。
步骤三、根据第一插值点的第一坐标值,第二插值点的第一坐标值,第三插值点的第一坐标值,第一插值点的第二坐标值,以及第三插值点的第二坐标值,确定第二插值点的第二坐标值。
具体的,确定第二插值点的第二坐标值的方式可以包括以下两种:
第一种,根据下述公式确定第二插值点的第二坐标值:
其中,VA2为第二插值点的第二坐标值,VA1为第一插值点的第二坐标值,VA3为第三插值点的第二坐标值,TH2为第二插值点的第一坐标值,TH1为第一插值点的第一坐标值,TH3为第三插值点的第一坐标值。
第二种,根据下述公式确定第二插值点的第二坐标值:
其中,VA2为第二插值点的第二坐标值,VA1为第一插值点的第二坐标值,VA3为第三插值点的第二坐标值,TH2为第二插值点的第一坐标值,TH1为第一插值点的第一坐标值,TH3为第三插值点的第一坐标值,TH_strength为第二插值点的第二坐标值的调整强度,该TH_strength用于指示第二插值点的第二坐标值相对于第二插值点的第二坐标值的初始值的偏移程度,TH_strength的具体数值可以自行设置,还可以通过计算得到,此处不作特殊限定,例如TH_strength可以设置为0,第二插值点的第二坐标值的初始值的计算公式为:
需要说明的是,此处确定第二插值点的第二坐标值的方式仅为示例性的,并不用于限定本申请。
步骤四、根据第一插值点的第一坐标值,第二插值点的第一坐标值,第三插值点的第一坐标值,第一插值点的第二坐标值,第三插值点的第二坐标值,以及第二插值点的第二坐标值,确定第一三次样条曲线的函数。
第一三次样条曲线包括两部分曲线,因此,第一三次样条曲线的函数也包括两个分段函数,其中,两个分段函数与两部分曲线一一对应。
例如,第一三次样条曲线的函数包括的两个分段函数,分别为:
F(L)=MD[1]×(L-TH1)3+MC[1]×(L-TH1)2+MB[1]×(L-TH1)1+MA[1]
其中,L为亮度值在区间[TH1,TH2]中的像素的亮度值,F(L)为第一目标亮度。
F(L)=MD[2]×(L-TH2)3+MC[2]×(L-TH2)2+MB[2]×(L-TH2)1+MA[2]
其中,L为亮度值在区间[TH2,TH3]中的像素的亮度值,F(L)为第一目标亮度,MD[1],MD[2],MC[1],MC[2],MB[1],MB[2],MA[1],MA[2]均为第一三次样条曲线的函数的参数。
确定第一三次样条曲线的函数的过程包括:根据第一插值点的第一坐标值,第二插值点的第一坐标值,第三插值点的第一坐标值,第一插值点的第二坐标值,第三插值点的第二坐标值,以及第二插值点的第二坐标值计算第一三次样条曲线的函数的各参数的取值,然后,根据第一三次样条曲线的函数的各参数的取值确定第一三次样条曲线的函数。
下面,将对确定第二三次样条曲线相关的第四插值点至第六插值点的过程进行说明。
具体过程如下:
根据第三插值点的第一坐标值、待处理图像的第一像素的RGB分量最大值,确定第二三次样条曲线相关的第四插值点、第五插值点和第六插值点的第一坐标值;其中:第一像素为待处理图像中RGB分量最大值最大的像素,像素的RGB分量最大值为像素的R分量、G分量和B分量中的最大值;第四插值点的第一坐标值、第五插值点的第一坐标值以及第六插值点的第一坐标值用于确定第二三次样条曲线的函数,第二三次样条曲线的函数用于将待处理图像中亮度值位于第二亮度区间内的像素的亮度值映射为第二目标亮度值,从而修正待处理图像的动态范围,第二亮度区间为第四插值点的第一坐标值和第六插值点的第一坐标值之间的区间,第一亮度区间与第二亮度区间之间不存在重合区域。需要说明的是,第一插值点至第六插值点的第一坐标值之间的大小关系可以为:第一插值点的第一坐标值<第二插值点的第一坐标值<第三插值点的第一坐标值<第四插值点的第一坐标值<第五插值点的第一坐标值<第六插值点的第一坐标值。
在本申请实施例中,可以通过以下两种方式确定第四插值点、第五插值点和第六插值点的第一坐标值,其中:
方式一:根据第一公式确定第四插值点的第一坐标值,其中,第一公式为:
根据第二公式确定所述第五插值点的第一坐标值,其中,第二公式为:
将第六插值点的第一坐标值设置为第一像素的RGB分量最大值;
其中,TH1_high为第四插值点的第一坐标值,TH2_high为第五插值点的第一坐标值,MaxSource的取值为第一像素的RGB分量最大值,TH3为第三插值点的第一坐标值,U为一预设数值。需要说明的是,U的取值可以为大于2的任意正整数,此处不作特殊限定,例如,U的取值为6。
方式二:包括五个步骤,其中:
步骤一:根据第三插值点的第一坐标值、第一像素的RGB分量最大值确定第四插值点的第一坐标值的初始值。
可以根据如下确定第四插值点的第一坐标值的初始值:
其中,TH1_high1为第四插值点的第一坐标值的初始值,MaxSource的取值为第一像素的RGB分量最大值,U为一预设数值,TH3为第三插值点的第一坐标值。U已经在上文中进行了说明,因此此处不再进行赘述。
步骤二:将第六插值点的第一坐标值设置为第一像素的RGB分量最大值。
步骤三:根据第四插值点的第一坐标值的初始值和第六插值点的第一坐标值,确定第一像素数量和第二像素数量;其中,第一像素数量为待处理图像中亮度值位于第三亮度区间的像素的数量,第三亮度区间为第四插值点的第一坐标值的初始值与第六插值点的第一坐标值之间的区间,第二像素数量为待处理图像中或者待处理图像的亮度直方图中的像素的总数量。
步骤四:根据第一像素数量、第二像素数量、第三插值点的第一坐标值、第四插值点的第一坐标值的初始值和第六插值点的第一坐标值确定第四插值点的第一坐标值。
具体的,首先,确定第三亮度区间的长度占第一像素的RGB分量最大值的比例;
然后,根据如下公式确定第四插值点的第一坐标值:
其中,TH1_high为第四插值点的第一坐标值,MaxSource的取值为第一像素的RGB分量最大值,U为一预设数值,TH3为第三插值点的第一坐标值,highRatio为第一像素数量与第二像素数量的比例,wholeratio为第三亮度区间的长度占第一像素的RGB分量最大值的比例,TH1_high1为第四插值点的第一坐标值的初始值,TH3_high为第六插值点的第一坐标值,POW(x,j)指x的j次方,j的取值可以为0.5。
步骤五、根据待处理图像的第二亮度区间的直方图信息,第四插值点的第一坐标值和第六插值点的第一坐标值,确定第五插值点的第一坐标值。
在本申请实施例中,第二亮度区间的直方图信息为待处理图像的亮度直方图中位于第四插值点的第一坐标值和第六插值点的第一坐标值之间的区间的直方图。
确定第五插值点的第一坐标值的过程包括:
首先,若第二亮度区间包括N个子区间,N为正整数,例如,可以将第二亮度区间进行等间距划分,以得到N个子区间,则从N个子区间中确定出第i个子区间,第i个子区间位于N个子区间的n个子区间中,该n个子区间的序号大于或者等于N/4,并且n个子区间的序号小于或者等于3N/4,待处理图像中亮度值位于第i个子区间的像素个数为n个子区间中的最少值。
N的取值可以根据经验进行确定,N个子区间中子区间的序号可以从零开始,也可以从1开始,此处不作特殊限定。例如,若N的取值为8,且N个子区间中子区间的序号从1开始,则n个子区间的序号分别为2、3、4、5、6。
然后,根据第四插值点的第一坐标值、第六插值点的第一坐标值、i确定第五插值点的第一坐标值。例如,可以根据如下公式确定第五插值点的第一坐标值:
其中,TH2_high为第五插值点的第一坐标值,TH1_high为第四插值点的第一坐标值,TH3_high为第六插值点的第一坐标值,n_min为i。
第二三次样条曲线的函数的获取过程包括以下四个步骤,其中:
步骤一、获取基础映射曲线的函数。由于该过程的原理已经在上文中进行了说明,因此此处不再进行说明。
步骤二、根据基础映射曲线的函数,对第四插值点的第一坐标值,以及第六插值点的第一坐标值进行映射,从而得到第四插值点的第二坐标值,以及第六插值点的第二坐标值。
具体的,确定第四插值点的第二坐标值和第六插值点的第二坐标值的过程为:
将第四插值点的第一坐标值作为自变量代入基础映射曲线的函数中,将得到的值确定为第四插值点的第二坐标值,同理,将第六插值点的第一坐标值作为自变量代入基础映射曲线的函数中,将得到的值确定为第六插值点的第二坐标值。
需要说明的是,上述计算第四插值点的第二坐标值和第六插值点的第二插值点的方式仅为示例性的,并不用于限定本申请,
步骤三、根据第四插值点的第一坐标值,第五插值点的第一坐标值,第六插值点的第一坐标值,第四插值点的第二坐标值以及第六插值点的第二坐标值,确定第五插值点的第二坐标值。
具体的,确定第五插值点的第二坐标值的方式可以包括以下两种:
第一种,根据下述公式确定第五插值点的第二坐标值:
其中,VA2_high为第五插值点的第二坐标值,VA1_high为第四插值点的第二坐标值,VA3_high为第六插值点的第二坐标值,TH2_high为第五插值点的第一坐标值,TH1_high为第四插值点的第一坐标值,TH3_high为第六插值点的第一坐标值。
第二种,根据下述公式确定第五插值点的第二坐标值:
其中,VA2_high为第五插值点的第二坐标值,VA1_high为第四插值点的第二坐标值,VA3_high为第六插值点的第二坐标值,TH2_high为第五插值点的第一坐标值,TH1_high为第四插值点的第一坐标值,TH3_high为第六插值点的第一坐标值;TH_strength_high为第五插值点的第二坐标值的调整强度,该TH_strength_high用于指示第五插值点的第二坐标值相对于第五插值点的第二坐标值的初始值的偏移程度,TH_strength_high的具体数值可以自行设置,还可以通过计算得到,此处不作特殊限定,例如TH_strength_high可以设置为0。第五插值点的第二坐标值的初始值的计算公式为:
需要说明的是,此处确定第五插值点的第二坐标值的方式仅为示例性的,并不用于限定本申请。
步骤四、根据第四插值点的第一坐标值,第五插值点的第一坐标值,第六插值点的第一坐标值,第四插值点的第二坐标值,第五插值点的第二坐标值,以及第六插值点的第二坐标,确定二一三次样条曲线的函数。
第二三次样条曲线包括两部分曲线,因此,第二三次样条曲线的函数也包括两个分段函数,其中,两个分段函数与两部分曲线一一对应。
需要说明的是,此处的第二三次样条曲线的函数包括的两个分段函数的构建原理与上文中第一三次样条曲线的函数包括的两个分段函数的构建原理相同,因此此处不再进行赘述。
在此基础上,第五插值点的第二坐标值的调整强度的确定方式如下:
首先,根据待处理图像的亮度直方图,第四插值点的第一坐标值,第五插值点的第一坐标值和第六插值点的第一坐标值,确定第三像素数量和第四像素数量,第三像素数量为亮度直方图中位于第四插值点的第一坐标值和第五插值点的第一坐标值之间的区间的像素数量,第四像素数量为亮度直方图中位于第五插值点的第一坐标值和第六插值点的第一坐标值之间的区间的像素数量。
然后,根据第三像素数量和第四像素数量,确定第五插值点的第二坐标值的调整强度,调整强度用于指示第五插值点的第二坐标值相对于第五插值点的第二坐标值的初始值的偏移程度。具体的,可以根据下述公式确定第五插值点的第二坐标值的调整强度:
其中,TH_high_strength为第五插值点的第二坐标值的调整强度,TH_high_strength1为第五插值点的第二坐标值的调整强度的默认值,Δ为调整步长,NUM1为第三像素数量,NUM2为第四像素数量。调整步长的取值可以根据经验值进行设置,可以是正数,也可以是负数,还可以为零,本申请对此不作特殊限定,例如,调整步长为0.2。
编码端在获得第一三次样条曲线的函数和第二三次样条曲线的函数后,可以将第一三次样条曲线的函数和第二三次样条曲线的函数和待处理图像的数据信息发送至解码端。具体的,可以对第一三次样条曲线的函数和第二三次样条曲线的函数和待处理图像的数据信息编码之后,通过码流发送至解码端。需要说明的是,此处编码的第一三次样条曲线的函数是第一三次样条曲线的函数的参数的值,同理,此处编码的第二三次样条曲线的函数是第二三次样条曲线的函数的参数的值。待处理图像的数据信息可以理解为待处理图像的数据化的表现方式。
解码端接收编码端发送的第一三次样条曲线的函数、第二三次样条曲线的函数和待处理图像的数据信息,其中,待处理图像的数据信息用于获取待处理图像,第一三次样条曲线的函数用于将待处理图像中亮度值位于第一亮度区间内的像素的亮度值映射为第一目标亮度值,第二三次样条曲线的函数用于将待处理图像中亮度值位于第二亮度区间内的像素的亮度值映射为第二目标亮度值。具体的,解码端对编码端发送的码流进行解码,以得到第一三次样条曲线的函数、第二三次样条曲线的函数和待处理图像的数据信息。
解码端根据第一三次样条曲线的函数将待处理图像中亮度值位于第一亮度区间内的像素的亮度值映射为第一目标亮度值,根据第二三次样条曲线的函数将待处理图像中亮度值位于第二亮度区间内的像素的亮度值映射为第二目标亮度值,关于待处理图像中亮度值位于第一亮度区间和第二亮度区间之外的像素,通过基础映射曲线的函数将像素的亮度值映射为第三目标亮度值,实现了待处理图像的动态范围的修正和调整。
需要说明的是,基础映射曲线的函数的参数可以在编码端计算得到后,直接发送至解码端,这样解码端可以直接根据基础映射曲线的函数的参数生成基础映射曲线的函数。基础映射曲线的函数的参数也可以在解码端进行计算,这样编码端就无需计算基础映射曲线的函数的参数,但是编码端需要向解码端发送基本动态元数据等信息,使得解码端根据基本动态元数据等信息计算基础映射曲线的函数的参数。
图7为第二三次样条曲线与基础映射曲线的示意图,从图7中可知,通过第二三次样条曲线可以调整基础映射曲线的形态,改变了基础映射曲线中与第二亮度区间对应的曲线的形态,提升了基础映射曲线的形态的多样性和灵活性。
综上所述,通过获取第一插值点的第一坐标值、第三插值点的第一坐标值,以及根据待处理图像的第一亮度区间的直方图信息确定第二插值点的第一坐标值,以及根据第三插值点的第一坐标值、待处理图像的第一像素的RGB分量最大值,确定第二三次样条曲线相关的第四插值点、第五插值点和第六插值点的第一坐标值,插值点的确定方式简单,易于执行,此外,通过确定第一三次样条曲线相关的第一插值点至第三插值点的第一坐标值,第二三次样条曲线相关的第四插值点至第六插值点的第一坐标值,以根据第一插值点至第三插值点的第一坐标值确定第一三次样条曲线的函数,以根据第四插值点至第六插值点的第一坐标值确定第二三次样条曲线的函数,从而根据第一三次样条曲线的函数将待处理图像中亮度值位于第一亮度区间内的像素的亮度值映射为第一目标亮度值,根据第二三次样条曲线的函数将待处理图像中亮度值位于第二亮度区间内的像素的亮度值映射为第二目标亮度值,即待处理图像中的一部分像素的亮度值根据第一三次样条曲线的函数和第二三次样条曲线的函数进行映射,而剩下的像素的亮度值根据基础映射曲线的函数进行映射,即相当于改变了基础映射曲线中的一段曲线原有的映射关系,换言之,改变了基础映射曲线中与第一亮度区间和第二亮度区间对应的曲线的形态,实现了对特定区域的保护,同时也增加了基础映射曲线的形态的多样性、灵活性、鲁棒性和普适性,进而提升了调整动态范围后的图像的显示效果。另外,由于存在两个三次样条曲线的函数,因此,可以同时对两个区域进行保护,进一步的提升了调整动态范围后的图像的显示效果。
图8为本申请实施例提供的一种图像动态范围处理方法的流程示意图二,该图像动态范围处理方法的执行主体例如为图5中的编码端,本申请对此不做特殊限定。如图8所示,图像动态范围处理方法包括以下步骤:
步骤801,获取待处理图像的第一像素的RGB分量最大值,其中:第一像素为待处理图像中像素的RGB分量最大值最大的像素,像素的RGB分量最大值为像素的R分量、G分量和B分量中的最大值。
步骤802,根据第一像素的RGB分量最大值和待处理图像的亮度直方图确定至少一个三次样条曲线相关的插值点的第一坐标值,其中,每个三次样条曲线相关的插值点包括第一插值点、第二插值点和第三插值点,插值点的第一坐标值为亮度值,每个三次样条曲线相关的插值点的第一坐标值用于确定对应的三次样条曲线的函数,每个三次样条曲线的函数用于将待处理图像中亮度值位于对应的第一亮度区间内的像素的亮度值映射为第一目标亮度值,从而修正待处理图像的动态范围,三次样条曲线的函数对应的第一亮度区间为三次样条曲线的函数相关的第一插值点的第一坐标值和第三插值点的第一坐标值之间的区间。
待处理图像的亮度直方图的横轴代表的是待处理图像中的像素的亮度,由左向右,从全黑逐渐过渡到全白,纵轴代表的则是待处理图像中处于这个亮度范围的像素的相对数量。需要说明的是,在构建待处理图像的亮度直方图时,可以以像素的R分量、G分量和B分量中的最大值作为像素的亮度值,也可以以像素的R分量、G分量和B分量的平均值作为像素的亮度值等,本申请对此不作特殊限定。
下面,以三次样条曲线的函数的数量为一个,即三次样条曲线的数量为1个为例对步骤802进行说明。具体可以包括以下五个步骤,其中:
步骤一,根据亮度直方图确定第一百分比对应的第二像素的RGB分量最大值、第二百分比对应的第三像素的RGB分量最大值、第三百分比对应的第四像素的RGB分量最大值,其中,第一百分比表示待处理图像中的多个像素中RGB分量最大值小于或等于第二像素的RGB分量最大值的像素占所述多个像素的百分比,第二百分比表示待处理图像中的多个像素中RGB分量最大值小于或等于第三像素的RGB分量最大值的像素占多个像素的百分比,第三百分比表示待处理图像中的多个像素中RGB分量最大值小于或等于第四像素的RGB分量最大值的像素占多个像素的百分比。
在本申请实施例中,第一百分比、第二百分比以及第三百分比的取值可以根据经验值进行设置,例如,第一百分比为90%,第二百分比为95%,第三百分比为99%等,本申请对此不作特殊限定。
步骤二,根据第一百分比对应的第二像素的RGB分量最大值、第二百分比对应的第三像素的RGB分量最大值、第三百分比对应的第四像素的RGB分量最大值确定第一插值点的第一坐标值。
步骤二的实现方式有以下两种,其中:
第一种:首先,根据第一百分比对应的第二像素的RGB分量最大值、第二百分比对应的第三像素的RGB分量最大值和亮度阈值确定第一插值点的第一坐标值的第一取值。例如,若第一百分比为90%,第二百分比为95%,第三百分比为99%,则,根据下述公式确定所述第一插值点的第一坐标值的第一取值:
其中,TH1_used1为第一取值,g_maxRGBdistribution90为90%比对应的第二像素的RGB分量最大值,g_maxRGBdistribution95为95%对应的第三像素的RGB分量最大值,THRESOLD为亮度阈值,此处的亮度阈值例如可以1024等,本申请对此不作特殊限定。
然后,根据第一百分比对应的第二像素的RGB分量最大值、第二百分比对应的第三像素的RGB分量最大值、第三百分比对应的第四像素的RGB分量最大值和第一取值确定第一插值点的第一坐标值。
具体的,确定两倍的第二百分比对应的第三像素的RGB分量最大值与第一百分比对应的第二像素的RGB分量最大值的差;判断第三百分比对应的第四像素的RGB分量最大值是否大于得到的差与第一预设数值的和且第一取值是否大于第一阈值;若是,则将第一插值点的第一坐标值设置为第一取值。第一预设数值和第一阈值可以根据经验进行确定,本申请对此不作特殊限定,例如,第一预设数值为100,第一阈值为0.4。
需要说明的是,若第三百分比对应的第四像素的RGB分量最大值不大于得到的差与第一预设数值的和或者第一取值不大于第一阈值,则不生成三次样条曲线的函数。
第二种:首先,根据待处理图像的亮度直方图确定第四百分比对应的第五像素的RGB分量最大值、第五百分比对应的第六像素的RGB分量最大值,第六百分比对应的第七像素的RGB分量最大值,其中,第四百分比表示待处理图像中的多个像素中RGB分量最大值小于或等于第五像素的RGB分量最大值的像素占多个像素的百分比,第五百分比表示待处理图像中的多个像素中RGB分量最大值小于或等于第六像素的RGB分量最大值的像素占多个像素的百分比,第六百分比表示待处理图像中的多个像素中RGB分量最大值小于或等于第七像素的RGB分量最大值的像素占多个像素的百分比。
然后,根据第四百分比对应的第五像素的RGB分量最大值、第一百分比对应的第二像素的RGB分量最大值和亮度阈值确定第一插值点的第一坐标值的第一取值。
再然后,根据第一百分比对应的第二像素的RGB分量最大值、第二百分比对应的第三像素的RGB分量最大值和亮度阈值确定第一插值点的第一坐标值的第二取值;
接下来,根据第二百分比对应的第三像素的RGB分量最大值、第三百分比对应的第四像素的RGB分量最大值和亮度阈值确定第一插值点的第一坐标值的第三取值;
最后,根据第四百分比对应的第五像素的RGB分量最大值、第五百分比对应的第六像素的RGB分量最大值、第一百分比对应的第二像素的RGB分量最大值、第二百分比对应的第三像素的RGB分量最大值、第三百分比对应的第四像素的RGB分量最大值、第六百分比对应的第七像素的RGB分量最大值和第一取值至第三取值确定第一插值点的第一坐标值。
下面,以第一百分比为90%,第二百分比为95%,第三百分比为99%,第四百分比为50%,第五百分比为10%,第六百分比为100%为例对第二种方式中确定第一插值点的第一坐标值的过程进行说明。
首先,根据第一公式确定第一插值点的第一坐标值的第一取值,其中,第一公式为:
根据第二公式确定第一插值点的第一坐标值的第二取值,其中,第二公式为:
根据第三公式确定第一插值点的第一坐标值的第三取值,其中,第三公式为:
其中,TH1_used1为第一取值,TH1_used2为第二取值,TH1_used3为第三取值,g_maxRGBdistribution90为90%对应的第二像素的RGB分量最大值,g_maxRGBdistribution95为95%对应的第三像素的RGB分量最大值,g_maxRGBdistribution50为50%对应的第五像素的RGB分量最大值,g_maxRGBdistribution99为99%对应的对应的第四像素的RGB分量最大值,g_maxRGBdistribution10为10%对应的第六像素的RGB分量最大值,THRESOLD为亮度阈值。
通过第四公式确定第一插值点的第一坐标值的初始值:
通过第五公式并结合第一插值点的第一坐标值的初始值、第二取值和第三取值确定第一插值点的第一坐标值:
其中,TH1为第一插值点的第一坐标值,TH1_used为第一插值点的第一坐标值的初始值,TH1_used1为第一取值,TH1_used2为第二取值,TH1_used3为第三取值,g_maxRGBdistribution90为90%对应的第二像素的RGB分量最大值,g_maxRGBdistribution95为95%对应的第三像素的RGB分量最大值,g_maxRGBdistribution50为50%对应的第五像素的RGB分量最大值,g_maxRGBdistribution99为99%对应的对应的第四像素的RGB分量最大值,g_maxRGBdistribution10为10%对应的第六像素的RGB分量最大值,g_maxRGBdistribution100为100%对应的第七像素的RGB分量最大值。
需要说明的是,根据第一插值点的第一坐标值的初始值、第二取值和第三取值确定第一插值点的第一坐标值的过程为:判断第一插值点的第一坐标值的初始值是否大于或者等于0.35,若第一插值点的第一坐标值的初始值大于或者等于0.35,则将第一插值点的第一坐标值设置为第一插值点的第一坐标值的初始值;若第一插值点的第一坐标值的初始值小于0.35,则判断第二取值取值是否大于0.35,若第二取值大于0.35,则将第一插值点的第一坐标值设置为第二取值,若第二取值不大于0.35,则判断第三取值是否大于0.35,若第三取值大于0.35,则将第一插值点的第一坐标值设置为第三取值,若第三取值不大于0.35,则不不生成三次样条曲线的函数。
步骤三,将第三插值点的第一坐标值设置为第一像素的RGB分量最大值。
步骤四,根据第一插值点的第一坐标值、第三插值点的第一坐标值、亮度直方图中第一亮度区间对应的直方图信息,确定第二插值点的第一坐标值。
在本申请实施例中,第一亮度区间的直方图信息为待处理图像的亮度直方图中位于第一插值点的第一坐标值和第三插值点的第一坐标值之间的区间的直方图。
确定第二插值点的第一坐标值的过程包括:
首先,若第一亮度区间包括N个子区间,N为正整数,则从N个子区间中确定出第i个子区间,第i个子区间位于N个子区间的n个子区间中,n个子区间的序号大于或者等于N/4,并且n个子区间的序号小于或者等于3N/4,待处理图像中亮度值位于第i个子区间的像素个数为n个子区间中的最少值。
N的取值可以根据经验进行确定,例如,若N的取值为8,则n个子区间的序号分别为2、3、4、5、6。
然后,根据第一插值点的第一坐标值、第三插值点的第一坐标值、i确定第二插值点的第一坐标值。例如,可以根据如下公式确定第二插值点的第一坐标值:
其中,TH2为第二插值点的第一坐标值,TH1为第一插值点的第一坐标值,TH3为第三插值点的第一坐标值,n_min为i。
三次样条曲线的函数的获取过程包括以下四个步骤,其中:
步骤一、获取基础映射曲线的函数,由于基础映射曲线已经在上文中进行了说明,因此不再赘述。
步骤二、根据基础映射曲线的函数,对第一插值点的第一坐标值,以及第三插值点的第一坐标值进行映射,得到第一插值点的第二坐标值,以及第三插值点的第二坐标值。由于该步骤的原理已经在上文中进行了说明,因此此处不再进行赘述。
步骤三、根据第一插值点的第一坐标值,第二插值点的第一坐标值,第三插值点的第一坐标值,第一插值点的第二坐标值,以及第三插值点的第二坐标值,确定第二插值点的第二坐标值。
例如,根据如下公式确定第二插值点的第二坐标值;
其中,VA2为第二插值点的第二坐标值,VA1为第一插值点的第二坐标值,VA3为第三插值点的第二坐标值,TH2为第二插值点的第一坐标值,TH1为第一插值点的第一坐标值,TH3为第三插值点的第一坐标值。
再例如,根据下述公式确定第二插值点的第二坐标值:
其中,VA2为第二插值点的第二坐标值,VA1为第一插值点的第二坐标值,VA3为第三插值点的第二坐标值,TH2为第二插值点的第一坐标值,TH1为第一插值点的第一坐标值,TH3为第三插值点的第一坐标值,TH_strength为第二插值点的第二坐标值的调整强度,该TH_strength用于指示第二插值点的第二坐标值相对于第二插值点的第二坐标值的初始值的偏移程度,TH_strength的具体数值可以自行设置,还可以通过计算得到,此处不作特殊限定,例如TH_strength可以设置为0,第二插值点的第二坐标值的初始值的计算公式为:VA21为第二插值点的第二坐标值的初始值。
需要说明的是,此处确定第二插值点的第二坐标值的方式仅为示例性的,并不用于限定本申请。
步骤四、根据第一插值点的第一坐标值,第二插值点的第一坐标值,第三插值点的第一坐标值,第一插值点的第二坐标值,第三插值点的第二坐标值,以及第二插值点的第二坐标值,确定三次样条曲线的函数。
三次样条曲线包括两部分曲线,因此,三次样条曲线的函数也包括两个分段函数,其中,两个分段函数与两部分曲线一一对应。
需要说明的是,此处的三次样条曲线的函数包括的两个分段函数的构建原理与上文中第一三次样条曲线的函数包括的两个分段函数的构建原理相同,因此此处不再进行赘述。
在此基础上,第二插值点的第二坐标值的调整强度的确定方式如下:
首先,根据待处理图像的亮度直方图,第一插值点的第一坐标值,第二插值点的第一坐标值和第三插值点的第一坐标值,确定第一像素数量和第二像素数量,第一像素数量为所述亮度直方图中位于第一插值点的第一坐标值和第二插值点的第一坐标值之间的区间的像素数量,第二像素数量为亮度直方图中位于第二插值点的第一坐标值和第三插值点的第一坐标值之间的区间的像素数量;
然后,根据第一像素数量和第二像素数量,确定第二插值点的第二坐标值的调整强度,调整强度用于指示第二插值点的第二坐标值相对于所述第二插值点的第二坐标值的初始值的偏移程度。具体的,根据下述公式确定第二插值点的第二坐标值的调整强度:
其中,TH_strength为第二插值点的第二坐标值的调整强度,TH_strength1为第二插值点的第二坐标值的调整强度的默认值,Δ为调整步长,NUM1为第一像素数量,NUM2为第二像素数量。调整步长的取值可以为正数、负数或者0。
编码端在获得三次样条曲线的函数后,可以将三次样条曲线的函数和待处理图像的数据信息发送至解码端。具体的,可以对三次样条曲线的函数和待处理图像的数据信息编码之后,通过码流发送至解码端。需要说明的是,此处编码的三次样条曲线的函数是三次样条曲线的函数的参数的值。待处理图像的数据信息可以理解为待处理图像的数据化的表现方式。
解码端接收编码端发送的三次样条曲线的函数和待处理图像的数据信息,其中,待处理图像的数据信息用于获取待处理图像,三次样条曲线的函数用于将待处理图像中亮度值位于第一亮度区间内的像素的亮度值映射为第一目标亮度值。具体的,解码端对编码端发送的码流进行解码,以得到三次样条曲线的函数和待处理图像的数据信息。
解码端根据三次样条曲线的函数和待处理图像的数据信息修正待处理图像的动态范围。即将待处理图像中的亮度值位于第一亮度区间内的像素的亮度值代入三次样条曲线的函数,以得到对应像素的第一目标亮度值。需要说明的是,将待处理图像中的亮度值位于第一亮度区间外的像素的亮度值代入基础映射曲线的函数,以得到对应的像素的第二目标亮度值,从而实现待处理图像的动态范围的调整。
需要说明的是,基础映射曲线的函数的参数可以在编码端计算得到后,直接发送至解码端,这样解码端可以直接根据基础映射曲线的函数的参数生成基础映射曲线的函数。基础映射曲线的函数的参数也可以在解码端进行计算,这样编码端就无需计算基础映射曲线的函数的参数,但是编码端需要向解码端发送基本动态元数据等信息,使得解码端根据基本动态元数据等信息计算基础映射曲线的函数的参数。
综上所述,通过获取第一插值点的第一坐标值、第三插值点的第一坐标值,以及根据待处理图像的第一亮度区间的直方图即可确定第二插值点的第一坐标值,插值点的确定方式简单,易于执行,此外,通过确定三次样条曲线相关的第一插值点至第三插值点的第一坐标值,以根据第一插值点至第三插值点的第一坐标值确定三次样条曲线的函数,从而根据三次样条曲线的函数将待处理图像的亮度值位于第一亮度区间内的像素的亮度值映射为第一目标亮度值,即待处理图像中的一部分像素的亮度值根据三次样条曲线的函数进行映射,而剩下的像素的亮度值根据基础映射曲线的函数进行映射,即相当于改变了基础映射曲线中的一段曲线原有的映射关系,换言之,改变了基础映射曲线中与第一亮度区间对应的曲线的形态,实现了对特定区域的保护,同时也增加了基础映射曲线的形态的多样性、灵活性、鲁棒性和普适性,进而提升了调整动态范围后的图像的显示效果。
需要说明的是,上文中的第一坐标值可以为X轴上的坐标值,第二坐标值为Y轴上的坐标值,或者上文中的第一坐标值可以为Y轴上的坐标值,第二坐标值为X轴上的坐标值。本申请中计算过程中使用的数据和从待处理图像中获取的各种数据例如均为PQ域的值等,本申请实施例对此不作特殊限定。需要说明的是,PQ域的值指经过PQ光电转移函数转换后的值。
图9为本申请实施例提供的图像动态范围处理装置的结构示意图一。该装置900包括:
获取模块901,用于获取第一三次样条曲线相关的第一插值点的第一坐标值和第三插值点的第一坐标值,所述第一插值点的第一坐标值和所述第三插值点的第一坐标值为亮度值;第一确定模块902,用于根据待处理图像的第一亮度区间的直方图信息,确定所述第一三次样条曲线相关的第二插值点的第一坐标值,所述第一亮度区间为所述第一插值点的第一坐标值和所述第三插值点的第一坐标值之间的区间,所述第一插值点的第一坐标值、所述第二插值点的第一坐标值以及所述第三插值点的第一坐标值用于确定所述第一三次样条曲线的函数,所述第一三次样条曲线的函数用于将所述待处理图像中亮度值位于所述第一亮度区间内的像素的亮度值映射为第一目标亮度值,从而修正所述待处理图像的动态范围。
在一种可能的实现方式中,所述第一三次样条曲线的函数根据如下方式获得:
所述获取模块901,还用于获取基础映射曲线的函数;所述第一确定模块,还用于根据所述基础映射曲线的函数,对所述第一插值点的第一坐标值,以及所述第三插值点的第一坐标值进行映射,得到所述第一插值点的第二坐标值,以及所述第三插值点的第二坐标值;根据所述第一插值点的第一坐标值,所述第二插值点的第一坐标值,所述第三插值点的第一坐标值,所述第一插值点的第二坐标值,以及所述第三插值点的第二坐标值,确定所述第二插值点的第二坐标值;根据所述第一插值点的第一坐标值,所述第二插值点的第一坐标值,所述第三插值点的第一坐标值,所述第一插值点的第二坐标值,所述第三插值点的第二坐标值,以及所述第二插值点的第二坐标值,确定所述第一三次样条曲线的函数。在一种可能的实现方式中,所述第一确定模块,用于根据如下公式确定所述第二插值点的第二坐标值;
其中,VA2为所述第二插值点的第二坐标值,VA1为所述第一插值点的第二坐标值,VA3为所述第三插值点的第二坐标值,TH2为所述第二插值点的第一坐标值,TH1为所述第一插值点的第一坐标值,TH3为所述第三插值点的第一坐标值。
在一种可能的实现方式中,所述装置还包括:第二确定模块,用于根据所述第三插值点的第一坐标值、所述待处理图像的第一像素的RGB分量最大值,确定第二三次样条曲线相关的第四插值点、第五插值点和第六插值点的第一坐标值;其中:所述第一像素为所述待处理图像中RGB分量最大值最大的像素,所述像素的RGB分量最大值为所述像素的R分量、G分量和B分量中的最大值;所述第四插值点的第一坐标值、所述第五插值点的第一坐标值以及所述第六插值点的第一坐标值,用于确定所述第二三次样条曲线的函数,所述第二三次样条曲线的函数用于将待处理图像中亮度值位于第二亮度区间内的像素的亮度值映射为第二目标亮度值,从而修正所述待处理图像的动态范围,所述第二亮度区间为所述第四插值点的第一坐标值和第六插值点的第一坐标值之间的区间,所述第一亮度区间与所述第二亮度区间之间不存在重合区域。
在一种可能的实现方式中,所述装置还包括:发送模块,用于将所述三次样条曲线的函数和所述待处理图像的数据信息发送至解码端,以使所述解码端根据所述三次样条曲线的函数对所述待处理图像的动态范围进行修正,所述待处理图像的数据信息用于获取所述待处理图像。
在一种可能的实现方式中,所述获取模块,具体用于将所述第一插值点的第一坐标值设置为第一预设亮度值;将所述第三插值点的第一坐标值设置为第二预设亮度值。
在一种可能的实现方式中,所述第二插值点的第一坐标值根据下述公式确定:
其中,TH2为所述第二插值点的第一坐标值,Nframe为所述待处理图像中亮度值位于所述第一亮度区间内的像素的总数量,i为所述待处理图像中亮度值位于所述第一亮度区间内的像素中的第i个像素,f(i)为所述第i个像素的亮度值。
在一种可能的实现方式中,所述第二确定模块,具体用于根据第一公式确定所述第四插值点的第一坐标值,其中,所述第一公式为:
根据第二公式确定所述第五插值点的第一坐标值,其中,所述第二公式为:
将所述第六插值点的第一坐标值设置为所述第一像素的RGB分量最大值;
其中,TH1_high为所述第四插值点的第一坐标值,TH2_high为所述第五插值点的第一坐标值,MaxSource的取值为所述第一像素的RGB分量最大值,TH3为所述第三插值点的第一坐标值,U为一预设数值。
在一种可能的实现方式中,所述第二确定模块,用于采用如下方式确定所述第四插值点、所述第五插值点和所述第六插值点的第一坐标值:根据所述第三插值点的第一坐标值、所述第一像素的RGB分量最大值确定所述第四插值点的第一坐标值的初始值;将所述第六插值点的第一坐标值设置为所述第一像素的RGB分量最大值;根据所述第四插值点的第一坐标值的初始值和所述第六插值点的第一坐标值,确定第一像素数量和第二像素数量;其中,所述第一像素数量为所述待处理图像中亮度值位于第三亮度区间的像素的数量,所述第三亮度区间为所述第四插值点的第一坐标值的初始值与所述第六插值点的第一坐标值之间的区间,所述第二像素数量为所述待处理图像中或者待处理图像的亮度直方图中的像素的总数量;根据所述第一像素数量、所述第二像素数量、所述第三插值点的第一坐标值、所述第四插值点的第一坐标值的初始值和所述第六插值点的第一坐标值确定所述第四插值点的第一坐标值;根据所述待处理图像的所述第二亮度区间的直方图信息,所述第四插值点的第一坐标值和所述第六插值点的第一坐标值,确定所述第五插值点的第一坐标值。
在一种可能的实现方式中,所述第二亮度区间包括N个子区间,N为正整数,所述第二确定模块用于采用如下方式确定所述第五插值点的第一坐标值:从所述N个子区间中确定出第i个子区间,所述第i个子区间位于所述N个子区间的n个子区间中,所述n个子区间的序号大于或者等于N/4,并且所述n个子区间的序号小于或者等于3N/4,所述待处理图像中亮度值位于所述第i个子区间的像素个数为所述n个子区间中的最少值;根据所述第四插值点的第一坐标值、第六插值点的第一坐标值、所述i确定所述第五插值点的第一坐标值。
在一种可能的实现方式中,所述N的取值为8。
在一种可能的实现方式中,所述第二确定模块用于采用如下方式确定所述第四插值点的第一坐标值的初始值:
其中,TH1_high1为所述第四插值点的第一坐标值的初始值,MaxSource的取值为所述第一像素的RGB分量最大值,U为一预设数值,TH3为所述第三插值点的第一坐标值。
在一种可能的实现方式中,所述第二确定模块用于采用如下方式确定所述第四插值点的第一坐标值:
确定所述第三亮度区间的长度占所述第一像素的RGB分量最大值的比例;根据如下公式确定所述第四插值点的第一坐标值:
其中,TH1_high为所述第四插值点的第一坐标值,MaxSource的取值为所述第一像素的RGB分量最大值,U为一预设数值,TH3为所述第三插值点的第一坐标值,highRatio为所述第一像素数量与所述第二像素数量的比例,wholeratio为所述第三亮度区间的长度占所述第一像素的RGB分量最大值的比例,TH1_high1为所述第四插值点的第一坐标值的初始值,TH3_high为所述第六插值点的第一坐标值,POW(x,j)指x的j次方。
在一种可能的实现方式中,所述第二确定模块用于采用如下方式确定所述第五插值点的第一坐标值:
其中,TH2_high为所述第五插值点的第一坐标值,TH1_high为所述第四插值点的第一坐标值,TH3_high为所述第六插值点的第一坐标值,n_min为所述i。
在一种可能的实现方式中,所述装置还包括:
所述第二确定模块,还用于根据所述待处理图像的亮度直方图,第四插值点的第一坐标值,第五插值点的第一坐标值和第六插值点的第一坐标值,确定第三像素数量和第四像素数量,所述第三像素数量为所述亮度直方图中位于所述第四插值点的第一坐标值和所述第五插值点的第一坐标值之间的区间的像素数量,所述第四像素数量为所述亮度直方图中位于所述第五插值点的第一坐标值和所述第六插值点的第一坐标值之间的区间的像素数量;根据所述第三像素数量和所述第四像素数量,确定所述第五插值点的第二坐标值的调整强度,所述调整强度用于指示第五插值点的第二坐标值相对于所述第五插值点的第二坐标值的初始值的偏移程度。
在一种可能的实现方式中,所述第二确定模块,具体用于根据下述公式确定所述第五插值点的第二坐标值的调整强度:
其中,TH_high_strength为所述第五插值点的第二坐标值的调整强度,TH_high_strength1为所述第五插值点的第二坐标值的调整强度的默认值,Δ为调整步长,NUM1为所述第三像素数量,NUM2为所述第四像素数量。
在一种可能的实现方式中,所述第五插值点的第二坐标值的初始值通过如下公式获得:
其中,VA2_high1为所述第五插值点的第二坐标值的初始值,VA1_high为所述第四插值点的第二坐标值,VA3_high为所述第六插值点的第二坐标值,TH2_high为所述第五插值点的第一坐标值,TH1_high为所述第四插值点的第一坐标值,TH3_high为所述第六插值点的第一坐标值。
在一种可能的实现方式中,所述基础映射曲线的函数用于将所述待处理图像中的像素的亮度值映射为第三目标亮度值,所述基础映射曲线的函数为一以所述待处理图像中的像素的亮度值为自变量、所述第三目标亮度值为因变量的亮度映射函数,其中,所述亮度映射函数如下所示:
所述亮度映射函数的参数包括:a、b、p、m、n,L'为所述第三目标亮度值,L为所述待处理图像中的像素的亮度值。
由于装置900的实现原理以及达到的效果与上文中对应方法部分的实现原理和达到的效果相同,因此此处不再赘述。
图10为本申请实施例提供的图像动态范围处理装置的结构示意图二。该装置1000包括:获取模块1001,用于获取待处理图像的第一像素的RGB分量最大值,其中:所述第一像素为所述待处理图像中像素的RGB分量最大值最大的像素,所述像素的RGB分量最大值为所述像素的R分量、G分量和B分量中的最大值;第一确定模块1002,用于根据所述第一像素的RGB分量最大值和所述待处理图像的亮度直方图确定至少一个三次样条曲线相关的插值点的第一坐标值,其中,每个所述三次样条曲线相关的插值点包括第一插值点、第二插值点和第三插值点,所述插值点的第一坐标值为亮度值,每个所述三次样条曲线相关的插值点的第一坐标值用于确定对应的所述三次样条曲线的函数,每个所述三次样条曲线的函数用于将所述待处理图像中亮度值位于对应的第一亮度区间内的像素的亮度值映射为第一目标亮度值,从而修正所述待处理图像的动态范围,所述三次样条曲线的函数对应的第一亮度区间为所述三次样条曲线的函数相关的第一插值点的第一坐标值和第三插值点的第一坐标值之间的区间。
在一种可能的实现方式中,所述三次样条曲线的数量为一个;
所述第一确定模块,还用于根据所述亮度直方图确定第一百分比对应的第二像素的RGB分量最大值、第二百分比对应的第三像素的RGB分量最大值、第三百分比对应的第四像素的RGB分量最大值,其中,所述第一百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第二像素的RGB分量最大值的像素占所述多个像素的百分比,所述第二百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第三像素的RGB分量最大值的像素占所述多个像素的百分比,所述第三百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第四像素的RGB分量最大值的像素占所述多个像素的百分比;根据所述第一百分比对应的第二像素的RGB分量最大值、所述第二百分比对应的第三像素的RGB分量最大值、所述第三百分比对应的第四像素的RGB分量最大值确定所述第一插值点的第一坐标值;将所述第三插值点的第一坐标值设置为所述第一像素的RGB分量最大值;根据所述第一插值点的第一坐标值、所述第三插值点的第一坐标值、所述亮度直方图中所述第一亮度区间对应的直方图信息,确定所述第二插值点的第一坐标值。
在一种可能的实现方式中,所述第一确定模块,用于采用下述方式确定所述第一插值点的第一坐标值:根据所述第一百分比对应的第二像素的RGB分量最大值、所述第二百分比对应的第三像素的RGB分量最大值和亮度阈值确定所述第一插值点的第一坐标值的第一取值;根据所述第一百分比对应的第二像素的RGB分量最大值、所述第二百分比对应的第三像素的RGB分量最大值、所述第三百分比对应的第四像素的RGB分量最大值和所述第一取值确定所述第一插值点的第一坐标值。
在一种可能的实现方式中,所述第一百分比为90%,所述第二百分比为95%,所述第三百分比为99%;
所述确定模块,用于根据下述公式确定所述第一插值点的第一坐标值的第一取值,
其中,TH1_used1为所述第一取值,g_maxRGBdistribution90为所述90%比对应的第二像素的RGB分量最大值,g_maxRGBdistribution95为所述95%对应的第三像素的RGB分量最大值,THRESOLD为所述亮度阈值。
在一种可能的实现方式中,所述第一确定模块,用于采用如下方式确定所述第一插值点的第一坐标值:确定两倍的所述第二百分比对应的第三像素的RGB分量最大值与所述第一百分比对应的第二像素的RGB分量最大值的差;判断所述第三百分比对应的第四像素的RGB分量最大值是否大于得到的差与第一预设数值的和且所述第一取值是否大于第一阈值;若是,则将所述第一插值点的第一坐标值设置为所述第一取值。
在一种可能的实现方式中,所述第一确定模块,用于采用如下方式确定所述第一插值点的第一坐标值:根据所述待处理图像的亮度直方图确定第四百分比对应的第五像素的RGB分量最大值、第五百分比对应的第六像素的RGB分量最大值,第六百分比对应的第七像素的RGB分量最大值,其中,所述第四百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第五像素的RGB分量最大值的像素占所述多个像素的百分比,所述第五百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第六像素的RGB分量最大值的像素占所述多个像素的百分比,所述第六百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第七像素的RGB分量最大值的像素占所述多个像素的百分比;根据所述第四百分比对应的第五像素的RGB分量最大值、第一百分比对应的第二像素的RGB分量最大值和亮度阈值确定所述第一插值点的第一坐标值的第一取值;根据所述第一百分比对应的第二像素的RGB分量最大值、第二百分比对应的第三像素的RGB分量最大值和亮度阈值确定所述第一插值点的第一坐标值的第二取值;根据所述第二百分比对应的第三像素的RGB分量最大值、第三百分比对应的第四像素的RGB分量最大值和亮度阈值确定所述第一插值点的第一坐标值的第三取值;根据所述第四百分比对应的第五像素的RGB分量最大值、第五百分比对应的第六像素的RGB分量最大值、所述第一百分比对应的第二像素的RGB分量最大值、第二百分比对应的第三像素的RGB分量最大值、第三百分比对应的第四像素的RGB分量最大值、第六百分比对应的第七像素的RGB分量最大值和所述第一取值至所述第三取值确定所述第一插值点的第一坐标值。
在一种可能的实现方式中,所述第一百分比为90%,第二百分比为95%,第三百分比为99%,所述第四百分比为50%,第五百分比为10%,第六百分比为100%;所述第一确定模块,用于根据第一公式确定所述第一插值点的第一坐标值的第一取值,其中,所述第一公式为:
根据第二公式确定所述第一插值点的第一坐标值的第二取值,其中,所述第二公式为:
根据第三公式确定所述第一插值点的第一坐标值的第三取值,其中,所述第三公式为:
其中,TH1_used1为所述第一取值,TH1_used2为所述第二取值,TH1_used3为所述第三取值,g_maxRGBdistribution90为所述90%对应的第二像素的RGB分量最大值,g_maxRGBdistribution95为所述95%对应的第三像素的RGB分量最大值,g_maxRGBdistribution50为所述50%对应的第五像素的RGB分量最大值,g_maxRGBdistribution99为所述99%对应的对应的第四像素的RGB分量最大值,g_maxRGBdistribution10为所述10%对应的第六像素的RGB分量最大值,THRESOLD为亮度阈值。
在一种可能的实现方式中,所述第一确定模块,用于通过第四公式确定所述第一插值点的第一坐标值的初始值:
通过第五公式并结合所述第一插值点的第一坐标值的初始值、所述第二取值和所述第三取值确定所述第一插值点的第一坐标值:
其中,TH1为所述第一插值点的第一坐标值,TH1_used为所述第一插值点的第一坐标值的初始值,TH1_used1为所述第一取值,TH1_used2为所述第二取值,TH1_used3为所述第三取值,g_maxRGBdistribution90为所述90%对应的第二像素的RGB分量最大值,g_maxRGBdistribution95为所述95%对应的第三像素的RGB分量最大值,g_maxRGBdistribution50为所述50%对应的第五像素的RGB分量最大值,g_maxRGBdistribution99为所述99%对应的对应的第四像素的RGB分量最大值,g_maxRGBdistribution10为所述10%对应的第六像素的RGB分量最大值,g_maxRGBdistribution100为所述100%对应的第七像素的RGB分量最大值
在一种可能的实现方式中,所述第一亮度区间包括N个子区间,N为正整数;所述第一确定模块,用于采用下述方式确定所述第二插值点的第一坐标值:从所述N个子区间中确定出第i个子区间,所述第i个子区间位于所述N个子区间的n个子区间中,所述n个子区间的序号大于或者等于N/4,并且所述n个子区间的序号小于或者与3N/4,所述待处理图像中亮度值位于所述第i个子区间的像素个数为所述n个子区间中的最少值;根据所述第一插值点的第一坐标值、所述第三插值点的第一坐标值、所述i确定所述第二插值点的第一坐标值。
在一种可能的实现方式中,述N的取值为8。
在一种可能的实现方式中,所述第一确定模块,用于根据下述公式确定所述第二插值点的第一坐标值:
其中,TH2为所述第二插值点的第一坐标值,TH1为所述第一插值点的第一坐标值,TH3为所述第三插值点的第一坐标值,n_min为所述i。
在一种可能的实现方式中,所述三次样条曲线的函数根据如下方式获得:所述获取模块,还用于获取基础映射曲线的函数;所述第一确定模块,还用于根据所述基础映射曲线的函数,对所述第一插值点的第一坐标值,以及所述第三插值点的第一坐标值进行映射,得到所述第一插值点的第二坐标值,以及所述第三插值点的第二坐标值;根据所述第一插值点的第一坐标值,所述第二插值点的第一坐标值,所述第三插值点的第一坐标值,所述第一插值点的第二坐标值,以及所述第三插值点的第二坐标值,确定所述第二插值点的第二坐标值;根据所述第一插值点的第一坐标值,所述第二插值点的第一坐标值,所述第三插值点的第一坐标值,所述第一插值点的第二坐标值,所述第三插值点的第二坐标值,以及所述第二插值点的第二坐标值,确定所述三次样条曲线的函数。
在一种可能的实现方式中,所述第一确定模块,用于根据如下公式确定所述第二插值点的第二坐标值;
其中,VA2为所述第二插值点的第二坐标值,VA1为所述第一插值点的第二坐标值,VA3为所述第三插值点的第二坐标值,TH2为所述第二插值点的第一坐标值,TH1为所述第一插值点的第一坐标值,TH3为所述第三插值点的第一坐标值。
在一种可能的实现方式中,所述基础映射曲线的函数用于将所述待处理图像中的像素的亮度值映射为第二目标亮度值,所述基础映射曲线的函数为一以所述待处理图像中的像素的亮度值为自变量、所述第二目标亮度值为因变量的亮度映射函数,其中,所述亮度映射函数如下所示:
所述亮度映射函数的参数包括:a、b、p、m、n,L'为所述第而目标亮度值,L为所述待处理图像中的像素的亮度值。
在一种可能的实现方式中,所述装置还包括:第二确定模块,用于根据所述待处理图像的亮度直方图,第一插值点的第一坐标值,第二插值点的第一坐标值和第三插值点的第一坐标值,确定第一像素数量和第二像素数量,所述第一像素数量为所述亮度直方图中位于所述第一插值点的第一坐标值和所述第二插值点的第一坐标值之间的区间的像素数量,所述第二像素数量为所述亮度直方图中位于所述第二插值点的第一坐标值和所述第三插值点的第一坐标值之间的区间的像素数量;根据所述第一像素数量和所述第二像素数量,确定所述第二插值点的第二坐标值的调整强度,所述调整强度用于指示第二插值点的第二坐标值相对于所述第二插值点的第二坐标值的初始值的偏移程度。
在一种可能的实现方式中,所述第二确定模块,用于根据下述公式确定所述第二插值点的第二坐标值的调整强度:
其中,TH_strength为所述第二插值点的第二坐标值的调整强度,TH_strength1为所述第二插值点的第二坐标值的调整强度的默认值,Δ为调整步长,NUM1为所述第一像素数量,NUM2为所述第二像素数量。
在一种可能的实现方式中,所述第二插值点的第二坐标值的初始值通过如下公式获得:
其中,VA21为所述第二插值点的第二坐标值的初始值,VA1为所述第一插值点的第二坐标值,VA3为所述第三插值点的第二坐标值,TH2为所述第二插值点的第一坐标值,TH1为所述第一插值点的第一坐标值,TH3为所述第三插值点的第一坐标值。100
由于装置1000的实现原理以及达到的效果与上文中对应方法部分的实现原理和达到的效果相同,因此此处不再赘述。
图11为本申请实施例提供的图像动态范围处理装置的结构示意图三。该装置1100包括:接收模块1101,用于接收编码端发送的三次样条曲线的函数和所述待处理图像的数据信息,其中,所述待处理图像的数据信息用于获取所述待处理图像,所述三次样条曲线的函数用于将所述待处理图像中亮度值位于与其对应的区间内的像素的亮度值映射为目标亮度值,从而修正所述待处理图像的动态范围;修正模块1102,用于根据所述三次样条曲线的函数和所述待处理图像的数据信息修正所述待处理图像的动态范围。
由于装置1100的实现原理以及达到的效果与上文中对应方法部分的实现原理和达到的效果相同,因此此处不再赘述。
图12示出了本申请实施例提供的图像处理设备1200,该设备1200可以包括处理器1210、收发器1220和存储器1230,该处理器1210、收发器1220和存储器1230通过内部连接通路互相通信。
该处理器1210可以包括是一个或多个处理器,例如包括一个或多个中央处理单元(central processing unit,CPU),在处理器是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。处理器1310用于执行上述方法实施例中的任意一项所述的方法。
该收发器1220用于发送和接收数据和/或信息,以及接收数据和/或信息。该收发器可以包括发射器和接收器,发射器用于发送数据和/或信号,接收器用于接收数据和/或信号。
该存储器1230包括但不限于是随机存取存储器(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程存储器(erasable programmable readonly memory,EPROM)、只读光盘(compact disc read-only memory,CD-ROM),该存储器1230用于存储相关指令及数据。
存储器1230用于存储装置的程序代码和数据,可以为单独的器件或集成在处理器1310中。
可以理解的是,图12仅仅示出了设备1200的简化设计。在实际应用中,设备1200还可以分别包含必要的其他元件,包含但不限于任意数量的收发器、处理器、控制器、存储器等,而所有可以实现本申请的设备都在本申请的保护范围之内。
在一种可能的设计中,设备1200可以被替换为芯片装置,例如可以为可用于设备中的通信芯片,用于实现装置中处理器的相关功能。该芯片装置可以为实现相关功能的现场可编程门阵列,专用集成芯片,***芯片,中央处理器,网络处理器,数字信号处理电路,微控制器,还可以采用可编程控制器或其他集成芯片。该芯片中,可选的可以包括一个或多个存储器,用于存储程序代码,当所述代码被执行时,使得处理器实现相应的功能。
本申请还提供一种计算机可读存储介质,包括计算机程序,所述计算机程序在计算机上被执行时,使得所述计算机执行上述方法实施例的技术方案。
本申请还提供一种计算机程序,当所述计算机程序被计算机执行时,用于执行上述方法实施例的技术方案。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
Claims (76)
1.一种图像动态范围处理方法,其特征在于,包括:
获取第一三次样条曲线相关的第一插值点的第一坐标值和第三插值点的第一坐标值,所述第一插值点的第一坐标值和所述第三插值点的第一坐标值为亮度值;
根据待处理图像的第一亮度区间的直方图信息,确定所述第一三次样条曲线相关的第二插值点的第一坐标值,所述第一亮度区间为所述第一插值点的第一坐标值和所述第三插值点的第一坐标值之间的区间,所述第一插值点的第一坐标值、所述第二插值点的第一坐标值以及所述第三插值点的第一坐标值用于确定所述第一三次样条曲线的函数,所述第一三次样条曲线的函数用于将所述待处理图像中亮度值位于所述第一亮度区间内的像素的亮度值映射为第一目标亮度值,从而修正所述待处理图像的动态范围。
2.根据权利要求1所述的方法,其特征在于,所述第一三次样条曲线的函数根据如下方式获得:
获取基础映射曲线的函数;
根据所述基础映射曲线的函数,对所述第一插值点的第一坐标值,以及所述第三插值点的第一坐标值进行映射,得到所述第一插值点的第二坐标值,以及所述第三插值点的第二坐标值;
根据所述第一插值点的第一坐标值,所述第二插值点的第一坐标值,所述第三插值点的第一坐标值,所述第一插值点的第二坐标值,以及所述第三插值点的第二坐标值,确定所述第二插值点的第二坐标值;
根据所述第一插值点的第一坐标值,所述第二插值点的第一坐标值,所述第三插值点的第一坐标值,所述第一插值点的第二坐标值,所述第三插值点的第二坐标值,以及所述第二插值点的第二坐标值,确定所述第一三次样条曲线的函数。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述方法还包括:
根据所述第三插值点的第一坐标值、所述待处理图像的第一像素的RGB分量最大值,确定第二三次样条曲线相关的第四插值点、第五插值点和第六插值点的第一坐标值;其中:所述第一像素为所述待处理图像中RGB分量最大值最大的像素,所述像素的RGB分量最大值为所述像素的R分量、G分量和B分量中的最大值;
所述第四插值点的第一坐标值、所述第五插值点的第一坐标值以及所述第六插值点的第一坐标值,用于确定所述第二三次样条曲线的函数,所述第二三次样条曲线的函数用于将待处理图像中亮度值位于第二亮度区间内的像素的亮度值映射为第二目标亮度值,从而修正所述待处理图像的动态范围,所述第二亮度区间为所述第四插值点的第一坐标值和第六插值点的第一坐标值之间的区间,所述第一亮度区间与所述第二亮度区间之间不存在重合区域。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述方法还包括:
将所述三次样条曲线的函数和所述待处理图像的数据信息发送至解码端,以使所述解码端根据所述三次样条曲线的函数对所述待处理图像的动态范围进行修正,所述待处理图像的数据信息用于获取所述待处理图像。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述获取第一三次样条曲线相关的第一插值点的第一坐标值和第三插值点的第一坐标值包括:
将所述第一插值点的第一坐标值设置为第一预设亮度值;
将所述第三插值点的第一坐标值设置为第二预设亮度值。
8.根据权利要求4所述的方法,其特征在于,所述根据所述第三插值点的第一坐标值、所述待处理图像的第一像素的RGB分量最大值,确定第二三次样条曲线相关的第四插值点、第五插值点和第六插值点的第一坐标值包括:
根据第一公式确定所述第四插值点的第一坐标值,其中,所述第一公式为:
根据第二公式确定所述第五插值点的第一坐标值,其中,所述第二公式为:
将所述第六插值点的第一坐标值设置为所述第一像素的RGB分量最大值;
其中,TH1_high为所述第四插值点的第一坐标值,TH2_high为所述第五插值点的第一坐标值,MaxSource的取值为所述第一像素的RGB分量最大值,TH3为所述第三插值点的第一坐标值,U为一预设数值。
9.根据权利要求4所述的方法,其特征在于,所述根据所述第三插值点的第一坐标值、所述待处理图像的第一像素的RGB分量最大值,确定第二三次样条曲线相关的第四插值点、第五插值点和第六插值点的第一坐标值包括:
根据所述第三插值点的第一坐标值、所述第一像素的RGB分量最大值确定所述第四插值点的第一坐标值的初始值;
将所述第六插值点的第一坐标值设置为所述第一像素的RGB分量最大值;
根据所述第四插值点的第一坐标值的初始值和所述第六插值点的第一坐标值,确定第一像素数量和第二像素数量;其中,所述第一像素数量为所述待处理图像中亮度值位于第三亮度区间的像素的数量,所述第三亮度区间为所述第四插值点的第一坐标值的初始值与所述第六插值点的第一坐标值之间的区间,所述第二像素数量为所述待处理图像中或者待处理图像的亮度直方图中的像素的总数量;
根据所述第一像素数量、所述第二像素数量、所述第三插值点的第一坐标值、所述第四插值点的第一坐标值的初始值和所述第六插值点的第一坐标值确定所述第四插值点的第一坐标值;
根据所述待处理图像的所述第二亮度区间的直方图信息,所述第四插值点的第一坐标值和所述第六插值点的第一坐标值,确定所述第五插值点的第一坐标值。
10.根据权利要求9所述的方法,其特征在于,所述第二亮度区间包括N个子区间,N为正整数,所述根据所述待处理图像的所述第二亮度区间的直方图信息,所述第四插值点的第一坐标值和所述第六插值点的第一坐标值,确定所述第五插值点的第一坐标值,包括:
从所述N个子区间中确定出第i个子区间,所述第i个子区间位于所述N个子区间的n个子区间中,所述n个子区间的序号大于或者等于N/4,并且所述n个子区间的序号小于或者等于3N/4,所述待处理图像中亮度值位于所述第i个子区间的像素个数为所述n个子区间中的最少值;
根据所述第四插值点的第一坐标值、第六插值点的第一坐标值、所述i确定所述第五插值点的第一坐标值。
11.根据权利要求10所述的方法,其特征在于,所述N的取值为8。
13.根据权利要求9至11任一项所述的方法,其特征在于,所述根据所述第一像素数量、所述第二像素数量、所述第三插值点的第一坐标值、所述第四插值点的第一坐标值的初始值和所述第六插值点的第一坐标值确定所述第四插值点的第一坐标值包括:
确定所述第三亮度区间的长度占所述第一像素的RGB分量最大值的比例;
根据如下公式确定所述第四插值点的第一坐标值:
15.根据权利要求4所述的方法,其特征在于,所述方法还包括:
根据所述待处理图像的亮度直方图,第四插值点的第一坐标值,第五插值点的第一坐标值和第六插值点的第一坐标值,确定第三像素数量和第四像素数量,所述第三像素数量为所述亮度直方图中位于所述第四插值点的第一坐标值和所述第五插值点的第一坐标值之间的区间的像素数量,所述第四像素数量为所述亮度直方图中位于所述第五插值点的第一坐标值和所述第六插值点的第一坐标值之间的区间的像素数量;
根据所述第三像素数量和所述第四像素数量,确定所述第五插值点的第二坐标值的调整强度,所述调整强度用于指示第五插值点的第二坐标值相对于所述第五插值点的第二坐标值的初始值的偏移程度。
19.一种图像动态范围处理方法,其特征在于,包括:
获取待处理图像的第一像素的RGB分量最大值,其中:所述第一像素为所述待处理图像中像素的RGB分量最大值最大的像素,所述像素的RGB分量最大值为所述像素的R分量、G分量和B分量中的最大值;
根据所述第一像素的RGB分量最大值和所述待处理图像的亮度直方图确定至少一个三次样条曲线相关的插值点的第一坐标值,其中,每个所述三次样条曲线相关的插值点包括第一插值点、第二插值点和第三插值点,所述插值点的第一坐标值为亮度值,每个所述三次样条曲线相关的插值点的第一坐标值用于确定对应的所述三次样条曲线的函数,每个所述三次样条曲线的函数用于将所述待处理图像中亮度值位于对应的第一亮度区间内的像素的亮度值映射为第一目标亮度值,从而修正所述待处理图像的动态范围,所述三次样条曲线的函数对应的第一亮度区间为所述三次样条曲线相关的第一插值点的第一坐标值和第三插值点的第一坐标值之间的区间。
20.根据权利要求19所述的方法,其特征在于,所述三次样条曲线的数量为一个;
所述根据所述第一像素的RGB分量最大值和所述待处理图像的亮度直方图确定至少一个三次样条曲线相关的插值点的第一坐标值包括:
根据所述亮度直方图确定第一百分比对应的第二像素的RGB分量最大值、第二百分比对应的第三像素的RGB分量最大值、第三百分比对应的第四像素的RGB分量最大值,其中,所述第一百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第二像素的RGB分量最大值的像素占所述多个像素的百分比,所述第二百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第三像素的RGB分量最大值的像素占所述多个像素的百分比,所述第三百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第四像素的RGB分量最大值的像素占所述多个像素的百分比;
根据所述第一百分比对应的第二像素的RGB分量最大值、所述第二百分比对应的第三像素的RGB分量最大值、所述第三百分比对应的第四像素的RGB分量最大值确定所述第一插值点的第一坐标值;
将所述第三插值点的第一坐标值设置为所述第一像素的RGB分量最大值;
根据所述第一插值点的第一坐标值、所述第三插值点的第一坐标值、所述亮度直方图中所述第一亮度区间对应的直方图信息,确定所述第二插值点的第一坐标值。
21.根据权利要求20所述的方法,其特征在于,所述根据所述第一百分比对应的第二像素的RGB分量最大值、所述第二百分比对应的第三像素的RGB分量最大值、所述第三百分比对应的第四像素的RGB分量最大值确定所述第一插值点的第一坐标值包括:
根据所述第一百分比对应的第二像素的RGB分量最大值、所述第二百分比对应的第三像素的RGB分量最大值和亮度阈值确定所述第一插值点的第一坐标值的第一取值;
根据所述第一百分比对应的第二像素的RGB分量最大值、所述第二百分比对应的第三像素的RGB分量最大值、所述第三百分比对应的第四像素的RGB分量最大值和所述第一取值确定所述第一插值点的第一坐标值。
23.根据权利要求21所述的方法,其特征在于,所述根据所述第一百分比对应的第二像素的RGB分量最大值、所述第二百分比对应的第三像素的RGB分量最大值、所述第三百分比对应的第四像素的RGB分量最大值和所述第一取值确定所述第一插值点的第一坐标值包括:
确定两倍的所述第二百分比对应的第三像素的RGB分量最大值与所述第一百分比对应的第二像素的RGB分量最大值的差;
判断所述第三百分比对应的第四像素的RGB分量最大值是否大于得到的差与第一预设数值的和且所述第一取值是否大于第一阈值;
若是,则将所述第一插值点的第一坐标值设置为所述第一取值。
24.根据权利要求20所述的方法,其特征在于,所述根据所述第一百分比对应的第二像素的RGB分量最大值、所述第二百分比对应的第三像素的RGB分量最大值、所述第三百分比对应的第四像素的RGB分量最大值确定所述第一插值点的第一坐标值包括:
根据所述待处理图像的亮度直方图确定第四百分比对应的第五像素的RGB分量最大值、第五百分比对应的第六像素的RGB分量最大值,第六百分比对应的第七像素的RGB分量最大值,其中,所述第四百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第五像素的RGB分量最大值的像素占所述多个像素的百分比,所述第五百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第六像素的RGB分量最大值的像素占所述多个像素的百分比,所述第六百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第七像素的RGB分量最大值的像素占所述多个像素的百分比;
根据所述第四百分比对应的第五像素的RGB分量最大值、第一百分比对应的第二像素的RGB分量最大值和亮度阈值确定所述第一插值点的第一坐标值的第一取值;
根据所述第一百分比对应的第二像素的RGB分量最大值、第二百分比对应的第三像素的RGB分量最大值和亮度阈值确定所述第一插值点的第一坐标值的第二取值;
根据所述第二百分比对应的第三像素的RGB分量最大值、第三百分比对应的第四像素的RGB分量最大值和亮度阈值确定所述第一插值点的第一坐标值的第三取值;
根据所述第四百分比对应的第五像素的RGB分量最大值、第五百分比对应的第六像素的RGB分量最大值、所述第一百分比对应的第二像素的RGB分量最大值、第二百分比对应的第三像素的RGB分量最大值、第三百分比对应的第四像素的RGB分量最大值、第六百分比对应的第七像素的RGB分量最大值和所述第一取值至所述第三取值确定所述第一插值点的第一坐标值。
25.根据权利要求24所述的方法,其特征在于,所述第一百分比为90%,第二百分比为95%,第三百分比为99%,所述第四百分比为50%,第五百分比为10%,第六百分比为100%;
所述确定所述第一插值点的第一坐标值的第一取值包括:根据第一公式确定所述第一插值点的第一坐标值的第一取值,其中,所述第一公式为:
所述确定所述第一插值点的第一坐标值的第二取值包括:根据第二公式确定所述第一插值点的第一坐标值的第二取值,其中,所述第二公式为:
所述确定所述第一插值点的第一坐标值的第三取值包括:根据第三公式确定所述第一插值点的第一坐标值的第三取值,其中,所述第三公式为:
其中,TH1_used1为所述第一取值,TH1_used2为所述第二取值,TH1_used3为所述第三取值,g_maxRGBdistribution90为所述90%对应的第二像素的RGB分量最大值,g_maxRGBdistribution95为所述95%对应的第三像素的RGB分量最大值,g_maxRGBdistribution50为所述50%对应的第五像素的RGB分量最大值,g_maxRGBdistribution99为所述99%对应的对应的第四像素的RGB分量最大值,g_maxRGBdistribution10为所述10%对应的第六像素的RGB分量最大值,THRESOLD为亮度阈值。
26.根据权利要求25所述的方法,其特征在于,所述确定所述第一插值点的第一坐标值包括:
通过第四公式确定所述第一插值点的第一坐标值的初始值:
通过第五公式并结合所述第一插值点的第一坐标值的初始值、所述第二取值和所述第三取值确定所述第一插值点的第一坐标值:
其中,TH1为所述第一插值点的第一坐标值,TH1_used为所述第一插值点的第一坐标值的初始值,TH1_used1为所述第一取值,TH1_used2为所述第二取值,TH1_used3为所述第三取值,g_maxRGBdistribution90为所述90%对应的第二像素的RGB分量最大值,g_maxRGBdistribution95为所述95%对应的第三像素的RGB分量最大值,g_maxRGBdistribution50为所述50%对应的第五像素的RGB分量最大值,g_maxRGBdistribution99为所述99%对应的对应的第四像素的RGB分量最大值,g_maxRGBdistribution10为所述10%对应的第六像素的RGB分量最大值,g_maxRGBdistribution100为所述100%对应的第七像素的RGB分量最大值。
27.根据权利要求20~26中任一项所述的方法,其特征在于,所述第一亮度区间包括N个子区间,N为正整数;
所述根据所述第一插值点的第一坐标值、所述第三插值点的第一坐标值、所述亮度直方图中所述第一亮度区间对应的直方图信息,确定所述第二插值点的第一坐标值包括:
从所述N个子区间中确定出第i个子区间,所述第i个子区间位于所述N个子区间的n个子区间中,所述n个子区间的序号大于或者等于N/4,并且所述n个子区间的序号小于或者与3N/4,所述待处理图像中亮度值位于所述第i个子区间的像素个数为所述n个子区间中的最少值;
根据所述第一插值点的第一坐标值、所述第三插值点的第一坐标值、所述i确定所述第二插值点的第一坐标值。
28.根据权利要求27所述的方法,其特征在于,所述N的取值为8。
30.根据权利要求20所述的方法,其特征在于,所述三次样条曲线的函数根据如下方式获得:
获取基础映射曲线的函数;
根据所述基础映射曲线的函数,对所述第一插值点的第一坐标值,以及所述第三插值点的第一坐标值进行映射,得到所述第一插值点的第二坐标值,以及所述第三插值点的第二坐标值;
根据所述第一插值点的第一坐标值,所述第二插值点的第一坐标值,所述第三插值点的第一坐标值,所述第一插值点的第二坐标值,以及所述第三插值点的第二坐标值,确定所述第二插值点的第二坐标值;
根据所述第一插值点的第一坐标值,所述第二插值点的第一坐标值,所述第三插值点的第一坐标值,所述第一插值点的第二坐标值,所述第三插值点的第二坐标值,以及所述第二插值点的第二坐标值,确定所述三次样条曲线的函数。
33.根据权利要求20所述的方法,其特征在于,所述方法还包括:
根据所述待处理图像的亮度直方图,第一插值点的第一坐标值,第二插值点的第一坐标值和第三插值点的第一坐标值,确定第一像素数量和第二像素数量,所述第一像素数量为所述亮度直方图中位于所述第一插值点的第一坐标值和所述第二插值点的第一坐标值之间的区间的像素数量,所述第二像素数量为所述亮度直方图中位于所述第二插值点的第一坐标值和所述第三插值点的第一坐标值之间的区间的像素数量;
根据所述第一像素数量和所述第二像素数量,确定所述第二插值点的第二坐标值的调整强度,所述调整强度用于指示第二插值点的第二坐标值相对于所述第二插值点的第二坐标值的初始值的偏移程度。
36.一种图像动态范围处理方法,其特征在于,包括:
接收编码端发送的三次样条曲线的函数和所述待处理图像的数据信息,其中,所述待处理图像的数据信息用于获取所述待处理图像,所述三次样条曲线的函数用于将所述待处理图像中亮度值位于与其对应的区间内的像素的亮度值映射为目标亮度值,从而修正所述待处理图像的动态范围;
根据所述三次样条曲线的函数和所述待处理图像的数据信息修正所述待处理图像的动态范围。
37.一种图像动态范围处理装置,其特征在于,包括:
获取模块,用于获取第一三次样条曲线相关的第一插值点的第一坐标值和第三插值点的第一坐标值,所述第一插值点的第一坐标值和所述第三插值点的第一坐标值为亮度值;
第一确定模块,用于根据待处理图像的第一亮度区间的直方图信息,确定所述第一三次样条曲线相关的第二插值点的第一坐标值,所述第一亮度区间为所述第一插值点的第一坐标值和所述第三插值点的第一坐标值之间的区间,所述第一插值点的第一坐标值、所述第二插值点的第一坐标值以及所述第三插值点的第一坐标值用于确定所述第一三次样条曲线的函数,所述第一三次样条曲线的函数用于将所述待处理图像中亮度值位于所述第一亮度区间内的像素的亮度值映射为第一目标亮度值,从而修正所述待处理图像的动态范围。
38.根据权利要求37所述的装置,其特征在于,所述第一三次样条曲线的函数根据如下方式获得:
所述获取模块,还用于获取基础映射曲线的函数;
所述第一确定模块,还用于根据所述基础映射曲线的函数,对所述第一插值点的第一坐标值,以及所述第三插值点的第一坐标值进行映射,得到所述第一插值点的第二坐标值,以及所述第三插值点的第二坐标值;根据所述第一插值点的第一坐标值,所述第二插值点的第一坐标值,所述第三插值点的第一坐标值,所述第一插值点的第二坐标值,以及所述第三插值点的第二坐标值,确定所述第二插值点的第二坐标值;根据所述第一插值点的第一坐标值,所述第二插值点的第一坐标值,所述第三插值点的第一坐标值,所述第一插值点的第二坐标值,所述第三插值点的第二坐标值,以及所述第二插值点的第二坐标值,确定所述第一三次样条曲线的函数。
40.根据权利要求37至39任一项所述的装置,其特征在于,所述装置还包括:
第二确定模块,用于根据所述第三插值点的第一坐标值、所述待处理图像的第一像素的RGB分量最大值,确定第二三次样条曲线相关的第四插值点、第五插值点和第六插值点的第一坐标值;其中:所述第一像素为所述待处理图像中RGB分量最大值最大的像素,所述像素的RGB分量最大值为所述像素的R分量、G分量和B分量中的最大值;
所述第四插值点的第一坐标值、所述第五插值点的第一坐标值以及所述第六插值点的第一坐标值,用于确定所述第二三次样条曲线的函数,所述第二三次样条曲线的函数用于将待处理图像中亮度值位于第二亮度区间内的像素的亮度值映射为第二目标亮度值,从而修正所述待处理图像的动态范围,所述第二亮度区间为所述第四插值点的第一坐标值和第六插值点的第一坐标值之间的区间,所述第一亮度区间与所述第二亮度区间之间不存在重合区域。
41.根据权利要求37至40任一项所述的装置,其特征在于,所述装置还包括:
发送模块,用于将所述三次样条曲线的函数和所述待处理图像的数据信息发送至解码端,以使所述解码端根据所述三次样条曲线的函数对所述待处理图像的动态范围进行修正,所述待处理图像的数据信息用于获取所述待处理图像。
42.根据权利要求37至41任一项所述的装置,其特征在于,所述获取模块,具体用于将所述第一插值点的第一坐标值设置为第一预设亮度值;将所述第三插值点的第一坐标值设置为第二预设亮度值。
45.根据权利要求40所述的装置,其特征在于,所述第二确定模块,用于采用如下方式确定所述第四插值点、所述第五插值点和所述第六插值点的第一坐标值:
根据所述第三插值点的第一坐标值、所述第一像素的RGB分量最大值确定所述第四插值点的第一坐标值的初始值;
将所述第六插值点的第一坐标值设置为所述第一像素的RGB分量最大值;
根据所述第四插值点的第一坐标值的初始值和所述第六插值点的第一坐标值,确定第一像素数量和第二像素数量;其中,所述第一像素数量为所述待处理图像中亮度值位于第三亮度区间的像素的数量,所述第三亮度区间为所述第四插值点的第一坐标值的初始值与所述第六插值点的第一坐标值之间的区间,所述第二像素数量为所述待处理图像中或者待处理图像的亮度直方图中的像素的总数量;
根据所述第一像素数量、所述第二像素数量、所述第三插值点的第一坐标值、所述第四插值点的第一坐标值的初始值和所述第六插值点的第一坐标值确定所述第四插值点的第一坐标值;
根据所述待处理图像的所述第二亮度区间的直方图信息,所述第四插值点的第一坐标值和所述第六插值点的第一坐标值,确定所述第五插值点的第一坐标值。
46.根据权利要求45所述的装置,其特征在于,所述第二亮度区间包括N个子区间,N为正整数,所述第二确定模块用于采用如下方式确定所述第五插值点的第一坐标值:
从所述N个子区间中确定出第i个子区间,所述第i个子区间位于所述N个子区间的n个子区间中,所述n个子区间的序号大于或者等于N/4,并且所述n个子区间的序号小于或者等于3N/4,所述待处理图像中亮度值位于所述第i个子区间的像素个数为所述n个子区间中的最少值;
根据所述第四插值点的第一坐标值、第六插值点的第一坐标值、所述i确定所述第五插值点的第一坐标值。
47.根据权利要求46述的装置,其特征在于,所述N的取值为8。
49.根据权利要求45至47任一项所述的装置,其特征在于,所述第二确定模块用于采用如下方式确定所述第四插值点的第一坐标值:
确定所述第三亮度区间的长度占所述第一像素的RGB分量最大值的比例;根据如下公式确定所述第四插值点的第一坐标值:
51.根据权利要求40所述的装置,其特征在于,所述装置还包括:
所述第二确定模块,还用于根据所述待处理图像的亮度直方图,第四插值点的第一坐标值,第五插值点的第一坐标值和第六插值点的第一坐标值,确定第三像素数量和第四像素数量,所述第三像素数量为所述亮度直方图中位于所述第四插值点的第一坐标值和所述第五插值点的第一坐标值之间的区间的像素数量,所述第四像素数量为所述亮度直方图中位于所述第五插值点的第一坐标值和所述第六插值点的第一坐标值之间的区间的像素数量;根据所述第三像素数量和所述第四像素数量,确定所述第五插值点的第二坐标值的调整强度,所述调整强度用于指示第五插值点的第二坐标值相对于所述第五插值点的第二坐标值的初始值的偏移程度。
55.一种图像动态范围处理装置,其特征在于,包括:
获取模块,用于获取待处理图像的第一像素的RGB分量最大值,其中:所述第一像素为所述待处理图像中像素的RGB分量最大值最大的像素,所述像素的RGB分量最大值为所述像素的R分量、G分量和B分量中的最大值;
第一确定模块,用于根据所述第一像素的RGB分量最大值和所述待处理图像的亮度直方图确定至少一个三次样条曲线相关的插值点的第一坐标值,其中,每个所述三次样条曲线相关的插值点包括第一插值点、第二插值点和第三插值点,所述插值点的第一坐标值为亮度值,每个所述三次样条曲线相关的插值点的第一坐标值用于确定对应的所述三次样条曲线的函数,每个所述三次样条曲线的函数用于将所述待处理图像中亮度值位于对应的第一亮度区间内的像素的亮度值映射为第一目标亮度值,从而修正所述待处理图像的动态范围,所述三次样条曲线的函数对应的第一亮度区间为所述三次样条曲线的函数相关的第一插值点的第一坐标值和第三插值点的第一坐标值之间的区间。
56.根据权利要求55所述的装置,其特征在于,所述三次样条曲线的数量为一个;
所述第一确定模块,还用于根据所述亮度直方图确定第一百分比对应的第二像素的RGB分量最大值、第二百分比对应的第三像素的RGB分量最大值、第三百分比对应的第四像素的RGB分量最大值,其中,所述第一百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第二像素的RGB分量最大值的像素占所述多个像素的百分比,所述第二百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第三像素的RGB分量最大值的像素占所述多个像素的百分比,所述第三百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第四像素的RGB分量最大值的像素占所述多个像素的百分比;根据所述第一百分比对应的第二像素的RGB分量最大值、所述第二百分比对应的第三像素的RGB分量最大值、所述第三百分比对应的第四像素的RGB分量最大值确定所述第一插值点的第一坐标值;将所述第三插值点的第一坐标值设置为所述第一像素的RGB分量最大值;根据所述第一插值点的第一坐标值、所述第三插值点的第一坐标值、所述亮度直方图中所述第一亮度区间对应的直方图信息,确定所述第二插值点的第一坐标值。
57.根据权利要求56所述的装置,其特征在于,所述第一确定模块,用于采用下述方式确定所述第一插值点的第一坐标值:
根据所述第一百分比对应的第二像素的RGB分量最大值、所述第二百分比对应的第三像素的RGB分量最大值和亮度阈值确定所述第一插值点的第一坐标值的第一取值;
根据所述第一百分比对应的第二像素的RGB分量最大值、所述第二百分比对应的第三像素的RGB分量最大值、所述第三百分比对应的第四像素的RGB分量最大值和所述第一取值确定所述第一插值点的第一坐标值。
59.根据权利要求57所述的装置,其特征在于,所述第一确定模块,用于采用如下方式确定所述第一插值点的第一坐标值:
确定两倍的所述第二百分比对应的第三像素的RGB分量最大值与所述第一百分比对应的第二像素的RGB分量最大值的差;判断所述第三百分比对应的第四像素的RGB分量最大值是否大于得到的差与第一预设数值的和且所述第一取值是否大于第一阈值;若是,则将所述第一插值点的第一坐标值设置为所述第一取值。
60.根据权利要求56所述的装置,其特征在于,所述第一确定模块,用于采用如下方式确定所述第一插值点的第一坐标值:
根据所述待处理图像的亮度直方图确定第四百分比对应的第五像素的RGB分量最大值、第五百分比对应的第六像素的RGB分量最大值,第六百分比对应的第七像素的RGB分量最大值,其中,所述第四百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第五像素的RGB分量最大值的像素占所述多个像素的百分比,所述第五百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第六像素的RGB分量最大值的像素占所述多个像素的百分比,所述第六百分比表示所述待处理图像中的多个像素中RGB分量最大值小于或等于所述第七像素的RGB分量最大值的像素占所述多个像素的百分比;
根据所述第四百分比对应的第五像素的RGB分量最大值、第一百分比对应的第二像素的RGB分量最大值和亮度阈值确定所述第一插值点的第一坐标值的第一取值;
根据所述第一百分比对应的第二像素的RGB分量最大值、第二百分比对应的第三像素的RGB分量最大值和亮度阈值确定所述第一插值点的第一坐标值的第二取值;
根据所述第二百分比对应的第三像素的RGB分量最大值、第三百分比对应的第四像素的RGB分量最大值和亮度阈值确定所述第一插值点的第一坐标值的第三取值;
根据所述第四百分比对应的第五像素的RGB分量最大值、第五百分比对应的第六像素的RGB分量最大值、所述第一百分比对应的第二像素的RGB分量最大值、第二百分比对应的第三像素的RGB分量最大值、第三百分比对应的第四像素的RGB分量最大值、第六百分比对应的第七像素的RGB分量最大值和所述第一取值至所述第三取值确定所述第一插值点的第一坐标值。
61.根据权利要求60所述的装置,其特征在于,所述第一百分比为90%,第二百分比为95%,第三百分比为99%,所述第四百分比为50%,第五百分比为10%,第六百分比为100%;
所述第一确定模块,用于根据第一公式确定所述第一插值点的第一坐标值的第一取值,其中,所述第一公式为:
根据第二公式确定所述第一插值点的第一坐标值的第二取值,其中,所述第二公式为:
根据第三公式确定所述第一插值点的第一坐标值的第三取值,其中,所述第三公式为:
其中,TH1_used1为所述第一取值,TH1_used2为所述第二取值,TH1_used3为所述第三取值,g_maxRGBdistribution90为所述90%对应的第二像素的RGB分量最大值,g_maxRGBdistribution95为所述95%对应的第三像素的RGB分量最大值,g_maxRGBdistribution50为所述50%对应的第五像素的RGB分量最大值,g_maxRGBdistribution99为所述99%对应的对应的第四像素的RGB分量最大值,g_maxRGBdistribution10为所述10%对应的第六像素的RGB分量最大值,THRESOLD为亮度阈值。
62.根据权利要求61所述的装置,其特征在于,所述第一确定模块,用于通过第四公式确定所述第一插值点的第一坐标值的初始值:
通过第五公式并结合所述第一插值点的第一坐标值的初始值、所述第二取值和所述第三取值确定所述第一插值点的第一坐标值:
其中,TH1为所述第一插值点的第一坐标值,TH1_used为所述第一插值点的第一坐标值的初始值,TH1_used1为所述第一取值,TH1_used2为所述第二取值,TH1_used3为所述第三取值,g_maxRGBdistribution90为所述90%对应的第二像素的RGB分量最大值,g_maxRGBdistribution95为所述95%对应的第三像素的RGB分量最大值,g_maxRGBdistribution50为所述50%对应的第五像素的RGB分量最大值,g_maxRGBdistribution99为所述99%对应的对应的第四像素的RGB分量最大值,g_maxRGBdistribution10为所述10%对应的第六像素的RGB分量最大值,g_maxRGBdistribution100为所述100%对应的第七像素的RGB分量最大值。
63.根据权利要求56~62中任一项所述的装置,其特征在于,所述第一亮度区间包括N个子区间,N为正整数;
所述第一确定模块,用于采用下述方式确定所述第二插值点的第一坐标值:
从所述N个子区间中确定出第i个子区间,所述第i个子区间位于所述N个子区间的n个子区间中,所述n个子区间的序号大于或者等于N/4,并且所述n个子区间的序号小于或者与3N/4,所述待处理图像中亮度值位于所述第i个子区间的像素个数为所述n个子区间中的最少值;
根据所述第一插值点的第一坐标值、所述第三插值点的第一坐标值、所述i确定所述第二插值点的第一坐标值。
64.根据权利要求63所述的装置,其特征在于,所述N的取值为8。
66.根据权利要求56所述的装置,其特征在于,所述三次样条曲线的函数根据如下方式获得:
所述获取模块,还用于获取基础映射曲线的函数;
所述第一确定模块,还用于根据所述基础映射曲线的函数,对所述第一插值点的第一坐标值,以及所述第三插值点的第一坐标值进行映射,得到所述第一插值点的第二坐标值,以及所述第三插值点的第二坐标值;根据所述第一插值点的第一坐标值,所述第二插值点的第一坐标值,所述第三插值点的第一坐标值,所述第一插值点的第二坐标值,以及所述第三插值点的第二坐标值,确定所述第二插值点的第二坐标值;根据所述第一插值点的第一坐标值,所述第二插值点的第一坐标值,所述第三插值点的第一坐标值,所述第一插值点的第二坐标值,所述第三插值点的第二坐标值,以及所述第二插值点的第二坐标值,确定所述三次样条曲线的函数。
69.根据权利要求56所述的装置,其特征在于,所述装置还包括:
第二确定模块,用于根据所述待处理图像的亮度直方图,第一插值点的第一坐标值,第二插值点的第一坐标值和第三插值点的第一坐标值,确定第一像素数量和第二像素数量,所述第一像素数量为所述亮度直方图中位于所述第一插值点的第一坐标值和所述第二插值点的第一坐标值之间的区间的像素数量,所述第二像素数量为所述亮度直方图中位于所述第二插值点的第一坐标值和所述第三插值点的第一坐标值之间的区间的像素数量;根据所述第一像素数量和所述第二像素数量,确定所述第二插值点的第二坐标值的调整强度,所述调整强度用于指示第二插值点的第二坐标值相对于所述第二插值点的第二坐标值的初始值的偏移程度。
72.一种图像动态范围处理装置,其特征在于,包括:
接收模块,用于接收编码端发送的三次样条曲线的函数和所述待处理图像的数据信息,其中,所述待处理图像的数据信息用于获取所述待处理图像,所述三次样条曲线的函数用于将所述待处理图像中亮度值位于与其对应的区间内的像素的亮度值映射为目标亮度值,从而修正所述待处理图像的动态范围;
修正模块,用于根据所述三次样条曲线的函数和所述待处理图像的数据信息修正所述待处理图像的动态范围。
73.一种图像处理的设备,其特征在于,包括处理器和存储器,所述处理器和所述存储器耦合,所述处理器用于使得所述装置执行权利要求1至18中任一项所述的方法或者权利要求19至35中任一项所述的方法或者权利要求36所述的方法。
74.一种芯片装置,包括:输入接口、输出接口、至少一个处理器、存储器,所述输入接口、所述输出接口、所述处理器以及所述存储器之间通过内部连接通路互相通信,所述处理器用于执行所述存储器中的代码,其特征在于,当所述处理器执行所述代码时,所述芯片装置实现上述权利要求1至18中任一项所述的方法或者权利要求19至35中任一项所述的方法或者权利要求36所述的方法。
75.一种计算机可读存储介质,用于存储计算机程序,其特征在于,所述计算机程序包括用于实现上述权利要求1至18中任一项所述的方法或者权利要求19至35中任一项所述的方法或者权利要求36所述的方法。
76.一种计算机程序产品,所述计算机程序产品中包含指令,其特征在于,当所述指令在计算机上运行时,使得计算机实现上述权利要求1至18中任一项所述的方法或者权利要求19至35中任一项所述的方法或者权利要求36所述的方法。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010383489.0A CN113628106A (zh) | 2020-05-08 | 2020-05-08 | 图像动态范围处理方法和装置 |
PCT/CN2021/083616 WO2021223542A1 (zh) | 2020-05-08 | 2021-03-29 | 图像动态范围处理方法和装置 |
CN202180005691.2A CN114467110A (zh) | 2020-05-08 | 2021-03-29 | 图像动态范围处理方法和装置 |
JP2022567640A JP7454704B2 (ja) | 2020-05-08 | 2021-03-29 | 画像ダイナミックレンジ処理方法および装置 |
EP21800276.4A EP4138029A4 (en) | 2020-05-08 | 2021-03-29 | METHOD AND APPARATUS FOR PROCESSING THE DYNAMIC RANGE OF AN IMAGE |
KR1020227042438A KR20230005996A (ko) | 2020-05-08 | 2021-03-29 | 이미지의 동적 범위를 처리하기 위한 방법 및 장치 |
US18/053,156 US20230140259A1 (en) | 2020-05-08 | 2022-11-07 | Image dynamic range processing method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010383489.0A CN113628106A (zh) | 2020-05-08 | 2020-05-08 | 图像动态范围处理方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113628106A true CN113628106A (zh) | 2021-11-09 |
Family
ID=78377308
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010383489.0A Pending CN113628106A (zh) | 2020-05-08 | 2020-05-08 | 图像动态范围处理方法和装置 |
CN202180005691.2A Pending CN114467110A (zh) | 2020-05-08 | 2021-03-29 | 图像动态范围处理方法和装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180005691.2A Pending CN114467110A (zh) | 2020-05-08 | 2021-03-29 | 图像动态范围处理方法和装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230140259A1 (zh) |
EP (1) | EP4138029A4 (zh) |
JP (1) | JP7454704B2 (zh) |
KR (1) | KR20230005996A (zh) |
CN (2) | CN113628106A (zh) |
WO (1) | WO2021223542A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023134235A1 (zh) * | 2022-01-12 | 2023-07-20 | 华为技术有限公司 | 图像处理方法及电子设备 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115643385A (zh) * | 2022-11-10 | 2023-01-24 | 北京奇艺世纪科技有限公司 | 视频数据处理方法、视频显示方法及装置、电子设备及可读存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030053690A1 (en) * | 2001-07-06 | 2003-03-20 | Jasc Software, Inc. | Automatic contrast enhancement |
US20050280869A1 (en) * | 2004-06-17 | 2005-12-22 | Fuji Photo Film Co., Ltd. | Image correcting apparatus and method, and image correcting program, and look-up table creating apparatus and method, and look-up table creating program |
US20090067713A1 (en) * | 2007-09-10 | 2009-03-12 | Shing-Chia Chen | Content-adaptive contrast improving method and apparatus for digital image |
JP2010074222A (ja) * | 2008-09-16 | 2010-04-02 | Sony Corp | 画像処理装置、輝度変換曲線補正方法およびプログラム |
CN103281537A (zh) * | 2013-05-23 | 2013-09-04 | 华为技术有限公司 | 一种图像动态范围压缩方法及装置 |
CN105745914A (zh) * | 2013-11-22 | 2016-07-06 | 杜比实验室特许公司 | 用于逆色调映射的方法和*** |
US20190335149A1 (en) * | 2017-09-13 | 2019-10-31 | Panasonic Intellectual Property Management Co., Ltd. | Video display device and video display method |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4982399B2 (ja) | 2008-01-30 | 2012-07-25 | 株式会社リコー | 画像処理装置および画像処理方法および画像処理プログラムおよび撮像装置 |
CN102231264B (zh) * | 2011-06-28 | 2013-03-06 | 王洪剑 | 动态对比度增强装置和方法 |
JP2015011585A (ja) | 2013-06-28 | 2015-01-19 | 株式会社リコー | 画像処理装置、画像形成装置、画像形成システム、画像処理方法およびプログラム |
JP6871945B2 (ja) * | 2015-12-21 | 2021-05-19 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 特定のディスプレイのための高ダイナミックレンジ画像の最適化 |
CN109785239B (zh) * | 2017-11-13 | 2021-05-04 | 华为技术有限公司 | 图像处理的方法和装置 |
CN112215760A (zh) * | 2019-07-11 | 2021-01-12 | 华为技术有限公司 | 一种图像处理的方法及装置 |
-
2020
- 2020-05-08 CN CN202010383489.0A patent/CN113628106A/zh active Pending
-
2021
- 2021-03-29 EP EP21800276.4A patent/EP4138029A4/en active Pending
- 2021-03-29 KR KR1020227042438A patent/KR20230005996A/ko not_active Application Discontinuation
- 2021-03-29 WO PCT/CN2021/083616 patent/WO2021223542A1/zh unknown
- 2021-03-29 CN CN202180005691.2A patent/CN114467110A/zh active Pending
- 2021-03-29 JP JP2022567640A patent/JP7454704B2/ja active Active
-
2022
- 2022-11-07 US US18/053,156 patent/US20230140259A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030053690A1 (en) * | 2001-07-06 | 2003-03-20 | Jasc Software, Inc. | Automatic contrast enhancement |
US20050280869A1 (en) * | 2004-06-17 | 2005-12-22 | Fuji Photo Film Co., Ltd. | Image correcting apparatus and method, and image correcting program, and look-up table creating apparatus and method, and look-up table creating program |
US20090067713A1 (en) * | 2007-09-10 | 2009-03-12 | Shing-Chia Chen | Content-adaptive contrast improving method and apparatus for digital image |
JP2010074222A (ja) * | 2008-09-16 | 2010-04-02 | Sony Corp | 画像処理装置、輝度変換曲線補正方法およびプログラム |
CN103281537A (zh) * | 2013-05-23 | 2013-09-04 | 华为技术有限公司 | 一种图像动态范围压缩方法及装置 |
CN105745914A (zh) * | 2013-11-22 | 2016-07-06 | 杜比实验室特许公司 | 用于逆色调映射的方法和*** |
US20190335149A1 (en) * | 2017-09-13 | 2019-10-31 | Panasonic Intellectual Property Management Co., Ltd. | Video display device and video display method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023134235A1 (zh) * | 2022-01-12 | 2023-07-20 | 华为技术有限公司 | 图像处理方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2021223542A1 (zh) | 2021-11-11 |
EP4138029A4 (en) | 2023-10-25 |
CN114467110A (zh) | 2022-05-10 |
US20230140259A1 (en) | 2023-05-04 |
JP7454704B2 (ja) | 2024-03-22 |
KR20230005996A (ko) | 2023-01-10 |
EP4138029A1 (en) | 2023-02-22 |
JP2023525274A (ja) | 2023-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2021201806B2 (en) | Device and method of improving the perceptual luminance nonlinearity-based image data exchange across different display capabilities | |
US20230140259A1 (en) | Image dynamic range processing method and apparatus | |
TWI790596B (zh) | 動態範圍映射的方法和裝置 | |
CN111724316B (zh) | 处理高动态范围图像的方法和装置 | |
CN107409223B (zh) | 视频编解码方法和视频编解码器 | |
CN114467298B (zh) | 一种图像信号转换处理方法、装置及终端设备 | |
US20230057829A1 (en) | Encoder, decoder, system, and method for determining tone mapping curve parameters | |
CN115187487A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
WO2021073209A1 (zh) | 处理高动态范围图像的方法和装置 | |
CN118197192A (zh) | 图像显示方法及装置、计算机可读介质和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |