CN107172418A - 一种基于曝光情况分析的色阶映射图像质量评价方法 - Google Patents

一种基于曝光情况分析的色阶映射图像质量评价方法 Download PDF

Info

Publication number
CN107172418A
CN107172418A CN201710427465.9A CN201710427465A CN107172418A CN 107172418 A CN107172418 A CN 107172418A CN 201710427465 A CN201710427465 A CN 201710427465A CN 107172418 A CN107172418 A CN 107172418A
Authority
CN
China
Prior art keywords
over
exposed
under
scale map
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710427465.9A
Other languages
English (en)
Other versions
CN107172418B (zh
Inventor
蒋刚毅
宋洋
陈芬
郁梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201710427465.9A priority Critical patent/CN107172418B/zh
Priority to US15/698,624 priority patent/US10210433B2/en
Publication of CN107172418A publication Critical patent/CN107172418A/zh
Application granted granted Critical
Publication of CN107172418B publication Critical patent/CN107172418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于曝光情况分析的色阶映射图像质量评价方法，其采用了预曝光的方式对高动态范围图像中各区域的曝光属性进行了探索，并将高动态范围图像划分为易曝光过度区域、易曝光不足区域以及易正常曝光区域，在不同区域提取不同的质量特征，这样可使得后续的质量特征提取更有针对性；其虑到色阶映射图像与传统图像中失真形态的差异，在曝光区域分割的基础上，在色阶映射图像中提取曝光异常率、曝光不足残差能量、曝光过度残差能量以及曝光色彩指数这些图像特征，能够更准确的反映出色阶映射图像的质量下降程度；从曝光区域分割和质量特征提取两个角度出发，有效提高了得到的客观评价结果与人眼主观感知之间的相关性。

Description

一种基于曝光情况分析的色阶映射图像质量评价方法
技术领域
本发明涉及一种图像质量评价技术，尤其是涉及一种基于曝光情况分析的色阶映射图像质量评价方法。
背景技术
随着图像采集以及成像技术的迅速发展，高动态范围成像技术由于能够展现更为丰富的图像场景信息，已经得到了越来越多的关注，并逐渐成为了成像显示领域的研究焦点。然而，现阶段各类图像处理***中普遍使用的仍然是传统的低动态范围显示设备，因此在实际应用中需要对高动态范围图像使用色阶映射算子进行处理，从而使其后向兼容于传统的低动态范围显示设备。由于色阶映射算子的非线性映射关系，经过其处理后生成的色阶映射图像不可避免地会出现质量下降的现象。因此，如何准确有效地评价色阶映射图像的质量对于色阶映射算法的设计以及高动态范围成像***的开发均有着积极的推动作用。
对于色阶映射图像的质量评价可分为主观质量评价和客观质量评价两大类。由于视觉信息最终由人眼所接受，因此主观质量评价的准确性最为可靠，然而主观质量评价需要观察者打分得到，费时费力且不易集成于成像***之中。相反，客观质量评价能够在***中实时地调整***参数，从而实现高质量成像***应用。因此，准确有效且客观的色阶映射图像质量评价方法具有很好的实际应用价值。
目前，已有一系列色阶映射图像客观质量评价方法被相继提出。其中具有代表性的方法主要有：1)Tone-mapped image quality index(TMQI)：该方法结合了两种在传统图像质量评价领域性能较好的评价方法，即多尺度结构相似度算法和自然图像统计算法，并在其基础上进行改进，使其能够完成色阶映射图像的质量评价。2)Feature similarityfor tone-mapped image(FSITM)：该方法在性能优秀的传统图像质量评价方法Featuresimilarity(FSIM)算法的基础上，加入了面向色阶映射图像的色彩空间拓展模型，使其能够完成色阶映射图像的质量评价。
通过上述介绍可以看出，目前现有的色阶映射图像质量评价方法主要通过在传统图像质量评价方法的基础上进行改进得到。然而，造成色阶映射图像质量下降的失真现象与传统图像质量评价中所面对的失真类型之间存在较大差异。因此，在传统图像质量评价中性能较好的特征提取等方法并不能准确地对色阶映射图像中的失真进行描述，因此现有方法的主观一致性仍然有待提高。
发明内容
本发明所要解决的技术问题是提供一种基于曝光情况分析的色阶映射图像质量评价方法，其能够有效地提高客观评价结果与人眼主观感知质量之间的相关性。
本发明解决上述技术问题所采用的技术方案为：一种基于曝光情况分析的色阶映射图像质量评价方法，其特征在于包括以下步骤：
①令SHDR表示未经处理的宽度为W且高度为H的高动态范围图像，令STM表示SHDR经过色阶映射算子处理后所生成的色阶映射图像，并将STM作为待评价的色阶映射图像；
②对SHDR的亮度分量进行不同程度的预曝光处理，生成SHDR的亮度分量的曝光过度图像和曝光不足图像，对应记为EIover和EIunder；
③将EIover划分为个互不重叠的尺寸大小为2u×2v的图像块；然后从EIover中的所有图像块中找出曝光过度块；接着将EIover中的所有曝光过度块构成曝光过度区域，记为其中，符号为向下取整运算符号，u和v取区间[2,5]内的相同的整数；
同样，将EIunder划分为个互不重叠的尺寸大小为2u×2v的图像块；然后从EIunder中的所有图像块中找出曝光不足块；接着将EIunder中的所有曝光不足块构成曝光不足区域，记为
④将SHDR划分为个互不重叠的尺寸大小为2u×2v的图像块；然后根据以及将SHDR划分为易曝光过度区域、易曝光不足区域以及易曝光正常区域，对应记为Rover、Runder以及Rnormal；
⑤将STM划分为个互不重叠的尺寸大小为2u×2v的图像块；然后将STM中与Rover相对应的区域作为色阶映射易曝光过度区域，并记为R1；并将STM中与Runder相对应的区域作为色阶映射易曝光不足区域，并记为R2；将STM中与Rnormal相对应的区域作为色阶映射易曝光正常区域，并记为R3；
⑥判断R1中的每个图像块是否出现曝光过度现象，如果出现曝光过度现象，则将该图像块判定为色阶映射曝光过度块；然后统计R1中的色阶映射曝光过度块的总个数，记为
同样，判断R2中的每个图像块是否出现曝光不足现象，如果出现曝光不足现象，则将该图像块判定为色阶映射曝光不足块；然后统计R2中的色阶映射曝光不足块的总个数，记为
⑦根据和计算STM的曝光异常率，记为ηabnormal，其中，表示R1中的图像块的总个数，表示R2中的图像块的总个数；
⑧计算R1的曝光过度残差能量，记为E1，并计算R2的曝光不足残差能量，记为E2，其中，μ1,n表示STM的亮度分量中与R1中的第n个图像块对应的区域中的所有像素点的像素值的均值，μ2,n'表示STM的亮度分量中与R2中的第n'个图像块对应的区域中的所有像素点的像素值的均值，为极端曝光过度亮度值， 为极端曝光不足亮度值，
⑨将R3从RGB色彩空间转换至opponent color space，记为R3'；然后计算R3'中的所有像素点的红绿通道的分量值的均值和方差，对应记为μrg和σrg；并计算R3'中的所有像素点的黄蓝通道的分量值的均值和方差，对应记为μyb和σyb；再计算R3'的曝光色彩指数，记为C3，其中，ωc表示色彩均值权重；
⑩获取STM的特征向量，记为 其中，符号“[]”为向量表示符号；
选取ntest幅高动态范围图像；然后利用不同的色阶映射算子生成Ntest幅色阶映射图像，将这Ntest幅色阶映射图像的集合作为训练图像集，记为Dtest；接着利用主观质量评价方法评价出Dtest中的每幅色阶映射图像的平均主观评分差值，将Dtest中的第m幅色阶映射图像的平均主观评分差值记为DMOSm；再按照步骤①至步骤⑩的过程，以相同的方式获得Dtest中的每幅色阶映射图像的特征向量，将Dtest中的第m幅色阶映射图像的特征向量记为其中，ntest>1，1≤m≤Ntest，1≤DMOSm≤100；
采用支持向量回归对Dtest中的所有色阶映射图像各自的平均主观评分差值以及特征向量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优权值矢量Vbest和最优偏置项bbest；之后利用Vbest和bbest构造得到支持向量回归训练模型；再根据支持向量回归训练模型，对进行测试，预测得到STM的客观质量评价预测值，记为Q，Q＝f(Xdis)，其中，Q是Xdis的函数，f()为函数表示形式，Xdis为输入，Xdis用于代表(Vbest)T为Vbest的转置，为Xdis的线性函数。
所述的步骤②中的EIover和EIunder的获取过程为：将EIover中坐标位置为(x,y)的像素点的像素值记为EIover(x,y)，将EIunder中坐标位置为(x,y)的像素点的像素值记为EIunder(x,y)，其中，1≤x≤W,1≤y≤H，符号为向下取整运算符号，Fover表示EIover对应的进光量参数，Fover＝8，Funder表示EIunder对应的进光量参数，Funder＝0，IHDR(x,y)表示SHDR的亮度分量IHDR中坐标位置为(x,y)的像素点的像素值，γ为伽马校正参数；
所述的步骤③中，从EIover中的所有图像块中找出曝光过度块的具体过程为：对于EIover中的第i个图像块，计算该图像块中的所有像素点的像素值的均值；然后比较该图像块中的所有像素点的像素值的均值与曝光过度阈值THover的大小，若均值大于曝光过度阈值THover，则将该图像块确定为曝光过度块；其中，
所述的步骤③中，从EIunder中的所有图像块中找出曝光不足块的具体过程为：对于EIunder中的第i个图像块，计算该图像块中的所有像素点的像素值的均值；然后比较该图像块中的所有像素点的像素值的均值与曝光不足阈值THunder的大小，若均值小于曝光不足阈值THunder，则将该图像块确定为曝光不足块。
所述的曝光过度阈值THover的取值为所述的曝光不足阈值THunder的取值为其中，αover为曝光过度控制因子，αover＝0.8，表示EIover中的所有像素点的像素值的均值，αunder为曝光不足控制因子，αunder＝1.2，表示EIunder中的所有像素点的像素值的均值。
所述的步骤④中的Rover、Runder以及Rnormal的确定过程为：
④_1a、将SHDR中当前待处理的图像块定义为当前图像块；
④_1b、设当前图像块为SHDR中的第i个图像块，并记为其中，
④_1c、如果且则将确定为易曝光过度块；如果且则将确定为易曝光不足块；如果且则将确定为易曝光正常块；如果且则也将确定为易曝光正常块；其中，表示EIover中的第i个图像块，表示EIunder中的第i个图像块；
④_1d、将SHDR中下一个待处理的图像块作为当前图像块，然后返回步骤④_1b继续执行，直至SHDR中的所有图像块均处理完毕，再将SHDR中的所有易曝光过度块构成的区域作为易曝光过度区域Rover，将SHDR中的所有易曝光不足块构成的区域作为易曝光不足区域Runder，将SHDR中的所有易曝光正常块构成的区域作为易曝光正常区域Rnormal。
所述的步骤⑥中，R1中的色阶映射曝光过度块的判定过程为：将STM的亮度分量划分为个互不重叠的尺寸大小为2u×2v的图像块；对于R1中的第n个图像块，记为R1,n，计算STM的亮度分量中与R1,n对应的图像块中的所有像素点的像素值的均值和标准差，对应记为μ1,n和σ1,n；如果满足条件μ1,n>200且σ1,n<σTM，则将R1,n判定为色阶映射曝光过度块；其中， 表示R1中的图像块的总个数，σTM表示STM的亮度分量中的所有像素点的像素值的标准差；
所述的步骤⑥中，R2中的色阶映射曝光不足块的判定过程为：将STM的亮度分量划分为个互不重叠的尺寸大小为2u×2v的图像块；对于R2中的第n'个图像块，记为R2,n'，计算STM的亮度分量中与R2,n'对应的图像块中的所有像素点的像素值的均值和标准差，对应记为μ2,n'和σ2,n'；如果满足条件μ2,n'<50且σ2,n'<σTM，则将R2,n'判定为色阶映射曝光不足块；其中， 表示R2中的图像块的总个数，σTM表示STM的亮度分量中的所有像素点的像素值的标准差。
与现有技术相比，本发明的优点在于：
本发明方法采用了预曝光的方式对高动态范围图像中各区域的曝光属性进行了探索，并相应的将高动态范围图像划分为易曝光过度区域、易曝光不足区域以及易正常曝光区域三部分，并在不同区域提取不同的质量特征，这样可以使得后续的质量特征提取更有针对性。
本发明方法考虑到色阶映射图像与传统图像中失真形态的差异，在曝光区域分割的基础上，在色阶映射图像中提取曝光异常率、曝光不足残差能量、曝光过度残差能量以及曝光色彩指数这些不同于传统图像质量评价的图像特征，从而使得所提取的特征能够更准确的反映出色阶映射图像的质量下降程度。
本发明方法全面考虑到色阶映射图像与传统图像之间的差异，从曝光区域分割和质量特征提取两个角度出发进行创新和改进，从而有效提高了本发明方法得到的客观评价结果与人眼主观感知之间的相关性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于曝光情况分析的色阶映射图像质量评价方法，其总体实现框图如图1所示，其包括以下步骤：
①令SHDR表示未经处理的宽度为W且高度为H的高动态范围图像，令STM表示SHDR经过色阶映射算子处理后所生成的色阶映射图像，并将STM作为待评价的色阶映射图像。
②对SHDR的亮度分量进行不同程度的预曝光处理，生成SHDR的亮度分量的曝光过度图像和曝光不足图像，对应记为EIover和EIunder；在此，EIover和EIunder均为极端曝光情况图像。
在此具体实施例中，步骤②中的EIover和EIunder的获取过程为：将EIover中坐标位置为(x,y)的像素点的像素值记为EIover(x,y)，将EIunder中坐标位置为(x,y)的像素点的像素值记为EIunder(x,y)， 其中，1≤x≤W,1≤y≤H，符号为向下取整运算符号，Fover表示EIover对应的进光量参数，Fover＝8，Funder表示EIunder对应的进光量参数，Funder＝0，IHDR(x,y)表示SHDR的亮度分量IHDR中坐标位置为(x,y)的像素点的像素值，γ为伽马校正参数，在本实施例中取γ＝2.2。
③将EIover划分为个互不重叠的尺寸大小为2u×2v的图像块；然后从EIover中的所有图像块中找出曝光过度块；接着将EIover中的所有曝光过度块构成曝光过度区域，记为其中，符号为向下取整运算符号，u和v取区间[2,5]内的相同的整数，在本实施例中取u＝v＝3，即图像块的尺寸大小为8×8。
同样，将EIunder划分为个互不重叠的尺寸大小为2u×2v的图像块；然后从EIunder中的所有图像块中找出曝光不足块；接着将EIunder中的所有曝光不足块构成曝光不足区域，记为
在此具体实施例中，步骤③中，从EIover中的所有图像块中找出曝光过度块的具体过程为：对于EIover中的第i个图像块，计算该图像块中的所有像素点的像素值的均值；然后比较该图像块中的所有像素点的像素值的均值与曝光过度阈值THover的大小，若均值大于曝光过度阈值THover，则将该图像块确定为曝光过度块；其中，
在此具体实施例中，步骤③中，从EIunder中的所有图像块中找出曝光不足块的具体过程为：对于EIunder中的第i个图像块，计算该图像块中的所有像素点的像素值的均值；然后比较该图像块中的所有像素点的像素值的均值与曝光不足阈值THunder的大小，若均值小于曝光不足阈值THunder，则将该图像块确定为曝光不足块。
上述，曝光过度阈值THover的取值为所述的曝光不足阈值THunder的取值为其中，αover为曝光过度控制因子，αover＝0.8，表示EIover中的所有像素点的像素值的均值，αunder为曝光不足控制因子，αunder＝1.2，表示EIunder中的所有像素点的像素值的均值。
④将SHDR划分为个互不重叠的尺寸大小为2u×2v的图像块；然后根据以及将SHDR划分为易曝光过度区域、易曝光不足区域以及易曝光正常区域，对应记为Rover、Runder以及Rnormal。
在此具体实施例中，步骤④中的Rover、Runder以及Rnormal的确定过程为：
④_1a、将SHDR中当前待处理的图像块定义为当前图像块。
④_1b、设当前图像块为SHDR中的第i个图像块，并记为其中，
④_1c、如果且则将确定为易曝光过度块；如果且则将确定为易曝光不足块；如果且则将确定为易曝光正常块；如果且则也将确定为易曝光正常块；其中，表示EIover中的第i个图像块，表示EIunder中的第i个图像块。
④_1d、将SHDR中下一个待处理的图像块作为当前图像块，然后返回步骤④_1b继续执行，直至SHDR中的所有图像块均处理完毕，再将SHDR中的所有易曝光过度块构成的区域作为易曝光过度区域Rover，将SHDR中的所有易曝光不足块构成的区域作为易曝光不足区域Runder，将SHDR中的所有易曝光正常块构成的区域作为易曝光正常区域Rnormal。
⑤将STM划分为个互不重叠的尺寸大小为2u×2v的图像块；然后将STM中与Rover相对应的区域作为色阶映射易曝光过度区域，并记为R1；并将STM中与Runder相对应的区域作为色阶映射易曝光不足区域，并记为R2；将STM中与Rnormal相对应的区域作为色阶映射易曝光正常区域，并记为R3。
⑥判断R1中的每个图像块是否出现曝光过度现象，如果出现曝光过度现象，则将该图像块判定为色阶映射曝光过度块；然后统计R1中的色阶映射曝光过度块的总个数，记为
同样，判断R2中的每个图像块是否出现曝光不足现象，如果出现曝光不足现象，则将该图像块判定为色阶映射曝光不足块；然后统计R2中的色阶映射曝光不足块的总个数，记为
在此具体实施例中，步骤⑥中，R1中的色阶映射曝光过度块的判定过程为：将STM的亮度分量划分为个互不重叠的尺寸大小为2u×2v的图像块；对于R1中的第n个图像块，记为R1,n，计算STM的亮度分量中与R1,n对应的图像块中的所有像素点的像素值的均值和标准差，对应记为μ1,n和σ1,n；如果满足条件μ1,n>200且σ1,n<σTM，则将R1,n判定为色阶映射曝光过度块；其中， 表示R1中的图像块的总个数，σTM表示STM的亮度分量中的所有像素点的像素值的标准差。
在此具体实施例中，步骤⑥中，R2中的色阶映射曝光不足块的判定过程为：将STM的亮度分量划分为个互不重叠的尺寸大小为2u×2v的图像块；对于R2中的第n'个图像块，记为R2,n'，计算STM的亮度分量中与R2,n'对应的图像块中的所有像素点的像素值的均值和标准差，对应记为μ2,n'和σ2,n'；如果满足条件μ2,n'<50且σ2,n'<σTM，则将R2,n'判定为色阶映射曝光不足块；其中， 表示R2中的图像块的总个数，σTM表示STM的亮度分量中的所有像素点的像素值的标准差。
⑦根据和计算STM的曝光异常率，记为ηabnormal，其中，表示R1中的图像块的总个数，表示R2中的图像块的总个数。
⑧计算R1的曝光过度残差能量，记为E1，并计算R2的曝光不足残差能量，记为E2，其中，μ1,n表示STM的亮度分量中与R1中的第n个图像块对应的区域中的所有像素点的像素值的均值，μ2,n'表示STM的亮度分量中与R2中的第n'个图像块对应的区域中的所有像素点的像素值的均值，为极端曝光过度亮度值， 为极端曝光不足亮度值，
⑨将R3从RGB色彩空间转换至opponent color space(opponent色彩空间)，记为R3'；然后计算R3'中的所有像素点的红绿通道的分量值的均值和方差，对应记为μrg和σrg；并计算R3'中的所有像素点的黄蓝通道的分量值的均值和方差，对应记为μyb和σyb；再计算R3'的曝光色彩指数，记为C3，其中，ωc表示色彩均值权重，在本实施例中取ωc＝0.3。
⑩获取STM的特征向量，记为 其中，符号“[]”为向量表示符号。
选取ntest幅高动态范围图像；然后利用不同的色阶映射算子生成Ntest幅色阶映射图像，将这Ntest幅色阶映射图像的集合作为训练图像集，记为Dtest；接着利用现有的主观质量评价方法评价出Dtest中的每幅色阶映射图像的平均主观评分差值，将Dtest中的第m幅色阶映射图像的平均主观评分差值记为DMOSm；再按照步骤①至步骤⑩的过程，以相同的方式获得Dtest中的每幅色阶映射图像的特征向量，将Dtest中的第m幅色阶映射图像的特征向量记为其中，ntest>1，1≤m≤Ntest，1≤DMOSm≤100。
采用支持向量回归对Dtest中的所有色阶映射图像各自的平均主观评分差值以及特征向量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优权值矢量Vbest和最优偏置项bbest；之后利用Vbest和bbest构造得到支持向量回归训练模型；再根据支持向量回归训练模型，对进行测试，预测得到STM的客观质量评价预测值，记为Q，Q＝f(Xdis)，其中，Q是Xdis的函数，f()为函数表示形式，Xdis为输入，Xdis用于代表(Vbest)T为Vbest的转置，为Xdis的线性函数。
在本实施例中，选取了德州大学奥斯汀分校LIVE实验室所提供的TMID色阶映射图像数据库(以下简称“TMID数据库”)进行测试。TMID数据库中包含了15幅不同场景类型的原始的高动态范围图像，同时利用8种不同的色阶映射算子对于每幅原始的高动态范围图像进行色阶映射处理，共生成120幅色阶映射图像。在测试过程中，随机的将120幅色阶映射图像分为训练图像集和测试图像集两部分，按照本发明方法中的步骤①至步骤的过程，采用相同的方式计算得到测试图像集中的每幅色阶映射图像的客观质量评价预测值，然后将客观质量评价预测值与对应的平均主观评分差值进行四参数Logistic函数非线性拟合，最后得到客观评价结果与主观感知之间的性能指标值。这里，利用评估图像质量评价方法的3个常用客观参量作为评价指标，即线性相关系数(Correlation coefficient，CC)、Spearman等级相关系数(Spearman Rank Order Correlation coefficient，SROCC)和均方根误差(RootedMean SquaredError，RMSE)。CC和SROCC的取值范围是[0,1]，其值越接近1，表明客观评价结果准确性越高，反之，则越差。RMSE值越小，表示客观评价结果的预测越准确，性能越好；反之，则越差。表示本发明方法的评价性能的CC、SROCC和RMSE指标如表1所列。从表1中所列的数据可见，按本发明方法计算得到的色阶映射图像的客观质量评价预测值与平均主观评分差值之间有很好的相关性，其中，CC值达到了0.8802，SROCC值达到了0.8512，而RMSE值低至0.8342，该结果表明本发明方法的客观评价结果与人眼主观感知的结果较为一致，充分说明了本发明方法的有效性。
表1按本发明方法计算得到的测试图像集中的色阶映射图像的客观质量评价预测值与平均主观评分差值之间的相关性的性能指标
指标类型 CC SROCC RMSE
最终结果 0.8802 0.8512 0.8342

Claims (6)

1.一种基于曝光情况分析的色阶映射图像质量评价方法，其特征在于包括以下步骤：
①令SHDR表示未经处理的宽度为W且高度为H的高动态范围图像，令STM表示SHDR经过色阶映射算子处理后所生成的色阶映射图像，并将STM作为待评价的色阶映射图像；
②对SHDR的亮度分量进行不同程度的预曝光处理，生成SHDR的亮度分量的曝光过度图像和曝光不足图像，对应记为EIover和EIunder；
③将EIover划分为个互不重叠的尺寸大小为2u×2v的图像块；然后从EIover中的所有图像块中找出曝光过度块；接着将EIover中的所有曝光过度块构成曝光过度区域，记为其中，符号为向下取整运算符号，u和v取区间[2,5]内的相同的整数；
同样，将EIunder划分为个互不重叠的尺寸大小为2u×2v的图像块；然后从EIunder中的所有图像块中找出曝光不足块；接着将EIunder中的所有曝光不足块构成曝光不足区域，记为
④将SHDR划分为个互不重叠的尺寸大小为2u×2v的图像块；然后根据以及将SHDR划分为易曝光过度区域、易曝光不足区域以及易曝光正常区域，对应记为Rover、Runder以及Rnormal；
⑤将STM划分为个互不重叠的尺寸大小为2u×2v的图像块；然后将STM中与Rover相对应的区域作为色阶映射易曝光过度区域，并记为R1；并将STM中与Runder相对应的区域作为色阶映射易曝光不足区域，并记为R2；将STM中与Rnormal相对应的区域作为色阶映射易曝光正常区域，并记为R3；
⑥判断R1中的每个图像块是否出现曝光过度现象，如果出现曝光过度现象，则将该图像块判定为色阶映射曝光过度块；然后统计R1中的色阶映射曝光过度块的总个数，记为
同样，判断R2中的每个图像块是否出现曝光不足现象，如果出现曝光不足现象，则将该图像块判定为色阶映射曝光不足块；然后统计R2中的色阶映射曝光不足块的总个数，记为
⑦根据和计算STM的曝光异常率，记为ηabnormal，其中，表示R1中的图像块的总个数，表示R2中的图像块的总个数；
⑧计算R1的曝光过度残差能量，记为E1，并计算R2的曝光不足残差能量，记为E2，其中，μ1,n表示STM的亮度分量中与R1中的第n个图像块对应的区域中的所有像素点的像素值的均值，μ2,n'表示STM的亮度分量中与R2中的第n'个图像块对应的区域中的所有像素点的像素值的均值，为极端曝光过度亮度值， 为极端曝光不足亮度值，
⑨将R3从RGB色彩空间转换至opponent color space，记为R3'；然后计算R3'中的所有像素点的红绿通道的分量值的均值和方差，对应记为μrg和σrg；并计算R3'中的所有像素点的黄蓝通道的分量值的均值和方差，对应记为μyb和σyb；再计算R3'的曝光色彩指数，记为C3，其中，ωc表示色彩均值权重；
⑩获取STM的特征向量，记为 其中，符号“[]”为向量表示符号；
选取ntest幅高动态范围图像；然后利用不同的色阶映射算子生成Ntest幅色阶映射图像，将这Ntest幅色阶映射图像的集合作为训练图像集，记为Dtest；接着利用主观质量评价方法评价出Dtest中的每幅色阶映射图像的平均主观评分差值，将Dtest中的第m幅色阶映射图像的平均主观评分差值记为DMOSm；再按照步骤①至步骤⑩的过程，以相同的方式获得Dtest中的每幅色阶映射图像的特征向量，将Dtest中的第m幅色阶映射图像的特征向量记为其中，ntest>1，1≤m≤Ntest，1≤DMOSm≤100；
采用支持向量回归对Dtest中的所有色阶映射图像各自的平均主观评分差值以及特征向量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优权值矢量Vbest和最优偏置项bbest；之后利用Vbest和bbest构造得到支持向量回归训练模型；再根据支持向量回归训练模型，对进行测试，预测得到STM的客观质量评价预测值，记为Q，其中，Q是Xdis的函数，f()为函数表示形式，Xdis为输入，Xdis用于代表(Vbest)T为Vbest的转置，为Xdis的线性函数。
2.根据权利要求1所述的一种基于曝光情况分析的色阶映射图像质量评价方法，其特征在于所述的步骤②中的EIover和EIunder的获取过程为：将EIover中坐标位置为(x,y)的像素点的像素值记为EIover(x,y)，将EIunder中坐标位置为(x,y)的像素点的像素值记为EIunder(x,y)，其中，1≤x≤W,1≤y≤H，符号为向下取整运算符号，Fover表示EIover对应的进光量参数，Fover＝8，Funder表示EIunder对应的进光量参数，Funder＝0，IHDR(x,y)表示SHDR的亮度分量IHDR中坐标位置为(x,y)的像素点的像素值，γ为伽马校正参数。
3.根据权利要求1或2所述的一种基于曝光情况分析的色阶映射图像质量评价方法，其特征在于所述的步骤③中，从EIover中的所有图像块中找出曝光过度块的具体过程为：对于EIover中的第i个图像块，计算该图像块中的所有像素点的像素值的均值；然后比较该图像块中的所有像素点的像素值的均值与曝光过度阈值THover的大小，若均值大于曝光过度阈值THover，则将该图像块确定为曝光过度块；其中，
所述的步骤③中，从EIunder中的所有图像块中找出曝光不足块的具体过程为：对于EIunder中的第i个图像块，计算该图像块中的所有像素点的像素值的均值；然后比较该图像块中的所有像素点的像素值的均值与曝光不足阈值THunder的大小，若均值小于曝光不足阈值THunder，则将该图像块确定为曝光不足块。
4.根据权利要求3所述的一种基于曝光情况分析的色阶映射图像质量评价方法，其特征在于所述的曝光过度阈值THover的取值为所述的曝光不足阈值THunder的取值为其中，αover为曝光过度控制因子，αover＝0.8，表示EIover中的所有像素点的像素值的均值，αunder为曝光不足控制因子，αunder＝1.2，表示EIunder中的所有像素点的像素值的均值。
5.根据权利要求4所述的一种基于曝光情况分析的色阶映射图像质量评价方法，其特征在于所述的步骤④中的Rover、Runder以及Rnormal的确定过程为：
④_1a、将SHDR中当前待处理的图像块定义为当前图像块；
④_1b、设当前图像块为SHDR中的第i个图像块，并记为其中，
④_1c、如果且则将确定为易曝光过度块；如果且则将确定为易曝光不足块；如果且则将确定为易曝光正常块；如果且则也将确定为易曝光正常块；其中，表示EIover中的第i个图像块，表示EIunder中的第i个图像块；
④_1d、将SHDR中下一个待处理的图像块作为当前图像块，然后返回步骤④_1b继续执行，直至SHDR中的所有图像块均处理完毕，再将SHDR中的所有易曝光过度块构成的区域作为易曝光过度区域Rover，将SHDR中的所有易曝光不足块构成的区域作为易曝光不足区域Runder，将SHDR中的所有易曝光正常块构成的区域作为易曝光正常区域Rnormal。
6.根据权利要求5所述的一种基于曝光情况分析的色阶映射图像质量评价方法，其特征在于所述的步骤⑥中，R1中的色阶映射曝光过度块的判定过程为：将STM的亮度分量划分为个互不重叠的尺寸大小为2u×2v的图像块；对于R1中的第n个图像块，记为R1,n，计算STM的亮度分量中与R1,n对应的图像块中的所有像素点的像素值的均值和标准差，对应记为μ1,n和σ1,n；如果满足条件μ1,n>200且σ1,n<σTM，则将R1,n判定为色阶映射曝光过度块；其中， 表示R1中的图像块的总个数，σTM表示STM的亮度分量中的所有像素点的像素值的标准差；
所述的步骤⑥中，R2中的色阶映射曝光不足块的判定过程为：将STM的亮度分量划分为个互不重叠的尺寸大小为2u×2v的图像块；对于R2中的第n'个图像块，记为R2,n'，计算STM的亮度分量中与R2,n'对应的图像块中的所有像素点的像素值的均值和标准差，对应记为μ2,n'和σ2,n'；如果满足条件μ2,n'<50且σ2,n'<σTM，则将R2,n'判定为色阶映射曝光不足块；其中， 表示R2中的图像块的总个数，σTM表示STM的亮度分量中的所有像素点的像素值的标准差。
CN201710427465.9A 2017-06-08 2017-06-08 一种基于曝光情况分析的色阶映射图像质量评价方法 Active CN107172418B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710427465.9A CN107172418B (zh) 2017-06-08 2017-06-08 一种基于曝光情况分析的色阶映射图像质量评价方法
US15/698,624 US10210433B2 (en) 2017-06-08 2017-09-07 Method for evaluating quality of tone-mapping image based on exposure analysis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710427465.9A CN107172418B (zh) 2017-06-08 2017-06-08 一种基于曝光情况分析的色阶映射图像质量评价方法

Publications (2)

Publication Number Publication Date
CN107172418A true CN107172418A (zh) 2017-09-15
CN107172418B CN107172418B (zh) 2019-01-04

Family

ID=59826048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710427465.9A Active CN107172418B (zh) 2017-06-08 2017-06-08 一种基于曝光情况分析的色阶映射图像质量评价方法

Country Status (2)

Country Link
US (1) US10210433B2 (zh)
CN (1) CN107172418B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010023A (zh) * 2017-12-08 2018-05-08 宁波大学 基于张量域曲率分析的高动态范围图像质量评价方法
CN108401154A (zh) * 2018-05-25 2018-08-14 同济大学 一种图像曝光度无参考质量评价方法
CN109308692A (zh) * 2018-07-30 2019-02-05 西北大学 基于改进Resnet与SVR混合模型的OCT图像质量评价方法
CN110717892A (zh) * 2019-09-18 2020-01-21 宁波大学 一种色调映射图像质量评价方法
CN113362354A (zh) * 2021-05-07 2021-09-07 安徽国际商务职业学院 色调映射图像的质量评价方法、***、终端及存储介质
CN113473034A (zh) * 2021-07-02 2021-10-01 杭州思锐迪科技有限公司 孔位补光方法、孔位补光器、孔位扫描方法和***
CN114125228A (zh) * 2021-11-23 2022-03-01 智慧航海（青岛）科技有限公司 一种船用360全景影像***的宽动态影像处理方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741313B (zh) * 2018-12-29 2023-08-22 南京信息工程大学 独立成分分析和卷积神经网络的无参考图像质量评价方法
CN112533317B (zh) * 2018-12-29 2023-09-08 中国计量大学 一种场景式教室智能照明优化方法
US11544823B2 (en) * 2019-06-12 2023-01-03 Intel Corporation Systems and methods for tone mapping of high dynamic range images for high-quality deep learning based processing
CN110827237B (zh) * 2019-09-27 2022-10-04 浙江工商职业技术学院 基于拮抗颜色空间半参考色调映射图像质量评价方法
CN113128517B (zh) * 2021-03-22 2023-06-13 西北大学 色调映射图像混合视觉特征提取模型建立及质量评价方法
CN113411510B (zh) * 2021-06-21 2022-08-12 北京清影机器视觉技术有限公司 一种基于图像质量评价和红热锻件的相机自动曝光算法
CN114463318B (zh) * 2022-02-14 2022-10-14 宁波大学科学技术学院 一种多曝光融合图像的视觉质量评估方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616294A (zh) * 2015-01-21 2015-05-13 同济大学 一种基于视觉显著性的色调映射图像质量评价方法
CN105046708A (zh) * 2015-07-14 2015-11-11 福州大学 一种与主观感知相一致的颜色校正客观评估方法
CN105491371A (zh) * 2015-11-19 2016-04-13 国家新闻出版广电总局广播科学研究院 基于梯度幅值相似性的色调映射图像质量评价方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9275445B2 (en) * 2013-08-26 2016-03-01 Disney Enterprises, Inc. High dynamic range and tone mapping imaging techniques

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616294A (zh) * 2015-01-21 2015-05-13 同济大学 一种基于视觉显著性的色调映射图像质量评价方法
CN105046708A (zh) * 2015-07-14 2015-11-11 福州大学 一种与主观感知相一致的颜色校正客观评估方法
CN105491371A (zh) * 2015-11-19 2016-04-13 国家新闻出版广电总局广播科学研究院 基于梯度幅值相似性的色调映射图像质量评价方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SHANSHAN WANG: "SUPPORTING BINOCULAR VISUAL QUALITY PREDICTION USING MACHINE LEARNING", 《MULTIMEDIA AND EXPO WORKSHOPS (ICMEW), 2014 IEEE INTERNATIONAL CONFERENCE ON》 *
WUJIE ZHOU: "PMFS: A Perceptual Modulated Feature Similarity Metric for Stereoscopic Image Quality Assessment", 《IEEE SIGNAL PROCESSING LETTERS》 *
于娇文: "基于流形学习的高动态范围图像质量评价", 《激光杂志》 *
管非凡: "高动态范围图像客观质量评价方法", 《计算机应用》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010023A (zh) * 2017-12-08 2018-05-08 宁波大学 基于张量域曲率分析的高动态范围图像质量评价方法
CN108010023B (zh) * 2017-12-08 2020-03-27 宁波大学 基于张量域曲率分析的高动态范围图像质量评价方法
CN108401154A (zh) * 2018-05-25 2018-08-14 同济大学 一种图像曝光度无参考质量评价方法
CN109308692A (zh) * 2018-07-30 2019-02-05 西北大学 基于改进Resnet与SVR混合模型的OCT图像质量评价方法
CN110717892A (zh) * 2019-09-18 2020-01-21 宁波大学 一种色调映射图像质量评价方法
CN110717892B (zh) * 2019-09-18 2022-06-28 宁波大学 一种色调映射图像质量评价方法
CN113362354A (zh) * 2021-05-07 2021-09-07 安徽国际商务职业学院 色调映射图像的质量评价方法、***、终端及存储介质
CN113362354B (zh) * 2021-05-07 2024-04-30 安徽国际商务职业学院 色调映射图像的质量评价方法、***、终端及存储介质
CN113473034A (zh) * 2021-07-02 2021-10-01 杭州思锐迪科技有限公司 孔位补光方法、孔位补光器、孔位扫描方法和***
CN113473034B (zh) * 2021-07-02 2023-05-05 杭州思锐迪科技有限公司 孔位补光方法、孔位补光器、孔位扫描方法和***
CN114125228A (zh) * 2021-11-23 2022-03-01 智慧航海（青岛）科技有限公司 一种船用360全景影像***的宽动态影像处理方法

Also Published As

Publication number Publication date
CN107172418B (zh) 2019-01-04
US20170372175A1 (en) 2017-12-28
US10210433B2 (en) 2019-02-19

Similar Documents

Publication Publication Date Title
CN107172418A (zh) 一种基于曝光情况分析的色阶映射图像质量评价方法
CN110046673B (zh) 基于多特征融合的无参考色调映射图像质量评价方法
Kundu et al. No-reference quality assessment of tone-mapped HDR pictures
Lin et al. KonIQ-10K: Towards an ecologically valid and large-scale IQA database
Gu et al. The analysis of image contrast: From quality assessment to automatic enhancement
CN108010024B (zh) 一种盲参考色调映射图像质量评价方法
CN109978854B (zh) 一种基于边缘与结构特征的屏幕内容图像质量评估方法
CN114203087B (zh) 补偿查找表的配置、补偿方法、装置、设备及存储介质
JP2021531571A (ja) 証明書画像抽出方法及び端末機器
CN110335221B (zh) 一种基于无监督学习的多曝光图像融合方法
CN107105223A (zh) 一种基于全局特征的色调映射图像质量客观评价方法
Kundu et al. No-reference image quality assessment for high dynamic range images
CN109544504A (zh) 基于稀疏表示的屏幕图像质量评价方法
CN111080722B (zh) 一种基于显著性检测的颜色迁移方法及***
CN112651945A (zh) 一种基于多特征的多曝光图像感知质量评价方法
JP2021189527A (ja) 情報処理装置、情報処理方法及びプログラム
CN113344843B (zh) 一种图像质量测评方法、装置和***
CN112819017B (zh) 基于直方图的高精度色偏图像识别方法
Nuutinen et al. A new method for evaluating the subjective image quality of photographs: dynamic reference
CN117156289A (zh) 色彩风格校正方法、***、电子设备、存储介质及芯片
Le et al. Study of naturalness in tone-mapped images
CN113689418B (zh) 基于图像识别的公式计算方法
CN115457614B (zh) 一种图像质量评价方法、模型训练方法及装置
CN112233089B (zh) 一种无参考立体混合失真图像质量评价方法
WO2022163002A1 (ja) 撮影条件設定システム、撮影条件設定方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant