CN116912259B - 针对计算摄影图像的图像色彩感知差异评价方法与*** - Google Patents
针对计算摄影图像的图像色彩感知差异评价方法与*** Download PDFInfo
- Publication number
- CN116912259B CN116912259B CN202311184413.5A CN202311184413A CN116912259B CN 116912259 B CN116912259 B CN 116912259B CN 202311184413 A CN202311184413 A CN 202311184413A CN 116912259 B CN116912259 B CN 116912259B
- Authority
- CN
- China
- Prior art keywords
- color
- image
- representing
- images
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004456 color vision Effects 0.000 title claims abstract description 38
- 238000011156 evaluation Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 39
- 230000002441 reversible effect Effects 0.000 claims abstract description 36
- 238000006243 chemical reaction Methods 0.000 claims abstract description 34
- 238000013528 artificial neural network Methods 0.000 claims abstract description 18
- 238000010586 diagram Methods 0.000 claims abstract description 17
- 238000005070 sampling Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 230000004075 alteration Effects 0.000 claims description 7
- 238000002156 mixing Methods 0.000 claims description 7
- 230000008878 coupling Effects 0.000 claims description 6
- 238000010168 coupling process Methods 0.000 claims description 6
- 238000005859 coupling reaction Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 6
- 230000008447 perception Effects 0.000 abstract description 2
- 230000004438 eyesight Effects 0.000 abstract 1
- 238000005457 optimization Methods 0.000 description 5
- 238000000691 measurement method Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 208000033897 Systemic primary carnitine deficiency Diseases 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 208000016505 systemic primary carnitine deficiency disease Diseases 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种针对计算摄影图像的图像色彩感知差异评价方法与***，本方法以RGB的形式将彩色图像输入色彩空间内，并进行可学习可逆的下采样，得到低分辨率图像；利用可逆的神经网络对低分辨率图像中的色彩特征进行融合再进行点对点的坐标转换；再进行可学习可逆的上采样，得到高分辨率图像；以若干待测彩色图像作为色彩感知差异评价对象重复上述，得到若干高分辨率图像；采用欧式距离计算若干高分辨率图像之间的色差，并根据色差生成反应局部色彩感知差异的热力图。本发明通过欧式距离计算色差，可根据局部色差的大小生成出反映局部色差大小的热力图，该热力图的获得无需在训练过程做特别的监督，与人眼对视觉的感知更接近。
Description
技术领域
本发明涉及数字图像处理技术领域，特别涉及一种针对计算摄影图像的图像色彩感知差异评价方法与***。
背景技术
图像色彩感知差异评价是颜色科学和图像处理技术中的一个关键概念，旨在量化不同图像之间的色彩感知差异。然而，大多数主流的图像色彩感知差异公式都是针对均匀的颜色色块设计的，并且不适用于具有多样内容的计算摄影图像。因此，为自然图像，尤其是计算摄影图像开发有效的色差测量仍然是一个具有挑战的研究领域。
发明内容
鉴于上述状况，本发明的主要目的是为了提出一种针对计算摄影图像的图像色彩感知差异评价方法与***，以解决上述技术问题。
本发明公开了一种针对计算摄影图像的图像色彩感知差异评价方法，所述方法包括如下步骤：
步骤1、以RGB的形式将彩色图像输入色彩空间内，利用可学习可逆的下采样方法对彩色图像进行降采样，得到低分辨率图像；
步骤2、利用可逆的神经网络对低分辨率图像中的色彩特征进行融合，得到混合图像，对混合图像进行点对点的坐标转换；
步骤3、利用可学习可逆的上采样方法对转换结果进行上采样，以实现对彩色图像色彩空间的转换，得到高分辨率图像；
步骤4、以若干待测彩色图像作为色彩感知差异评价对象重复步骤1至步骤3，得到若干高分辨率图像；
步骤5、采用欧式距离计算若干高分辨率图像之间的色差，并根据色差生成反应局部色彩感知差异的热力图。
本发明还公开了一种针对计算摄影图像的图像色彩感知差异评价***，所述***包括：
降采样模块，用于以RGB的形式将彩色图像输入色彩空间内，利用可学习可逆的下采样方法对彩色图像进行降采样，得到低分辨率图像；
坐标转换模块，用于利用可逆的神经网络对低分辨率图像中的色彩特征进行融合，得到混合图像，对混合图像进行点对点的坐标转换；
上采样模块，用于利用可学习可逆的上采样方法对转换结果进行上采样，以实现对彩色图像色彩空间的转换，得到高分辨率图像；
数据处理模块，用于以若干待测彩色图像作为色彩感知差异评价对象依次输入降采样模块、坐标转换模块和上采样模块进行处理，以得到若干高分辨率图像；
色差计算模块，用于采用欧式距离计算若干高分辨率图像之间的色差，并根据色差生成反应局部色彩感知差异的热力图。
与现有技术相比，本发明的有益效果为：
1）本发明基于一个可逆神经网络提出了一个全新的图像色彩差异评价方法，能够准确评价计算摄影自然图像和均匀色块的色差，在多个数据集上均取得了卓越性能。与现有技术相比，本发明提出的方法在工作时对几何扭曲更为鲁棒。
2）本发明所提模型在训练中无需进行深度监督即可得到一个反应局部色差大小的热力图，相比于现有技术，本发明所得到的热力图更加符合人类视觉***对色差的感知。
3）本发明相比所有现有技术方案，基于深度学习搭建的模型能够对色彩空间进行完全可逆的转换，为颜色科学领域提供了新的研究思路，为颜色配对、颜色质量控制领域提供了新的可行方法。
本发明的附加方面与优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。
附图说明
图1为本发明提出的针对计算摄影图像的图像色彩感知差异评价方法的流程图；
图2为本发明提出的针对计算摄影图像的图像色彩感知差异评价方法的框架流程图；
图3为本发明提出的针对计算摄影图像的图像色彩感知差异评价***的框架图；
图4为本发明与现有的算法在SPCD数据集上的性能表现对比图；
图5为本发明与现有的算法在均一色块数据集上的性能表现对比图；
图6为本发明对抗几何形变的性能表现。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。
请参阅图1和图2，本发明实施例提供了一种针对计算摄影图像的图像色彩感知差异评价方法，所述方法包括如下步骤：
步骤1、以RGB的形式将彩色图像输入色彩空间内，利用可学习可逆的下采样方法对彩色图像进行降采样，得到低分辨率图像；
在上述方案中，利用可学习可逆的下采样方法对彩色图像进行降采样存在如下关系式：
；
其中，表示经过下采样前的彩色图像，/>表示经过下采样后的彩色图像，/>表示反卷积操作，/>表示可学习的协方差矩阵，/>表示可学习参数，/>表示对参数进行重排列。通过将/>的每一行重新排序为卷积核并使用步幅2的卷积，即可实现可学习的可逆下采样。可学习的协方差矩阵存在如下关系式：
；
其中，表示自然常数/>为底的指数函数，/>表示转置操作。
步骤2、利用可逆的神经网络对低分辨率图像中的色彩特征进行融合，得到混合图像，对混合图像进行点对点的坐标转换；
在上述方案中，利用可逆的神经网络对低分辨率图像中的色彩特征进行融合，得到混合图像，对混合图像进行点对点的坐标转换的方法具体包括如下步骤：
采用可逆1×1卷积对图像进行通道混合，得到混合图像，将1×1卷积的权重限制为正交或置换矩阵，这使得逆变换的计算更加高效。对图像进行通道混合存在如下关系式：
；
其中，表示大小为c×c的权重矩阵；混合图像的逆变化可以通过/>进行计算得到。
为了增强特征提取能力和表达能力，本发明利用残差结构创建仿射耦合块，将D维输入仿射耦合块中分为两个不重叠的子集/>和子集/>，其中/>，再将子集/>和子集进行仿射变换，得到变换后的子集/>和子集/>，将子集/>和子集/>进行仿射变换存在如下关系式：
；
；
其中，表示阿达玛乘积，/>，/>，/>分别表示采用卷积神经网络实现的残差函数、缩放函数和平移函数，/>和/>分别表示仿射变换后的子集；
再将两个仿射变换后的子集采用可逆1×1卷积对经过仿射耦合模块图像特征进行通道混合输出，得到仿射变换后的图像，既转换结果，仿射变换后的图像存在如下关系式：
；
其中，表示两个仿射变换后特征/>和/>按照通道拼接的特征，/>表示仿射变换后的图像。
其中，本发明使用一个可逆1×1卷积对经过仿射耦合模块图像特征进行通道混合，将1×1卷积的权重限制为正交或置换矩阵，这使得逆变换的计算更加高效。
步骤3、利用可学习可逆的上采样方法对转换结果进行上采样，以实现对彩色图像色彩空间的转换，得到高分辨率图像；
在上述方案中，利用可学习可逆的上采样方法对转换结果进行上采样存在如下关系式：
；
其中，表示上采样后的高分辨率图像，/>表示反卷积操作，/>表示对参数进行重排列。
步骤4、以若干待测彩色图像作为色彩感知差异评价对象重复步骤1至步骤3，得到若干高分辨率图像，在本实施例中，所输入的图像为一对；
步骤5、采用欧式距离计算若干高分辨率图像之间的色差，并根据色差生成反应局部色彩感知差异的热力图。
进一步的，在所述步骤5中，采用欧式距离计算若干转换后的图像之间的色差，并根据色差生成反应局部色彩感知差异的热力图的方法具体包括如下步骤：
许多基于感知的图像颜色处理应用中，具有感知均匀性的颜色空间是非常理想的，因为它保证了在整个颜色空间中两种颜色之间的感知差异是一致的。若存在色彩空间是感知均匀的。
本实施例中将设定所输入的彩色图像为一对，一对彩色图像对应所得的高分辨率图像分别为和/>，采用欧式距离来衡量高分辨率图像/>和/>的色彩差异，色彩差异的表达式为：
那么可以用，其中，/>表示在色彩空间/>中的高分辨率图像/>和高分辨率图像/>之间的色差，/>表示欧式距离，/>表示高分辨率图像和高分辨率图像/>在给定空间内的距离差。因此本发明采用欧式距离来衡量输入图像的色彩差异，色彩差异的表达式为：
；
其中，表示对应像素的色差，其中/>和/>是色彩空间高度和宽度的索引，表示输入高分辨率图像/>通过基于神经网络坐标转换后的色彩表示，/>表示输入高分辨率图像/>通过基于神经网络坐标转换后的色彩表示。这种计算方法确保了转换空间中的等距离具有相等的感知颜色差，从而保留了学到的色彩空间的欧氏几何特性。
根据可视化局部色差大小，生成局部色彩感知差异热力图；
所有像素色差的简单平均值计算得到高分辨率图像和高分辨率图像/>之间的总色差，总色差计算过程存在如下关系式：
；
其中，和/>分别表示输入图像的长和宽。
本发明的训练方法如下：
将颜色块和自然图像采用四参数映射的方式进行合并，以合并的数据作为训练集；
根据在色彩空间中高分辨率图像和高分辨率图像/>之间的色差以及高分辨率图像/>和高分辨率图像/>之间的总色差，构建损失函数；
；
其中，表示损失函数，/>表示/>范数；
因为可逆深度神经网络架构在处理超出分布数据时可能会遇到逆矩阵***的问题，即逆映射的雅可比矩阵的奇异值可能会任意增大，导致数值不可逆性，这不利于学习到连续且可微的颜色空间，以准确捕捉色彩感知差异的均匀变化。为了解决这个问题，本发明根据损失函数，利用双向利普希茨约束作为惩罚函数和优化目标，以构建整体目标优化函数，进而增强本发明模型在输入周围的局部稳定性，整体目标优化函数存在如下关系式：
；
其中，表示平衡两项损失函数的参数，/>表示整体目标优化函数，/>表示一个训练批次的数量，/>表示基数，/>和/>表示双向利普希茨约束，双向利普希茨约束存在如下关系式：
；
；
其中，和/>表示对图像色彩特征进行的正向和逆向的坐标转换，/>表示一个随机的噪声，/>表示从正值开始，无限趋近于 0的数，/>表示高分辨率图像/>所在的空间，/>表示二范数。
以双向利普希茨约束作为惩罚函数和优化目标，通过更新计算过程涉及的可学习参数以最小化损失，进而提升模型性能。
其中，可学习参数包括仿射变换过程中、上采样过程中和下采样过程中的可学习参数。
在上述方案中，由于不同数据集可能因为主观评价方法的不同而具有不同的感知色差人工标签，本发明采用四参数映射函数来对齐颜色块和自然图像的非线性特性，其表达式为：
；
其中，、/>、/>和/>表示不同的可学习的参数，/>表示将自然图像计算所得的色差通过映射后得到的色差，/>表示自然图像计算所得的色差，即在使用颜色块数据计算整体的优化目标时，采用/>代替/>进行计算，进而使本发明具备更广泛的实用性，可适用于颜色块和自然图像。
请参阅图3，本实施例还提供了一种针对计算摄影图像的图像色彩感知差异评价***，所述***包括：
降采样模块，用于以RGB的形式将彩色图像输入色彩空间内，利用可学习可逆的下采样方法对彩色图像进行降采样，得到低分辨率图像；
坐标转换模块，用于利用可逆的神经网络对低分辨率图像中的色彩特征进行融合，得到混合图像，对混合图像进行点对点的坐标转换；
上采样模块，用于利用可学习可逆的上采样方法对转换结果进行上采样，以实现对彩色图像色彩空间的转换，得到高分辨率图像；
数据处理模块，用于以若干待测彩色图像作为色彩感知差异评价对象依次输入降采样模块、坐标转换模块和上采样模块进行处理，以得到若干高分辨率图像；
色差计算模块，用于采用欧式距离计算若干高分辨率图像之间的色差，并根据色差生成反应局部色彩感知差异的热力图。
如图4所示，为了验证本发明的有效性以及本发明与现有模型对比的优异程度，本实施例在SPCD数据集上进行了性能测试，采用皮尔森系数（PLCC），斯皮尔曼系数（SRCC）以及平方标准残差（STRESS）作为性能指标，并将色差测量的性能评估分为三组：完全对齐的图像对、非完全对齐的图像对和所有图像对。可以观察到几个值得注意的结果。首先，表的顶部列出的针对均匀颜色块开发的色差测量方法在完全对齐的对上表现出卓越的性能，这是因为它们依赖于成熟的CIELAB颜色空间。然而，在非完全对齐的对上，它们的性能显著下降，这是由于他们进行的逐像素计算忽略了空间信息。相比之下，应用空间滤波作为预处理步骤的S-CIELAB提供了足够的空间信息，强调了将空间信息纳入自然图像的色差评估中的重要性。其次，与基于CIELAB的色差公式相比，大多数自然图像的色差测量方法并没有显示出显著的改进。表的第三部分列出的图像质量评估模型最初设计用于测量可察觉的失真，并评估由这些失真引起的色彩差异。尽管它们可以用于色差评估，但这些模型可能没有完全考虑到色差评估的复杂性和计算摄影图像色差评估任务的特定需求。
重新训练了三个常用的基于深度神经网络的图像质量模型，即PieAPP、LPIPS和DISTS，使用与本发明相同的训练数据集划分。与未经重新训练的模型相比，模型的性能显著提高。然而，与本发明相比，可能由于过拟合的问题，它们的性能仍然相对较差。最后，针对自然图像评估的基于学习的色差度量方法的发展，如CD-Net、CD-Flow和本发明，相比之前的色差测量方法取得了显著的改进。这些指标还能够缩小完全对齐和非完全对齐图像对之间的性能差距。这些观察结果表明，深度神经网络在色差测量领域有很大潜力。需要注意的是，尽管CD-Flow取得了显著的性能，但计算成本较高，并且与CD-Net和本发明相比，它不提供局部色差热力图。
本实施例还在COM数据集以及其四个子数据集（BFD-P、Leeds、Witt和RIT-DuPont）上评估了本发明的性能，图5呈现了比较结果。通过将颜色数据纳入训练中，本发明显示出卓越的性能。这一结果强烈表明，本发明是一个经过精心设计的基于深度神经网络的色差测量方法可以准确测量自然图像和颜色块。
图6展示了本文提出方法抗几何变换的结果，本实施例模拟了膨胀，平移，旋转三种几何扭曲的情景，人为制造非对齐的输入图像。从结果可以看出，本发明能够对抗轻微的几何变形，展现出比现有的算法更鲁棒的性能。
应当理解的，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (3)
1.一种针对计算摄影图像的图像色彩感知差异评价方法，其特征在于，所述方法包括如下步骤：
步骤1、以RGB的形式将彩色图像输入色彩空间内，利用可学习可逆的下采样方法对彩色图像进行降采样，得到低分辨率图像；
步骤2、利用可逆的神经网络对低分辨率图像中的色彩特征进行融合，得到混合图像，对混合图像进行点对点的坐标转换；
步骤3、利用可学习可逆的上采样方法对转换结果进行上采样，以实现对彩色图像色彩空间的转换，得到高分辨率图像；
步骤4、以若干待测彩色图像作为色彩感知差异评价对象重复步骤1至步骤3，得到若干高分辨率图像；
步骤5、采用欧式距离计算若干高分辨率图像之间的色差，并根据色差生成反应局部色彩感知差异的热力图；
在所述步骤1中，利用可学习可逆的下采样方法对彩色图像进行降采样存在如下关系式：
；
其中，表示经过下采样前的彩色图像，/>表示经过下采样后的彩色图像，/>表示反卷积操作，/>表示可学习的协方差矩阵，/>表示可学习参数，/>表示对参数进行重排列；
可学习的协方差矩阵存在如下关系式：
；
其中，表示自然常数/>为底的指数函数，/>表示转置操作；
在所述步骤3中，利用可学习可逆的上采样方法对转换结果进行上采样存在如下关系式：
；
其中，表示上采样后的高分辨率图像，/>表示反卷积操作，/>表示对参数进行重排列；
在所述步骤5中，采用欧式距离计算若干转换后的图像之间的色差，并根据色差生成反应局部色彩感知差异的热力图的方法具体包括如下步骤：
设定所输入的彩色图像为一对，一对彩色图像对应所得的高分辨率图像分别为和/>，采用欧式距离来衡量高分辨率图像/>和/>的色彩差异，色彩差异的表达式为：
；
其中，表示对应像素之间的色差表示，其中/>和/>是色彩空间高度和宽度的索引，/>表示输入高分辨率图像/>通过基于神经网络坐标转换后的色彩表示，/>表示输入高分辨率图像/>通过基于神经网络坐标转换后的色彩表示；
根据可视化局部色差大小，生成局部色彩感知差异热力图；
所有像素色差的简单平均值计算得到高分辨率图像和高分辨率图像/>之间的总色差，总色差计算过程存在如下关系式：
；
其中，和/>分别表示输入图像的长和宽，/>表示高分辨率图像/>和高分辨率图像之间的总色差。
2.根据权利要求1所述的针对计算摄影图像的图像色彩感知差异评价方法，其特征在于，在所述步骤2中，利用可逆的神经网络对低分辨率图像中的色彩特征进行融合，得到混合图像，对混合图像进行点对点的坐标转换的方法具体包括如下步骤：
采用可逆1×1卷积对图像进行通道混合，得到混合图像，将1×1卷积的权重限制为正交或置换矩阵，对图像进行通道混合存在如下关系式：
；
其中，表示大小为c×c的权重矩阵；
利用残差结构创建仿射耦合块，将D维混合图像输入仿射耦合块中分为两个不重叠的子集/>和子集/>，其中/>，再将子集/>和子集/>进行仿射变换，得到变换后的子集和子集/>，将子集/>和子集/>进行仿射变换存在如下关系式：
；
；
其中，表示阿达玛乘积，/>，/>，/>分别表示采用卷积神经网络实现的残差函数、缩放函数和平移函数，/>和/>分别表示仿射变换后的子集；
再将两个仿射变换后的子集采用可逆1×1卷积对经过仿射耦合模块图像特征进行通道混合输出，得到仿射变换后的图像，既转换结果，仿射变换后的图像存在如下关系式：
；
其中，表示两个仿射变换后特征/>和/>按照通道拼接的特征，/>表示仿射变换后的图像。
3.一种针对计算摄影图像的图像色彩感知差异评价***，其特征在于，所述***应用如权利要求1至2任意一项所述的针对计算摄影图像的图像色彩感知差异评价方法，所述***包括：
降采样模块，用于以RGB的形式将彩色图像输入色彩空间内，利用可学习可逆的下采样方法对彩色图像进行降采样，得到低分辨率图像；
坐标转换模块，用于利用可逆的神经网络对低分辨率图像中的色彩特征进行融合，得到混合图像，对混合图像进行点对点的坐标转换；
上采样模块，用于利用可学习可逆的上采样方法对转换结果进行上采样，以实现对彩色图像色彩空间的转换，得到高分辨率图像；
数据处理模块，用于以若干待测彩色图像作为色彩感知差异评价对象依次输入降采样模块、坐标转换模块和上采样模块进行处理，以得到若干高分辨率图像；
色差计算模块，用于采用欧式距离计算若干高分辨率图像之间的色差，并根据色差生成反应局部色彩感知差异的热力图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311184413.5A CN116912259B (zh) | 2023-09-14 | 2023-09-14 | 针对计算摄影图像的图像色彩感知差异评价方法与*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311184413.5A CN116912259B (zh) | 2023-09-14 | 2023-09-14 | 针对计算摄影图像的图像色彩感知差异评价方法与*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116912259A CN116912259A (zh) | 2023-10-20 |
| CN116912259B true CN116912259B (zh) | 2023-11-24 |
Family
ID=88353589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311184413.5A Active CN116912259B (zh) | 2023-09-14 | 2023-09-14 | 针对计算摄影图像的图像色彩感知差异评价方法与*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116912259B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5748329A (en) * | 1996-03-08 | 1998-05-05 | Industrial Technology Research Institute | Method and apparatus for adaptive color scanning/printing data correction employing neural networks |
| CN109389591A (zh) * | 2018-09-30 | 2019-02-26 | 西安电子科技大学 | 基于彩色描述子的彩色图像质量评价方法 |
| CN112102156A (zh) * | 2020-09-09 | 2020-12-18 | 重庆大学 | 基于因果流模型的可控汽车图像合成方法 |
| CN112184554A (zh) * | 2020-10-13 | 2021-01-05 | 重庆邮电大学 | 一种基于残差混合膨胀卷积的遥感图像融合方法 |
| CN112862922A (zh) * | 2021-01-27 | 2021-05-28 | 南昌大学 | 一种基于多特征生成网络先验信息引导的图像填充方法 |
| CN113436167A (zh) * | 2021-06-25 | 2021-09-24 | 湖南工商大学 | 基于深度学习和视觉感知的无参考彩色图像质量评价方法 |
| CN114004847A (zh) * | 2021-11-01 | 2022-02-01 | 中国科学技术大学 | 一种基于图可逆神经网络的医学图像分割方法 |
| CN114596233A (zh) * | 2022-03-18 | 2022-06-07 | 天津大学 | 基于注意引导和多尺度特征融合的低照度图像增强方法 |
| CN115022649A (zh) * | 2022-05-17 | 2022-09-06 | 薇链信息技术有限公司 | 基于可逆神经网络的高嵌入量且可上色的图像隐写及恢复方法 |
| CN115170834A (zh) * | 2022-07-27 | 2022-10-11 | Oppo广东移动通信有限公司 | 色差度量方法、装置、电子设备 |
| KR20220167901A (ko) * | 2021-06-15 | 2022-12-22 | 연세대학교 산학협력단 | 초해상도 신경망 학습 장치 및 그 방법 |
| CN115631107A (zh) * | 2022-10-27 | 2023-01-20 | 四川大学 | 边缘引导的单幅图像噪声去除 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10748247B2 (en) * | 2017-12-26 | 2020-08-18 | Facebook, Inc. | Computing high-resolution depth images using machine learning techniques |
| CN113870104A (zh) * | 2020-06-30 | 2021-12-31 | 微软技术许可有限责任公司 | 超分辨率图像重建 |
-
2023
- 2023-09-14 CN CN202311184413.5A patent/CN116912259B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5748329A (en) * | 1996-03-08 | 1998-05-05 | Industrial Technology Research Institute | Method and apparatus for adaptive color scanning/printing data correction employing neural networks |
| CN109389591A (zh) * | 2018-09-30 | 2019-02-26 | 西安电子科技大学 | 基于彩色描述子的彩色图像质量评价方法 |
| CN112102156A (zh) * | 2020-09-09 | 2020-12-18 | 重庆大学 | 基于因果流模型的可控汽车图像合成方法 |
| CN112184554A (zh) * | 2020-10-13 | 2021-01-05 | 重庆邮电大学 | 一种基于残差混合膨胀卷积的遥感图像融合方法 |
| CN112862922A (zh) * | 2021-01-27 | 2021-05-28 | 南昌大学 | 一种基于多特征生成网络先验信息引导的图像填充方法 |
| KR20220167901A (ko) * | 2021-06-15 | 2022-12-22 | 연세대학교 산학협력단 | 초해상도 신경망 학습 장치 및 그 방법 |
| CN113436167A (zh) * | 2021-06-25 | 2021-09-24 | 湖南工商大学 | 基于深度学习和视觉感知的无参考彩色图像质量评价方法 |
| CN114004847A (zh) * | 2021-11-01 | 2022-02-01 | 中国科学技术大学 | 一种基于图可逆神经网络的医学图像分割方法 |
| CN114596233A (zh) * | 2022-03-18 | 2022-06-07 | 天津大学 | 基于注意引导和多尺度特征融合的低照度图像增强方法 |
| CN115022649A (zh) * | 2022-05-17 | 2022-09-06 | 薇链信息技术有限公司 | 基于可逆神经网络的高嵌入量且可上色的图像隐写及恢复方法 |
| CN115170834A (zh) * | 2022-07-27 | 2022-10-11 | Oppo广东移动通信有限公司 | 色差度量方法、装置、电子设备 |
| CN115631107A (zh) * | 2022-10-27 | 2023-01-20 | 四川大学 | 边缘引导的单幅图像噪声去除 |
Non-Patent Citations (3)
| Title |
|---|
| A Database of Visual Color Differences of Modern Smartphone Photography;Keshuo Xu 等;《2022 IEEE International Conference on Image Processing (ICIP)》;全文 * |
| 基于NSST与IHS的红外与彩色可见光图像融合;杨晟炜;张志华;孔玲君;王茜;;包装工程(第11期);全文 * |
| 颜色空间的感知均匀性评价及其在图像处理中的应用;范彩霞;陈亚军;;西安理工大学学报(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116912259A (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Single-image super-resolution based on rational fractal interpolation | |
| CN109829855B (zh) | 一种基于融合多层次特征图的超分辨率重建方法 | |
| Liu et al. | Locating splicing forgery by fully convolutional networks and conditional random field | |
| Huang et al. | Bidirectional recurrent convolutional networks for multi-frame super-resolution | |
| CN105825477B (zh) | 基于多字典学习与非局部信息融合的遥感图像超分辨率重建方法 | |
| CN102915527A (zh) | 基于形态学成分分析的人脸图像超分辨率重建方法 | |
| Yao et al. | Adaptive rational fractal interpolation function for image super-resolution via local fractal analysis | |
| CN114170088A (zh) | 一种基于图结构数据的关系型强化学习***及方法 | |
| CN114863236A (zh) | 基于双重注意力机制的图像目标检测方法 | |
| Karaca et al. | An interpolation-based texture and pattern preserving algorithm for inpainting color images | |
| CN111340696A (zh) | 融合仿生视觉机制的卷积神经网络图像超分辨率重建方法 | |
| Garg et al. | LiCENt: Low-light image enhancement using the light channel of HSL | |
| CN112950596A (zh) | 基于多区域多层次的色调映射全向图像质量评价方法 | |
| CN110570402B (zh) | 基于边界感知神经网络的双目显著物体检测方法 | |
| CN108052799A (zh) | 基于图像处理的多序列比对可视化的方法 | |
| CN111062895A (zh) | 一种基于多视场分割的显微图像复原方法 | |
| CN116912259B (zh) | 针对计算摄影图像的图像色彩感知差异评价方法与*** | |
| CN106846250A (zh) | 一种基于多尺度滤波的超分辨率重建方法 | |
| CN103226818B (zh) | 基于流形正则稀疏支撑回归的单帧图像超分辨率重建方法 | |
| Henry et al. | Near set evaluation and recognition (near) system | |
| CN108492264A (zh) | 一种基于sigmoid变换的单帧图像快速超分辨方法 | |
| Zhao et al. | Single image super-resolution reconstruction using multiple dictionaries and improved iterative back-projection | |
| Park et al. | Learning controllable degradation for real-world super-resolution via constrained flows | |
| CN109785253B (zh) | 一种基于增强反投影的全色锐化后处理方法 | |
| Zhang et al. | Multi-example feature-constrained back-projection method for image super-resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |