CN113706415A - 训练数据生成、对抗样本生成、图像色彩修正方法及装置 - Google Patents
训练数据生成、对抗样本生成、图像色彩修正方法及装置 Download PDFInfo
- Publication number
- CN113706415A CN113706415A CN202110993564.XA CN202110993564A CN113706415A CN 113706415 A CN113706415 A CN 113706415A CN 202110993564 A CN202110993564 A CN 202110993564A CN 113706415 A CN113706415 A CN 113706415A
- Authority
- CN
- China
- Prior art keywords
- color
- image
- transformation
- training data
- color correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 160
- 238000012549 training Methods 0.000 title claims abstract description 125
- 238000012937 correction Methods 0.000 title claims abstract description 121
- 230000009466 transformation Effects 0.000 claims abstract description 141
- 239000003086 colorant Substances 0.000 claims abstract description 63
- 238000013507 mapping Methods 0.000 claims description 34
- 238000003860 storage Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 abstract description 17
- 238000006243 chemical reaction Methods 0.000 description 35
- 238000005070 sampling Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 19
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000003066 decision tree Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000002372 labelling Methods 0.000 description 6
- 238000007639 printing Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007641 inkjet printing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
本发明实施例提供一种训练数据生成、对抗样本生成、图像色彩修正方法及装置。该训练数据生成方法包括：基于重构变换后的图像进行估计，得到重构变换后的图像中各个颜色区域的颜色；将重构变换前的图像中各个颜色区域的颜色与估计得到重构变换后的图像中相应颜色区域的颜色一一进行匹配，得到包括多个所述训练数据的训练数据集。通过拟合上述步骤得到的训练数据集，有助于针对各种图片实现色彩修正，从而有助于快速且准确的预测经过重构变换的图像色彩，还有助于生成鲁棒的物理世界对抗样本，以在物理世界更高效地攻击机器学习模型。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种训练数据生成、对抗样本生成、图像色彩修正方法及装置。
背景技术
图像重构变换后，即重构变换前的数字图像甲制作成物理实体，再用摄影设备对物理实体做处理，从而制作成的重构变换后的数字图像乙，数字图像甲和数字图像乙之间或存在颜色变化，为降低颜色变化，需采用图像色彩修正。
现有的图像色彩修正方法主要有两大类，第一类是基于搜索算法，第二类是基于拟合算法。
基于搜索的方法通过枚举相关设备(例如打印机)可以输出的所有颜色种类，然后用k-近邻的方法来对图像的每一个像素寻找离它最近的k种颜色，利用这k种颜色以及预设的核函数来预测该像素点在经过设备输出后的颜色。基于搜索的方法的时间复杂度正比于预设色表中颜色数目，当选用的颜色较多时，算法精度高但运行缓慢；而当选用的颜色较少时，算法运行较快但精度低。基于搜索的算法缺点在于，无法在精度和运算速度之间取得平衡。
基于拟合的方法利用机器学习方法在数据上训练一个拟合模型，然后用训练好的模型来预测新图片的结果。基于的拟合方法可以分为基于深度学习的方法和基于设备机理的方法两大类。
基于深度学习的拟合方法往往需要大量的训练图片，虽然现有的技术采用基于图片块的训练方法来提高深度模型利用图片的效率，但所需的训练数据量仍然较大，尤其是，利用有监督学习训练的方法更是需要配对的训练数据，搜集大量的训练数据意味着相应的成本会很高，而且往往难以得到配对数据，即在像素精度上一一配对的变换前图像和变换后图像。
基于设备机理的拟合方法虽然不需要大量的训练图片，但目前并没有针对打印机、投影仪等设备的内部机理建模方法。
因此，如何降低训练数据的搜集成本，加速图像色彩修正，成为亟待解决的技术问题。
发明内容
本发明实施例提供一种训练数据生成、对抗样本生成、图像色彩修正方法及装置，用以快速且准确的预测经过重构变换的图像色彩。此外，还用于生成鲁棒的物理世界对抗样本，以在物理世界更高效地攻击机器学习模型。
第一方面，本发明实施例提供一种训练数据生成方法，其中，包括：
获取包括多个不同颜色区域的图像重构变换后的图像；
基于重构变换后的图像进行估计，得到重构变换后的图像中各个颜色区域的颜色；
将重构变换前的图像中各个颜色区域的颜色与估计得到重构变换后的图像中相应颜色区域的颜色一一进行匹配，得到包括多个所述训练数据的训练数据集。
第二方面，本发明实施例提供一种图像色彩修正方法，其中，包括：
拟合通过第一方面中的训练数据生成方法得到的训练数据集，获取各个颜色由重构变换前到重构变换后的映射，以获得色彩修正模型；
将重构变换前的图片输入所述色彩修正模型获得重构变换后图片，或者，将重构变换后图片输入所述色彩修正模型获得重构变换前图片。
第三方面，本发明实施例提供一种对抗样本生成方法，其中，将色彩修正模型和待攻击模型串联组成新模型，给定输入图片，得到对抗样本；
所述色彩修正模型是根据第二方面中的图像色彩修正方法得到。
第四方面，本发明实施例提供一种图像色彩修正装置，其中，该装置包括：
拟合模块，被配置为拟合通过第三方面中的训练数据生成方法得到的训练数据集，获取各个颜色由重构变换前到重构变换后的映射，以获得色彩修正模型；
输出模块，被配置为将重构变换前的图片输入所述色彩修正模型获得重构变换后图片，或者，被配置为将重构变换后图片输入所述色彩修正模型获得重构变换前图片。
此外，本发明实施例提供一种计算设备，该设备包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器至少可以实现上述任一方面中的方法。
本发明实施例还提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被计算设备的处理器执行时，使所述处理器至少可以实现上述任一方面中的方法。
在本发明实施例提供的技术方案中，获取包括多个不同颜色区域的图像重构变换后的图像，基于重构变换后的图像进行估计，得到重构变换后的图像中各个颜色区域的颜色，将重构变换前的图像中各个颜色区域的颜色与估计得到重构变换后的图像中相应颜色区域的颜色一一进行匹配，得到包括多个训练数据的训练数据集。通过拟合上述步骤得到的训练数据集，有助于针对各种图片实现色彩修正。本发明实施例中，可以利用变换后图像的每个像素的颜色变化都是独立同分布的假设，来提升模型对训练数据的利用效率，同时在训练数据集制作阶段，通过对同一个变换前颜色的多个变换后颜色做鲁棒估计，来减小标注噪声，提高变换后颜色的标注准确性。本发明实现在较低数据采集成本的情况下，训练一个高精度、运算速度快的色彩修正模型。
相比基于搜索的方法，本发明同时实现了高精度和运算速度快；相比已有基于拟合的方法，本发明的训练数据搜集方式更简单；相比基于设备机理的方法，本发明适用于各种设备，包括打印机和投影仪，而不需要使用者对设备内部运作。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的训练数据生成方法的流程示意图；
图2为本发明一实施例提供的图像色彩修正方法的流程示意图；
图3为本发明一实施例提供的对抗样本生成方法的流程示意图；
图4为本发明一实施例提供的图像色彩修正方法的流程示意图；
图5为本发明一实施例提供的图像色彩修正方法的色彩修正模型的训练流程图；
图6为本发明一实施例提供的图像色彩修正方法的色彩修正模型的使用流程图；
图7为本发明一实施例提供的图像色彩修正方法的变换前色表示意图；
图8为本发明一实施例提供的图像色彩修正方法的变换后色表示意图；
图9为本发明一实施例提供的图像色彩修正方法的采集变换后色表的色块示意图；
图10为本发明一实施例提供的图像色彩修正方法的预测变换后图像与实际变换后图像之间的颜色差别示意图；
图11为本发明一实施例提供的图像色彩修正装置的结构示意图；
图12为本发明一实施例提供的一种介质的结构示意图；
图13为本发明一实施例提供的一种计算设备的结构示意图；
图14为本发明一实施例提供的利用色彩修正模型生成物理世界对抗样本的方法1的流程图；
图15为本发明一实施例提供的利用色彩修正模型来生成物理世界对抗样本的效果对比图；
图16为本发明一实施例提供的利用色彩修正模型来生成物理世界对抗样本的另一效果对比图；
图17为本发明一实施例提供的利用色彩修正模型生成物理世界对抗样本的方法2的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
目前，相关技术中，图像色彩修正方法主要有两大类，第一类是基于搜索算法，第二类是基于拟合算法。
基于搜索的方法的时间复杂度正比于预设色表中颜色数目，当选用的颜色较多时，算法精度高但运行缓慢；而当选用的颜色较少时，算法运行较快但精度低。基于搜索的算法缺点在于，无法在精度和运算速度之间取得平衡。
而基于拟合的方法所需的训练数据量仍然较大，搜集大量的训练数据意味着相应的成本会很高，而且往往难以得到配对数据，即在像素精度上一一配对的变换前图像和变换后图像，或者目前并没有针对打印机、投影仪等设备的内部机理建模方法。
针对上述问题，本发明提供了一种训练数据生成、对抗样本生成、图像色彩修正方法及装置。本发明提供的技术方案中，主要包含数据采集和模型建模两部分，围绕如何降低数据搜集成本，和减低数据噪声来提升模型精度来设计和使用。具体的，本发明提供的技术方案利用变换后图像的每个像素的颜色变化都是独立同分布的假设，来提升模型对训练数据的利用效率；且在训练数据集制作阶段，通过对同一个变换前颜色的多个变换后颜色做鲁棒估计，以减小标注噪声，提高变换后颜色的标注准确性，实现在较低数据采集成本的情况下，训练一个高精度、运算速度快的色彩修正模型。其中，方法、装置、介质和计算设备的实现原理相似，此处不再赘述。
在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。
本发明实施例可以应用于各种图像经重构变换前或后色彩预测的场景，还能够用于生成鲁棒的物理世界对抗样本，以在物理世界更高效地攻击机器学习模型。需要注意的是，本发明提供的实施例仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
本发明实施例提供了一种训练数据生成方法，如图1所示，该方法包括以下步骤：
S101、获取包括多个不同颜色区域的图像重构变换后的图像；
S102、基于重构变换后的图像进行估计，得到重构变换后的图像中各个颜色区域的颜色；
S103、将重构变换前的图像中各个颜色区域的颜色与估计得到重构变换后的图像中相应颜色区域的颜色一一进行匹配，得到包括多个所述训练数据的训练数据集。
其中，图像中多个不同颜色的区域的大小可以相同，也可以不同。在一些实施例中，假设图像为色表，基于此，多个不同颜色区域为多个不同颜色的色块。为便于对色表中各个颜色区域进行评估，可选地，假设色表为重构变换前的图像，基于此，重构变换前的图像中每个颜色区域为纯色。
S101中，获取包括多个不同颜色区域的图像重构变换后的图像，可以具体实现为：获取包括多个不同颜色区域的图像经过多个不同重构变换后得到的多个图像。
S102中，基于重构变换后的图像进行估计，得到重构变换后的图像中各个颜色区域的颜色，可以具体实现为：在重构变换后的图像中的不同颜色区域进行采样，进而，根据采样结果估计重构变换后的图像中各个颜色区域的颜色。
上述步骤中，在重构变换后的图像中的不同颜色区域进行采样，可实现为：在每一颜色区域的中心区域提取预设大小的子区域图像，采样各个颜色区域的子区域图像在预设颜色空间中每一通道的数值。
其中，采样各个颜色区域的子区域图像中预设数量像素的每一像素在预设颜色空间中每一通道的数值。
进而，上述步骤中，根据采样结果估计重构变换后的图像中各个颜色区域的颜色，可实现为：根据采样结果鲁棒的估计重构变换后的图像中各个颜色区域的颜色。具体而言，根据采样结果的中位数估计重构变换后的图像中各个颜色区域的颜色。
S103中，将重构变换前的图像中各个颜色区域的颜色与估计得到重构变换后的图像中相应颜色区域的颜色一一进行匹配，得到包括多个所述训练数据的训练数据集。
S103之后，还可将训练数据集中重构变换前后的颜色分别从预设颜色空间转换到其他颜色空间，得到新的训练数据。
图1示出的训练数据生成方法中，通过获取包括多个不同颜色区域的图像重构变换后的图像，基于重构变换后的图像进行估计，得到重构变换后的图像中各个颜色区域的颜色，将重构变换前的图像中各个颜色区域的颜色与估计得到重构变换后的图像中相应颜色区域的颜色一一进行匹配，得到包括多个训练数据的训练数据集。通过拟合上述步骤得到的训练数据集，有助于针对各种图片实现色彩修正。
上述训练数据生成方法中，可以利用变换后图像的每个像素的颜色变化都是独立同分布的假设，来提升模型对训练数据的利用效率，同时在训练数据集制作阶段，通过对同一个变换前颜色的多个变换后颜色做鲁棒估计，来减小标注噪声，提高变换后颜色的标注准确性。
基于图1示出的训练数据生成方法，本发明实施例提供了一种图像色彩修正方法，如图2所示，该方法包括以下步骤：
S201、拟合通过训练数据生成方法得到的训练数据集，获取各个颜色由重构变换前到重构变换后的映射，以获得色彩修正模型；
S202、将重构变换前的图片输入色彩修正模型获得重构变换后图片，或者，将重构变换后图片输入色彩修正模型获得重构变换前图片。
其中，拟合训练数据集时逐像素的建立颜色重构变换前后的映射关系。可选地，拟合训练数据集时逐像素的建立颜色重构变换前后的色品的映射关系，保持重构变化前后的亮度不变。
其中，拟合训练数据集时采用神经网络建模重构变换前颜色与重构变换后颜色之间的映射。神经网络为预设层数的卷积神经网络，每一卷积层使用设定大小的卷积核。在一些实施例中，卷积核的大小为1×1。
其中，拟合训练数据集时采用梯度提升决策树建模重构变换前颜色的色品与重构变换后颜色的色品之间的映射。采用与色品通路数目相同的梯度提升决策树进行分组建模各个色品通路的映射。
图2示出的图像色彩修正方法中，拟合通过图1示出的训练数据生成方法得到的训练数据集，获取各个颜色由重构变换前到重构变换后的映射，以获得色彩修正模型；将重构变换前的图片输入色彩修正模型获得重构变换后图片，或者，将重构变换后图片输入色彩修正模型获得重构变换前图片。从而，实现在较低数据采集成本的情况下，训练一个高精度、运算速度快的色彩修正模型。
基于图2示出的图像色彩修正方法，本发明实施例提供了一种对抗样本生成方法，如图3所示，该方法包括以下步骤：
S301、将色彩修正模型和待攻击模型串联组成新模型，给定输入图片，得到对抗样本。
其中，色彩修正模型是根据图2示出的图像色彩修正方法得到。可选地，该色彩修正模型建模各个颜色重构变换后到重构变换前的映射关系。具体来说，色彩修正模型建模各个颜色重构变换前到重构变换后的映射关系。可选地，将对抗样本制作成物理实体，得到物理世界的对抗样本实体。
本发明实施例提供了一种图像色彩修正方法，如图4所示，该方法包括：
S401、获取变换前色表，变换前色表中包含的颜色为变换前颜色；
S402、将变换前色表重构变换得到变换后色表；
S403、采集变换后色表中色块包含的颜色为变换后颜色；
S404、将变换前颜色与变换后颜色配对，获得训练数据集；
S405、通过机器学习模型拟合训练数据集，获取变换前颜色与变换后颜色的映射，以获得色彩修正模型；
S406、将变换前图片输入色彩修正模型获得变换后图片，或者，将变换后图片输入色彩修正模型获得变换前图片。
图5示出本实施例提供的图像色彩修正方法中色彩修正模型的训练方法。图6示出本施例提供的图像色彩修正方法中色彩修正模型的使用方法。
下文结合附图具体说明如何实现图像色彩修正：
S401中，所述变换前色表既可以是广泛使用的标准色表(例如Macbeth 色卡)，也可以是用户自制的色表，变换前色表的选择不影响本方法的有效性，需要注意的是，变换前色表制作的技术关键在于覆盖到需要修复的色域里的主要颜色。
本实施例中，以用户自制的变换前色表为例。为便于描述，下文中变换前颜色记为变量X。
以16为间隔遍历RGB颜色空间，即均匀地采样RGB色域中的颜色，可以得到4096种颜色，即变换前颜色，记为变量X∈R3，这些颜色的RGB值分别如下：
(0,0,0),(0,0,16)...(0,0,240),(0,16,0),(0,16,16)...(0,16,240),(0 ,32,0)...(16,0,0)...(240,240,240)。
在多张1320像素X880像素的色表模板上，用变换前颜色填充色表模板上 40像素X40像素的正方形色块，这些正方形色块整齐地排列在色表模板上，得到用户自制的变换前色表，如图7所示。本实施例仅提供一种变换前色表的制作方式，但本发明变换前色表的获取并不局限于该种方式。
S402中，本发明所指的经重构变换过程包括各种方式，以下是一些可能的例子：
1、数字图片甲，与它经过打印再扫描后的数字图像乙；
2、数字图片甲，与它经过打印再拍摄后的数字图像乙；
3、数字图片甲，与它经过电视屏幕播放再拍摄后的数字图像乙；
4、数字图片甲，与它通过投影仪投射到墙壁上再拍摄后的数字图像乙。
经重构变换后，获得变换后色表，请参阅图8。
S403中，对变换后色表中的色块进行像素采样，作为变换后颜色，记为变量Y∈R3，在本实施例中，对色块的中央提取一个小的正方形色块，并用这个小色块中每一个RGB通道的中位数来估计变换后颜色在该通道上的值：
式中Rest，Gest，Best分别表示R，G，B三个通道的估计值，Ri，Gi，Bi分别表示采样得到的第i个像素的R，G，B三个通道的实际值，N是采样像素的总数，median(.)表示对一维数据取中位数统计量。
本实施例，采样的是让采样点都在色块内部中央请参阅图9，其他采样方法，例如随机采样，并不影响本发明的有效性。
在其它实施例中，可以采用鲁棒的统计方法来估计色块的颜色，关键在于通过增加数据量来减小噪声，即通过对同一个变换前颜色的多个变换后颜色做鲁棒估计，来减小标注噪声，提高变换后颜色的标注准确性。鲁棒估计的关键是让估计值对噪声异常值不敏感，目的是降噪，从而避免光照不均匀、纸质质量残次不齐、打印机打印效果不均匀等因素给变换后图像带来的噪声，其他鲁棒估计方法，例如四分位数估计、或者转化到其他颜色空间再在新的颜色空间进行鲁棒估计，并不影响本发明的有效性。
S404中，将所述变换前颜色与所述变换后颜色配对，获得训练数据集。由于变换前色表是由变换前颜色X制作得到的，即S401，而变换后颜色Y是由变换后色表中采集到的，即S403，而且变换前色表和变换后色表存在一一对应关系，我们根据这个一一对应关系将变换前颜色X和变换后颜色Y实现一一匹配，得到配对(X,Y),整合成一个训练数据集。
步骤S401到S404为数据采集部分，其采集的结果是得到变换前颜色X 与变换后颜色Y的配对，其中，变换前颜色X覆盖了绝大部分需要建模的变换前颜色，变换后颜色Y是通过采集得到的变换后颜色的估计值。
接下去是数据的训练部分。
S405中，通过一个机器学习模型fθ来拟合所述训练数据集，根据实际中具体的要求，可以通过拟合X到Y来建模变换前颜色到变换后颜色的映射，或者通过拟合Y到X来建模变换后颜色到变换前颜色的映射。
使用不同的机器学习方法来建模以及不同的学习方法来求解模型参数并不影响本发明的有效性，在本实施例中，采用神经网络来建模X到Y的映射。
假设本实施例选择的神经网络结构为4层的卷积神经网络，每一层均使用 1×1的卷积核。这四个卷积层的通道数分别是768，768，768，3，每个卷积层都是用分组数为3的分组卷积(group convolution)。每个卷积层的激活函数是tanh。当然，实际应用中并不限定于上述数量，此处仅为其中一个示例。
本步骤的关键是使用1×1卷积来局部地建模像素到像素的映射。
模型训练求解下述目标函数：
其中l表示L1损失函数，xi，yi分别是第i个配对的x和y的值。
为了提升模型预测的稳定性，使用谱归一化的方法来稳定训练。其中谱归一化的参数设为λ，训练用的优化器为Adam，设置学习率为1e-3，权重衰减率为1e-4。
当模型训练完成以后，进入S406，可以在新图片上测试，即将变换前图片输入所述色彩修正模型获得变换后图片，或者，将变换后图片输入所述色彩修正模型获得变换前图片。
本实施例中，设新的变换前图片和变换后图片分别为 Ix，Iy∈RH×W×3，其中H和W分别是图片的高和宽，用机器学习模型进行预测：
其中i，j为第i行第j列的像素值。
在不引起混淆的情况下，下文也用Iy＝Fθ(Ix)来表示用步骤S406处理整张图片Ix的过程。其中，针对fθ是卷积神经网络的例子，上述机器学习模型预测的计算可以用目前的高性能深度学习计算库(例如 tensorflow，pytorch)来高效地实现，从而达到了运算速度快的目的。
本发明作为一种图像色彩修正方法，其针对的颜色空间可以是上述实施例的RGB颜色空间，也可以是通过亮度和色品去耦合的Lab空间、YUV空间、YCbCr空间、HSV空间。
下面将上述实施例的变量X和Y从RGB颜色空间转化到通过亮度和色品去耦合的空间，记变换函数为ftrans(.)，其反函数为
本实施例的关键在于利用颜色学的理论对数据做预处理，将亮度和色品分开，来提升模型对数据的使用效率。其他尝试将亮度和色品去耦合的颜色空间都不影响本发明的有效性。
结合上一个实施例的步骤S401到S403，到步骤S404时，先对数据做预处理，即对变量进行转变，记转变后的变量为：
X*＝ftrans(X)
Y*＝ftrans(Y)
紧接着，在对转变后的数据做提取处理，从数据中提取出亮度和色品的部分，记提取亮度的操作为fl，获得变换前亮度
和变换后亮度
记提取色品的操作为fc，获得变换前色品
和变换后色品
其中，下表l表示亮度的维度，下标c表示色品的维度。
解这对处理后的数据配对，得到亮度训练数据集
和色品训练数据集
在本实施例的S405中，通过一个机器学习模型fθ来拟合所述色品训练数据集
而保持亮度训练数据集
不变，根据实际中具体的要求，可以通过拟合
到
来建模变换前色品到变换后色品的映射，或者通过拟合
到
来建模变换后色品到变换前色品的映射。
使用不同的机器学习方法来建模以及不同的学习方法来求解模型参数并不影响本发明的有效性，在本实施例中，采用神经网络来建模
到
的映射。
本实施例选择的神经网络结构为4层的卷积神经网络，每一层均使用1×1 的卷积核。这四层卷积的通道数分别是64，64，64，2，每层都是用分组数为 3的分组卷积(groupconvolution)。每层的激活函数是tanh。
本步骤的关键在于使用1×1卷积来局部地建模像素到像素的映射。
模型训练求解下述目标函数：
其中l表示L1损失函数，
分别是第i个配对的
和
的值。
为了提升模型预测的稳定性，使用谱归一化的方法来稳定训练。其中谱归一化的参数设为λ，训练用的优化器为Adam，设置学习率为1e-3，权重衰减率为1e-4。
模型训练完后，进入本实施例的S406，可以在新图片上测试，即将变换前图片输入所述色彩修正模型获得变换后图片，或者，将变换后图片输入所述色彩修正模型获得变换前图片。
本实施例中，设新的变换前图片和变换后图片分别为 Ix，Iy∈RH×W×3，其中H和W分别是图片的高和宽，用机器学习模型进行预测：
其中i，j为第i行第j列的像素值；[.]表示级联(concatenate)操作， -1上标表示反函数。
在不引起混淆的情况下，下文也用
Iy＝Fθ(Ix)
来表示用步骤S406处理整张图片Ix的过程。其中，针对fθ是卷积神经网络的例子，上述机器学习模型预测的计算可以用目前的高性能深度学习计算库 (例如tensorflow，pytorch)来高效地实现，从而达到了运算速度快的目的。
为了验证本发明的性能，现实验建模惠普打印机(型号Page Wide Managed MFPP77740dn)在丰彩牌厚型彩色喷墨打印纸上的打印效果。
例如，步骤S402中的重构变换采用惠普Color LaserJet MFP M281fdw 打印机套装中的扫描仪。图片是从COCO数据集里随机抽取的一个数据。结果如图10所示，左下角是变换前图片，左上角是实际的变换后图片，右上角是利用颜色变换预处理来做色彩修正的结果，右下角是不使用颜色变换预处理来做色彩修正的结果，可以看到，加入颜色变换预处理能提升预测的准确度。
本发明中，使用不同的机器学习方法来建模以及不同的学习方法来求解模型参数并不影响本发明的有效性，以下介绍一种基于梯度提升决策树来做色彩修正的方法，其步骤S401到S404与上一个实施例的步骤相同，而在步骤S405 则采用梯度提升决策树来拟合一一匹配的色品训练数据集
而保持亮度训练数据集
不变，根据实际中具体的要求，可以通过拟合
到
来建模变换前色品到变换后色品的映射，或者通过拟合
到
来建模变换后色品到变换前色品的映射，本步骤关键在于机器学习模型只对色品建模，而不对亮度建模。
选择2棵梯度提升决策树进行分组建模2个色品通路的映射。对于第j 组(j＝1，2)，模型训练迭代式地进行以下步骤，用t＝1，...，t＝10来表示迭代轮次，最大轮次设置为100：
第一步：求解下述目标函数
初始化
其中l为Huber损失；xi，yi分别是第i个配对的x和y的值； ft(.)为当前轮次的树模型；
为前面轮次的预测值；Huber损失的公式为：
Ω为正则项，其公式为：
其中T为对应树的叶子节点数，ω为叶子节点所对应值的L2范数。
在本实施例中γ设置为1，λ设置为0.1，δ设置为0.5。
第二步：更新预测值
模型训练完后，进入本实施例的S406，可以在新图片上测试，即将变换前图片输入所述色彩修正模型获得变换后图片，或者，将变换后图片输入所述色彩修正模型获得变换前图片。
本实施例中，设新的变换前图片和变换后图片分别为 Ix，Iy∈RH×W×3，其中H和W分别是图片的高和宽，用机器学习模型进行预测：
其中i，j为第i行第j列的像素值；[.]表示级联(concatenate)操作， -1上标表示反函数。
由上面实施例可知，本发明作为一种图像色彩修正方法，其针对的颜色空间并不局限于一种，可以相互转变。为了***地比较对不同颜色空间中S405 的处理效果，本实验使用梯度提升决策树来作为模型，在一个随机采样变换前颜色的测试集上测试预测误差，结果如表1所示，颜色空间预处理能显著地提升某些颜色的预测准确度。
表1在测试集(随机色表)上的预测误差
在介绍了本发明示例性实施方式的方法之后，接下来，介绍本发明提供了示例性实施的装置。
请参阅图11，本发明提供了一种图像色彩修正装置，该装置可以实现图4 对应的本发明示例性实施方式中的图像色彩修正方法。该装置包括：获取模块、采集模块、匹配模块、训练模块和输出模块，具体的：
获取模块，被配置为获取变换前色表及变换前色表中包含的变换前颜色；
可选的，获取模块所采集的变换前色表可以是用户自制的色表，也可以是标准色表，本实施例采用上述实施例中用户自制的变换前色表，并采集变换前色表上包含的变换前颜色。
采集模块，被配置为采集所述变换后色表中色块包含的变换后颜色。
匹配模块，被配置为将所述变换前颜色与变换后颜色配对，获得训练数据集；
可选的，如上述实施例所示，训练数据集可根据实际需求，选用不同的颜色空间，不同的颜色空间可相互转换。
训练模块，被配置为通过机器学习模型拟合所述训练数据集，获得所述变换前颜色与变换后颜色的映射，以获得色彩修正模型；
可选的，拟合所述训练数据集时，可以使用不同的机器学习方法来建模、以及不同的学习方法来求解模型参数。
输出模块，被配置为将变换前图片输入所述色彩修正模型获得变换后图片，或者，将变换后图片输入所述色彩修正模型获得变换前图片。
本实施例的装置，其实现原理与方法的技术方案相似，此处不再赘述。
在介绍了本发明示例性实施方式的方法和装置之后，接下来，参考图12，本发明提供了一种示例性介质，该介质存储有计算机可执行指令，该计算机可执行指令可用于使所述计算机执行图4对应的本发明示例性实施方式中任一项所述的方法。
在介绍了本发明示例性实施方式的方法、介质和装置之后，接下来，参考图13，介绍本发明提供的一种示例性计算设备70，该计算设备70包括处理单元701、存储器702、总线703、外部设备704、I/O接口705以及网络适配器 706，该存储器702包括随机存取存储器(random access memory，RAM)7021、高速缓存存储器7022、只读存储器(Read-OnlyMemory，ROM)7023以及至少一片存储单元7024构成的存储单元阵列7025。其中该存储器702，用于存储处理单元701执行的程序或指令；该处理单元701，用于根据该存储器702存储的程序或指令，执行图4对应的本发明示例性实施方式中任一项所述的方法；该I/O接口705，用于在该处理单元701的控制下接收或发送数据。
在此，所述示例性计算设备70其包括但不限于用户设备、网络设备或网络设备与用户设备通过网络相集成所构成的设备；所述用户设备包括但不限于任何一种可与用户通过键盘、遥控器、触摸板或声控设备进行人机交互的电子产品，例如计算机、智能手机、普通手机、平板电脑等；所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的各个模块可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
在介绍了本发明的图像色彩修正方法、装置和计算设备后，接下来，本发明提供了一种生成对抗样本的方法，该方法基于上述实施例中的图像色彩修正方法，核心在于将色彩修正模型和待攻击模型串联组成新模型，给定输入图片，得到对抗样本，请参阅图14。
可选的，色彩修正模型采用上述实施例中基于神经网络的色彩修正模型，待攻击模型选用神经网络模型，具体实施方式如下：
其步骤S401到S406与上文的图像色彩修方法中的步骤S401到S406相同，其中步骤S405选择建模
到
的映射。
S407，设待攻击的模型为g，则构造一个新的函数 h(.)＝g(Fθ(.))。
这个函数构造的核心思想是，先用Fθ来模拟变换后的效果，然后再通过g来给出针对变换后图像的预测结果，从而获得攻击所需的监督信号。
S408，给定输入图片Ix得到对抗样本。
使用现有的基于优化的对抗样本生成技术来生成对抗样本。以基于动量的对抗样本生成方法为例，描述对抗样本的生成方法。假设基于动量的对抗样本生成方法的目标函数为：
其中L(.)为任意描述攻击效果的、可导的目标函数；|·|∞是无穷范；∈是最大可能的扰动值；⊙是向量逐元素乘积；W为一个掩码矩阵，W的每一个元素的定义域是{0，1}，记为1的元素标记了需要优化的像素位置，记为0的元素标记了不需要优化的像素位置。通过以下公式更新动量和迭代中的对抗样本：
I＝proj(I+W⊙α·sign(z))
其中，z表示动量(初始化为0)；μ表示动量的衰减速度；
表示所述目标函数相对模型输入的梯度；|·|1是L1 范数；I为表示迭代中的对抗样本的变量；proj表示将变量投影回约束范围内；α表示梯度下降的步长；sign是符号函数。上述迭代的初始化为 I＝Ix。
可选的，在上述步骤的技术上，S409，将对抗样本
制作成物理实体，得到物理世界的对抗样本实体。
可选的，为了验证本发明的性能，例如，本实验选用目标检测*** Faster-RCNN作为待攻击的模型g。实验采用无定向攻击Faster-RCNN的RCNN 中的分类端头，以及重构变换采用“先打印后扫描”，“打印”作为制作物理实体的方法，然后在拍摄场景下测试物理世界对抗样本的攻击效果。
结果如图15-16所示，图15和图16分别为攻击汽车类别和公交车类别的结果。每幅图中左边是用了色差修正模型的结果，分别是0.61和0.81，右边是没有使用色差修正的结果，分别是0.81和1.0，可以看到，对于物理世界对抗样本攻击，带色差修正模型的结果能显著地降低预测置信度，提高攻击成功率。
下面介绍生成对抗样本的方法的另一种使用方式，请参阅图17，将已生成好的对抗样本，用色彩修正模型来预测出变换前对抗样本，其步骤S401到 S406与上述的图像色彩修方法中的步骤S401到S406相同，其中步骤S405选择建模
到
的映射。
S407，获得待攻击的模型为g。
S408，给定输入图片Ix得到对抗样本。使用现有的基于优化的对抗样本生成技术来生成对抗样本。以基于动量的对抗样本生成方法为例，描述对抗样本的生成方法。假设基于动量的对抗样本生成方的目标函数为：
上述迭代的初始化为z＝0，I＝Ix。
S409，用色彩修正模型fθ(.)来预测变换前的图像：
S410，将变换前的对抗样本
打印下来，得到物理世界的对抗样本实体。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
通过上述的描述，本发明的实施例提供了以下的技术方案，但不限于此：
1.一种训练数据生成方法，其中，包括：
获取包括多个不同颜色区域的图像重构变换后的图像；
基于重构变换后的图像进行估计，得到重构变换后的图像中各个颜色区域的颜色；
将重构变换前的图像中各个颜色区域的颜色与估计得到重构变换后的图像中相应颜色区域的颜色一一进行匹配，得到包括多个所述训练数据的训练数据集。
2.如方案1所述的训练数据生成方法，其中，所述图像为色表，所述多个不同颜色区域为多个不同颜色的色块。
3.如方案2所述的训练数据生成方法，其中，所述色表为重构变换前的图像，重构变换前的图像中每个颜色区域为纯色。
4.如方案1所述的训练数据生成方法，其中，所述获取包括多个不同颜色区域的图像重构变换后的图像，包括：
获取包括多个不同颜色区域的图像经过多个不同重构变换后得到的多个图像。
5.如方案1所述的训练数据生成方法，其中，基于重构变换后的图像进行估计，得到重构变换后的图像中各个颜色区域的颜色，包括：
在重构变换后的图像中的不同颜色区域进行采样；
根据采样结果估计重构变换后的图像中各个颜色区域的颜色。
6.如方案5所述的训练数据生成方法，其中，在重构变换后的图像中的不同颜色区域进行采样，包括：
在每一颜色区域的中心区域提取预设大小的子区域图像；
采样各个颜色区域的子区域图像在预设颜色空间中每一通道的数值。
7.如方案6所述的训练数据生成方法，其中，采样各个颜色区域的子区域图像在预设颜色空间中每一通道的数值，包括：
采样各个颜色区域的子区域图像中预设数量像素的每一像素在预设颜色空间中每一通道的数值。
8.如方案5-7中任一项所述的训练数据生成方法，其中，根据采样结果估计重构变换后的图像中各个颜色区域的颜色，包括：
根据采样结果鲁棒的估计重构变换后的图像中各个颜色区域的颜色。
9.如方案8所述的训练数据生成方法，其中，根据采样结果鲁棒的估计重构变换后的图像中各个颜色区域的颜色，包括：
根据采样结果的中位数估计重构变换后的图像中各个颜色区域的颜色。
10.如方案9所述的训练数据生成方法，其中，将重构变换前的图像中各个颜色区域的颜色与估计得到重构变换后的图像中相应颜色区域的颜色一一进行匹配，得到包括多个所述训练数据的训练数据集之后，所述方法还包括：
将训练数据集中重构变换前后的颜色分别从预设颜色空间转换到其他颜色空间，得到新的训练数据。
11.一种图像色彩修正方法，其中，包括：
拟合通过方案1-10中任一项所述的所述训练数据生成方法得到的训练数据集，获取各个颜色由重构变换前到重构变换后的映射，以获得色彩修正模型；
将重构变换前的图片输入所述色彩修正模型获得重构变换后图片，或者，将重构变换后图片输入所述色彩修正模型获得重构变换前图片。
12.如方案11所述的图像色彩修正方法，其中，拟合所述训练数据集时逐像素的建立颜色重构变换前后的映射关系。
13.如方案12所述的图像色彩修正方法，其中，拟合所述训练数据集时逐像素的建立颜色重构变换前后的色品的映射关系，保持重构变化前后的亮度不变。
14.如方案12所述的图像色彩修正方法，其中，拟合所述训练数据集时采用神经网络建模重构变换前颜色与重构变换后颜色之间的映射；其中，所述神经网络为预设层数的卷积神经网络，每一卷积层使用设定大小的卷积核。
15.如方案14所述的图像色彩修正方法，其中，所述卷积核的大小为1×1。
16.如方案11所述的图像色彩修正方法，其中，拟合所述训练数据集时采用梯度提升决策树建模重构变换前颜色的色品与重构变换后颜色的色品之间的映射。
17.如方案16所述的图像色彩修正方法，采用与色品通路数目相同的梯度提升决策树进行分组建模各个色品通路的映射。
18.一种对抗样本生成方法，其中，将色彩修正模型和待攻击模型串联组成新模型，给定输入图片，得到对抗样本；
所述色彩修正模型是根据方案11至17中任一项所述的图像色彩修正方法得到。
19.如方案18所述的对抗样本生成方法，其中，将所述对抗样本制作成物理实体，得到物理世界的对抗样本实体。
20.如方案18或19所述的对抗样本生成方法，其中，所述色彩修正模型建模各个颜色重构变换前到重构变换后的映射关系。
21.如方案18或19所述的对抗样本生成方法，其中，所述色彩修正模型建模各个颜色重构变换后到重构变换前的映射关系。
22.一种图像色彩修正装置，其中，包括：
拟合模块，被配置为拟合通过方案1-10中任一项所述的所述训练数据生成方法得到的训练数据集，获取各个颜色由重构变换前到重构变换后的映射，以获得色彩修正模型；
输出模块，被配置为将重构变换前的图片输入所述色彩修正模型获得重构变换后图片，或者，被配置为将重构变换后图片输入所述色彩修正模型获得重构变换前图片。
23.一种计算设备，包括：存储器和处理器；
所述存储器用于存储一条或多条计算机指令；
所述处理器用于执行所述一条或多条计算机指令以用于：执行方案1-21 任一项所述的方法中的步骤。
24.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序；
所述计算机程序被执行时，用以实现方案1-21任一项所述的方法中的步骤。
Claims (10)
1.一种训练数据生成方法，其中，包括：
获取包括多个不同颜色区域的图像重构变换后的图像；
基于重构变换后的图像进行估计，得到重构变换后的图像中各个颜色区域的颜色；
将重构变换前的图像中各个颜色区域的颜色与估计得到重构变换后的图像中相应颜色区域的颜色一一进行匹配，得到包括多个所述训练数据的训练数据集。
2.如权利要求1所述的训练数据生成方法，其中，所述图像为色表，所述多个不同颜色区域为多个不同颜色的色块。
3.如权利要求2所述的训练数据生成方法，其中，所述色表为重构变换前的图像，重构变换前的图像中每个颜色区域为纯色。
4.一种图像色彩修正方法，其中，包括：
拟合通过权利要求1-3中任一项所述的所述训练数据生成方法得到的训练数据集，获取各个颜色由重构变换前到重构变换后的映射，以获得色彩修正模型；
将重构变换前的图片输入所述色彩修正模型获得重构变换后图片，或者，将重构变换后图片输入所述色彩修正模型获得重构变换前图片。
5.如权利要求4所述的图像色彩修正方法，其中，拟合所述训练数据集时逐像素的建立颜色重构变换前后的映射关系。
6.一种对抗样本生成方法，其中，将色彩修正模型和待攻击模型串联组成新模型，给定输入图片，得到对抗样本；
所述色彩修正模型是根据权利要求4至5中任一项所述的图像色彩修正方法得到。
7.如权利要求6所述的对抗样本生成方法，其中，将所述对抗样本制作成物理实体，得到物理世界的对抗样本实体。
8.一种图像色彩修正装置，其中，包括：
拟合模块，被配置为拟合通过权利要求1-3中任一项所述的所述训练数据生成方法得到的训练数据集，获取各个颜色由重构变换前到重构变换后的映射，以获得色彩修正模型；
输出模块，被配置为将重构变换前的图片输入所述色彩修正模型获得重构变换后图片，或者，被配置为将重构变换后图片输入所述色彩修正模型获得重构变换前图片。
9.一种计算设备，包括：存储器和处理器；
所述存储器用于存储一条或多条计算机指令；
所述处理器用于执行所述一条或多条计算机指令以用于：执行权利要求1-7任一项所述的方法中的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序；
所述计算机程序被执行时，用以实现权利要求1-7任一项所述的方法中的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110993564.XA CN113706415A (zh) | 2021-08-27 | 2021-08-27 | 训练数据生成、对抗样本生成、图像色彩修正方法及装置 |
| CN202211040800.7A CN115170440A (zh) | 2021-08-27 | 2022-08-29 | 图像处理方法、相关装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110993564.XA CN113706415A (zh) | 2021-08-27 | 2021-08-27 | 训练数据生成、对抗样本生成、图像色彩修正方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113706415A true CN113706415A (zh) | 2021-11-26 |
Family
ID=78655726
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110993564.XA Pending CN113706415A (zh) | 2021-08-27 | 2021-08-27 | 训练数据生成、对抗样本生成、图像色彩修正方法及装置 |
| CN202211040800.7A Pending CN115170440A (zh) | 2021-08-27 | 2022-08-29 | 图像处理方法、相关装置及存储介质 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211040800.7A Pending CN115170440A (zh) | 2021-08-27 | 2022-08-29 | 图像处理方法、相关装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN113706415A (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116310745B (zh) * | 2023-05-10 | 2024-01-23 | 北京瑞莱智慧科技有限公司 | 图像处理方法、数据处理方法、相关装置及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102110428A (zh) * | 2009-12-23 | 2011-06-29 | 新奥特（北京）视频技术有限公司 | 一种cmyk到rgb色彩空间的转换方法和装置 |
| CN103617596A (zh) * | 2013-10-12 | 2014-03-05 | 中山大学 | 一种基于流型转换的图像色彩风格变换方法 |
| CN103647958A (zh) * | 2013-12-23 | 2014-03-19 | 联想(北京)有限公司 | 图像处理方法、图像处理装置和电子设备 |
| CN103793888A (zh) * | 2014-02-18 | 2014-05-14 | 厦门美图网科技有限公司 | 一种基于参照图像的主要颜色的图像增强方法 |
| CN111062876A (zh) * | 2018-10-17 | 2020-04-24 | 北京地平线机器人技术研发有限公司 | 用于校正模型训练和图像校正的方法和装置及电子设备 |
| CN111277809A (zh) * | 2020-02-28 | 2020-06-12 | 广东工业大学 | 一种图像色彩校正方法、***、设备及介质 |
-
2021
- 2021-08-27 CN CN202110993564.XA patent/CN113706415A/zh active Pending
-
2022
- 2022-08-29 CN CN202211040800.7A patent/CN115170440A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102110428A (zh) * | 2009-12-23 | 2011-06-29 | 新奥特（北京）视频技术有限公司 | 一种cmyk到rgb色彩空间的转换方法和装置 |
| CN103617596A (zh) * | 2013-10-12 | 2014-03-05 | 中山大学 | 一种基于流型转换的图像色彩风格变换方法 |
| CN103647958A (zh) * | 2013-12-23 | 2014-03-19 | 联想(北京)有限公司 | 图像处理方法、图像处理装置和电子设备 |
| CN103793888A (zh) * | 2014-02-18 | 2014-05-14 | 厦门美图网科技有限公司 | 一种基于参照图像的主要颜色的图像增强方法 |
| CN111062876A (zh) * | 2018-10-17 | 2020-04-24 | 北京地平线机器人技术研发有限公司 | 用于校正模型训练和图像校正的方法和装置及电子设备 |
| CN111277809A (zh) * | 2020-02-28 | 2020-06-12 | 广东工业大学 | 一种图像色彩校正方法、***、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115170440A (zh) | 2022-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Khoo et al. | SwitchNet: a neural network model for forward and inverse scattering problems | |
| CN107133934B (zh) | 图像补全方法及装置 | |
| JP6504590B2 (ja) | 画像のセマンティックセグメンテーションのためのシステム及びコンピューター実施方法、並びに非一時的コンピューター可読媒体 | |
| CN105893954B (zh) | 一种基于核机器学习的非负矩阵分解人脸识别方法及*** | |
| Ebadi et al. | Foreground segmentation with tree-structured sparse RPCA | |
| Xu et al. | A fast patch-dictionary method for whole image recovery | |
| EP3732619A1 (en) | Convolutional neural network-based image processing method and image processing apparatus | |
| RU2716322C2 (ru) | Репродуцирующая аугментация данных изображения | |
| US20190244362A1 (en) | Differentiable Jaccard Loss Approximation for Training an Artificial Neural Network | |
| US11514694B2 (en) | Teaching GAN (generative adversarial networks) to generate per-pixel annotation | |
| CN110023964B (zh) | 训练和/或使用神经网络模型来生成光谱图像的中间输出 | |
| CN110717953B (zh) | 基于cnn-lstm组合模型的黑白图片的着色方法和*** | |
| CN105453132B (zh) | 实施图像处理的信息处理设备和图像处理方法 | |
| US20130089258A1 (en) | Method and apparatus for removing a visual object from a visual data stream | |
| CN109801275B (zh) | 基于图像识别的马铃薯病害检测方法和*** | |
| CN108121962B (zh) | 基于非负自适应特征提取的人脸识别方法、装置及设备 | |
| WO2022072940A1 (en) | Processing images using self-attention based neural networks | |
| CN117597703A (zh) | 用于图像分析的多尺度变换器 | |
| KR20200143450A (ko) | 화상 처리 방법, 장치, 전자 장치 및 저장 매체 | |
| CN113378812A (zh) | 一种基于Mask R-CNN和CRNN的数字表盘识别方法 | |
| CN113706415A (zh) | 训练数据生成、对抗样本生成、图像色彩修正方法及装置 | |
| CN115631399A (zh) | 图像质量评估模型的训练方法、图像质量评估方法及装置 | |
| JP2019023798A (ja) | 超解像装置およびプログラム | |
| CN111667495A (zh) | 一种图像场景解析方法和装置 | |
| CN109791687A (zh) | 在任意曲面上的图像修复 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20211126 |