CN107507250B - 一种基于卷积神经网络的面色舌色图像颜色校正方法 - Google Patents
一种基于卷积神经网络的面色舌色图像颜色校正方法 Download PDFInfo
- Publication number
- CN107507250B CN107507250B CN201710406983.2A CN201710406983A CN107507250B CN 107507250 B CN107507250 B CN 107507250B CN 201710406983 A CN201710406983 A CN 201710406983A CN 107507250 B CN107507250 B CN 107507250B
- Authority
- CN
- China
- Prior art keywords
- color
- layer
- convolution
- image
- color correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012937 correction Methods 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 59
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 230000000694 effects Effects 0.000 claims abstract description 15
- 238000010276 construction Methods 0.000 claims abstract description 3
- 238000010606 normalization Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000004880 explosion Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 abstract description 24
- 230000003287 optical effect Effects 0.000 abstract description 6
- 241000282412 Homo Species 0.000 abstract description 2
- 230000019771 cognition Effects 0.000 abstract description 2
- 230000003278 mimic effect Effects 0.000 abstract description 2
- 238000003672 processing method Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 12
- 238000005286 illumination Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 3
- 238000004737 colorimetric analysis Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000010238 partial least squares regression Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Color Image Communication Systems (AREA)
Abstract
一种基于卷积神经网络的面色舌色图像颜色校正方法涉及数字图像处理方法。算法主要包括离线部分和在线部分。离线部分由训练数据采集、颜色校正卷积神经网络网络框架搭建和训练组成，在线部分则是图像颜色校正和颜色校正效果评价。CNN模仿人类的认知过程，即从局部特征到全局特征的逐层抽象。将卷积神经网络应用于颜色校正中，可以获得较为理想的颜色重现效果。本发明通过采用深度卷积神经网络方法，对稳定光学环境中采集到的人脸面色和舌色进行颜色校正，重现在相同光学环境中目标对象真是呈现的颜色信息。
Description
技术领域
本发明涉及数字图像处理方法，特别涉及一种基于卷积神经网络的面色舌色图像颜色校正方法。
背景技术
真实颜色的采集与复现在医学、艺术等领域具有重要的价值。图像的颜色信息是进行某些专业图像分析的重要依据。物体表面呈现的颜色与光源特性、光照条件、采集设备和显示设备、打印设备等各种环节密切相关。颜色校正是颜色复现、实现颜色一致性呈现的关键技术。目前,颜色校正已经在医学图像、壁画图像和证照图像等众多图像处理领域中得到了应用。研究能真实反映观察对象本身颜色的颜色校正技术具有重要的意义。
相机获得图像与实际场景图像相比存在的颜色失真。因此，有很多针对图像颜色校正的方法相继提出，比如多项式回归、基于偏最小二乘回归颜色校正法和神经网络等方法。多项式回归颜色校正方法需要的训练样本较少，运算复杂度低，但是其回归精度与训练样本和多项式选取关系大，外推能力较差。偏最小二乘回归颜色校正法能较好地解决如自变量之间的多重相关性、样本数相对较少的问题，但精度尚难以满足实际医学应用需求。传统基于神经网络的颜色校正方法训练受限于网络层数、初始化参数选择及并行方式，故网络泛化性能一般存在过拟合现象。
近年来，深度学习得到广泛应用，其中卷积神经网络(Convolutional NeuralNetwork,CNN)是一种典型的深度前馈网络。CNN模仿人类的认知过程，即从局部特征到全局特征的逐层抽象。将卷积神经网络应用于颜色校正中，可以获得较为理想的颜色重现效果。
发明内容
本发明的目的在于，通过采用深度卷积神经网络方法，对稳定光学环境中采集到的人脸面色和舌色进行颜色校正，重现在相同光学环境中目标对象真是呈现的颜色信息。
本发明是采用以下技术手段实现的：
一种基于卷积神经网络的面色舌色图像颜色校正方法，整体流程图如附图1所示；算法主要包括离线部分和在线部分。离线部分由训练数据采集、颜色校正卷积神经网络网络框架搭建和训练组成，在线部分则是图像颜色校正和颜色校正效果评价。
所述的离线部分，具体内容如下：
(1)训练数据采集
本发明图像采集采用的是封闭式环境——人工暗箱，以避免外界杂散光的影响，利用人工光源照明，以保证舌图像采集的质量和稳定性；光源、成像设备相对位置固定，从而达到采集环境的一致性和标准化；在暗箱条件下人工光源(D65)来模拟自然光，有效的保证光源条件的稳定性。
与传统方法不同，本方法使用ColorChecker Digital SG作为颜色校正的色卡。ColorChecker Digital SG有140色块，相对传统ColorChecker Classic有更广的颜色域。同时，在训练样本中，我们增加与肤色和舌色颜色相近的色块样本，这样有利于提高颜色校正的精度。在封闭式环境条件下，对ColorChecker Digital SG标准色卡进行拍照。通过改变色卡的拍摄角度，调整色卡与光源距离，调整色卡和相机的距离等方式拍摄得到色卡图像，利用这些图像生成卷积神经网络颜色校正模型的训练数据。对拍摄得到的图像进行处理，裁剪截取每个色块，每个色块需要设置固定大小格式作为训练样本，利用色卡每个色块标准值生成RGB图像做训练数据的标签，训练样本和标签一一对应。
(2)颜色校正卷积神经网络网络框架搭建和训练
本发明是由神经网络拟合真实颜色和拍照得到的图像颜色之间的关系，学习内容相对简单，所以网络设计为浅层的深度神经网络，网络层数为5层。本发明采用三种不同的层结构，如附图2所示，分别是输入层、非线性变换层、输出层。输入层是由一个卷积层和修正线性单元(Rectified linear unit,ReLU)组成；非线性变换层由3层网络组成，每层由一个卷积层和ReLU激活函数组成，在卷积层和激活函数中间有一个批归一化；输出层是由一个卷积层组成。
在训练中，本发明利用带mini-batch的随机梯度下降算法来迭代和更新卷积核状态W和偏置B，每次进行微批数据集(mini-batch)运算，并采用随机梯度下降算法寻找全局最优解。
在CNN的图像处理过程中，卷积层之间需要通过卷积滤波器联系，卷积滤波器的定义表示为W×H×C×D,其中，C代表被滤波图像的通道数；W、H分别代表滤波范围的宽、高；D代表卷积滤波器的种类。
网络的输入层含有一个卷积层和ReLU激活函数。输入层特征提取公式表示如下：
F1(X1)＝max(0，W1*X1+B1) (1)
式中，X1为进入输入层的特征图。W1和B1分别表示输入层的卷积滤波器和偏置，W1的尺寸是3×3×3×64,它表示64种不同的卷积滤波器，每个卷积的核尺寸3×3×3,F1(X1)是输入层得到的特征图。输入图像为3×40×40的特征图，表示特征图为3通道的彩色图，宽w和高h均为40。经过卷积层输出特征图的宽w1和高h1计算公式如公式(2)和公式(3)所示，kernel为卷积的核大小；stride为卷积核的步长，当取值为1时，提取重叠的图像块，效果较好；pad为边缘补零像素个数。在本发明中设定kernel的值为3，stride的值为1，pad的值为1。因此，输入图像经过输入层64个卷积核3×3之后会产生64×40×40的特征图；然后，特征图经过修正线性单元ReLU。ReLu的表示为max(0,X),可以提取有用的特征图。最后输出结果仍为64×40×40的特征图。
在非线性变换层的非线性映射过程中，卷积层、批归一化和ReLU函数位于第二层、第三层和第四层。非线性变换层各阶段的公式表示如下：
Fi(Xi)＝max(0，Wi*Fi-1(Xi-1)+Bi){i＝2，3，4} (4)
(4)式中,i表示第i层，Xi为第i-1层的输出，即Fi-1(Xi-1)。Wi和Bi分别表示非线性变换阶段的卷积滤波器和偏置,其中,卷积滤波器W1的尺寸是3×3×3×64,第2，3，4层卷积层Wi的尺寸是64×3×3×64,每个卷积核的尺寸为64×3×3。输入层输出的64×40×40的特征图，输入到第二个卷积层中，经过64个卷积核3×3之后会产生64×40×40的特征图。然后，64×40×40的特征图进入批归一化。批归一化在卷积层和ReLU激活函数中间，解决了神经网络训练时的收敛速度慢和梯度***等无法训练的情况。同时，批归一化加快了网络的训练速度，提高了模型精度。最后，特征图经过修正线性单元，提高了特征的非线性。第二层网络输出64×40×40的特征图之后经过与第二层有相同的结构的第三、四层，最终得到64×40×40的特征图。
在输出层的输出重建过程中，特征图输入到只含有一个卷积层的输出层。输出重建的公式表示如下：
F5(X5)＝W5*F4(X4)+B5 (5)
式中，X5为第4层的输出。W5和B5分别表示特征重建层的卷积滤波器和偏置，W5的尺寸是3×3×64×3，特征重建层有3个卷积滤波器,等同于均值滤波器的作用，每个卷积的核尺寸是3×3×64，能够实现平均特征图的作用，F4(X4)是非线性变换层产生的特征图，即X5；非线性变换层输出的特征图经过3个卷积核3×3之后会产生3×40×40的特征图。
采集得到的数据集经过该网络进行训练，迭代50次以上后得到每轮训练的模型，模型最终被保存到文件中。
所述的在线部分，具体内容如下：
(1)图像颜色校正
利用训练得到的模型对颜色失真图像进行颜色校正，得到校正后的图像。在本发明的暗室中拍摄色卡、人脸和舌图像，得到的照片与实际颜色相比较存在失真，使用基于卷积神经网络颜色校正方法对失真图像进行颜色校正。首先读取待校正图像像素点保存为图像矩阵，然后读取训练得到的MAT格式文件得到颜色校正模型。将图像矩阵输入到网络模型当中，分别在R、G、B三个通道对图像进行颜色校正，输出校正后的图像。
(2)颜色校正效果评价
为了验证颜色校正模型的有效性，需要对颜色校正效果进行评价。颜色校正的评价是一个很复杂的问题，涉及到色度学、生理学、心理学等不同学科领域。常用的评价方法有客观评价和主观评价。
根据色度学的理论，颜色重现的评价标准有反射光谱匹配、色貌匹配和三刺激匹配等，这些都属于客观标准。三刺激值匹配是使计算机显示的物体的三刺激值与对应的实际物体颜色的三刺激值相同。拍摄后的图像的颜色，其三刺激值与对应的实际物体相同或者色差在允许范围内，则颜色重现的质量就好。三刺激值匹配是最普通和最有实际意义的颜色重现标准。本发明采用CIE1976L*a*b*
作为评价指标。
主观评价就是有人对某一给定刺激的视觉感受做直接评价，本发明中颜色校正主观评价的观察者对比真实食物和校正后图像，之后评价该方法是否还原出真实的颜色。
附图说明：
图1基于卷积神经网络颜色校正方法流程图；
图2颜色校正卷积神经网络模型架构图；
图3人脸和舌校正前后对比图。
具体实施方式
根据上述描述，以下介绍本发明具体的实施流程。
所述离线部分分为2个步骤：
步骤1：训练数据采集
图像采集是颜色校正工作的基础。采集设备及照明条件变化时，如何保证获取的图像具有恒定的彩色特性是图像采集的关键问题。它涉及到图像采集装置的设计、照明光源的选择、色彩空间(Color Space)选取、***颜色特性数学模型的建立等诸多问题。因此，颜色校正图像采集环境及方法的标准化是颜色校正的重要基础。一般情况下，暗室或暗箱是最理想的拍摄环境，本发明采用的自行研制的暗箱，能够避免外界杂光的干扰，保持光源环境的稳定。
步骤1.1：规范化样本采集
经过大量试验，本发明为保证图像采集的质量，避免外界环境的影响，对颜色校正采集环境提出了以下条件。
1)使用封闭的采集环境，避免杂散光进入拍摄环境和强烈光线射入镜头；
2)实验光源选用D65光源，模拟自然光；
3)D65光源稳定时间是10分钟。打开光源，待光源稳定之后，采集样本图像；
4)将光源和相机两者位置固定，色卡的位置设定在距离相机30～35厘米范围之内；
5)正确设置相机参数。对佳能EOS1200D，设置白平衡自动，光圈F10，ISO设置为3200，快门时间为1/160秒；
步骤1.2：样本采集
样本采集过程按照设定条件进行。本发明在暗箱中使用已经配置好参数的佳能EOS1200D对ColorCheck Digital SG色卡进行拍照，通过改变色卡位置、相机拍摄角度，获得大量色卡照片。为了增加颜色校正的鲁棒性，在相同光照环境下对人脸、舌等进行拍照，得到的人脸和舌图像可以应用到卷积神经网络颜色校正模型校正效果的验证。ColorCheckDigital SG色卡具有光学标准值，故所得的色卡照片，经过处理和对应的标准图像一一对应，能够作为颜色校正网络的训练样本。
步骤1.3：样本预处理
相机拍摄得到的ColorCheck Digital SG色卡照片，不能直接作为卷积神经网络的训练样本，需要将每个色块分割出来。本发明把色卡每个色块分割出来，每个色块的尺寸为180×180像素。通过查阅官方提供的ColorCheck Digital SG光学资料得到色卡每个色块的LAB值。本发明将每个色块的LAB值转化为D65光源环境下的RGB值，利用色块的RGB数值，生成RGB图像。同样，本发明设置标准色块RGB图像尺寸为180×180，照片截得色块图像和标准色块图像尺寸大小相同，便于之后运算。标准色卡RGB图像作为截得的色块图像训练标签，截得的色块图像与标签命名一一对应，能够避免对应错误所造成较大的误差。
为了提高卷积神经网络颜色校正模型的泛化能力和鲁棒性，本发明将同一张色卡图像裁剪出的140色块，按照ColorCheck Digital SG色卡中色块排列顺序拼接在一起，生成拼接图像，与单色块图片一同放入到训练数据中，同时将标准色块照片按同样的顺序拼接起来，放入标签数据集中。这样训练数据样本类型呈现多样性，有利于提高模型的泛化能力。
为了增加样本多样性及样本库的扩充，本发明对训练数据集进行数据增强，通过上下翻转、向左旋转90度、向右旋转90度、向右转换180度、向左旋转90度并上下翻转、向右旋转90度并上下翻转和向右转换180度并上下翻转七种变换，将训练数据扩充为原来的8倍，之后使用滑动窗对训练样本分割成40*40小图。经过一系列的扩充训练数据集的数量达到96000张。颜色校正模型训练本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，最后生成校正模型。为了验证验证模型的准确度的，采用类似的方式准备大小为1280张图片的测试集。将训练集和测试集送入到卷积神经网络中进行训练。
步骤2：颜色校正卷积神经网络网络框架搭建和训练
本发明中没有加入池化层和全连接层，整个网络分为输入层、非线性变换层、输出层。输入层是由一个卷积层和一个ReLU激活函数组成；非线性变换层由3层网络组成，每层由一个卷积层和一个ReLU激活函数组成，在卷积层和激活函数中间有一个批归一化；输出层是由一个卷积层组成。
(1)网络的输入层含有一个卷积层和ReLU激活函数。输入层特征提取公式表示如下：
F1(X1)＝max(0，W1*X1+B1) (6)
式中，X1为进入输入层的特征图。W1和B1分别表示输入层的卷积滤波器和偏置，W1的尺寸是3×3×3×64,它表示64种不同的卷积滤波器，每个卷积的核尺寸3×3×3,F1(X1)是输入层得到的特征图。
在非线性变换层的非线性映射过程中，卷积层、批归一化和ReLU函数位于第二层、第三层和第四层。非线性变换层各阶段的公式表示如下：
Fi(Xi)＝max(0，Wi*Fi-1(Xi)+Bi){i＝2，3，4} (7)
式中,i表示第i层，Xi为第i-1层的输出。Wi和Bi分别表示非线性变换阶段的卷积滤波器和偏置,其中,卷积滤波器W1的尺寸是3×3×3×64,第2，3，4层卷积层Wi的尺寸是64×3×3×64,每个卷积核的尺寸为64×3×3。
在输出层的输出重建过程中，特征图输入到只含有一个卷积层的输出层。输出重建的公式表示如下：
F5(X5)＝W5*F4(X4)+B5 (8)
式中，X5为第4层的输出。W5和B5分别表示特征重建层的卷积滤波器和偏置，W5的尺寸是3×3×64×3，特征重建层有3个卷积滤波器,等同于均值滤波器的作用，每个卷积的核尺寸是3×3×64，能够实现平均特征图的作用，F4(X4)是非线性变换层产生的特征图。
在模型训练过程中，输入图像大小为40×40的特征图，在第一个卷积层中，经过64个卷积核3×3之后会产生64×40×40的特征图；在第二个卷积层中，输入大小为64×40×40的特征图，经过64个卷积核3×3之后会产生64×40×40的特征图；在第三个卷积层中，输入大小为64×40×40的特征图，经过64个卷积核3×3之后会产生64×40×40的特征图；在第四个卷积层中，输入大小为64×40×40的特征图，经过64个卷积核3×3之后会产生64×40×40的特征图；最后输入到输出层的卷积层，经过3个卷积核3×3之后会产生3×40×40的特征图。
(2)在非线性变换层中，卷积层和激励层之间加入批归一化。批归一化主要思路是将输入数据白化(Whitened)，加快网络收敛速度，降低数据冗余性和特性相关性，实际上通过线性变换使数据0均值和单位方差。批归一化解决了神经网络训练时遇到的收敛速度慢和梯度***等无法训练的情况。同时，批归一化加快了网络的训练速度，提高模型精度。
(3)在每层的激活函数中，本发明采用修正线性单元，公式如(9)式所示。x表示特征图经过卷积核后的结果，当x<0，f(x)＝0；如果x>0,f(x)＝x。在正向传播时，加快了计算速度。在反向传播时，当x>0时，梯度为1，因而减轻了梯度弥散问题。故得到的随机梯度下降算法收敛速度较sigmoid和tanh有很大提高。
f(x)＝max(0,x) (9)
(4)在网络训练时本发明采用带mini-batch的随机梯度下降算法进行训练，当样本量比较大或迭代次数高时时，传统的梯度下降算法运算速度较慢，而随机梯度下降算克服这些缺点。传统的训练每次带入所有的样本，带mini-batch的随机梯度下降算法则是带入微批数据集(mini-batch)进行运算，采用随机下降加寻找全局最优解。学习速率是随机梯度下降算法学习方法的必要参数，决定了权值更新的速度，设置得太大会导致代价函数振荡，结果越过最优值，太小会使收敛速度过慢，一般倾向于选取较小的学习速率，如0.001±0.01以保持***稳定。动量参数和权值衰减因子可提高训练自适应性，动量参数通常为[0.9,1.0]，权值衰减因子通常为0.0005±0.0002。通过实验观察，本发明将学习速率设为10-4，动量参数设为0.9，权值衰减因子取值0.0005。经过多次实验，本发明设定批尺寸为128。
经过以上四个主要步骤设计和调整，卷积神经网络颜色校正模型搭建完成，将步骤1中采集得到的训练样本数据放入网络中训练，训练完成后，得到了50轮训练后的模型，以Matlab的MAT格式保存。
所述在线部分分为2个步骤：
步骤1：图像颜色校正
在暗箱中对色卡、人脸和舌进行拍摄，得到该光源环境下的色卡、人脸和舌照片。通过比较可以发现，照片和实际物体存在不同程度的颜色失真。本发明使用基于卷积神经网络颜色校正模型，对颜色失真图像进行颜色校正。首先，对待校正的图像进行逐像素读取RGB值，保存为图像矩阵。然后，将颜色校正网络从Matlab的MAT格式中读取出来，获得基于卷积神经网络颜色校正模型。将图像矩阵输入到网络中，输入层3个卷积核读取图像R、G、B三通道的矩阵。之后，模型分别对图像的R、G、B分量进行颜色校正。三通道的图像矩阵通过网络颜色校正后，输出三通道图像矩阵。三个图像矩阵最后合并成RGB图像，即得到颜色校正后的图像。
步骤2：颜色校正效果评价
利用该模型对色卡、人脸和舌图像进行颜色校正，得到校正后的图像。为了验证颜色校正模型的有效性，需要对校正后的图像进行评价。
颜色校正的评价涉及到色度学、心理学等领域，是一个复杂的问题。通常分为主观评价和客观评价两类。主观评价方法经常是让观察者，对校正图像和拍摄物体进行观察比较。观察者通过校正后的图像的颜色与真实颜色进行比较，衡量颜色重现的效果。这种方法直观有效，是颜色校正质量评价的主要方法。
客观评价是在一定的条件下，采用一套色标进行。如果校正后的颜色接近于原来的色标值，则颜色校正的效果较好。通常，颜色重现三刺激值和色标色差在允许的范围内，就认为获得校正的图像和真实的物体获得相同的视觉效果。在CIELAB空间中，一般认为ΔE<3为彩色颜色真实重现的标准，ΔE<6为颜色校正精准可被接受的标准。
为了验证基于卷积神经网络颜色校正方法的有效性，本发明对色卡、人脸和舌拍摄图像进行颜色校正；为了评估颜色校正模型性能的优劣，本发明分别给出了主观和客观颜色评价结果。
步骤1.1：主观评价
如图3所示，本实验给出人脸和舌颜色校正前后的对比图。佳能相机原拍摄人的照片存在偏褐色、偏暗问题。经过颜色校正后，基于卷积神经网络颜色校正方法很好的还原出人脸和舌的真实颜色。
步骤1.2：客观评价
针对客观颜色评价结果，对标准色卡图像，利用本发明自行开发的软件将色卡图像裁剪出色块图像，并读取每个色块中RGB值，将RGB值转化为LAB值，利用标准误差值CIE1976L*a*b*
作为评价指标，误差如计算公式(10)所示。
上式中ΔL*、Δa*和Δb*分别是色块图像LAB值和标准色块LAB值的差值。利用上述方法，测试样本矫正前后色差情况。经计算得到，校正前样本颜色误差
平均值为14.21，经过颜色校正后误差
平均值为3.70。因此，本发明提出的颜色校正方法取得了不错的校正结果。
Claims (2)
1.一种基于卷积神经网络的面色舌色图像颜色校正方法，包括离线部分和在线部分，其特征在于：离线部分由训练数据采集、颜色校正卷积神经网络网络框架搭建和训练组成，在线部分包括图像颜色校正；
所述的离线部分，具体内容如下：
(1)训练数据采集
采用在暗箱条件下人工光源来模拟自然光，有效的保证光源条件的稳定性；
对拍摄得到的图像进行处理，裁剪截取每个色块，每个色块需要设置固定大小格式作为训练样本，利用色卡的标准值生成RGB图像做训练数据的标签，训练样本和标签一一对应；
(2)颜色校正卷积神经网络网络框架搭建和训练
颜色校正卷积神经网络框架设计为浅层的深度神经网络，网络层数为5层；分别是输入层、非线性变换层、输出层；输入层是由一个卷积层和修正线性单元ReLU组成；非线性变换层由3层网络组成，每层由一个卷积层和ReLU激活函数组成，在卷积层和激活函数中间有一个批归一化；输出层是由一个卷积层组成；
在训练中，利用带mini-batch的随机梯度下降算法来迭代和更新卷积核状态W和偏置B，每次进行微批数据集运算，并采用随机梯度下降算法寻找全局最优解；
在CNN的图像处理过程中，卷积层之间需要通过卷积滤波器联系，卷积滤波器的定义表示为W×H×C×D,其中，C代表被滤波图像的通道数；W、H分别代表滤波范围的宽、高；D代表卷积滤波器的数量；
网络的输入层含有一个卷积层和ReLU激活函数；输入层特征提取公式表示如下：
F1(X1)＝max(0，W1*X1+B1) (1)
式中，X1为进入输入层的特征图，W1和B1分别表示输入层的卷积滤波器和偏置，W1的尺寸是3×3×3×64,它表示64种不同的卷积滤波器，每个卷积的核尺寸3×3×3,F1(X1)是输入层得到的特征图；
输入图像为40×40×3的特征图，表示特征图宽w和高h均为40，3个通道的彩色图；经过卷积层输出特征图的宽w1和高h1计算公式如公式(2)和公式(3)所示，kernel为卷积的核的长或宽；stride为卷积核的步长，当取值为1时，提取重叠的图像块，效果较好；pad为边缘补零像素个数；在本发明中设定kernel的值为3，stride的值为1，pad的值为1；因此，输入图像经过输入层64个3×3×3大小的卷积核W1之后会产生40×40×64的特征图；然后，特征图经过修正线性单元ReLU；ReLu的表示为max(0,X),提取有用的特征图；最后输出结果仍为40×40×64的特征图；
在非线性变换层的非线性映射过程中，卷积层、批归一化和ReLU函数位于第二层、第三层和第四层；非线性变换层各阶段的公式表示如下：
Fi(Xi)＝max(0，Wi*Fi-1(Xi-1)+Bi){i＝2，3，4} (4)
式中,i表示第i层，Xi为第i-1层的输出，即Fi-1(xi-1)；Wi和Bi分别表示非线性变换阶段的卷积滤波器和偏置,其中,卷积滤波器W1的尺寸是3×3×3×64,第2，3，4层卷积层Wi的尺寸是3×3×64×64；输入层输出的40×40×64的特征图，输入到第二个卷积层中，会产生40×40×64的特征图；然后，40×40×64的特征图进入批归一化；批归一化在卷积层和ReLU激活函数中间，解决了神经网络训练时的收敛速度慢和梯度***等无法训练的情况；同时，批归一化加快了网络的训练速度，提高了模型精度；最后，特征图经过修正线性单元，提高了特征的非线性；第二层网络输出40×40×64的特征图之后经过与第二层有相同的结构的第三、四层，最终得到40×40×64的特征图；
在输出层的输出重建过程中，特征图输入到只含有一个卷积层的输出层；输出重建的公式表示如下：
F5(X5)＝W5*F4(X4)+B5 (5)
式中，X5为第4层的输出；W5和B5分别表示特征重建层的卷积滤波器和偏置，W5的尺寸是3×3×64×3，特征重建层有3个卷积滤波器,等同于均值滤波器的作用，每个卷积的核尺寸是3×3×64，能够实现平均特征图的作用，F4(X4)是非线性变换层产生的特征图，即X5；非线性变换层输出的特征图经过3个卷积核3×3×64之后会产生40×40×3的特征图；
采集得到的数据集对该网络进行训练，迭代50次以上后得到训练后的网络，将网络参数最终保存到文件中；
所述的在线部分，具体内容如下：
利用训练得到的网络参数对颜色失真图像进行颜色校正，得到校正后的图像；暗室中拍摄色卡、人脸和舌图像，得到的照片与实际颜色相比较存在失真，使用基于卷积神经网络颜色校正方法对失真图像进行颜色校正；首先读取待校正图像像素点保存为图像矩阵，然后读取训练得到的MAT格式文件得到颜色校正网络参数；将图像矩阵输入到颜色校正卷积神经网络当中，分别在R、G、B三个通道对图像进行颜色校正，输出校正后的图像。
2.根据权利要求1所述的方法，其特征在于：
使用ColorChecker Digital SG作为颜色校正的色卡；在封闭式环境条件下，对ColorChecker Digital SG标准色卡进行拍照；通过包括改变色卡的拍摄角度，调整色卡与光源距离，调整色卡和相机的距离方式拍摄得到色卡图像，利用这些图像生成颜色校正卷积神经网络的网络参数的训练数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710406983.2A CN107507250B (zh) | 2017-06-02 | 2017-06-02 | 一种基于卷积神经网络的面色舌色图像颜色校正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710406983.2A CN107507250B (zh) | 2017-06-02 | 2017-06-02 | 一种基于卷积神经网络的面色舌色图像颜色校正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107507250A CN107507250A (zh) | 2017-12-22 |
| CN107507250B true CN107507250B (zh) | 2020-08-21 |
Family
ID=60679349
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710406983.2A Expired - Fee Related CN107507250B (zh) | 2017-06-02 | 2017-06-02 | 一种基于卷积神经网络的面色舌色图像颜色校正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107507250B (zh) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108038832A (zh) * | 2017-12-25 | 2018-05-15 | 中国科学院深圳先进技术研究院 | 一种水下图像增强方法及*** |
| CN108388905B (zh) * | 2018-03-21 | 2019-07-19 | 合肥工业大学 | 一种基于卷积神经网络和邻域上下文的光源估计方法 |
| CN108710831B (zh) * | 2018-04-24 | 2021-09-21 | 华南理工大学 | 一种基于机器视觉的小数据集人脸识别算法 |
| CN108765502B (zh) * | 2018-04-25 | 2021-09-24 | 上海健康医学院 | 一种复杂环境下的色貌获取方法 |
| CN109102457B (zh) * | 2018-06-12 | 2023-01-17 | 杭州米绘科技有限公司 | 一种基于卷积神经网络的智能化变色***及方法 |
| CN109118549A (zh) * | 2018-07-20 | 2019-01-01 | 上海电力学院 | 一种用白色打印纸作参照物恢复目标物颜色的方法 |
| CN109242792B (zh) * | 2018-08-23 | 2020-11-17 | 广东数相智能科技有限公司 | 一种基于白色物体的白平衡校对方法 |
| CN109273071A (zh) * | 2018-08-23 | 2019-01-25 | 广东数相智能科技有限公司 | 一种建立白色物体对比模型的方法 |
| CN109272441B (zh) * | 2018-09-14 | 2023-02-17 | 三星电子（中国）研发中心 | 关联图像的生成方法 |
| US10502628B1 (en) * | 2018-09-27 | 2019-12-10 | Datacolor Inc. | Inter-instrument variation correction |
| CN111064860A (zh) * | 2018-10-17 | 2020-04-24 | 北京地平线机器人技术研发有限公司 | 图像校正方法、图像校正装置和电子设备 |
| CN111062876B (zh) * | 2018-10-17 | 2023-08-08 | 北京地平线机器人技术研发有限公司 | 用于校正模型训练和图像校正的方法和装置及电子设备 |
| CN109615593A (zh) * | 2018-11-29 | 2019-04-12 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN109711306B (zh) * | 2018-12-19 | 2023-04-25 | 新绎健康科技有限公司 | 一种基于深度卷积神经网络获取面部特征的方法及设备 |
| CN109636864A (zh) * | 2018-12-19 | 2019-04-16 | 新绎健康科技有限公司 | 一种基于颜色校正与深度卷积神经网络的舌分割方法及*** |
| CN109859117A (zh) * | 2018-12-30 | 2019-06-07 | 南京航空航天大学 | 一种采用神经网络直接校正rgb值的图像颜色校正方法 |
| CN109815860A (zh) * | 2019-01-10 | 2019-05-28 | 中国科学院苏州生物医学工程技术研究所 | 中医舌诊图像颜色校正方法、电子设备、存储介质 |
| CN111292251B (zh) * | 2019-03-14 | 2022-09-30 | 展讯通信（上海）有限公司 | 图像偏色校正方法、装置以及计算机存储介质 |
| CN110534071B (zh) * | 2019-07-19 | 2020-09-18 | 南京巨鲨显示科技有限公司 | 一种基于神经网络的显示器颜色校准***及方法 |
| CN110599554A (zh) * | 2019-09-16 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 人脸肤色的识别方法和装置、存储介质及电子装置 |
| CN112634143A (zh) * | 2019-09-24 | 2021-04-09 | 北京地平线机器人技术研发有限公司 | 图像色彩校正模型训练方法、装置及电子设备 |
| WO2021092796A1 (zh) * | 2019-11-13 | 2021-05-20 | 深圳市大疆创新科技有限公司 | 神经网络模型部署方法、装置及设备 |
| WO2021114184A1 (zh) * | 2019-12-12 | 2021-06-17 | 华为技术有限公司 | 神经网络模型的训练方法、图像处理方法及其装置 |
| CN113095109A (zh) * | 2019-12-23 | 2021-07-09 | 中移(成都)信息通信科技有限公司 | 一种农作物叶面识别模型训练方法、识别方法及装置 |
| CN113452969B (zh) * | 2020-03-26 | 2023-03-24 | 华为技术有限公司 | 图像处理方法和装置 |
| CN111784780B (zh) * | 2020-06-16 | 2023-06-16 | 北京理工大学 | 基于深度学习的彩色摄像机的颜色标定方法 |
| CN112487945B (zh) * | 2020-11-26 | 2022-07-29 | 上海贝业斯健康科技有限公司 | 一种基于双路卷积神经网络融合的脉象识别方法 |
| CN112508812A (zh) * | 2020-12-01 | 2021-03-16 | 厦门美图之家科技有限公司 | 图像色偏校正方法、模型训练方法、装置及设备 |
| CN113542593B (zh) * | 2021-06-16 | 2023-04-07 | 深圳市景阳科技股份有限公司 | 一种图像处理方法、装置及终端设备 |
| CN113378754B (zh) * | 2021-06-24 | 2023-06-20 | 中国计量大学 | 一种工地裸土监测方法 |
| CN114511567B (zh) * | 2022-04-20 | 2022-08-05 | 天中依脉(天津)智能科技有限公司 | 舌体与舌苔图像识别分离方法 |
| CN116433508B (zh) * | 2023-03-16 | 2023-10-27 | 湖北大学 | 一种基于Swin-Unet的灰度图像着色校正方法 |
| CN117649661B (zh) * | 2024-01-30 | 2024-04-12 | 青岛超瑞纳米新材料科技有限公司 | 一种碳纳米管制备状态图像处理方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5828781A (en) * | 1994-08-11 | 1998-10-27 | Toyo Ink Manufacturing Co., Ltd. | Color image reproducing system with image signal correction function |
| CN1622135A (zh) * | 2004-12-13 | 2005-06-01 | 中国科学院长春光学精密机械与物理研究所 | 数字图像颜色的校正方法 |
| CN104410850B (zh) * | 2014-12-25 | 2017-02-22 | 武汉大学 | 一种彩色数字影像色度校正方法及*** |
| CN106295139B (zh) * | 2016-07-29 | 2019-04-02 | 汤一平 | 一种基于深度卷积神经网络的舌体自诊健康云服务*** |
-
2017
- 2017-06-02 CN CN201710406983.2A patent/CN107507250B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN107507250A (zh) | 2017-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107507250B (zh) | 一种基于卷积神经网络的面色舌色图像颜色校正方法 | |
| CN106910192B (zh) | 一种基于卷积神经网络的图像融合效果评估方法 | |
| US8947549B2 (en) | Spectral synthesis for image capturing device processing | |
| CN110326022A (zh) | 从图像中恢复高光谱数据 | |
| CN107729830B (zh) | 基于背景特征的迷彩伪装效果检测计算方法 | |
| CN109255758A (zh) | 基于全1*1卷积神经网络的图像增强方法 | |
| US11576478B2 (en) | Method for simulating the rendering of a make-up product on a body area | |
| Zhuo et al. | A K-PLSR-based color correction method for TCM tongue images under different illumination conditions | |
| CN106895916B (zh) | 一种单次曝光拍摄获取多光谱图像的方法 | |
| Wang et al. | Measuring perceptual color differences of smartphone photographs | |
| Wenger et al. | Optimizing color matching in a lighting reproduction system for complex subject and illuminant spectra | |
| CN108735010A (zh) | 一种用于英语教学的智能型英语教学*** | |
| Lu et al. | Dccn: a deep-color correction network for traditional Chinese medicine tongue images | |
| CN113259658B (zh) | 物体喜好记忆色的获取方法及喜好记忆色标准色卡 | |
| Novak et al. | Supervised color constancy using a color chart | |
| CN111896109B (zh) | 一种基于数码相机原始响应值的光谱重建方法 | |
| Zheng et al. | Qualitative evaluations and comparisons of six night-vision colorization methods | |
| Paray | LED Selection for Spectral (Multispectral) Imaging | |
| Wei et al. | Spectral reflectance estimation based on two-step k-nearest neighbors locally weighted linear regression | |
| Granger | SPECIFICATION OF COLOR IMAGE QUALITY. | |
| Zhang et al. | Sub-pixel dispersion model for coded aperture snapshot spectral imaging | |
| Lyu et al. | Accurate smartphone camera simulation using 3D scenes | |
| Barrios et al. | Skin color correction via convolutional neural networks in 3D fringe projection profilometry | |
| Lin | Colour fidelity in spectral reconstruction from rgb images | |
| McCann et al. | Simultaneous contrast and color constancy: signatures of human image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200821 |