CN113034353A - 一种基于交叉卷积神经网络的本质图像分解方法及*** - Google Patents
一种基于交叉卷积神经网络的本质图像分解方法及*** Download PDFInfo
- Publication number
- CN113034353A CN113034353A CN202110385353.8A CN202110385353A CN113034353A CN 113034353 A CN113034353 A CN 113034353A CN 202110385353 A CN202110385353 A CN 202110385353A CN 113034353 A CN113034353 A CN 113034353A
- Authority
- CN
- China
- Prior art keywords
- layer
- neural network
- convolutional neural
- network
- initiation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 37
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 30
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 127
- 238000005286 illumination Methods 0.000 claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 46
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims abstract description 18
- 238000005457 optimization Methods 0.000 claims abstract description 18
- 238000003062 neural network model Methods 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 90
- 230000000977 initiatory effect Effects 0.000 claims description 90
- 230000004913 activation Effects 0.000 claims description 72
- 238000010586 diagram Methods 0.000 claims description 15
- 230000009191 jumping Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 230000004048 modification Effects 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 238000002310 reflectometry Methods 0.000 abstract description 12
- 238000004590 computer program Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于交叉卷积神经网络的本质图像分解方法及***，所述方法包括以下步骤：将待分解的原始图像输入训练好的GoogLeNet‑VGG19交叉卷积神经网络模型中，获得原始图像分解得到的光照图和反射图；其中，所述GoogLeNet‑VGG19交叉卷积神经网络模型由光照图生成网络与反射图生成网络进行交叉融合构成；所述光照图生成网络基于GoogLeNet卷积神经网络构造，所述反射图生成网络基于VGG19卷积神经网络构造；采用Adam优化方法对光照图生成网络与反射图生成网络进行训练。本发明中，本质图像分解的结果图像在相同物体的反射率上保持一致，在对边缘信息的保护和对噪声的去除方面表现较好，图像质量较高，无论是细节还是清晰度方面都与真值图像更为接近。
Description
技术领域
本发明属于图像处理技术领域，特别涉及一种基于交叉卷积神经网络的本质图像分解方法及***。
背景技术
本质图像分解最早由Barrow和Tenenbaum在1978年提出，本质图像求解问题就是从图像出发，恢复所有像素点对应的场景中的亮度和反射率信息，分别形成光照图和反射图。本质图像分解按照算法类型主要分为两类，第一种是基于Retinex理论的本质图像分解，第二种是基于深度学习的本质图像分解。传统的本质图像分解方法Retinex假设图像中较大的梯度是由物体反射率造成，而较小的梯度属于光照变化。由于Retinex方法完全基于梯度，因此Retinex方法建立的是局部约束。
目前另一个常用的约束是自然图像包含的颜色种数较少，且颜色分布呈现结构型，称为全局颜色稀疏性，即要求反射率层的图像只包含若干种颜色。由于基于梯度的方法只能建立局部的约束，因此得到的反射率层图像可能出现全局不一致的现象，即两个相距较远的同种材质的两个像素的反射率不一致，而增加同一场景下的多张图像对本质图像方法的输入提出了严格的要求。当反射率和亮度图像的梯度值被估计出来后，借助Weiss的方法，对梯度图像进行积分，来求解出反射图和光照图。但是这种方法需要用大量样本来训练分类器，所以非常耗时，而且求得的本质图像在边缘处有很大的误差，最终获得的本质图像在边缘处会比较模糊，由于其需要样本训练分类器，因此可能产生对样本的过拟合现象。
基于深度学***化，去除残余的噪声和几何形状信息，却忽略了对图像细节的保护导致生成了锯齿状的边缘。
发明内容
本发明的目的在于提供一种基于交叉卷积神经网络的本质图像分解方法及***，以解决上述存在的一个或多个技术问题。本发明中，本质图像分解的结果图像在相同物体的反射率上保持一致，在对边缘信息的保护和对噪声的去除方面表现较好，图像质量较高，无论是细节还是清晰度方面都与真值图像更为接近。
为达到上述目的，本发明采用以下技术方案：
本发明公开的一种基于交叉卷积神经网络的本质图像分解方法，包括以下步骤：
将待分解的原始图像输入训练好的GoogLeNet-VGG19交叉卷积神经网络模型中，获得原始图像分解得到的光照图和反射图；
其中，所述GoogLeNet-VGG19交叉卷积神经网络模型由光照图生成网络与反射图生成网络进行交叉融合构成；所述光照图生成网络基于GoogLeNet卷积神经网络构造，所述反射图生成网络基于VGG19卷积神经网络构造；
所述训练好的GoogLeNet-VGG19交叉卷积神经网络模型的获取步骤包括，采用Adam优化方法对光照图生成网络与反射图生成网络进行训练。
本发明的进一步改进在于，光照图生成网络基于GoogLeNet卷积神经网络构造的步骤具体包括：
在GoogLeNet卷积神经网络inception 3a第二层4个卷积操作后分别添加1个ReLU激活函数，4个ReLU激活函数共同输出到inception 3a的DepthConcat层；
在GoogLeNet卷积神经网络inception 3b第二层4个卷积操作后分别添加1个ReLU激活函数，4个ReLU激活函数共同输出到inception 3b的DepthConcat层；
在GoogLeNet卷积神经网络inception 4a中，第一层2个卷积操作和第二层2个卷积操作相连，形成2个连接通道；在2个连接通道上分别添加1个ReLU激活函数与MaxPool操作组合，ReLU激活函数在前，MaxPool操作在后；
在GoogLeNet卷积神经网络inception 4b中，第一层2个卷积操作和第二层2个卷积操作相连，形成2个连接通道；在2个连接通道上分别添加1个ReLU激活函数与MaxPool操作组合，ReLU激活函数在前，MaxPool操作在后；
将GoogLeNet卷积神经网络inception 4b的DepthConcat层输出跳跃连接到inception 4d的DepthConcat层；将GoogLeNet卷积神经网络inception 4e第一层的AveragePool操作后面的卷积操作输出直接连接到inception 4e的DepthConcat层；将GoogLeNet卷积神经网络inception 4e的DepthConcat层输出跳跃连接到inception 5b的DepthConcat层；
在GoogLeNet卷积神经网络inception 5a第三层4个卷积操作后分别添加1个ReLU激活函数，4个ReLU激活函数共同输出到inception 5a的DepthConcat层；
在GoogLeNet卷积神经网络inception5b第二层4个卷积操作后分别添加1个ReLU激活函数，4个ReLU激活函数共同输出到inception 3b的DepthConcat层；
在GoogLeNet卷积神经网络的FC层后增加一个FC层。
本发明的进一步改进在于，反射图生成网络基于VGG19卷积神经网络构造的步骤具体包括：
将VGG19卷积神经网络第一个MaxPool输出结果与第二个MaxPool输出结果进行Concat操作，得到的结果输入到VGG19卷积神经网络第五层；
将VGG19卷积神经网络第三个MaxPool输出结果与第四个MaxPool输出结果进行Concat操作，得到的结果输入到VGG19卷积神经网络第十三层；
删除VGG19卷积神经网络第十七层和第十八层；在VGG19卷积神经网络第十六层后增加两个结构与第十六层完全相同的层，构成修改后的VGG19卷积神经网络第十七层和第十八层。
本发明的进一步改进在于，光照图生成网络与反射图生成网络进行交叉融合的步骤具体包括：
将GoogLeNet卷积神经网络inception4e的DepthConcat层输出连接到VGG19卷积神经网络的第十三层；
将VGG19卷积神经网络的第四个MaxPool输出连接到GoogLeNet卷积神经网络inception5a的第二层的卷积操作。
本发明的进一步改进在于，光照图生成网络的损失函数Loss1的表达式为：
式中，X为输入图像，
为预测图像，H,W,C分别为输入图像的高、宽和通道数，x,y表示图像的像素点坐标，c表示通道，μi表示第i个尺度下的权重，X(i)表示第i个尺度下的图像，
表示改进GoogLeNet卷积神经网络生成的第i个尺度下的预测图像。
本发明的进一步改进在于，反射图生成网络的损失函数Loss2的表达式为：
式中，Y表示输入图像，
表示输入图像经过改进VGG19网络处理后的估计值，Cj,Hj,Wj分别表示第j层输出特征图的通道数、高度和宽度，Vj(.)表示第j层网络处理图像时激活函数的输出，j表示层数。
本发明的进一步改进在于，采用Adam优化方法对光照图生成网络与反射图生成网络进行训练的步骤具体包括：
以预构建的训练图像样本库中的图像作为样本，采用Adam优化方法同时对光照图生成网络和反射图生成网络进行训练；
在训练过程中，将光照图生成网络输出的光照图输入识别网络，识别网络输出光照图与训练样本标签图像一致的概率，对光照图生成网络的网络参数进行反向更新；将反射图生成网络输出的反射图输入识别网络，识别网络输出反射图与训练样本标签图像一致的概率，对反射图生成网络的网络参数进行反向更新；
当损失函数Loss1达到最小时，停止对光照图生成网络的训练，得到最终的光照图生成网络；当损失函数Loss2达到最小时，停止对反射图生成网络的训练，得到最终的反射图生成网络；
所述识别网络为多层卷积神经网络，包含相同的六层；每一层都依次为卷积操作、Sigmoid激活函数和MaxPool。
本发明的进一步改进在于，Adam优化参数beta设置为(0.9，0.999)，学习率为0.005，权重衰减为0.0001，epoch＝100，batchsize＝20。
本发明公开的一种基于交叉卷积神经网络的本质图像分解***，包括：
分解模块，用于将待分解的原始图像输入训练好的GoogLeNet-VGG19交叉卷积神经网络模型中，获得原始图像分解得到的光照图和反射图；
其中，所述GoogLeNet-VGG19交叉卷积神经网络模型由光照图生成网络与反射图生成网络进行交叉融合构成；所述光照图生成网络基于GoogLeNet卷积神经网络构造，所述反射图生成网络基于VGG19卷积神经网络构造；
所述训练好的GoogLeNet-VGG19交叉卷积神经网络模型的获取步骤包括，采用Adam优化方法对光照图生成网络与反射图生成网络进行训练。
本发明的进一步改进在于，
所述光照图生成网络基于GoogLeNet卷积神经网络构造的步骤具体包括：
在GoogLeNet卷积神经网络inception 3a第二层4个卷积操作后分别添加1个ReLU激活函数，4个ReLU激活函数共同输出到inception 3a的DepthConcat层；
在GoogLeNet卷积神经网络inception 3b第二层4个卷积操作后分别添加1个ReLU激活函数，4个ReLU激活函数共同输出到inception 3b的DepthConcat层；
在GoogLeNet卷积神经网络inception 4a中，第一层2个卷积操作和第二层2个卷积操作相连，形成2个连接通道；在2个连接通道上分别添加1个ReLU激活函数与MaxPool操作组合，ReLU激活函数在前，MaxPool操作在后；
在GoogLeNet卷积神经网络inception 4b中，第一层2个卷积操作和第二层2个卷积操作相连，形成2个连接通道；在2个连接通道上分别添加1个ReLU激活函数与MaxPool操作组合，ReLU激活函数在前，MaxPool操作在后；
将GoogLeNet卷积神经网络inception 4b的DepthConcat层输出跳跃连接到inception 4d的DepthConcat层；将GoogLeNet卷积神经网络inception 4e第一层的AveragePool操作后面的卷积操作输出直接连接到inception 4e的DepthConcat层；将GoogLeNet卷积神经网络inception 4e的DepthConcat层输出跳跃连接到inception 5b的DepthConcat层；
在GoogLeNet卷积神经网络inception 5a第三层4个卷积操作后分别添加1个ReLU激活函数，4个ReLU激活函数共同输出到inception 5a的DepthConcat层；
在GoogLeNet卷积神经网络inception5b第二层4个卷积操作后分别添加1个ReLU激活函数，4个ReLU激活函数共同输出到inception 3b的DepthConcat层；
在GoogLeNet卷积神经网络的FC层后增加一个FC层；
所述反射图生成网络基于VGG19卷积神经网络构造的步骤具体包括：
将VGG19卷积神经网络第一个MaxPool输出结果与第二个MaxPool输出结果进行Concat操作，得到的结果输入到VGG19卷积神经网络第五层；
将VGG19卷积神经网络第三个MaxPool输出结果与第四个MaxPool输出结果进行Concat操作，得到的结果输入到VGG19卷积神经网络第十三层；
删除VGG19卷积神经网络第十七层和第十八层；在VGG19卷积神经网络第十六层后增加两个结构与第十六层完全相同的层，构成修改后的VGG19卷积神经网络第十七层和第十八层；
所述光照图生成网络与反射图生成网络进行交叉融合的步骤具体包括：
将GoogLeNet卷积神经网络inception4e的DepthConcat层输出连接到VGG19卷积神经网络的第十三层；
将VGG19卷积神经网络的第四个MaxPool输出连接到GoogLeNet卷积神经网络inception5a的第二层的卷积操作。
与现有技术相比，本发明具有以下有益效果：
本发明提供了一种基于改进GoogLeNet-VGG19交叉卷积神经网络的本质图像分解方法，其首先构建训练图像样本库，然后基于传统GoogLeNet卷积神经网络进行改进构造光照图生成网络，基于传统VGG19卷积神经网络进行改进构造反射图生成网络，光照图生成网络与反射图生成网络进行交叉融合；接下来构造识别网络；最后采用Adam优化方法对光照图生成网络与反射图生成网络进行训练，得到最终的光照图生成网络与反射图生成网络。本发明本质图像分解的结果图像在相同物体的反射率上保持一致，在对边缘信息的保护和对噪声的去除方面表现较好，图像质量较高，无论是细节还是清晰度方面都与真值图像更为接近。
本发明***用于本质图像分解，相比现有方法分解后的图像存在许多噪声，且图像边缘较为模糊的问题，本发明方法输出图像在相同物体的反射率上保持一致，在对边缘信息的保护和对噪声的去除方面表现较好，图像质量较高；生成的结果无论是细节还是清晰度方面都与真值图像更为接近。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图做简单的介绍；显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种基于改进GoogLeNet-VGG19交叉卷积神经网络的本质图像分解方法的流程示意图；
图2是本发明实施例中，本质图像分解结果的示意图；其中，图2中的(a)为原始图像示意图，图2中的(b)为分解后得到的光照图示意图，图2中的(c)为分解后得到的反射图示意图。
具体实施方式
为使本发明实施例的目的、技术效果及技术方案更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例是本发明一部分实施例。基于本发明公开的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它实施例，都应属于本发明保护的范围。
请参阅图1，本发明实施例的一种基于改进GoogLeNet-VGG19交叉卷积神经网络的本质图像分解方法，包括以下步骤：
步骤1：构建训练图像样本库；
采用公开本质图像数据库，在本质图像数据库中取出P幅图像以及对应的光照图和反射图；然后对这P幅图像进行随机裁剪，裁剪出多幅指定大小的图像块；再将这些图像块进行图像处理，即随机进行水平翻转、竖直翻转、旋转和镜像，用以扩展数据库；经过图像处理后的图像块和图像块对应的光照图和反射图构成了训练图像样本库；
步骤2：采用改进GoogLeNet卷积神经网络构造光照图生成网络，具体如下：
步骤2-1：在GoogLeNet卷积神经网络inception 3a第二层4个卷积操作后面分别添加1个ReLU激活函数，共有4个ReLU激活函数，这4个ReLU激活函数共同输出到inception3a的DepthConcat层；
步骤2-2：在GoogLeNet卷积神经网络inception 3b第二层4个卷积操作后面分别添加1个ReLU激活函数，共有4个ReLU激活函数，这4个ReLU激活函数共同输出到inception3b的DepthConcat层；
步骤2-3：在GoogLeNet卷积神经网络inception 4a中，第一层2个卷积操作和第二层2个卷积操作相连，形成2个连接通道；在这2个连接通道上分别添加1个ReLU激活函数与MaxPool操作组合，共2个ReLU激活函数与MaxPool操作组合；ReLU激活函数在前，MaxPool操作在后；
步骤2-4：在GoogLeNet卷积神经网络inception 4b中，第一层2个卷积操作和第二层2个卷积操作相连，形成2个连接通道；在这2个连接通道上分别添加1个ReLU激活函数与MaxPool操作组合，共2个ReLU激活函数与MaxPool操作组合；ReLU激活函数在前，MaxPool操作在后；
步骤2-5：将GoogLeNet卷积神经网络inception 4b的DepthConcat层输出跳跃连接到inception 4d的DepthConcat层；
步骤2-6：将GoogLeNet卷积神经网络inception 4e第一层的AveragePool操作后面的卷积操作输出直接连接到inception 4e的DepthConcat层；
步骤2-7：将GoogLeNet卷积神经网络inception 4e的DepthConcat层输出跳跃连接到inception 5b的DepthConcat层；
步骤2-8：在GoogLeNet卷积神经网络inception 5a第三层4个卷积操作后面分别添加1个ReLU激活函数，共有4个ReLU激活函数，这4个ReLU激活函数共同输出到inception5a的DepthConcat层；
步骤2-9：在GoogLeNet卷积神经网络inception5b第二层4个卷积操作后面分别添加1个ReLU激活函数，共有4个ReLU激活函数，这4个ReLU激活函数共同输出到inception 3b的DepthConcat层；
步骤2-10：在GoogLeNet卷积神经网络的FC层后面再增加一个新FC层；
步骤2-11：通过步骤2-1到步骤2-10的操作构成改进GoogLeNet卷积神经网络；
步骤3：采用改进VGG19卷积神经网络构造反射图生成网络，具体如下：
步骤3-1：将VGG19卷积神经网络第一个MaxPool输出结果与第二个MaxPool输出结果进行Concat操作，得到的结果输入到VGG19卷积神经网络第五层；
步骤3-2：将VGG19卷积神经网络第三个MaxPool输出结果与第四个MaxPool输出结果进行Concat操作，得到的结果输入到VGG19卷积神经网络第十三层；
步骤3-3：删除VGG19卷积神经网络第十七层和第十八层；
步骤3-4：在VGG19卷积神经网络第十六层后增加两个相同的层，构成新的第十七层和第十八层；新的第十七层和第十八层的结构和第十六层完全相同；
步骤3-5：通过步骤3-1到步骤3-4的操作构成改进VGG19卷积神经网络；
步骤4：光照图生成网络和反射图生成网络交叉融合；
步骤4-1：将GoogLeNet卷积神经网络inception4e的DepthConcat层输出连接到VGG19卷积神经网络的第十三层；
步骤4-2：将VGG19卷积神经网络的第四个MaxPool输出连接到GoogLeNet卷积神经网络inception5a的第二层的卷积操作；
步骤5：构造识别网络；
识别网络为多层卷积神经网络，共包含相同的六层；每一层都依次为卷积操作、Sigmoid激活函数和MaxPool；
步骤6：定义损失函数；
步骤6-1：定义光照图生成网络损失函数Loss1：
其中，X为输入图像，
为预测图像，H,W,C分别为输入图像的高、宽和通道数，x,y表示图像的像素点坐标，c表示通道，μi表示第i个尺度下的权重，X(i)表示第i个尺度下的图像，
表示改进GoogLeNet卷积神经网络生成的第i个尺度下的预测图像；
步骤6-2：定义反射图生成网络损失函数Loss2：
其中，Y表示输入图像，
表示输入图像经过改进VGG19网络处理后的估计值，Cj,Hj,Wj分别表示第j层输出特征图的通道数、高度和宽度，Vj(.)表示第j层网络处理图像时激活函数的输出，j表示层数；
步骤7：网络训练；
以步骤1构建的训练图像样本库中的图像作为样本，采用Adam优化方法同时对光照图生成网络和反射图生成网络进行训练；
在训练过程中，将光照图生成网络输出的光照图输入识别网络，识别网络输出光照图与训练样本标签图像一致的概率，对光照图生成网络的网络参数进行反向更新；将反射图生成网络输出的反射图输入识别网络，识别网络输出反射图与训练样本标签图像一致的概率，对反射图生成网络的网络参数进行反向更新；
当损失函数Loss1达到最小时，停止对光照图生成网络的训练，得到最终的光照图生成网络；当损失函数Loss2达到最小时，停止对反射图生成网络的训练，得到最终的反射图生成网络；
步骤8：将待分解的原始图像分别输入步骤7得到的最终的光照图生成网络和反射图生成网络中，输出图像为原始图像分解得到的光照图和反射图。
本发明实施例中，所述步骤1中指定大小的图像块的尺寸为224*224。
本发明实施例中，所述步骤7中对网络进行训练时设置的参数如下：Adam优化参数beta设置为(0.9,0.999)，学习率为0.005，权重衰减为0.0001，epoch＝100，batchsize＝20。
相比现有方法分解后的图像存在许多噪声，且图像边缘较为模糊的问题，本发明实施例的方法输出图像在相同物体的反射率上保持一致，在对边缘信息的保护和对噪声的去除方面表现较好，图像质量较高；本发明方法生成的结果无论是细节还是清晰度方面都与真值图像更为接近。
本发明实施例的一种基于交叉卷积神经网络的本质图像分解***，包括：
分解模块，用于将待分解的原始图像输入训练好的GoogLeNet-VGG19交叉卷积神经网络模型中，获得原始图像分解得到的光照图和反射图；
其中，所述GoogLeNet-VGG19交叉卷积神经网络模型由光照图生成网络与反射图生成网络进行交叉融合构成；所述光照图生成网络基于GoogLeNet卷积神经网络构造，所述反射图生成网络基于VGG19卷积神经网络构造；
所述训练好的GoogLeNet-VGG19交叉卷积神经网络模型的获取步骤包括，采用Adam优化方法对光照图生成网络与反射图生成网络进行训练。
请参阅图1和图2，本发明实施例的一种基于改进GoogLeNet-VGG19交叉卷积神经网络的本质图像分解方法，包括以下步骤：
(1)构建训练图像样本库
采用MPCal本质图像数据集，从中取出1000幅图像，在每一幅图像中随机裁剪50个224*224的图像块，然后将这些图像块随机进行水平翻转、垂直翻转、旋转和镜像后，50个图像块变为200个图像块。此时，总的图像块数量为20万个。同时，在1000幅图像对应的光照图和反射图中，找到这20万个图像块对应的光照图块和反射图块。由图像块和对应的光照图块及反射图块构成了训练图像样本库。
(2)使用训练图像样本库对本发明方法构建的光照图生成网络和反射图生成网络同时进行训练，采用Adam优化方法，Adam优化参数beta设置为(0.9,0.999)，学习率为0.005，权重衰减为0.0001，epoch＝100，batchsize＝20。当两个生成网络的损失函数最小时，停止训练，得到最终的光照图生成网络和反射图生成网络。在训练过程中，将光照图生成网络输出的光照图输入识别网络，识别网络输出光照图与训练样本标签图像一致的概率，对光照图生成网络的网络参数进行反向更新；将反射图生成网络输出的反射图输入识别网络，识别网络输出反射图与训练样本标签图像一致的概率，对反射图生成网络的网络参数进行反向更新；生成网络和识别网络采用TTUR训练方法，识别网络的训练次数与生成网络的训练次数比为3比1。
(3)如图2所示，将待处理的原始图像(图2中的(a)所示)分别输入最终的光照图生成网络和反射图生成网络中，输出图像就是原始图像分解得到的光照图和反射图(图2中的(b)和(c)所示)。从分解结果可以看出，本发明方法的本质图像分解结果噪声少，图像边缘清晰，图像整体的清晰度和质量都达到了比较高的水平，充分说明了本发明方法的有效性和实用性。
综上所述，本发明实施例提供一种基于改进GoogLeNet-VGG19交叉卷积神经网络的本质图像分解方法，首先构建训练图像样本库，然后基于传统GoogLeNet卷积神经网络进行改进构造光照图生成网络，基于传统VGG19卷积神经网络进行改进构造反射图生成网络，光照图生成网络与反射图生成网络进行交叉融合；接下来构造识别网络；最后采用Adam优化方法对光照图生成网络与反射图生成网络进行训练，得到最终的光照图生成网络与反射图生成网络。本发明本质图像分解的结果图像在相同物体的反射率上保持一致，在对边缘信息的保护和对噪声的去除方面表现较好，图像质量较高，无论是细节还是清晰度方面都与真值图像更为接近。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。
Claims (10)
1.一种基于交叉卷积神经网络的本质图像分解方法，其特征在于，包括以下步骤：
将待分解的原始图像输入训练好的GoogLeNet-VGG19交叉卷积神经网络模型中，获得原始图像分解得到的光照图和反射图；
其中，所述GoogLeNet-VGG19交叉卷积神经网络模型由光照图生成网络与反射图生成网络进行交叉融合构成；所述光照图生成网络基于GoogLeNet卷积神经网络构造，所述反射图生成网络基于VGG19卷积神经网络构造；
所述训练好的GoogLeNet-VGG19交叉卷积神经网络模型的获取步骤包括，采用Adam优化方法对光照图生成网络与反射图生成网络进行训练。
2.根据权利要求1所述的一种基于交叉卷积神经网络的本质图像分解方法，其特征在于，光照图生成网络基于GoogLeNet卷积神经网络构造的步骤具体包括：
在GoogLeNet卷积神经网络inception 3a第二层4个卷积操作后分别添加1个ReLU激活函数，4个ReLU激活函数共同输出到inception 3a的DepthConcat层；
在GoogLeNet卷积神经网络inception 3b第二层4个卷积操作后分别添加1个ReLU激活函数，4个ReLU激活函数共同输出到inception 3b的DepthConcat层；
在GoogLeNet卷积神经网络inception 4a中，第一层2个卷积操作和第二层2个卷积操作相连，形成2个连接通道；在2个连接通道上分别添加1个ReLU激活函数与MaxPool操作组合，ReLU激活函数在前，MaxPool操作在后；
在GoogLeNet卷积神经网络inception 4b中，第一层2个卷积操作和第二层2个卷积操作相连，形成2个连接通道；在2个连接通道上分别添加1个ReLU激活函数与MaxPool操作组合，ReLU激活函数在前，MaxPool操作在后；
将GoogLeNet卷积神经网络inception 4b的DepthConcat层输出跳跃连接到inception4d的DepthConcat层；将GoogLeNet卷积神经网络inception 4e第一层的AveragePool操作后面的卷积操作输出直接连接到inception 4e的DepthConcat层；将GoogLeNet卷积神经网络inception 4e的DepthConcat层输出跳跃连接到inception 5b的DepthConcat层；
在GoogLeNet卷积神经网络inception 5a第三层4个卷积操作后分别添加1个ReLU激活函数，4个ReLU激活函数共同输出到inception 5a的DepthConcat层；
在GoogLeNet卷积神经网络inception5b第二层4个卷积操作后分别添加1个ReLU激活函数，4个ReLU激活函数共同输出到inception 3b的DepthConcat层；
在GoogLeNet卷积神经网络的FC层后增加一个FC层。
3.根据权利要求2所述的一种基于交叉卷积神经网络的本质图像分解方法，其特征在于，反射图生成网络基于VGG19卷积神经网络构造的步骤具体包括：
将VGG19卷积神经网络第一个MaxPool输出结果与第二个MaxPool输出结果进行Concat操作，得到的结果输入到VGG19卷积神经网络第五层；
将VGG19卷积神经网络第三个MaxPool输出结果与第四个MaxPool输出结果进行Concat操作，得到的结果输入到VGG19卷积神经网络第十三层；
删除VGG19卷积神经网络第十七层和第十八层；在VGG19卷积神经网络第十六层后增加两个结构与第十六层完全相同的层，构成修改后的VGG19卷积神经网络第十七层和第十八层。
4.根据权利要求3所述的一种基于交叉卷积神经网络的本质图像分解方法，其特征在于，光照图生成网络与反射图生成网络进行交叉融合的步骤具体包括：
将GoogLeNet卷积神经网络inception4e的DepthConcat层输出连接到VGG19卷积神经网络的第十三层；
将VGG19卷积神经网络的第四个MaxPool输出连接到GoogLeNet卷积神经网络inception5a的第二层的卷积操作。
5.根据权利要求4所述的一种基于交叉卷积神经网络的本质图像分解方法，其特征在于，光照图生成网络的损失函数Loss1的表达式为：
式中，X为输入图像，
为预测图像，H,W,C分别为输入图像的高、宽和通道数，x,y表示图像的像素点坐标，c表示通道，μi表示第i个尺度下的权重，X(i)表示第i个尺度下的图像，
表示改进GoogLeNet卷积神经网络生成的第i个尺度下的预测图像。
6.根据权利要求5所述的一种基于交叉卷积神经网络的本质图像分解方法，其特征在于，反射图生成网络的损失函数Loss2的表达式为：
式中，Y表示输入图像，
表示输入图像经过改进VGG19网络处理后的估计值，Cj,Hj,Wj分别表示第j层输出特征图的通道数、高度和宽度，Vj(.)表示第j层网络处理图像时激活函数的输出，j表示层数。
7.根据权利要求6所述的一种基于交叉卷积神经网络的本质图像分解方法，其特征在于，采用Adam优化方法对光照图生成网络与反射图生成网络进行训练的步骤具体包括：
以预构建的训练图像样本库中的图像作为样本，采用Adam优化方法同时对光照图生成网络和反射图生成网络进行训练；
在训练过程中，将光照图生成网络输出的光照图输入识别网络，识别网络输出光照图与训练样本标签图像一致的概率，对光照图生成网络的网络参数进行反向更新；将反射图生成网络输出的反射图输入识别网络，识别网络输出反射图与训练样本标签图像一致的概率，对反射图生成网络的网络参数进行反向更新；
当损失函数Loss1达到最小时，停止对光照图生成网络的训练，得到最终的光照图生成网络；当损失函数Loss2达到最小时，停止对反射图生成网络的训练，得到最终的反射图生成网络；
所述识别网络为多层卷积神经网络，包含相同的六层；每一层都依次为卷积操作、Sigmoid激活函数和MaxPool。
8.根据权利要求7所述的一种基于交叉卷积神经网络的本质图像分解方法，其特征在于，Adam优化参数beta设置为(0.9，0.999)，学习率为0.005，权重衰减为0.0001，epoch＝100，batchsize＝20。
9.一种基于交叉卷积神经网络的本质图像分解***，其特征在于，包括：
分解模块，用于将待分解的原始图像输入训练好的GoogLeNet-VGG19交叉卷积神经网络模型中，获得原始图像分解得到的光照图和反射图；
其中，所述GoogLeNet-VGG19交叉卷积神经网络模型由光照图生成网络与反射图生成网络进行交叉融合构成；所述光照图生成网络基于GoogLeNet卷积神经网络构造，所述反射图生成网络基于VGG19卷积神经网络构造；
所述训练好的GoogLeNet-VGG19交叉卷积神经网络模型的获取步骤包括，采用Adam优化方法对光照图生成网络与反射图生成网络进行训练。
10.根据权利要求9所述的一种基于交叉卷积神经网络的本质图像分解***，其特征在于，
所述光照图生成网络基于GoogLeNet卷积神经网络构造的步骤具体包括：
在GoogLeNet卷积神经网络inception 3a第二层4个卷积操作后分别添加1个ReLU激活函数，4个ReLU激活函数共同输出到inception 3a的DepthConcat层；
在GoogLeNet卷积神经网络inception 3b第二层4个卷积操作后分别添加1个ReLU激活函数，4个ReLU激活函数共同输出到inception 3b的DepthConcat层；
在GoogLeNet卷积神经网络inception 4a中，第一层2个卷积操作和第二层2个卷积操作相连，形成2个连接通道；在2个连接通道上分别添加1个ReLU激活函数与MaxPool操作组合，ReLU激活函数在前，MaxPool操作在后；
在GoogLeNet卷积神经网络inception 4b中，第一层2个卷积操作和第二层2个卷积操作相连，形成2个连接通道；在2个连接通道上分别添加1个ReLU激活函数与MaxPool操作组合，ReLU激活函数在前，MaxPool操作在后；
将GoogLeNet卷积神经网络inception 4b的DepthConcat层输出跳跃连接到inception4d的DepthConcat层；将GoogLeNet卷积神经网络inception 4e第一层的AveragePool操作后面的卷积操作输出直接连接到inception 4e的DepthConcat层；将GoogLeNet卷积神经网络inception 4e的DepthConcat层输出跳跃连接到inception 5b的DepthConcat层；
在GoogLeNet卷积神经网络inception 5a第三层4个卷积操作后分别添加1个ReLU激活函数，4个ReLU激活函数共同输出到inception 5a的DepthConcat层；
在GoogLeNet卷积神经网络inception5b第二层4个卷积操作后分别添加1个ReLU激活函数，4个ReLU激活函数共同输出到inception 3b的DepthConcat层；
在GoogLeNet卷积神经网络的FC层后增加一个FC层；
所述反射图生成网络基于VGG19卷积神经网络构造的步骤具体包括：
将VGG19卷积神经网络第一个MaxPool输出结果与第二个MaxPool输出结果进行Concat操作，得到的结果输入到VGG19卷积神经网络第五层；
将VGG19卷积神经网络第三个MaxPool输出结果与第四个MaxPool输出结果进行Concat操作，得到的结果输入到VGG19卷积神经网络第十三层；
删除VGG19卷积神经网络第十七层和第十八层；在VGG19卷积神经网络第十六层后增加两个结构与第十六层完全相同的层，构成修改后的VGG19卷积神经网络第十七层和第十八层；
所述光照图生成网络与反射图生成网络进行交叉融合的步骤具体包括：
将GoogLeNet卷积神经网络inception4e的DepthConcat层输出连接到VGG19卷积神经网络的第十三层；
将VGG19卷积神经网络的第四个MaxPool输出连接到GoogLeNet卷积神经网络inception5a的第二层的卷积操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110385353.8A CN113034353B (zh) | 2021-04-09 | 2021-04-09 | 一种基于交叉卷积神经网络的本质图像分解方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110385353.8A CN113034353B (zh) | 2021-04-09 | 2021-04-09 | 一种基于交叉卷积神经网络的本质图像分解方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113034353A true CN113034353A (zh) | 2021-06-25 |
| CN113034353B CN113034353B (zh) | 2024-07-12 |
Family
ID=76456400
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110385353.8A Active CN113034353B (zh) | 2021-04-09 | 2021-04-09 | 一种基于交叉卷积神经网络的本质图像分解方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113034353B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113657521A (zh) * | 2021-08-23 | 2021-11-16 | 天津大学 | 一种分离图像中两种互斥成分的方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108416805A (zh) * | 2018-03-12 | 2018-08-17 | 中山大学 | 一种基于深度学习的本征图像分解方法及装置 |
| US20180293712A1 (en) * | 2017-04-06 | 2018-10-11 | Pixar | Denoising monte carlo renderings using generative adversarial neural networks |
| CN108764250A (zh) * | 2018-05-02 | 2018-11-06 | 西北工业大学 | 一种运用卷积神经网络提取本质图像的方法 |
| CN110232661A (zh) * | 2019-05-03 | 2019-09-13 | 天津大学 | 基于Retinex和卷积神经网络的低光照彩色图像增强方法 |
| US20190304069A1 (en) * | 2018-03-29 | 2019-10-03 | Pixar | Denoising monte carlo renderings using neural networks with asymmetric loss |
| CN110675336A (zh) * | 2019-08-29 | 2020-01-10 | 苏州千视通视觉科技股份有限公司 | 一种低照度图像增强方法及装置 |
| WO2020068158A1 (en) * | 2018-09-24 | 2020-04-02 | Google Llc | Photo relighting using deep neural networks and confidence learning |
| CN111242868A (zh) * | 2020-01-16 | 2020-06-05 | 重庆邮电大学 | 暗视觉环境下基于卷积神经网络的图像增强方法 |
| CN111563577A (zh) * | 2020-04-21 | 2020-08-21 | 西北工业大学 | 基于Unet的跳跃层分频和多尺度鉴别的本征图像分解方法 |
| CN111681223A (zh) * | 2020-06-09 | 2020-09-18 | 安徽理工大学 | 基于卷积神经网络的低照度条件下矿井井壁检测方法 |
| GB202012490D0 (en) * | 2020-08-11 | 2020-09-23 | Toshiba Kk | A Computer Vision Method and System |
| CN111914738A (zh) * | 2020-07-29 | 2020-11-10 | 南京汽车集团有限公司 | 一种基于并行交叉卷积神经网络的疲劳驾驶行为检测*** |
| CN112131975A (zh) * | 2020-09-08 | 2020-12-25 | 东南大学 | 基于Retinex分解和生成对抗网络的人脸光照处理方法 |
-
2021
- 2021-04-09 CN CN202110385353.8A patent/CN113034353B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180293712A1 (en) * | 2017-04-06 | 2018-10-11 | Pixar | Denoising monte carlo renderings using generative adversarial neural networks |
| CN108416805A (zh) * | 2018-03-12 | 2018-08-17 | 中山大学 | 一种基于深度学习的本征图像分解方法及装置 |
| US20190304069A1 (en) * | 2018-03-29 | 2019-10-03 | Pixar | Denoising monte carlo renderings using neural networks with asymmetric loss |
| CN108764250A (zh) * | 2018-05-02 | 2018-11-06 | 西北工业大学 | 一种运用卷积神经网络提取本质图像的方法 |
| WO2020068158A1 (en) * | 2018-09-24 | 2020-04-02 | Google Llc | Photo relighting using deep neural networks and confidence learning |
| CN110232661A (zh) * | 2019-05-03 | 2019-09-13 | 天津大学 | 基于Retinex和卷积神经网络的低光照彩色图像增强方法 |
| CN110675336A (zh) * | 2019-08-29 | 2020-01-10 | 苏州千视通视觉科技股份有限公司 | 一种低照度图像增强方法及装置 |
| CN111242868A (zh) * | 2020-01-16 | 2020-06-05 | 重庆邮电大学 | 暗视觉环境下基于卷积神经网络的图像增强方法 |
| CN111563577A (zh) * | 2020-04-21 | 2020-08-21 | 西北工业大学 | 基于Unet的跳跃层分频和多尺度鉴别的本征图像分解方法 |
| CN111681223A (zh) * | 2020-06-09 | 2020-09-18 | 安徽理工大学 | 基于卷积神经网络的低照度条件下矿井井壁检测方法 |
| CN111914738A (zh) * | 2020-07-29 | 2020-11-10 | 南京汽车集团有限公司 | 一种基于并行交叉卷积神经网络的疲劳驾驶行为检测*** |
| GB202012490D0 (en) * | 2020-08-11 | 2020-09-23 | Toshiba Kk | A Computer Vision Method and System |
| CN112131975A (zh) * | 2020-09-08 | 2020-12-25 | 东南大学 | 基于Retinex分解和生成对抗网络的人脸光照处理方法 |
Non-Patent Citations (1)
| Title |
|---|
| 吴梦婷;李伟红;龚卫国;: "双框架卷积神经网络用于运动模糊图像盲复原", 计算机辅助设计与图形学学报, no. 12, 15 December 2018 (2018-12-15) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113657521A (zh) * | 2021-08-23 | 2021-11-16 | 天津大学 | 一种分离图像中两种互斥成分的方法 |
| CN113657521B (zh) * | 2021-08-23 | 2023-09-19 | 天津大学 | 一种分离图像中两种互斥成分的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113034353B (zh) | 2024-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111080620B (zh) | 一种基于深度学习的道路病害检测方法 | |
| CN109978807B (zh) | 一种基于生成式对抗网络的阴影去除方法 | |
| CN110084817B (zh) | 基于深度学习的数字高程模型生产方法 | |
| GB2582833A (en) | Facial localisation in images | |
| CN111696110B (zh) | 场景分割方法及*** | |
| CN114549563A (zh) | 一种基于DeepLabV3+的复合绝缘子实时分割方法及*** | |
| CN113762265A (zh) | 肺炎的分类分割方法及*** | |
| CN112861880A (zh) | 基于图像分类的弱监督rgbd图像显著性检测方法及*** | |
| CN115761574A (zh) | 基于边框标注的弱监督视频目标分割方法及装置 | |
| CN113034353B (zh) | 一种基于交叉卷积神经网络的本质图像分解方法及*** | |
| CN116563250A (zh) | 一种复原式自监督疵点检测方法、装置及存储介质 | |
| CN116091784A (zh) | 一种目标跟踪方法、设备及存储介质 | |
| CN113554655B (zh) | 基于多特征增强的光学遥感图像分割方法及装置 | |
| CN116935303A (zh) | 一种弱监督自训练视频异常检测方法 | |
| CN115331052A (zh) | 一种基于深度学习的垃圾数据标注***及方法 | |
| CN115222750A (zh) | 基于多尺度融合注意力的遥感图像分割方法及*** | |
| Zhao et al. | Layer-wise multi-defect detection for laser powder bed fusion using deep learning algorithm with visual explanation | |
| CN114943655A (zh) | 基于循环深度卷积生成对抗网络结构的图像修复*** | |
| CN111462006B (zh) | 一种多目标的图像补全方法 | |
| CN110728310B (zh) | 一种基于超参数优化的目标检测模型融合方法及融合*** | |
| CN112396126A (zh) | 一种基于检测主干与局部特征优化的目标检测方法及*** | |
| CN112257800A (zh) | 一种基于深度卷积神经网络模型-重生网络的视觉识别方法 | |
| WO2023241276A1 (zh) | 图像编辑方法及相关设备 | |
| CN115115537B (zh) | 一种基于掩码训练的图像修复方法 | |
| CN110992285B (zh) | 一种基于分层神经网络的图像去雾方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |