CN106920224A - 一种评估拼接图像清晰度的方法 - Google Patents
一种评估拼接图像清晰度的方法 Download PDFInfo
- Publication number
- CN106920224A CN106920224A CN201710128213.6A CN201710128213A CN106920224A CN 106920224 A CN106920224 A CN 106920224A CN 201710128213 A CN201710128213 A CN 201710128213A CN 106920224 A CN106920224 A CN 106920224A
- Authority
- CN
- China
- Prior art keywords
- layer
- convolution
- output
- image
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 56
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 46
- 238000011156 evaluation Methods 0.000 claims abstract description 34
- 238000012360 testing method Methods 0.000 claims abstract description 22
- 238000005070 sampling Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 18
- 230000035945 sensitivity Effects 0.000 claims description 18
- 210000002569 neuron Anatomy 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 12
- 230000007935 neutral effect Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000000205 computational method Methods 0.000 claims description 4
- 230000000644 propagated effect Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 210000005036 nerve Anatomy 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012876 topography Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000011161 development Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 102000002274 Matrix Metalloproteinases Human genes 0.000 claims 1
- 108010000684 Matrix Metalloproteinases Proteins 0.000 claims 1
- 210000004932 little finger Anatomy 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 4
- 230000010354 integration Effects 0.000 abstract description 4
- 238000013441 quality evaluation Methods 0.000 abstract description 2
- 238000012937 correction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000009916 joint effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种评估拼接图像清晰度的方法,属于图像拼接和图像质量评价技术领域,涉及计算机视觉领域,包括以下步骤:S1:生成训练数据集和测试数据集。S2:生成卷积神经网络模型。S3:基于训练的卷积神经网络测试测试数据集。本发明根据卷积神经网络输出的每块的输出标签,计算每一幅待评价拼接合成图像所有块的输出标签的平均值,然后计算同一拼接算法下所有拼接合成图像输出标签的平均值作为该拼接算法效果好坏的评价等级。利用卷积神经网络,可以代替繁琐的,大量的人为统计评分,并且可以准确的判断图像拼接中融合区域清晰度的好坏,克服单因素评价指标所带来的局限性,有利于全自动自适应图像拼接***的实现,具有非常重要的应用价值。
Description
技术领域
本发明属于图像拼接和图像质量评价技术领域,涉及计算机视觉领域,尤其涉及一种评估拼接图像清晰度的方法。
背景技术
随着电子信息产业的发展和技术进步,能够获取、记录视频信息的设备日益普及,但与人眼的视场范围相比,普通摄像机的视场要小得多,如何有效的利用计算机技术扩大摄像机拍摄图像和视频的视场范围,引起了研究者的广泛注意。图像拼接技术可以解决由于摄像机等成像仪器的视角和大小的限制,不能生成宽视场图片的问题,现有的图像拼接技术主要有两种方案:
第一种方案是用一个常规镜头的投影变换和多项式畸变校正技术用校正模板图像对镜头畸变参数进行畸变校正,生成一组中间校正后的2D图像,然后采用2D图像配准技术对校正后的图像元进行2D配准,最后对配准的两幅图像进行融合。
第二种方案是把图像的径向畸变校正参数和图像元的位姿参数作为一体,整体用最优化技术进行参数估计,生成一个参数映射表,然后利用参数映射表将原始图片逐张映射到全景图像中,处理完所有的图像后,将两两相邻的处理之后的图像在重叠区域做一次融合过渡。
从上述过程可以看出,图像拼接算法性能的好坏受图像配准和图像融合两大步骤的共同影响。针对拼接合成图像进行算法评价是不可或缺的,但对于图像拼接算法的定量评价分析,目前尚无统一的标准。已有的评价方法都是通过人眼观测拼接缝的方法来评估拼接质量的好坏,而人眼观测的方法误差较大,无法准确评估图像拼接算法的拼接质量。
发明内容
本发明为克服上述情况不足,旨在提供一种可以准确的判断图像拼接中融合区域清晰度的好坏的方法。
一种评估拼接图像清晰度的方法,包括以下步骤:S1:生成训练数据集和测试数据集;S2:生成卷积神经网络模型;S3:基于训练的卷积神经网络测试测试数据集;
所述S1包括S101、S102、S103、S104;
S101:获取拼接合成图像;
S102:计算拼接合成图像的客观评价参数;选取了清晰度作为客观评价参数;采用多方向Sobel算子检测边缘并以其梯度幅值作为清晰度的度量;采用多方向模板Si,对图像中每个点进行领域卷积计算,提取图像多个方向上的边缘成分;即有:
其中,Imos(x,y)为图像灰度,图像中每个像素点的梯度值可以表示为:
为降低图像噪声对实际边缘的影响,将表征图像整体噪声的标准差经过开发处理,作为边缘图像阈值,则I(x,y)>TN的点即认为是图像边缘像素,阈值TN表示如下:
然后,将所有大于阈值的梯度值TN,即把被认为是图像边缘像素的梯度值相加,以边缘梯度能量和定义图像清晰度评价算子,即:
S103:生成训练数据集;
根据S101步得到的拼接合成图像以及S102步设置的客观评价参数,计算卷积神经网络的训练数据集;对训练样本集中所有的拼接合成图像以及相对应的原始图像序列,使用图像配准技术,将拼接合成图像与原始图像序列进行配准,得到二者的重合区域,将重合区域按行均匀分割成M块,对每一块进行处理,依据上述两种评价参数的计算方法,对每个块计算它们的客观评价参数,作为卷积神经网络的训练数据集X={CG1,CL1,CG2,CL2,...,CGM,CLM};基于每个块都会得到一个配准误差,设置一个阈值τ,将每个块的清晰度与τ进行比较,得到对应于每个块的理想输出yi,计算公式如下:
将所有块的埋想输出组合成训练数据集Y={y1,y2,...,yM},{X,Y}一起构成了卷积神经网络的训练数据集合;
S104:获取测试数据集;
所述S2步骤包括S201、S202、S203;
S201:构建卷积神经网络模型;S202:设置输入层与卷积采样层参数;S203:利用训练数据集训练卷积神经网络。
进一步的,所述步骤S102中还采用了峰值信噪比作为客观评价参数,计算公式为:
其中,N是评价的拼接序列图像数量;s是拼接序列图像,作为比较的参考图像;是与s相对应的局部变换拼接结果,是拼接合成图像I的一部分;sij分别表示原始拼接序列图像s和拼接局部图像中各点的像素值,m和n为图像在长和高方向上的像素点数(参考图像和拼接局部变换图像尺寸相同),fmax为图像最大像素值;PSNR值越高,其拼接融合图像品质越好。
进一步的,所述步骤S2中采用非全连接的深层神经网络模型,且同一层中某些神经元之间的连接权重是共享的。
进一步的,所述S201具体为:以步骤S1生成的训练数据集中的客观评价参数X为输入,构建一个卷积神经网络模型,该卷积神经网络采用5层的神经网络,分别是输入层,第一卷积采样层,第二卷积采样层,全链接层,输出层,其中,在第一卷积采样层首先将输入与该层设定的不同卷积核和可加偏置进行卷积,卷积后产生若干个特征,然后对特征按照设定的池化尺度大小进行特征值求和,加权值,加偏置,最后通过一个Sigmoid函数得到该层的输出,第二卷积采样层进行与第一卷积采样层相同的操作,区别在于两层所使用到的卷积核、池化尺度大小以及偏置不同,两次卷积采样层的输出是特征映射图,全链接层将第二卷积采样层的特征正向传播输出特征向量,同时也可以进行反向传播操作,在输出层中将输入的特征向量按输出标签的大小指定输出。
进一步的,所述步骤S202具体为:输入层:X={CG1,CL1,CG2,CL2,...,CGM,CLM)是卷积神经网络的输入,为了将各项不同的评价参数综合起来,需要对各个评价指标进行归一化处理;
卷积采样层:在一个卷积层l,输入层的输入或者是上一层的第i个特征被一个可学习的卷积核进行卷积,然后通过一个激活函数,就可以得到输出的第j个特征每一个输出可能是组合卷积多个输入的值,具体计算方法如下:
其中,i,j分别表示上一层和当前层上特征映射编号,Mj表示选取的输入特征集合的一个子集,表示第l层的第j个特征与第l-1层的第i个特征之间相关的卷积核,表示第l层的第j个特征对应的附加的偏置,*表示卷积操作,激活函数f(.)采用sigmoid函数将输出压缩到[0,1];
卷积之后会紧跟着一个子采样,对于子采样来说,有N个输入特征,就有N个输出特征,只是每个输出特征在大小上变小了,计算公式如下:
其中,down(.)表示一个下采样函数,优选Max-Pooling池化模式,池化核大小为2*2,步长为2。
进一步的,所述步骤S203具体分为如下两个阶段:
第一阶段:前向传播阶段
对给定的训练数据集{X,Y},将训练数据集中的X输入到卷积神经网络的输入层,经过逐层的变换(卷积采样层,卷积采样层,全链接层,全链接层),传送到输出层,计算出与X相对应的实际输出O;计算实际输出O与理想输出Y之间的误差,这里采用平方误差代价函数,第n个训练数据的误差表示为:
其中,K表示输出数据的维数,表示第n个训练数据对应的理想输出数据的第k维,表示第n个训练数据对应的网络输出的第k个输出;
第二阶段:后向传播阶段
后向传播阶段是按照上述计算前向平方误差方法反向传播调整网络每一层的权重矩阵;反向传播回来的误差可以看做是每个神经元的偏置的灵敏度δ,卷积层逆向误差传播公式为:
其中,ο表示每个元素相乘,l表示层数,m,n分别表示上一层和当前层上特征的映射编号,表示第l层上的第n个神经节点的灵敏度,表示下采样层的权值,为可训练的常数,up()表示上采样操作,’表示转置,和表示第l层第n个特征对应的权值和偏置,表示第l-1层的第n个特征;池化层的逆向误差传播公式计算如下:
其中,M表示输入特征的集合,表示l+1层的第n个特征与第l层的第m个特征之间相关的卷积核,表示第l+1层的第n个神经节点的灵敏度,表示第l层的第m个神经节点的灵敏度;
最后,对每个神经元运用δ规则进行权值更新;即对一个给定的神经元,得到它的输入,然后用这个神经元的δ来进行缩放;用向量的形式表述就是,对于第l层,误差对于该层每一个权值的导数是该层的输入与该层的灵敏度的叉乘;计算偏置和卷积核的偏导数公式如下:
其中,E表示误差代价函数,为计算卷积时的每一个小区域(patch),u、v分别表示灵敏度矩阵中的元素位置;利用上述卷积核和偏置的偏导,更新卷积核和偏置。
进一步的,所述步骤S3具体为:将步骤S103生成的测试数据集作为步骤S2训练好的卷积神经网络的输入,经过该神经网络后输出对应每个块的输出标签。
根据卷积神经网络输出的每块的输出标签,计算每一幅待评价拼接合成图像所有块的输出标签的平均值,然后计算同一拼接算法下所有拼接合成图像输出标签的平均值作为该拼接算法效果好坏的评价等级。
综上所述,利用卷积神经网络,可以代替繁琐的,大量的人为统计评分,并且可以准确的判断图像拼接中融合区域清晰度的好坏,克服单因素评价指标所带来的局限性,有利于全自动自适应图像拼接***的实现,具有非常重要的应用价值。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种评估拼接图像清晰度的方法流程图;
图2为本发明实施例中训练数据集与测试数据集的计算流程图。
图3为本发明实施例中卷积神经网络计算流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明一种评估拼接图像清晰度的方法具体包括以下步骤:
S1:生成训练数据集和测试数据集。
如图2所示,训练数据集与测试数据集的计算方法如下:
S101:获取拼接合成图像。
利用图像采集设备拍摄N组原始图像序列,然后采用不同的待评价拼接算法对这N组原始图像序列进行拼接,获得与每种待评价拼接算法相对应的N组拼接合成图像。
S102:计算拼接合成图像的客观评价参数。
本发明主要关心的是拼接合成图像的匹配误差,为了实现对拼接合成图像配准效果的评价,选取了清晰度作为客观评价参数,进一步的,还可以增加峰值信噪比作为客观评价参数。
(1)清晰度
清晰度是观察者对拼接合成图像评价时较为关注的方面。清晰度评价算法有很多,如频域函数,灰度函数等,对于拼接图像全局清晰度评价可任选有效的清晰度评价算法作为该项指标。由于图像清晰度与图像边缘的锐利程度和图像细节的多少有密切的关系,因此本发明提出采用多方向Sobel算子检测边缘并以其梯度幅值作为清晰度的度量。
根据原始Sobel算子边缘检测理论,采用多方向模板Si,对图像中每个点进行领域卷积计算,提取图像多个方向上的边缘成分。即有:
其中,Imos(x,y)为图像灰度,图像中每个像素点的梯度值可以表示为:
为降低图像噪声对实际边缘的影响,将表征图像整体噪声的标准差经过开发处理,作为边缘图像阈值,则I(x,y)>TN的点即认为是图像边缘像素,阈值TN表示如下
然后,将所有大于阈值的梯度值TN,即把被认为是图像边缘像素的梯度值相加,以边缘梯度能量和定义图像清晰度评价算子,即:
该指标值越大,代表拼接合成图像越清晰。
(2)峰值信噪比
该指标可反映相邻图像间的灰度、颜色信息差异,体现相邻帧间图像拼接的有效性,计算公式为:
其中,N是评价的拼接序列图像数量;s是拼接序列图像,作为比较的参考图像;是与s相对应的局部变换拼接结果,是拼接合成图像I的一部分;sij分别表示原始拼接序列图像s和拼接局部图像中各点的像素值,m和n为图像在长和高方向上的像素点数(参考图像和拼接局部变换图像尺寸相同),fmax为图像最大像素值。PSNR值越高,其拼接融合图像品质越好。
S103:生成训练数据集。
根据S101步得到的拼接合成图像以及S102步设置的客观评价参数,计算卷积神经网络的训练数据集。对训练样本集中所有的拼接合成图像以及相对应的原始图像序列,使用图像配准技术,将拼接合成图像与原始图像序列进行配准,得到二者的重合区域,将重合区域按行均匀分割成M块,对每一块进行处理,依据上述两种评价参数的计算方法,对每个块计算它们的客观评价参数,作为卷积神经网络的训练数据集X={CG1,CL1,CG2,CL2,...,CGM,CLM}。基于每个块都会得到一个配准误差,设置一个阈值τ,将每个块的清晰度与τ进行比较,得到对应于每个块的理想输出yi,计算公式如下:
将所有块的埋想输出组合成训练数据集Y={y1,y2,...,yM},{X,Y}一起构成了卷积神经网络的训练数据集合。
S104:获取测试数据集。
测试样本图像包括原始序列图像以及拼接合成图像,按照步骤S103介绍的方法获取测试数据集ts={CG1,CL1,CG2,CL2,...,CGM,CLM}。
S2:卷积神经网络模型。
在本发明实施例中,采用的是非全连接的深层神经网络模型,且同一层中某些神经元之间的连接权重是共享的,这种非全连接和权重共享的网络结构使该模型更类似于生物神经网络,降低了网络模型的复杂度,减少了权重的数量。
如图3所示,卷积神经网络模型的训练包括如下步骤:
S201:构建一个卷积神经网络模型。
以步骤S1生成的训练数据集中的客观评价参数X为输入,构建一个卷积神经网络模型,该卷积神经网络采用5层的神经网络,分别是输入层,第一卷积采样层,第二卷积采样层,全链接层,输出层,其中,在第一卷积采样层首先将输入与该层设定的不同卷积核和可加偏置进行卷积,卷积后产生若干个特征,然后对特征按照设定的池化尺度大小进行特征值求和,加权值,加偏置,最后通过一个Sigmoid函数得到该层的输出,第二卷积采样层进行与第一卷积采样层相同的操作,区别在于两层所使用到的卷积核、池化尺度大小以及偏置不同,两次卷积采样层的输出是特征映射图,全链接层将第二卷积采样层的特征正向传播输出特征向量,同时也可以进行反向传播操作,在输出层中将输入的特征向量按输出标签的大小指定输出。
以上仅给出卷积神经网络模型的一个示例,实际上卷积神经网络模型的构建方式可以根据应用目的进行经验设置,包括卷积池化层数、全链接层数、卷积核的数量与大小以及池化尺度等参数可以根据应用目的进行设置。
S202:设置输入层与卷积采样层参数。
输入层:X=(CG1,CL1,CG2,CL2,...,CGM,CLM}是卷积神经网络的输入,为了将各项不同的评价参数综合起来,需要对各个评价指标进行归一化处理。
卷积采样层(包括第一卷积采样层和第二卷积采样层):在一个卷积层l,输入层的输入或者是上一层的第i个特征被一个可学习的卷积核进行卷积,然后通过一个激活函数,就可以得到输出的第j个特征每一个输出可能是组合卷积多个输入的值,具体计算方法如下:
其中,i,j分别表示上一层和当前层上特征映射编号,Mj表示选取的输入特征集合的一个子集,表示第l层的第j个特征与第l-1层的第i个特征之间相关的卷积核,表示第l层的第j个特征对应的附加的偏置,*表示卷积操作,激活函数f(.)采用sigmoid函数将输出压缩到[0,1]。
卷积之后会紧跟着一个子采样,对于子采样来说,有N个输入特征,就有N个输出特征,只是每个输出特征在大小上变小了,计算公式如下:
其中,down(.)表示一个下采样函数,优选Max-Pooling池化模式,池化核大小为2*2,步长为2。
卷积神经网络中的每一个特征提取层(子采样层)都紧跟着一个用来求局部平均与二次提取的计算层(卷积层),这种特有的两次特征提取结构使网络在识别时对输入样本有较高的畸变容忍能力。
S203:利用训练数据集训练卷积神经网络。
卷积神经网络在本质上是一种输入到输出的映射,他能够学习大量的输入与输出之间的映射关系,而不需要任何输入和输出之间的精确数学表达式,只要用已知的模式对卷积神经网络进行训练,网络就具有输入到输出对之间的映射能力。在开始训练前,所有的权重都应该进行随机初始化。
卷积神经网络的训练方法可以分为如下两个阶段:
第一阶段:前向传播阶段
对给定的训练数据集{X,Y},将训练数据集中的X输入到卷积神经网络的输入层,经过逐层的变换(卷积采样层,卷积采样层,全链接层,全链接层),传送到输出层,计算出与X相对应的实际输出O。计算实际输出O与理想输出Y之间的误差,这里采用平方误差代价函数,第n个训练数据的误差表示为:
其中,K表示输出数据的维数,表示第n个训练数据对应的理想输出数据的第k维,表示第n个训练数据对应的网络输出的第k个输出。
第二阶段:后向传播阶段
后向传播阶段是按照上述计算前向平方误差方法反向传播调整网络每一层的权重矩阵。反向传播回来的误差可以看做是每个神经元的偏置的灵敏度δ,卷积层逆向误差传播公式为:
其中,ο表示每个元素相乘,l表示层数,m,n分别表示上一层和当前层上特征的映射编号,表示第l层上的第n个神经节点的灵敏度,表示下采样层的权值,为可训练的常数,up()表示上采样操作,’表示转置,和表示第l层第n个特征对应的权值和偏置,表示第l-1层的第n个特征。池化层的逆向误差传播公式计算如下:
其中,M表示输入特征的集合,表示l+1层的第n个特征与第l层的第m个特征之间相关的卷积核,表示第l+1层的第n个神经节点的灵敏度,表示第l层的第m个神经节点的灵敏度。
最后,对每个神经元运用δ规则进行权值更新。即对一个给定的神经元,得到它的输入,然后用这个神经元的δ来进行缩放。用向量的形式表述就是,对于第l层,误差对于该层每一个权值(组合为矩阵)的导数是该层的输入(等于上一层的输出)与该层的灵敏度(该层每个神经元的δ组合成一个向量的形式)的叉乘。计算偏置和卷积核的偏导数公式如下:
其中,E表示误差代价函数,为计算卷积时的每一个小区域(patch),u,v分别表示灵敏度矩阵中的元素位置。利用上述卷积核和偏置的偏导,更新卷积核和偏置。
利用步骤S1获取的训练数据集,采用Hinge损失函数和随机梯度下降方法对卷积神经网络进行训练,当整个卷积神经网络的损失函数趋于局部最优解附近时,完成训练;其中局部最优解事先由人工设定。
S3:基于训练的卷积神经网络测试测试数据集。
将步骤S103生成的测试数据集作为步骤S2训练好的卷积神经网络的输入,经过该神经网络后输出对应每个块的输出标签。
根据上述卷积神经网络输出的每块的输出标签,计算每一幅待评价拼接合成图像所有块的输出标签的平均值,然后计算同一拼接算法下所有拼接合成图像输出标签的平均值作为该拼接算法效果好坏的评价等级。
综上所述,利用卷积神经网络,可以代替繁琐的,大量的人为统计评分,并且可以准确的判断图像拼接中融合区域清晰度的好坏,克服单因素评价指标所带来的局限性,有利于全自动自适应图像拼接***的实现,具有非常重要的应用价值。
以上所揭露的仅为本发明一种较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (7)
1.一种评估拼接图像清晰度的方法,其特征在于,包括以下步骤:
S1:生成训练数据集和测试数据集;S2:生成卷积神经网络模型;S3:基于训练的卷积神经网络测试测试数据集;
所述S1包括S101、S102、S103、S104;
S101:获取拼接合成图像;
S102:计算拼接合成图像的客观评价参数;选取了清晰度作为客观评价参数;采用多方向Sobel算子检测边缘并以其梯度幅值作为清晰度的度量;采用多方向模板Si,对图像中每个点进行领域卷积计算,提取图像多个方向上的边缘成分;即有:
H1=Imos(x,y)*S1
H2=Imos(x,y)*S2
H8=Imos(x,y)*S8
其中,Imos(x,y)为图像灰度,图像中每个像素点的梯度值可以表示为:
为降低图像噪声对实际边缘的影响,将表征图像整体噪声的标准差经过开发处理,作为边缘图像阈值,则I(x,y)>TN的点即认为是图像边缘像素,阈值TN表示如下:
然后,将所有大于阈值的梯度值TN,即把被认为是图像边缘像素的梯度值相加,以边缘梯度能量和定义图像清晰度评价算子,即:
S103:生成训练数据集;
根据S101步得到的拼接合成图像以及S102步设置的客观评价参数,计算卷积神经网络的训练数据集;对训练样本集中所有的拼接合成图像以及相对应的原始图像序列,使用图像配准技术,将拼接合成图像与原始图像序列进行配准,得到二者的重合区域,将重合区域按行均匀分割成M块,对每一块进行处理,依据上述两种评价参数的计算方法,对每个块计算它们的客观评价参数,作为卷积神经网络的训练数据集X={CG1,CL1,CG2,CL2,...,CGM,CLM};基于每个块都会得到一个配准误差,设置一个阈值τ,将每个块的清晰度与τ进行比较,得到对应于每个块的理想输出yi,计算公式如下:
将所有块的理想输出组合成训练数据集Y={y1,y2,...,yM},{X,Y}一起构成了卷积神经网络的训练数据集合;
S104:获取测试数据集;
所述S2步骤包括S201、S202、S203;
S201:构建卷积神经网络模型;S202:设置输入层与卷积采样层参数;S203:利用训练数据集训练卷积神经网络。
2.根据权利要求1所述的评估拼接图像清晰度的方法,其特征在于,所述步骤S102中还采用了峰值信噪比作为客观评价参数,计算公式为:
其中,N是评价的拼接序列图像数量;s是拼接序列图像,作为比较的参考图像;是与s相对应的局部变换拼接结果,是拼接合成图像I的一部分;sij分别表示原始拼接序列图像s和拼接局部图像中各点的像素值,m和n为图像在长和高方向上的像素点数(参考图像和拼接局部变换图像尺寸相同),fmax为图像最大像素值;PSNR值越高,其拼接融合图像品质越好。
3.根据权利要求1所述的评估拼接图像清晰度的方法,其特征在于,所述步骤S2中采用非全连接的深层神经网络模型,且同一层中某些神经元之间的连接权重是共享的。
4.根据权利要求1所述的评估拼接图像清晰度的方法,其特征在于,所述步骤S201具体为:以步骤S1生成的训练数据集中的客观评价参数X为输入,构建一个卷积神经网络模型,该卷积神经网络采用5层的神经网络,分别是输入层,第一卷积采样层,第二卷积采样层,全链接层,输出层,其中,在第一卷积采样层首先将输入与该层设定的不同卷积核和可加偏置进行卷积,卷积后产生若干个特征,然后对特征按照设定的池化尺度大小进行特征值求和,加权值,加偏置,最后通过一个Sigmoid函数得到该层的输出,第二卷积采样层进行与第一卷积采样层相同的操作,区别在于两层所使用到的卷积核、池化尺度大小以及偏置不同,两次卷积采样层的输出是特征映射图,全链接层将第二卷积采样层的特征正向传播输出特征向量,同时也可以进行反向传播操作,在输出层中将输入的特征向量按输出标签的大小指定输出。
5.根据权利要求1所述的评估拼接图像清晰度的方法,其特征在于,所述步骤S202具体为:输入层:X={CG1,CL1,CG2,CL2,...,CGM,CLM}是卷积神经网络的输入,为了将各项不同的评价参数综合起来,需要对各个评价指标进行归一化处理;
卷积采样层:在一个卷积层l,输入层的输入或者是上一层的第i个特征被一个可学习的卷积核进行卷积,然后通过一个激活函数,就可以得到输出的第j个特征每一个输出可能是组合卷积多个输入的值,具体计算方法如下:
其中,i,j分别表示上一层和当前层上特征映射编号,Mj表示选取的输入特征集合的一个子集,表示第l层的第j个特征与第l-1层的第i个特征之间相关的卷积核,表示第l层的第j个特征对应的附加的偏置,*表示卷积操作,激活函数f(.)采用sigmoid函数将输出压缩到[0,1];
卷积之后会紧跟着一个子采样,对于子采样来说,有N个输入特征,就有N个输出特征,只是每个输出特征在大小上变小了,计算公式如下:
其中,down(.)表示一个下采样函数,优选Max-Pooling池化模式,池化核大小为2*2,步长为2。
6.根据权利要求1所述的评估拼接图像清晰度的方法,其特征在于,所述步骤S203具体分为如下两个阶段:
第一阶段:前向传播阶段
对给定的训练数据集{X,Y},将训练数据集中的X输入到卷积神经网络的输入层,经过逐层的变换,传送到输出层,计算出与X相对应的实际输出O;计算实际输出O与理想输出Y之间的误差,这里采用平方误差代价函数,第n个训练数据的误差表示为:
其中,K表示输出数据的维数,表示第n个训练数据对应的理想输出数据的第k维,表示第n个训练数据对应的网络输出的第k个输出;
第二阶段:后向传播阶段
后向传播阶段是按照上述计算前向平方误差方法反向传播调整网络每一层的权重矩阵;反向传播回来的误差可以看做是每个神经元的偏置的灵敏度δ,卷积层逆向误差传播公式为:
其中,表示每个元素相乘,l表示层数,m,n分别表示上一层和当前层上特征的映射编号,表示第l层上的第n个神经节点的灵敏度,表示下采样层的权值,为可训练的常数,up()表示上采样操作,’表示转置,和表示第l层第n个特征对应的权值和偏置,表示第l-1层的第n个特征;池化层的逆向误差传播公式计算如下:
其中,M表示输入特征的集合,表示l+1层的第n个特征与第l层的第m个特征之间相关的卷积核,表示第l+1层的第n个神经节点的灵敏度,表示第l层的第m个神经节点的灵敏度;
最后,对每个神经元运用δ规则进行权值更新;即对一个给定的神经元,得到它的输入,然后用这个神经元的δ来进行缩放;用向量的形式表述就是,对于第l层,误差对于该层每一个权值(组合为矩阵)的导数是该层的输入(等于上一层的输出)与该层的灵敏度(该层每个神经元的δ组合成一个向量的形式)的叉乘;计算偏置和卷积核的偏导数公式如下:
其中,E表示误差代价函数,为计算卷积时的每一个小区域,u、v分别表示灵敏度矩阵中的元素位置;利用上述卷积核和偏置的偏导,更新卷积核和偏置。
7.根据权利要求1所述的评估拼接图像清晰度的方法,其特征在于,所述步骤S3具体为:将步骤S103生成的测试数据集作为步骤S2训练好的卷积神经网络的输入,经过该神经网络后输出对应每个块的输出标签。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710128213.6A CN106920224B (zh) | 2017-03-06 | 2017-03-06 | 一种评估拼接图像清晰度的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710128213.6A CN106920224B (zh) | 2017-03-06 | 2017-03-06 | 一种评估拼接图像清晰度的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106920224A true CN106920224A (zh) | 2017-07-04 |
CN106920224B CN106920224B (zh) | 2019-11-05 |
Family
ID=59461989
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710128213.6A Active CN106920224B (zh) | 2017-03-06 | 2017-03-06 | 一种评估拼接图像清晰度的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106920224B (zh) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108986075A (zh) * | 2018-06-13 | 2018-12-11 | 浙江大华技术股份有限公司 | 一种优选图像的判断方法及装置 |
CN109714519A (zh) * | 2017-10-25 | 2019-05-03 | 成都市极米科技有限公司 | 一种自动调整图像画面的方法和*** |
CN109767449A (zh) * | 2018-12-03 | 2019-05-17 | 浙江工业大学 | 一种基于强边缘检测的图像清晰度评价方法 |
CN109785312A (zh) * | 2019-01-16 | 2019-05-21 | 创新奇智(广州)科技有限公司 | 一种图像模糊检测方法、***及电子设备 |
CN109774740A (zh) * | 2019-02-03 | 2019-05-21 | 湖南工业大学 | 一种基于深度学习的轮对踏面损伤故障诊断方法 |
CN110415223A (zh) * | 2019-07-17 | 2019-11-05 | 西安邮电大学 | 一种无参考的拼接图像质量评价方法及*** |
CN110600124A (zh) * | 2019-09-10 | 2019-12-20 | 赵志宇 | 一种灰度图像融合的诊断监控综合医疗***及其融合方法 |
CN110648326A (zh) * | 2019-09-29 | 2020-01-03 | 精硕科技(北京)股份有限公司 | 一种构建图像质量评估卷积神经网络的方法及装置 |
CN110827335A (zh) * | 2019-11-01 | 2020-02-21 | 北京推想科技有限公司 | 乳腺影像配准方法和装置 |
CN112162375A (zh) * | 2020-09-28 | 2021-01-01 | 哈尔滨理工大学 | 一种ccd相机清晰成像自动对焦装置及方法 |
WO2021078001A1 (zh) * | 2019-10-25 | 2021-04-29 | 华为技术有限公司 | 一种图像增强方法及装置 |
CN112904548A (zh) * | 2019-12-03 | 2021-06-04 | 精微视达医疗科技(武汉)有限公司 | 一种内窥镜对焦方法及装置 |
CN112991326A (zh) * | 2021-04-14 | 2021-06-18 | 北京铁道工程机电技术研究所股份有限公司 | 一种清洗质量评价方法 |
CN113191952A (zh) * | 2021-06-02 | 2021-07-30 | 重庆渝微电子技术研究院有限公司 | 一种360度全景环视设备拼接图像评价方法 |
CN113284049A (zh) * | 2021-06-02 | 2021-08-20 | 武汉纺织大学 | 基于图像清晰感知算法的图像拼接算法 |
CN114079768A (zh) * | 2020-08-18 | 2022-02-22 | 杭州海康汽车软件有限公司 | 图像的清晰度测试方法及装置 |
CN114782300A (zh) * | 2022-04-29 | 2022-07-22 | 苏州华兴源创科技股份有限公司 | 产品图像重构方法、产品重构模型训练方法、装置 |
CN115512006A (zh) * | 2022-11-23 | 2022-12-23 | 有米科技股份有限公司 | 基于多图像元素的图像智能合成方法及装置 |
CN116421126A (zh) * | 2023-06-07 | 2023-07-14 | 南京诺源医疗器械有限公司 | 一种用于腹腔内镜除雾预处理的回传图像深度分析方法及*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104618625A (zh) * | 2015-01-30 | 2015-05-13 | 电子科技大学 | Cis大幅面扫描仪的图像融合拼接方法 |
CN106326886A (zh) * | 2016-11-07 | 2017-01-11 | 重庆工商大学 | 基于卷积神经网络的手指静脉图像质量评估方法及评估*** |
-
2017
- 2017-03-06 CN CN201710128213.6A patent/CN106920224B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104618625A (zh) * | 2015-01-30 | 2015-05-13 | 电子科技大学 | Cis大幅面扫描仪的图像融合拼接方法 |
CN106326886A (zh) * | 2016-11-07 | 2017-01-11 | 重庆工商大学 | 基于卷积神经网络的手指静脉图像质量评估方法及评估*** |
Non-Patent Citations (2)
Title |
---|
LE KANG 等: ""Convolutional Neural Networks for No-Reference Image Quality Assessment"", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
蒋婷: ""基于sobel 算子的图像清晰度评价函数研究"", 《计算机数字工程》 * |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109714519A (zh) * | 2017-10-25 | 2019-05-03 | 成都市极米科技有限公司 | 一种自动调整图像画面的方法和*** |
CN108986075A (zh) * | 2018-06-13 | 2018-12-11 | 浙江大华技术股份有限公司 | 一种优选图像的判断方法及装置 |
CN109767449A (zh) * | 2018-12-03 | 2019-05-17 | 浙江工业大学 | 一种基于强边缘检测的图像清晰度评价方法 |
CN109785312A (zh) * | 2019-01-16 | 2019-05-21 | 创新奇智(广州)科技有限公司 | 一种图像模糊检测方法、***及电子设备 |
CN109785312B (zh) * | 2019-01-16 | 2020-10-09 | 创新奇智(广州)科技有限公司 | 一种图像模糊检测方法、***及电子设备 |
CN109774740A (zh) * | 2019-02-03 | 2019-05-21 | 湖南工业大学 | 一种基于深度学习的轮对踏面损伤故障诊断方法 |
CN110415223B (zh) * | 2019-07-17 | 2021-10-26 | 西安邮电大学 | 一种无参考的拼接图像质量评价方法及*** |
CN110415223A (zh) * | 2019-07-17 | 2019-11-05 | 西安邮电大学 | 一种无参考的拼接图像质量评价方法及*** |
CN110600124A (zh) * | 2019-09-10 | 2019-12-20 | 赵志宇 | 一种灰度图像融合的诊断监控综合医疗***及其融合方法 |
CN110600124B (zh) * | 2019-09-10 | 2023-04-07 | 赵志宇 | 一种灰度图像融合的诊断监控综合医疗***及其融合方法 |
CN110648326A (zh) * | 2019-09-29 | 2020-01-03 | 精硕科技(北京)股份有限公司 | 一种构建图像质量评估卷积神经网络的方法及装置 |
WO2021078001A1 (zh) * | 2019-10-25 | 2021-04-29 | 华为技术有限公司 | 一种图像增强方法及装置 |
CN110827335A (zh) * | 2019-11-01 | 2020-02-21 | 北京推想科技有限公司 | 乳腺影像配准方法和装置 |
CN112904548A (zh) * | 2019-12-03 | 2021-06-04 | 精微视达医疗科技(武汉)有限公司 | 一种内窥镜对焦方法及装置 |
CN112904548B (zh) * | 2019-12-03 | 2023-06-09 | 精微视达医疗科技(武汉)有限公司 | 一种内窥镜对焦方法及装置 |
CN114079768B (zh) * | 2020-08-18 | 2023-12-05 | 杭州海康汽车软件有限公司 | 图像的清晰度测试方法及装置 |
CN114079768A (zh) * | 2020-08-18 | 2022-02-22 | 杭州海康汽车软件有限公司 | 图像的清晰度测试方法及装置 |
CN112162375A (zh) * | 2020-09-28 | 2021-01-01 | 哈尔滨理工大学 | 一种ccd相机清晰成像自动对焦装置及方法 |
CN112991326A (zh) * | 2021-04-14 | 2021-06-18 | 北京铁道工程机电技术研究所股份有限公司 | 一种清洗质量评价方法 |
CN112991326B (zh) * | 2021-04-14 | 2023-11-07 | 北京铁道工程机电技术研究所股份有限公司 | 一种清洗质量评价方法 |
CN113284049A (zh) * | 2021-06-02 | 2021-08-20 | 武汉纺织大学 | 基于图像清晰感知算法的图像拼接算法 |
CN113191952A (zh) * | 2021-06-02 | 2021-07-30 | 重庆渝微电子技术研究院有限公司 | 一种360度全景环视设备拼接图像评价方法 |
CN114782300B (zh) * | 2022-04-29 | 2023-04-07 | 苏州华兴源创科技股份有限公司 | 产品图像重构方法、产品重构模型训练方法、装置 |
CN114782300A (zh) * | 2022-04-29 | 2022-07-22 | 苏州华兴源创科技股份有限公司 | 产品图像重构方法、产品重构模型训练方法、装置 |
CN115512006B (zh) * | 2022-11-23 | 2023-04-07 | 有米科技股份有限公司 | 基于多图像元素的图像智能合成方法及装置 |
CN115512006A (zh) * | 2022-11-23 | 2022-12-23 | 有米科技股份有限公司 | 基于多图像元素的图像智能合成方法及装置 |
CN116421126A (zh) * | 2023-06-07 | 2023-07-14 | 南京诺源医疗器械有限公司 | 一种用于腹腔内镜除雾预处理的回传图像深度分析方法及*** |
CN116421126B (zh) * | 2023-06-07 | 2023-08-25 | 南京诺源医疗器械有限公司 | 一种用于腹腔内镜除雾预处理的回传图像深度分析方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN106920224B (zh) | 2019-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106920224A (zh) | 一种评估拼接图像清晰度的方法 | |
CN106910192A (zh) | 一种基于卷积神经网络的图像融合效果评估方法 | |
CN106920215A (zh) | 一种全景图像配准效果的检测方法 | |
CN108428227B (zh) | 基于全卷积神经网络的无参考图像质量评价方法 | |
CN106504248B (zh) | 基于计算机视觉的车辆损伤判别方法 | |
CN111080629A (zh) | 一种图像拼接篡改的检测方法 | |
CN107977932A (zh) | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 | |
CN108510194A (zh) | 风控模型训练方法、风险识别方法、装置、设备及介质 | |
CN108665460A (zh) | 基于组合神经网络和分类神经网络的图像质量评价方法 | |
CN106023154B (zh) | 基于双通道卷积神经网络的多时相sar图像变化检测方法 | |
CN109872305B (zh) | 一种基于质量图生成网络的无参考立体图像质量评价方法 | |
CN111681178B (zh) | 一种基于知识蒸馏的图像去雾方法 | |
CN106960456A (zh) | 一种鱼眼相机标定算法评价的方法 | |
CN108289222A (zh) | 一种基于结构相似度映射字典学习的无参考图像质量评价方法 | |
CN107273870A (zh) | 一种监控场景下融合上下文信息的行人位置检测方法 | |
CN113628261B (zh) | 一种电力巡检场景下的红外与可见光图像配准方法 | |
CN113642574A (zh) | 基于特征加权与网络微调的小样本目标检测方法 | |
CN113971764B (zh) | 一种基于改进YOLOv3的遥感图像小目标检测方法 | |
CN111222519A (zh) | 一种层次化彩绘文物线稿提取模型构建、方法及装置 | |
CN107343196A (zh) | 一种混合失真无参考图像质量评价方法 | |
CN114066812B (zh) | 基于空间注意力机制的无参考图像质量评价方法 | |
CN111833261A (zh) | 一种基于注意力的生成对抗网络的图像超分辨率复原方法 | |
CN113807214A (zh) | 基于deit附属网络知识蒸馏的小目标人脸识别方法 | |
CN107590804A (zh) | 基于通道特征和卷积神经网络的屏幕图像质量评价方法 | |
CN105491371A (zh) | 基于梯度幅值相似性的色调映射图像质量评价方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |