CN107274378B - 一种融合记忆cnn的图像模糊类型识别及参数整定方法 - Google Patents
一种融合记忆cnn的图像模糊类型识别及参数整定方法 Download PDFInfo
- Publication number
- CN107274378B CN107274378B CN201710609501.3A CN201710609501A CN107274378B CN 107274378 B CN107274378 B CN 107274378B CN 201710609501 A CN201710609501 A CN 201710609501A CN 107274378 B CN107274378 B CN 107274378B
- Authority
- CN
- China
- Prior art keywords
- convolution
- image
- network
- memory
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20088—Trinocular vision calculations; trifocal tensor
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及模糊图像类型识别及参数计算领域,尤其是涉及一种融合记忆CNN(卷积神经网络)的图像模糊类型识别及参数整定方法。本发明包括以下步骤:构建融合记忆网络架构;设置融合记忆网络各层算法;通过网络训练获得网络参数;未知图像模糊类型识别及参数整定。本发明克服了现有模糊识别中网络不带独立记忆功能的缺点,能够提高图像模糊类型及参数计算的效率。
Description
技术领域
本发明涉及模糊图像类型识别及参数计算领域,尤其是涉及一种融合记忆CNN(卷积神经网络)的图像模糊类型识别及参数整定方法。
背景技术
网络和信息技术高速发展的今天,CCD和CMOS已成为了继压力、电流等传感器之后的主流核心传感器应用于各大领域,无论是在航拍还是无人驾驶车,热门的人脸识别、文字识别还是形形色色的工业检测相机应用,以及手机相机应用。但由于环境等各种因素的影响,采集的图像不是很清晰,特别是相机高速运动环境下的图像采集含有严重的模糊信息,给下一步应用带来极大困难。因此,研究图像模糊类型、求解模糊参数对图像处理具有重要意义。
Rudin等人采用全变差正则化方法识别模糊点扩展函数(Rudin L I,Osher S,Fatemi E.Nonlinear total variation based noise removal algorithms[J].PhysicaD:Nonlinear Phenomena,1992,60(1-4):259-268.),Schmidt等人利用贝叶斯模型进行模糊核估计(Schmidt U,Schelten K,Roth S.Bayesian deblurring with integratednoise estimation[C]//Computer Vision and Pattern Recognition(CVPR),2011IEEEConference on.IEEE,2011:2625-2632.),这些方法都是先建立问题的数学模型,对参数进行求解。模型法、参数法在许多场合都有成功应用,但各种算法大多适用于特定模糊的解决,不能解决综合模糊导致的图像退化问题,而且大多没考虑应用到实际图像处理中,模型普适性较差。
AlphaGo的问世,让人们再次重新认识人工智能,不少学者也将深度学习应用于图像模糊识别。参考文献(YAN R,SHAO L.Blind image blur estimation via deeplearning[J].IEEE Transactions on Image Processing,2016,25(4):1910-1921.)公开了一种利用DNN来识别图像模糊类型,再用GRNN来估计点扩展函数中的参数。参考文献(XUL,REN J S J,LIU C,et al..Deep convolutional neural network for imagedeconvolution[C].Advances in Neural Information Processing Systems,2014:1790-1798.)公开了一种通过结合优化和深度神经网络的方法来实现反卷积,通过两个模型的结合并利用伪逆矩阵使得传统的卷积方法更好的实现图像清晰化。参考文献(SUN J,CAO W,XU Z,et al..Learning a convolutional neural network for non-uniform motionblur removal[C].Proceedings of the IEEE Conference on Computer Vision andPattern Recognition,2015:769-777.)公开了一种用稀疏先验的方法,首先用CNN预测图像中部分块的运动模糊概率分布估计,然后用MRF模型估计整个图像的模糊核,再进行图像复原,该方法不能估计普遍的非均匀运动模糊核。参考文献(SCHULER C J,HIRSCH M,HAMELING S,et al.Learning to deblur[J].IEEE transactions on pattern analysisand machine intelligence,2016,38(7):1439-1451.)公开了一种通过神经网络首先提取特征模型转换成图像梯度估计模型估计核函数,再在傅立叶空间对三个模型学习出核函数进行图像复原。这些基于深度学习的图像去模糊方法集中在应用神经网络求解模型的某些参数,对神经网络结构没有改进,现有网络不具有独立的记忆功能。
发明内容
本发明的目的是提供一种融合记忆CNN的图像模糊类型识别及参数整定方法,用以克服现有模糊识别中网络不带独立记忆功能的缺点,能够提高图像模糊类型及参数计算的效率。
本发明的技术方案:一种融合记忆CNN的图像模糊类型识别及参数整定方法,包括以下步骤:
第一步,构建融合记忆网络架构:
将融合记忆CNN模型分为5层卷积层、1个深度记忆网络和1个BP网络的串行架构;
第一卷积层选择N1个卷积算子,每个卷积算子为一个大小s1×t1的卷积核,其中s1为卷积核的行数,t1为卷积核的列数;所述卷积核由多种不同的直线和多种不同的圆盘和多种不同的圆环组成,每个卷积核提取图像子图单元的一级形状特征;
第二卷积层选择N2个卷积算子,每个卷积算子为一个大小s2×t2的卷积核,其中s2为卷积核的行数,t2为卷积核的列数;每个卷积核提取图像子图的一个二级形状特征;
第三卷积层选择N3个卷积算子,每个卷积算子为一个大小s3×t3的卷积核,其中s3为卷积核的行数,t3为卷积核的列数;每个卷积核提取图像子图的一个三级形状特征;
第四卷积层选择N4个卷积算子,每个卷积算子为一个大小s4×t4的卷积核,其中s4为卷积核的行数,t4为卷积核的列数;每个卷积核提取图像子图的一个四级形状特征;
第五卷积层选择N5个卷积算子,每个卷积算子为一个大小s5×t5的卷积核,其中s5为卷积核的行数,t5为卷积核的列数;每个卷积核提取图像子图的一个五级形状特征;
所述深度记忆网络采用深度为D个单元的记忆模型,采用选择性更新规则;
所述BP网络采用4层结构,一个输入层,两个隐层和一个输出层;
第二步,设置融合记忆网络各层算法:
1)对输入图像进行灰度化处理,当原输入图像为三维彩色图时,通过矢量映射法将其转换为对应的灰度图,如果输入为灰度图则跳过此步;
2)将被检测图像进行二维傅里叶变换,转化为频谱图,标记为图像P0;
3)将图像P0与第一卷积层的N1个卷积算子分别进行卷积操作,计算表达式为:
其中为图像P0在像素[(i-1)Δ1+1+x,(j-1)Δ1+1+y]处的灰度值,表示第n1个卷积算子在位置[x,y]处的权值,为卷积后的图像P1在像素[i,j]处的灰度值,s1为卷积算子的行数,t1为卷积算子的列数,Δ1为卷积移动步长,n1为卷积算子的序号,范围为1≤n1≤N1;
4)将卷积图像进行规则化处理,处理过程为:
6)根据第二层卷积核,参考步骤3)、步骤4)、步骤5)计算第二层卷积运算的结果;
7)根据第三层卷积核,参考步骤3)、步骤4)、步骤5)计算第三层卷积运算的结果;
8)对步骤7)得到的矩阵进行相似度聚类分析,保持图像第三级特征数量为M1个;
9)在步骤8)的基础上,根据第四层卷积核,参考步骤3)、步骤4)、步骤5)计算第四层卷积运算的结果;
10)对步骤9)得到的矩阵进行相似度聚类分析,保持图像第四级特征数量为M2个;
11)在步骤10)的基础上,根据第五层卷积核,参考步骤3)、步骤4)、步骤5)计算第五层卷积运算的结果;
12)对步骤11)得到的矩阵进行相似度聚类分析,以其矩阵所有元素的和为综合特征,得到M3个不同特征点;
13)对于步骤12)输出的特征值,输入到对应的记忆模型,通过记忆模型产生相应的输出信息;具体记忆模型为:
一个具有D个独立记忆单元的网络结构,网络输入x(t)与记忆单元各记忆值进行对比,其最接近输入的单元k处的误差为:
δk(t)=Min{|Ci(t)-x(t)|,i=1,2,…,D}, (4),
当δk(t)小于或等于网络识别阀值ε时,说明网络成功识别为第k类信息,此时每个记忆单元的记忆系数βi(t)和记忆信息Ci(t)的选择性记忆更新规则为:
当δk(t)大于网络识别阀值ε时,说明网络识别过程中没有输入类,记忆网络按遗忘规律更新记忆最差的信息,即将记忆系数最低的单元k处替换为当前输入信息;此时每个记忆单元的记忆系数βi(t)和记忆信息Ci(t)的选择性记忆更新规则为:
βk(t)=Min{βi(t),i=1,2,…,D}, (7),
网络输出为:
h(t+1)=Ck(t+1), (10),
14)将步骤13)输出的元素作为全连接BP网络的输入,以递减方式设计中间隐层结点的数量,输出层为5个节点;输出层的每个节点的含义分别为:第1个输出结点为模糊类型,失焦模糊为1,运动模糊为2,高斯模糊为3;第2个输出结点为失焦模糊的半径r,当第1个输出结点为1时,该输出为计算得到的半径值,否则,该项输出为0;第3个输出结点为运动模糊的长度;第4个输出结点为运动模湖的方向角;第5个输出结点为高斯模糊的噪声方差;
15)网络在参数训练过程中提供人工判断反馈功能,当使用者发现网络识别错误时,将错误信息输入网络更正接口,网络将自动重新学习,更新***权值矩阵信息;
第三步,通过网络训练获得网络参数:
网络构建和算法设置完成后,使用1~100万帧的已知图像及其特征进行学习训练,获得网络参数;
第四步,未知图像模糊类型识别及参数整定:
将实际生产过程中采集到的图像信息或者需要识别的模糊图像信息输入到本网络,经过网络计算,获得模糊类型、失焦模糊的半径、运动模糊的长度、运动模湖的方向角和高斯模糊的噪声方差网络输出,实现图像模糊类型识别及参数整定。
本发明在记忆CNN的基础上,针对高分辨率的图像采用5层变步长卷积运算,当分辨率高于200×200像素时采用步长控制加速卷积收敛;当分辨率低于200×200像素时,采用单步卷积控制保证特征数量。为避免卷积网络中后层规模激增现象,采用聚类分析降低层输出特征矩阵的数量,保证网络特征的差异性和计算规模。在得到的细节特征处理过程中模拟人类记忆过程,通过深度记忆网络模型对特征进行记忆和整形输出。最后通过BP网络对模糊类型和参数大小进行识别和计算。本发明能够提高图像模糊类型及参数计算的效率。
具体实施方式
本发明通过一种融合记忆CNN的图像模糊类型识别及参数整定方法,用以克服现有模糊识别中网络不带记忆功能的缺点。
下面结合实例(轨道表面缺陷检测)对本发明进行详细说明。
第一步,构建融合记忆网络架构:
将融合记忆CNN模型分为5层卷积层、1个深度记忆网络和1个BP网络的串行架构;
第一卷积层选择96个卷积算子,每个卷积算子为一个16×16的卷积核,卷积核包含了72种不同形态的直线和8种不同大小的圆盘和16种不同形态的圆环,每个卷积核提取图像子图单元的一级形状特征;
第二卷积层选择256个卷积算子,每个卷积算子为一个8×8的卷积核,每个卷积核提取图像子图的一个二级形状特征;
第三卷积层选择256个卷积算子,每个卷积算子为一个5×5的卷积核,每个卷积核提取图像子图的一个三级形状特征;
第四卷积层选择384个卷积算子,每个卷积算子为一个3×3的卷积核,每个卷积核提取图像子图的一个四级形状特征;
第五卷积层选择384个卷积算子,每个卷积算子为一个3×3的卷积核,每个卷积核提取图像子图的一个五级形状特征;
所述深度记忆网络采用深度为10个单元的记忆模型,采用选择性更新规则;
所述BP网络采用4层结构,一个输入层,两个隐层和一个输出层;
第二步,设置融合记忆网络各层算法:
1)对输入图像进行灰度化处理,当原输入图像为三维彩色图时,通过矢量映射法将其转换为对应的灰度图,如果输入为灰度图则跳过此步;
2)将被检测图像进行二维傅里叶变换,转化为频谱图,标记为图像P0,图像P0大小是1024×1024;
3)将图像P0与网络第一卷积层的96个卷积算子分别进行卷积操作,计算表达式为:
其中为图像P0在像素[2i-1+x,2j-1+y]处的灰度值,表示卷积算子在位置[x,y]处的值,为卷积后的图像P1在像素[i,j]处的灰度值;经过第一层卷积运算后,输出96个504×504大小的卷积图像;
4)将卷积图像进行规则化处理,处理过程为:
通过最大池化作用,输出96个252×252大小的特征矩阵;
6)重复步骤3)、步骤4)、步骤5)进行第二层卷积运算,选择参数s2和t2都为8,Δ2为2,得到24576个61×61大小的特征矩阵;
7)重复步骤3)、步骤4)、步骤5)进行第三层卷积运算,选择参数s3和t3都为5,Δ3为1,得到629万个28×28大小的特征矩阵;
8)对步骤7)得到的矩阵进行相似度聚类分析,保持图像特征矩阵为10万个;
9)重复步骤3)、步骤4)、步骤5)进行第四层卷积运算,选择参数s4和t4都为3,Δ4为1,得到3840万个12×12大小的特征矩阵;
10)对步骤9)得到的矩阵进行相似度聚类分析,保持图像特征矩阵为1万个;
11)重复步骤3)、步骤4)、步骤5)进行第五层卷积运算,选择参数s5和t5都为3,Δ5为1,得到384万个4×4大小的特征矩阵;
12)对步骤11)得到的矩阵进行相似度聚类分析,以其矩阵所有元素的和为综合特征,得到1000个不同特征点;
13)对于步骤12)输出的特征值,输入到对应的记忆模型,本网络有1000个记忆深度为10的独立记忆单元,通过记忆模型产生相应的输出信息;具体记忆模型为:
一个具有10个独立记忆单元的网络结构,网络输入x(t)与记忆单元各记忆值进行对比,其最接近输入的单元k处的误差为:
δk(t)=Min{|Ci(t)-x(t)|,i=1,2,…,10}, (13),
当δk(t)小于或等于网络识别阀值ε时,说明网络成功识别为第k类信息,此时每个记忆单元的记忆系数βi(t)和记忆信息Ci(t)的选择性记忆更新规则为:
当δk(t)大于网络识别阀值ε时,说明网络识别过程中没有输入类,记忆网络按遗忘规律更新记忆最差的信息,βk(t)即将记忆系数最低的单元k处替换为当前输入信息;此时每个记忆单元的记忆系数βi(t)和记忆信息Ci(t)的选择性记忆更新规则为:
βk(t)=Min{βi(t),i=1,2,…,10}, (15),
网络输出h(t+1)为:
h(t+1)=Ck(t+1), (10),
14)将步骤13)输出的元素作为全连接BP网络的输入,第一隐层设计500个节点,第二隐层设计50个节点,输出层为5个节点;输出层的每个节点的含义分别为:第1个输出结点为模糊类型,失焦模糊为1,运动模糊为2,高斯模糊为3;第2个输出结点为失焦模糊的半径r,当第1个输出结点为1时,该输出为计算得到的半径值,否则,该项输出为0;第3个输出结点为运动模糊的长度;第4个输出结点为运动模湖的方向角;第5个输出结点为高斯模糊的噪声方差;
15)网络在参数训练过程中提供人工判断反馈功能,当使用者发现网络识别错误时,将错误信息输入网络更正接口,网络将自动重新学习,更新***权值矩阵信息;
第三步,通过网络训练获得网络参数:
以图像数据库caltech 101dataset及所采集的轨道表面视频图像库为基础,构建50万幅不同模糊类型和不同参数的模糊图像,将该模糊图像集作为输入,对应的参数作为输出,进行网络训练,获得网络参数;
第四步,未知图像模糊类型识别及参数整定:
以1000张caltech 101dataset数据库中的图像为被测图像,进行测试,计算每幅图像对应的模糊类型、失焦模糊的半径、运动模糊的长度、运动模湖的方向角和高斯模糊的噪声方差网络输出;将网络输出与已知结果进行对比,其正确率达到99.7%,实现图像模糊类型识别及参数整定;
同时,将融合记忆CNN应用到轨道表面缺陷检测***中的图像去模糊处理过程,计算被测图像的模糊类型、失焦模糊的半径、运动模糊的长度、运动模湖的方向角和高斯模糊的噪声方差;将整定参数应用于图像去模糊,从结果分析得到的去模糊效果达到检测***的要求。
所描述的实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (2)
1.一种融合记忆CNN的图像模糊类型识别及参数整定方法,其特征是,包括以下步骤:
第一步,构建融合记忆网络架构:
将融合记忆CNN模型分为5层卷积层、1个深度记忆网络和1个BP网络的串行架构;
第一卷积层选择N1个卷积算子,每个卷积算子为一个大小s1×t1的卷积核,其中s1为卷积核的行数,t1为卷积核的列数;所述卷积核由多种不同的直线和多种不同的圆盘和多种不同的圆环组成,每个卷积核提取图像子图单元的一级形状特征;
第二卷积层选择N2个卷积算子,每个卷积算子为一个大小s2×t2的卷积核,其中s2为卷积核的行数,t2为卷积核的列数;每个卷积核提取图像子图的一个二级形状特征;
第三卷积层选择N3个卷积算子,每个卷积算子为一个大小s3×t3的卷积核,其中s3为卷积核的行数,t3为卷积核的列数;每个卷积核提取图像子图的一个三级形状特征;
第四卷积层选择N4个卷积算子,每个卷积算子为一个大小s4×t4的卷积核,其中s4为卷积核的行数,t4为卷积核的列数;每个卷积核提取图像子图的一个四级形状特征;
第五卷积层选择N5个卷积算子,每个卷积算子为一个大小s5×t5的卷积核,其中s5为卷积核的行数,t5为卷积核的列数;每个卷积核提取图像子图的一个五级形状特征;
所述深度记忆网络采用深度为D个单元的记忆模型,采用选择性更新规则;
所述BP网络采用4层结构,一个输入层,两个隐层和一个输出层;
第二步,设置融合记忆网络各层算法:
1)对输入图像进行灰度化处理,当原输入图像为三维彩色图时,通过矢量映射法将其转换为对应的灰度图,如果输入为灰度图则跳过此步;
2)将被检测图像进行二维傅里叶变换,转化为频谱图,标记为图像P0;
3)将图像P0与第一卷积层的N1个卷积算子分别进行卷积操作,计算表达式为:
其中为图像P0在像素[(i-1)Δ1+1+x,(j-1)Δ1+1+y]处的灰度值,表示第n1个卷积算子在位置[x,y]处的权值,为卷积后的图像P1在像素[i,j]处的灰度值,s1为卷积算子的行数,t1为卷积算子的列数,Δ1为卷积移动步长,n1为卷积算子的序号,范围为1≤n1≤N1;
4)将卷积图像进行规则化处理,处理过程为:
6)根据第二层卷积核,参考步骤3)、步骤4)、步骤5)计算第二层卷积运算的结果;
7)根据第三层卷积核,参考步骤3)、步骤4)、步骤5)计算第三层卷积运算的结果;
8)对步骤7)得到的矩阵进行相似度聚类分析,保持图像第三级特征数量为M1个;
9)在步骤8)的基础上,根据第四层卷积核,参考步骤3)、步骤4)、步骤5)计算第四层卷积运算的结果;
10)对步骤9)得到的矩阵进行相似度聚类分析,保持图像第四级特征数量为M2个;
11)在步骤10)的基础上,根据第五层卷积核,参考步骤3)、步骤4)、步骤5)计算第五层卷积运算的结果;
12)对步骤11)得到的矩阵进行相似度聚类分析,以其矩阵所有元素的和为综合特征,得到M3个不同特征点;
13)对于步骤12)输出的特征值,输入到对应的记忆模型,通过记忆模型产生相应的输出信息;具体记忆模型为:
一个具有D个独立记忆单元的网络结构,网络输入x(t)与记忆单元各记忆值进行对比,其最接近输入的单元k处的误差为:
δk(t)=Min{|Ci(t)-x(t)| i=1,2,…,D}, (4),
当δk(t)小于或等于网络识别阀值ε时,说明网络成功识别为第k类信息,此时每个记忆单元的记忆系数βi(t)和记忆信息Ci(t)的选择性记忆更新规则为:
当δk(t)大于网络识别阀值ε时,说明网络识别过程中没有输入类,记忆网络按遗忘规律更新记忆最差的信息,即将记忆系数最低的单元k处替换为当前输入信息;此时每个记忆单元的记忆系数βi(t)和记忆信息Ci(t)的选择性记忆更新规则为:
βk(t)=Min{βi(t),i=1,2,…,D}, (7),
网络输出为:
h(t+1)=Ck(t+1), (10),
14)将步骤13)输出的元素作为全连接BP网络的输入,以递减方式设计中间隐层结点的数量,输出层为5个节点;输出层的每个节点的含义分别为:第1个输出结点为模糊类型,失焦模糊为1,运动模糊为2,高斯模糊为3;第2个输出结点为失焦模糊的半径r,当第1个输出结点为1时,该输出为计算得到的半径值,否则,该项输出为0;第3个输出结点为运动模糊的长度;第4个输出结点为运动模湖的方向角;第5个输出结点为高斯模糊的噪声方差;
15)网络在参数训练过程中提供人工判断反馈功能,当使用者发现网络识别错误时,将错误信息输入网络更正接口,网络将自动重新学习,更新***权值矩阵信息;
第三步,通过网络训练获得网络参数:
网络构建和算法设置完成后,使用1~100万帧的已知图像及其特征进行学习训练,获得网络参数;
第四步,未知图像模糊类型识别及参数整定:
将实际生产过程中采集到的图像信息或者需要识别的模糊图像信息输入到本网络,经过网络计算,获得模糊类型、失焦模糊的半径、运动模糊的长度、运动模湖的方向角和高斯模糊的噪声方差网络输出,实现图像模糊类型识别及参数整定。
2.根据权利要求1所述的一种融合记忆CNN的图像模糊类型识别及参数整定方法,其特征是,具体实施为:
第一步,构建融合记忆网络架构:
将融合记忆CNN模型分为5层卷积层、1个深度记忆网络和1个BP网络的串行架构;
第一卷积层选择96个卷积算子,每个卷积算子为一个16×16的卷积核,卷积核包含了72种不同形态的直线和8种不同大小的圆盘和16种不同形态的圆环,每个卷积核提取图像子图单元的一级形状特征;
第二卷积层选择256个卷积算子,每个卷积算子为一个8×8的卷积核,每个卷积核提取图像子图的一个二级形状特征;
第三卷积层选择256个卷积算子,每个卷积算子为一个5×5的卷积核,每个卷积核提取图像子图的一个三级形状特征;
第四卷积层选择384个卷积算子,每个卷积算子为一个3×3的卷积核,每个卷积核提取图像子图的一个四级形状特征;
第五卷积层选择384个卷积算子,每个卷积算子为一个3×3的卷积核,每个卷积核提取图像子图的一个五级形状特征;
所述深度记忆网络采用深度为10个单元的记忆模型,采用选择性更新规则;
所述BP网络采用4层结构,一个输入层,两个隐层和一个输出层;
第二步,设置融合记忆网络各层算法:
1)对输入图像进行灰度化处理,当原输入图像为三维彩色图时,通过矢量映射法将其转换为对应的灰度图,如果输入为灰度图则跳过此步;
2)将被检测图像进行二维傅里叶变换,转化为频谱图,标记为图像P0,图像P0大小是1024×1024;
3)将图像P0与网络第一卷积层的96个卷积算子分别进行卷积操作,计算表达式为:
其中为图像P0在像素[2i-1+x,2j-1+y]处的灰度值,表示卷积算子在位置[x,y]处的值,为卷积后的图像P1在像素[i,j]处的灰度值;经过第一层卷积运算后,输出96个504×504大小的卷积图像;
4)将卷积图像进行规则化处理,处理过程为:
通过最大池化作用,输出96个252×252大小的特征矩阵;
6)重复步骤3)、步骤4)、步骤5)进行第二层卷积运算,选择参数s2和t2都为8,Δ2为2,得到24576个61×61大小的特征矩阵;
7)重复步骤3)、步骤4)、步骤5)进行第三层卷积运算,选择参数s3和t3都为5,Δ3为1,得到629万个28×28大小的特征矩阵;
8)对步骤7)得到的矩阵进行相似度聚类分析,保持图像特征矩阵为10万个;
9)重复步骤3)、步骤4)、步骤5)进行第四层卷积运算,选择参数s4和t4都为3,Δ4为1,得到3840万个12×12大小的特征矩阵;
10)对步骤9)得到的矩阵进行相似度聚类分析,保持图像特征矩阵为1万个;
11)重复步骤3)、步骤4)、步骤5)进行第五层卷积运算,选择参数s5和t5都为3,Δ5为1,得到384万个4×4大小的特征矩阵;
12)对步骤11)得到的矩阵进行相似度聚类分析,以其矩阵所有元素的和为综合特征,得到1000个不同特征点;
13)对于步骤12)输出的特征值,输入到对应的记忆模型,本网络有1000个记忆深度为10的独立记忆单元,通过记忆模型产生相应的输出信息;具体记忆模型为:
一个具有10个独立记忆单元的网络结构,网络输入x(t)与记忆单元各记忆值进行对比,其最接近输入的单元k处的误差为:
δk(t)=Min{|Ci(t)-x(t)|,i=1,2,…,10}, (13),
当δk(t)小于或等于网络识别阀值ε时,说明网络成功识别为第k类信息,此时每个记忆单元的记忆系数βi(t)和记忆信息Ci(t)的选择性记忆更新规则为:
当δk(t)大于网络识别阀值ε时,说明网络识别过程中没有输入类,记忆网络按遗忘规律更新记忆最差的信息,βk(t)即将记忆系数最低的单元k处替换为当前输入信息;此时每个记忆单元的记忆系数βi(t)和记忆信息Ci(t)的选择性记忆更新规则为:
βk(t)=Min{βi(t),i=1,2,…,10}, (15),
网络输出h(t+1)为:
h(t+1)=Ck(t+1), (10),
14)将步骤13)输出的元素作为全连接BP网络的输入,第一隐层设计500个节点,第二隐层设计50个节点,输出层为5个节点;输出层的每个节点的含义分别为:第1个输出结点为模糊类型,失焦模糊为1,运动模糊为2,高斯模糊为3;第2个输出结点为失焦模糊的半径r,当第1个输出结点为1时,该输出为计算得到的半径值,否则,该项输出为0;第3个输出结点为运动模糊的长度;第4个输出结点为运动模湖的方向角;第5个输出结点为高斯模糊的噪声方差;
15)网络在参数训练过程中提供人工判断反馈功能,当使用者发现网络识别错误时,将错误信息输入网络更正接口,网络将自动重新学习,更新***权值矩阵信息;
第三步,通过网络训练获得网络参数:
以图像数据库caltech 101 dataset及所采集的轨道表面视频图像库为基础,构建50万幅不同模糊类型和不同参数的模糊图像,将该模糊图像集作为输入,对应的参数作为输出,进行网络训练,获得网络参数;
第四步,未知图像模糊类型识别及参数整定:
以1000张caltech 101 dataset数据库中的图像为被测图像,进行测试,计算每幅图像对应的模糊类型、失焦模糊的半径、运动模糊的长度、运动模湖的方向角和高斯模糊的噪声方差网络输出;将网络输出与已知结果进行对比,其正确率达到99.7%,实现图像模糊类型识别及参数整定;
同时,将融合记忆CNN应用到轨道表面缺陷检测***中的图像去模糊处理过程,计算被测图像的模糊类型、失焦模糊的半径、运动模糊的长度、运动模湖的方向角和高斯模糊的噪声方差;将整定参数应用于图像去模糊,从结果分析得到的去模糊效果达到检测***的要求。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710609501.3A CN107274378B (zh) | 2017-07-25 | 2017-07-25 | 一种融合记忆cnn的图像模糊类型识别及参数整定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710609501.3A CN107274378B (zh) | 2017-07-25 | 2017-07-25 | 一种融合记忆cnn的图像模糊类型识别及参数整定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107274378A CN107274378A (zh) | 2017-10-20 |
CN107274378B true CN107274378B (zh) | 2020-04-03 |
Family
ID=60079524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710609501.3A Active CN107274378B (zh) | 2017-07-25 | 2017-07-25 | 一种融合记忆cnn的图像模糊类型识别及参数整定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107274378B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108446631B (zh) * | 2018-03-20 | 2020-07-31 | 北京邮电大学 | 基于卷积神经网络的深度学习的智能频谱图分析方法 |
CN108537746B (zh) * | 2018-03-21 | 2021-09-21 | 华南理工大学 | 一种基于深度卷积网络的模糊可变图像盲复原方法 |
CN108830801A (zh) * | 2018-05-10 | 2018-11-16 | 湖南丹尼尔智能科技有限公司 | 一种自动识别模糊类型的深度学习图像复原方法 |
CN108898563B (zh) * | 2018-07-02 | 2021-01-22 | 京东方科技集团股份有限公司 | 一种显示面板光学检测图像的处理方法及计算机可读介质 |
CN109345449B (zh) | 2018-07-17 | 2020-11-10 | 西安交通大学 | 一种基于融合网络的图像超分辨率及去非均匀模糊方法 |
CN109445457B (zh) * | 2018-10-18 | 2021-05-14 | 广州极飞科技股份有限公司 | 分布信息的确定方法、无人飞行器的控制方法及装置 |
CN111339995B (zh) * | 2020-03-16 | 2024-02-20 | 合肥闪捷信息科技有限公司 | 一种基于神经网络的敏感图像识别方法 |
CN112183650B (zh) * | 2020-10-09 | 2023-09-22 | 青岛中瑞车云工业互联网科技有限公司 | 一种在相机失焦情况下的数字检测识别方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104392205A (zh) * | 2014-10-24 | 2015-03-04 | 浙江力石科技股份有限公司 | 一种非正常车牌的识别方法和*** |
CN105844239A (zh) * | 2016-03-23 | 2016-08-10 | 北京邮电大学 | 一种基于cnn和lstm的暴恐视频检测方法 |
CN106782602A (zh) * | 2016-12-01 | 2017-05-31 | 南京邮电大学 | 基于长短时间记忆网络和卷积神经网络的语音情感识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10095950B2 (en) * | 2015-06-03 | 2018-10-09 | Hyperverge Inc. | Systems and methods for image processing |
-
2017
- 2017-07-25 CN CN201710609501.3A patent/CN107274378B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104392205A (zh) * | 2014-10-24 | 2015-03-04 | 浙江力石科技股份有限公司 | 一种非正常车牌的识别方法和*** |
CN105844239A (zh) * | 2016-03-23 | 2016-08-10 | 北京邮电大学 | 一种基于cnn和lstm的暴恐视频检测方法 |
CN106782602A (zh) * | 2016-12-01 | 2017-05-31 | 南京邮电大学 | 基于长短时间记忆网络和卷积神经网络的语音情感识别方法 |
Non-Patent Citations (1)
Title |
---|
基于深度卷积神经网络的快速图像分类算法;王华利;《计算机工程与应用》;20160510;第53卷(第13期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN107274378A (zh) | 2017-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107274378B (zh) | 一种融合记忆cnn的图像模糊类型识别及参数整定方法 | |
CN110188685B (zh) | 一种基于双注意力多尺度级联网络的目标计数方法及*** | |
Suganuma et al. | Attention-based adaptive selection of operations for image restoration in the presence of unknown combined distortions | |
CN109360171B (zh) | 一种基于神经网络的视频图像实时去模糊方法 | |
CN108764292B (zh) | 基于弱监督信息的深度学习图像目标映射及定位方法 | |
Guo et al. | Multiview high dynamic range image synthesis using fuzzy broad learning system | |
CN107766794B (zh) | 一种特征融合系数可学习的图像语义分割方法 | |
CN106778604B (zh) | 基于匹配卷积神经网络的行人再识别方法 | |
CN107229914B (zh) | 一种基于深度q学习策略的手写数字识别方法 | |
CN105701508B (zh) | 基于多级卷积神经网络的全局‑局部优化模型及显著性检测算法 | |
CN111126412B (zh) | 基于特征金字塔网络的图像关键点检测方法 | |
CN109598704B (zh) | 一种基于bp神经网络的粪便显微图像清晰度评价方法 | |
CN107368887B (zh) | 一种深度记忆卷积神经网络的装置及其构建方法 | |
CN108985443B (zh) | 动作识别方法及其神经网络生成方法、装置和电子设备 | |
CN113128424A (zh) | 基于注意力机制的图卷积神经网络动作识别方法 | |
CN112561807B (zh) | 一种基于卷积神经网络的端到端径向畸变校正方法 | |
CN110827304A (zh) | 一种基于深度卷积网络与水平集方法的中医舌像定位方法和*** | |
CN111428664A (zh) | 一种基于人工智能深度学习技术的计算机视觉的实时多人姿态估计方法 | |
CN111553296B (zh) | 一种基于fpga实现的二值神经网络立体视觉匹配方法 | |
CN112819096A (zh) | 一种基于复合卷积神经网络的化石图像分类模型的构建方法 | |
CN115376024A (zh) | 一种输电线路电力配件语义分割方法 | |
CN113160179A (zh) | 一种基于动态区域卷积的图像去模糊方法 | |
KR101563569B1 (ko) | 학습형 다이내믹 시각 이미지 패턴 인식 시스템 및 방법 | |
CN116342536A (zh) | 基于轻量化模型的铝带材表面缺陷检测方法、***及设备 | |
CN109919215B (zh) | 基于聚类算法改进特征金字塔网络的目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |