CN112330538B - 一种基于特征点优化提取的损伤温度重构图像拼接方法 - Google Patents
一种基于特征点优化提取的损伤温度重构图像拼接方法 Download PDFInfo
- Publication number
- CN112330538B CN112330538B CN202011049033.7A CN202011049033A CN112330538B CN 112330538 B CN112330538 B CN 112330538B CN 202011049033 A CN202011049033 A CN 202011049033A CN 112330538 B CN112330538 B CN 112330538B
- Authority
- CN
- China
- Prior art keywords
- image
- model
- damage
- feature
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006378 damage Effects 0.000 title claims abstract description 136
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000000605 extraction Methods 0.000 title claims abstract description 21
- 238000005457 optimization Methods 0.000 title claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims abstract description 58
- 238000012549 training Methods 0.000 claims abstract description 55
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 230000009466 transformation Effects 0.000 claims abstract description 25
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 24
- 239000013598 vector Substances 0.000 claims description 115
- 210000002569 neuron Anatomy 0.000 claims description 28
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 230000003902 lesion Effects 0.000 claims description 18
- 230000007547 defect Effects 0.000 claims description 16
- 238000012880 independent component analysis Methods 0.000 claims description 14
- 238000000513 principal component analysis Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 description 23
- 238000012360 testing method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000002156 mixing Methods 0.000 description 4
- 239000004576 sand Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000009659 non-destructive testing Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003754 machining Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000005272 metallurgy Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 208000032767 Device breakage Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003889 chemical engineering Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004901 spalling Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N25/00—Investigating or analyzing materials by the use of thermal means
- G01N25/72—Investigating presence of flaws
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于特征点优化提取的损伤温度重构图像拼接方法，首先基于温度变化特征分离出突显缺陷特征的损伤温度重构图像，然后采用SIFT特征点检测算法实现特征点的快速检测同时生成损伤温度特征向量，再利用PCA算法对损伤温度特征向量进行降维。针对高压容器，对含重叠区域的损伤温度特征重构图像I1、I2进行特征点的粗匹配；最后采用基于GAN生成式对抗网络获取RBF神经网络训练数据，训练好的RBF神经网络剔除粗匹配点对集合中的误匹配对，通过优化RANSAC提取损伤特征点集合K，获取最终的仿射变换模型，实现图像拼接，得到拼接图像。最终的拼接图像为一个大范围检测区域的损伤温度重构图像。
Description
技术领域
本发明属于缺陷检测技术领域，更为具体地讲，涉及一种基于特征点优化提取的损伤温度重构图像拼接方法。
背景技术
近年来，红外热成像检测技术得到飞速发展。其不损伤本体、快速高效等特性，能有效地解决传统无损检测方法存在的劳动强度大、周期长、效率低、安全性差等问题，实现大面积快速检测、节省大量人力物力。
如果待检测试件表面存在损伤，则会影响其热量分布。对待检测试件加热，从而产生高温区和低温区，由于温度的差异性，高温区热量通过热传导向低温区传递，导致被测试件的不同区域温度发生变化，通过红外热像仪采集被测试件温度的变化过程，然后将采集的热图像视频交给计算机进行分析处理，来获取被测试件相关信息，实现损伤的定性与定量检测。
高压容器的制造过程需要多个行业专业技术和各个学科知识的配合，包括：冶金、机械加工、化工、腐蚀防护和检测等。随着各个行业的进步，尤其是计算机技术的飞速发展所带动的冶金，机械加工和无损检测等技术的发展，使得高压容器的制造技术得到了飞跃的进步。但是高压容器作为存储、输送压缩空气的特殊设备，容易产生疲劳裂纹、腐蚀凹坑等缺陷，可能造成气体泄漏，设备断裂等危害事故。
高压容器的体积庞大，红外热像仪无法一次性检测到高压容器全部表面来进行分析，因此需要对获得的图像进行拼接融合处理，以此来进行针对缺陷处的检测和评估。同时因拍摄角度和环境亮度等其他因素的干扰，容易对图像配准过程产生干扰，影响配准的准确度，导致最终无法获得有效的融合图像以供进一步针对缺陷部位的研究，因此选择鲁棒性强并且时效性高的拼接算法和能对拼接结果进行调整处理，使得最终能够获得有价值性的可供进一步研究图像的融合算法至关重要
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于特征点优化提取的损伤温度重构图像拼接方法，通过损伤特征点的优化提取，获得大尺寸的损伤温度重构图像(损伤特征图像)，不仅能够精确的获得内层空间的损伤情况，同时还可以获得大试件的全部损伤细节特征。
为实现上述发明目的，本发明基于特征点优化提取的损伤温度重构图像拼接方法，其特征在于，包括以下步骤：
(1)获取子区域损伤温度重构图像
对高压容器的一个大范围检测区域，由红外热像仪拍摄多个含重叠区域的红外视频流；
对每个获得的视频流进行采样得到一个红外图像序列，并将其视为输入的盲源信号，利用独立成分分析法(ICA算法)进行信号分离，获得突出各个缺陷信息的损伤温度重构图像；
这样得到该大范围检测区域的各个子区域的损伤温度重构图像；
(2)、特征点检测、描述以及降维
对包含重叠区域的子区域的损伤温度重构图像I1、I2，采用SIFT特征点检测算法进行特征点检测，得到特征点；然后构建特征点的特征描述，得到各个特征点的损伤温度特征向量；再利用PCA算法对检测到的特征点的损伤温度特征向量进行降维，这样得到损伤温度重构图像I1的所有特征点的特征向量xm(维度为64维)构成特征向量集合
以及对应特征点在损伤温度重构图像中的坐标位置集合
M为损伤温度重构图像I1检测到的特征点数量，jm、km分别表示I1第m个特征点的横坐标和纵坐标。损伤温度重构图像I2的所有特征点的特征向量yn(维度为64维)构成特征向量集合
以及对应特征点在重构图像中的坐标位置集合
N为损伤温度重构图像I2检测到的特征点数量，pn、qn分别表示I2第n个特征点的横坐标和纵坐标；
(3)、粗匹配
对于损伤温度重构图像I1的特征向量集合
的特征向量xm，计算其与损伤温度重构图像I2的特征向量集合
中所有特征向量yn的向量夹角的余弦值dm1,dm2,....,dmN，然后，在余弦值dm1,dm2,....,dmN找到最大值dme与次大值dmo，其中，e为最大值的序号，o为次大值的的序号，当：
则认为特征向量xm与特征向量ye相互匹配，为一粗匹配点对，其中，dthreshold为设定的阈值，根据具体情况设定，这样得到粗匹配点对集合
其中，x′t,y′t为第t对粗匹配点对，T为粗匹配点(特征向量)对的个数；
(4)、剔除误匹配点对
4.1)、构建衡量粗匹配点对集合中粗匹配点对相似程度的偏差向量Vt：
其中，x′t(l)和y′t(l)分别为粗匹配集合中第t对粗匹配点对的第l维；
4.2)、采用GAN(Generative Adversarial Networks，生成式对抗网络)获取RBF(Radial Basis Function，径向基函数)神经网络训练数据
4.2.1)、设置生成式对抗网络结构
生成式对抗网络包括生成模型G和判别模型D，其中：
生成模型G基于输入的服从高斯分布的随机噪声向量zu(维数为100)，u＝1,2,...,U，U为随机噪声向量个数，通过依据两幅已知匹配点的损伤温度重构图像I′1、I′2构建的偏差向量V′s的数据分布生成RBF神经网络训练数据集
其中，s＝1,2,…,S，S为损伤温度重构图像I′1、I′2的匹配点对的个数，
为第r个训练数据，R为生成的训练数据总数，生成模型G设置为3层全连接神经网络，输入层神经元个数g1为100，与随机噪声向量zu维数一致，隐含层神经元个数g2为512，输出层神经元个数g3为64，与偏差向量Vt维数一致，输出层数据为生成模型G生成数据
判别模型D的输入数据为依据两幅已知匹配点的损伤温度重构图像I′1、I′2构建的偏差向量V′s和生成模型G生成数据
其目的为尽可能正确判断输入数据是来自于真实数据偏差向量Vt还是来自生成数据
判别模型D设置为3层全连接神经网络，输入层神经元个数a1为64，与偏差向量V′s和生成数据
维数一致，隐含层神经元个数a2为512，输出层神经元个数a1为1，输出层数据为判别模型D对输入数据真伪的概率判断(0到1之间)；
4.2.2)、训练生成式对抗网络
设置生成模型G最大迭代训练次数iter，初始化生成模型参数GW(生成模型各层神经元权值)和DW(判别模型各层神经元权值)；
4.2.2.1)、从S个偏差向量V′s中采样C个样本Vc,c＝1,2,…,C，从U个噪声向量zu中采样C个样本zc,c＝1,2,…,C；
4.2.2.2)、固定生成模型G参数GW，C个样本zc通过生成模型G获取c个生成样本
标识样本Vc为1，标识生成样本
为0，对判别模型D进行训练(以尽可能大地区分真实样本和生成样本)：更新判别模型D的参数DW；
4.2.2.3)、固定判别模型D参数DW，C个样本zc通过生成模型G获取c个生成样本
标识样本Vc为1，标识生成样本
为1，对生成模型G进行训练(以尽可能减小生成样本与真实样本之间的差距)：更新生成模型G的参数GW；
4.2.2.4)、重复步骤4.2.2.1～4.2.2.3)iter次，即对生成模型G训练iter次后，从U个噪声向量zu中采样R个样本zr r＝1,2,…,R，输入生成模型G，生成RBF神经网络训练数据集
4.3)、基于RBF神经网络特征点剔除误匹配对
4.3.1)、设置RBF神经网络
RBF神经网络包括三层：输入层神经元个数h1为64，与偏差向量Vt维数一致，隐层神经元个数h2为72，将输入的偏差向量Vt映射到更高维空间中，输出层神经元个数h3为1，输出层数据为输入粗匹配点对偏差向量Vt匹配正误的概率(0到1之间)；
相应参数设置为：输入层到隐含层权值设置为1，初始化隐含层到输出层的权值wi，wi表示隐含层第i个节点到输出层节点的权值，设置粗匹配点对匹配正确阈值γ；
4.3.2)、训练RBF神经网络
将RBF神经网络训练数据集
作为RBF神经网络训练正样本数据集，第r个训练数据
对应分类标记cr＝1；
从步骤(3)中选取R对不符合粗匹配条件的特征点对x″r,y″r，r＝1,2,...,R，，计算对应的偏差向量V″r：
x″r(l)和y″r(l)分别为对不符合粗匹配条件的特征点对x″r,y″r的第l维；
将R个偏差向量V″r作为RBF神经网络训练负样本数据集，其中，第r个偏差向量V″r对应分类标记c″r＝0；
每次先提取一个训练数据
以及对应分类标记cr作为RBF神经网络输入层数据及输出层期望值进行RBF神经网络训练，然后再提取一个偏差向量V″r以及对应分类标记c″r作为RBF神经网络输入层数据及输出层期望值进行RBF神经网络训练，这样进行R次，得到训练完成的RBF神经网络；
4.3.3)、将偏差向量Vt作为输入层数据输入到训练完成的RBF神经网络，若对应输出层输出大于γ，则保留对应粗匹配点对x′t,y′t，否则剔除该粗匹配点对，最终得到优化提取后的粗匹配点对集合
F为优化后的粗匹配点对数量，以及对应的坐标集合
对应的坐标集合
(5)、优化提取损伤特征点集合K，获取最终的仿射变换模型
5.1)、设定循环次数阈值α，设定初始化循环次数i＝1；
5.2)、从粗匹配点对集合
中随机选取出3对粗匹配点对，从坐标集合
获取选中的匹配点对对应的3对坐标集合，计算仿射变换模型HTi的参数，HTi表示第i次循环得到的仿射变换模型，剩余粗匹配点对构成集合用
表示；
5.3)、基于仿射变换模型HTi计算集合
中剩余粗匹配点对中特征向量
和
的P范数
其中，
表示特征向量
与
之间的相似性，
判断P范数
与线性阈值Lti(f)之间的大小，线性阈值Lti(f)定义为：
其中，
为
中的最大值，
为
中的最小值；
如果P范数
大于线性阈值Lti(f)，则舍去粗匹配点对
否则，将粗匹配点对
保存至集合Ki中，更次迭代次数i＝i+1；
5.4)、判断迭代次数i是否大于循环次数阈值α，如果大于，则停止循环计算，比较α个集合Ki,i＝1,2,…α中粗匹配点对数量的大小，选取个数最多的集合Ki作为优化提取后的损伤特征点集合K，并基于损伤特征点集合K获取最终的仿射变换模型；如果小于，则返回步骤5.2)，继续迭代计算；
(6)、图像拼接
根据最终的仿射变换模型确定图像重叠区域，并依据最终的仿射变换模型实现两幅损伤温度重构图像I1、I2的拼接，得到拼接图像；
(7)、更新
将拼接图像作为损伤温度特征重构图像I1，与其(拼接图像)有重叠区域的子区域的损伤温度特征重构图像作为损伤温度特征重构图I2，返回步骤(2)，直到所有的损伤温度特征重构图完成拼接，得到高压容器红外检测的大范围全景拼接图像，完成高压容器缺陷的检测。
本发明的发明目的是这样实现的：
本发明基于特征点优化提取的损伤温度重构图像拼接方法，通过损伤特征点的优化提取，获得大尺寸的损伤温度重构图像(损伤特征图像)，不仅能够精确的获得内层空间的损伤情况，同时还可以获得大试件的全部损伤细节特征。首先基于温度变化特征分离出突显缺陷特征的损伤温度重构图像，然后采用SIFT特征点检测算法实现特征点的快速检测同时生成损伤温度特征向量，保留了所提取特征点的旋转和尺度不变性，再利用PCA算法对损伤温度特征向量进行降维，提高算法速度。对含重叠区域的损伤温度特征重构图像I1、I2(参考图像和待配准图像)基于损伤温度特征向量的向量夹角余弦值作为相似性度量，实现特征点的粗匹配；最后采用基于GAN生成式对抗网络获取RBF神经网络训练数据，训练好的RBF神经网络剔除粗匹配点对集合中的误匹配对，通过优化RANSAC提取损伤特征点集合K，获取最终的仿射变换模型，实现图像拼接，得到拼接图像。最终的拼接图像为一个大范围检测区域的损伤温度重构图像，通过观察和分析该损伤温度重构图像即可实现对检测区域的损伤分布情况和整体损伤程度进行初步的判断，为接下来针对损伤部位的定位、轮廓提取和定量分析等细致研究奠下基础。
附图说明
图1是本发明基于特征点优化提取的损伤温度重构图像拼接方法一种具体实施方式的流程图；
图2是ICA处理获得损伤温度重构图像的具体流程示意图；
图3是图1所示特征点检测、描述以及降维的流程图；
图4是SIFT算法中的图像梯度图；
图5是SIFT生成的特征点描述子图；
图6是一重叠区域的四张损伤温度重构图像。
图7是B-1与B-2采用本发明提取的损伤特征点连线图；
图8是B-3与B-4采用本发明提取的损伤特征点连线图；
图9是B-1与B-2，B-3与B-4在拼接中，特征点随阈值变化的图像；
图10是分别是B-1与B-2，B-3与B-4在拼接后的图像，其中，(a)为B-1与B-2拼接后的图像，(b)为B-3与B-4拼接后的图像；
图11是同时对(B-1，B-2)与(B-3，B-4)进行拼接时特征点的提取连线图；
图12是最终的损伤图像的拼接效果图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
图1是本发明基于特征点优化提取的损伤温度重构图像拼接方法一种具体实施方式的流程图。
在本实施例中，如图1所示，本发明基于特征点优化提取的损伤温度重构图像拼接方法，其特征在于，包括以下步骤：
步骤S1：获取子区域损伤温度重构图像
对高压容器的一个大范围检测区域，由红外热像仪拍摄多个含重叠区域的红外视频流；
对每个获得的视频流进行采样得到一个红外图像序列，并将其视为输入的盲源信号，利用独立成分分析法(ICA算法)进行信号分离，获得突出各个缺陷信息的损伤温度重构图像；
这样得到该大范围检测区域的各个子区域的损伤温度重构图像；
在本实施例中，首先用红外热像仪对高压容器表面进行拍摄，保证拍摄的两相邻子区域包含30％左右的重叠区域。结合ICA数学模型和各缺陷区域的信号特征与热视频信号之间的关系，获得各子区域的损伤温度重构图像。
ICA的目标是从原始图像序列的盲源信号中分离出几个独立的分量(ICs)。对红外图像序列进行ICA处理获得损伤温度重构图像的具体步骤如下：
步骤S1.1：将红外图像序列向量化获得新矩阵：
首先，在红外检测***中基础的ICA数学模型可被描述为：
Q′(t)表示预处理的红外图像序列，mi(i＝1,2,3...,L)表示混合向量，描述红外图像序列第ith位置组成成分，L表示独立信号图像的个数，即要突显的损伤模式数量。P′i(t)表示在位置区域i时间为t维度为p×q时生成的重构图像。p和q由红外热像仪传感器决定，p＝512，q＝640。对Q′(t)进行采样离散化和分解得到新的矩阵，具体流程示意图如图2所示。
Q′(t)＝[vec(Q(t)),vec(Q(t+1)),...,vec(Q(t+N-1))]T
新的损伤温度重构图像序列可以被表示为生成的独立信号的线性组合：
Q(t)＝MP(t)
这里混合矩阵M＝[m1,m2,...,mL]，mi是第i个混合向量。
P(t)＝[vec(P1(t)),vec(P2(t)),...,vec(PL(t))]T
假设L＝N并且矩阵M满秩，这样我们可以得到另一个表达式：
P(t)＝WQ(t)，W＝M-1
ICA算法相当于寻找使各损伤温度特征尽可能独立的线性变换，并对给定的训练数据最大化变换后的坐标的边缘密度，即：
这里pi(t)＝vec(Pi(t))，Pr(·)是概率。
步骤S1.2：利用奇异值分解实现对Q(t)的PCA白化：
Q(t)T＝UR×R∑R×NVT N×N
其中R＝p×q，UR×R和VT N×N正交矩阵，∑R×N由奇异值组成，UR×R的列向量代表PCA基础向量。利用PCA方法实现降维，选择L≤N，即存在L个输入信息的最大主成分，UR×L的基础向量被对应的非零奇异值选中。主成分分析法得到的基向量只是不相关的，但在统计学上并不是独立的。
步骤S1.3：使用ICA算法得到独立信号图像：
将PCA基向量UR×L作为ICA中的观测值，即：
UT R×L＝ML×LPL×R(t)
ICA估计了作为原混合矩阵逆矩阵近似解的分离矩阵，可由FastICA算法估计出各损伤温度特征独立分量。则可由下式得到独立分量：
对于每一个估计的损伤温度特征独立分量，由第ith区域产生的独立分量图像序列的重构过程可以表示为：
步骤S2：特征点检测、描述以及降维
对包含重叠区域的子区域的损伤温度重构图像I1、I2，采用SIFT特征点检测算法进行特征点检测，得到特征点；然后构建特征点的特征描述，得到各个特征点的损伤温度特征向量；再利用PCA算法对检测到的特征点的损伤温度特征向量进行降维，这样得到损伤温度重构图像I1的所有特征点的特征向量xm(维度为64维)构成特征向量集合
以及对应特征点在损伤温度重构图像中的坐标位置集合
M为损伤温度重构图像I1检测到的特征点数量，jm、km分别表示I1第m个特征点的横坐标和纵坐标。损伤温度重构图像I2的所有特征点的特征向量yn(维度为64维)构成特征向量集合
以及对应特征点在重构图像中的坐标位置集合
N为损伤温度重构图像I2检测到的特征点数量，pn、qn分别表示I2第n个特征点的横坐标和纵坐标。
图3是图1所示特征点检测、描述以及降维的流程图。
在本实施例中，如图3所示，特征点检测、描述以及降维包括以下步骤：
步骤S2.1：构建高斯尺度空间
对于二维的损伤温度特征重构图像I(x,y)在不同尺度下的尺度空间表示为C(x,y,σ)，由I(x,y)与高斯核
的卷积得到，如公式(1)所示：
C(x,y,σ)＝G(x,y,σ)×I(x,y) (1)
DOG(Difference of Gaussian)算子即两个不同尺度的高斯核的差分，如下式所示：
步骤S2.2：尺度空间特征点检测及定位
对于图像中的任何点，其DOG响应值可以通过直线和曲线连接，并且形成的轨迹图是图像的特征曲线，对于曲线上的极值点则表示为特征点的特征尺度，如极值点不唯一，则表明该特征点存在于多个尺度。由于DOG响应值对于边缘和噪声较为敏感，要对温度极值点进行三维二次函数拟合以精确定位为特征点，尺度空间函数O(x,y,σ)在局部极值点(x0,y0,σ)处的泰勒展开式如公式(3)所示。
公式(3)的一阶和二阶导数通过附近区域之间的差分来近似。其中X＝(x,y,σ)T求导并让方程等于零，求得极值点为
则对应极值点方程的值为：
若
则该特征点就保留下来，否则就移除，移除的则为低对比度的特征点。其中
代表相对插值中心的偏移量同时，在此过程中获取特征点的精确位置(原位置加上拟合的偏移量)以及尺度大小。
步骤S2.3：去除不稳定的点
于此同时DOG算子会产生较强的边缘响应，需要剔除不稳定的边缘响应点。获取特征点处的Hessian矩阵，主曲率通过一个2x2的Hessian矩阵H求出：
其中H的特征值α和β代表x和y方向的梯度，Tr(H)＝Oxx+Oyy＝α+β表示矩阵H对角线元素之和，Det(H)＝OxxOyy-(Oxy)2＝αβ表示矩阵H的行列式。假设是α较大的特征值，而是β较小的特征值，令α＝rβ，则
常取r＝10，若
则保留该特征点，否则就移除，移除的则是边缘响应特征点。
步骤S2.4：确定特征点主方向
利用特征点邻域温度值的梯度方向分布特性为每个特征点指定方向参数,使算子具备旋转不变性。算式如下：
其中T(x,y)为特征点的梯度θ(x,y)的特征点的方向。C是用于每个特征点的尺度，(x,y)用于确定阶数与层数，在计算过程中，以特征点为中心的邻域窗口中对邻域进行采样，并且使用温度值梯度方向直方图来计算邻域温度单元的梯度方向。邻域梯度的主方向即为梯度方向直方图的峰值，使其为特征点的方向。
步骤S2.5：构建特征点的特征描述符(特征向量)
如图4所示首先将坐标轴旋转为特征点的方向，然后以特征点为中心取8×8的窗口，每一个小方格表示一个像素，以4×4的方块以一个单位，在8个方向的梯度方向直方图，计算每个梯度方向的累加和形成一个种子点如图5所示，实际计算时用16个种子点来表述特征点，因此每个特征点的特征描述符为128维。
步骤S2.6:使用PCA对特征向量降维
对于损伤温度特征重构图像的z个特征向量f1,f2,....,fz，将其构建一个z×128的矩阵F，并对矩阵F计算128×128的协方差矩阵S；
计算协方差矩阵S的128个特征值λ与特征向量，根据λ的从大到小进行排序；选择前64个特征值对应的特征向量构成128×64大小的投影矩阵E；将z×128的矩阵F与投影矩阵E相乘获得z×64的矩阵即降维特征向量组成的矩阵，此时z个特征点的特征向量均为64维。具体而言，对于损伤温度特征重构图像I1，得到M个特征点的特征向量xm(维度为64维)构成特征向量集合
同时根据步骤S2.2获取损伤温度特征重构图像I1的M个特征点在损伤温度重构图像中的坐标位置集合
M为损伤温度重构图像I1检测到的特征点数量，jm、km分别表示I1第m个特征点的横坐标和纵坐标。损伤温度特征重构图像I2，得到N个特征点的特征向量yn(维度为64维)构成特征向量集合
同时根据步骤S2.2获取损伤温度特征重构图像I2的N个特征点在重构图像中的坐标位置集合
N为损伤温度重构图像I2检测到的特征点数量，pn、qn分别表示I2第n个特征点的横坐标和纵坐标。
步骤S3：粗匹配
对于损伤温度重构图像I1的特征向量集合
的特征向量xm，计算其与损伤温度重构图像I2的特征向量集合
中所有特征向量yn的向量夹角的余弦值dm1,dm2,....,dmN，然后，在余弦值dm1,dm2,....,dmN找到最大值dme与次大值dmo，其中，e为最大值的序号，o为次大值的序号，当：
则认为特征向量xm与特征向量ye相互匹配，为一粗匹配点对，其中，dthreshold为设定的阈值，根据具体情况设定，这样得到粗匹配点对集合
其中，x′t,y′t为第t对粗匹配点对，T为粗匹配点(特征向量)对的个数。
步骤S4：剔除误匹配点对
步骤S4.1：构建衡量粗匹配点对集合中粗匹配点对相似程度的偏差向量Vt：
其中，x′t(l)和y′t(l)分别为粗匹配集合中第t对粗匹配点对的第l维；
步骤S4.2：采用GAN(Generative Adversarial Networks，生成式对抗网络)获取RBF(Radial Basis Function，径向基函数)神经网络训练数据
步骤S4.2.1：设置生成式对抗网络结构
生成式对抗网络包括生成模型G和判别模型D，其中：
生成模型G基于输入的服从高斯分布的随机噪声向量zu(维数为100)，u＝1,2,...,U，U为随机噪声向量个数，通过依据两幅已知匹配点的损伤温度重构图像I′1、I′2构建的偏差向量V′s的数据分布生成RBF神经网络训练数据集
其中，s＝1,2,…,S，S为损伤温度重构图像I′1、I′2的匹配点对的个数，
为第r个训练数据，R为生成的训练数据总数，生成模型G设置为3层全连接神经网络，输入层神经元个数g1为100，与随机噪声向量zu维数一致，隐含层神经元个数g2为512，输出层神经元个数g3为64，与偏差向量Vt维数一致，输出层数据为生成模型G生成数据
判别模型D的输入数据为依据两幅已知匹配点的损伤温度重构图像I′1、I′2构建的偏差向量V′s和生成模型G生成数据
其目的为尽可能正确判断输入数据是来自于真实数据偏差向量Vt还是来自生成数据
判别模型D设置为3层全连接神经网络，输入层神经元个数a1为64，与偏差向量V′s和生成数据
维数一致，隐含层神经元个数a2为512，输出层神经元个数a1为1，输出层数据为判别模型D对输入数据真伪的概率判断(0到1之间)；
步骤S4.2.2：训练生成式对抗网络
设置生成模型G最大迭代训练次数iter，初始化生成模型参数GW(生成模型各层神经元权值)和DW(判别模型各层神经元权值)。在本实施例中，最大迭代训练次数iter＝100。
步骤S4.2.2.1：从S个偏差向量V′s中采样C个样本Vc,c＝1,2,…,C，从U个噪声向量zu中采样C个样本zc,c＝1,2,…,C；
步骤S4.2.2.2：固定生成模型G参数GW，C个样本zc通过生成模型G获取c个生成样本
标识样本Vc为1，标识生成样本
为0，对判别模型D进行训练(以尽可能大地区分真实样本和生成样本)：更新判别模型D的参数DW；
步骤S4.2.2.3：固定判别模型D参数DW，C个样本zc通过生成模型G获取c个生成样本
标识样本Vc为1，标识生成样本
为1，对生成模型G进行训练(以尽可能减小生成样本与真实样本之间的差距)：更新生成模型G的参数GW；
步骤S4.2.2.4：重复步骤4.2.2.1～4.2.2.3)iter次，即对生成模型G训练iter次后，从U个噪声向量zu中采样R个样本zr r＝1,2,…,R，输入生成模型G，生成RBF神经网络训练数据集
步骤S4.3：基于RBF神经网络特征点剔除误匹配对
步骤S4.3.1：设置RBF神经网络
RBF神经网络包括三层：输入层神经元个数h1为64，与偏差向量Vt维数一致，隐层神经元个数h2为72，将输入的偏差向量Vt映射到更高维空间中，输出层神经元个数h3为1，输出层数据为输入粗匹配点对偏差向量Vt匹配正误的概率(0到1之间)；
相应参数设置为：输入层到隐含层权值设置为1，初始化隐含层到输出层的权值wi，wi表示隐含层第i个节点到输出层节点的权值，设置粗匹配点对匹配正确阈值γ；
步骤S4.3.2：训练RBF神经网络
将RBF神经网络训练数据集
作为RBF神经网络训练正样本数据集，第r个训练数据
对应分类标记cr＝1；
从步骤S3中选取R对不符合粗匹配条件的特征点对x″r,y″r，r＝1,2,...,R，，计算对应的偏差向量V″r：
x″r(l)和y″r(l)分别为对不符合粗匹配条件的特征点对x″r,y″r的第l维；
将R个偏差向量V″r作为RBF神经网络训练负样本数据集，其中，第r个偏差向量V″r对应分类标记c″r＝0；
每次先提取一个训练数据
以及对应分类标记cr作为RBF神经网络输入层数据及输出层期望值进行RBF神经网络训练，然后再提取一个偏差向量V″r以及对应分类标记c″r作为RBF神经网络输入层数据及输出层期望值进行RBF神经网络训练，这样进行R次，得到训练完成的RBF神经网络；
步骤S4.3.3：将偏差向量Vt作为输入层数据输入到训练完成的RBF神经网络，若对应输出层输出大于γ，则保留对应粗匹配点对x′t,y′t，否则剔除该粗匹配点对，最终得到优化提取后的粗匹配点对集合
F为优化后的粗匹配点对数量，以及对应的坐标集合
对应的坐标集合
步骤S5：提取损伤特征点集合K，获取最终的仿射变换模型
传统RANSAC算法采用常数阈值对损伤特征点进行选取，当采用常数阈值进行选取的时候，硬分割的方式不能兼顾离模型较远分布的缺陷特征点，这样就丢失了缺陷的特征信息。针对温度场特征点的分布特性及固有的温度属性，本发明提出线性阈值函数作为判断特征点的依据，进一步依据阈值选择，改进RANSAC算法，最终基于精确匹配点对来估计出仿射变换模型的参数。优化过程如下：
步骤S5.1：设定循环次数阈值α，设定初始化循环次数i＝1；
步骤S5.2：从粗匹配点对集合
中随机选取出3对粗匹配点对，从坐标集合
获取选中的匹配点对对应的3对坐标集合，计算仿射变换模型HTi的参数，HTi表示第i次循环得到的仿射变换模型，剩余粗匹配点对构成集合用
表示；
步骤S5.3：基于仿射变换模型HTi计算集合
中剩余粗匹配点对中特征向量
和
的P范数
其中，
表示特征向量
与
之间的相似性，
判断P范数
与线性阈值Lti(f)之间的大小，线性阈值Lti(f)定义为：
其中，
为
中的最大值，
为
中的最小值；
如果P范数
大于线性阈值Lti(f)，则舍去粗匹配点对
否则，将粗匹配点对
保存至集合Ki中，更次迭代次数i＝i+1；
步骤S5.4：判断迭代次数i是否大于循环次数阈值α，如果大于，则停止循环计算，比较α个集合Ki,i＝1,2,…α中粗匹配点对数量的大小，选取个数最多的集合Ki作为优化提取后的损伤特征点集合K，并基于损伤特征点集合K获取最终的仿射变换模型；如果小于，则返回步骤5.2)，继续迭代计算；
步骤S6：图像拼接
根据最终的仿射变换模型确定图像重叠区域，并依据最终的仿射变换模型实现两幅损伤温度重构图像I1、I2的拼接，得到拼接图像；
步骤S7：更新
将拼接图像作为损伤温度特征重构图像I1，与其(拼接图像)有重叠区域的子区域的损伤温度特征重构图像作为损伤温度特征重构图I2，返回步骤(2)，直到所有的损伤温度特征重构图完成拼接，得到高压容器红外检测的大范围全景拼接图像，完成高压容器缺陷的检测。
同时，本发明基于特征点优化提取的损伤温度重构图像拼接方法还具有以下有益效果：
(1)、通过对不同空间不同程度的损伤进行特征模型重构和评估分析，实现了精确的损伤提取，为进一步对于损伤模型数据库的建立提供了基础理论；
(2)、优化的RANSAC特征点提取算法，在去除了相关冗余点的同时，保留了损伤精确特征点，使得拼接的效果更好，损伤的描述更加完整和精确，同时获得更精确完整的损伤细节图像。
(3)、使用线性阈值代替传统的常数阈值，将损伤特征点的取舍不在单一的靠常数的分割，合理的根据特征点整体属性进行划分，让特征点的选取更加精确，使得拼接更加有效。
实验部分
为了验证本发明的拼接效果，对高压容器损伤试件进行拼接实验，如图6所示，为四个区域的内部层裂的图像。由理论部分对25孔试件进行特征点提取。红外采集样本为362帧512×640的图像数据，对同25孔试件进行四次红外采集数据后经过降维和重构图像获取，进一步，在matlab环境下实现了本专利的方法，通过对四幅重构图像提取到的缺陷缺陷图像得到的结果图像进行匹配实验，以此来检验算法的性能。。B-1表示损伤试件左上部分的损伤细节图，B-2表示损伤试件右上部分的损伤细节图，B-3表示损伤试件左下部分的损伤细节图，B-4表示损伤试件右下部分的损伤细节图。
B-1与B-2采用本发明提取的损伤特征点连线如图7所示，B-3与B-4采本发明提取的损伤特征点连线如图8所示。
图9是B-1与B-2，B-3与B-4在拼接中，特征点随阈值变化的图像。
图10是分别是B-1与B-2，B-3与B-4在拼接后的图像，其中，(a)为B-1与B-2拼接后的图像，(b)为B-3与B-4拼接后的图像；
图11同时对(B-1，B-2)与(B-3，B-4)进行拼接时特征点的提取连线图，
最终的损伤特征图像的拼接效果图如图12所示。
从上面的实例可以看出，通过损伤特征点的优化提取，很好地获取了一个大区域的损伤温度重构图像。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
Claims (1)
1.一种基于特征点优化提取的损伤温度重构图像拼接方法，其特征在于，包括以下步骤：
(1)获取子区域损伤温度重构图像
对高压容器的一个大范围检测区域，由红外热像仪拍摄多个含重叠区域的红外视频流；
对每个获得的视频流进行采样得到一个红外图像序列，并将其视为输入的盲源信号，利用独立成分分析法进行信号分离，获得突出各个缺陷信息的损伤温度重构图像；
这样得到该大范围检测区域的各个子区域的损伤温度重构图像；
(2)、特征点检测、描述以及降维
对包含重叠区域的子区域的损伤温度重构图像I1、I2，采用SIFT特征点检测算法进行特征点检测，得到特征点；然后构建特征点的特征描述，得到各个特征点的损伤温度特征向量；再利用PCA算法对检测到的特征点的损伤温度特征向量进行降维，这样得到损伤温度重构图像I1的所有特征点的特征向量xm构成特征向量集合
以及对应特征点在损伤温度重构图像中的坐标位置集合
M为损伤温度重构图像I1检测到的特征点数量，jm、km分别表示I1第m个特征点的横坐标和纵坐标；损伤温度重构图像I2的所有特征点的特征向量yn构成特征向量集合
以及对应特征点在重构图像中的坐标位置集合
N为损伤温度重构图像I2检测到的特征点数量，pn、qn分别表示I2第n个特征点的横坐标和纵坐标；
(3)、粗匹配
对于损伤温度重构图像I1的特征向量集合
的特征向量xm，计算其与损伤温度重构图像I2的特征向量集合
中所有特征向量yn的向量夹角的余弦值dm1,dm2,....,dmN，然后，在余弦值dm1,dm2,....,dmN找到最大值dme与次大值dmo，当：
则认为特征向量xm与特征向量ye相互匹配，为一粗匹配点对，其中，dthreshold为设定的阈值，根据具体情况设定，这样得到粗匹配点对集合
其中，xt′,yt′为第t对粗匹配点对，T为粗匹配点对的个数；
(4)、剔除误匹配点对
4.1)、构建衡量粗匹配点对集合中粗匹配点对相似程度的偏差向量Vt：
其中，xt′(l)和yt′(l)分别为粗匹配集合中第t对粗匹配点对的第l维；
4.2)、采用生成式对抗网络获取径向基函数即RBF神经网络训练数据
4.2.1)、设置生成式对抗网络结构
生成式对抗网络包括生成模型G和判别模型D，其中：
生成模型G基于输入的服从高斯分布的随机噪声向量zu，u＝1,2,...,U，U为随机噪声向量个数，通过依据两幅已知匹配点的损伤温度重构图像I1′、I2′构建的偏差向量Vs′的数据分布生成RBF神经网络训练数据集
其中，s＝1,2,…,S，S为损伤温度重构图像I1′、I2′的匹配点对的个数，
为第r个训练数据，R为生成的训练数据总数，生成模型G设置为3层全连接神经网络，输入层神经元个数g1为100，与随机噪声向量zu维数一致，隐含层神经元个数g2为512，输出层神经元个数g3为64，与偏差向量Vt维数一致，输出层数据为生成模型G生成数据
判别模型D的输入数据为依据两幅已知匹配点的损伤温度重构图像I1′、I2′构建的偏差向量Vs′和生成模型G生成数据
其目的为正确判断输入数据是来自于真实数据偏差向量Vt还是来自生成数据
判别模型D设置为3层全连接神经网络，输入层神经元个数a1为64，与偏差向量Vs′和生成数据
维数一致，隐含层神经元个数a2为512，输出层神经元个数a1为1，输出层数据为判别模型D对输入数据真伪的概率判断，其值在0到1之间；
4.2.2)、训练生成式对抗网络
设置生成模型G最大迭代训练次数iter，初始化生成模型参数GW和判别模型参数DW；
4.2.2.1)、从S个偏差向量Vs′中采样C个样本Vc,c＝1,2,…,C，从U个噪声向量zu中采样C个样本zc,c＝1,2,…,C；
4.2.2.2)、固定生成模型G参数GW，C个样本zc通过生成模型G获取c个生成样本
标识样本Vc为1，标识生成样本
为0，对判别模型D进行训练，以区分真实样本和生成样本：更新判别模型D的参数DW；
4.2.2.3)、固定判别模型D参数DW，C个样本zc通过生成模型G获取c个生成样本
标识样本Vc为1，标识生成样本
为1，对生成模型G进行训练，以减小生成样本与真实样本之间的差距：更新生成模型G的参数GW；
4.2.2.4)、重复步骤4.2.2.1～4.2.2.3)iter次，即对生成模型G训练iter次后，从U个噪声向量zu中采样R个样本zr r＝1,2,…,R，输入生成模型G，生成RBF神经网络训练数据集
4.3)、基于RBF神经网络特征点剔除误匹配对
4.3.1)、设置RBF神经网络
RBF神经网络包括三层：输入层神经元个数h1为64，与偏差向量Vt维数一致，隐层神经元个数h2为72，将输入的偏差向量Vt映射到更高维空间中，输出层神经元个数h3为1，输出层数据为输入粗匹配点对偏差向量Vt匹配正误的概率，其值在0到1之间；
相应参数设置为：输入层到隐含层权值设置为1，初始化隐含层到输出层的权值wi，wi表示隐含层第i个节点到输出层节点的权值，设置粗匹配点对匹配正确阈值γ；
4.3.2)、训练RBF神经网络
将RBF神经网络训练数据集
作为RBF神经网络训练正样本数据集，第r个训练数据
对应分类标记cr＝1；
从步骤(3)中选取R对不符合粗匹配条件的特征点对xr″,yr″，r＝1,2,...,R，计算对应的偏差向量Vr″：
xr″(l)和yr″(l)分别为对不符合粗匹配条件的特征点对xr″,yr″的第l维；
将R个偏差向量Vr″作为RBF神经网络训练负样本数据集，其中，第r个偏差向量Vr″对应分类标记cr″＝0；
每次先提取一个训练数据
以及对应分类标记cr作为RBF神经网络输入层数据及输出层期望值进行RBF神经网络训练，然后再提取一个偏差向量Vr″以及对应分类标记cr″作为RBF神经网络输入层数据及输出层期望值进行RBF神经网络训练，这样进行R次，得到训练完成的RBF神经网络；
4.3.3)、将偏差向量Vt作为输入层数据输入到训练完成的RBF神经网络，若对应输出层输出大于γ，则保留对应粗匹配点对xt′,yt′，否则剔除该粗匹配点对，最终得到优化提取后的粗匹配点对集合
F为优化后的粗匹配点对数量，以及对应的坐标集合
对应的坐标集合
(5)、优化提取损伤特征点集合K，获取最终的仿射变换模型
5.1)、设定循环次数阈值α，设定初始化循环次数i＝1；
5.2)、从粗匹配点对集合
中随机选取出3对粗匹配点对，从坐标集合
获取选中的匹配点对对应的3对坐标集合，计算仿射变换模型HTi的参数，HTi表示第i次循环得到的仿射变换模型，剩余粗匹配点对构成集合用
表示；
5.3)、基于仿射变换模型HTi计算集合
中剩余粗匹配点对中特征向量
和
的P范数
其中，
表示特征向量
与
之间的相似性，
判断P范数
与线性阈值Lti(f)之间的大小，线性阈值Lti(f)定义为：
其中，
为
中的最大值，
为
中的最小值；
如果P范数
大于线性阈值Lti(f)，则舍去粗匹配点对
否则，将粗匹配点对
保存至集合Ki中，更次迭代次数i＝i+1；
5.4)、判断迭代次数i是否大于循环次数阈值α，如果大于，则停止循环计算，比较α个集合Ki,i＝1,2,…α中粗匹配点对数量的大小，选取个数最多的集合Ki作为优化提取后的损伤特征点集合K，并基于损伤特征点集合K获取最终的仿射变换模型；如果小于，则返回步骤5.2)，继续迭代计算；
(6)、图像拼接
根据最终的仿射变换模型确定图像重叠区域，并依据最终的仿射变换模型实现两幅损伤温度重构图像I1、I2的拼接，得到拼接图像；
(7)、更新
将拼接图像作为损伤温度特征重构图像I1，与其有重叠区域的子区域的损伤温度特征重构图像作为损伤温度特征重构图I2，返回步骤(2)，直到所有的损伤温度特征重构图完成拼接，得到压容器红外检测的大范围全景拼接图像，完成压容器缺陷的检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011049033.7A CN112330538B (zh) | 2020-09-29 | 2020-09-29 | 一种基于特征点优化提取的损伤温度重构图像拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011049033.7A CN112330538B (zh) | 2020-09-29 | 2020-09-29 | 一种基于特征点优化提取的损伤温度重构图像拼接方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112330538A CN112330538A (zh) | 2021-02-05 |
| CN112330538B true CN112330538B (zh) | 2022-04-19 |
Family
ID=74313869
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011049033.7A Active CN112330538B (zh) | 2020-09-29 | 2020-09-29 | 一种基于特征点优化提取的损伤温度重构图像拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112330538B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111627007B (zh) * | 2020-05-27 | 2022-06-14 | 电子科技大学 | 一种基于自优化匹配网络图像拼接的航天器缺陷检测方法 |
| CN112986329B (zh) * | 2021-02-07 | 2022-03-25 | 电子科技大学 | 大尺寸非平面试件超高速撞击损伤的红外热成像检测方法 |
| CN112907527B (zh) * | 2021-02-07 | 2022-09-06 | 电子科技大学 | 一种针对大尺寸曲面试件的红外热成像拼接检测方法 |
| CN113674203A (zh) * | 2021-07-14 | 2021-11-19 | 歌尔股份有限公司 | 缺陷检测模型训练方法、装置和缺陷检测方法、装置 |
| CN114136565B (zh) * | 2021-10-22 | 2022-08-09 | 中南大学 | 一种多振源***的故障诊断***及方法 |
| CN113962136B (zh) * | 2021-12-22 | 2022-04-15 | 广东工业大学 | 一种基于有限元的焊接后工件应力重构方法及*** |
| CN115238569B (zh) * | 2022-06-21 | 2023-04-28 | 中国人民解放军61540部队 | 基于信息嵌合深度ffnn模型的温盐重构方法及*** |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109559273A (zh) * | 2018-11-23 | 2019-04-02 | 河北工业大学 | 一种面向车底图像的快速拼接方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107920723B (zh) * | 2015-06-26 | 2020-01-10 | 阿帕玛医疗公司 | 组织映射和可视化*** |
| EP3754449A4 (en) * | 2018-12-26 | 2021-09-29 | Huawei Technologies Co., Ltd. | VEHICLE ORDERING PROCESS, ASSOCIATED DEVICE, AND COMPUTER STORAGE MEDIA |
| CN110443867B (zh) * | 2019-08-01 | 2022-06-10 | 太原科技大学 | 基于生成对抗网络的ct图像超分辨率重构方法 |
| CN111627007B (zh) * | 2020-05-27 | 2022-06-14 | 电子科技大学 | 一种基于自优化匹配网络图像拼接的航天器缺陷检测方法 |
-
2020
- 2020-09-29 CN CN202011049033.7A patent/CN112330538B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109559273A (zh) * | 2018-11-23 | 2019-04-02 | 河北工业大学 | 一种面向车底图像的快速拼接方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112330538A (zh) | 2021-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112330538B (zh) | 一种基于特征点优化提取的损伤温度重构图像拼接方法 | |
| CN111080629B (zh) | 一种图像拼接篡改的检测方法 | |
| CN110689485B (zh) | 一种应用于大型压力容器红外无损检测的sift图像拼接方法 | |
| CN107230203B (zh) | 基于人眼视觉注意机制的铸件缺陷识别方法 | |
| CN105740899B (zh) | 一种机器视觉图像特征点检测与匹配复合的优化方法 | |
| CN112132802B (zh) | 一种基于自学习拼接算法的航天器撞击损伤检测方法 | |
| CN112488211A (zh) | 一种织物图像瑕疵分类方法 | |
| CN112907527B (zh) | 一种针对大尺寸曲面试件的红外热成像拼接检测方法 | |
| CN110633711B (zh) | 训练特征点检测器的计算机装置、方法及特征点检测方法 | |
| CN111242050A (zh) | 一种面向大尺度复杂场景下遥感影像的自动变化检测方法 | |
| CN111553422A (zh) | 手术器械自动识别回收方法及*** | |
| CN111753119A (zh) | 一种图像搜索方法、装置、电子设备及存储介质 | |
| CN112308873A (zh) | 多尺度Gabor小波PCA融合图像边缘检测方法 | |
| CN108681691A (zh) | 一种基于无人水面艇的海上船艇快速检测方法 | |
| CN117351078A (zh) | 基于形状先验的目标尺寸与6d姿态估计方法 | |
| CN112418262A (zh) | 车辆再识别的方法、客户端及*** | |
| CN111291712A (zh) | 基于插值的cn和胶囊网络的森林火灾识别方法及装置 | |
| CN115049842B (zh) | 一种飞机蒙皮图像损伤检测与2d-3d定位方法 | |
| CN113887652B (zh) | 基于形态和多示例学习的遥感图像弱小目标检测方法 | |
| CN113112471B (zh) | 基于ri-hog特征及快速金字塔的目标检测方法 | |
| CN112986329B (zh) | 大尺寸非平面试件超高速撞击损伤的红外热成像检测方法 | |
| CN115511928A (zh) | 多光谱图像的匹配方法 | |
| CN112884057B (zh) | 基于点云数据的三维曲面质量分类方法、***及存储介质 | |
| CN115049833A (zh) | 一种基于局部特征增强和相似性度量的点云部件分割方法 | |
| CN110751189B (zh) | 一种基于感知对比度和特征选择的椭圆检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |