CN110706191B - 一种基于红外图像拼接融合算法的高压容器检测方法 - Google Patents
一种基于红外图像拼接融合算法的高压容器检测方法 Download PDFInfo
- Publication number
- CN110706191B CN110706191B CN201910971151.4A CN201910971151A CN110706191B CN 110706191 B CN110706191 B CN 110706191B CN 201910971151 A CN201910971151 A CN 201910971151A CN 110706191 B CN110706191 B CN 110706191B
- Authority
- CN
- China
- Prior art keywords
- image
- algorithm
- matrix
- pressure container
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 91
- 238000001514 detection method Methods 0.000 title claims abstract description 37
- 230000004927 fusion Effects 0.000 title claims abstract description 35
- 239000013598 vector Substances 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 55
- 230000007547 defect Effects 0.000 claims abstract description 49
- 230000009466 transformation Effects 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 72
- 230000008859 change Effects 0.000 claims description 20
- 238000012360 testing method Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 12
- 239000000203 mixture Substances 0.000 claims description 8
- 238000002156 mixing Methods 0.000 claims description 6
- 238000009659 non-destructive testing Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000006872 improvement Effects 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 238000001931 thermography Methods 0.000 claims description 4
- 238000007476 Maximum Likelihood Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000011065 in-situ storage Methods 0.000 abstract description 2
- 238000011160 research Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 235000015842 Hesperis Nutrition 0.000 description 1
- 235000012633 Iberis amara Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000000746 purification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Radiation Pyrometers (AREA)
- Investigating Or Analyzing Materials Using Thermal Means (AREA)
Abstract
本发明公开了一种基于红外图像拼接融合算法的高压容器检测方法,包括以下步骤:对高压容器表面进行数据采集;对所有列向量进行K‑means结合GMM算法处理,对视频流信号处理获得缺陷重构图像;对两两包括重叠区域的重构缺陷信息图像,采用FAST‑SURF算法进行特征提取并用双向FLANN算法进行粗匹配,采用MSAC算法对匹配点对提纯并估计几何变换模型实现图像配准过程;针对拼接结果产生的缝隙以及亮度和色彩差异,采用基于亮度调整和距离加权的融合方法对拼接结果进行处理;得到对高压容器红外检测的全景拼接图像;本发明针对高压容器体积庞大以及原位检测的需求,提供一种基于红外图像拼接融合算法的高压容器检测方法,综合考虑了图像拼接的速度和精度。
Description
技术领域
本发明属于红外无损检测技术领域,更具体地说,本发明涉及一种基于红外图像拼接融合算法的高压容器检测方法。
背景技术
高压容器广泛应用于航天航空工业中,例如运载火箭、空间站、风洞等设备的构造都离不开高压容器的使用。但由于设备建造时缺乏监督,质量存在隐忧,设备运行一段时间后,会出现不断发现裂纹、腐蚀泄漏的报告,随着时间的推移,这些高压容器运行出现安全问题的几率将不断增加,一旦任务期间出现安全问题,会造成灾难性后果,而各卫星发射基地和高密度试验任务又不能达到国际、国内工业企业那种基本的检验检测条件,国内外的所有先进的研究成果均难以直接运用于这些设备,因此,需要尽快开展这些设备检验检测专项试验研究,以解决在役定期检验检所面临的技术难题,确保检验检测的针对性和检验结果的可靠性,保障其安全运行。
基于无损检测(NDT&E)的红外热成像技术因其高效性,损耗低,安全性高等优势而应用广泛。红外热像仪检测试件拍摄的视频流信息无法很好提取,从而无法很好进行缺陷分类研究以及针对大视野试件全景图像拼接的研究,对视频流信息进行降维重构得到缺陷重构图像非常有实际应用价值。对红外热像仪拍摄到的多个视频流进行多帧采样处理,对每帧图像进行向量化重构出温度矩阵,矩阵的每一列向量即为原视频流对应的一像素点温度变化特征向量,采用聚类方法对所有列向量进行聚类,得到突出缺陷的几类温度变化特征向量。由于各类缺陷的温度变化差异可能不明显,以及一些缺陷边缘点可能会出现51%归属为缺陷类,49%归属为试件表面的情况,这样只采用传统聚类方法硬分类直接得到单纯的分类结果显然不够谨慎,风险过大。由于缺陷的性状复杂性,分布随机性等问题,很难得到大量的样本数据会分类器进行训练,同时缺乏足够的先验知识,因此难以人工标注类别,所以易采用无监督学习方式,先将所有样本自动分为不同的类别,再由测试人员对这些类别进行下一步标注。
同时,由于高压容器体积庞大、形状各异,单幅图像往往无法完全展示检测所需的全部信息,这时就需要应用到图像拼接技术,来得到全面直观的高压容器检测全景图。基于局部不变特征的匹配算法因其具有计算量小、鲁棒性强,对图像偏移、旋转、灰度亮度变化等都有较好的适应力的特点,成为了图像匹配算法研究的主流方向。高压容器表面分布的特征点比较难提取,传统基于特征点的特征检测法如SIFT,SURF计算复杂同时检测的特征点数量不够理想。同时该类算法提取到的特征具有尺度不变、旋转不变的特性,但对光照变化和仿射、透视变换具有部分不变性。所以单纯的采用上述匹配算法得到的图像拼接结果会受到拍摄角度和环境温度等因素的影响,产生明显的亮度差异和拼接缝隙。因此需要对拼接结果进行加权融合处理,得到有实际研究价值的融合结果图像。
发明内容
本发明的一个目的是解决至少上述问题和/或缺陷,并提供至少后面将说明的优点。
为了实现根据本发明的这些目的和其它优点,提供了一种基于红外图像拼接融合算法的高压容器检测方法,包括:
步骤S1、对高压容器表面进行数据采集,获得视频流信号;
步骤S2、对所有列向量进行K-means结合GMM算法处理,对视频流信号处理获得缺陷重构图像;
步骤S3、对两两包括重叠区域的重构缺陷信息图像,采用FAST-SURF 算法进行特征提取并用双向FLANN算法进行粗匹配,接着采用MSAC算法对匹配点对提纯并估计几何变换模型实现图像配准过程;
步骤S4、针对拼接结果产生的缝隙以及亮度和色彩差异,采用基于亮度调整和距离加权的融合方法对拼接结果进行处理;
步骤S5、对融合结果与下一个含重叠区域的缺陷重构图像返回步骤S3,得到对高压容器红外检测的全景拼接图像;
步骤S6、进行仿真实验,对试件进行缺陷检测。
优选的是,其中,所述步骤S2对视频流信号处理获得缺陷重构图像的具体步骤为:
步骤S21、单帧图片向量化获得新矩阵;通过红外热成像无损检测,在压力容器上获得热视频,对得到的每个红外热视频流经采样后的每一帧图像按列取值并排列,进行向量化,再将得到的每一列向量作为新矩阵的行向量进行合并,构建出新的二维矩阵U(n,m),其中n为采样后的图像帧数,m=a×b 为原视频采集窗口的分辨率;U(:,m)代表单幅图像中每个像素点对应的温度变化特征向量;
步骤S22、使用K-means算法进行初始聚类;对所有像素点对应的温度变化特征向量U(:,m)聚集为k类,聚类中心为U(:,j1),U(:,j2),.....,U(:,jK), 1≤j1...jk≤m;具体的操作步骤包括:
步骤(a)、随机从U(:,m)选取k个温度变化特征向量 U(:,j1′),U(:,j2′),.....,U(:,jK′)作为初始均值向量其对应的聚类每一个类型表示为 P1′,P2′,...,Pk′;
步骤(b)、计算U(:,m)与各聚类中心U(:,j1′),U(:,j2′),...,U(:,jl′),...,U(:,jk′)的距离 djl=||U(:,m)-U(:,jl′)||2根据距离最近的均值向量确定U(:,m)的簇标记λlm=argminl∈1,2,...,k||U(:,m)-U(:,jl′)||2,将样本划入相应的簇
步骤(d)、重复进行步骤(b)、(c)直到均值向量不再改变最终获得k类样本数据;
步骤S23、GMM细致迭代,获得分类结果;将原样本集U(:,m)表示为 U(:,m)={x1,x2,...,xm},令随机隐含变量zj∈{1,2,...k}表示样本xj的高斯混合成分,其中i,j(1≤i≤k,1≤j≤m),具体的步骤为:
步骤一、对由K-means方法得到的初始分类结果的每一类,假设符合高斯分布,满足下式的概率密度函数:
利用常规的最大似然函数法可求取每一类的模型参数{(φi,μi,∑i)|1≤i≤k},将得到的模型参数{(φi,μi,∑i)|1≤i≤k}作为高斯混合分布模型的初始值;这里φi是隐含变量z服从的先验分布,即混合系数,μ和∑分别是各个单高斯分布的均值和协方差;
步骤二、从原型聚类的角度来看,高斯混合聚类GMM是采用概率模型,即高斯分布,对原型进行刻画,簇划分由原型对应的后验概率确定,其表示为:
wji=p(zj=i|xj;φ,μ,∑)
wji为隐含变量z属于类别i的后验概率,其可以根据贝叶斯公式计算得到:
步骤三、通过循环迭代,按下式计算并更新模型参数直至满足算法终止条件;计算新混合系数的公式为;
计算新均值向量的公式为:
计算新协方差矩阵的公式为:
步骤四、利用最终得到的模型参数确定高斯混合分布,GMM聚类将样本集D划分为k个簇C={C1,C2,...Ck},每个样本xj的簇标记如下式确定:
步骤S24、选择每一簇中最大wji对应的xj,即后验概率最大值对应的温度特征向量,按列合并构成n×k的线性变化矩阵Q,判断Q的秩rank(Q)是否满秩,即提取到的每一类的温度特征向量是否线性独立,若矩阵Q满秩,即各类特征向量线性独立,则对Q矩阵按每一列向量进行施密特正交化得到Q′;若r=rank(Q)<k,则将矩阵Q按列分块,求取极大线性无关组,将其他的k-r 个列向量逐个在原类中选取概率值次之的向量替换,再判断矩阵Q是否满秩并进行施密特正交化,最终得到m×k维正交独立的线性变化矩阵Q′;用矩阵Q′对二维矩阵U(n,m)进行线性变换,即O=Q′*U(n,m),得到二维图像矩阵O,其中为矩阵Q的k×n维伪逆矩阵;将二维图像矩阵O再按列取值构成原热视频采集窗口a×b大小的二维图像;这k张图片都分别突出了各类缺陷信息,为方便后续图像拼接融合,选择缺陷信息与试件背景像素值差异最大的一张二维图像,记为I。
优选的是,其中,所述步骤S3中采用FAST-SURF算法对缺陷重构进行特征点提取的具体方法包括:
采用FAST算法对图像进行特征点检测;通过选定图像中的任意一个像素点作为候选特征点,并以其为圆心构造一个圆形区域,检测圆周上的像素灰度值并与该候选特征点的灰度值进行比较,设定阈值判断差值的大小以及满足大于等于阈值的差值的点数,来判断是否选定该候选点为特征点;
根据特征点周围的领域信息生成SURF描述子;SURF算法特征点描述首先需要确定每个关键点的主方向,然后沿主方向构造一个窗口领域,在窗口内提取用来描述关键点的特征向量。
优选的是,其中,所述步骤S3中采用双向FLANN匹配算法实现特征点对的粗匹配的具体方法包括:通过FLANN算法找到缺陷重构图像I1的某特征点a在图像I2中具有最小距离的匹配点对(a,a*),但单侧描述两幅图像特征点相似性,容易受噪声,温差等外界因素影响,出现错误匹配和多个点匹配到同一点的情况;采用双向匹配法确保匹配点对的唯一性原则,即两种匹配映射关系{p→q}和{q→p},分别表示缺图像I1到图像I2的匹配集合和图像I2到图像I1的匹配集合,采用双向匹配最后获得的结果就是选取两个集合的交集。
优选的是,其中,所述步骤S3中采用MSAC算法剔除误匹配点对同时估计几何变换矩阵参数的基本 方法为:在RANSAC的基础上,MSAC对代价函数做出改进,表达式如下:
其中表示第i个数据与理论值的差异,作为数据误差权值,C为所求几何变换模型的整体误差,称为代价函数,在迭代过程结束后比较C的值,取最小值作为最佳模型;基本思想如下:随机地选择图像中两个点,就可以确定一条直线,将距离直线的一定拟合距离范围内的点称为这条直线的支撑,随机地进行重复次数的选择,然后将其中包含最多点数量的样本点集合拟合成直线,并将该拟合直线确定为具有最大支撑集的直线,在拟合距离范围内的点被划为内点,反之为外点;
设缺陷重构图像I1和缺陷重构图像I2中存在的一对正确匹配点为X和 X',其所对应的齐次坐标变换为:
X'TTX=0
其中,T为3×3的矩阵,即几何变换矩阵;利用匹配点对的选取更换来不断迭代计算出T矩阵的所有参数,理论上,所有正确匹配点参与求解的T 矩阵才是最精确的变换矩阵,因此MSAC算法的目的就是找出所有的正确匹配点,获得最精确的几何变换矩阵。
优选的是,其中,所述步骤S4中采用基于亮度调整和距离加权的融合方法对拼接结果进行处理的具体方法包括:首先根据图像重叠区域,利用重叠区域内像素值的参数来调整待拼接图像的亮度,具体方法如下:
对参考图像X中的每个像素点的RGB三通道进行加权求和,求得总的亮度值:
上式中,V1是总的亮度值,XiR XiG XiB为各个通道的像素值,ω1,ω2,ω3是和为1的权重系数;同理对待配准图像同样处理求得V2,将待配准图像乘以V1/V2的比值达到调整亮度的目的;
基于距离的加权融合算法基本思路是根据重叠区域里的特征点到左右边界的距离,分别记为d1和d2,则合并后的像素值表示为:
上式中,I1(x,y)和I2(x,y)分别为重叠区域中两图像特征点对应的像素值, I(x,y)即为最后经过加权得到的新的像素点像素值。
优选的是,其中,所述步骤S5中对图像的拼接融合结构与下一个含重叠区域的缺陷重构图像返回至步骤S3,直至最终得到对高压容器红外检测的全景拼接图像。
优选的是,其中,所述步骤S1中使用红外热成像仪对高压容器表面进行数据采集,并且保证采集的两相邻局部区域包含30%左右的重叠区域。
本发明至少包括以下有益效果:本发明针对高压容器体积庞大以及原位检测的需求,提供一种基于红外图像拼接融合算法的高压容器检测方法。本发明综合考虑图像拼接的速度和精度,首先由于FAST算法在检测特征点方面具有快速和稳定的特性,用它来进行角点的检测,克服传统的SURF检测法提取特征点少,计算量大的问题,同时保留SURF特征描述子的生成部分,保证了匹配过程的抗噪能力和对仿射变换、温差的鲁棒性。同时选择双向FLANN匹配法保证匹配结果的精度。相比于传统RANSAC算法,采用考虑匹配内点权重的MSAC算法来提纯匹配点对的同时并估计出更为精准的几何变换矩阵。
本发明的其它优点、目标和特征将部分通过下面的说明体现,部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明:
图1为本发明基于红外图像拼接融合算法的高压容器检测方法流程图;
图2为FAST-SURF算法分别在两缺陷重构图像中进行特征提取结果图;
图3是双向FLANN算法特征匹配结果图;
图4是MSAC算法进行剔除误匹配点对的结果图;
图5是未采用融合算法的直接拼接结果图;
图6是最终融合结果图。
具体实施方式:
下面结合附图对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
应当理解,本文所使用的诸如“具有”、“包含”以及“包括”术语并不配出一个或多个其它元件或其组合的存在或添加。
如图1所示:本发明基于红外图像拼接融合算法的高压容器检测方法流程图所示,包括以下步骤:
步骤S1、对高压容器表面进行数据采集,获得视频流信号;
步骤S2、对所有列向量进行K-means结合GMM算法处理,对视频流信号处理获得缺陷重构图像;
步骤S3、对两两包括重叠区域的重构缺陷信息图像,采用FAST-SURF 算法进行特征提取并用双向FLANN算法进行粗匹配,接着采用MSAC算法对匹配点对提纯并估计几何变换模型实现图像配准过程;
步骤S4、针对拼接结果产生的缝隙以及亮度和色彩差异,采用基于亮度调整和距离加权的融合方法对拼接结果进行处理;
步骤S5、对融合结果与下一个含重叠区域的缺陷重构图像返回步骤S3,得到对高压容器红外检测的全景拼接图像;
步骤S6、进行仿真实验,对试件进行缺陷检测。
在上述技术方案中,所述步骤S2对视频流信号处理获得缺陷重构图像的具体步骤为:
步骤S21、单帧图片向量化获得新矩阵;通过红外热成像无损检测,在压力容器上获得热视频,对得到的每个红外热视频流经采样后的每一帧图像按列取值并排列,进行向量化,再将得到的每一列向量作为新矩阵的行向量进行合并,构建出新的二维矩阵U(n,m),其中n为采样后的图像帧数,m=a×b 为原视频采集窗口的分辨率;U(:,m)代表单幅图像中每个像素点对应的温度变化特征向量;
步骤S22、使用K-means算法进行初始聚类;对所有像素点对应的温度变化特征向量U(:,m)聚集为k类,聚类中心为U(:,j1),U(:,j2),.....,U(:,jK),1≤j1...jk≤m;具体的操作步骤包括:
步骤(a)、随机从U(:,m)选取k个温度变化特征向量 U(:,j1′),U(:,j2′),.....,U(:,jK′)作为初始均值向量其对应的聚类每一个类型表示为 P1′,P2′,...,Pk′;
步骤(b)、计算U(:,m)与各聚类中心U(:,j1′),U(:,j2′),...,U(:,jl′),...,U(:,jk′)的距离 djl=||U(:,m)-U(:,jl′)||2根据距离最近的均值向量确定U(:,m)的簇标记λlm=argminl∈1,2,...,k||U(:,m)-U(:,jl′)||2,将样本划入相应的簇
步骤(d)、重复进行步骤(b)、步骤(c)直到均值向量不再改变最终获得k类样本数据;
步骤S23、GMM细致迭代,获得分类结果;将原样本集U(:,m)表示为 U(:,m)={x1,x2,...,xm},令随机隐含变量zj∈{1,2,...k}表示样本xj的高斯混合成分,其中i,j(1≤i≤k,1≤j≤m),具体的步骤为:
步骤一、对由K-means方法得到的初始分类结果的每一类,假设符合高斯分布,满足下式的概率密度函数:
利用常规的最大似然函数法可求取每一类的模型参数{(φi,μi,∑i)|1≤i≤k},将得到的模型参数{(φi,μi,∑i)|1≤i≤k}作为高斯混合分布模型的初始值;这里φi是隐含变量z服从的先验分布,即混合系数,μ和∑分别是各个单高斯分布的均值和协方差;
步骤二、从原型聚类的角度来看,高斯混合聚类GMM是采用概率模型,即高斯分布,对原型进行刻画,簇划分由原型对应的后验概率确定,其表示为:
wji=p(zj=i|xj;φ,μ,∑)
wji为隐含变量z属于类别i的后验概率,其可以根据贝叶斯公式计算得到:
步骤三、通过循环迭代,按下式计算并更新模型参数直至满足算法终止条件;计算新混合系数的公式为;
计算新均值向量的公式为:
计算新协方差矩阵的公式为:
步骤四、利用最终得到的模型参数确定高斯混合分布,GMM聚类将样本集D划分为k个簇C={C1,C2,...Ck},每个样本xj的簇标记如下式确定:
步骤S24、选择每一簇中最大wji对应的xj,即后验概率最大值对应的温度特征向量,按列合并构成n×k的线性变化矩阵Q,判断Q的秩rank(Q)是否满秩,即提取到的每一类的温度特征向量是否线性独立,若矩阵Q满秩,即各类特征向量线性独立,则对Q矩阵按每一列向量进行施密特正交化得到Q′;若r=rank(Q)<k,则将矩阵Q按列分块,求取极大线性无关组,将其他的k-r 个列向量逐个在原类中选取概率值次之的向量替换,再判断矩阵Q是否满秩并进行施密特正交化,最终得到m×k维正交独立的线性变化矩阵Q′;用矩阵Q′对二维矩阵U(n,m)进行线性变换,即O=Q′*U(n,m),得到二维图像矩阵O,其中为矩阵Q的k×n维伪逆矩阵;将二维图像矩阵O再按列取值构成原热视频采集窗口a×b大小的二维图像;这k张图片都分别突出了各类缺陷信息,为方便后续图像拼接融合,选择缺陷信息与试件背景像素值差异最大的一张二维图像,记为I。
在上述技术方案中,所述步骤S3中采用FAST-SURF算法对缺陷重构进行特征点提取的具体方法包括:
FAST-SURF算法主要分为特征点检测和特征点描述两个部分;本发明采用基于FAST的特征检测取代传统SURF特征检测过程,提高了特征提取数量和速度,FAST特征检测法利用特征点周围的图像灰度值来判断,非常简单又快速;采用FAST算法对图像进行特征点检测;通过选定图像中的任意一个像素点作为候选特征点,并以其为圆心构造一个圆形区域,检测圆周上的像素灰度值并与该候选特征点的灰度值进行比较,设定阈值判断差值的大小以及满足大于等于阈值的差值的点数,来判断是否选定该候选点为特征点;
根据特征点周围的领域信息生成SURF描述子;SURF算法特征点描述首先需要确定每个关键点的主方向,然后沿主方向构造一个窗口领域,在窗口内提取用来描述关键点的特征向量。
在上述技术方案中,所述步骤S3中采用双向FLANN匹配算法实现特征点对的粗匹配的具体方法包括:通过FLANN算法找到缺陷重构图像I1的某特征点a在图像I2中具有最小距离的匹配点对(a,a*),但单侧描述两幅图像特征点相似性,容易受噪声,温差等外界因素影响,出现错误匹配和多个点匹配到同一点的情况;采用双向匹配法确保匹配点对的唯一性原则,即两种匹配映射关系{p→q}和{q→p},分别表示缺图像I1到图像I2的匹配集合和图像I2到图像I1的匹配集合,采用双向匹配最后获得的结果就是选取两个集合的交集;双向FLANN匹配法获得的匹配点对数减少且精确,这在提高匹配速度和匹配精度方面起着重要的作用;同时由于FLANN算法本身计算速度快,双向匹配法通过牺牲少量的计算时间来提高匹配的正确率以及后续算法的速度。
在上述技术方案中,所述步骤S3中采用MSAC算法剔除误匹配点对同时估计几何变换矩阵参数的基本 方法为:在RANSAC的基础上,MSAC对代价函数做出改进,表达式如下:
其中表示第i个数据与理论值的差异,作为数据误差权值,C为所求几何变换模型的整体误差,称为代价函数,在迭代过程结束后比较C的值,取最小值作为最佳模型;相比于RANSAC二者运算量完全一致,但MSAC 考虑了内点的权重,所以准确度有所增加,收敛速度更快;基本思想如下:随机地选择图像中两个点,就可以确定一条直线,将距离直线的一定拟合距离范围内的点称为这条直线的支撑,随机地进行重复次数的选择,然后将其中包含最多点数量的样本点集合拟合成直线,并将该拟合直线确定为具有最大支撑集的直线,在拟合距离范围内的点被划为内点,反之为外点;
设缺陷重构图像I1和缺陷重构图像I2中存在的一对正确匹配点为X和 X',其所对应的齐次坐标变换为:
X'TTX=0
其中,T为3×3的矩阵,即几何变换矩阵;利用匹配点对的选取更换来不断迭代计算出T矩阵的所有参数,理论上,所有正确匹配点参与求解的T 矩阵才是最精确的变换矩阵,因此MSAC算法的目的就是找出所有的正确匹配点,获得最精确的几何变换矩阵;MSAC(M-estimator Sample Consensus)算法是一种去外点搜索内点的方法,它利用特征点集的内在约束去除错误的匹配点对。对比更为基础的RANSAC算法,MSAC利用M估计对数据赋予权值,而不是简单的对内点赋零值,而忽略内点对模型估计的影响,这样所求模型的准确度进一步增加。
在上述技术方案中,所述步骤S4中采用基于亮度调整和距离加权的融合方法对拼接结果进行处理的具体方法包括:首先根据图像重叠区域,利用重叠区域内像素值的参数来调整待拼接图像的亮度,图像融合结果期望获得的图像重叠区域能够平滑过渡并且融合后图像没有明显的接缝。为了有效减弱或消除拼接缝和亮度色差等现象,本发明先对亮度调整之后,再采用基于距离的加权平均融合算法实现基本无亮度差异以及明显拼接缝的融合结果,其具体方法如下:
对参考图像X中的每个像素点的RGB三通道进行加权求和,求得总的亮度值:
上式中,V1是总的亮度值,XiR XiG XiB为各个通道的像素值,ω1,ω2,ω3是和为1的权重系数;同理对待配准图像同样处理求得V2,将待配准图像乘以V1/V2的比值达到调整亮度的目的;
基于距离的加权融合算法基本思路是根据重叠区域里的特征点到左右边界的距离,分别记为d1和d2,则合并后的像素值表示为:
上式中,I1(x,y)和I2(x,y)分别为重叠区域中两图像特征点对应的像素值, I(x,y)即为最后经过加权得到的新的像素点像素值。
在上述技术方案中,所述步骤S5中对图像的拼接融合结构与下一个含重叠区域的缺陷重构图像返回至步骤S3,直至最终得到对高压容器红外检测的全景拼接图像。
在上述技术方案中,所述步骤S1中使用红外热成像仪对高压容器表面进行数据采集,并且保证采集的两相邻局部区域包含30%左右的重叠区域。
为了说明本发明的可行性和正确性,仿真实验采用的是航天材料复合金属板样本,由本发明基于红外图像拼接融合算法的高压容器检测方法对九孔试件进行缺陷检测。
红外采集样本为362帧512×640的图像数据,对同一九孔试件进行两次红外采集数据后并用K-means和GMM算法处理,为检验本发明图像拼接融合算法性能和可行性,在matlab环境下实现了本文的算法,通过对两幅含重叠区域和由温差导致的色彩亮度差异的缺陷重构图像进行匹配实验,以此来检验算法的性能。
图2为采用本发明选用的FAST-SURF算法分别在两缺陷重构图像中进行特征提取结果图,分别提取到了1179个特征点和1063个特征点,这里为了便于观察,只显示了检测特征效果最明显的50个特征点效果图。在得到数量可观的特征点后,采用本发明方法进行粗匹配和对匹配点对提纯的过程,得到的结果分别如图3和图4所示。采用粗匹配法即双向FLANN算法得到245 对匹配点对,再用MSAC算法剔除误匹配得到162对匹配点对,使得匹配正确率得到了提高,同时提高了算法的稳定性,且保证了算法的实时性。剔除误匹配点对后获得的匹配点对数减少了33%,且提供了数量可观的内点数量以保证估计的变换矩阵参数的精确度,这对后续拼接以及图像融合算法中速度的提升以及最终的效果起着重要的作用。
这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。
Claims (8)
1.一种基于红外图像拼接融合算法的高压容器检测方法,其特征在于,包括以下步骤:
步骤S1、对高压容器表面进行数据采集,获得视频流;
步骤S2、对红外热像仪拍摄到的多个视频流经采样后的每一帧图像按列取值并排列,进行向量化,再将得到的每一列向量作为新矩阵的行向量进行合并,构建出温度矩阵,则温度矩阵的每一列向量即为原视频流对应像素点的温度变化特征向量;对温度矩阵的所有列向量进行K-means结合GMM算法处理,处理获得缺陷重构图像;
步骤S3、对两两包括重叠区域的重构缺陷信息图像,采用FAST-SURF算法进行特征提取并用双向FLANN算法进行粗匹配,接着采用MSAC算法对匹配点对提纯并估计几何变换模型实现图像配准过程;
步骤S4、针对拼接结果产生的缝隙以及亮度和色彩差异,采用基于亮度调整和距离加权的融合方法对拼接结果进行处理;
步骤S5、对融合结果与下一个含重叠区域的缺陷重构图像返回步骤S3,得到对高压容器红外检测的全景拼接图像;
步骤S6、进行仿真实验,对试件进行缺陷检测。
2.如权利要求1所述的基于红外图像拼接融合算法的高压容器检测方法,其特征在于,所述步骤S2对视频流信号处理获得缺陷重构图像的具体步骤为:
步骤S21、单帧图片向量化获得新矩阵;通过红外热成像无损检测,在压力容器上获得热视频,对得到的每个红外热视频流经采样后的每一帧图像按列取值并排列,进行向量化,再将得到的每一列向量作为新矩阵的行向量进行合并,构建出新的二维矩阵U(n,m),其中n为采样后的图像帧数,m=a×b为原视频采集窗口的分辨率;U(:,m)代表单幅图像中每个像素点对应的温度变化特征向量;
步骤S22、使用K-means算法进行初始聚类;对所有像素点对应的温度变化特征向量U(:,m)聚集为k类,聚类中心为U(:,j1),U(:,j2),.....,U(:,jK),1≤j1...jk≤m;具体的操作步骤包括:
步骤(a)、随机从U(:,m)选取k个温度变化特征向量U(:,j1′),U(:,j2′),.....,U(:,jK′)作为初始均值向量,其对应的聚类每一个类型表示为P1′,P2′,...,Pk′;
步骤(b)、计算U(:,m)与各聚类中心U(:,j1′),U(:,j2′),...,U(:,jl′),...,U(:,jk′)的距离djl=||U(:,m)-U(:,jl′)||2根据距离最近的均值向量确定U(:,m)的簇标记λlm=argminl∈1,2,...,k||U(:,m)-U(:,jl′)||2,将样本划入相应的簇
步骤(d)、重复进行步骤(b)、步骤(c)直到均值向量不再改变最终获得k类样本数据;
步骤S23、GMM细致迭代,获得分类结果;将原样本集U(:,m)表示为U(:,m)={x1,x2,...,xm},令随机隐含变量zj∈{1,2,...k}表示样本xj的高斯混合成分,其中i,j,1≤i≤k,1≤j≤m,具体的步骤为:
步骤一、对由K-means方法得到的初始分类结果的每一类,假设符合高斯分布,满足下式的概率密度函数:
利用常规的最大似然函数法求取每一类的模型参数{(φi,μi,∑i)|1≤i≤k},将得到的模型参数{(φi,μi,∑i)|1≤i≤k}作为高斯混合分布模型的初始值;这里φi是隐含变量z服从的先验分布,即混合系数,μ和∑分别是各个单高斯分布的均值和协方差;
步骤二、从原型聚类的角度来看,高斯混合聚类GMM是采用概率模型,即高斯分布,对原型进行刻画,簇划分由原型对应的后验概率确定,其表示为:
wji=p(zj=i|xj;φ,μ,∑)
wji为隐含变量z属于类别i的后验概率,其根据贝叶斯公式计算得到:
步骤三、通过循环迭代,按下式计算并更新模型参数直至满足算法终止条件;计算新混合系数的公式为;
计算新均值向量的公式为:
计算新协方差矩阵的公式为:
步骤四、利用最终得到的模型参数确定高斯混合分布,GMM聚类将样本集D划分为k个簇C={C1,C2,...Ck},每个样本xj的簇标记如下式确定:
步骤S24、选择每一簇中最大wji对应的xj,即后验概率最大值对应的温度特征向量,按列合并构成n×k的线性变化矩阵Q,判断Q的秩rank(Q)是否满秩,即提取到的每一类的温度特征向量是否线性独立,若矩阵Q满秩,即各类特征向量线性独立,则对Q矩阵按每一列向量进行施密特正交化得到Q′;若r=rank(Q)<k,则将矩阵Q按列分块,求取极大线性无关组,将其他的k-r个列向量逐个在原类中选取概率值次之的向量替换,再判断矩阵Q是否满秩并进行施密特正交化,最终得到m×k维正交独立的线性变化矩阵Q′;用矩阵Q′对二维矩阵U(n,m)进行线性变换,即O=Q′*U(n,m),得到二维图像矩阵O;将二维图像矩阵O再按列取值构成原热视频采集窗口a×b大小的二维图像;这k张图片都分别突出了各类缺陷信息,为方便后续图像拼接融合,选择缺陷信息与试件背景像素值差异最大的一张二维图像,记为I。
3.如权利要求1所述的基于红外图像拼接融合算法的高压容器检测方法,其特征在于,所述步骤S3中采用FAST-SURF算法对缺陷重构进行特征点提取的具体方法包括:
采用FAST算法对图像进行特征点检测;通过选定图像中的任意一个像素点作为候选特征点,并以其为圆心构造一个圆形区域,检测圆周上的像素灰度值并与该候选特征点的灰度值进行比较,设定阈值判断差值的大小以及满足大于等于阈值的差值的点数,来判断是否选定该候选点为特征点;
根据特征点周围的领域信息生成SURF描述子;SURF算法特征点描述首先需要确定每个关键点的主方向,然后沿主方向构造一个窗口领域,在窗口内提取用来描述关键点的特征向量。
4.如权利要求1所述的基于红外图像拼接融合算法的高压容器检测方法,其特征在于,所述步骤S3中采用双向FLANN匹配算法实现特征点对的粗匹配的具体方法包括:通过FLANN算法找到缺陷重构图像I1的某特征点a在图像I2中具有最小距离的匹配点对(a,a*);采用双向匹配法确保匹配点对的唯一性原则,即两种匹配映射关系{p→q}和{q→p},分别表示缺图像I1到图像I2的匹配集合和图像I2到图像I1的匹配集合,采用双向匹配最后获得的结果就是选取两个集合的交集。
6.如权利要求1所述的基于红外图像拼接融合算法的高压容器检测方法,其特征在于,所述步骤S4中采用基于亮度调整和距离加权的融合方法对拼接结果进行处理的具体方法包括:首先根据图像重叠区域,利用重叠区域内像素值的参数来调整待拼接图像的亮度,具体方法如下:
对参考图像X中的每个像素点的RGB三通道进行加权求和,求得总的亮度值:
上式中,V1是总的亮度值,XiR XiG XiB为各个通道的像素值,ω1,ω2,ω3是和为1的权重系数;同理对待配准图像同样处理求得V2,将待配准图像乘以V1/V2的比值达到调整亮度的目的;
基于距离的加权融合算法基本思路是根据重叠区域里的特征点到左右边界的距离,分别记为d1和d2,则合并后的像素值表示为:
上式中,I1(x,y)和I2(x,y)分别为重叠区域中两图像特征点对应的像素值,I(x,y)即为最后经过加权得到的新的像素点像素值。
7.如权利要求1所述的基于红外图像拼接融合算法的高压容器检测方法,其特征在于,所述步骤S5中对图像的拼接融合结构与下一个含重叠区域的缺陷重构图像返回至步骤S3,直至最终得到对高压容器红外检测的全景拼接图像。
8.如权利要求1所述的基于红外图像拼接融合算法的高压容器检测方法,其特征在于,所述步骤S1中使用红外热成像仪对高压容器表面进行数据采集,并且保证采集的两相邻局部区域包含30%左右的重叠区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910971151.4A CN110706191B (zh) | 2019-10-14 | 2019-10-14 | 一种基于红外图像拼接融合算法的高压容器检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910971151.4A CN110706191B (zh) | 2019-10-14 | 2019-10-14 | 一种基于红外图像拼接融合算法的高压容器检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110706191A CN110706191A (zh) | 2020-01-17 |
CN110706191B true CN110706191B (zh) | 2022-09-20 |
Family
ID=69198737
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910971151.4A Active CN110706191B (zh) | 2019-10-14 | 2019-10-14 | 一种基于红外图像拼接融合算法的高压容器检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110706191B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111598887B (zh) * | 2020-05-25 | 2023-04-07 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种基于lvq-gmm算法和多目标优化分割算法的航天器缺陷检测方法 |
CN111627007B (zh) * | 2020-05-27 | 2022-06-14 | 电子科技大学 | 一种基于自优化匹配网络图像拼接的航天器缺陷检测方法 |
CN112132802B (zh) * | 2020-05-27 | 2022-06-14 | 电子科技大学 | 一种基于自学习拼接算法的航天器撞击损伤检测方法 |
CN112465881B (zh) * | 2020-11-11 | 2024-06-04 | 常州码库数据科技有限公司 | 一种改进的鲁棒性点配准方法及*** |
CN114136975A (zh) * | 2021-11-04 | 2022-03-04 | 上海精密计量测试研究所 | 一种微波裸芯片表面缺陷智能检测***和方法 |
CN114058778B (zh) * | 2021-11-18 | 2022-09-20 | 中国安全生产科学研究院 | 一种炼钢设备温度采集安全监控*** |
CN115345876B (zh) * | 2022-10-17 | 2023-04-07 | 中国空气动力研究与发展中心设备设计与测试技术研究所 | 一种基于超声图像的螺栓螺纹缺陷检测方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106657789A (zh) * | 2016-12-29 | 2017-05-10 | 核动力运行研究所 | 一种螺纹全景图像合成方法 |
CN107093166A (zh) * | 2017-04-01 | 2017-08-25 | 华东师范大学 | 低重合率显微图像的无缝拼接方法 |
CN108093221A (zh) * | 2017-12-27 | 2018-05-29 | 南京大学 | 一种基于缝合线的实时视频拼接方法 |
CN109242968A (zh) * | 2018-08-24 | 2019-01-18 | 电子科技大学 | 一种基于多属性超体素图割的河道三维建模方法 |
CN109360145A (zh) * | 2018-10-30 | 2019-02-19 | 电子科技大学 | 一种基于涡流脉冲红外热图像拼接方法 |
CN110032983A (zh) * | 2019-04-22 | 2019-07-19 | 扬州哈工科创机器人研究院有限公司 | 一种基于orb特征提取和flann快速匹配的轨迹识别方法 |
CN110222740A (zh) * | 2019-05-23 | 2019-09-10 | 电子科技大学 | 一种基于加性模糊的红外技术缺陷重构与特征提取方法 |
CN110246168A (zh) * | 2019-06-19 | 2019-09-17 | 中国矿业大学 | 一种移动巡检机器人双目图像拼接的特征匹配方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106991645B (zh) * | 2017-03-22 | 2018-09-28 | 腾讯科技(深圳)有限公司 | 图像拼接方法及装置 |
-
2019
- 2019-10-14 CN CN201910971151.4A patent/CN110706191B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106657789A (zh) * | 2016-12-29 | 2017-05-10 | 核动力运行研究所 | 一种螺纹全景图像合成方法 |
CN107093166A (zh) * | 2017-04-01 | 2017-08-25 | 华东师范大学 | 低重合率显微图像的无缝拼接方法 |
CN108093221A (zh) * | 2017-12-27 | 2018-05-29 | 南京大学 | 一种基于缝合线的实时视频拼接方法 |
CN109242968A (zh) * | 2018-08-24 | 2019-01-18 | 电子科技大学 | 一种基于多属性超体素图割的河道三维建模方法 |
CN109360145A (zh) * | 2018-10-30 | 2019-02-19 | 电子科技大学 | 一种基于涡流脉冲红外热图像拼接方法 |
CN110032983A (zh) * | 2019-04-22 | 2019-07-19 | 扬州哈工科创机器人研究院有限公司 | 一种基于orb特征提取和flann快速匹配的轨迹识别方法 |
CN110222740A (zh) * | 2019-05-23 | 2019-09-10 | 电子科技大学 | 一种基于加性模糊的红外技术缺陷重构与特征提取方法 |
CN110246168A (zh) * | 2019-06-19 | 2019-09-17 | 中国矿业大学 | 一种移动巡检机器人双目图像拼接的特征匹配方法 |
Non-Patent Citations (3)
Title |
---|
《Adaptive rapid defect identification in ECPT based on K-means and automatic segmentation algorithm》;Xuegang Huang,Chun Yin,Sara Dadras,Yuhua Cheng,Libin bai;《Journal of Ambient Intelligence and Humanized Computing》;20180111;全文 * |
《Rapid multimodality registration based on mm-surf》;Dong Zhao,Yan Yang,Zhihang Ji,Xiaopeng hu;《Neurocomputing》;20140505;全文 * |
《图像拼接算法研究》;刘冬梅;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20090115;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110706191A (zh) | 2020-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110706191B (zh) | 一种基于红外图像拼接融合算法的高压容器检测方法 | |
Niu et al. | Unsupervised saliency detection of rail surface defects using stereoscopic images | |
CN111862126B (zh) | 深度学习与几何算法结合的非合作目标相对位姿估计方法 | |
CN107832672B (zh) | 一种利用姿态信息设计多损失函数的行人重识别方法 | |
CN111311666B (zh) | 一种融合边缘特征和深度学习的单目视觉里程计方法 | |
CN108573222B (zh) | 基于循环对抗生成网络的行人图像遮挡检测方法 | |
Kim et al. | GAN-based synthetic data augmentation for infrared small target detection | |
CN110298865B (zh) | 基于阈值分离聚类器的天基星空背景弱小点目标跟踪方法 | |
CN108171249B (zh) | 一种基于rgbd数据的局部描述子学习方法 | |
Zhang et al. | AIDEDNet: Anti-interference and detail enhancement dehazing network for real-world scenes | |
CN109308715A (zh) | 一种基于点特征和线特征结合的光学图像配准方法 | |
Liu et al. | Rotation-invariant siamese network for low-altitude remote-sensing image registration | |
Fanani et al. | Multimodal scale estimation for monocular visual odometry | |
Wang et al. | Adversarial learning for joint optimization of depth and ego-motion | |
Chalom et al. | Measuring image similarity: an overview of some useful applications | |
Zhou et al. | Pad: A dataset and benchmark for pose-agnostic anomaly detection | |
CN110766782A (zh) | 基于多无人机视觉协同的大型施工场景实时重构方法 | |
CN117036404A (zh) | 一种单目热成像同时定位与建图方法和*** | |
Guo et al. | An anchor-free network with density map and attention mechanism for multiscale object detection in aerial images | |
CN114663880A (zh) | 基于多层级跨模态自注意力机制的三维目标检测方法 | |
Zhang et al. | A visual-inertial dynamic object tracking SLAM tightly coupled system | |
CN113011359B (zh) | 一种基于图像的同时检测平面结构和生成平面描述的方法及应用 | |
CN108921872B (zh) | 一种适用于长程跟踪的鲁棒性视觉目标跟踪方法 | |
Miao et al. | Ds-depth: Dynamic and static depth estimation via a fusion cost volume | |
Xiao et al. | Monocular ORB SLAM based on initialization by marker pose estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |