CN111833384A - 一种可见光和红外图像快速配准方法及装置 - Google Patents
一种可见光和红外图像快速配准方法及装置 Download PDFInfo
- Publication number
- CN111833384A CN111833384A CN202010474030.1A CN202010474030A CN111833384A CN 111833384 A CN111833384 A CN 111833384A CN 202010474030 A CN202010474030 A CN 202010474030A CN 111833384 A CN111833384 A CN 111833384A
- Authority
- CN
- China
- Prior art keywords
- image
- visible light
- infrared
- edge
- traversal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013519 translation Methods 0.000 claims abstract description 88
- 230000009466 transformation Effects 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 12
- 230000004927 fusion Effects 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种可见光和红外图像快速配准方法及装置，方法包括：输入可见光图像和红外图像，分别进行灰度化，获取两幅图像的灰度图，分别提取两张灰度图的边缘信息；对红外图像边缘图进行第一阶段的平移遍历，每次平移后计算当前状态下红外图像边缘图与可见光图像边缘图的吻合度，直至第一阶段的平移遍历结束，记录吻合度达到最大时的偏移量；以第一阶段平移遍历得到的位置偏移量为基准，在其周围的预设范围内进行第二阶段的的平移遍历，找到此范围内红外图像边缘图和可见光图像边缘图吻合度最大时的偏移量，利用第二阶段的的平移遍历得到的偏移量，对红外图像进行平移变换，将其与可见光图像对齐，完成图像配准。
Description
技术领域
本发明涉及图像处理应用中的图像配准领域，具体涉及一种可见光和红外图像快速配准方法及装置。
背景技术
图像融合是一种将多源信道所采集到的关于同一目标的图像数据经过图像处理，提取各自信道中的有利信息，最后综合成高质量图像的技术。近年来无人机技术发展迅速，机载的光电成像***可以提供获取航拍图像的功能，在空中侦察、交通监控、野外搜救等领域都有着广泛的应用，机载光电平台上通常使用可见光摄像机和红外热成像仪获取图像，。与可见光图像相比，红外图像反映的是目标及背景向外辐射能量的差异，在夜间及雾霾天气下拥有明显优势。与此同时，红外图像也有像素分辨率低、对比度差、边缘模糊等缺陷。将可见光图像与红外图像进行融合，可结合两种图像各自的优势，令无人机的拍摄图像在拥有更高图像质量的同时拥有更好的环境适应性。
在无人机成像平台获取目标图像时，受机身设计、相机安装、大气折射等因素的影响，同一场景采集到的可见光图像和红外图像会存在空间上的略微差异，具体表现在图像上某些目标的位置、方向等不一致，这会对图像融合的效果产生不良影响，因此在融合之前必须对可见光图像和红外图像进行高精度的配准。
图像配准是指寻找源图像之间的映射关系，估计图像之间的相对运动参数，使得在同一场景获取的待配准图像在真实空间像素位置上达到对应点位置完全一致。现有技术中最常见的配准方式是基于特征匹配的图像配准，具体的，对红外图像和可见光图像进行特征点检测和匹配，通过找到最匹配的特征点对来确立两种图像的变换矩阵，实现两种图像的配准，然后进行后续对应像素点的融合。为保证匹配效果，现有特征匹配算法如SIFT、SURF的流程较为复杂，一般首先要进行特征点提取和描述子计算，接下来利用描述子的关系来进行两张图像之间特征点的匹配，得到匹配结果后还需要利用一定的准则进行优秀匹配的筛选和优化。这一配准过程存在两个明显的缺陷，一是整个流程步骤较多，复杂度较高，传统特征匹配算法的描述子计算和特征点匹配十分耗时，不利于无人机机载嵌入式设备实现实时处理；二是适用性不够广泛，特征匹配算法在物体边缘清晰、特征比较明显的场景效果很好，但是在一些特殊场景下异源图像对应同名点邻域内的灰度梯度方向可能为反向，特征点匹配的准确率较低，使配准和融合的效果大打折扣。
针对实时性要求较高的机载成像平台，另一种简单高效的配准思路是在一定的空间偏移范围内比较可见光图像边缘和红外图像边缘的相似度，搜索得到最大相似度时的偏移量作为配准的结果，但为了得到像素级精度的偏移量，需要在横纵两个方向上进行搜索，大量搜索次数会增加算法的时间成本，无法满足平台实时性的要求，在保障融合效果的同时提升配准的运算速度，是无人机领域中图像配准和融合算法的一个研究方向。
发明内容
鉴于现有技术中存在的技术缺陷和技术弊端，本发明实施例提供克服上述问题或者至少部分地解决上述问题的一种可见光和红外图像快速配准方法及装置，基于两阶段搜索的可见光和红外图像快速自动配准加速算法，旨在解决可见光和红外图像配准速度慢的问题，具体方案如下：
作为本发明的第一方面，提供一种可见光和红外图像快速配准方法，所述方法包括：
步骤1，输入可见光图像和红外图像，将可见光图像和红外图像分别进行灰度化，分别获取可见光图像和红外图像的灰度图，分别提取两张灰度图的边缘信息，获取两张灰度图的边缘图，分别为可见光图像边缘图和红外图像边缘图；
步骤2，对红外图像边缘图进行第一阶段的平移遍历，每次平移后计算当前状态下红外图像边缘图与可见光图像边缘图的吻合度，直至第一阶段的平移遍历结束，记录吻合度达到最大时的位置偏移量(x1，y1)；
步骤3，以第一阶段平移遍历得到的位置偏移量为基准，在其周围的预设范围内进行第二阶段的的平移遍历，找到此范围内红外图像边缘图和可见光图像边缘图吻合度最大时的偏移量。如同第一阶段的平移遍历，第二阶段的平移遍历同样是在每次平移后计算当前状态下红外图像边缘图与可见光图像边缘图的吻合度，得到预设范围内红外图像边缘图和可见光图像边缘图吻合度最大时的偏移量作为最终的配准结果。
步骤4，利用步骤3得到的偏移量，对红外图像进行平移变换，将其与可见光图像对齐，完成图像配准。
进一步地，步骤1中，利用Sobel算子分别提取两张灰度图的边缘信息，具体为：
令可见光图像或红外图像的灰度图的元素值矩阵为I；
将I分别和两个奇数大小的卷积核进行卷积计算出灰度图的水平梯度图Gx和垂直梯度图Gy，具体公式如下：
其中I为灰度图像的元素值矩阵，*表示卷积操作，设f(x,y)为元素值矩阵中坐标为(x,y)的像素点的像素值，取值为0-255，则(x,y)点的卷积结果具体计算如下：
Gx(x，y)＝(-1)*f(x-1，y-1)+0*f(x，y-1)+1*f(x+1，y+1)
+(-2)*f(x-1，y)+0*f(x，y)+2*f(x+1，y)
+(-1)*f(x-1，y+1)+0*f(x，y+1)+1*f(x+1，y+1)；
利用同样的方法计算Gy(x，y)，在得到Gx(x，y)和Gy(x，y)后，计算(x，y)点的近似梯度为：
基于上述公式计算每一个像素点的近似梯度，从而得到整个灰度图的边缘信息。
进一步地，步骤2中，为加块平移遍历的时间，第一阶段的平移遍历以预设的m个像素为步长进行大步长的粗略遍历，得到吻合度达到最大时的位置偏移量后；
进一步地，为加块平移遍历的时间，第一阶段的平移遍历以预设的m个像素为步长进行大步长的粗略遍历，得到吻合度达到最大时的位置偏移量后，第二阶段的平移遍历以预设的n个像素为步长进行小步长的精度遍历，以(x1，y1)为中心，在周围预设范围内找到红外图像边缘图和可见光图像边缘图吻合度最大时的偏移量(x2，y2)，作为最终的偏移量。
进一步地，m大于等于5n。
进一步地，平移遍历中采用像素值的整体差异来衡量两张边缘图的吻合度，具体为：每次平移后，逐个对比可见光边缘图和平移后的红外边缘图的每个像素点的像素值，统计像素值差异小于预设值的数量，该数量越多则表示此时两张边缘图像越相似。
作为本发明的第二方面，提供一种可见光和红外图像快速配准装置，所述装置包括图像输入模块、灰度化处理模块、边缘图像提取模块、第一阶段遍历模块、第二阶段遍历模块以及配准模块；
所述图像输入模块用于输入可见光图像和红外图像；
所述灰度化处理模块用于将可见光图像和红外图像分别进行灰度化，分别获取可见光图像和红外图像的灰度图；
所述边缘图像提取模块用于分别提取两张灰度图的边缘信息，获取两张灰度图的边缘图，分别为可见光图像边缘图和红外图像边缘图；
第一阶段遍历模块用于对红外图像边缘图进行第一阶段的平移遍历，每次平移后计算当前状态下红外图像边缘图与可见光图像边缘图的吻合度，直至第一阶段的平移遍历结束，记录吻合度达到最大时的偏移量(x1，y1)；
第二阶段遍历模块用于以第一阶段平移遍历得到的位置偏移量为基准，在其周围的预设范围内进行第二阶段的的平移遍历，找到此范围内红外图像边缘图和可见光图像边缘图吻合度最大时的偏移量；
所述配准模块用于利用第二阶段遍历模块得到的偏移量，对红外图像进行平移变换，将其与可见光图像对齐，完成图像配准。
进一步地，所述边缘图像提取模块利用Sobel算子分别提取两张灰度图的边缘信息，具体为：
令可见光图像或红外图像的灰度图的元素值矩阵为I；
将I分别和两个奇数大小的卷积核进行卷积计算出灰度图的水平梯度图Gx和垂直梯度图Gy，具体公式如下：
其中I为灰度图像的元素值矩阵，*表示卷积操作，设f(x，y)为元素值矩阵中坐标为(x，y)的像素点的像素值，取值为0-255，则(x，y)点的卷积结果具体计算如下：
Gx(x，y)＝(-1)*f(x-1，y-1)+0*f(x，y-1)+1*f(x+1，y+1)
+(-2)*f(x-1，y)+0*f(x，y)+2*f(x+1，y)
+(-1)*f(x-1，y+1)+0*f(x，y+1)+1*f(x+1，y+1)；
利用同样的方法计算Gy(x,y)，在得到Gx(x,y)和Gy(x,y)后，计算(x,y)点的近似梯度为:
基于上述公式计算每一个像素点的近似梯度，从而得到整个灰度图的边缘信息。
进一步地，为加块平移遍历的时间，第一阶段的平移遍历以预设的m个像素为步长进行大步长的粗略遍历，得到吻合度达到最大时的位置偏移量后，第二阶段的平移遍历以预设的n个像素为步长进行小步长的精度遍历，以(x1，y1)为中心，在周围预设范围内找到红外图像边缘图和可见光图像边缘图吻合度最大时的偏移量(x2，y2)，作为最终的偏移量。
进一步地，m大于等于5n。
进一步地，平移遍历中采用像素值的整体差异来衡量两张边缘图的吻合度，具体为：每次平移后，逐个对比可见光边缘图和平移后的红外边缘图的每个像素点的像素值，统计像素值差异小于预设值的数量，该数量越多则表示此时两张边缘图像越相似。
本发明具有以下有益效果：
本发明提供的基于两阶段搜索的可见光和红外图像快速配准方法，舍弃了复杂的特征匹配过程，在平移遍历过程中先利用大步长进行快速查找，然后在小区域内细分查找，简化了配准的过程并提高了算法的运行速度，此外，采用简单高效的像素值整体差异来衡量边缘吻合度，在性能上优于传统配准方法，在适用性方面，本发明在简单场景下的效果良好，而且能适用于特殊的难以处理的复杂场景。
附图说明
图1为本发明实施例提供的可见光和红外图像快速配准方法的流程示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，作为本发明的第一方面，提供一种可见光和红外图像快速配准方法，所述方法包括：
步骤1，输入可见光图像和红外图像，将可见光图像和红外图像分别进行灰度化，分别获取可见光图像和红外图像的灰度图，分别提取两张灰度图的边缘信息，获取两张灰度图的边缘图，分别为可见光图像边缘图和红外图像边缘图。
具体的，输入同一时刻同一场景下所拍摄到的可见光图像和红外图像，其中可见光图像是三通道的彩色图像，而红外图像是单通道图像。
为方便处理和提取边缘，首先将可见光图像灰度化处理，在本实施例中输入的可见光图像为YUV格式，其中Y通道表示图像的明亮度，提取出其Y通道的分量即为灰度图的像素值。
受相机的成像原理限制，同时拍摄到的可见光和红外图像在空间位置上会存在细微的差异，需要进行配准才能进一步精确融合，在本实施例中默认横、纵的偏移量都在40像素范围内。
具体地，利用Sobel算子提取图像边缘
具体的，图像边缘是指像素值发生跃迁的地方，即变化率最大处、导数最大处，把图像想象成连续函数，因为边缘部分的像素值是与旁边像素明显有区别的，所以对图片局部求极值，就可以得到整幅图片的边缘信息了。不过图像是二维的离散函数，导数就变成了差分，这个差分就称为图像的梯度。
Sobel算子是一种离散微分算子，可以用来计算图像灰度的近似梯度，梯度越大的地方越有可能是边缘。Soble算子的功能集合了高斯平滑和微分求导，又被称为一阶微分算子，求导算子，在水平和垂直两个方向上求导，得到的分别是图像在x方向与y方向的梯度图像。
算子是通过权重来扩大差异，Sobel算子利用两个带权重的卷积核来进行梯度计算，设可见光图像或红外图像的灰度图的水平梯度图和垂直梯度图分别为Gx和Gy,将I分别和两个奇数大小的卷积核进行卷积可得到Gx和Gy：
其中I为灰度图像的元素值矩阵，*表示卷积操作，设f(x,y)为元素值矩阵中坐标为(x,y)的像素点的像素值，取值为0-255，则Gx(x,y)的卷积结果具体计算如下：
利用同样的方法计算Gy(x,y)，在得到Gx(x,y)和Gy(x,y)后，计算(x,y)点的近似梯度为:
基于上述公式计算每一个像素点的近似梯度，从而得到整个灰度图的边缘信息；
Sobel算子根据像素点上下、左右邻点灰度加权差，在边缘处达到极值这一现象检测边缘，对噪声具有平滑作用，提供较为精确的边缘方向信息，是一种较为常用的边缘检测方法。
由于可见光和红外图像展现的画面细节不同，两者只有在画面中物体的边缘信息较为统一，因此灰度化后的图像还要进一步提取边缘来进行配准。
步骤2，对红外图像边缘图进行第一阶段的平移遍历，每次平移后计算当前状态下红外图像边缘图与可见光图像边缘图的吻合度，直至第一阶段的平移遍历结束，记录吻合度达到最大时的位置偏移量(x1，y1)；
步骤3，以第一阶段平移遍历得到的位置偏移量为基准，在其周围的预设范围内进行第二阶段的的平移遍历，找到此范围内红外图像边缘图和可见光图像边缘图吻合度最大时的偏移量，如同第一阶段的平移遍历，第二阶段的平移遍历同样是在每次平移后计算当前状态下红外图像边缘图与可见光图像边缘图的吻合度，得到预设范围内红外图像边缘图和可见光图像边缘图吻合度最大时的偏移量作为最终的配准结果。
具体地，得到可见光和红外图像的边缘图后，就正式进入配准过程，这一步骤的目标是通过两层遍历循环找出最佳的偏移量，使得可见光和红外边缘图像的吻合度最高。对于上一步中得到的两张边缘图像，使边缘最吻合就是要令两张图最相似，为计算简单高效，降低多次遍历过程的耗时，在本实施例中采用像素值差异这一指标来衡量遍历过程中两张边缘图的相似度。
在一次遍历中，逐次比较可见光和红外边缘图的所有像素点，统计对应像素值差异值小于20的点的数量，以其占所有像素点的比例为相似度判别的指标，相似度Sim计算公式为：
上式中，Width和Height分别表示图像的宽和高，num表示在两张边缘图中对应点像素值差异小于20的像素点个数，Sim值越大则表示两张图像相似度越高，边缘吻合程度越高。
具体的，平移遍历分为两个阶段。
第一阶段的平移遍历，首先设置两个变量分别表示x和y的偏移值，第一个过程令这两个变量都从-40到40，以m像素为步长逐步取值，m优选为5，采用一个双层循环实现遍历，对于任意一次循环，按当前的循环变量x0、y0对红外边缘图像进行平移变换，然后计算平移后的图像和可见光边缘图像的相似度Sim值，遍历结束后，记录Sim最大时的偏移量(x1，y1)，由于第一个过程步长为5，因此此时得到的是粗略估计的偏移量；
第二阶段的平移遍历以(x1，y1)这个偏移量为基准，在其周围5个像素的范围内以m像素为步长再次进行平移遍历，m优选为1，计算相似度，最终得到一个精确的偏移量；具体的，以X1,Y1为中心，令这一阶段的两个二次偏移值变量都从-10到10，以1像素为步长逐步取值，同样地计算每次平移后图像和可见光边缘图像的相似度Sim值，遍历结束后，记录Sim最大时的全局偏移量(x2，y2)作为配准的最终结果。
利用两阶段遍历求得的空间偏移量(x2，y2)对红外原始图像进行平移变换即可将其与可见光图像对齐，完成配准的过程，为图像融合做好了准备。
作为本发明的第二实施例，提供一种可见光和红外图像快速配准装置，所述装置包括图像输入模块、灰度化处理模块、边缘图像提取模块、第一阶段遍历模块、第二阶段遍历模块以及配准模块；
所述图像输入模块用于输入可见光图像和红外图像；
所述灰度化处理模块用于将可见光图像和红外图像分别进行灰度化，分别获取可见光图像和红外图像的灰度图；
所述边缘图像提取模块用于分别提取两张灰度图的边缘信息，获取两张灰度图的边缘图，分别为可见光图像边缘图和红外图像边缘图；
第一阶段遍历模块用于对红外图像边缘图进行第一阶段的平移遍历，每次平移后计算当前状态下红外图像边缘图与可见光图像边缘图的吻合度，直至第一阶段的平移遍历结束，记录吻合度达到最大时的偏移量(x1，y1)；
第二阶段遍历模块用于以第一阶段平移遍历得到的位置偏移量为基准，在其周围的预设范围内进行第二阶段的的平移遍历，找到此范围内红外图像边缘图和可见光图像边缘图吻合度最大时的偏移量；
所述配准模块用于利用第二阶段遍历模块得到的偏移量，对红外图像进行平移变换，将其与可见光图像对齐，完成图像配准。
优选地，所述边缘图像提取模块利用Sobel算子分别提取两张灰度图的边缘信息，具体为：
令可见光图像或红外图像的灰度图的元素值矩阵为I；
将I分别和两个奇数大小的卷积核进行卷积计算出灰度图的水平梯度图Gx和垂直梯度图Gy，具体公式如下：
其中I为灰度图像的元素值矩阵，*表示卷积操作，设f(x，y)为元素值矩阵中坐标为(x，y)的像素点的像素值，取值为0-255，则(x，y)点的卷积结果具体计算如下：
Gx(x，y)＝(-1)*f(x-1，y-1)+0*f(x，y-1)+1*f(x+1，y+1)
+(-2)*f(x-1，y)+0*f(x，y)+2*f(x+1，y)
+(-1)*f(x-1，y+1)+0*f(x，y+1)+1*f(x+1，y+1)；
利用同样的方法计算Gy(x，y)，在得到Gx(x，y)和Gy(x，y)后，计算(x，y)点的近似梯度为：
基于上述公式计算每一个像素点的近似梯度，从而得到整个灰度图的边缘信息。
优选地，为加块平移遍历的时间，第一阶段的平移遍历以预设的m个像素为步长进行大步长的粗略遍历，得到吻合度达到最大时的位置偏移量后，第二阶段的平移遍历以预设的n个像素为步长进行小步长的精度遍历，以(x1，y1)为中心，在周围预设范围内找到红外图像边缘图和可见光图像边缘图吻合度最大时的偏移量(x2，y2)，作为最终的偏移量。
优选地，m大于等于5n。
优选地，平移遍历中采用像素值的整体差异来衡量两张边缘图的吻合度，具体为：每次平移后，逐个对比可见光边缘图和平移后的红外边缘图的每个像素点的像素值，统计像素值差异小于预设值的数量，该数量越多则表示此时两张边缘图像越相似。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种可见光和红外图像快速配准方法，其特征在于，所述方法包括：
步骤1，输入可见光图像和红外图像，将可见光图像和红外图像分别进行灰度化，分别获取可见光图像和红外图像的灰度图，分别提取两张灰度图的边缘信息，获取两张灰度图的边缘图，分别为可见光图像边缘图和红外图像边缘图；
步骤2，对红外图像边缘图进行第一阶段的平移遍历，每次平移后计算当前状态下红外图像边缘图与可见光图像边缘图的吻合度，直至第一阶段的平移遍历结束，记录吻合度达到最大时的偏移量(x1，y1)；
步骤3，以第一阶段平移遍历得到的位置偏移量为基准，在其周围的预设范围内进行第二阶段的的平移遍历，找到此范围内红外图像边缘图和可见光图像边缘图吻合度最大时的偏移量。
步骤4，利用步骤3得到的偏移量，对红外图像进行平移变换，将其与可见光图像对齐，完成图像配准。
2.根据权利要求1所述的可见光和红外图像快速配准方法，其特征在于，步骤1中，利用Sobel算子分别提取两张灰度图的边缘信息，具体为：
令可见光图像或红外图像的灰度图的元素值矩阵为I；
将I分别和两个奇数大小的卷积核进行卷积计算出灰度图的水平梯度图Gx和垂直梯度图Gy，具体公式如下：
其中I为灰度图像的元素值矩阵，*表示卷积操作，设f(x,y)为元素值矩阵中坐标为(x,y)的像素点的像素值，取值为0-255，则(x,y)点的卷积结果具体计算如下：
Gx(x，y)＝(-1)*f(x-1，y-1)+0*f(x，y-1)+1*f(x+1，y+1)+(-2)*f(x-1，y)+0*f(x，y)+2*f(x+1，y)+(-1)*f(x-1，y+1)+0*f(x，y+1)+1*f(x+1，y+1)；
利用同样的方法计算Gy(x，y)，在得到Gx(x，y)和Gy(x，y)后，计算(x，y)点的近似梯度为：
基于上述公式计算每一个像素点的近似梯度，从而得到整个灰度图的边缘信息。
3.根据权利要求1所述的可见光和红外图像快速配准方法，其特征在于，为加块平移遍历的时间，第一阶段的平移遍历以预设的m个像素为步长进行大步长的粗略遍历，得到吻合度达到最大时的位置偏移量后，第二阶段的平移遍历以预设的n个像素为步长进行小步长的精度遍历，以(x1，y1)为中心，在周围预设范围内找到红外图像边缘图和可见光图像边缘图吻合度最大时的偏移量(x2，y2)，作为最终的偏移量。
4.根据权利要求3所述的可见光和红外图像快速配准方法，其特征在于，m大于等于5n。
5.根据权利要求1所述的可见光和红外图像快速配准方法，其特征在于，平移遍历中采用像素值的整体差异来衡量两张边缘图的吻合度，具体为：每次平移后，逐个对比可见光边缘图和平移后的红外边缘图的每个像素点的像素值，统计像素值差异小于预设值的数量，该数量越多则表示此时两张边缘图像越相似。
6.一种可见光和红外图像快速配准装置，其特征在于，所述装置包括图像输入模块、灰度化处理模块、边缘图像提取模块、第一阶段遍历模块、第二阶段遍历模块以及配准模块；
所述图像输入模块用于输入可见光图像和红外图像；
所述灰度化处理模块用于将可见光图像和红外图像分别进行灰度化，分别获取可见光图像和红外图像的灰度图；
所述边缘图像提取模块用于分别提取两张灰度图的边缘信息，获取两张灰度图的边缘图，分别为可见光图像边缘图和红外图像边缘图；
第一阶段遍历模块用于对红外图像边缘图进行第一阶段的平移遍历，每次平移后计算当前状态下红外图像边缘图与可见光图像边缘图的吻合度，直至第一阶段的平移遍历结束，记录吻合度达到最大时的偏移量(x1，y1)；
第二阶段遍历模块用于以第一阶段平移遍历得到的位置偏移量为基准，在其周围的预设范围内进行第二阶段的的平移遍历，找到此范围内红外图像边缘图和可见光图像边缘图吻合度最大时的偏移量；
所述配准模块用于利用第二阶段遍历模块得到的偏移量，对红外图像进行平移变换，将其与可见光图像对齐，完成图像配准。
7.根据权利要求5所述的可见光和红外图像快速配准装置，其特征在于，所述边缘图像提取模块利用Sobel算子分别提取两张灰度图的边缘信息，具体为：
令可见光图像或红外图像的灰度图的元素值矩阵为I；
将I分别和两个奇数大小的卷积核进行卷积计算出灰度图的水平梯度图Gx和垂直梯度图Gy，具体公式如下：
其中I为灰度图像的元素值矩阵，*表示卷积操作，设f(x,y)为元素值矩阵中坐标为(x,y)的像素点的像素值，取值为0-255，则(x,y)点的卷积结果具体计算如下：
利用同样的方法计算Gy(x,y)，在得到Gx(x,y)和Gy(x,y)后，计算(x,y)点的近似梯度为:
基于上述公式计算每一个像素点的近似梯度，从而得到整个灰度图的边缘信息。
8.根据权利要求5所述的可见光和红外图像快速配准装置，其特征在于，为加块平移遍历的时间，第一阶段的平移遍历以预设的m个像素为步长进行大步长的粗略遍历，得到吻合度达到最大时的位置偏移量后，第二阶段的平移遍历以预设的n个像素为步长进行小步长的精度遍历，以(x1，y1)为中心，在周围预设范围内找到红外图像边缘图和可见光图像边缘图吻合度最大时的偏移量(x2，y2)，作为最终的偏移量。
9.根据权利要求8所述的可见光和红外图像快速配准装置，其特征在于，m大于等于5n。
10.根据权利要求5所述的可见光和红外图像快速配准装置，其特征在于，平移遍历中采用像素值的整体差异来衡量两张边缘图的吻合度，具体为：每次平移后，逐个对比可见光边缘图和平移后的红外边缘图的每个像素点的像素值，统计像素值差异小于预设值的数量，该数量越多则表示此时两张边缘图像越相似。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010474030.1A CN111833384B (zh) | 2020-05-29 | 2020-05-29 | 一种可见光和红外图像快速配准方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010474030.1A CN111833384B (zh) | 2020-05-29 | 2020-05-29 | 一种可见光和红外图像快速配准方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111833384A true CN111833384A (zh) | 2020-10-27 |
| CN111833384B CN111833384B (zh) | 2023-12-26 |
Family
ID=72914049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010474030.1A Active CN111833384B (zh) | 2020-05-29 | 2020-05-29 | 一种可见光和红外图像快速配准方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111833384B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116246225A (zh) * | 2023-05-12 | 2023-06-09 | 青岛农业大学 | 一种基于图像处理的作物育种监测方法及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101976434A (zh) * | 2010-08-27 | 2011-02-16 | 浙江大学 | 一种用于图像配准的频域加权的相关方法 |
| WO2014023231A1 (zh) * | 2012-08-07 | 2014-02-13 | 泰邦泰平科技（北京）有限公司 | 宽视场超高分辨率光学成像***及方法 |
| CN109146930A (zh) * | 2018-09-20 | 2019-01-04 | 河海大学常州校区 | 一种电力机房设备红外与可见光图像配准方法 |
| CN110956640A (zh) * | 2019-12-04 | 2020-04-03 | 国网上海市电力公司 | 一种异源图像边缘点检测与配准方法 |
-
2020
- 2020-05-29 CN CN202010474030.1A patent/CN111833384B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101976434A (zh) * | 2010-08-27 | 2011-02-16 | 浙江大学 | 一种用于图像配准的频域加权的相关方法 |
| WO2014023231A1 (zh) * | 2012-08-07 | 2014-02-13 | 泰邦泰平科技（北京）有限公司 | 宽视场超高分辨率光学成像***及方法 |
| CN109146930A (zh) * | 2018-09-20 | 2019-01-04 | 河海大学常州校区 | 一种电力机房设备红外与可见光图像配准方法 |
| CN110956640A (zh) * | 2019-12-04 | 2020-04-03 | 国网上海市电力公司 | 一种异源图像边缘点检测与配准方法 |
Non-Patent Citations (2)
| Title |
|---|
| 彭逸月;何伟基;顾国华;刘晖;张连东;陈钱;: "基于特征点的红外与可见光图像配准研究", 激光与红外, no. 06 * |
| 胡永利;王亮;刘蓉;张丽;段福庆;: "一种从粗到精的红外和可见光卫星图像配准方法", 光谱学与光谱分析, no. 11 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116246225A (zh) * | 2023-05-12 | 2023-06-09 | 青岛农业大学 | 一种基于图像处理的作物育种监测方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111833384B (zh) | 2023-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yahyanejad et al. | A fast and mobile system for registration of low-altitude visual and thermal aerial images using multiple small-scale UAVs | |
| CN111079556A (zh) | 一种多时相无人机视频图像变化区域检测及分类方法 | |
| CN107993258B (zh) | 一种图像配准方法及装置 | |
| US11398053B2 (en) | Multispectral camera external parameter self-calibration algorithm based on edge features | |
| CN108470356B (zh) | 一种基于双目视觉的目标对象快速测距方法 | |
| US11783457B2 (en) | Multispectral camera dynamic stereo calibration algorithm based on saliency features | |
| CN110956661B (zh) | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 | |
| CN111462128B (zh) | 一种基于多模态光谱图像的像素级图像分割***及方法 | |
| CN109376641B (zh) | 一种基于无人机航拍视频的运动车辆检测方法 | |
| CN110969669B (zh) | 基于互信息配准的可见光与红外相机联合标定方法 | |
| CN109544635B (zh) | 一种基于枚举试探的相机自动标定方法 | |
| CN110569861A (zh) | 一种基于点特征和轮廓特征融合的图像匹配定位方法 | |
| Linger et al. | Aerial image registration for tracking | |
| CN112164117A (zh) | 一种基于Kinect相机的V-SLAM位姿估算方法 | |
| CN117036641A (zh) | 一种基于双目视觉的公路场景三维重建与缺陷检测方法 | |
| CN114973028B (zh) | 一种航拍视频图像实时变化检测方法及*** | |
| CN111709968A (zh) | 一种基于图像处理的低空目标探测跟踪方法 | |
| CN112016478A (zh) | 一种基于多光谱图像融合的复杂场景识别方法及*** | |
| CN107045630B (zh) | 一种基于rgbd的行人检测和身份识别方法及*** | |
| US20110085026A1 (en) | Detection method and detection system of moving object | |
| Li et al. | Panoramic image mosaic technology based on sift algorithm in power monitoring | |
| CN113096016A (zh) | 一种低空航拍图像拼接方法和*** | |
| CN111833384B (zh) | 一种可见光和红外图像快速配准方法及装置 | |
| Wu et al. | Study of multiple moving targets’ detection in fisheye video based on the moving blob model | |
| CN117496401A (zh) | 一种用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 430073 No. 006, 20th floor, business project (China Pharmaceutical Technology Trading Market), No. 1, xiyaojian Road, north of Gaoxin Avenue and Heying Road, East Lake New Technology Development Zone, Wuhan City, Hubei Province Patentee after: Wuhan Zhuomu Technology Co.,Ltd. Country or region after: China Address before: A2-32-05, 2nd floor, Guannan science and Technology Industrial Park, Guandong street, Donghu New Technology Development Zone, Wuhan, Hubei Province Patentee before: WUHAN ZMVISION TECHNOLOGY Co.,Ltd. Country or region before: China |