CN111311658B - 双光成像***图像配准方法及相关装置 - Google Patents

双光成像***图像配准方法及相关装置 Download PDF

Info

Publication number
CN111311658B
CN111311658B CN202010255440.7A CN202010255440A CN111311658B CN 111311658 B CN111311658 B CN 111311658B CN 202010255440 A CN202010255440 A CN 202010255440A CN 111311658 B CN111311658 B CN 111311658B
Authority
CN
China
Prior art keywords
image
band image
imaging system
light imaging
dual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010255440.7A
Other languages
English (en)
Other versions
CN111311658A (zh
Inventor
李东婧
李红领
黄子农
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iray Technology Co Ltd
Original Assignee
Iray Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iray Technology Co Ltd filed Critical Iray Technology Co Ltd
Priority to CN202010255440.7A priority Critical patent/CN111311658B/zh
Publication of CN111311658A publication Critical patent/CN111311658A/zh
Application granted granted Critical
Publication of CN111311658B publication Critical patent/CN111311658B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种双光成像***图像配准方法及装置，使用双光成像***获取目标物的图像，获得目标物的第一波段图像和第二波段图像，并获取双光成像***到目标物的距离；根据与距离对应的仿射变换参量，分别从目标物的第一波段图像和第二波段图像裁剪出相互对应的图像区域；根据从目标物的第一波段图像裁剪出的图像区域和从目标物的第二波段图像裁剪出的图像区域包含的边缘特征，将目标物的第一波段图像和第二波段图像配准。本双光成像***图像配准方法及装置能够提高配准精度，并且克服现有技术存在的对成像装置架构的稳定性有较高要求以及近距离目标的配准效果较差的缺陷。本发明还公开一种双光成像***以及一种计算机可读存储介质。

Description

双光成像***图像配准方法及相关装置
技术领域
本发明涉及图像处理技术领域，特别是涉及一种双光成像***图像配准方法及装置。本发明还涉及一种双光成像***，以及还涉及一种计算机可读存储介质。
背景技术
双光图像融合技术能够获取来自两种不同波段光的成像信息，二者的成像信息相互补充，比如对于将红外光成像与可见光成像融合的方案中，在实现探测目标的同时，能够利用可见光图像包含丰富的信息内容，提高空间分辨率，增强图像细节。其中图像配准是双光图像融合的基本环节，也是图像融合的重要部分。
现有技术中，使用的图像配准方案是基于几何光学原理计算校正矩阵，使用校正矩阵对图像或者成像装置进行校准。这种方法实现算法简单，对场景没有特殊要求，校正结果稳定，但是对成像装置架构的稳定性有较高要求，并且近距离目标的配准效果较差。
发明内容
本发明的目的是提供一种双光成像***图像配准方法及装置，能够提高配准精度，并且克服现有技术存在的对成像装置架构的稳定性有较高要求以及近距离目标的配准效果较差的缺陷。本发明还提供一种双光成像***以及还提供一种计算机可读存储介质。
为实现上述目的，本发明提供如下技术方案：
一种双光成像***图像配准方法，包括：
使用双光成像***获取目标物的图像，获得所述目标物的第一波段图像和第二波段图像，并获取所述双光成像***到所述目标物的第一距离；
根据与所述距离对应的仿射变换参量，分别从所述目标物的第一波段图像和第二波段图像裁剪出相互对应的图像区域；
根据从所述目标物的第一波段图像裁剪出的图像区域和从所述目标物的第二波段图像裁剪出的图像区域包含的边缘特征，将所述目标物的第一波段图像和第二波段图像配准。
优选的，获取所述仿射变换参量包括：
使用所述双光成像***获取预设标定靶的图像，获得所述预设标定靶的第一波段图像和第二波段图像，并获取所述双光成像***到所述预设标定靶的距离；
根据所述预设标定靶的第一波段图像和第二波段图像包含的角点特征，从所述预设标定靶的第一波段图像和第二波段图像中选取出N组匹配度满足预设要求的特征点，并确定出从所述预设标定靶的第一波段图像选取出的N个特征点的坐标以及从所述预设标定靶的第二波段图像选取出的N个特征点的坐标，N为大于等于3的正整数；
根据从所述预设标定靶的第一波段图像选取出的N个特征点以及从所述预设标定靶的第二波段图像选取出的N个特征点，得到与所述双光成像***到所述预设标定靶的距离对应的所述仿射变换参量。
优选的，具体包括：
从所述预设标定靶的第一波段图像选取出的N个特征点表示为V1＝[x1 x2...xN，y1 y2...yN，1 1…1]，从所述预设标定靶的第二波段图像选取出的N个特征点表示为V2＝[x1’x2’...xN’，y1’y2’...yN’，1 1…1]；
根据最小二乘法建立函数f(H)＝(H*V1-V2)^2，并对函数f(H)求导，根据以下公式计算获得与所述双光成像***到所述预设标定靶的距离对应的所述仿射变换参量H：H＝(V1T×V1)-1×V1T×V2。
优选的，根据从所述目标物的第一波段图像裁剪出的图像区域和从所述目标物的第二波段图像裁剪出的图像区域包含的边缘特征，将所述目标物的第一波段图像和第二波段图像配准包括：
对从所述目标物的第一波段图像裁剪出的图像区域提取边缘特征以及对从所述目标物的第二波段图像裁剪出的图像区域提取边缘特征，分别获得第一图像和第二图像；
将所述第一图像和所述第二图像对应地划分为多个区块，并获取所述第一图像的每一区块的特征数据总和，选取出特征数据总和最大的区块；
从所述第二图像的各个区块中选取出与从所述第一图像选取出的区块对应的区块，根据选取出的两个区块包含的边缘特征，将所述目标物的第一波段图像和第二波段图像配准。
优选的，对从所述目标物的第一波段图像裁剪出的图像区域提取边缘特征以及对从所述目标物的第二波段图像裁剪出的图像区域提取边缘特征，分别获得第一图像和第二图像包括：
使用sobel算子以及/>对从所述目标物的第一波段图像裁剪出的图像区域进行卷积，分别提取垂直梯度V1_Iy和水平梯度V1_Ix，获得第一梯度图V1_sobel＝V1_Iy+V1_Ix；
使用sobel算子以及/>对从所述目标物的第二波段图像裁剪出的图像区域进行卷积，分别提取垂直梯度V2_Iy和水平梯度V2_Ix，获得第二梯度图V2_sobel＝V2_Iy+V2_Ix；
分别对所述第一梯度图和所述第二梯度图进行二值化处理，对应获得所述第一图像和所述第二图像。
优选的，分别对所述第一梯度图和所述第二梯度图进行二值化处理，对应获得所述第一图像和所述第二图像包括：
对所述第一梯度图进行直方图统计，计算均值mean和均方差sigma，将所述第一梯度图中像素值大于(mean+3*sigma)的像素置1，其余像素置0，得到所述第一图像；
对所述第二梯度图进行直方图统计，计算均值mean和均方差sigma，将所述第二梯度图中像素值大于(mean+3*sigma)的像素置1，其余像素置0，得到所述第二图像。
优选的，根据选取出的两个区块包含的边缘特征，将所述目标物的第一波段图像和第二波段图像配准包括：
以偏移向量对选取出的两个区块配准，根据选取出的两个区块包含的边缘特征，获得使选取出的两个区块重合区域最大的偏移向量，根据得到的偏移向量将所述目标物的第一波段图像和第二波段图像配准。
一种双光成像***图像配准装置，用于执行以上所述的双光成像***图像配准方法。
一种双光成像***，包括以上所述的双光成像***图像配准装置。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述双光成像***图像配准方法的步骤。
由上述技术方案可知，本发明所提供的一种双光成像***图像配准方法及装置，使用双光成像***获取目标物的图像，获得目标物的第一波段图像和第二波段图像，并获取双光成像***到目标物的距离，然后根据与所述距离对应的仿射变换参量，分别从目标物的第一波段图像和第二波段图像裁剪出相互对应的图像区域，进一步根据从目标物的第一波段图像裁剪出的图像区域和从目标物的第二波段图像裁剪出的图像区域包含的边缘特征，将目标物的第一波段图像和第二波段图像配准。
本发明的双光成像***图像配准方法及装置，首先根据与双光成像***到目标物的距离对应的仿射变换参量对获得的第一波段图像和第二波段图像粗配准，从两图像裁剪出相互对应的图像区域，而后根据从两图像裁剪出的图像区域包含的边缘特征，将第一波段图像和第二波段图像进一步细配准，能够提高配准精度，并且克服了现有技术存在的对成像装置架构的稳定性有较高要求以及近距离目标的配准效果较差的缺陷。
本发明提供的一种双光成像***，能够达到上述有益效果。
本发明提供的一种计算机可读存储介质，能够达到上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种双光成像***图像配准方法的流程图；
图2为本发明实施例中获取仿射变换参量的方法流程图；
图3为本发明实施例中预设标定靶的示意图；
图4为本发明实施例中根据裁剪出的图像区域包含的边缘特征将目标物的第一波段图像和第二波段图像配准的方法流程图；
图5为本发明实施例中预设标定靶的第一波段图像对应的第一图像；
图6为本发明实施例中预设标定靶的第二波段图像对应的第二图像。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
请参考图1，图1为本实施例提供的一种双光成像***图像配准方法的流程图，由图可知，所述方法包括以下步骤：
S10：使用双光成像***获取目标物的图像，获得所述目标物的第一波段图像和第二波段图像，并获取所述双光成像***到所述目标物的距离。
目标物是指使用双光成像***所要探测成像的对象，可以是场景或者场景中物体。双光成像***获得的目标物的第一波段图像是指双光成像***捕获目标物发出的第一波段光所形成的图像，第二波段图像是指双光成像***捕获目标物发出的第二波段光所形成的图像，第一波段光的波长范围和第二波段光的波长范围不相同。本实施例中，双光成像***可以是兼具可见光成像和红外光成像的***，相应的，第一波段图像可以是可见光图像，第二波段图像可以是红外光图像。
所获取的距离是指双光成像***对目标物获取图像时双光成像***到目标物的距离。
S11：根据与所述距离对应的仿射变换参量，分别从所述目标物的第一波段图像和第二波段图像裁剪出相互对应的图像区域。
对应不同的双光成像***到目标物的距离，分别设有对应的仿射变换参量。仿射变换参量是指将由双光成像***获取的第一波段图像所处向量空间和第二波段图像所处向量空间进行仿射变换的参量。本步骤中根据双光成像***到目标物的距离对应的仿射变换参量，对双光成像***获得的第一波段图像和第二波段图像配准，分别从第一波段图像和第二波段图像裁剪出相互对应的图像区域。
S12：根据从所述目标物的第一波段图像裁剪出的图像区域和从所述目标物的第二波段图像裁剪出的图像区域包含的边缘特征，将所述目标物的第一波段图像和第二波段图像配准。
图像包含的边缘特征是指反映图像包含的边缘信息的特征。根据从目标物的第一波段图像裁剪出的图像区域包含的边缘特征和从目标物的第二波段图像裁剪出的图像区域包含的边缘特征，将目标物的第一波段图像和第二波段图像配准。
本实施例的双光成像***图像配准方法，首先根据与双光成像***到目标物的距离对应的仿射变换参量对获得的第一波段图像和第二波段图像粗配准，从两图像裁剪出相互对应的图像区域，而后根据从两图像裁剪出的图像区域包含的边缘特征，将第一波段图像和第二波段图像进一步细配准，能够提高配准精度，并且克服了现有技术存在的对成像装置架构的稳定性有较高要求以及近距离目标的配准效果较差的缺陷。
下面结合具体实施方式对本双光成像***图像配准方法进行详细说明。本实施例的双光成像***图像配准方法中，可通过以下方法获取仿射变换参量，请参考图2，图2为本实施例中获取仿射变换参量的方法流程图，具体包括以下步骤：
S100：使用所述双光成像***获取预设标定靶的图像，获得所述预设标定靶的第一波段图像和第二波段图像，并获取所述双光成像***到所述预设标定靶的距离。
使用的预设标定靶具有方格图案，使得使用双光成像***对预设标定靶获取的第一波段图像和第二波段图像中，都具有鲜明且易于提取的强特征。优选的，所述预设标定靶具有镂空的棋盘格以及黑色面，其中镂空的棋盘格置于黑色面之前，请参考图3，图3为本实施例中预设标定靶的示意图，使用该预设标定靶能够使得在所成的第一波段图像和第二波段图像中，都具有鲜明且易于提取的强特征点，有助于提高特征点的匹配率和图像配准的准确度。
S101：根据所述预设标定靶的第一波段图像和第二波段图像包含的角点特征，从所述预设标定靶的第一波段图像和第二波段图像中选取出N组匹配度满足预设要求的特征点，并确定出从所述预设标定靶的第一波段图像选取出的N个特征点的坐标以及从所述预设标定靶的第二波段图像选取出的N个特征点的坐标，N为大于等于3的正整数。
在具体实施时，可以首先对预设标定靶的第一波段图像和第二波段图像分别提取角点特征，而后根据两图像包含的角点特征，从两图像中选取出N组匹配度满足预设要求的特征点，具体可以根据两图像包含的角点特征手动选取出匹配度较高的N组特征点，得到各组特征点的坐标。可选的，可使用harris算法对图像提取角点特征，但不限于此，也可以使用其它算法对图像提取角点特征。
具体的，从预设标定靶的第一波段图像选取出的N个特征点表示为V1＝[x1x2...xN，y1 y2...yN，1 1…1]，从预设标定靶的第二波段图像选取出的N个特征点表示为V2＝[x1’x2’...xN’，y1’y2’...yN’，1 1…1]。
S102：根据从所述预设标定靶的第一波段图像选取出的N个特征点以及从所述预设标定靶的第二波段图像选取出的N个特征点，得到与所述双光成像***到所述预设标定靶的距离对应的所述仿射变换参量。
根据从预设标定靶的第一波段图像选取出的N个特征点以及从预设标定靶的第二波段图像选取出的N个特征点，得到与当前双光成像***到预设标定靶的距离对应的、能够将当前获取的第一波段图像所处向量空间和第二波段图像所处向量空间进行仿射变换的参量。
优选的，利用从预设标定靶的第一波段图像选取出的N个特征点以及从预设标定靶的第二波段图像选取出的N个特征点，可根据最小二乘法建立函数f(H)＝(H*V1-V2)^2，并对函数f(H)求导，根据以下公式计算获得与双光成像***到预设标定靶的距离对应的仿射变换参量H：H＝(V1T×V1)-1×V1T×V2。
对函数f(H)求导，令f(H)导数为零，即得到H＝(V1T×V1)-1×V1T×V2。根据该公式求得仿射变换矩阵即仿射变换参量，获得的仿射变换矩阵表示为：
相应的，第一波段图像使用对应的仿射变换矩阵粗配准后的像素坐标为：x’＝h1*x+h2*y+h3，y’＝h4*x+h5*y+h6，其中(x，y)表示配准前第一波段图像中像素坐标，(x’，y’)表示配准后的相应像素坐标。
使用双光成像***获取预设标定靶的M组图像，获得M组第一波段图像和第二波段图像，M组图像分别是所述双光成像***在M个不同距离获取的预设标定靶的图像，根据M组图像分别获得M个不同距离对应的所述仿射变换参量，M为大于等于1的正整数。根据上述获取仿射变换参量的方法，分别获得双光成像***M个不同距离对应的仿射变换参量，即针对M个不同距离获得对应的M个仿射变换参量。根据上述方法获得双光成像***的M个不同距离的仿射变换参量后，可以将获得的M个仿射变换参量存储，以便对双光成像***获取的图像进行粗配准时调用。在实际应用中，如果预先存储的仿射变换参量中没有与当前双光成像***到目标物的距离完全一致对应的仿射变换参量，可以调用与双光成像***到目标物的距离最接近的距离对应的仿射变换参量，来对目标物的第一波段图像和第二波段图像进行粗配准。
本实施例的双光成像***图像配准方法中，对于使用双光成像***获取目标物的第一波段图像和第二波段图像，调用与双光成像***到目标物的距离对应的仿射变换参量，对目标物的第一波段图像和第二波段图像粗配准，包括对图像进行平移、旋转或者缩放，分别从目标物的第一波段图像和第二波段图像裁剪出相互对应的图像区域。
进一步的，本实施例的双光成像***图像配准方法中，步骤S12根据从目标物的第一波段图像裁剪出的图像区域和从目标物的第二波段图像裁剪出的图像区域包含的边缘特征，将目标物的第一波段图像和第二波段图像配准，可通过以下方法进行，请参考图4，图4为本实施例中根据裁剪出的图像区域包含的边缘特征将目标物的第一波段图像和第二波段图像配准的方法流程图，具体包括以下步骤：
S120：对从所述目标物的第一波段图像裁剪出的图像区域提取边缘特征以及对从所述目标物的第二波段图像裁剪出的图像区域提取边缘特征，分别获得第一图像和第二图像。
可选的，可使用sobel算子对图像提取边缘特征，具体包括以下过程：
使用sobel算子以及/>对从所述目标物的第一波段图像裁剪出的图像区域进行卷积，分别提取垂直梯度V1_Iy和水平梯度V1_Ix，获得第一梯度图V1_sobel＝V1_Iy+V1_Ix。同理，使用sobel算子/>以及/>对从所述目标物的第二波段图像裁剪出的图像区域进行卷积，分别提取垂直梯度V2_Iy和水平梯度V2_Ix，获得第二梯度图V2_sobel＝V2_Iy+V2_Ix。
然后分别对所述第一梯度图和所述第二梯度图进行二值化处理，对应获得所述第一图像和所述第二图像。具体的，对所述第一梯度图进行直方图统计，计算均值mean和均方差sigma，将所述第一梯度图中像素值大于(mean+3*sigma)的像素置1，其余像素置0，得到所述第一图像。对所述第二梯度图进行直方图统计，计算均值mean和均方差sigma，将所述第二梯度图中像素值大于(mean+3*sigma)的像素置1，其余像素置0，得到所述第二图像。请参考图5和图6，图5为本实施例中目标物的第一波段图像对应的强边缘二值化图像即第一图像，图6为本实施例中目标物的第二波段图像对应的强边缘二值化图像即第二图像。
S121：将所述第一图像和所述第二图像对应地划分为多个区块，并获取所述第一图像的每一区块的特征数据总和，选取出特征数据总和最大的区块。
对包含边缘特征信息的第一图像和第二图像进行分块处理，优选将第一图像平均地分割为多个区块，对应地将第二图像平均地分割为多个区块。示例性的，请参考图5，将第一图像平均地分割为大小为(1/3*H1，1/3*W1)的区块，H1和W1分别表示第一图像的高度和宽度，求取每个区块的特征数据总和，各个区块的特征数据总和如下所示：
158 158 294
299 152 406
158 161 211
从上表中可以看出，特征数据总和为406的区块的特征数据总和最大，选取出该区块，记为V1_AIM’。
S122：从所述第二图像的各个区块中选取出与从所述第一图像选取出的区块对应的区块，根据选取出的两个区块包含的边缘特征，将所述目标物的第一波段图像和第二波段图像配准。
根据从第一图像的各个区块中选取出的特征数据总和最大的区块V1_AIM’，从第二图像的各个区块中选取出与从第一图像选取出的区块V1_AIM’对应的区块V2_AIM’。根据区块V1_AIM’和区块V2_AIM’进行叠加和配准，以将目标物的第一波段图像和第二波段图像配准。
优选的，在具体实施时，以偏移向量对选取出的两个区块配准，根据选取出的两个区块包含的边缘特征，获得使选取出的两个区块重合区域最大的偏移向量，根据得到的偏移向量将所述目标物的第一波段图像和第二波段图像配准。比如将两个区块在[±5，±5]的偏移向量内进行叠加和判断，获得使选取出的两个区块重合区域最大的偏移向量。
本实施例的双光成像***图像配准方法，首先根据与双光成像***到目标物的距离对应的仿射变换参量对获得的第一波段图像和第二波段图像粗配准，从两图像裁剪出相互对应的图像区域，而后根据从两图像裁剪出的图像区域包含的边缘特征，将第一波段图像和第二波段图像进一步细配准，能够提高配准精度，减少标定成本，且运算相对便捷，在不损失配准精度的同时给予物理距离容错空间。
相应的，本发明实施例还提供一种双光成像***图像配准装置，用于执行以上所述的双光成像***图像配准方法。
本实施例的双光成像***图像配准装置，首先根据与双光成像***到目标物的距离对应的仿射变换参量对获得的第一波段图像和第二波段图像粗配准，从两图像裁剪出相互对应的图像区域，而后根据从两图像裁剪出的图像区域包含的边缘特征，将第一波段图像和第二波段图像进一步细配准，能够提高配准精度，并且克服了现有技术存在的对成像装置架构的稳定性有较高要求以及近距离目标的配准效果较差的缺陷。
本发明实施例还提供一种双光成像***，包括以上所述的双光成像***图像配准装置。
本实施例的双光成像***在获得目标物的第一波段图像和第二波段图像后，首先根据与双光成像***到目标物的距离对应的仿射变换参量对获得的第一波段图像和第二波段图像粗配准，从两图像裁剪出相互对应的图像区域，而后根据从两图像裁剪出的图像区域包含的边缘特征，将第一波段图像和第二波段图像进一步细配准，能够提高配准精度，并且克服了现有技术存在的对成像装置架构的稳定性有较高要求以及近距离目标的配准效果较差的缺陷。
具体的，本实施例双光成像***可包括：
图像获取装置，用于获取目标物的图像，获得所述目标物的第一波段图像和第二波段图像；
距离获取装置，用于获取所述双光成像***到所述目标物的距离；
第一配准装置，用于根据与所述距离对应的仿射变换参量，分别从所述目标物的第一波段图像和第二波段图像裁剪出相互对应的图像区域；
第二配准装置，用于根据从所述目标物的第一波段图像裁剪出的图像区域和从所述目标物的第二波段图像裁剪出的图像区域包含的边缘特征，将所述目标物的第一波段图像和第二波段图像配准；
融合装置，用于将配准后的所述目标物的第一波段图像和第二波段图像叠加融合。
相应的，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述双光成像***图像配准方法的步骤。
应用本实施例的计算机可读存储介质，当其存储的计算机程序被处理器执行时能够实现首先根据与双光成像***到目标物的距离对应的仿射变换参量对获得的第一波段图像和第二波段图像粗配准，从两图像裁剪出相互对应的图像区域，而后根据从两图像裁剪出的图像区域包含的边缘特征，将第一波段图像和第二波段图像进一步细配准，能够提高配准精度，并且克服了现有技术存在的对成像装置架构的稳定性有较高要求以及近距离目标的配准效果较差的缺陷。
以上对本发明所提供的一种双光成像***图像配准方法及装置、双光成像***及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种双光成像***图像配准方法，其特征在于，包括：
使用双光成像***获取目标物的图像，获得所述目标物的第一波段图像和第二波段图像，并获取所述双光成像***到所述目标物的距离；
根据与所述距离对应的仿射变换参量，分别从所述目标物的第一波段图像和第二波段图像裁剪出相互对应的图像区域，所述仿射变换参量是指将由所述双光成像***获取的第一波段图像所处向量空间和第二波段图像所处向量空间进行仿射变换的参量；
根据从所述目标物的第一波段图像裁剪出的图像区域和从所述目标物的第二波段图像裁剪出的图像区域包含的边缘特征，将所述目标物的第一波段图像和第二波段图像配准。
2.根据权利要求1所述的双光成像***图像配准方法，其特征在于，获取所述仿射变换参量包括：
使用所述双光成像***获取预设标定靶的图像，获得所述预设标定靶的第一波段图像和第二波段图像，并获取所述双光成像***到所述预设标定靶的距离；
根据所述预设标定靶的第一波段图像和第二波段图像包含的角点特征，从所述预设标定靶的第一波段图像和第二波段图像中选取出N组匹配度满足预设要求的特征点，并确定出从所述预设标定靶的第一波段图像选取出的N个特征点的坐标以及从所述预设标定靶的第二波段图像选取出的N个特征点的坐标，N为大于等于3的正整数；
根据从所述预设标定靶的第一波段图像选取出的N个特征点以及从所述预设标定靶的第二波段图像选取出的N个特征点，得到与所述双光成像***到所述预设标定靶的距离对应的所述仿射变换参量。
3.根据权利要求2所述的双光成像***图像配准方法，其特征在于，具体包括：
从所述预设标定靶的第一波段图像选取出的N个特征点表示为V1＝[x1 x2...xN，y1y2...yN，1 1…1]，从所述预设标定靶的第二波段图像选取出的N个特征点表示为V2＝[x1’x2’...xN’，y1’y2’...yN’，1 1…1]；
根据最小二乘法建立函数f(H)＝(H*V1-V2)^2，并对函数f(H)求导，根据以下公式计算获得与所述双光成像***到所述预设标定靶的距离对应的所述仿射变换参量H：H＝(V1T×V1)-1×V1T×V2。
4.根据权利要求1所述的双光成像***图像配准方法，其特征在于，根据从所述目标物的第一波段图像裁剪出的图像区域和从所述目标物的第二波段图像裁剪出的图像区域包含的边缘特征，将所述目标物的第一波段图像和第二波段图像配准包括：
对从所述目标物的第一波段图像裁剪出的图像区域提取边缘特征以及对从所述目标物的第二波段图像裁剪出的图像区域提取边缘特征，分别获得第一图像和第二图像；
将所述第一图像和所述第二图像对应地划分为多个区块，并获取所述第一图像的每一区块的特征数据总和，选取出特征数据总和最大的区块；
从所述第二图像的各个区块中选取出与从所述第一图像选取出的区块对应的区块，根据选取出的两个区块包含的边缘特征，将所述目标物的第一波段图像和第二波段图像配准。
5.根据权利要求4所述的双光成像***图像配准方法，其特征在于，对从所述目标物的第一波段图像裁剪出的图像区域提取边缘特征以及对从所述目标物的第二波段图像裁剪出的图像区域提取边缘特征，分别获得第一图像和第二图像包括：
使用sobel算子以及/>对从所述目标物的第一波段图像裁剪出的图像区域进行卷积，分别提取垂直梯度V1_Iy和水平梯度V1_Ix，获得第一梯度图V1_sobel＝V1_Iy+V1_Ix；
使用sobel算子以及/>对从所述目标物的第二波段图像裁剪出的图像区域进行卷积，分别提取垂直梯度V2_Iy和水平梯度V2_Ix，获得第二梯度图V2_sobel＝V2_Iy+V2_Ix；
分别对所述第一梯度图和所述第二梯度图进行二值化处理，对应获得所述第一图像和所述第二图像。
6.根据权利要求5所述的双光成像***图像配准方法，其特征在于，分别对所述第一梯度图和所述第二梯度图进行二值化处理，对应获得所述第一图像和所述第二图像包括：
对所述第一梯度图进行直方图统计，计算均值mean和均方差sigma，将所述第一梯度图中像素值大于(mean+3*sigma)的像素置1，其余像素置0，得到所述第一图像；
对所述第二梯度图进行直方图统计，计算均值mean和均方差sigma，将所述第二梯度图中像素值大于(mean+3*sigma)的像素置1，其余像素置0，得到所述第二图像。
7.根据权利要求4所述的双光成像***图像配准方法，其特征在于，根据选取出的两个区块包含的边缘特征，将所述目标物的第一波段图像和第二波段图像配准包括：
以偏移向量对选取出的两个区块配准，根据选取出的两个区块包含的边缘特征，获得使选取出的两个区块重合区域最大的偏移向量，根据得到的偏移向量将所述目标物的第一波段图像和第二波段图像配准。
8.一种双光成像***图像配准装置，其特征在于，用于执行权利要求1-7任一项所述的双光成像***图像配准方法。
9.一种双光成像***，其特征在于，包括权利要求8所述的双光成像***图像配准装置。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述双光成像***图像配准方法的步骤。
CN202010255440.7A 2020-04-02 2020-04-02 双光成像***图像配准方法及相关装置 Active CN111311658B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010255440.7A CN111311658B (zh) 2020-04-02 2020-04-02 双光成像***图像配准方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010255440.7A CN111311658B (zh) 2020-04-02 2020-04-02 双光成像***图像配准方法及相关装置

Publications (2)

Publication Number Publication Date
CN111311658A CN111311658A (zh) 2020-06-19
CN111311658B true CN111311658B (zh) 2023-11-07

Family

ID=71147394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010255440.7A Active CN111311658B (zh) 2020-04-02 2020-04-02 双光成像***图像配准方法及相关装置

Country Status (1)

Country Link
CN (1) CN111311658B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111879412B (zh) * 2020-08-03 2021-12-21 烟台艾睿光电科技有限公司 制冷型红外探测器的图像生成方法、装置及可读存储介质
CN112561837A (zh) * 2020-11-25 2021-03-26 广州紫川电子科技有限公司 基于双光融合的目标物显示方法、***、电子设备及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169921A (zh) * 2017-04-26 2017-09-15 国网上海市电力公司 一种双光谱的图像配准***和方法
CN107301661A (zh) * 2017-07-10 2017-10-27 中国科学院遥感与数字地球研究所 基于边缘点特征的高分辨率遥感图像配准方法
CN107680112A (zh) * 2017-10-16 2018-02-09 北京邮电大学 图像配准方法
CN107689058A (zh) * 2017-09-01 2018-02-13 哈尔滨理工大学 一种基于surf特征提取的图像配准算法
CN107862708A (zh) * 2017-11-08 2018-03-30 合肥工业大学 一种sar与可见光图像配准方法
CN107977924A (zh) * 2016-10-21 2018-05-01 杭州海康威视数字技术股份有限公司 一种基于双传感器成像的图像处理方法、***
CN108198157A (zh) * 2017-12-22 2018-06-22 湖南源信光电科技股份有限公司 基于显著目标区域提取和nsst的异源图像融合方法
CN109118525A (zh) * 2017-06-23 2019-01-01 北京遥感设备研究所 一种双波段红外图像空域配准方法
CN109741376A (zh) * 2018-11-19 2019-05-10 天津津航技术物理研究所 一种基于改进ransac算法的中、长波红外图像配准方法
CN114217313A (zh) * 2021-12-24 2022-03-22 中国科学院空天信息创新研究院 多波段角度特征图生成方法、装置、设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977924A (zh) * 2016-10-21 2018-05-01 杭州海康威视数字技术股份有限公司 一种基于双传感器成像的图像处理方法、***
CN107169921A (zh) * 2017-04-26 2017-09-15 国网上海市电力公司 一种双光谱的图像配准***和方法
CN109118525A (zh) * 2017-06-23 2019-01-01 北京遥感设备研究所 一种双波段红外图像空域配准方法
CN107301661A (zh) * 2017-07-10 2017-10-27 中国科学院遥感与数字地球研究所 基于边缘点特征的高分辨率遥感图像配准方法
CN107689058A (zh) * 2017-09-01 2018-02-13 哈尔滨理工大学 一种基于surf特征提取的图像配准算法
CN107680112A (zh) * 2017-10-16 2018-02-09 北京邮电大学 图像配准方法
CN107862708A (zh) * 2017-11-08 2018-03-30 合肥工业大学 一种sar与可见光图像配准方法
CN108198157A (zh) * 2017-12-22 2018-06-22 湖南源信光电科技股份有限公司 基于显著目标区域提取和nsst的异源图像融合方法
CN109741376A (zh) * 2018-11-19 2019-05-10 天津津航技术物理研究所 一种基于改进ransac算法的中、长波红外图像配准方法
CN114217313A (zh) * 2021-12-24 2022-03-22 中国科学院空天信息创新研究院 多波段角度特征图生成方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111311658A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN111145238B (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
CN111179358B (zh) 标定方法、装置、设备及存储介质
US9070042B2 (en) Image processing apparatus, image processing method, and program thereof
CN109784250B (zh) 自动引导小车的定位方法和装置
CN109961417B (zh) 图像处理方法、装置及移动装置控制方法
CN109447908A (zh) 一种基于立体视觉的钢卷识别定位方法
CN110033407B (zh) 一种盾构隧道表面图像标定方法、拼接方法及拼接***
CN111950426A (zh) 目标检测方法、装置及运载工具
CN111311658B (zh) 双光成像***图像配准方法及相关装置
CN110956661A (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
KR101589167B1 (ko) 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법
CN112927306B (zh) 拍摄装置的标定方法、装置及终端设备
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
JP6188052B2 (ja) 情報システム及びサーバー
CN113012197A (zh) 一种适用于动态交通场景的双目视觉里程计定位方法
CN115953483A (zh) 一种参数标定方法、装置、计算机设备及存储介质
CN110120013A (zh) 一种点云拼接方法及装置
CN111382591A (zh) 一种双目相机测距校正方法及车载设备
CN114998773A (zh) 适用于无人机***航拍图像的特征误匹配剔除方法及***
CN114445583A (zh) 数据处理方法、装置、电子设备及存储介质
CN110245674B (zh) 模板匹配方法、装置、设备及计算机存储介质
CN115841517A (zh) 一种基于dic双圆交比的结构光标定方法和装置
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
CN116385994A (zh) 一种三维道路线提取方法及相关设备
KR101574195B1 (ko) 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200619

Assignee: INFIRAY TECHNOLOGIES CO.,LTD.

Assignor: Yantai Airui Photo-Electric Technology Co.,Ltd.

Contract record no.: X2024980006380

Denomination of invention: Image registration method and related devices for dual light imaging systems

Granted publication date: 20231107

License type: Common License

Record date: 20240530

EE01 Entry into force of recordation of patent licensing contract