CN114399540A - 一种基于二维迭代最近点的异源图像配准方法及*** - Google Patents

一种基于二维迭代最近点的异源图像配准方法及*** Download PDF

Info

Publication number
CN114399540A
CN114399540A CN202111512753.7A CN202111512753A CN114399540A CN 114399540 A CN114399540 A CN 114399540A CN 202111512753 A CN202111512753 A CN 202111512753A CN 114399540 A CN114399540 A CN 114399540A
Authority
CN
China
Prior art keywords
image
point
point set
pixel
mapping matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111512753.7A
Other languages
English (en)
Inventor
周凯
欧阳鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Qingwei Intelligent Technology Co ltd
Original Assignee
Jiangsu Qingwei Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Qingwei Intelligent Technology Co ltd filed Critical Jiangsu Qingwei Intelligent Technology Co ltd
Priority to CN202111512753.7A priority Critical patent/CN114399540A/zh
Publication of CN114399540A publication Critical patent/CN114399540A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像处理和计算机视觉技术领域，公开了一种基于二维迭代最近点的异源图像配准方法及***。首先对不同传感器输出的图像进行边缘检测，得到二值图像及对应的像素点集；然后利用初始化映射矩阵对二值图像上的像素点集进行映射投影，找到投影后的像素最近点；接着利用最近点更新映射矩阵并继续投影，循环迭代更新，并记录每一次更新后的映射矩阵的投影误差之和；最后进行判断，如果相邻重投影误差之和小于设定的阈值，则输出对应的映射矩阵作为最终结果。本发明充分考虑了待配准的图像整体轮廓相似但亮度细节不同等特点，设计了直接在提取到的图像轮廓上进行配准的技术方案，能有效解决异源图像配准时精度低、误差大的问题，提高了算法对图像差异的鲁棒性。

Description

一种基于二维迭代最近点的异源图像配准方法及***
技术领域
本发明属于图像处理和计算机视觉技术领域，具体涉及一种基于二维迭代最近点的异源图像配准方法及***。
背景技术
异源图像配准是寻找同一场景中的两幅或者多幅图像像素点的对应关系，以达到精确图形处理的目的。但在实际的任务中，由于获取设备和获取环境的不同，容易造成待匹配的图像在分辨率和细节上存在的差异，从而导致常用的图像配准方法，难以获得准确的结果。
发明内容
针对常用的图像配准方法存在精度低、误差大的问题。本发明专利充分考虑了待配准的图像整体轮廓相似但亮度细节不同等特点，提出了直接在提取到的图像轮廓上进行配准的技术方案，来提高算法对图像差异的鲁棒性。
为了达到上述目的，本发明采用以下技术方案予以实现。
基于二维迭代最近点的异源图像配准方法及***，包括以下步骤：
步骤S1，通过一个第一类型图像采集装置采集一个设定目标的图像，获得一个图像A，通过一个第二类型图像采集装置采集所述设定目标的图像，获得一个图像B；
具体地，第一类型图像采集装置是红外摄像机；第二类型图像采集装置是RBG相机，
步骤S2，对图像A利用Sobel算子进行边缘检测，得到二值图像A及对应的像素点集P；对图像B利用Sobel算子进行边缘检测，得到二值图像B及对应的像素点集Q；
具体地，步骤S2包括步骤：
步骤S201，由红外摄像机输出得到图像A，由RBG相机输出得到图像B，作为边缘检测的输入图像；
步骤S202，分别在横向及纵向上，以两组3x3的矩阵与输入图像作卷积和运算，得到横向及纵向上的亮度差分近似值；
步骤S203，再求出输入图像的梯度幅值M；
步骤S204，将M与设定的边缘节点阈值进行比较，如果M大于边缘节点阈值，则将其作为边缘节点；
步骤S205，由边缘检测后的结果得到二值图像A和二值图像B，二值图像A上所有值为1的像素点构成点集P，二值图像B上所有值为1的像素点构成点集Q；
步骤S3，初始化迭代次数k＝0，预先假定映射矩阵Hk，并将点集P中的所有点利用映射矩阵Hk投影到二值图像B上，得到点集Pk+1。
步骤S4，在点集Q中寻找与点集Pk+1距离最近的像素点集Rk+1。
具体地，步骤S4包括步骤：
步骤S401，对pi的像素点坐标(xi’,yi’)进行取整得到round(xi’,yi’)；
步骤S402，以整像素坐标round(xi’,yi’)为中心选定x*x的图像块，并对图像矩阵进行遍历搜索，并判断图像中是否含有点集Q中的像素点；
步骤S403，在步骤步骤S402的基础上，继续扩大图像块，寻找图像块中含有点集Q的像素点，直到当前图像块中包含点集Q的像素点；
步骤S404，计算出点集Q中像素点坐标与pi像素点坐标(xi’,yi’)之间的距离，并取距离最小者作为qi，所有的qi构成点集Rk+1。
步骤S5，计算点集P到点集Rk+1的映射矩阵Hk+1，并记录所有点的重投影最小误差之和dk+1。
具体地，步骤S5包括步骤：
步骤S501，根据点集P和点集Rk+1中的像素坐标值，通过直接线性变换法(DLT)，计算出映射矩阵的初始解；
步骤S502，以初始解为起始点，以重投影误差之和为目标函数，利用Levenberg-Marquardt算法计算得到映射矩阵的最优解作为Hk+1；
步骤S503，记录对应的重投影最小误差之和dk+1。
步骤S6，利用映射矩阵Hk+1将点集P中的所有点投影到二值图像B上，得到点集Pk+2；
步骤S7，在点集Q中寻找与点集Pk+2距离最近的像素点集Rk+2；
步骤S8，计算点集P到点集Rk+2的映射矩阵Hk+2，并记录所有点的重投影最小误差之和dk+2；
步骤S9，设定收敛阈值T，更新迭代次数k＝k+1，当关系式dk+1-dk+2<T成立时，输出对应的映射矩阵Hk+2，作为图像A和图像B配准时的最优映射矩阵。
本发明提出了一种基于二维迭代最近点的异源图像配准方法及***，与现有的技术相比，具有以下有益效果：
本发明充分考虑了待配准的图像整体轮廓相似但亮度细节不同等特点，采用映射矩阵投影和直接线性变换的计算方法，来对异源图像进行配准，能有效减少光照条件和成像机制对配准算法的影响，较好地解决异源图像之间的匹配问题。
附图说明
图1是本发明实施例中的实现流程图。
具体实施方式
为了使本发明的目的、特征能够更加的明显和易懂，下面通过实施例并结合附图对本技术方案进行详细说明。
一种基于二维迭代最近点的异源图像配准方法及***，如图1所示，包括以下步骤：
步骤S1，通过一个第一类型图像采集装置采集一个设定目标的图像，获得一个图像A，通过一个第二类型图像采集装置采集所述设定目标的图像，获得一个图像B。
在本实施例中，第一类型图像采集装置是红外摄像机；第二类型图像采集装置是RBG相机。
步骤S2，对图像A利用Sobel算子进行边缘检测，得到二值图像A及对应的像素点集P；对图像B利用Sobel算子进行边缘检测，得到二值图像B及对应的像素点集Q，具体步骤如下：
首先，由红外摄像机输出得到图像A，由RBG相机输出得到图像B，作为边缘检测的输入图像。
接着，分别在横向及纵向上，以两组3x3的矩阵与输入图像作卷积和运算，得到横向及纵向上的亮度差分近似值：
Figure BDA0003405414020000031
Figure BDA0003405414020000032
然后，再求出输入图像的梯度幅值M，计算公式为：
Figure BDA0003405414020000033
其中，Gx和Gy分别表示水平方向的亮度差分近似值以及竖直方向上的亮度差分近似值，*表示卷积运算。
其次，将M与设定的边缘节点阈值进行比较，如果M大于边缘节点阈值，则将其作为边缘节点。
最后，由边缘检测后的结果得到二值图像A和二值图像B，二值图像A上所有值为1的像素点构成点集P，二值图像B上所有值为1的像素点构成点集Q。
步骤S3，初始化迭代次数k＝0，预先假定映射矩阵
Figure BDA0003405414020000034
进一步地，将点集P中的所有点利用映射矩阵Hk投影到二值图像B上，得到点集Pk+1，投影的计算公式为：
Figure BDA0003405414020000041
其中，(xi,yi)表示点集P中的像素点的坐标值，i＝1,…,N，表示点集P中像素点的个数，(x'i,y'i),是投影后的点的像素坐标。
步骤S4，在点集Q中寻找与点集Pk+1距离最近的像素点集Rk+1，具体步骤如下：
首先，对pi的像素点坐标(xi’,yi’)进行取整得到round(xi’,yi’)。
优选地，选取round()函数作为取整函数。
接着，以整像素坐标round(xi’,yi’)为中心选定x*x的图像块，并对图像矩阵进行遍历搜索，并判断图像中是否含有点集Q中的像素点。
然后，在步骤步骤S402的基础上，继续扩大图像块。
优选地，扩大图像块的计算公式为：
x＝2n+1
其中，n表示图像块扩大次数。
进一步地，寻找图像块中含有点集Q的像素点，直到当前图像块中包含点集Q的像素点。
最后，计算出点集Q中像素点坐标与pi像素点坐标(xi’,yi’)之间的距离，并取距离最小者作为qi，所有的qi构成点集Rk+1。
步骤S5，计算点集P到点集Rk+1的映射矩阵Hk+1，并记录所有点的重投影最小误差之和dk+1，具体步骤如下：
首先，根据点集P和点集Rk+1中的像素坐标值，通过直接线性变换法(DLT)，计算出映射矩阵的初始解。
然后，以初始解为起始点，以重投影误差之和为目标函数，利用Levenberg-Marquardt算法计算得到映射矩阵的最优解作为Hk+1。
最后，记录对应的重投影最小误差之和dk+1，最小误差之和dk+1的计算方式为：
Figure BDA0003405414020000042
其中，(ui,vi)是点集Rk+1中的像素点qi的像素坐标，
Figure BDA0003405414020000043
是点集P中的像素点经过映射矩阵Hk+1投影到二值图像B上的点的像素坐标。
步骤S6，利用映射矩阵Hk+1将点集P中的所有点投影到二值图像B上，得到点集Pk+2。
步骤S7，在点集Q中寻找与点集Pk+2距离最近的像素点集Rk+2。
步骤S8，计算点集P到点集Rk+2的映射矩阵Hk+2，并记录所有点的重投影最小误差之和dk+2。
步骤S9，设定收敛阈值T，优选地，收敛阈值T的计算公式为：
T＝0.1*N
其中，N为像素点的个数。
进一步地，继续更新迭代次数k＝k+1，当关系式dk+1-dk+2<T成立时，输出对应的映射矩阵Hk+2，作为图像A和图像B配准时的最优映射矩阵。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于二维迭代最近点的异源图像配准方法及***，其特征在于，包括步骤：
步骤S1，通过一个第一类型图像采集装置采集一个设定目标的图像，获得一个图像A，通过一个第二类型图像采集装置采集所述设定目标的图像，获得一个图像B；
步骤S2，对图像A利用Sobel算子进行边缘检测，得到二值图像A及对应的像素点集P；对图像B利用Sobel算子进行边缘检测，得到二值图像B及对应的像素点集Q；
步骤S3，初始化迭代次数k＝0，预先假定映射矩阵Hk，并将点集P中的所有点利用映射矩阵Hk投影到二值图像B上，得到点集Pk+1；
步骤S4，在点集Q中寻找与点集Pk+1距离最近的像素点集Rk+1；
步骤S5，计算点集P到点集Rk+1的映射矩阵Hk+1，并记录所有点的重投影最小误差之和dk+1；
步骤S6，利用映射矩阵Hk+1将点集P中的所有点投影到二值图像B上，得到点集Pk+2；
步骤S7，在点集Q中寻找与点集Pk+2距离最近的像素点集Rk+2；
步骤S8，计算点集P到点集Rk+2的映射矩阵Hk+2，并记录所有点的重投影最小误差之和dk+2；
步骤S9，设定收敛阈值T，更新迭代次数k＝k+1，当关系式dk+1-dk+2<T成立时，输出对应的映射矩阵Hk+2，作为图像A和图像B配准时的最优映射矩阵。
2.根据权利要求1所述的基于二维迭代最近点的异源图像配准方法及***，其特征在于，所述第一类型图像采集装置是红外摄像机；所述第二类型图像采集装置是RBG相机。
3.根据权利要求1所述的基于二维迭代最近点的异源图像配准方法及***，其特征在于，步骤S2包括步骤：
步骤S201，由红外摄像机输出得到图像A，由RBG相机输出得到图像B，作为边缘检测的输入图像；
步骤S202，分别在横向及纵向上，以两组3x3的矩阵与输入图像作卷积和运算，得到横向及纵向上的亮度差分近似值：
Figure FDA0003405414010000011
Figure FDA0003405414010000012
步骤S203，再求出输入图像的梯度幅值M，计算公式为：
Figure FDA0003405414010000021
其中，Gx和Gy分别表示水平方向的亮度差分近似值以及竖直方向上的亮度差分近似值，*表示卷积运算，
步骤S204，将M与设定的边缘节点阈值进行比较，如果M大于边缘节点阈值，则将其作为边缘节点；
步骤S205，由边缘检测后的结果得到二值图像A和二值图像B，二值图像A上所有值为1的像素点构成点集P，二值图像B上所有值为1的像素点构成点集Q。
4.根据权利要求1所述的基于二维迭代最近点的异源图像配准方法及***，其特征在于，所述步骤S3中的映射矩阵Hk，矩阵方程式
Figure FDA0003405414010000022
5.根据权利要求1所述的基于二维迭代最近点的异源图像配准方法及***，其特征在于，所述步骤S3中的将点集P中的所有点利用映射矩阵Hk投影到二值图像B上，具体计算公式为：
Figure FDA0003405414010000023
其中，(xi,yi)表示点集P中的像素点的坐标值，i＝1,…,N，表示点集P中像素点的个数，(x'i,y'i),是投影后的点的像素坐标。
6.根据权利要求1所述的基于二维迭代最近点的异源图像配准方法及***，其特征在于，步骤S4包括步骤：
步骤S401，对pi的像素点坐标(xi’,yi’)进行取整得到round(xi’,yi’)；
步骤S402，以整像素坐标round(xi’,yi’)为中心选定x*x的图像块，并对图像矩阵进行遍历搜索，并判断图像中是否含有点集Q中的像素点；
步骤S403，在步骤步骤S402的基础上，继续扩大图像块，寻找图像块中含有点集Q的像素点，直到当前图像块中包含点集Q的像素点；
步骤S404，计算出点集Q中像素点坐标与pi像素点坐标(xi’,yi’)之间的距离，并取距离最小者作为qi，所有的qi构成点集Rk+1。
7.根据权利要求6所述的基于二维迭代最近点的异源图像配准方法及***，其特征在于，所述扩大图像块的方法，具体计算公式为：
x＝2n+1
其中，n表示图像块扩大次数。
8.根据权利要求1所述的基于二维迭代最近点的异源图像配准方法及***，其特征在于，步骤S5包括步骤：
步骤S501，根据点集P和点集Rk+1中的像素坐标值，通过直接线性变换法(DLT)，计算出映射矩阵的初始解；
步骤S502，以初始解为起始点，以重投影误差之和为目标函数，利用Levenberg-Marquardt算法计算得到映射矩阵的最优解作为Hk+1；
步骤S503，记录对应的重投影最小误差之和dk+1。
9.根据权利要求1所述的基于二维迭代最近点的异源图像配准方法及***，其特征在于，所述步骤S5中记录所有点的重投影最小误差之和dk+1，具体计算公式为：
Figure FDA0003405414010000031
其中，(ui,vi)是点集Rk+1中的像素点qi的像素坐标，
Figure FDA0003405414010000032
是点集P中的像素点经过映射矩阵Hk+1投影到二值图像B上的点的像素坐标。
10.根据权利要求1所述的基于二维迭代最近点的异源图像配准方法及***，其特征在于，所述步骤S8中的设定收敛阈值T，具体计算公式为：
T＝0.1*N
其中，N为像素点的个数。
CN202111512753.7A 2021-12-10 2021-12-10 一种基于二维迭代最近点的异源图像配准方法及*** Pending CN114399540A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111512753.7A CN114399540A (zh) 2021-12-10 2021-12-10 一种基于二维迭代最近点的异源图像配准方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111512753.7A CN114399540A (zh) 2021-12-10 2021-12-10 一种基于二维迭代最近点的异源图像配准方法及***

Publications (1)

Publication Number Publication Date
CN114399540A true CN114399540A (zh) 2022-04-26

Family

ID=81227433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111512753.7A Pending CN114399540A (zh) 2021-12-10 2021-12-10 一种基于二维迭代最近点的异源图像配准方法及***

Country Status (1)

Country Link
CN (1) CN114399540A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863861A (zh) * 2023-09-05 2023-10-10 欣瑞华微电子(上海)有限公司 基于非显性点判断的图像处理方法、设备及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863861A (zh) * 2023-09-05 2023-10-10 欣瑞华微电子(上海)有限公司 基于非显性点判断的图像处理方法、设备及可读存储介质
CN116863861B (zh) * 2023-09-05 2023-11-24 欣瑞华微电子(上海)有限公司 基于非显性点判断的图像处理方法、设备及可读存储介质

Similar Documents

Publication Publication Date Title
WO2021115071A1 (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
TWI729995B (zh) 基於場景之拍攝圖像而產生合併、融合三維點雲
JP4371130B2 (ja) 画像のセットから合成画像を生成するための方法
CN104685513A (zh) 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
CN109118544B (zh) 基于透视变换的合成孔径成像方法
CN110909750B (zh) 图像差异检测方法及装置、存储介质、终端
CN113920205B (zh) 一种非同轴相机的标定方法
KR100951309B1 (ko) 광학식 모션 캡처 장비를 위한 다중 카메라 보정 방법
CN112200203A (zh) 斜视场下弱相关散斑图像的匹配方法
CN112946679B (zh) 一种基于人工智能的无人机测绘果冻效应检测方法及***
Cvišić et al. Recalibrating the KITTI dataset camera setup for improved odometry accuracy
CN110598795A (zh) 图像差异检测方法及装置、存储介质、终端
WO2021035627A1 (zh) 获取深度图的方法、装置及计算机存储介质
JP6956051B2 (ja) 画像処理装置、運転支援システム、画像処理方法及びプログラム
CN111553845A (zh) 一种基于优化的三维重建的快速图像拼接方法
CN112929626A (zh) 一种基于智能手机影像的三维信息提取方法
CN113793266A (zh) 一种多目机器视觉图像拼接方法、***及存储介质
JP2017130067A (ja) 衛星映像の位置正確度改善のための自動映像処理システム及びその方法
CN114399540A (zh) 一种基于二维迭代最近点的异源图像配准方法及***
CN113808103A (zh) 基于图像处理的路面坑洼自动检测方法、设备和存储介质
CN112017259B (zh) 一种基于深度相机与热像仪的室内定位与建图方法
CN117333367A (zh) 基于图像局部特征的图像拼接方法、***、介质及装置
CN113723432B (zh) 一种基于深度学习的智能识别、定位追踪的方法及***
CN116912333B (zh) 一种基于作业围栏标定杆的相机姿态自标定方法
Elhashash et al. Investigating spherical epipolar rectification for multi-view stereo 3d reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication