CN113393506B - 图像配准方法及相关装置、设备 - Google Patents
图像配准方法及相关装置、设备 Download PDFInfo
- Publication number
- CN113393506B CN113393506B CN202110713169.1A CN202110713169A CN113393506B CN 113393506 B CN113393506 B CN 113393506B CN 202110713169 A CN202110713169 A CN 202110713169A CN 113393506 B CN113393506 B CN 113393506B
- Authority
- CN
- China
- Prior art keywords
- image
- point
- verification result
- feature
- coordinate information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像配准方法及相关装置、设备,其中,图像配准方法包括:获取待配准图像和目标图像,且目标图像为曲面,并将目标图像展开为平面以得到参考图像;提取参考图像中的第一特征点及其第一特征表示,并提取待配准图像中的第二特征点及其第二特征表示;基于预设模型的坐标系,获取目标图像中与第一特征点对应的像素点在坐标系中的第一坐标信息,并获取第二特征点在待配准图像中的第二坐标信息,且预设模型的坐标依据曲面建立;利用第一特征点的第一坐标信息和第一特征表示以及第二特征点的第二坐标信息和第二特征表示,得到目标图像和待配准图像之间的配准参数。上述方案,能够实现曲面图像的配准。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像配准方法及相关装置、设备。
背景技术
随着电子信息技术的发展,增强现实(Augmented Reality,AR)、虚拟现实(Virtual Reality,VR)等成为计算机视觉领域中的应用热点,通过相机作为输入设备,并利用图像算法处理,可以数字化周围环境,从而获取与真实环境进行交互的使用体验。
图像配准是AR、VR等计算机视觉领域中的研究重点,通过图像配准技术可以获取相机拍摄到的待配准图像与目标图像之间的配准参数,从而后续可以通过配准参数,得到目标图像在待配准图像中的注册位置。目前,现有的图像配准技术主要面对平面图像之间的配准。然而,在诸多场景中均可能存在目标图像为曲面的情况。有鉴于此,如何实现曲面图像的配准成为亟待解决的问题。
发明内容
本申请提供一种图像配准方法及相关装置、设备。
本申请第一方面提供了一种图像配准方法,包括:获取待配准图像和目标图像,且目标图像为曲面,并将目标图像展开为平面以得到参考图像;提取参考图像中的第一特征点及其第一特征表示,并提取待配准图像中的第二特征点及其第二特征表示;基于预设模型的坐标系,获取目标图像中与第一特征点对应的像素点在坐标系中的第一坐标信息,并获取第二特征点在待配准图像中的第二坐标信息,且预设模型的坐标系依据曲面建立;利用第一特征点的第一坐标信息和第一特征表示以及第二特征点的第二坐标信息和第二特征表示,得到目标图像和待配准图像之间的配准参数。
因此,通过获取待配准图像和目标图像,且目标图像为曲面,并将目标图像展开为平面以得到参考图像,从而提取参考图像中的第一特征点及其第一特征表示,并提取待配准图像中的第二特征点及其第二特征表示,在此基础上,再基于预设模型的坐标系,获取目标图像中与第一特征点对应的像素点在坐标系中的第一坐标信息,并获取第二特征点在待配准图像中的第二坐标信息,且预设模型的坐标系依据曲面建立,从而利用第一特征点的第一坐标信息和第二特征表示以及第二特征点的第二坐标信息和第二特征表示,得到目标图像和待配准图像之间的配准参数,故能够通过曲面图像展开、预设模型吻合等过程,实现曲面图像的配准。
其中,将目标图像展开为平面以得到参考图像,包括:将目标图像从展开线展开为平面,得到展开图像;其中,展开图像的两个边缘线均为展开线;基于展开图像,得到参考图像。
因此,将目标图像从展开线展开为平面,得到展开图像,且展开图像的两个边缘线均为展开线,并基于展开图像,得到参考图像,能够快速地将曲面图像展开为平面图像,有利于提高曲面图像的配准效率。
其中,基于展开图像,得到参考图像,包括:将两个边缘线中的至少一者分别作为起始位置,并从起始位置开始将展开图像延伸预设尺寸的延伸区域,得到参考图像;其中,边缘线一侧源自延伸区域的图像信息与另一边缘线一侧源自展开图像的图像信息至少部分相同。
因此,将两个边缘线中的至少一者分别作为起始位置,并从起始位置开始将展开图像延伸预设尺寸的延伸区域,得到参考图像,且边缘线一侧源自延伸区域的图像信息与另一边缘线一侧源自展开图像的图像信息至少部分相同,故展开为平面所得到的参考图像中包含完整且连续的图像信息,从而能够有利于提高后续所提取到的第一特征点及其第一特征表示的准确性,进而能够有利于提高配准参数的准确性。
其中,目标图像的展开线与坐标系的X轴或Y轴相交;和/或,预设模型的高线与坐标系的Z轴重合;和/或,坐标系的原点为以下任一者:预设模型的中心、预设模型底面的中心、预设模型顶面的中心。
因此,通过将目标图像的展开线设置为与坐标系的X轴或Y轴相交,能够有利于降低获取第一坐标信息的复杂度;通过将预设模型的高线与坐标系的Z轴设置为重合,能够有利于降低获取第一坐标信息的复杂度;通过将坐标系的原点设置为以下任一者:预设模型的中心、预设模型底面的中心、预设模型顶面的中心,能够有利于降低获取第一坐标信息的复杂度。
其中,利用第一特征点的第一坐标信息和第一特征表示以及第二特征点的第二坐标信息和第二特征表示,得到目标图像和待配准图像之间的配准参数,包括:利用第一特征点的第一特征表示和第二特征点的第二特征表示,得到第一特征点和第二特征点之间的特征相似度;将满足预设条件的特征相似度对应的第一特征点和第二特征点,作为一组特征点对;基于特征点对中第一特征点的第一坐标信息和第二特征点的第二坐标信息,得到配准参数。
因此,通过利用第一特征点的第一特征表示和第二特征点的第二特征表示,得到第一特征点和第二特征点之间的特征相似度,从而将满足预设条件的特征相似度对应的第一特征点和第二特征点,作为一组特征点对,进而基于特征点对中第一特征点的第一坐标信息和第二特征点的第二坐标信息,得到配准参数,即基于满足预设条件的特征相似度对应的第一特征点和第二特征点所构成的特征点对,获取配准参数,故能够有利于提高配准参数的准确性。
其中,在利用第一特征点的第一坐标信息和第一特征表示以及第二特征点的第二坐标信息和第二特征表示,得到目标图像和待配准图像之间的配准参数之后,方法还包括:获取配准参数的校验结果;其中,校验结果包括第一校验结果和第二校验结果中的至少一者,第一校验结果是基于待配准图像中的第一关键点在坐标系中的第三坐标信息校验得到的,第二校验结果是利用参考图像中的第二关键点的像素值校验得到的;基于校验结果,确定配准参数是否准确。
因此,在得到目标图像和待配准图像之间的配准参数之后,进一步获取配准参数的校验结果,且校验结果包括第一校验结果和第二校验结果中的至少一者,第一校验结果是基于待配准图像中的第一关键点在坐标系中的第三坐标信息校验得到的,第二校验结果是利用参考图像中的第二关键点的像素值校验得到的,并基于校验结果,确定配准参数是否准确,故能够基于第一校验结果和第二校验结果中的至少一者实现对配准参数的校验,进而能够有利于进一步提高配准参数的准确性。
其中,校验结果包括第一校验结果,且预设模型为圆柱体;获取配准参数的校验结果,包括:获取待配准图像中圆柱体侧面边缘的消失点,作为第一关键点;利用配准参数,获取第一关键点的第三坐标信息;基于第一关键点的第三坐标信息,获取消失点向量;利用消失点向量与坐标系的坐标轴之间的夹角,得到第一校验结果。
因此,在校验结果包括第一校验结果,且预设模型为圆柱体的情况下,获取待配准图像中圆柱体侧面边缘的消失点,作为第一关键点,并利用配准参数,获取第一关键点的第三坐标信息,从而基于第一关键点的第三坐标信息,获取消失点向量,进而利用消失点向量与坐标系的坐标轴之间的夹角,得到第一校验结果,故能够在预设模型为圆柱体的情况下,通过圆柱体侧面边缘的消失点来校验配准参数,即能够从“几何校验维度”对配准参数进行校验,故能够有利于提高第一校验结果的准确性。
其中,预设模型的高线与坐标系的Z轴重合;基于第一关键点的第三坐标信息,获取消失点向量,包括:基于第三坐标信息和坐标系的原点,得到消失点向量;利用消失点向量与坐标系的坐标轴之间的夹角,得到第一校验结果,包括:获取消失点向量与Z轴之间的夹角,并基于夹角与预设夹角阈值之间的大小关系,得到第一校验结果。
因此,通过将预设模型的高线设置为与坐标系的Z轴重合,从而基于第三坐标信息和坐标系的原点,得到消失点向量,并获取消失点向量与Z轴之间的夹角,从而基于夹角与预设夹角阈值之间的大小关系,得到第一校验结果,能够有利于提高第一校验结果的准确性。
其中,校验结果包括第二校验结果;获取配准参数的校验结果,包括:在目标图像的目标区域中,选取若干像素点作为第二关键点;其中,目标区域的图像信息包含于待配准图像内;利用配准参数,确定待配准图像中与第二关键点对应的第三关键点;基于第二关键点以及对应的第三关键点之间的像素值差异,得到第二校验结果。
因此,在校验结果包括第二校验结果的情况下,在目标图像的目标区域中,选取若干像素点作为第二关键点,且目标区域的图像信息包含于待配准图像内,在此基础上,利用配准参数,确定待配准图像中与第二关键点对应的第三关键点,并基于第二关键点以及对应的第三关键点之间的像素值差异,得到第二校验结果,故能够基于在参考图像中所选取的第二关键点以及待配准图像中与第二关键点对应的第三关键点之间的像素值差异,得到第二校验结果,故能够有利于降低获取第二校验结果的复杂度,并提高第二校验结果的准确性。
其中,在目标图像的目标区域中,选取若干像素点作为第二关键点,包括:在目标区域中每隔第一数值行像素确定一条第一网格线,并在目标区域中每隔第二数值列像素确定一条第二网格线;将第一网格线与第二网格线之间的交点,作为第二关键点。
因此,通过在目标区域中每隔第一数值行像素确定一条第一网格线,并在目标区域中每隔第二数值列像素确定一条第二网格线,从而将第一网格线与第二网格线之间的交点,作为第二关键点,能够有利于提高第二校验结果的准确性。
其中,校验结果包括第一校验结果和第二校验结果,且第一校验结果和第二校验结果均包括配准参数是否校验为准确;基于校验结果,确定配准参数是否准确,包括:在第一校验结果和第二校验结果均包括配准参数校验为准确的情况下,确定配准参数准确;在第一校验结果和第二校验结果中任一者包括配准参数校验为不准确的情况下,确定配准参数不准确。
因此,在校验结果包括第一校验结果和第二校验结果,且第一校验结果和第二校验结果均包括配准参数是否校验为准确的情况下,若第一校验结果和第二校验结果均包括配准参数校验为准确,则确定配准参数准确性,而若第一校验结果和第二校验结果中任一者包括配准参数校验为不准确,则确定配准参数不准确,即仅在第一校验结果和第二校验结果均校验配准参数准确的情况下,才确定配准参数准确,故能够有利于提高校验结果的准确性。
本申请第二方面提供了一种图像配准装置,包括:图像获取模块、图像展开模块、特征提取模块、坐标获取模块和参数获取模块,图像获取模块,用于获取待配准图像和目标图像,其中,目标图像为曲面;图像展开图像,用于将目标图像展开为平面以得到参考图像;特征提取模块,用于提取参考图像中的第一特征点及其第一特征表示,并提取待配准图像中的第二特征点及其第二特征表示;坐标获取模块,用于基于预设模型的坐标系,获取目标图像中与第一特征点对应于目标图像中的像素点在坐标系中的第一坐标信息,并获取第二特征点在待配准图像中的第二坐标信息,其中,预设模型的坐标系依据曲面建立;参数获取模块,用于利用第一特征点的第一坐标信息和第一特征表示以及第二特征点的第二坐标信息和第二特征表示,得到目标图像和待配准图像之间的配准参数。
本申请第三方面提供了一种电子设备,包括相互耦接的存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述第一方面中的图像配准方法。
本申请第四方面提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述第一方面中的图像配准方法。
上述方案,通过获取待配准图像和目标图像,且目标图像为曲面,并将目标图像展开为平面以得到参考图像,从而提取参考图像中的第一特征点及其第一特征表示,并提取待配准图像中的第二特征点及其第二特征表示,在此基础上,再基于预设模型的坐标系,获取目标图像中与第一特征点对应的像素点在坐标系中的第一坐标信息,并获取第二特征点在待配准图像中的第二坐标信息,且预设模型的坐标系依据曲面建立,从而利用第一特征点的第一坐标信息和第二特征表示以及第二特征点的第二坐标信息和第二特征表示,得到目标图像和待配准图像之间的配准参数,故能够通过曲面图像展开、预设模型吻合等过程,实现曲面图像的配准。
附图说明
图1是本申请图像配准方法一实施例的流程示意图;
图2是目标图像展开为参考图像一实施例的状态示意图;
图3是预设模型的坐标系一实施例的示意图;
图4是本申请图像配准方法另一实施例的流程示意图;
图5是本申请图像配准装置一实施例的框架示意图;
图6是本申请电子设备一实施例的框架示意图;
图7是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定***结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“***”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。
请参阅图1,图1是本申请图像配准方法一实施例的流程示意图。具体而言,可以包括如下步骤:
步骤S11:获取待配准图像和目标图像。
本公开实施例中,目标图像为曲面。具体地,目标图像可以根据实际应用需要进行设置。例如,目标图像可以是立柱上的图像;或者,目标图像可以是足球等球体上的图像;或者,目标图像也可以是甜筒上的图像,在此不做限定。
在一个实施场景中,待配准图像可以是相机拍摄到的图像。例如,在AR、VR等应用场景中,待配准图像可以是诸如手机、平板电脑、智能眼镜等电子设备所拍摄到的图像;或者,在视频监控场景中,待配准图像可以是监控相机所拍摄到的图像,在此不做限定。其他场景可以以此类推,在此不再一一举例。
步骤S12:将目标图像展开为平面以得到参考图像。
在一个实施场景中,可以将目标图像从展开线展开为平面,得到展开图像,且展开图像的两个边缘线均为展开线,在此基础上,可以直接将展开图像,作为参考图像。以目标图像为立柱等圆柱体侧面上的图像为例,可以将圆柱体侧面边缘作为展开线,在此基础上,可以将目标图像展开为平面,得到矩形的参考图像,且参考图像的两个边缘线(即矩形的其中一组对边)为展开线。其他情况可以以此类推,在此不再一一举例。
在另一个实施场景中,为了提高后续在参考图像中所提取得到的第一特征点及其第一特征表示的准确性,可以将目标图像从展开线展开为平面,得到展开图像,且展开图像的两个边缘线均为展开线,再在此基础上,可以进一步将两个边缘线中的至少一者分别作为起始位置,并从起始位置开始将展开图像延伸预设尺寸的延伸区域,得到参考图像,且边缘线一侧源自延伸区域的图像信息与另一边缘线一侧源自展开图像的图像信息至少部分相同。故此,展开为平面所得到的参考图像中包含完整且连续的图像信息,从而能够有利于提高后续所提取到的第一特征点及其第一特征表示的准确性,进而能够有利于提高配准参数的准确性。
在一个具体的实施场景中,延伸区域的预设尺寸可以根据实际应用情况进行设置。例如,在目标图像的图像尺寸较大的情况下,延伸区域的预设尺寸也可以设置地稍大一些,反之,在目标图像的图像尺寸较小的情况下,延伸区域的预设尺寸也可以设置地稍小一些,即延伸区域的预设尺寸可以与目标图像的图像尺寸为正相关关系。
在另一个具体的实施场景中,可以仅将两个边缘线中的一者,作为起始位置;或者,也可以将两个边缘线均作为起始位置,在此不做限定。
在又一个具体的实施场景中,请结合参阅图2,图2是目标图像展开为参考图像一实施例的状态示意图。如图2所示,目标图像为与圆柱形侧面吻合的曲面图像,目标图像上有一图案“A”,展开线经过图案“A”的中间,将该目标图像从展开线展开可以得到一展开图像(如图2中实线矩形),且在展开图像中靠近左侧边缘线包含图案“A”右半部分的图像信息,而展开图像中靠近右侧边缘线包含图像“A”左半部分的图像信息,由此可见,直接将目标图像从展开线展开为平面所得到的展开图像中,可能并不包含完整且连续的图像信息。故此,可以将左侧边缘线作为起始位置,并从左侧边缘线开始将展开图像延伸预设尺寸的延伸区域,且左侧边缘线一侧源自延伸区域的图像信息与右侧边缘线一侧源自展开图像的图像信息相同,即左侧边缘线一侧源自延伸区域的图像信息和右侧边缘线一侧源自展开图像的图像信息均为图案“A”的左半部分。此外,还可以将右侧边缘线作为起始位置,并从右侧边缘线开始将展开图像延伸预设尺寸的延伸区域,且右侧边缘线一侧源自延伸区域的图像信息与左侧边缘线一侧源自展开图像的图像信息相同,即右侧边缘线一侧源自延伸区域的图像信息和左侧边缘线一侧源自展开图像的图像信息均为图案“A”的右半部分。其他情况可以以此类推,在此不再一一举例。由此可见,经过延伸,展开为平面所得到的参考图像中包含完整且连续的图像信息(如图2所示的参考图像中包含完整的图案“A”),从而能够有利于提高后续所提取到的第一特征点及其第一特征表示的准确性,进而能够有利于提高配准参数的准确性。
也就是说,可以将目标图像从展开线展开为平面,得到展开图像,且展开图像的两个边缘线均为展开线,在此基础上,再基于展开图像,得到参考图像。在其中一种方式中,可以直接将展开图像作为参考图像,在另一种方式中,可以将展开图像进行一定延伸得到参考图像,两种方式可以根据实际情况进行选择,在此不做限定。例如,在目标图像上的图案较为连续或对于图像配准的精度要求较高的情况下,可以优先选择第二种方式,而在目标图像上的图像较为离散且对于图像配准的精度要求较为宽松的情况下,也可以选择第一种方式。
步骤S13:提取参考图像中的第一特征点及其第一特征表示,并提取待配准图像中的第二特征点及其第二特征表示。
在一个实施场景中,可以利用诸如ORB(Oriented FAST and Rotated BRIEF)、SIFT(Scale-Invariant Feature Transform)等特征提取方式提取参考图像中的第一特征点及其第一特征表示,具体可以根据实际需要选取特征提取方式,在此不做限定。
在另一个实施场景中,可以利用诸如ORB、SIFT等特征提取方式提取待配准图像中的第二特征点及其第二特征表示,具体可以根据实际应用需要选取特征提取方式,在此不做限定。
在一个实施场景中,为了提高配准准确性,可以基于参考图像,获取多个第一金字塔图像,且多个第一金字塔图像是分别利用多个缩放系数(如,1.0、0.8、0.6等等)对参考图像进行缩放得到的,在此基础上,可以分别对多个第一金字塔图像进行提取,分别得到多个第一金字塔图像中的第一特征点及其第一特征表示。类似地,可以基于待配准图像,获取多个第二金字塔图像,且多个第二金字塔图像是分别利用多个缩放系数(如,1.0、0.8、0.6等等)对待配准图像进行缩放得到的,在此基础上,可以分别对多个第二金字塔图像进行提取,分别得到多个第二金字塔图像中的第二特征点及其第二特征表示。
需要说明的是,ORB可以用来对图像中的特征点快速创建特征表示(如特征向量),这些特征表示可以用来识别图像中的对象,具体提取过程在此不再赘述;此外,SIFT具有尺度不变性,可以在图像中检测出关键点,是一种局部特征描述,具体提取过程在此不再赘述。
步骤S14:基于预设模型的坐标系,获取目标图像中与第一特征点对应的像素点在坐标系中的第一坐标信息,并获取第二特征点在待配准图像中的第二坐标信息。
本公开实施例中,预设模型的坐标系依据曲面建立。具体地,可以依据曲面建模预设模型,且预设模型的表面可以与曲面吻合,在此基础上,再根据建模得到的预设模型建立坐标系。
在一个实施场景中,预设模型可以根据目标图像进行设置,例如,在目标图像为圆立柱上的图像的情况下,预设模型可以设置为圆柱体;或者,在目标图像为足球上的图像的情况下,预设模型可以设置为球体;或者,在目标图像为甜筒上的图像的情况下,预设模型可以设置为圆锥体。其他情况可以以此类推,在此不再一一举例。
在一个实施场景中,为了便于获取第一坐标信息,目标图像的展开线可以与预设模型的坐标系的X轴相交;或者,目标图像的展开线也可以和坐标系的Y轴相交。
在另一个实施场景中,为了便于获取第一坐标信息,预设模型的高线可以与预设模型的坐标系的Z轴重合。
在又一个实施场景中,为了便于获取第一坐标信息,预设模型的坐标系的原点可以为预设模型的中心,或者,预设模型的坐标系的原点也可以为预设模型底面的中心,或者,预设模型的坐标系的原点还可以为预设模型顶面的中心,具体可以根据实际应用情况进行设置,在此不做限定。
在一个具体的实施场景中,以预设模型是圆柱体为例,请结合参阅图2和图3,图3是预设模型的坐标系一实施例的示意图。如图3所示,表面与图2所示的目标图像的曲面吻合的预设模型为圆柱体,在此基础上,可以以圆柱体底面中心(即图3黑点)为坐标系的原点O,且坐标系X轴经过展开线,Z轴与预设模型的高线重合,从而可以建立得到预设模型的坐标系。在原点采用其他点位或展开线与Y轴重合的情况下,可以以此类推,在此不再一一举例。
在另一个具体的实施场景中,请继续结合参阅图3,在建立如图3所述的坐标系的情况下,可以得到圆柱体侧面的函数表达式:
x2+y2=R2……(1)
上述公式(1)中,x,y分别表示圆柱体侧面上一点P(x,y,z)分别在坐标系X轴上的坐标值和在Y轴上的坐标值,R表示圆柱体顶面(或地面)的半径。此外,z的取值范围为0至h(即圆柱体的高度)。
在一个实施场景中,在建立得到预设模型的坐标系的基础上,可以基于在参考图像中所提取得到的第一特征点,得到该第一特征点在目标图像中对应像素点在坐标系中的第一坐标信息。
在一个具体的实施场景中,请继续结合参阅图2和图3,如图2所示,参考图像中提取到第一特征点p1,该第一特征点对应于如图3所示的目标图像的像素点p1,并基于如图3所建立的坐标系,可以得到第一特征点p1的第一坐标信息;而参考图像中所提取到的另一第一特征点p2,该第一特征点对应于如图3所示的目标图像的像素点p2,并基于如图3所建立的坐标系,可以得到第一特征点p2的第一坐标信息。
需要强调的是,第一坐标信息表示的是目标图像中与第一特征点对应的像素点在坐标系中的坐标信息。
在一个实施场景中,可以建立待配准图像的坐标系(即二维坐标系),在此基础上,可以获取第二特征点在待配准图像中的第二坐标信息。
步骤S15:利用第一特征点的第一坐标信息和第一特征表示以及第二特征点的第二坐标信息和第二特征表示,得到目标图像和待配准图像之间的配准参数。
在一个实施场景中,可以利用第一特征点的第一特征表示和第二特征点的第二特征表示,得到第一特征点和第二特征点之间的特征相似度,并将满足预设条件的特征相似度对应的第一特征点和第二特征点,作为一组特征点对,从而可以基于特征点对中第一特征点的第一坐标信息和第二特征点的第二坐标信息,得到配准参数。
在一个具体的实施场景中,第一特征点的第一特征表示和第二特征点的第二特征表示均为由数字0、1组成的特征向量,在此基础上,可以统计第一特征表示和第二特征表示在相同位置处元素相同的总数量,且总数量越大,表示第一特征表示和第二特征表示之间的特征相似度越高。例如,以维度为4的特征向量为例,第一特征表示[0 0 1 1 0]和第二特征表示[0 0 1 0 0]相同位置处元素相同的总数量为4,特征向量的维度可以根据实际应用需要进行设置,例如,为了尽可能地提高特征表示的准确性,可以提高特征表示的向量维度,如可以设置为256维,在此不不做限定。
在另一个具体的实施场景中,预设条件可以包括特征相似度高于预设阈值。具体地,预设阈值可以根据实际应用情况进行设置,例如,在对配准参数的准确性要求较高的情况下,预设阈值可以设置地较大一些,而在对配准参数的准确性要求相对宽松的情况下,预设阈值可以设置地稍小一些,预设阈值的具体数值在此不做限定。
在又一个具体的实施场景中,可以利用诸如PnP(Perspective n Point)等方式处理特征点对中第一特征点的第一坐标信息和第二特征点的第二坐标信息,得到配准参数。PnP的具体处理过程在此不再赘述。
在另一个实施场景中,为了提高鲁棒性,可以基于随机一致性采样(RANdomSAmple Consensus,RANSAC)的PnP方式处理第一特征点的第一坐标信息和第一特征表示以及第二特征点的第二坐标信息和第二特征表示,得到目标图像和待配准图像之间的配准参数。通过随机一致性采样可以有效剔除离群点,有利于提高鲁棒性,随机一致性采样以及PnP的具体处理过程在此不再赘述。
在又一个实施场景中,在得到配准参数之后,可以利用配准参数,得到目标图像在待配准图像中的注册位置。
上述方案,通过获取待配准图像和目标图像,且目标图像为曲面,并将目标图像展开为平面以得到参考图像,从而提取参考图像中的第一特征点及其第一特征表示,并提取待配准图像中的第二特征点及其第二特征表示,在此基础上,再基于预设模型的坐标系,获取目标图像中与第一特征点对应的像素点在坐标系中的第一坐标信息,并获取第二特征点在待配准图像中的第二坐标信息,且预设模型的坐标系依据曲面建立,从而利用第一特征点的第一坐标信息和第二特征表示以及第二特征点的第二坐标信息和第二特征表示,得到目标图像和待配准图像之间的配准参数,故能够通过曲面图像展开、预设模型吻合等过程,实现曲面图像的配准。
请参阅图4,图4是本申请图像配准方法另一实施例的流程示意图。具体而言,可以包括如下步骤:
步骤S41:获取待配准图像和目标图像。
本公开实施例中,目标图像为曲面,具体可以参阅前述公开实施例中相关描述,在此不再赘述。
步骤S42:将目标图像展开为平面以得到参考图像。
具体可以参阅前述公开实施例中相关描述,在此不再赘述。
步骤S43:提取参考图像中的第一特征点及其第一特征表示,并提取待配准图像中的第二特征点及其第二特征表示。
具体可以参阅前述公开实施例中相关描述,在此不再赘述。
步骤S44:基于预设模型的坐标系,获取目标图像中与第一特征点对应的像素点在坐标系中的第一坐标信息,并获取第二特征点在待配准图像中的第二坐标信息。
本公开实施例中,预设模型的坐标依据曲面建立,具体可以参阅前述公开实施例中相关描述,在此不再赘述。
步骤S45:利用第一特征点的第一坐标信息和第一特征表示以及第二特征点的第二坐标信息和第二特征表示,得到目标图像和待配准图像之间的配准参数。
具体可以参阅前述公开实施例中相关描述,在此不再赘述。
步骤S46:获取配准参数的校验结果。
本公开实施例中,校验结果包括第一校验结果和第二校验结果中的至少一者,第一校验结果是基于待配准图像中的第一关键点在坐标系中的第三坐标信息校验得到的,第二校验结果是利用参考图像中的第二关键点的像素值校验得到的。
在一个实施场景中,校验结果可以包括第一校验结果,以预设模型为圆柱体为例,可以获取待配准图像中圆柱体侧面边缘的消失点,作为第一关键点,并利用配准参数,获取第一关键点的第三坐标信息,在此基础上,可以基于第一关键点的第三坐标信息,获取消失点向量,从而可以利用消失点向量与坐标系的坐标轴之间的夹角,得到第一校验结果。故此,能够在预设模型为圆柱体的情况下,通过圆柱体侧面边缘的消失点来校验配准参数,即能够从“几何校验维度”对配准参数进行校验,故能够有利于提高第一校验结果的准确性。
在一个具体的实施场景中,第一关键点的第三坐标信息指的是第一关键点在预设模型的坐标系中的坐标信息。具体地,可以先获取第一关键点在待配准图像的图像坐标系中的坐标信息,并获取拍摄待配准图像的相机的内部参数,从而可以利用内部参数对上述图像坐标系中的坐标信息进行转换,得到第一关键点在相机坐标系中的坐标信息,再利用配准选参数对上述相机坐标系中的坐标信息进行转换,得到第一关键点在预设模型的坐标系中的第三坐标信息。
在另一个具体的实施场景中,消失点指的是平行线的视觉相交点,圆柱体侧面边缘为相互平行的线段,故圆柱体侧面边缘的消失点即为侧面边缘的视觉相交点。理论上,圆柱体侧面边缘的消失点与圆柱体顶面中心、底面中心在同一直线上。故此,可以通过第一关键点(即消失点)的第三坐标信息以及预设模型坐标系的原点,得到消失点向量,并在预设模型的坐标系的Z轴与圆柱体高线重合的情况下,获取消失点向量与Z轴之间的夹角,以通过该夹角校验配准参数是否准确。
在又一个具体的实施场景中,在预设模型的高线与坐标系的Z轴重合的情况下,可以通过如上方式,得到消失点向量与Z轴之间的夹角,在此基础上,可以基于夹角与预设夹角阈值之间的大小关系,得到第一校验结果。具体地,在夹角大于预设夹角阈值的情况下,可以确定第一校验结果为配准参数校验为不准确,反之,在夹角不大于预设夹角阈值的情况下,可以确定第一校验结果为配准参数校验为准确。此外,预设夹角阈值可以根据实际应用情况进行设置,例如,在对配准参数的准确性要求较高的情况下,预设夹角阈值可以设置地稍小一些,而在对配准参数的准确性要求相对宽松的情况下,预设夹角阈值可以设置地稍大一些,预设夹角阈值的具体数值在此不做限定。
在另一个实施场景中,校验结果可以包括第二校验结果,在此基础上,可以在目标图像的目标区域中,选取若干像素点作为第二关键点,且目标区域的图像信息包含于待配准图像内,并利用配准参数,确定待配准图像中与第二关键点对应的第三关键点,从而可以基于第二关键点以及对应的第三关键点之间的像素值差异,得到第二校验结果。故能够有利于降低获取第二校验结果的复杂度,并提高第二校验结果的准确性。
在一个具体的实施场景中,目标图像中所有图像信息并不一定会全部呈现在待配准图像中。故此,需要在目标图像中确定一目标区域,以便在目标区域中选取若干第二关键点,且该目标区域的图像信息需包含于待配准图像内。例如,可以对球体进行拍摄,得到待配准图像,则由于投影关系,位于球体上的曲面图像仅有可视部分(如球体正面)呈现在待配准图像中,而不可视部分(如球体背面)是不会呈现在待配准图像中的,故此,可以将目标图像中可视部分的图像区域,作为目标区域。
在另一个具体的实施场景中,可以在目标区域中每隔第一数值行像素确定一条第一网格线,并在目标区域中每隔第二数值列像素确定一条第二网格线,从而可以将第一网格线和第二网格线之间的交点,作为第二关键点。
在又一个具体的实施场景中,可以先获取第二关键点在预设模型的坐标系中的坐标信息,然后利用配准参数将上述坐标信息转换为在相机坐标系中的坐标信息,在此基础上可以利用相机内部参数将相机坐标系中的坐标信息转换为待配准图像的图像坐标系中的坐标信息,进而可以根据图像坐标系中的坐标信息,得到第三关键点。
在又一个具体的实施场景中,可以统计第二关键点的像素值以及对应的第三关键点的像素值的差值的平方和,得到像素值差异。此外,在像素值差异满足预设条件的情况下,可以确定第二校验结果为配置参数校验为准确,反之在像素值差异不满足预设条件的情况下,可以确定第二校验结果为配置参数不准确。具体地,预设条件可以包括像素值差异不大于预设差异阈值。预设差异阈值可以根据实际应用情况进行设置,例如,在对配准参数的准确性要求较高的情况下,可以将预设差异阈值设置地稍小一些,而在对配准参数的准确性要求相对宽松的情况下,可以将预设差异阈值设置地稍大一些,预设差异阈值的具体数值在此不做限定。
步骤S47:基于校验结果,确定配准参数是否准确。
在一个实施场景中,校验结果可以仅包括第一校验结果,且第一校验结果可以包括配准参数是否校验为准确,并在第一校验结果包括配准参数校验为准确的情况下,确定配准参数准确,反之在第一校验结果包括配准参数校验为不准确的情况下,确定配准参数不准确。
在另一个实施场景中,校验结果可以仅包括第二校验结果,且第二校验结果可以包括配准参数是否校验为准确,并在第二校验结果包括配准参数校验为准确的情况下,确定配准参数准确,反之在第二校验结果包括配准参数校验为不准确的情况下,确定配准参数不准确。
在又一个实施场景中,校验结果可以包括第一校验结果和第二校验结果,且第一校验结果和第二校验结果可以均包括配准参数是否校验为准确。在此基础上,在第一校验结果和第二校验结果均包括配准参数校验为准确的情况下,可以确定配准参数准确,反之在第一校验结果和第二校验结果任一者包括配准参数校验为不准确的情况下,可以确定配准参数不准确。
区别于前述实施例,在得到目标图像和待配准图像之间的配准参数之后,进一步获取配准参数的校验结果,且校验结果包括第一校验结果和第二校验结果中的至少一者,第一校验结果是基于待配准图像中的第一关键点在坐标系中的第三坐标信息校验得到的,第二校验结果是利用参考图像中的第二关键点的像素值校验得到的,并基于校验结果,确定配准参数是否准确,故能够基于第一校验结果和第二校验结果中的至少一者实现对配准参数的校验,进而能够有利于进一步提高配准参数的准确性。
请参阅图5,图5是本申请图像配准装置50一实施例的框架示意图。图像配准装置50包括图像获取模块51、图像展开模块52、特征提取模块53、坐标获取模块54和参数获取模块55,图像获取模块51用于获取待配准图像和目标图像,其中,目标图像为曲面;图像展开模块52用于将目标图像展开为平面以得到参考图像;特征提取模块53用于提取参考图像中的第一特征点及其第一特征表示,并提取待配准图像中的第二特征点及其第二特征表示;坐标获取模块54用于基于预设模型的坐标系,获取目标图像中与第一特征点对应于目标图像中的像素点在坐标系中的第一坐标信息,并获取第二特征点在待配准图像中的第二坐标信息,其中,预设模型的坐标依据曲面建立;参数获取模块55用于利用第一特征点的第一坐标信息和第一特征表示以及第二特征点的第二坐标信息和第二特征表示,得到目标图像和待配准图像之间的配准参数。
上述方案,通过获取待配准图像和目标图像,且目标图像为曲面,并将目标图像展开为平面以得到参考图像,从而提取参考图像中的第一特征点及其第一特征表示,并提取待配准图像中的第二特征点及其第二特征表示,在此基础上,再基于预设模型的坐标系,获取目标图像中与第一特征点对应的像素点在坐标系中的第一坐标信息,并获取第二特征点在待配准图像中的第二坐标信息,且预设模型的坐标系依据曲面建立,从而利用第一特征点的第一坐标信息和第二特征表示以及第二特征点的第二坐标信息和第二特征表示,得到目标图像和待配准图像之间的配准参数,故能够通过曲面图像展开、预设模型吻合等过程,实现曲面图像的配准。
在一些公开实施中,图像展开模块52包括平面展开子模块,用于将目标图像从展开线展开为平面,得到展开图像;其中,展开图像的两个边缘线均为展开线;图像展开模块52包括图像获取子模块,用于基于展开图像,得到参考图像。
区别于前述实施例,将目标图像从展开线展开为平面,得到展开图像,且展开图像的两个边缘线均为展开线,并基于展开图像,得到参考图像,能够快速地将曲面图像展开为平面图像,有利于提高曲面图像的配准效率。
在一些公开实施例中,图像获取子模块包括起始确定单元,用于将两个边缘线中的至少一者分别作为起始位置,图像获取子模块包括区域延伸单元,用于从起始位置开始将展开图像延伸预设尺寸的延伸区域,得到参考图像;其中,边缘线一侧源自延伸区域的图像信息与另一边缘线一侧源自展开图像的图像信息至少部分相同。
区别于前述实施例,将两个边缘线中的至少一者分别作为起始位置,并从起始位置开始将展开图像延伸预设尺寸的延伸区域,得到参考图像,且边缘线一侧源自延伸区域的图像信息与另一边缘线一侧源自展开图像的图像信息至少部分相同,故展开为平面所得到的参考图像中包含完整且连续的图像信息,从而能够有利于提高后续所提取到的第一特征点及其第一特征表示的准确性,进而能够有利于提高配准参数的准确性。
在一些公开实施中,目标图像的展开线与坐标系的X轴或Y轴相交;和/或,预设模型的高线与坐标系的Z轴重合;和/或,坐标系的原点为以下任一者:预设模型的中心、预设模型底面的中心、预设模型顶面的中心。
区别于前述实施例,通过将目标图像的展开线设置为与坐标系的X轴或Y轴相交,能够有利于降低获取第一坐标信息的复杂度;通过将预设模型的高线与坐标系的Z轴设置为重合,能够有利于降低获取第一坐标信息的复杂度;通过将坐标系的原点设置为以下任一者:预设模型的中心、预设模型底面的中心、预设模型顶面的中心,能够有利于降低获取第一坐标信息的复杂度。
在一些公开实施中,参数获取模块55包括相似度获取子模块,用于利用第一特征点的第一特征表示和第二特征点的第二特征表示,得到第一特征点和第二特征点之间的特征相似度,参数获取模块55包括特征点对获取子模块,用于将满足预设条件的特征相似度对应的第一特征点和第二特征点,作为一组特征点对,参数获取模块55包括配准参数获取子模块,用于基于特征点对中第一特征点的第一坐标信息和第二特征点的第二坐标信息,得到配准参数。
区别于前述实施例,通过利用第一特征点的第一特征表示和第二特征点的第二特征表示,得到第一特征点和第二特征点之间的特征相似度,从而将满足预设条件的特征相似度对应的第一特征点和第二特征点,作为一组特征点对,进而基于特征点对中第一特征点的第一坐标信息和第二特征点的第二坐标信息,得到配准参数,即基于满足预设条件的特征相似度对应的第一特征点和第二特征点所构成的特征点对,获取配准参数,故能够有利于提高配准参数的准确性。
在一些公开实施中,图像配准装置50还包括参数校验模块,用于获取配准参数的校验结果;其中,校验结果包括第一校验结果和第二校验结果中的至少一者,第一校验结果是基于待配准图像中的第一关键点在坐标系中的第三坐标信息校验得到的,第二校验结果是利用参考图像中的第二关键点的像素值校验得到的,图像配准装置50还包括参数确定模块,用于基于校验结果,确定配准参数是否准确。
区别于前述实施例,在得到目标图像和待配准图像之间的配准参数之后,进一步获取配准参数的校验结果,且校验结果包括第一校验结果和第二校验结果中的至少一者,第一校验结果是基于待配准图像中的第一关键点在坐标系中的第三坐标信息校验得到的,第二校验结果是利用参考图像中的第二关键点的像素值校验得到的,并基于校验结果,确定配准参数是否准确,故能够基于第一校验结果和第二校验结果中的至少一者实现对配准参数的校验,进而能够有利于进一步提高配准参数的准确性。
在一些公开实施中,校验结果包括第一校验结果,且预设模型为圆柱体,参数校验模块包括第一关键点获取子模块,用于获取待配准图像中圆柱体侧面边缘的消失点,作为第一关键点,参数校验模块包括坐标信息获取子模块,用于利用配准参数,获取第一关键点的第三坐标信息,参数校验模块包括向量获取子模块,用于基于第一关键点的第三坐标信息,获取消失点向量,参数校验模块包括夹角校验子模块,用于利用消失点向量与坐标系的坐标轴之间的夹角,得到第一校验结果。
区别于前述实施例,在校验结果包括第一校验结果,且预设模型为圆柱体的情况下,获取待配准图像中圆柱体侧面边缘的消失点,作为第一关键点,并利用配准参数,获取第一关键点的第三坐标信息,从而基于第一关键点的第三坐标信息,获取消失点向量,进而利用消失点向量与坐标系的坐标轴之间的夹角,得到第一校验结果,故能够在预设模型为圆柱体的情况下,通过圆柱体侧面边缘的消失点来校验配准参数,即能够从“几何校验维度”对配准参数进行校验,故能够有利于提高第一校验结果的准确性。
在一些公开实施中,预设模型的高线与坐标系的Z轴重合,向量获取子模块具体用于基于第三坐标信息和坐标系的原点,得到消失点向量,夹角校验子模块具体用于获取消失点向量与Z轴之间的夹角,并基于夹角与预设夹角阈值之间的大小关系,得到第一校验结果。
区别于前述实施例,通过将预设模型的高线设置为与坐标系的Z轴重合,从而基于第三坐标信息和坐标系的原点,得到消失点向量,并获取消失点向量与Z轴之间的夹角,从而基于夹角与预设夹角阈值之间的大小关系,得到第一校验结果,能够有利于提高第一校验结果的准确性。
在一些公开实施中,校验结果包括第二校验结果,参数校验模块包括第二关键点获取子模块,用于在目标图像的目标区域中,选取若干像素点作为第二关键点;其中,目标区域的图像信息包含于待配准图像内,参数校验模块包括第三关键点获取子模块,用于利用配准参数,确定待配准图像中与第二关键点对应的第三关键点,参数校验模块包括像素值校验子模块,用于基于第二关键点以及对应的第三关键点之间的像素值差异,得到第二校验结果。
区别于前述实施例,在校验结果包括第二校验结果的情况下,在目标图像的目标区域中,选取若干像素点作为第二关键点,且目标区域的图像信息包含于待配准图像内,在此基础上,利用配准参数,确定待配准图像中与第二关键点对应的第三关键点,并基于第二关键点以及对应的第三关键点之间的像素值差异,得到第二校验结果,故能够基于在参考图像中所选取的第二关键点以及待配准图像中与第二关键点对应的第三关键点之间的像素值差异,得到第二校验结果,故能够有利于降低获取第二校验结果的复杂度,并提高第二校验结果的准确性。
在一些公开实施中,第二关键点获取子模块包括网格线确定单元,用于在目标区域中每隔第一数值行像素确定一条第一网格线,并在目标区域中每隔第二数值列像素确定一条第二网格线,第二关键点获取子模块包括关键点获取单元,用于将第一网格线与第二网格线之间的交点,作为第二关键点。
区别于前述实施例,通过在目标区域中每隔第一数值行像素确定一条第一网格线,并在目标区域中每隔第二数值列像素确定一条第二网格线,从而将第一网格线与第二网格线之间的交点,作为第二关键点,能够有利于提高第二校验结果的准确性。
在一些公开实施中,校验结果包括第一校验结果和第二校验结果,且第一校验结果和第二校验结果均包括配准参数是否校验为准确,参数确定模块包括第一确定子模块,用于在第一校验结果和第二校验结果均包括配准参数校验为准确的情况下,确定配准参数准确,参数确定模块包括第二确定子模块,用于在第一校验结果和第二校验结果中任一者包括配准参数校验为不准确的情况下,确定配准参数不准确。
区别于前述实施例,在校验结果包括第一校验结果和第二校验结果,且第一校验结果和第二校验结果均包括配准参数是否校验为准确的情况下,若第一校验结果和第二校验结果均包括配准参数校验为准确,则确定配准参数准确性,而若第一校验结果和第二校验结果中任一者包括配准参数校验为不准确,则确定配准参数不准确,即仅在第一校验结果和第二校验结果均校验配准参数准确的情况下,才确定配准参数准确,故能够有利于提高校验结果的准确性。
请参阅图6,图6是本申请电子设备60一实施例的框架示意图。电子设备60包括相互耦接的存储器61和处理器62,处理器62用于执行存储器61中存储的程序指令,以实现上述任一图像配准方法实施例的步骤。在一个具体的实施场景中,电子设备60可以包括但不限于:微型计算机、服务器,此外,电子设备60还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。
具体而言,处理器62用于控制其自身以及存储器61以实现上述任一图像识别方法实施例的步骤。处理器62还可以称为CPU(Central Processing Unit,中央处理单元)。处理器62可能是一种集成电路芯片,具有信号的处理能力。处理器62还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器62可以由集成电路芯片共同实现。
上述方案,能够通过曲面图像展开、预设模型吻合等过程,实现曲面图像的配准。
请参阅图7,图7为本申请计算机可读存储介质70一实施例的框架示意图。计算机可读存储介质70存储有能够被处理器运行的程序指令701,程序指令701用于实现上述任一图像配准方法实施例的步骤。
上述方案,能够通过曲面图像展开、预设模型吻合等过程,实现曲面图像的配准。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (13)
1.一种图像配准方法,其特征在于,包括:
获取待配准图像和目标图像;其中,所述目标图像为曲面;
将所述目标图像展开为平面以得到参考图像;
提取所述参考图像中的第一特征点及其第一特征表示,并提取所述待配准图像中的第二特征点及其第二特征表示;
基于预设模型的坐标系,获取所述目标图像中与所述第一特征点对应的像素点在所述坐标系中的第一坐标信息,并获取所述第二特征点在所述待配准图像中的第二坐标信息;其中,所述预设模型的坐标系依据所述曲面建立;
利用所述第一特征点的第一坐标信息和第一特征表示以及所述第二特征点的第二坐标信息和第二特征表示,得到所述目标图像和所述待配准图像之间的配准参数;
在所述利用所述第一特征点的第一坐标信息和第一特征表示以及所述第二特征点的第二坐标信息和第二特征表示,得到所述目标图像和所述待配准图像之间的配准参数之后,所述方法还包括:
获取所述配准参数的校验结果;其中,所述校验结果包括第一校验结果和第二校验结果中的至少一者,所述第一校验结果是基于所述待配准图像中的第一关键点在所述坐标系中的第三坐标信息校验得到的,所述第二校验结果是利用所述参考图像中的第二关键点的像素值校验得到的;
基于所述校验结果,确定所述配准参数是否准确。
2.根据权利要求1所述的方法,其特征在于,所述将所述目标图像展开为平面以得到参考图像,包括:
将所述目标图像从展开线展开为平面,得到展开图像;其中,所述展开图像的两个边缘线均为所述展开线;
基于所述展开图像,得到所述参考图像。
3.根据权利要求2所述的方法,其特征在于,所述基于所述展开图像,得到所述参考图像,包括:
将所述两个边缘线中的至少一者分别作为起始位置;
从所述起始位置开始将所述展开图像延伸预设尺寸的延伸区域,得到所述参考图像;
其中,所述边缘线一侧源自所述延伸区域的图像信息与另一所述边缘线一侧源自所述展开图像的图像信息至少部分相同。
4.根据权利要求2所述的方法,其特征在于,所述目标图像的展开线与所述坐标系的X轴或Y轴相交;
和/或,所述预设模型的高线与所述坐标系的Z轴重合;
和/或,所述坐标系的原点为以下任一者:所述预设模型的中心、所述预设模型底面的中心、所述预设模型顶面的中心。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述利用所述第一特征点的第一坐标信息和第一特征表示以及所述第二特征点的第二坐标信息和第二特征表示,得到所述目标图像和所述待配准图像之间的配准参数,包括:
利用所述第一特征点的第一特征表示和第二特征点的第二特征表示,得到所述第一特征点和所述第二特征点之间的特征相似度;
将满足预设条件的所述特征相似度对应的第一特征点和第二特征点,作为一组特征点对;
基于所述特征点对中所述第一特征点的第一坐标信息和所述第二特征点的第二坐标信息,得到所述配准参数。
6.根据权利要求1至4任一项所述的方法,其特征在于,所述校验结果包括所述第一校验结果,且所述预设模型为圆柱体;所述获取所述配准参数的校验结果,包括:
获取所述待配准图像中所述圆柱体侧面边缘的消失点,作为所述第一关键点;
利用所述配准参数,获取所述第一关键点的所述第三坐标信息;
基于所述第一关键点的第三坐标信息,获取消失点向量;
利用所述消失点向量与所述坐标系的坐标轴之间的夹角,得到所述第一校验结果。
7.根据权利要求6所述的方法,其特征在于,所述预设模型的高线与所述坐标系的Z轴重合;所述基于所述第一关键点的第三坐标信息,获取消失点向量,包括:
基于所述第三坐标信息和所述坐标系的原点,得到所述消失点向量;
所述利用所述消失点向量与所述坐标系的坐标轴之间的夹角,得到所述第一校验结果,包括:
获取所述消失点向量与所述Z轴之间的夹角,并基于所述夹角与预设夹角阈值之间的大小关系,得到所述第一校验结果。
8.根据权利要求1至4任一项所述的方法,其特征在于,所述校验结果包括所述第二校验结果;所述获取所述配准参数的校验结果,包括:
在所述目标图像的目标区域中,选取若干像素点作为所述第二关键点;其中,所述目标区域的图像信息包含于所述待配准图像内;
利用所述配准参数,确定所述待配准图像中与所述第二关键点对应的第三关键点;
基于所述第二关键点以及对应的所述第三关键点之间的像素值差异,得到所述第二校验结果。
9.根据权利要求8所述的方法,其特征在于,所述在所述目标图像的目标区域中,选取若干像素点作为所述第二关键点,包括:
在所述目标区域中每隔第一数值行像素确定一条第一网格线,并在所述目标区域中每隔第二数值列像素确定一条第二网格线;
将所述第一网格线与所述第二网格线之间的交点,作为所述第二关键点。
10.根据权利要求1至4任一项所述的方法,其特征在于,所述校验结果包括所述第一校验结果和所述第二校验结果,且所述第一校验结果和所述第二校验结果均包括所述配准参数是否校验为准确;所述基于所述校验结果,确定所述配准参数是否准确,包括:
在所述第一校验结果和所述第二校验结果均包括所述配准参数校验为准确的情况下,确定所述配准参数准确;
在所述第一校验结果和所述第二校验结果中任一者包括所述配准参数校验为不准确的情况下,确定所述配准参数不准确。
11.一种图像配准装置,其特征在于,包括:
图像获取模块,用于获取待配准图像和目标图像;其中,所述目标图像为曲面;
图像展开模块,用于将所述目标图像展开为平面以得到参考图像;
特征提取模块,用于提取所述参考图像中的第一特征点及其第一特征表示,并提取所述待配准图像中的第二特征点及其第二特征表示;
坐标获取模块,用于基于预设模型的坐标系,获取所述目标图像中与所述第一特征点对应于所述目标图像中的像素点在所述坐标系中的第一坐标信息,并获取所述第二特征点在所述待配准图像中的第二坐标信息;其中,所述预设模型的坐标系依据所述曲面建立;
参数获取模块,用于利用所述第一特征点的第一坐标信息和第一特征表示以及所述第二特征点的第二坐标信息和第二特征表示,得到所述目标图像和所述待配准图像之间的配准参数;
在所述利用所述第一特征点的第一坐标信息和第一特征表示以及所述第二特征点的第二坐标信息和第二特征表示,得到所述目标图像和所述待配准图像之间的配准参数之后,所述图像配准装置还用于:
获取所述配准参数的校验结果;其中,所述校验结果包括第一校验结果和第二校验结果中的至少一者,所述第一校验结果是基于所述待配准图像中的第一关键点在所述坐标系中的第三坐标信息校验得到的,所述第二校验结果是利用所述参考图像中的第二关键点的像素值校验得到的;
基于所述校验结果,确定所述配准参数是否准确。
12.一种电子设备,其特征在于,包括相互耦接的存储器和处理器,所述处理器用于执行所述存储器中存储的程序指令,以实现权利要求1至10任一项所述的图像配准方法。
13.一种计算机可读存储介质,其上存储有程序指令,其特征在于,所述程序指令被处理器执行时实现权利要求1至10任一项所述的图像配准方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110713169.1A CN113393506B (zh) | 2021-06-25 | 2021-06-25 | 图像配准方法及相关装置、设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110713169.1A CN113393506B (zh) | 2021-06-25 | 2021-06-25 | 图像配准方法及相关装置、设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113393506A CN113393506A (zh) | 2021-09-14 |
CN113393506B true CN113393506B (zh) | 2022-12-27 |
Family
ID=77624137
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110713169.1A Active CN113393506B (zh) | 2021-06-25 | 2021-06-25 | 图像配准方法及相关装置、设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113393506B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115775611B (zh) * | 2023-02-13 | 2023-06-09 | 北京精准医械科技有限公司 | 一种穿刺手术规划*** |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4686762B2 (ja) * | 2005-06-07 | 2011-05-25 | 独立行政法人産業技術総合研究所 | 三次元形状の位置あわせ方法及びプログラム |
CN105869168A (zh) * | 2016-04-01 | 2016-08-17 | 南京理工大学 | 基于多项式拟合的多源遥感图像形状配准方法 |
CN106504196B (zh) * | 2016-11-29 | 2018-06-29 | 微鲸科技有限公司 | 一种基于空间球面的全景视频拼接方法及设备 |
CN110458874B (zh) * | 2019-07-17 | 2023-03-28 | 苏州博芮恩光电科技有限公司 | 一种图像非刚性配准方法和*** |
CN110966955A (zh) * | 2019-11-15 | 2020-04-07 | 南京理工大学 | 一种基于平面配准的球面子孔径拼接方法 |
CN112465883B (zh) * | 2020-11-23 | 2022-03-29 | 山东科技大学 | 一种高精度曲面非均匀图像配准方法 |
-
2021
- 2021-06-25 CN CN202110713169.1A patent/CN113393506B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113393506A (zh) | 2021-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112581629A (zh) | 增强现实显示方法、装置、电子设备及存储介质 | |
EP3547256A1 (en) | Extracting a feature descriptor for an image feature | |
CN109479082B (zh) | 图象处理方法及装置 | |
CN109698944B (zh) | 投影区域校正方法、投影设备及计算机可读存储介质 | |
CN105631811A (zh) | 一种用于图像拼接的方法及装置 | |
EP3093822B1 (en) | Displaying a target object imaged in a moving picture | |
US20160335523A1 (en) | Method and apparatus for detecting incorrect associations between keypoints of a first image and keypoints of a second image | |
CN113807451B (zh) | 全景图像特征点匹配模型的训练方法、装置以及服务器 | |
CN112882576B (zh) | Ar交互方法、装置、电子设备及存储介质 | |
CN109117693B (zh) | 一种基于广角取景的扫描识别的方法及终端 | |
CN106997366B (zh) | 数据库构建方法、增强现实融合追踪方法及终端设备 | |
CN113393506B (zh) | 图像配准方法及相关装置、设备 | |
CN111161348B (zh) | 一种基于单目相机的物***姿估计方法、装置及设备 | |
CN113228105A (zh) | 一种图像处理方法、装置和电子设备 | |
WO2022199395A1 (zh) | 人脸活体检测方法、终端设备及计算机可读存储介质 | |
CN109726613B (zh) | 一种用于检测的方法和装置 | |
JP5931646B2 (ja) | 画像処理装置 | |
CN116051736A (zh) | 一种三维重建方法、装置、边缘设备和存储介质 | |
CN110674817B (zh) | 一种基于双目摄像头的车牌防伪的方法及装置 | |
KR20160049639A (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 | |
WO2019080257A1 (zh) | 电子装置、车祸现场全景图像展示方法和存储介质 | |
CN113409371B (zh) | 图像配准方法及相关装置、设备 | |
CN114066731A (zh) | 生成全景图的方法、装置、电子设备及存储介质 | |
CN115880206A (zh) | 图像准确度判断方法、装置、设备及存储介质、程序产品 | |
Yan et al. | Exposing photo manipulation with inconsistent perspective geometry |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |