CN114862923B - 一种图像配准方法及装置、存储介质 - Google Patents

一种图像配准方法及装置、存储介质 Download PDF

Info

Publication number
CN114862923B
CN114862923B CN202210786406.1A CN202210786406A CN114862923B CN 114862923 B CN114862923 B CN 114862923B CN 202210786406 A CN202210786406 A CN 202210786406A CN 114862923 B CN114862923 B CN 114862923B
Authority
CN
China
Prior art keywords
image
mode
preset
rgb
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210786406.1A
Other languages
English (en)
Other versions
CN114862923A (zh
Inventor
田照银
明幼林
吴昊
莫苏苏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Silicon Integrated Co Ltd
Original Assignee
Wuhan Silicon Integrated Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Silicon Integrated Co Ltd filed Critical Wuhan Silicon Integrated Co Ltd
Priority to CN202210786406.1A priority Critical patent/CN114862923B/zh
Publication of CN114862923A publication Critical patent/CN114862923A/zh
Application granted granted Critical
Publication of CN114862923B publication Critical patent/CN114862923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供了一种图像配准方法及装置、存储介质，应用于图像配准装置，图像配准装置包括RGB拍摄模块和飞行时间TOF拍摄模块；该方法包括：利用RGB拍摄模块和TOF拍摄模块同时采集目标对象的第一RGB图像和第一深度图像；获取RGB拍摄模块和TOF拍摄模块在全分辨率模式下进行双目标定得到的第一配准参数；并基于全分辨率模式与预设模式之间的图像转换关系和第一配准参数，对第一RGB图像和第一深度图像进行配准，得到预设模式下的配准深度RGBD图像。

Description

一种图像配准方法及装置、存储介质
技术领域
本申请涉及计算机视觉领域，尤其涉及一种图像配准方法及装置、存储介质。
背景技术
在计算机视觉中，三维（Three Dimensions，3D）相机产生的深度图像通常需要与三原色（Red Green Blue，RGB）图像配准，以生成配准深度图像，实际上配准的目的就是让深度图和RGB图像重合在一起，即将RGB图像的图像坐标系转换到深度图像的图像坐标系下，给深度图像中的像素点上色。
配准的前提是需要知道RGB相机和深度图像相机的内部参数以及两者之间的相对位置，目前，现有技术中是通过依次对两个相机分别进行单目标定来获取两者的内部参数，然后再通过双目标定获取两者之间的相对位置，但是，在不同的分辨率模式下进行配准时，由于不同分辨率模式下的相机内参都不同，因此需要对两个相机重新进行标定，以基于重新标定后的内部参数来实现输出不同分辨率的配准图像，导致配准时的步骤繁琐，图像配准效率低。
发明内容
本申请实施例提供一种图像配准方法及装置、存储介质，能够提高图像配准时的效率。
本申请的技术方案是这样实现的：
第一方面，本申请实施例提供一种图像配准方法，应用于图像配准装置，所述图像配准装置包括RGB拍摄模块和飞行时间TOF拍摄模块；所述方法包括：
利用所述RGB拍摄模块和所述TOF拍摄模块同时采集目标对象的第一RGB图像和第一深度图像；所述第一RGB图像为全分辨率模式或预设模式下的RGB图像，所述第一深度图像为所述全分辨率模式或所述预设模式下的深度图像；所述预设模式包括预设分辨率模式、预设镜像模式以及预设分辨率与镜像模式；
获取所述RGB拍摄模块和所述TOF拍摄模块在所述全分辨率模式下进行双目标定得到的第一配准参数；并基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述预设模式下的配准深度RGBD图像。
在上述图像配准方法中，所述第一RGB图像为所述全分辨率模式下的RGB图像，所述第一深度图像为所述全分辨率模式下的深度图像，所述预设模式为所述预设分辨率模式；所述基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述预设模式下的RGBD图像，包括：
基于所述第一配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述全分辨率模式下的第一RGBD图像；
基于所述全分辨率模式与所述预设分辨率模式之间的图像转换关系，对所述第一RGBD图像的分辨率进行转换，以将所述第一RGBD图像转换为所述预设分辨率模式下的RGBD图像。
在上述图像配准方法中，所述第一RGB图像为所述全分辨率模式下的RGB图像，所述第一深度图像为所述预设分辨率模式下的深度图像，所述预设模式为所述预设分辨率模式；所述基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述预设模式下的RGBD图像，包括：
基于所述全分辨率模式与所述预设模式之间的图像转换关系，确定所述全分辨率模式和所述预设分辨率模式之间的图像映射关系；
根据所述图像映射关系，确定所述第一深度图像中的每个像素点在所述全分辨率模式下的深度图像中的坐标位置；
从所述第一RGB图像中，获取所述坐标位置对应的第一像素点；并基于所述第一配准参数，对所述第一像素点与所述第一深度图像中对应的像素点进行配准，得到所述预设分辨率模式下的RGBD图像。
在上述图像配准方法中，所述第一RGB图像为所述预设分辨率模式下的RGB图像，所述第一深度图像为所述预设分辨率模式下的深度图像，所述预设模式为所述预设分辨率模式；所述基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述预设模式下的RGBD图像，包括：
基于所述全分辨率模式与所述预设模式之间的图像转换关系，对所述第一配准参数进行处理，得到所述预设分辨率模式对应的第二配准参数；
基于所述第二配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述预设分辨率模式下的配准深度图像。
在上述图像配准方法中，所述第一RGB图像为所述预设镜像模式下的RGB图像，所述第一深度图像为所述预设分辨率与镜像模式下的深度图像，所述预设模式为所述预设分辨率与镜像模式；所述基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述预设模式下的RGBD图像之前，所述方法还包括：
对所述第一RGB图像进行逆镜像，得到第二RGB图像；并对所述第一深度图像进行逆镜像，得到第二深度图像；
相应的，所述基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述预设模式下的RGBD图像，包括：
基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第二RGB图像和所述第二深度图像进行配准，得到所述预设模式下的RGBD图像；
相应的，所述基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述预设模式下的RGBD图像之后，所述方法还包括：
对所述RGBD图像进行镜像，得到所述预设分辨率与镜像模式下的镜像RGBD图像。
在上述图像配准方法中，所述第一RGB图像为所述预设镜像模式下的RGB图像，所述第一深度图像为所述预设分辨率与镜像模式下的深度图像，所述预设模式为所述预设分辨率与镜像模式；所述基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述预设模式下的RGBD图像，包括：
按照所述预设镜像模式对应的镜像规则，对所述第一配准参数进行镜像，得到第一镜像配准参数；
基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一镜像配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述预设分辨率与镜像模式下的镜像RGBD图像。
在上述图像配准方法中，所述第一配准参数包括所述RGB拍摄模块的内部参数、所述TOF拍摄模块的内部参数和所述RGB拍摄模块与所述TOF拍摄模块之间的相对位置参数。
第二方面，本申请实施例提供一种图像配准装置，所述图像配准装置包括RGB拍摄模块和飞行时间TOF拍摄模块；所述装置包括：
采集模块，用于利用所述RGB拍摄模块和所述TOF拍摄模块同时采集目标对象的第一RGB图像和第一深度图像；所述第一RGB图像为全分辨率模式或预设模式下的RGB图像，所述第一深度图像为所述全分辨率模式或所述预设模式下的深度图像；所述预设模式包括预设分辨率模式、预设镜像模式以及预设分辨率与镜像模式；
获取模块，用于获取所述RGB拍摄模块和所述TOF拍摄模块在所述全分辨率模式下进行双目标定得到的第一配准参数；并基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述预设模式下的配准深度RGBD图像。
第三方面，本申请实施例提供一种图像配准设备，其特征在于，所述设备包括：处理器、存储器及通信总线；所述处理器执行存储器存储的运行程序时实现如上述任一项所述的图像配准方法。
第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如上述任一项所述的图像配准方法。
本申请实施例提供了一种图像配准方法及装置、存储介质，应用于图像配准装置，图像配准装置包括RGB拍摄模块和飞行时间TOF拍摄模块；该方法包括：利用RGB拍摄模块和TOF拍摄模块同时采集目标对象的第一RGB图像和第一深度图像；第一RGB图像为全分辨率模式或预设模式下的RGB图像，第一深度图像为全分辨率模式或预设模式下的深度图像；预设模式包括预设分辨率模式、预设镜像模式以及预设分辨率与镜像模式；获取RGB拍摄模块和TOF拍摄模块在全分辨率模式下进行双目标定得到的第一配准参数；并基于全分辨率模式与预设模式之间的图像转换关系和第一配准参数，对第一RGB图像和第一深度图像进行配准，得到预设模式下的配准深度RGBD图像；采用上述实现方案，本申请通过在全分辨率模式下进行一次双目标定，获取到全分辨率模式下两个拍摄模块的配准参数，进而能够根据全分辨率模式与预设模式之间的图像转换关系和配准参数对RGB图像和深度图像进行配准，得到预设模式下的配准深度图像，简化了配准的步骤，提高了图像配准的效率。
附图说明
图1为本申请实施例提供的一种图像配准方法流程图；
图2为本申请实施例提供的一种示例性的图像配准方法流程图一；
图3为本申请实施例提供的一种示例性的图像配准方法流程图二；
图4为本申请实施例提供的一种示例性的图像配准方法流程图三；
图5为本申请实施例提供的一种示例性的图像配准方法流程图四；
图6为本申请实施例提供的一种示例性的图像配准方法流程图五；
图7为本申请实施例提供的一种图像配准装置的组成结构示意图；
图8为本申请实施例提供的一种图像配准设备的组成结构示意图。
具体实施方式
应当理解，此处描述的具体实施例仅仅用以解释本申请。并不用于限定本申请。
本申请实施例提供一种图像配准方法，应用于图像配准装置，图像配准装置包括RGB拍摄模块和飞行时间TOF拍摄模块；图1为本申请实施例提供的一种图像配准方法流程图，如图1所示，图像配准方法可以包括：
S101、利用RGB拍摄模块和TOF拍摄模块同时采集目标对象的第一RGB图像和第一深度图像；第一RGB图像为全分辨率模式或预设模式下的RGB图像，第一深度图像为全分辨率模式或预设模式下的深度图像；预设模式包括预设分辨率模式、预设镜像模式以及预设分辨率与镜像模式。
在本申请实施例中，图像配准装置利用RGB拍摄模块和TOF拍摄模块同时采集目标对象的第一RGB图像和第一深度图像；第一RGB图像为全分辨率模式或预设模式下的RGB图像，第一深度图像为全分辨率模式或预设模式下的深度图像；预设模式包括预设分辨率模式、预设镜像模式以及预设分辨率与镜像模式。
本申请给出的一种图像配准方法适用于对RGB图像和深度图像进行配准的场景下。
在本申请实施例中，图像配准装置利用RGB拍摄模块采集目标对象的第一RGB图像，同时利用TOF拍摄模块采集目标对象的第一深度图像；RGB拍摄模块在采集目标对象的RGB图像时，可以同时采集目标对象在任何模式下的RGB图像并输出；TOF拍摄模块在采集目标对象的深度图像时，可以同时采集目标对象在任何模式下的深度图像并输出。
S102、获取RGB拍摄模块和TOF拍摄模块在全分辨率模式下进行双目标定得到的第一配准参数；并基于全分辨率模式与预设模式之间的图像转换关系和第一配准参数，对第一RGB图像和第一深度图像进行配准，得到预设模式下的配准深度RGBD图像。
在本申请实施例中，图像配准装置在抽取出第一RGB图像和第一深度图像之后，获取RGB拍摄模块和TOF拍摄模块在全分辨率模式下进行双目标定得到的第一配准参数；并基于全分辨率模式与预设模式之间的图像转换关系和第一配准参数，对第一RGB图像和第一深度图像进行配准，得到预设模式下的配准深度RGBD图像。
需要说明的是，RGB拍摄模块和TOF拍摄模块在不同模式下的配准参数都存在差别，本申请中的第一配准参数为全分辨率模式对应的配准参数。
在本申请实施例中，第一配准参数包括RGB拍摄模块的内部参数、TOF拍摄模块的内部参数和RGB拍摄模块与TOF拍摄模块之间的相对位置参数。
需要说明的是，在本申请实施例中，RGB拍摄模块的内部参数和TOF拍摄模块的内部参数都为矩阵，并且相对位置参数包括一个拍摄模块相对另一个拍摄模块的旋转矩阵和平移矩阵。
需要说明的是，由于在实际使用配准功能时，由于TOF拍摄模块存在Binning、RR和ROI等多种工作模式，可以通过选择不同的工作模式进行不同分辨率深度图像的拍摄，同时输出不同分辨率的配准深度图像。
在本申请一种可选的实施例中，第一RGB图像为全分辨率模式下的RGB图像，第一深度图像为全分辨率模式下的深度图像；预设模式为预设分辨率模式；图2为本申请实施例提供的一种示例性的图像配准方法流程图一，图像配准过程具体如下：
S201、基于第一配准参数，对第一RGB图像和第一深度图像进行配准，得到全分辨率模式下的第一RGBD图像。
示例性的，图像配准的具体步骤如下：
1、构造一个三维向量
Figure 297268DEST_PATH_IMAGE001
，其中
Figure 811426DEST_PATH_IMAGE002
是该点的像素坐标，
Figure 629471DEST_PATH_IMAGE003
为图像
Figure 647106DEST_PATH_IMAGE004
方向长度，
Figure 203989DEST_PATH_IMAGE005
为图像
Figure 189131DEST_PATH_IMAGE006
方向长度，
Figure 325715DEST_PATH_IMAGE007
是该像素的深度值。
2、用TOF拍摄模块的内部参数矩阵
Figure 994593DEST_PATH_IMAGE008
的逆，乘以
Figure 936092DEST_PATH_IMAGE009
得到对应的空间点坐标
Figure 628105DEST_PATH_IMAGE010
。
3、由于
Figure 833958DEST_PATH_IMAGE010
是该点在TOF拍摄模块坐标系下的坐标，需要将其转换到RGB拍摄模块坐标系下，即乘以一个旋转矩阵
Figure 75453DEST_PATH_IMAGE011
，再加上一个平移向量
Figure 177401DEST_PATH_IMAGE012
，得到
Figure 622289DEST_PATH_IMAGE013
。
4、用RGB拍摄模块的内部参数矩阵
Figure 382565DEST_PATH_IMAGE014
乘以
Figure 494878DEST_PATH_IMAGE013
得到
Figure 564465DEST_PATH_IMAGE015
，
Figure 762228DEST_PATH_IMAGE015
和
Figure 559152DEST_PATH_IMAGE009
一样共有3个分量，令
Figure 525971DEST_PATH_IMAGE016
，其中
Figure 500880DEST_PATH_IMAGE017
的值即为该点到RGB拍摄模块的距离（单位为毫米），则
Figure 185939DEST_PATH_IMAGE018
坐标即为该点在RGB图像中的像素坐标，
Figure 288019DEST_PATH_IMAGE019
为图像
Figure 312607DEST_PATH_IMAGE004
方向长度，
Figure 723996DEST_PATH_IMAGE020
为图像
Figure 880040DEST_PATH_IMAGE006
方向长度，取出该像素的颜色，作为深度图像中对应像素的颜色。
5、对深度图像中的每一个像素点都做上述操作，得到配准深度图像。
S202、基于全分辨率模式与预设分辨率模式之间的图像转换关系，对第一RGBD图像的分辨率进行转换，以将第一RGBD图像转换为预设分辨率模式下的RGBD图像。
需要说明的是，在本申请实施例中，图像配准装置在根据全分辨率模式对应的第一配准参数、全分辨率模式下的RGB图像和深度图像得到全分辨率模式下的第一RGBD图像之后，需要将该第一RGBD图像转换为预设分辨率模式下的配准深度图像。
本申请在一种实际场景中示例性的阐述上述实施例，图像配准装置中的RGB拍摄模块在全分辨率模式下采集全分辨率RGB图像，TOF拍摄模块在Binning、RR和ROI等多种工作模式中的其中一种工作模式下采集预设分辨率深度图像，图像配准具体步骤如下：
1、取出全分辨率模式下的全分辨率深度图像。
2、基于第一配准参数，将全分辨率深度图像与全分辨率RGB图像进行配准，得到全分辨率配准深度图像。
3、对全分辨率配准深度图像进行Binning、RR和ROI等多种工作模式中的其中一种工作模式的转换操作，得到对应分辨率下的配准深度图像。
在本申请另一种可选的实施例中，第一RGB图像为全分辨率模式下的RGB图像，第一深度图像为预设分辨率模式下的深度图像；预设模式为预设分辨率模式；图3为本申请实施例提供的一种示例性的图像配准方法流程图二，图像配准过程具体如下：
S301、基于全分辨率模式与预设模式之间的图像转换关系，确定全分辨率模式和预设分辨率模式之间的图像映射关系。
需要说明的是，图像转换关系可以理解为预设分辨率模式下的图像中的像素点与全分辨率模式下的图像中像素点的位置关系。
需要说明的是，映射关系可以理解为预设分辨率模式下图像中的每个像素点能够映射到全分辨率模式下图像中的哪个像素点。
S302、根据图像映射关系，确定第一深度图像中的每个像素点在全分辨率模式下的深度图像中的坐标位置。
示例性的，假设第一深度图像中有一个坐标为第一坐标位置的像素点A，此时，从全分辨率模式下的深度图像中查找与该像素点A相同的像素点B，将与该像素点A相同的像素点B在全分辨率模式下的深度图像中的坐标位置确定为像素点A在全分辨率模式下的深度图像中的坐标位置。
S303、从第一RGB图像中，获取坐标位置对应的第一像素点；并基于第一配准参数，对第一像素点与第一深度图像中对应的像素点进行配准，得到预设分辨率模式下的RGBD图像。
需要说明的是，由于第一像素点为全分辨率模式下的图像中的像素点，因此，可以使用全分辨率模式对应的第一配准参数对两者进行配准，得到预设分辨率模式下的RGBD图像。
本申请在一种实际场景中示例性的阐述上述实施例，图像配准装置中的RGB拍摄模块在全分辨率模式下采集全分辨率RGB图像，TOF拍摄模块在Binning、RR和ROI等多种工作模式中的其中一种工作模式下采集预设分辨率深度图像，图像配准具体步骤如下：
1、取出全分辨率模式下的全分辨率深度图像
Figure 769499DEST_PATH_IMAGE021
，并找出全分辨率深度图像
Figure 710910DEST_PATH_IMAGE021
和预设分辨率深度图像
Figure 27622DEST_PATH_IMAGE022
之间的映射关系
Figure 172426DEST_PATH_IMAGE023
。
2、通过映射关系
Figure 865576DEST_PATH_IMAGE023
定位
Figure 661493DEST_PATH_IMAGE022
中像素点在
Figure 414686DEST_PATH_IMAGE021
中的坐标
Figure 545322DEST_PATH_IMAGE024
。
3、基于第一配准参数，对全分辨率RGB图像和预设分辨率深度图像中所有满足映射关系
Figure 573321DEST_PATH_IMAGE024
的像素点进行配准。
4、合并3中所有配准后的像素点，并按预设分辨率输出，即得到对应分辨率下的配准深度图像。
在本申请第三种可选的实施例中，第一RGB图像为预设分辨率模式下的RGB图像，第一深度图像为预设分辨率模式下的深度图像；预设模式为预设分辨率模式；图4为本申请实施例提供的一种示例性的图像配准方法流程图三，图像配准过程具体如下：
S401、基于全分辨率模式与预设模式之间的图像转换关系，对第一配准参数进行处理，得到预设分辨率模式对应的第二配准参数。
需要说明的是，不同分辨率模式对应的配准参数都是不同的，通过全分辨率模式与预设模式之间的图像转换关系，对全分辨率模式对应的第一配准参数进行处理，得到预设分辨率模式下的不同配准参数。
S402、基于第二配准参数，对第一RGB图像和第一深度图像进行配准，得到预设分辨率模式下的配准深度图像。
本申请在一种实际场景中示例性的阐述上述实施例，图像配准装置中的RGB拍摄模块在预设分辨率模式下采集预设分辨率RGB图像，TOF拍摄模块在Binning、RR和ROI等多种工作模式中的其中一种工作模式下采集预设分辨率深度图像，图像配准具体步骤如下：
1、通过双目标定已获得全分辨率模式下的第一配准参数
Figure 427007DEST_PATH_IMAGE025
。
2、根据不同分辨率模式的数学关系I，推算出不同分辨率模式对应的
Figure 147838DEST_PATH_IMAGE026
，这些配准参数是运用数学关系I根据
Figure 516503DEST_PATH_IMAGE025
推算获取，并非重新双目标定获取。
3、用不同分辨率模式下的配准参数直接进行图像配准，得到不同分辨率模式下的配准深度图像。
第一配准参数
Figure 296328DEST_PATH_IMAGE025
包含四个参数，分别为RGB拍摄模块的内参记为INTRI1a，TOF拍摄模块的内参记为INTRI1b，TOF拍摄模块相对于RGB拍摄模块的旋转矩阵记为
Figure 801259DEST_PATH_IMAGE027
，TOF拍摄模块相对于RGB拍摄模块的平移矩阵记为
Figure 630674DEST_PATH_IMAGE028
。由于分辨率的改变没有导致两个相机的相对位置发生改变，所以只需对应变换RGB拍摄模块的内参或TOF拍摄模块的内参，RGB图的分辨率发生改变则变换RGB拍摄模块的内参，深度图的分辨率改变则变换TOF拍摄模块的内参。以深度图分辨率改变为例，RGB图分辨率改变时的变换规则同理，具体的：
1、Binning（包括模拟读出Analog-Binning和信号读出Digital-Binning）工作模式
未选择工作模式之前TOF拍摄模块的内参记为INTRI1b，选择了Binning工作模式之后TOF拍摄模块的内参记为INTRI2b，模拟读出Analog-Binning改变cy和fy，信号读出Digital-Binning改变了相机内参中的偏移量cx和焦距fx。
(a)模拟读出Analog-Binning
INTRI2b（2，3）= INTRI1b（2，3）/2；INTRI2b（2，2）= INTRI1b（2，2）/2；其余位置参数相等。
(b)信号读出Digital-Binning
INTRI2b（1，3）= INTRI1b（1，3）/2；INTRI2b（1，1）= INTRI1b（1，1）/2；其余位置参数相等。
2、降低分辨率（Resolution Reduction，RR）工作模式
未选择工作模式之前TOF拍摄模块的内参记为INTRI1b，选择了RR工作模式之后TOF拍摄模块的内参记为INTRI3b，RR工作模式改变了相机内参中的偏移量cx和cy、以及焦距fx和fy，若RR工作模式的步数step为n，则：
INTRI3b（2，3）= INTRI1b（2，3）/n；INTRI3b（2，2）= INTRI1b（2，2）/n；INTRI3b（1，3）= INTRI1b（1，3）/n；INTRI3b（1，1）= INTRI1b（1，1）/n；其余位置参数相等。
3、感兴趣区域（Region Of Interest，ROI）工作模式
未选择工作模式之前TOF拍摄模块的内参记为INTRI1b，选择了ROI工作模式之后TOF拍摄模块的内参记为INTRI4b，ROI改变了相机内参中的偏移量cx和cy，记ROI的左上起始位置为（left，upside），则：
INTRI4b（2，3）= INTRI1b（2，3）-upside；INTRI4b（1，3）= INTRI1b （1，3）-left；其余位置参数相等。
在本申请实施例中，图像配准装置上的RGB拍摄模块和TOF拍摄模块都有镜像模式，可以通过镜像模式采集镜像RGB图像和镜像RGB深度图像，然后对其进行配准，得到镜像配准深度图像。
在本申请第四种可选的实施例中，第一RGB图像为预设镜像模式下的RGB图像，第一深度图像为预设分辨率与镜像模式下的深度图像，预设模式为预设分辨率与镜像模式；图5为本申请实施例提供的一种示例性的图像配准方法流程图四，图像配准过程具体如下：
S501、对第一RGB图像进行逆镜像，得到第二RGB图像；并对第一深度图像进行逆镜像，得到第二深度图像。
需要说明的是，预设镜像模式可以包括上下镜像、左右镜像或者上下左右镜像等；具体的预设镜像模式可以根据实际情况确定，本申请实施例在此不做具体的限定。
需要说明的是，在实际应用中，也可以只使用RGB拍摄模块和TOF拍摄模块其中一个拍摄模块的镜像模式，具体的拍摄方式可以根据实际情况确定，本申请实施例在此不做具体的限定。
需要说明的是，在对第一镜像RGB图像进行逆镜像时，需要根据RGB拍摄模块的镜像模式确定逆镜像的具体过程；在对第一镜像深度图像进行逆镜像时，需要根据TOF拍摄模块的镜像模式确定逆镜像的具体过程。
S502、基于全分辨率模式与预设模式之间的图像转换关系和第一配准参数，对第二RGB图像和第二深度图像进行配准，得到预设模式下的RGBD图像。
需要说明的是，在得到第一RGB图像和第一深度图像之后，使用上述实施例中的图像配准方法，对第一RGB图像和第一深度图像进行配准，得到预设模式下的RGBD图像，此时的RGBD图像为非镜像的RGBD图像，需要根据镜像模式将该非镜像的RGBD图像中的每个像素点进行镜像，得到预设分辨率与镜像模式下的镜像RGBD图像。
S503、对RGBD图像进行镜像，得到预设分辨率与镜像模式下的镜像RGBD图像。
本申请在一种实际场景中示例性的阐述上述实施例，图像配准装置中的RGB拍摄模块在预设分辨率模式下采集预设分辨率RGB图像，TOF拍摄模块在Binning、RR和ROI等多种工作模式中的其中一种工作模式和镜像模式下采集预设分辨率镜像深度图像，图像配准具体步骤如下：
1、镜像深度图像为
Figure 486635DEST_PATH_IMAGE029
，在逐像素配准阶段，先将镜像深度图像的像素点坐标镜像，得到镜像前深度图像为
Figure 308966DEST_PATH_IMAGE021
，即
Figure 933983DEST_PATH_IMAGE030
。
2、将预设分辨率RGB图像与镜像前深度图像
Figure 668721DEST_PATH_IMAGE021
配准后，得到配准深度图像后再将配准深度图像中的像素点坐标镜像，得到镜像配准深度图像。
在本申请第四种可选的实施例中，图像配准装置上的RGB拍摄模块和TOF拍摄模块通过镜像模式采集镜像RGB图像和镜像RGB深度图像；图6为本申请实施例提供的一种示例性的图像配准方法流程图五，图像配准过程具体如下：
S601、按照预设镜像模式对应的镜像规则，对第一配准参数进行镜像，得到第一镜像配准参数。
需要说明的是，预设镜像模式可以包括上下镜像、左右镜像或者上下左右镜像等；具体的预设镜像模式可以根据实际情况确定，本申请实施例在此不做具体的限定。
S602、基于全分辨率模式与预设模式之间的图像转换关系和第一镜像配准参数，对第一RGB图像和第一深度图像进行配准，得到预设分辨率与镜像模式下的镜像RGBD图像。
需要说明的是，第一配准参数为非镜像模式下的配准参数，因此，需要对该配准参数进行镜像处理，得到镜像模式下的配准参数，然后基于该镜像模式下的配准参数对第一RGB图像和第一深度图像进行配准，得到预设分辨率与镜像模式下的镜像RGBD图像。
本申请在一种实际场景中示例性的阐述上述实施例，假设图像配准装置中的RGB拍摄模块为左侧拍摄模块，将RGB拍摄模块设置为主相机，即右侧的TOF拍摄模块为辅相机，本申请对第一配准参数进行镜像的具体步骤如下：
1、原始配准参数（未镜像）
RGB拍摄模块的内参记为INTRI1a，TOF拍摄模块的内参记为INTRI1b，TOF拍摄模块相对于RGB拍摄模块的旋转矩阵记为
Figure 762710DEST_PATH_IMAGE027
，TOF拍摄模块相对于RGB拍摄模块的平移矩阵记为
Figure 405044DEST_PATH_IMAGE028
。
2、左右镜像模式的配准参数
RGB拍摄模块的内参记为INTRI1a，TOF拍摄模块的内参记为INTRI1b，TOF拍摄模块相对于RGB拍摄模块的旋转矩阵记为
Figure 87829DEST_PATH_IMAGE031
，TOF拍摄模块相对于RGB拍摄模块的平移矩阵记为
Figure 773894DEST_PATH_IMAGE032
。
INTRI2a与INTRI1a的关系为cx2a=wxa-cx1a，skew2a=-skew1a，其中wxa为RGB拍摄模块图像像素宽度；
INTRI2b与INTRI1b的关系为cx2b=wxb-cx1b，skew2b=-skew1b，其中wxb为TOF拍摄模块图像像素宽度；
TOF拍摄模块相对于RGB拍摄模块的旋转矩阵为3×3的矩阵，故
Figure 338867DEST_PATH_IMAGE031
与
Figure 519313DEST_PATH_IMAGE027
的关系为在矩阵的（12，13，21，31）四个位置处数值取反；
TOF拍摄模块相对于RGB拍摄模块的平移矩阵为3×1的矩阵，故
Figure 72916DEST_PATH_IMAGE032
与
Figure 946195DEST_PATH_IMAGE028
的关系为在矩阵的（11）一个位置处数值取反。
3、上下镜像模式的配准参数
RGB拍摄模块的内参记为INTRI1a，TOF拍摄模块的内参记为INTRI1b，TOF拍摄模块相对于RGB拍摄模块的旋转矩阵记为
Figure 998464DEST_PATH_IMAGE033
，TOF拍摄模块相对于RGB拍摄模块的平移矩阵记为
Figure 717021DEST_PATH_IMAGE034
。
INTRI3a与INTRI1a的关系为cy3a=hya-cy1a，skew3a=-skew1a，其中hya为RGB拍摄模块图像像素高度；
INTRI3b与INTRI1b的关系为cy3b=hyb-cy1b，skew3b=-skew1b，其中hyb为TOF拍摄模块图像像素高度；
TOF拍摄模块相对于RGB拍摄模块的旋转矩阵为3×3的矩阵，故
Figure 623666DEST_PATH_IMAGE033
与
Figure 667846DEST_PATH_IMAGE027
的关系为在矩阵的（12，21，23，32）四个位置处数值取反；
TOF拍摄模块相对于RGB拍摄模块的平移矩阵为3×1的矩阵，故
Figure 207412DEST_PATH_IMAGE034
与
Figure 480392DEST_PATH_IMAGE028
的关系为在矩阵的（21）一个位置处数值取反。
4、左右+上下镜像模式的配准参数
RGB拍摄模块的内参记为INTRI1a，TOF拍摄模块的内参记为INTRI1b，TOF拍摄模块相对于RGB拍摄模块的旋转矩阵记为
Figure 992276DEST_PATH_IMAGE035
，TOF拍摄模块相对于RGB拍摄模块的平移矩阵记为
Figure 207357DEST_PATH_IMAGE036
。
INTRI4a与INTRI1a的关系为cx4a=wxa-cx1a，cy4a=hya-cy1a，其中wxa为RGB拍摄模块图像像素宽度，hya为RGB拍摄模块图像像素高度；
INTRI4b与INTRI1b的关系为cx4b=wxb-cx1b，cy4b=hyb-cy1b，其中wxb为TOF拍摄模块图像像素宽度，hyb为TOF拍摄模块图像像素高度；
TOF拍摄模块相对于RGB拍摄模块的旋转矩阵为3×3的矩阵，故
Figure 217907DEST_PATH_IMAGE035
与
Figure 747108DEST_PATH_IMAGE027
的关系为在矩阵的（13，23，31，32）四个位置处数值取反；
TOF拍摄模块相对于RGB拍摄模块的平移矩阵为3×1的矩阵，故
Figure 910237DEST_PATH_IMAGE036
与
Figure 775512DEST_PATH_IMAGE028
的关系为在矩阵的（11，21）两个位置处数值取反。
可以发现，左右+上下镜像的参数变化就是左右镜像的参数变化叠加上下镜像的参数变化。
本申请实施例提供了一种图像配准方法，应用于图像配准装置，图像配准装置包括RGB拍摄模块和飞行时间TOF拍摄模块；该方法包括：利用RGB拍摄模块和TOF拍摄模块同时采集目标对象的第一RGB图像和第一深度图像；第一RGB图像为全分辨率模式或预设模式下的RGB图像，第一深度图像为全分辨率模式或预设模式下的深度图像；预设模式包括预设分辨率模式、预设镜像模式以及预设分辨率与镜像模式；获取RGB拍摄模块和TOF拍摄模块在全分辨率模式下进行双目标定得到的第一配准参数；并基于全分辨率模式与预设模式之间的图像转换关系和第一配准参数，对第一RGB图像和第一深度图像进行配准，得到预设模式下的配准深度RGBD图像；采用上述实现方案，本申请通过在全分辨率模式下进行一次双目标定，获取到全分辨率模式下两个拍摄模块的配准参数，进而能够根据全分辨率模式与预设模式之间的图像转换关系和配准参数对RGB图像和深度图像进行配准，得到预设模式下的配准深度图像，简化了配准的步骤，提高了图像配准的效率。
基于上述实施例，在本申请的另一实施例中，提供了一种图像配准装置1，图像配准装置包括RGB拍摄模块和飞行时间TOF拍摄模块；图7为本申请提供的一种图像配准装置的组成结构示意图，如图7所示，该图像配准装置1包括：
采集模块10，用于利用所述RGB拍摄模块和所述TOF拍摄模块同时采集目标对象的第一RGB图像和第一深度图像；所述第一RGB图像为全分辨率模式或预设模式下的RGB图像，所述第一深度图像为所述全分辨率模式或所述预设模式下的深度图像；所述预设模式包括预设分辨率模式、预设镜像模式以及预设分辨率与镜像模式；
获取模块11，用于获取所述RGB拍摄模块和所述TOF拍摄模块在所述全分辨率模式下进行双目标定得到的第一配准参数；并基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述预设模式下的配准深度RGBD图像。
可选的，图像配准装置1还包括：配准模块和模式转换模块；
所述配准模块，用于基于所述第一配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述全分辨率模式下的第一RGBD图像；
所述模式转换模块，用于基于所述全分辨率模式与所述预设分辨率模式之间的图像转换关系，对所述第一RGBD图像的分辨率进行转换，以将所述第一RGBD图像转换为所述预设分辨率模式下的RGBD图像。
可选的，图像配准装置1还包括：确定模块；
所述确定模块，用于基于所述全分辨率模式与所述预设模式之间的图像转换关系，确定所述全分辨率模式和所述预设分辨率模式之间的图像映射关系；
所述确定模块，还用于根据所述图像映射关系，确定所述第一深度图像中的每个像素点在所述全分辨率模式下的深度图像中的坐标位置；
所述配准模块，还用于从所述第一RGB图像中，获取所述坐标位置对应的第一像素点；并基于所述第一配准参数，对所述第一像素点与所述第一深度图像中对应的像素点进行配准，得到所述预设分辨率模式下的RGBD图像。
可选的，图像配准装置1还包括：数据处理模块；
所述数据处理模块，用于基于所述全分辨率模式与所述预设模式之间的图像转换关系，对所述第一配准参数进行处理，得到所述预设分辨率模式对应的第二配准参数；
所述配准模块，还用于基于所述第二配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述预设分辨率模式下的配准深度图像。
可选的，图像配准装置1还包括：图像处理模块；
所述图像处理模块，用于对所述第一RGB图像进行逆镜像，得到第二RGB图像；并对所述第一深度图像进行逆镜像，得到第二深度图像；
所述配准模块，还用于基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第二RGB图像和所述第二深度图像进行配准，得到所述预设模式下的RGBD图像；
所述图像处理模块，还用于对所述RGBD图像进行镜像，得到所述预设分辨率与镜像模式下的镜像RGBD图像。
可选的，所述数据处理模块，还用于按照所述预设镜像模式对应的镜像规则，对所述第一配准参数进行镜像，得到第一镜像配准参数；
所述配准模块，还用于基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一镜像配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述预设分辨率与镜像模式下的镜像RGBD图像。
可选的，所述第一配准参数包括所述RGB拍摄模块的内部参数、所述TOF拍摄模块的内部参数和所述RGB拍摄模块与所述TOF拍摄模块之间的相对位置参数。
本申请实施例提供了一种图像配准装置，该装置包括：采集模块和获取模块，其中，采集模块，用于利用RGB拍摄模块和TOF拍摄模块同时采集目标对象的第一RGB图像和第一深度图像；第一RGB图像为全分辨率模式或预设模式下的RGB图像，第一深度图像为全分辨率模式或预设模式下的深度图像；预设模式包括预设分辨率模式、预设镜像模式以及预设分辨率与镜像模式；获取模块，用于获取RGB拍摄模块和TOF拍摄模块在全分辨率模式下进行双目标定得到的第一配准参数；并基于全分辨率模式与预设模式之间的图像转换关系和第一配准参数，对第一RGB图像和第一深度图像进行配准，得到预设模式下的配准深度RGBD图像；采用上述实现方案，本申请通过在全分辨率模式下进行一次双目标定，获取到全分辨率模式下两个拍摄模块的配准参数，进而能够根据全分辨率模式与预设模式之间的图像转换关系和配准参数对RGB图像和深度图像进行配准，得到预设模式下的配准深度图像，简化了配准的步骤，提高了图像配准的效率。
图8为本申请实施例提供的一种图像配准设备的组成结构示意图，在实际应用中，基于上述实施例的同一公开构思下，如图8所示，本实施例的图像配准设备2包括：处理器20、存储器21及通信总线22。
在具体的实施例的过程中，上述采集模块10、获取模块11、配准模块、模式转换模块、确定模块、数据处理模块和图像处理模块可由位于图像配准设备2上的处理器20实现，上述处理器20可以为特定用途集成电路（ASIC，Application Specific IntegratedCircuit）、数字信号处理器（DSP，Digital Signal Processor）、数字信号处理图像处理装置（DSPD，Digital Signal Processing Device）、可编程逻辑图像处理装置（PLD，Programmable Logic Device）、现场可编程门阵列（FPGA，Field Programmable GateArray）、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的图像配准设备，用于实现上述处理器功能的电子器件还可以为其它，本实施例不作具体限定。
在本申请实施例中，上述通信总线22用于实现处理器20和存储器21之间的连接通信；上述处理器20执行存储器21中存储的运行程序时实现如下的图像配准方法：
利用所述RGB拍摄模块和所述TOF拍摄模块同时采集目标对象的第一RGB图像和第一深度图像；所述第一RGB图像为全分辨率模式或预设模式下的RGB图像，所述第一深度图像为所述全分辨率模式或所述预设模式下的深度图像；所述预设模式包括预设分辨率模式、预设镜像模式以及预设分辨率与镜像模式；
获取所述RGB拍摄模块和所述TOF拍摄模块在所述全分辨率模式下进行双目标定得到的第一配准参数；并基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述预设模式下的配准深度RGBD图像。
可选的，所述处理器20，还用于基于所述第一配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述全分辨率模式下的第一RGBD图像；基于所述全分辨率模式与所述预设分辨率模式之间的图像转换关系，对所述第一RGBD图像的分辨率进行转换，以将所述第一RGBD图像转换为所述预设分辨率模式下的RGBD图像。
可选的，所述处理器20，还用于基于所述全分辨率模式与所述预设模式之间的图像转换关系，确定所述全分辨率模式和所述预设分辨率模式之间的图像映射关系；根据所述图像映射关系，确定所述第一深度图像中的每个像素点在所述全分辨率模式下的深度图像中的坐标位置；从所述第一RGB图像中，获取所述坐标位置对应的第一像素点；并基于所述第一配准参数，对所述第一像素点与所述第一深度图像中对应的像素点进行配准，得到所述预设分辨率模式下的RGBD图像。
可选的，所述处理器20，还用于基于所述全分辨率模式与所述预设模式之间的图像转换关系，对所述第一配准参数进行处理，得到所述预设分辨率模式对应的第二配准参数；基于所述第二配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述预设分辨率模式下的配准深度图像。
可选的，所述处理器20，还用于对所述第一RGB图像进行逆镜像，得到第二RGB图像；并对所述第一深度图像进行逆镜像，得到第二深度图像；基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第二RGB图像和所述第二深度图像进行配准，得到所述预设模式下的RGBD图像；对所述RGBD图像进行镜像，得到所述预设分辨率与镜像模式下的镜像RGBD图像。
可选的，所述处理器20，还用于按照所述预设镜像模式对应的镜像规则，对所述第一配准参数进行镜像，得到第一镜像配准参数；基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一镜像配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述预设分辨率与镜像模式下的镜像RGBD图像。
可选的，所述第一配准参数包括所述RGB拍摄模块的内部参数、所述TOF拍摄模块的内部参数和所述RGB拍摄模块与所述TOF拍摄模块之间的相对位置参数。
本申请实施例提供一种存储介质，其上存储有计算机程序，上述计算机可读存储介质存储有一个或者多个程序，上述一个或者多个程序可被一个或者多个处理器执行，应用于图像配准装置中，该计算机程序实现如上述的图像配准方法。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台图像显示设备（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本公开各个实施例所述的图像配准方法。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。

Claims (10)

1.一种图像配准方法，其特征在于，应用于图像配准装置，所述图像配准装置包括RGB拍摄模块和飞行时间TOF拍摄模块；所述方法包括：
利用所述RGB拍摄模块和所述TOF拍摄模块同时采集目标对象的第一RGB图像和第一深度图像；所述第一RGB图像为全分辨率模式或预设模式下的RGB图像，所述第一深度图像为所述全分辨率模式或所述预设模式下的深度图像；所述预设模式包括预设分辨率模式、预设镜像模式以及预设分辨率与镜像模式；
获取所述RGB拍摄模块和所述TOF拍摄模块在所述全分辨率模式下进行双目标定得到的第一配准参数；并基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述预设模式下的配准深度RGBD图像。
2.根据权利要求1所述的方法，其特征在于，所述第一RGB图像为所述全分辨率模式下的RGB图像，所述第一深度图像为所述全分辨率模式下的深度图像，所述预设模式为所述预设分辨率模式；所述基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述预设模式下的RGBD图像，包括：
基于所述第一配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述全分辨率模式下的第一RGBD图像；
基于所述全分辨率模式与所述预设分辨率模式之间的图像转换关系，对所述第一RGBD图像的分辨率进行转换，以将所述第一RGBD图像转换为所述预设分辨率模式下的RGBD图像。
3.根据权利要求1所述的方法，其特征在于，所述第一RGB图像为所述全分辨率模式下的RGB图像，所述第一深度图像为所述预设分辨率模式下的深度图像，所述预设模式为所述预设分辨率模式；所述基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述预设模式下的RGBD图像，包括：
基于所述全分辨率模式与所述预设模式之间的图像转换关系，确定所述全分辨率模式和所述预设分辨率模式之间的图像映射关系；
根据所述图像映射关系，确定所述第一深度图像中的每个像素点在所述全分辨率模式下的深度图像中的坐标位置；
从所述第一RGB图像中，获取所述坐标位置对应的第一像素点；并基于所述第一配准参数，对所述第一像素点与所述第一深度图像中对应的像素点进行配准，得到所述预设分辨率模式下的RGBD图像。
4.根据权利要求1所述的方法，其特征在于，所述第一RGB图像为所述预设分辨率模式下的RGB图像，所述第一深度图像为所述预设分辨率模式下的深度图像，所述预设模式为所述预设分辨率模式；所述基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述预设模式下的RGBD图像，包括：
基于所述全分辨率模式与所述预设模式之间的图像转换关系，对所述第一配准参数进行处理，得到所述预设分辨率模式对应的第二配准参数；
基于所述第二配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述预设分辨率模式下的配准深度图像。
5.根据权利要求1所述的方法，其特征在于，所述第一RGB图像为所述预设镜像模式下的RGB图像，所述第一深度图像为所述预设分辨率与镜像模式下的深度图像，所述预设模式为所述预设分辨率与镜像模式；所述基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述预设模式下的RGBD图像之前，所述方法还包括：
对所述第一RGB图像进行逆镜像，得到第二RGB图像；并对所述第一深度图像进行逆镜像，得到第二深度图像；
相应的，所述基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述预设模式下的RGBD图像，包括：
基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第二RGB图像和所述第二深度图像进行配准，得到所述预设模式下的RGBD图像；
相应的，所述基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述预设模式下的RGBD图像之后，所述方法还包括：
对所述RGBD图像进行镜像，得到所述预设分辨率与镜像模式下的镜像RGBD图像。
6.根据权利要求1所述的方法，其特征在于，所述第一RGB图像为所述预设镜像模式下的RGB图像，所述第一深度图像为所述预设分辨率与镜像模式下的深度图像，所述预设模式为所述预设分辨率与镜像模式；所述基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述预设模式下的RGBD图像，包括：
按照所述预设镜像模式对应的镜像规则，对所述第一配准参数进行镜像，得到第一镜像配准参数；
基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一镜像配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述预设分辨率与镜像模式下的镜像RGBD图像。
7.根据权利要求1所述的方法，其特征在于，所述第一配准参数包括所述RGB拍摄模块的内部参数、所述TOF拍摄模块的内部参数和所述RGB拍摄模块与所述TOF拍摄模块之间的相对位置参数。
8.一种图像配准装置，其特征在于，所述图像配准装置包括RGB拍摄模块和飞行时间TOF拍摄模块；所述装置包括：
采集模块，用于利用所述RGB拍摄模块和所述TOF拍摄模块同时采集目标对象的第一RGB图像和第一深度图像；所述第一RGB图像为全分辨率模式或预设模式下的RGB图像，所述第一深度图像为所述全分辨率模式或所述预设模式下的深度图像；所述预设模式包括预设分辨率模式、预设镜像模式以及预设分辨率与镜像模式；
获取模块，用于获取所述RGB拍摄模块和所述TOF拍摄模块在所述全分辨率模式下进行双目标定得到的第一配准参数；并基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一RGB图像和所述第一深度图像进行配准，得到所述预设模式下的配准深度RGBD图像。
9.一种图像配准设备，其特征在于，所述设备包括：处理器、存储器及通信总线；所述处理器执行存储器存储的运行程序时实现如权利要求1-7任一项所述的方法。
10.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法。
CN202210786406.1A 2022-07-06 2022-07-06 一种图像配准方法及装置、存储介质 Active CN114862923B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210786406.1A CN114862923B (zh) 2022-07-06 2022-07-06 一种图像配准方法及装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210786406.1A CN114862923B (zh) 2022-07-06 2022-07-06 一种图像配准方法及装置、存储介质

Publications (2)

Publication Number Publication Date
CN114862923A CN114862923A (zh) 2022-08-05
CN114862923B true CN114862923B (zh) 2022-09-09

Family

ID=82626789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210786406.1A Active CN114862923B (zh) 2022-07-06 2022-07-06 一种图像配准方法及装置、存储介质

Country Status (1)

Country Link
CN (1) CN114862923B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012109481A1 (de) * 2012-10-05 2014-04-10 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
CN106663320A (zh) * 2014-07-08 2017-05-10 高通股份有限公司 使用全局最小化和深度内插的立体深度估计的***和方法
CN108230437A (zh) * 2017-12-15 2018-06-29 深圳市商汤科技有限公司 场景重建方法和装置、电子设备、程序和介质
KR101889886B1 (ko) * 2017-12-22 2018-08-21 세명대학교 산학협력단 심도 정보 생성 방법 및 장치
CN109816731A (zh) * 2017-11-21 2019-05-28 西安交通大学 一种rgb和深度信息精确配准的方法
CN112085771A (zh) * 2020-08-06 2020-12-15 深圳市优必选科技股份有限公司 图像配准方法、装置、终端设备及计算机可读存储介质
CN112232362A (zh) * 2020-11-04 2021-01-15 清华大学深圳国际研究生院 一种跨模态医学图像配准方法及计算机可读存储介质
CN112465916A (zh) * 2020-11-27 2021-03-09 浙江光珀智能科技有限公司 一种基于全视场平面标定板的rgbd双目标定方法及***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110211749A1 (en) * 2010-02-28 2011-09-01 Kar Han Tan System And Method For Processing Video Using Depth Sensor Information
US9497429B2 (en) * 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012109481A1 (de) * 2012-10-05 2014-04-10 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
CN106663320A (zh) * 2014-07-08 2017-05-10 高通股份有限公司 使用全局最小化和深度内插的立体深度估计的***和方法
CN109816731A (zh) * 2017-11-21 2019-05-28 西安交通大学 一种rgb和深度信息精确配准的方法
CN108230437A (zh) * 2017-12-15 2018-06-29 深圳市商汤科技有限公司 场景重建方法和装置、电子设备、程序和介质
KR101889886B1 (ko) * 2017-12-22 2018-08-21 세명대학교 산학협력단 심도 정보 생성 방법 및 장치
CN112085771A (zh) * 2020-08-06 2020-12-15 深圳市优必选科技股份有限公司 图像配准方法、装置、终端设备及计算机可读存储介质
CN112232362A (zh) * 2020-11-04 2021-01-15 清华大学深圳国际研究生院 一种跨模态医学图像配准方法及计算机可读存储介质
CN112465916A (zh) * 2020-11-27 2021-03-09 浙江光珀智能科技有限公司 一种基于全视场平面标定板的rgbd双目标定方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Extrinsic and depth calibration of ToF-cameras;Fuchs S et al;《IEEE conference on Computer Vison & Pattern Recognition》;20081231;全文 *
基于TOF与立体匹配相融合的高分辨率深度获取;刘娇丽等;《信息技术》;20161231;第40卷(第12期);全文 *

Also Published As

Publication number Publication date
CN114862923A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
US9792684B2 (en) System and method for imaging device modelling and calibration
US9600859B2 (en) Image processing device, image processing method, and information processing device
US8482599B2 (en) 3D modeling apparatus, 3D modeling method, and computer readable medium
US10638109B2 (en) Method for the FPGA-based long range multi-view stereo with differential image rectification
JP5704975B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN109920004B (zh) 图像处理方法、装置、标定物组合、终端设备及标定***
US11282232B2 (en) Camera calibration using depth data
JP2003254748A (ja) ステレオ画像特性検査システム
CN107545586B (zh) 基于光场极线平面图像局部的深度获取方法及***
US20110064298A1 (en) Apparatus for evaluating images from a multi camera system, multi camera system and process for evaluating
US8810693B2 (en) Image processing apparatus and method thereof
CN109661815A (zh) 存在相机阵列的显著强度变化的情况下的鲁棒视差估计
JP2000283753A (ja) ステレオ画像による測距装置
EP3651119A1 (en) Disparity estimation from a wide angle image
KR20150088583A (ko) 영상 처리 방법 및 장치
CN114862923B (zh) 一种图像配准方法及装置、存储介质
JP6153318B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6732440B2 (ja) 画像処理装置、画像処理方法、及びそのプログラム
KR101857977B1 (ko) 플래놉틱 카메라와 깊이 카메라를 결합한 영상 장치 및 영상 처리 방법
JP7369588B2 (ja) 撮像機器及び撮像方法
JP2018148513A (ja) 画像処理装置、画像処理方法、及びプログラム
JPH11150741A (ja) ステレオ写真撮影による３次元画像表示方法および装置
CN110647301B (zh) 增强现实***及其影像显示方法
CN111080689B (zh) 确定面部深度图的方法和装置
US11893706B2 (en) Image correction device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant