CN108492325B - 一种非共轴成像的图像配准装置、图像配准方法及*** - Google Patents
一种非共轴成像的图像配准装置、图像配准方法及*** Download PDFInfo
- Publication number
- CN108492325B CN108492325B CN201810257904.0A CN201810257904A CN108492325B CN 108492325 B CN108492325 B CN 108492325B CN 201810257904 A CN201810257904 A CN 201810257904A CN 108492325 B CN108492325 B CN 108492325B
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- determining
- grid plate
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000003287 optical effect Effects 0.000 claims abstract description 58
- 230000009466 transformation Effects 0.000 claims description 58
- 239000011159 matrix material Substances 0.000 claims description 36
- 230000001131 transforming effect Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 239000002131 composite material Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010297 mechanical methods and process Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种非共轴成像的图像配准装置、图像配准方法及***。所述图像配准装置包括:光源、网格板、平行光管、非共轴光学***以及计算机;所述光源、所述网格板、所述平行光管的光轴以及所述非共轴光学***的光轴处于同一水平面上;所述网格板设于所述平行光管内;所述非共轴光学***与所述计算机电连接。采用本发明所提供的图像配准装置、图像配准方法及***,以非机械装调的方式进行图像配准,从而能够提高图像配准精度。
Description
技术领域
本发明涉及非共轴相机空间超分辨率配准技术领域,特别是涉及一种非共轴成像的图像配准装置、图像配准方法及***。
背景技术
对于远距离光学测量***而言,光学***所接收到的信号受到大气分子影响,信号动态变化极大,近场信号和远场信号存在明显差别,光学***需要提高接收视场角以增加探测距离,随着光电***复合程度的增加,其光轴间距也越来越大,这对传统的光轴一致性带来了新的挑战,当光学***采用两个相机进行空间测量时,由于机械装调精度不高,只能通过经验调整尽可能地使得共光轴成像,精度仅能达到像素级别,并且机械装调呈现的结果是在一个平面上,而不能在空间中呈现,但是由于无论如何机械装调两个相机的相对位置,都不能使得两个相机的光轴处于同一方向,因此,导致采用机械装调方式对非共轴光学***进行配准时,得到的图像配准精度低。
发明内容
本发明的目的是提供一种非共轴成像的图像配准装置、图像配准方法及***,以解决现有技术中采用机械装调方式对非共轴光学***的图像配准精度低的问题。
为实现上述目的,本发明提供了如下方案:
一种非共轴成像的图像配准装置,包括:光源、网格板、平行光管、非共轴光学***以及计算机;
所述光源、所述网格板、所述平行光管的光轴以及所述非共轴光学***的光轴处于同一水平面上;所述网格板设于所述平行光管内;
所述非共轴光学***与所述计算机电连接;所述非共轴光学***包括第一相机以及第二相机;所述光源所发出的光线通过所述网格板以及所述平行光管,再进入所述非共轴光学***,调整所述网格板在所述平行光管中的位置使得所述第一相机清晰成像,得到网格板第一位置;使得所述网格板第一位置与所述第一相机的焦距相匹配,得到第一图像;所述第一图像的中心为由所述第一相机采集到的所述网格板的第一成像中心;再次调整所述网格板在所述平行光管中的位置使得所述第二相机清晰成像,得到网格板第二位置;使得所述网格板第二位置与所述第二相机的焦距相匹配,得到第二图像;所述第二图像的中心为由所述第二相机采集到的所述网格板的第二成像中心;由所述计算机对所述第一图像以及所述第二图像进行配准,得到配准图像。
一种非共轴成像的图像配准方法,所述配准方法应用于一种非共轴成像的图像配准装置,所述图像配准装置包括:光源、网格板、平行光管、非共轴光学***以及计算机;所述光源、所述网格板、所述平行光管的光轴以及所述非共轴光学***的光轴处于同一水平面上;所述网格板设于所述平行光管内;所述非共轴光学***与所述计算机电连接;所述非共轴光学***包括第一相机以及第二相机;所述光源所发出的光线通过所述网格板以及所述平行光管,再进入所述非共轴光学***,调整所述网格板在所述平行光管中的位置使得所述第一相机清晰成像,得到网格板第一位置;使得所述网格板第一位置与所述第一相机的焦距相匹配,得到第一图像;所述第一图像的中心为由所述第一相机采集到的所述网格板的第一成像中心;再次调整所述网格板在所述平行光管中的位置使得所述第二相机清晰成像,得到网格板第二位置;使得所述网格板第二位置与所述第二相机的焦距相匹配,得到第二图像;所述第二图像的中心为由所述第二相机采集到的所述网格板的第二成像中心;由所述计算机对所述第一图像以及所述第二图像进行配准,得到配准图像。
所述图像配准方法包括:
获取所述第一相机的第一相机参数以及所述第二相机的第二相机参数;所述第一相机参数包括焦距、景深;所述第二相机参数包括焦距、景深;
根据所述第一相机参数确定所述第一图像;
根据所述第二相机参数确定所述第二图像;
以所述第一相机的成像面为XOY平面,以所述第一图像的左下点为原点建立第一坐标系;
根据所述第一坐标系确定所述第一成像中心的第一成像中心坐标;
根据所述第一成像中心坐标确定与所述第一成像中心相邻的格子的n个第一角点坐标;n≥4;
以所述第二相机的成像面为UPW平面,以所述第二图像的左下点为原点建立第二坐标系;
根据所述第二坐标系确定所述第二成像中心的第二成像中心坐标;
根据所述第二成像中心坐标确定与所述第二成像中心相邻的格子的m个第二角点坐标;m=n且m≥4;
根据所述第一角点坐标以及所述第二角点坐标确定所述第一坐标系以及所述第二坐标系之间的空间位置变换关系;
根据所述空间位置变换关系,将处于所述第二坐标系的所述第二图像变换到所述第一坐标系上,使得所述第二图像与所述第一图像重合,确定配准图像。
可选的,所述根据所述第一相机参数确定所述第一图像,具体包括:
获取工程中被测物体与所述第一相机的第一实际距离;
根据所述第一实际距离及所述第一相机参数确定所述网格板在所述平行光管中的的网格板第一位置;
根据所述网格板第一位置确定所述第一图像。
可选的,所述根据所述第二相机参数确定所述第二图像,具体包括:
获取工程中被测物体与所述第二相机的第二实际距离;
根据所述第二实际距离及所述第二相机参数确定所述网格板在所述平行光管中的的网格板第二位置;
根据所述网格板第二位置确定所述第二图像。
可选的,所述根据所述第一角点坐标以及所述第二角点坐标确定所述第一坐标系以及所述第二坐标系之间的空间位置变换关系,具体包括:
可选的,所述根据所述空间位置变换关系,将处于所述第二坐标系的所述第二图像变换到所述第一坐标系上,使得所述第二图像与所述第一图像重合,得到配准图像之后,还包括:
判断所述配准图像内的第一像素点的坐标是否是整数,得到第一判断结果;
若所述第一判断结果表示为所述配准图像内的第一像素点的坐标是整数,确定所述配准图像为所述第一图像和所述第二图像的共光轴成像;
若所述第一判断结果表示为所述配准图像内的第一像素点的坐标不是整数,采用最邻近插值法计算所述第一像素点的灰度值;
根据所述灰度值进行配准,确定配准图像。
一种非共轴成像的图像配准***,包括:
相机参数获取模块,用于获取所述第一相机的第一相机参数以及所述第二相机的第二相机参数;所述第一相机参数包括焦距、景深;所述第二相机参数包括焦距、景深;
第一图像确定模块,用于根据所述第一相机参数确定所述第一图像;
第二图像确定模块,用于根据所述第二相机参数确定所述第二图像;
第一坐标系建立模块,用于以所述第一相机的成像面为XOY平面,以所述第一图像的左下点为原点建立第一坐标系;
第一成像中心坐标确定模块,用于根据所述第一坐标系确定所述第一成像中心的第一成像中心坐标;
第一角点坐标确定模块,用于根据所述第一成像中心坐标确定与所述第一成像中心相邻的格子的n个第一角点坐标;n≥4;
第二坐标系建立模块,用于以所述第二相机的成像面为UPW平面,以所述第二图像的左下点为原点建立第二坐标系;
第二成像中心坐标确定模块,用于根据所述第二坐标系确定所述第二成像中心的第二成像中心坐标;
第二角点坐标确定模块,用于根据所述第二成像中心坐标确定与所述第二成像中心相邻的格子的m个第二角点坐标;m=n且m≥4;
空间位置变换关系确定模块,用于根据所述第一角点坐标以及所述第二角点坐标确定所述第一坐标系以及所述第二坐标系之间的空间位置变换关系;
配准图像确定模块,用于根据所述空间位置变换关系,将处于所述第二坐标系的所述第二图像变换到所述第一坐标系上,使得所述第二图像与所述第一图像重合,确定配准图像。
可选的,所述第一图像确定模块具体包括:
第一实际距离获取单元,用于获取所述被测工程实际物体与所述第一相机的第一实际距离;
网格板第一位置确定单元,用于根据所述第一实际距离及所述第一相机参数确定所述网格板在所述平行光管中的的网格板第一位置;
第一图像确定单元,用于根据所述网格板第一位置确定所述第一图像。
可选的,所述第二图像确定模块具体包括:
第二实际距离获取单元,用于获取所述被测工程实际物体与所述第二相机的第二实际距离;
网格板第二位置确定单元,用于根据所述第二实际距离及所述第二相机参数确定所述网格板在所述平行光管中的的网格板第二位置;
第二图像确定单元,用于根据所述网格板第二位置确定所述第二图像。
可选的,所述空间位置变换关系确定模块具体包括:
根据本发明提供的具体实施例,本发明公开了以下技术效果:本发明提供了一种非共轴成像的图像配准装置、图像配准方法及***,通过在所述平行光管内设置网格板,第一相机以及第二相机分别采集所述网格板的成像图像,即:第一图像以及第二图像;在采集过程中,第一图像由第一成像中心坐标确定,第二图像由第二成像中心坐标确定,获取与第一成像中心坐标以及第二成像中心坐标相邻的角点,将获得的角点作为特征点,根据特征点确定第一坐标系与第二坐标系之间的空间位置变换关系,利用空间位置变换关系,使得第一图像以及第二图像具有相同的分辨率及精准对应的空间位置,精度达到亚像素级,得到配准图像,采用本发明所提供的非机械装调的非共轴成像的图像配准方法及***能够获得亚像素级的匹配精度,相比于传统的机械装调方式不仅能够提高图像配准精度,还能够避免人为主观意识的干扰;且本发明所提供的非共轴成像的图像配准装置设计简单,灵活性好,易于图像后续处理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明所提供的非共轴成像的图像配准装置结构图;
图2为本发明所提供的非共轴成像的图像配准方法流程图;
图3为本发明所提供的网格板在非共轴光学***上的成像示意图;
图4为本发明所提供的非共轴成像的图像配准***结构图;
图5为本发明所提供的图像配准示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种非共轴成像的图像配准装置、图像配准方法及***,能够提高非共轴光学***的图像配准精度。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的非共轴成像的图像配准装置结构图,如图1所示,一种非共轴成像的图像配准装置,包括:光源1、网格板2、平行光管3、非共轴光学***4以及计算机5;
所述光源、所述网格板、所述平行光管的光轴以及所述非共轴光学***的光轴处于同一水平面上;所述网格板设于所述平行光管内;
所述非共轴光学***与所述计算机电连接;所述非共轴光学***包括第一相机A以及第二相机B;所述光源所发出的光线通过所述网格板以及所述平行光管,再进入所述非共轴光学***调整所述网格板在所述平行光管中的位置使得所述第一相机清晰成像,得到网格板第一位置;使得所述网格板第一位置与所述第一相机的焦距相匹配,得到第一图像;所述第一图像的中心为由所述第一相机采集到的所述网格板的第一成像中心;再次调整所述网格板在所述平行光管中的位置使得所述第二相机清晰成像,得到网格板第二位置;使得所述网格板第二位置与所述第二相机的焦距相匹配,得到第二图像;所述第二图像的中心为由所述第二相机采集到的所述网格板的第二成像中心;由所述计算机对所述第一图像以及所述第二图像进行配准,得到配准图像。
图2为本发明所提供的非共轴成像的图像配准方法流程图,如图2所示,一种非共轴成像的图像配准方法,包括:
步骤201:获取所述第一相机的第一相机参数以及所述第二相机的第二相机参数;所述第一相机参数包括焦距、景深;所述第二相机参数包括焦距、景深。
步骤202:根据所述第一相机参数确定所述第一图像。
所述步骤202具体包括:获取工程中被测物体与所述第一相机的第一实际距离;根据所述第一实际距离及所述第一相机参数确定所述网格板在所述平行光管中的的网格板第一位置;根据所述网格板第一位置确定所述第一图像。
步骤203:根据所述第二相机参数确定所述第二图像。
所述步骤203具体包括:
获取工程中被测物体与所述第二相机的第二实际距离;根据所述第二实际距离及所述第二相机参数确定所述网格板在所述平行光管中的的网格板第二位置;根据所述网格板第二位置确定所述第二图像。
步骤204:以所述第一相机的成像面为XOY平面,以所述第一图像的左下点为原点建立第一坐标系。
步骤205:根据所述第一坐标系确定所述第一成像中心的第一成像中心坐标。
步骤206:根据所述第一成像中心坐标确定与所述第一成像中心相邻的格子的n个第一角点坐标;n≥4。
步骤207:以所述第二相机的成像面为UPW平面,以所述第二图像的左下点为原点建立第二坐标系。
步骤208:根据所述第二坐标系确定所述第二成像中心的第二成像中心坐标。
步骤209:根据所述第二成像中心坐标确定与所述第二成像中心相邻的格子的m个第二角点坐标;m=n且m≥4。
图3为本发明所提供的网格板在非共轴光学***上的成像示意图,如图3所示,根据步骤202以及步骤203调整网格板2在平行光管3的位置,使得网格板2处于该位置时第一相机A清晰成像,并且尽可能使网格板中心9成像于图像视场中心7,通过外触发模式控制第一相机A采集得到分辨率为M×N大小的图像10,图像数据传输至计算机5并保存;同理,使得第二相机B清晰成像,并且尽可能使网格板中心9成像于图像视场中心8,通过外触发模式控制第二相机B采集得到分辨率为K×L大小的图像11,图像数据传输至计算机5并保存。
其中,图3中图像10的中心7周围的实心点为第一角点坐标,图像11的中心8周围的实心点为第二角点坐标。
步骤210:根据所述第一角点坐标以及所述第二角点坐标确定所述第一坐标系以及所述第二坐标系之间的空间位置变换关系。
所述步骤210具体包括:根据公式确定所述第一坐标系与所述第二坐标系之间的变换矩阵;其中,为由所述第一角点坐标组成的矩阵,为由所述第二角点坐标组成的矩阵,为所述第一坐标系与所述第二坐标系之间的变换矩阵;根据公式IXYZ=IUVW*T确定空间位置变换关系,其中,IXYZ为所述第一图像的像素点坐标,IUVW为所述第二图像的像素点坐标。
步骤211:根据所述空间位置变换关系,将处于所述第二坐标系的所述第二图像变换到所述第一坐标系上,使得所述第二图像与所述第一图像重合,确定配准图像。
所述步骤211之后还包括:
判断所述配准图像内的第一像素点的坐标是否是整数,若是,确定所述配准图像为所述第一图像和所述第二图像的共光轴成像;若否,采用最邻近插值法计算所述第一像素点的灰度值;根据所述灰度值进行配准,确定配准图像。
图4为本发明所提供的非共轴成像的图像配准***结构图,如图4所示,一种非共轴成像的图像配准***,包括:
相机参数获取模块401,用于获取所述第一相机的第一相机参数以及所述第二相机的第二相机参数;所述第一相机参数包括焦距、景深;所述第二相机参数包括焦距、景深。
第一图像确定模块402,用于根据所述第一相机参数确定所述第一图像。
第二图像确定模块403,用于根据所述第二相机参数确定所述第二图像。
第一坐标系建立模块404,用于以所述第一相机的成像面为XOY平面,以所述第一图像的左下点为原点建立第一坐标系。
第一成像中心坐标确定模块405,用于根据所述第一坐标系确定所述第一成像中心的第一成像中心坐标。
第一角点坐标确定模块406,用于根据所述第一成像中心坐标确定与所述第一成像中心相邻的格子的n个第一角点坐标;n≥4。
第二坐标系建立模块407,用于以所述第二相机的成像面为UPW平面,以所述第二图像的左下点为原点建立第二坐标系。
第二成像中心坐标确定模块408,用于根据所述第二坐标系确定所述第二成像中心的第二成像中心坐标。
第二角点坐标确定模块409,用于根据所述第二成像中心坐标确定与所述第二成像中心相邻的格子的m个第二角点坐标;m=n且m≥4。
空间位置变换关系确定模块410,用于根据所述第一角点坐标以及所述第二角点坐标确定所述第一坐标系以及所述第二坐标系之间的空间位置变换关系。
配准图像确定模块411,用于根据所述空间位置变换关系,将处于所述第二坐标系的所述第二图像变换到所述第一坐标系上,使得所述第二图像与所述第一图像重合,确定配准图像。
所述第一图像确定模块402具体包括:
第一实际距离获取单元,用于获取所述被测工程实际物体与所述第一相机的第一实际距离;
网格板第一位置确定单元,用于根据所述第一实际距离及所述第一相机参数确定所述网格板在所述平行光管中的的网格板第一位置;
第一图像确定单元,用于根据所述网格板第一位置确定所述第一图像。
所述第二图像确定模块403具体包括:
第二实际距离获取单元,用于获取所述被测工程实际物体与所述第二相机的第二实际距离;
网格板第二位置确定单元,用于根据所述第二实际距离及所述第二相机参数确定所述网格板在所述平行光管中的的网格板第二位置;
第二图像确定单元,用于根据所述网格板第二位置确定所述第二图像。
所述空间位置变换关系确定模块410具体包括:
本发明提出基于空间几何关系的特征点描述,采用本发明所提供的一种非共轴成像的图像配准装置、图像配准方法及***,将其与图像信息的特征点描述结合使用,利用不同坐标系的空间位置变换,实现非共轴光学***的图像配准,即:非机械方法进行轴线一致性校正的图像配准。
该方法所需设备和实现步骤如下:
步骤1:搭建光学***
步骤1.1:如图1所示,打开光源1,使光线通过网格板2并且进入平行光管3,调整非共轴光学采像***4对准平行光管3。
步骤1.2:将第一相机A、第二相机B连接至计算机5,启动第一相机A、第二相机B、计算机5,使得计算机5可以通过外触发模式控制相机正常采像。
步骤2:采集图像
如图1,光源1发出的光线经过网格板以及平行光管进入非共轴光学采像***。在非共轴光学采像***中我们尽可能将第一相机A和第二相机B沿光轴平行放置,但不可能做到完全平行无误差,第一相机A和第二相机B不可避免存在非共光轴的成像情况;同时受相机焦距、景深影响,对于型号不同的第一相机A和第二相机B不能在同一距离下进行采像测量。
步骤2.1:根据第一相机A的焦距参数以及第一相机A与被测工程实际物体的距离,调整网格板在平行光管中的位置,使得第一相机A清晰成像,并且尽可能使网格板中心成像于图像视场中心,通过外触发模式控制第一相机A采集得到分辨率为M×N大小的图像,图像数据传输至计算机并保存。
步骤2.2:根据第二相机B的焦距参数以及第二相机B与被测工程实际物体的距离,调整网格板在平行光管中的位置,使得第二相机B清晰成像,并且尽可能使网格板中心成像于图像视场中心,通过外触发模式控制第二相机B采集得到分辨率为K×L大小的图像,图像数据传输至计算机并保存。
步骤2.3:循环进行步骤2.1和步骤2.2采集多对图像。
步骤3:标定空间坐标系变换矩阵
如图3所示,经过步骤2采集到的每对图像,图像和图像处于不同的空间坐标系中,两副图像具有不同的分辨率大小和不同的空间位置。
步骤3.1:以第一相机A成像面为XOY平面,以图像左下点为Z轴建立坐标系,找到图像中的网格板中心点,以该中心点为中心找到其最邻近周围的n(n≥4)个点的位置坐标并记录这n个点的坐标(x1,y1)、(x2,y2)、…、(xn,yn);
步骤3.2:以第二相机B成像面为UOV平面,以图像左下点为W轴建立坐标系,找到图像中的网格板中心点,以该中心点为中心找到其周围的n个点位置(该n个位置与图像中所取位置必须一一对应)并记录这n个点的坐标为(u1,v1)、(u2,v2)、…、(un,vn)。
步骤3.3:根据空间变换矩阵T可以将图像所在的坐标系UPW转换到图像所在的坐标系XYZ上。
公式(1)中有8个未知数,至少需要8个方程求解,为使估计更准确,通过步骤3.1和步骤3.2得到n对点(n≥4)坐标:
在获得n(n≥4)对特征点后由公式(5)和公式(6)可以得到未知数a11、a12、a13、a21、a22、a23、a31、a32、a33,a11、a12、a21以及a22代表放缩旋转,a13、a23以及a33代表平移,a31以及a32代表透视变换。
步骤3.4:根据步骤3.1和3.2得到的n组点(n≥4)迭代计算步骤3.3,将每次得到的未知数a11、a12、a13、a21、a22、a23、a31、a32、a33进行最小二乘拟合,得到最终的空间位置变换矩阵:
步骤4:图像配准
由步骤3标定得到的矩阵T,表示了图像所在的坐标系UPW上任意一点与图像所在的坐标系XYZ上对应位置的空间变换关系:IXYZ=IUVW*T;公式IXYZ=IUVW*T通过第二图像的像素点相乘变换矩阵T后,将图像11所在的坐标系UPW变换到图像10所在的坐标系XYZ上,此时两者坐标系重合,都处于坐标系XYZ上,第一坐标系以及第二坐标系重合就意味着第一相机以及第二相机的共光轴成像,即解决了非共轴成像问题。
图5为本发明所提供的图像配准示意图,如图5所示,使分辨率为K×L的图像配准到分辨率为M×N大小的图像上,两幅图像具有相同的视场以及分辨率。图像经变换后,各像素点的坐标有可能不是整数,即没有落在坐标点上,用插值法来求得这些像点的灰度值,采用最邻近插值法,实现配准,精度达到亚像素级。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种非共轴成像的图像配准装置,其特征在于,包括:光源、网格板、平行光管、非共轴光学***以及计算机;
所述光源、所述网格板、所述平行光管的光轴以及所述非共轴光学***的光轴处于同一水平面上;所述网格板设于所述平行光管内;
所述非共轴光学***与所述计算机电连接;所述非共轴光学***包括第一相机以及第二相机;所述光源所发出的光线通过所述网格板以及所述平行光管,再进入所述非共轴光学***,调整所述网格板在所述平行光管中的位置使得所述第一相机清晰成像,得到网格板第一位置;使得所述网格板第一位置与所述第一相机的焦距相匹配,得到第一图像;所述第一图像的中心为由所述第一相机采集到的所述网格板的第一成像中心;再次调整所述网格板在所述平行光管中的位置使得所述第二相机清晰成像,得到网格板第二位置;使得所述网格板第二位置与所述第二相机的焦距相匹配,得到第二图像;所述第二图像的中心为由所述第二相机采集到的所述网格板的第二成像中心;由所述计算机对所述第一图像以及所述第二图像进行配准,得到配准图像;图像配准方法包括:获取所述第一相机的第一相机参数以及所述第二相机的第二相机参数;所述第一相机参数包括焦距、景深;所述第二相机参数包括焦距、景深;根据所述第一相机参数确定所述第一图像;根据所述第二相机参数确定所述第二图像;以所述第一相机的成像面为XOY平面,以所述第一图像的左下点为原点建立第一坐标系;根据所述第一坐标系确定所述第一成像中心的第一成像中心坐标;根据所述第一成像中心坐标确定与所述第一成像中心相邻的格子的n个第一角点坐标;n≥4;以所述第二相机的成像面为UPW平面,以所述第二图像的左下点为原点建立第二坐标系;根据所述第二坐标系确定所述第二成像中心的第二成像中心坐标;根据所述第二成像中心坐标确定与所述第二成像中心相邻的格子的m个第二角点坐标;m=n且m≥4;根据所述第一角点坐标以及所述第二角点坐标确定所述第一坐标系以及所述第二坐标系之间的空间位置变换关系;根据所述空间位置变换关系,将处于所述第二坐标系的所述第二图像变换到所述第一坐标系上,使得所述第二图像与所述第一图像重合,确定配准图像。
2.一种非共轴成像的图像配准方法,其特征在于,所述配准方法应用于一种非共轴成像的图像配准装置,所述图像配准装置包括:光源、网格板、平行光管、非共轴光学***以及计算机;所述光源、所述网格板、所述平行光管的光轴以及所述非共轴光学***的光轴处于同一水平面上;所述网格板设于所述平行光管内;所述非共轴光学***与所述计算机电连接;所述非共轴光学***包括第一相机以及第二相机;所述光源所发出的光线通过所述网格板以及所述平行光管,再进入所述非共轴光学***,调整所述网格板在所述平行光管中的位置使得所述第一相机清晰成像,得到网格板第一位置;使得所述网格板第一位置与所述第一相机的焦距相匹配,得到第一图像;所述第一图像的中心为由所述第一相机采集到的所述网格板的第一成像中心;再次调整所述网格板在所述平行光管中的位置使得所述第二相机清晰成像,得到网格板第二位置;使得所述网格板第二位置与所述第二相机的焦距相匹配,得到第二图像;所述第二图像的中心为由所述第二相机采集到的所述网格板的第二成像中心;由所述计算机对所述第一图像以及所述第二图像进行配准,得到配准图像;
所述图像配准方法包括:
获取所述第一相机的第一相机参数以及所述第二相机的第二相机参数;所述第一相机参数包括焦距、景深;所述第二相机参数包括焦距、景深;
根据所述第一相机参数确定所述第一图像;
根据所述第二相机参数确定所述第二图像;
以所述第一相机的成像面为XOY平面,以所述第一图像的左下点为原点建立第一坐标系;
根据所述第一坐标系确定所述第一成像中心的第一成像中心坐标;
根据所述第一成像中心坐标确定与所述第一成像中心相邻的格子的n个第一角点坐标;n≥4;
以所述第二相机的成像面为UPW平面,以所述第二图像的左下点为原点建立第二坐标系;
根据所述第二坐标系确定所述第二成像中心的第二成像中心坐标;
根据所述第二成像中心坐标确定与所述第二成像中心相邻的格子的m个第二角点坐标;m=n且m≥4;
根据所述第一角点坐标以及所述第二角点坐标确定所述第一坐标系以及所述第二坐标系之间的空间位置变换关系;
根据所述空间位置变换关系,将处于所述第二坐标系的所述第二图像变换到所述第一坐标系上,使得所述第二图像与所述第一图像重合,确定配准图像。
3.根据权利要求2所述的图像配准方法,其特征在于,所述根据所述第一相机参数确定所述第一图像,具体包括:
获取工程中被测物体与所述第一相机的第一实际距离;
根据所述第一实际距离及所述第一相机参数确定所述网格板在所述平行光管中的的网格板第一位置;
根据所述网格板第一位置确定所述第一图像;根据第一相机的焦距以及第一相机与被测工程实际物体的距离,调整网格板在平行光管中的位置,使网格板中心成像于图像视场中心,使得第一相机清晰成像。
4.根据权利要求2所述的图像配准方法,其特征在于,所述根据所述第二相机参数确定所述第二图像,具体包括:
获取工程中被测物体与所述第二相机的第二实际距离;
根据所述第二实际距离及所述第二相机参数确定所述网格板在所述平行光管中的的网格板第二位置;
根据所述网格板第二位置确定所述第二图像;根据第二相机的焦距以及第二相机与被测工程实际物体的距离,调整网格板在平行光管中的位置,使网格板中心成像于图像视场中心,使得第二相机清晰成像。
6.根据权利要求2所述的图像配准方法,其特征在于,所述根据所述空间位置变换关系,将处于所述第二坐标系的所述第二图像变换到所述第一坐标系上,使得所述第二图像与所述第一图像重合,得到配准图像之后,还包括:
判断所述配准图像内的第一像素点的坐标是否是整数,得到第一判断结果;
若所述第一判断结果表示为所述配准图像内的第一像素点的坐标是整数,确定所述配准图像为所述第一图像和所述第二图像的共光轴成像;
若所述第一判断结果表示为所述配准图像内的第一像素点的坐标不是整数,采用最邻近插值法计算所述第一像素点的灰度值;
根据所述灰度值进行配准,确定配准图像。
7.一种非共轴成像的图像配准***,其特征在于,包括:
相机参数获取模块,用于获取第一相机的第一相机参数以及第二相机的第二相机参数;所述第一相机参数包括焦距、景深;所述第二相机参数包括焦距、景深;
第一图像确定模块,用于根据所述第一相机参数确定所述第一图像;
第二图像确定模块,用于根据所述第二相机参数确定所述第二图像;
第一坐标系建立模块,用于以所述第一相机的成像面为XOY平面,以所述第一图像的左下点为原点建立第一坐标系;
第一成像中心坐标确定模块,用于根据所述第一坐标系确定所述第一成像中心的第一成像中心坐标;
第一角点坐标确定模块,用于根据所述第一成像中心坐标确定与所述第一成像中心相邻的格子的n个第一角点坐标;n≥4;
第二坐标系建立模块,用于以所述第二相机的成像面为UPW平面,以所述第二图像的左下点为原点建立第二坐标系;
第二成像中心坐标确定模块,用于根据所述第二坐标系确定所述第二成像中心的第二成像中心坐标;
第二角点坐标确定模块,用于根据所述第二成像中心坐标确定与所述第二成像中心相邻的格子的m个第二角点坐标;m=n且m≥4;
空间位置变换关系确定模块,用于根据所述第一角点坐标以及所述第二角点坐标确定所述第一坐标系以及所述第二坐标系之间的空间位置变换关系;
配准图像确定模块,用于根据所述空间位置变换关系,将处于所述第二坐标系的所述第二图像变换到所述第一坐标系上,使得所述第二图像与所述第一图像重合,确定配准图像。
8.根据权利要求7所述的图像配准***,其特征在于,所述第一图像确定模块具体包括:
第一实际距离获取单元,用于获取被测工程实际物体与所述第一相机的第一实际距离;第一测量位置确定单元,用于根据所述第一实际距离及所述第一相机参数确定网格板在平行光管中的网格板第一位置;
第一图像确定单元,用于根据所述网格板第一位置确定所述第一图像。
9.根据权利要求7所述的图像配准***,其特征在于,所述第二图像确定模块具体包括:
第二实际距离获取单元,用于获取被测工程实际物体与所述第二相机的第二实际距离;
网格板第二位置确定单元,用于根据所述第二实际距离及所述第二相机参数确定网格板在平行光管中的网格板第二位置;
第二图像确定单元,用于根据所述网格板第二位置确定所述第二图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810257904.0A CN108492325B (zh) | 2018-03-27 | 2018-03-27 | 一种非共轴成像的图像配准装置、图像配准方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810257904.0A CN108492325B (zh) | 2018-03-27 | 2018-03-27 | 一种非共轴成像的图像配准装置、图像配准方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108492325A CN108492325A (zh) | 2018-09-04 |
CN108492325B true CN108492325B (zh) | 2020-06-30 |
Family
ID=63337580
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810257904.0A Active CN108492325B (zh) | 2018-03-27 | 2018-03-27 | 一种非共轴成像的图像配准装置、图像配准方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108492325B (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102156037B (zh) * | 2010-02-12 | 2013-06-12 | 北方国通(北京)光电科技有限公司 | 光学检测装置及检测方法 |
CN103685951A (zh) * | 2013-12-06 | 2014-03-26 | 华为终端有限公司 | 一种图像处理方法、装置及终端 |
CN103776419B (zh) * | 2014-01-24 | 2016-01-06 | 华南理工大学 | 一种提高测量范围的双目视觉测距方法 |
US9786053B2 (en) * | 2015-03-06 | 2017-10-10 | ZephaVision, LLC | Optical measuring device |
CN106204731A (zh) * | 2016-07-18 | 2016-12-07 | 华南理工大学 | 一种基于双目立体视觉***的多视角三维重建方法 |
-
2018
- 2018-03-27 CN CN201810257904.0A patent/CN108492325B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN108492325A (zh) | 2018-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10690492B2 (en) | Structural light parameter calibration device and method based on front-coating plane mirror | |
CN105716542B (zh) | 一种基于柔性特征点的三维数据拼接方法 | |
CN108510551B (zh) | 一种远距离大视场条件下相机参数的标定方法及*** | |
CN104990515B (zh) | 大型物体三维形状测量***及其测量方法 | |
CN111369630A (zh) | 一种多线激光雷达与相机标定的方法 | |
CN106971408B (zh) | 一种基于时空转换思想的摄像机标定方法 | |
CN108288291A (zh) | 基于单点标定物的多相机标定 | |
CN101373135B (zh) | 基于瞬时随机光照的三维曲面测量装置及方法 | |
CN111047649B (zh) | 一种基于最优偏振角的相机高精度标定方法 | |
CN109544628B (zh) | 一种指针式仪表的准确读数识别***及方法 | |
CN107680139B (zh) | 一种远心双目立体视觉测量***的通用性标定方法 | |
CN109242779B (zh) | 一种相机成像模型的构建方法、装置及汽车自动驾驶*** | |
CN111340888B (zh) | 一种无需白图像的光场相机检校方法及*** | |
CN111220126A (zh) | 一种基于点特征和单目相机的空间物***姿测量方法 | |
CN107729893A (zh) | 一种合模机的视觉定位方法、***和存储介质 | |
CN107941153B (zh) | 一种激光测距优化标定的视觉*** | |
JPH11118425A (ja) | キャリブレーション方法及び装置、並びにキャリブレーション用データ生成方法 | |
CN111524174B (zh) | 一种动平台动目标双目视觉三维构建方法 | |
CN113724337B (zh) | 一种无需依赖云台角度的相机动态外参标定方法及装置 | |
CN108550171B (zh) | 基于交比不变性的含有八卦编码信息的线阵相机标定方法 | |
CN116051659A (zh) | 一种线阵相机与2d激光扫描仪联合标定方法 | |
CN116740187A (zh) | 一种无重叠视场多相机联合标定方法 | |
CN104123726B (zh) | 基于消隐点的大锻件测量***标定方法 | |
CN113658270B (zh) | 基于工件孔心的多目视觉标定的方法、装置、介质及*** | |
WO2010013289A1 (ja) | カメラ校正画像作成装置およびカメラ校正画像作成プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |