CN114842094A - 全色面阵相机和高光谱线阵相机联合标定方法、*** - Google Patents
全色面阵相机和高光谱线阵相机联合标定方法、*** Download PDFInfo
- Publication number
- CN114842094A CN114842094A CN202210778140.6A CN202210778140A CN114842094A CN 114842094 A CN114842094 A CN 114842094A CN 202210778140 A CN202210778140 A CN 202210778140A CN 114842094 A CN114842094 A CN 114842094A
- Authority
- CN
- China
- Prior art keywords
- array camera
- matrix
- hyperspectral
- mark
- linear
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请属于相机标定技术领域,公开了一种全色面阵相机和高光谱线阵相机联合标定方法、***,通过高光谱线阵相机拍摄标定件组合的第一图像,以获取多个位于扫描平面内的第一特征点的坐标关系,根据第一特征点的坐标关系确定扫描平面的系数矩阵,并用以计算世界坐标系与高光谱线阵相机的相机坐标系之间的第一位姿转换矩阵;再根据全色面阵相机拍摄的第二图像对世界坐标系与全色面阵相机的相机坐标系之间的第二位姿转换矩阵进行标定,根据第一位姿转换矩阵和第二位姿转换矩阵通过简单计算得到高光谱线阵相机和全色面阵相机之间的位姿转换关系;计算过程简单、高效、计算结果精度高,可以广泛用于全色面阵相机和高光谱线阵相机的联合标定。
Description
技术领域
本申请涉及相机标定技术领域,具体而言,涉及一种全色面阵相机和高光谱线阵相机联合标定方法、***。
背景技术
全色面阵相机可以用来采集高精度的图像,高光谱线阵相机具有波段多、光谱窄、波段连续、数据量大等优势,若把全色面阵相机和高光谱线阵相机结合以对,可以获取更加全面的图像数据信息,同时,通过数字图像融合技术,全色面阵相机可以用来提高高光谱数据的分辨率。
然而,为了能够进行数据融合,需要先知道全色面阵相机和高光谱线阵相机之间的位姿转换关系,因此需要对两者之间的位姿转换关系进行标定。为此,需要寻求一种能够简单高效且高精度地对全色面阵相机和高光谱线阵相机进行联合标定的方法和***。
发明内容
本申请的目的在于提供一种全色面阵相机和高光谱线阵相机联合标定方法、***,能够简单高效且高精度地对全色面阵相机和高光谱线阵相机进行联合标定。
第一方面,本申请提供了一种全色面阵相机和高光谱线阵相机联合标定***,用于对全色面阵相机和高光谱线阵相机进行联合标定;包括上位机和标定件组合,所述标定件组合包括位于第一平面内的第一背景标志和第二背景标志以及位于第二平面内的第一特征标志和第二特征标志,所述第二平面与所述第一平面平行,所述第一特征标志位于所述第一背景标志前侧,且所述第一特征标志与所述第一背景标志的颜色不同,所述第二特征标志位于所述第二背景标志前侧,且所述第二特征标志与所述第二背景标志的颜色不同;
所述上位机用于:
获取由所述高光谱线阵相机拍摄的所述标定件组合的第一图像和由所述全色面阵相机拍摄的所述标定件组合的第二图像;
根据所述第一图像获取多个第一特征点的坐标数据中各坐标值之间的坐标关系;所述多个第一特征点位于所述第一图像的扫描平面内;
根据所述多个第一特征点的所述坐标关系计算世界坐标系与所述高光谱线阵相机的相机坐标系之间的第一位姿转换矩阵;
根据所述第二图像获取世界坐标系与所述全色面阵相机的相机坐标系之间的第二位姿转换矩阵;
根据所述第一位姿转换矩阵和所述第二位姿转换矩阵计算所述高光谱线阵相机的相机坐标系和所述全色面阵相机的相机坐标系之间的第三姿转换矩阵。
该全色面阵相机和高光谱线阵相机联合标定***,通过高光谱线阵相机拍摄标定件组合的第一图像,以获取多个位于第一图像的扫描平面内的第一特征点的坐标关系,进而根据这些第一特征点的坐标关系确定扫描平面的系数矩阵,并用以计算世界坐标系与所述高光谱线阵相机的相机坐标系之间的第一位姿转换矩阵;再根据全色面阵相机拍摄的第二图像对世界坐标系与所述全色面阵相机的相机坐标系之间的第二位姿转换矩阵进行标定,即可根据第一位姿转换矩阵和第二位姿转换矩阵通过简单计算得到高光谱线阵相机和全色面阵相机之间的位姿转换关系;计算过程简单且计算结果的精度高,能够简单高效且高精度地对全色面阵相机和高光谱线阵相机进行联合标定。
优选地,所述第一背景标志和所述第二背景标志均为等腰梯形标志;所述第一特征标志和第二特征标志均具有多个直线板条,每个所述直线板条的一端至少与另一个所述直线板条的一端相连以形成夹角;
所述第一图像的扫描平面与所述第一背景标志、第二背景标志、第一特征标志的各所述直线板条和第二特征标志的各所述直线板条均相交;
所述多个第一特征点包括所述第一背景标志和所述第二背景标志在所述第一图像中的图像边界点、各所述直线板条在所述第一图像中的图像中点以及各所述图像中点在对应的所述直线板条上的实际位置点。
根据该形状的第一背景标志、第二背景标志、第一特征标志和第二特征标志确定的第一特征点的坐标关系比较简单,有利于进一步提高计算效率。
优选地,所述上位机用于在根据所述多个第一特征点的所述坐标关系计算世界坐标系与所述高光谱线阵相机的相机坐标系之间的第一位姿转换矩阵的时候,执行:
根据所述多个第一特征点的所述坐标关系确定所述扫描平面的平面方程的系数矩阵;
根据所述系数矩阵计算世界坐标系与所述高光谱线阵相机的相机坐标系之间的第一位姿转换矩阵。
优选地,所述根据所述多个第一特征点的所述坐标关系确定所述扫描平面的平面方程的系数矩阵,具体包括:
构建以下平面方程:
根据多个第一特征点的所述坐标关系,求解以下优化目标函数,得到所述系数矩阵:
通过该方法得到扫描平面的平面方程的系数矩阵,计算结果的准确性较高。
优选地,所述第一位姿转换矩阵包括第一旋转矩阵和第一平移矩阵;
所述根据所述系数矩阵计算世界坐标系与所述高光谱线阵相机的相机坐标系之间的第一位姿转换矩阵,具体包括:
求解以下方程得到所述第一旋转矩阵和所述第一平移矩阵:
第二方面,本申请提供了一种全色面阵相机和高光谱线阵相机联合标定方法,用于对全色面阵相机和高光谱线阵相机进行联合标定,包括步骤:
获取由所述高光谱线阵相机拍摄的标定件组合的第一图像和由所述全色面阵相机拍摄的所述标定件组合的第二图像;所述标定件组合包括位于第一平面内的第一背景标志和第二背景标志以及位于第二平面内的第一特征标志和第二特征标志,所述第二平面与所述第一平面平行,所述第一特征标志位于所述第一背景标志前侧,且所述第一特征标志与所述第一背景标志的颜色不同,所述第二特征标志位于所述第二背景标志前侧,且所述第二特征标志与所述第二背景标志的颜色不同;
根据所述第一图像获取多个第一特征点的坐标数据中各坐标值之间的坐标关系;所述多个第一特征点位于所述第一图像的扫描平面内;
根据所述多个第一特征点的所述坐标关系计算世界坐标系与所述高光谱线阵相机的相机坐标系之间的第一位姿转换矩阵;
根据所述第二图像获取世界坐标系与所述全色面阵相机的相机坐标系之间的第二位姿转换矩阵;
根据所述第一位姿转换矩阵和所述第二位姿转换矩阵计算所述高光谱线阵相机的相机坐标系和所述全色面阵相机的相机坐标系之间的第三姿转换矩阵。
全色面阵相机和高光谱线阵相机联合标定方法,通过高光谱线阵相机拍摄标定件组合的第一图像,以获取多个位于第一图像的扫描平面内的第一特征点的坐标关系,进而根据这些第一特征点的坐标关系确定扫描平面的系数矩阵,并用以计算世界坐标系与所述高光谱线阵相机的相机坐标系之间的第一位姿转换矩阵;再根据全色面阵相机拍摄的第二图像对世界坐标系与所述全色面阵相机的相机坐标系之间的第二位姿转换矩阵进行标定,即可根据第一位姿转换矩阵和第二位姿转换矩阵通过简单计算得到高光谱线阵相机和全色面阵相机之间的位姿转换关系;计算过程简单且计算结果的精度高,能够简单高效且高精度地对全色面阵相机和高光谱线阵相机进行联合标定。
优选地,所述第一背景标志和所述第二背景标志均为等腰梯形标志;所述第一特征标志和第二特征标志均具有多个直线板条,每个所述直线板条的一端至少与另一个所述直线板条的一端相连以形成夹角;
所述第一图像的扫描平面与所述第一背景标志、第二背景标志、第一特征标志的各所述直线板条和第二特征标志的各所述直线板条均相交;
所述多个第一特征点包括所述第一背景标志和所述第二背景标志在所述第一图像中的图像边界点、各所述直线板条在所述第一图像中的图像中点以及各所述图像中点在对应的所述直线板条上的实际位置点。
优选地,所述根据所述多个第一特征点的所述坐标关系计算世界坐标系与所述高光谱线阵相机的相机坐标系之间的第一位姿转换矩阵的步骤,包括:
根据所述多个第一特征点的所述坐标关系确定所述扫描平面的平面方程的系数矩阵;
根据所述系数矩阵计算世界坐标系与所述高光谱线阵相机的相机坐标系之间的第一位姿转换矩阵。
优选地,所述根据所述多个第一特征点的所述坐标关系确定所述扫描平面的平面方程的系数矩阵的步骤,包括:
构建以下平面方程:
根据多个第一特征点的所述坐标关系,求解以下优化目标函数,得到所述系数矩阵:
优选地,所述第一位姿转换矩阵包括第一旋转矩阵和第一平移矩阵;
所述根据所述系数矩阵计算世界坐标系与所述高光谱线阵相机的相机坐标系之间的第一位姿转换矩阵的步骤,包括:
求解以下方程得到所述第一旋转矩阵和所述第一平移矩阵:
有益效果
本申请提供的全色面阵相机和高光谱线阵相机联合标定方法、***,通过高光谱线阵相机拍摄标定件组合的第一图像,以获取多个位于第一图像的扫描平面内的第一特征点的坐标数据中各坐标值之间的坐标关系,进而根据这些第一特征点的所述坐标关系确定扫描平面的系数矩阵,并用以计算世界坐标系与所述高光谱线阵相机的相机坐标系之间的第一位姿转换矩阵;再根据全色面阵相机拍摄的第二图像对世界坐标系与所述全色面阵相机的相机坐标系之间的第二位姿转换矩阵进行标定,即可根据第一位姿转换矩阵和第二位姿转换矩阵通过简单计算得到高光谱线阵相机和全色面阵相机之间的位姿转换关系;计算过程简单且计算结果的精度高,能够简单高效且高精度地对全色面阵相机和高光谱线阵相机进行联合标定。
本申请的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、以及附图中所特别指出的结构来实现和获得。
附图说明
图1为本申请实施例提供的全色面阵相机和高光谱线阵相机联合标定***的结构示意图。
图2为示例性的第一背景标志和第二背景标志的结构示意图。
图3为示例性的第一特征标志和第二特征标志的结构示意图。
图4为本申请实施例提供的全色面阵相机和高光谱线阵相机联合标定方法的流程图。
标号说明:1、高光谱线阵相机;2、全色面阵相机;3、第一背景标志;4、第二背景标志;5、第一特征标志;501、第一直线板条;502、第二直线板条;503、第三直线板条;6、第二特征标志;601、第四直线板条;602、第五直线板条;603、第六直线板条;604、第七直线板条;605、第八直线板条;7、上位机。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
请参照图1,图1是本申请一些实施例中的一种全色面阵相机和高光谱线阵相机联合标定***,用于对全色面阵相机2和高光谱线阵相机1进行联合标定;包括上位机7和标定件组合,标定件组合包括位于第一平面内的第一背景标志3和第二背景标志4以及位于第二平面内的第一特征标志5和第二特征标志6,第二平面与第一平面平行,第一特征标志5位于第一背景标志3前侧,且第一特征标志5与第一背景标志3的颜色不同,第二特征标志6位于第二背景标志4前侧,且第二特征标志6与第二背景标志4的颜色不同;
上位机7用于:
获取由高光谱线阵相机1拍摄的标定件组合的第一图像和由全色面阵相机2拍摄的标定件组合的第二图像;
根据第一图像获取多个第一特征点的坐标数据(指在世界坐标系下的坐标数据)中各坐标值之间的坐标关系;多个第一特征点位于第一图像的扫描平面内;
根据多个第一特征点的坐标关系计算世界坐标系与高光谱线阵相机1的相机坐标系之间的第一位姿转换矩阵;
根据第二图像获取世界坐标系与全色面阵相机2的相机坐标系之间的第二位姿转换矩阵;
根据第一位姿转换矩阵和第二位姿转换矩阵计算高光谱线阵相机1的相机坐标系和全色面阵相机2的相机坐标系之间的第三姿转换矩阵。
该全色面阵相机和高光谱线阵相机联合标定***,通过高光谱线阵相机1拍摄标定件组合的第一图像,以获取多个位于第一图像的扫描平面内的第一特征点的坐标关系,进而根据这些第一特征点的坐标关系确定扫描平面的系数矩阵,并用以计算世界坐标系与高光谱线阵相机1的相机坐标系之间的第一位姿转换矩阵;再根据全色面阵相机2拍摄的第二图像对世界坐标系与全色面阵相机2的相机坐标系之间的第二位姿转换矩阵进行标定,即可根据第一位姿转换矩阵和第二位姿转换矩阵通过简单计算得到高光谱线阵相机1和全色面阵相机2之间的位姿转换关系;计算过程简单且计算结果的精度高,能够简单高效且高精度地对全色面阵相机和高光谱线阵相机进行联合标定。
其中,前是指靠近待标定的高光谱线阵相机1和全色面阵相机2的一侧,即,第二平面位于第一平面和高光谱线阵相机1(及全色面阵相机2)之间。
需要说明的是,高光谱线阵相机1在进行一帧图像拍摄时,是通过在一个扫描平面内进行扫描,从而得到一帧直线扫描图像,因此,第一图像是直线扫描图像。例如图1中,扫描平面为AFG平面,第一图像为直线扫描图像AF,该直线扫描图像AF包括多个光谱段,光谱段的数量与第一背景标志3、第二背景标志4、第一特征标志5和第二特征标志6的具体形状有关,在图1所示的示例中,直线扫描图像AF的光谱段包括、、、、、、、、、、、、、、、、、、、和。在进行拍摄时,可把标定件组合放置在背景颜色与第一背景标志3和第二背景标志4不同的环境中,从而,任意相邻的两个光谱段具有不同的颜色,可根据各光谱段的颜色对各光谱段的位置进行识别。
其中,第一背景标志3、第二背景标志4、第一特征标志5和第二特征标志6的形状可根据实际需要设置;一般地,第一背景标志3和第二背景标志4为多边形标志,第一特征标志5和第二特征标志6包括多个直线板条,但不限于此。
可选地,在本实施例中,第一背景标志3和第二背景标志4均为等腰梯形标志;第一特征标志5和第二特征标志6均具有多个直线板条,每个直线板条的一端至少与另一个直线板条的一端相连以形成夹角;
第一图像的扫描平面与第一背景标志3、第二背景标志4、第一特征标志5的各直线板条和第二特征标志6的各直线板条均相交;
从而,多个第一特征点包括第一背景标志3和第二背景标志4在第一图像中的图像边界点、各直线板条在第一图像中的图像中点以及各图像中点在对应的直线板条上的实际位置点。
其中,第一背景标志3和第二背景标志4在第一图像中的图像边界点是指第一背景标志3和第二背景标志4的边沿与扫描平面的交点;各直线板条在第一图像中的图像中点是指各直线板条与扫描平面的相交线的中点在第一图像中对应的位置点;各图像中点在对应的直线板条上的实际位置点是指各直线板条与扫描平面的相交线的中点。以图2为例,图像边界点包括点、、和,图像中点包括光谱段、、、、、、和的中点;以图3为例,各图像中点在对应的直线板条上的实际位置点包括点、、、、、、和;总共有20个第一特征点。
根据该形状的第一背景标志3、第二背景标志4、第一特征标志5和第二特征标志6确定的第一特征点的坐标关系比较简单,有利于进一步提高计算效率。
在实际应用中,由于第一特征点的坐标关系是用于在后续进行第一图像的扫描平面的平面方程的系数矩阵的计算,因此,只需要保证第一特征点是该扫描平面内的点,并保证第一特征点的数量足够即可,因此,第一特征点不限于是前文所说的点,其数量也不限于是20个。为了保证计算精度足够,第一特征点的数量一般不少于6个。
在图3的示例中,第一特征标志5具有三个直线板条,分别为第一直线板条501、第二直线板条502和第三直线板条503,第一直线板条501、第二直线板条502和第三直线板条503的上端相连,第一直线板条501和第三直线板条503位于第二直线板条502的两侧,第二直线板条502竖直设置;第二特征标志6包括五个直线板条,分别为第四直线板条601、第五直线板条602、第六直线板条603、第七直线板条604和第八直线板条605,第四直线板条601、第六直线板条603和第八直线板条605竖直设置且沿水平方向依次间隔排布,第五直线板条602的上端与第四直线板条601上端相连,第五直线板条602的下端和第七直线板条604的下端均与第六直线板条603的下端相连,第七直线板条604的上端与第八直线板条605的上端相连;各直线板条的下端在同一水平直线上,第一特征标志5的下端与第二特征标志6下端之间具有间隔。其中,各直线板条在水平方向上的宽度相同,均为。但第一特征标志5和第二特征标志6的结构不限于此。
可选地,在图1-图3中,第一背景标志3、第二背景标志4、第一特征标志5和第二特征标志6的底部在同一水平面上。
其中,可把世界坐标系OXYZ的零点设置在第一背景标志3的左下角处,如图1、图2所示,把第一背景标志3和第二背景标志4的底边设置在X轴上,以XY平面为第一平面。
以下,以图1-图3为例,对第一特征点的具体坐标关系进行说明。
其中,、、分别为点的三个坐标值,为第一背景标志3左下角和第一特征标志5左下角之间在X轴方向上的距离,为直线板条在水平方向上的宽度,为第一直线板条501和第二直线板条502的夹角(见图3),为第一平面和第二平面之间的距离。
在本实施例中,上位机7用于在根据多个第一特征点的坐标关系计算世界坐标系与高光谱线阵相机1的相机坐标系之间的第一位姿转换矩阵的时候,执行:
根据多个第一特征点的坐标关系确定扫描平面的平面方程的系数矩阵;
根据该系数矩阵计算世界坐标系与高光谱线阵相机1的相机坐标系之间的第一位姿转换矩阵。
其中,根据多个第一特征点的坐标关系确定扫描平面的平面方程的系数矩阵,具体包括:
构建以下平面方程:
根据多个第一特征点的坐标关系,联合求解以下优化目标函数,得到该系数矩阵:
其中,对上述优化目标函数进行求解的求解方法为现有技术,此处不对其进行详述。
通过该方法得到扫描平面的平面方程的系数矩阵,计算结果的准确性较高。
其中,第一位姿转换矩阵包括第一旋转矩阵和第一平移矩阵;
根据该系数矩阵计算世界坐标系与高光谱线阵相机1的相机坐标系之间的第一位姿转换矩阵,具体包括:
求解以下方程得到第一旋转矩阵和第一平移矩阵:
在本实施例中,上位机7用于在根据第二图像获取世界坐标系与全色面阵相机2的相机坐标系之间的第二位姿转换矩阵的时候,可通过传统的5点法或8点法标定得到世界坐标系与全色面阵相机2的相机坐标系之间的第二位姿转换矩阵,该第二位姿转换矩阵包括第二旋转矩阵和第二平移矩阵。其中,通过5点法或8点法为现有技术,具体地,分别把5个或8个标定点在第二图像中的像素坐标和这些标定点在世界坐标系下的坐标数据代入以下方程得到方程组,并对该方程组进行求解,得到第二旋转矩阵和第二平移矩阵:
在实际应用中,可以用第一背景标志3和第二背景标志4的角点作为5点法或8点法中使用的标定点。
在本实施例中,上位机7用于在根据第一位姿转换矩阵和第二位姿转换矩阵计算高光谱线阵相机1的相机坐标系和全色面阵相机2的相机坐标系之间的第三姿转换矩阵的时候,执行:
参考图4,本申请提供了一种全色面阵相机和高光谱线阵相机联合标定方法,用于对全色面阵相机和高光谱线阵相机进行联合标定,包括步骤:
A1.获取由高光谱线阵相机拍摄的标定件组合的第一图像和由全色面阵相机拍摄的标定件组合的第二图像;标定件组合包括位于第一平面内的第一背景标志和第二背景标志以及位于第二平面内的第一特征标志和第二特征标志,第二平面与第一平面平行,第一特征标志位于第一背景标志前侧,且第一特征标志与第一背景标志的颜色不同,第二特征标志位于第二背景标志前侧,且第二特征标志与第二背景标志的颜色不同;
A2.根据第一图像获取多个第一特征点的坐标数据(指在世界坐标系下的坐标数据)中各坐标值之间的坐标关系;该多个第一特征点位于第一图像的扫描平面内;
A3.根据多个第一特征点的坐标关系计算世界坐标系与高光谱线阵相机的相机坐标系之间的第一位姿转换矩阵;
A4.根据第二图像获取世界坐标系与全色面阵相机的相机坐标系之间的第二位姿转换矩阵;
A5.根据第一位姿转换矩阵和第二位姿转换矩阵计算高光谱线阵相机的相机坐标系和全色面阵相机的相机坐标系之间的第三姿转换矩阵。
该全色面阵相机和高光谱线阵相机联合标定方法,通过高光谱线阵相机拍摄标定件组合的第一图像,以获取多个位于第一图像的扫描平面内的第一特征点的坐标关系,进而根据这些第一特征点的坐标关系确定扫描平面的系数矩阵,并用以计算世界坐标系与高光谱线阵相机的相机坐标系之间的第一位姿转换矩阵;再根据全色面阵相机拍摄的第二图像对世界坐标系与全色面阵相机的相机坐标系之间的第二位姿转换矩阵进行标定,即可根据第一位姿转换矩阵和第二位姿转换矩阵通过简单计算得到高光谱线阵相机和全色面阵相机之间的位姿转换关系;计算过程简单且计算结果的精度高,能够简单高效且高精度地对全色面阵相机和高光谱线阵相机进行联合标定。
其中,前是指靠近待标定的高光谱线阵相机和全色面阵相机的一侧,即,第二平面位于第一平面和高光谱线阵相机(及全色面阵相机)之间。
需要说明的是,高光谱线阵相机1在进行一帧图像拍摄时,是通过在一个扫描平面内进行扫描,从而得到一帧直线扫描图像,因此,第一图像是直线扫描图像。
其中,该标定件组合可以是前文的全色面阵相机和高光谱线阵相机联合标定***中的标定件组合。第一图像的扫描平面与第一背景标志、第二背景标志、第一特征标志的各直线板条和第二特征标志的各直线板条均相交。多个第一特征点包括第一背景标志和第二背景标志在第一图像中的图像边界点、各直线板条在第一图像中的图像中点以及各图像中点在对应的直线板条上的实际位置点。从而,第一图像包括多个光谱段。在进行拍摄时,可把标定件组合放置在背景颜色与第一背景标志和第二背景标志不同的环境中,从而,任意相邻的两个光谱段具有不同的颜色,可根据各光谱段的颜色对各光谱段的位置进行识别。
其中,第一背景标志和第二背景标志在第一图像中的图像边界点是指第一背景标志和第二背景标志的边沿与扫描平面的交点;各直线板条在第一图像中的图像中点是指各直线板条与扫描平面的相交线的中点在第一图像中对应的位置点;各图像中点在对应的直线板条上的实际位置点是指各直线板条与扫描平面的相交线的中点。
其中,各第一特征点的具体坐标关系可参考前文。
在本实施例中,根据多个第一特征点的坐标关系计算世界坐标系与高光谱线阵相机的相机坐标系之间的第一位姿转换矩阵的步骤,包括:
根据多个第一特征点的坐标关系确定扫描平面的平面方程的系数矩阵;
根据该系数矩阵计算世界坐标系与高光谱线阵相机的相机坐标系之间的第一位姿转换矩阵。
其中,根据多个第一特征点的坐标关系确定扫描平面的平面方程的系数矩阵的步骤,包括:
构建以下平面方程:
根据多个第一特征点的坐标关系,联合求解以下优化目标函数,得到所述系数矩阵:
其中,第一位姿转换矩阵包括第一旋转矩阵和第一平移矩阵;
根据该系数矩阵计算世界坐标系与高光谱线阵相机的相机坐标系之间的第一位姿转换矩阵的步骤,包括:
求解以下方程得到第一旋转矩阵和第一平移矩阵:
在本实施例中,根据第二图像获取世界坐标系与全色面阵相机的相机坐标系之间的第二位姿转换矩阵的步骤包括:
其中,通过5点法或8点法为现有技术,具体地,分别把5个或8个标定点在第二图像中的像素坐标和这些标定点在世界坐标系下的坐标数据代入以下方程得到方程组,并对该方程组进行求解,得到第二旋转矩阵和第二平移矩阵:
在实际应用中,可以用第一背景标志和第二背景标志的角点作为5点法或8点法中使用的标定点。
在本实施例中,根据第一位姿转换矩阵和第二位姿转换矩阵计算高光谱线阵相机的相机坐标系和全色面阵相机的相机坐标系之间的第三姿转换矩阵的步骤包括:
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种全色面阵相机和高光谱线阵相机联合标定***,用于对全色面阵相机和高光谱线阵相机进行联合标定;其特征在于,包括上位机和标定件组合,所述标定件组合包括位于第一平面内的第一背景标志和第二背景标志以及位于第二平面内的第一特征标志和第二特征标志,所述第二平面与所述第一平面平行,所述第一特征标志位于所述第一背景标志前侧,且所述第一特征标志与所述第一背景标志的颜色不同,所述第二特征标志位于所述第二背景标志前侧,且所述第二特征标志与所述第二背景标志的颜色不同;
所述上位机用于:
获取由所述高光谱线阵相机拍摄的所述标定件组合的第一图像和由所述全色面阵相机拍摄的所述标定件组合的第二图像;
根据所述第一图像确定多个第一特征点的坐标数据中各坐标值之间的坐标关系;所述多个第一特征点位于所述第一图像的扫描平面内;
根据所述多个第一特征点的所述坐标关系计算世界坐标系与所述高光谱线阵相机的相机坐标系之间的第一位姿转换矩阵;
根据所述第二图像获取世界坐标系与所述全色面阵相机的相机坐标系之间的第二位姿转换矩阵;
根据所述第一位姿转换矩阵和所述第二位姿转换矩阵计算所述高光谱线阵相机的相机坐标系和所述全色面阵相机的相机坐标系之间的第三姿转换矩阵。
2.根据权利要求1所述的全色面阵相机和高光谱线阵相机联合标定***,其特征在于,所述第一背景标志和所述第二背景标志均为等腰梯形标志;所述第一特征标志和第二特征标志均具有多个直线板条,每个所述直线板条的一端至少与另一个所述直线板条的一端相连以形成夹角;
所述第一图像的扫描平面与所述第一背景标志、第二背景标志、第一特征标志的各所述直线板条和第二特征标志的各所述直线板条均相交;
所述多个第一特征点包括所述第一背景标志和所述第二背景标志在所述第一图像中的图像边界点、各所述直线板条在所述第一图像中的图像中点以及各所述图像中点在对应的所述直线板条上的实际位置点。
3.根据权利要求2所述的全色面阵相机和高光谱线阵相机联合标定***,其特征在于,所述上位机用于在根据所述多个第一特征点的所述坐标关系计算世界坐标系与所述高光谱线阵相机的相机坐标系之间的第一位姿转换矩阵的时候,执行:
根据所述多个第一特征点的所述坐标关系确定所述扫描平面的平面方程的系数矩阵;
根据所述系数矩阵计算世界坐标系与所述高光谱线阵相机的相机坐标系之间的第一位姿转换矩阵。
6.一种全色面阵相机和高光谱线阵相机联合标定方法,用于对全色面阵相机和高光谱线阵相机进行联合标定,其特征在于,包括步骤:
获取由所述高光谱线阵相机拍摄的标定件组合的第一图像和由所述全色面阵相机拍摄的所述标定件组合的第二图像;所述标定件组合包括位于第一平面内的第一背景标志和第二背景标志以及位于第二平面内的第一特征标志和第二特征标志,所述第二平面与所述第一平面平行,所述第一特征标志位于所述第一背景标志前侧,且所述第一特征标志与所述第一背景标志的颜色不同,所述第二特征标志位于所述第二背景标志前侧,且所述第二特征标志与所述第二背景标志的颜色不同;
根据所述第一图像获取多个第一特征点的坐标数据中各坐标值之间的坐标关系;所述多个第一特征点位于所述第一图像的扫描平面内;
根据所述多个第一特征点的所述坐标关系计算世界坐标系与所述高光谱线阵相机的相机坐标系之间的第一位姿转换矩阵;
根据所述第二图像获取世界坐标系与所述全色面阵相机的相机坐标系之间的第二位姿转换矩阵;
根据所述第一位姿转换矩阵和所述第二位姿转换矩阵计算所述高光谱线阵相机的相机坐标系和所述全色面阵相机的相机坐标系之间的第三姿转换矩阵。
7.根据权利要求6所述的全色面阵相机和高光谱线阵相机联合标定方法,其特征在于,所述第一背景标志和所述第二背景标志均为等腰梯形标志;所述第一特征标志和第二特征标志均具有多个直线板条,每个所述直线板条的一端至少与另一个所述直线板条的一端相连以形成夹角;
所述第一图像的扫描平面与所述第一背景标志、第二背景标志、第一特征标志的各所述直线板条和第二特征标志的各所述直线板条均相交;
所述多个第一特征点包括所述第一背景标志和所述第二背景标志在所述第一图像中的图像边界点、各所述直线板条在所述第一图像中的图像中点以及各所述图像中点在对应的所述直线板条上的实际位置点。
8.根据权利要求7所述的全色面阵相机和高光谱线阵相机联合标定方法,其特征在于,所述根据所述多个第一特征点的所述坐标关系计算世界坐标系与所述高光谱线阵相机的相机坐标系之间的第一位姿转换矩阵的步骤,包括:
根据所述多个第一特征点的所述坐标关系确定所述扫描平面的平面方程的系数矩阵;
根据所述系数矩阵计算世界坐标系与所述高光谱线阵相机的相机坐标系之间的第一位姿转换矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210778140.6A CN114842094B (zh) | 2022-07-04 | 2022-07-04 | 全色面阵相机和高光谱线阵相机联合标定方法、*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210778140.6A CN114842094B (zh) | 2022-07-04 | 2022-07-04 | 全色面阵相机和高光谱线阵相机联合标定方法、*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114842094A true CN114842094A (zh) | 2022-08-02 |
CN114842094B CN114842094B (zh) | 2022-09-27 |
Family
ID=82574532
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210778140.6A Active CN114842094B (zh) | 2022-07-04 | 2022-07-04 | 全色面阵相机和高光谱线阵相机联合标定方法、*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114842094B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115861434A (zh) * | 2022-11-14 | 2023-03-28 | 中国人民解放军海军工程大学 | 用于超大场景测量多视角相机的位姿估计方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101280840B1 (ko) * | 2013-04-23 | 2013-07-02 | (주)유한프리젠 | 프리젠테이션 시스템의 스크린상에서 레이저 포인트 위치 좌표 인식 방법 |
CN105809702A (zh) * | 2016-03-29 | 2016-07-27 | 南京航空航天大学 | 一种基于Tsai算法的改进位姿估计方法 |
CN106127745A (zh) * | 2016-06-17 | 2016-11-16 | 凌云光技术集团有限责任公司 | 结构光3d视觉***与线阵相机的联合标定方法及装置 |
CN112396660A (zh) * | 2019-08-12 | 2021-02-23 | 华为技术有限公司 | 一种摄像机光心的确定方法及*** |
CN114419170A (zh) * | 2022-03-30 | 2022-04-29 | 杭州灵西机器人智能科技有限公司 | 线阵相机和面阵相机的联合标定方法、装置和介质 |
CN114578329A (zh) * | 2022-03-01 | 2022-06-03 | 亿咖通(湖北)技术有限公司 | 多传感器联合标定方法、设备、存储介质及程序产品 |
-
2022
- 2022-07-04 CN CN202210778140.6A patent/CN114842094B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101280840B1 (ko) * | 2013-04-23 | 2013-07-02 | (주)유한프리젠 | 프리젠테이션 시스템의 스크린상에서 레이저 포인트 위치 좌표 인식 방법 |
CN105809702A (zh) * | 2016-03-29 | 2016-07-27 | 南京航空航天大学 | 一种基于Tsai算法的改进位姿估计方法 |
CN106127745A (zh) * | 2016-06-17 | 2016-11-16 | 凌云光技术集团有限责任公司 | 结构光3d视觉***与线阵相机的联合标定方法及装置 |
CN112396660A (zh) * | 2019-08-12 | 2021-02-23 | 华为技术有限公司 | 一种摄像机光心的确定方法及*** |
CN114578329A (zh) * | 2022-03-01 | 2022-06-03 | 亿咖通(湖北)技术有限公司 | 多传感器联合标定方法、设备、存储介质及程序产品 |
CN114419170A (zh) * | 2022-03-30 | 2022-04-29 | 杭州灵西机器人智能科技有限公司 | 线阵相机和面阵相机的联合标定方法、装置和介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115861434A (zh) * | 2022-11-14 | 2023-03-28 | 中国人民解放军海军工程大学 | 用于超大场景测量多视角相机的位姿估计方法 |
CN115861434B (zh) * | 2022-11-14 | 2024-03-22 | 中国人民解放军海军工程大学 | 用于超大场景测量多视角相机的位姿估计方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114842094B (zh) | 2022-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110068270B (zh) | 一种基于多线结构光图像识别的单目视觉箱体体积测量方法 | |
Conover et al. | Automatic registration and mosaicking of technical images of Old Master paintings | |
CN105046684B (zh) | 一种基于多边形广义霍夫变换的图像匹配方法 | |
Lucchese | Geometric calibration of digital cameras through multi-view rectification | |
CN114842094B (zh) | 全色面阵相机和高光谱线阵相机联合标定方法、*** | |
US6208769B1 (en) | Method of accurately locating the fractional position of a template match point | |
IL273581A (en) | Destination, method and system for calibrating a camera | |
CN108573511B (zh) | 点状分布合作编码标志及其识别定位方法 | |
EP3025273B1 (en) | Keypoint identification | |
CN114018932A (zh) | 基于矩形标定物的路面病害指标测量方法 | |
CN102156986A (zh) | 近红外摄像机的标定方法 | |
CN111210478A (zh) | 一种无共同视野多相机***外参标定方法、介质及*** | |
CN111160396A (zh) | 一种基于多图结构的图卷积网络的高光谱图像分类方法 | |
CN111707187A (zh) | 一种大型零件的测量方法及*** | |
CN103854271B (zh) | 一种平面摄像机标定方法 | |
CN113177548A (zh) | 一种针对免疫固定电泳的重点区域识别方法 | |
CN103413319A (zh) | 一种工业摄像机参数现场标定方法 | |
CN102095370A (zh) | 三x组合标记的检测识别方法 | |
CN114926625A (zh) | 一种基于图像处理技术的玻璃液体温度计自动读数方法 | |
CN110533028A (zh) | 商品陈列状态的检测方法、装置、电子设备及存储介质 | |
US6373591B1 (en) | System for producing photo layouts to match existing mattes | |
CN109977959A (zh) | 一种火车票字符区域分割方法及装置 | |
CN112050752B (zh) | 一种基于二次投影的投影仪标定方法 | |
CN109685791A (zh) | 一种基于多窗自相关纹理检测的瓦楞纸板鲁棒检测算法 | |
CN113033559A (zh) | 一种基于目标检测的文本检测方法及装置、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |