CN112652017B - 基于相机和动态捕捉设备的外参标定方法 - Google Patents
基于相机和动态捕捉设备的外参标定方法 Download PDFInfo
- Publication number
- CN112652017B CN112652017B CN201910962504.4A CN201910962504A CN112652017B CN 112652017 B CN112652017 B CN 112652017B CN 201910962504 A CN201910962504 A CN 201910962504A CN 112652017 B CN112652017 B CN 112652017B
- Authority
- CN
- China
- Prior art keywords
- camera
- projection
- sphere
- image plane
- opt
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 239000003550 marker Substances 0.000 claims abstract description 26
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种基于相机和动态捕捉设备的外参标定方法。在相机上加装三个动态捕捉设备能识别的球形marker。利用制作的一个按照固定排列方式摆放的球形marker标定板。通过球在相机投影模型中的约束关系,确定球形marker在像平面的2D投影点,通过像平面的投影中心进行误差校正求得球形marker在像平面的真实2D投影点。通过该球形marker标定板建立相机和动态捕捉设备之间的关系从而进行相机外参标定。本发明能实现相机和动态捕捉设备间的高精度外参标定。
Description
技术领域
本发明涉及空间标定领域,具体地说是一种基于相机和动态捕捉设备的外参标定方法。
背景技术
随着计算机视觉技术的发展,空间定位功能变得越来越重要,其能够更好的帮助实现空间物体的定位和虚拟呈现。
目前动态捕捉设备均采用球形红外标志球,而传统的相机标定技术均采用棋盘格和圆形标定板,并不能实现相机和动态捕捉设备间的空间标定。
发明内容
针对现有技术的不足,本发明提供相机和动态捕捉设备的外参标定方法,解决传统相机和动态捕捉设备间的标定问题,同时通过误差补偿方法,将标定精度进一步优化。
本发明为实现上述目的所采用的技术方案是:
基于相机和动态捕捉设备的外参标定方法,包括以下步骤:
步骤1:以相机上设置的任意一个标志球为坐标原点,建立相机工具坐标系Cameratool;
步骤2:获取Cameratool到动态捕捉设备的旋转矩阵PCameratooltoNDI;
步骤3:获取设有标志球的标定板到动态捕捉设备的旋转矩阵PCalBoardtoNDI;
步骤4:利用投影矫正模型补偿投影误差得到标定板到相机的旋转矩阵PCalBoardtoCamera;
步骤5:利用PCalBoardtoNDI和PCalBoardtoCamera得到相机到动态捕捉设备的旋转矩阵PCameratoNDI;
步骤6:利用PCameratoNDI和PCameratooltoNDI得到相机到Cameratool的旋转矩阵PCameratoCameratool,实现相机和动态捕捉设备的标定。
建立所述相机工具坐标系的步骤为:选取相机上的任意三个标志球,以位于中间的标志球的球心作为坐标系原点,以该点和左侧点连线所在的直线为X轴,指向左侧点的方向为正方向,以该点和右侧点的连线指向右侧点为向量y,利用X和Y依据右手定则确定Z轴正方向,然后利用确定的X轴和Z轴确定Y轴。
所述标志球至少3个,各标志球的球心共面;所述标志球用于动态捕捉设备采集位置信息。
所述投影矫正模型补偿投影误差的方法为:通过投影面的椭圆中心矫正求得标志球球心在像平面的实际投影点位置。
所述投影矫正模型补偿投影误差的方法如下:
通过求解下式得到投影矫正模型补偿投影误差Oopt1Oopt2:
|Oopt1Oopt2|=|OoptOopt1|-|OoptOopt2|
|Oopt1Oopt2|=(|Ooptp'|-|Oopt1p|)-|OoptOopt2|
|Oopt1Oopt2|=(f*tan(β+θ)-|pp'|/2)-f*tanβ
其中,Oopt1为标志球在像平面的投影得到的椭圆的中心,Oopt2为标志球球心在像平面的投影,Oopt为相机光轴在与像平面的交点,β为标志球球心和相机的连线与相机光轴的夹角,θ为相机与标志球形成正圆锥的半顶角,p和p'为球在像平面的投影点,相机焦距f为OOopt长度,β+θ可由椭圆距离像平面原点最远的点p'到像平面原点Oopt的距离Oopt p'和相机焦距f求得。
本发明具有以下有益效果及优点:
1.本发明可以实现相机与动态捕捉设备的空间位置标定;
2.本发明可以将球形在像平面的投影误差补偿矫正;
3.本发明重投影精度可以达到亚像素量级。
附图说明
图1是本发明的方法流程图;
图2是Camera上标定件图;
图3是标定板示意图;
图4是球心在相机平面投影误差图;
图5是误差补偿示意图;
图6是椭圆长短轴示意图;
图7是标定板在像平面投影示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但本发明能够以很多不同于在此描述的其他方式来实施,本领域技术人员可以在不违背发明内涵的情况下做类似改进,因此本发明不受下面公开的具体实施的限制。
一种基于相机和动态捕捉设备的外参标定方法,在所述相机上设置标定件,特制球形marker制作的标定板,标定板上球形marker的投影矫正;方法包括以下步骤:
步骤1:以相机上任意一个球形marker为坐标原点,建立相机工具坐标系Cameratool;
步骤2:求Cameratool到动态捕捉设备NDI Spectra的旋转矩阵PCameratooltoNDI;
步骤3:求球形marker制作的标定板到NDI Spectra的旋转矩阵PCalBoardtoNDI;
步骤4:利用投影矫正模型补偿投影误差求出CalBoard到Camera的旋转矩阵PCalBoardtoCamera;
步骤5:利用已知的PCalBoardtoNDI和PCalBoardtoCamera求出Camera到NDI的旋转矩阵PCameratoNDI;
步骤6:利用已知的PCameratoNDI和PCameratooltoNDI求出Camera到Cameratool的旋转矩阵PCameratoCameratool;
所述的相机标定件为:标定件由至少包括3个球心共面的球形marker组成,该球形marker为动态捕捉设备能采集位置信息的红外标志球。任意两个相邻的标志球之间的距离作为标志距离,且每两个标志距离之间的差值大于2cm。
所述的相机坐标系为:选取相机标定件中的任意三个标志球,以位于中间的标志球的球心作为坐标系原点,以该点和左侧点连线所在的直线为X轴,指向左侧点的方向为正方向,以该点和右侧点的连线指向右侧点为向量y,利用X和y依据右手定则确定Z轴正方向,然后利用确定的X轴和Z轴确定Y轴。
所述的球形marker制作的标定板,如图3所示:其上面的球形marker为动态捕捉设备能采集位置信息的标志球。排列方式为有规律的M*N矩形阵列,标志球间间距大于两倍球径。
所述的投影矫正模型补偿投影误差的方法:通过投影面的椭圆中心矫正求得球心在像平面的实际投影点位置。
如图1所示为本发明的方法流程图。
基于相机和动态捕捉设备的外参标定方法包括以下步骤:
首先自制Camera工具坐标系,使用三个以上红外marker将其粘贴在Camera上的任意位置,以将其粘贴在Camera顶端为例,如图2所示。
以3个标定球为例,使用动态捕捉设备NDI Spectra采集获得三个标定Marker的位置坐标,根据他们每个点之间的位置关系,来确定是哪个标定点的坐标,并确定识别的三个点为Camera工具坐标系的三个点,然后建立坐标系。
以位于中间的标志球的球心作为坐标系原点,以该点和左侧点连线所在的直线为X轴,指向左侧点的方向为正方向,以该点和右侧点的连线指向右侧点为向量y,利用X和y依据右手定则确定Z轴正方向,然后利用确定的X轴和Z轴确定Y轴。自此Camera工具坐标系建立完成,以后每次采集计算Camera工具坐标系的时候,都采用同求解步骤和方法。
投影矫正补偿过程是由于动态捕捉设备能识别的球形marker在相机的像平面投影当且仅当球心在相机光轴上的时候投影为圆形(如球S1及其投影E1),其他所有情况为椭圆形(如球S2和S3及其投影E2和E3)如图4所示O1,、O2、O3分别为球S1、球S2和S3的球心,椭圆为球心不在相机光轴上的标志球在像平面上的投影。
传统方法采用求取椭圆的中心作为球心在像平面的投影,但该方法存在误差,实际大多数时间球心在像平面的投影并不与椭圆的中心重合。本误差补偿方案为根据椭圆中心的位置去求得实际球心在像平面的投影,示意图如图4所示。
误差补偿示意图如图5所示:π为像平面,πzoy为过相机光轴和球心O2所在的平面,xyz为相机坐标系,椭圆中心为Oopt1,球心在像平面的投影为Oopt2,相机光轴在与像平面的交点为Oopt,球心和相机的连线与相机光轴的夹角为β,θ为相机与球形成正圆锥的半顶角,p和p'为球在像平面的投影点。OOopt长度为相机焦距f。根据本补偿方案为求解Oopt1Oopt2。将得到的差值与Oopt1求和,即为球心在像平面上投影点的真实值Oopt2,根据该真实值得到相机与设备之间的位置关系,实现标定。
|Oopt1Oopt2|=|OoptOopt1|-|OoptOopt2|
|Oopt1Oopt2|=(|Ooptp'|-|Oopt1p|)-|OoptOopt2|
|Oopt1Oopt2|=(f*tan(β+θ)-|pp'|/2)-f*tanβ
β-θ可由椭圆距离像平面原点最近的点p到像平面原点Oopt的距离Oopt p和相机焦距f求得。
β+θ可由椭圆距离像平面原点最远的点p’到像平面原点Oopt的距离Oopt p'和相机焦距f求得。
由β-θ和β+θ的值可以求得β和θ的值。
可以将球在相机内的成像建模为用一个平面去切正圆锥,如图6所示。由于圆锥是一个旋转对称图形,故可以将圆锥旋转到图6所示的位置,即平面与圆锥的交点的最低点和最高点在纸面所在的平面上,其正视图如图6右图所示,PQ、P’Q’为椭圆的两条对称轴,其中O2为PQ中点,存在含有P’Q’的平面πo平行于圆锥底面切过圆锥,MN和M’N’为平面π0切过圆锥所成圆的直径,可知P’Q’为圆内不过圆心的一条弦,所以P’Q’短于M’N’,因为MN为与PQ和P’Q’共面的直径,且MN等于M’N’,所以P’Q’短于MN。取MN,PQ所在的平面,过P点做PB\\OQ交MN于B,由于∠PBO2=∠QNO2,PO2=QO2,∠PO2B=∠QO2N,所以三角形PBO2和三角形QNO2全等,则BO2=NO2,由于三角形PMB为等腰三角形,过P点做角平分线PA垂直平分MB。所以MA=AB。则AO2=1/2MN,PO2=1/2PQ,由于在直角三角形PAQ2中PO2长于AO2。所以PQ长于MN长于P’Q’,即PQ为椭圆的长轴,综上可以得到椭圆长轴的两个端点和圆锥顶点三点所在的平面与椭圆所在的平面垂直,即图中的平面π和平面PQO垂直。
设圆锥的顶点O以及在像平面上椭圆长轴的两个端点P、Q所在的平面为π1根据上述证明π1始终与π垂直,P、Q两点会随着球在相机坐标系中的位置不同而在像平面中运动,这可以抽象为过平面外一点O,作与像平面π垂直的平面,由于OOopt垂直平面π,故这些所有的过点O垂直于平面π的平面的交线为直线OOopt,所以有Oopt∈π1,又Oopt∈π,P∈π1,P∈π,Q∈π,Q∈π1因此P、Q、Oopt三点共线,即椭圆的长轴始终和像平面原点共线,球位于相机坐标系不同位置时在像平面上成像示意图如图7所示。
实施例:
工具坐标系Cameratool三个标志球间的距离分别是别是54.6、59.2、67.5,标定求得Cameratool到动态捕捉坐标系NDI的旋转矩阵
根据NDI Spectra采集获取的自制含有球形marker标定板上各个球形marker位置求得PCalboardtoNDI。
利用投影矫正模型补偿投影误差求出标定板CalBoard到Camera的旋转矩阵PCalBoardtoCamera;
利用已知的PCalBoardtoNDI和PCalBoardtoCamera求出
利用已知的PCameratoNDI和PCameratooltoNDI求出
Claims (2)
1.基于相机和动态捕捉设备的外参标定方法,其特征在于,包括以下步骤:
步骤1:以相机上设置的任意一个标志球为坐标原点,建立相机工具坐标系Cameratool;
步骤2:获取Cameratool到动态捕捉设备的旋转矩阵PCameratooltoNDI;
步骤3:获取设有标志球的标定板到动态捕捉设备的旋转矩阵PCalBoardtoNDI;
步骤4:利用投影矫正模型补偿投影误差得到标定板到相机的旋转矩阵PCalBoardtoCamera;
步骤5:利用PCalBoardtoNDI和PCalBoardtoCamera得到相机到动态捕捉设备的旋转矩阵PCameratoNDI;
步骤6:利用PCameratoNDI和PCameratooltoNDI得到相机到Cameratool的旋转矩阵PCameratoCameratool,实现相机和动态捕捉设备的标定;
所述投影矫正模型补偿投影误差的方法为:通过投影面的椭圆中心矫正求得标志球球心在像平面的实际投影点位置,具体为:
通过求解下式得到投影矫正模型补偿投影误差Oopt1 Oopt2:
|Oopt1Oopt2|=|OoptOopt1|-|OoptOopt2|
|Oopt1Oopt2|=(|Ooptp'|-|Oopt1p|)-|OoptOopt2|
|Oopt1Oopt2|=(f*tan(β+θ)-|pp'|/2)-f*tanβ
其中,Oopt1为标志球在像平面的投影得到的椭圆的中心,Oopt2为标志球球心在像平面的投影,Oopt为相机光轴与像平面的交点,β为标志球球心和相机的连线与相机光轴的夹角,θ为相机与标志球形成正圆锥的半顶角,p和p'为球在像平面的投影点,相机焦距f为OOopt长度,β+θ可由椭圆距离像平面原点最远的点p'到像平面原点Oopt的距离Oopt p'和相机焦距f求得;
建立所述相机工具坐标系的步骤为:选取相机上的任意三个标志球,以位于中间的标志球的球心作为坐标系原点O,以该点和左侧点连线所在的直线为X轴,指向左侧点的方向为正方向,以该点和右侧点的连线指向右侧点为向量y,利用X和Y依据右手定则确定Z轴正方向,然后利用确定的X轴和Z轴确定Y轴。
2.根据权利要求1所述的基于相机和动态捕捉设备的外参标定方法,其特征在于:所述标志球至少3个,各标志球的球心共面;所述标志球用于动态捕捉设备采集位置信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910962504.4A CN112652017B (zh) | 2019-10-11 | 2019-10-11 | 基于相机和动态捕捉设备的外参标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910962504.4A CN112652017B (zh) | 2019-10-11 | 2019-10-11 | 基于相机和动态捕捉设备的外参标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112652017A CN112652017A (zh) | 2021-04-13 |
CN112652017B true CN112652017B (zh) | 2024-03-29 |
Family
ID=75342657
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910962504.4A Active CN112652017B (zh) | 2019-10-11 | 2019-10-11 | 基于相机和动态捕捉设备的外参标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112652017B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100007506A (ko) * | 2008-07-14 | 2010-01-22 | 성균관대학교산학협력단 | 광학식 모션 캡처 장비를 위한 다중 카메라 보정 방법 |
CN102848389A (zh) * | 2012-08-22 | 2013-01-02 | 浙江大学 | 基于视觉运动捕捉的机械臂标定及跟踪***实现方法 |
CN104897172A (zh) * | 2015-06-18 | 2015-09-09 | 南京航空航天大学 | 基于运动捕捉***的旋转mems惯导磁航向角误差补偿方法 |
CN106355617A (zh) * | 2016-08-12 | 2017-01-25 | 上海盟云移软网络科技股份有限公司 | 一种动作捕捉***的动态定位算法 |
KR20180123248A (ko) * | 2017-05-08 | 2018-11-16 | (주)몬스터즈랩 | 가상 공간 캐릭터의 모션데이터 생성을 위한 모션인식피규어 장치 및 모션데이터 생성 방법 |
CN108961343A (zh) * | 2018-06-26 | 2018-12-07 | 深圳市未来感知科技有限公司 | 虚拟坐标系的构建方法、装置、终端设备及可读存储介质 |
CN109754432A (zh) * | 2018-12-27 | 2019-05-14 | 深圳市瑞立视多媒体科技有限公司 | 一种相机自动标定方法及光学动作捕捉*** |
CN109903341A (zh) * | 2019-01-25 | 2019-06-18 | 东南大学 | 一种车载摄像机外参动态自标定方法 |
CN110021046A (zh) * | 2019-03-05 | 2019-07-16 | 中国科学院计算技术研究所 | 相机与激光雷达组合传感器的外参数标定方法及*** |
-
2019
- 2019-10-11 CN CN201910962504.4A patent/CN112652017B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100007506A (ko) * | 2008-07-14 | 2010-01-22 | 성균관대학교산학협력단 | 광학식 모션 캡처 장비를 위한 다중 카메라 보정 방법 |
CN102848389A (zh) * | 2012-08-22 | 2013-01-02 | 浙江大学 | 基于视觉运动捕捉的机械臂标定及跟踪***实现方法 |
CN104897172A (zh) * | 2015-06-18 | 2015-09-09 | 南京航空航天大学 | 基于运动捕捉***的旋转mems惯导磁航向角误差补偿方法 |
CN106355617A (zh) * | 2016-08-12 | 2017-01-25 | 上海盟云移软网络科技股份有限公司 | 一种动作捕捉***的动态定位算法 |
KR20180123248A (ko) * | 2017-05-08 | 2018-11-16 | (주)몬스터즈랩 | 가상 공간 캐릭터의 모션데이터 생성을 위한 모션인식피규어 장치 및 모션데이터 생성 방법 |
CN108961343A (zh) * | 2018-06-26 | 2018-12-07 | 深圳市未来感知科技有限公司 | 虚拟坐标系的构建方法、装置、终端设备及可读存储介质 |
CN109754432A (zh) * | 2018-12-27 | 2019-05-14 | 深圳市瑞立视多媒体科技有限公司 | 一种相机自动标定方法及光学动作捕捉*** |
CN109903341A (zh) * | 2019-01-25 | 2019-06-18 | 东南大学 | 一种车载摄像机外参动态自标定方法 |
CN110021046A (zh) * | 2019-03-05 | 2019-07-16 | 中国科学院计算技术研究所 | 相机与激光雷达组合传感器的外参数标定方法及*** |
Non-Patent Citations (2)
Title |
---|
光学动作捕捉中的摄像机标定;张金剑, 陈福民;计算机应用(第S1期) * |
张金剑,陈福民.光学动作捕捉中的摄像机标定.计算机应用.(S1),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN112652017A (zh) | 2021-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110057295B (zh) | 一种免像控的单目视觉平面距离测量方法 | |
CN105551039B (zh) | 结构光三维扫描***的标定方法及装置 | |
CN104517291B (zh) | 基于目标同轴圆特征的位姿测量方法 | |
CN108426701B (zh) | 一种ccd器件不连续的星相机内方位元素测试方法及*** | |
CN109242915A (zh) | 基于多面立体靶标的多相机***标定方法 | |
CN102509261B (zh) | 一种鱼眼镜头的畸变校正方法 | |
CN111536902A (zh) | 一种基于双棋盘格的振镜扫描***标定方法 | |
CN102622747B (zh) | 一种用于视觉测量的摄像机参数优化方法 | |
CN103729841B (zh) | 一种基于方靶模型和透视投影的相机畸变校正方法 | |
CN106426172A (zh) | 一种工业机器人工具坐标系的标定方法与*** | |
CN105486289B (zh) | 一种激光摄影测量***及相机标定方法 | |
CN110610518A (zh) | 一种基于特征点位置校正的靶标位姿测量***及方法 | |
WO2020199439A1 (zh) | 基于单双目混合测量的三维点云计算方法 | |
CN110095089B (zh) | 一种飞行器旋转角度的测量方法及*** | |
CN103869595B (zh) | 一种离轴三反相机焦面装调的方法 | |
CN104880205B (zh) | 非正交轴系激光经纬仪测量***标定方法 | |
CN111896221A (zh) | 虚拟坐标系辅助摄像机标定的旋转光学测量***对准方法 | |
CN108871190B (zh) | 一种用于双目立体视觉测量中的手持球型靶标及测量方法 | |
WO2023201578A1 (zh) | 单目激光散斑投影***的外参数标定方法和装置 | |
CN102136140A (zh) | 一种基于矩形图样的视频图像距离检测方法 | |
CN110030926A (zh) | 激光束空间位姿的标定方法 | |
CN105136128A (zh) | 基于两点定位的机体结构测量方法 | |
CN112598747A (zh) | 一种单目相机与投影仪的联合标定方法 | |
CN114926538A (zh) | 单目激光散斑投影***的外参数标定方法和装置 | |
CN110766763A (zh) | 一种基于消失点运算的相机标定法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |