CN114792344A - 多相机位置标定方法、装置、***及存储介质 - Google Patents
多相机位置标定方法、装置、***及存储介质 Download PDFInfo
- Publication number
- CN114792344A CN114792344A CN202210723777.5A CN202210723777A CN114792344A CN 114792344 A CN114792344 A CN 114792344A CN 202210723777 A CN202210723777 A CN 202210723777A CN 114792344 A CN114792344 A CN 114792344A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- image
- world coordinate
- cameras
- relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000000007 visual effect Effects 0.000 claims abstract description 46
- 238000004364 calculation method Methods 0.000 claims abstract description 21
- 238000006073 displacement reaction Methods 0.000 claims description 25
- 230000007246 mechanism Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 238000000386 microscopy Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 8
- 238000005259 measurement Methods 0.000 description 13
- 238000009434 installation Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 150000001875 compounds Chemical class 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 241001292396 Cirrhitidae Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请属于标定领域,提供一种多相机位置标定方法、装置、***及存储介质。包括以下步骤:移动具有多个特征点区域的标定板,使得多个相机的多个视野范围内分别具有多个特征点区域中的一个特征点区域;采集多个相机对应视野范围内的图像;获取多个图像,得到每个图像中特征点的像素坐标,建立多个图像坐标系;以标定板的平面建立世界坐标系,计算多个图像坐标系与世界坐标系的关系,得到世界坐标系下多个特征点的对应关系;根据世界坐标系下多个特征点的对应关系与标定板上特征点的位置关系,计算得到多个相机之间的位姿关系。本申请多相机位置标定方法、装置、***及存储介质能够在多相机无共同视野的情况下进行标定,标定过程简单,计算容易。
Description
技术领域
本申请涉及标定技术领域,具体而言,涉及一种多相机位置标定方法、装置、***及存储介质。
背景技术
工业自动化领域中,一般通过机器视觉替代人工进行检测与定位,以实现高质量高效率地自动检测和识别定位。在对准标记尺寸较小,需要对位的基板尺寸较大的情况下,一般采用多台CCD相机配合远心显微镜头完成视觉对准,但是,由于单台CCD相机的视野范围较小,而需要对准的基板尺寸过大,使得多台CCD相机没有共同的视野,因此,不能采用传统的相机标定方法进行标定。
现有对多相机无共同视野进行标定的方法中有,1、在多台相机之间设置过渡相机进行标定,但是,由于安装空间的限制,增加过渡相机仍然无法保证处于共同视野中;2、采用双经纬仪三坐标测量***或云台相机进行标定,但是,成本较高,标定过程复杂,计算繁琐。
针对上述问题,目前尚未有有效的技术解决方案。
发明内容
本申请的目的在于提供一种多相机位置标定方法、装置、***及存储介质,能够在多相机无共同视野的情况下进行标定,标定过程简单,计算容易。
第一方面,本申请提供了一种多相机位置标定方法,用于对远心显微装置中多个无共同视野的相机进行标定,所述方法包括以下步骤:
移动具有多个特征点区域的标定板,使得多个相机的多个视野范围内分别具有所述多个特征点区域中的一个特征点区域;
采集所述多个相机对应视野范围内的图像;
获取多个所述图像,得到每个所述图像中的特征点的像素坐标,建立多个图像坐标系;
以所述标定板的平面建立世界坐标系,计算所述多个图像坐标系与所述世界坐标系的关系,得到所述世界坐标系下多个所述特征点的对应关系;
根据世界坐标系下多个所述特征点的对应关系与所述标定板上所述特征点的位置关系,计算得到所述多个相机之间的位姿关系。
本申请提供的多相机位置标定方法解决了大尺寸、小视野情况下多相机无重叠视野的标定问题,标定过程简单,计算容易,方便在不同需求下对多相机进行标定。
可选地,在本申请所述的多相机位置标定方法中,所述移动具有多个特征点区域的标定板,使得多个相机的多个视野范围内分别具有所述多个特征点区域中的一个特征点区域还包括以下步骤:
移动具有多个特征点区域的标定板至每个所述相机的视野范围内的所述特征点区域占所述相机视野范围的四分之一至二分之一。
本申请通过将相机视野范围内的特征点区域设置为占整个相机视野的四分之一至二分之一,更好地保证特征点区域在相机视野范围内。
可选地,在本申请所述的多相机位置标定方法中,所述采集所述多个相机对应视野范围内的图像包括以下步骤:
多次移动所述标定板,改变所述特征点区域在对应的所述相机的视野范围内的位置;
采集每次所述标定板移动后对应所述相机视野范围内的图像。
本申请通过多次移动所述标定板,使得采集的图像能够覆盖整个相机的视野范围,从而优化标定结果。
可选地,在本申请所述的多相机位置标定方法中,所述移动所述标定板的次数为10-15次。
可选地,在本申请所述的多相机位置标定方法中,所述以所述标定板的平面建立世界坐标系,计算所述多个图像坐标系与所述世界坐标系的关系,得到所述世界坐标系下多个所述特征点的对应关系包括以下步骤:
根据采集的多个所述图像计算得到所述多个相机的相机参数;
根据所述多个相机的相机参数计算所述多个图像坐标系与所述世界坐标系的关系,得到所述世界坐标系下多个所述特征点的对应关系;或者,
根据所述多个图像坐标系与所述世界坐标系对应特征点的关系,计算所述多个图像坐标系与所述世界坐标系的关系,得到所述世界坐标系下多个所述特征点的对应关系。
可选地,在本申请所述的多相机位置标定方法中,所述根据所述世界坐标系下多个所述特征点的对应关系与所述标定板上所述特征点的位置关系,计算得到所述多个相机之间的位姿关系之后还包括以下步骤:
根据所述多个图像坐标系与所述世界坐标系的关系以及所述多相机之间的位姿关系,计算得到最优位姿参数。
可选地,在本申请所述的多相机位置标定方法中,所述计算得到最优位姿参数通过以下公式一或公式二计算:
公式一:
公式一中,表示所述图像中第行第列的特征点的实际世界坐标,表示根据所述相机参数和所述图像中第行第列的特征点的图像坐标计算得出的所述图像中第行第列的特征点在理论世界坐标系下的坐标;、表示相机外参,表示相机的焦距,表示所述特征点在图像坐标系下的主点坐标,、分别表示CCD相机上水平和垂直方向的像素尺寸,、分别表示所述图像中特征点的总行数和总列数;
公式二:
第二方面,本申请还提供了一种多相机位置标定装置,用于对远心显微装置中多个无共同视野的相机进行标定,所述装置包括:
执行模块,用于移动具有多个特征点区域的标定板,使得多个相机的多个视野范围内分别具有所述多个特征点区域中的一个特征点区域;
采集模块,用于采集所述多个相机对应视野范围内的图像;
获取模块,用于获取多个所述图像,得到每个所述图像中特征点的像素坐标,建立多个图像坐标系;
第一计算模块,用于以所述标定板的平面建立世界坐标系,计算所述多个图像坐标系与所述世界坐标系的关系,得到所述世界坐标系下多个所述特征点的对应关系;
第二计算模块,用于根据所述世界坐标系下多个所述特征点的对应关系与所述标定板上所述特征点的位置关系,计算得到所述多个相机之间的位姿关系。
本申请提供的多相机位置标定装置解决了大尺寸、小视野情况下多相机无重叠视野的标定问题,标定过程简单,计算容易,方便在不同需求下对多相机进行标定。
第三方面,本申请提供多相机位置标定***,包括控制单元、多轴位移台、标定板及远心显微装置;所述远心显微装置包括多个远心显微机构;所述控制单元与所述多轴位移台及所述远心显微装置连接;所述标定板设置在所述多轴位移台上;
所述多轴位移台用于移动具有多个特征点区域的所述标定板,使得多个相机的多个视野范围内分别具有所述多个特征点区域中的一个特征点区域;
所述多个远心显微机构用于分别采集所述多个相机对应视野范围内的图像,并将多个所述图像发送给所述控制单元;
所述控制单元用于控制所述多轴位移台和所述远心显微装置工作;获取多个所述图像,得到每个所述图像中特征点的像素坐标,建立多个图像坐标系;以所述标定板的平面建立世界坐标系,计算所述多个图像坐标系与所述世界坐标系的关系,得到所述世界坐标系下多个所述特征点的对应关系;根据所述世界坐标系下多个所述特征点的对应关系与所述标定板上所述特征点的位置关系,计算得到所述多个相机之间的位姿关系。
第四方面,本申请提供一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
由上可知,本申请提供的多相机位置标定方法、装置、***及存储介质,通过移动具有多个特征点区域的标定板,使得多个相机的多个视野范围内分别具有多个特征点区域中的一个特征点区域;采集多个相机对应视野范围内的图像;获取多个图像,得到每个图像中特征点的像素坐标,建立多个图像坐标系;以标定板的平面建立世界坐标系,计算多个图像坐标系与世界坐标系的关系,得到世界坐标系下多个特征点的对应关系;根据世界坐标系下多个特征点的对应关系与标定板上特征点的位置关系,计算得到多个相机之间的位姿关系;从而实现对远心显微装置中多个无共同视野的相机进行标定,标定过程简单,计算容易。
本申请的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请了解。本申请的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
附图说明
图1为本申请实施例提供的多相机位置标定方法的一种流程图。
图2为本申请实施例提供的标定板的一种结构示意图。
图3为本申请实施例提供的一种特征点区域的样式图。
图4为本申请实施例提供的另一种特征点区域的样式图。
图5为本申请实施例提供的多相机位置标定装置的一种结构示意图。
图6为本申请实施例提供的多相机位置标定***的结构示意图。
标号说明:
302、标定板;3021、第一量程;3022、第二量程;201、执行模块;202、采集模块;203、获取模块;204、第一计算模块;205、第二计算模块;301、多轴位移台;401、安装平台;403、固定架;405、远心显微机构。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在面板显示领域,尤其是一些高精度设备,如喷墨打印机、曝光机、微米发光二极管巨量转移设备等,在工作流程中需要完成基板的精确对位,其要求的对位精度往往是微米级甚至是亚微米级,而对准标记尺寸较小,需要对位的基板尺寸较大,因此,一般会选择多台CCD相机配合远心显微镜头完成视觉对准,但是,由于单台相机视野范围较小,需要对位的基板尺寸过大,使得多台相机没有重合的视野,传统相机标定方法不再适用,基于此,本申请提供一种多相机位置标定方法、装置、***及存储介质。
请参照图1,图1是本申请一些实施例中的多相机位置标定方法的一种流程图。该多相机位置标定方法用于对远心显微装置中多个无共同视野的相机进行标定,方法包括以下步骤:
S101、移动具有多个特征点区域的标定板,使得多个相机的多个视野范围内分别具有多个特征点区域中的一个特征点区域。
S102、采集多个相机对应视野范围内的图像。
S103、获取多个图像,得到每个图像中特征点的像素坐标,建立多个图像坐标系。
S104、以标定板的平面建立世界坐标系,计算多个图像坐标系与世界坐标系的关系,得到世界坐标系下多个特征点的对应关系。
S105、根据世界坐标系下多个特征点的对应关系与标定板上特征点的位置关系,计算得到多个相机之间的位姿关系。
其中,在步骤S101中,移动具有多个特征点区域的标定板可以手动进行移动,为了保证移动精度,可以采用多轴位移台对标定板进行移动,多轴位移台能够带动标定板沿X轴、Y轴、Z轴方向进行平移以及以Z轴为旋转轴进行旋转,多轴位移台带动标定板移动的距离可以通过光栅尺或者激光干涉仪记录。某些实施方式中,每个相机的视野范围内的特征点区域占相机视野范围的四分之一至二分之一,具体可以是三分之一,以更好地保证特征点区域在相机视野范围内,避免标定板移动很小的距离会在镜头产生较大偏差的情况发生。
具体地,在一些实施例中,如图2所示,标定板302上的多个特征点区域之间的距离分别设为第一量程3021和第二量程3022,第一量程3021大于第二量程3022,第一量程3021是指两个黑色正方形之间的距离,第二量程3022是指两个白色正方形之间的距离。需要说明的是,黑色正方形和白色正方形均为特征点区域,此处只是为了便于说明,并不是限定特征点区域为黑色正方形或白色正方形。具体应用中,第一量程3021和第二量程3022的大小可以根据实际需求进行适应性设置,以适应多相机安装的不同距离。比如,第一量程3021为50mm,第二量程3022为5mm。
具体地,在一些实施例中,本申请提供了两种特征点区域的样式。如图3及图4所示,一种是将特征点区域设计为黑白棋盘形状,另一种是将特征点区域设计为实心圆点阵列形状,两种样式中的多个特征点区域均呈“一”字型排列,以便于安装调试。需要说明的是,特征点区域的样式也可以设计为其他,上述仅为本申请中的两种实施方式,不应以此为限。
具体地,在一些实施例中,步骤S102包括以下子步骤:S1021、多次移动标定板,改变特征点区域在对应的相机的视野范围内的位置;S1022、采集每次标定板移动后对应相机视野范围内的图像。
其中,在步骤S1021中,多次移动标定板,使得采集的图像能够覆盖整个相机的视野范围,从而优化标定结果。具体地,移动标定板的次数为10-15次。
其中,在步骤S103中,图像坐标系是建立在像平面的,也就是CCD或CMOS传感器的表面,以像素单元为单位,根据经验以及OpenCV图像处理库的规定,设定图像坐标系的X方向为图像的列向量,图像坐标系的Y方向为图像的行向量。
其中,在步骤S104中,根据图像坐标与世界坐标的对应关系及相机安装位置关系,指定世界坐标系的X方向为沿标定板长边方向,世界坐标系的Y方向为沿标定板短边方向。
具体地,在一些实施例中,步骤S104包括以下子步骤:S1041、根据采集的多个图像计算得到多个相机的相机参数;S1042、根据多个相机的相机参数计算多个图像坐标系与世界坐标系的关系,得到世界坐标系下多个特征点的对应关系;或者,S1041’:根据多个图像坐标系与世界坐标系对应特征点的关系,计算多个图像坐标系与世界坐标系的关系,得到世界坐标系下多个特征点的对应关系。
其中,在步骤S1041中,相机参数包括相机的内参、外参及畸变参数。相机的内参包括CCD上相邻两个像元的水平距离、CCD上相邻两个像元的垂直距离、图像中主点的列坐标、图像中主点的行坐标以及镜头的焦距。镜头的畸变参数包括径向畸变参数和切向畸变参数。相机参数可以采用张正友标定方法或Halcon标定方法计算得到。
其中,在步骤S1042中,根据多个相机的相机参数计算多个图像坐标系与世界坐标系的关系通过以下公式计算:
其中,在步骤S1041’中,根据多个图像坐标系与世界坐标系对应特征点的关系,计算多个图像坐标系与世界坐标系的关系通过以下公式计算:
其中,在步骤S105中,标定板上特征点的位置关系为已知。
具体地,在一些实施例中,本申请的多相机位置标定方法还包括以下步骤:S106、根据多个图像坐标系与世界坐标系的关系以及多个相机之间的位姿关系,计算得到最优位姿参数。通过求解最优位姿参数,进一步提高标定精度。
其中,在步骤S106中,计算得到最优位姿参数通过以下公式一或公式二计算:
公式一:
公式一中,表示图像中第行第列的特征点的实际世界坐标,表示根据相机参数和图像中第行第列的特征点的图像坐标计算得出的图像中第行第列的特征点在理论世界坐标系下的坐标;、表示相机外参,表示相机的焦距,表示特征点在图像坐标系下的主点坐标,、分别表示CCD相机上水平和垂直方向的像素尺寸,、分别表示图像中特征点的总行数和总列数;
公式二:
由上可知,本申请实施例提供的多相机位置标定方法通过移动具有多个特征点区域的标定板,使得多个相机的多个视野范围内分别具有多个特征点区域中的一个特征点区域;采集多个相机对应视野范围内的图像;获取多个图像,得到每个图像中特征点的像素坐标,建立多个图像坐标系;以标定板的平面建立世界坐标系,计算多个图像坐标系与世界坐标系的关系,得到世界坐标系下多个特征点的对应关系;根据世界坐标系下多个特征点的对应关系与标定板上特征点的位置关系,计算得到多个相机之间的位姿关系;从而对远心显微装置中多个无共同视野的相机进行标定,标定过程简单,计算容易。
请参照图5,图5是本申请一些实施例中的一种多相机位置标定装置的一种结构示意图。该多相机位置标定装置用于对远心显微装置中多个无共同视野的相机进行标定,该多相机位置标定装置以计算机程序的形式集成在该远心显微装置的后端控制设备中,该多相机位置标定装置包括:执行模块201、采集模块202、获取模块203、第一计算模块204以及第二计算模块205。
其中,执行模块201用于移动具有多个特征点区域的标定板,使得多个相机的多个视野范围内分别具有多个特征点区域中的一个特征点区域。移动具有多个特征点区域的标定板可以手动进行移动,为了保证移动精度,可以采用多轴位移台对标定板进行移动,多轴位移台能够带动标定板沿X轴、Y轴、Z轴方向进行平移以及以Z轴为旋转轴进行旋转,多轴位移台带动标定板移动的距离可以通过光栅尺或者激光干涉仪记录。
具体地,在一些实施例中,如图2所示,标定板302上的多个特征点区域之间的距离分别设为第一量程3021和第二量程3022,第一量程3021大于第二量程3022,第一量程3021是指两个黑色正方形之间的距离,第二量程3022是指两个白色正方形之间的距离。需要说明的是,黑色正方形和白色正方形均为特征点区域,此处只是为了便于说明,并不是限定特征点区域为黑色正方形或白色正方形。具体应用中,第一量程3021和第二量程3022的大小可以根据实际需求进行适应性设置,以适应多相机安装的不同距离。比如,第一量程3021为50mm,第二量程3022为5mm。
具体地,在一些实施例中,本申请提供了两种特征点区域的样式。如图3及图4所示,一种是将特征点区域设计为黑白棋盘形状,另一种是将特征点区域设计为实心圆点阵列形状,两种样式中的多个特征点区域均呈“一”字型排列,以便于安装调试。需要说明的是,特征点区域的样式也可以设计为其他,上述仅为本申请中的两种实施方式,不应以此为限。
其中,该采集模块202用于采集多个相机对应视野范围内的图像。具体的,在一些实施例中,该采集模块202包括:执行单元,用于多次移动标定板,改变特征点区域在对应的相机的视野范围内的位置;采集单元,用于采集每次标定板移动后对应相机视野范围内的图像。其中,移动标定板的次数为10-15次,以使得采集的图像能够覆盖整个相机的视野范围。
其中,该获取模块203用于获取多个图像,得到每个图像中特征点的像素坐标,建立多个图像坐标系。具体的,在一些实施例中,图像坐标系的单位为像素,图像坐标系的X方向为图像的列向量,图像坐标系的Y方向为图像的行向量。
其中,该第一计算模块204用于以标定板的平面建立世界坐标系,计算多个图像坐标系与世界坐标系的关系,得到世界坐标系下多个特征点的对应关系。其中,根据图像坐标与世界坐标的对应关系及相机安装位置关系,指定世界坐标系的X方向为沿标定板长边方向,世界坐标系的Y方向为沿标定板短边方向。
具体地,在一些实施例中,该第一计算模块204包括:第一计算单元,用于根据采集的多个图像计算得到多个相机的相机参数;第二计算单元,用于根据多个相机的相机参数计算多个图像坐标系与世界坐标系的关系,得到世界坐标系下多个特征点的对应关系。或者,该第一计算模块204包括第三计算单元,用于根据多个图像坐标系与世界坐标系对应特征点的关系,计算多个图像坐标系与世界坐标系的关系,得到世界坐标系下多个特征点的对应关系。
其中,相机参数包括相机的内参、外参及畸变参数。相机的内参包括CCD上相邻两个像元的水平距离、CCD上相邻两个像元的垂直距离、图像中主点的列坐标、图像中主点的行坐标以及镜头的焦距。镜头的畸变参数包括径向畸变参数和切向畸变参数。相机参数可以采用张正友标定方法或Halcon标定方法计算得到。标定板移动的距离通过光栅尺或者激光干涉仪记录。
其中,根据多个相机的相机参数计算多个图像坐标系与世界坐标系的关系通过以下公式计算:
其中,根据多个图像坐标系与世界坐标系对应特征点的关系,计算多个图像坐标系与世界坐标系的关系通过以下公式计算:
其中,该第二计算模块205用于根据世界坐标系下多个特征点的对应关系与标定板上特征点的位置关系,计算得到多个相机之间的位姿关系。标定板上特征点的位置关系为已知。
优选地,在一些实施例中,本申请的多相机位置标定装置还包括第四计算模块,用于根据多个图像坐标系与世界坐标系的关系以及多相机之间的位姿关系,计算得到最优位姿参数。具体地,第四计算模块计算得到最优位姿参数通过以下公式一或公式二计算:
公式一:
公式一中,表示图像中第行第列的特征点的实际世界坐标,表示根据相机参数和图像中第行第列的特征点的图像坐标计算得出的图像中第行第列的特征点在理论世界坐标系下的坐标;、表示相机外参,表示相机的焦距,表示特征点在图像坐标系下的主点坐标,、分别表示相机上水平和垂直方向的像素尺寸,、分别表示图像中特征点的总行数和总列数。
公式二:
由上可知,本申请实施例提供的多相机位置标定装置通过移动具有多个特征点区域的标定板,使得多个相机的多个视野范围内分别具有多个特征点区域中的一个特征点区域;采集多个相机对应视野范围内的图像;获取多个图像,得到每个图像中特征点的像素坐标,建立多个图像坐标系;以标定板的平面建立世界坐标系,计算多个图像坐标系与世界坐标系的关系;根据世界坐标系下多个特征点的对应关系与标定板上特征点的位置关系,计算得到多个相机之间的位姿关系;从而实现对远心显微装置中多个无共同视野的相机进行标定,标定过程简单,计算容易。
如图6所示,本申请提供一种多相机位置标定***,包括控制单元、多轴位移台301、标定板302及远心显微装置。远心显微装置包括多个远心显微机构。控制单元与多轴位移台301及多个远心显微机构通信连接。标定板302设置在多轴位移台301上。多轴位移台301用于移动具有多个特征点区域的标定板,使得多个相机的多个视野范围内分别具有多个特征点区域中的一个特征点区域。多个远心显微机构用于分别采集多个相机对应视野范围内的图像,并将多个图像发送给控制单元。
控制单元用于控制多轴位移台和远心显微装置工作,获取多个图像,得到每个图像中特征点的像素坐标,建立多个图像坐标系;以标定板的平面建立世界坐标系,计算多个图像坐标系与世界坐标系的关系,得到世界坐标系下多个特征点的对应关系;根据世界坐标系下多个特征点的对应关系与标定板上特征点的位置关系,计算得到多个相机之间的位姿关系。
具体地,控制单元可以是智能手机、平板电脑或笔记本电脑等类型的实体设备。
具体地,在一些实施例中,远心显微装置包括安装平台401、多个固定架403及多个远心显微机构405。多轴位移台301设置在安装平台401上。多个固定架403设置在安装平台401上,多个固定架403位于多轴位移台301的一侧。标定板302设置在多轴位移台301上。多个远心显微机构405分别设置在多个固定架403上,每个远心显微机构405的光轴与标定板302的平面垂直。
具体地,远心显微机构405包括远心显微镜头、CCD相机及点光源,三者同轴心设置。
具体地,如图2所示,标定板302上的多个特征点区域之间的距离分别设为第一量程3021和第二量程3022,第一量程3021大于第二量程3022,第一量程3021是指两个黑色正方形之间的距离,第二量程3022是指两个白色正方形之间的距离。需要说明的是,黑色正方形和白色正方形均为特征点区域,此处只是为了便于说明,并不是限定特征点区域为黑色正方形或白色正方形。具体应用中,第一量程3021和第二量程3022的大小可以根据实际需求进行适应性设置,以适应多相机安装的不同距离。比如,第一量程3021为50mm,第二量程3022为5mm。
本申请提供了两种特征点区域的样式,如图3及图4所示,一种是将特征点区域设计为黑白棋盘形状,另一种是将特征点区域设计为实心圆点阵列形状,两种样式中的多个特征点区域均呈“一”字型排列,以便于安装调试。需要说明的是,特征点区域的样式也可以设计为其他,上述仅为本申请中的两种实施方式,不应以此为限。
本申请实施例提供一种存储介质,其上存储有计算机程序,计算机程序被处理器执行时,执行上述实施例的任一可选的实现方式中的方法,以实现以下功能:移动具有多个特征点区域的标定板,使得多个相机的多个视野范围内分别具有多个特征点区域中的一个特征点区域;采集多个相机对应视野范围内的图像;获取多个图像,得到每个图像中特征点的像素坐标,建立多个图像坐标系;以标定板的平面建立世界坐标系,计算多个图像坐标系与世界坐标系的关系,得到世界坐标系下多个特征点的对应关系;根据世界坐标系下多个特征点的对应关系与标定板上特征点的位置关系,计算得到多个相机之间的位姿关系。其中,存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(Static Random Access Memory, 简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory, 简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read Only Memory, 简称EPROM),可编程只读存储器(Programmable Red-Only Memory, 简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种多相机位置标定方法,用于对远心显微装置中多个无共同视野的相机进行标定,其特征在于,所述方法包括以下步骤:
移动具有多个特征点区域的标定板,使得多个相机的多个视野范围内分别具有所述多个特征点区域中的一个特征点区域;
采集所述多个相机对应视野范围内的图像;
获取多个所述图像,得到每个所述图像中特征点的像素坐标,建立多个图像坐标系;
以所述标定板的平面建立世界坐标系,计算所述多个图像坐标系与所述世界坐标系的关系,得到所述世界坐标系下多个所述特征点的对应关系;
根据所述世界坐标系下多个所述特征点的对应关系与所述标定板上所述特征点的位置关系,计算得到所述多个相机之间的位姿关系。
2.根据权利要求1所述的多相机位置标定方法,其特征在于,所述移动具有多个特征点区域的标定板,使得多个相机的多个视野范围内分别具有所述多个特征点区域中的一个特征点区域还包括以下步骤:
移动具有多个特征点区域的标定板至每个所述相机的视野范围内的所述特征点区域占所述相机视野范围的四分之一至二分之一。
3.根据权利要求1所述的多相机位置标定方法,其特征在于,所述采集所述多个相机对应视野范围内的图像包括以下步骤:
多次移动所述标定板,改变所述特征点区域在对应的所述相机的视野范围内的位置;
采集每次所述标定板移动后对应所述相机视野范围内的图像。
4.根据权利要求3所述的多相机位置标定方法,其特征在于,所述移动所述标定板的次数为10-15次。
5.根据权利要求1所述的多相机位置标定方法,其特征在于,所述以所述标定板的平面建立世界坐标系,计算所述多个图像坐标系与所述世界坐标系的关系,得到所述世界坐标系下多个所述特征点的对应关系包括以下步骤:
根据采集的多个所述图像计算得到所述多个相机的相机参数;
根据所述多个相机的相机参数计算所述多个图像坐标系与所述世界坐标系的关系,得到所述世界坐标系下多个所述特征点的对应关系;或者,
根据所述多个图像坐标系与所述世界坐标系对应特征点的关系,计算所述多个图像坐标系与所述世界坐标系的关系,得到所述世界坐标系下多个所述特征点的对应关系。
6.根据权利要求5所述的多相机位置标定方法,其特征在于,所述根据所述世界坐标系下多个所述特征点的对应关系与所述标定板上所述特征点的位置关系,计算得到所述多个相机之间的位姿关系之后还包括以下步骤:
根据所述多个图像坐标系与所述世界坐标系的关系以及所述多个相机之间的位姿关系,计算得到最优位姿参数。
7.根据权利要求6所述的多相机位置标定方法,其特征在于,所述计算得到最优位姿参数通过以下公式一或公式二计算:
公式一:
公式一中,表示所述图像中第行第列的特征点的实际世界坐标,表示根据所述相机参数和所述图像中第行第列的特征点的图像坐标计算得出的所述图像中第行第列的特征点在理论世界坐标系下的坐标;、表示相机外参,表示相机的焦距,表示所述特征点在图像坐标系下的主点坐标,、分别表示CCD相机上水平和垂直方向的像素尺寸,、分别表示所述图像中特征点的总行数和总列数;
公式二:
8.一种多相机位置标定装置,用于对远心显微装置中多个无共同视野的相机进行标定,其特征在于,所述装置包括:
执行模块,用于移动具有多个特征点区域的标定板,使得多个相机的多个视野范围内分别具有所述多个特征点区域中的一个特征点区域;
采集模块,用于采集所述多个相机对应视野范围内的图像;
获取模块,用于获取多个所述图像,得到每个所述图像中特征点的像素坐标,建立多个图像坐标系;
第一计算模块,用于以所述标定板的平面建立世界坐标系,计算所述多个图像坐标系与所述世界坐标系的关系,得到所述世界坐标系下多个所述特征点的对应关系;
第二计算模块,用于根据所述世界坐标系下多个所述特征点的对应关系与所述标定板上所述特征点的位置关系,计算得到所述多个相机之间的位姿关系。
9.一种多相机位置标定***,其特征在于,包括控制单元、多轴位移台、标定板及远心显微装置;所述远心显微装置包括多个远心显微机构;所述控制单元与所述多轴位移台及所述多个远心显微机构连接;所述标定板设置在所述多轴位移台上;
所述多轴位移台用于移动具有多个特征点区域的所述标定板,使得多个相机的多个视野范围内分别具有所述多个特征点区域中的一个特征点区域;
所述多个远心显微机构用于分别采集所述多个相机对应视野范围内的图像,并将多个所述图像发送给所述控制单元;
所述控制单元用于控制所述多轴位移台和所述多个远心显微机构工作,获取多个所述图像,得到每个所述图像中特征点的像素坐标,建立多个图像坐标系;以所述标定板的平面建立世界坐标系,计算所述多个图像坐标系与所述世界坐标系的关系,得到所述世界坐标系下多个所述特征点的对应关系;根据所述世界坐标系下多个所述特征点的对应关系与所述标定板上所述特征点的位置关系,计算得到所述多个相机之间的位姿关系。
10.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时运行如权利要求1-7任一项所述方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210723777.5A CN114792344B (zh) | 2022-06-24 | 2022-06-24 | 多相机位置标定方法、装置、***及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210723777.5A CN114792344B (zh) | 2022-06-24 | 2022-06-24 | 多相机位置标定方法、装置、***及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114792344A true CN114792344A (zh) | 2022-07-26 |
CN114792344B CN114792344B (zh) | 2022-09-27 |
Family
ID=82463000
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210723777.5A Active CN114792344B (zh) | 2022-06-24 | 2022-06-24 | 多相机位置标定方法、装置、***及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114792344B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117340891A (zh) * | 2023-11-22 | 2024-01-05 | 北京衔微医疗科技有限公司 | 用于手术辅助机器人的运动精度标定方法 |
WO2024092560A1 (zh) * | 2022-11-02 | 2024-05-10 | 京东方科技集团股份有限公司 | 多坐标系标定与设备对位方法、巨量转移设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663767A (zh) * | 2012-05-08 | 2012-09-12 | 北京信息科技大学 | 视觉测量***的相机参数标定优化方法 |
CN105574886A (zh) * | 2016-01-28 | 2016-05-11 | 多拉维(深圳)技术有限公司 | 手持多目相机高精度标定方法 |
EP3086285A1 (en) * | 2015-04-22 | 2016-10-26 | Thomson Licensing | Method of camera calibration for a multi-camera system and apparatus performing the same |
CN106097300A (zh) * | 2016-05-27 | 2016-11-09 | 西安交通大学 | 一种基于高精度运动平台的多相机标定方法 |
US20170221210A1 (en) * | 2016-02-01 | 2017-08-03 | Canon Kabushiki Kaisha | Devices, systems, and methods for high-resolution multi-view camera calibration |
CN107862717A (zh) * | 2017-10-30 | 2018-03-30 | 大族激光科技产业集团股份有限公司 | 多相机标定方法 |
CN114299156A (zh) * | 2021-12-11 | 2022-04-08 | 合肥辰视机器人科技有限公司 | 无重叠区域下多相机的标定与坐标统一方法 |
-
2022
- 2022-06-24 CN CN202210723777.5A patent/CN114792344B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663767A (zh) * | 2012-05-08 | 2012-09-12 | 北京信息科技大学 | 视觉测量***的相机参数标定优化方法 |
EP3086285A1 (en) * | 2015-04-22 | 2016-10-26 | Thomson Licensing | Method of camera calibration for a multi-camera system and apparatus performing the same |
CN105574886A (zh) * | 2016-01-28 | 2016-05-11 | 多拉维(深圳)技术有限公司 | 手持多目相机高精度标定方法 |
US20170221210A1 (en) * | 2016-02-01 | 2017-08-03 | Canon Kabushiki Kaisha | Devices, systems, and methods for high-resolution multi-view camera calibration |
CN106097300A (zh) * | 2016-05-27 | 2016-11-09 | 西安交通大学 | 一种基于高精度运动平台的多相机标定方法 |
CN107862717A (zh) * | 2017-10-30 | 2018-03-30 | 大族激光科技产业集团股份有限公司 | 多相机标定方法 |
CN114299156A (zh) * | 2021-12-11 | 2022-04-08 | 合肥辰视机器人科技有限公司 | 无重叠区域下多相机的标定与坐标统一方法 |
Non-Patent Citations (2)
Title |
---|
SHOGO MIYATA 等: "Extrinsic Camera Calibration Without Visible Corresponding Points Using Omnidirectional Cameras", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 * |
宋代平 等: "多相机非共视场的非合作圆特征位姿测量方法", 《红外技术》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024092560A1 (zh) * | 2022-11-02 | 2024-05-10 | 京东方科技集团股份有限公司 | 多坐标系标定与设备对位方法、巨量转移设备 |
CN117340891A (zh) * | 2023-11-22 | 2024-01-05 | 北京衔微医疗科技有限公司 | 用于手术辅助机器人的运动精度标定方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114792344B (zh) | 2022-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114792344B (zh) | 多相机位置标定方法、装置、***及存储介质 | |
CN111536902B (zh) | 一种基于双棋盘格的振镜扫描***标定方法 | |
TWI408037B (zh) | 機械手臂的定位方法及校正方法 | |
US8619144B1 (en) | Automatic camera calibration | |
CN103108114B (zh) | 用于将元件与印刷电路板上的脚位对准的相机***和方法 | |
CN106056620B (zh) | 线激光相机测量***标定方法 | |
CN108072319B (zh) | 一种运动平台的快速标定***及标定方法 | |
KR20160079756A (ko) | 적어도 3개의 이산 평면에 따른 머신 비젼 카메라의 보정을 위한 시스템 및 방법 | |
CN109263253B (zh) | 基于机器视觉的晶硅光伏太阳能电池印刷定位平台标定方法及装置 | |
KR20200047743A (ko) | 카메라 캘리브레이션을 위한 타겟, 방법, 및 시스템 | |
US9749621B2 (en) | Calibration plate for calibrating a plurality of image capturing devices and method for calibrating a plurality of image capturing devices | |
KR20140089392A (ko) | 카메라 계측 시스템의 캘리브레이션 방법 | |
WO2011065169A1 (ja) | 画像撮影システム、画像撮影方法、および画像撮影プログラムを格納する記憶媒体 | |
CN104735444A (zh) | 根据直线特征执行视觉***平面手眼校准的***和方法 | |
CN108632586B (zh) | 投影仪*** | |
US10821911B2 (en) | Method and system of camera focus for advanced driver assistance system (ADAS) | |
KR20080005410A (ko) | 공작물 위치 정보 취득 방법 및 장치 | |
US10535157B2 (en) | Positioning and measuring system based on image scale | |
CN113064248A (zh) | 摄像头的光学对位方法、摄像头及电子设备 | |
CN114612447A (zh) | 一种基于数据标定的图像处理方法及装置、图像处理设备 | |
JP2014035261A (ja) | 情報処理方法、情報処理装置、プログラム、撮像装置、検査方法、検査装置、及び基板の製造方法 | |
CN116811447B (zh) | 一种基板纠偏和定位方法及相关设备 | |
US20120056999A1 (en) | Image measuring device and image measuring method | |
CN101213494A (zh) | 描绘装置及描绘方法 | |
US20230245346A1 (en) | Method and device for corner marking and parameter calibration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |