CN110415304B - 一种视觉标定方法及*** - Google Patents

一种视觉标定方法及*** Download PDF

Info

Publication number
CN110415304B
CN110415304B CN201910701453.XA CN201910701453A CN110415304B CN 110415304 B CN110415304 B CN 110415304B CN 201910701453 A CN201910701453 A CN 201910701453A CN 110415304 B CN110415304 B CN 110415304B
Authority
CN
China
Prior art keywords
coordinate
target
calibration
coordinate system
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910701453.XA
Other languages
English (en)
Other versions
CN110415304A (zh
Inventor
胡坤
施越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Boshi Intelligent Motion Technology Co ltd
Original Assignee
Beijing Boshi Intelligent Motion Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Boshi Intelligent Motion Technology Co ltd filed Critical Beijing Boshi Intelligent Motion Technology Co ltd
Priority to CN201910701453.XA priority Critical patent/CN110415304B/zh
Publication of CN110415304A publication Critical patent/CN110415304A/zh
Application granted granted Critical
Publication of CN110415304B publication Critical patent/CN110415304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06046Constructional details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请实施例公开一种视觉标定方法及***,包括:多相机分别获取靶标图像,确定每个标靶图像中标定点的第一坐标与第二坐标,即指标定点在图像坐标系中的坐标与在局部靶标坐标系中的坐标,获得第三坐标,第三坐标指靶标图像中二维码在图像坐标系中的坐标;提取靶标图像中二维码信息,二维码信息中包括第四坐标,第四坐标指当前二维码在全局靶标坐标系中的坐标,将第二坐标修正为第五坐标,第五坐标指标定点在全局靶标坐标系中的坐标;根据第一坐标和第五坐标,建立全局靶标坐标系与每个图像坐标系之间的映射关系。利用一个带有二维码的靶标,通过二维码信息自动修正标定点的局部靶标坐标为全局靶标坐标,实现多相机视觉***的全自动标定、校准。

Description

一种视觉标定方法及***
技术领域
本申请涉及视觉标定技术领域,特别涉及一种视觉标定方法及***。
背景技术
随着工厂自动化程度的不断提高,大量的生产和检测设备都需要安装图像视觉***以提高设备的自动化程度。在生产设备中,图像视觉***往往被用于引导设备的运动控制***自动运行,以适应待加工产品的上料位置、尺寸不一致等情况,比如LCD行业中的cog、fog设备等。
在检测设备中,图像视觉***往往被用于加工产品的尺寸测量、组装精度测量、外观检测等,以确保最终产品的合格率。高精度的工业生产和检测设备对图像视觉***提出了高精度和大视野的要求,而单相机视觉***很难同时满足高精度和大视野的要求,多相机视觉***可以同时实现高精度和大视野的要求。
多相机视觉***一般需要借助高精度标定靶标来实现多相机坐标系的统一,以同时满足高精度和大视野的要求。每个相机分别建立与靶标坐标系的坐标转换关系,即可以实现多个相机坐标***一到唯一的靶标坐标系。
但是,现有的多相机标定方法,需要首先提取棋盘格角点坐标,然后手动输入标定图像中的标记所对应的靶标坐标,建立图像坐标系与靶标坐标系的映射关系。这种标定方法效率较低,操作复杂,需要人工参与,不能实现多相机视觉***的全自动标定。
发明内容
本申请公开一种视觉标定方法及***,以解决现有技术中的标定方法效率较低,操作复杂,需要人工参与,不能实现多相机视觉***的全自动标定的问题。
在本申请的第一方面,公开一种视觉标定方法,包括:
多相机分别获取靶标图像,其中,所述靶标上设有至少一个二维码,每个所述相机视野范围内至少包括一个完整的二维码;
确定每个所述标靶图像中标定点的第一坐标与第二坐标,所述第一坐标是指所述标定点在图像坐标系中的坐标,所述第二坐标是指所述标定点在局部靶标坐标系中的坐标,其中,所述局部靶标坐标系为当前所述相机视野范围内的局部靶标所在的坐标系,所述图像坐标系为当前所述相机所在的坐标系;
获得第三坐标,所述第三坐标是指所述靶标图像中二维码在所述图像坐标系中的坐标;
提取所述靶标图像中二维码信息,所述二维码信息中包括第四坐标,所述第四坐标是指当前所述二维码在全局靶标坐标系中的坐标,其中,所述全局靶标坐标系为完整靶标所在的坐标系;
根据所述第一坐标、所述第二坐标、所述第三坐标和所述第四坐标,将所述第二坐标修正为第五坐标,所述第五坐标是指所述标定点在所述全局靶标坐标系中的坐标;
根据所述第一坐标和所述第五坐标,建立所述全局靶标坐标系与每个所述图像坐标系之间的映射关系。
进一步地,所述确定每个所述标靶图像中标定点的第一坐标与第二坐标,包括:
提取每个所述靶标图像中所有标定点的第一坐标;
根据提取的所述第一坐标,确定每个所述靶标图像中标定点之间的拓扑关系;
根据所述拓扑关系,确定每个所述靶标图像中标定点的第二坐标。
进一步地,当所述靶标为棋盘格靶标时,所述提取每个所述靶标图像中所有标定点的第一坐标,包括:
通过Hessian矩阵计算所述标定点的像素坐标,其中,所述标定点为所述角点;
利用泰勒展开式计算所述标定点的亚像素坐标,其中,所述亚像素坐标为所述第一坐标。
进一步地,当所述靶标为棋盘格靶标时,根据提取的所述第一坐标,确定每个所述靶标图像中标定点之间的拓扑关系,包括:
根据提取的所述第一坐标,生成德洛内三角形,其中,所述标定点为所述角点;
将相邻且灰度均值最接近所述德洛内三角形合并为四边形;
对所述四边形进行筛选,其中,筛选后获得的所述四边形同时满足:所述四边形的对角线交点在当前所述四边形内部,所述四边形的对边长度之比介于区间(0.75,1.25),所述四边形的邻边长度之比介于区间(0.75,1.25);
根据筛选后的四边形,组织形成拓扑网络;
根据所述四边形在所述拓扑网络中位置,确定所述第二坐标。
进一步地,将所述第二坐标修正为第五坐标,包括:
修正所述标定点坐标的X轴和Y轴方向;
修正所述标定点坐标的X轴正方向和Y轴的正方向;
修正所述标定点坐标的起始值。
进一步地,所述靶标可以为棋盘格靶标、网线格靶标或圆阵列靶标。
在本申请的第二方面,公开一种视觉标定***,包括:
图像获取模块,用于多相机分别获取靶标图像,其中,所述靶标上设有至少一个二维码,每个所述相机视野范围内至少包括一个完整的二维码;
第一确定模块,用于确定每个所述标靶图像中标定点的第一坐标与第二坐标,所述第一坐标是指所述标定点在图像坐标系中的坐标,所述第二坐标是指所述标定点在局部靶标坐标系中的坐标,其中,所述局部靶标坐标系为当前所述相机视野范围内的局部靶标所在的坐标系,所述图像坐标系为当前所述相机所在的坐标系;
获得模块,用于获得第三坐标,所述第三坐标是指所述靶标图像中二维码在所述图像坐标系中的坐标;
第一提取模块,用于提取所述靶标图像中二维码信息,所述二维码信息中包括第四坐标,所述第四坐标是指当前所述二维码在全局靶标坐标系中的坐标,其中,所述全局靶标坐标系为完整靶标所在的坐标系;
修正模块,用于根据所述第一坐标、所述第二坐标、所述第三坐标和所述第四坐标,将所述第二坐标修正为第五坐标,所述第五坐标是指所述标定点在所述全局靶标坐标系中的坐标;
建立模块,用于根据所述第一坐标和所述第五坐标,建立所述全局靶标坐标系与每个所述图像坐标系之间的映射关系。
进一步地,所述第一确定模块,具体包括:
第二提取模块,用于提取每个所述靶标图像中所有标定点的第一坐标;
第二确定模块,用于根据提取的所述第一坐标,确定每个所述靶标图像中标定点之间的拓扑关系;
第三确定模块,用于根据所述拓扑关系,确定每个所述靶标图像中标定点的第二坐标。
进一步地,当所述靶标为棋盘格靶标时,第二提取模块,具体包括:
第一计算模块,用于通过Hessian矩阵计算所述标定点的像素坐标,其中,所述标定点为所述角点;
第二计算模块,用于利用泰勒展开式计算所述标定点的亚像素坐标,其中,所述亚像素坐标为所述第一坐标。
进一步地,当所述靶标为棋盘格靶标时,第二确定模块,具体包括:
生成模块,用于根据提取的所述第一坐标,生成德洛内三角形,其中,所述标定点为所述角点;
合并模块,用于将相邻且灰度均值最接近所述德洛内三角形合并为四边形;
筛选模块,用于对所述四边形进行筛选,其中,筛选后获得的所述四边形同时满足:所述四边形的对角线交点在当前所述四边形内部,所述四边形的对边长度之比介于区间(0.75,1.25),所述四边形的邻边长度之比介于区间(0.75,1.25);
组织模块,用于根据筛选后的四边形,组织形成拓扑网络;
第四确定模块,用于根据所述四边形在所述拓扑网络中位置,确定所述第二坐标。
本申请公开的视觉标定方法及***,利用一个带有二维码的靶标,通过二维码信息自动修正标定点的局部靶标坐标为全局靶标坐标,实现多相机视觉***的全自动标定、校准,另外,本申请中每个相机的视野范围内包括一个二维码即可,也就是说,每个相机的视野不需要设计过大,从而保证了单相机像素精度。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种视觉标定方法的工作流程示意图;
图2为本申请实施例公开的靶标的示意图;
图3为本申请实施例公开的多相机获取靶标图像的示意图;
图4为本申请实施例公开的又一种视觉标定方法的工作流程示意图;
图5为本申请实施例公开的又一种视觉标定方法的工作流程示意图;
图6为本申请实施例公开的又一种视觉标定方法的工作流程示意图;
图7为本申请实施例公开的生成德洛内三角形的结果示意图;
图8为本申请实施例公开的合并相邻三角形为四边形的结果示意图;
图9为本申请实施例公开的筛选四边形后的结果示意图;
图10为本申请实施例公开的确定的第二坐标的结果示意图
图11为本申请实施例公开的提取二维码信息的结果示意图;
图12为本申请实施例公开的第二坐标修正为第五坐标的结果示意图;
图13为本申请实施例公开的建立映射关系的示意图;
图14为本申请实施例公开的一种视觉标定***的结构框图;
图15为本申请实施例公开的又一种视觉标定***的结构框图;
图16为本申请实施例公开的又一种视觉标定***的结构框图;
图17为本申请实施例公开的又一种视觉标定***的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
现有的多相机标定方法,需要首先提取棋盘格角点坐标,然后手动输入标定图像中的标记所对应的靶标坐标,建立图像坐标系与靶标坐标系的映射关系。这种标定方法效率较低,操作复杂,需要人工参与,不能实现多相机视觉***的全自动标定。为了解决上述技术问题,本申请实施例公开一种视觉标定方法及***。
本申请实施例一公开一种视觉标定方法,参照图1,包括如下步骤:
步骤S10、多相机分别获取靶标图像,其中,所述靶标上设有至少一个二维码,每个所述相机视野范围内至少包括一个完整的二维码。
本申请中的靶标为带有二维码的靶标,如图2所示,靶标可以为棋盘格靶标、网线格靶标或圆阵列靶标,靶标上的二维码可以按照如图2中所示的列阵式排列,也可以按照其他方式排列,本申请对此不作限定。
在设计靶标时,以棋盘格靶标为例,二维码为矩形,二维码的中心精确的覆盖棋盘格中某个角点。作为优选的,二维码占据棋盘格靶标中的四个矩形位置。
其中,二维码可以是DM二维码或QR二维码,每个二维码中包含当前二维码在完整棋盘靶标中的位置信息(坐标),比如图2中左上角第一个二维码包含位置信息(5,5),即当前二维码中心对应完整棋盘靶标中的第5行第5列。
如图3所示,四个相机分别获取靶标图像,每个相机拍摄靶标的一部分,每个所述相机获取的图像中都至少包括一个完整的二维码。
步骤S11、确定每个所述标靶图像中标定点的第一坐标与第二坐标,所述第一坐标是指所述标定点在图像坐标系中的坐标,所述第二坐标是指所述标定点在局部靶标坐标系中的坐标,其中,所述局部靶标坐标系为当前所述相机视野范围内的局部靶标所在的坐标系,所述图像坐标系为当前所述相机所在的坐标系。
靶标可以为棋盘格靶标、网线格靶标或圆阵列靶标,如果靶标为棋盘格靶标,对应的标定点为棋盘格角点,如果靶标为网线格靶标,对应的标定点为网线的交叉点,如果靶标为圆阵列靶标,对应的标定点为圆点中心。
为了保证拍摄的高精度,每个相机拍摄靶标的一部分,局部靶标坐标系为当前相机拍摄的局部靶标所在的坐标系。
其中,如图4所示,确定每个所述标靶图像中标定点的第一坐标与第二坐标的具体实现方式可以按照以下步骤S110-S112:
步骤S110、提取每个所述靶标图像中所有标定点的第一坐标。
以四个相机分别获取靶标图像为例,分别提取每个所述靶标图像中所有标定点在对应的图像坐标系中的坐标。如,当前的靶标图像为第一相机拍摄的,则提取当前的靶标图像中所有标定点在第一相机对应的图像坐标系中的坐标。
当所述靶标为棋盘格靶标时,如图5所示,所述提取每个所述靶标图像中所有标定点的第一坐标的具体实现方式,可以按照以下步骤S1100-S1101:
步骤S1100、通过Hessian矩阵计算所述标定点的像素坐标,其中,所述标定点为所述角点。
通过高斯滤波计算图像像素的Hessian矩阵:
Figure BDA0002150932050000051
其中,fxx、fxy、fyy分别为当前图像灰度相对于x、y的二阶偏导数。Hessian矩阵的两个特征值λ1和λ2分别对应为灰度变化最剧烈的方向上的梯度值及其法线方向上的梯度值。针对棋盘格对应的角点,其判断准则为:
Figure BDA0002150932050000052
其中,t为梯度阈值。
步骤S1101、利用泰勒展开式计算所述标定点的亚像素坐标,其中,所述亚像素坐标为所述第一坐标。
通过泰勒展开进一步计算棋盘格角点的亚像素位置,泰勒展开可以表示如下:
Figure BDA0002150932050000053
其中,(x0,y0)为通过Hessian矩阵计算得到的角点像素坐标,(s,t)为角点相对于(x0,y0)的亚像素偏移,f0为当前像素灰度值,fx、fy、fxx、fxy、fyy分别为当前像素的一阶偏导数和二阶偏导数。根据角点的亚像素坐标对应为邻域图像灰度分布的极值点,可得如下性质
Figure BDA0002150932050000061
求解上述方程组,可得
Figure BDA0002150932050000062
棋盘格角点的亚像素坐标即(x0+s,y0+t)。
上述步骤S1100-S1101,提取每个所述靶标图像中所有标定点的第一坐标的方法,一方面相对于传统的Harris的角点提取法,不需要插值和曲面拟合,提取过程简单、速度快;另一方面相对于边缘拟合求交点的方法,本申请中只利用角点临近区域内的图像灰度,因此,即使在图像存在畸变及较大噪声的情况下,扔具有较高的提取精度。
步骤S111、根据提取的所述第一坐标,确定每个所述靶标图像中标定点之间的拓扑关系。
根据提取的靶标图像中所有标定点的第一坐标,确定每个所述靶标图像中标定点之间的拓扑关系,即确定了每个标定点与其他标定点的相邻关系。
步骤S112、根据所述拓扑关系,确定每个所述靶标图像中标定点的第二坐标。
确定了每个标定点与其他标定点的相邻关系,也就能确定每个所述靶标图像中标定点在局部靶标坐标系中的坐标。
当所述靶标为棋盘格靶标时,如图6所示,所述确定每个所述靶标图像中标定点之间的拓扑关系的具体实现方式,可以按照以下步骤S1110-S1114:
步骤S1110、根据提取的所述第一坐标,生成德洛内三角形,如图7所示,其中,所述标定点为所述角点。
德洛内三角形定义:如果一个三角形的外接圆不包含平面内的其他任何点,则这个三角形称为德洛内三角形。
步骤S1111、将相邻且灰度均值最接近所述德洛内三角形合并为四边形,如图8所示。
合并规则如下:选定一个德洛内三角形,搜索选定的德洛内三角形的所有相邻德洛内三角形,取与其灰度均值最接近的德洛内三角形与之合并。
如图8所示,由于二维码中也含有黑色后白色区域,按照上述合并规则合并后,会存在一些不满足要求的四边形,所以需要进一步对四边形筛选。
步骤S1112、对所述四边形进行筛选,如图9所示,其中,筛选后获得的所述四边形同时满足:所述四边形的对角线交点在当前所述四边形内部,所述四边形的对边长度之比介于区间(0.75,1.25),所述四边形的邻边长度之比介于区间(0.75,1.25)。
步骤S1113、根据筛选后的四边形,组织形成拓扑网络。
筛选后的四边形链接在一起形成拓扑网络。
步骤S1114、根据所述四边形在所述拓扑网络中位置,确定所述第二坐标,如图10所示。
根据四边形在拓扑网络中的位置可以生成每个四边形顶点对应的棋盘格角点坐标。
步骤S12、获得第三坐标,所述第三坐标是指所述靶标图像中二维码在所述图像坐标系中的坐标。
确定二维码区域,定位二维码区域中心在图像中的位置,用一个四边形表示二维码区域,获得第三坐标。
步骤S13、提取所述靶标图像中二维码信息,所述二维码信息中包括第四坐标,所述第四坐标是指当前所述二维码在全局靶标坐标系中的坐标,其中,所述全局靶标坐标系为完整靶标所在的坐标系。
对靶标图像中二维码进行解码,提取二维码信息,二维码信息中包括当前所述二维码在全局靶标坐标系中的坐标。如图11所示,二维码在全局靶标坐标系中的坐标为(0.00,10.00),二维码在全局靶标坐标系中的坐标为二维码中心在全局靶标坐标系中的坐标。
将第四坐标记录于二维码中,无需人工手动标记,需要时将对应的二维码进行解码即可。
步骤S14、根据所述第一坐标、所述第二坐标、所述第三坐标和所述第四坐标,将所述第二坐标修正为第五坐标,所述第五坐标是指所述标定点在所述全局靶标坐标系中的坐标。
根据第三坐标和所述第四坐标,能够获得二维码在图像坐标系中坐标与在全局靶标坐标系中的坐标的对应关系,再根据第一坐标和所述第二坐标,修正第二坐标为第五坐标,即获得标定点在所述全局靶标坐标系中的坐标。
其中,修正第二坐标为第五坐标,包括:修正所述标定点坐标的X轴和Y轴方向;修正所述标定点坐标的X轴正方向和Y轴的正方向;修正所述标定点坐标的起始值。
如图11所示,获得的二维码在全局靶标坐标系中的坐标为(0.00,10.00),将如图10所示的所有角点在局部靶标坐标系中的坐标修正为如图12所示的所有角点在全局靶标坐标系中的坐标。例如:靶标图像中,左上角角点在局部靶标坐标系中的坐标为(0.00,0.00),修正后,左上角角点在全局靶标坐标系中的坐标为(-4.00,14.00)。
步骤S15、根据所述第一坐标和所述第五坐标,建立所述全局靶标坐标系与每个所述图像坐标系之间的映射关系。
每个相机对应一个图像坐标系,将每个相机对应的图像坐标系都统一与全局靶标坐标系建立对应的映射关系,从而实现多相机标定、校准。
其中,建立全局靶标坐标系与图像坐标系之间的映射关系,即求解映射矩阵。
两个空间平面之间的映射关系可以用单应矩阵来表示,单应是射影几何中的概念,又称为射影变换。它把一个射影平面上的点(三维齐次矢量)映射到另一个射影平面上,并且把直线映射为直线,具有保线性质。
同一个标定点在图像坐标系中的坐标为(u,v),在全局靶标坐标系中的坐标为(x,y),两个坐标系的单应矩阵为H,则有
Figure BDA0002150932050000081
其中,h11、h12、h21、h22表示线性变换矩阵,h13、、h23表示平移向量,h31、h32表示透视变换量。
从上述公式中可知,单应矩阵H有8个自由度,因此,理论上至少只需要4组对应标定点坐标,就能求解出单应矩阵H。
如图13所示,分别获得A、B、C、D四个标定点对应的第一坐标和第五坐标,利用上述计算单应矩阵公式,即可求出单应矩阵H。
本申请实施例公开的视觉标定方法,首先多相机分别获取靶标图像,其中,所述靶标上设有至少一个二维码,每个所述相机视野范围内至少包括一个完整的二维码;然后确定每个所述标靶图像中标定点的第一坐标与第二坐标,所述第一坐标是指所述标定点在图像坐标系中的坐标,所述第二坐标是指所述标定点在局部靶标坐标系中的坐标,其中,所述局部靶标坐标系为当前所述相机视野范围内的局部靶标所在的坐标系,所述图像坐标系为当前所述相机所在的坐标系;再获得第三坐标,所述第三坐标是指所述靶标图像中二维码在所述图像坐标系中的坐标;再提取所述靶标图像中二维码信息,所述二维码信息中包括第四坐标,所述第四坐标是指当前所述二维码在全局靶标坐标系中的坐标,其中,所述全局靶标坐标系为完整靶标所在的坐标系;然后根据所述第一坐标、所述第二坐标、所述第三坐标和所述第四坐标,将所述第二坐标修正为第五坐标,所述第五坐标是指所述标定点在所述全局靶标坐标系中的坐标;最后根据所述第一坐标和所述第五坐标,建立所述全局靶标坐标系与每个所述图像坐标系之间的映射关系。
本申请公开的视觉标定方法,利用一个带有二维码的靶标,通过二维码信息自动修正标定点的局部靶标坐标为全局靶标坐标,实现多相机视觉***的全自动标定、校准,另外,本申请中每个相机的视野范围内包括一个二维码即可,也就是说,每个相机的视野不需要设计过大,从而保证了单相机像素精度。
相应的,参照图14,在本发明另一实施例中,还公开一种视觉标定***,包括:
图像获取模块110,用于多相机分别获取靶标图像,其中,所述靶标上设有至少一个二维码,每个所述相机视野范围内至少包括一个完整的二维码;
第一确定模块120,用于确定每个所述标靶图像中标定点的第一坐标与第二坐标,所述第一坐标是指所述标定点在图像坐标系中的坐标,所述第二坐标是指所述标定点在局部靶标坐标系中的坐标,其中,所述局部靶标坐标系为当前所述相机视野范围内的局部靶标所在的坐标系,所述图像坐标系为当前所述相机所在的坐标系;
获得模块130,用于获得第三坐标,所述第三坐标是指所述靶标图像中二维码在所述图像坐标系中的坐标;
第一提取模块140,用于提取所述靶标图像中二维码信息,所述二维码信息中包括第四坐标,所述第四坐标是指当前所述二维码在全局靶标坐标系中的坐标,其中,所述全局靶标坐标系为完整靶标所在的坐标系;
修正模块150,用于根据所述第一坐标、所述第二坐标、所述第三坐标和所述第四坐标,将所述第二坐标修正为第五坐标,所述第五坐标是指所述标定点在所述全局靶标坐标系中的坐标;
建立模块160,用于根据所述第一坐标和所述第五坐标,建立所述全局靶标坐标系与每个所述图像坐标系之间的映射关系。
进一步地,参照图15,所述第一确定模块120,具体包括:
第二提取模块210,用于提取每个所述靶标图像中所有标定点的第一坐标;
第二确定模块220,用于根据提取的所述第一坐标,确定每个所述靶标图像中标定点之间的拓扑关系;
第三确定模块230,用于根据所述拓扑关系,确定每个所述靶标图像中标定点的第二坐标。
进一步地,参照图16,当所述靶标为棋盘格靶标时,第二提取模块210,具体包括:
第一计算模块310,用于通过Hessian矩阵计算所述标定点的像素坐标,其中,所述标定点为所述角点;
第二计算模块320,用于利用泰勒展开式计算所述标定点的亚像素坐标,其中,所述亚像素坐标为所述第一坐标。
进一步地,参照图17,当所述靶标为棋盘格靶标时,第二确定模块220,具体包括:
生成模块410,用于根据提取的所述第一坐标,生成德洛内三角形,其中,所述标定点为所述角点;
合并模块420,用于将相邻且灰度均值最接近所述德洛内三角形合并为四边形;
筛选模块430,用于对所述四边形进行筛选,其中,筛选后获得的所述四边形同时满足:所述四边形的对角线交点在当前所述四边形内部,所述四边形的对边长度之比介于区间(0.75,1.25),所述四边形的邻边长度之比介于区间(0.75,1.25);
组织模块440,用于根据筛选后的四边形,组织形成拓扑网络;
第四确定模块450,用于根据所述四边形在所述拓扑网络中位置,确定所述第二坐标。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其,对于***的实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例中的说明即可。
以上结合具体实施方式和范例性实例对本申请进行了详细说明,不过这些说明并不能理解为对本申请的限制。本领域技术人员理解,在不偏离本申请精神和范围的情况下,可以对本申请技术方案及其实施方式进行多种等价替换、修饰或改进,这些均落入本申请的范围内。本申请的保护范围以所附权利要求为准。
具体实现中,本申请实施例还提供一种计算机可读存储介质,其中,该计算机可读存储介质可存储有程序,该程序执行时可包括本申请提供的视觉标定方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory,ROM)或随机存储记忆体(random access memory,RAM)等。
本领域的技术人员可以清楚地了解到本申请实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
以上所述的本申请实施方式并不构成对本申请保护范围的限定。

Claims (10)

1.一种视觉标定方法,其特征在于,包括:
多相机分别获取靶标图像,其中,所述靶标上设有至少一个二维码,每个所述相机视野范围内至少包括一个完整的二维码;
确定每个所述靶标图像中标定点的第一坐标与第二坐标,所述第一坐标是指所述标定点在图像坐标系中的坐标,所述第二坐标是指所述标定点在局部靶标坐标系中的坐标,其中,所述局部靶标坐标系为当前所述相机视野范围内的局部靶标所在的坐标系,所述图像坐标系为当前所述相机所在的坐标系;
获得第三坐标,所述第三坐标是指所述靶标图像中二维码在所述图像坐标系中的坐标;
提取所述靶标图像中二维码信息,所述二维码信息中包括第四坐标,所述第四坐标是指当前所述二维码在全局靶标坐标系中的坐标,其中,所述全局靶标坐标系为完整靶标所在的坐标系;
根据所述第一坐标、所述第二坐标、所述第三坐标和所述第四坐标,将所述第二坐标修正为第五坐标,所述第五坐标是指所述标定点在所述全局靶标坐标系中的坐标;
根据所述第一坐标和所述第五坐标,建立所述全局靶标坐标系与每个所述图像坐标系之间的映射关系。
2.根据权利要求1所述的视觉标定方法,其特征在于,所述确定每个所述靶标 图像中标定点的第一坐标与第二坐标,包括:
提取每个所述靶标图像中所有标定点的第一坐标;
根据提取的所述第一坐标,确定每个所述靶标图像中标定点之间的拓扑关系;
根据所述拓扑关系,确定每个所述靶标图像中标定点的第二坐标。
3.根据权利要求2所述的视觉标定方法,其特征在于,当所述靶标为棋盘格靶标时,所述提取每个所述靶标图像中所有标定点的第一坐标,包括:
通过Hessian矩阵计算所述标定点的像素坐标,其中,所述标定点为角点;
利用泰勒展开式计算所述标定点的亚像素坐标,其中,所述亚像素坐标为所述第一坐标。
4.根据权利要求2所述的视觉标定方法,其特征在于,当所述靶标为棋盘格靶标时,根据提取的所述第一坐标,确定每个所述靶标图像中标定点之间的拓扑关系,包括:
根据提取的所述第一坐标,生成德洛内三角形,其中,所述标定点为角点;
将相邻且灰度均值最接近所述德洛内三角形合并为四边形;
对所述四边形进行筛选,其中,筛选后获得的所述四边形同时满足:所述四边形的对角线交点在当前所述四边形内部,所述四边形的对边长度之比介于区间(0.75,1.25),所述四边形的邻边长度之比介于区间(0.75,1.25);
根据筛选后的四边形,组织形成拓扑网络;
根据所述四边形在所述拓扑网络中位置,确定所述第二坐标。
5.根据权利要求1所述的视觉标定方法,其特征在于,将所述第二坐标修正为第五坐标,包括:
修正所述标定点坐标的X轴和Y轴方向;
修正所述标定点坐标的X轴正方向和Y轴的正方向;
修正所述标定点坐标的起始值。
6.根据权利要求1所述的视觉标定方法,其特征在于,所述靶标为棋盘格靶标、网线格靶标或圆阵列靶标。
7.一种视觉标定***,其特征在于,包括:
图像获取模块,用于多相机分别获取靶标图像,其中,所述靶标上设有至少一个二维码,每个所述相机视野范围内至少包括一个完整的二维码;
第一确定模块,用于确定每个所述靶标图像中标定点的第一坐标与第二坐标,所述第一坐标是指所述标定点在图像坐标系中的坐标,所述第二坐标是指所述标定点在局部靶标坐标系中的坐标,其中,所述局部靶标坐标系为当前所述相机视野范围内的局部靶标所在的坐标系,所述图像坐标系为当前所述相机所在的坐标系;
获得模块,用于获得第三坐标,所述第三坐标是指所述靶标图像中二维码在所述图像坐标系中的坐标;
第一提取模块,用于提取所述靶标图像中二维码信息,所述二维码信息中包括第四坐标,所述第四坐标是指当前所述二维码在全局靶标坐标系中的坐标,其中,所述全局靶标坐标系为完整靶标所在的坐标系;
修正模块,用于根据所述第一坐标、所述第二坐标、所述第三坐标和所述第四坐标,将所述第二坐标修正为第五坐标,所述第五坐标是指所述标定点在所述全局靶标坐标系中的坐标;
建立模块,用于根据所述第一坐标和所述第五坐标,建立所述全局靶标坐标系与每个所述图像坐标系之间的映射关系。
8.根据权利要求7所述的视觉标定***,其特征在于,所述第一确定模块,具体包括:
第二提取模块,用于提取每个所述靶标图像中所有标定点的第一坐标;
第二确定模块,用于根据提取的所述第一坐标,确定每个所述靶标图像中标定点之间的拓扑关系;
第三确定模块,用于根据所述拓扑关系,确定每个所述靶标图像中标定点的第二坐标。
9.根据权利要求8所述的视觉标定***,其特征在于,当所述靶标为棋盘格靶标时,第二提取模块,具体包括:
第一计算模块,用于通过Hessian矩阵计算所述标定点的像素坐标,其中,所述标定点为角点;
第二计算模块,用于利用泰勒展开式计算所述标定点的亚像素坐标,其中,所述亚像素坐标为所述第一坐标。
10.根据权利要求8所述的视觉标定***,其特征在于,当所述靶标为棋盘格靶标时,第二确定模块,具体包括:
生成模块,用于根据提取的所述第一坐标,生成德洛内三角形,其中,所述标定点为角点;
合并模块,用于将相邻且灰度均值最接近所述德洛内三角形合并为四边形;
筛选模块,用于对所述四边形进行筛选,其中,筛选后获得的所述四边形同时满足:所述四边形的对角线交点在当前所述四边形内部,所述四边形的对边长度之比介于区间(0.75,1.25),所述四边形的邻边长度之比介于区间(0.75,1.25);
组织模块,用于根据筛选后的四边形,组织形成拓扑网络;
第四确定模块,用于根据所述四边形在所述拓扑网络中位置,确定所述第二坐标。
CN201910701453.XA 2019-07-31 2019-07-31 一种视觉标定方法及*** Active CN110415304B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910701453.XA CN110415304B (zh) 2019-07-31 2019-07-31 一种视觉标定方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910701453.XA CN110415304B (zh) 2019-07-31 2019-07-31 一种视觉标定方法及***

Publications (2)

Publication Number Publication Date
CN110415304A CN110415304A (zh) 2019-11-05
CN110415304B true CN110415304B (zh) 2023-03-03

Family

ID=68364685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910701453.XA Active CN110415304B (zh) 2019-07-31 2019-07-31 一种视觉标定方法及***

Country Status (1)

Country Link
CN (1) CN110415304B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179360B (zh) * 2020-04-13 2020-07-10 杭州利珀科技有限公司 一种高精度自动化标定板和标定方法
CN111986267B (zh) * 2020-08-20 2024-02-20 佛山隆深机器人有限公司 一种多相机视觉***的坐标***标定方法
CN112651261B (zh) * 2020-12-30 2023-11-10 凌云光技术股份有限公司 高精度2d相机坐标系和机械坐标系转换关系的计算方法
CN112381893B (zh) * 2021-01-13 2021-04-20 中国人民解放军国防科技大学 一种面向环形多相机***的立体标定板标定方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101419709A (zh) * 2008-12-08 2009-04-29 北京航空航天大学 一种用于摄像机标定的平面靶标特征点的自动匹配方法
US9230326B1 (en) * 2012-12-31 2016-01-05 Cognex Corporation System, method and calibration plate employing embedded 2D data codes as self-positioning fiducials
CN107270810A (zh) * 2017-04-28 2017-10-20 深圳大学 多方位投影的投影仪标定方法及装置
CN108571971A (zh) * 2018-05-17 2018-09-25 北京航空航天大学 一种agv视觉定位***及方法
CN109099883A (zh) * 2018-06-15 2018-12-28 哈尔滨工业大学 高精度大视场机器视觉测量与标定装置及方法
CN109920009A (zh) * 2019-03-13 2019-06-21 武汉汉宁轨道交通技术有限公司 基于二维码标识的控制点检测与管理方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110506297B (zh) * 2017-04-17 2023-08-11 康耐视公司 高精确度校准***和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101419709A (zh) * 2008-12-08 2009-04-29 北京航空航天大学 一种用于摄像机标定的平面靶标特征点的自动匹配方法
US9230326B1 (en) * 2012-12-31 2016-01-05 Cognex Corporation System, method and calibration plate employing embedded 2D data codes as self-positioning fiducials
CN107270810A (zh) * 2017-04-28 2017-10-20 深圳大学 多方位投影的投影仪标定方法及装置
CN108571971A (zh) * 2018-05-17 2018-09-25 北京航空航天大学 一种agv视觉定位***及方法
CN109099883A (zh) * 2018-06-15 2018-12-28 哈尔滨工业大学 高精度大视场机器视觉测量与标定装置及方法
CN109920009A (zh) * 2019-03-13 2019-06-21 武汉汉宁轨道交通技术有限公司 基于二维码标识的控制点检测与管理方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ARTag,a fiducial marker system using digital techniques;Mark Fiala;《2005 IEEE Computer Society Conference on Computer Vision and Pattern Recogniton》;20050620;全文 *
Using ARUCO coded targets for camera calibration automation;Sergio Leandro Alves da Silva等;《http://ds.doi.org/10.1590/S1982-21702014000300036》;20140930;全文 *
摄像机标定中特征点的一种自动对应方法;谭海曙等;《光电子.激光》;20110515(第05期);全文 *

Also Published As

Publication number Publication date
CN110415304A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN110415304B (zh) 一种视觉标定方法及***
US6671399B1 (en) Fast epipolar line adjustment of stereo pairs
JP6426968B2 (ja) 情報処理装置およびその方法
US8447099B2 (en) Forming 3D models using two images
US8144238B2 (en) Image processing apparatus and method
US20120177284A1 (en) Forming 3d models using multiple images
CN109272574B (zh) 基于投影变换的线阵旋转扫描相机成像模型构建方法和标定方法
JP2017091079A (ja) 入力データから検出対象物の像を検出する画像処理装置および方法
CN107977996B (zh) 基于靶标标定定位模型的空间目标定位方法
CN113841384B (zh) 校准装置,用于校准的图表和校准方法
CN112381847B (zh) 管路端头空间位姿测量方法及***
CN106296587B (zh) 轮胎模具图像的拼接方法
JP2011198330A (ja) 3次元位置合わせにおける照合方法およびそのプログラム
CN112862683B (zh) 一种基于弹性配准和网格优化的邻接图像拼接方法
CN112215925A (zh) 自适应采煤机随动跟踪多摄像头视频拼接方法
KR102098687B1 (ko) 영상 모서리 정렬 기반 영상 항법 및 장치
JP2012185712A (ja) 画像照合装置または画像照合方法
Yoon et al. Targetless multiple camera-LiDAR extrinsic calibration using object pose estimation
CN104992431A (zh) 多光谱图像配准的方法及装置
CN110223356A (zh) 一种基于能量生长的单目相机全自动标定方法
JP2009186287A (ja) 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
JP2009146150A (ja) 特徴位置検出方法及び特徴位置検出装置
CN112991372B (zh) 一种基于多边形匹配的2d-3d相机外参标定方法
CN110880186A (zh) 一种基于一次投影结构光平行条纹图案的实时人手三维测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant