CN113658270B - 基于工件孔心的多目视觉标定的方法、装置、介质及*** - Google Patents

基于工件孔心的多目视觉标定的方法、装置、介质及*** Download PDF

Info

Publication number
CN113658270B
CN113658270B CN202110912869.3A CN202110912869A CN113658270B CN 113658270 B CN113658270 B CN 113658270B CN 202110912869 A CN202110912869 A CN 202110912869A CN 113658270 B CN113658270 B CN 113658270B
Authority
CN
China
Prior art keywords
camera
workpiece
calibration
image data
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110912869.3A
Other languages
English (en)
Other versions
CN113658270A (zh
Inventor
李煌
朱雪宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Shibite Robot Co Ltd
Original Assignee
Hunan Shibite Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Shibite Robot Co Ltd filed Critical Hunan Shibite Robot Co Ltd
Priority to CN202110912869.3A priority Critical patent/CN113658270B/zh
Publication of CN113658270A publication Critical patent/CN113658270A/zh
Application granted granted Critical
Publication of CN113658270B publication Critical patent/CN113658270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于工件孔心的多目视觉标定的方法、装置、介质及***，基于工件孔心的多目视觉标定的方法，包括：获取多台相机视角下的标定板的图像数据；根据标定板的图像数据获取相机初始参数，其中，相机初始参数包括相机内参、相机外参以及相机畸变系数；获取多台相机视角下的标定工件的样本图像数据；基于标定工件的样本图像数据，转换相机初始参数所在的世界坐标系为工件坐标系，获取转换坐标系后的相机外参；基于标定工件孔心优化相机初始参数。采用该基于工件孔心的多目视觉标定的方法得到的相机初始参数泛化性高，测量工件圆孔精度高，可直接将测量结果表示在工件坐标系上，方便测量。

Description

基于工件孔心的多目视觉标定的方法、装置、介质及***
技术领域
本发明涉及多目视觉标定技术领域，尤其是涉及一种基于工件孔心的多目视觉标定的方法、装置、介质及***。
背景技术
在检测测量工业中，基于工业高精度测量要求，通常采用三坐标测量机来测量。但是对于需要测量多特征点的工件，采用三坐标测量机进行测量时，需要控制三坐标测量机走点测量工件的每一个待测点，时间开销巨大，且无法满足快速测量的需求。因此采用多目视觉测量技术可实现对多特征点的工件的快速测量。
在现有技术中，基于多目视觉的工业测量技术通常使用标定板完成多相机标定，但得到的相机初始参数直接用于工业测量不能达到很高的测量精度，因此对工件的测量泛化性不高，且标定得到的相机所在世界坐标系通常为标定板平面坐标系或某一相机的相机坐标系，不方便测量。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的目的之一在于提出一种基于工件孔心的多目视觉标定的方法，该方法可以在快速测量的基础上，提高对标定工件的测量精度，并且可直接将测量结果表示在工件坐标系上，方便测量。
本发明的目的之二在于提出一种基于工件孔心的多目视觉标定的装置。
本发明的目的之三在于提出一种非临时性计算机可读存储介质。
本发明的目的之四在于提出一种基于工件孔心的多目视觉标定的***。
为了达到上述目的，本发明第一方面实施例提出的基于工件孔心的多目视觉标定的方法，包括：获取多台相机视角下的标定板的图像数据；根据所述标定板的图像数据获取相机初始参数，其中，所述相机初始参数包括相机内参、相机外参以及相机畸变系数；获取所述多台相机视角下的标定工件的样本图像数据；基于所述标定工件的样本图像数据，转换所述相机初始参数所在的世界坐标系为工件坐标系，获取转换坐标系后的相机外参；基于标定工件孔心优化所述相机初始参数。
根据本发明实施例的基于工件孔心的多目视觉标定的方法，基于相机初始参数和标定工件的样本图像数据，将相机所在世界坐标系从某一相机坐标系转换为工件坐标系，即可以直接将测量结果表示在工件坐标系上，方便测量。基于标定工件孔心对相机初始参数进行优化处理，提升相机的检测精度，提升标定工件测量的泛化性。
在本发明的一些实施例中，获取多目视觉相机视角下的标定板的图像数据，包括：所述标定板为四方形标定板，每个所述标定板上设置有多个标记物；固定所述多台相机位置并移动所述标定板，控制所述多台相机拍照，以获取多个所述标定板的图像作为所述标定板的图像数据。
在本发明的一些实施例中，所述多台相机中任意一台相机视角下至少包括三幅标定板的图像，以及，所述任意一幅标定板图像中包括若干个所述标记物。
在本发明的一些实施例中，所述获取所述多台相机视角下的标定工件的样本图像数据，包括：获取所述标定工件的实际图像数据；对所述实际图像数据中的零件孔进行ROI(region of interest，感兴趣区域)标注，以获取标注后的图像数据；根据所述相机内参和所述相机畸变系数对所述标注后的图像数据去畸变处理以获得处理后的图像数据；在所述处理后的图像数据内，根据椭圆检测算法拟合椭圆得到椭圆中心作为所述标定工件孔心的2D观测点。
在本发明的一些实施例中，所述转换所述相机初始参数所在的世界坐标系为所述工件坐标系，包括：基于所述相机内参和所述椭圆检测的所述标定工件孔心的2D观测点重建获得所述标定工件的重建点云；确定所述重建点云以及所述标定工件的三坐标测值点云的刚性变换关系，并应用至所述相机外参中。
在本发明的一些实施例中，所述基于标定工件孔心优化所述相机初始参数，包括：根据所述相机内参和所述转换坐标系后的相机外参将所述标定工件的明义值投影至图像平面获得模板图片；将所述标注后的图像数据和所述模板图片进行匹配，获取优化后的标定工件孔心的2D观测点。
在本发明的一些实施例中，所述基于标定工件孔心优化所述相机初始参数，还包括：获取所述标定工件的三坐标测值为3D点；获取所述相机内参和所述转换坐标系后的相机外参作为所述相机的初值；根据所述优化后的标定工件孔心的2D观测点和所述相机的初值固定所述3D点；根据光束法平差对所述相机初始参数进行优化。
为了达到上述目的，本发明第二方面实施例提出的基于工件孔心的多目视觉标定的装置，包括：图像获取模块，用于获取多台相机视角下的标定板的图像数据，以及，用于获取所述多台相机视角下的标定工件的样本图像数据；数据生成模块，用于根据所述标定板的图像数据获取相机初始参数，其中，所述相机初始参数包括相机内参、相机外参以及相机畸变系数；坐标系转换模块，用于基于所述标定工件的样本图像数据，转换所述相机初始参数所在的世界坐标系为工件坐标系，获取转换坐标系后的相机外参；参数优化模块，用于基于标定工件孔心优化所述相机初始参数。
根据本发明实施例的基于工件孔心的多目视觉标定的装置，基于图像获取模块、数据生成模块、坐标系转换模块和参数优化模块的架构，坐标系转换模块基于获得的相机初始参数和标定工件的样本图像数据，将相机所在世界坐标系从某一相机坐标系转换为工件坐标系，即可以直接将测量结果表示在工件坐标系上，方便测量。和参数优化模块基于标定工件孔心对相机初始参数进行优化处理，提升相机的检测精度，提升标定工件测量的泛化性。
为了达到上述目的，本发明第三方面实施例提出的非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时可实现上面任一项实施例所述的基于工件孔心的多目视觉标定的方法。
根据本发明实施例的非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序运行时，能获取装置中各个结构的运行参数进行分析计算，在对标定工件进行检测的过程中，处理器可控制相机进行拍摄动作，并将相机所在世界坐标系从某一相机坐标系转换为工件坐标系，方便测量，还能基于标定工件孔心对相机初始参数进行优化处理，从而实现上面实施例的基于工件孔心的多目视觉标定的方法，本实施例的存储介质对装置各部分运行状态及参数等具有记忆性，提升相机的检测精度，提升标定工件测量的泛化性。
为了达到上述目的，本发明第四方面实施例提出的基于工件孔心的多目视觉标定的***，包括：图像采集装置，用于采集标定板的图像数据和标定工件的样本图像数据；上面第三方面实施例所述的基于工件孔心的多目视觉标定的装置，所述基于工件孔心的多目视觉标定的装置与所述图像采集装置连接，用于优化所述相机初始参数。
根据本发明实施例的基于工件孔心的多目视觉标定的***，通过采用上述实施例提供的基于深度学习的孔心检测装置，可以将相机所在世界坐标系从某一相机坐标系转换为工件坐标系，即可以直接将测量结果表示在工件坐标系上，方便测量。还可以基于标定工件孔心对相机初始参数进行优化处理，提升相机的检测精度，提升标定工件测量的泛化性。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明一个实施例的基于工件孔心的多目视觉标定的方法的流程图；
图2是根据本发明另一个实施例的基于工件孔心的多目视觉标定的方法的流程图；
图3是根据本发明又一个实施例的基于工件孔心的多目视觉标定的方法的流程图；
图4是根据本发明又一个实施例的基于工件孔心的多目视觉标定的方法的流程图；
图5是根据本发明一个实施例的模板图片的示意图；
图6是根据本发明一个实施例的基于工件孔心的多目视觉标定的装置的框图；
图7是根据本发明一个实施例的基于工件孔心的多目视觉标定的***的框图。
附图标记：
基于工件孔心的多目视觉标定的***100；
基于工件孔心的多目视觉标定的装置10、图像采集装置20；
图像获取模块101、数据生成模块102、坐标系转换模块103、参数优化模块104。
具体实施方式
下面详细描述本发明的实施例，参考附图描述的实施例是示例性的，下面详细描述本发明的实施例。
为了解决上述问题，本发明第一方面实施例提出一种基于工件孔心的多目视觉标定的方法，下面参考图1-图5描述本发明实施例提出的基于工件孔心的多目视觉标定的方法，如图1所示，为根据本发明一个实施例的基于工件孔心的多目视觉标定的方法的流程图，其中，该方法至少包括步骤S1-步骤S5，具体如下。
S1，获取多台相机视角下的标定板的图像数据。
在实施例中，标定板为四方形标定板，每个标定板上设置有多个标记物。其中，可应用一种开源的标定工具如Kalibr标定工具以获取多台相机视角下的标定板的图像数据，Kalibr标定工具具有多目相机标定功能，四方形标定板可以根据Kalibr标定工具提供的标定板样例进行制作。
固定多台相机位置并移动标定板，控制多台相机拍照，以获取多个标定板的图像作为标定板的图像数据。其中，多台相机可以包括n台相机，n的取值可以根据需要或在实验室条件下进行设定，例如n的取值可以为50、66、80等，且每一台相机的位置均固定。在固定的相机的布局下，多次移动标定板，保证多台相机中任意一台相机视角下至少包括三幅标定板的图像，以及，任意一幅标定板图像中包括若干个标记物。其中，多次移动标定板，且每移动一次标定板，控制所有相机进行一次拍照，尽量控制一台相机视角下的所拍摄的一幅标定板图像中包含有多个标记物，并且多台相机中的全部或者部分相机所拍摄的图像范围重叠，以便于在工件测量时实现场景拼接。
S2，根据标定板的图像数据获取相机初始参数，其中，相机初始参数包括相机内参、相机外参以及相机畸变系数。
在实施例中，输入多台相机拍摄的标定板图像，依据Kal ibr标定工具的多目相机标定功能，对输入的标定板图像进行标定以获得相机的相机内参、相机外参以及相机畸变系数。其中，以66台相机为例，可根据相机的设置位置或其它特点等对66台相机分别进行标号，分别为1号-66号，可以以1号相机的相机坐标系为相机外参。
S3，获取多台相机视角下的标定工件的样本图像数据。
其中，标定工件由支架支撑，66台相机分别设置在标定工件的各个方位，需保证标定工件上每一个孔位至少被两台相机视野覆盖到，标定工件的位置和相机的相对位置也固定。在固定的相机布局下，所有的相机对标定工件进行一次拍照并对获取到的获取待标定工件的图像进行处理，以获取标定工件的样本图像数据。
S4，基于标定工件的样本图像数据，转换相机初始参数所在的世界坐标系为工件坐标系，获取转换坐标系后的相机外参。
在实施例中，相机所在的世界坐标系以1号相机所在的相机坐标系，其中，可根据SVD(Singular Value Decomposition，奇异值分解)算法进行矩阵转换以将相机初始参数所在的世界坐标系转换为工件坐标系。
S5，基于标定工件孔心优化相机初始参数。
其中，获取标定工件的三坐标测值作为3D点，以及，基于Kalibr标定的相机内参和转换坐标系后的相机外参固定3D点，并对相机初始参数进行优化，以获得更准确的相机参数。
根据本发明实施例的基于工件孔心的多目视觉标定的方法，基于相机初始参数和标定工件的样本图像数据，将相机所在世界坐标系从某一相机坐标系转换为工件坐标系，即可以直接将测量结果表示在工件坐标系上，方便测量。基于标定工件孔心对相机初始参数进行优化处理，提升相机的检测精度，提升标定工件测量的泛化性。
在本发明的一些实施例中，如图2所示，为根据本发明另一个实施例的基于工件孔心的多目视觉标定的方法的流程图，其中，获取多台相机视角下的标定工件的样本图像数据，即上面步骤S3包括步骤S31-步骤S34，具体如下。
S31，获取标定工件的实际图像数据。
其中，在固定的相机布局下，所有的相机对标定工件进行一次拍照，获取标定工件的图像，即测工件的实际图像数据。
S32，对实际图像数据中的零件孔进行ROI标注，以获取标注后的图像数据。
可以手动在获取的每一张待标定工件的图像上标注ROI，即从图像中选择的一个图像区域，该区域为的图像分析所关注的重点，圈定该区域以便对图像进行进一步处理，可以减少对图像数据的处理时间，增加精度。
具体地，ROI标注可以采用两个点的坐标表示，其中，在进行ROI标注时，可选择待标定工件的图像中一个图像区域，标注该图像区域的左上和右下两个点并表示为一个矩形，这个矩形即为标注ROI，并且每个ROI内部均包含标定工件的一个孔位。其中，对实际图像数据中的零件孔进行ROI标注，只需要在首次设置时进行标注，标注过后的ROI不会发生变化，即可直接沿用至后续的工件的测量中。
S33，根据相机内参和相机畸变系数对标注后的图像数据去畸变处理以获得处理后的图像数据。
其中，相机获取的标定工件的图像实质上已经经历过坐标系的转换。例如空间中的某一点由世界坐标系转换到相机坐标系，然后将其投影到成像平面时再转换为图像物理坐标系，最后将成像平面上的数据转换到图像像素坐标系，标定工件的图像经历过坐标系的转换后可能产生畸变，相机成像畸变后可能会产生一些干扰。在对实际图像数据中的零件孔进行轮廓标注后，根据已获取Kalibr标定的相机内参以及相机畸变系数，对标注后的图像数据去畸变处理后，包括对图像数据中已标注的坐标去畸变处理，可降低图像数据中的干扰，从而获得处理后的图像数据。
S34，在处理后的图像数据内，根据椭圆检测算法拟合椭圆得到椭圆中心作为标定工件孔心的2D观测点。
其中，在实施例中，在处理后的图像数据中，在每一个ROI内采用椭圆检测算法拟合椭圆得到椭圆中心，将该椭圆中心作为标定工件孔心的2D观测点，其中，将标定工件孔心的2D观测点记为Xcenter。
在本发明的一些实施例中，如图3所示，为根据本发明又一个实施例的基于工件孔心的多目视觉标定的方法的流程图，其中，上面步骤S4中的转换相机初始参数所在的世界坐标系为工件坐标系，包括步骤S41和步骤S42，具体如下。
S41，基于相机内参和椭圆检测的标定工件孔心的2D观测点重建获得标定工件的重建点云。
具体地，如式(1-1)所示，基于三角化重建原理，利用Kalibr标定的相机内参和标定工件孔心的2D观测点Xcenter重建，以获得标定工件的重建点云并记为XCCD1。其中，K表示Kalibr标定的相机内参，[R|T]表示Kalibr标定的相机外参。
Xcenter＝K[R|T]XCCD1 式(1-1)
S42，确定重建点云以及标定工件的三坐标测值点云的刚性变换关系，并应用至相机外参中。
其中，如式(1-2)所示，可依据SVD算法重建点云和标定工件的三坐标测值点云的刚性变换关系，并将该刚性变换应用到Kalibr标定的相机外参中，从而使得相机所在世界坐标系转换为标定工件坐标系，XCMM表示重建点云，表示三坐标测值点云XCMM和重建点云XCCD1的刚性变换关系，/>转换世界坐标系后的相机外参。
Xcenter＝K[R|T][RCMM→CCD1|TCMM→CCD1]XCMM 式(1-2)
在本发明的一些实施例中，如图4所示，为根据本发明又一个实施例的基于工件孔心的多目视觉标定的方法的流程图，其中，基于标定工件孔心优化相机初始参数，即上面步骤S5至少包括步骤S51和步骤S52，具体如下。
S51，根据相机内参和转换坐标系后的相机外参将标定工件的明义值投影至图像平面获得模板图片。
具体地，利用Kalibr标定的相机内参和转换坐标系后的相机外参将标定工件明义值投影到图像平面以获得模板图片，如图5所示，为根据本发明一个实施例的模板图片的示意图，其中，该图片中包括一个ROI内的标定工件的一个孔位。
S52，将标注后的图像数据和模板图片进行匹配，获取优化后的标定工件孔心的2D观测点。
在实施例中，以如图5所示的模板图片为例，在ROI内进行模板匹配以获得更准确的标定工件孔心的2D观测点，从而解决标定工件孔心投影到图像平面后与椭圆中心不一致的问题。
在本发明的一些实施例中，如图4所示，上面步骤S5，基于标定工件孔心优化相机初始参数，还包括步骤S53-步骤S56，具体如下。
S53，获取标定工件的三坐标测值为3D点。
其中，将标定工件的三坐标测值作为3D点，将经模板匹配得到的标定工件孔心作为2D观测点。
S54，获取相机内参和转换坐标系后的相机外参作为相机的初值。其中，利用Kalibr标定的相机内参和转换坐标系后的相机外参作为相机的初值。
S55，根据优化后的标定工件孔心的2D观测点和相机的初值固定3D点。
S56，根据光束法平差对相机初始参数进行优化。
具体地，光束法平差公式如式(1-3)所示，其中，j表示空间点的编号，i表示相机的编号，1≤i≤66。wij为权重，若第j个空间点在i号相机上没有投影则权重为0，反之为1。f(Pi,Xj)表示第j个空间点在投影在i号相机上的2D点。xij表示i号图片上对应的j号空间点的观测点，即通过模板匹配得到的标定工件孔心。固定空间点X＝{X1,X2,Λ,Xn}表示标定工件的三坐标测值,从而减小重投影误差，以获得最优的相机初始参数P＝{P1,P2,Λ,Pn}。
其中，由于工件圆孔为空心圆，则对于水平面上的圆孔，三坐标测量机难以测孔心Z坐标，以及，对于侧面上的圆孔，三坐标测量机难以测孔心Y坐标，则在测量标定工件的三坐标测值时，这些难以测量的坐标值可以用明义值坐标代替。在标定优化过程中，针对于水平面上的圆孔，要在优化相机内外参的同时，固定X、Y坐标并优化Z坐标。真对于侧面上的圆孔，要在优化相机内外参的同时，固定X、Z坐标并优化Y坐标。
在本发明的一些实施例中，如图6所示，为根据本发明一个实施例的基于工件孔心的多目视觉标定的装置的框图，其中，基于工件孔心的多目视觉标定的装置100包括图像获取模块101、数据生成模块102、坐标系转换模块103和参数优化模块104。
其中，图像获取模块101用于获取多台相机视角下的标定板的图像数据，以及，用于获取多台相机视角下的标定工件的样本图像数据。数据生成模块102用于根据标定板的图像数据获取相机初始参数，其中，相机初始参数包括相机内参、相机外参以及相机畸变系数。
其中，图像获取模块101先获取多台相机视角下的标定板的图像数据，具体地，在固定的相机的布局下，多次移动标定板，且每移动一次标定板，控制所有相机进行一次拍照，尽量控制一台相机视角下的所拍摄的一幅标定板图像中包含有多个标记物。数据生成模块102用于根据标定板的图像数据获取相机初始参数后，图像获取模块101再对标定工件进行一次拍照以获取多台相机视角下的标定工件的样本图像数据，并根据相机内参和相机畸变系数对实际图像数据去畸变处理。
坐标系转换模块103用于基于标定工件的样本图像数据，转换相机初始参数所在的世界坐标系为工件坐标系，获取转换坐标系后的相机外参。其中，坐标系转换模块103可根据SVD(Singular Value Decomposition，奇异值分解)算法进行矩阵转换以将相机初始参数所在的世界坐标系转换为工件坐标系。
参数优化模块104用于基于标定工件孔心优化相机初始参数。例如，可获取标定工件的三坐标测值作为3D点，以及，基于Kalibr标定的相机内参和转换坐标系后的相机外参固定3D点，并对相机初始参数进行优化，以获得更准确的相机参数。
需要说明的是，本发明实施例的基于工件孔心的多目视觉标定的装置100的具体实现方式与本发明上述任意实施例的基于工件孔心的多目视觉标定的方法的具体实现方式类似，具体请参见关于该方法部分的描述，为了减少冗余，此处不再赘述。
根据本发明实施例的基于工件孔心的多目视觉标定的装置10，基于图像获取模块101、数据生成模块102、坐标系转换模块103和参数优化模块104的架构，坐标系转换模块103基于获得的相机初始参数和标定工件的样本图像数据，将相机所在世界坐标系从某一相机坐标系转换为工件坐标系，即可以直接将测量结果表示在工件坐标系上，方便测量。和参数优化模块104基于标定工件孔心对相机初始参数进行优化处理，提升相机的检测精度，提升标定工件测量的泛化性。
在本发明的一些实施例中，还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时可实现上面任一项实施例的基于工件孔心的多目视觉标定的方法。
根据本发明实施例的非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序运行时，能获取装置10中各个结构的运行参数进行分析计算，在对标定工件进行检测的过程中，处理器可控制相机进行拍摄动作，并将相机所在世界坐标系从某一相机坐标系转换为工件坐标系，方便测量，还能基于标定工件孔心对相机初始参数进行优化处理，从而实现上面实施例的基于工件孔心的多目视觉标定的方法，本实施例的存储介质对装置10各部分运行状态及参数等具有记忆性，提升相机的检测精度，提升标定工件测量的泛化性。
在本发明的一些实施例中，如图7所示，为根据本发明一个实施例的基于工件孔心的多目视觉标定的***的框图，其中，该基于工件孔心的多目视觉标定的***100包括图像采集装置20和上述实施例提供的基于工件孔心的多目视觉标定的装置10。
其中，图像采集装置20用于采集标定板的图像数据和标定工件的样本图像数据；基于工件孔心的多目视觉标定的装置10与图像采集装置20连接，用于优化相机初始参数。其中，图像采集装置20可以包括n台相机，且每一台相机的位置固定。
需要说明的是，本发明实施例的基于工件孔心的多目视觉标定的***100的具体实现方式与本发明上述任意实施例的基于工件孔心的多目视觉标定的装置10的具体实现方式类似，具体请参见关于基于工件孔心的多目视觉标定的装置10部分的描述，为了减少冗余，此处不再赘述。
根据本发明实施例的基于工件孔心的多目视觉标定的***100，通过采用上述实施例提供的基于深度学习的孔心检测装置10，可以将相机所在世界坐标系从某一相机坐标系转换为工件坐标系，即可以直接将测量结果表示在工件坐标系上，方便测量。还可以基于标定工件孔心对相机初始参数进行优化处理，提升相机的检测精度，提升标定工件测量的泛化性。
在本说明书的描述中，流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种基于工件孔心的多目视觉标定的方法，其特征在于，包括：
获取多台相机视角下的标定板的图像数据；
根据所述标定板的图像数据获取相机初始参数，其中，所述相机初始参数包括相机内参、相机外参以及相机畸变系数；
获取所述多台相机视角下的标定工件的样本图像数据；
基于所述标定工件的样本图像数据，转换所述相机初始参数所在的世界坐标系为工件坐标系，获取转换坐标系后的相机外参；
基于标定工件孔心优化所述相机初始参数。
2.根据权利要求1所述的基于工件孔心的多目视觉标定的方法，其特征在于，获取多目视觉相机视角下的标定板的图像数据，包括：
所述标定板为四方形标定板，所述标定板上设置有多个标记物；
固定所述多台相机位置并移动所述标定板，控制所述多台相机拍照，以获取多个所述标定板的图像作为所述标定板的图像数据。
3.根据权利要求2所述的基于工件孔心的多目视觉标定的方法，其特征在于，所述多台相机中任意一台相机视角下至少包括三幅标定板的图像，以及，所述任意一幅标定板图像中包括若干个所述标记物。
4.根据权利要求1所述的基于工件孔心的多目视觉标定的方法，其特征在于，所述获取所述多台相机视角下的标定工件的样本图像数据，包括：
获取所述标定工件的实际图像数据；
对所述实际图像数据中的零件孔进行ROI标注，以获取标注后的图像数据；
根据所述相机内参和所述相机畸变系数对所述标注后的图像数据去畸变处理，以获得处理后的图像数据；
在所述处理后的图像数据内，根据椭圆检测算法拟合椭圆得到椭圆中心作为所述标定工件孔心的2D观测点。
5.根据权利要求4所述的基于工件孔心的多目视觉标定的方法，其特征在于，所述转换所述相机初始参数所在的世界坐标系为所述工件坐标系，包括：
基于所述相机内参和所述椭圆检测算法获得的所述标定工件孔心的2D观测点重建获得所述标定工件的重建点云；
确定所述重建点云以及所述标定工件的三坐标测值点云的刚性变换关系，并应用至所述相机外参中。
6.根据权利要求4所述的基于工件孔心的多目视觉标定的方法，其特征在于，所述基于标定工件孔心优化所述相机初始参数，包括：
根据所述相机内参和所述转换坐标系后的相机外参将所述标定工件的名义值投影至图像平面获得模板图片；
将所述标注后的图像数据和所述模板图片进行匹配，获取优化后的标定工件孔心的2D观测点。
7.根据权利要求6所述的基于工件孔心的多目视觉标定的方法，其特征在于，所述基于标定工件孔心优化所述相机初始参数，还包括：
获取所述标定工件的三坐标测值为3D点；
获取所述相机内参和所述转换坐标系后的相机外参作为所述相机的初值；
根据所述优化后的标定工件孔心的2D观测点和所述相机的初值固定所述3D点；
根据光束法平差对所述相机初始参数进行优化。
8.一种基于工件孔心的多目视觉标定的装置，其特征在于，包括：
图像获取模块，用于获取多台相机视角下的标定板的图像数据，以及，用于获取所述多台相机视角下的标定工件的样本图像数据；
数据生成模块，用于根据所述标定板的图像数据获取相机初始参数，其中，所述相机初始参数包括相机内参、相机外参以及相机畸变系数；
坐标系转换模块，用于基于所述标定工件的样本图像数据，转换所述相机初始参数所在的世界坐标系为工件坐标系，获取转换坐标系后的相机外参；
参数优化模块，用于基于标定工件孔心优化所述相机初始参数。
9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时可实现权利要求1-7任一项所述的基于工件孔心的多目视觉标定的方法。
10.一种基于工件孔心的多目视觉标定的***，其特征在于，包括：
图像采集装置，用于采集标定板的图像数据和标定工件的样本图像数据；
权利要求8所述的基于工件孔心的多目视觉标定的装置，所述基于工件孔心的多目视觉标定的装置与所述图像采集装置连接，用于优化所述相机初始参数。
CN202110912869.3A 2021-08-10 2021-08-10 基于工件孔心的多目视觉标定的方法、装置、介质及*** Active CN113658270B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110912869.3A CN113658270B (zh) 2021-08-10 2021-08-10 基于工件孔心的多目视觉标定的方法、装置、介质及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110912869.3A CN113658270B (zh) 2021-08-10 2021-08-10 基于工件孔心的多目视觉标定的方法、装置、介质及***

Publications (2)

Publication Number Publication Date
CN113658270A CN113658270A (zh) 2021-11-16
CN113658270B true CN113658270B (zh) 2023-09-29

Family

ID=78491128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110912869.3A Active CN113658270B (zh) 2021-08-10 2021-08-10 基于工件孔心的多目视觉标定的方法、装置、介质及***

Country Status (1)

Country Link
CN (1) CN113658270B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117168302A (zh) * 2023-07-27 2023-12-05 湖南视比特机器人有限公司 一种基于多目视觉的工件测量方法、介质及***
CN116878381B (zh) * 2023-08-01 2024-01-30 湖南视比特机器人有限公司 一种基于多目视觉的在线全尺寸检测方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1251329A2 (de) * 2001-04-16 2002-10-23 VMT Bildverarbeitungssysteme GmbH Verfahren zur Arbeitspunktstabilisierung bei berührungsloser 3D-Positionserkennung eines Objektes mittels Digitalkameras
CN108288294A (zh) * 2018-01-17 2018-07-17 视缘(上海)智能科技有限公司 一种3d相机群的外参标定方法
CN109489591A (zh) * 2018-12-17 2019-03-19 吉林大学 基于机器视觉的平面划痕长度非接触测量方法
CN110954067A (zh) * 2019-12-28 2020-04-03 长安大学 一种基于靶标的单目视觉挖掘机位姿测量***及测量方法
CN111308448A (zh) * 2018-12-10 2020-06-19 杭州海康威视数字技术股份有限公司 图像采集设备与雷达的外参确定方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1251329A2 (de) * 2001-04-16 2002-10-23 VMT Bildverarbeitungssysteme GmbH Verfahren zur Arbeitspunktstabilisierung bei berührungsloser 3D-Positionserkennung eines Objektes mittels Digitalkameras
CN108288294A (zh) * 2018-01-17 2018-07-17 视缘(上海)智能科技有限公司 一种3d相机群的外参标定方法
CN111308448A (zh) * 2018-12-10 2020-06-19 杭州海康威视数字技术股份有限公司 图像采集设备与雷达的外参确定方法及装置
CN109489591A (zh) * 2018-12-17 2019-03-19 吉林大学 基于机器视觉的平面划痕长度非接触测量方法
CN110954067A (zh) * 2019-12-28 2020-04-03 长安大学 一种基于靶标的单目视觉挖掘机位姿测量***及测量方法

Also Published As

Publication number Publication date
CN113658270A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN111505606B (zh) 多相机与激光雷达***相对位姿检校方法及装置
CN104713885B (zh) 一种用于pcb板在线检测的结构光辅助双目测量方法
US20170287166A1 (en) Camera calibration method using a calibration target
CN109559354B (zh) 测量塔架净空的方法以及装置
WO2012053521A1 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
CN113658270B (zh) 基于工件孔心的多目视觉标定的方法、装置、介质及***
CN105716542B (zh) 一种基于柔性特征点的三维数据拼接方法
CN106625713A (zh) 提高涂胶工业机器人涂胶精度的方法
CN110044262B (zh) 基于图像超分辨率重建的非接触式精密测量仪及测量方法
CN112815843B (zh) 一种3d打印过程中工件表面打印偏差的在线监测方法
CN113920205B (zh) 一种非同轴相机的标定方法
JPWO2017056473A1 (ja) カメラ校正用ボード、カメラ校正用装置、カメラ校正用方法、及びカメラ校正用プログラム記録媒体
US9157874B2 (en) System and method for automated x-ray inspection
CN114283203A (zh) 一种多相机***的标定方法及***
WO2018168757A1 (ja) 画像処理装置、システム、画像処理方法、物品の製造方法、プログラム
JP5599849B2 (ja) レンズ検査装置及びその方法
CN112308930A (zh) 相机外参标定方法、***及装置
CN104167001A (zh) 基于正交补偿的大视场摄像机标定方法
CN116625258A (zh) 链条间距测量***及链条间距测量方法
JP5563930B2 (ja) 非接触三次元計測装置及び非接触三次元計測方法
CN114792345A (zh) 一种基于单目结构光***的标定方法
JP2006098065A (ja) キャリブレーション装置および方法、ならびにそれらを利用可能な３次元モデリング装置および３次元モデリングシステム
JPH04172213A (ja) 三次元形状測定装置の校正方法
CN104502378B (zh) X射线ct装置
US20230070281A1 (en) Methods and systems of generating camera models for camera calibration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant