CN116758160B - 基于正交视觉***的光学元件装配过程位姿检测方法及装配方法 - Google Patents

基于正交视觉***的光学元件装配过程位姿检测方法及装配方法 Download PDF

Info

Publication number
CN116758160B
CN116758160B CN202310735104.6A CN202310735104A CN116758160B CN 116758160 B CN116758160 B CN 116758160B CN 202310735104 A CN202310735104 A CN 202310735104A CN 116758160 B CN116758160 B CN 116758160B
Authority
CN
China
Prior art keywords
optical element
coordinate system
camera
global
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310735104.6A
Other languages
English (en)
Other versions
CN116758160A (zh
Inventor
陈冠华
刘国栋
陈凤东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202310735104.6A priority Critical patent/CN116758160B/zh
Publication of CN116758160A publication Critical patent/CN116758160A/zh
Application granted granted Critical
Publication of CN116758160B publication Critical patent/CN116758160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

基于正交视觉***的光学元件装配过程位姿检测方法及装配方法，属于工业装配视觉检测领域，本发明为解决现有光学元件装配中光学元件边缘与装配框容易发生碰撞，导致装配失误的问题。本发明方法包括：S1、构建视觉检测***步骤；所述视觉检测***包括一台全局相机和两台侧视角相机，S2、视觉检测***中三台相机的联合标定步骤；其中，以全局相机的相机坐标系作为统一的全局坐标系；S3、光学元件位姿解算步骤；三台相机同步获取光学元件的俯视图和两个侧视图，从三台相机的图像中提取光学元件边缘在各自像素坐标系下的解析式，结合联合标定数据，将不同相机的像素坐标系下的边缘对齐到统一的全局坐标系下；通过这些边缘的解析式确定光学元件的位姿。

Description

基于正交视觉***的光学元件装配过程位姿检测方法及装配 方法
技术领域
本发明涉及工业装配视觉检测领域，具体为在工业自动化光学元件装配中对光学元件六自由度位姿解算的方法。
背景技术
在光学元件自动化装配过程中，利用机械手加持光学元件，并放置到机械框内，实现光学元件自动化装配。装配过程中，对光学元件、机械手、装配框之间的相对位置姿态检测的精度要求较高。现有直接视觉检测方法对透明光学元件的定位可靠性不佳，精度有限，加之光学元件、装配框都存在不可忽略的制造公差，因此在FOA装配平台(final opticsassembl，终端光学***)光学元件装配中光学元件边缘与装配框容易发生碰撞，导致装配失误。
发明内容
针对现有光学元件装配中光学元件边缘与装配框容易发生碰撞，导致装配失误的问题，本发明提供一种基于正交视觉检测***的光学元件装配视觉检测方法及装配方法，在正交的位置部署视觉对光学元件检测边缘位置，结合联合标定数据，解算出光学元件部分几何尺寸、空间位置、姿态，实现光学元件可靠和精确定位，指导机械手进行位姿调整。
本发明所述基于正交视觉***的光学元件装配过程位姿检测方法，该方法包括以下步骤：
S1、构建视觉检测***步骤；
所述视觉检测***包括一台全局相机和两台侧视角相机，其中两台侧视角相机前方使用条形光源对光学元件掠射照明；
S2、视觉检测***中三台相机的联合标定步骤；
其中，以全局相机的相机坐标系作为统一的全局坐标系；标定出三台相机内参、外参，建立各相机的像素坐标系到统一的全局坐标系的空间映射关系；
S3、光学元件位姿解算步骤；
三台相机同步获取光学元件的俯视图和两个侧视图，从三台相机的图像中提取光学元件边缘在各自像素坐标系下的解析式，结合联合标定数据，将不同相机的像素坐标系下的边缘对齐到统一的全局坐标系下；通过这些边缘的解析式确定光学元件的位姿。
优选地，待检测的光学元件水平方向置于FOA装配平台上，全局相机设置于FOA装配平台上方，检测时位于光学元件侧方的两台相机为1号侧视角相机和2号侧视角相机，
三台相机的姿态相互正交，三台相机的光轴相交于光学元件上表面的一点，建立如下坐标系：
全局相机的全局坐标系为OG-XGYGZG，全局相机的光轴方向与水平面垂直；
1号侧视角相机坐标系为OC1-XC1YC1ZC1，2号侧视角相机坐标系为OC2-XC2YC2ZC2，两个相机的光轴方向与水平面平行；
全局相机坐标系OG的X轴正方向与2号侧视角相机坐标系OC2的ZC2轴正方向相同；
光学元件的模型坐标系OM为OM-XMYMZM，且原点定义在光学元件上表面左上角的顶点A上，ZM轴与光学元件上表面垂直，ZM轴正方向向上，XM轴正方向为光学元件上表面左上角的顶点指向光学元件上表面左下角的顶点方向。
优选地，步骤S2的联合标定过程为：
首先采用张正友标定方法分别标定三台相机的内参矩阵，建立各自二维像素坐标系到三维相机坐标系的映射关系；
再以全局相机的相机坐标系作为统一的全局坐标系，分别标定两台侧视角相机的相机坐标系到全局坐标系的坐标系变换，获取两台侧视角相机的外参矩阵；
所述外参矩阵包括：1号侧视角相机坐标系OC1到全局坐标系OG的转换关系TC1＝(RC1,tC1)，RC1为1号侧视角相机坐标系OC1到全局坐标系OG的旋转矩阵，tC1为1号侧视角相机坐标系OC1到全局坐标系OG的平移向量；
及2号侧视角相机坐标系OC2到全局坐标系OG的转换关系为TC2＝(RC2,tC2)，RC2为2号侧视角相机坐标系OC2到全局坐标系OG的旋转矩阵，tC2为2号侧视角相机坐标系OC2到全局坐标系OG的平移向量。
优选地，采用立体标定块并结合AprilTag算法标定两个侧视角相机的外参矩阵，所述立体标定块为长方体，四个侧面及顶面依次定义为立方体的表面0-表面4，表面0-表面4依次采用id为0-4的36H11 AprilTag图案，立体标定块的坐标系OB原点定义在表面0上的AprilTag图案(id＝0)中心，X轴、Y轴平行于该表面，正方向分别为图案左上顶点到右上顶点方向、图案左上顶点到左下顶点方向，Z轴方向指向模型内侧；
采用AprilTag算法标定外参矩阵的过程为：
立体标定块表面4保持水平，从立体标定块的表面0-3中任意选择一面，令被选择面AprilTag图案到1号侧视角相机光心沿光轴方向的距离为280mm，表面4的AprilTag图案到全局相机光心沿光轴方向的距离为1200mm，并保证上述两相机视场中完整出现对应的AprilTag图案；
当立体标定块与全局相机、1号侧视角相机满足上述要求时，使用外部触发方式控制两台相机在不大于15ms的时间差下捕捉图像，使用AprilTag算法计算视场内标定图形到各自相机的位置姿态；立体标定块上所有的图形的坐标系与标定块的坐标系OB的变换关系由CAD数据已知，推导出拍照时刻标定块相对于全局相机和1号侧视角相机的位姿，解算这两个位姿之间的变换TC1＝(RC1,tC1)，即为OC1到OG的转换关系，获取1号侧视角相机在OG下的外参矩阵；
2号侧视角相机在OG下的外参矩阵的获取方式与上述过程相同。
优选地，S3步骤中光学元件位姿解算过程为：
S31、利用夹具将光学元件放于FOA平台预定位置，令三台相机同步采集光学元件的俯视图像IM和两个侧视图像ISL、ISF，将三幅图像进行预处理生成灰度图像；
S32、采用LSD算法(Line Segment Detector，线段检测器算法)从三幅灰度图像中提取线段，对这些线段进行处理，获取三幅灰度图像在各自相机像素坐标系下的光学元件边缘；
S33、获取光学元件边缘在三个相机坐标系下的解析式，具体的，根据步骤S32匹配结果，当俯视图像IM中的某一条边缘与侧视图像ISL或侧视图像ISF中的某一条边缘同时对应CAD模型中同一条边缘，则认为上述两张图像中的边缘对应光学元件的同一边缘；根据该原则获取三幅灰度图像在各自相机坐标系下的解析式；
S34、根据相机内参矩阵、外参矩阵，及三个相机坐标系下解析式，获取光学元件边缘在全局坐标系下的解析式；
S35、根据光学元件边缘在全局坐标系下的解析式，利用PnP算法根据对应关系解算光学元件的位置姿态及上表面的尺寸。
优选地，步骤S32中光学元件边缘的获取过程为：
采用LSD算法从三幅灰度图像中提取出所有线段，并作如下处理：
步骤一、剔除L<25像素的过短线段，线段长度L按下式获取：
(x1,y1),(x2,y2)分别是线段两端点的像素坐标；
步骤二、将还未融合的线段集合记为lOri，融合的线段集合记为lmeg，经步骤一剔除过短线段后的剩余线段首先放在集合lOri中；
步骤三、融合线段：
在集合lOri中搜索L最大的线段，记为l0，在集合lOri中搜索满足条件的线段：线段中点到l0所在直线欧式距离dis小于3像素的，同时线段与l0夹角ang小于0.5°；将l0及符合条件线段从集合lOri中移出；
两条线段的欧式距离dis和夹角ang按下式计算：
其中：
(a1,b1),(a2,b2)为l0端点坐标，
k为l0斜率，
x＝(x1+x2)/2
y＝(y1+y2)/2
Δx＝x2-x1
Δy＝y2-y1
Δa＝a2-a1
Δb＝b2-b1
步骤四、对于l0及符合条件线段，使用SMBR算法计算这些线段端点的最小外接矩形，将该外接矩形两条短边的中点像素坐标作为新的融合的线段的两个端点的像素坐标，将这条融合处理的线段放入到融合的线段集合lmeg中；
重复执行步骤三、四，直到集合lOri为空集，然后执行步骤五；
步骤五、删除集合lmeg中错误线段：
首先，删除L<1200像素的线段；
其次，使用光学元件CAD模型的先验知识识别属于光学元件边缘的线段，具体的，将被夹具夹持的光学元件复位至预定位置，将此时的光学元件的CAD投影至采集的图像中。由于提取的线段来自光学元件边缘，则按下列条件来筛选代表光学元件边缘的线段：该线段中点到与由CAD提取的某条模型边缘线段欧式距离dis小于15像素，夹角ang小于2°；将集合lmeg中不满足上述条件的线段删除，集合lmeg中剩余的线段作为光学元件边缘。
优选地，S34获取光学元件边缘在全局坐标系下的解析式的过程为：
根据已知的相机内参矩阵和外参矩阵，将两张图像中对应光学元件的同一边缘的直线使用反投影转换到相机坐标系下的平面，得到直线所在平面的三维参数，该平面过相机光心O；所述两张图像为一张俯视图和一张侧视图；
假设来自全局相机的边缘线段l1和一台侧视角相机的边缘线段l2对应空间中同一条直线，l1和全局相机的光心确定平面P1，l2和侧视角相机的光心确定平面P2，根据内参矩阵和外参矩阵将平面P1、P2变换到全局坐标系下，得到P1、P2在全局坐标系下的解析式为：
P1:a1X+b1Y+c1Z+d1＝0
P2:a2X+b2Y+c2Z+d2＝0
其中向量(a1,b1,c1)是平面P1的法向量，d1是满足所有点在平面P1上后缀；向量(a2,b2,c2)是平面P2的法向量，d2是满足所有点在平面P2上后缀；c1＝c2＝1；
由于在两台相机成像中，匹配的直线对应三维空间同一条直线，平面P1和P2必然相交，交线即为目标直线，即光学元件边缘所在直线解析式为：
P＝p0+tV
其中p0＝(X0,Y0,Z0)，是目标直线上的一个已知点，t是目标直线的单位方向向量，形式为t＝iX+jY+kZ，系数i,j,k满足关系式：i2+j2+k2＝1；
重复此方法可得到光学元件上表面靠近两台侧视角相机的相邻两边缘所在直线在全局坐标系下的解析式：
L1：P＝p1+1V
L2：P＝p2+2V
其中，p1是直线L1上的一个已知点，t1是直线L1的单位方向向量，p2是直线L2上的一个已知点，t2是直线L2的单位方向向量；
解算到L1和L2距离之和最小的点A＝(XM,YM,ZM)，为光学元件上表面左上角顶点，即，在L1和L2上各取一个到A距离为410mm的点B和C，由A、B、C共同确定一个平面：
P0:a0X+b0Y+Z+c0＝0
即为光学元件上表面在全局坐标系下的解析式，按上述方法求解上表面与其他两个边缘所在平面的交线，即为剩下两个边缘所在直线在全局坐标系下的空间解析式：
L3：P＝p3+3V
L4：P＝p4+4V
其中，p3是直线L3上的一个已知点，t3是直线L3的单位方向向量，p4是直线L4上的一个已知点，tt是直线L4的单位方向向量。
优选地，S35解算光学元件的位置姿态及上表面的尺寸的过程为：
光学元件模型坐标系OM到全局坐标系OG的姿态Z轴正方向定义为t2×t1，X轴正方向定义为t2。构建PnP对应关系：
二维点(0,0)，对应三维点A＝(XM,YM,ZM)；
二维点(1,0)，对应三维点A+t2；
二维点(0,1)，对应三维点A+Norm(t2×t1)×t2；
二维点(1,1)，对应三维点A+Norm(t2×t1)×t2+t2；
其中Norm(t)为对t归一化的操作；
通过建立上述四组点的PnP关系，即可求解出光学元件的模型坐标系OM到全局坐标系OG的转换关系(R,t)，(R,t)作为光学元件的6自由度位姿，R为光学元件的模型坐标系OM到全局坐标系OG的旋转矩阵，t为光学元件的模型坐标系OM到全局坐标系OG的平移向量；
位置矩阵t＝AT＝(XM,YM,ZM)T；
按照A点在全局坐标系下坐标的求解方法获取光学元件上表面剩余顶点在全局坐标系下坐标，剩余顶点按顺时针依次为B、C、D，
光学元件的长为L＝||((A+B)-(D+C))/2||2，宽为W＝||((A+D)-(B+C))/2||2。
本发明还提供另一种技术方案：基于正交视觉***的光学元件装配方法，在装配时，利用权利要求1-8所述的基于正交视觉***的光学元件装配过程位姿检测方法实时获取光学元件的位姿，计算出当前光学元件的位姿与理想位姿的偏差，指导机械手进行位姿调整。
本发明的有益效果：
(1)、高精度定位：通过三台相机组成的视觉检测***，利用掠射光源照明，通过针对性的对光学元件边缘清晰成像，有效提高了对透明光学元件的定位精度。
(2)、减小制造公差影响：通过重新测算光学元件上表面的长宽，降低制造公差对装配过程的影响。
(3)、精确测量六自由度位姿：利用计算机视觉算法，基于三台相机获得的图像，精确测量光学元件的六自由度位姿，为后续装配过程提供路径指导。
附图说明
图1是本发明所述基于正交视觉***的光学元件装配过程位姿检测方法的结构示意图；
图2是立体标定块示意图，其中图2(a)为表面4示意图，图2(b)为立体标定块的立体结构示意图，图2(c)为立体标定块表面3示意图，图2(d)为立体标定块表面0示意图，图2(e)为立体标定块表面1示意图，图2(f)为立体标定块表面2示意图，；
图3是线段在三维空间中反投影原理图。
附图中各部件说明：1、全局相机，2、1号侧视角相机，3、2号侧视角相机，4、FOA装配平台，5、光学元件，6、俯视图，7、1号侧视角相机所拍侧视图，8、2号侧视角相机所拍侧视图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
具体实施方式一：下面结合图1至图3说明本实施方式，本实施方式所述基于正交视觉***的光学元件装配过程位姿检测方法包括以下步骤：
S1、构建视觉检测***步骤；
所述视觉检测***包括一台全局相机和两台侧视角相机，其中两台侧视角相机前方使用条形光源对光学元件掠射照明；
S2、视觉检测***中三台相机的联合标定步骤；
其中，以全局相机的相机坐标系作为统一的全局坐标系；标定出三台相机内参、外参，建立各相机的像素坐标系到统一的全局坐标系的空间映射关系；
S3、光学元件位姿解算步骤；
三台相机同步获取光学元件的俯视图和两个侧视图，从三台相机的图像中提取光学元件边缘在各自像素坐标系下的解析式，结合联合标定数据，将不同相机的像素坐标系下的边缘对齐到统一的全局坐标系下；通过这些边缘的解析式确定光学元件的位姿。
关于步骤S1，参见图1，本实施方式方法基于正交视觉***实现，为了对光学元件从不同角度同时清晰成像，为后续光学元件位姿检测提供图像信息，设计视觉检测***由三台相机组成，包括一台全局相机和两台侧视角相机，其中两台侧视角相机前方使用条形光源对光学元件掠射照明。
待检测的光学元件水平方向置于FOA装配平台上，全局相机设置于FOA装配平台上方，检测时位于光学元件侧方的两台相机为1号侧视角相机和2号侧视角相机，配置全局相机的工作距离为1200mm，1号侧视角相机和2号侧视角相机的工作距离为280mm。
三台相机的姿态相互正交，三台相机的光轴相交于光学元件上表面的一点，建立如下坐标系：
全局相机的全局坐标系为OG-XGYGZG，全局相机的光轴方向与水平面垂直；
1号侧视角相机坐标系为OC1-XC1YC1ZC1，2号侧视角相机坐标系为OC2-XC2YC2ZC2，两个相机的光轴方向与水平面平行；
全局相机坐标系OG的X轴正方向与2号侧视角相机坐标系OC2的ZC2轴正方向相同；
光学元件的模型坐标系OM为OM-XMYMZM，且原点定义在光学元件上表面左上角的顶点A上，ZM轴与光学元件上表面垂直，ZM轴正方向向上，XM轴正方向为光学元件上表面左上角的顶点指向光学元件上表面左下角的顶点方向。
关于步骤S2的联合标定，为了对视觉检测***的三台相机标定内参、外参，建立各自像素坐标系到统一的全局三维坐标系的空间映射关系，首先分别标定三台相机的内部参数，建立像素坐标系到各自的相机坐标系的空间映射关系，再将全局相机的相机坐标系定义为统一的全局坐标系，分别标定两台侧视角相机的相机坐标系到全局坐标系的坐标系变换，即两台相机的外参。
其中内参矩阵采用张正友标定方法，标定三台相机的内参矩阵，建立各自二维像素坐标系到三维相机坐标系的映射关系；
其中外参矩阵标定，以全局相机的相机坐标系作为统一的全局坐标系，分别标定两台侧视角相机的相机坐标系到全局坐标系的坐标系变换，获取两台侧视角相机的外参矩阵；
所述外参矩阵包括：1号侧视角相机坐标系OC1到全局坐标系OG的转换关系TC1＝(RC1,tC1)，RC1为1号侧视角相机坐标系OC1到全局坐标系OG的旋转矩阵，tC1为1号侧视角相机坐标系OC1到全局坐标系OG的平移向量；
及2号侧视角相机坐标系OC2到全局坐标系OG的转换关系为TC2＝(RC2,tC2)，RC2为2号侧视角相机坐标系OC2到全局坐标系OG的旋转矩阵，tC2为2号侧视角相机坐标系OC2到全局坐标系OG的平移向量。
外参矩阵标定参见图2，在外参标定中，由于定义了全局相机的相机坐标系为统一的全局坐标系，因此只需要标定两台侧视角相机的外部参数，为正交的视觉检测***的外部参数的标定，针对性的设计了立体标定块，结合AprilTag算法标定。设计的标定块采用树脂材料3D打印，外形为长方体，其尺寸规格如图2所示，加工精度为±0.05mm。所述立体标定块为长方体，四个侧面及顶面依次定义为立方体的表面0-表面4，表面0-表面4依次采用id为0-4的36H11 AprilTag图案，立体标定块的坐标系OB原点定义在表面0上的AprilTag图案(id＝0)中心，X轴、Y轴平行于该表面，正方向分别为图案左上顶点到右上顶点方向、图案左上顶点到左下顶点方向，Z轴方向指向模型内侧；
采用AprilTag算法标定外参矩阵的过程为：
标定侧视角相机外参时，长方体标定块的布置和摆放，满足相机检测光学元件时的工作距离需求。立体标定块表面4保持水平，从立体标定块的表面0-3中任意选择一面，令被选择面AprilTag图案到1号侧视角相机光心沿光轴方向的距离为280mm，表面4的AprilTag图案到全局相机光心沿光轴方向的距离为1200mm，并保证上述两相机视场中完整出现对应的AprilTag图案；
当立体标定块与全局相机、1号侧视角相机满足上述要求时，使用外部触发方式控制两台相机在不大于15ms的时间差下捕捉图像，使用AprilTag算法计算视场内标定图形到各自相机的位置姿态；立体标定块上所有的图形的坐标系与标定块的坐标系OB的变换关系由CAD数据已知，推导出拍照时刻标定块相对于全局相机和1号侧视角相机的位姿，解算这两个位姿之间的变换TC1＝(RC1,tC1)，即为OC1到OG的转换关系，获取1号侧视角相机在OG下的外参矩阵；
2号侧视角相机在OG下的外参矩阵的获取方式与上述过程相同。2号侧视角相机坐标系OC2到全局坐标系OG的转换关系为TC2＝(RC2,tC2)。
关于步骤S3，光学元件位姿解算过程为：
S31、利用夹具将光学元件放于FOA平台预定位置，令三台相机同步采集光学元件的俯视图像IM和两个侧视图像ISL、ISF，将三幅图像进行预处理生成灰度图像；
具体的，首先机械手将光学元件夹持至预定位置，打开掠射光源，调节照明角度令光学元件边缘在相机视场中被照亮，根据预先设定好的RoI区域的平均像素灰度值调节相机曝光时间，令光学元件边缘对应像素灰度(取值范围为0-255)在220-240之间；通过外部触发方式控制三台相机在150ms内同步采集图像，采集的图像分别为全局相机图像IM，分辨率为5120×5120；侧视角相机图像ISL、ISF，分辨率均为4200×2160。
S32、采用LSD算法从三幅灰度图像中提取线段，对这些线段进行处理，获取三幅灰度图像在各自相机像素坐标系下的光学元件边缘；
光学元件边缘的获取过程为：
采用LSD算法从三幅灰度图像中提取出所有线段，并作如下处理：
步骤一、剔除L<25像素的过短线段，线段长度L按下式获取：
(x1,y1),(x2,y2)分别是线段两端点的像素坐标；
步骤二、将还未融合的线段集合记为lOri，融合的线段集合记为lmeg，经步骤一剔除过短线段后的剩余线段首先放在集合lOri中；
步骤三、融合线段：
在集合lOri中搜索L最大的线段，记为l0，在集合lOri中搜索满足条件的线段：线段中点到l0所在直线欧式距离dis小于3像素的，同时线段与l0夹角ang小于0.5°；将l0及符合条件线段从集合lOri中移出；
两条线段的欧式距离dis和夹角ang按下式计算：
其中：
(a1,b1),(a2,b2)为l0端点坐标，
k为l0斜率，
x＝(x1+x2)/2
y＝(y1+y2)/2
Δx＝x2-x1
Δy＝y2-y1
Δa＝a2-a1
Δb＝b2-b1
步骤四、对于l0及符合条件线段，使用SMBR算法计算这些线段端点的最小外接矩形，将该外接矩形两条短边的中点像素坐标作为新的融合的线段的两个端点的像素坐标，将这条融合处理的线段放入到融合的线段集合lmeg中；
重复执行步骤三、四，直到集合lOri为空集，然后执行步骤五；
步骤五、删除集合lmeg中错误线段：
首先，删除L<1200像素的线段；由于在实拍图中光学元件边缘的线段普遍长度都高于1200像素，所以剔除L<1200像素的线段，即删除过短线段。
其次，使用光学元件CAD模型的先验知识识别属于光学元件边缘的线段，具体的，将被夹具夹持的光学元件复位至预定位置，将此时的光学元件的CAD投影至采集的图像中。由于提取的线段来自光学元件边缘，所以正确代表边缘的线段需要同时满足下列两个条件(即按下列条件来筛选代表光学元件边缘的线段)：该线段中点到与由CAD提取的某条模型边缘线段欧式距离dis小于15像素，夹角ang小于2°；将集合lmeg中不满足上述条件的线段删除，集合lmeg中剩余的线段作为光学元件边缘。
S33、获取光学元件边缘在三个相机坐标系下的解析式，具体的，根据步骤S32匹配结果，当俯视图像IM中的某一条边缘与侧视图像ISL或侧视图像ISF中的某一条边缘同时对应CAD模型中同一条边缘，则认为上述两张图像中的边缘对应光学元件的同一边缘；根据该原则获取三幅灰度图像在各自相机坐标系下的解析式；
S34、根据相机内参矩阵、外参矩阵，及三个相机坐标系下解析式，获取光学元件边缘在全局坐标系下的解析式；
获取光学元件边缘在全局坐标系下的解析式的过程为：
参见图3，首先给出在像素坐标系的边缘投影在三维空间下的原理说明，根据已知的相机内参矩阵和外参矩阵，将两张图像中对应光学元件的同一边缘的直线使用反投影转换到相机坐标系下的平面，得到直线所在平面的三维参数，该平面过相机光心O；所述两张图像为一张俯视图和一张侧视图；将两张图像中对应待测光学元件的同一边缘的直线使用反投影转换到相机坐标系下的平面，得到直线所在平面的三维参数，该平面过相机光心O。如图3所示，x1、x2为图像中一条直线上的两点，为已知量；X1、X2为这两点在三维空间中对应的点，X1、X2的空间坐标未知，而且即使使用了相机的标定数据也无法得知，但能够根据相机的内参，通过投影确定空间点X1、X2在过点O、x1、x2的平面上，即相机像素平面上的线段(直线)对应三维空间中的一个面。
假设来自全局相机的边缘线段l1和一台侧视角相机的边缘线段l2对应空间中同一条直线，l1和全局相机的光心确定平面P1，l2和侧视角相机的光心确定平面P2，根据内参矩阵和外参矩阵将平面P1、P2变换到全局坐标系下，得到P1、P2在全局坐标系下的解析式为：
P1:a1X+b1Y+c1Z+d1＝0
P2:a2X+b2Y+c2Z+d2＝0
其中向量(a1,b1,c1)是平面P1的法向量，d1是满足所有点在平面P1上后缀；向量(a2,b2,c2)是平面P2的法向量，d2是满足所有点在平面P2上后缀；c1＝c2＝1；
由于在两台相机成像中，匹配的直线对应三维空间同一条直线，平面P1和P2必然相交，交线即为目标直线，即光学元件边缘所在直线解析式为：
P＝p0+tV
其中p0＝(X0,Y0,Z0)，是目标直线上的一个已知点，t是目标直线的单位方向向量，形式为t＝iX+jY+kZ，系数i,j,k满足关系式：i2+j2+k2＝1；
根据上述原理就可以获取光学元件上表面靠近两台侧视角相机的相邻两边缘所在直线在全局坐标系下的解析式：
L1：P＝p1+1V
L2：P＝p2+2V
其中，p1是直线L1上的一个已知点，t1是直线L1的单位方向向量，p2是直线L2上的一个已知点，t2是直线L2的单位方向向量；
解算到L1和L2距离之和最小的点A＝(XM,YM,ZM)，为光学元件上表面左上角顶点，即，在L1和L2上各取一个到A距离为410mm的点B和C，由A、B、C共同确定一个平面：
P0:a0X+b0Y+Z+c0＝0
即为光学元件上表面在全局坐标系下的解析式，按上述方法求解上表面与其他两个边缘所在平面的交线，即为剩下两个边缘所在直线在全局坐标系下的空间解析式：
L3：P＝p3+3V
L4：P＝p4+4V
其中，p3是直线L3上的一个已知点，t3是直线L3的单位方向向量，p4是直线L4上的一个已知点，t4是直线L4的单位方向向量。
S35、根据光学元件边缘在全局坐标系下的解析式，利用PnP算法(Perspective-n-Point，求解3D到2D点对运动的算法)根据对应关系解算光学元件的位置姿态及上表面的尺寸。
解算光学元件的位置姿态及上表面的尺寸的过程为：
光学元件模型坐标系OM到全局坐标系OG的姿态Z轴正方向定义为t2×t1，X轴正方向定义为t2。构建PnP对应关系：
二维点(0,0)，对应三维点A＝(XM,YM,ZM)；
二维点(1,0)，对应三维点A+t2；
二维点(0,1)，对应三维点A+Norm(t2×t1)×t2；
二维点(1,1)，对应三维点A+Norm(t2×t1)×t2+t2；
其中Norm(t)为对t归一化的操作；
通过建立上述四组点的PnP关系，即可求解出光学元件的模型坐标系OM到全局坐标系OG的转换关系(R,t)，(R,t)作为光学元件的6自由度位姿，R为光学元件的模型坐标系OM到全局坐标系OG的旋转矩阵，t为光学元件的模型坐标系OM到全局坐标系OG的平移向量；
位置矩阵t＝AT＝(XM,YM,ZM)T；
按照A点在全局坐标系下坐标的求解方法获取光学元件上表面剩余顶点在全局坐标系下坐标，剩余顶点按顺时针依次为B、C、D，
光学元件的长为L＝||((A+B)-(D+C))/2||2，宽为W＝||((A+D)-(B+C))/2||2。
具体实施方式二：下面结合图1说明本实施方式，本实施方式所述基于正交视觉***的光学元件装配方法是基于实施方式一检测方法实现的，将实施方式一解算出的光学元件六自由度位姿应用于后续的装配过程中，在装配时，利用实施方式一所述的基于正交视觉***的光学元件装配过程位姿检测方法实时获取光学元件的位姿，结合机械手手眼标定信息和光学元件应该到达的理想位姿，计算出当前光学元件的位姿与理想位姿的偏差，利用这个偏差指导机械手进行位姿调整。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它所述实施例中。

Claims (7)

1.基于正交视觉***的光学元件装配过程位姿检测方法，其特征在于，该方法包括以下步骤：
S1、构建视觉检测***步骤；
所述视觉检测***包括一台全局相机和两台侧视角相机，其中两台侧视角相机前方使用条形光源对光学元件掠射照明；
S2、视觉检测***中三台相机的联合标定步骤；
其中，以全局相机的相机坐标系作为统一的全局坐标系；标定出三台相机内参、外参，建立各相机的像素坐标系到统一的全局坐标系的空间映射关系；
待检测的光学元件水平方向置于FOA装配平台上，全局相机设置于FOA装配平台上方，检测时位于光学元件侧方的两台相机为1号侧视角相机和2号侧视角相机，
三台相机的姿态相互正交，三台相机的光轴相交于光学元件上表面的一点，建立如下坐标系：
全局相机的全局坐标系为OG-XGYGZG，全局相机的光轴方向与水平面垂直；
1号侧视角相机坐标系为OC1-XC1YC1ZC1，2号侧视角相机坐标系为OC2-XC2YC2ZC2，两个相机的光轴方向与水平面平行；
全局相机坐标系OG的X轴正方向与2号侧视角相机坐标系OC2的ZC2轴正方向相同；
光学元件的模型坐标系OM为OM-XMYMZM，且原点定义在光学元件上表面左上角的顶点A上，ZM轴与光学元件上表面垂直，ZM轴正方向向上，XM轴正方向为光学元件上表面左上角的顶点指向光学元件上表面左下角的顶点方向；
S3、光学元件位姿解算步骤；
三台相机同步获取光学元件的俯视图和两个侧视图，从三台相机的图像中提取光学元件边缘在各自像素坐标系下的解析式，结合联合标定数据，将不同相机的像素坐标系下的边缘对齐到统一的全局坐标系下；通过这些边缘的解析式确定光学元件的位姿，具体的，光学元件位姿解算过程为：
S31、利用夹具将光学元件放于FOA装配平台预定位置，令三台相机同步采集光学元件的俯视图像IM和两个侧视图像ISL、ISF，将三幅图像进行预处理生成灰度图像；
S32、采用LSD算法从三幅灰度图像中提取线段，对这些线段进行处理，获取三幅灰度图像在各自相机像素坐标系下的光学元件边缘；
S33、获取光学元件边缘在三个相机坐标系下的解析式，具体的，根据步骤S32匹配结果，当俯视图像IM中的某一条边缘与侧视图像ISL或侧视图像ISF中的某一条边缘同时对应CAD模型中同一条边缘，则认为上述两张图像中的边缘对应光学元件的同一边缘；根据该原则获取三幅灰度图像在各自相机坐标系下的解析式；
S34、根据相机内参矩阵、外参矩阵，及三个相机坐标系下解析式，获取光学元件边缘在全局坐标系下的解析式；
S35、根据光学元件边缘在全局坐标系下的解析式，利用PnP算法根据对应关系解算光学元件的位置姿态及上表面的尺寸。
2.根据权利要求1所述基于正交视觉***的光学元件装配过程位姿检测方法，其特征在于，步骤S2的联合标定过程为：
首先采用张正友标定方法分别标定三台相机的内参矩阵，建立各自二维像素坐标系到三维相机坐标系的映射关系；
再以全局相机的相机坐标系作为统一的全局坐标系，分别标定两台侧视角相机的相机坐标系到全局坐标系的坐标系变换，获取两台侧视角相机的外参矩阵；
所述外参矩阵包括：1号侧视角相机坐标系OC1到全局坐标系OG的转换关系TC1＝(RC1,tC1)，RC1为1号侧视角相机坐标系OC1到全局坐标系OG的旋转矩阵，tC1为1号侧视角相机坐标系OC1到全局坐标系OG的平移向量；
及2号侧视角相机坐标系OC2到全局坐标系OG的转换关系为TC2＝(RC2,tC2)，RC2为2号侧视角相机坐标系OC2到全局坐标系OG的旋转矩阵，tC2为2号侧视角相机坐标系OC2到全局坐标系OG的平移向量。
3.根据权利要求2所述基于正交视觉***的光学元件装配过程位姿检测方法，其特征在于，采用立体标定块并结合AprilTag算法标定两个侧视角相机的外参矩阵，所述立体标定块为长方体，四个侧面及顶面依次定义为立方体的表面0-表面4，表面0-表面4依次采用id为0-4的36H11 AprilTag图案，立体标定块的坐标系OB原点定义在表面0上的AprilTag图案(id＝0)中心，X轴、Y轴平行于该表面，正方向分别为图案左上顶点到右上顶点方向、图案左上顶点到左下顶点方向，Z轴方向指向模型内侧；
采用AprilTag算法标定外参矩阵的过程为：
立体标定块表面4保持水平，从立体标定块的表面0-3中任意选择一面，令被选择面AprilTag图案到1号侧视角相机光心沿光轴方向的距离为280mm，表面4的AprilTag图案到全局相机光心沿光轴方向的距离为1200mm，并保证上述两相机视场中完整出现对应的AprilTag图案；
当立体标定块与全局相机、1号侧视角相机满足上述要求时，使用外部触发方式控制两台相机在不大于15ms的时间差下捕捉图像，使用AprilTag算法计算视场内标定图形到各自相机的位置姿态；立体标定块上所有的图形的坐标系与标定块的坐标系OB的变换关系由CAD数据已知，推导出拍照时刻标定块相对于全局相机和1号侧视角相机的位姿，解算这两个位姿之间的变换TC1＝(RC1,tC1)，即为OC1到OG的转换关系，获取1号侧视角相机在OG下的外参矩阵；
2号侧视角相机在OG下的外参矩阵的获取方式与上述过程相同。
4.根据权利要求1所述基于正交视觉***的光学元件装配过程位姿检测方法，其特征在于，步骤S32中光学元件边缘的获取过程为：
采用LSD算法从三幅灰度图像中提取出所有线段，并作如下处理：
步骤一、剔除L<25像素的过短线段，线段长度L按下式获取：
(x1,y1),(x2,y2)分别是线段两端点的像素坐标；
步骤二、将还未融合的线段集合记为lOri，融合的线段集合记为lmeg，经步骤一剔除过短线段后的剩余线段首先放在集合lOri中；
步骤三、融合线段：
在集合lOri中搜索L最大的线段，记为l0，在集合lOri中搜索满足条件的线段：线段中点到l0所在直线欧式距离dis小于3像素的，同时线段与l0夹角ang小于0.5°；将l0及符合条件线段从集合lOri中移出；
两条线段的欧式距离dis和夹角ang按下式计算：
其中：
(a1,b1),(a2,b2)为l0端点坐标，
k为l0斜率，
x＝(x1+x2)/2
y＝(y1+y2)/2
Δx＝x2-x1
Δy＝y2-y1
Δa＝a2-a1
Δb＝b2-b1
步骤四、对于l0及符合条件线段，使用SMBR算法计算这些线段端点的最小外接矩形，将该外接矩形两条短边的中点像素坐标作为新的融合的线段的两个端点的像素坐标，将这条融合处理的线段放入到融合的线段集合lmeg中；
重复执行步骤三、四，直到集合lOri为空集，然后执行步骤五；
步骤五、删除集合lmeg中错误线段：
首先，删除L<1200像素的线段；
其次，使用光学元件CAD模型的先验知识识别属于光学元件边缘的线段，具体的，将被夹具夹持的光学元件复位至预定位置，将此时的光学元件的CAD投影至采集的图像中；由于提取的线段来自光学元件边缘，则按下列条件来筛选代表光学元件边缘的线段：该线段中点到与由CAD提取的某条模型边缘线段欧式距离dis小于15像素，夹角ang小于2°；将集合lmeg中不满足上述条件的线段删除，集合lmeg中剩余的线段作为光学元件边缘。
5.根据权利要求4所述基于正交视觉***的光学元件装配过程位姿检测方法，其特征在于，S34获取光学元件边缘在全局坐标系下的解析式的过程为：
根据已知的相机内参矩阵和外参矩阵，将两张图像中对应光学元件的同一边缘的直线使用反投影转换到相机坐标系下的平面，得到直线所在平面的三维参数，该平面过相机光心O；所述两张图像为一张俯视图和一张侧视图；
假设来自全局相机的边缘线段l1和一台侧视角相机的边缘线段l2对应空间中同一条直线，l1和全局相机的光心确定平面P1，l2和侧视角相机的光心确定平面P2，根据内参矩阵和外参矩阵将平面P1、P2变换到全局坐标系下，得到P1、P2在全局坐标系下的解析式为：
P1:a1XG+b1YG+c1ZG+d1＝0
P2:a2XG+b2YG+c2ZG+d2＝0
其中向量(a1,b1,c1)是平面P1的法向量，d1是满足所有点在平面P1上后缀；向量(a2,b2,c2)是平面P2的法向量，d2是满足所有点在平面P2上后缀；c1＝c2＝1；
由于在两台相机成像中，匹配的直线对应三维空间同一条直线，平面P1和P2必然相交，交线即为目标直线，即光学元件边缘所在直线解析式为：
P＝p0+tV，
其中p0＝(X0,Y0,Z0)，是目标直线上的一个已知点，t是目标直线的单位方向向量，形式为t＝iXG+jYG+kZG，系数i,j,k满足关系式：i2+j2+k2＝1；V是自变量参数；
重复此方法可得到光学元件上表面靠近两台侧视角相机的相邻两边缘所在直线在全局坐标系下的解析式：
L1：P＝p1+t1V
L2：P＝p2+t2V
其中，p1是直线L1上的一个已知点，t1是直线L1的单位方向向量，p2是直线L2上的一个已知点，t2是直线L2的单位方向向量；
解算到L1和L2距离之和最小的点A＝(XM,YM,ZM)，为光学元件上表面左上角顶点，即，在L1和L2上各取一个到A距离为410mm的点B和C，由A、B、C共同确定一个平面：
P0:a0X+b0Y+Z+c0＝0
即为光学元件上表面在全局坐标系下的解析式，按上述方法求解上表面与其他两个边缘所在平面的交线，即为剩下两个边缘所在直线在全局坐标系下的空间解析式：
L3：P＝p3+t3V
L4：P＝p4+t4V
其中，p3是直线L3上的一个已知点，t3是直线L3的单位方向向量，p4是直线L4上的一个已知点，t4是直线L4的单位方向向量。
6.根据权利要求5所述基于正交视觉***的光学元件装配过程位姿检测方法，其特征在于，S35解算光学元件的位置姿态及上表面的尺寸的过程为：
光学元件模型坐标系OM到全局坐标系OG的姿态Z轴正方向定义为t2×t1，X轴正方向定义为t2；构建PnP对应关系：
二维点(0,0)，对应三维点A＝(XM,YM,ZM)；
二维点(1,0)，对应三维点A+t2；
二维点(0,1)，对应三维点A+Norm(t2×t1)×t2；
二维点(1,1)，对应三维点A+Norm(t2×t1)×t2+t2；
其中Norm(t)为对t归一化的操作；
通过建立上述四组点的PnP对应关系，即可求解出光学元件的模型坐标系OM到全局坐标系OG的转换关系(R,t)，(R,t)作为光学元件的6自由度位姿，R为光学元件的模型坐标系OM到全局坐标系OG的旋转矩阵，t为光学元件的模型坐标系OM到全局坐标系OG的平移向量；
位置矩阵t＝AT＝(XM,YM,ZM)T；
按照A点在全局坐标系下坐标的求解方法获取光学元件上表面剩余顶点在全局坐标系下坐标，剩余顶点按顺时针依次为B、C、D，
光学元件的长为L＝||((A+B)-(D+C))/2||2，宽为W＝||((A+D)-(B+C))/2||2。
7.基于正交视觉***的光学元件装配方法，其特征在于，在装配时，利用权利要求1-6任一项所述的基于正交视觉***的光学元件装配过程位姿检测方法实时获取光学元件的位姿，计算出当前光学元件的位姿与理想位姿的偏差，指导机械手进行位姿调整。
CN202310735104.6A 2023-06-20 2023-06-20 基于正交视觉***的光学元件装配过程位姿检测方法及装配方法 Active CN116758160B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310735104.6A CN116758160B (zh) 2023-06-20 2023-06-20 基于正交视觉***的光学元件装配过程位姿检测方法及装配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310735104.6A CN116758160B (zh) 2023-06-20 2023-06-20 基于正交视觉***的光学元件装配过程位姿检测方法及装配方法

Publications (2)

Publication Number Publication Date
CN116758160A CN116758160A (zh) 2023-09-15
CN116758160B true CN116758160B (zh) 2024-04-26

Family

ID=87958590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310735104.6A Active CN116758160B (zh) 2023-06-20 2023-06-20 基于正交视觉***的光学元件装配过程位姿检测方法及装配方法

Country Status (1)

Country Link
CN (1) CN116758160B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470370A (zh) * 2018-03-27 2018-08-31 北京建筑大学 三维激光扫描仪外置相机联合获取三维彩色点云的方法
JP2018153910A (ja) * 2016-12-22 2018-10-04 セイコーエプソン株式会社 制御装置、ロボット、およびロボットシステム
CN111009014A (zh) * 2019-11-25 2020-04-14 天津大学 通用成像模型正交分光成像位姿传感器的标定方法
CN113870358A (zh) * 2021-09-17 2021-12-31 聚好看科技股份有限公司 一种多个3d相机联合标定的方法及设备
CN115953483A (zh) * 2022-12-30 2023-04-11 深圳云天励飞技术股份有限公司 一种参数标定方法、装置、计算机设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018153910A (ja) * 2016-12-22 2018-10-04 セイコーエプソン株式会社 制御装置、ロボット、およびロボットシステム
CN108470370A (zh) * 2018-03-27 2018-08-31 北京建筑大学 三维激光扫描仪外置相机联合获取三维彩色点云的方法
CN111009014A (zh) * 2019-11-25 2020-04-14 天津大学 通用成像模型正交分光成像位姿传感器的标定方法
CN113870358A (zh) * 2021-09-17 2021-12-31 聚好看科技股份有限公司 一种多个3d相机联合标定的方法及设备
CN115953483A (zh) * 2022-12-30 2023-04-11 深圳云天励飞技术股份有限公司 一种参数标定方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
视觉***在玩具小车装配中的应用;安宁;翟晓彤;赵华东;徐博凡;;机械设计与制造;20201008(10);第256-260页 *

Also Published As

Publication number Publication date
CN116758160A (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
US9124873B2 (en) System and method for finding correspondence between cameras in a three-dimensional vision system
US8600192B2 (en) System and method for finding correspondence between cameras in a three-dimensional vision system
Li et al. A multiple-camera system calibration toolbox using a feature descriptor-based calibration pattern
US11488322B2 (en) System and method for training a model in a plurality of non-perspective cameras and determining 3D pose of an object at runtime with the same
EP3067861B1 (en) Determination of a coordinate conversion parameter
Kim et al. A camera calibration method using concentric circles for vision applications
CN108965690B (zh) 图像处理***、图像处理装置及计算机可读存储介质
JP7486740B2 (ja) テレセントリックラインスキャンカメラを用いて物体を効率的に３次元再構成するためのシステムおよび方法
JP5156601B2 (ja) 形状測定装置およびプログラム
JP5297779B2 (ja) 形状測定装置およびプログラム
Yan et al. Joint camera intrinsic and lidar-camera extrinsic calibration
US11986955B2 (en) In-hand pose refinement for pick and place automation
WO2010071139A1 (ja) 形状測定装置およびプログラム
KR20180014676A (ko) 비전 시스템에서 3d 정렬 알고리즘의 자동 선택을 위한 시스템 및 방법
CN114029946A (zh) 一种基于3d光栅引导机器人定位抓取的方法、装置及设备
CN107850425B (zh) 用于测量制品的方法
CN112529856A (zh) 确定操作对象位置的方法、机器人和自动化***
Yamauchi et al. Calibration of a structured light system by observing planar object from unknown viewpoints
So et al. Calibration of a dual-laser triangulation system for assembly line completeness inspection
CN116758160B (zh) 基于正交视觉***的光学元件装配过程位姿检测方法及装配方法
Siddique et al. 3d object localization using 2d estimates for computer vision applications
Tran et al. Extrinsic calibration of a camera and structured multi-line light using a rectangle
JPH09329440A (ja) 複数枚の画像の各計測点の対応づけ方法
Li et al. Method for horizontal alignment deviation measurement using binocular camera without common target
Abdelhamid et al. Extracting depth information using a correlation matching algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant