CN114516051A - 三个及以上自由度机器人视觉测量的前方交会方法及*** - Google Patents
三个及以上自由度机器人视觉测量的前方交会方法及*** Download PDFInfo
- Publication number
- CN114516051A CN114516051A CN202210272433.7A CN202210272433A CN114516051A CN 114516051 A CN114516051 A CN 114516051A CN 202210272433 A CN202210272433 A CN 202210272433A CN 114516051 A CN114516051 A CN 114516051A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- point
- carrier
- measurement
- measured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 270
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000009466 transformation Effects 0.000 claims abstract description 116
- 230000003287 optical effect Effects 0.000 claims abstract description 108
- 239000011159 matrix material Substances 0.000 claims abstract description 90
- 239000013598 vector Substances 0.000 claims description 182
- 230000000007 visual effect Effects 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 9
- 230000004075 alteration Effects 0.000 claims description 3
- 238000000691 measurement method Methods 0.000 abstract description 5
- 230000036544 posture Effects 0.000 description 45
- 238000010586 diagram Methods 0.000 description 8
- 238000010276 construction Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供三个及以上自由度机器人视觉测量的前方交会方法和***,其方法包括:在依据三个及以上自由度的机器人视觉测量***的结构参数所建立的测量坐标系中表达待测点的像点及各交会点坐标,对待测点进行前方交会测量,获得待测点在测量坐标系中的坐标值;构建了载体从预设位到实际位之间的姿态坐标系变换矩阵;结构参数包括:视觉传感器的相机内参数、载体中各独立运动部件的姿态参数和臂长、第一交切距及第一主光轴旋转半径和/或第二交切距及第二主光轴旋转半径。本发明提供的方法和***,无需前方控制点即可对空间待测点进行测量,创新了基于三个及以上自由度视觉测量***结构参数的前方交会测量的方法,实现适用性更广泛的摄影测量。
Description
技术领域
本发明涉及数字摄影测量技术领域,尤其涉及一种三个及以上自由度机器人视觉测量的前方交会方法及***。
背景技术
随着机器视觉技术和AI技术在精细农业和机器人领域的应用需求的扩展,在农业以及其他行业的自动化智能化作业中,对高精度、无控制点测量的需求越来越高。
基于单目或多目摄像机的前方交会摄影测量一般需要基于多自由度的机器人进行前方交会视觉测量,而现有技术中难以基于多自由度的机器人进行前方交会视觉测量。因此,如何基于多自由度的机器人进行前方交会视觉测量是本领域亟待解决的技术问题。
发明内容
本发明提供一种三个及以上自由度机器人视觉测量的前方交会方法及***,用以解决现有技术中难以基于多自由度的机器人进行前方交会视觉测量的缺陷,实现基于多自由度的机器人进行前方交会视觉测量是本领域亟待解决的技术问题。
本发明提供一种三个及以上自由度机器人视觉测量的前方交会方法,包括:
基于载体的各部件中空间位置相对于世界坐标系固定不变的部件建立测量坐标系,以使得所述测量坐标系与所述世界坐标系之间的变换关系固定,所述载体中与视觉测量相关的每一独立运动部件位于初始姿态的情况下,每一所述独立运动部件对应的部件坐标系与所述测量坐标系的变换关系确定;其中,所述载体为三个及以上自由度机器人;所述载体上固定有视觉传感器;所述视觉传感器用于获取待测点的图像;
获取所述载***于预设位与位于实际位之间的姿态坐标系变换矩阵和结构参数;其中,预设位的设置是用于在构建所述载体从预设位到实际位之间的姿态坐标系变换矩阵时,确定所述载***于预设位下各所述独立运动部件对应的初始姿态坐标系与所述测量坐标系之间的关系;所述载***于预设位到位于实际位之间的姿态坐标系变换矩阵构建中,在每一所述独立运动部件位于初始姿态的情况下,所述载***于预设位;所述结构参数包括:所述视觉传感器的相机内参数、所述载体中与视觉测量相关的每一独立运动部件的姿态参数和每一所述独立运动载体部件的臂长;所述结构参数还包括:第一交切距及对应的第一主光轴旋转半径和/或第二交切距及对应的第二主光轴旋转半径;所述第二交切距及所述第二主光轴旋转半径,是基于所述第一交切距、所述第一主光轴旋转半径和所述姿态坐标系变换矩阵获取的;
基于所述结构参数和所述姿态坐标系变换矩阵,在所述测量坐标系中表达所述载***于预设位和实际位的情况下所述视觉传感器的主点矢量、待测点的像点矢量和交会点矢量;其中,所述待测点的像点为所述待测量点在所述视觉传感器中的成像点;所述交会点为所述视觉传感器上所述像点和所述待测点连接光线的交会点;所述主光轴旋转半径为主光轴随所述载体旋转所形成切球的半径;所述交切距为所述主光轴与所述切球的切点和所述交会点之间的距离;
利用所述视觉传感器,获取包括所述待测点的图像,基于所述待测点的图像在所述测量坐标系中对每一配准像点进行立体场误差校正,基于所述结构参数、所述姿态坐标系变换矩阵和所述测量坐标系,获取所述载***于实际位下每一所述配准像点对应的配准像点矢量,基于所述每一所述配准像点矢量和所述交会点矢量,对所述待测点进行前方交会测量,获得所述待测点在所述测量坐标系中的坐标值,根据所述待测点在所述测量坐标系中的坐标值以及所述测量坐标系与所述世界坐标系之间的变换关系,获得所述待测点在所述世界坐标系中的坐标值。
根据本发明提供的一种三个及以上自由度机器人视觉测量的前方交会方法,所述基于载体和预设位置关系建立测量坐标系,具体包括:
根据所述世界坐标系所在的部件,获取所述载体中空间位置相对于所述世界坐标系固定不变的部件,并在所述空间位置相对于所述世界坐标系固定不变的部件的旋转端建立测量坐标系,以使得所述测量坐标系与所述世界坐标系之间的变换关系固定;
将所述测量坐标系所在部件的旋转端,作为所述测量坐标系原点OM,构建所述测量坐标系;
确定所述载***于预设位的情况下,各所述独立运动部件对应的姿态坐标系与所述测量坐标系之间的旋转变换矩阵;
其中,所述独立运动部件包括旋转端和部件端,所述部件端可绕所述旋转端旋转。
根据本发明提供的一种三个及以上自由度机器人视觉测量的前方交会方法,所述获取所述载***于预设位与位于实际位之间的姿态坐标系变换矩阵,具体包括:
获取所述视觉传感器的焦距,在所述视觉传感器对应的传感器坐标系中标定所述主点Ocn的坐标;
在所述载***于预设位的情况下,各所述独立运动部件对应的初始姿态坐标系中的各个轴与所述测量坐标系中的各个轴平行,但方向和名称不同;若各所述独立运动部件的姿态不为初始姿态,则将各所述独立运动部件的姿态旋转变换至初始姿态,再在所述载***于预设位的情况下,获取第k个独立运动部件Lk从预设位到位于实际位之间的姿态坐标系变换矩阵
其中,a表示实际位的标识;p表示预设位的标识;i=1,2,3…,k-1,k表示所述载体中所述独立运动部件的数量;n表示所述载体的运动次数;Lk表示第k个独立运动部件;所述视觉传感器固定于所述第k个独立运动部件Lk的部件端,相对于其他独立运动部件,所述第k个独立运动部件与所述载体本体之间的视觉测量相关的独立运动部件数最多;表示所述第k个独立运动部件Lk在所述载体完成第n次运动之后,所述载体在第n-1次运动后的实际位到第n次运动后的实际位之间的姿态坐标系变换矩阵,所述载体的运动次数n为各独立运动部件旋转端运动次数的总和,载体每一次运动对应一个独立运动部件旋转端的运动;Rkp表示所述第k个独立运动部件Lk位于预设位下,各所述独立运动部件对应的姿态坐标系到所述测量坐标系之间的旋转变换矩阵。
根据本发明提供的一种三个及以上自由度机器人视觉测量的前方交会方法,所述获取结构参数,具体包括:
获取所述独立运动部件的旋转端和部件端之间的长度,作为所述独立运动部件的臂长,获取所述独立运动部件运动时姿态值,作为所述独立运动部件的姿态参数,
在所述载***于实际位,保持所述视觉传感器有两个方向垂直的自由度,且其中一个自由度是由所述第k个独立运动部件提供的情况下,将所述视觉传感器随所述载体旋转时主光轴旋转形成切球的半径作为所述第一主光轴旋转半径ρ0,将主光轴与所述切球的切点Pn和交会点Fn之间的距离,作为所述第一交切距dz;
基于所述第一交切距dz、所述第一主光轴旋转半径ρ0和所述姿态坐标系变换矩阵获取所述测量坐标系原点OM与所述测量坐标系原点OM投射到主光轴上的垂足P′n的距离,作为所述第二主光轴旋转半径ρ0n,将所述交会点Fn和所述垂足P′n之间的距离,作为所述第二交切距dzn。
根据本发明提供的一种三个及以上自由度机器人视觉测量的前方交会方法,所述基于所述结构参数和所述姿态坐标系变换矩阵,在所述测量坐标系中表达所述载***于实际位的情况下所述视觉传感器的主点矢量、待测点的像点矢量和交会点矢量,具体包括:
在所述载***于预设位的情况下,所述第k个独立运动部件旋转端的中心Okp与所述载***于预设位时的交会点Fp之间的矢量所述载***于预设位时的交会点Fp与所述传感器坐标系的原点Ocp之间的矢量所述测量坐标系原点OM与所述第k个独立运动部件旋转端的中心Okp之间的矢量以及所述传感器坐标系的原点Ocp与所述载体运动n次后所述待测点的像点之间的矢量在测量坐标系中的表达为:
在所述载***于实际位的情况下,所述第k个独立运动部件旋转端的中心Okn与所述交会点Fn之间的矢量所述交会点Fn与所述主点Ocn之间的矢量所述测量坐标系的原点OM和所述第k个独立运动部件旋转端的中心Okn之间的矢量以及所述主点Ocn与所述待测点的像点之间的矢量在测量坐标系中的表达为:
因此,
其中,和分别表示以主点为原点的所述传感器坐标系中待测像点的像素坐标;u0和v0分别表示所述主点Ocn在所述图像对应的传感器图像坐标系中u轴和v轴方向上的像素坐标;和分别表示所述待测点的像点在所述传感器图像坐标系中u轴和v轴方向上的像素坐标;psx和psy表示像素尺寸,f表示所述焦距,lk表示所述第k个独立运动部件Lk的臂长;
根据本发明提供的一种三个及以上自由度机器人视觉测量的前方交会方法,所述基于所述每一所述配准像点矢量和所述交会点矢量,对所述待测点进行前方交会测量,获得所述待测点在所述世界坐标系,具体包括:
基于所述结构参数和所述姿态坐标系变换矩阵,在所述测量坐标系中表达的所述待测点Bm的坐标为所述待测点的像点的坐标为所述待测点Bm对应的交会点Fn的坐标为基于在所述载***于实际位的情况下,所述视觉传感器的主点矢量待测点的像点矢量和交会点矢量在测量坐标系中的第一种表达方式或第二种表达方法,获得三点共线方程:
解得:
进行泰勒展开,得到:
其中,
将误差方程表达为:
其中,常数项为:
解得第n次迭代改正数为:χn=(Λn TΛn)-1Λn TLn;
本发明还提供一种三个及以上自由度机器人视觉测量的前方交会***,包括:
坐标系构建模块,用于基于载体的各部件中空间位置相对于世界坐标系固定不变的部件建立测量坐标系,以使得所述测量坐标系与所述世界坐标系之间的变换关系固定,所述载体中与视觉测量相关的每一独立运动部件位于初始姿态的情况下,每一所述独立运动部件对应的部件坐标系与所述测量坐标系的变换关系确定;其中,所述载体为三个及以上自由度机器人;所述载体上固定有视觉传感器;所述视觉传感器用于获取待测点的图像;
参数获取模块,用于获取所述载***于预设位到位于实际位之间的姿态坐标系变换矩阵和结构参数;其中,预设位的设置是用于在构建所述载体从预设位到实际位之间的姿态坐标系变换矩阵时,确定所述载***于预设位下各所述独立运动部件对应的初始姿态坐标系与所述测量坐标系之间的关系;所述载***于预设位到位于实际位之间的姿态坐标系变换矩阵构建中,在每一所述独立运动部件位于初始姿态的情况下,所述载***于预设位;所述结构参数包括:所述视觉传感器的相机内参数、所述载体中与视觉测量相关的每一独立运动部件的姿态参数和每一所述独立运动载体部件的臂长;所述结构参数还包括:第一交切距及对应的第一主光轴旋转半径和/或第二交切距及对应的第二主光轴旋转半径;所述第二交切距及所述第二主光轴旋转半径,是基于所述第一交切距、所述第一主光轴旋转半径和所述姿态坐标系变换矩阵获取的;
矢量表达单元,用于基于所述结构参数和所述姿态坐标系变换矩阵,在所述测量坐标系中表达所述载***于实际位的情况下所述视觉传感器的主点矢量、待测点的像点矢量和交会点矢量;其中,所述待测点的像点为所述待测量点在所述视觉传感器中的成像点;所述交会点为所述视觉传感器上所述像点和所述待测点连接光线的交会点;所述主光轴旋转半径为主光轴随所述载体旋转所形成切球的半径;所述交切距为所述主光轴与所述切球的切点和所述交会点之间的距离;
前方交会测量单元,用于利用所述视觉传感器,获取包括所述待测点的图像,基于所述待测点的图像在所述测量坐标系中对每一配准像点进行立体场误差校正,基于所述结构参数、所述姿态坐标系变换矩阵和所述测量坐标系,获取所述载***于实际位下每一所述配准像点对应的配准像点矢量,基于所述每一所述配准像点矢量和所述交会点矢量,对所述待测点进行前方交会测量,获得所述待测点在所述测量坐标系中的坐标值,根据所述待测点在所述测量坐标系中的坐标值以及所述测量坐标系与所述世界坐标系之间的变换关系,获得所述待测点在所述世界坐标系中的坐标值。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述三个及以上自由度机器人视觉测量的前方交会方法。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述三个及以上自由度机器人视觉测量的前方交会方法。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述三个及以上自由度机器人视觉测量的前方交会方法。
本发明提供的三个及以上自由度机器人视觉测量的前方交会方法及***,一方面能实现基于三个及以上自由度的机器人在农业或其他实际生活场景中,灵活地进行前方交会测量,另一方面能实施无靶标测量,适应场景的环境条件宽泛,扩展了视觉***的应用场景和提高了测量精度,进而创新性地实现了三个及以上自由度的视觉测量载体结构参数的前方交会测量方法和***。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的三个及以上自由度机器人视觉测量的前方交会方法的流程示意图;
图2是本发明提供的三个及以上自由度机器人视觉测量的前方交会方法中基于第一交切距和第一主光轴旋转半径的前方交会示意图;
图3是本发明提供的三个及以上自由度机器人视觉测量的前方交会方法中基于第二交切距和第二主光轴旋转半径的前方交会示意图;
图4是本发明提供的三个及以上自由度机器人视觉测量的前方交会***的结构示意图;
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本发明提供的三个及以上自由度机器人视觉测量的前方交会方法的流程示意图。下面结合图1描述本发明的三个及以上自由度机器人视觉测量的前方交会方法。如图1所示,该方法包括:步骤101、基于载体的各部件中空间位置相对于世界坐标系固定不变的部件建立测量坐标系,以使得测量坐标系与世界坐标系之间的变换关系固定,载体中与视觉测量相关的每一独立运动部件位于初始姿态的情况下,每一独立运动部件对应的部件坐标系与测量坐标系的变换关系确定;其中,载体为三个及以上自由度机器人;载体上固定有视觉传感器;视觉传感器用于获取待测点的图像。
具体地,可以获取三个及以上自由度的机器人作为载体。
上述载体包括可以包括多个部件。其中,可以将上述载体中与视觉测量相关的部件称为独立运动部件。由于载体具有三个及以上自由度,因此上述载体可以包括三个及以上个独立运动部件。每一独立运动部件均对应一个部件坐标系。
需要说明的是,待测点可以是待测空间中的任意一点。
步骤102、获取载***于预设位与位于实际位之间的姿态坐标系变换矩阵和结构参数;其中,预设位的设置是用于在构建载体从预设位到实际位之间的姿态坐标系变换矩阵时,确定载***于预设位下各独立运动部件对应的初始姿态坐标系与测量坐标系之间的关系;载***于预设位到位于实际位之间的姿态坐标系变换矩阵构建中,在每一独立运动部件位于初始姿态的情况下,载***于预设位;结构参数包括:视觉传感器的相机内参数、载体中与视觉测量相关的每一独立运动部件的姿态参数和每一独立运动载体部件的臂长;结构参数还包括:第一交切距及对应的第一主光轴旋转半径和/或第二交切距及对应的第二主光轴旋转半径;第二交切距及第二主光轴旋转半径,是基于第一交切距、第一主光轴旋转半径和姿态坐标系变换矩阵获取。
需要说明的是,载***于预设位的情况下,载体可以通过运动,以达到不同的实际位。
具体地,可以通过数值计算、数理统计等方式,获取载***于预设位与位于实际位之间的姿态坐标系变换矩阵和结构参数。
步骤103、基于结构参数和姿态坐标系变换矩阵,在测量坐标系中表达载***于预设位和实际位的情况下视觉传感器的主点矢量、待测点的像点矢量和交会点矢量;其中,待测点的像点为待测量点在视觉传感器中的成像点;交会点为视觉传感器上像点和待测点连接光线的交会点;主光轴旋转半径为主光轴随载体旋转所形成切球的半径;交切距为主光轴与切球的切点和交会点之间的距离。
具体地,获得结构参数和载***于预设位与位于实际位之间的姿态坐标系变换矩阵之后,可以通过数值计算、数理统计等方式,在测量坐标系中表达载***于实际位的情况下,视觉传感器的主点矢量、待测点的像点矢量和待测点的交会点矢量。
步骤104、利用视觉传感器,获取包括待测点的图像,基于待测点的图像在测量坐标系中对每一配准像点进行立体场误差校正;基于结构参数、姿态坐标系变换矩阵和测量坐标系,获取所述载***于实际位下每一配准像点对应的配准像点矢量,基于每一配准像点矢量和交会点矢量,对待测点进行前方交会测量,获得待测点在测量坐标系中的坐标值,根据待测点在测量坐标系中的坐标值和以及测量坐标系与世界坐标系之间的变换关系,获得待测点在世界坐标系中的坐标值。
具体地,在载体处于实际位的情况下,视觉传感器可以获取包括待测点的图像。
视觉传感器获取包括待测点的图像之后,可以基于上述包括待测点的图像,可以基于传统的立体场误差校正方法,通过数值计算、数理统计的方法,获取每一配准像点对应的配准像点矢量。
获取每一配准像点对应的配准像点矢量之后,基于每一配准像点矢量和交会点矢量,可以基于传统的前方交会测量方法,对待测点进行前方教会测量,获得待测点在测量坐标系中的坐标值。
获得待测点在测量坐标系中的坐标值之后,可以基于测量坐标系与世界坐标系之间的变换关系以及待测点在测量坐标系中的坐标值,获得待测点在世界坐标系中的坐标值。
本发明实施例一方面能实现基于三个及以上自由度的机器人在农业或其他实际生活场景中,灵活地进行前方交会测量,另一方面能实施无靶标测量,适应场景的环境条件宽泛,扩展了视觉***的应用场景和提高了测量精度,进而创新性地实现了三个及以上自由度的视觉测量载体结构参数的前方交会测量方法和***。
基于上述各实施例的内容,基于载体和预设位置关系建立测量坐标系,具体包括:根据世界坐标系所在的部件,获取载体中空间位置相对于世界坐标系固定不变的部件,并在空间位置相对于世界坐标系固定不变的部件的旋转端建立测量坐标系,以使得测量坐标系与世界坐标系之间的变换关系固定。
图2是本发明提供的三个及以上自由度机器人视觉测量的前方交会方法中基于第一交切距和第一主光轴旋转半径的前方交会示意图。图3是本发明提供的三个及以上自由度机器人视觉测量的前方交会方法中基于第二交切距和第二主光轴旋转半径的前方交会示意图。如图2和图3所示,本发明实施例中的载体包括三个独立运动部件。
需要说明的是,按照独立运动部件与载体本体连接的顺序,可以对各独立运动部件进行编号,作为各独立运动部件的标识。与载体本体直接连接或通过其他部件与载体本体连接的第一个独立运动部件可以编号为1,上述第一个独立运动部件的标识为L1。如图2和图3所示,第一独立运动部件上方依次与上述第一个独立运动部件L1连接的独立运动部件,分别为第二个独立运动部件L2和第三个独立运动部件L3。
如图2和图3所示,根据世界坐标系所在的部件,可以确定载体中空间位置相对于世界坐标系固定不变的部件为第二个独立运动部件L2。
将测量坐标系所在部件的旋转端,作为测量坐标系原点OM,构建测量坐标系。其中,独立运动部件包括旋转端和部件端,部件端可绕旋转端旋转。
具体地,如图2和图3所示,确定第二个独立运动部件L2为测量坐标系所在部件之后,可以将第二个独立运动部件L2的旋转端的中心O2,作为测量坐标系原点OM,并基于测量坐标系原点OM构建测量坐标系。
确定载***于预设位的情况下,各独立运动部件对应的姿态坐标系与测量坐标系的旋转变换矩阵。
具体地,构建测量坐标系之后,可以通过数值计算、数理统计等方式,确定载***于预设位的情况下,各独立运动部件对应的姿态坐标系与测量坐标系之间的旋转变换矩阵。
本发明实施例通过构建测量坐标系,能实现基于三个及以上自由度的机器人进行前方交会测量。
基于上述各实施例的内容,获取所述载***于预设位与位于实际位之间的姿态坐标系变换矩阵,具体包括:获取视觉传感器的焦距,在传感器坐标系中标定主点Ocn的坐标。
在载***于预设位的情况下,各独立运动部件对应的初始姿态坐标系中的各个轴与测量坐标系中的各个轴平行,但方向和名称不同;若各独立运动部件的姿态不为初始姿态,则将各独立运动部件的姿态旋转变换至初始姿态,再在载***于预设位的情况下,获取第k个独立运动部件Lk从预设位到位于实际位之间的姿态坐标系变换矩阵
其中,a表示实际位的标识;p表示预设位的标识;i=1,2,3…,k-1,k表示载体中独立运动部件的数量;n表示载体的运动次数;Lk表示第k个独立运动部件;视觉传感器固定于第k个独立运动部件Lk的部件端,相对于其他独立运动部件,第k个独立运动部件Lk与载体本体之间的视觉测量相关的独立运动部件数最多;表示第k个独立运动部件Lk在载体完成第n次运动之后,载体在第n-1次运动后的实际位到第n次运动后的实际位之间的姿态坐标系变换矩阵,载体的运动次数n为各独立运动部件旋转端运动次数的总和,载体每一次运动对应一个独立运动部件旋转端的运动;Rkp表示载体的独立运动部件k位于预设位下,各独立运动部件对应的姿态坐标系到测量坐标系之间的旋转变换矩阵。
具体地,如图2和图3所示,在载体中独立运动部件的数量为3个的情况下,k的取值为3,视觉传感器固定于第三个独立运动部件L3的部件端。
基于上述各实施例的内容,获取结构参数,具体包括:获取独立运动部件的旋转端和部件端之间的长度,作为独立运动部件臂长,获取独立运动部件运动时姿态值,作为独立运动部件的姿态参数,在载***于实际位,保持视觉传感器有两个方向不同的自由度,且其中一个自由度是由第k个独立运动部件提供的情况下,将视觉传感器随载体旋转时主光轴旋转形成切球的半径,作为第一主光轴旋转半径ρ0,将主光轴与切球的切点Pn和交会点Fn之间的距离,作为第一交切距dz。
具体地,可以基于传统的测量方法,获取每一独立运动部件的旋转端与部件端之间的长度,作为每一独立运动部件的臂长。
可以基于载体的运动监控,获取每一独立运动部件运动时的姿态值,作为每一独立运动部件的姿态参数。
在载***于实际位的情况下,可以通过控制第三个独立运动部件L3提供一个方向的自由度,控制第一个独立运动部件L1或第二个独立运动部件L2提供另一个方向的自由度,从而保持视觉传感器有两个方向不同的自由度。
如图2所示,在载***于实际位,保持视觉传感器有两个方向不同的自由度,且其中一个自由度是由第k个独立运动部件目标独立运动部件提供的情况下,可以通过数值计算、数理统计等方式,获取视觉传感器随载体旋转时主光轴旋转形成切球的半径,作为第一主光轴旋转半径ρ0,获取主光轴与上述切球的切点Pn和交会点Fn之间的距离,作为第一交切距dz。
基于第一交切距dz、第一主光轴旋转半径ρ0和姿态坐标系变换矩阵,获取测量坐标系原点OM与测量坐标系原点OM投射到主光轴上的垂足P′n的距离,作为第二主光轴旋转半径ρ0n,将交会点Fn和垂足P′n之间的距离,作为第二交切距dzn。
具体地,如图3所示,获取第一交切距dz和第一主光轴旋转半径ρ0之后,可以基于第一交切距dz、第一主光轴旋转半径ρ0和在载***于实际位的情况下,第三个独立运动部件L3位于预设位与位于实际位之间的姿态坐标系变换矩阵通过矢量计算等方式,获取测量坐标系原点OM与测量坐标系原点OM投射到主光轴上的垂足P′n的距离,作为第二主光轴旋转半径ρ0n,将交会点Fn和垂足P′n之间的距离,作为第二交切距dzn。
基于上述各实施例的内容,基于结构参数和姿态坐标系变换矩阵,在测量坐标系中表达载***于实际位的情况下视觉传感器的主点矢量、待测点的像点矢量和交会点矢量,具体包括:在载***于预设位的情况下,第k个独立运动部件的旋转端Okp与载***于预设位时的交会点Fp之间的矢量载***于预设位时的交会点Fp与传感器坐标系的原点Ocp之间的矢量测量坐标系原点OM与第k个独立运动部件的旋转端Okp之间的矢量以及传感器坐标系的原点Ocp与载体运动n次后待测点的像点之间的矢量在测量坐标系中的表达为:
可选地,如图2所示,在载***于预设位、载体中独立运动部件的数量为3个以及测量坐标下的原点位于第二个独立运动部件旋转端的中心O2的情况下,第三个独立运动部件旋转端的中心O3p与载***于预设位时的交会点Fp之间的矢量载***于预设位时的交会点Fp与传感器坐标系的原点Ocp之间的矢量测量坐标系原点O2与第三个独立运动部件旋转端的中心O3p之间的矢量以及传感器坐标系的原点Ocp与载体运动n次后待测点的像点之间的矢量在测量坐标系中的表达为:
在载***于实际位的情况下,第k个独立运动部件旋转端的中心Okn与交会点Fn之间的矢量交会点Fn与主点Ocn之间的矢量测量坐标系原点OM和第k个独立运动部件旋转端的中心Okn之间的矢量以及主点Ocn与待测点的像点之间的矢量在测量坐标系中的表达为:
可选地,如图2所示,在载***于预设位、载体中独立运动部件的数量为3个以及测量坐标下的原点位于第二个独立运动部件旋转端的中心O2的情况下,第三个独立运动部件旋转端的中心O3n与交会点Fn之间的矢量交会点Fn与主点Ocn之间的矢量测量坐标系的原点O2和第三个独立运动部件旋转端的中心O3n之间的矢量以及主点Ocn与待测点的像点之间的矢量在测量坐标系中的表达为:
因此,
其中,和分别表示以主点为原点的传感器坐标系中待测像点的像素坐标;u0和v0分别表示主点Ocn在图像对应的传感器图像坐标系中u轴和v轴方向上的像素坐标;和分别表示待测点的像点在传感器图像坐标系中u轴和v轴方向上的像素坐标;psx和psy表示像素尺寸;f表示焦距;lk表示第k个独立运动部件Lk的臂长。
可选地,如图2所示,在载***于预设位、载体中独立运动部件的数量为3个以及测量坐标下的原点位于第二个独立运动部件旋转端的中心O2的情况下,视觉传感器的主点矢量待测点的像点矢量和交会点矢量在测量坐标系中的第一种表达方式为:
因此,
可选地,如图3所示,在载***于预设位、载体中独立运动部件的数量为3个以及测量坐标下的原点位于第二个独立运动部件旋转端的中心OM的情况下,视觉传感器的主点矢量待测点的像点矢量和交会点矢量在测量坐标系中的第二种表达方式为:
基于上述各实施例的内容,基于每一配准像点矢量和交会点矢量,对待测点进行前方交会测量,获得待测点在世界坐标系,具体包括:基于结构参数和姿态坐标系变换矩阵,在测量坐标系中表达的待测点Bm的坐标为待测点的像点的坐标为待测点Bm对应的交会点Fn的坐标为基于在载***于实际位的情况下,视觉传感器的主点矢量待测点的像点矢量和交会点矢量在测量坐标系中的第一种表达方式或第二种表达方法,获得三点共线方程:
解得:
进行泰勒展开,得到:
其中,
将误差方程表达为:
其中,常数项为:
解得第n次迭代改正数为:χn=(Λn TΛn)-1Λn TLn;
图4是本发明提供的三个及以上自由度机器人视觉测量的前方交会***的结构示意图。下面结合图4对本发明提供的三个及以上自由度机器人视觉测量的前方交会***进行描述,下文描述的三个及以上自由度机器人视觉测量的前方交会***与上文描述的本发明提供的三个及以上自由度机器人视觉测量的前方交会方法可相互对应参照。如图4所示,该装置包括:坐标系构建模块401、参数获取模块402、矢量表达单元403和前方交会测量单元404。
坐标系构建模块401,用于基于载体的各部件中空间位置相对于世界坐标系固定不变的部件建立测量坐标系,以使得测量坐标系与世界坐标系之间的变换关系固定,载体中与视觉测量相关的每一独立运动部件位于初始姿态的情况下,每一独立运动部件对应的部件坐标系与测量坐标系的变换关系确定;其中,载体为三个及以上自由度机器人;载体上固定有视觉传感器;视觉传感器用于获取待测点的图像;
参数获取模块402,用于获取载***于预设位到位于实际位之间的姿态坐标系变换矩阵和结构参数;其中,预设位的设置是用于在构建载体从预设位到实际位之间的姿态坐标系变换矩阵时,确定载***于预设位下各独立运动部件对应的初始姿态坐标系与测量坐标系之间的关系;载***于预设位到位于实际位之间的姿态坐标系变换矩阵构建中,在每一独立运动部件位于初始姿态的情况下,载***于预设位;结构参数包括:视觉传感器的相机内参数、载体中与视觉测量相关的每一独立运动部件的姿态参数和每一独立运动载体部件的臂长;结构参数还包括:第一交切距及对应的第一主光轴旋转半径和/或第二交切距及对应的第二主光轴旋转半径;第二交切距及第二主光轴旋转半径,是基于第一交切距、第一主光轴旋转半径和姿态坐标系变换矩阵获取的。
矢量表达单元403,用于基于结构参数和姿态坐标系变换矩阵,在测量坐标系中表达载***于预设位和实际位的情况下视觉传感器的主点矢量、待测点的像点矢量和交会点矢量;其中,待测点的像点为待测量点在视觉传感器中的成像点;交会点为视觉传感器上像点和待测点连接光线的交会点;主光轴旋转半径为主光轴随载体旋转所形成切球的半径;交切距为主光轴与切球的切点和交会点之间的距离;
前方交会测量单元404,用于利用视觉传感器,获取包括待测点的图像,基于待测点的图像在测量坐标系中对每一配准像点进行立体场误差校正,基于结构参数、姿态坐标系变换矩阵和测量坐标系,获取载***于实际位下每一配准像点对应的配准像点矢量,基于每一配准像点矢量和交会点矢量,对待测点进行前方交会测量,获得待测点在测量坐标系中的坐标值,根据待测点在测量坐标系中的坐标值以及测量坐标系与世界坐标系之间的变换关系,获得待测点在世界坐标系中的坐标值。
具体地,坐标系构建模块401、参数获取模块402、矢量表达单元403和前方交会测量单元404电连接。
本发明实施例一方面能实现基于三个及以上自由度的机器人在农业或其他实际生活场景中,灵活地进行前方交会测量,另一方面能实施无靶标测量,适应场景的环境条件宽泛,扩展了视觉***的应用场景和提高了测量精度,进而创新性地实现了三个及以上自由度的视觉测量载体结构参数的前方交会测量方法和***。
图5示例了一种电子设备的实体结构示意图,如图5所示,该电子设备可以包括:处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540,其中,处理器510,通信接口520,存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令,以执行三个及以上自由度机器人视觉测量的前方交会方法,该方法包括:基于载体的各部件中空间位置相对于世界坐标系固定不变的部件建立测量坐标系,以使得测量坐标系与世界坐标系之间的变换关系固定,载体中与视觉测量相关的每一独立运动部件位于初始姿态的情况下,每一独立运动部件对应的部件坐标系与测量坐标系的变换关系确定;其中,载体为三个及以上自由度机器人;载体上固定有视觉传感器;视觉传感器用于获取待测点的图像;获取载***于预设位到位于实际位之间的姿态坐标系变换矩阵和结构参数;其中,预设位的设置是用于在构建载体从预设位到实际位之间的姿态坐标系变换矩阵时,确定载***于预设位下各独立运动部件对应的初始姿态坐标系与测量坐标系之间的关系;载***于预设位到位于实际位之间的姿态坐标系变换矩阵构建中,在每一独立运动部件位于初始姿态的情况下,载***于预设位;结构参数包括:视觉传感器的相机内参数、载体中与视觉测量相关的每一独立运动部件的姿态参数和每一独立运动载体部件的臂长;结构参数还包括:第一交切距及对应的第一主光轴旋转半径和/或第二交切距及对应的第二主光轴旋转半径;第二交切距及第二主光轴旋转半径,是基于第一交切距、第一主光轴旋转半径和姿态坐标系变换矩阵获取的;基于结构参数和姿态坐标系变换矩阵,在测量坐标系中表达载***于预设位和实际位的情况下视觉传感器的主点矢量、待测点的像点矢量和交会点矢量;其中,待测点的像点为待测量点在视觉传感器中的成像点;交会点为视觉传感器上像点和待测点连接光线的交会点;主光轴旋转半径为主光轴随载体旋转所形成切球的半径;交切距为主光轴与切球的切点和交会点之间的距离;利用视觉传感器,获取包括待测点的图像,基于待测点的图像在测量坐标系中对每一配准像点进行立体场误差校正,基于结构参数、姿态坐标系变换矩阵和测量坐标系,获取载***于实际位下每一配准像点对应的配准像点矢量,基于每一配准像点矢量和交会点矢量,对待测点进行前方交会测量,获得待测点在测量坐标系中的坐标值,根据待测点在测量坐标系中的坐标值以及测量坐标系与世界坐标系之间的变换关系,获得待测点在世界坐标系中的坐标值。
此外,上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的三个及以上自由度机器人视觉测量的前方交会方法,该方法包括:基于载体的各部件中空间位置相对于世界坐标系固定不变的部件建立测量坐标系,以使得测量坐标系与世界坐标系之间的变换关系固定,载体中与视觉测量相关的每一独立运动部件位于初始姿态的情况下,每一独立运动部件对应的部件坐标系与测量坐标系的变换关系确定;其中,载体为三个及以上自由度机器人;载体上固定有视觉传感器;视觉传感器用于获取待测点的图像;获取载***于预设位到位于实际位之间的姿态坐标系变换矩阵和结构参数;其中,预设位的设置是用于在构建载体从预设位到实际位之间的姿态坐标系变换矩阵时,确定载***于预设位下各独立运动部件对应的初始姿态坐标系与测量坐标系之间的关系;载***于预设位到位于实际位之间的姿态坐标系变换矩阵构建中,在每一独立运动部件位于初始姿态的情况下,载***于预设位;结构参数包括:视觉传感器的相机内参数、载体中与视觉测量相关的每一独立运动部件的姿态参数和每一独立运动载体部件的臂长;结构参数还包括:第一交切距及对应的第一主光轴旋转半径和/或第二交切距及对应的第二主光轴旋转半径;第二交切距及第二主光轴旋转半径,是基于第一交切距、第一主光轴旋转半径和姿态坐标系变换矩阵获取的;基于结构参数和姿态坐标系变换矩阵,在测量坐标系中表达载***于预设位和实际位的情况下视觉传感器的主点矢量、待测点的像点矢量和交会点矢量;其中,待测点的像点为待测量点在视觉传感器中的成像点;交会点为视觉传感器上像点和待测点连接光线的交会点;主光轴旋转半径为主光轴随载体旋转所形成切球的半径;交切距为主光轴与切球的切点和交会点之间的距离;利用视觉传感器,获取包括待测点的图像,基于待测点的图像在测量坐标系中对每一配准像点进行立体场误差校正,基于结构参数、姿态坐标系变换矩阵和测量坐标系,获取载***于实际位下每一配准像点对应的配准像点矢量,基于每一配准像点矢量和交会点矢量,对待测点进行前方交会测量,获得待测点在测量坐标系中的坐标值,根据待测点在测量坐标系中的坐标值以及测量坐标系与世界坐标系之间的变换关系,获得待测点在世界坐标系中的坐标值。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的三个及以上自由度机器人视觉测量的前方交会方法,该方法包括:基于载体的各部件中空间位置相对于世界坐标系固定不变的部件建立测量坐标系,以使得测量坐标系与世界坐标系之间的变换关系固定,载体中与视觉测量相关的每一独立运动部件位于初始姿态的情况下,每一独立运动部件对应的部件坐标系与测量坐标系的变换关系确定;其中,载体为三个及以上自由度机器人;载体上固定有视觉传感器;视觉传感器用于获取待测点的图像;获取载***于预设位到位于实际位之间的姿态坐标系变换矩阵和结构参数;其中,预设位的设置是用于在构建载体从预设位到实际位之间的姿态坐标系变换矩阵时,确定载***于预设位下各独立运动部件对应的初始姿态坐标系与测量坐标系之间的关系;载***于预设位到位于实际位之间的姿态坐标系变换矩阵构建中,在每一独立运动部件位于初始姿态的情况下,载***于预设位;结构参数包括:视觉传感器的相机内参数、载体中与视觉测量相关的每一独立运动部件的姿态参数和每一独立运动载体部件的臂长;结构参数还包括:第一交切距及对应的第一主光轴旋转半径和/或第二交切距及对应的第二主光轴旋转半径;第二交切距及第二主光轴旋转半径,是基于第一交切距、第一主光轴旋转半径和姿态坐标系变换矩阵获取的;基于结构参数和姿态坐标系变换矩阵,在测量坐标系中表达载***于预设位和实际位的情况下视觉传感器的主点矢量、待测点的像点矢量和交会点矢量;其中,待测点的像点为待测量点在视觉传感器中的成像点;交会点为视觉传感器上像点和待测点连接光线的交会点;主光轴旋转半径为主光轴随载体旋转所形成切球的半径;交切距为主光轴与切球的切点和交会点之间的距离;利用视觉传感器,获取包括待测点的图像,基于待测点的图像在测量坐标系中对每一配准像点进行立体场误差校正,基于结构参数、姿态坐标系变换矩阵和测量坐标系,获取载***于实际位下每一配准像点对应的配准像点矢量,基于每一配准像点矢量和交会点矢量,对待测点进行前方交会测量,获得待测点在测量坐标系中的坐标值,根据待测点在测量坐标系中的坐标值以及测量坐标系与世界坐标系之间的变换关系,获得待测点在世界坐标系中的坐标值。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离独立运动部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的独立运动部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种三个及以上自由度机器人视觉测量的前方交会方法,其特征在于,包括:
基于载体的各部件中空间位置相对于世界坐标系固定不变的部件建立测量坐标系,以使得所述测量坐标系与所述世界坐标系之间的变换关系固定,所述载体中与视觉测量相关的每一独立运动部件位于初始姿态的情况下,每一所述独立运动部件对应的部件坐标系与所述测量坐标系的变换关系确定;其中,所述载体为三个及以上自由度机器人;所述载体上固定有视觉传感器;所述视觉传感器用于获取待测点的图像;
获取所述载***于预设位到位于实际位之间的姿态坐标系变换矩阵和结构参数;其中,预设位的设置是用于在构建所述载体从预设位到实际位之间的姿态坐标系变换矩阵时,确定所述载***于预设位下各所述独立运动部件对应的初始姿态坐标系与所述测量坐标系之间的关系;所述载***于预设位到位于实际位之间的姿态坐标系变换矩阵构建中,在每一所述独立运动部件位于初始姿态的情况下,所述载***于预设位;所述结构参数包括:所述视觉传感器的相机内参数、所述载体中与视觉测量相关的每一独立运动部件的姿态参数和每一所述独立运动载体部件的臂长;所述结构参数还包括:第一交切距及对应的第一主光轴旋转半径和/或第二交切距及对应的第二主光轴旋转半径;所述第二交切距及所述第二主光轴旋转半径,是基于所述第一交切距、所述第一主光轴旋转半径和所述姿态坐标系变换矩阵获取的;
基于所述结构参数和所述姿态坐标系变换矩阵,在所述测量坐标系中表达所述载***于预设位和实际位的情况下所述视觉传感器的主点矢量、待测点的像点矢量和交会点矢量;其中,所述待测点的像点为所述待测量点在所述视觉传感器中的成像点;所述交会点为所述视觉传感器上所述像点和所述待测点连接光线的交会点;所述主光轴旋转半径为主光轴随所述载体旋转所形成切球的半径;所述交切距为所述主光轴与所述切球的切点和所述交会点之间的距离;
利用所述视觉传感器,获取包括所述待测点的图像,基于所述待测点的图像在所述测量坐标系中对每一配准像点进行立体场误差校正,基于所述结构参数、所述姿态坐标系变换矩阵和所述测量坐标系,获取所述载***于实际位下每一所述配准像点对应的配准像点矢量,基于所述每一所述配准像点矢量和所述交会点矢量,对所述待测点进行前方交会测量,获得所述待测点在所述测量坐标系中的坐标值,根据所述待测点在所述测量坐标系中的坐标值以及所述测量坐标系与所述世界坐标系之间的变换关系,获得所述待测点在所述世界坐标系中的坐标值。
2.根据权利要求1所述的三个及以上自由度机器人视觉测量的前方交会方法,其特征在于,所述基于载体和预设位置关系建立测量坐标系,具体包括:
根据所述世界坐标系所在的部件,获取所述载体中空间位置相对于所述世界坐标系固定不变的部件,并在所述空间位置相对于所述世界坐标系固定不变的部件的旋转端建立测量坐标系,以使得所述测量坐标系与所述世界坐标系之间的变换关系固定;
将所述测量坐标系所在部件的旋转端,作为所述测量坐标系原点OM,构建所述测量坐标系;
确定所述载***于预设位的情况下,各所述独立运动部件对应的姿态坐标系与所述测量坐标系之间的旋转变换矩阵;
其中,所述独立运动部件包括旋转端和部件端,所述部件端可绕所述旋转端旋转。
3.根据权利要求2所述的三个及以上自由度机器人视觉测量的前方交会方法,其特征在于,所述获取所述载***于预设位与位于实际位之间的姿态坐标系变换矩阵,具体包括:
获取所述视觉传感器的焦距,在所述视觉传感器对应的传感器坐标系中标定所述主点Ocn的坐标;
在所述载***于预设位的情况下,各所述独立运动部件对应的初始姿态坐标系中的各个轴与所述测量坐标系中的各个轴平行,但方向和名称不同;若各所述独立运动部件的姿态不为初始姿态,则将各所述独立运动部件的姿态旋转变换至初始姿态,再在所述载***于预设位的情况下,获取第k个独立运动部件Lk从预设位到位于实际位之间的姿态坐标系变换矩阵
其中,a表示实际位的标识;p表示预设位的标识;i=1,2,3…,k-1,k表示所述载体中所述独立运动部件的数量;n表示所述载体的运动次数;Lk表示第k个独立运动部件;所述视觉传感器固定于所述第k个独立运动部件Lk的部件端,相对于其他独立运动部件,所述第k个独立运动部件与所述载体本体之间的视觉测量相关的独立运动部件数最多;表示所述第k个独立运动部件Lk在所述载体完成第n次运动之后,所述载体在第n-1次运动后的实际位到第n次运动后的实际位之间的姿态坐标系变换矩阵,所述载体的运动次数n为各所述独立运动部件旋转端运动次数的总和,所述载体每一次运动对应一个所述独立运动部件旋转端的运动;Rkp表示所述第k个独立运动部件Lk位于预设位下,各所述独立运动部件对应的姿态坐标系到所述测量坐标系之间的旋转变换矩阵。
4.根据权利要求3所述的三个及以上自由度机器人视觉测量的前方交会方法,其特征在于,所述获取结构参数,具体包括:
获取所述独立运动部件的旋转端和部件端之间的长度,作为所述独立运动部件的臂长,
获取所述独立运动部件运动时姿态值,作为所述独立运动部件的姿态参数,
在所述载***于实际位,保持所述视觉传感器有两个方向垂直的自由度,且其中一个自由度是由所述第k个独立运动部件提供的情况下,将所述视觉传感器随所述载体旋转时主光轴旋转形成切球的半径,作为所述第一主光轴旋转半径ρ0,将主光轴与所述切球的切点Pn和交会点Fn之间的距离,作为所述第一交切距dz;
5.根据权利要求4所述的三个及以上自由度机器人视觉测量的前方交会方法,其特征在于,所述基于所述结构参数和所述姿态坐标系变换矩阵,在所述测量坐标系中表达所述载***于实际位的情况下所述视觉传感器的主点矢量、待测点的像点矢量和交会点矢量,具体包括:
在所述载***于预设位的情况下,所述第k个独立运动部件旋转端的中心Okp与所述载***于预设位时的交会点Fp之间的矢量所述载***于预设位时的交会点Fp与所述传感器坐标系的原点Ocp之间的矢量所述测量坐标系原点OM与所述第k个独立运动部件旋转端的中心Okp之间的矢量以及所述传感器坐标系的原点Ocp与所述载体运动n次后所述待测点像点之间的矢量在测量坐标系中的表达为:
在所述载***于实际位的情况下,所述第k个独立运动部件旋转端的中心Okn与所述交会点Fn之间的矢量所述交会点Fn与所述主点Ocn之间的矢量所述测量坐标系的原点OM和所述第k个独立运动部件旋转端的中心Okn之间的矢量以及所述主点Ocn与所述待测点的像点之间的矢量在测量坐标系中的表达为:
因此,
其中,和分别表示以主点为原点的所述传感器坐标系中待测像点的像素坐标;u0和v0分别表示所述主点Ocn在所述图像对应的传感器图像坐标系中u轴和v轴方向上的像素坐标;和分别表示所述待测点的像点在所述传感器图像坐标系中u轴和v轴方向上的像素坐标;psx和psy表示像素尺寸,f表示所述焦距,lk表示所述第k个独立运动部件Lk的臂长;
6.根据权利要求5所述的三个及以上自由度机器人视觉测量的前方交会方法,其特征在于,所述基于每一所述配准像点矢量和所述交会点矢量,对所述待测点进行前方交会测量,获得所述待测点在所述世界坐标系,具体包括:
基于所述结构参数和所述姿态坐标系变换矩阵,在所述测量坐标系中表达的所述待测点Bm的坐标为所述待测点的像点的坐标为所述待测点Bm对应的交会点Fn的坐标为基于在所述载***于实际位的情况下,所述视觉传感器的主点矢量待测点的像点矢量和交会点矢量在测量坐标系中的第一种表达方式或第二种表达方法,获得三点共线方程:
解得:
进行泰勒展开,得到:
其中,
将误差方程表达为:
其中,常数项为:
解得第n次迭代改正数为:χn=(Λn TΛn)-1Λn TLn;
7.一种三个及以上自由度机器人视觉测量的前方交会***,其特征在于,包括:
坐标系构建模块,用于基于载体的各部件中空间位置相对于世界坐标系固定不变的部件建立测量坐标系,以使得所述测量坐标系与所述世界坐标系之间的变换关系固定,所述载体中与视觉测量相关的每一独立运动部件位于初始姿态的情况下,每一所述独立运动部件对应的部件坐标系与所述测量坐标系的变换关系确定;其中,所述载体为三个及以上自由度机器人;所述载体上固定有视觉传感器;所述视觉传感器用于获取待测点的图像;
参数获取模块,用于获取所述载***于预设位到位于实际位之间的姿态坐标系变换矩阵和结构参数;其中,预设位的设置是用于在构建所述载体从预设位到实际位之间的姿态坐标系变换矩阵时,确定所述载***于预设位下各所述独立运动部件对应的初始姿态坐标系与所述测量坐标系之间的关系;所述载***于预设位到位于实际位之间的姿态坐标系变换矩阵构建中,在每一所述独立运动部件位于初始姿态的情况下,所述载***于预设位;所述结构参数包括:所述视觉传感器的相机内参数、所述载体中与视觉测量相关的每一独立运动部件的姿态参数和每一所述独立运动载体部件的臂长;所述结构参数还包括:第一交切距及对应的第一主光轴旋转半径和/或第二交切距及对应的第二主光轴旋转半径;所述第二交切距及所述第二主光轴旋转半径,是基于所述第一交切距、所述第一主光轴旋转半径和所述姿态坐标系变换矩阵获取的;
矢量表达单元,用于基于所述结构参数和所述姿态坐标系变换矩阵,在所述测量坐标系中表达所述载***于预设位和实际位的情况下所述视觉传感器的主点矢量、待测点的像点矢量和交会点矢量;其中,所述待测点的像点为所述待测量点在所述视觉传感器中的成像点;所述交会点为所述视觉传感器上所述像点和所述待测点连接光线的交会点;所述主光轴旋转半径为主光轴随所述载体旋转所形成切球的半径;所述交切距为所述主光轴与所述切球的切点和所述交会点之间的距离;
前方交会测量单元,用于利用所述视觉传感器,获取包括所述待测点的图像,基于所述待测点的图像在所述测量坐标系中对每一配准像点进行立体场误差校正,基于所述结构参数、所述姿态坐标系变换矩阵和所述测量坐标系,获取所述载***于实际位下每一所述配准像点对应的配准像点矢量,基于所述每一所述配准像点矢量和所述交会点矢量,对所述待测点进行前方交会测量,获得所述待测点在所述测量坐标系中的坐标值,根据所述待测点在所述测量坐标系中的坐标值以及所述测量坐标系与所述世界坐标系之间的变换关系,获得所述待测点在所述世界坐标系中的坐标值。
8.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6任一项所述三个及以上自由度机器人视觉测量的前方交会方法。
9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述三个及以上自由度机器人视觉测量的前方交会方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述三个及以上自由度机器人视觉测量的前方交会方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210272433.7A CN114516051B (zh) | 2022-03-18 | 2022-03-18 | 三个及以上自由度机器人视觉测量的前方交会方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210272433.7A CN114516051B (zh) | 2022-03-18 | 2022-03-18 | 三个及以上自由度机器人视觉测量的前方交会方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114516051A true CN114516051A (zh) | 2022-05-20 |
CN114516051B CN114516051B (zh) | 2023-05-30 |
Family
ID=81600511
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210272433.7A Active CN114516051B (zh) | 2022-03-18 | 2022-03-18 | 三个及以上自由度机器人视觉测量的前方交会方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114516051B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117274326A (zh) * | 2023-08-25 | 2023-12-22 | 中国农业大学 | 基于距离估计和姿态参数的机器视觉图像配准方法和*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014052758A (ja) * | 2012-09-06 | 2014-03-20 | Hiroshima City Univ | 視線計測方法 |
CN108489395A (zh) * | 2018-04-27 | 2018-09-04 | 中国农业大学 | 视觉测量***结构参数标定和仿射坐标系构建方法与*** |
US20210187745A1 (en) * | 2019-12-18 | 2021-06-24 | Industrial Technology Research Institute | Automated calibration system and method for a workpiece coordinate frame of a robot |
CN113405532A (zh) * | 2021-05-31 | 2021-09-17 | 中国农业大学 | 基于视觉***结构参数的前方交会测量方法及*** |
CN113977558A (zh) * | 2021-11-29 | 2022-01-28 | 湖南交通职业技术学院 | 一种可视化动态显示并联机器人末端轨迹的装置及方法 |
-
2022
- 2022-03-18 CN CN202210272433.7A patent/CN114516051B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014052758A (ja) * | 2012-09-06 | 2014-03-20 | Hiroshima City Univ | 視線計測方法 |
CN108489395A (zh) * | 2018-04-27 | 2018-09-04 | 中国农业大学 | 视觉测量***结构参数标定和仿射坐标系构建方法与*** |
US20210187745A1 (en) * | 2019-12-18 | 2021-06-24 | Industrial Technology Research Institute | Automated calibration system and method for a workpiece coordinate frame of a robot |
CN113405532A (zh) * | 2021-05-31 | 2021-09-17 | 中国农业大学 | 基于视觉***结构参数的前方交会测量方法及*** |
CN113977558A (zh) * | 2021-11-29 | 2022-01-28 | 湖南交通职业技术学院 | 一种可视化动态显示并联机器人末端轨迹的装置及方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117274326A (zh) * | 2023-08-25 | 2023-12-22 | 中国农业大学 | 基于距离估计和姿态参数的机器视觉图像配准方法和*** |
CN117274326B (zh) * | 2023-08-25 | 2024-07-16 | 中国农业大学 | 基于距离估计和姿态参数的机器视觉图像配准方法和*** |
Also Published As
Publication number | Publication date |
---|---|
CN114516051B (zh) | 2023-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113532311B (zh) | 点云拼接方法、装置、设备和存储设备 | |
CN109920011B (zh) | 激光雷达与双目摄像头的外参标定方法、装置及设备 | |
CN107738254B (zh) | 一种机械臂坐标系的转换标定方法与*** | |
CN108346165B (zh) | 机器人与三维传感组件联合标定方法与装置 | |
CN109859275B (zh) | 一种基于s-r-s结构的康复机械臂的单目视觉手眼标定方法 | |
CN107883929B (zh) | 基于多关节机械臂的单目视觉定位装置及方法 | |
CN110456330B (zh) | 一种相机与激光雷达之间外参无目标自动标定方法及*** | |
CN110264528B (zh) | 一种鱼眼镜头双目像机快速自标定方法 | |
CN110136204B (zh) | 基于双侧远心镜头相机机床位置标定的音膜球顶装配*** | |
CN111897349A (zh) | 一种基于双目视觉的水下机器人自主避障方法 | |
CN108621167B (zh) | 一种基于轮廓边及内包圆特征的视觉伺服解耦控制方法 | |
Boochs et al. | Increasing the accuracy of untaught robot positions by means of a multi-camera system | |
CN111612794A (zh) | 基于多2d视觉的零部件高精度三维位姿估计方法及*** | |
CN104697463B (zh) | 一种双目视觉传感器的消隐特征约束标定方法及装置 | |
CN114310901B (zh) | 用于机器人的坐标系标定方法、装置、***以及介质 | |
CN104167001B (zh) | 基于正交补偿的大视场摄像机标定方法 | |
CN111316325B (zh) | 拍摄装置参数标定方法、设备及存储介质 | |
CN113724337B (zh) | 一种无需依赖云台角度的相机动态外参标定方法及装置 | |
CN115861445B (zh) | 一种基于标定板三维点云的手眼标定方法 | |
CN114516051A (zh) | 三个及以上自由度机器人视觉测量的前方交会方法及*** | |
CN114638897A (zh) | 基于无重叠视域的多相机***的初始化方法、***及装置 | |
US20210156710A1 (en) | Map processing method, device, and computer-readable storage medium | |
CN111699445B (zh) | 机器人运动学模型优化方法、***和存储装置 | |
CN116721166B (zh) | 双目相机和imu旋转外参在线标定方法、装置及存储介质 | |
CN113405532B (zh) | 基于视觉***结构参数的前方交会测量方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |