CN113155097B - 具有位姿补偿功能的动态追踪***及其位姿补偿方法 - Google Patents
具有位姿补偿功能的动态追踪***及其位姿补偿方法 Download PDFInfo
- Publication number
- CN113155097B CN113155097B CN202010074120.1A CN202010074120A CN113155097B CN 113155097 B CN113155097 B CN 113155097B CN 202010074120 A CN202010074120 A CN 202010074120A CN 113155097 B CN113155097 B CN 113155097B
- Authority
- CN
- China
- Prior art keywords
- pose
- image
- sensing area
- height
- compensation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000033001 locomotion Effects 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C1/00—Measuring angles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Manufacturing & Machinery (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供一种动态追踪***及其位姿补偿方法。***拍摄物体抵达第一感测区域时的第一影像,依据第一影像决定物体的第一位姿,依据第一位姿调整第二感测区域,拍摄物体抵达第二感测区域时的第二影像并基于第二影像测量感测高度,及依据物体的预设高度及感测高度补偿第一位姿为第二位姿。本发明可准确地对物体的高度进行补偿并补偿位姿,而可提升动态追踪的准确度。
Description
技术领域
本发明涉及动态追踪,特别涉及具有位姿补偿功能的动态追踪***及其位姿补偿方法。
背景技术
现有的动态追踪***是通过2D摄影机来决定欲追踪的物体的位姿(如物体的位置与放置方向),并依据所决定的位姿来持续追踪物体。
前述基于2D电脑视觉的动态追踪***由于仅需进行2D视觉处理,具有处理数据量低的优点,而有利于实时追踪。然而,2D电脑视觉并无法检测出物体于Z轴方向上的变化(如物体倾斜、元件位置过高或过低),这使得现有的动态追踪***所决定的物体的位姿具有高度误差,而造成追踪发生错误,举例来说,当追踪物体并进行自动加工时,前述高度误差会导致加工器械的高度过高或过低,而可能碰撞物体或未能完成加工。
目前另有一种动态追踪***是通过3D摄影机来决定物体的3D位姿,然而,前述基于3D视觉的动态追踪***必须对整个物体进行完整3D扫描并建模才能产生3D位姿,这会耗费大量处理时间与资源,而无法适用于实时追踪。
有鉴于此,目前亟待一种可补偿物体高度的位姿补偿方案被提出。
发明内容
本发明提供一种具有位姿补偿功能的动态追踪***及其位姿补偿方法,仅需测量物体的部分位置的高度,即可补偿物体的位姿的高度信息。
于一实施例中,一种位姿补偿方法,用于动态追踪***,动态追踪***包括第一影像获取装置、第二影像获取装置、测距装置及控制装置,位姿补偿方法包括以下步骤:控制装置控制第一影像获取装置拍摄物体抵达第一影像获取装置定义的第一感测区域时的第一影像;依据第一影像决定物体的第一位姿;依据第一位姿调整第二影像获取装置或测距装置定义的第二感测区域;判断物体是否抵达第二感测区域;控制第二影像获取装置拍摄物体抵达第二感测区域时的第二影像并经由该测距装置测量感测高度;以及,依据物体的预设高度及感测高度补偿第一位姿为第二位姿。
于一实施例中,一种具有位姿补偿功能的动态追踪***,包括第一影像获取装置、第二影像获取装置、测距装置及电性连接第一影像获取装置、第二影像获取装置及测距装置的控制装置。第一影像获取装置用以拍摄物体抵达第一感测区域时的第一影像。第二影像获取装置用以拍摄物体抵达第二感测区域时的第二影像。测距装置用以于物体抵达第二感测区域时基于第二影像测量感测高度,物体是先抵达第一感测区域,再抵达第二感测区域。控制装置用以依据第一影像决定物体的第一位姿,依据第一位姿调整第二感测区域,并依据物体的预设高度及感测高度补偿第一位姿为第二位姿。
本发明可准确地对物体的高度进行补偿并补偿位姿,而可提升动态追踪的准确度。
附图说明
图1为本发明一实施例的动态追踪***的架构图;
图2为本发明另一实施例的动态追踪***的架构图;
图3为本发明第一实施例的位姿补偿方法的流程图;
图4A为本发明第二实施例的位姿补偿方法的第一流程图;
图4B为本发明第二实施例的位姿补偿方法继续的第二流程图;
图5为本发明第三实施例的位姿补偿方法的部分流程图;
图6为本发明第四实施例的位姿补偿方法的部分流程图;
图7A为本发明的第一示例的物***姿的第一示意图;
图7B为本发明的第一示例的物***姿的第二示意图;
图7C为本发明的第一示例的物***姿的第三示意图;
图7D为本发明的第一示例的物***姿的第四示意图;
图7E为本发明的第一示例的物***姿的第五示意图;
图8A为本发明的第二示例的位姿补偿与物体处理的第一示意图;
图8B为本发明的第二示例的位姿补偿与物体处理的第二示意图;
图8C为本发明的第二示例的位姿补偿与物体处理的第三示意图;
图9A为本发明的第三示例的位姿补偿与物体处理的第一示意图;
图9B为本发明的第三示例的位姿补偿与物体处理的第二示意图;
图9C为本发明的第三示例的位姿补偿与物体处理的第三示意图;
图10为本发明的第四示例的位姿补偿与物体处理的第一示意图;
图11为本发明的第四示例的位姿补偿与物体处理的第二示意图;以及
图12为本发明的第四示例的位姿补偿与物体处理的第三示意图。
附图标记说明:
1、1’:动态追踪***
10:控制装置
11:第一影像获取装置
12:第二影像获取装置
13:测距装置
14:存储装置
15、150、151:设备调整装置
16:物体处理装置
17:运输装置
170:编码装置
171:轨道车
2、3、4、5、6、70、80、9、9’:物体
20、21、30、31、40、41、50、51:标记
22、23、52、53、62、63:芯片
90-92、90’-92’:特征点
h1-h2:高度偏移量
h3-h5:感测高度
x1、x2、y1、y2:偏移量
θ1:角度偏移量
R1-R3:区域
S10-S16:第一补偿步骤
S200-S213:第二补偿步骤
S30-S31:位姿决定步骤
S40-S41:高度测量步骤
S50-S51:补偿步骤
具体实施方式
下面结合附图和具体实施例对本发明技术方案进行详细的描述,以更进一步了解本发明的目的、方案及技术效果,但并非作为本发明所附权利要求的限制。
本发明主要是提供一种具有位姿补偿功能的动态追踪***及其位姿补偿方法,是改良2D视觉***来解决“现有2D视觉***的动态追踪***具有高度误差”及“现有3D视觉***的动态追踪***必须耗费大量处理时间”的问题。
接着示例性说明如何使用2D视觉***来追踪物体。
请一并参阅图7A至图7E,图7A为第一示例的物***姿的第一示意图,图7B为第一示例的物***姿的第二示意图,图7C为第一示例的物***姿的第三示意图,图7D为第一示例的物***姿的第四示意图,图7E为第一示例的物***姿的第五示意图。
如图7A所示,于理想状况下,物体2(以电路板为例)是位于所拍摄的2D影像的中心。更进一步地,动态追踪***可依据物体2的特征(如标记20及/或标记21)来确定物体于影像中的位置,并进一步决定物体2上的元件(如芯片22及芯片23)的位置。
如图7B所示,于部分状况下,物体3与所拍摄的2D影像中心之间存在平移偏移。于此状况下,动态追踪***可依据物体3的特征(如标记30及/或标记31)来确定物体3于影像中的位置,并计算物体3与影像中心间的偏移量(如X轴偏移量为x1,Y轴偏移量为y1)。
如图7C所示,于部分状况下,物体4与所拍摄的2D影像中心之间存在旋转偏移。于此状况下,动态追踪***可依据物体4的特征(如标记40及/或标记41)来确定物体4的物体基准线,并计算物体基准线与影像基准线(如垂直线)间的角度偏移量(如角度θ1)。
此外,如图7D所示,动态追踪***依据标记50、51定位物体5并补偿偏移,而可决定物体5补偿偏移后的基于影像中心的位姿。接着,动态追踪***可基于物体5的位姿进行各种分析及/或处理,如依据预设元件位置判断物体5是否有元件缺陷,或元件位置错误等等(如缺少芯片53,或芯片52的位置错误等等)。
然而,如图7E所示,当物体6存在高度偏移(如芯片62所在位置存在高度偏移量h1,芯片63的元件高度存在高度偏移量h2)时,由于仅使用2D视觉***,动态追踪***并无法察觉前述高度偏移,而使得所决定物体6的位姿存在高度误差,而会使后续分析及/或处理发生错误。
请参阅图1,为本发明一实施例的动态追踪***的架构图。本发明的动态追踪***1主要包括第一影像获取装置11、第二影像获取装置12、测距装置13及电性连接上述装置的控制装置10。
第一影像获取装置11与第二影像获取装置12(如2D摄影机)分别具有各自定义的感测区域(即取像范围,如后述的第一感测区域与第二感测区域),并可受控制来对各自定义的感测区域进行拍摄来分别获得2D感测影像。于一实施例中,第一影像获取装置11与第二影像获取装置12定义的感测区域彼此互不重叠。
测距装置13受控制来测量物体的高度。于一实施例中,测距装置13可测量第二感测区域内的各位置的高度,即当物体进入第二感测区域后,测距装置13可在该范围内测量物体高度。
于一实施例中,测距装置13为红外线激光单点测距仪,而可受控制来精准地且快速地测量物体上的一个或多个指定点的高度值(即感测高度),前述高度值可依据所测量的指定点与测距装置13之间的距离与测距装置13的设置高度进行计算来获得。
续请一并参阅图2,为本发明另一实施例的动态追踪***的架构图。相较于图1所示的实施例,本实施例的动态追踪***1’还包括电性连接控制装置10的存储装置14、设备调整装置15、物体处理装置16及/或运输装置17。
存储装置14用以存储数据。设备调整装置15(如机械手臂)用以设置第二影像装置12与测距装置13的至少其中的一者,并可移动前述所设置其上的一或多个装置以改变装置定义的感测区域(即第二感测区域)的位置及/或范围。
物体处理装置16(如自动检测设备或自动组装设备等等,可由机械手臂来加以实现)被设定有处理区域,当物体进入处理区域时,物体处理装置16可对物体进行指定的分析及/或处理(如检测瑕疵、进行组装、粘着或焊接)。
运输装置17(如输送带装置或轨道装置)用以运输物体,以使物体沿运输路径按序经过第一感测区域、第二感测区域及处理区域。
于一实施例中,运输装置17包括编码装置170。编码装置170用以提供运输状态数据,前述运输状态数据用以指示当前的运输速度及/或前述运输路径的定位点(如物体所在位置或坐标原点位置)的当前位置,但不以此限定。
于一实施例中,前述运输状态数据可由其他方式获得,如沿运输路径设置多个摄影机,以依据物体出现于各拍摄画面中的时间与位置来计算运输状态数据,或者,沿运输路径设置多个物体感测器来依据物***置与通过时间计算运输状态数据,或者,于物体上设置RFID标签,并沿运输路径设置多个RFID读取器来依据标签位置与通过时间计算运输状态数据。
请一并参阅图3,为本发明第一实施例的位姿补偿方法的流程图。本发明各实施例的位姿补偿方法可由图1或图2所示的动态追踪***1、1’来加以实现(后续将主要以图2的动态追踪***1’进行说明)。
本发明主要是使用第一影像获取装置11基于2D视觉来建立物体的位姿,前述位姿是用来追踪物体并调整第二感测区域的位置及/或范围,而使第二影像获取装置12与测距装置13可以更精准地对物体进行高度感测。并且,本发明还经由第二影像获取装置12协同测距装置13来测量物体的感测高度,并以感测高度来补偿位姿以提升位姿的精确度。
具体而言,本实施例的位姿补偿方法主要包括以下步骤。
步骤S10:控制装置10判断物体是否抵达第一影像获取装置11定义的第一感测区域。
于一实施例中,运输装置17设置有物体感测器(如红外线感测器、光栅感测器或磁感应器),物体感测器于检测到物体经过时发出触发信号,控制装置10可依据触发信号与物体感测器的设置位置来获得物体当前的位置。
于一实施例中,控制装置10可持续控制影像获取装置(如第一影像获取装置11及/或第二影像获取装置12)持续进行拍摄影像,控制装置10可于所拍摄的多张影像中至少包括一张含有物体的影像时,依据影像获取装置定义的感测区域的位置来获得物***置。
更进一步地,控制装置10于获得物***置后,可自运输装置17的编码装置170(或前述其他方式)持续取得运输状态数据,并依据运输状态数据来持续追踪物***置及位置变化,以判断物体是否持续移动而抵达各指定区域。
若控制装置10判断物体抵达第一感测区域,则执行步骤S11。否则,控制装置10再次执行步骤S10以持续判断。
步骤S11:控制装置10控制第一影像获取装置11对抵达第一感测区域的物体进行拍摄以获得影像,以获得物体抵达第一感测区域时的第一影像。
于一实施例中,物体感测器设置于传输路径中的第一感测区域之中(或该区域之前),当物体进入(或即将进入)第一感测区域时,会触发物体感测器,这使得第一影像获取装置11可依据触发信号拍摄第一影像。
步骤S12:控制装置10依据第一影像决定物体的位姿(即,第一位姿)。
于一实施例中,前述第一位姿是用来指示物体的放置位置与放置方向,而可使控制装置10对物体上的各部位进行准确的定位。更进一步地,前述第一位姿可包括物体的坐标与转角。
步骤S13:控制装置10依据第一位姿调整第二影像获取装置12及/或测距装置13定义的第二感测区域。
具体而言,控制装置10是控制设备调整装置15来调整第二影像获取装置12的拍摄高度、拍摄角度、拍摄范围或拍摄位置等等,及/或调整测距装置13的测量高度、测量角度、测量范围或测量位置等等,以调整第二感测区域的位置或范围,而尽可能使物体通过第二感测区域的中心。
因此,即便物体的放置位置或放置方向存在偏移(如放置位置偏左,或是放置方向旋转一角度),本发明的设备调整装置15仍可依据偏移位置或角度来调整第二感测区域来完整涵盖物体,而提升测量精确度。
步骤S14:控制装置10判断物体是否抵达第二感测区域。前述判断方式是与步骤S10相同或相似,于此不再赘述。
若控制装置10判断物体抵达第二感测区域,则执行步骤S15。否则,控制装置10再次执行步骤S14以持续判断。
步骤S15:控制装置10控制第二影像获取装置12对抵达第二感测区域的物体进行拍摄,以获得物体抵达第二感测区域时的第二影像。
于一实施例中,另一物体感测器设置于传输路径中第二感测区域之中(或该区域之前),当物体进入(或即将进入)第二感测区域时,会触发物体感测器,这使得第二影像获取装置12可依据触发信号拍摄第二影像。
于一实施例中,第二影像获取装置12是持续拍摄多张影像,而于步骤S14中是检测所持续拍摄的多张影像中的任一者是否包括物体的影像(如包含完整物体的影像或包含物体上指定特征的影像),以判断物体是否抵达第二感测区域,并于步骤S15中将包括物体的该张影像传输至控制装置10作为前述第二影像。
举例来说,第二影像获取装置12可将持续拍摄的多张影像中,第一张出现物体影像的该张影像作为前述第二影像,即认定拍摄到此张影像的时间为物体抵达第二感测区域的时间,但不以此为限,亦可改采第二张影像、第三张影像等等。
接着,控制装置10基于第二影像的触发或定位,控制测距装置13对物体进行测量以获得感测高度。
具体而言,控制装置10可于第二影像中识别物体的一个或多个指定部位,并控制测距装置13对指定部位的高度进行测量以获得各指定部位的感测高度。
步骤S16:控制装置10依据物体的预设高度及感测高度补偿第一位姿为第二位姿。
于一实施例中,存储装置14进一步存储物体的预设高度(如物体于预设位姿时,指定部位的预设高度)。控制装置10可计算预设高度及感测高度之间的偏移量,并依据此偏移量来补偿第一位姿(如修正第一位姿中的转角)以获得前述第二位姿。物体的预设位姿稍后说明。
因此,本发明可基于2D电脑视觉来快速地决定物体的位姿,并且,经由对所产生的位姿进行高度补偿,本发明可有效解决“2D电脑视觉无法检测物体于Z轴方向上的变化”的问题。
请一并参阅图4A及图4B,图4A为本发明第二实施例的位姿补偿方法的第一流程图,图4B为本发明第二实施例的位姿补偿方法继续的第二流程图。需说明的是,本实施例的步骤S202、S203-S205与S206-S208是对应图3的步骤S10-S16,但提供更具体的实施方式。
本实施例的位姿补偿方法包括以下步骤。
步骤S200:控制装置10控制第一影像获取装置11开始连续拍摄影像。
于一实施例中,控制装置10可控制第一影像获取装置11每隔一预设时间间隔(如1/30秒、1/2秒或1秒)拍摄一张影像。
步骤S201:物体被摆放于运输装置17,控制装置10控制运输装置17沿预先设定的运输路径开始运输物体。前述运输路径按序经过第一感测区域、第二感测区域与处理区域。
于一实施例中,若运输装置17为输送带装置,则运输路径为输送带路径。
于一实施例中,若运输装置17为轨道装置,则运输路径为轨道路径。
于一实施例中,运输装置17可为无人载具,则运输路径为虚拟的驾驶路径。
接着,于运输过程中,动态追踪***1’执行以下步骤。
步骤S202:动态追踪***1’判断物体是否抵达第一感测区域。
于一实施例中,控制装置10持续取得运输装置17的运输状态数据,并依据运输状态数据判断物体是否抵达第一影像获取装置11定义的第一感测区域。
更进一步地,运输状态数据可包括运输装置17的位移量及/或移动速度,控制装置10是取得物体的初始位置(如物体感测器所在位置),并依据初始位置与运输装置17的位移量或移动速度来决定物体当前于运输路径上的位置(变化)。
于一实施例中,第一影像获取装置11持续拍摄影像,并检测所拍摄的多张影像中是否包括至少一张有物体的影像以判断物体是否抵达第一感测区域,如对影像进行物件识别,或者依据连续拍摄的多张影像之间的影像内容变化来决定是否拍摄到物体(如在加工器械背景出现其他物体且在多张影像中呈连续移动)。
若动态追踪***1’判断物体抵达第一感测区域,则执行步骤S202。否则,动态追踪***1’再次执行步骤S201以持续判断。
步骤S203:控制装置10取得物体抵达第一感测区域时的第一影像。
于一实施例中,第一影像获取装置11于持续拍摄的多张影像中的任一张影像包括物体的影像(如包含完整物体的影像或包含物体上指定特征的影像)时,判定物体抵达第一感测区域,并将此张影像作为第一影像并传输至控制装置10。
举例来说,第一影像获取装置11可将持续拍摄的多张影像中,第一张出现物体影像的该张影像作为前述第一影像,即认定拍摄到此张影像的时间为物体抵达第一感测区域的时间,但不以此为限,亦可改采第二张影像、第三张影像等等。
于一实施例中,控制装置10基于运输状态数据判定物体抵达第一感测区域时,控制第一影像获取装置11对抵达第一感测区域的物体进行拍摄以获得第一影像。
步骤S204:控制装置10依据前述第一影像决定物体的位姿(即第一位姿)。
于一实施例中,控制装置10是以物体上的指定位置为原点来建立此物体的坐标系(即第一坐标系),而于后续处理中可以前述第一坐标系来表示或描述物体上其他任何位置。并且,控制装置10还可依据物体于第一影像中的放置位置与放置方向,与第一感测区域所在位置等等信息,建立第一坐标系与一空间坐标系(如设备调整装置15、物体处理装置16及/或运输装置17所配置及运行的坐标系)之间的关联(如第一坐标系与空间坐标系之间的三轴偏移量及/或三轴偏移角度)。
于一实施例中,控制装置10是依据物体于第一影像中的放置位置与放置方向,与第一感测区域所在位置,建立物体于空间坐标系中的坐标位置或坐标范围。
步骤S205:控制装置10依据第一位姿进行运算,并经由设备调整装置15调整第二影像获取装置12及测距装置13中的至少一者的感测位置或感测角度,借此调整第二感测区域的位置或范围。
步骤S206:动态追踪***1’判断物体是否抵达第二感测区域。
于一实施例中,第二影像获取装置12持续拍摄影像,并检测物体影像是否出现在所持续拍摄的多张影像中,以判断物体是否抵达第二感测区域。
于一实施例中,控制装置10依据最新的运输状态数据判断物体是否抵达调整后的第二感测区域。
若动态追踪***’1判断物体抵达第二感测区域,则执行步骤S207。否则,动态追踪***1’再次执行步骤S206以持续判断。
步骤S207:控制装置10取得物体抵达第二感测区域时的第二影像。
于一实施例中,第二影像获取装置12于持续拍摄的多张影像包括物体的影像时,判定物体抵达第二感测区域,并将包括物体影像的该张影像(如持续拍摄的多张影像中的第一张影像)作为第二影像,并传输至控制装置10。
于一实施例中,控制装置10基于运输状态数据判定物体抵达第二感测区域时,控制第二影像获取装置12对抵达第二感测区域的物体进行拍摄以获得第二影像
接着,控制装置10于第二影像中选择一个或多个位置(如后述的多个特征点的位置),并控制测距装置13对物体的这些位置进行测量以分别获得这些位置的感测高度。
步骤S208:控制装置10依据物体的预设高度及感测高度补偿第一位姿为第二位姿。
步骤S209:控制装置10计算物体的补偿数据。前述补偿数据用以将物体的表面上的任一点自预设位姿转换至第二位姿。
具体而言,前述预设位姿可由用户预先设定,并定义了物体以用户期待的方式(如期待的摆放位置、摆放角度、摆放高度…等)进行摆放时的位姿参数(预设值)。于一实施例中,前述预设位姿可包括预设高度、预设位置(如预设坐标)及/或预设角度。
并且,用于控制物体处理装置16运动的一原始运动数据(如可包括多个坐标值)是基于前述预设位姿所规划,这使得当物体处于预设位姿时,物体处理装置16可移动到适当的位置而可对位于预设位姿的物体成功执行物体分析及/或处理。然而,当物体因输送或其他原因非处于前述预设位姿时,物体处理装置16将移动到不适当的位置或高度而导致物体处理执行失败,甚至导致物体的损坏。
对此,本发明是提供上述补偿数据来补偿预设位姿与第二位姿之间的偏移量,以使物体处理装置16可于物体非处于预设位姿时仍能正确执行物体处理。
于一实施例中,前述预设位姿是被存储于存储装置14。控制装置10计算预设位姿与第二位姿之间的偏移量(如三轴偏移距离及/或三轴偏移角度),并依据偏移量产生前述补偿数据。
于一实施例中,预设位姿可为前述第一位姿。具体而言,于决定第一位姿(步骤S203)后,控制装置10可自动基于第一位姿规划前述原始运动数据。并且,控制装置10于步骤S208所产生的补偿数据是用来将原始运动数据从第一位姿转换至第二位姿。
于一实施例中,前述补偿数据为转换矩阵,前述位姿包括位置与姿态,则预设位姿与第二位姿之间的转换关系可以下述式(1)、(2)来加以表示。
其中,为预设位姿;/>为第二位姿;T为转换矩阵;θa、θb与θc分别为X、Y、Z轴的偏移角度;Xe、Ye与Ze分别为X、Y、Z轴的偏移量。
步骤S210:控制装置10取得物体处理装置16的原始运动数据。前述原始运动数据是基于预设位姿所规划的。于一实施例中,存储装置14进一步存储前述原始运动数据。
步骤S211:控制装置10依据补偿数据补偿原始运动数据为补偿运动数据。前述补偿运动数据是基于第二位姿所规划的,而可使物体处理装置16对位于第二位姿的物体进行准确的处理。
步骤S212:动态追踪***1’判断物体是否抵达物体处理装置16的处理区域。前述判断方式是与步骤S201、S205相同或相似(即可设置第三影像获取装置来判断物***置,或是依据运输状态数据决定物***置),于此不再赘述。
若动态追踪***1’判断物体抵达处理区域,则执行步骤S213。否则,动态追踪***1’再次执行步骤S212以持续判断。
步骤S213:控制装置10依据补偿运动数据控制物体处理装置16进行相对运动以对抵达处理区域的物体的表面进行处理。
本发明经由提供补偿数据来补偿物体处理装置16的运动数据,可将具有高度补偿功能的补偿机制直接套用于现有物体处理装置16,而可大幅减低***升级成本。
请一并参阅图3、图5、图6及图10至图12,图5为本发明第三实施例的位姿补偿方法的部分流程图,图6为本发明第四实施例的位姿补偿方法的部分流程图,图10为第四示例的位姿补偿与物体处理的第一示意图,图11为第四示例的位姿补偿与物体处理的第二示意图,图12为第四示例的位姿补偿与物体处理的第三示意图。
相较于图3所示的实施例,如图5所示的本发明第三实施例的步骤S12包括步骤S30-S31,如图6所示的本发明第四实施例的步骤S15包括S40-S41,步骤S16包括步骤S50-S51。
参阅图5,步骤S30:控制装置10于第一影像中识别物体的表面上的多个特征点。
如图10所示,于一例子中,控制装置10可于物体9中识别特征点90(如指定的标记图案),并自特征点90朝指定方向延伸一指定距离(如朝X轴正向延伸100像素,朝Y轴负向延伸100像素),来分别获得其他特征点91、92。
步骤S31:控制装置10依据多个特征点的位置决定物体的第一位姿。
于一实施例中,控制装置10是依据多个特征点的位置决定物体的第一坐标系,以作为第一位姿。
于一实施例中,控制装置10是依据多个特征点的位置决定物体于预设坐标系(如前述空间坐标系)中的第一坐标与第一角度,以作为第一位姿。
接着,控制装置10依据第一位姿调整第二影像获取装置12或测距装置13定义的第二感测区域(图3所示步骤S13),如计算出物体于第一影像中的朝XY轴偏移量分别为+x2与-y2,并将第二感测区域于XY轴上对应位移+x2与-y2。
接着,于物体抵达第二感测区域后(图3所示步骤S14)控制装置10执行以下步骤(步骤S15)。
参阅图6,步骤S40:控制装置10控制第二影像获取装置12拍摄第二影像,并于第二影像中对多个特征点的至少其中的一者进行定位。
如图11所示,物体9进入第二感测区域后(改以物体9’表示),控制装置10可于第二影像中定位物体9’的三个特征点90’-92’(亦可仅定位特征点90’)。值得一提的是,由于第二感测区域已经过调整,而可使物体9’被显像于第二影像中心。
步骤S41:控制装置10经由测距装置13分别测量已定位的多个各特征点的感测高度。
如图12所示,控制装置10可测得特征点90’的高度为h4,特征点91’的高度为h5,特征点92’的高度为h3。
接着,控制装置10执行以下步骤(步骤S16)来对第一位姿进行高度补偿。
参阅图6,步骤S50:控制装置10依据已定位的物体的各特征点的预设高度及感测高度分别计算已定位的各特征点的高度偏移量。
举例来说,若特征点90’-92’的预设高度分别为d3-d5,则控制装置10可算出特征点90’-92’的高度偏移量分别为(h3-d3)、(h4-d5)及(h5-d5)。
步骤S51:控制装置10依据多个高度偏移量移动第一位姿以获得第二位姿。
于一实施例中,若第一位姿为第一坐标系,控制装置10可依据高度偏移量计算三轴分别对应的偏移角度,并将第一坐标系的三轴分别旋转移动对应的偏移角度以获得第二坐标系,并作为第二位姿。
于一实施例中,若第一位姿为预设坐标系中的第一坐标与第一角度,控制装置10可依据高度偏移量计算三轴的偏移量与偏移角度,并将第一坐标移动前述偏移量与偏移角度来获得物体于预设坐标系中的第二坐标与第二角度,并作为第二位姿。
因此,本发明可有效对物体的位姿进行高度补偿。
接着将示例性说明本发明可如何被实现。
请一并参阅图8A至图8C,图8A为第二示例的位姿补偿与物体处理的第一示意图,图8B为第二示例的位姿补偿与物体处理的第二示意图,图8C为第二示例的位姿补偿与物体处理的第三示意图。于本例子中,运输装置17为输送带装置。并且,第二影像获取装置12与测距装置13是设置在同一组设备调整装置15(以机械手臂为例)。
如图8A所示,当物体70被放置于运输装置17时,会沿运输路径先被输送至第一感测区域R1(图示以虚线表示感测的垂直范围),以通过第一影像获取装置11拍摄第一影像,计算第一位姿,并通过使用设备调整装置15来调整附挂其上的设备定义的第二感测区域R2(参阅图8B,即调整第二影像获取装置12与测距装置13的位置与角度)。
接着,如图8B所示,物体70被输送至第二感测区域R2(图示以虚线表示感测的垂直范围),以通过第二影像获取装置12拍摄第二影像,通过测距装置13来测量物体70的感测高度,补偿第一位姿为第二位姿,计算补偿数据,并依据补偿数据对原始运动数据进行补偿以获得补偿运动数据。
最后,如图8C所示,物体70被输送至处理区域R3(图示以虚线表示处理的范围)。控制装置10依据补偿运动数据控制物体处理装置16(以自动点焊机为例)对物体70进行高精确处理(如对物体上的元件进行焊接)。
请一并参阅图9A至图9C,图9A为第三示例的位姿补偿与物体处理的第一示意图,图9B为第三示例的位姿补偿与物体处理的第二示意图,图9C为第三示例的位姿补偿与物体处理的第三示意图。
相较于图8A至图8C所示的例子,于本例子中,运输装置17为轨道装置,且物体80是由轨道车171输送。并且,第二影像获取装置12与测距装置13是设置在不同的设备调整装置150、151(以机械手臂为例)。
如图9A所示,当物体80被放置于轨道车171时,会沿轨道路径先被输送至第一感测区域R1,以通过第一影像获取装置11拍摄第一影像,计算第一位姿,并调整第二感测区域R2(即通过移动或转动等方式的设备调整装置150来调整第二影像获取装置12的位置与角度,并通过使用设备调整装置151来调整测距装置13的位置与角度)。
接着,如图9B所示,物体80被输送至第二感测区域R2,以通过第二影像获取装置12拍摄第二影像,通过测距装置13来测量物体80的感测高度,补偿第一位姿为第二位姿,计算补偿数据,并依据补偿数据对原始运动数据进行补偿以获得补偿运动数据。
最后,如图9C所示,物体80被输送至处理区域R3。控制装置10依据补偿运动数据控制物体处理装置16(以自动点胶机为例)对物体70进行高精确处理(如对元件进行点胶)。
当然,本发明还可有其它多种实施例,在不背离本发明构思及其实质的情况下,本发明所属技术领域中技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明权利要求。
Claims (19)
1.一种位姿补偿方法,用于一动态追踪***,该动态追踪***包括一第一影像获取装置、一第二影像获取装置、一测距装置及一控制装置,该第一影像获取装置、该第二影像获取装置及该测距装置分别具有各自定义的感测区域,该位姿补偿方法包括以下步骤:
S11该控制装置控制该第一影像获取装置拍摄一物体抵达由该第一影像获取装置定义的一第一感测区域时的一第一影像;
S12依据该第一影像决定该物体的一第一位姿;
S13依据该第一位姿调整由该第二影像获取装置及/或该测距装置定义的一第二感测区域的位置或范围,而尽可能使该物体通过该第二感测区域的中心;
S14判断该物体是否抵达该第二感测区域;
S15控制该第二影像获取装置拍摄该物体抵达该第二感测区域时的一第二影像,并经由该测距装置测量一感测高度;以及
S16依据该物体的一预设高度及该感测高度补偿该第一位姿为一第二位姿。
2.如权利要求1所述的位姿补偿方法,其中该步骤S11之前还包括一步骤:S10判断该物体是否抵达该第一感测区域。
3.如权利要求1所述的位姿补偿方法,于步骤S16之后还包括一步骤S209依据该物体的一预设位姿与该第二位姿之间的一偏移量计算该物体的一补偿数据,其中该补偿数据用以将该物体的表面上的任一点转换至该第二位姿,该预设位姿定义了该物体以用户期待的方式进行摆放时的位姿参数。
4.如权利要求3所述的位姿补偿方法,其中于该步骤S11之前还包括一步骤:S201沿一运输路径运输该物体,其中该运输路径按序经过该第一感测区域与该第二感测区域。
5.如权利要求3所述的位姿补偿方法,其中该动态追踪***还包括一物体处理装置,且于该步骤S209之后还包括以下步骤:
S210取得该物体处理装置的一原始运动数据,其中该原始运动数据是基于该预设位姿;
S211依据该补偿数据补偿该原始运动数据为一补偿运动数据,其中该补偿运动数据是基于该第二位姿;
S212判断该物体是否抵达该物体处理装置的一处理区域;以及
S213依据该补偿运动数据控制该物体处理装置相对运动以对抵达该处理区域的该物体的表面进行处理。
6.如权利要求1所述的位姿补偿方法,其中该动态追踪***还包括一设备调整装置,且该步骤S13是经由该设备调整装置调整该第二影像获取装置及该测距装置中的至少一者的一感测位置或一感测角度,以调整该第二感测区域。
7.如权利要求1所述的位姿补偿方法,其中该步骤S12包括:
S30于该第一影像中识别该物体的表面上的多个特征点;以及
S31依据该多个特征点的多个位置决定该物体的一第一坐标系,以决定该第一位姿。
8.如权利要求7所述的位姿补偿方法,其中该步骤S15包括:
S40于该第二影像中对该多个特征点的至少其中之一进行定位;以及
S41经由该测距装置测量已定位的该多个特征点的多个感测高度;
其中该步骤S16包括:
S50依据已定位的该多个特征点中的各该特征点对应的该预设高度及该感测高度分别计算已定位的各该特征点的一高度偏移量;以及
S51依据各该高度偏移量移动该第一位姿以获得一第二坐标系并补偿该第一位姿为该第二位姿。
9.如权利要求1所述的位姿补偿方法,其中该步骤S12包括:
S30于该第一影像中识别该物体的表面上的多个特征点;以及
S31依据该多个特征点的多个位置决定该物体于一预设坐标系中的一第一坐标与一第一角度,以决定该第一位姿。
10.如权利要求9所述的位姿补偿方法,其中该步骤S15包括:
S40于该第二影像中对该多个特征点的至少其中之一进行定位;以及
S41经由该测距装置测量已定位的该多个特征点的多个感测高度;以及
其中该步骤S16包括:
S50依据已定位的该多个特征点之中的各该特征点对应该预设高度及该感测高度分别计算已定位的各该特征点的一高度偏移量;以及
S51依据各该高度偏移量移动该第一位姿以获得该物体于该预设坐标系中的一第二坐标与一第二角度,并决定该第二位姿。
11.如权利要求1所述的位姿补偿方法,其中该步骤S11是控制该第一影像获取装置持续拍摄多张影像,并于持续拍摄的该多张影像中的任一者包括完整的该物体的影像时,将该影像作为该第一影像。
12.一种具有位姿补偿功能的动态追踪***,包括:
一第一影像获取装置,用以拍摄一物体抵达由该第一影像获取装置定义的一第一感测区域时的一第一影像;
一第二影像获取装置,用以拍摄该物体抵达由该第二影像获取装置及/或一测距装置定义的一第二感测区域时的一第二影像;
该测距装置,用以于该物体抵达该第二感测区域时测量一感测高度,其中该物体是先抵达该第一感测区域,再抵达该第二感测区域;以及
一控制装置,电性连接该第一影像获取装置、该第二影像获取装置及该测距装置,该控制装置用以依据该第一影像决定该物体的一第一位姿,依据该第一位姿调整该第二感测区域的位置或范围,而尽可能使该物体通过该第二感测区域的中心,并依据该物体的一预设高度及该感测高度补偿该第一位姿为一第二位姿。
13.如权利要求12所述的具有位姿补偿功能的动态追踪***,还包括电性连接该控制装置的一存储装置,该存储装置用以存储该物体的一预设位姿,该预设位姿定义了该物体以用户期待的方式进行摆放时的位姿参数;
其中该控制装置依据该预设位姿与该第二位姿之间的一偏移量计算该物体的一补偿数据,其中该补偿数据用以将该物体的表面上的任一点转换至该第二位姿。
14.如权利要求13所述的具有位姿补偿功能的动态追踪***,还包括电性连接该控制装置的一运输装置,该运输装置用以沿一运输路径运输该物体,该运输路径按序经过该第一感测区域与该第二感测区域。
15.如权利要求14所述的具有位姿补偿功能的动态追踪***,其中该运输装置为一输送带装置,且该运输装置包括一编码装置,用以提供一运输状态数据;
其中该控制装置是依据该运输状态数据判断该物体是否抵达该第一感测区域或该第二感测区域。
16.如权利要求13所述的具有位姿补偿功能的动态追踪***,还包括电性连接该控制装置的一物体处理装置,该物体处理装置用以对抵达一处理区域的该物体的表面进行处理。
17.如权利要求12所述的具有位姿补偿功能的动态追踪***,还包括电性连接该控制装置的一设备调整装置,该第二影像获取装置及该测距装置的至少其中之一设置于该设备调整装置上,该设备调整装置用以调整该第二影像获取装置及该测距装置中的至少一者的一感测位置或一感测角度,以调整该第二感测区域。
18.如权利要求12所述的具有位姿补偿功能的动态追踪***,其中该动态追踪***还包括用以运输该物体并电性连接该控制装置的一运输装置,该运输装置设置有一物体感测器;其中该第一影像获取装置是于该物体感测器检测到该物体进入该第一感测区域时被控制来拍摄该第一影像。
19.如权利要求12所述的具有位姿补偿功能的动态追踪***,其中该第一影像获取装置被控制来持续拍摄多张影像,并于持续拍摄的该多张影像中的任一者包括完整的该物体的影像时,将该影像作为该第一影像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010074120.1A CN113155097B (zh) | 2020-01-22 | 2020-01-22 | 具有位姿补偿功能的动态追踪***及其位姿补偿方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010074120.1A CN113155097B (zh) | 2020-01-22 | 2020-01-22 | 具有位姿补偿功能的动态追踪***及其位姿补偿方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113155097A CN113155097A (zh) | 2021-07-23 |
CN113155097B true CN113155097B (zh) | 2024-01-26 |
Family
ID=76881528
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010074120.1A Active CN113155097B (zh) | 2020-01-22 | 2020-01-22 | 具有位姿补偿功能的动态追踪***及其位姿补偿方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113155097B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108876848A (zh) * | 2017-05-12 | 2018-11-23 | 宏达国际电子股份有限公司 | 追踪***及其追踪方法 |
CN108871314A (zh) * | 2018-07-18 | 2018-11-23 | 江苏实景信息科技有限公司 | 一种定位定姿方法及装置 |
TW201923706A (zh) * | 2015-08-06 | 2019-06-16 | 美商康耐視公司 | 用以於環境中校正視覺系統的方法和系統 |
-
2020
- 2020-01-22 CN CN202010074120.1A patent/CN113155097B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201923706A (zh) * | 2015-08-06 | 2019-06-16 | 美商康耐視公司 | 用以於環境中校正視覺系統的方法和系統 |
CN108876848A (zh) * | 2017-05-12 | 2018-11-23 | 宏达国际电子股份有限公司 | 追踪***及其追踪方法 |
CN108871314A (zh) * | 2018-07-18 | 2018-11-23 | 江苏实景信息科技有限公司 | 一种定位定姿方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113155097A (zh) | 2021-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100857257B1 (ko) | 스크린 인쇄장치 및 화상 인식 위치 맞춤방법 | |
US20010055069A1 (en) | One camera system for component to substrate registration | |
JP2019072792A (ja) | 作業システム、物品に対する作業実施方法、およびロボット | |
JP4896136B2 (ja) | 改善された構成部品ピックイメージ処理を備えたピックアンドプレース機 | |
JPH04233245A (ja) | 半導体チップと導体リード・フレームの検査及び位置合せのためのシステム及び方法 | |
WO2001061275A1 (en) | Method and system for automatically generating reference height data for use in a three-dimensional inspection system | |
US20210291376A1 (en) | System and method for three-dimensional calibration of a vision system | |
US20210031374A1 (en) | Robot device controller for controlling position of robot | |
CN112123342A (zh) | 一种机器人***以及测控方法 | |
US7355386B2 (en) | Method of automatically carrying IC-chips, on a planar array of vacuum nozzles, to a variable target in a chip tester | |
JP5545737B2 (ja) | 部品実装機及び画像処理方法 | |
KR20060097972A (ko) | 레이저 센서와 카메라를 이용하여 컨테이너를 들어올리고내릴 수 있는 장치 | |
JP4331054B2 (ja) | 吸着状態検査装置、表面実装機、及び、部品試験装置 | |
TWI638239B (zh) | 位置偏移檢測方法、位置偏移檢測裝置、描繪裝置及基板檢查裝置 | |
US11272651B2 (en) | Component mounting device, method of capturing image, and method of determining mounting sequence | |
CN113155097B (zh) | 具有位姿补偿功能的动态追踪***及其位姿补偿方法 | |
JP5418490B2 (ja) | 位置決め制御装置およびこれを備えた位置決め装置 | |
JP5975668B2 (ja) | ワーク搬送装置、ワーク搬送方法および組付部品の製造方法 | |
JP4284765B2 (ja) | ロボットハンド位置計測装置 | |
JP2003234598A (ja) | 部品実装方法及び部品実装装置 | |
US20220105641A1 (en) | Belt Conveyor Calibration Method, Robot Control Method, and Robot System | |
TWI727628B (zh) | 具有位姿補償功能的動態追蹤系統及其位姿補償方法 | |
JP7477633B2 (ja) | ロボットシステム | |
KR20120071842A (ko) | 마킹 위치 인식 장치 및 방법 | |
JPH116711A (ja) | 計測用撮像装置の校正値測定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |