CN117769482A - 机器人控制设备、机器人控制***和机器人控制方法 - Google Patents
机器人控制设备、机器人控制***和机器人控制方法 Download PDFInfo
- Publication number
- CN117769482A CN117769482A CN202280053851.5A CN202280053851A CN117769482A CN 117769482 A CN117769482 A CN 117769482A CN 202280053851 A CN202280053851 A CN 202280053851A CN 117769482 A CN117769482 A CN 117769482A
- Authority
- CN
- China
- Prior art keywords
- robot
- measurement target
- controller
- end effector
- finger
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000005259 measurement Methods 0.000 claims abstract description 295
- 239000012636 effector Substances 0.000 claims abstract description 120
- 238000001514 detection method Methods 0.000 description 45
- 239000003550 marker Substances 0.000 description 35
- 238000010586 diagram Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 11
- 239000000470 constituent Substances 0.000 description 9
- 238000012937 correction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
机器人控制设备包括控制器,该控制器控制包括传感器和末端执行器在内的机器人。该控制器被配置为:获取末端执行器相对于设置在机器人的操作空间内部的测量对象的位置信息;以及基于位置信息来校正与机器人的操作相关的坐标系。
Description
相关申请的交叉引用
本申请要求日本专利申请No.2021-127725(于2021年8月3日递交)的优先权,其全部公开内容通过引用并入于此。
技术领域
本公开涉及机器人控制设备、机器人控制***和机器人控制方法。
背景技术
以往,已知的机器人控制设备基于作业目标的位置对齐标记的图像识别处理来创建教导数据(参见例如专利文献1)。
引文列表
专利文献
专利文献1:日本未审查专利申请公开No.5-301183
发明内容
在本公开的实施例中,一种机器人控制设备包括控制器。该控制器被配置为控制机器人。该机器人包括传感器和末端执行器。该控制器被配置为:获取末端执行器相对于设置在机器人的操作空间内部的测量目标的位置信息,并且基于该位置信息来校正与机器人的操作相关的坐标系。
在本公开的实施例中,一种机器人控制***包括机器人控制设备和机器人。
在本公开的实施例中,一种机器人控制方法是用于控制包括传感器和末端执行器在内的机器人的方法。该机器人控制方法包括:获取末端执行器相对于设置在机器人的操作空间内部的测量目标的位置信息,并且基于该位置信息来校正与机器人的操作相关的坐标系。
附图说明
图1是示出了根据实施例的机器人控制***的示例配置的框图。
图2是示出了根据实施例的机器人控制***的示例配置的示意图。
图3是示出了末端执行器的示例配置的示意图。
图4是示出了根据实施例的机器人控制方法的示例过程的流程图。
图5A是示出了在第一手指和第二手指处于打开状态的情况下测量目标与第一手指的外侧接触的示例操作的示意图。
图5B是示出了在第一手指和第二手指处于打开状态的情况下测量目标与第一手指的侧表面接触的示例操作的示意图。
图5C是示出了在第一手指和第二手指处于打开状态的情况下测量目标与第一手指的末端接触的示例操作的示意图。
图6A是示出了在第一手指和第二手指处于闭合状态的情况下测量目标与第一手指的外侧接触的示例操作的示意图。
图6B是示出了在第一手指和第二手指处于闭合状态的情况下测量目标与第一手指或第二手指的侧表面接触的示例操作的示意图。
图6C是示出了在第一手指和第二手指处于闭合状态的情况下测量目标与第一手指或第二手指的末端接触的示例操作的示意图。
图7A是示出了在第一手指或第二手指与测量目标的顶表面接触的情况下沿测量目标的顶表面在X_RB轴方向上移动第一手指或第二手指的示例操作的示意图。
图7B是示出了在第一手指或第二手指与测量目标的顶表面接触的情况下沿测量目标的顶表面在Y_RB轴方向上移动第一手指或第二手指的示例操作的示意图。
图7C是示出了在第一手指或第二手指与测量目标的顶表面接触的情况下沿测量目标的顶表面在X_RB轴方向和Y_RB轴方向上同时移动第一手指或第二手指的示例操作的示意图。
图8是示出了在测量目标夹在第一手指和第二手指之间的情况下围绕测量目标旋转的示例操作的示意图。
图9A是示出了包括标记的测量目标的示例配置的示意图。
图9B是示出了包括标记和接触区域在内的测量目标的示例配置的示意图。
图9C是示出不包括标记在内的测量目标的示例配置的示意图。
图9D是示出了圆柱形测量目标的示例配置的示意图。
图10是示出了其中测量对象在工作台的顶表面上设置在对角线位置处的示例的示意图。
具体实施方式
需要以比基于图像识别的校准的精度高的精度执行机器人的校准。在本公开的实施例中,机器人控制设备、机器人控制***和机器人控制方法能够提高机器人的校准精度。
(机器人控制***1概述)
如图1和图2所示,根据实施例的机器人控制***1包括机器人40、机器人控制设备10和空间信息获取单元20。机器人40在规定操作空间中操作。空间信息获取单元20捕获机器人40在其中操作的操作空间的图像,并且生成操作空间的深度信息。如下所述,空间信息获取单元20计算与位于在操作空间中存在的对象50的表面上的测量点的距离。从空间信息获取单元20到测量点的距离也被称为“深度”。深度信息是关于每个测量点的测量深度的信息。换言之,深度信息是关于与位于在操作空间中存在的对象50的表面上的测量点的距离的信息。深度信息可以被表示为深度图,在该深度中,从空间信息获取单元20观看的方向和该方向上的深度彼此相关联。空间信息获取单元20基于(X_CA,Y_CA,Z_CA)坐标系来生成操作空间的深度信息。空间信息获取单元20可以生成捕获操作空间的图像。捕获操作空间的图像也被称为操作空间图像。
如下所述,机器人控制设备10可以基于由空间信息获取单元20捕获的操作空间的图像来执行校准。机器人控制设备10可以通过检测机器人40相对于设置在操作空间中的测量目标52(参见图3等)的位置信息,来校正与机器人的操作相关的坐标系。与机器人的操作相关的坐标系例如是操作空间的坐标系、机器人40的坐标系、或空间信息获取单元20的坐标系。机器人控制设备10可以通过检测诸如负载或压力之类的各种物理量来检测机器人40相对于测量目标52的位置信息。例如,当机器人控制设备10检测到负载或压力等时,机器人40相对于测量目标52的位置为0(零)或固定距离。另外,机器人控制设备10可以通过测量机器人40与测量目标52之间的距离来检测机器人40相对于测量目标52的位置信息。机器人40包括可以检测相对于测量目标52的位置信息的传感器48。
机器人控制设备10基于由空间信息获取单元20生成的深度信息来操作机器人40。机器人控制设备10基于(X_RB,Y_RB,Z_RB)坐标系来控制并操作机器人40。例如,机器人40可以安装在工作台70上。机器人控制设备10可以使用位于机器人40的操作空间中的对象50作为作业目标来使机器人40执行作业。备选地,机器人控制设备10可以将位于机器人40的操作空间内的对象50识别为障碍物。机器人控制设备10可以在使机器人40执行作业之前执行校准。机器人控制设备10可以通过在使机器人40执行作业之前使机器人40接触测量目标52并检测作用于机器人40的负载来校正坐标系或测量目标52的坐标。
(X_RB,Y_RB,Z_RB)坐标系也被称为机器人40的坐标系。(X_CA,Y_CA,Z_CA)坐标系也被称为空间信息获取单元20的坐标系。机器人40的坐标系可以被设置为与空间信息获取单元20的坐标系相同的坐标系,或者可以被设置为不同的坐标系。当机器人40的坐标系被设置为与空间信息获取单元20的坐标系不同的坐标系时,例如,机器人控制设备10将在空间信息获取单元20的坐标系中生成的深度信息转换为机器人40的坐标系。空间信息获取单元20的坐标系可以预先与操作空间的坐标系执行校准。具体地,空间信息获取单元20的坐标系例如被表示为基于相机运算的坐标系(X_CA,Y_CA,Z_CA),并且基于相机运算的坐标系(X_CA,Y_CA,Z_CA)可以被校准为与表示操作空间的坐标系(X,Y,Z)相匹配。执行空间信息获取单元20的坐标系的预先校准不是必需的。
机器人40的数量和机器人控制设备10的数量不限于所示示例中的一个,并且可以是两个或更多个。如在所示示例中,空间信息获取单元20的数量针对一个操作空间可以是一个,或者可以是两个或更多个。下面将更具体地描述每个构成部分。
(机器人控制设备10)
机器人控制设备10包括控制器11、存储单元12和接口13。接口13也被称为I/F 13。
控制器11可以包括至少一个处理器,以便实现机器人控制设备10的各种功能。处理器可以执行用于实现机器人控制设备10的各种功能的程序。处理器可以实现为单个集成电路。集成电路也被称为IC。处理器可以实现为被连接以便能够彼此通信的多个集成电路和分立电路。处理器可以包括CPU(中央处理单元)。处理器可以包括DSP(数字信号处理器)或GPU(图形处理单元)。处理器可以基于各种其他已知技术来实现。
存储单元12可以包括诸如磁盘之类的电磁存储介质,或者可以包括诸如半导体存储器或磁存储器之类的存储器。存储单元12可以被配置为HDD(硬盘驱动器)或SSD(固态驱动器)。存储单元12存储各种信息和由控制器11执行的程序。存储单元12可以充当控制器11的工作存储器。控制器11可以包括存储单元12的至少一部分。
I/F 13获取由空间信息获取单元20捕获的机器人40的操作空间的图像,并且将所获取的图像输出到控制器11。I/F 13获取关于机器人40的信息,并且将该信息输出到控制器11。关于机器人40的信息包括关于传感器48的信息。I/F 13从控制器11获取用于控制机器人40的信息,并且将该信息输出到机器人40。I/F 13可以包括通信设备,该通信设备被配置为能够以有线或者无线方式与空间信息获取单元20和机器人40通信。通信设备可以被配置为能够使用基于各种通信标准的通信方法来通信。可以使用已知的通信技术来配置通信设备。省略对通信设备的硬件等的详细描述。通信设备的功能可以通过单个通信接口来实现,或者可以通过针对每个连接目的地的单独通信接口来实现。控制器11可以被配置为能够与空间信息获取单元20和机器人40通信。控制器11可以包括通信设备。
<机器人40>
如图1所示,机器人40包括传感器48。如图2所示,机器人40还包括臂42、附接到臂42的末端执行器44、以及设置在末端执行器44上的标记46。尽管不是必需的,机器人40还包括接口49。接口49也被称为I/F 49。标记46可以设置在臂42而不是末端执行器44上。
臂42可以被配置为例如六轴或七轴竖直多关节机器人。臂42可以被配置为三轴或四轴水平多关节机器人或标量机器人。臂42可以被配置为两轴或三轴正交机器人。臂42可以被配置为并联链接机器人等。臂42的轴数不限于示例所示的数量。
末端执行器44可以包括例如被配置为能够握持作业目标的抓握手。抓握手可以包括多个手指。抓握手上的手指数量可以是两个或更多个。抓握手的手指均可以包括一个或多个关节。末端执行器44可以包括被配置为能够向作业目标施加吸附力的吸附手。末端执行器44可以包括被配置为能够铲起作业目标的铲手。末端执行器44可以包括工具(例如,钻头),并且可以被配置为能够执行各种操作(例如,在作业目标中打孔)。末端执行器44不限于这些示例,并且可以被配置为能够执行各种其他操作。传感器信息可以由末端执行器44或机器人40来控制。例如,如图1所示,末端执行器44可以包括控制器440。机器人40可以包括控制器410。末端执行器44的控制器440或机器人40的控制器410可以获取传感器信息。末端执行器44的控制器440或机器人40的控制器410可以将能够从传感器信息推断的状态信息(例如,位置位移量或接触量)输出到机器人控制设备10。传感器信息可以由机器人控制设备10、机器人40的控制器410、或末端执行器44的控制器440来处理。
如图3所示,根据该实施例的机器人40的末端执行器44被配置为抓握手,并且包括第一手指441、第二手指442和驱动单元443。在被配置为抓握手或吸附手的末端执行器44中,末端执行器44的手指或吸嘴的数量不限于两个,并且可以是一个或三个或更多个。在图3中,要由末端执行器44操纵的作业目标由测量目标52来表示。末端执行器44被配置为通过诸如至少一个手指或吸嘴之类的握持单元来接触测量目标52。末端执行器44可以被配置为通过诸如三个或更多个手指或吸嘴之类的握持单元来握持测量目标52。
机器人40可以通过操作臂42来控制末端执行器44的位置。末端执行器44可以具有充当相对于作业目标的操作方向的参考的轴。如果末端执行器44具有轴,则机器人40可以通过操作臂42来控制末端执行器44的该轴的方向。机器人40控制其中末端执行器44作用于作业目标的操作的开始和结束。机器人40可以通过控制末端执行器44的操作同时控制末端执行器44的位置或末端执行器44的轴的方向来移动或操纵作业目标。
传感器48检测机器人40的每个构成部分的状态。传感器48可以检测关于机器人40的每个构成部分的实际位置或取向的信息、或关于机器人40的每个构成部分的速度或加速度的信息。传感器48可以检测作用在机器人40的每个构成部分上的负载。传感器48可以检测在驱动机器人40的每个构成部分的电机中流动的电流、或每个电机的扭矩。传感器48可以检测由于机器人40的实际操作而获得的信息。传感器48可以检测机器人40与另一对象之间的距离。通过获取传感器48的检测结果,机器人控制设备10可以确定机器人40的实际操作的结果。即,机器人控制设备10可以根据传感器48的检测结果来获取机器人40的状态。
传感器48包括力传感器444,其检测当末端执行器44接触作业目标时作用在末端执行器44上的负载的方向或大小。假设力传感器444安装在末端执行器44上。力传感器444可以包括例如应变仪,但包括应变仪不是必需的。
尽管不是必需的,传感器48还包括触觉传感器445。触觉传感器445可以安装在第一手指441或第二手指442上。触觉传感器445可以包括例如压力传感器,但包括压力传感器不是必需的。
传感器48还可以包括距离传感器。距离传感器可以设置在例如末端执行器44的末端处。具体地,距离传感器可以安装在第一手指441或第二手指442上。
机器人控制设备10基于由空间信息获取单元20捕获的标记46的图像来识别标记46的位置或其上设置有标记46的末端执行器44的位置。机器人控制设备10还基于由空间信息获取单元20捕获的标记46的图像来识别机器人40的状态。机器人控制设备10可以通过将基于传感器48的检测结果而获取的机器人40的状态与基于标记46的图像而获取的机器人40的状态进行比较来校准机器人40。
<空间信息获取单元20>
空间信息获取单元20获取关于机器人40的操作空间的空间信息。空间信息获取单元20可以对操作空间执行图像捕获,并且获取操作空间的图像作为空间信息。如图2所示,空间信息获取单元20可以捕获在操作空间中存在的诸如对象50或测量目标52之类的工作目标的图像。空间信息获取单元20可以被配置为相机。3D立体相机捕获在操作空间中存在的对象50的图像,计算与位于在操作空间中存在的对象50的表面上的测量点的距离作为深度,并且生成深度信息。空间信息获取单元20可以被配置为3D立体相机。空间信息获取单元20可以被配置为LiDAR(光检测和测距)。LiDAR测量与位于在操作空间中存在的对象50的表面上的测量点的距离,并且生成深度信息。换言之,空间信息获取单元20可以获取操作空间的深度信息作为空间信息。空间信息获取单元20不限于这些设备,并且可以被配置为各种设备。空间信息获取单元20可以获取各种其他类型的信息作为空间信息,而不限于操作空间的图像或深度信息。空间信息获取单元20可以包括图像捕获元件。空间信息获取单元20还可以包括光学***。空间信息获取单元20可以将操作空间的捕获图像输出到机器人控制设备10。空间信息获取单元20可以生成机器人40的操作空间中的深度信息,并且将该深度信息输出到机器人控制设备10。空间信息获取单元20可以生成机器人40的操作空间中的点群信息,并且将该点群信息输出到机器人控制设备10。换言之,可以以点群数据的形式输出空间信息。换言之,点群信息可以包括空间信息。点群信息是位于操作空间中的对象50的表面上的测量点集的信息,并且包括每个测量点的坐标或颜色信息。可以说,点群信息是使用多个点来表示测量空间中的对象50的数据。由于空间信息处于点群数据的形式,因此可以使得数据密度小于基于由空间信息获取单元20获取的初始数据的空间信息的数据密度。
空间信息获取单元20具有FOV(视场)。FOV对应于空间信息获取单元20的图像捕获范围。空间信息获取单元20可以捕获FcV中包含的范围的图像。空间信息获取单元20的实际视场大小基于空间信息获取单元20的FOV以及深度信息来确定。机器人控制设备10可以基于空间信息获取单元20的实际视场大小、以及包括由空间信息获取单位20捕获的机器人40的标记46的图像在内的空间信息,来获取机器人40的标记46的位置和取向。具体地,机器人控制设备10可以通过使用规定算法分析包括标记46的图像在内的空间信息,从而基于包括图像等在内的空间信息来计算标记46的位置和取向。规定算法可以包括例如等式或表,或者可以包括指定算术处理的程序。规定算法可以包括用于校正基于包括图像在内的空间信息的计算结果的参数。
(机器人控制设备10的示例操作)
机器人控制设备10使机器人40操作以作用于在操作空间中存在的作业目标(例如,对象50或测量目标52),或者使机器人40操作以避开对象50、测量目标52等。机器人控制设备10基于由空间信息获取单元20捕获的对象50、测量目标52的图像等,使机器人40操作以作用于诸如对象50或测量目标52之类的作业目标或者避开对象50或测量目标52等。
<校准>
机器人控制设备10的控制器11可以基于由空间信息获取单元20捕获的图像中的标记46的位置和取向来获取机器人40的状态,并且可以获取机器人40和对象50或测量目标52等之间的位置关系。另一方面,控制器11基于机器人40的传感器48来获取机器人40的状态。基于机器人40的传感器48的状态比基于由空间信息获取单元20捕获的图像的状态更准确地表示机器人40的位置和取向。因此,通过使基于由空间信息获取单元20捕获的图像的机器人40的状态与基于机器人40的传感器48的机器人40的状态相匹配,控制器11可以在操作空间中高精度地控制机器人40。使基于包括由空间信息获取单元20捕获的图像在内的空间信息的机器人40的状态与基于机器人40的传感器48的机器人40的状态相匹配的操作也被称为第一校准。控制器11执行第一校准至少一次。具体地,控制器11执行第一校准以使由空间信息获取单元20在(X_CA,Y_CA,Z_CA)坐标系中生成的深度信息与机器人40的(X_RB,Y_RB,Z_RB)坐标系相匹配。换言之,控制器11可以通过执行第一校准将空间信息获取单元20的坐标系变换为机器人40的坐标系。控制器11可以估计空间信息获取单元20的坐标系与机器人40的坐标系之间的相对位置关系,并且基于所估计的相对位置关系,将空间信息获取单元20的坐标系与机器人40的坐标系对齐。
控制器11可以使用空间信息获取单元20的FOV的至少一部分作为范围来执行第一校准。在该实施例中,控制器11在图2所示的校准范围60内执行第一校准。校准范围60在图2中被示出为由两点划线围绕的区域。校准范围60对应于其中执行机器人40的第一校准的范围。校准范围60可以包括机器人40的作业区域。校准范围60可以是其中机器人40的作业区域与FOV重叠的范围。
控制器11通过移动机器人40的标记46在校准范围60内设置用于执行第一校准的点。用于执行第一校准的点也被称为校准位置。控制器11将机器人40的标记46移动到校准位置,并且使空间信息获取单元20捕获标记46的图像。控制器11基于包括标记46的图像在内的空间信息来计算标记46的位置和取向。控制器11校正基于包括图像在内的空间信息的标记46的位置和取向,使得基于包括图像在内的空间信息而计算的标记46的位置和取向与基于机器人40的传感器48的检测结果而确定的标记46的位置和取向相匹配。基于包括图像在内的空间信息的标记46的位置和取向的校正对应于第一校准。标记46的位置和取向也被称为标记位置取向。第一校准对应于标记位置取向的校正。校准位置对应于标记位置取向被校正的位置。
具体地,控制器11可以如下所述执行第一校准。控制器11生成用于将机器人40的标记46移动到校准位置的用于机器人40的控制信息。控制器11基于控制信息来操作机器人40,以将机器人40的标记46移动到校准位置。控制器11从空间信息获取单元20获取包括标记46的图像在内的空间信息。控制器11基于包括图像在内的空间信息来计算标记46的位置和取向。基于包括图像在内的空间信息而计算的标记46的位置和取向也被称为基于包括图像在内的空间信息的标记位置取向。控制器11计算基于机器人40的传感器48的检测结果而确定的标记46的位置和取向。基于传感器48的检测结果而计算的标记46的位置和取向也被称为基于传感器48的标记位置取向。控制器11将基于包括图像在内的空间信息的标记位置取向与基于传感器48的标记位置取向进行比较。控制器11校正基于包括图像在内的空间信息的标记位置取向,使得基于包括图像在内的空间信息的标记位置取向与基于传感器48的标记位置取向相匹配。控制器11可以校正用于计算基于包括图像在内的空间信息的标记位置取向的算法。控制器11可以校正算法中包括的参数,或者可以校正等式、表或程序。当设置多个校准位置时,控制器11将机器人40移动到每个校准位置,获取每个校准位置处的包括标记46的图像在内的空间信息,并且校正基于包括图像在内的空间信息的标记位置取向。
<<校准项目>>
控制器11在执行第一校准之前预先设置校准范围60。控制器11还设置校准范围60内包括的校准位置。控制器11在校准范围60内设置校准位置。
控制器11生成用于机器人40的控制信息以将机器人40移动到校准位置。作为校准项目,控制器11生成指定当机器人40已经移动到校准位置时的标记位置取向的信息、以及指定机器人40的标记46的识别结果的信息。校准项目例如是坐标信息。具体地,校准项目例如是表示基于当机器人40移动到校准位置时获得的机器人40的传感器48的检测结果的标记位置取向的坐标信息、或表示基于由空间信息获取单元20识别的标记46的识别结果的标记位置取向的坐标信息。
控制器11可以如下所述产生校准项目。
控制器11例如从空间信息获取单元20获取关于空间信息获取单元20的实际视场大小的信息、或关于FOV的信息。控制器11基于空间信息获取单元20的实际视场大小或FOV以及机器人40的作业区域来设置校准范围60。控制器11可以基于对象50或测量目标52等在机器人40的操作空间中的位置来设置校准范围60。控制器11可以基于由空间信息获取单元20检测到的对象50或测量目标52等的深度信息或点群信息来设置校准范围60。在图2中,校准范围60的形状被设置为四棱台形状。校准范围60的形状不限于该形状,并且可以被设置为各种其他形状。
控制器11使基于机器人40的传感器48的标记位置取向与基于来自空间信息获取单元20的图像的标记位置取向相匹配。具体地,控制器11将机器人40移动到第一位置。控制器11生成用于操作机器人40的控制信息,该操作使得机器人40的标记46处于所规定的位置和取向,并且通过基于控制信息来控制机器人40,将机器人40移动到第一位置。第一位置可以是空间信息获取单元20的FOV中包括的规定位置。第一位置可以是例如空间信息获取单元20的FOV的中心位置。控制器11获取当机器人40已经移动到第一位置时的标记46的图像,并且计算标记46的位置和取向作为基于图像的标记位置取向。控制器11还计算基于传感器48的标记位置取向。根据基于图像的标记位置取向与基于传感器的标记位置取向的比较,控制器11校正机器人40的控制信息,使得机器人40的位置在图像中变成基于传感器48的检测结果的第一位置。通过基于经校正的控制信息来移动机器人40,控制器11更新机器人40的状态,使得机器人40在机器人40的坐标系中的位置与机器人40在空间信息获取单元20的坐标系中的位置彼此相匹配。换言之,可以说,控制器11更新机器人40的状态,使得机器人40的位置在图像中变成第一位置。
控制器11可以在校准范围60内生成作为与第一位置不同的校准位置的候选的位置。候选校准位置也被称为第二位置。第二位置包括在校准范围60内。控制器11通过模拟机器人40的运动来估计:如果机器人40移动到第二位置,则机器人40将处于什么状态。换言之,控制器11计算当假设机器人40移动到第二位置时的机器人40的状态。因此,控制器11可以确定机器人40是否可以移动到第二位置。
如果当假设机器人40移动到第二位置时的机器人40的状态是其中机器人40不与对象50或测量目标52等接触的状态,是在关节的运动范围内的状态,并且是非奇点的状态,则控制器11将第二位置注册为校准位置。如果控制器11将第二位置注册为校准位置,则控制器11生成指定当机器人40已经移动到第二位置时基于机器人40的传感器48的检测结果的标记位置取向的信息、以及指定基于机器人40的标记46的识别结果的末端位置取向的信息,作为多个校准项目。如果控制器11未将第二位置注册为校准位置,则控制器11可以生成位于不同位置处的新第二位置,并且确定新第二位置是否可以被注册为校准位置。当表示机器人40的关节的角度的数值位于运动范围内时,控制器11可以确定机器人40的状态是关节不受限的状态。当表示机器人40的关节的角度的数值位于运动范围之外时,控制器11可以确定机器人40的状态是关节受限状态。
奇点对应于由于机器人40的结构而无法控制机器人40的取向。如果机器人40沿其移动的路径包括奇点,则机器人40将在奇点附近高速移动(失控),并在该奇点处停止。机器人40的奇点落入以下三个类别,即类别(1)至类别(3)。
(1)当机器人40被控制到作业区域的外边界附近时位于作业区域外部的点。(作业区域是与机器人40的操作空间相对应的区域。)
(2)位于作业区域内部但当控制机器人40直接位于机器人基座上方或下方时的点。
(3)机器人40的臂42端部处的关节之前的一个关节的关节角度为零或180度的点(手腕对齐奇点)。
当表示机器人40的状态的数值与表示是奇点的状态的数值相匹配时,控制器11可以确定机器人40的状态是奇点状态。当表示机器人40的状态的数值与表示是奇点的状态的数值之间的差小于规定值时,控制器11可以确定机器人40的状态是奇点状态。表示机器人40的状态的数值的示例可以包括例如臂42的关节的角度、或驱动机器人40的电机的扭矩。
如上所述,控制器11设置校准范围60,并且在校准范围60内设置校准位置,即第一位置和第二位置。控制器11还可以生成校准项目作为指定当机器人40移动到校准位置时的机器人40的标记位置取向的信息。
<<执行校准>>
控制器11执行第一校准,使得与标记46的识别结果相关的末端位置取向的校准项目和与机器人40的传感器48的检测结果相关的标记位置取向的校准项目相匹配。具体地,控制器11将机器人40移动到校准位置。控制器11从空间信息获取单元20获取当机器人40已经移动到校准位置时的机器人40的标记46的识别结果。控制器11计算作为标记46的识别结果而获取的标记位置取向的校准项目与基于机器人40的传感器48的标记位置取向的校准项目之间的相对位置关系。相对位置关系对应于由两个校准项目指定的标记位置方向与标记46的识别结果之间的坐标差和角度差。控制器11对空间信息获取单元20的坐标系进行校正,以使该坐标系与机器人40的坐标系对齐,使得与该两个校准项目的相对位置关系相对应的坐标误差和角度误差为零或接近于零(即,误差低于规定值)。以这种方式,控制器11可以通过使当机器人40已经移动到校准位置时的标记46的识别结果与由机器人40的传感器48识别的标记位置取向相匹配,来计算该相对位置关系。
控制器11可以通过生成校准项目来设置校准位置。相反,校准位置对应于为了生成校准项目而使机器人40移动到的位置。控制器11可以通过将校准项目应用于机器人40的控制而将机器人40移动到校准位置来执行校准。具体地,假设控制器11通过执行第一校准来将空间信息获取单元20的(X_CA,Y_CA,Z_CA)坐标系校正为与机器人40的(X_RB,Y_RB,Z_RB)坐标系相匹配。控制器11可以通过执行第一校准来识别空间信息获取单元20的坐标系与机器人40的坐标系之间的关系。
控制器11可以通过使用测量目标52(其可以是设置在机器人40的操作空间中的销)来执行进一步的校准,以增加第一校准的精度。为了提高第一校准的精度而使用测量目标52执行的校准也被称为第二校准。
具体地,控制器11基于来自空间信息获取单元20的图像来识别测量目标52,并获取测量目标52的位置。控制器11可以通过对测量目标52的图像执行图像识别来识别测量目标52。测量目标52可以包括用于允许识别测量目标52在图像中的位置的测量目标标记。测量目标52上的标记可以被配置为与机器人40上的标记46相同,例如,在本公开中,目标标记可以由标记46来表示。控制器11可以基于测量目标52的测量目标标记的图像来获取测量目标52的位置。在该实施例中,控制器11将末端执行器44的第一手指441或第二手指442压向测量目标52。控制器11通过力传感器444或触觉传感器445检测来自测量目标52的作用于第一手指441或第二手指442上的负载。控制器11基于力传感器444或触觉传感器445的检测结果来计算测量目标52的位置。基于测量目标52的位置的计算结果,控制器11可以估计是否可以校正影响机器人40的运动的坐标系,并且如果校正是可能的,则可以校正该坐标系。如下所述,可以在通过手动操作使机器人40与测量目标52接触的状态下执行第二校准。
<<<坐标系的校正>>>
设置在操作空间中的测量目标52的数量不限于一个,并且可以是两个或更多个。即,一个或多个测量目标52可以设置在操作空间中。控制器11检测操作空间图像中的一个或多个测量目标52,并且获取每个测量目标52在空间信息获取单元20的坐标系中的坐标。另外,控制器11还基于末端执行器44相对于每个测量目标52的位置信息来获取每个测量目标52的坐标。具体地,在该实施例中,当检测负载时,基于由于末端执行器44接触测量目标52而作用在末端执行器44上的负载的检测结果,获取机器人40的坐标系中的每个测量目标52的坐标,同时将末端执行器44相对于每个测量目标52的位置设为0(零)或一定距离。控制器11可以通过以下方式来执行第二校准:基于空间信息获取单元20的坐标系中的每个测量目标52的坐标以及机器人40的坐标系中的每个测量目标52的坐标,来校正空间信息获取单元20的坐标系或机器人40的坐标系。具体地,例如,坐标系可以被校正为使得空间信息获取单元20在(X_CA,Y_CA,Z_CA)坐标系中生成的深度信息与机器人40的(X_RB,Y_RB,Z_RB)坐标系相匹配。控制器11可以例如在旋转方向或平移方向上校正坐标系。例如,控制器11可以校正坐标系以放大或缩小坐标系。控制器11可以例如校正坐标系中的畸变。
<<<测量目标52的示例配置>>>
测量目标52可以被配置为当与末端执行器44接触时不容易变形。例如,测量目标52可以被赋予高刚度,使得测量目标52不会由于与末端执行器44接触而变形。可以基于当末端执行器44与测量目标52接触时分别作用在末端执行器44和测量目标52上的负载的大小和方向,来确定测量目标52的刚度。
测量目标52可以被配置为包括比在第一手指441和第二手指442尽可能打开的状态下的第一手指441和第二手指442之间的间距小的部分。以这种方式,控制器11可以将测量目标52夹在第一手指441和第二手指442之间。测量目标52可以被配置为足够大以容纳将出现在来自空间信息获取单元20的图像中的测量目标标记。测量目标52可以被配置为足够大以允许在来自空间信息获取单元20的图像中识别其位置。
测量目标52可以设置在其中机器人40执行作业的空间中。测量目标52例如位于校准范围60内。测量目标52可以被配置为允许容易地移动与末端执行器44接触的位置。例如,测量目标52可以被配置为:当设置在具有沿X_RB轴和Y_RB轴延伸的顶表面的工作台70上时,测量目标52在Z_RB轴方向上的高度是可调节的。测量目标52可以被配置为可组装块,以便能够在Z_RB轴方向上堆叠。
<<流程图示例>>
机器人控制设备10的控制器11可以执行包括图4所示的流程图的过程在内的机器人控制方法,来执行第二校准以提高第一校准的精度。机器人控制方法可以实现为要由构成控制器11的处理器执行的机器人控制程序。机器人控制程序可以存储在非暂时性计算机可读介质上。
控制器11基于来自空间信息获取单元20的图像来识别测量目标52(步骤S1)。控制器11使机器人40的末端执行器44与测量目标52接触(步骤S2)。控制器11获取当末端执行器44接触测量目标52时力传感器444或触觉传感器445的检测结果,并且检测负载(步骤S3)。如下所述,可以通过手动操作使机器人40的末端执行器44接触测量目标52。因此,控制器11不仅可以获取当末端执行器44与测量目标52接触时的力传感器444或触觉传感器445的检测结果,而且还可以获取当通过手动操作使末端执行器44接触测量目标52时的状态的检测结果。当末端执行器44与测量目标52接触时的力传感器444或触觉传感器445的检测结果和当通过手动操作使末端执行器44接触测量目标52时的状态的检测结果被统称为接触信息。控制器11确定末端执行器44是否已经与所有测量目标52接触并且是否已经针对所有测量目标52检测到负载(步骤S4)。如果控制器11尚未针对所有测量目标52检测到负载(步骤S4:否),则控制器11返回步骤S1的过程并重复步骤S1至S3。在该实施例中,使末端执行器44与测量目标52接触,但如果例如使用非接触式距离测量传感器来得知末端执行器44相对于测量目标52的位置信息,则不需要使末端执行器44与测量目标52接触。
如果控制器11已经针对所有测量目标52检测到负载(步骤S4:是),则控制器11基于负载的检测结果来校正空间信息获取单元20的坐标系(步骤S5)。在执行步骤S5中的过程之后,控制器11终止图4中的流程图的过程的执行。
基于在步骤S3的过程中当末端执行器44接触测量目标52时检测到的负载,控制器11可以校正在空间信息获取单元20的坐标系中被识别为该测量目标52的位置信息的坐标。
在基于来自空间信息获取单元20的图像的校准之后或者在使用另一方法的校准之后,控制器11可以执行图4所示的流程图的过程。
<使末端执行器44与测量目标52接触的方式的示例>>
控制器11以各种方式使末端执行器44与测量目标52接触,并且基于力传感器444或触觉传感器445的检测结果来获取测量目标52的位置。下面描述使末端执行器44与测量目标52接触的方式的示例。在这种情况下,测量目标52的位置可以例如是测量目标标记(标记46)的中心坐标或测量目标52的边缘的坐标。
如图3所示,例如,控制器11可以使末端执行器44与测量目标52接触,使得测量目标52介于末端执行器44的第一手指441和第二手指442之间。在这种情况下,第一手指441或第二手指442的内侧接触测量目标52。控制器11可以基于由力传感器444检测从测量目标52作用在第一手指441或第二手指442上的负载的检测结果、以及第一手指441或第二手指442的位置,来计算测量目标52的位置。控制器11可以基于设置在第一手指441或第二手指442的内侧上的触觉传感器445的检测结果来计算测量目标52的位置。
当第一手指441和第二手指442如图3所示沿X_RB轴排列时,控制器11可以通过使第一手指441或第二手指442的内侧与测量目标52接触来计算测量目标52沿X_RB轴的位置。换言之,控制器11可以计算测量目标52的坐标的X_RB轴分量。控制器11可以通过控制第一手指441和第二手指442沿Y_RB轴排列并且使第一手指441或第二手指442的内侧接触测量目标52,来计算测量目标52的坐标的Y_RB轴分量。控制器11可以通过控制第一手指441和第二手指442沿Z_RB轴排列并且使第一手指441或第二手指442的内侧与测量目标52接触,来计算测量目标52的坐标的Z_RB轴分量。控制器11可以通过控制第一手指441和第二手指442沿三个轴中的每个轴排列并然后使第一手指441或第二手指442的内侧接触测量目标52,来计算测量目标52的3D坐标。控制器11还可以通过控制第一手指441和第二手指442沿彼此独立的三个方向排列并然后使第一手指441或第二手指442的内侧接触测量目标52,来计算测量目标52的3D坐标。在这种情况下,例如,测量目标52的坐标(X_RB,Y_RB,Z_RB)的每个分量可以是第一手指441或第二手指442的坐标(X_RB,Y_RB,Z_RB)的各个分量的中间值。
例如,如图5A、图5B和图5C所示,控制器11可以在末端执行器44的第一手指441和第二手指442处于打开状态的情况下,使第一手指441和第二手指442的除了内表面之外的表面与测量目标52接触。假设第一手指441和第二手指442沿X_RB轴方向排列。控制器11可以通过沿三个轴中的每个轴移动末端执行器44并且使末端执行器44与测量目标52接触来计算测量目标52的坐标。控制器11可以沿相互独立的三个方向移动末端执行器44并且使末端执行器44与测量目标52接触。在这种情况下,例如,末端执行器44可以包括单个吸嘴。
在图5A中,控制器11沿X_RB轴的负方向移动末端执行器44并且使第一手指441的外侧(X_RB轴的负方向侧)与测量目标52接触。在这种情况下,控制器11可以基于检测作用在第一手指441上的负载的力传感器444的检测结果以及第一手指441的位置,来计算测量目标52在X_RB轴方向上的位置。如果触觉传感器445安装在第一手指441的外侧上,则控制器11可以基于触觉传感器445的检测结果以及第一手指441的位置,来计算测量目标52在X_RB轴方向上的位置。在这种情况下,例如,考虑测量目标52的尺寸,可以将第一手指441的外表面的坐标的X_RB分量加上或减去测量目标52的宽度的一半得到的值,获取为测量目标52的坐标的X_RB分量。
在图5B中,控制器11沿Y_RB轴的正方向移动末端执行器44并且使第一手指441的侧表面(X_RB轴的负方向侧)与测量目标52接触。在这种情况下,控制器11可以基于检测作用在第一手指441上的负载的力传感器444的检测结果以及第一手指441的位置,来计算测量目标52在Y_RB轴方向上的位置。如果触觉传感器445安装在第一手指441的侧表面上,则控制器11可以基于触觉传感器445的检测结果以及第一手指441的位置,来计算测量目标52在Y_RB轴方向上的位置。在这种情况下,例如,考虑测量目标52的尺寸,可以将第一手指441的侧表面的坐标的Y_RB分量加上或减去测量目标52的宽度的一半得到的值,获取为测量目标52的坐标的Y_RB分量。
在图5C中,控制器11沿Z_RB轴的负方向移动末端执行器44并且使第一手指441的末端(Z_RB轴的负方向侧)与测量目标52的位于Z_RB轴的正方向侧的表面接触。在这种情况下,控制器11可以基于检测作用在第一手指441上的负载的力传感器444的检测结果以及第一手指441的位置,来计算测量目标52在Z_RB轴方向上的位置。如果触觉传感器445安装在第一手指441的末端上,则控制器11可以基于触觉传感器445的检测结果以及第一手指441的位置,来计算测量目标52在Z_RB轴方向上的位置。在这种情况下,例如,测量目标52的坐标的Z_RB分量可以与第一手指441的末端表面的坐标的Z_RB分量相同。
例如,如图6A、图6B和图6C所示,控制器11可以在末端执行器44的第一手指441和第二手指442处于闭合的状态下,使第一手指441或第二手指442与测量目标52接触。控制器11可以通过沿三个轴中的每个轴移动末端执行器44并且使末端执行器44与测量目标52接触来计算测量目标52的坐标。控制器11可以沿相互独立的三个方向移动末端执行器44并且使末端执行器44与测量目标52接触。在下面的示例中,沿三个轴或方向中的每一个的仅一侧进行接触,但可以从沿三个轴或方向中的每一个的两侧进行接触。
在图6A中,控制器11沿X_RB轴的负方向移动末端执行器44,以使第一手指441的外侧(X_RB轴的负方向侧)与测量目标52接触。在这种情况下,控制器11可以基于检测作用在第一手指441上的负载的力传感器444的检测结果以及第一手指441的位置,来计算测量目标52在X_RB轴方向上的位置。如果触觉传感器445安装在第一手指441的外侧上,则控制器11可以基于触觉传感器445的检测结果以及第一手指441的位置,来计算测量目标52在X_RB轴方向上的位置。在这种情况下,例如,考虑测量目标52的尺寸,可以将第一手指441的外表面的坐标的X_RB分量加上或减去测量目标52的宽度的一半得到的值,获取为测量目标52的坐标的X_RB分量。
在图6B中,控制器11沿Y_RB轴的正方向移动末端执行器44并且使第一手指441或第二手指442的侧表面(X_RB轴的负方向侧)与测量目标52接触。在这种情况下,控制器11可以基于检测作用在第一手指441或第二手指442上的负载的力传感器444的检测结果以及第一手指441或第二手指442的位置,来计算测量目标52在Y_RB轴方向上的位置。如果触觉传感器445安装在第一手指442或第二手指442的侧表面上,则控制器11可以基于触觉传感器445的检测结果以及第一手指441或第二手指442的位置,来计算测量目标52在Y_RB轴方向上的位置。在这种情况下,例如,考虑测量目标52的尺寸,可以将第一手指441的侧表面的坐标的Y_RB分量加上或减去测量目标52的宽度的一半得到的值,获取为测量目标52的坐标的Y_RB分量。
在图6C中,控制器11沿Z_RB轴的负方向移动末端执行器44并且使第一手指441或第二手指442的末端(Z_RB轴的负方向侧)与测量目标52接触。在这种情况下,控制器11可以基于检测作用在第一手指441或第二手指442上的负载的力传感器444的检测结果以及第一手指441或第二手指442的位置,来计算测量目标52在Z_RB轴方向上的位置。如果触觉传感器445安装在第一手指442或第二手指442的末端处,则控制器11可以基于触觉传感器445的检测结果以及第一手指441或第二手指442的位置,来计算测量目标52在Z_RB轴方向上的位置。在这种情况下,例如,测量目标52的坐标的Z_RB分量可以与第一手指441的末端表面的坐标的Z_RB分量相同。
例如,如图7A、图7B和图7C所示,控制器11可以在第一手指441或第二手指442与测量目标52的位于Z_RB轴的正方向侧的表面接触的情况下,沿X_RB轴方向或Y_RB轴方向移动末端执行器44。换言之,控制器11可以在末端执行器44与测量目标52的顶表面接触的同时沿顶表面的表面方向移动末端执行器44。以这种方式,控制器11可以集中地计算测量目标52的Z_RB轴坐标、或测量目标52的X_RB轴坐标或Y_RB轴坐标。在这种情况下,测量目标52可以设置在操作空间中,使得测量目标52的位于Z_RB轴的正方向侧的表面(顶表面)出现在操作空间图像中。
具体地,作为第一步骤,控制器11使第一手指441或第二手指442与测量目标52的位于Z_RB轴的正方向侧的表面接触。控制器11可以基于力传感器444或触觉传感器445的检测结果以及第一手指441或第二手指442的位置,来计算测量目标52在Z_RB轴方向上的位置。
作为第二步骤,控制器11沿X_RB轴或Y_RB轴移动第一手指441或第二手指442。作为沿X_RB轴或Y_RB轴移动第一手指441或第二手指442的结果,第一手指441或第二手指442离开测量目标52的位于Z_RB轴的正方向侧的表面。换言之,第一手指441或第二手指442不再与测量目标52的位于Z_RB轴的正方向侧的表面接触。控制器11可以基于检测第一手指441或第二手指442与测量目标52的位于Z_RB轴的正方向侧的表面之间的接触的失去的检测结果,来计算测量目标52在X_RB轴方向或Y_RB轴方向上的位置。
控制器11可以基于力传感器444或触觉传感器445的检测结果来检测作用在第一手指441或第二手指442上的Z_RB轴方向上的力的变化。控制器11可以基于Z_RB轴方向上的力的变化来计算测量目标52在X_RB轴方向或Y_RB轴方向上的位置。例如,假设控制器11沿X_RB轴方向移动第一手指441或第二手指442。当作用在第一手指441或第二手指442上的Z_RB轴方向上的负载减少了规定值或更多时,控制器11可以确定第一手指441或第二手指442已经到达测量目标52在X_RB轴方向上的端部。控制器11可以将第一手指441或第二手指442被确定为已经到达测量目标52在X_RB轴方向上的端部的位置计算为测量目标52在X_RB轴方向上的位置。
在图7A中,控制器11在第一手指441或第二手指442与测量目标52的位于Z_RB轴的正方向侧的表面接触的状态下,沿X_RB轴的正方向移动末端执行器44。在这种情况下,控制器11可以基于由力传感器444或触觉传感器445检测作用在第一手指441或第二手指442和测量目标52上的负载的检测结果、以及第一手指441或第二手指442的位置,来计算测量目标52在Z_RB轴方向上的位置。此外,控制器11可以基于第一手指441或第二手指442与测量目标52之间的接触的失去的检测结果以及第一手指441或第二手指442的位置,来计算测量目标52在X_RB轴方向上的位置。
在图7B中,控制器11在第一手指441或第二手指442与测量目标52的位于Z_RB轴的正方向侧的表面接触的状态下,沿Y_RB轴的正方向移动末端执行器44。在这种情况下,控制器11可以基于由力传感器444或触觉传感器445检测作用在第一手指441或第二手指442上的负载的检测结果以及第一手指441或第二手指442的位置,来计算测量目标52在Z_RB轴方向上的位置。此外,控制器11可以基于第一手指441或第二手指442与测量目标52之间的接触的失去的检测结果以及第一手指441或第二手指442的位置,来计算测量目标52在Y_RB轴方向上的位置。
在图7C中,控制器11在第一手指441或第二手指442与测量目标52的位于Z_RB轴的正方向侧的表面接触的状态下,同时沿X_RB轴的正方向和Y_RB轴的正方向移动末端执行器44。换言之,控制器11沿相对于X_RB轴和Y_RB轴倾斜的方向移动第一手指441或第二手指442。在这种情况下,控制器11可以基于由力传感器444或触觉传感器445检测作用在第一手指441或第二手指442上的负载的检测结果以及第一手指441或第二手指442的位置,来计算测量目标52在Z_RB轴方向上的位置。此外,控制器11可以基于第一手指441或第二手指442与测量目标52之间的接触的失去的检测结果以及第一手指441或第二手指442的位置,来计算测量目标52在X_RB轴方向上的位置和测量目标52在Y_RB轴方向上的位置。
如图7A、图7B和图7C所示,在保持末端执行器44与测量目标52接触的同时沿不同方向移动末端执行器44的方法中,第一手指441和第二手指442可以处于打开状态或处于闭合状态。
如图8所示,控制器11可以在测量目标52介于第一手指441和第二手指442之间的状态下,旋转末端执行器44,使得第一手指441和第二手指442沿测量目标52的外周移动。在这种情况下,测量目标52可以是具有圆形顶表面的圆柱形状。控制器11可以控制机器人40移动第一手指441和第二手指442之中的至少一个手指以使一个手指更靠近另一手指,并且在第一手指441和第二手指442与测量目标52接触的情况下围绕测量目标52旋转手指。控制器11可以基于来自安装在第一手指441和第二手指442内侧的触觉传感器445的检测结果来旋转末端执行器44。控制器11可以基于第一手指441或第二手指442的移动路径来计算测量目标52在X_RB轴方向和Y_RB轴方向上的中心坐标。测量目标52的形状不限于圆柱,并且可以是具有多边形顶表面的棱柱形状。测量目标52的形状不限于这些形状,并且可以是各种其他形状。测量目标52可以设置在操作空间中,使得测量目标52的顶表面出现在操作空间图像中。
如上所述,控制器11可以控制机器人40,使得末端执行器44接触测量目标52的至少一个表面。通过使末端执行器44与测量目标52的至少一个表面接触,控制器11可以提高测量目标52的位置的检测精度。在上面的示例中,描述了基于末端执行器44接触测量目标52来获得测量目标52的坐标的示例。然而,如果末端执行器44和测量目标52之间的位置关系已知,则末端执行器44不需要接触测量目标52。换言之,如果能够进行非接触式测量的距离传感器安装在末端执行器44的第一手指441上,则可以基于第一手指441的坐标以及从第一手指441到测量目标52的距离,如上所述来计算测量目标52的坐标。可以基于不同的传感器来计算测量目标52的坐标的每个分量。
控制器11可以控制机器人40,使得末端执行器44接触测量目标52的出现在操作空间图像中的表面。以这种方式,控制器11可以通过使用基于与测量目标52的接触的测量目标52的位置,容易地校正基于空间信息获取单元20的测量目标52的位置。因此,可以提高空间信息获取单元20的坐标系的精度。
在上述机器人控制设备10和机器人控制方法的实施方式中,描述了被配置为通过第一手指441和第二手指442抓握对象50的机器人40的第一校准或第二校准。该实施例中的第二校准的形式不仅适用于包括两个手指的机器人40,并且还可以应用于当机器人40包括三个或更多个手指或者当机器人40包括具有吸嘴或手指等的握持单元时的机器人40。如果除了握持单元之外,机器人40包括诸如测量杆之类的夹具,则该实施例中的第二校准的形式也可以应用于这样的机器人40。
(概述)
如上所述,在根据该实施例的机器人控制设备10和机器人控制方法中,通过使机器人40与测量目标52接触并检测负载来检测设置在操作空间中的测量目标52的坐标。以这种方式,可以将基于来自空间信息获取单元20的图像的测量目标52的坐标校正为与基于机器人40的接触的测量目标52的坐标相匹配。另外,可以将空间信息获取单元20的坐标系校正为与机器人40的坐标系相匹配。因此,可以提高机器人40的校准精度。
由于能够基于机器人40与测量目标52的接触来校正坐标或坐标系,因此即使空间信息获取单元20中的深度信息的计算精度降低,也可以确保校准的精度。因此,可以降低空间信息获取单元20的成本。另外,可以通过改变空间信息获取单元20的配置或空间信息获取单元20的布置来减少对校准精度的影响。
由于可以通过机器人40与测量目标52的接触来校正坐标或坐标系,因此可以确保校准的精度,而无需操作者执行目视检查。因此,可以减少作业负担和作业成本。另外,可以促进校准的自动化。另外,即使机器人40的作业空间不处于均匀高度处,也可以校正坐标或坐标系。
尽管在上面的示例中描述了机器人40安装在工作台70上的示例,但机器人40可以安装在与工作台70不同的支撑平台上。即使机器人40位于与工作台70不同的支撑平台上,由于作业目标等安装在工作台70上,因此操作空间的坐标系也是工作台70的坐标系。因此,通过执行本公开的校准,即使机器人40未安装在工作台70上,也可以执行精确作业。
(其他实施例)
下面描述其他实施例。
<首先执行第二校准的情况>
在上述实施例中,机器人控制设备10的控制器11首先在机器人40的坐标系与空间信息获取单元20的坐标系之间执行第一校准,然后基于测量目标52来执行第二校准。然而,在本公开的其他实施例中,机器人控制设备10的控制器11可以首先执行第二校准。
具体地,机器人控制设备10的控制器11可以针对设置在特定位置处的测量目标52,以与第一实施例相同或类似的方式获取测量目标52在机器人40的坐标系中的坐标。然后,控制器11可以通过以下方式执行校准:使用所获取的测量目标52在机器人40的坐标系中的坐标作为机器人40的坐标系的原点来校正机器人坐标。备选地,控制器11可以通过以下方式执行校准:例如经由用户输入获取特定位置的操作空间的坐标(X,Y,Z),并且基于所输入的操作空间坐标,相对于该操作空间的坐标系来校准机器人40的坐标系。可以手动地使机器人40与测量目标52接触,或者可以手动地将机器人40移动到测量目标52附近,然后通过控制器11沿一定方向移动机器人来使机器人40与测量目标52接触。
如果机器人控制设备10从用户接受输入,则机器人控制设备10可以经由接口13获取来自用户的输入。在这种情况下,机器人控制***1还可以包括终端设备,该终端设备包括优先地或无线地连接到机器人控制设备10的接口13的用户接口。用户接口输入来自用户的信息,并且向用户输出信息。用户接口包括例如触摸传感器。触摸传感器检测用户手指或手写笔等的接触,并且识别接触位置。触摸传感器可以与显示器集成以构成触摸面板显示器。
如果机器人控制***1不包括作为空间信息获取单元20的相机,则控制器11可以完成校准并允许机器人40开始工作。如果机器人控制***1包括作为空间信息获取单元20的相机,则控制器11可以在空间信息获取单元20的坐标系与操作空间的坐标系之间、或在机器人40的坐标系与空间信息获取单元20的坐标系之间执行校准,并且可以确定机器人40的坐标系与空间信息获取单元20的坐标系之间的转换公式。如果机器人40和空间信息获取单元20的位置从一开始就被固定,则由于可以在不执行机器人40的坐标系与空间信息获取单元20的坐标系之间的校准的情况下对机器人40的坐标系和空间信息获取单元20的坐标系进行转换,因此可以不需要校准。
<测量目标52的其他示例配置>
如图9A所示,测量目标52可以包括标记46。测量目标52可以包括充当测量目标标记的标记46。测量目标52可以分别包括测量目标标记和标记46。
当观察测量目标52的顶表面时,测量目标52可以例如具有各向同性的平面形状,并且顶表面可以是平坦的。测量目标52是多棱柱,例如立方体、长方体、或四棱柱或三棱柱。例如,在测量目标52采用具有包括角或直边在内的顶表面的形状(例如,多棱柱)的情况下,由于存在测量目标52的角或边,因此可以提高当沿测量目标52的顶表面移动末端执行器44时识别坐标位置的精度。以这种方式,可以减少操作空间中的由用于执行第一校准和第二校准的夹具占据的空间。
如图9B所示,除了包括标记46之外,测量目标52还可以包括将与机器人40的末端执行器44接触的部分。以这种方式,测量目标52的顶表面可以用于第二校准。因此,能够提高第二校准的精度。
如图9C所示,测量目标52可以被配置为不包括标记46。在机器人控制***1不包括作为空间信息获取单元20的相机的情况下,在图9C所示的配置中,可以通过手动地将机器人40移动得更靠近测量目标52来执行第二校准。
如图9D所示,测量目标52可以被配置为具有圆柱形状,并且在圆柱形状的顶表面上具有标记46。以这种方式,可以提高第二校准的精度。
<测量目标52的布置示例>
如图10所示,测量目标52可以在工作台70的顶表面上设置在对角线位置处。以这种方式,工作台70的顶表面的任何倾斜或畸变都可以在机器人40的操作空间的坐标系中进行校正。
尽管已经基于附图和示例描述了本公开的实施例,但请注意,本领域技术人员可以基于本公开做出各种变化或改变。因此,请注意,这些变化或改变包括在本公开的范围内。例如,可以以逻辑上一致的方式重新布置每个构成部分中包括的功能等,并且可以将多个构成部分等组合为一个部分或划分为多个部分。
本公开中描述的所有构成元件和/或所有所公开的方法或所公开的处理的所有步骤可以以任何组合进行组合,除了它们的特征将相互排斥的组合之外。除非明确相反地陈述,否则本公开中描述的每个特征可以被服务于相同、等同或类似目的的备选特征替代。因此,除非明确相反地陈述,否则每个所公开的特征仅是相同或等同特征全集中的一个示例。
此外,根据本公开的实施例不限于上述实施例的任何具体配置。根据本公开的实施例可以扩展到本公开中描述的所有新颖特征或其组合,或者本公开中描述的所有新颖方法、或处理步骤或其组合。
在本公开中,“第一”、“第二”等是用于区分这些配置的标识符。关于配置,在本公开中用于区分配置的“第一”、“第二”等可以彼此互换。例如,标识符“第一”和“第二”可以在第一校准和第二校准之间互换。标识符的互换是同时发生的。即使在互换标识符之后,配置也可以彼此区分开。可以删除标识符。已经将其标识符删除的配置通过符号可彼此区分开。在本公开中对诸如“第一”和“第二”之类的标识符的使用本身,并不用作解释这些配置的顺序的依据或具有较小编号的标识符的存在的依据。
附图标记
1机器人控制***
10机器人控制设备(11控制器,12存储单元,13接口)
20空间信息获取单元
40机器人(410控制器,42臂,44末端执行器,440控制器,441第一手指,442第二手指,443驱动单元,444力传感器,445触觉传感器,46标记,48传感器,49接口)
50对象
52测量目标(54可接触范围)
60校准范围
70工作台。
Claims (14)
1.一种机器人控制设备,包括:
控制器,被配置为控制包括传感器和末端执行器在内的机器人,
其中,所述控制器被配置为:
获取所述末端执行器相对于设置在所述机器人的操作空间内部的测量目标的位置信息,以及
基于所述位置信息来校正与所述机器人的操作相关的坐标系。
2.根据权利要求1所述的机器人控制设备,
其中,所述控制器被配置为:
基于关于所述操作空间的空间信息来获取所述测量目标的坐标,
基于所述测量目标的坐标,控制所述机器人并且将所述末端执行器移动到所述测量目标,
基于所述末端执行器相对于所述测量目标的位置信息来校正与所述机器人的操作相关的坐标系。
3.根据权利要求2所述的机器人控制设备,
其中,所述测量目标包括测量目标标记,并且
所述控制器被配置为基于关于所述测量目标标记的空间信息来计算所述测量目标的坐标。
4.根据权利要求1至3中任一项所述的机器人控制设备,
其中,所述控制器被配置为基于所述末端执行器相对于多个测量目标的位置信息来校正与所述机器人的操作相关的坐标系。
5.根据权利要求1至4中任一项所述的机器人控制设备,
其中,所述控制器被配置为获取基于所述末端执行器与所述测量目标的接触的接触信息作为所述位置信息。
6.根据权利要求1至5中任一项所述的机器人控制设备,
其中,所述控制器被配置为:基于通过在所述末端执行器与所述测量目标接触的情况下移动所述末端执行器并且检测所述末端执行器与所述测量目标之间的接触的失去而获得的信息,校正基于关于所述机器人的操作空间的空间信息的坐标系。
7.根据权利要求6所述的机器人控制设备,
其中,所述控制器被配置为在所述末端执行器与所述测量目标的顶表面接触的同时沿所述测量目标的所述顶表面在表面方向上移动所述末端执行器。
8.根据权利要求1至4中任一项所述的机器人控制设备,
其中,所述末端执行器包括握持单元,并且
所述控制器被配置为通过控制所述机器人并移动所述握持单元来使所述末端执行器与所述测量目标接触。
9.根据权利要求8所述的机器人控制设备,
其中,当所述握持单元包括至少两个手指时,所述控制器被配置为:控制所述机器人并且将所述手指中的至少一个手指移动得更靠近所述手指中的另一手指,并且在所述至少一个手指与所述测量目标接触的情况下围绕所述测量目标旋转所述握持单元。
10.根据权利要求1至9中任一项所述的机器人控制设备,
其中,所述控制器被配置为控制所述机器人并且使所述末端执行器接触所述测量目标的至少一个表面。
11.根据权利要求10所述的机器人控制设备,
其中,所述控制器被配置为控制所述机器人并且使所述末端执行器接触所述测量目标的一个表面,所述表面出现在关于所述机器人的操作空间的空间信息中包括的操作空间图像中。
12.根据权利要求1至10中任一项所述的机器人控制设备,
其中,所述测量目标的形状是具有圆形顶表面的圆柱形状或具有多边形顶表面的棱柱形状,并且
所述测量目标设置在所述操作空间中,并且所述测量目标的顶表面出现在关于所述机器人的操作空间的空间信息中包括的操作空间图像中。
13.一种机器人控制***,包括:
根据权利要求1至12中任一项所述的机器人控制设备,以及所述机器人。
14.一种用于控制机器人的机器人控制方法,所述机器人包括传感器和末端执行器,所述机器人控制方法包括:
获取所述末端执行器相对于设置在所述机器人的操作空间内部的测量目标的位置信息;以及
基于所述位置信息来校正与所述机器人的操作相关的坐标系。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021-127725 | 2021-08-03 | ||
JP2021127725 | 2021-08-03 | ||
PCT/JP2022/029853 WO2023013699A1 (ja) | 2021-08-03 | 2022-08-03 | ロボット制御装置、ロボット制御システム、及びロボット制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117769482A true CN117769482A (zh) | 2024-03-26 |
Family
ID=85156013
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280053851.5A Pending CN117769482A (zh) | 2021-08-03 | 2022-08-03 | 机器人控制设备、机器人控制***和机器人控制方法 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP4382259A1 (zh) |
JP (1) | JPWO2023013699A1 (zh) |
CN (1) | CN117769482A (zh) |
WO (1) | WO2023013699A1 (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05301183A (ja) | 1992-04-28 | 1993-11-16 | Fujitsu Ltd | ロボット制御装置及びロボット制御方法 |
JP5505138B2 (ja) * | 2010-07-05 | 2014-05-28 | 株式会社安川電機 | ロボット装置およびロボット装置による把持方法 |
JP6511715B2 (ja) * | 2013-10-31 | 2019-05-15 | セイコーエプソン株式会社 | ロボット制御装置、ロボットシステム、及びロボット |
JP6415190B2 (ja) * | 2014-09-03 | 2018-10-31 | キヤノン株式会社 | ロボット装置、ロボット制御プログラム、記録媒体、およびロボット装置の制御方法 |
-
2022
- 2022-08-03 EP EP22853117.4A patent/EP4382259A1/en active Pending
- 2022-08-03 WO PCT/JP2022/029853 patent/WO2023013699A1/ja active Application Filing
- 2022-08-03 JP JP2023540395A patent/JPWO2023013699A1/ja active Pending
- 2022-08-03 CN CN202280053851.5A patent/CN117769482A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2023013699A1 (ja) | 2023-02-09 |
JPWO2023013699A1 (zh) | 2023-02-09 |
EP4382259A1 (en) | 2024-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6126183B2 (ja) | ターゲットマークを撮像するカメラを備えたロボットシステム | |
JP6180087B2 (ja) | 情報処理装置及び情報処理方法 | |
JP5778311B1 (ja) | ピッキング装置およびピッキング方法 | |
US20160184996A1 (en) | Robot, robot system, control apparatus, and control method | |
US9878446B2 (en) | Determination of object-related gripping regions using a robot | |
JP5815761B2 (ja) | 視覚センサのデータ作成システム及び検出シミュレーションシステム | |
US11123864B2 (en) | Motion teaching apparatus, robot system, and motion teaching method | |
JP7214861B2 (ja) | ツールオフセットを有するカメラ-ロボットシステムの自動較正 | |
US11400602B2 (en) | Robot system | |
WO2017133756A1 (en) | Robot system calibration | |
JP2012101306A (ja) | ロボットの校正装置および校正方法 | |
JP2019195885A (ja) | 制御装置およびロボットシステム | |
WO2023013740A1 (ja) | ロボット制御装置、ロボット制御システム、及びロボット制御方法 | |
CN113302027B (zh) | 作业坐标生成装置 | |
CN116852359A (zh) | 一种基于机器人手持示教装置的tcp快速标定的装置及方法 | |
JP2678002B2 (ja) | 視覚付きロボットの座標系較正方法 | |
CN117769482A (zh) | 机器人控制设备、机器人控制***和机器人控制方法 | |
CN115397634A (zh) | 取得机器人的控制坐标系中的视觉传感器的位置的装置、机器人***、方法以及计算机程序 | |
EP4382258A1 (en) | Robot control device, robot control system, and robot control method | |
TWI805437B (zh) | 機器人點位演算校正系統與校正方法 | |
JPH04182710A (ja) | 相対位置決め方式 | |
CN113524147B (zh) | 一种基于3d相机的工业机器人示教***及方法 | |
CN117769483A (zh) | 机器人控制设备、机器人控制***以及机器人控制方法 | |
WO2024135220A1 (ja) | ロボット制御システム | |
JP2018001321A (ja) | ロボット、ロボット制御装置、及びロボットシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |