CN112123342B - 一种机器人***以及测控方法 - Google Patents

一种机器人***以及测控方法 Download PDF

Info

Publication number
CN112123342B
CN112123342B CN202011333511.7A CN202011333511A CN112123342B CN 112123342 B CN112123342 B CN 112123342B CN 202011333511 A CN202011333511 A CN 202011333511A CN 112123342 B CN112123342 B CN 112123342B
Authority
CN
China
Prior art keywords
substrate
coordinate system
stacked
axis
top surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011333511.7A
Other languages
English (en)
Other versions
CN112123342A (zh
Inventor
姜峣
陈志远
李逢春
李铁民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202011333511.7A priority Critical patent/CN112123342B/zh
Publication of CN112123342A publication Critical patent/CN112123342A/zh
Application granted granted Critical
Publication of CN112123342B publication Critical patent/CN112123342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G61/00—Use of pick-up or transfer devices or of manipulators for stacking or de-stacking articles not otherwise provided for

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)

Abstract

一种机器人***以及测控方法，这种测控方法包括：驱动机械臂使得末端抓取模块运动到待堆叠物品的上方；采用末端抓取模块上的至少3个测距元件进行测量；计算出基板的板面运动到与该顶面相互平行时所需要的运动量；驱动机械臂使得该基板运动到其板面与该顶面相互平行；采用第一相机对待堆叠物品的顶部进行拍摄；计算出将与基板相对固定的吸盘移动到在基板的法向上与该顶面上的预定抓取点相对准时该基板所需要的运动量；驱动机械臂移动基板以使得吸盘移动到与预定抓取点相对准的位置，再沿基板的法向靠近待堆叠物品直至吸盘吸取到待堆叠物品。采用这种测控方法来抓取待堆叠物品，精度更高。

Description

一种机器人***以及测控方法
技术领域
本文涉及机器人技术，尤指一种机器人***以及测控方法。
背景技术
高效执行重复性操作是机器人应用中的一个重要特点，其中，在物流行业和装配等领域，多部件重复性操作更是数不胜数，比如，物流行业的机器人码垛操作，建筑行业的堆墙砖、铺地砖操作等等。但是，相比于机器人成熟应用的工业场景，物流仓库、建筑工地等通常可以被认为是非结构化的，工件没有固定的摆放位置、各物体之间的联系也是随机建立起来的，这给机器人操作精度带来了挑战。
在机器人型号确定的情况下，操作精度得不到保证的一个重要原因是机器人操作中存在的测量误差。测量误差主要来自两个方面。一是在抓取阶段，机器人要通过相关传感器获取场景中工件的6D位姿，进而计算出抓取配置，包括抓取点、抓取方向等。二是机器人需要通过相关传感器获取工件将要被放置或者装配后的6D位姿，以便将工件精确地安装在期望的位置。目前，对非结构化环境中工件的位姿测量，一般是通过视觉测量来完成，但现阶段视觉测量一般还无法用于机器人执行具有较高精度要求的任务。一种可能的实现方式是，先通过机器人视觉将机器人末端粗略地引导到期望位置附近，然后运用其他具有高精度测量性能的手段，以辅助机器人执行高精度操作。
在此背景下，迫切需要满足较高精度要求的稳定可靠的目标位姿测控方法和***。
发明内容
本申请提供了一种机器人***的测控方法，可以高精度地抓取待堆叠物品。
与相关技术相比，本申请的测控方法，包括：
驱动机械臂使得末端抓取模块运动到待堆叠物品的上方；
采用末端抓取模块上的至少3个测距元件进行测量，以获每个测量元件的测量起始点在基板的法向上到待堆叠物品的顶面之间的距离；
根据每个测量起始点到该顶面的距离以及每个测量起始点与末端抓取模块的基板的相对位置关系，计算出基板的板面运动到与该顶面相互平行时所需要的运动量；
驱动机械臂使得该基板运动到其板面与该顶面相互平行；
采用第一相机对待堆叠物品的顶部进行拍摄，获得待堆叠物品的顶部图片；
根据该顶部图片，第一相机与基板之间的相对位置关系计算出将与基板相对固定的吸盘移动到在基板的法向上与该顶面上的预定抓取点相对准时该基板所需要的运动量；
驱动机械臂移动基板以使得吸盘移动到与预定抓取点相对准的位置，再沿基板的法向靠近待堆叠物品直至末端抓取模块抓取到待堆叠物品。
本发明中，先根据测距元件的测量结果将基板转动到与待堆叠物品的顶面平行的位置，然后通过第一相机对待堆物品的顶部进行拍摄，然后根据所拍摄的顶部照片来将吸盘移动到与待堆叠物品顶面上的预定抓取点相对准的位置，这样能实现吸盘与待堆叠物品顶面上的预定抓取点高精度对准。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。
附图说明
附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本申请实施例中的一种机器人***的结构示意图；
图2为本申请实施例中的末端抓取模块的结构示意图；
图3为本申请实施例中的一种机器人***的结构示意图；
图4为本申请实施例中的测控方法在抓取阶段的流程图；
图5为本申请实施例中调整基板与待堆叠物品的顶面平行的示意图；
图6为本申请实施例中相机的成像模型的示意图；
图7为本申请实施例中第一相机的工作示意图；
图8为本申请实施例中基准面发生器的工作示意图；
图9为本申请实施例中第二相机的工作示意图；
图10为本申请实施例中的测控方法在抓取阶段的流程图。
具体实施方式
如图1所示，图1显示了一种机器人***100。该机器人***100包括测量组件2、计算组件3和执行装置1。测量组件2和执行装置1均电连接于计算组件3。
执行装置1包括机械臂11和末端抓取模块12。机械臂11可以是多轴机械臂11，例如可以是六轴机械臂11。机械臂11可以是安装在地面上。末端抓取模块12设置在机械臂11的末端。末端抓取模块12用于抓取待堆叠物品4。
如图2所示，末端抓取模块12包括基板121、第一连接柱122、第二连接柱126、安装板127和多个吸盘128。基板121构造为平板。基板121可以是方形平板。第一连接柱122和第二连接柱126均垂直于基板121。第一连接柱122和第二连接柱126分别位于基板121的相对两侧。第一连接柱122和第二连接柱126分别从基板121的相对两个板面垂直伸出。第一连接柱122和第二连接柱126可以是都连接在基板121的中部。
第一连接柱122包括柱体125、第一法兰盘123和第二法兰盘124。柱体125为直条形。柱体125可以是大致的圆管结构。第一法兰盘123和第二法兰盘124分别设置在柱体125的两端。第一法兰盘123和第二法兰盘124均与柱体125同轴设置。第一法兰盘123用于与机械臂11螺钉连接。第二法兰盘124用于与基板121螺钉连接。
第二连接柱126的一端连接于基板121，第二连接柱126的另一端连接于安装板127。第二连接柱126可以是连接于安装板127的中部。安装板127可以是平板。安装板127与基板121相互平行。
安装板127上设置有多个安装座120。每个安装座120上安装有一个吸盘128。吸盘128位于安装座120背离第二连接柱126的一侧。在本实施例中，安装板127上设置有四个吸盘128，四个吸盘128呈矩阵分布。吸盘128能外接于真空管路，真空管路能为吸盘128内部提供负压以使得吸盘128能吸住待堆叠物品4。
计算组件3安装在基板121上。计算组件3可以是嵌入式计算机。计算组件3位于基板121背离第二连接柱126的板面上。
测量组件2包括多个测距元件21、第一相机22、第二相机23、基准面发生器25、多个检测元件24、第一支架129和第二支架133。
测距元件21安装在基板121靠近吸盘128的板面上。测距元件21至少设置3个。在本实施例中，测距元件21设置4个。4个测距元件21分别靠近基板121的四个边缘设置。测距元件21安装在基板121靠近吸盘128的板面上。测距元件21用于测量在垂直于基板121的方向上待堆叠物品4到该测距元件21之间的距离。测距元件21可以是激光位移传感器。测距元件21向垂直于基板121的方向发送激光，激光照射到待堆叠物品4上即可测量到在垂直于基板121的方向上该测量元件到待堆叠物品4的距离。
第一相机22设置在基板121靠近吸盘128的板面上。第一相机22的镜头朝向背离基板121的方向。第一相机22能拍摄抓取模型下方的图片。第一相机22靠近基板121的一个角。
第一支架129为条形板。基板121具有第一侧面1211，基板121的第一侧面1211与基板121的板面垂直。第一支架129的一端连接于基板121靠近的第一侧面1211的位置，其另一端向基板121的斜下方延伸。第一支架129延伸至与吸盘128大致平齐的位置。第一支架129包括依次连接的第一段130、第二段131和第三段132。第一段130从基板121的边缘水平向外延伸。第二段131从第一段130朝外的第一端向远离基板121的斜下方延伸。第三段132从第二段131背离第一段130的一端竖直向下延伸。
第二相机23设置在第一支架129背离基板121的一端上。在本实施例中，第二相机23固定在第一支架129的第三段132上，且位于第三段132靠近吸盘128的一侧。第二相机23的镜头朝向吸盘128。
第二支架133和第一连接柱122设置在基板121的同一板面上。第二支架133靠近基板121的第一侧面1211。第二支架133包括竖杆135和横杆134。竖管垂直于基板121。竖杆135的一端连接于基板121。横杆134设置在竖杆135的另一端上。横杆134平行于基板121。
如图8所示，基准面发生器25固定在机械臂11周围的环境中。基准面发生器25用于生成一个基准平面251。该基准平面251可以是激光平面，例如，基准面发生器25可以发出一个大致扇形的激光平面作为基准平面251。该基准平面251作为堆叠物品的参考平面，与已堆叠物品55的一个侧面51平齐。该基准平面251可以是设置成竖直平面。
检测元件24至少设置3个。检测元件24可以是PSD传感器（Position SensitiveDevice, 位置敏感探测器）。检测元件24均与基板121相对固定设置。检测元件24包括电路板242和感应部241。电路板242可是呈大致的盒状结构。感应部241设置在电路板242的外部。感应部241位于电路板242的一面的中部。感应部241可以是呈大致的直条状。感应部241能感应到基准面发生器25所设立的基准平面251。感应部241的延伸方向平行于基板121的板面且垂直于基板121的第一侧面1211。多个检测元件24的感应部241的中部位于同一平面内，该平面平行于第一侧面1211且位于第一侧面1211的外侧，多个感应部241的中部不位于同一直线上。在本实施例中，第一个检测元件24和第二个检测元件24分别设置在基板121的两个板面上，第三个检测元件24设置在第二支架133的横杆134上。
在本实施例中，如图3所示，待堆叠物品4和已堆叠物品5的形状和大小都一样。待堆叠物品4和已堆叠物品5均为长方体。
如图4所示，本实施例还提出了一种测控方法。该测控方法包括以下步骤：
步骤S0：预先建立基板坐标系，该基板坐标系与基板121相对固定；
预先建立第一相机坐标系，该第一相机坐标系与第一相机22相对固定；
预先建立第二相机坐标系，该第二相机坐标系与第二相机23相对固定。
如图5所示，基板坐标系可以是直角坐标系。该基板坐标系具有x、y、z轴。基板坐标系的z轴与基板121的板面垂直，并且该z轴的正方方向指向基板121靠近吸盘128的一侧。基板坐标系的原点O可以是位于基板121的一个板面的中心位置，该板面可以是基板121靠近吸盘128的板面。
步骤S1：驱动机械臂11使得末端抓取模块12运动到待堆叠物品4的上方；
将基于视觉的目标位姿测量通常为粗测量。可以基于视觉测量来粗略测量待堆叠物品4的位置和姿态信息，然后驱动机械臂11将该末端抓取模块12移动到待堆叠物品4的上方附近。
当然，也可以是人工控制机械臂11将末端抓取模块12移动到待堆叠物品4上方。
步骤S2：采用末端抓取模块12上的至少3个测距元件21进行测量，以获每个测量元件的测量起始点在基板121的法向上到待堆叠物品4的顶面之间的距离；
在该步骤中，如图5所示，待堆叠物品4平放在地面上，机械臂11将末端抓取模块12移动到待堆叠物品4的上方，基板121靠近吸盘128的板面朝下，吸盘128位于待堆叠物品4与基板121之间，第一相机22的镜头朝向待堆叠物品4。每个测距元件21均朝待堆叠物品4的发射激光，激光从该测距元件21的测量起始点沿平行于基板121的法向的方向入射到待堆叠物品4的顶面上。测距元件21所发射的激光照射在该顶面上形成一个光斑，该光斑的所在的位置即为该顶面上的一个测量点。测距元件21所测得的测量起始点到该测量点的直线距离即为该测量元件的测量起始点在基板121的法向上到待堆叠物品4的顶面之间的距离。在本实施例中，采用4个测距元件21对待堆叠物品4的顶面进行测量，以获每个测量元件的测量起始点在基板121的法向上到待堆叠物品4的顶面之间的距离。分别与四个测量起始点K1、K2、K3、K4相对应的测量点分别为点H1、H2、H3、H4，测量起始点K1与测量点H1之间的距离为d1，测量起始点K2与测量点H2之间的距离为d2，测量起始点K3与测量点H3之间的距离为d3，测量起始点K4与测量点H4之间的距离为d4。测距元件21将测量结果发送给计算组件3。
步骤S3：根据每个测量起始点到该顶面的距离以及每个测量起始点与末端抓取模块12的基板121的相对位置关系，计算出基板121的板面运动到与该顶面相互平行时所需要的运动量；
在本实施例中，计算组件3根据每个测量元件的测量起始点在基板121的法向上到待堆叠物品4的顶面之间的距离以及每个测量起始点在基板坐标系下的坐标，计算出将基板121的板面转动到与待堆叠物品4的顶面相互平行需要将该基板121绕基板坐标系的x轴转动的转角角度、绕基板坐标系的y轴转动的转角角度。
步骤S3包括步骤S31~S33；
步骤S31：根据每个测量元件的测量起始点在基板121的法向上到待堆叠物品4的顶面之间的距离以及每个测量起始点在基板坐标系下的坐标，计算出基板坐标系下该顶面所在平面的平面方程；
测距元件21的测量起始点在基板坐标系下的坐标已知。在本实施例中，测量起始点K1、K2、K3、K4在基板坐标系下的坐标分别为
Figure 325482DEST_PATH_IMAGE001
，测量起始点K1与测量点H1之间的距离为d1，测量起始点K2与测量点H2之间的距离为d2，测量起始点K3与测量点H3之间的距离为d3，测量起始点K4与测量点H4之间的距离为d4，则测量点H1、H2、H3、H4在基板坐标系下的坐标分别为
Figure 836097DEST_PATH_IMAGE003
。
根据待堆叠物品4的顶面上的测量点H1、H2、H3、H4在基板坐标系下的坐标，可采用 空间平面拟合算法计算出该顶面所在平面的平面方程
Figure 943731DEST_PATH_IMAGE004
。该空间 平面拟合算法可以是最小二乘法。
步骤S32：根据顶面所在平面6在基板坐标系下的平面方程，设定一个第一工件坐标系，第一工件坐标系的原点为点F，该第一工件坐标系的x轴和y轴处于该平面6内，该第一工件坐标系的z轴与该平面6的法向平行，并获得从基板坐标系到第一工件坐标系的旋转矩阵。
在本实施例中，平面方程为
Figure 807781DEST_PATH_IMAGE005
则该平面6的法向量记为
Figure 448585DEST_PATH_IMAGE006
，该法向量的方向选取与基板坐标系的z轴正向之间的夹角的余弦值大 于或等于0的方向。令第一工件坐标系的z轴在基板坐标系下的方向向量为
Figure 739889DEST_PATH_IMAGE007
的方向相同。这样，能将第一工件坐标系的z轴正向与该法向量方 向一致。
令第一工件坐标系的x轴在基板坐标系下的方向向量为：
Figure 600398DEST_PATH_IMAGE008
。
令第一工件坐标系的y轴在基板坐标系下的方向向量为：
Figure 268139DEST_PATH_IMAGE009
根据基板坐标系下的第一工件坐标系的x、y、z轴的方向向量，计算出基板坐标系到第一工件坐标系的旋转矩阵。
步骤S33：根据基板坐标系到第一工件坐标系的旋转矩阵，计算出将基板121的板面与待堆叠物品4的顶面相互平行需要将该基板121绕基板坐标系的x轴转动的转角角度和绕基板坐标系的y轴转动的转角角度。
根据旋转矩阵推算转角是本领域的常规技术，在此不再赘述。
步骤S4：驱动机械臂11使得该基板121运动到其板面与该顶面相互平行；
计算组件3驱动机械臂11将基板121绕基板坐标系的x轴转动上述转角角度和绕基板坐标系的y轴转动上述转角角度。这样就将基板121的板面转动到与待堆叠物品4的顶面平行了。
步骤S5：采用第一相机22对待堆叠物品4的底部进行拍摄，获得待堆叠物品4的顶部图片；
如图7所示，在计算组件3控制第一相机22进行拍摄。第一相机22从待堆叠物品4的顶部对待堆叠物品4进行拍摄，能获得该待堆叠物品4的顶部图片。
步骤S6：根据该顶部图片，第一相机22与基板121之间的相对位置关系计算出将与基板121相对固定的吸盘128移动到在基板121的法向上与该顶面上的预定抓取点相对准时该基板121所需要的运动量；
步骤S6包括S61~S64。
步骤S61：采用测距元件21对待堆叠物品4的顶面41进行测量，以获测量元件的测量起始点到待堆叠物品4的顶面41之间的距离。
计算组件3在机械臂11将基板121转动到位后，控制测距元件21对待堆叠物品4的顶面41进行测量。此时由于待堆叠物品4的顶面41与基板121的板面平行，测量元件的激光传播方向与待堆叠物品4的顶面41垂直，测量元件所测得的距离即为该测量元件的测量起始点到该顶面41的距离d。
在本实施例中，采用4个测距元件21同时测量，这4个测距元件21分别测得距离d5、d6、d7、d8，计算组件3对这几个距离求平均值可以获得平均距离，将该平均距离作为测量元件的测量起始点到待堆叠物品4的顶面41之间的距离d。
步骤S62：识别出顶部图片中的第一特征。
在本实施例中，如图7所示，第一特征包括待堆叠物品4的顶面41上相邻两条棱构成的直角。在顶部图片中，该直角可以是位于左下方的直角。计算组件3对顶部图片进行边缘检测后能从该顶部图片中识别出该第一特征。
步骤S63：根据测距元件21的测量起始点在第一相机坐标系中的位置、测量起始点到待堆叠物品4的顶面41之间的距离以及第一特征在顶部图片中的位置，获得第一特征在第一相机坐标系中的位置。
顶部图片中可以建立一个二维的像素坐标系，第一特征在顶部图片中的位置即为该第一特征在像素坐标系中的坐标值。
在本实施例中，如图6所示，第一相机坐标系的原点为点C，点C为第一相机22的光 心，第一相机坐标系具有相互垂直的Xc轴、Yc轴和Zc轴。其中，Zc轴与基板121的法向平行。可 以将第一相机坐标系的Xc轴与基板坐标系的x轴平行设置，将第一相机坐标系的Yc轴与基板 坐标系的y轴平行设置，将第一相机坐标系的Zc轴与基板坐标系的z轴平行设置。4个测距元 件21的测量起始点处于同一平面上，该平面与第一相机坐标系的
Figure 530493DEST_PATH_IMAGE010
平面相互平行。 可以预先标定出测量起始点到该
Figure 992699DEST_PATH_IMAGE011
平面之间的距离。该距离为测距元件21 的测量起始点所在的与XCCYC平面平行的平面与XCCYC平面之间的距离。
采用下列算式可计算出第一特征中任意一点在第一相机坐标系中的坐标：
Figure 899103DEST_PATH_IMAGE014
其中，K为第一相机22的内参矩阵，
Figure 922423DEST_PATH_IMAGE015
是点
Figure 367311DEST_PATH_IMAGE016
的深度值，
Figure 235909DEST_PATH_IMAGE017
为在像素坐标系下第一特征中任意一点的坐标值，
Figure 348222DEST_PATH_IMAGE018
是在第 一相机坐标系下该点的坐标值。
第一相机22的内参矩阵为第一相机22的固有参数，该内参矩阵可以通过标定获得，例如采用单目棋盘格张正友标定法获得，该内参矩阵也可以是由相机生产厂家直接给出的。因此，该第一相机22的内参矩阵为已知量。
当第一相机坐标系的Zc轴朝上且第一相机坐标系的XCCYC平面在测距元件起始测 量点的上方时，深度值
Figure 276864DEST_PATH_IMAGE019
可以采用以下算式获得：
Figure 474627DEST_PATH_IMAGE020
其中，d为测量元件的测量起始点到待堆叠物品4的顶面41之间的距离，为测 量起始点到第一相机坐标系的
Figure 494763DEST_PATH_IMAGE022
平面之间的距离。
Figure 735251DEST_PATH_IMAGE023
为已知量，可以预先标定出 来。
如图7所示，建立第二工件坐标系，第二工件坐标系的原点为第一特征的顶点Q，第二工件坐标系的x、y轴分别沿第一特征的两条棱延伸，第二工件坐标系的z轴垂直于这两条棱。采用上述算式，可以计算出第一特征的顶点在第一相机坐标系中的坐标，以及分别位于第一特征的两条棱上的其他任意两个点在第一相机坐标系中的坐标。根据第一特征中的顶点在第一相机坐标系中的坐标和分别位于两条棱上的两个点在第一相机坐标系中的坐标可以计算出第二工件坐标系的x、y轴在第一相机坐标系中的方向向量。
由于第一特征与第二工件坐标系的x、y轴重合，获得在第一相机22坐标下该第二工件坐标系的原点坐标和x、y轴的方向向量即可知道该第一特征在第一相机坐标系下的位置。
另外，还可以在第一相机22旁边加装一个相机，该相机与第一相机22组成双目深 度相机***，深度值
Figure 13786DEST_PATH_IMAGE024
还可通过双目深度相机***直接测得。
步骤S64：根据第一特征在第一相机坐标系中的位置、第一相机坐标系到基板坐标系的旋转矩阵以及基板坐标系下的第一预设位置，计算出将第一特征移动到该第一预设位置时该基板121还需沿基板坐标系的x轴移动的平动量、沿基板坐标系的y轴移动的平移量以及基板坐标系的z轴转动的转角角度。
在基板121坐标下具有一个第一预设位置，第一特征处于该第一预设位置时，待堆叠物品4的顶面41上的预定抓取点与吸盘128正好对准，吸盘128沿垂直于基板121的法向靠近待堆叠物品4时能正好抵住待堆叠物品4的顶面41上的预定抓取点。
在本实施例中，基板坐标系下具有一个第一预设坐标，该第一预设坐标为吸盘128正好抵住待堆叠物品4的顶面41上的预定抓取点时第一特征中的顶点Q在基板坐标系下的坐标。第二工件坐标系的原点位于基板坐标系下的第一预设坐标下、第二工件坐标系的x轴与基板坐标系的x轴平行、且第二工件坐标系的y轴与基板坐标系的y轴平行时，该第一特征即位于该第一预设位置。
第一相机坐标系到基板坐标系的旋转矩阵为已知量，可以预先标定出来。根据第一相机坐标系到基板坐标系的旋转矩阵以及第一特征在第一相机坐标系下的位置，可以获得该第一特征在该基板坐标系下的位置。
根据第一特征在基板坐标系下的位置与基板坐标系下的第一预设位置，可以计算出将第一特征移动到该第一预设位置时该基板121还需沿基板坐标系的x轴移动的平移量、沿基板坐标系的y轴移动的平移量以及基板坐标系的z轴转动的转角角度。
步骤S7：驱动机械臂11移动基板121以使得吸盘128移动到与预定抓取点相对准的位置，再沿基板121的法向靠近待堆叠物品4直至吸盘128抓取到待堆叠物品4；
在本实施例中，计算组件3驱动机械臂11按照所得的基板坐标系的x轴移动的平移量、沿基板坐标系的y轴移动的平移量以及基板坐标系的z轴转动的转角角度来移动基板121，能使得第一特征处于基板坐标系下的第一预设位置。
此时，吸盘128与待堆叠物品4的顶面41上的预定抓取点相对准，计算组件3控制机械臂11移动基板121使得基板121沿法向靠近待堆叠物品4，吸盘128在基板121的带动下沿基板121的法向靠近待堆叠物品4直至抵住待堆叠物品4的顶面41上的预定抓取点，然后吸盘128吸住该待堆叠物品4。
基板121沿法向靠近待堆叠物品4的距离可以根据测量元件的测量起始点到待堆叠物品4的顶面41之间的距离d以及测量元件的测量起始点与吸盘128之间的相对位置计算出来。
步骤S8：将待堆叠物品4移动到已堆叠物品5的上方；
可以基于视觉测量技术来粗略测量最上层的一个已堆叠物品5的位置和姿态信息，然后驱动机械臂11将该末端抓取模块12移动到该已堆叠物品5的上方附近。
当然，也可以是人工控制机械臂11将末端抓取模块12移动到已堆叠物品5上方。
步骤S9：驱动基准面发生器25设置一个基准平面251，该基准平面251与已堆叠物品5的一个侧面平齐；
步骤S10：采用末端抓取模块12上的至少3个检测元件24测量基准平面251与基板121之间的相对位置；
在本实施例中，测量元件的感应部241上的各个位置点在基板坐标系下的坐标都是已知的。当任意一个位置点感应到该基准平面251时则可以得到基准平面251与感应部241相交的位置点在基板坐标系下的坐标。
3个检测元件24的感应部241同时测量基准平面251，获得基准平面251与三个感应部241相交的位置点K 1 、K 2 、K 3 在基板坐标系下的坐标。
步骤S11：根据基准平面251与基板121之间的相对位置，以及基板121与待堆叠物品4的侧边之间的相对位置，计算出将该侧面运动到与基准平面251平行时该基板121所需要的运动量；
步骤S11包括步骤S111~113。
步骤S111：根据三个检测元件24感应到基准平面251的位置点在基板坐标系下的坐标来获得基准平面251在基板坐标系下的平面方程；
在本实施例中，如图8所示，三个检测元件24的感应部241同时感应到基准平面 251，三个感应部241感应到基准平面251的位置点分别为K 5 、K 6 、K 7 ，位置点K 5 、K 6 、K 7 在基板坐 标系下的坐标值分别为
Figure 365133DEST_PATH_IMAGE025
。
由于位置点K 5 、K 6 、K 7 均位于基准平面251上，可以根据位置点K 5 、K 6 、K 7 的在基板坐 标系下的坐标求得基准平面251在基板坐标系下的平面方程
Figure 311092DEST_PATH_IMAGE026
。
步骤S112：根据基准平面251在基板坐标系下的平面方程，设定一个第三工件坐标系，该第三工件坐标系的x轴和z轴处于该基准平面251内，该第三工件坐标系的y轴与该基准平面251的法向平行，并获得从基板坐标系到该第三工件坐标系的旋转矩阵。
在本实施例中，如图8所示，平面方程为
Figure 83001DEST_PATH_IMAGE027
则 该基准平面251的法向量记为
Figure 255357DEST_PATH_IMAGE028
，该法向量的方向选取与基板坐标 系的y轴正向之间的夹角的余弦值大于或等于0的方向。令第三工件坐标系的y轴在基板坐 标系下的方向向量为
Figure 3870DEST_PATH_IMAGE029
的方向相同。这样，能将第三工件坐标系的y轴 正向与该法向量方向一致。
令第三工件坐标系的x轴在基板坐标系下的方向向量为：
Figure 945281DEST_PATH_IMAGE030
。
令第三工件坐标系的z轴在基板坐标系下的方向向量为：
Figure 652206DEST_PATH_IMAGE031
根据基板坐标系下的第三工件坐标系的x、y、z轴的方向向量，计算出基板坐标系到该第三工件坐标系的旋转矩阵。
步骤S113：根据基板坐标系到第三工件坐标系的旋转矩阵，以及基板121与待堆叠物品4的侧面之间的相对位置，计算出将该侧面运动到与基准平面251平行时该基板121所需要绕基板坐标系的x轴转动的转角角度和绕基板坐标系的z轴转动的转角角度。
在本实施例中，待堆叠物品4在被末端抓取模块12准确抓取后，待堆叠物品4的一个侧面的法向与基板坐标系的y轴相互平行。因此，只需要将基板坐标系的y轴转动到与第三工件坐标的y轴相互平行，即可使得待堆叠物品4的该侧面与基准平面251相互平行。
根据基板坐标系到第三工件坐标系的旋转矩阵能得出将基板坐标系的y轴转动到与第三工件坐标的y轴平行时该基板121所需要绕基板坐标系的x轴转动的转角角度和绕基板坐标系的z轴转动的转角角度。
步骤S12：驱动机械臂11使得待堆叠物品4的侧面与基准平面251平行；
在本实施例中，计算组件3驱动机械臂11按照所得的基板坐标系的x轴转动的转角角度和绕基板坐标系的z轴转动的转角角度来移动基板121，能使得待堆叠物品4的侧面与基准平面251平行。
步骤S13：沿垂直于基准平面251的法向调整基板121的位置，直至基准平面251与检测元件24相交于检测元件24上的预设位置点，以使得待堆叠物品4的侧面与基准平面251平齐。
在本实施例中，吸盘128准确吸附在待堆叠物品4的顶面41的预定抓取点上时，每个检测元件24的感应部241的预设位置点与该待堆叠物品4的侧面42处于同一平面，该预设位置点可以是感应部241的中点。每个感应部241的预设位置点都感应到该基准平面251时则该侧面42与基准平面251平齐。而基准平面251还平齐于已堆叠物品5的一个侧面51，因此，当基准平面251与检测元件24相交于检测元件24上的预设位置点时已堆叠物品5的一个侧面51与待堆叠物品4相应的一个侧面42平齐。
检测元件24的感应部241感应到基准平面251后，将该感应部241感应基准平面251的位置点的信息发送给个计算组件3。
该计算组件3根据一个检测元件24的感应部241感应到基准平面251的位置点与该检测元件24的预设位置点之间的距离，控制机械臂11在平行于基板坐标系的y轴方向上移动该距离，使得该基准平面251过该预设位置点。
步骤S14：采用第二相机23进行拍摄以获得已堆叠物品5的侧面图片。
如图9所示，在计算组件3控制第二相机23从已堆叠物品5的侧部对已堆叠物品5进行拍摄。第二相机23从待堆叠物品4的侧方对已堆叠物品5进行拍摄，能获得该已堆叠物品5的侧面图片。
步骤S15：根据该侧面图片，第二相机23与基板121之间的相对位置关系计算出将待堆叠物品4的底面与已堆叠物品5的顶面重叠该基板121所需的运动量；
步骤S15包括步骤S151~S153。
步骤S151：识别出侧面图片中的第二特征。
在本实施例中，如图9所示，第二特征包括处于最上方一个已堆叠物品5的侧面51上相邻两条棱构成的直角。在侧面图片中，该直角可以是位于左下方的直角。计算组件3对侧面图片进行边缘检测后能从该侧面图片中识别出该第二特征。
步骤S152：根据待堆叠物品4的侧面42所在平面在第二相机坐标系中的位置，以及第二特征在侧面图片中的位置，获得第二特征在第二相机坐标系中的位置。
侧面图片中可以建立一个二维的像素坐标系，第二特征在侧面图片中的位置即为该第二特征在像素坐标系中的坐标值。
在本实施例中，第二相机坐标系的原点为点D，点D为第二相机23的光心，第二相机坐标系具有相互垂直的XD轴、YD轴和ZD轴。其中，YD轴与基板121的法向平行。可以将第二相机坐标系的XD轴与基板坐标系的x轴平行设置，将第二相机坐标系的ZD轴与基板坐标系的y轴平行设置。第二相机坐标系到基板坐标系的旋转矩阵已知。
待堆叠物品4的侧面、3个检测元件24的感应部241上的预设位置点和基准平面251 处于同一平面内，该平面平行于第二相机坐标系的
Figure 46278DEST_PATH_IMAGE032
平面。可以预先标定出预设位置 点到该
Figure 864061DEST_PATH_IMAGE033
平面之间的距离
Figure 394400DEST_PATH_IMAGE034
。根据该距离
Figure 505182DEST_PATH_IMAGE035
即得到待堆叠物品4的侧面所在平面 在第二相机坐标系中的位置。
采用下列算式可计算出第二特征中任意一点在第二相机坐标系中的坐标：
Figure 386550DEST_PATH_IMAGE036
其中，K为第二相机23的内参矩阵，
Figure 8024DEST_PATH_IMAGE037
是点
Figure 658449DEST_PATH_IMAGE038
的深度值，
Figure 441597DEST_PATH_IMAGE039
为在像素坐标系下第二特征中任意一点的坐标值，
Figure 669316DEST_PATH_IMAGE040
是在第二相机坐 标系下该点的坐标值。
第二相机23的内参矩阵为第二相机23的固有参数，该内参矩阵可以通过标定获得，例如采用单目棋盘格张正友标定法获得，该内参矩阵也可以是由相机生产厂家直接给出的。因此，该第二相机23的内参矩阵为已知量。
深度值
Figure 704268DEST_PATH_IMAGE041
等于预设位置点到
Figure 100877DEST_PATH_IMAGE042
平面之间的距离
Figure 930292DEST_PATH_IMAGE043
。距离
Figure 910887DEST_PATH_IMAGE044
能被预先标 定出来，为已知量。
如图9所示，建立第四工件坐标系，第四工件坐标系的原点为第二特征的顶点W，第四工件坐标系的x、y轴分别沿第二特征的两条棱延伸，第四工件坐标系的z轴垂直于这两条棱。采用上述算式，可以计算出第二特征的顶点在第二相机坐标系中的坐标，以及分别位于第二特征的两条棱上的其他任意两个点在第二相机坐标系中的坐标。根据第二特征中的顶点在第二相机坐标系中的坐标和分别位于两条棱上的两个点在第二相机坐标系中的坐标可以计算出第四工件坐标系的x、y轴在第二相机坐标系中的方向向量。
由于第二特征与第四工件坐标系的x、y轴重合，获得在第二相机23坐标下该第四工件坐标系的原点坐标和x、y轴的方向向量即可知道该第二特征在第二相机坐标系下的位置。
另外，还可以在第二相机23旁边加装一个相机，该相机与第二相机23组成双目深度相机***，深度值
Figure 483950DEST_PATH_IMAGE045
还可通过双目深度相机***直接测得。
步骤S153：根据第二特征在第二相机坐标系中的位置、第二相机坐标系到基板坐标系的旋转矩阵以及基板坐标系下的第二预设位置，计算出将第二特征移动到该第二预设位置时该基板121还需沿基板坐标系的x轴移动的平动量、沿基板坐标系的z轴移动的平移量以及绕基板坐标系的y轴转动的转角。
在基板坐标系下具有一个第二预设位置，第二特征处于该第二预设位置时，待堆叠物品4的底面与最上层一个已堆叠物品5的顶面正好重叠。
在本实施例中，第四工件坐标系的原点位于基板坐标系的第二预设坐标，且第四工件坐标系的x轴与基板坐标系的z轴平行、第四工件坐标系的y轴与基板坐标系的x轴平行时，该第二特征即位于该第二预设位置。
第二相机坐标系到基板坐标系的旋转矩阵为已知量，可以预先标定出来。根据第二相机坐标系到基板坐标系的旋转矩阵以及第二特征在第二相机坐标系下的位置，可以获得该第二特征在该基板坐标系下的位置。
根据第二特征在基板坐标系下的位置与基板坐标系下的第二预设位置，可以计算出将第二特征移动到该第二预设位置时该基板121还需沿基板坐标系的x轴移动的平移量、沿基板坐标系的z轴移动的平移量以及绕基板坐标系的y轴转动的转角角度。
步骤S16：驱动机械臂11移动基板121以使待堆叠物品4的底面与已堆叠物品5的顶面重叠，然后松开待堆叠物品4。
在本实施例中，计算组件3驱动机械臂11按照所得的基板坐标系的x轴移动的平移量、沿基板坐标系的z轴移动的平移量以及基板坐标系的y轴转动的转角角度来移动基板121，能使得第二特征处于基板坐标系下的第二预设位置。
此时，待堆叠物品4的底面与已堆叠物品5的顶面重叠在一起，待堆叠物品4整齐的被放置到该已堆叠物品5的顶部。最后计算组件3控制多个吸盘128同时松开该待堆叠物品4。
重复上述步骤S1~S16，可以将规则物品依次堆叠起来，且由于在摆放时以基准平面251为基准进行堆叠，可以减少甚至消除重复堆叠带来的累积误差，使得堆叠摆放更加精确。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于 RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (11)

1.一种机器人***的测控方法，其特征在于，包括：
驱动机械臂使得末端抓取模块运动到待堆叠物品的上方；
采用末端抓取模块的至少3个测距元件进行测量，以获得每个测距元件的测量起始点在末端抓取模块的基板的法向上到待堆叠物品的顶面之间的距离；
根据每个测量起始点到该顶面的距离以及每个测量起始点与所述基板的相对位置关系，计算出基板的板面运动到与该顶面相互平行时所需要的运动量；
驱动机械臂使得该基板运动到其板面与该顶面相互平行；
采用末端抓取模块的第一相机对待堆叠物品的顶部进行拍摄，获得待堆叠物品的顶部图片；
根据该顶部图片以及第一相机与基板之间的相对位置关系计算出将与基板相对固定的吸盘移动到在基板的法向上与该顶面上的预定抓取点相对准时该基板所需要的运动量；
驱动机械臂移动基板以使得吸盘移动到与预定抓取点相对准的位置，再沿基板的法向靠近待堆叠物品直至吸盘吸取到待堆叠物品。
2.根据权利要求1所述的测控方法，其特征在于，该测控方法还包括在末端抓取模块抓取到待堆叠物品之后的步骤：
将待堆叠物品移动到已堆叠物品的上方；
驱动基准面发生器设置一个基准平面，该基准平面与已堆叠物品的一个侧面平齐；
采用末端抓取模块上的至少3个检测元件测量基准平面与基板之间的相对位置；
根据基准平面与基板之间的相对位置，以及基板与待堆叠物品的侧面之间的相对位置，计算出将该侧面运动到与基准平面平行时该基板所需要的运动量；
驱动机械臂使得待堆叠物品的侧面与基准平面平行；
沿垂直于基准平面的法向调整基板的位置，直至基准平面与检测元件相交于检测元件上的预设位置点，以使得待堆叠物品的侧面与基准平面平齐；
采用第二相机进行拍摄以获得已堆叠物品的侧面图片；
根据该侧面图片以及第二相机与基板之间的相对位置关系计算出将待堆叠物品的底面与已堆叠物品的顶面重叠时该基板所需的运动量；
驱动机械臂移动基板以使待堆叠物品的底面与已堆叠物品的顶面重叠，然后松开待堆叠物品。
3.根据权利要求2所述的测控方法，其特征在于，所述测控方法还包括在驱动机械臂使得末端抓取模块运动到待堆叠物品的上方之前的步骤：建立基板坐标系，该基板坐标系与基板相对固定；
计算出基板的板面运动到与该顶面相互平行时所需要的运动量，包括：
根据每个测距元件的测量起始点在基板的法向上到待堆叠物品的顶面之间的距离以及每个测量起始点在基板坐标系下的坐标，计算出基板坐标系下该顶面所在平面的平面方程；
根据顶面所在平面在基板坐标系下的平面方程，设定一个第一工件坐标系，该第一工件坐标系的x轴和y轴处于该平面内，该第一工件坐标系的z轴与该平面的法向平行，并获得从该基板坐标系到第一工件坐标系的旋转矩阵；
根据基板坐标系到第一工件坐标系的旋转矩阵，计算出将基板的板面与待堆叠物品的顶面相互平行需要将该基板绕基板坐标系的x轴转动的转角角度和绕基板坐标系的y轴转动的转角角度。
4.根据权利要求3所述的测控方法，其特征在于，所述测控方法还包括在驱动机械臂使得末端抓取模块运动到待堆叠物品的上方之前的步骤：建立第一相机坐标系，该第一相机坐标系与第一相机相对固定；
计算出将与基板相对固定的吸盘移动到在基板的法向上与该顶面上的预定抓取点相对准时该基板所需要的运动量，包括：
采用测距元件对待堆叠物品的顶面进行测量，以获得测距元件的测量起始点到待堆叠物品的顶面之间的距离；
识别出顶部图片中的第一特征；
根据测距元件的测量起始点在第一相机坐标系中的位置、测量起始点到待堆叠物品的顶面之间的距离以及第一特征在顶部图片中的位置，获得第一特征在第一相机坐标系中的位置；
根据第一特征在第一相机坐标系中的位置、第一相机坐标系到基板坐标系的旋转矩阵以及基板坐标系下的第一预设位置，计算出将第一特征移动到该第一预设位置时该基板还需沿基板坐标系的x轴移动的平移量、沿基板坐标系的y轴移动的平移量以及绕基板坐标系的z轴转动的转角角度；
其中，该第一预设位置为待堆叠物品的顶面上的预定抓取点与吸盘在基板的法向上相对准时，第一特征所处的位置。
5.根据权利要求4所述的测控方法，其特征在于，第一特征包括待堆叠物品的顶面上相邻两条棱构成的直角。
6.根据权利要求3所述的测控方法，其特征在于，计算出将该侧面运动到与基准平面平行时该基板所需要的运动量，包括：
根据三个检测元件感应到基准平面的位置点在基板坐标系下的坐标来获得基准平面在基板坐标系下的平面方程；
根据基准平面在基板坐标系下的平面方程，设定一个第三工件坐标系，该第三工件坐标系的x轴和y轴处于该基准平面内，该第三工件坐标系的z轴与该基准平面的法向平行，并获得从该基板坐标系到第三工件坐标系的旋转矩阵；
根据基板坐标系到第三工件坐标系的旋转矩阵，以及基板与待堆叠物品的侧面之间的相对位置，计算出将该侧面运动到与基准平面平行时该基板所需要绕基板坐标系的x轴转动的转角角度和绕基板坐标系的z轴转动的转角角度。
7.根据权利要求3所述的测控方法，其特征在于，所述测控方法还包括在驱动机械臂使得末端抓取模块运动到待堆叠物品的上方之前的步骤：建立第二相机坐标系，该第二相机坐标系与第二相机相对固定；
计算出将待堆叠物品的底面与已堆叠物品的顶面重叠时该基板所需的运动量，包括：
识别出侧面图片中的第二特征；
根据待堆叠物品的侧面所在平面在第二相机坐标系中的位置，以及第二特征在侧面图片中的位置，获得第二特征在第二相机坐标系中的位置；
根据第二特征在第二相机坐标系中的位置、第二相机坐标系到基板坐标系的旋转矩阵以及基板坐标系下的第二预设位置，计算出将第二特征移动到该第二预设位置时该基板还需沿基板坐标系的x轴移动的平移量、沿基板坐标系的z轴移动的平移量以及绕基板坐标系的y轴转动的转角角度；
其中，第二预设位置为待堆叠物品的底面与已堆叠物品的顶面对齐并重叠时该第二特征所处的位置。
8.根据权利要求7所述的测控方法，其特征在于，所述第二特征包括已堆叠物品的侧面上相邻两条棱构成的直角。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1~8中任一项所述的测控方法。
10.一种机器人***，其特征在于，包括：
执行装置，包括
机械臂；以及
安装在机械臂末端的末端抓取模块，包括基板；
测量组件，包括
至少3个测距元件，与所述基板相对固定，每个测距元件用于测量在所述基板的法向上该测距元件的测量起始点到待堆叠物品的顶面的距离；以及
第一相机，与所述基板相对固定，用于对待堆叠物品的顶面进行拍摄以获得顶部图片；
计算组件，配置有与基板相对固定的基板坐标系，与第一相机相对固定的第一相机坐标系；
能根据每个测距元件的测量起始点在基板的法向上到待堆叠物品的顶面之间的距离以及每个测量起始点在基板坐标系下的坐标，计算出基板坐标系下该顶面所在平面的平面方程；根据顶面所在平面在基板坐标系下的平面方程，设定一个第一工件坐标系，该第一工件坐标系的x轴和y轴处于该平面内，该第一工件坐标系的z轴与该平面的法向平行，并获得从该基板坐标系到第一工件坐标系的旋转矩阵；根据基板坐标系到第一工件坐标系的旋转矩阵，计算出将基板的板面与待堆叠物品的顶面相互平行需要将该基板绕基板坐标系的x轴转动的转角角度和绕基板坐标系的y轴转动的转角角度；识别出顶部图片中的第一特征；
还能根据测距元件的测量起始点在第一相机坐标系中的位置、测量起始点到待堆叠物品的顶面之间的距离以及第一特征在顶部图片中的位置，获得第一特征在第一相机坐标系中的位置；根据第一特征在第一相机坐标系中的位置、第一相机坐标系到基板坐标系的旋转矩阵以及基板坐标系下的第一预设位置，计算出将第一特征移动到该第一预设位置时该基板还需沿基板坐标系的x轴移动的平移量、沿基板坐标系的y轴移动的平移量以及绕基板坐标系的z轴转动的转角角度；
根据计算结果驱动机械臂来移动基板以使得末端抓取模块准确抓取到待堆叠物品；
其中，该第一预设位置为待堆叠物品的顶面上的预定抓取点与吸盘在基板的法向上相对准时，第一特征所处的位置。
11.根据权利要求10所述的机器人***，其特征在于，所述测量组件还包括：
基准面发生器，设置在环境中，用于生成一个基准平面；
至少3个检测元件，与所述基板相对固定，用于检测该基准平面相对于基板的位置；以及
第二相机，与所述基板相对固定，用于对已堆叠物品的侧面拍摄侧面图片；
所述计算组件还用于根据基准平面相对于基板的位置以及侧面图片计算出将待堆叠物品准确堆叠到已堆叠物品的顶面时该基板所需的运动量，并根据该运动量驱动机械臂来移动基板以使得待堆叠物品移动到已堆叠物品的顶面上。
CN202011333511.7A 2020-11-25 2020-11-25 一种机器人***以及测控方法 Active CN112123342B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011333511.7A CN112123342B (zh) 2020-11-25 2020-11-25 一种机器人***以及测控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011333511.7A CN112123342B (zh) 2020-11-25 2020-11-25 一种机器人***以及测控方法

Publications (2)

Publication Number Publication Date
CN112123342A CN112123342A (zh) 2020-12-25
CN112123342B true CN112123342B (zh) 2021-03-23

Family

ID=73852392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011333511.7A Active CN112123342B (zh) 2020-11-25 2020-11-25 一种机器人***以及测控方法

Country Status (1)

Country Link
CN (1) CN112123342B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115701472A (zh) * 2021-08-02 2023-02-10 广东博智林机器人有限公司 墙砖铺贴设备及墙砖铺贴方法
CN114055444B (zh) * 2021-08-27 2023-04-07 清华大学 机器人及其控制方法和控制装置、标定方法和标定控制装置、存储介质
CN114102622B (zh) * 2021-11-22 2023-07-14 清华大学 机器人***及其测控方法和面激光接受器
CN114179090A (zh) * 2021-12-28 2022-03-15 苏州优速软件研发有限公司 机械手的旋转组装控制方法、***、设备及存储介质
CN117506941B (zh) * 2024-01-05 2024-05-03 珠海格力智能装备有限公司 机械臂的控制方法、装置、可读存储介质和电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3333963B2 (ja) * 1986-09-19 2002-10-15 テキサス インスツルメンツ インコーポレイテツド 視覚案内形ロボット装置
JP6913573B2 (ja) * 2017-09-07 2021-08-04 株式会社東芝 荷降し装置、及び荷降し方法
US10369701B1 (en) * 2018-10-30 2019-08-06 Mujin, Inc. Automated package registration systems, devices, and methods
CN209125849U (zh) * 2018-11-22 2019-07-19 北京电子科技职业学院 一种机器人多功能末端抓取结构
CN109648587B (zh) * 2018-12-30 2023-12-29 中冶南方工程技术有限公司 一种用于抓取焊挂焊钉和标签的机械臂末端执行器
CN109483554B (zh) * 2019-01-22 2020-05-12 清华大学 基于全局和局部视觉语义的机器人动态抓取方法及***

Also Published As

Publication number Publication date
CN112123342A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN112123342B (zh) 一种机器人***以及测控方法
US9026234B2 (en) Information processing apparatus and information processing method
US9604363B2 (en) Object pickup device and method for picking up object
US8295975B2 (en) Object picking device
JP6855492B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
EP3173194A1 (en) Manipulator system, image capturing system, transfer method of object, and carrier medium
JP6879238B2 (ja) ワークピッキング装置及びワークピッキング方法
CN111278608B (zh) 用于3d视觉机器人***的校准物品
JP5370774B2 (ja) トレイ移載装置及び方法
JP2016099257A (ja) 情報処理装置及び情報処理方法
CN110621447B (zh) 机器人传送器校准方法、机器人***以及控制***
CN112292235B (zh) 机械手控制装置、机械手控制方法及记录介质
CN112428248B (zh) 机器人***及控制方法
CN115582827A (zh) 一种基于2d和3d视觉定位的卸货机器人抓取方法
US20220203549A1 (en) Suction pad and deformation measuring device
CN111344119B (zh) 用于机器人的装置和方法
US20240003675A1 (en) Measurement system, measurement device, measurement method, and measurement program
JP7477633B2 (ja) ロボットシステム
CN114102622B (zh) 机器人***及其测控方法和面激光接受器
JPH0545117A (ja) 光学式３次元位置計測方法
WO2022202655A1 (ja) ３次元測定システム
JP5332873B2 (ja) 袋状ワーク認識装置および方法
WO2020054724A1 (ja) ピッキングシステム、情報処理装置及びコンピュータ可読記憶媒体
US20230264352A1 (en) Robot device for detecting interference of constituent member of robot
TWI727628B (zh) 具有位姿補償功能的動態追蹤系統及其位姿補償方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant