CN117428788B - 一种设备控制方法、装置、电子设备及存储介质 - Google Patents
一种设备控制方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117428788B CN117428788B CN202311713195.XA CN202311713195A CN117428788B CN 117428788 B CN117428788 B CN 117428788B CN 202311713195 A CN202311713195 A CN 202311713195A CN 117428788 B CN117428788 B CN 117428788B
- Authority
- CN
- China
- Prior art keywords
- pose
- information
- target
- preset
- grabbing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000007704 transition Effects 0.000 claims abstract description 48
- 239000013598 vector Substances 0.000 claims description 128
- 239000011159 matrix material Substances 0.000 claims description 24
- 230000036544 posture Effects 0.000 abstract description 31
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本申请提供一种设备控制方法、装置、电子设备及存储介质,涉及工业自动化领域,用于解决抓取设备抓取不同放置位姿的物品的问题。该方法包括:获取目标物体上多个预设定位点的第一位置信息,并根据多个预设定位点的第一位置信息确定目标物体的第一位姿;基于第一位姿和抓取过渡信息,确定抓取控制信息,抓取过渡信息表征抓取设备抓取到特征物体时,抓取设备的设备位姿和特征物体的位姿之间的关系;目标物体为特征物体中的任一个;抓取控制信息包括抓取设备抓取到目标物体时的第一目标设备位姿;基于抓取控制信息,控制抓取设备以第一目标设备位姿,抓取目标物体。
Description
技术领域
本申请涉及工业自动化领域,尤其涉及一种设备控制方法、装置、电子设备及存储介质。
背景技术
随着工业自动化的发展,越来越多的自动化机械得到广泛的应用。例如,可抓取物品的自动抓取设备在仓储、物流以及工业组装中都起到重要作用。
在机械臂这样的自动化抓取设备的自动抓取物品,如机械臂抓取一种工件的场景下,由于工件通常较大,摆放位姿不易准确控制,因此不能每次以相同的方式进行抓取。并且由于不同的工件形状各异,对于不同的工件难以进行准确的位姿估计,因此常规的抓取方法并不适用。
因此,如何使抓取设备抓取不同放置位姿的物品,成为亟待解决的技术问题。
发明内容
本申请提供一种设备控制方法、装置、电子设备及存储介质,用于解决抓取设备抓取不同放置位姿的物品的问题。
第一方面,本申请提供一种设备控制方法,应用于抓取设备,该方法包括:获取目标物体上多个预设定位点的第一位置信息,并根据多个预设定位点的第一位置信息确定目标物体的第一位姿;基于第一位姿和抓取过渡信息,确定抓取控制信息,抓取过渡信息表征抓取设备抓取到特征物体时,抓取设备的设备位姿和特征物体的位姿之间的关系;目标物体为特征物体中的任一个;抓取控制信息包括抓取设备抓取到目标物体时的第一目标设备位姿;基于抓取控制信息,控制抓取设备以第一目标设备位姿,抓取目标物体。
由上述技术方案可知,在本申请的设备控制方法先获取目标物体上预设定位点的位置信息,从而根据第一位置信息确定目标物体的第一位姿。由于预设定位点是特征物体上预设位置的点,而目标物体作为特征物体中的一个,可知目标物体的姿态与预设定位点的相对关系,与其他任一个特征物体的姿态与预设定位点的相对关系相同。因此,通过预设定位点的第一位置信息,即可确定当前目标物体的第一位姿。又由于抓取设备在通过同样的方式抓取特征物体时,抓取设备抓取到特征物体时的位姿,与特征物体的位姿具有不变的相对关系,因此在抓取设备使用同样的方式抓取目标物体时,即可使用表征抓取设备抓取到特征物体时的位姿与特征物体的位姿之间不变的相对关系的抓取过渡信息,和目标物体的第一位姿,确定抓取控制信息。从而根据抓取控制信息,控制抓取设备抓取目标物体。可见,由于本方法的抓取控制信息是根据实际获得的目标物体的第一位姿确定的,因此对于不同位姿的目标物体,本方法都能够根据目标物体的真实位姿进行抓取。除此之外,本方法是根据目标物体的预设定位的点的第一位置信息确定的目标物体的位姿,不依赖于目标物体本身的色彩纹理是否丰富、几何细节是否突出,能够广泛适用于多种物体。
在一种可能的实现方式中,获取目标物体上多个预设定位点的第一位置信息,并根据多个预设定位点的第一位置信息确定目标物体的第一位姿,包括:获取目标物体上多个预设定位点的第一位置信息,根据目标物体上多个预设定位点的第一位置信息,确定多个预设定位点的拟合中心点及拟合中心点的位置信息,并将拟合中心点的位置信息作为目标物体的位置信息;基于各个预设定位点的第一位置信息,确定目标物体的姿态信息;目标物体的第一位姿包括目标物体的姿态信息和位置信息。
在一种可能的实现方式中,基于各个预设定位点的第一位置信息,确定目标物体的姿态信息,包括:根据至少三个预设定位点的第一位置信息对至少三个预设定位点进行平面拟合,得到拟合平面;将第一方向相对于抓取设备的基坐标系的第一坐标轴旋转的角度,作为目标物体的第一姿态信息;第一方向为拟合平面的法线方向;根据各个预设定位点在拟合平面上的投影信息,确定第二方向,并将第二方向相对于基坐标系的第二坐标轴旋转的角度,作为目标物体的第二姿态信息;第二方向与第一方向垂直;将第三方向相对于基坐标系的第三坐标轴旋转的角度,作为目标物体的第三姿态信息;第三方向与第二方向和第三方向垂直;目标物体的姿态信息包括第一姿态信息、第二姿态信息和第三姿态信息。
在一种可能的实现方式中,根据各个预设定位点在拟合平面上的投影信息,确定第二方向,包括:根据各个预设定位点在拟合平面上的投影信息确定各个预设定位点对应的投影向量,一个预设定位点对应的投影向量由拟合中心点在拟合平面上的投影点,指向一个预设定位点在拟合平面上的投影点;以投影向量中的目标向量对应的方向为初始第二方向,根据其余的投影向量对应的方向,对初始第二方向进行修正,得到第二方向。
在一种可能的实现方式中,根据其余的投影向量对应的方向,对初始第二方向进行修正,得到第二方向,包括:以拟合中心点在拟合平面上的投影点为原点,在拟合平面内建立二维的目标坐标系;按照预设规则将位于目标象限外的投影向量旋转到目标象限,得到对应的旋转向量;目标象限为目标向量在目标坐标系中所属的象限;预设规则包括旋转方向和旋转角度,旋转方向为逆时针方向或者顺时针方向,旋转角度根据投影向量在目标坐标系中所属的象限确定;以目标象限内的向量与目标坐标轴的夹角,调整初始第二方向与目标坐标轴之间的夹角,得到第二方向;目标象限内的向量包括至少一个投影点对应的投影向量和/或至少一个投影向量对应的旋转向量,目标坐标轴为任一构成目标象限的坐标轴。
在一种可能的实现方式中,抓取过渡信息为抓取过渡矩阵;其中,/>为表征待抓取设备抓取的特征物体的位姿的位姿矩阵,/>为表征在抓取设备抓取到特征物体时抓取设备的设备位姿的位姿矩阵。
在一种可能的实现方式中,在基于第一位姿和抓取过渡信息,确定抓取控制信息之前,设备控制方法还包括:获取特征物体上预设定位点的第二位置信息,确定特征物体的第二位姿;控制抓取设备抓取特征物体,确定抓取设备抓取到特征物体时的设备位姿;根据特征物体的第二位姿和抓取设备抓取到特征物体时的设备位姿之间的关系,确定抓取过渡信息。
在一种可能的实现方式中,设备控制方法还包括:在处于抓取状态的抓取设备运行至预设位姿的情况下,确定目标物体的预设定位点的第三位置信息;抓取状态表征抓取设备处于抓取目标物体的状态;根据预设定位点的第三位置信息与预设定位点对应的预设标准位置信息,确定第一偏差信息;获取目标放置位的位置信息,根据目标放置位的位置信息和预设放置位的位置信息,确定第二偏差信息;基于第一偏差信息、第二偏差信息和预设放置控制信息,确定目标放置控制信息,预设放置控制信息为在处于抓取状态的抓取设备运行至预设位姿、特征物体上预设定位点的位置信息为预设标准位置信息的情况下,抓取设备将特征物体放置在预设放置位时的控制信息;根据目标放置控制信息,控制抓取设备将目标物体放置到目标放置位。
在一种可能的实现方式中,在处于抓取状态的抓取设备运行至预设位姿的情况下,确定目标物体的预设定位点的第三位置信息之前,设备控制方法还包括:将预设姿态的抓取设备抓取的特征物体的上预设定位点的位置信息,确定为预设标准位置信息;控制抓取设备将特征物体放置在预设放置位,确定预设放置控制信息。
第二方面,本申请提供一种设备控制装置,该设备控制装置包括:位姿确定模块,用于获取目标物体上多个预设定位点的第一位置信息,并根据多个预设定位点的第一位置信息确定目标物体的第一位姿;控制信息确定模块,用于基于第一位姿和抓取过渡信息,确定抓取控制信息,抓取过渡信息表征抓取设备抓取到特征物体时,抓取设备的设备位姿和特征物体的位姿之间的关系;目标物体为特征物体中的任一个;抓取控制信息包括抓取设备抓取到目标物体时的第一目标设备位姿;控制模块,用于基于抓取控制信息,控制抓取设备以第一目标设备位姿,抓取目标物体。
在一种可能的实现方式中,位姿确定模块,包括位置信息确定单元和姿态信息确定单元。位置信息确定单元,用于获取目标物体上多个预设定位点的第一位置信息,根据目标物体上多个预设定位点的第一位置信息,确定多个预设定位点的拟合中心点及拟合中心点的位置信息,并将拟合中心点的位置信息作为目标物体的位置信息;姿态信息确定单元,用于基于各个预设定位点的第一位置信息,确定目标物体的姿态信息;目标物体的第一位姿包括目标物体的姿态信息和位置信息。
在一种可能的实现方式中,姿态信息确定单元,包括平面拟合子单元,第一姿态信息确定子单元、第二姿态信息确定子单元和第三姿态信息确定子单元。平面拟合子单元,用于根据至少三个预设定位点的第一位置信息对至少三个预设定位点进行平面拟合,得到拟合平面;第一姿态信息确定子单元,用于将第一方向相对于抓取设备的基坐标系的第一坐标轴旋转的角度,作为目标物体的第一姿态信息;第一方向为拟合平面的法线方向;第二姿态信息确定子单元,用于根据各个预设定位点在拟合平面上的投影信息,确定第二方向,并将第二方向相对于基坐标系的第二坐标轴旋转的角度,作为目标物体的第二姿态信息;第三姿态信息确定子单元,用于第二方向与第一方向垂直;将第三方向相对于基坐标系的第三坐标轴旋转的角度,作为目标物体的第三姿态信息;第三方向、第二方向和第一方向互相垂直;目标物体的姿态信息包括第一姿态信息、第二姿态信息和第三姿态信息。
在一种可能的实现方式中,第二姿态信息确定子单元,具体用于根据各个预设定位点在拟合平面上的投影信息确定各个预设定位点对应的投影向量,一个预设定位点对应的投影向量由拟合中心点在拟合平面上的投影点,指向一个预设定位点在拟合平面上的投影点;以投影向量中的目标向量对应的方向为初始第二方向,根据其余的投影向量对应的方向,对初始第二方向进行修正,得到第二方向。
在一种可能的实现方式中,第二姿态信息确定子单元,具体用于以拟合中心点在拟合平面上的投影点为原点,在拟合平面内建立二维的目标坐标系;按照预设规则将位于目标象限外的投影向量旋转到目标象限,得到对应的旋转向量;目标象限为目标向量在目标坐标系中所属的象限;预设规则包括旋转方向和旋转角度,旋转方向为逆时针方向或者顺时针方向,旋转角度根据投影向量在目标坐标系中所属的象限确定;以目标象限内的向量与目标坐标轴的夹角,调整初始第二方向与目标坐标轴之间的夹角,得到第二方向;目标象限内的向量包括至少一个投影点对应的投影向量和/或至少一个投影向量对应的旋转向量,目标坐标轴为任一构成目标象限的坐标轴。
在一种可能的实现方式中,抓取过渡信息为抓取过渡矩阵;其中,/>为表征待抓取设备抓取的特征物体的位姿的位姿矩阵,/>为表征在抓取设备抓取到特征物体时抓取设备的设备位姿的位姿矩阵。
在一种可能的实现方式中,设备控制装置还包括抓取过渡信息确定模块,用于在基于第一位姿和抓取过渡信息,确定抓取控制信息之前,获取特征物体上预设定位点的第二位置信息,确定特征物体的第二位姿;控制抓取设备抓取特征物体,确定抓取设备抓取到特征物体时的设备位姿;根据特征物体的第二位姿和抓取设备抓取到特征物体时的设备位姿之间的关系,确定抓取过渡信息。
在一种可能的实现方式中,设备控制装置还包括,偏差信息确定单元和目标放置控制信息确定单元。位姿确定模块,还用于在处于抓取状态的抓取设备运行至预设位姿的情况下,确定目标物体的预设定的第三位置信息;抓取状态表征抓取设备处于抓取目标物体的状态;偏差信息确定单元,用于根据预设定位点的第三位置信息与预设定位点对应的预设标准位置信息,确定第一偏差信息;偏差信息确定单元,还用于获取目标放置位的位置信息,根据目标放置位的位置信息和预设放置位的位置信息,确定第二偏差信息;目标放置控制信息确定单元,用于基于第一偏差信息、第二偏差信息和预设放置控制信息,确定目标放置控制信息,预设放置控制信息为在处于抓取状态的抓取设备运行至预设位姿、特征物体上预设定位点的位置信息为预设标准位置信息的情况下,抓取设备将特征物体放置在预设放置位时的控制信息;控制模块,还用于根据目标放置控制信息,控制抓取设备将目标物体放置到目标放置位。
在一种可能的实现方式中,设备控装置还包括预设放置控制信息确定模块,用于在处于抓取状态的抓取设备运行至预设位姿的情况下,确定目标物体的预设定位点的第三位置信息之前,方法还包括:将预设姿态的抓取设备抓取的特征物体的上预设定位点的位置信息,确定为预设标准位置信息;控制抓取设备将特征物体放置在预设放置位,确定预设放置控制信息。
第三方面,本申请实施例提供一种电子设备,包括:存储器和处理器;存储器和处理器耦合;存储器用于存储计算机程序代码,计算机程序代码包括计算机指令;其中,当处理器执行计算机指令时,使得电子设备执行如第一方面及其任一种可能的设计方式的设备控制方法。
第四方面,本申请提供一种计算机可读存储介质,该计算机可读存储介质包括:计算机软件指令;当计算机软件指令在设备控制装置中运行时,使得设备控制装置实现上述第一方面的方法。
第五方面,本申请提供一种计算机程序产品,当该计算机程序产品在设备控制装置上运行时,使得设备控制装置执行上述第一方面描述的相关方法的步骤,以实现上述第一方面的方法。
上述第二方面至第五方面的有益效果可以参考第一方面的对应描述,不再赘述。
附图说明
图1为本申请提供的一种设备控制的***的结构示意图;
图2为本申请提供的一种设备控制方法的流程示意图一;
图3为本申请提供的一种设备控制方法的流程示意图二;
图4为本申请提供的一种设备控制方法的流程示意图三;
图5为本申请提供的一种设备控制方法的目标坐标系内投影向量的示意图;
图6为本申请提供的一种设备控制方法的目标坐标系内投影向量和旋转向量的示意图;
图7为本申请提供的一种设备控制方法的流程示意图四;
图8为本申请提供的一种设备控制装置的装置示意图一;
图9为本申请提供的一种设备控制装置的装置示意图二。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例中,“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分,本领域技术人员可以理解“第一”、“第二”等字样并不是在对数量和执行次序进行限定。
为了方便理解,首先对本申请涉及的相关概念进行简单介绍。
位姿
机器人的位姿描述与坐标变换是进行工业机器人运动学和动力学分析的基础。位姿代表位置和姿态,任何一个刚体在空间坐标系(OXYZ)中可以用位置和姿态来精确、唯一表示其位置状态。空间中的任何一个点都可以用上述六个参数明确指定,即(x,y,z,rx,ry,rz),即便(x,y,z)都一样,(rx,ry,rz)不同代表机器人以不同的姿态去到达同一个点。
欧拉角
欧拉角是用来唯一地确定定点转动刚***置的三个一组独立角参量,例如,欧拉角在空间坐标系(OXYZ)下,绕X轴的旋转角度为rx,绕Y轴的旋转角度为ry,绕Z轴的旋转角度为rz,那么欧拉角即可为(rx,ry,rz)。欧拉角经过变换,可获得对应的旋转矩阵。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
由背景技术可知,随着工业自动化的发展,越来越多的自动化机械得到广泛的应用。例如,可抓取物品的抓取设备在仓储、物流以及工业组装中都起到重要作用。
在机械臂这样的自动化抓取设备的自动抓取物品,如抓机械臂取一种工件的场景下,由于工件通常较大,摆放位姿不易准确控制,因此不能每次以相同的方式进行抓取。并且由于不同的工件形状各异,对于不同的工件难以进行准确的位姿估计,因此常规的抓取方法并不适用。
因此,如何使抓取设备抓取不同放置位姿的物品,成为亟待解决的技术问题。
针对上述问题,本申请提供一种设备控制方法、装置、电子设备及存储介质。
在一些可能的实施例中,本申请实施例提供的一种设备控制方法可应用于如图1所示的设备控制***中,该设备控制***至少包括抓取设备11和目标物体12。
抓取设备11可以获取目标物体12上多个预设定位点的第一位置信息,并根据多个预设定位点的第一位置信息确定目标物体12的第一位姿;基于第一位姿和抓取过渡信息,确定抓取控制信息,抓取过渡信息表征抓取设备11抓取到特征物体时,抓取设备11的设备位姿和特征物体的位姿之间的关系;目标物体12为特征物体中的任一个;抓取控制信息包括抓取设备11抓取到目标物体12时的第一目标设备位姿;基于抓取控制信息,控制抓取设备11以第一目标设备位姿,抓取目标物体12。
在一种可能的实现方式中,抓取设备11还可以获取目标物体12上至少三个预设定位点的第一位置信息,根据目标物体12上至少三个预设定位点的第一位置信息,确定至少三个预设定位点的拟合中心点及拟合中心点的位置信息,并将拟合中心点的位置信息作为目标物体12的位置信息;于各个预设定位点的第一位置信息,确定目标物体12的姿态信息目标物体12的第一位姿包括目标物体12的姿态信息和位置信息。
在一种可能的实现方式中,抓取设备11还可以根据至少三个预设定位点的第一位置信息对至少三个预设定位点进行平面拟合,得到拟合平面;将第一方向相对于抓取设备11的基坐标系的第一坐标轴旋转的角度,作为目标物体12的第一姿态信息;第一方向为拟合平面的法线方向;根据各个预设定位点在拟合平面上的投影信息,确定第二方向,并将第二方向相对于基坐标系的第二坐标轴旋转的角度,作为目标物体12的第二姿态信息;第二方向与第一方向垂直;将第三方向相对于基坐标系的第三坐标轴旋转的角度,作为目标物体12的第三姿态信息;第三方向、第二方向和第一方向互相垂直;目标物体12的姿态信息包括第一姿态信息、第二姿态信息和第三姿态信息。
在一种可能的实现方式中,抓取设备11还可以根据各个预设定位点在拟合平面上的投影信息确定各个预设定位点对应的投影向量,一个预设定位点对应的投影向量由拟合中心点在拟合平面上的投影点,指向一个预设定位点在拟合平面上的投影点;以投影向量中的目标向量对应的方向为初始第二方向,根据其余的投影向量对应的方向,对初始第二方向进行修正,得到第二方向。
在一种可能的实现方式中,抓取设备11还可以以拟合中心点在拟合平面上的投影点为原点,在拟合平面内建立二维的目标坐标系;按照预设规则将位于目标象限外的投影向量旋转到目标象限,得到对应的旋转向量;目标象限为目标向量在目标坐标系中所属的象限;预设规则包括旋转方向和旋转角度,旋转方向为逆时针方向或者顺时针方向,旋转角度根据投影向量在目标坐标系中所属的象限确定;以目标象限内的向量与目标坐标轴的夹角,调整初始第二方向与目标坐标轴之间的夹角,得到第二方向;目标象限内的向量包括至少一个投影点对应的投影向量和/或至少一个投影向量对应的旋转向量,目标坐标轴为任一构成目标象限的坐标轴。
在一种可能的实现方式中,抓取设备11还可以在基于第一位姿和抓取过渡信息,确定抓取控制信息之前,获取特征物体上预设定位点的第二位置信息,确定特征物体的第二位姿;控制抓取设备11抓取特征物体,确定抓取设备11抓取到特征物体时的设备位姿;根据特征物体的第二位姿和抓取设备11抓取到特征物体时的设备位姿之间的关系,确定抓取过渡信息。
在一种可能的实现方式中,抓取设备11还可以在处于抓取状态的抓取设备11运行至预设位姿的情况下,确定目标物体12的预设定位点的第三位置信息;抓取状态表征抓取设备11处于抓取目标物体12的状态;根据预设定位点的第三位置信息与预设定位点对应的预设标准位置信息,确定第一偏差信息;获取目标放置位的位置信息,根据目标放置位的位置信息和预设放置位的位置信息,确定第二偏差信息;基于第一偏差信息、第二偏差信息和预设放置控制信息,确定目标放置控制信息,预设放置控制信息为在处于抓取状态的抓取设备11运行至预设位姿、特征物体上预设定位点的位置信息为预设标准位置信息的情况下,抓取设备11将特征物体放置在预设放置位时的控制信息;根据目标放置控制信息,控制抓取设备11将目标物体12放置到目标放置位。
在一种可能的实现方式中,抓取设备11还可以在处于抓取状态的抓取设备11运行至预设位姿的情况下,确定目标物体12的预设定位点的第三位置信息之前,将预设姿态的抓取设备11抓取的特征物体的上预设定位点的位置信息,确定为预设标准位置信息;控制抓取设备11将特征物体放置在预设放置位,确定预设放置控制信息。
本申请实施例中的抓取设备11可以是机械臂抓手、吸盘式抓取设备等抓取设备,本申请实施例对此不做限制。应理解,图1中以机械臂抓手仅为示例,并不构成实际限定。
本申请实施例中的目标物体12为抓取设备11待抓取的设备,如工件、仓储货物等等可被抓取设备抓取的物体,本申请对此不做任何限制。
在一些可能的实施例中,如图2所示,本申请实施例提供的设备控制方法可包括S101至S103。示例性的,本申请实施例提供的设备控制方法可以应用于图1中的抓取设备11。
S101,获取目标物体上多个预设定位点的第一位置信息,并根据多个预设定位点的第一位置信息确定目标物体的第一位姿。
S102,基于第一位姿和抓取过渡信息,确定抓取控制信息。
其中,抓取过渡信息表征抓取设备抓取到特征物体时,抓取设备的设备位姿和特征物体的位姿之间的关系。抓取控制信息包括抓取设备抓取到目标物体时的第一目标设备位姿。目标物体为特征物体中的任一个。
应理解,特征物体应当是形状特征相似或者相同的一些物体,抓取设备可通过同样的方式抓取特征物体。对于形状特征相同的物体,例如,对于特征物体为车门这样的工件物体,虽然第一车门和第二车门的颜色有所不同,但是第一车门和第二车门的形状特征相同,抓取设备即可以同样的方式抓取第一车门和第二车门。又例如,对于形状特征相似的物体,第三车门和第四车门的四角边缘的弧度可能不同,但第三车门和第四车门具有相似的形状特征(如车门的大小相似,整体框架形状相似),对于抓取设备而言,第三车门和第四车门的四角边缘的弧度并不影响抓取设备的抓取方式,因此抓取设备也能以同样的方式抓取第三车门和第四车门。可见,上述第三车门和第四车门也是能被抓取设备以同样的方式抓取的同类特征物体。
除此之外,上述目标物体作为特征物体中的任一个,目标物体具有的预设定位点,特征物体上也具有预设定位点,并且预设定位点与特征物体(包括目标物体)的相对位置应当是相对确定的。又由于预设定位点是多个,因此通过预设定位点不仅可以确定特征物体的位置,还能够确定特征物体的姿态。也就是,如果获知了特征物体上预设定位点的位置信息,也可相对确定特征物体的当前位姿。同理,本方法通过获取目标物体上多个预设定位点的第一位置信息,即可通过第一位置信息,确定目标物体的第一位姿。
当然,目标物体上多个预设定位点的第一位置信息的获取可以是通过相机的拍摄识别获取,也可以通过其他定位方式获取,本方法对此不做具体限定。
进一步的,本方法中会根据目标物体的第一位姿以及抓取过渡信息,确定抓取控制信息。可以理解的是,如果抓取设备以同一种抓取方式抓取特征物体,那么在抓取设备抓取到特征物体中的目标物体时,抓取设备的位姿信息与目标物体的位姿信息应当有一种不变的相对关系或者差异关系(如在位置上的差异和相对关系和/或姿态上的差异和相对关系),又由于此时目标物体的位姿与未被抓取设备抓取之前近似,因此可看作目标物体在未被抓取时的位姿与目标物体的位姿信息应当有一种不变的相对关系或者差异。基于此,本方法将抓取设备抓取到特征物体时,抓取设备的设备位姿和特征物体的位姿之间的关系,确定为抓取过渡信息,并使用这种不变的关系,以及目标物体的位姿,确定抓取控制信息。抓取控制信息中应当包含抓取设备可抓取到目标物体的第一目标设备位姿。又由于特征物体可使用相同的方式进行抓取,因此特征物体(包括目标物体)可以使用相同的抓取过渡信息。
S103,基于抓取控制信息,控制抓取设备以第一目标设备位姿,抓取目标物体。
由上述实施例可知,在本申请的设备控制方法先获取目标物体上预设定位点的位置信息,从而根据第一位置信息确定目标物体的第一位姿。由于预设定位点是特征物体上预设位置的点,而目标物体作为特征物体中的一个,可知目标物体的姿态与预设定位点的相对关系,与其他任一个特征物体的姿态与预设定位点的相对关系相同。因此,通过预设定位点的第一位置信息,即可确定当前目标物体的第一位姿。又由于抓取设备在通过同样的方式抓取特征物体时,抓取设备抓取到特征物体时的位姿,与特征物体的位姿具有不变的相对关系,因此在抓取设备使用同样的方式抓取目标物体时,即可使用表征抓取设备抓取到特征物体时的位姿与特征物体的位姿之间不变的相对关系的抓取过渡信息,和目标物体的第一位姿,确定抓取控制信息。从而根据抓取控制信息,控制抓取设备抓取目标物体。可见,由于本方法的抓取控制信息是根据实际获得的目标物体的第一位姿确定的,因此对于不同位姿的目标物体,本方法都能够根据目标物体的真实位姿进行抓取。除此之外,本方法是根据目标物体的预设定位的点的第一位置信息确定的目标物体的位姿,不依赖于目标物体本身的色彩纹理是否丰富、几何细节是否突出,能够广泛适用于多种物体。
在一些可能的实施例中,如图3所示,获取目标物体上多个预设定位点的第一位置信息,并根据多个预设定位点的第一位置信息确定目标物体的第一位姿,包括下述S1011至S1012。
S1011,获取目标物体上多个预设定位点的第一位置信息,根据目标物体上多个预设定位点的第一位置信息,确定多个预设定位点的拟合中心点及拟合中心点的位置信息,并将拟合中心点的位置信息作为目标物体的位置信息。
应理解,由于预设定位点是目标物体上相对位置固定的点,因此预设定位点的拟合中心点对于目标物体,也是相对位置固定的点。并且,由于拟合中心点是通过多个预设定位点的第一位置信息拟合得到的,因此通过拟合中心点确定的位置信息,相对通过单个预设定位点确定位置信息来说,误差会较小。
示例的,可将多个预设定位点的坐标进行求和平均计算,将求和平均获得的坐标作为拟合中心点的位置信息。
S1012,基于各个预设定位点的第一位置信息,确定目标物体的姿态信息。
其中,目标物体的第一位姿包括目标物体的姿态信息和位置信息。
由于预设定位点是目标物体上相对位置固定的点,因此基于目标物体的实际位姿,与预设定位的点的位置信息之间的相对关系,确定目标物体的姿态信息。
应理解,在以形如(x,y,z,rx,ry,rz)的六个参数描述位姿时,其位置信息可表征为(x,y,z),其姿态信息即可表征为(rx,ry,rz)。
例如,对于具有四个预设定位点且四个预设定位点共处一个平面的目标物体,如果四个预设定位点的相对关系具有可识别的特征,即可通过预设定位点之间的相对关系区分出四个预设定位点中的第一预设定位点、第二预设定位点、第三预设定位点和第四预设定位点,那么可根据其中两点指向的方向,确定目标物体的姿态信息。例如,第一预设定位点指向第二预设定位点的方向A,与第一预设定位点指向第三预设定位点的方向B垂直,可将这方向A相对于抓取设备基坐标系x轴的旋转角度确定为姿态信息中的rx,方向B相对于抓取设备基坐标系y轴的旋转角度确定为姿态信息中的ry,再根据rz与rx和ry垂直,确定出rz。
由上述实施例可知,本申请实施例提供的设备控制方法基于预设定位点的第一位置信息,确定出拟合中心点作为抓取设备的位置信息,和目标物体的姿态信息,从而确定了目标物体的位姿。由于预设定位点是目标物体上相对位置固定的点,因此获得的位置信息和姿态信息都是与目标物体具有既定的相对关系,故而通过本方法可确定出目标物体预设定位点的位置信息为第一位置信息时,目标物体的实际位姿。
在另一种可能的实施例中,获取目标物体上多个预设定位点的第一位置信息,并根据多个预设定位点的第一位置信息确定目标物体的第一位姿,包括:获取目标物体上多个预设定位点的第一位置信息。基于第一位置信息与目标物体的三维模型上定位点的对应关系,确定目标物体的第一位姿。
应理解,上述目标物体的三维模型是根据目标物体构建的模型,目标物体上的定位点也与目标物体的三维模型上的定位点存在对应关系。
基于对应关系的位姿估计,涉及在观察到的输入数据和对象模型之间寻找对应关系的方法。可通过目标物体的三维模型上定位点的像素位置,与目标物体的图像中预设定位点的位置之间的对应关系,通过Perspective-n-Point(PnP)算法计算出位姿信息。
当然,还可以通过其他方法,基于目标物体上多个预设定位点的第一位置信息,确定目标物体的第一位姿。例如,还可以通过根据多个预设定位点的第一位置信息,构建目标物体的三维点云,进一步再基于最小二乘法预测对象位姿。本申请对此不做具体限定。
在一些可能的实施例中,如图4所示,基于各个预设定位点的第一位置信息,确定目标物体的姿态信息,包括下述S201至S204。
S201,根据至少三个预设定位点的第一位置信息对至少三个预设定位点进行平面拟合,得到拟合平面。
其中,目标物体的姿态信息包括第一姿态信息、第二姿态信息和第三姿态信息。
应理解,由于至少三个点才能确定一个平面,因此预设定位点为至少三个。又由于三个以上的预设定位点可能不在同一个平面上,因此本方法是通过平面拟合的方式,确定拟合平面。例如,可通过最小二乘法和拉格朗日乘子法等方法,进行多个点的平面拟合,本申请对此不做具体限定。
S202,将第一方向相对于抓取设备的基坐标系的第一坐标轴旋转的角度,作为目标物体的第一姿态信息。
其中,第一方向为拟合平面的法线方向。
应理解,虽然一个平面的法线反向可能有两个相反的朝向,本方法中只需保证目标物体此时第一姿态信息所取的法线方向,与其他特征物体确定第一姿态信息时所取的方向大致相同即可。即特征物体都是通过同一种方法,确定其姿态信息。
S203,根据各个预设定位点在拟合平面上的投影信息,确定第二方向,并将第二方向相对于基坐标系的第二坐标轴旋转的角度,作为目标物体的第二姿态信息。
其中,第二方向与第一方向垂直。
在一种可能的实现方式中,根据各个预设定位点在拟合平面上的投影信息,确定第二方向,包括:将拟合中心点在拟合平面上的投影,指向预设定位点中目标预设定位点的方向,确定为第二方向。
S204,将第三方向相对于基坐标系的第三坐标轴旋转的角度,作为目标物体的第三姿态信息。
其中,第三方向、第二方向和第一方向互相垂直。
应理解,在描述刚***姿时,姿态信息包括第一姿态信息、第二姿态信息和第三姿态,这三个姿态信息应当指向三个互相垂直的角度,因此获知了第一姿态信息和第二姿态信息后,即可获得第三姿态信息。
在一些可能的实施例中,根据各个预设定位点在拟合平面上的投影信息,确定第二方向,包括:根据各个预设定位点在拟合平面上的投影信息确定各个预设定位点对应的投影向量,一个预设定位点对应的投影向量由拟合中心点在拟合平面上的投影点,指向一个预设定位点在拟合平面上的投影点。以投影向量中的目标向量对应的方向为初始第二方向,根据其余的投影向量对应的方向,对初始第二方向进行修正,得到第二方向。
应理解,由于预设定位点是目标物体上相对位置固定的点,因此获得的拟合平面和拟合平面上预设定位点对应的投影向量都与目标物体具有既定的相对位置关系。可选择其中的一个目标向量作为初始第二方向。又由于预设定位点的定位可能出现误差,进而影响到目标向量会出现误差,因此可根据投影向量中的多个向量对目标向量的初始第二方向进行修正,从而得到误差较小的第二方向。
在一些可能的实施例中,根据其余的投影向量对应的方向,对初始第二方向进行修正,得到第二方向,包括:
步骤一:以拟合中心点在拟合平面上的投影点为原点,在拟合平面内建立二维的目标坐标系。
应理解,由于预设定位点对应的投影向量都是由拟合中心点在拟合平面上的投影点,指向一个预设定位点在拟合平面上的投影点,因此以拟合中心点在拟合平面上的投影点作为原点,即为平面上各个投影向量的出发点。又由于拟合中心点是预设定位点的中心,且拟合平面是预设定位点拟合得到的,因此在拟合平面内,以拟合中心点在拟合平面上的投影点为原点建立的二维目标坐标系,预设定位点通常会较为分散地分布在目标坐标系的各个象限中。
例如,可将抓取设备的基坐标系的x轴方向的投影,确定为二维的目标坐标系中x轴的方向,将拟合中心点在拟合平面上的投影点确定为目标坐标系的原点,那么目标坐标系中y轴的方向可根据y轴在原点与x轴垂直确定,从而建立了拟合平面上二维的目标坐标系。
步骤二:按照预设规则将位于目标象限外的投影向量旋转到目标象限,得到对应的旋转向量。
其中,目标象限为目标向量在目标坐标系中所属的象限。预设规则包括旋转方向和旋转角度,旋转方向为逆时针方向或者顺时针方向,旋转角度根据投影向量在目标坐标系中所属的象限确定。
示例的,如图5所示,以目标物体具有四个预设定位点且四个预设定位点对应的投影向量分布在目标坐标系的四个方向为例。如果第一象限对应的投影向量为目标向量,第二象限对应的投影向量为第二向量,第三象限对应的投影向量为第三向量,第四象限对应的投影向量为第四向量。如图6所述,以预设规则中的旋转方向为顺时针旋转为例,那么第二向量则需顺时针旋转90°,第三向量则需顺时针旋转180°,第四向量则需顺时针旋转270°,最后获得的三个位于第一象限的旋转向量,第二向量对应的第二旋转向量,第三向量对应的第三旋转向量,第四向量对应的第四旋转向量。
除此之外,预设规则中每个向量的旋转角度还可以与预设定位点的数量有关。
当然,预设规则还可以有其他方式达到类似效果,本申请对此不做具体限定。
步骤三:以目标象限内的向量与目标坐标轴的夹角,调整初始第二方向与目标坐标轴之间的夹角,得到第二方向。
其中,目标象限内的向量包括至少一个投影点对应的投影向量和/或至少一个投影向量对应的旋转向量,目标坐标轴为任一构成目标象限的坐标轴。
例如,延用上述实施例,以目标象限内四个向量(三个旋转向量和一个目标向量),与作为目标坐标轴的x轴之间的夹角,若旋转向量与x轴的夹角大于目标向量坐标与x轴的夹角,则增大初始第二方向与目标坐标轴之间的夹角,若旋转向量与x轴的夹角小于于目标向量坐标与x轴的夹角,则减小初始第二方向与目标坐标轴之间的夹角。
又例如,可根据目标象限内四个向量(三个旋转向量和一个目标向量)与作为目标坐标轴的x轴之间的夹角之间的平均值,确定初始第二方向与第二方向之间的偏差,确定第二方向。
当然,也可以通过其他类似的方式确定第二方向,只要特征物体都是通过同一种方法确定其姿态信息即可,本申请对此不做具体限定。
在一些可能的实施例中,在基于第一位姿和抓取过渡信息,确定抓取控制信息之前,方法还包括:获取特征物体上预设定位点的第二位置信息,确定特征物体的第二位姿。控制抓取设备抓取特征物体,确定抓取设备抓取到特征物体时的设备位姿。根据特征物体的第二位姿和抓取设备抓取到特征物体时的设备位姿之间的关系,确定抓取过渡信息。
由于抓取过渡信息表征的是抓取设备抓取到特征物体时,抓取设备的设备位姿和特征物体的位姿之间的关系,因此可通过实际的抓取设备的设备位姿和特征物体的位姿之间的关系,即实际操作中获得的数据,确定抓取过渡信息。
在一些可能的实施例中,抓取过渡信息为抓取过渡矩阵。
其中,为表征待抓取设备抓取的特征物体的位姿的位姿矩阵,/>为表征在抓取设备抓取到特征物体时抓取设备的设备位姿的位姿矩阵。
应理解,抓取设备抓取到特征物体时抓取设备的设备位姿和待抓取设备抓取的特征物体的位姿都可将在抓取设备的基坐标系下(x,y,z,rx,ry,rz)这样的空间坐标,转化为三维矩阵来表示,进而进行上述计算。除此之外,由于上述待抓取设备抓取的特征物体的位姿可能是由定位相机识别等方式获取的,因此直接获得的表征特征物体的位姿信息的使用坐标系,可能与抓取设备抓取到特征物体时抓取设备的位姿使用的坐标系不一致,如特征物体的位姿为定位相机的坐标系下,而抓取设备的位姿是在抓取设备的基坐标系下的。在进行上述抓取过渡矩阵的计算前,应当将和/>转化到同一个坐标系下再进行计算。
在一些可能的实施例中,在处于抓取状态的抓取设备运行至预设位姿的情况下,确定目标物体的预设定位点的第三位置信息之前,方法还包括:将预设姿态的抓取设备抓取的特征物体的上预设定位点的位置信息,确定为预设标准位置信息。控制抓取设备将特征物体放置在预设放置位,确定预设放置控制信息。
示例的,可以将位姿矩阵将抓取设备的预设位姿,以矩阵/>表征预设姿态的抓取设备抓取特征物体时,特征物体上预设定位点的位置信息,以/>表征预设标准位置信息。将控制抓取设备将特征物体放置在预设放置位,确定预设放置控制信息中应当包含放置特征物体时特征物体的位姿,以/>表征放置特征物体时特征物体的位姿。那么预设放置控制信息/>。
在一些可能的实施例中,如图7所述,设备控制方法还包括S301至S305。
S301,在处于抓取状态的抓取设备运行至预设位姿的情况下,确定目标物体的预设定位点的第三位置信息。
其中,抓取状态表征抓取设备处于抓取目标物体的状态。
应理解,由于抓取设备的夹持设计,以及目标物体的放置状态,抓取设备抓取目标物体时,目标物体会出现偏移。因此,可以重新获得目标物体的预设定位点的第三位置关系。
S302,根据预设定位点的第三位置信息与预设定位点对应的预设标准位置信息,确定第一偏差信息。
S303,获取目标放置位的位置信息,根据目标放置位的位置信息和预设放置位的位置信息,确定第二偏差信息。
由于目标放置位可能发生改变,或者目标放置位处于是另一个物体上,且另一个物体的放置发生了偏移,从而出现目标放置位的位置信息和预设放置位的位置信息不一致的情况,因此可重新获得目标放置位置的位置信息,并确定这两者之间的第二偏差信息。
S304,基于第一偏差信息、第二偏差信息和预设放置控制信息,确定目标放置控制信息。
其中,预设放置控制信息为在处于抓取状态的抓取设备运行至预设位姿、特征物体上预设定位点的位置信息为预设标准位置信息的情况下,抓取设备将特征物体放置在预设放置位时的控制信息。
S305,根据目标放置控制信息,控制抓取设备将目标物体放置到目标放置位。
由上述实施例可知,由于预设放置控制信息可以表征在处于抓取状态的抓取设备运行至预设位姿、特征物体上预设定位点的位置信息为预设标准位置信息的情况下,抓取设备将特征物体放置在预设放置位时的控制信息,本申请实施例提供的设备控制方法在获取预设定位点的第三位置信息与预设定位点对应的预设标准位置信息之间的第一偏差信息、目标放置位的位置信息和预设放置位的位置信息之间的第二偏差信息之后,基于预设放置控制信息,即可确定控制抓取设备将目标物体放置到目标放置位的目标放置控制信息。即,根据预设放置控制信息中对应的预设定位点对应的预设标准位置信息和预设放置位的位置信息,与当前预设定位点的第三位置信息和目标放置位的位置信息之间的偏差,确定新的放置控制信息。可见,本方法能够根据实际的目标物体的位置信息,以及目标放置位的放置信息,将目标物体放置在对应的放置位上。
延用上述实施例,以位置矩阵表征目标物体的预设定位点的第三位置信息,以矩阵rtr表征预设定位点的第三位置信息/>与预设定位点对应的预设标准位置信息的第一偏差信息/>。以位置矩阵/>表征目标放置位的位置信息,以矩阵/>表征预设放置位的位置信息,以矩阵rtp表征目标放置位的位置信息,预设放置位的位置信息的第二偏差信息/>。目标放置控制信息中,表征抓取设备放置的位姿矩阵/>。
在一种可能的实施例中,如图8所示,本申请提供一种设备控制装置。该设备控制装置包括位姿确定模块401、控制信息确定模块402和控制模块403。
位姿确定模块401,用于获取目标物体上多个预设定位点的第一位置信息,并根据多个预设定位点的第一位置信息确定目标物体的第一位姿。
控制信息确定模块402,用于基于第一位姿和抓取过渡信息,确定抓取控制信息,抓取过渡信息表征抓取设备抓取到特征物体时,抓取设备的设备位姿和特征物体的位姿之间的关系;目标物体为特征物体中的任一个;抓取控制信息包括抓取设备抓取到目标物体时的第一目标设备位姿。
控制模块403,用于基于抓取控制信息,控制抓取设备以第一目标设备位姿,抓取目标物体。
在一种可能的实施例中,位姿确定模块401,包括位置信息确定单元和姿态信息确定单元。位置信息确定单元,用于获取目标物体上多个预设定位点的第一位置信息,根据目标物体上多个预设定位点的第一位置信息,确定多个预设定位点的拟合中心点及拟合中心点的位置信息,并将拟合中心点的位置信息作为目标物体的位置信息;姿态信息确定单元,用于基于各个预设定位点的第一位置信息,确定目标物体的姿态信息;目标物体的第一位姿包括目标物体的姿态信息和位置信息。
在一种可能的实施例中,姿态信息确定单元,包括平面拟合子单元,第一姿态信息确定子单元、第二姿态信息确定子单元和第三姿态信息确定子单元。平面拟合子单元,用于根据至少三个预设定位点的第一位置信息对至少三个预设定位点进行平面拟合,得到拟合平面;第一姿态信息确定子单元,用于将第一方向相对于抓取设备的基坐标系的第一坐标轴旋转的角度,作为目标物体的第一姿态信息;第一方向为拟合平面的法线方向;第二姿态信息确定子单元,用于根据各个预设定位点在拟合平面上的投影信息,确定第二方向,并将第二方向相对于基坐标系的第二坐标轴旋转的角度,作为目标物体的第二姿态信息;第二方向与第一方向垂直;第三姿态信息确定子单元,用于将第三方向相对于基坐标系的第三坐标轴旋转的角度,作为目标物体的第三姿态信息;第三方向、第二方向和第一方向互相垂直;目标物体的姿态信息包括第一姿态信息、第二姿态信息和第三姿态信息。
在一种可能的实施例中,第二姿态信息确定子单元,具体用于根据各个预设定位点在拟合平面上的投影信息确定各个预设定位点对应的投影向量,一个预设定位点对应的投影向量由拟合中心点在拟合平面上的投影点,指向一个预设定位点在拟合平面上的投影点;以投影向量中的目标向量对应的方向为初始第二方向,根据其余的投影向量对应的方向,对初始第二方向进行修正,得到第二方向。
在一种可能的实施例中,第二姿态信息确定子单元,具体用于以拟合中心点在拟合平面上的投影点为原点,在拟合平面内建立二维的目标坐标系;按照预设规则将位于目标象限外的投影向量旋转到目标象限,得到对应的旋转向量;目标象限为目标向量在目标坐标系中所属的象限;预设规则包括旋转方向和旋转角度,旋转方向为逆时针方向或者顺时针方向,旋转角度根据投影向量在目标坐标系中所属的象限确定;以目标象限内的向量与目标坐标轴的夹角,调整初始第二方向与目标坐标轴之间的夹角,得到第二方向;目标象限内的向量包括至少一个投影点对应的投影向量和/或至少一个投影向量对应的旋转向量,目标坐标轴为任一构成目标象限的坐标轴。
在一种可能的实施例中,抓取过渡信息为抓取过渡矩阵;其中,为表征待抓取设备抓取的特征物体的位姿的位姿矩阵,/>为表征在抓取设备抓取到特征物体时抓取设备的设备位姿的位姿矩阵。
在一种可能的实施例中,设备控制装置还包括抓取过渡信息确定模块,用于在基于第一位姿和抓取过渡信息,确定抓取控制信息之前,获取特征物体上预设定位点的第二位置信息,确定特征物体的第二位姿;控制抓取设备抓取特征物体,确定抓取设备抓取到特征物体时的设备位姿;根据特征物体的第二位姿和抓取设备抓取到特征物体时的设备位姿之间的关系,确定抓取过渡信息。
在一种可能的实施例中,设备控制装置还包括,偏差信息确定单元和目标放置控制信息确定单元。位姿确定模块401,还用于在处于抓取状态的抓取设备运行至预设位姿的情况下,确定目标物体的预设定的第三位置信息;抓取状态表征抓取设备处于抓取目标物体的状态;偏差信息确定单元,用于根据预设定位点的第三位置信息与预设定位点对应的预设标准位置信息,确定第一偏差信息;偏差信息确定单元,还用于获取目标放置位的位置信息,根据目标放置位的位置信息和预设放置位的位置信息,确定第二偏差信息;目标放置控制信息确定单元,用于基于第一偏差信息、第二偏差信息和预设放置控制信息,确定目标放置控制信息,预设放置控制信息为在处于抓取状态的抓取设备运行至预设位姿、特征物体上预设定位点的位置信息为预设标准位置信息的情况下,抓取设备将特征物体放置在预设放置位时的控制信息;控制模块403,还用于根据目标放置控制信息,控制抓取设备将目标物体放置到目标放置位。
在一种可能的实施例中,设备控装置还包括预设放置控制信息确定模块402,用于在处于抓取状态的抓取设备运行至预设位姿的情况下,确定目标物体的预设定位点的第三位置信息之前,方法还包括:将预设姿态的抓取设备抓取的特征物体的上预设定位点的位置信息,确定为预设标准位置信息;控制抓取设备将特征物体放置在预设放置位,确定预设放置控制信息。
在采用硬件的形式实现上述集成的单元的功能的情况下,本申请实施例提供了一种设备控制装置的硬件组成示意图,如图9所示,该设备控制装置包括:处理器502,通信接口503,总线504。在一种可能的实现方式中,设备控制装置还可以包括存储器501。
处理器502,可以是实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。该处理器502可以是中央处理器,通用处理器,数字信号处理器,专用集成电路,现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器502也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
通信接口503,用于与其他设备通过通信网络连接。该通信网络可以是以太网,无线接入网,无线局域网(wireless local area networks,WLAN)等。
存储器501,可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory,EEPROM)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
作为一种可能的实现方式,存储器501可以独立于处理器502存在,存储器501可以通过总线504与处理器502相连接,用于存储指令或者程序代码。处理器502调用并执行存储器501中存储的指令或程序代码时,能够实现本申请实施例提供的设备控制方法。
另一种可能的实现方式中,存储器501也可以和处理器502集成在一起。
总线504,可以是扩展工业标准结构(extended industry standardarchitecture,EISA)总线等。总线504可以分为地址总线、数据总线、控制总线等。为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备控制装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
本申请实施例还提供了一种计算机可读存储介质。上述方法实施例中的全部或者部分流程可以由计算机指令来指示相关的硬件完成,该程序可存储于上述计算机可读存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。计算机可读存储介质可以是前述任一实施例的或内存。上述计算机可读存储介质也可以是上述设备控制装置的外部存储设备,例如上述设备控制装置上配备的插接式硬盘,智能存储卡(smart media card,SMC),安全数字(secure digital,SD)卡,闪存卡(flash card)等。进一步地,上述计算机可读存储介质还可以既包括上述设备控制装置的内部存储单元也包括外部存储设备。上述计算机可读存储介质用于存储上述计算机程序以及上述设备控制装置所需的其他程序和数据。上述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供一种计算机程序产品,该计算机产品包含计算机程序,当该计算机程序产品在计算机上运行时,使得该计算机执行上述实施例中所提供的任一项设备控制方法。
尽管在此结合各实施例对本申请进行了描述,然而,在实施所要求保护的本申请过程中,本领域技术人员通过查看附图、公开内容、以及所附权利要求书,可理解并实现公开实施例的其他变化。在权利要求中,“包括”(Comprising)一词不排除其他组成部分或步骤,“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施,但这并不表示这些措施不能组合起来产生良好的效果。
尽管结合具体特征及其实施例对本申请进行了描述,显而易见的,在不脱离本申请的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明,且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
以上,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种设备控制方法,其特征在于,应用于抓取设备,包括:
获取目标物体上多个预设定位点的第一位置信息,根据所述目标物体上多个所述预设定位点的所述第一位置信息,确定多个所述预设定位点的拟合中心点及所述拟合中心点的位置信息,并将所述拟合中心点的位置信息作为所述目标物体的位置信息;
根据至少三个所述预设定位点的所述第一位置信息对至少三个所述预设定位点进行平面拟合,得到拟合平面;
将第一方向相对于所述抓取设备的基坐标系的第一坐标轴旋转的角度,作为所述目标物体的第一姿态信息;所述第一方向为所述拟合平面的法线方向;
根据各个所述预设定位点在所述拟合平面上的投影信息,确定第二方向,并将所述第二方向相对于所述基坐标系的第二坐标轴旋转的角度,作为所述目标物体的第二姿态信息;所述第二方向与所述第一方向垂直;
将第三方向相对于所述基坐标系的第三坐标轴旋转的角度,作为所述目标物体的第三姿态信息;所述第三方向、所述第二方向和所述第一方向互相垂直;
基于所述目标物体的第一位姿和抓取过渡信息,确定抓取控制信息,所述目标物体的第一位姿包括所述目标物体的姿态信息和所述目标物体的位置信息,所述目标物体的姿态信息包括所述第一姿态信息、所述第二姿态信息和所述第三姿态信息,所述抓取过渡信息表征所述抓取设备抓取到特征物体时,所述抓取设备的设备位姿和所述特征物体的位姿之间的关系;所述目标物体为特征物体中的任一个;所述抓取控制信息包括所述抓取设备抓取到所述目标物体时的第一目标设备位姿;
基于所述抓取控制信息,控制所述抓取设备以所述第一目标设备位姿,抓取所述目标物体。
2.根据权利要求1所述的设备控制方法,其特征在于,所述根据各个所述预设定位点在所述拟合平面上的投影信息,确定第二方向,包括:
根据各个所述预设定位点在所述拟合平面上的投影信息确定各个所述预设定位点对应的投影向量,一个预设定位点对应的所述投影向量由所述拟合中心点在所述拟合平面上的投影点,指向所述一个预设定位点在所述拟合平面上的投影点;
以所述投影向量中的目标向量对应的方向为初始第二方向,根据其余的投影向量对应的方向,对所述初始第二方向进行修正,得到所述第二方向。
3.根据权利要求2所述的设备控制方法,其特征在于,所述根据其余的投影向量对应的方向,对所述初始第二方向进行修正,得到所述第二方向,包括:
以所述拟合中心点在所述拟合平面上的投影点为原点,在所述拟合平面内建立二维的目标坐标系;
按照预设规则将位于目标象限外的所述投影向量旋转到所述目标象限,得到对应的旋转向量;所述目标象限为所述目标向量在所述目标坐标系中所属的象限;所述预设规则包括旋转方向和旋转角度,所述旋转方向为逆时针方向或者顺时针方向,所述旋转角度根据所述投影向量在所述目标坐标系中所属的象限确定;
以所述目标象限内的向量与目标坐标轴的夹角,调整所述初始第二方向与所述目标坐标轴之间的夹角,得到所述第二方向;所述目标象限内的向量包括至少一个投影点对应的投影向量和/或至少一个投影向量对应的旋转向量,所述目标坐标轴为任一构成所述目标象限的坐标轴。
4.根据权利要求1所述的设备控制方法,其特征在于,所述抓取过渡信息为抓取过渡矩阵;
其中,为表征待所述抓取设备抓取的特征物体的位姿的位姿矩阵,/>为表征在所述抓取设备抓取到特征物体时所述抓取设备的设备位姿的位姿矩阵。
5.根据权利要求1至4中任一项所述的设备控制方法,其特征在于,在所述基于所述目标物体的第一位姿和抓取过渡信息,确定抓取控制信息之前,所述方法还包括:
获取所述特征物体上所述预设定位点的第二位置信息,确定所述特征物体的第二位姿;
控制所述抓取设备抓取所述特征物体,确定所述抓取设备抓取到所述特征物体时的设备位姿;
根据所述特征物体的所述第二位姿和所述抓取设备抓取到所述特征物体时的设备位姿之间的关系,确定所述抓取过渡信息。
6.根据权利要求1至4中任一项所述的设备控制方法,其特征在于,所述方法还包括:
在处于抓取状态的所述抓取设备运行至预设位姿的情况下,确定所述目标物体的所述预设定位点的第三位置信息;所述抓取状态表征所述抓取设备处于抓取所述目标物体的状态;
根据所述预设定位点的所述第三位置信息与所述预设定位点对应的预设标准位置信息,确定第一偏差信息;
获取目标放置位的位置信息,根据目标放置位的位置信息和预设放置位的位置信息,确定第二偏差信息;
基于所述第一偏差信息、所述第二偏差信息和预设放置控制信息,确定目标放置控制信息,所述预设放置控制信息为在处于抓取状态的所述抓取设备运行至所述预设位姿、所述特征物体上预设定位点的位置信息为所述预设标准位置信息的情况下,所述抓取设备将所述特征物体放置在所述预设放置位时的控制信息;
根据所述目标放置控制信息,控制所述抓取设备将所述目标物体放置到所述目标放置位。
7.根据权利要求6所述的设备控制方法,其特征在于,在所述在处于抓取状态的所述抓取设备运行至预设位姿的情况下,确定所述目标物体的所述预设定位点的第三位置信息之前,所述方法还包括:
将所述预设位姿的所述抓取设备抓取的所述特征物体的上所述预设定位点的位置信息,确定为所述预设标准位置信息;
控制所述抓取设备将所述特征物体放置在所述预设放置位,确定所述预设放置控制信息。
8.一种设备控制装置,其特征在于,所述装置包括:
位姿确定模块,用于获取目标物体上多个预设定位点的第一位置信息,根据所述目标物体上多个所述预设定位点的所述第一位置信息,确定多个所述预设定位点的拟合中心点及所述拟合中心点的位置信息,并将所述拟合中心点的位置信息作为所述目标物体的位置信息;
所述位姿确定模块,还用于根据至少三个所述预设定位点的所述第一位置信息对至少三个所述预设定位点进行平面拟合,得到拟合平面;
所述位姿确定模块,还用于将第一方向相对于抓取设备的基坐标系的第一坐标轴旋转的角度,作为所述目标物体的第一姿态信息;所述第一方向为所述拟合平面的法线方向;
所述位姿确定模块,还用于根据各个所述预设定位点在所述拟合平面上的投影信息,确定第二方向,并将所述第二方向相对于所述基坐标系的第二坐标轴旋转的角度,作为所述目标物体的第二姿态信息;所述第二方向与所述第一方向垂直;
所述位姿确定模块,还用于将第三方向相对于所述基坐标系的第三坐标轴旋转的角度,作为所述目标物体的第三姿态信息;所述第三方向、所述第二方向和所述第一方向互相垂直;
控制信息确定模块,用于基于所述目标物体的第一位姿和抓取过渡信息,确定抓取控制信息,所述目标物体的第一位姿包括所述目标物体的姿态信息和所述目标物体的位置信息,所述目标物体的姿态信息包括所述第一姿态信息、所述第二姿态信息和所述第三姿态信息,所述抓取过渡信息表征所述抓取设备抓取到特征物体时,所述抓取设备的设备位姿和所述特征物体的位姿之间的关系;所述目标物体为特征物体中的任一个;所述抓取控制信息包括所述抓取设备抓取到所述目标物体时的第一目标设备位姿;
控制模块,用于基于所述抓取控制信息,控制所述抓取设备以所述第一目标设备位姿,抓取所述目标物体。
9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器用于存储计算机指令,所述处理器用于从存储器中调用并运行所述计算机指令,实现权利要求1-7任一项所述的设备控制方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括:计算机软件指令;当所述计算机软件指令在设备控制装置中运行时,使得所述设备控制装置实现如权利要求1-7任一项所述的设备控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311713195.XA CN117428788B (zh) | 2023-12-13 | 2023-12-13 | 一种设备控制方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311713195.XA CN117428788B (zh) | 2023-12-13 | 2023-12-13 | 一种设备控制方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117428788A CN117428788A (zh) | 2024-01-23 |
CN117428788B true CN117428788B (zh) | 2024-04-05 |
Family
ID=89551771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311713195.XA Active CN117428788B (zh) | 2023-12-13 | 2023-12-13 | 一种设备控制方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117428788B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008148237A (ja) * | 2006-12-13 | 2008-06-26 | Sanyo Electric Co Ltd | 姿勢検知装置 |
CN106651942A (zh) * | 2016-09-29 | 2017-05-10 | 苏州中科广视文化科技有限公司 | 基于特征点的三维旋转运动检测与旋转轴定位方法 |
CN107571260A (zh) * | 2017-10-25 | 2018-01-12 | 南京阿凡达机器人科技有限公司 | 控制机器人抓取物体的方法和装置 |
CN111152229A (zh) * | 2020-02-24 | 2020-05-15 | 深圳群宾精密工业有限公司 | 3d机械视觉的机械手引导方法和装置 |
CN112802105A (zh) * | 2021-02-05 | 2021-05-14 | 梅卡曼德(北京)机器人科技有限公司 | 对象抓取方法及装置 |
DE102021107532A1 (de) * | 2020-04-08 | 2021-10-14 | Fanuc Corporation | System und Verfahren zum Anlernen eines Roboters mittels Demonstration durch einen Menschen |
CN113524187A (zh) * | 2021-07-20 | 2021-10-22 | 熵智科技(深圳)有限公司 | 一种工件抓取顺序的确定方法、装置、计算机设备及介质 |
CN114347015A (zh) * | 2021-12-09 | 2022-04-15 | 华南理工大学 | 一种机器人抓取控制方法、***、装置及介质 |
CN115236687A (zh) * | 2022-07-11 | 2022-10-25 | 杭州海康机器人股份有限公司 | 物体跟踪方法、装置、设备及存储介质 |
CN115476349A (zh) * | 2021-05-31 | 2022-12-16 | 梅卡曼德(北京)机器人科技有限公司 | 夹具组校验方法、装置、电子设备和存储介质 |
CN115810049A (zh) * | 2022-12-29 | 2023-03-17 | 梅卡曼德(北京)机器人科技有限公司 | 基于标志物的位姿确定方法、装置、设备、介质及产品 |
WO2023110135A1 (de) * | 2021-12-17 | 2023-06-22 | Nordischer Maschinenbau Rud. Baader Gmbh + Co. Kg | Verfahren und vorrichtung zur lagebestimmung gewölbter artikel sowie zum aufsatteln solcher |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11045952B2 (en) * | 2018-11-28 | 2021-06-29 | BITO Robotics, Inc. | System and method for autonomously loading cargo into vehicles |
JP2023110344A (ja) * | 2022-01-28 | 2023-08-09 | セイコーエプソン株式会社 | ロボットシステムおよびロボットの制御方法 |
-
2023
- 2023-12-13 CN CN202311713195.XA patent/CN117428788B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008148237A (ja) * | 2006-12-13 | 2008-06-26 | Sanyo Electric Co Ltd | 姿勢検知装置 |
CN106651942A (zh) * | 2016-09-29 | 2017-05-10 | 苏州中科广视文化科技有限公司 | 基于特征点的三维旋转运动检测与旋转轴定位方法 |
CN107571260A (zh) * | 2017-10-25 | 2018-01-12 | 南京阿凡达机器人科技有限公司 | 控制机器人抓取物体的方法和装置 |
CN111152229A (zh) * | 2020-02-24 | 2020-05-15 | 深圳群宾精密工业有限公司 | 3d机械视觉的机械手引导方法和装置 |
DE102021107532A1 (de) * | 2020-04-08 | 2021-10-14 | Fanuc Corporation | System und Verfahren zum Anlernen eines Roboters mittels Demonstration durch einen Menschen |
CN112802105A (zh) * | 2021-02-05 | 2021-05-14 | 梅卡曼德(北京)机器人科技有限公司 | 对象抓取方法及装置 |
CN115476349A (zh) * | 2021-05-31 | 2022-12-16 | 梅卡曼德(北京)机器人科技有限公司 | 夹具组校验方法、装置、电子设备和存储介质 |
CN113524187A (zh) * | 2021-07-20 | 2021-10-22 | 熵智科技(深圳)有限公司 | 一种工件抓取顺序的确定方法、装置、计算机设备及介质 |
CN114347015A (zh) * | 2021-12-09 | 2022-04-15 | 华南理工大学 | 一种机器人抓取控制方法、***、装置及介质 |
WO2023110135A1 (de) * | 2021-12-17 | 2023-06-22 | Nordischer Maschinenbau Rud. Baader Gmbh + Co. Kg | Verfahren und vorrichtung zur lagebestimmung gewölbter artikel sowie zum aufsatteln solcher |
CN115236687A (zh) * | 2022-07-11 | 2022-10-25 | 杭州海康机器人股份有限公司 | 物体跟踪方法、装置、设备及存储介质 |
CN115810049A (zh) * | 2022-12-29 | 2023-03-17 | 梅卡曼德(北京)机器人科技有限公司 | 基于标志物的位姿确定方法、装置、设备、介质及产品 |
Non-Patent Citations (1)
Title |
---|
基于双目视觉的物体识别定位与抓取;高智伟;谭晓东;刘客;;科学技术与工程;20200811(20);第8285-8291页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117428788A (zh) | 2024-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111452040B (zh) | 在引导装配环境中将机器视觉坐标空间关联的***和方法 | |
WO2019114339A1 (zh) | 机械臂运动的校正方法和装置 | |
US20210197389A1 (en) | Computer device and method for controlling robotic arm to grasp and place objects | |
CN110298878A (zh) | 一种目标物体三维位姿的确定方法、装置及电子设备 | |
CN113524187B (zh) | 一种工件抓取顺序的确定方法、装置、计算机设备及介质 | |
CN112330752A (zh) | 多相机联合标定方法、装置、终端设备及可读存储介质 | |
US20170277167A1 (en) | Robot system, robot control device, and robot | |
CN111438688B (zh) | 机器人校正方法、装置、计算机设备及存储介质 | |
CN112621743B (zh) | 机器人及其相机固定于末端的手眼标定方法及存储介质 | |
CN113379849A (zh) | 基于深度相机的机器人自主识别智能抓取方法及*** | |
CN112847375B (zh) | 一种工件抓取方法、装置、计算机设备及存储介质 | |
CN112828892B (zh) | 一种工件抓取方法、装置、计算机设备及存储介质 | |
CN112936257A (zh) | 一种工件抓取方法、装置、计算机设备及存储介质 | |
CN114260908A (zh) | 机器人示教方法、装置、计算机设备和计算机程序产品 | |
CN114663500A (zh) | 视觉标定方法、计算机设备及存储介质 | |
CN113510697B (zh) | 机械手定位方法、装置、***、电子装置和存储介质 | |
CN117428788B (zh) | 一种设备控制方法、装置、电子设备及存储介质 | |
CN115810049A (zh) | 基于标志物的位姿确定方法、装置、设备、介质及产品 | |
CN111113428A (zh) | 机器人控制方法、机器人控制装置及终端设备 | |
CN113246145A (zh) | 核工业抓取设备的位姿补偿方法、***和电子装置 | |
CN107636418B (zh) | 一种机器人控制方法、控制设备及*** | |
CN113066136B (zh) | 自动化标定方法、装置、电子设备及介质 | |
CN115797332B (zh) | 基于实例分割的目标物抓取方法和设备 | |
CN116652935A (zh) | 物品放置位置校准方法、装置、电子设备和存储介质 | |
Herbert et al. | Two-Stage Robotic Bin Picking of Small Metallic Objects |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |