CN118135020A - 放置转向节的方法及装置、存储介质、电子装置 - Google Patents

Abstract

本发明提供了一种放置转向节的方法及装置、存储介质、电子装置，其中，该方法包括：获取3D相机采集的转向节的第一3D点云，获取2D相机采集的待放置转向节的托盘的2D图像；根据第一3D点云控制机械臂抓取转向节移动至3D相机视野范围内的定位点，获取3D相机再次采集的转向节的第二3D点云；根据第二3D点云和2D图像校准转向节的示教释放点位，得到目标放置点位；控制机械臂携带转向节移动到目标放置点位，将转向节放入托盘中，通过本发明实施例，解决了在机械臂将转向节放入托盘时，由于误差导致容易损坏托盘的技术等问题，提高了转向节生产线的整体效率，降低了生产损失。

Description

放置转向节的方法及装置、存储介质、电子装置

技术领域

本发明涉及工业控制技术领域，具体而言，涉及一种放置转向节的方法及装置、存储介质、电子装置。

背景技术

汽车零部件生产过程中，零部件可能存在内部缺陷，需要对零部件通过X光进行内部缺陷检测，其中转向节型号多样，结构复杂，但在缺陷检测中，为了保证X光图像采集的一致性，需要保证同型号转向节在X光机内部姿态相同，不能产生明显的偏转，对此一般会针对每个型号的转向节定制对应的托盘结构用于放置转向节，防止转向节在传送带及X光机内发生偏转。目前转向节一般通过机械臂自动抓取放置进托盘，但由于在缺陷检测时，转向节为毛坯转向节，毛坯转向节的自身一致性较差，导致机械臂以中心孔为抓取位抓取转向节时，由于中心孔自身可能存在1-5mm的公差，导致机械臂抓取后转向节后转向节的姿态与预期存在差异，再通过固定下料点位将转向节放入托盘时容易挤压托盘的支撑结构，严重时可能导致托盘变形损坏，托盘成本高昂，频繁损坏会导致生产成本升高。

相关技术中，通过设计托盘时将允许的转向节公差范围放大，即转向节在托盘内有更大的活动空间。但这样容易导致对转向节的支撑及限位效果受到影响，增大了在托盘内转向节的偏移范围，导致X光采图的一致性变差，直接影响缺陷检测的效果。

针对相关技术中存在的上述问题，暂未发现高效且准确的解决方案。

发明内容

本发明提供了一种放置转向节的方法及装置、存储介质、电子装置，以解决相关技术中存在的上述技术问题。

根据本发明的一个实施例，提供了一种放置转向节的方法，包括：获取3D相机采集的转向节的第一3D点云，获取2D相机采集的待放置所述转向节的托盘的2D图像；根据所述第一3D点云控制机械臂抓取所述转向节移动至所述3D相机视野范围内的定位点，获取所述3D相机再次采集的所述转向节的第二3D点云；根据所述第二3D点云和所述2D图像校准所述转向节的示教释放点位，得到目标放置点位；控制所述机械臂携带所述转向节移动到所述目标放置点位，将所述转向节放入所述托盘中。

可选地，在获取3D相机采集的转向节的第一3D点云，获取2D相机采集的待放置所述转向节的托盘的2D图像之前，所述方法还包括：以所述机械臂的坐标系为统一坐标系，将所述3D相机、所述2D相机与机械臂进行手眼标定；获取所述3D相机采集的所述转向节在初始示教点位的第一示教点云，采用所述第一示教点云建立所述转向节的第一3D点云模板；控制所述机械臂将所述转向节移动至所述定位点，获取所述3D相机在所述定位点采集的第二示教点云，并获取所述2D相机采集的所述托盘的示教图像；采用所述第二示教点云建立所述转向节的第二3D点云模板，采用所述示教图像构建所述托盘的标准图像模板；控制所述机械臂携带所述转向节移动至托盘上方，并控制所述机械臂将释放所述转向节至所述托盘，将所述机械臂的释放点位记录为所述示教释放点位。

可选地，根据所述第一3D点云控制机械臂抓取所述转向节移动至所述3D相机视野范围内的定位点包括：获取所述转向节在示教阶段获取的第一3D点云模板和与所述第一3D点云模板对应的初始示教点位；计算所述第一3D点云和所述第一3D点云模板之间的第一偏转矩阵；使用所述偏转矩阵对所述初始示教点位进行偏转得到目标抓取点；控制所述机械臂移动到所述目标抓取点抓取所述转向节移动至所述3D相机视野范围内的定位点。

可选地，根据所述第二3D点云和所述2D图像校准所述转向节的示教释放点位，得到目标放置点位，包括：根据所述2D图像计算第二偏转矩阵；基于所述第二偏转矩阵校准所述转向节的示教释放点位，得到中间放置点位；根据所述第二3D点云计算所述中间放置点位的第三偏转矩阵；基于所述第三偏转矩阵校准所述中间放置点位，得到目标放置点位。

可选地，根据所述2D图像计算第二偏转矩阵包括：获取所述托盘在所述示教释放点的标准图像模板；根据所述2D图像和所述标准图像模板计算所述托盘的水平偏移量；将所述水平偏移量确定为第二偏转矩阵。

可选地，根据所述第二3D点云计算所述中间放置点位的第三偏转矩阵包括：获取所述转向节在示教阶段获取的第二3D点云模板；计算所述定位点至所述中间放置点位的偏移矩阵；根据所述第二3D点云、所述第二3D点云模板和所述偏移矩阵计算所述中间放置点位的第三偏转矩阵。

可选地，根据所述第二3D点云、所述第二3D点云模板和所述偏移矩阵计算所述中间放置点位的第三偏转矩阵包括：采用以下公式计算所述中间放置点位的第三偏转矩阵：

；

其中，为偏移矩阵，/>为第三偏转矩阵，M1为所述第二3D点云模板，S2为所述第二3D点云，R1为所述中间放置点位，Rx为所述目标放置点位，D0为所述定位点。

根据本发明的另一个实施例，提供了一种放置转向节的装置，包括：第一获取模块，用于获取3D相机采集的转向节的第一3D点云，获取2D相机采集的待放置所述转向节的托盘的2D图像；第二获取模块，用于根据所述第一3D点云控制机械臂抓取所述转向节移动至所述3D相机视野范围内的定位点，获取所述3D相机再次采集的所述转向节的第二3D点云；校准模块，用于根据所述第二3D点云和所述2D图像校准所述转向节的示教释放点位，得到目标放置点位；放置模块，用于控制所述机械臂携带所述转向节移动到所述目标放置点位，将所述转向节放入所述托盘中。

可选地，所述装置还包括：标定模块，用于以所述机械臂的坐标系为统一坐标系，将所述3D相机、所述2D相机与机械臂进行手眼标定；第一获取模块，用于获取所述3D相机采集的所述转向节在初始示教点位的第一示教点云，采用所述第一示教点云建立所述转向节的第一3D点云模板；第二获取模块，用于控制所述机械臂将所述转向节移动至所述定位点，获取所述3D相机在所述定位点采集的第二示教点云，并获取所述2D相机采集的所述托盘的示教图像；构建模块，用于采用所述第二示教点云建立所述转向节的第二3D点云模板，采用所述示教图像构建所述托盘的标准图像模板；控制模块，用于控制所述机械臂携带所述转向节移动至托盘上方，并控制所述机械臂将释放所述转向节至所述托盘，将所述机械臂的释放点位记录为所述示教释放点位。

可选地，所述第二获取模块包括：获取单元，用于获取所述转向节在示教阶段获取的第一3D点云模板和与所述第一3D点云模板对应的初始示教点位；计算单元，用于计算所述第一3D点云和所述第一3D点云模板之间的第一偏转矩阵；偏转单元，用于使用所述偏转矩阵对所述初始示教点位进行偏转得到目标抓取点；抓取单元，用于控制所述机械臂移动到所述目标抓取点抓取所述转向节移动至所述3D相机视野范围内的定位点。

可选地，所述校准模块包括：第一计算单元，用于根据所述2D图像计算第二偏转矩阵；第一校准单元，用于基于所述第二偏转矩阵校准所述转向节的示教释放点位，得到中间放置点位；第二计算单元，用于根据所述第二3D点云计算所述中间放置点位的第三偏转矩阵；第二校准单元，用于基于所述第三偏转矩阵校准所述中间放置点位，得到目标放置点位。

可选地，所述第一计算单元包括：获取子单元，用于获取所述托盘在所述示教释放点的标准图像模板；计算子单元，用于根据所述2D图像和所述标准图像模板计算所述托盘的水平偏移量；确定子单元，用于将所述水平偏移量确定为第二偏转矩阵。

可选地，所述第二计算单元包括：获取子单元，用于获取所述转向节在示教阶段获取的第二3D点云模板；第一计算子单元，用于计算所述定位点至所述中间放置点位的偏移矩阵；第二计算子单元，用于根据所述第二3D点云、所述第二3D点云模板和所述偏移矩阵计算所述中间放置点位的第三偏转矩阵。

可选地，所述第二计算子单元还用于：采用以下公式计算所述中间放置点位的第三偏转矩阵：

；

其中，为偏移矩阵，/>为第三偏转矩阵，M1为所述第二3D点云模板，S2为所述第二3D点云，R1为所述中间放置点位，Rx为所述目标放置点位，D0为所述定位点。

根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项装置实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项装置实施例中的步骤。

通过本发明实施例，获取3D相机采集的转向节的第一3D点云，获取2D相机采集的待放置所述转向节的托盘的2D图像；根据所述第一3D点云控制机械臂抓取所述转向节移动至所述3D相机视野范围内的定位点，获取所述3D相机再次采集的所述转向节的第二3D点云；根据所述第二3D点云和所述2D图像校准所述转向节的示教释放点位，得到目标放置点位；控制所述机械臂携带所述转向节移动到所述目标放置点位，将所述转向节放入所述托盘中，通过采用在示教阶段得到转向节的示教释放点位，然后根据第二3D点云和2D图像校准转向节的示教释放点位，得到目标放置点位，最后将转向节放入托盘中的技术手段，解决了在机械臂将转向节放入托盘时，由于误差导致容易损坏托盘的技术等问题，提高了转向节生产线的整体效率，降低了生产损失。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种机械臂的硬件结构框图；

图2是根据本发明实施例的一种放置转向节的方法的流程图；

图3是根据本发明实施例的一种2D相机视野示意图；

图4是根据本发明实施例的放置转向节的示教方法的流程图；

图5是根据本发明实施例的一种放置转向节的示意图；

图6是根据本发明实施例的放置转向节的整体流程图；

图7是根据本发明实施例的一种放置转向节的装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

本申请实施例一所提供的方法实施例可以在服务器、计算机、机械臂或者类似的运算装置中执行。以运行在机械臂上为例，图1是本发明实施例的一种机械臂的硬件结构框图。如图1所示，机械臂可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）和用于存储数据的存储器104，可选地，上述机械臂还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述机械臂的结构造成限定。例如，机械臂还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储机械臂程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种放置转向节的方法对应的机械臂程序，处理器102通过运行存储在存储器104内的机械臂程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至机械臂。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括机械臂的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种放置转向节的方法，图2是根据本发明实施例的一种放置转向节的方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，获取3D相机采集的转向节的第一3D点云，获取2D相机采集的待放置所述转向节的托盘的2D图像；

可选地，3D相机固定在传送带的上方，转向节放置在传送带上，所述转向节为汽车的转向节零部件，每个汽车需要若干转向节；图3是根据本发明实施例的一种2D相机视野示意图，如图3所示，2D相机也固定在传送带的上方，托盘放置在传送带上，所述托盘为针对每个型号转向节设计定制的独特托盘结构，该托盘存在多个支点，可有效支撑对应型号的转向节，防止转向节在传送带及x光机内发生偏转。

步骤S204，根据所述第一3D点云控制机械臂抓取所述转向节移动至所述3D相机视野范围内的定位点，获取所述3D相机再次采集的所述转向节的第二3D点云；

可选地，获取所述3D相机再次采集的所述转向节的第二3D点云可以降低算法的姿态计算误差、机械臂夹爪撑开时导致的转向节偏移以及转向节公差对最终抓取精度的影响。

步骤S206，根据所述第二3D点云和所述2D图像校准所述转向节的示教释放点位，得到目标放置点位；

步骤S208，控制所述机械臂携带所述转向节移动到所述目标放置点位，将所述转向节放入所述托盘中。

通过以上步骤，获取3D相机采集的转向节的第一3D点云，获取2D相机采集的待放置所述转向节的托盘的2D图像；根据所述第一3D点云控制机械臂抓取所述转向节移动至所述3D相机视野范围内的定位点，获取所述3D相机再次采集的所述转向节的第二3D点云；根据所述第二3D点云和所述2D图像校准所述转向节的示教释放点位，得到目标放置点位；控制所述机械臂携带所述转向节移动到所述目标放置点位，将所述转向节放入所述托盘中，通过采用在示教阶段得到转向节的示教释放点位，然后根据第二3D点云和2D图像校准转向节的示教释放点位，得到目标放置点位，最后将转向节放入托盘中的技术手段，提高了机械臂抓放转向节的精度，解决了在机械臂将转向节放入托盘时，由于误差导致容易损坏托盘的技术等问题，避免了转向节和托盘之间的磕碰和撞击，提高了转向节生产线的整体效率，降低了生产损失。

在本实施例中，在获取3D相机采集的转向节的第一3D点云，获取2D相机采集的待放置所述转向节的托盘的2D图像之前，还包括：以所述机械臂的坐标系为统一坐标系，将所述3D相机、所述2D相机与机械臂进行手眼标定；获取所述3D相机采集的所述转向节在初始示教点位的第一示教点云，采用所述第一示教点云建立所述转向节的第一3D点云模板；控制所述机械臂将所述转向节移动至所述定位点，获取所述3D相机在所述定位点采集的第二示教点云，并获取所述2D相机采集的所述托盘的示教图像；采用所述第二示教点云建立所述转向节的第二3D点云模板，采用所述示教图像构建所述托盘的标准图像模板；控制所述机械臂携带所述转向节移动至托盘上方，并控制所述机械臂将释放所述转向节至所述托盘，将所述机械臂的释放点位记录为所述示教释放点位。

可选地，默认3D相机、2D相机与机械臂之间做手眼标定，统一坐标系至机械臂坐标系，建立该型号转向节的第一3D点云模版M0，以及与该模板对应的示教机械臂的抓取6D点位G0(x,y,z,Rx,Ry,Rz)（初始示教点位）；机械臂在G0抓起转向节后，机械臂进行侧倾，暴露转向节至3D相机视野下方，记录此时机械臂姿态为D0（第二示教点云），3D相机再次采集转向节点云作为第二3D点云模板M1；2D相机采集当前托盘的2D图像作为标准托盘位置图像模板P0（标准图像模板），整个准备工作期间，托盘保持不动；示教机械臂抓取转向节后，针对当前托盘的机械臂6D释放点位R0（示教释放点位），即机械臂在R0点时可将转向节较好的放置于托盘上，转向节与托盘支架间空隙适中不会磕碰挤压。

图4是根据本发明实施例的放置转向节的示教方法的流程图，该流程包括如下步骤：

S41，3D相机采集包含转向节的场景点云，2D相机采集托盘点云；

可选地，3D相机采集包含转向节的场景点云默认3D相机采集点云后已经进行了点云预处理去除了无关点云，仅保留转向节自身点云，即采集的点云已经是纯净的转向节点云，不含有背景和噪点等信息。

S42，制作转向节点云模板文件1，保存托盘图像作为标准托盘图像模板；

可选地，点云模板文件1对应本申请的第一3D点云模板。

S43示教机器人记录机器人在当前位置的转向节的抓取姿态点位；

可选地，机器人对应本申请的机械臂，当前位置对应本申请的初始示教点位，所述初始示教点位为6D点位G0(x,y,z,Rx,Ry,Rz)。

S44，控制机器人抓起转向节，然后调整机器人姿态，是的转向节仍然可被3D相机拍到；

S45，3D相机再次采集包含转向节的场景点云，同时记录该机械臂点位，并制作转向节点云模板文件2；

S46，控制机器人携带转向节移动至托盘内，作为无磕碰放置转向节的标准点位，记录该点位坐标。

可选地，该点坐标对应本申请示教释放点位。

在本实施例中，根据所述第一3D点云控制机械臂抓取所述转向节移动至所述3D相机视野范围内的定位点包括：获取所述转向节在示教阶段获取的第一3D点云模板和与所述第一3D点云模板对应的初始示教点位；计算所述第一3D点云和所述第一3D点云模板之间的第一偏转矩阵；使用所述偏转矩阵对所述初始示教点位进行偏转得到目标抓取点；控制所述机械臂移动到所述目标抓取点抓取所述转向节移动至所述3D相机视野范围内的定位点。

可选地，通过第一3D点云S1与第一3D点云模版M0之间进行点云配准，获得4x4的第一偏转矩阵T，即第一3D点云模板M0经过第一偏转矩阵T偏转后可与第一3D点云S1基本重合，将机械臂从初始示教点位G0通过T偏转得到当前转向节的目标抓取点G1，机械臂移动至目标抓取点G1抓起转向节（T仅用于引导抓起转向节）；机械臂移动到目标抓取点抓取转向节后移动至所述3D相机视野范围内的定位点。

在本实施例中，根据所述第二3D点云和所述2D图像校准所述转向节的示教释放点位，得到目标放置点位，包括：

S11，根据所述2D图像计算第二偏转矩阵；

在本实施例中，根据所述2D图像计算第二偏转矩阵包括：获取所述托盘在所述示教释放点的标准图像模板；根据所述2D图像和所述标准图像模板计算所述托盘的水平偏移量；将所述水平偏移量确定为第二偏转矩阵。

可选地，标准图像模板为示教阶段采用2D相机拍摄托盘获得，2D相机预先做过内参标定，且托盘底面距离2D相机距离基本固定，可通过内参直接将像素偏移量换算为实际物理距离的xy偏移量，将xy偏移量确定为所述托盘的水平偏移量。

S12，基于所述第二偏转矩阵校准所述转向节的示教释放点位，得到中间放置点位；

将xy偏移量（第二偏转矩阵）施加于示教时的放置点位R0（示教释放点位），获得此时的放置点位R1（中间放置点位），可计算得到当前抓取下，在R1点释放时转向节的理想点云为 ，/>表示从D0点到R1点的4x4偏移矩阵，由于抓取起转向节后，转向节与抓手的相对关系固定，所以抓手的偏移矩阵与转向节的偏移矩阵保持一致。

S13，根据所述第二3D点云计算所述中间放置点位的第三偏转矩阵；

在本实施例中，根据所述第二3D点云计算所述中间放置点位的第三偏转矩阵包括：获取所述转向节在示教阶段获取的第二3D点云模板；计算所述定位点至所述中间放置点位的偏移矩阵；根据所述第二3D点云、所述第二3D点云模板和所述偏移矩阵计算所述中间放置点位的第三偏转矩阵。

可选地，计算所述定位点至所述中间放置点位的偏移矩阵，其中R1点为中间放置点位，D0点为定位点。

在本实施例中，根据所述第二3D点云、所述第二3D点云模板和所述偏移矩阵计算所述中间放置点位的第三偏转矩阵包括：采用以下公式计算所述中间放置点位的第三偏转矩阵：

；

其中，为偏移矩阵，/>为第三偏转矩阵，M1为所述第二3D点云模板，S2为所述第二3D点云，R1为所述中间放置点位，Rx为所述目标放置点位，D0为所述定位点。

可选地，由于本次抓取时转向节与机械臂抓手的相对关系与示教阶段存在偏差，所以机械臂释放点位不是中间确定的中间放置点位R1点，设当前合适的机械臂释放点位为目标放置点位Rx点，则当 得到的点云与/> 得到的点云基本重合，可以认为机械臂释放点位校准完毕，通过第二3D点云S2与/> 得到的点云进行点云配准，得到第三偏转矩阵T’即/>。

S14，基于所述第三偏转矩阵校准所述中间放置点位，得到目标放置点位。

图5是根据本发明实施例的一种放置转向节的示意图，如图5所示，转向节放置在3D相机的视野范围内，3D相机采集转向节的第一3D点云，机械臂抓取转向节移动到3D相机视野范围内的定位点，3D相机再次采集转向节的第二3D点云，机械臂携带所述转向节移动到所述目标放置点位，将所述转向节放入所述托盘中。

图6是根据本发明实施例的放置转向节的整体流程图，如图6所示，该流程包括如下步骤：3D相机采集包含转向节的场景点云，2D相机采集托盘点云；载入点云模板1，计算得到当前转向节姿态；引导机器人抓取转向节，并翻转至示教时的相同姿态；3D相机采集包含转向节的场景点云；载入点云模板2，计算得到位于助手上的转向节姿态；计算托盘图像与标准托盘图像之间XY偏差量；将托盘XY偏差量传给机器人，机器人将放置坐标的坐标值加上该偏差量，即可无磕碰的放置转向节到托盘内。

在本实施例中，准备工作（示教阶段）：默认3D相机、2D相机与机械臂之间已做过手眼标定，统一坐标系至机械臂坐标系；建立该型号转向节的三维点云模版M0，以及与该模板对应的示教机械臂的抓取6D点位G0(x,y,z,Rx,Ry,Rz)；机械臂在G0抓起转向节后，机械臂进行侧倾，暴露转向节至3D相机视野下方，记录此时机械臂姿态为D0，3D相机再次采集转向节点云作为点云模板M1；2D相机采集当前托盘的2D图像作为标准托盘位置图像模板P0（整个准备工作期间，托盘保持不动）；示教机械臂抓取转向节后，针对当前托盘的机械臂6D释放点位R0，即机械臂在R0点时可将转向节较好的放置于托盘上，转向节与托盘支架间空隙适中不会磕碰挤压；

工作阶段（生产阶段）：转向节到达3D相机视野内，3D相机采集点云S1；通过点云S1（转向节）与模版M0之间进行点云配准，获得4x4偏转矩阵T，即M0经过T偏转后可与点云S1基本重合；将机械臂点位G0通过T偏转得到当前转向节的抓取点位G1，机械臂移动至点位G1抓起转向节（T仅用于引导抓起转向节）；为了降低算法的姿态计算误差、夹爪撑开时导致的转向节偏移以及转向节公差对最终抓取精度的影响，需要对抓起后的转向节进行二次定位，机械臂移动至点位D0（与G0不同，该点位不需要通过T进行偏移）；3D相机再次采集点云，获得点云S2，将点云S2与模板M0进行点云配准，获得4x4偏移矩阵T2，即M0经过T2偏转后可与点云S2基本重合；在1-5步的同时，托盘上方的2D相机采集托盘图像，与模板图像P0进行模板匹配，获得此时托盘相对于模板中的XY偏移量（2D相机预先做过内参标定，且托盘底面距离2D相机距离基本固定，可通过内参直接将像素偏移量换算为实际物理距离的xy偏移量）；将xy偏移量施加于示教时的放置点位R0，获得此时的放置点位R1，可计算得到当前抓取下，在R1点释放时转向节的理想点云为 ，/>表示从D0点到R1点的4x4偏移矩阵（由于抓取起转向节后，转向节与抓手的相对关系固定，所以抓手的偏移矩阵与转向节的偏移矩阵保持一致）；但由于本次抓取时转向节与抓手的相对关系与示教时肯定存在偏差，所以机械臂释放点位肯定不是R1点，设当前合适的机械臂点位为Rx点，则需满足/> 得到的点云与/> 得到的点云基本重合，可将与点云S2与/> 得到的点云进行点云配准，得到偏移矩阵T’即/>；将点位D0施加变化T’得到点位Rx；机械臂移动至Rx点，此时释放转向节至托盘，可在不磕碰挤压托盘的情况下较好的放置转向节于托盘中。

采用本实施例的方案，通过采用在示教阶段得到转向节的示教释放点位，再对转向节采集两次3D点云，得到第一3D点云和第二3D点云，然后根据第二3D点云和2D图像校准转向节的示教释放点位，得到目标放置点位，最后将转向节放入托盘中的技术手段，解决了在机械臂将转向节放入托盘时，由于误差导致容易损坏托盘的技术等问题，提高了转向节生产线的整体效率，降低了生产损失。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

实施例2

在本实施例中还提供了一种放置转向节的装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的术语“模块”可以实现预订功能的软件和硬件的组合。尽管以下实施例所描述的装置较佳地以软件实现，但是硬件，或者软件和硬件的组合的实现也是可以被构想的。

图7是本发明实施例的一种放置转向节的装置的结构框图，如图7所示，该装置包括：

第一获取模块70，用于获取3D相机采集的转向节的第一3D点云，获取2D相机采集的待放置所述转向节的托盘的2D图像；

第二获取模块72，用于根据所述第一3D点云控制机械臂抓取所述转向节移动至所述3D相机视野范围内的定位点，获取所述3D相机再次采集的所述转向节的第二3D点云；

校准模块74，用于根据所述第二3D点云和所述2D图像校准所述转向节的示教释放点位，得到目标放置点位；

放置模块76，用于控制所述机械臂携带所述转向节移动到所述目标放置点位，将所述转向节放入所述托盘中。

可选地，所述装置还包括：标定模块，用于以所述机械臂的坐标系为统一坐标系，将所述3D相机、所述2D相机与机械臂进行手眼标定；第一获取模块，用于获取所述3D相机采集的所述转向节在初始示教点位的第一示教点云，采用所述第一示教点云建立所述转向节的第一3D点云模板；第二获取模块，用于控制所述机械臂将所述转向节移动至所述定位点，获取所述3D相机在所述定位点采集的第二示教点云，并获取所述2D相机采集的所述托盘的示教图像；构建模块，用于采用所述第二示教点云建立所述转向节的第二3D点云模板，采用所述示教图像构建所述托盘的标准图像模板；控制模块，用于控制所述机械臂携带所述转向节移动至托盘上方，并控制所述机械臂将释放所述转向节至所述托盘，将所述机械臂的释放点位记录为所述示教释放点位。

可选地，所述第二获取模块包括：获取单元，用于获取所述转向节在示教阶段获取的第一3D点云模板和与所述第一3D点云模板对应的初始示教点位；计算单元，用于计算所述第一3D点云和所述第一3D点云模板之间的第一偏转矩阵；偏转单元，用于使用所述偏转矩阵对所述初始示教点位进行偏转得到目标抓取点；抓取单元，用于控制所述机械臂移动到所述目标抓取点抓取所述转向节移动至所述3D相机视野范围内的定位点。

可选地，所述校准模块包括：第一计算单元，用于根据所述2D图像计算第二偏转矩阵；第一校准单元，用于基于所述第二偏转矩阵校准所述转向节的示教释放点位，得到中间放置点位；第二计算单元，用于根据所述第二3D点云计算所述中间放置点位的第三偏转矩阵；第二校准单元，用于基于所述第三偏转矩阵校准所述中间放置点位，得到目标放置点位。

可选地，所述第一计算单元包括：获取子单元，用于获取所述托盘在所述示教释放点的标准图像模板；计算子单元，用于根据所述2D图像和所述标准图像模板计算所述托盘的水平偏移量；确定子单元，用于将所述水平偏移量确定为第二偏转矩阵。

可选地，所述第二计算单元包括：获取子单元，用于获取所述转向节在示教阶段获取的第二3D点云模板；第一计算子单元，用于计算所述定位点至所述中间放置点位的偏移矩阵；第二计算子单元，用于根据所述第二3D点云、所述第二3D点云模板和所述偏移矩阵计算所述中间放置点位的第三偏转矩阵。

可选地，所述第二计算子单元还用于：采用以下公式计算所述中间放置点位的第三偏转矩阵：

；

其中，为偏移矩阵，/>为第三偏转矩阵，M1为所述第二3D点云模板，S2为所述第二3D点云，R1为所述中间放置点位，Rx为所述目标放置点位，D0为所述定位点。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

实施例3

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行的计算机程序：

S1，获取3D相机采集的转向节的第一3D点云，获取2D相机采集的待放置所述转向节的托盘的2D图像；

S2，根据所述第一3D点云控制机械臂抓取所述转向节移动至所述3D相机视野范围内的定位点，获取所述3D相机再次采集的所述转向节的第二3D点云；

S3，根据所述第二3D点云和所述2D图像校准所述转向节的示教释放点位，得到目标放置点位；

S4，控制所述机械臂携带所述转向节移动到所述目标放置点位，将所述转向节放入所述托盘中。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器（Read-Only Memory，简称为ROM）、随机存取存储器（Random Access Memory，简称为RAM）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取3D相机采集的转向节的第一3D点云，获取2D相机采集的待放置所述转向节的托盘的2D图像；

S2，根据所述第一3D点云控制机械臂抓取所述转向节移动至所述3D相机视野范围内的定位点，获取所述3D相机再次采集的所述转向节的第二3D点云；

S3，根据所述第二3D点云和所述2D图像校准所述转向节的示教释放点位，得到目标放置点位；

S4，控制所述机械臂携带所述转向节移动到所述目标放置点位，将所述转向节放入所述托盘中。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机课读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种放置转向节的方法，其特征在于，包括：

获取3D相机采集的转向节的第一3D点云，获取2D相机采集的待放置所述转向节的托盘的2D图像；

根据所述第一3D点云控制机械臂抓取所述转向节移动至所述3D相机视野范围内的定位点，获取所述3D相机再次采集的所述转向节的第二3D点云；

根据所述第二3D点云和所述2D图像校准所述转向节的示教释放点位，得到目标放置点位；

控制所述机械臂携带所述转向节移动到所述目标放置点位，将所述转向节放入所述托盘中。

2.根据权利要求1所述的方法，其特征在于，在获取3D相机采集的转向节的第一3D点云，获取2D相机采集的待放置所述转向节的托盘的2D图像之前，所述方法还包括：

以所述机械臂的坐标系为统一坐标系，将所述3D相机、所述2D相机与机械臂进行手眼标定；

获取所述3D相机采集的所述转向节在初始示教点位的第一示教点云，采用所述第一示教点云建立所述转向节的第一3D点云模板；

控制所述机械臂将所述转向节移动至所述定位点，获取所述3D相机在所述定位点采集的第二示教点云，并获取所述2D相机采集的所述托盘的示教图像；

采用所述第二示教点云建立所述转向节的第二3D点云模板，采用所述示教图像构建所述托盘的标准图像模板；

控制所述机械臂携带所述转向节移动至托盘上方，并控制所述机械臂将释放所述转向节至所述托盘，将所述机械臂的释放点位记录为所述示教释放点位。

3.根据权利要求1所述的方法，其特征在于，根据所述第一3D点云控制机械臂抓取所述转向节移动至所述3D相机视野范围内的定位点包括：

获取所述转向节在示教阶段获取的第一3D点云模板和与所述第一3D点云模板对应的初始示教点位；

计算所述第一3D点云和所述第一3D点云模板之间的第一偏转矩阵；

使用所述偏转矩阵对所述初始示教点位进行偏转得到目标抓取点；

控制所述机械臂移动到所述目标抓取点抓取所述转向节移动至所述3D相机视野范围内的定位点。

4.根据权利要求1所述的方法，其特征在于，根据所述第二3D点云和所述2D图像校准所述转向节的示教释放点位，得到目标放置点位，包括：

根据所述2D图像计算第二偏转矩阵；

基于所述第二偏转矩阵校准所述转向节的示教释放点位，得到中间放置点位；

根据所述第二3D点云计算所述中间放置点位的第三偏转矩阵；

基于所述第三偏转矩阵校准所述中间放置点位，得到目标放置点位。

5.根据权利要求4所述的方法，其特征在于，根据所述2D图像计算第二偏转矩阵包括：

获取所述托盘在所述示教释放点的标准图像模板；

根据所述2D图像和所述标准图像模板计算所述托盘的水平偏移量；

将所述水平偏移量确定为第二偏转矩阵。

6.根据权利要求4所述的方法，其特征在于，根据所述第二3D点云计算所述中间放置点位的第三偏转矩阵包括：

获取所述转向节在示教阶段获取的第二3D点云模板；

计算所述定位点至所述中间放置点位的偏移矩阵；

根据所述第二3D点云、所述第二3D点云模板和所述偏移矩阵计算所述中间放置点位的第三偏转矩阵。

7.根据权利要求6所述的方法，其特征在于，根据所述第二3D点云、所述第二3D点云模板和所述偏移矩阵计算所述中间放置点位的第三偏转矩阵包括：

采用以下公式计算所述中间放置点位的第三偏转矩阵：

；

其中，为偏移矩阵，/>为第三偏转矩阵，M1为所述第二3D点云模板，S2为所述第二3D点云，R1为所述中间放置点位，Rx为所述目标放置点位，D0为所述定位点。

8.一种放置转向节的装置，其特征在于，包括：

第一获取模块，用于获取3D相机采集的转向节的第一3D点云，获取2D相机采集的待放置所述转向节的托盘的2D图像；

第二获取模块，用于根据所述第一3D点云控制机械臂抓取所述转向节移动至所述3D相机视野范围内的定位点，获取所述3D相机再次采集的所述转向节的第二3D点云；

校准模块，用于根据所述第二3D点云和所述2D图像校准所述转向节的示教释放点位，得到目标放置点位；

放置模块，用于控制所述机械臂携带所述转向节移动到所述目标放置点位，将所述转向节放入所述托盘中。

9.一种存储介质，其特征在于，存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行权利要求1至7任一项中的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行权利要求1至7任一项中的方法。