CN114241286B - 对象的抓取方法、装置、存储介质及电子装置 - Google Patents
对象的抓取方法、装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN114241286B CN114241286B CN202111496594.6A CN202111496594A CN114241286B CN 114241286 B CN114241286 B CN 114241286B CN 202111496594 A CN202111496594 A CN 202111496594A CN 114241286 B CN114241286 B CN 114241286B
- Authority
- CN
- China
- Prior art keywords
- target
- point
- determining
- matrix
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims abstract description 257
- 239000013598 vector Substances 0.000 claims description 52
- 238000013519 translation Methods 0.000 claims description 46
- 238000004590 computer program Methods 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 9
- 239000000523 sample Substances 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012163 sequencing technique Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种对象的抓取方法、装置、存储介质及电子装置，其中，该方法包括：获取摄像设备对目标区域进行拍摄所得到的场景点云，其中，目标区域中包括目标对象；基于场景点云的场景特征以及模型点云的模型特征确定出由模型坐标系转换至场景坐标系的初始匹配矩阵集；确定初始匹配矩阵集中包括的每个初始匹配矩阵中与模型点云中匹配成功的点的目标数量，并基于目标数量从初始匹配矩阵集中确定出目标匹配矩阵；基于目标匹配矩阵确定抓取目标对象中包括的第一对象的目标位姿；控制目标设备按照目标位姿抓取第一对象。通过本发明，解决了相关技术中存在的抓取对象效率低的问题，提高了抓取对象的效率。
Description
技术领域
本发明实施例涉及通信领域，具体而言，涉及一种对象的抓取方法、装置、存储介质及电子装置。
背景技术
如何分拣料框中的单一散乱堆叠工件是产线自动化过程中的一个重要难题。在实际产线中，人们主要使用机械振动或人工来分拣工件。振动分拣装置存在噪声大、柔性差、设计复杂等缺点。而使用人力分拣，效率不高且成本增加。随着机器视觉产业的发展，可以通过引入机器视觉来实现堆叠零件的自动化分拣。然而，在利用二维视觉***进行抓取时，往往会由于零件的堆叠遮挡导致抓取不中的问题。
由此可知，相关技术中存在抓取对象效率低的问题。
针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种对象的抓取方法、装置、存储介质及电子装置，以至少解决相关技术中存在的抓取对象效率低的问题。
根据本发明的一个实施例，提供了一种对象的抓取方法，包括：获取摄像设备对目标区域进行拍摄所得到的场景点云，其中，所述目标区域中包括目标对象；基于所述场景点云的场景特征以及模型点云的模型特征确定出由模型坐标系转换至场景坐标系的初始匹配矩阵集，其中，所述模型点云为所述目标对象的目标模型的点云，所述模型坐标系为所述模型点云的坐标系，所述场景坐标系为所述场景点云的坐标系，一个所述目标对象的场景点云对应所述初始匹配矩阵集中包括的一个初始匹配矩阵；确定所述初始匹配矩阵集中包括的每个所述初始匹配矩阵中与所述模型点云中匹配成功的点的目标数量，并基于所述目标数量从所述初始匹配矩阵集中确定出目标匹配矩阵；基于所述目标匹配矩阵确定抓取所述目标对象中包括的第一对象的目标位姿，其中，所述第一对象的场景点云对应于所述目标匹配矩阵；控制目标设备按照所述目标位姿抓取所述第一对象。
根据本发明的另一个实施例，提供了一种对象的抓取装置，包括：获取模块，用于获取摄像设备对目标区域进行拍摄所得到的场景点云，其中，所述目标区域中包括目标对象；第一确定模块，用于基于所述场景点云的场景特征以及模型点云的模型特征确定出由模型坐标系转换至场景坐标系的初始匹配矩阵集，其中，所述模型点云为所述目标对象的目标模型的点云，所述模型坐标系为所述模型点云的坐标系，所述场景坐标系为所述场景点云的坐标系，一个所述目标对象的场景点云对应所述初始匹配矩阵集中包括的一个初始匹配矩阵；第二确定模块，用于确定所述初始匹配矩阵集中包括的每个所述初始匹配矩阵中与所述模型点云中匹配成功的点的目标数量，并基于所述目标数量从所述初始匹配矩阵集中确定出目标匹配矩阵；第三确定模块，用于基于所述目标匹配矩阵确定抓取所述目标对象中包括的第一对象的目标位姿，其中，所述第一对象的场景点云对应于所述目标匹配矩阵；抓取模块，用于控制目标设备按照所述目标位姿抓取所述第一对象。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一项中所述的方法的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，获取摄像设备对目标区域进行拍摄所得到的场景点云，根据场景点云的场景特征以及模型点云得到模型特征确定出由模型坐标系转换至场景坐标系的初始匹配矩阵集，确定初始匹配矩阵集中包括的每个初始匹配矩阵中与模型点云中匹配成功的点的目标数量，根据目标数据从初始匹配矩阵集中确定出目标匹配矩阵，根据目标匹配矩阵确定抓取目标对象中包括的第一对象的目标位姿，控制目标设备按照目标位姿抓取第一对象。由于在得到多个初始匹配矩阵后，可以根据初始匹配矩阵中与模型点云中匹配成功的点数量确定出目标匹配矩阵，抓取与目标匹配矩阵对应的对象，避免了抓取被遮挡的对象，因此，可以解决相关技术中存在的抓取对象效率低的问题，提高了抓取对象的效率。
附图说明
图1是本发明实施例的一种对象的抓取方法的移动终端的硬件结构框图；
图2是根据本发明实施例的对象的抓取方法的流程图；
图3是根据本发明示例性实施例的对象的抓取方法应用场景示意图；
图4是根据本发明示例性实施例的确定初始匹配矩阵集的方法流程图；
图5是根据本发明示例性实施例的确定第一顺序流程示意图；
图6是根据本发明示例性实施例的第一区域示意图；
图7是根据本发明示例性实施例的确定目标位姿流程示意图；
图8是根据本发明具体实施例的对象的抓取方法流程图；
图9是根据本发明实施例的对象的抓取装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种对象的抓取方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的对象的抓取方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种对象的抓取方法，图2是根据本发明实施例的对象的抓取方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取摄像设备对目标区域进行拍摄所得到的场景点云，其中，所述目标区域中包括目标对象；
步骤S204，基于所述场景点云的场景特征以及模型点云的模型特征确定出由模型坐标系转换至场景坐标系的初始匹配矩阵集，其中，所述模型点云为所述目标对象的目标模型的点云，所述模型坐标系为所述模型点云的坐标系，所述场景坐标系为所述场景点云的坐标系，一个所述目标对象的场景点云对应所述初始匹配矩阵集中包括的一个初始匹配矩阵；
步骤S206，确定所述初始匹配矩阵集中包括的每个所述初始匹配矩阵中与所述模型点云中匹配成功的点的目标数量，并基于所述目标数量从所述初始匹配矩阵集中确定出目标匹配矩阵；
步骤S208，基于所述目标匹配矩阵确定抓取所述目标对象中包括的第一对象的目标位姿，其中，所述第一对象的场景点云对应于所述目标匹配矩阵；
步骤S210，控制目标设备按照所述目标位姿抓取所述第一对象。
在上述实施例中，目标对象可以为零件，目标区域可以是用于盛放目标对象的区域，例如，传送带中的区域等。目标设备可以是机械爪等具有抓取功能的设备，如六轴机械臂及夹爪，摄像设备可以为3D相机等。其中，对象的抓取方法应用场景示意图可参见附图3，如图3所示，可以通过3d相机对目标区域进行拍摄获得场景点云，将场景点云发送给工控机，工控机通过算法获得可靠的抓取位姿，由工控机将抓取位姿发送给机械臂(即目标设备)，机械臂按照抓取位姿的路径进行零件抓取，将零件抓取到放置区域。
在上述实施例中，目标区域存放同种目标对象，可以预先获得目标对象的模型，确定目标对象的模型点云。其中，点云即为同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，可以用Pi＝{(xi，yi，zi)，i＝1，2，…，n}表示。
在上述实施例中，在基于场景点云的场景特征以及模型点云的模型特征确定出由模型坐标系转换至场景坐标系的初始匹配矩阵集时，可以首先对获取到的场景点云、模型点云进行点云去背景操作，即根据实际场景，给定抓取区域(如目标区域)点云的x、y、z坐标的取值范围，去除点云中超出限定范围外的点。再对点云进行滤波处理，以去除场景点云的噪点。其中，滤波处理的方式可以是均值滤波、双边滤波等滤波方式。在滤波之后，如果场景点云的点云密度过大，可以对点云进行降采样处理。即在点云密度过大的情况下，可以通过每隔多少个点取一个点的方式直接针对模型点云及场景点云降采样。在点云密度过少的情况下该步骤无需进行。在得到经过处理后的场景点云和模型点云后，可以进行特征计算。分别计算点云模型及场景点云的特征，该特征包括但不限于如下形式：PFH描述子，FPFH描述子，shot描述子等。再进行特征粗匹配获得候选位姿:以模型点云中的特征描述来构建kd树，针对场景点云中的每个特征描述，搜索模型点云中最为相近的特征描述，利用该匹配关系，即可计算出由模型到场景的初始匹配矩阵集。其中，确定初始匹配矩阵集的方法流程图可参见附图4。其中，初始匹配矩阵集中包括的每个初始匹配矩阵中均可以包括旋转矩阵、平移矩阵中的一个或两个。
在确定出初始匹配矩阵集后，可以确定初始匹配矩阵集中的每个初始匹配矩阵与模型点云中匹配成功的点的目标数量，根据匹配成功的点的数据从初始匹配矩阵集中确定出目标匹配矩阵。进而根据目标匹配矩阵确定出目标位姿，并控制目标设备按照目标位姿抓取目标匹配矩阵对应的第一对象。
可选地，上述步骤的执行主体可以是工控机、处理器，或者其他的具备类似处理能力的设备，还可以是至少集成有图像获取设备以及数据处理设备的机器，其中，图像获取设备可以包括摄像头等图形采集模块，数据处理设备可以包括计算机、手机等终端，但不限于此。
通过本发明，获取摄像设备对目标区域进行拍摄所得到的场景点云，根据场景点云的场景特征以及模型点云得到模型特征确定出由模型坐标系转换至场景坐标系的初始匹配矩阵集，确定初始匹配矩阵集中包括的每个初始匹配矩阵中与模型点云中匹配成功的点的目标数量，根据目标数据从初始匹配矩阵集中确定出目标匹配矩阵，根据目标匹配矩阵确定抓取目标对象中包括的第一对象的目标位姿，控制目标设备按照目标位姿抓取第一对象。由于在得到多个初始匹配矩阵后，可以根据初始匹配矩阵中与模型点云中匹配成功的点数量确定出目标匹配矩阵，抓取与目标匹配矩阵对应的对象，避免了抓取被遮挡的对象，因此，可以解决相关技术中存在的抓取对象效率低的问题，提高了抓取对象的效率。
在一个示例性实施例中，确定所述初始匹配矩阵集中包括的每个所述初始匹配矩阵中与所述模型点云中匹配成功的点的目标数量包括：确定所述目标模型的第一包围盒；将每个所述初始匹配矩阵转换至所述模型坐标系中，得到第一矩阵集；确定所述第一矩阵集中包括的每个矩阵中位于所述第一包围盒内的第一点；基于所述第一矩阵集将所述第一点转换到所述模型坐标系中，得到第二点；确定所述第二点中包括的与所述目标模型的K维树中的点匹配成功的点的第一数量；将所述第一数量确定为所述目标数量。在本实施例中，可以进行包围盒切割，计算出匹配成功点数，并按照匹配成功点数进行排序，从而确定出目标匹配矩阵。
在上述实施例中，由特征计算出的初始匹配矩阵具有以下缺点：(1)该旋转矩阵并不可靠，受噪点、零件堆叠的影响，存在大量误匹配的情况；(2)当前使用RANSAC搜索得到最优匹配矩阵，该方法存在一定的随机性。出于可以得到大量的初始匹配矩阵，因此，可以引入一个可靠的指标来衡量零件匹配的好坏。利用指标对初始匹配矩阵进行可靠性排序，得到准确的目标匹配矩阵。即可以使用匹配成功的点数(即目标数量)来衡量，可以有较好的排序效果。即给初始匹配矩阵集中的每个初始匹配矩阵，按照匹配的可靠性进行排序。
在上述实施例中，设定零件模型点云中的点为其中，n为模型点数。由模型至场景的初始旋转、平移矩阵(即初始匹配矩阵)分别为k为初始旋转平移矩阵个数。根据初始匹配矩阵确定由场景点云转换至模型点云的旋转、平移矩阵(即第一矩阵集)/>判断场景中的点(即第一点)是否在零件模型所在的第一包围盒内。如果是的话，可以用属于该RT阵的容器vector1j保存该点。
在上述实施例中，可以基于第一矩阵集将第一点转换到模型坐标系中，得到第二点，可以通过如下方式计算由第一点转换到模型坐标系中的第二点，其中，u为vector1j的大小，在转换后，可以使用容器vector2j保存变换后的/>点。
在上述实施例中，在确定出第二点后，可以确定第二点中包括的与目标模型的K维树中的点匹配成功的点的第一数量；将第一数量确定为所述目标数量。其中，匹配成功的点可以是距离第二点最近的点。
在一个示例性实施例中，确定所述第二点中包括的与所述目标模型的K维树中的点匹配成功的点的第一数量包括：对所述第二点中包括的每个子点均执行以下操作：确定所述子点与所述K维树中包括的各个点的第一距离，确定所述子点在所述场景坐标系中的第一向量，将所述第一向量转换到所述模型坐标系中，得到第二向量，确定所述K维树中包括的各个点在所述模型坐标系中的第三向量，分别确定所述第二向量和每个所述第三向量的夹角的余弦值，基于分别确定的每个所述余弦值以及所述第一距离确定所述匹配成功的点；统计所述匹配成功的点，以得到所述第一数量。在本实施例中，针对容器中的每个点可以在基于目标模型的kd树种寻找最近点/>可以根据实际情况，采用一种或者多项指标，例如距离、法向量夹角、局部坐标系的差异等，来判断该点是否匹配成功。在采用距离和法向量夹角计算时，第一向量和第二向量即为法向量。
在上述实施例中，可以通过如下公式计算之间的第一距离针对法向量的夹角，可以计算ot点在模型坐标系中的法向量/>(即第三向量)与/>点在场景坐标系中的法向量/>(即第一向量)通过/>计算/>经旋转平移变换之后的法向量(即第二向量)，然后计算矢量/>和/>的夹角余弦值，根据余弦值和第一距离确定匹配成功的点的数量。其中，两个向量的夹角的余弦值可以通过如下公式计算：计算。
在一个示例性实施例中，基于分别确定的每个所述余弦值以及所述第一距离确定所述匹配成功的点包括：将所述第一距离大于第一预定距离，且所述余弦值大于预定余弦值的点确定为所述匹配成功的点。在本实施例中，将第一距离dt小于设定的第一预定距离，并且cosθt大于预定余弦值的点确定为匹配成功的点，将匹配成功的点数+1，统计容器vector2j中匹配成功的点数，保存为n。
在一个示例性实施例中，基于所述目标数量从所述初始匹配矩阵集中确定出目标匹配矩阵包括：基于所述目标数量对所述初始匹配矩阵集中包括的所述初始匹配矩阵进行排序，得到第一顺序；对所述初始匹配矩阵集中包括的除所述第一顺序中的第一个初始匹配矩阵以外的其他所述初始匹配矩阵均依次执行以下操作，得到第二数量的过程匹配矩阵：基于所述第一顺序确定位于所述初始匹配矩阵之前的第一初始匹配矩阵，确定所述初始匹配矩阵的第一平移向量以及所述第一初始匹配矩阵的第二平移向量，在所述第一平移向量与所述第二平移向量之间的距离小于第二预定距离情况下，删除所述初始匹配矩阵；对所述第二数量的所述过程匹配矩阵进行迭代就近点匹配，确定出所述目标匹配矩阵。在本实施例中，在确定出的匹配成功的点数后，可以以此对初始匹配矩阵集中包括的初始匹配矩阵进行排序，从而获得可靠排序的旋转平移矩阵序列，即第一顺序。其中，第一顺序可以是按照匹配成功的点数从高到低的顺序排列初始匹配矩阵得到的顺序。匹配成功的点数越高表示该矩阵的优先级越高。其中，确定第一顺序流程示意图可参见附图5。
在上述实施例中，第一平移向量与第二平移向量之间的距离可以为欧式距离。第一平移向量和第二平移向量均可以为由模型坐标系向场景坐标系平移的相邻。在优先级从高到低的中，可以对每一个平移向量/>与比其优先级高的其他RT阵的平移向量/> 计算/>与/>的欧式距离如果d小于第二预定距离，则删除/>阵，将剩余的矩阵确定为过程匹配矩阵，将剩余的/>阵(即过程匹配矩阵)可以按照从高到低的顺序。根据用户需求，选取优先级高的前n个矩阵作为初匹配矩阵。利用ICP匹配方法，获得由模型到点云的精确匹配矩阵，即目标匹配矩阵/>其中，ICP即迭代就近点算法，全称为Iterative Closest Point。ICP算法针对待拼接的2片点云，首先根据一定的准则，确定点集P与Q中的对应点对集，通过最小乘法迭代计算最优的坐标变换，即旋转矩阵R和平移矢量t，使得误差函数/>最小。
在上述实施例中，针对特征匹配得到的粗略匹配结果，通过ICP粗略匹配的得分排序，可以较好地避免由于匹配错误带来的抓取失败，通过ICP精匹配可以合理分散旋转平移矩阵及精确ICP匹配零件。
在一个示例性实施例中，基于所述目标匹配矩阵确定抓取所述目标对象中包括的第一对象的目标位姿包括：确定所述目标匹配矩阵中包括的各个匹配矩阵中位于所述目标设备的第一区域的第三点的第三数量；确定所述目标匹配矩阵中包括的各个匹配矩阵中位于所述目标设备的第二区域的点的第四数量，其中，所述第二区域为所述目标设备中除所述第一区域之外的区域；删除所述目标匹配矩阵中包括的所述第四数量小于预定数量的矩阵，以得到剩余矩阵；基于所述第三数量将所述剩余矩阵按照从小到大的顺序进行排序，得到第二顺序；按照所述第二顺序依次基于所述匹配矩阵确定所述目标位姿。在本实施例中，在确定出目标匹配矩阵后，可以根据目标匹配矩阵确定抓取目标对象中包括的第一对象的目标位姿。首先，可以确定目标匹配矩阵中包括的各个匹配矩阵中位于目标设备的第一区域的第三点的第三数量，确定各个匹配矩阵中位于目标设备的第二区域的点的第四数量，删除第四数量小于预定数量的匹配矩阵，得到剩余矩阵，根据第三数量对各个剩余矩阵按照从小到大的顺序进行排序，得到第二顺序，按照第二顺序依次根据匹配矩阵确定目标位姿。即，首先抓取第三数量少的匹配矩阵对应的对象。其中，预定数量可以为1(该取值仅是一种示例性说明，本发明对此不作限制，例如，还可以为3、5等)。第一区域可以是目标设备中处第二区域之外的区域，第二区域为对象在该区域内目标设备的抓取成功率最高的区域。第二区域的边缘与目标设备的爪夹的侧边的距离小于预定距离，预定距离可以根据目标设备的爪夹性能以及目标对象进行自定义设置，本发明对此不作限定。
在上述实施例中，当目标对象在第二区域内时，目标设备的抓取成功率最高，因此，匹配矩阵中的点在第二区域内不能为0，即需要保证对象处于第二区域内。
在上述实施例中，第一区域示意图可参见附图6，如图6所示，第一区域为除区域零件D之外的区域，第二区域为区域零件D。斜线区域为夹爪，相比相机坐标系，在夹爪坐标系中点所属的区域，只需要通过比较x、y、z轴坐标即可判断。可以通过x、y、z轴所属的范围，判断点属于哪一个区域，如果点在A、B、C区域内，则该点与夹爪碰撞，碰撞点数加1；如果点在E区域内，则夹爪极大可能会抓起两个，或者由于其他零件的干扰导致抓取失败，因此在计数时，碰撞点数加1。如果D区域内没有点，则该夹爪抓空，该夹取位姿直接舍弃；如果碰撞点数超过一定阈值，则该夹取位姿舍弃；对小于该阈值的抓取位姿，按抓取点数进行排序，抓取点数少的优先抓取即可。将优先级最高的抓取位姿经手眼标定矩阵变换到相机基坐标系，将相机基坐标系的位姿信号发送给机械臂，机械臂执行抓取路径即可。其中，手眼标定即标定机器人基坐标系和相机坐标系之间的旋转平移变换关系，确定目标位姿流程示意图可参见附图7。
在上述实施例中，将点云与夹爪的碰撞转换到夹爪坐标系下进行分析，可以通过x、y、z轴的坐标，直接判断与夹爪是否碰撞，无需复杂的判断。根据不同分区的场景点云数，合理有效地避免抓两个，抓空，碰撞导致的抓取失败，并利用碰撞点数进行位姿排序，尽量减少碰撞发生。无需RGB信息，单纯使用点云信息即可获得可靠地抓取位姿。
在一个示例性实施例中，在确定所述目标匹配矩阵中包括的各个匹配矩阵中位于所述目标设备的第一区域的第三点的第三数量之前，所述方法还包括：获取预先确定的所述目标模型的第一抓取点以及所述目标模型对应的第一旋转矩阵以及抓取平移矩阵；对于所述目标匹配矩阵中包括的各个匹配矩阵均执行以下操作，确定所述各个匹配矩阵中的所述第三点：基于所述匹配矩阵、所述第一抓取点以及所述抓取平移矩阵确定所述第一抓取点在所述摄像设备的摄像坐标系中的第二抓取点；基于所述第二抓取点、第二旋转矩阵确定所述匹配矩阵中包括的第四点在所述目标设备的抓取坐标系中的所述第三点，其中，所述第二旋转矩阵为根据所述第一旋转矩阵以及所述匹配矩阵确定的矩阵。在本实施例中，在确定各个匹配矩阵中位于目标设备的第一区域的第三点的数量之前，可以首先将匹配矩阵中的点转换到抓取坐标系中。可以先获取预先确定的目标模型的第一抓取点，以及目标模型对应的第一旋转矩阵以及抓取平移矩阵。其中，第一旋转矩阵和抓取平移矩阵均是由模型坐标系转换到场景坐标系的矩阵。
在上述实施例中，可以根据匹配矩阵、第一抓取点以及抓取平移矩阵确定第一抓取点在摄像坐标系下的第二抓取顶点。根据第二抓取点、第二旋转平移矩阵确定匹配矩阵中的点在抓取坐标系下的第三点。
在一个示例性实施例中，基于所述匹配矩阵、所述第一抓取点以及所述抓取平移矩阵确定所述抓取点在所述摄像设备的摄像坐标系中的第二抓取点包括：确定所述第一抓取点与所述匹配矩阵的第一乘积，将所述第一乘积与所述抓取平移矩阵的和确定为第一坐标，将所述第一坐标对应的点确定为所述第二抓取点；基于所述第二抓取点、第二旋转矩阵确定所述匹配矩阵中包括的第四点在所述目标设备的抓取坐标的所述第三点包括：确定所述第四点与所述第二抓取点的坐标差，确定所述匹配矩阵与所述第一旋转矩阵的乘积，以得到所述第二旋转矩阵，将所述第二旋转矩阵的转置与所述坐标差的第二乘积确定为第二坐标，将所述第二坐标对应的点确定为所述第三点。在本实施例中，设定目标模型中的抓取点(对应于第一抓取点)为x0，抓取位姿为旋转矩阵Rx(对应于第一旋转矩阵)，平移矩阵Tx(对应于抓取平移矩阵)计算相机坐标系(对应于摄像坐标系)中的抓取点(对应于第二抓取点)xs＝R1*x0+Tx，旋转矩阵(对应于第二旋转矩阵)第四点ps在夹爪坐标系(对应于抓取坐标系)的矩阵的点坐标/>在确定出坐标后，将坐标对应的点分别确定为第二抓取点及第三点。
下面结合具体实施方式对对象的抓取方法进行说明：
图8是根据本发明具体实施例的对象的抓取方法流程图，如图8所示，该方法包括：
步骤S802，点云预处理、特征计算、特征粗匹配计算候选位姿(对应于上述初始匹配矩阵集)。其目的是通过模型点云及场景点云获得大量的不一定可靠的初始匹配结果。包含点云去背景、点云降采样、点云滤波、特征计算及特征匹配五个步骤。
其主要内容为：针对场景点云，通过点云去背景，限定待匹配的零件区域，删除不属于零件的点。通过点云降采样，降低场景及模型点云的密度，减小算法耗时。通过点云滤波，减少场景点云的噪点，通过特征计算和特征匹配，获得一系列初始匹配位姿。
步骤S804，包围盒切割，计算匹配成功点数，按照匹配成功点数进行排序。
步骤S806，非极大值抑制+ICP精匹配，用距离进行非极大值抑制，对粗匹配结果进行ICP精匹配。
步骤S808，计算抓取点，计算碰撞点数，排除抓空情况，按碰撞点数排序抓取位姿。该步骤的目的是为了生成在相机坐标系下的抓取位姿。
步骤S810，通过手眼标定，获得夹爪在机器人坐标系下抓取位姿，控制机械臂抓取零件。
在前述实施例中，通过分割粗匹配附近的点，并将该点做逆旋转平移变换，利用满足距离小于给定阈值、法向量夹角小于给定阈值等条件的点的个数，对初匹配的排序，通过将点转换到夹爪坐标系下，可以十分便捷地判断点是否碰撞，引入夹爪是否抓空机制。利用碰撞点数进行抓取位姿排序，能够尽量减小碰撞，获得较好地抓取效果。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种对象的抓取装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图9是根据本发明实施例的对象的抓取装置的结构框图，如图9所示，该装置包括：
获取模块902，用于获取摄像设备对目标区域进行拍摄所得到的场景点云，其中，所述目标区域中包括目标对象；
第一确定模块904，用于基于所述场景点云的场景特征以及模型点云的模型特征确定出由模型坐标系转换至场景坐标系的初始匹配矩阵集，其中，所述模型点云为所述目标对象的目标模型的点云，所述模型坐标系为所述模型点云的坐标系，所述场景坐标系为所述场景点云的坐标系，一个所述目标对象的场景点云对应所述初始匹配矩阵集中包括的一个初始匹配矩阵；
第二确定模块906，用于确定所述初始匹配矩阵集中包括的每个所述初始匹配矩阵中与所述模型点云中匹配成功的点的目标数量，并基于所述目标数量从所述初始匹配矩阵集中确定出目标匹配矩阵；
第三确定模块908，用于基于所述目标匹配矩阵确定抓取所述目标对象中包括的第一对象的目标位姿，其中，所述第一对象的场景点云对应于所述目标匹配矩阵；
抓取模块910，用于控制目标设备按照所述目标位姿抓取所述第一对象。
在一个示例性实施例中，第二确定模块906可以通过如下方式实现确定所述初始匹配矩阵集中包括的每个所述初始匹配矩阵中与所述模型点云中匹配成功的点的目标数量：确定所述目标模型的第一包围盒；将每个所述初始匹配矩阵转换至所述模型坐标系中，得到第一矩阵集；确定所述第一矩阵集中包括的每个矩阵中位于所述第一包围盒内的第一点；基于所述第一矩阵集将所述第一点转换到所述模型坐标系中，得到第二点；确定所述第二点中包括的与所述目标模型的K维树中的点匹配成功的点的第一数量；将所述第一数量确定为所述目标数量。
在一个示例性实施例中，第二确定模块906可以通过如下方式实现确定所述第二点中包括的与所述目标模型的K维树中的点匹配成功的点的第一数量：对所述第二点中包括的每个子点均执行以下操作：确定所述子点与所述K维树中包括的各个点的第一距离，确定所述子点在所述场景坐标系中的第一向量，将所述第一向量转换到所述模型坐标系中，得到第二向量，确定所述K维树中包括的各个点在所述模型坐标系中的第三向量，分别确定所述第二向量和每个所述第三向量的夹角的余弦值，基于分别确定的每个所述余弦值以及所述第一距离确定所述匹配成功的点；统计所述匹配成功的点，以得到所述第一数量。
在一个示例性实施例中，第二确定模块906可以通过如下方式实现基于分别确定的每个所述余弦值以及所述第一距离确定所述匹配成功的点：将所述第一距离大于第一预定距离，且所述余弦值大于预定余弦值的点确定为所述匹配成功的点。
在一个示例性实施例中，第二确定模块906可以通过如下方式实现基于所述目标数量从所述初始匹配矩阵集中确定出目标匹配矩阵：基于所述目标数量对所述初始匹配矩阵集中包括的所述初始匹配矩阵进行排序，得到第一顺序；对所述初始匹配矩阵集中包括的除所述第一顺序中的第一个初始匹配矩阵以外的其他所述初始匹配矩阵均依次执行以下操作，得到第二数量的过程匹配矩阵：基于所述第一顺序确定位于所述初始匹配矩阵之前的第一初始匹配矩阵，确定所述初始匹配矩阵的第一平移向量以及所述第一初始匹配矩阵的第二平移向量，在所述第一平移向量与所述第二平移向量之间的距离小于第二预定距离情况下，删除所述初始匹配矩阵；对所述第二数量的所述过程匹配矩阵进行迭代就近点匹配，确定出所述目标匹配矩阵。
在一个示例性实施例中，第三确定模块908可以通过如下方式实现基于所述目标匹配矩阵确定抓取所述目标对象中包括的第一对象的目标位姿：确定所述目标匹配矩阵中包括的各个匹配矩阵中位于所述目标设备的第一区域的第三点的第三数量；确定所述目标匹配矩阵中包括的各个匹配矩阵中位于所述目标设备的第二区域的点的第四数量，其中，所述第二区域为所述目标设备中除所述第一区域之外的区域；删除所述目标匹配矩阵中包括的所述第四数量小于预定数量的矩阵，以得到剩余矩阵；基于所述第三数量将所述剩余矩阵按照从小到大的顺序进行排序，得到第二顺序；按照所述第二顺序依次基于所述匹配矩阵确定所述目标位姿。
在一个示例性实施例中，所述装置可以用于在确定所述目标匹配矩阵中包括的各个匹配矩阵中位于所述目标设备的第一区域的第三点的第三数量之前，获取预先确定的所述目标模型的第一抓取点以及所述目标模型对应的第一旋转矩阵以及抓取平移矩阵；对于所述目标匹配矩阵中包括的各个匹配矩阵均执行以下操作，确定所述各个匹配矩阵中的所述第三点：基于所述匹配矩阵、所述第一抓取点以及所述抓取平移矩阵确定所述第一抓取点在所述摄像设备的摄像坐标系中的第二抓取点；基于所述第二抓取点、第二旋转矩阵确定所述匹配矩阵中包括的第四点在所述目标设备的抓取坐标系中的所述第三点，其中，所述第二旋转矩阵为根据所述第一旋转矩阵以及所述匹配矩阵确定的矩阵。
在一个示例性实施例中，所述装置可以通过如下方式实现基于所述匹配矩阵、所述第一抓取点以及所述抓取平移矩阵确定所述抓取点在所述摄像设备的摄像坐标系中的第二抓取点：确定所述第一抓取点与所述匹配矩阵的第一乘积，将所述第一乘积与所述抓取平移矩阵的和确定为第一坐标，将所述第一坐标对应的点确定为所述第二抓取点；所述装置可以通过如下方式实现基于所述第二抓取点、第二旋转矩阵确定所述匹配矩阵中包括的第四点在所述目标设备的抓取坐标系中的所述第三点：确定所述第四点与所述第二抓取点的坐标差，确定所述匹配矩阵与所述第一旋转矩阵的乘积，以得到所述第二旋转矩阵，将所述第二旋转矩阵的转置与所述坐标差的第二乘积确定为第二坐标，将所述第二坐标对应的点确定为所述第三点。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一项中所述的方法的步骤。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (11)
1.一种对象的抓取方法，其特征在于，包括：
获取摄像设备对目标区域进行拍摄所得到的场景点云，其中，所述目标区域中包括目标对象；
基于所述场景点云的场景特征以及模型点云的模型特征确定出由模型坐标系转换至场景坐标系的初始匹配矩阵集，其中，所述模型点云为所述目标对象的目标模型的点云，所述模型坐标系为所述模型点云的坐标系，所述场景坐标系为所述场景点云的坐标系，一个所述目标对象的场景点云对应所述初始匹配矩阵集中包括的一个初始匹配矩阵；
确定所述初始匹配矩阵集中包括的每个所述初始匹配矩阵中与所述模型点云中匹配成功的点的目标数量，并基于所述目标数量从所述初始匹配矩阵集中确定出目标匹配矩阵；
基于所述目标匹配矩阵确定抓取所述目标对象中包括的第一对象的目标位姿，其中，所述第一对象的场景点云对应于所述目标匹配矩阵；
控制目标设备按照所述目标位姿抓取所述第一对象。
2.根据权利要求1所述的方法，其特征在于，确定所述初始匹配矩阵集中包括的每个所述初始匹配矩阵中与所述模型点云中匹配成功的点的目标数量包括：
确定所述目标模型的第一包围盒；
将每个所述初始匹配矩阵转换至所述模型坐标系中，得到第一矩阵集；
确定所述第一矩阵集中包括的每个矩阵中位于所述第一包围盒内的第一点；
基于所述第一矩阵集将所述第一点转换到所述模型坐标系中，得到第二点；
确定所述第二点中包括的与所述目标模型的K维树中的点匹配成功的点的第一数量；
将所述第一数量确定为所述目标数量。
3.根据权利要求2所述的方法，其特征在于，确定所述第二点中包括的与所述目标模型的K维树中的点匹配成功的点的第一数量包括：
对所述第二点中包括的每个子点均执行以下操作：确定所述子点与所述K维树中包括的各个点的第一距离，确定所述子点在所述场景坐标系中的第一向量，将所述第一向量转换到所述模型坐标系中，得到第二向量，确定所述K维树中包括的各个点在所述模型坐标系中的第三向量，分别确定所述第二向量和每个所述第三向量的夹角的余弦值，基于分别确定的每个所述余弦值以及所述第一距离确定所述匹配成功的点；
统计所述匹配成功的点，以得到所述第一数量。
4.根据权利要求3所述的方法，其特征在于，基于分别确定的每个所述余弦值以及所述第一距离确定所述匹配成功的点包括：
将所述第一距离大于第一预定距离，且所述余弦值大于预定余弦值的点确定为所述匹配成功的点。
5.根据权利要求1所述的方法，其特征在于，基于所述目标数量从所述初始匹配矩阵集中确定出目标匹配矩阵包括：
基于所述目标数量对所述初始匹配矩阵集中包括的所述初始匹配矩阵进行排序，得到第一顺序；
对所述初始匹配矩阵集中包括的除所述第一顺序中的第一个初始匹配矩阵以外的其他所述初始匹配矩阵均依次执行以下操作，得到第二数量的过程匹配矩阵：基于所述第一顺序确定位于所述初始匹配矩阵之前的第一初始匹配矩阵，确定所述初始匹配矩阵的第一平移向量以及所述第一初始匹配矩阵的第二平移向量，在所述第一平移向量与所述第二平移向量之间的距离小于第二预定距离情况下，删除所述初始匹配矩阵；
对所述第二数量的所述过程匹配矩阵进行迭代就近点匹配，确定出所述目标匹配矩阵。
6.根据权利要求1所述的方法，其特征在于，基于所述目标匹配矩阵确定抓取所述目标对象中包括的第一对象的目标位姿包括：
确定所述目标匹配矩阵中包括的各个匹配矩阵中位于所述目标设备的第一区域的第三点的第三数量；
确定所述目标匹配矩阵中包括的各个匹配矩阵中位于所述目标设备的第二区域的点的第四数量，其中，所述第二区域为所述目标设备中除所述第一区域之外的区域；
删除所述目标匹配矩阵中包括的所述第四数量小于预定数量的矩阵，以得到剩余矩阵；
基于所述第三数量将所述剩余矩阵按照从小到大的顺序进行排序，得到第二顺序；
按照所述第二顺序依次基于所述匹配矩阵确定所述目标位姿。
7.根据权利要求6所述的方法，其特征在于，在确定所述目标匹配矩阵中包括的各个匹配矩阵中位于所述目标设备的第一区域的第三点的第三数量之前，所述方法还包括：
获取预先确定的所述目标模型的第一抓取点以及所述目标模型对应的第一旋转矩阵以及抓取平移矩阵；
对于所述目标匹配矩阵中包括的各个匹配矩阵均执行以下操作，确定所述各个匹配矩阵中的所述第三点：
基于所述匹配矩阵、所述第一抓取点以及所述抓取平移矩阵确定所述第一抓取点在所述摄像设备的摄像坐标系中的第二抓取点；
基于所述第二抓取点、第二旋转矩阵确定所述匹配矩阵中包括的第四点在所述目标设备的抓取坐标系中的所述第三点，其中，所述第二旋转矩阵为根据所述第一旋转矩阵以及所述匹配矩阵确定的矩阵。
8.根据权利要求7所述的方法，其特征在于，
基于所述匹配矩阵、所述第一抓取点以及所述抓取平移矩阵确定所述抓取点在所述摄像设备的摄像坐标系中的第二抓取点包括：确定所述第一抓取点与所述匹配矩阵的第一乘积，将所述第一乘积与所述抓取平移矩阵的和确定为第一坐标，将所述第一坐标对应的点确定为所述第二抓取点；
基于所述第二抓取点、第二旋转矩阵确定所述匹配矩阵中包括的第四点在所述目标设备的抓取坐标系中的所述第三点包括：确定所述第四点与所述第二抓取点的坐标差，确定所述匹配矩阵与所述第一旋转矩阵的乘积，以得到所述第二旋转矩阵，将所述第二旋转矩阵的转置与所述坐标差的第二乘积确定为第二坐标，将所述第二坐标对应的点确定为所述第三点。
9.一种对象的抓取装置，其特征在于，包括：
获取模块，用于获取摄像设备对目标区域进行拍摄所得到的场景点云，其中，所述目标区域中包括目标对象；
第一确定模块，用于基于所述场景点云的场景特征以及模型点云的模型特征确定出由模型坐标系转换至场景坐标系的初始匹配矩阵集，其中，所述模型点云为所述目标对象的目标模型的点云，所述模型坐标系为所述模型点云的坐标系，所述场景坐标系为所述场景点云的坐标系，一个所述目标对象的场景点云对应所述初始匹配矩阵集中包括的一个初始匹配矩阵；
第二确定模块，用于确定所述初始匹配矩阵集中包括的每个所述初始匹配矩阵中与所述模型点云中匹配成功的点的目标数量，并基于所述目标数量从所述初始匹配矩阵集中确定出目标匹配矩阵；
第三确定模块，用于基于所述目标匹配矩阵确定抓取所述目标对象中包括的第一对象的目标位姿，其中，所述第一对象的场景点云对应于所述目标匹配矩阵；
抓取模块，用于控制目标设备按照所述目标位姿抓取所述第一对象。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述权利要求1至8任一项中所述的方法的步骤。
11.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至8任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111496594.6A CN114241286B (zh) | 2021-12-08 | 2021-12-08 | 对象的抓取方法、装置、存储介质及电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111496594.6A CN114241286B (zh) | 2021-12-08 | 2021-12-08 | 对象的抓取方法、装置、存储介质及电子装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114241286A CN114241286A (zh) | 2022-03-25 |
| CN114241286B true CN114241286B (zh) | 2024-04-12 |
Family
ID=80754133
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111496594.6A Active CN114241286B (zh) | 2021-12-08 | 2021-12-08 | 对象的抓取方法、装置、存储介质及电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114241286B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110340891A (zh) * | 2019-07-11 | 2019-10-18 | 河海大学常州校区 | 基于点云模板匹配技术的机械臂定位抓取***及方法 |
| CN112476434A (zh) * | 2020-11-24 | 2021-03-12 | 新拓三维技术(深圳)有限公司 | 一种基于协作机器人的视觉3d取放方法及*** |
| WO2021082229A1 (zh) * | 2019-10-31 | 2021-05-06 | 深圳市商汤科技有限公司 | 数据处理方法及相关装置 |
| CN113610921A (zh) * | 2021-08-06 | 2021-11-05 | 沈阳风驰软件股份有限公司 | 混合工件抓取方法、设备及计算机可读存储介质 |
-
2021
- 2021-12-08 CN CN202111496594.6A patent/CN114241286B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110340891A (zh) * | 2019-07-11 | 2019-10-18 | 河海大学常州校区 | 基于点云模板匹配技术的机械臂定位抓取***及方法 |
| WO2021082229A1 (zh) * | 2019-10-31 | 2021-05-06 | 深圳市商汤科技有限公司 | 数据处理方法及相关装置 |
| CN112476434A (zh) * | 2020-11-24 | 2021-03-12 | 新拓三维技术(深圳)有限公司 | 一种基于协作机器人的视觉3d取放方法及*** |
| CN113610921A (zh) * | 2021-08-06 | 2021-11-05 | 沈阳风驰软件股份有限公司 | 混合工件抓取方法、设备及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于时域编码结构光的高精度三维视觉引导抓取***研究;孔令升;崔西宁;郭俊广;宋展;孙红雨;;集成技术;20200430(第02期);第38-49页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114241286A (zh) | 2022-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109483573B (zh) | 机器学习装置、机器人***以及机器学习方法 | |
| DE102019009206B4 (de) | Robotersystem mit dynamischem Packmechanismus | |
| CN108044627B (zh) | 抓取位置的检测方法、装置及机械臂 | |
| CN112837371B (zh) | 基于3d匹配的物体抓取方法、装置及计算设备 | |
| JP5787642B2 (ja) | 対象物保持装置、対象物保持装置の制御方法、およびプログラム | |
| CN112109086B (zh) | 面向工业堆叠零件的抓取方法、终端设备及可读存储介质 | |
| CN112802105A (zh) | 对象抓取方法及装置 | |
| US20170151672A1 (en) | Workpiece position/posture calculation system and handling system | |
| CN113610921A (zh) | 混合工件抓取方法、设备及计算机可读存储介质 | |
| Herakovic | Robot vision in industrial assembly and quality control processes | |
| CN112828892B (zh) | 一种工件抓取方法、装置、计算机设备及存储介质 | |
| CN110395515B (zh) | 一种货物识别抓取方法、设备以及存储介质 | |
| CN112847375B (zh) | 一种工件抓取方法、装置、计算机设备及存储介质 | |
| CN114310892B (zh) | 基于点云数据碰撞检测的物体抓取方法、装置和设备 | |
| CN112936257A (zh) | 一种工件抓取方法、装置、计算机设备及存储介质 | |
| CN115321090B (zh) | 机场行李自动接取方法、装置、设备、***及介质 | |
| CN114241286B (zh) | 对象的抓取方法、装置、存储介质及电子装置 | |
| CN113894058A (zh) | 基于深度学习的品质检测与分拣方法、***及存储介质 | |
| CN114800533B (zh) | 一种用于工业机器人的分拣控制方法及*** | |
| CN110992372A (zh) | 物品抓取方法、装置、存储介质及电子装置 | |
| CN116175542B (zh) | 确定夹具抓取顺序的方法、装置、电子设备和存储介质 | |
| Luo et al. | Vision-based 3-D object pick-and-place tasks of industrial manipulator | |
| CN115338874A (zh) | 基于激光雷达的机器人实时控制方法 | |
| CN111470244B (zh) | 机器人***的控制方法以及控制装置 | |
| CN110253575B (zh) | 一种机器人抓取的方法、终端及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |