CN112070818A - 基于机器视觉的机器人无序抓取方法和***及存储介质 - Google Patents
基于机器视觉的机器人无序抓取方法和***及存储介质 Download PDFInfo
- Publication number
- CN112070818A CN112070818A CN202011244911.0A CN202011244911A CN112070818A CN 112070818 A CN112070818 A CN 112070818A CN 202011244911 A CN202011244911 A CN 202011244911A CN 112070818 A CN112070818 A CN 112070818A
- Authority
- CN
- China
- Prior art keywords
- robot
- camera
- target
- target object
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000008569 process Effects 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims abstract description 16
- 238000006243 chemical reaction Methods 0.000 claims abstract description 8
- 238000001914 filtration Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000036544 posture Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 230000002146 bilateral effect Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000000739 chaotic effect Effects 0.000 claims 2
- 238000009616 inductively coupled plasma Methods 0.000 claims 2
- 230000007812 deficiency Effects 0.000 abstract description 2
- 230000007547 defect Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000009191 jumping Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000035802 rapid maturation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于机器视觉的机器人无序抓取方法及***。通过搭建kinect相机及机器人的抓取***，利用所述kinect相机采集目标物体表面的图像数据，并对该图像数据进行预处理获得三维点云数据；对采集到的所述三维点云数据进行目标检测、目标分割、目标聚类、关键点特征提取、特征配准，识别目标物体，获得目标物体的位姿信息；根据所述手眼***的标定结果，对所述位姿信息进行坐标转换，向机器人发出控制指令实现所述目标物体的抓取。通过分析机器人无序抓取过程中的算法不足，通过改进现有的算法，以适应机器人所处的复杂环境，以此提高了机器人的无序抓取的精确度以及机器人的柔性度。
Description
技术领域
本发明涉及机器人视觉***技术领域，尤其涉及3D无序抓取的方法、***和存储介质。
背景技术
随着机器人市场的迅速扩展和机器人技术的迅速成熟，工业机器人产业迎来了前所未有的良好发展机遇，原本以人为主导的生产模式，逐渐向以工业机器人为主导的生产模式转变。工业机器人的大量运用，促进了我国工业从“制造大国”向“智造强国”的快速转变。
然而，在机器人作业过程中，如何对随意堆放的零部件或者货物进行准确的抓取，成为目前研究的热点问题。在现有技术中，生产线上的机器人大多是通过示教再现或者预编程来实现各种操作，要完成零件的抓取、放置工作必须要经过精确的逐点示教，有很大的局限性、柔性较差。
因此，在机器人作业过程中，如何提高对随意堆放的零部件或者货物进行准确的抓取，即如何利用3D视觉***提高目标抓取物的识别精度和效率，进而提高机器人的“柔性”，是本领域中迫切需要解决的技术问题。
发明内容
有鉴于此，为了解决现有技术的问题，提高目标抓取物的识别精度和效率，本发明提供一种基于机器视觉的机器人无序抓取的方法、***和存储介质。
该方法主要基于图像处理算法和人工智能算法，通过对采集到的深度图像进行图像修复、采用结合Fast R-CNN和网络空间迭代的目标点云检测、利用基于欧式距离的聚类算法对点云数据进行分割、采用粗细配准结合的方式实现点云数据的关键点特征提取、匹配，进而实现目标物体的位姿信息识别，在对现有技术中常规的无序抓取流程中的多个实施过程中的不足进行改进，以此提高了机器人的无序抓取的精确度以及机器人的柔性度。
为解决上述技术问题及达到上述技术效果，本发明提供了一种基于机器视觉的机器人无序抓取方法，其主要包括如下步骤：
1）、搭建kinect相机及机器人的抓取***，对kinect相机进行自身标定，获得相机的内外参数，再对相机和机器人组成的手眼***进行标定，获得机器人和相机的空间位置关系；
2）、采用标定完成的所述kinect相机采集目标物体表面的图像数据，并对该图像数据进行预处理获得三维点云数据；
3）、对采集到的所述三维点云数据进行目标检测、目标分割、目标聚类、关键点特征提取、特征配准，识别目标物体，获得目标物体的位姿信息；
4）、根据所述的手眼***的标定结果，对所述位姿信息进行坐标转换，向机器人发出控制指令实现所述目标物体的抓取；
为了实现上述方法，本发明还提供了一种基于机器视觉的机器人无序抓取***，该***包括：图像采集模块、目标位姿估计模块、手眼***标定模块、机器人抓取模块。
其中，所述图像采集模块，采用标定完成的所述kinect相机采集目标物体表面的图像数据，并对该图像数据进行预处理获得三维点云数据；
所述目标物***姿估计模块，用于根据图像处理算法执行目标检测、分割、聚类、关键特征的提取、特征配准，估计获得目标物体的位姿信息；
所述手眼***标定模块，用于依据搭建的kinect相机及机器人的抓取***，对kinect相机进行自身标定，获得相机的内外参数，同时对相机和机器人组成的手眼***进行标定，获得机器人和相机的空间位置关系；
所述机器人抓取模块，用于依据所述目标位姿估计模块和所述手眼***标定模块结果进行坐标转换，向机器人发出控制指令执行目标物体的抓取；
其中，对于该方法中的各个步骤的具体实施过程如下：
步骤1）的机器人手眼标定包括如下过程：在相机标定过程中，设定的坐标系包括图像坐标系，相机坐标系和世界坐标系；其中，图像坐标系包括图像像素坐标系以及图像成像平面坐标系；通过求解相机的内参矩阵和外参矩阵构成的透视投影矩阵，完成相机的标定；采用Eye-to-hand的相机安装方式构建视觉***，先让机器人末端处于不同姿态，对相机与靶标的外参数进行求取，与此同时，记录不同姿态下机器人末端的位置和姿态信息，通过线性矩阵变换，求解相机相对于机器人坐标系的外参，进而实现机器人手眼***的标定。
步骤2）的获取目标物体表面的图像数据包括如下步骤：利用kinect传感器自身的深度图像获取散乱零件的空间轮廓；图像中每个点的像素值表示空间中对应点到红外摄像机的深度距离，结合小孔成像原理，即可获得目标零件的三维点云数据；传感器自身的深度图像获取散乱零件的空间轮廓；图像中每个点的像素值表示空间中对应点到红外摄像机的深度距离，结合小孔成像原理，即可获得目标零件的三维点云数据；
步骤3）的对采集到的所述三维点云数据进行目标检测、目标分割、目标聚类、关键点特征提取、特征配准，识别目标物体，获得目标物体的位姿信息包括如下步骤：
31）目标检测：采集的深度图像经过上述步骤2）的预处理后，作为目标检测输入图像，将深度图通过卷积过滤器生成特征图，并作为Fast R-CNN网络输入进行训练；在Fast R-CNN网络的ROI层后增加网络迭代层，同时对所述ROI层像素数据进行复制，对所述复制的像素数据进行近似变换获得与原数据近似的像素数据，优化网络结构；具体过程包括：将深度图按照坐标位置像素分割，转换为特征图的三个通道，然后通过CNN提取特征，特征图三个通道分别为水平方向视差、距离地面的高度、法向量与重力的夹角；在Fast R-CNN网络结构的基础上，将网络迭代层加在Fast R-CNN的ROI层之后，使得提取的特征经过网络迭代层后具有一定的旋转不变性，对所述ROI层像素数据进行复制变换，优化网络结构；
32）目标分割和目标聚类包括如下步骤：对输入的点云集D先选用三维KD树建立离散点之间的拓扑关系；新建一个缓存队列P；将点Di放入缓存队列P中，对于每个点Di，用k近邻搜索得到N个点，计算这N个点到Di的欧氏距离，将这N个点中到Di的距离小于阈值n的点放在缓存队列P中；在点云集D中，所有点均执行上述过程，当缓存队列P中不再有新的点加入时，迭代过程结束；其中，最大迭代次数、近邻搜索半径、聚类点数、距离阈值按照实际应用场景灵活设置。
33）关键点特征提取、匹配，识别目标物体，获得目标物体的位姿信息，包括如下步骤：在特征提取与初步配准阶段，先对模板及目标物体使用ISS-3D算法进行关键点提取，再用SHOT特征进行匹配，使用KD树计算模板点云特征集中离它距离最近的某个特征，从而获得一个匹配集合；其中，所述模板是通过离线拍摄的单个物体，然后去除载物平面进行建立的，模板的初始位姿是利用相机采集模板数据时，物体在机器人基坐标系下的实际位姿，再结合手眼标定结果获得的；在匹配过程中，使用聚类方法会产生一个或多个匹配结果，所以需要用全局假设检验的方法取一个最优的匹配结果；经过特征点匹配属于粗配准，之后可以使用经典的迭代最近点（ICP）的方法进行细配准，配准完成后，完成当前目标的识别，获得其位姿信息。
34）控制机器人抓取的过程包括如下步骤：在获得目标物体在相机下的位姿信息后，需要把目标物体的位姿信息从相机坐标系下转换到机器人坐标系下，最终获得目标物体在机器人下的位姿，发出控制指令引导机器人进行抓取与摆放。
与现有技术相比，本发明的有益效果为：
1）、采用多种滤波器结合对图像进行预处理，弥补了大量噪声、空洞以及数据跳变等缺陷，提高了点云数据的精度和完整度。
2）、采用Fast R-CNN提升了网络整体像素级目标检测的准确度，同时在实际的工业机器人复杂应用环境下，加入了网络迭代层以保证旋转不变性，其适应抓取对象的形状各异、抓取对象表面纹理信息不充分、大量的抓取对象相互混杂堆叠遮挡等复杂环境；同时对像素数据复制变换能够提高目标检测精度。
3）、采用了欧式聚类算法对目标点云数据进行分割和聚类，提高了点云数据的分割和聚类效率。
4）、在关键点提取和配准阶段，结合了ISS-3D算法和SHOT特征，以此提高关键点的稳定性和鲁棒性。
附图说明
结合附图并参考以下详细说明，本公开的各实施例的特征、优点及其他方面将变得更加明显，在此以示例性而非限制性的方式示出了本公开的若干实施例，在附图中：
图1示出了本发明实施例提供的一种基于机器视觉的机器人无序抓取***。
图2示出了本发明实施例提供的本发明提供了一种基于机器视觉的机器人无序抓取方法。
图3示出了对三维点云数据估计获得目标物体的位姿信息的过程。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
参见图1，为本发明实施例提供的一种基于机器视觉的机器人无序抓取***，该***包括：图像采集模块、目标位姿估计模块、手眼***标定模块、机器人抓取模块。
其中，所述图像采集模块，采用标定完成的所述kinect相机采集目标物体表面的图像数据，并对该图像数据进行预处理获得三维点云数据；
所述目标位姿估计模块，用于根据图像处理算法执行目标检测、分割、聚类、关键特征的提取、特征配准，估计获得目标物体的位姿信息；
所述手眼***标定模块，用于依据搭建的kinect相机及机器人的抓取***，对kinect相机进行自身标定，获得相机的内外参数，同时对相机和机器人组成的手眼***进行标定，获得机器人和相机的空间位置关系；
所述机器人抓取模块，用于依据所述目标位姿估计模块和所述手眼***标定模块结果进行坐标转换，向机器人发出控制指令执行目标物体的抓取。
图2为本发明实施例提供的本发明提供了一种基于机器视觉的机器人无序抓取方法，其主要包括如下步骤：
1）、搭建kinect相机及机器人的抓取***，对kinect相机进行自身标定，获得相机的内外参数，再对相机和机器人组成的手眼***进行标定，获得机器人和相机的空间位置关系；
2）、采用标定完成的所述kinect相机采集目标物体表面的图像数据，并对该图像数据进行预处理获得三维点云数据；
3）、对采集到的所述三维点云数据进行目标检测、目标分割、目标聚类、关键点特征提取、特征配准，识别目标物体，获得目标物体的位姿信息；
4）、根据所述的手眼***的标定结果，对所述位姿信息进行坐标转换，向机器人发出控制指令实现所述目标物体的抓取。
在本实施例中，在机器人无序抓取***中，在获得目标物体（例如工业上的零部件、包装箱、包装盒等）在相机下的位姿信息后，要把目标物体的位姿信息从相机坐标系下转换到机器人坐标系下，最终获得目标物体在机器人下的位姿，然后才能引导机器人进行抓取与摆放，这才完成分拣的整个过程，而这个过程进行的前提是要对相机进行标定，然后再对相机和机器人组成的手眼***进行标定。
优选的，在本实施例中，机器人手眼标定的具体实施方式如下：在相机标定过程中，设定的坐标系包括图像坐标系，相机坐标系和世界坐标系；其中，图像坐标系包括图像像素坐标系以及图像成像平面坐标系；通过求解相机的内参矩阵和外参矩阵构成的透视投影矩阵，完成相机的标定；采用Eye-to-hand的相机安装方式构建视觉***，先让机器人末端处于不同姿态，对相机与靶标的外参数进行求取，与此同时，记录不同姿态下机器人末端的位置和姿态信息，通过线性矩阵变换，求解相机相对于机器人坐标系的外参，进而实现机器人手眼***的标定。
在本实施例中，在kinect机身上有3个镜头，分别为红外线发射器、彩色摄影机和红外摄影机，两个红外设备共同构成kinect的深度感应器。
优选的，步骤2）的获取目标物体表面的图像数据包括如下步骤：利用kinect传感器自身的深度图像获取散乱零件的空间轮廓；图像中每个点的像素值表示空间中对应点到红外摄像机的深度距离，结合小孔成像原理，即可获得目标零件的三维点云数据；
在本领域中，由于深度图像是kinect对空间轮廓的直接描述，受电磁干扰、目标表面性质等因素的影响，深度图像中存在大量噪声、空洞以及数据跳变等缺陷，这些不足极大降低点云的精度和完整性。因此，需要采用具有边缘保持的算法对深度图像进行处理，而双边滤波结构简单，在其基础上衍生的联合双边滤波还可以填补空洞。同时引导滤波具有更强的细节追踪性，其内部的盒式滤波器使得计算量不受滤波模板影响，从而获得更优秀的处理速度。在kinect获取的深度图像序列中，同一位置的深度数据会随着时间在少数几个值之间无规则地跳变，针对这个问题，需要建立各个图像之间的联系，充分利用之前处理过的深度图像信息对当前深度图像数据进行矫正，从而获得稳定的深度数据。本文采用卡尔曼滤波器完成信息统计和深度矫正。
引导滤波的核心思想是图像的局部线性模型，该模型将深度图像模拟为一个二元非解析函数，假设图像上的点与其近邻点满足线性关系，此时，二元函数就可以用一系列的局部线性函数表示。引导滤波需要两幅图片，分别为引导图像和原始图像，用于去除噪声时，可以使用原始图像代替引导图像。联合双边滤波是传统双边滤波和彩色图像信息的结合体，以不同目标在色彩上的差异性为依据，对参与加权的近邻点进行筛选，抑制非目标平面点的作用，获得更接近真实结果的估计值，利用kinect获取的彩色图像，可以对深度图像中的空洞进行有效的修复。卡尔曼滤波本质上是一个预测校正类型的估计器，通过反馈控制实现对目标的估计。
优选的，本发明实施例中对获取的深度图像进行如下预处理：
利用引导滤波去除噪声；采用联合双边滤波填补图像中的空洞；利用中值过滤减少边缘数据的突变；将处理的结果输入到卡尔曼滤波器中，计算出最终结果。
本发明实施例中优选采用Faster R-CNN进行目标检测。但是在实际的工业机器人复杂应用环境下，在实际的抓取任务中，抓取对象的形状各异、抓取对象表面纹理信息不充分、大量的抓取对象相互混杂堆叠遮挡等都对检测算法提出了很高的要求，由于CNN所提取的特征不具有转不变性，因此本发明中加入了网络迭代层以保证旋转不变性。
优选的，本发明的实施例中的步骤3）的对采集到的所述三维点云数据进行目标检测、目标分割、目标聚类、关键点特征提取、特征配准，识别目标物体，获得目标物体的位姿信息的具体包括如下步骤，如图3所示：
31）目标检测：采集的深度图像经过上述步骤2）的预处理后，作为目标检测输入图像，将深度图通过卷积过滤器生成特征图，并作为Fast R-CNN网络输入进行训练；在Faster R-CNN网络的ROI层后增加网络迭代层，同时对所述ROI层像素数据进行复制，对所述复制的像素数据进行近似变换获得与原数据近似的像素数据，优化网络结构，本申请的复制变换算法能够提高目标检测精度，复制的数据通过反馈补充的方式进行加强补充达到加强检测模板精度的效果；具体过程包括：将深度图按照坐标位置像素分割，转换为特征图的三个通道，然后通过CNN提取特征，特征图三个通道分别为水平方向视差、距离地面的高度、法向量与重力的夹角；在Faster R-CNN网络结构的基础上，将网络迭代层加在Faster R-CNN的ROI层之后，使得提取的特征经过网络迭代层后具有一定的旋转不变性，对数据对所述ROI层像素数据进行复制变换，优化网络结构；
在所属技术领域，具体对于3D点云数据，由于不同的点云数据，它们的空间、几何、颜色以及纹理特征是不一样的，点云分割就是以这些特征为依据对点云数据进行划分，目的是为了使同一类的点云数据具有相同的特征。通过对场景点云数据的预处理，对目标物体进行了提取，接下来还需要对这多个目标物体进行进一步的分割，使其成为单个物体的点云数据。
优选的，本发明实施例中采用欧式聚类方法对去除背景后的多个目标物体进行分割，提取出单个独立的目标物体，欧式聚类算法是利用邻域间的距离作为判定标准的。
32）目标分割、目标聚类具体包括如下步骤：对输入的点云集D先选用三维KD树建立离散点之间的拓扑关系，以加快邻域关系的查询速度；新建一个缓存队列P；将点Di放入缓存队列P中，对于每个点Di，用k近邻搜索得到N个点，计算这N个点到Di的欧氏距离，将这N个点中到Di的距离小于阈值n的点放在缓存队列P中；在点云集D中，所有点均执行上述过程，当缓存队列P中不再有新的点加入时，迭代过程结束；其中，最大迭代次数、近邻搜索半径、聚类点数、距离阈值按照实际应用场景灵活设置；
在本领域中，点云数据的特征描述对点云数据进行匹配、重建等工作的重要基础。研究表明，ISS-3D算法对关键点提取较为稳定，且速度较快，对物体表面描述比较显著。其中ISS-3D算法对关键点提取较为稳定，且速度较快，对物体表面描述比较显著；SHOT特征对于含有噪声的点云数据有较强的鲁棒性及较好的平移旋转不变性，对于一些获取设备导致的点云数据形状略微变形时，也具有较强的鲁棒性。
优选的，基于此，本发明实施例中采用上述算法的结合进行关键点特征提取和配准。其中，
33）关键点特征提取、匹配，识别目标物体，获得目标物体的位姿信息，包括如下步骤：
在特征提取与初步配准阶段，先对模板及目标物体使用ISS-3D算法进行关键点提取，再用SHOT特征进行匹配，使用KD树计算模板点云特征集中离它距离最近的某个特征，从而获得一个匹配集合；其中，所述模板是通过离线拍摄的单个物体，然后去除载物平面进行建立的，模板的初始位姿是利用相机采集模板数据时，物体在机器人基坐标系下的实际位姿，再结合手眼标定结果获得的
在匹配过程中，使用几何一致性分组聚类方法会产生一个或多个匹配结果，采用全局假设检验的方法取一个最优的匹配结果；
经过特征点匹配属于粗配准，之后可以使用经典的迭代最近点的方法（ICP）进行细配准，配准完成后，完成当前目标的识别，获得其位姿信息。
优选的，在本实施例中，在获得目标物体在相机下的位姿信息后，需要把目标物体的位姿信息从相机坐标系下转换到机器人坐标系下，最终获得目标物体在机器人下的位姿，然后才能引导机器人进行抓取与摆放。
在匹配结果中，获得目标物体的位姿信息是已经结合机器人手眼标定结果转化为机器人坐标系下的信息，各个坐标系之间的具体转换关系如：坐标系{B}为机器人基坐标系，坐标系{C}为相机坐标系，坐标系{F}为物体的真实坐标系，则对与这三个坐标系的位置，有以下关系：
所以，由上式可以获得物体坐标系{F}相对于机器人基坐标系{B}的关系如下：
其中，
为相机手眼标定结果，
为物***姿估计结果。
综上，本发明基于图像处理算法和人工智能算法，对现有技术中常规的无序抓取流程中的多个实施过程中的不足进行改进：采用多种滤波器结合对图像进行预处理，弥补了大量噪声、空洞以及数据跳变等缺陷，提高了点云数据的精度和完整度。采用Fast R-CNN提升了网络整体像素级目标检测的准确度，同时在实际的工业机器人复杂应用环境下，加入了网络迭代层以保证旋转不变性，其适应抓取对象的形状各异、抓取对象表面纹理信息不充分、大量的抓取对象相互混杂堆叠遮挡等复杂环境。采用了欧式聚类算法对目标点云数据进行分割和聚类，提高了点云数据的分割和聚类效率。在关键点提取和配准阶段，结合了ISS-3D算法和SHOT特征，以此提高关键点的稳定性和鲁棒性。上述方法提高了机器人的无序抓取的精确度以及机器人的柔性度。
上文所描述的各种方法，在一些实施例中，可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元。在一些实施例中，计算机程序的部分或者全部可以经由ROM 和/或通信单元而被载入和/或安装到设备上。当计算机程序被加载到RAM 并由CPU 执
行时，可以执行上文描述的方法中的一个或多个动作或步骤。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。
以上所述仅为本公开的实施例可选实施例，并不用于限制本公开的实施例，对于本领域的技术人员来说，本公开的实施例可以有各种更改和变化。凡在本公开的实施例的精神和原则之内，所作的任何修改、等效替换、改进等，均应包含在本公开的实施例的保护范围之内。
Claims (10)
1.一种基于机器视觉的机器人无序抓取***，其特征在于：
所述***包括：图像采集模块、目标位姿估计模块、手眼***标定模块、机器人抓取模块；
其中，所述图像采集模块，采用标定完成的kinect相机采集目标物体表面的图像数据，并对该图像数据进行预处理获得三维点云数据；
所述目标位姿估计模块，用于根据图像处理算法执行目标检测、分割、聚类、关键特征的提取、特征配准，估计获得目标物体的位姿信息；
所述手眼***标定模块，用于依据搭建的kinect相机及机器人的抓取***，对kinect相机进行自身标定，获得相机的内外参数，同时对相机和机器人组成的手眼***进行标定，获得机器人和相机的空间位置关系；
所述机器人抓取模块，用于依据所述目标位姿估计模块和所述手眼***标定模块结果进行坐标转换，向机器人发出控制指令执行目标物体的抓取。
2.一种如权利要求1所述***执行的基于机器视觉的机器人无序抓取方法，其特征在于，所述方法包括如下步骤：
1）、搭建kinect相机及机器人的抓取***，对kinect相机进行自身标定，获得相机的内外参数，再对相机和机器人组成的手眼***进行标定，获得机器人和相机的空间位置关系；
2）、采用标定完成的所述kinect相机采集目标物体表面的图像数据，并对该图像数据进行预处理获得三维点云数据；
3）、对采集到的所述三维点云数据进行目标检测、目标分割、目标聚类、关键点特征提取、特征配准，识别目标物体，获得目标物体的位姿信息；
4）、根据所述的手眼***的标定结果，对所述位姿信息进行坐标转换，向机器人发出控制指令实现所述目标物体的抓取；
所述步骤1）具体包括如下步骤：
11）、在相机标定过程中，设定的坐标系包括图像坐标系，相机坐标系和世界坐标系；其中，图像坐标系包括图像像素坐标系以及图像成像平面坐标系；
12）、通过求解相机的内参矩阵和外参矩阵构成的透视投影矩阵，完成相机的标定；
13）、采用Eye-to-hand的相机安装方式构建视觉***，先让机器人末端处于不同姿态，对相机与靶标的外参数进行求取，与此同时，记录不同姿态下机器人末端的位置和姿态信息，通过矩阵变换，求解相机相对于机器人坐标系的外参，进而实现机器人手眼***的标定；
其中，所述步骤2）的预处理过程包括如下步骤：
21）、利用滤波去除噪声；
22）、采用联合双边滤波填补图像中的空洞；
23）、利用中值过滤减少图像边缘的突变；
24）、将处理的结果输入到卡尔曼滤波器中，计算出最终结果；
其中，所受步骤3）的对采集到的所述三维点云数据进行目标检测、目标分割、目标聚类、关键点特征提取、特征配准，识别目标物体，获得目标物体的位姿信息的具体包括如下步骤：
31）目标检测：采集的深度图像经过上述步骤2）的预处理后，作为目标检测输入图像，将深度图通过卷积过滤器生成特征图，并作为Fast R-CNN网络输入进行训练；在Fast R-CNN网络的ROI层后增加网络迭代层，同时对所述ROI层像素数据进行复制，对所述复制的像素数据进行近似变换获得与原数据近似的像素数据，优化网络结构；具体过程包括：将深度图按照坐标位置像素分割，转换为特征图的三个通道，然后通过CNN提取特征，特征图三个通道分别为水平方向视差、距离地面的高度、法向量与重力的夹角；在Fast R-CNN网络结构的基础上，将网络迭代层加在Fast R-CNN的ROI层之后，使得提取的特征经过网络迭代层后具有一定的旋转不变性，对所述ROI层像素数据进行复制变换，优化网络结构；
32）目标分割、目标聚类具体包括如下步骤：对输入的点云集D先选用三维KD树建立离散点之间的拓扑关系；新建一个缓存队列P；将点Di放入缓存队列P中，对于每个点Di，用k近邻搜索得到N个点，计算这N个点到Di的欧氏距离，将这N个点中到Di的距离小于阈值n的点放在缓存队列P中；在点云集D中，所有点均执行上述过程，当缓存队列P中不再有新的点加入时，迭代过程结束；其中，最大迭代次数、近邻搜索半径、聚类点数、距离阈值按照实际应用场景灵活设置；
33）关键点特征提取、匹配，识别目标物体，获得目标物体的位姿信息，包括如下步骤：
在特征提取与配准阶段，先对模板及目标物体使用ISS-3D算法进行关键点提取，再用SHOT特征进行匹配，使用KD树计算模板点云特征集中离它距离最近的特征，获得一个匹配集合；在匹配过程中，使用聚类方法会产生至少一个匹配结果，采用全局假设检验的方法取一个最优的匹配结果；
在上述匹配之后，使用ICP算法进行细配准，配准完成后，完成当前目标的识别，获得其位姿信息。
3.根据权利要求2所述的方法，其特征在于，在kinect机身上有3个镜头，分别为红外线发射器、彩色摄影机和红外摄影机，两个红外设备共同构成kinect的深度感应器。
4.根据权利要求2所述的方法，其特征在于，所述模板拍摄单个物体，然后去除载物平面进行建立的，模板的初始位姿是利用相机采集模板数据时，物体在机器人基坐标系下的实际位姿，再结合手眼标定结果获得的。
5.根据权利要求2所述的方法，其特征在于，所述步骤4）具体包括如下过程：在获得目标物体在相机下的位姿信息后，需要把目标物体的位姿信息从相机坐标系下转换到机器人坐标系下，最终获得目标物体在机器人下的位姿，向机器人发出控制指令实现所述目标物体的抓取。
6.根据权利要求4所述的方法，其特征在于，所述模板拍摄单个物体是通过离线方式拍摄。
7.根据权利要求2所述的方法，其特征在于，所述步骤13）的矩阵变换是线性矩阵变换。
8.根据权利要求2所述的方法，其特征在于，所述步骤21）的滤波算法为引导滤波算法。
9.根据权利要求2所述的方法，其特征在于，所述步骤22）的滤波算法与所述步骤21）不同。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行根据权利要求2所述基于机器视觉的机器人无序抓取方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011244911.0A CN112070818B (zh) | 2020-11-10 | 2020-11-10 | 基于机器视觉的机器人无序抓取方法和***及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011244911.0A CN112070818B (zh) | 2020-11-10 | 2020-11-10 | 基于机器视觉的机器人无序抓取方法和***及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112070818A true CN112070818A (zh) | 2020-12-11 |
| CN112070818B CN112070818B (zh) | 2021-02-05 |
Family
ID=73655519
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011244911.0A Active CN112070818B (zh) | 2020-11-10 | 2020-11-10 | 基于机器视觉的机器人无序抓取方法和***及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112070818B (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109118585A (zh) * | 2018-08-01 | 2019-01-01 | 武汉理工大学 | 一种满足时空一致性的建筑物三维场景采集的虚拟复眼相机***及其工作方法 |
| CN112788326A (zh) * | 2020-12-28 | 2021-05-11 | 北京迁移科技有限公司 | 基于3d视觉的图像数据在线采集***及方法 |
| CN112873205A (zh) * | 2021-01-15 | 2021-06-01 | 陕西工业职业技术学院 | 基于双夹具实时切换的工业机器人无序抓取方法 |
| CN112907594A (zh) * | 2021-04-19 | 2021-06-04 | 联仁健康医疗大数据科技股份有限公司 | 非目标对象辅助分离方法、***、医疗机器人及存储介质 |
| CN113012800A (zh) * | 2021-04-19 | 2021-06-22 | 联仁健康医疗大数据科技股份有限公司 | 多用途夹取方法、***、医疗机器人及存储介质 |
| CN113103226A (zh) * | 2021-03-08 | 2021-07-13 | 同济大学 | 一种面向陶瓷素坯加工制造的视觉引导机器人*** |
| CN113771045A (zh) * | 2021-10-15 | 2021-12-10 | 广东工业大学 | 视觉引导的直角机器人手机中框高适应定位抓取方法 |
| CN113791620A (zh) * | 2021-09-14 | 2021-12-14 | 上海景吾智能科技有限公司 | 动态自适应定位方法、定位***、机器人及存储介质 |
| CN114193440A (zh) * | 2022-01-04 | 2022-03-18 | 中船重工鹏力（南京）智能装备***有限公司 | 基于3d视觉的机器人自动抓取***及方法 |
| CN114693798A (zh) * | 2020-12-31 | 2022-07-01 | 北京小米移动软件有限公司 | 机械手控制方法及装置 |
| CN114714365A (zh) * | 2022-06-08 | 2022-07-08 | 湖南大学 | 一种基于云平台的无序工件抓取方法及其*** |
| CN115049860A (zh) * | 2022-06-14 | 2022-09-13 | 广东天太机器人有限公司 | 一种基于特征点识别的***及抓取方法 |
| CN115359112A (zh) * | 2022-10-24 | 2022-11-18 | 爱夫迪(沈阳)自动化科技有限公司 | 一种高位料库机器人的码垛控制方法 |
| CN115582827A (zh) * | 2022-10-20 | 2023-01-10 | 大连理工大学 | 一种基于2d和3d视觉定位的卸货机器人抓取方法 |
| WO2023035832A1 (zh) * | 2021-09-08 | 2023-03-16 | 中建钢构工程有限公司 | 一种基于视觉识别的机器人分拣方法及存储介质 |
| CN115816460A (zh) * | 2022-12-21 | 2023-03-21 | 苏州科技大学 | 一种基于深度学习目标检测与图像分割的机械手抓取方法 |
| CN115816471A (zh) * | 2023-02-23 | 2023-03-21 | 无锡维度机器视觉产业技术研究院有限公司 | 多视角3d视觉引导机器人的无序抓取方法、设备及介质 |
| CN116596996A (zh) * | 2023-05-26 | 2023-08-15 | 河北农业大学 | 一种用于苹果果实空间位姿信息的获取方法及*** |
| CN116950429A (zh) * | 2023-07-31 | 2023-10-27 | 中建八局发展建设有限公司 | 一种大型拼接墙快速定位拼接方法、介质及*** |
| CN117351213A (zh) * | 2023-12-06 | 2024-01-05 | 杭州蓝芯科技有限公司 | 基于3d视觉的箱体分割定位方法及*** |
| CN117456002A (zh) * | 2023-12-22 | 2024-01-26 | 珠海市格努科技有限公司 | 无序抓取过程中对象的位姿估计方法、装置和电子设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0876829A (ja) * | 1994-09-07 | 1996-03-22 | Sumitomo Metal Ind Ltd | 連続作業経路のロボットへの教示方法 |
| CN108972544A (zh) * | 2018-06-21 | 2018-12-11 | 华南理工大学 | 一种视觉激光传感器固定于机器人的手眼标定方法 |
| CN109927036A (zh) * | 2019-04-08 | 2019-06-25 | 青岛小优智能科技有限公司 | 一种三维视觉引导机械手抓取的方法及*** |
| CN110281271A (zh) * | 2018-03-19 | 2019-09-27 | 广明光电股份有限公司 | 机器手臂校正臂外相机的方法 |
| CN111368852A (zh) * | 2018-12-26 | 2020-07-03 | 沈阳新松机器人自动化股份有限公司 | 基于深度学习的物品识别预分拣***、方法及机器人 |
| CN111402411A (zh) * | 2020-04-10 | 2020-07-10 | 贵刚 | 一种基于线结构光的散乱物识别抓取方法 |
| CN111508066A (zh) * | 2020-04-16 | 2020-08-07 | 北京迁移科技有限公司 | 一种基于3d视觉的无序堆叠工件抓取***及交互方法 |
| CN111791239A (zh) * | 2020-08-19 | 2020-10-20 | 苏州国岭技研智能科技有限公司 | 一种结合三维视觉识别可实现精确抓取的方法 |
-
2020
- 2020-11-10 CN CN202011244911.0A patent/CN112070818B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0876829A (ja) * | 1994-09-07 | 1996-03-22 | Sumitomo Metal Ind Ltd | 連続作業経路のロボットへの教示方法 |
| CN110281271A (zh) * | 2018-03-19 | 2019-09-27 | 广明光电股份有限公司 | 机器手臂校正臂外相机的方法 |
| CN108972544A (zh) * | 2018-06-21 | 2018-12-11 | 华南理工大学 | 一种视觉激光传感器固定于机器人的手眼标定方法 |
| CN111368852A (zh) * | 2018-12-26 | 2020-07-03 | 沈阳新松机器人自动化股份有限公司 | 基于深度学习的物品识别预分拣***、方法及机器人 |
| CN109927036A (zh) * | 2019-04-08 | 2019-06-25 | 青岛小优智能科技有限公司 | 一种三维视觉引导机械手抓取的方法及*** |
| CN111402411A (zh) * | 2020-04-10 | 2020-07-10 | 贵刚 | 一种基于线结构光的散乱物识别抓取方法 |
| CN111508066A (zh) * | 2020-04-16 | 2020-08-07 | 北京迁移科技有限公司 | 一种基于3d视觉的无序堆叠工件抓取***及交互方法 |
| CN111791239A (zh) * | 2020-08-19 | 2020-10-20 | 苏州国岭技研智能科技有限公司 | 一种结合三维视觉识别可实现精确抓取的方法 |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109118585B (zh) * | 2018-08-01 | 2023-02-10 | 武汉理工大学 | 一种满足时空一致性的建筑物三维场景采集的虚拟复眼相机***及其工作方法 |
| CN109118585A (zh) * | 2018-08-01 | 2019-01-01 | 武汉理工大学 | 一种满足时空一致性的建筑物三维场景采集的虚拟复眼相机***及其工作方法 |
| CN112788326A (zh) * | 2020-12-28 | 2021-05-11 | 北京迁移科技有限公司 | 基于3d视觉的图像数据在线采集***及方法 |
| CN112788326B (zh) * | 2020-12-28 | 2023-06-06 | 北京迁移科技有限公司 | 基于3d视觉的图像数据在线采集***及方法 |
| CN114693798B (zh) * | 2020-12-31 | 2023-12-26 | 北京小米移动软件有限公司 | 机械手控制方法及装置 |
| CN114693798A (zh) * | 2020-12-31 | 2022-07-01 | 北京小米移动软件有限公司 | 机械手控制方法及装置 |
| CN112873205A (zh) * | 2021-01-15 | 2021-06-01 | 陕西工业职业技术学院 | 基于双夹具实时切换的工业机器人无序抓取方法 |
| CN113103226A (zh) * | 2021-03-08 | 2021-07-13 | 同济大学 | 一种面向陶瓷素坯加工制造的视觉引导机器人*** |
| CN112907594A (zh) * | 2021-04-19 | 2021-06-04 | 联仁健康医疗大数据科技股份有限公司 | 非目标对象辅助分离方法、***、医疗机器人及存储介质 |
| CN113012800A (zh) * | 2021-04-19 | 2021-06-22 | 联仁健康医疗大数据科技股份有限公司 | 多用途夹取方法、***、医疗机器人及存储介质 |
| WO2023035832A1 (zh) * | 2021-09-08 | 2023-03-16 | 中建钢构工程有限公司 | 一种基于视觉识别的机器人分拣方法及存储介质 |
| CN113791620A (zh) * | 2021-09-14 | 2021-12-14 | 上海景吾智能科技有限公司 | 动态自适应定位方法、定位***、机器人及存储介质 |
| CN113771045A (zh) * | 2021-10-15 | 2021-12-10 | 广东工业大学 | 视觉引导的直角机器人手机中框高适应定位抓取方法 |
| CN114193440A (zh) * | 2022-01-04 | 2022-03-18 | 中船重工鹏力（南京）智能装备***有限公司 | 基于3d视觉的机器人自动抓取***及方法 |
| CN114193440B (zh) * | 2022-01-04 | 2023-09-12 | 中船重工鹏力（南京）智能装备***有限公司 | 基于3d视觉的机器人自动抓取***及方法 |
| CN114714365A (zh) * | 2022-06-08 | 2022-07-08 | 湖南大学 | 一种基于云平台的无序工件抓取方法及其*** |
| CN115049860A (zh) * | 2022-06-14 | 2022-09-13 | 广东天太机器人有限公司 | 一种基于特征点识别的***及抓取方法 |
| CN115049860B (zh) * | 2022-06-14 | 2023-02-28 | 广东天太机器人有限公司 | 一种基于特征点识别的***及抓取方法 |
| CN115582827A (zh) * | 2022-10-20 | 2023-01-10 | 大连理工大学 | 一种基于2d和3d视觉定位的卸货机器人抓取方法 |
| CN115359112A (zh) * | 2022-10-24 | 2022-11-18 | 爱夫迪(沈阳)自动化科技有限公司 | 一种高位料库机器人的码垛控制方法 |
| CN115816460A (zh) * | 2022-12-21 | 2023-03-21 | 苏州科技大学 | 一种基于深度学习目标检测与图像分割的机械手抓取方法 |
| CN115816471A (zh) * | 2023-02-23 | 2023-03-21 | 无锡维度机器视觉产业技术研究院有限公司 | 多视角3d视觉引导机器人的无序抓取方法、设备及介质 |
| CN116596996A (zh) * | 2023-05-26 | 2023-08-15 | 河北农业大学 | 一种用于苹果果实空间位姿信息的获取方法及*** |
| CN116596996B (zh) * | 2023-05-26 | 2024-01-30 | 河北农业大学 | 一种用于苹果果实空间位姿信息的获取方法及*** |
| CN116950429A (zh) * | 2023-07-31 | 2023-10-27 | 中建八局发展建设有限公司 | 一种大型拼接墙快速定位拼接方法、介质及*** |
| CN117351213A (zh) * | 2023-12-06 | 2024-01-05 | 杭州蓝芯科技有限公司 | 基于3d视觉的箱体分割定位方法及*** |
| CN117351213B (zh) * | 2023-12-06 | 2024-03-05 | 杭州蓝芯科技有限公司 | 基于3d视觉的箱体分割定位方法及*** |
| CN117456002A (zh) * | 2023-12-22 | 2024-01-26 | 珠海市格努科技有限公司 | 无序抓取过程中对象的位姿估计方法、装置和电子设备 |
| CN117456002B (zh) * | 2023-12-22 | 2024-04-02 | 珠海市格努科技有限公司 | 无序抓取过程中对象的位姿估计方法、装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112070818B (zh) | 2021-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112070818B (zh) | 基于机器视觉的机器人无序抓取方法和***及存储介质 | |
| CN109801337B (zh) | 一种基于实例分割网络和迭代优化的6d位姿估计方法 | |
| US9478035B2 (en) | 2D/3D localization and pose estimation of harness cables using a configurable structure representation for robot operations | |
| CN108656107B (zh) | 一种基于图像处理的机械臂抓取***及方法 | |
| US8929602B2 (en) | Component based correspondence matching for reconstructing cables | |
| CN110084243B (zh) | 一种基于二维码和单目相机的档案识别与定位方法 | |
| CN108010123B (zh) | 一种保留拓扑信息的三维点云获取方法 | |
| Lin et al. | Robotic grasping with multi-view image acquisition and model-based pose estimation | |
| CN113012161B (zh) | 一种基于凸性区域生长的堆叠散乱目标点云分割方法 | |
| CN111652085A (zh) | 基于2d与3d特征结合的物体识别方法 | |
| Ückermann et al. | Realtime 3D segmentation for human-robot interaction | |
| WO2020151454A1 (zh) | 一种基于线束描述子图像匹配的无纹理金属零件抓取方法 | |
| CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
| CN114882109A (zh) | 一种面向遮挡、杂乱场景下的机器人抓取检测方法及*** | |
| CN114972377A (zh) | 基于移动最小二乘法与超体素的3d点云分割方法和装置 | |
| CN114742888A (zh) | 一种基于深度学习的6d姿态估计方法 | |
| CN110766782A (zh) | 基于多无人机视觉协同的大型施工场景实时重构方法 | |
| CN110097598A (zh) | 一种基于pvfh特征的三维物***姿估计方法 | |
| CN111080685A (zh) | 一种基于多视角立体视觉的飞机钣金零件三维重建方法及*** | |
| CN111161219B (zh) | 一种适用于阴影环境的鲁棒单目视觉slam方法 | |
| CN116416305B (zh) | 一种基于优化采样五维点对特征的多实例位姿估计方法 | |
| CN115578460A (zh) | 基于多模态特征提取与稠密预测的机器人抓取方法与*** | |
| Zhang et al. | Object detection and grabbing based on machine vision for service robot | |
| Asif et al. | Model-free segmentation and grasp selection of unknown stacked objects | |
| Zhang et al. | Robotic grasp detection using effective graspable feature selection and precise classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Robot disorderly grasping method, system and storage medium based on machine vision Effective date of registration: 20220330 Granted publication date: 20210205 Pledgee: Zijin Trust Co.,Ltd. Pledgor: INEXBOT TECHNOLOGY CO.,LTD. Registration number: Y2022980003526 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20230421 Granted publication date: 20210205 Pledgee: Zijin Trust Co.,Ltd. Pledgor: INEXBOT TECHNOLOGY CO.,LTD. Registration number: Y2022980003526 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Method and System for Robot Random Grasping Based on Machine Vision and Its Storage Media Effective date of registration: 20230911 Granted publication date: 20210205 Pledgee: Zijin Trust Co.,Ltd. Pledgor: INEXBOT TECHNOLOGY CO.,LTD. Registration number: Y2023980056177 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20231201 Granted publication date: 20210205 Pledgee: Zijin Trust Co.,Ltd. Pledgor: INEXBOT TECHNOLOGY CO.,LTD. Registration number: Y2023980056177 |