CN114029951A - 基于深度相机的机器人自主识别智能抓取方法 - Google Patents

基于深度相机的机器人自主识别智能抓取方法 Download PDF

Info

Publication number
CN114029951A
CN114029951A CN202111328781.3A CN202111328781A CN114029951A CN 114029951 A CN114029951 A CN 114029951A CN 202111328781 A CN202111328781 A CN 202111328781A CN 114029951 A CN114029951 A CN 114029951A
Authority
CN
China
Prior art keywords
robot
workpiece
depth
color
grabbing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111328781.3A
Other languages
English (en)
Other versions
CN114029951B (zh
Inventor
蔡慧
白雪飞
孙丽丽
秦生升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongtian Broadband Technology Co Ltd
Original Assignee
Yancheng Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yancheng Institute of Technology filed Critical Yancheng Institute of Technology
Priority to CN202111328781.3A priority Critical patent/CN114029951B/zh
Publication of CN114029951A publication Critical patent/CN114029951A/zh
Application granted granted Critical
Publication of CN114029951B publication Critical patent/CN114029951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了基于深度相机的机器人自主识别智能抓取方法，包括：通过设置在机器人上的深度相机采集工件放置区的深度图像和彩色图像，识别深度图像和彩色图像中对应于工件放置区中至少一个工件的深度工件轮廓以及彩色工件轮廓，基于深度工件轮廓和彩色工件轮廓在预设的坐标系中构建工件对应的3D工件轮廓并分别标记每一3D工件轮廓上各轮廓点的坐标，根据坐标和机器人的当前位置，建立抓取路径，基于抓取路径，控制机器人进行相应抓取工作，实现机器人自主识别智能抓取，利用深度相机获取工件的位置，根据工件的特点，获取抓取力度以及抓取点，再进行抓取，与传统人工拿取相比，降低了成本，提高了工作效率。

Description

基于深度相机的机器人自主识别智能抓取方法
技术领域
本发明涉及机器人技术领域，特别涉及基于深度相机的机器人自主识别智 能抓取方法。
背景技术
目前，如图1所示，在机械电子装配行业中，工件夹取工作时往往依靠流 水线上的工人人工进行。人工夹取主要是依靠人眼和经验，在长时间的工作后 无法保证生产效率，也不能维持每件产品的同等质量，因此把自动化技术引入 到电子装配业迫在眉睫。深度相机的机器人作为智慧抓取的重要组成部分，顺 应了时代的发展需求，成为物流行业在解决高度依赖人工、业务高峰期能力有 限等瓶颈问题的突破口。
但是，现有的技术仅能通过深度相机获取工件的位置，从而进行抓取，在 抓取过程中容易出现脱离机器人或抓取力度不适，对工件造成伤害等弊端，且 由于人不能持续工作夹取，工作效率低，在流水工作不易形成连续的工作进度。
发明内容
本发明提供基于深度相机的机器人自主识别智能抓取方法，用以利用深度 相机获取工件的位置，同时根据工件的特点，生成抓取力度以及抓取点，再进 行抓取，降低了成本，与双目相机相比，节省了计算资源，可保证***的实时 性。
本发明提供基于深度相机的机器人自主识别智能抓取方法包括：
步骤1：通过设置在机器人上的深度相机采集工件放置区的深度图像和彩 色图像，识别所述深度图像和彩色图像中对应于所述工件放置区中至少一个工 件的深度工件轮廓以及彩色工件轮廓；
步骤2：基于所述深度工件轮廓和所述彩色工件轮廓在预设的坐标系中构 建所述工件对应的3D工件轮廓并分别标记每一3D工件轮廓上各轮廓点的坐 标；
步骤3：根据所述坐标和所述机器人的当前位置，建立抓取路径，基于所 述抓取路径，控制所述机器人进行相应抓取工作，实现机器人自主识别智能抓 取。
优选的，在所述步骤1中，所述识别所述深度图像和彩色图像中对应于所 述工件放置区中至少一个工件的深度工件轮廓以及彩色工件轮廓，包括：
对所述深度图像进行图像二值化处理，获得二值化图像；
基于图像识别技术，识别所述二值化图像上所述工件对应的深度工件轮 廓；
对所述彩色图像进行色彩增强处理，获得色彩增强图像；
基于图像识别技术，识别所述色彩增强图像上所述工件对应的彩色工件轮 廓。
优选的，在所述步骤2中，基于所述深度工件轮廓和所述彩色工件轮廓在 预设的坐标系中构建所述工件对应的3D工件轮廓并分别标记每一3D工件轮 廓对应的坐标，包括：
根据所述深度图像建立深度模型，获取所述深度模型的第一图像起点；
根据所述彩色图像建立彩色模型，获取所述彩色模型的第二图像起点；
在所述深度模型上随机选取一个第一检验点；
获取所述第一检验点和所述第一图像起点之间的位置关系；
在所述彩色模型上选取与所述第二图像起点具有相同所述位置关系的第 二检验点；
将所述第一检验点和所述第二检验点进行对应，构建第一对应关系；
随机选取完毕后，汇总所述第一对应关系，建立对应关系表；
基于所述对应关系表，确定所述深度模型上每一第一目标点与所述彩色模 型上每一第二目标点之间的第二对应关系；
基于所述第二对应关系、所述深度工件轮廓在所述深度模型上的第一位置 和所述彩色工件轮廓在所述彩色模型上的第二位置，将所述深度工件轮廓和彩 色工件轮廓进行配对，建立轮廓对应列表；
将所述轮廓对应列表输入到预设的坐标系中；
基于所述深度工件轮廓和彩色工件轮廓的配对关系，在所述坐标系中建立 对应的3D工件轮廓；
标记所述3D工件轮廓上各轮廓点在所述坐标系中的位置坐标，并作为所 述轮廓点的坐标。
优选的，在所述步骤3中，根据所述坐标和所述机器人的当前位置，建立 抓取路径，基于所述抓取路径，控制所述机器人进行相应抓取工作，实现机器 人自主识别智能抓取，包括：
接收操作人员输入的抓取指令；
解析所述抓取指令，确定所述工件放置区中的待抓取工件和对应的目标存 放位置；
以所述机器人的当前位置为原点，分别获取所述原点与所述工件放置区上 每一待抓取工件之间的第一向量以及每一待抓取工件与所述目标存放位置之 间的第二向量；
以每一所述第一向量为抓取元素，建立抓取距离列表；
以每一所述第二向量为放置元素，建立放置距离列表；
以距离最小原则将所述抓取距离列表中的抓取元素与所述放置距离列表 中的放置元素一一配对；
根据每一配对结果，建立对应的最短抓-放路径；
汇集全部所述最短抓-放路径，建立抓取路径，同时，生成相应抓取指令；
基于所述抓取指令，控制所述机器人进行抓取工作。
优选的，还包括：
根据所述抓取路径，构建所述机器人的活动范围；
监测所述活动范围内是否存在无关机器人；
若是，获取所述无关机器人的位置，并对所述抓取路径进行修正，获得工 作路径，基于所述工作路径，接力控制所述机器人进行抓取工作；
若不是，将所述抓取路径视为工作路径，控制所述机器人进行抓取工作。
优选的，在获取所述无关机器人的位置，并对所述抓取路径进行修正，获 取工作路径，包括：
采集所述机器人周围的全景图像；
获取所述机器人的型号规格；
获取预设的虚拟空间，在所述虚拟空间中根据所述机器人的型号规格构建 对应的虚拟机器人；
将所述全景图像与预设的初始全景图像进行对比，判断所述全景图像中是 否存在新来物；
若是，在所述虚拟空间中基于所述机器人的当前位置、所述抓取路径和全 景图像，构建机器人工作空间模型；
控制所述虚拟机器人在所述机器人工作空间模型中进行模拟工作；
实时采集所述虚拟机器人在所述机器人工作空间模型中的第一虚拟位置；
基于所述第一虚拟位置，根据时间顺序建立所述虚拟机器人在所述全景模 型中进行移动的第一位置序列；
在所述全景模型中获取与所述第一位置序列有关的第一图像集；
利用预设的机器人图像遍历所述第一图像集，判断所述第一图像集中是否 存在出现无关机器人的目标图像；
若是，获取所述无关机器人在所述机器人工作空间模型中的第二虚拟位 置；
利用边缘检测提取技术，在所述第一图像集中提取所述目标图像；
根据所述目标图像的背景，在所述全景模型中获取所述无关机器人的位 置，建立所述无关机器人的活动位置列表；
基于所述活动位置列表，构建所述无关机器人的运动轨迹；
在所述机器人工作空间模型中同时对所述虚拟机器人和所述无关机器人 进行模拟工作，判断所述虚拟机器人与所述无关机器人是否会碰撞；
若是，获取所述虚拟机器人和所述无关机器人在同一时刻下发生碰撞的第 一位置；
以所述第一位置为中心，以预设躲避距离为半径，提取所述运动轨迹中与 所述机器人工作空间模型重合的第一区域；
基于所述第一区域在所述全景模型中的位置，修正所述工作空间模型生成 工作路径。
优选的，控制所述机器人进行抓取工作，包括：
增强所述3D工件轮廓的像素对比度，获取3D深度轮廓；
增强所述3D工件轮廓的色彩对比度，获取3D彩色轮廓；
获取所述3D深度轮廓上每一深度像素点的第一像素值与对应的八邻域范 围内的深度邻域像素点的深度邻域像素值之间的差值，提取差值不为零的深度 像素点并依次连接，标记为深度工件材料分割线；
同时，将所述第一像素值相同的深度像素点视为一类；
统计每一类深度像素点对应的数量，构建深度统计列表；
获取所述3D彩色轮廓上每一深度像素点的第二像素值与对应的八邻域范 围内的彩色邻域像素点的彩色邻域像素值之间的差值，提取差值不为零的彩色 像素点并依次连接，标记为彩色工件材料分割线；
同时，将所述第二像素值相同的彩色像素点视为一类；
统计每一类彩色像素点对应的数量，构建彩色统计列表；
基于所述深度工件材料分割线，结合预设深度-材料对应关系，获取所述 3D深度轮廓的材料组成，获取所述3D深度轮廓的第一重心点；
同时，基于所述深度统计列表预测所述3D深度轮廓的各个部分的质量， 获取所述3D深度轮廓的第一体积；
基于所述彩色工件材料分割线，结合预设彩色-材料对应关系，获取所述 3D彩色轮廓的材料组成，获取所述3D彩色轮廓的第二重心点；
同时，基于所述彩色统计列表预测所述3D彩色轮廓的各个部分的质量， 获取所述3D彩色轮廓第二体积；
判断所述第一体积与所述第二体积是否一致；
若不是，建立所述3D深度轮廓与所述3D彩色轮廓的映射集；
基于所述映射集调整所述3D深度轮廓的深度像素点对应的第一像素值， 以及调整所述3D彩色轮廓的彩色像素点对应的第二像素值；
将调节后的第一像素值和调节后的第二像素值进行相互适应训练，根据训 练结果，将所述3D工件轮廓分割为若干子部分；
基于预设像素-材料列表获取每一子部分对应的材料为每一子部分填充相 应的材料，再结合每一部分材料的重量，预测所述3D工件轮廓的重心；
基于所述3D工件轮廓的重心调节所述机器人的抓取施力点；
对所述3D工件轮廓进行二值化处理；
将处理后的所述3D工件轮廓分割为若干副子图像；
分别对每一子图像进行腐蚀处理，根据预设腐蚀-材料列表，为每一子图 像匹配对应的工件材料，并为所述3D工件轮廓填充对应的工件材料；
判断填充后3D工件轮廓是否包含易碎材料；
若是，获取所述易碎材料在所述填充后3D工件轮廓上的材料位置，将所 述材料位置作为所述机器人的抓取避让点；
根据材料-重量列表，计算所述填充后3D工件轮廓的重量，调节所述机器 人的抓取力度；
基于所述机器人的所述抓取施力点、抓取避让点和抓取力度，控制所述机 器人进行抓取工作。
优选的，判断所述第一重心点与第二重心点是否属于同一点，包括：
在所述3D深度轮廓上标记第一重心点；
在所述3D彩色轮廓上标记第二重心点；
将标记后的3D深度轮廓和3D彩色轮廓放置在同一预设坐标系中，分别 获取所述第一重心点和第二重心点的坐标；
当所述第一重心点和第二重心点的坐标相同时，确定所述第一重心点与第 二重心点属于同一点。
优选的，当所述第一重心点和所述第二重心点属于同一点时，包括：
当所述第一重心点和所述第二重心点属于同一点时，将所述第一重心点视 为所述3D工件轮廓的重心点。
优选的，基于所述第一区域在所述全景模型中的位置，修正所述工作空间 模型生成工作路径，包括：
获取所述第一区域与所述工作空间模型的重合区域；
获取所述无关机器人到达所述重合区域的第一时刻，以及在所述重合区域 第一停留时长；
基于所述第一时刻下所述虚拟机器人所在的位置，调整所述虚拟机器人的 前进速度；
基于所述第一停留时长调整所述虚拟机器人的前进方向；
基于所述前进速度和前进方向，生成对应的工作路径。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明 书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可 通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获 得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发 明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明实施例的基于深度相机的机器人自主识别智能抓取方法现有 技术装置图；
图2为本发明实施例的基于深度相机的机器人自主识别智能抓取方法的流 程图；
图3为本发明实施例的又一基于深度相机的机器人自主识别智能抓取方法 的程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的 优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1
本发明实施例提供基于深度相机的机器人自主识别智能抓取方法，如图2 所示，包括：
步骤1：通过设置在机器人上的深度相机采集工件放置区的深度图像和彩 色图像，识别所述深度图像和彩色图像中对应于所述工件放置区中至少一个工 件的深度工件轮廓以及彩色工件轮廓；
步骤2：基于所述深度工件轮廓和所述彩色工件轮廓在预设的坐标系中构 建所述工件对应的3D工件轮廓并分别标记每一3D工件轮廓上各轮廓点的坐 标；
步骤3：根据所述坐标和所述机器人的当前位置，建立抓取路径，基于所 述抓取路径，控制所述机器人进行相应抓取工作，实现机器人自主识别智能抓 取。
该实例中，深度工件轮廓表示工件在深度图像上的轮廓；
该实例中，彩色工件轮廓表示工件在彩色图像上的轮廓。
上述技术方案的工作原理及有益效果：通过获取工件放置区上工件对应的 深度工件轮廓和彩色工件轮廓，进而基于深度工件轮廓和彩色工件轮廓来建立 3D工件轮廓，这样一来可以基于3D工件轮廓确定工件在工件放置区上的分布 情况，根据该分布情况和工件的位置，建立抓取路径，根据工件的特点，生成 抓取力度以及抓取点，再进行抓取，可以由机器人将工件夹送到工人面前，减 少了人工拿取的繁琐步骤，同时也加快了流水线生产的速度，由于机器人抓取 时更加精确，由于实现了智能抓取工作，可以避免损坏工件，在一定程度上节 约了成本。
实施例2
如图2所示，在实施例1的基础上，所述的基于深度相机的机器人自主识 别智能抓取方法，所述步骤1中，所述识别所述深度图像和彩色图像中对应于 所述工件放置区中至少一个工件的深度工件轮廓以及彩色工件轮廓，包括：
步骤101：对所述深度图像进行图像二值化处理，获得二值化图像；
步骤102：基于图像识别技术，识别所述二值化图像上所述工件对应的深 度工件轮廓；
步骤103：对所述彩色图像进行色彩增强处理，获得色彩增强图像；
步骤104：基于图像识别技术，识别所述色彩增强图像上所述工件对应的 彩色工件轮廓。
上述技术方案的工作原理及有益效果：将深度图像转换为二值图像可以获 取到清晰的工件轮廓，基于图像处理技术在二值图像上可以获取深度工件轮 廓，将彩色图像进行色彩加强，再基于图像处理技术可以获取彩色工件轮廓， 省去了大量的图像扣取工作，提升了工件轮廓的质量。
实施例3
在实施例1的基础上，所述的基于深度相机的机器人自主识别智能抓取方 法，所述步骤2中，基于所述深度工件轮廓和所述彩色工件轮廓在预设的坐标 系中构建所述工件对应的3D工件轮廓并分别标记每一3D工件轮廓对应的坐 标，包括：
根据所述深度图像建立深度模型，获取所述深度模型的第一图像起点；
根据所述彩色图像建立彩色模型，获取所述彩色模型的第二图像起点；
在所述深度模型上随机选取一个第一检验点；
获取所述第一检验点和所述第一图像起点之间的位置关系；
在所述彩色模型上选取与所述第二图像起点具有相同所述位置关系的第 二检验点；
将所述第一检验点和所述第二检验点进行对应，构建第一对应关系；
随机选取完毕后，汇总所述第一对应关系，建立对应关系表；
基于所述对应关系表，确定所述深度模型上每一第一目标点与所述彩色模 型上每一第二目标点之间的第二对应关系；
基于所述第二对应关系、所述深度工件轮廓在所述深度模型上的第一位置 和所述彩色工件轮廓在所述彩色模型上的第二位置，将所述深度工件轮廓和彩 色工件轮廓进行配对，建立轮廓对应列表；
将所述轮廓对应列表输入到预设的坐标系中；
基于所述深度工件轮廓和彩色工件轮廓的配对关系，在所述坐标系中建立 对应的3D工件轮廓；
标记所述3D工件轮廓上各轮廓点在所述坐标系中的位置坐标，并作为所 述轮廓点的坐标。
该实例中，第一图像起点为深度模型在建立时的参考坐标原点；
该实例中，第二图像起点为彩色模型在建立时的参考坐标原点；
该实例中，由于在选取第一检验点时遵循随机法则，故第一检验点在在深 度模型上的位置不确定；
该实例中，第一检验点和第二检验点表示实际空间中的同一点；
该实例中，第一目标点表示深度模型上深度工件轮廓所在的点；
该实例中，第一对应关系表示第一检验点与第二检验点之间的对应关系， 建立第一对应关系的目的为：为了避免外界光照环境对深度图像和彩色图像造 成干扰，影响图像像素点之间的对应关系，故利用第一检验点和第二检验点的 配对关系对两图像之间的对应关系进行补偿修正，确保后续获取标准的3D工 件轮廓；
该实例中，第二对应关系表示第一目标点与第二目标点的对应，即，深度 工件轮廓与彩色工件轮廓的对应关系；
该实例中，轮廓对应列表表示深度工件轮廓和彩色工件轮廓对应关系的列 表。
上述技术方案的工作原理及有益效果：通过将工件轮廓和彩色工件轮廓一 一配对，可以从多方面获得工件的位置信息，然后在预设坐标系中建立3D工 件轮廓，根据坐标系的性质，可以在坐标系上获取每一3D工件轮廓对应的坐 标，为后续建立抓取路径做基础。
实施例4
在实施例1的基础上，所述的基于深度相机的机器人自主识别智能抓取方 法，步所述步骤3中，根据所述坐标和所述机器人的当前位置，建立抓取路径， 基于所述抓取路径，控制所述机器人进行相应抓取工作，实现机器人自主识别 智能抓取，包括：
接收操作人员输入的抓取指令；
解析所述抓取指令，确定所述工件放置区中的待抓取工件和对应的目标存 放位置；
以所述机器人的当前位置为原点，分别获取所述原点与所述工件放置区上 每一待抓取工件之间的第一向量以及每一待抓取工件与所述目标存放位置之 间的第二向量；
以每一所述第一向量为抓取元素，建立抓取距离列表；
以每一所述第二向量为放置元素，建立放置距离列表；
以距离最小原则将所述抓取距离列表中的抓取元素与所述放置距离列表 中的放置元素一一配对；
根据每一配对结果，建立对应的最短抓-放路径；
汇集全部所述最短抓-放路径，建立抓取路径，同时，生成相应抓取指令；
基于所述抓取指令，控制所述机器人进行抓取工作。
该实例中，工件的存放位置表示工件在工件放置区的位置；
该实例中，工件的目标存放位置表示机器人抓取工件后进行放置的位置；
该实例中，原点的位置随着机器人的位置变化而产生变化，从而，第一向 量和第二向量也在发生变化；
该实例中，第一向量表示由原点(机器人的当前位置)指向工件放置区上 的一个待抓取工件的有方向，有长度的线段；
该实例中，第二向量表示由工件放置区指向标存放位置的一个位置的有方 向，有长度的线段；
该实例中，最短抓-放路径表示机器人从当前位置出发，到达工件放置区， 抓取一个待抓取工件，再到达标存放位置的最短的路径；
该实例中，抓取距离列表表示机器人与存放位置每一工件的距离所构成的 列表；
该实例中，放置距离列表表示机器人与工件的距离和放置位置所构成的列 表。
上述技术方案的工作原理及有益效果：通过获取待抓取工件的存放位置和 目标放置位置，建立对应的抓取距离列表和放置距离列表阵，这样一来可以直 观的看出机器人与每一工件之间的距离，然后建立抓-放列表，机器人根据抓- 放列表进行抓取工作可以提高工作效率，提高抓取准确率，避免空抓。
实施例5
在实施例1的基础上，所述的基于深度相机的机器人自主识别智能抓取方 法，还包括：
根据所述抓取路径，构建所述机器人的活动范围；
监测所述活动范围内是否存在无关机器人；
若是，获取所述无关机器人的位置，并对所述抓取路径进行修正，获得工 作路径，基于所述工作路径，接力控制所述机器人进行抓取工作；
若不是，将所述抓取路径视为工作路径，控制所述机器人进行抓取工作。
该实例中，无关机器人表示除进行抓取工作机器人以外的其他机器人。
上述技术方案的工作原理及有益效果：通过判断机器人的活动范围内是否 有无关机器人，根据无关机器人的位置调节机器人的抓取路径，避免机器人在 进行抓取工作的过程中发生碰撞，所以在建立工作路径时判断前方是否有无关 机器人，绕过无关机器人的位置，构建工作路径，保证机器人在工作时的安全， 提高了机器人的智能性。
实施例6
在实施例5的基础上，所述的基于深度相机的机器人自主识别智能抓取方 法，获取所述无关机器人的位置，并对所述抓取路径进行修正，获取工作路径， 如图3所示，包括：
采集所述机器人周围的全景图像；
获取所述机器人的型号规格；
获取预设的虚拟空间，在所述虚拟空间中根据所述机器人的型号规格构建 对应的虚拟机器人；
将所述全景图像与预设的初始全景图像进行对比，判断所述全景图像中是 否存在新来物；
若是，在所述虚拟空间中基于所述机器人的当前位置、所述抓取路径和全 景图像，构建机器人工作空间模型；
控制所述虚拟机器人在所述机器人工作空间模型中进行模拟工作；
实时采集所述虚拟机器人在所述机器人工作空间模型中的第一虚拟位置；
基于所述第一虚拟位置，根据时间顺序建立所述虚拟机器人在所述全景模 型中进行移动的第一位置序列；
在所述全景模型中获取与所述第一位置序列有关的第一图像集；
利用预设的机器人图像遍历所述第一图像集，判断所述第一图像集中是否 存在出现无关机器人的目标图像；
若是，获取所述无关机器人在所述机器人工作空间模型中的第二虚拟位 置；
利用边缘检测提取技术，在所述第一图像集中提取所述目标图像；
根据所述目标图像的背景，在所述全景模型中获取所述无关机器人的位 置，建立所述无关机器人的活动位置列表；
基于所述活动位置列表，构建所述无关机器人的运动轨迹；
在所述机器人工作空间模型中同时对所述虚拟机器人和所述无关机器人 进行模拟工作，判断所述虚拟机器人与所述无关机器人是否会碰撞；
若是，获取所述虚拟机器人和所述无关机器人在同一时刻下发生碰撞的第 一位置；
以所述第一位置为中心，以预设躲避距离为半径，提取所述运动轨迹中与 所述机器人工作空间模型重合的第一区域；
基于所述第一区域在所述全景模型中的位置，修正所述工作空间模型生成 工作路径。
该实例中，全景图像表示机器人所在环境的全景图像；
该实例中，机器人的型号规格仅与机器人自身的性质有关；
该实例中，预设的虚拟空间表示预设的三维空间；
该实例中，初始全景图像表示除了机器人本身与工件以外无其他物体的全 景图像；
该实例中，新来物可以为：无关机器人、操作人员；
该实例中，虚拟机器人表示与机器人有相同性质的可以再预设虚拟空间进 行活动的虚拟物；
该实例中，机器人工作空间模型表示在预设虚拟空间中建立的与机器人现 处的外界环境条件相同的虚拟空间；
该实例中，模拟工作表示由虚拟机器人在机器人工作空间模型中模拟抓取 工作；
该实例中，第一虚拟位置表示虚拟机器人在机器人工作空间模型中模拟机 器人在现处外界环境中的位置；
该实例中，在全景模型中获取与第一位置序列有关的第一图像集的过程包 括：在全景模型中标记第一位置序列，根据第一位置序列在全景模型中的具体 位置以及该位置上所包含的物体，获取包含该位置上物体的图像；
该实例中，第一位置序列表示多个第一虚拟位置；
该实例中，第一图像集表示包含第一虚拟位置的图像；
该实例中，预设的机器人图像表示无关机器人图像；
该实例中，目标图像表示包含无关机器人的图像；
该实例中，无关机器人的活动位置列表表示无关机器人的活动轨迹组成的 列表；
该实例中，修正工作空间模型生成工作路径的过程(可参考实施例10)包 括：根据无关机器人到达重合区域的第一时刻，以及在重合区域第一停留时长， 以及第一区域与工作空间模型的重合区域，分析虚拟机器人在第一时刻时在工 作空间模型的位置，根据虚拟机器人与无关机器人的位置关系，调整虚拟机器 人的前进速度，再根据第一停留时长调整虚拟机器人的前进方向，最后综合来 看，调节虚拟机器人的前进速度和前进方向，生成对应的工作路径；
该实例中，全景模型表示机器人所在空间的模型。
上述技术方案的工作原理及有益效果：通过采集机器人周围的全景图像， 从而判断机器人周围是否有新物体，通过建立对应的机器人工作模型和虚拟机 器人，让机器人在工作模型中执行模拟工作，通过判断机器人与无关机器人的 位置关系，从而确定机器人是否存在碰撞风险，为了提高机器人抓取工件的效 率，根据工件放置区上工件的摆放位置，以及工件的目标移动位置，获取最短 的抓取和放置路径，同时为了避免机器人与其他无关机器人碰撞造成损失，在 机器人进行抓取工作时持续采集周围情况，根据周围情况调节机器人的工作路 径。
实施例7
在实施例4的基础上，所述的基于深度相机的机器人自主识别智能抓取方 法，控制所述机器人进行抓取工作，包括：
增强所述3D工件轮廓的像素对比度，获取3D深度轮廓；
增强所述3D工件轮廓的色彩对比度，获取3D彩色轮廓；
获取所述3D深度轮廓上每一深度像素点的第一像素值与对应的八邻域范 围内的深度邻域像素点的深度邻域像素值之间的差值，提取差值不为零的深度 像素点并依次连接，标记为深度工件材料分割线；
同时，将所述第一像素值相同的深度像素点视为一类；
统计每一类深度像素点对应的数量，构建深度统计列表；
获取所述3D彩色轮廓上每一深度像素点的第二像素值与对应的八邻域范 围内的彩色邻域像素点的彩色邻域像素值之间的差值，提取差值不为零的彩色 像素点并依次连接，标记为彩色工件材料分割线；
同时，将所述第二像素值相同的彩色像素点视为一类；
统计每一类彩色像素点对应的数量，构建彩色统计列表；
基于所述深度工件材料分割线，结合预设深度-材料对应关系，获取所述 3D深度轮廓的材料组成，获取所述3D深度轮廓的第一重心点；
同时，基于所述深度统计列表预测所述3D深度轮廓的各个部分的质量， 获取所述3D深度轮廓的第一体积；
基于所述彩色工件材料分割线，结合预设彩色-材料对应关系，获取所述 3D彩色轮廓的材料组成，获取所述3D彩色轮廓的第二重心点；
同时，基于所述彩色统计列表预测所述3D彩色轮廓的各个部分的质量， 获取所述3D彩色轮廓第二体积；
判断所述第一体积与所述第二体积是否一致；
若不是，建立所述3D深度轮廓与所述3D彩色轮廓的映射集；
基于所述映射集调整所述3D深度轮廓的深度像素点对应的第一像素值， 以及调整所述3D彩色轮廓的彩色像素点对应的第二像素值；
将调节后的第一像素值和调节后的第二像素值进行相互适应训练，根据训 练结果，将所述3D工件轮廓分割为若干子部分；
基于预设像素-材料列表获取每一子部分对应的材料为每一子部分填充相 应的材料，再结合每一部分材料的重量，预测所述3D工件轮廓的重心；
基于所述3D工件轮廓的重心调节所述机器人的抓取施力点；
对所述3D工件轮廓进行二值化处理；
将处理后的所述3D工件轮廓分割为若干副子图像；
分别对每一子图像进行腐蚀处理，根据预设腐蚀-材料列表，为每一子图 像匹配对应的工件材料，并为所述3D工件轮廓填充对应的工件材料；
判断填充后3D工件轮廓是否包含易碎材料；
若是，获取所述易碎材料在所述填充后3D工件轮廓上的材料位置，将所 述材料位置作为所述机器人的抓取避让点；
根据材料-重量列表，计算所述填充后3D工件轮廓的重量，调节所述机器 人的抓取力度；
基于所述机器人的所述抓取施力点、抓取避让点和抓取力度，控制所述机 器人进行抓取工作。
该实例中，深度像素点(或彩色像素点)的八领域范围表示以深度像素点 (或彩色像素点)为中心，与其相邻的八个像素点，若某一像素点八领域范围 存在缺陷时(例如，图像边缘的像素点)，将剩余领域范围的像素点的平均像 素值填充缺陷位置；
该实例中，深度邻域像素点表示以深度像素点为中心，其八领域范围内的 像素点；
该实例中，深度工件材料分割线表示工件不同材料在深度图像上的分界 线；
该实例中，深度统计列表表示深度图像上每一像素对应的总数；
该实例中，预设深度-材料对应关系表示预设的不同深度像素点对应的材 料；
该实例中，第一重心点表示利用深度图像预测的工件的重心点；
该实例中，映射集表示3D深度轮廓与3D彩色轮廓的对应关系；
该实例中，第一体积表示通过对深度图像进行处理后预测的工件的体积；
该实例中，彩色工件材料分割线表示工件不同材料在彩色图像上的分界 线；
该实例中，基于映射集调整深度像素点和彩色像素点的过程包括：根据映 射集提取配对率低于预设配对率的深度像素点和彩色像素点，分别将对应的第 一像素值第二像素值转换为二值像素值，获取两个二值像素值之间的像素差， 根据分别调节第一像素值和第二像素值；
该实例中，彩色统计列表表示彩色图像上每一像素对应的总数；
该实例中，预设彩色-材料对应关系表示预设的不同彩色像素点对应的材 料；
该实例中，第二重心点表示利用彩色图像预测的工件的重心点；
该实例中，第二体积表示通过对彩色图像进行处理后预测的工件的体积；
该实例中，重心点表示3D工件轮廓处于任何方位时所有各组成支点的重 力的合力都通过的那一点；
该实例中，腐蚀处理表示对每一子图像的边缘进行加强的处理工作；
该实例中，易碎材料可以为：玻璃。
上述技术方案的工作原理及有益效果：通过分别在深度图像和彩色图像上 获取3D深度轮廓与3D彩色轮廓，再利用上述重心处理办法获取对应的第一 重心和第二重心，若第一重心和第二重心不在同一点，对3D深度轮廓与3D 彩色轮廓进行相互适应训练，获取工件的重心，再获取工件的组成材料，获取 工件的抓取避让点，以及获取工件的重量，获取抓取力度，为了保证机器人在 抓取工件的过程中保证抓取效率，同时避免损坏工件，根据上述检测工作，获 取3D工件轮廓的重心点，进而确定机器人的施力点，获取3D工件轮廓的重量，确定机器人的抓取力度，获取3D工件轮廓的材料组成，确定机器人的抓 取避让点，这样一来可以保证抓取时不损坏工件，节约的成本。
实施例8
在实施例7的基础上，所述的基于深度相机的机器人自主识别智能抓取方 法，判断所述第一重心点与第二重心点是否属于同一点，包括：
在所述3D深度轮廓上标记第一重心点；
在所述3D彩色轮廓上标记第二重心点；
将标记后的3D深度轮廓和3D彩色轮廓放置在同一预设坐标系中，分别 获取所述第一重心点和第二重心点的坐标；
当所述第一重心点和第二重心点的坐标相同时，确定所述第一重心点与第 二重心点属于同一点。
上述技术方案的工作原理及有益效果：为了判断第一重心点与第二重心点 是否属于同一点，将第一重心点与第二重心点放置在同一坐标系中，通过比较 两点的坐标从而进行判断，这样一来利用坐标进行判断可以提高判断的准确 性，而且还可以直观的获取两点之间的距离。
实施例9
在实施例8的基础上，所述的基于深度相机的机器人自主识别智能抓取方 法，当所述第一重心点和第二重心点的坐标相同时，包括：
当所述第一重心点和所述第二重心点属于同一点时，将所述第一重心点视 为所述3D工件轮廓的重心点。
上述技术方案的工作原理及有益效果：为了节约时间当第一重心点和所述 第二重心点属于同一点时，直接将第一重心点视为3D工件轮廓的重心点，免 除了繁杂的对比工作，加快了检测进程。
实施例10
在实施例6的基础上，所述的基于深度相机的机器人自主识别智能抓取方 法，基于所述第一区域在所述全景模型中的位置，修正所述工作空间模型生成 工作路径，包括：
获取所述第一区域与所述工作空间模型的重合区域；
获取所述无关机器人到达所述重合区域的第一时刻，以及在所述重合区域 第一停留时长；
基于所述第一时刻下所述虚拟机器人所在的位置，调整所述虚拟机器人的 前进速度；
基于所述第一停留时长调整所述虚拟机器人的前进方向；
基于所述前进速度和前进方向，生成对应的工作路径。
该实例中，调整虚拟机器人的前进速度可以为：根据第一时刻虚拟机器人 所在的位置与重合区域的距离，计算虚拟机器人在当前速度下到达重合区域所 需的第一时长，当第一时长与小于第一停留时长时，根据第一时长和第一停留 时长的时间差，调节虚拟机器人的前进速度，直到第一时长大于第一停留时长 为止。
上述技术方案的工作原理及有益效果：当无关机器人的活动范围与机器人 的工作路径存在重合区域时，为了避免碰撞，根据无关机器人到达重合区域的 时刻调整机器人的前进速度，再根据无关机器人再重合区域的停留时长调节机 器人的前进方向，这样一来可以将两台机器人的活动范围错开，避免碰撞。
实施例11
在实施例1的基础上，所述的基于深度相机的机器人自主识别智能抓取方 法，步骤1：采集工件放置区的深度图像和彩色图像后，包括：
分别获取所述深度图像和所述彩色图像对应的第一清晰度、第二清晰度；
分别判断所述第一清晰度、第二清晰度是否在预设范围内；
若不在，确定所述深度图像与所述彩色图像不合格，生成重新拍摄指令， 重新获取所述工件放置区的深度图像和彩色图像；
若在，将所述深度图像与所述彩色图像进行重合，获取实景图像，并输入 到二维坐标系中；
根据公式(Ⅰ)计算所述实景图像的像素权重；
Figure BDA0003348121920000211
其中，P表示所述实景图像的像素权重，m表示所述实景图像的像素点的 数量，qi(x,y)表示所述实景图像的第i个像素点在所述二维坐标系的权重，pi表 示所述实景图像的第i个像素点的像素值，t表示所述实景图像的平均梯度值， ti表示所述实景图像的第i个像素点的梯度，ti-1表示所述实景图像的第i-1个像 素点的梯度，当且仅当i＝1时，ti-1＝0.5ti；
获取计算结果并判断所述实景图像的像素值是否在预设范围内，若在，确 定所述深度图像与所述彩色图像合格；
反之，确定所述深度图像与所述彩色图像不合格，生成重新拍摄指令，重 新获取所述工件放置区的深度图像和彩色图像。
上述技术方案的工作原理及有益效果：采集深度图像和彩色图像是进行抓 取工作的首要步骤，关系到后续抓取工作的抓取效率，所以在采集到深度图像 和彩色图像后分析清晰度进而判断图像是否合格，为了使得判断结果更加准 确，将两幅图像组合为实景图像，再计算实景图像的像素权重，进而判断图像 是否合格，并针对计算结果做出相应的提示。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发 明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及 其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.基于深度相机的机器人自主识别智能抓取方法，其特征在于，包括：
步骤1：通过设置在机器人上的深度相机采集工件放置区的深度图像和彩色图像，识别所述深度图像和彩色图像中对应于所述工件放置区中至少一个工件的深度工件轮廓以及彩色工件轮廓；
步骤2：基于所述深度工件轮廓和所述彩色工件轮廓在预设的坐标系中构建所述工件对应的3D工件轮廓并分别标记每一3D工件轮廓上各轮廓点的坐标；
步骤3：根据所述坐标和所述机器人的当前位置，建立抓取路径，基于所述抓取路径，控制所述机器人进行相应抓取工作，实现机器人自主识别智能抓取。
2.如权利要求1所述的基于深度相机的机器人自主识别智能抓取方法，其特征在于，所述步骤1中，识别所述深度图像和彩色图像中对应于所述工件放置区中至少一个工件的深度工件轮廓以及彩色工件轮廓，包括：
对所述深度图像进行图像二值化处理，获得二值化图像；
基于图像识别技术，识别所述二值化图像上所述工件对应的深度工件轮廓；
对所述彩色图像进行色彩增强处理，获得色彩增强图像；
基于图像识别技术，识别所述色彩增强图像上所述工件对应的彩色工件轮廓。
3.如权利要求1所述的基于深度相机的机器人自主识别智能抓取方法，其特征在于，所述步骤2中，基于所述深度工件轮廓和所述彩色工件轮廓在预设的坐标系中构建所述工件对应的3D工件轮廓并分别标记每一3D工件轮廓对应的坐标，包括：
根据所述深度图像建立深度模型，获取所述深度模型的第一图像起点；
根据所述彩色图像建立彩色模型，获取所述彩色模型的第二图像起点；
在所述深度模型上随机选取一个第一检验点；
获取所述第一检验点和所述第一图像起点之间的位置关系；
在所述彩色模型上选取与所述第二图像起点具有相同所述位置关系的第二检验点；
将所述第一检验点和所述第二检验点进行对应，构建第一对应关系；
随机选取完毕后，汇总所述第一对应关系，建立对应关系表；
基于所述对应关系表，确定所述深度模型上每一第一目标点与所述彩色模型上每一第二目标点之间的第二对应关系；
基于所述第二对应关系、所述深度工件轮廓在所述深度模型上的第一位置和所述彩色工件轮廓在所述彩色模型上的第二位置，将所述深度工件轮廓和彩色工件轮廓进行配对，建立轮廓对应列表；
将所述轮廓对应列表输入到预设的坐标系中；
基于所述深度工件轮廓和彩色工件轮廓的配对关系，在所述坐标系中建立对应的3D工件轮廓；
标记所述3D工件轮廓上各轮廓点在所述坐标系中的位置坐标，并作为所述轮廓点的坐标。
4.如权利要求1所述的基于深度相机的机器人自主识别智能抓取方法，其特征在于，所述步骤3中，根据所述坐标和所述机器人的当前位置，建立抓取路径，基于所述抓取路径，控制所述机器人进行相应抓取工作，实现机器人自主识别智能抓取，包括：
接收操作人员输入的抓取指令；
解析所述抓取指令，确定所述工件放置区中的待抓取工件和对应的目标存放位置；
以所述机器人的当前位置为原点，分别获取所述原点与所述工件放置区上每一待抓取工件之间的第一向量以及每一待抓取工件与所述目标存放位置之间的第二向量；
以每一所述第一向量为抓取元素，建立抓取距离列表；
以每一所述第二向量为放置元素，建立放置距离列表；
以距离最小原则将所述抓取距离列表中的抓取元素与所述放置距离列表中的放置元素一一配对；
根据每一配对结果，建立对应的最短抓-放路径；
汇集全部所述最短抓-放路径，建立抓取路径，同时，生成相应抓取指令；
基于所述抓取指令，控制所述机器人进行抓取工作。
5.如权利要求1所述的基于深度相机的机器人自主识别智能抓取方法，其特征在于，还包括：
根据所述抓取路径，构建所述机器人的活动范围；
监测所述活动范围内是否存在无关机器人；
若是，获取所述无关机器人的位置，并对所述抓取路径进行修正，获得工作路径，基于所述工作路径，接力控制所述机器人进行抓取工作；
若不是，将所述抓取路径视为工作路径，控制所述机器人进行抓取工作。
6.如权利要求5所述的基于深度相机的机器人自主识别智能抓取方法，其特征在于，获取所述无关机器人的位置，并对所述抓取路径进行修正，获取工作路径，包括：
采集所述机器人周围的全景图像；
获取所述机器人的型号规格；
获取预设的虚拟空间，在所述虚拟空间中根据所述机器人的型号规格构建对应的虚拟机器人；
将所述全景图像与预设的初始全景图像进行对比，判断所述全景图像中是否存在新来物；
若是，在所述虚拟空间中基于所述机器人的当前位置、所述抓取路径和全景图像，构建机器人工作空间模型；
控制所述虚拟机器人在所述机器人工作空间模型中进行模拟工作；
实时采集所述虚拟机器人在所述机器人工作空间模型中的第一虚拟位置；
基于所述第一虚拟位置，根据时间顺序建立所述虚拟机器人在所述全景模型中进行移动的第一位置序列；
在所述全景模型中获取与所述第一位置序列有关的第一图像集；
利用预设的机器人图像遍历所述第一图像集，判断所述第一图像集中是否存在出现无关机器人的目标图像；
若是，获取所述无关机器人在所述机器人工作空间模型中的第二虚拟位置；
利用边缘检测提取技术，在所述第一图像集中提取所述目标图像；
根据所述目标图像的背景，在所述全景模型中获取所述无关机器人的位置，建立所述无关机器人的活动位置列表；
基于所述活动位置列表，构建所述无关机器人的运动轨迹；
在所述机器人工作空间模型中同时对所述虚拟机器人和所述无关机器人进行模拟工作，判断所述虚拟机器人与所述无关机器人是否会碰撞；
若是，获取所述虚拟机器人和所述无关机器人在同一时刻下发生碰撞的第一位置；
以所述第一位置为中心，以预设躲避距离为半径，提取所述运动轨迹中与所述机器人工作空间模型重合的第一区域；
基于所述第一区域在所述全景模型中的位置，修正所述工作空间模型生成工作路径。
7.如权利要求4所述的基于深度相机的机器人自主识别智能抓取方法，其特征在于，控制所述机器人进行抓取工作，包括：
增强所述3D工件轮廓的像素对比度，获取3D深度轮廓；
增强所述3D工件轮廓的色彩对比度，获取3D彩色轮廓；
获取所述3D深度轮廓上每一深度像素点的第一像素值与对应的八邻域范围内的深度邻域像素点的深度邻域像素值之间的差值，提取差值不为零的深度像素点并依次连接，标记为深度工件材料分割线；
同时，将所述第一像素值相同的深度像素点视为一类；
统计每一类深度像素点对应的数量，构建深度统计列表；
获取所述3D彩色轮廓上每一深度像素点的第二像素值与对应的八邻域范围内的彩色邻域像素点的彩色邻域像素值之间的差值，提取差值不为零的彩色像素点并依次连接，标记为彩色工件材料分割线；
同时，将所述第二像素值相同的彩色像素点视为一类；
统计每一类彩色像素点对应的数量，构建彩色统计列表；
基于所述深度工件材料分割线，结合预设深度-材料对应关系，获取所述3D深度轮廓的材料组成，获取所述3D深度轮廓的第一重心点；
同时，基于所述深度统计列表预测所述3D深度轮廓的各个部分的质量，获取所述3D深度轮廓的第一体积；
基于所述彩色工件材料分割线，结合预设彩色-材料对应关系，获取所述3D彩色轮廓的材料组成，获取所述3D彩色轮廓的第二重心点；
同时，基于所述彩色统计列表预测所述3D彩色轮廓的各个部分的质量，获取所述3D彩色轮廓第二体积；
判断所述第一体积与所述第二体积是否一致；
若不是，建立所述3D深度轮廓与所述3D彩色轮廓的映射集；
基于所述映射集调整所述3D深度轮廓的深度像素点对应的第一像素值，以及调整所述3D彩色轮廓的彩色像素点对应的第二像素值；
将调节后的第一像素值和调节后的第二像素值进行相互适应训练，根据训练结果，将所述3D工件轮廓分割为若干子部分；
基于预设像素-材料列表获取每一子部分对应的材料为每一子部分填充相应的材料，再结合每一部分材料的重量，预测所述3D工件轮廓的重心；
基于所述3D工件轮廓的重心调节所述机器人的抓取施力点；
对所述3D工件轮廓进行二值化处理；
将处理后的所述3D工件轮廓分割为若干副子图像；
分别对每一子图像进行腐蚀处理，根据预设腐蚀-材料列表，为每一子图像匹配对应的工件材料，并为所述3D工件轮廓填充对应的工件材料；
判断填充后3D工件轮廓是否包含易碎材料；
若是，获取所述易碎材料在所述填充后3D工件轮廓上的材料位置，将所述材料位置作为所述机器人的抓取避让点；
根据材料-重量列表，计算所述填充后3D工件轮廓的重量，调节所述机器人的抓取力度；
基于所述机器人的所述抓取施力点、抓取避让点和抓取力度，控制所述机器人进行抓取工作。
8.如权利要求7所述的基于深度相机的机器人自主识别智能抓取方法，其特征在于，判断所述第一重心点与第二重心点是否属于同一点，包括：
在所述3D深度轮廓上标记第一重心点；
在所述3D彩色轮廓上标记第二重心点；
将标记后的3D深度轮廓和3D彩色轮廓放置在同一预设坐标系中，分别获取所述第一重心点和第二重心点的坐标；
当所述第一重心点和第二重心点的坐标相同时，确定所述第一重心点与第二重心点属于同一点。
9.如权利要求8所述的基于深度相机的机器人自主识别智能抓取方法，其特征在于，当所述第一重心点和第二重心点的坐标相同时，包括：
当所述第一重心点和所述第二重心点属于同一点时，将所述第一重心点视为所述3D工件轮廓的重心点。
10.如权利要求6所述的基于深度相机的机器人自主识别智能抓取方法，其特征在于，基于所述第一区域在所述全景模型中的位置，修正所述工作空间模型生成工作路径，包括：
获取所述第一区域与所述工作空间模型的重合区域；
获取所述无关机器人到达所述重合区域的第一时刻，以及在所述重合区域第一停留时长；
基于所述第一时刻下所述虚拟机器人所在的位置，调整所述虚拟机器人的前进速度；
基于所述第一停留时长调整所述虚拟机器人的前进方向；
基于所述前进速度和前进方向，生成对应的工作路径。
CN202111328781.3A 2021-11-10 2021-11-10 基于深度相机的机器人自主识别智能抓取方法 Active CN114029951B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111328781.3A CN114029951B (zh) 2021-11-10 2021-11-10 基于深度相机的机器人自主识别智能抓取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111328781.3A CN114029951B (zh) 2021-11-10 2021-11-10 基于深度相机的机器人自主识别智能抓取方法

Publications (2)

Publication Number Publication Date
CN114029951A true CN114029951A (zh) 2022-02-11
CN114029951B CN114029951B (zh) 2022-05-10

Family

ID=80137236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111328781.3A Active CN114029951B (zh) 2021-11-10 2021-11-10 基于深度相机的机器人自主识别智能抓取方法

Country Status (1)

Country Link
CN (1) CN114029951B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114838665A (zh) * 2022-07-04 2022-08-02 江西农业大学 一种基于黑皮鸡枞菌的尺寸原位测量方法
CN114888816A (zh) * 2022-07-13 2022-08-12 中迪机器人(盐城)有限公司 一种智能上下料机器人的控制***及方法
CN117408659A (zh) * 2023-10-27 2024-01-16 北京利通盛达科技有限公司 一种erp企业管理***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130163853A1 (en) * 2011-12-23 2013-06-27 Samsung Electronics Co., Ltd. Apparatus for estimating robot position and method thereof
DE202017001227U1 (de) * 2017-03-07 2018-06-08 Kuka Deutschland Gmbh Objekterkennungssystem mit einem 2D-Farbbildsensor und einem 3D-Bildsensor
CN108335308A (zh) * 2017-01-20 2018-07-27 深圳市祈飞科技有限公司 一种橙子自动检测方法、***以及机器人智能零售终端
CN108470373A (zh) * 2018-02-14 2018-08-31 天目爱视（北京）科技有限公司 一种基于红外的3d四维数据采集方法及装置
CN108555908A (zh) * 2018-04-12 2018-09-21 同济大学 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN113379849A (zh) * 2021-06-10 2021-09-10 南开大学 基于深度相机的机器人自主识别智能抓取方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130163853A1 (en) * 2011-12-23 2013-06-27 Samsung Electronics Co., Ltd. Apparatus for estimating robot position and method thereof
CN108335308A (zh) * 2017-01-20 2018-07-27 深圳市祈飞科技有限公司 一种橙子自动检测方法、***以及机器人智能零售终端
DE202017001227U1 (de) * 2017-03-07 2018-06-08 Kuka Deutschland Gmbh Objekterkennungssystem mit einem 2D-Farbbildsensor und einem 3D-Bildsensor
CN108470373A (zh) * 2018-02-14 2018-08-31 天目爱视（北京）科技有限公司 一种基于红外的3d四维数据采集方法及装置
CN108555908A (zh) * 2018-04-12 2018-09-21 同济大学 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN113379849A (zh) * 2021-06-10 2021-09-10 南开大学 基于深度相机的机器人自主识别智能抓取方法及***

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114838665A (zh) * 2022-07-04 2022-08-02 江西农业大学 一种基于黑皮鸡枞菌的尺寸原位测量方法
CN114838665B (zh) * 2022-07-04 2022-09-02 江西农业大学 一种基于黑皮鸡枞菌的尺寸原位测量方法
CN114888816A (zh) * 2022-07-13 2022-08-12 中迪机器人(盐城)有限公司 一种智能上下料机器人的控制***及方法
CN114888816B (zh) * 2022-07-13 2022-09-27 中迪机器人(盐城)有限公司 一种智能上下料机器人的控制***及方法
CN117408659A (zh) * 2023-10-27 2024-01-16 北京利通盛达科技有限公司 一种erp企业管理***

Also Published As

Publication number Publication date
CN114029951B (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
CN114029951B (zh) 基于深度相机的机器人自主识别智能抓取方法
CN109483573A (zh) 机器学习装置、机器人***以及机器学习方法
CN111496770B (zh) 基于3d视觉与深度学习的智能搬运机械臂***及使用方法
CN110202583B (zh) 一种基于深度学习的仿人机械手控制***及其控制方法
CN111275063B (zh) 一种基于3d视觉的机器人智能抓取控制方法及***
CN104058260B (zh) 基于视觉处理的机器人自动码垛方法
CN108126914B (zh) 一种基于深度学习的料框内散乱多物体机器人分拣方法
CN109986560B (zh) 一种面向多目标种类的机械臂自适应抓取方法
CN110315525A (zh) 一种基于视觉引导的机器人工件抓取方法
CN108247637A (zh) 一种工业机器人手臂视觉防撞操控方法
CN110969660B (zh) 一种基于三维立体视觉和点云深度学习的机器人上料***
CN114029243B (zh) 一种用于分拣机器手的软物抓取识别方法
CN110605711B (zh) 一种控制协作机器人抓取物体的方法、装置及***
CN114102585A (zh) 一种物品抓取规划方法及***
CN108038861A (zh) 一种多机器人协作分拣方法、***及装置
CN107300100A (zh) 一种在线cad模型驱动的级联式机械臂视觉引导逼近方法
CN112775959A (zh) 机械手的抓取位姿确定方法及***、存储介质
US20210069908A1 (en) Three-dimensional computer vision system for robotic devices
CN113538459A (zh) 一种基于落点区域检测的多模式抓取避障检测优化方法
Ibarguren et al. Particle filtering for industrial 6DOF visual servoing
CN113762159B (zh) 一种基于有向箭头模型的目标抓取检测方法及***
CN114683251A (zh) 机器人抓取方法、装置、电子设备及可读取存储介质
CN113681565A (zh) 一种实现机器人与人之间物品传递的人机协作方法及装置
CN113269112A (zh) 一种抓取区域的识别方法、装置、电子设备及存储介质
CN110533717B (zh) 一种基于双目视觉的目标抓取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221010

Address after: 226463 Zhongtian Industrial Park, Hekou Town, Rudong, Nantong, Jiangsu

Patentee after: ZHONGTIAN BROADBAND TECHNOLOGY Co.,Ltd.

Address before: 224000 No. 1 Hope Avenue Middle Road, Tinghu District, Yancheng City, Jiangsu Province

Patentee before: YANCHENG INSTITUTE OF TECHNOLOGY

TR01 Transfer of patent right