CN112906797B - 一种基于计算机视觉和深度学***面抓取检测方法 - Google Patents
一种基于计算机视觉和深度学***面抓取检测方法 Download PDFInfo
- Publication number
- CN112906797B CN112906797B CN202110207871.0A CN202110207871A CN112906797B CN 112906797 B CN112906797 B CN 112906797B CN 202110207871 A CN202110207871 A CN 202110207871A CN 112906797 B CN112906797 B CN 112906797B
- Authority
- CN
- China
- Prior art keywords
- grabbing
- training
- depth
- image
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- 238000013135 deep learning Methods 0.000 title claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 38
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 238000012795 verification Methods 0.000 claims abstract description 11
- 230000001502 supplementing effect Effects 0.000 claims abstract description 8
- 238000005457 optimization Methods 0.000 claims abstract description 7
- 238000012800 visualization Methods 0.000 claims abstract description 4
- 238000012163 sequencing technique Methods 0.000 claims abstract description 3
- 238000000034 method Methods 0.000 claims description 24
- 238000013461 design Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 230000003321 amplification Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 4
- 238000013507 mapping Methods 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000004836 empirical method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于公开了机械臂抓取计算领域的一种基于计算机视觉和深度学***面抓取检测方法，其步骤包括：收集或自制抓取数据集，并进行特定的数据增强；利用深度补全算法补全深度图信息，并对数据集进行深度信息融合、统一裁剪以及训练验证划分；根据训练得到的抓取检测模型，利用真实图像数据作为网络输入，抓取质量分数及抓取框五维表示作为输出，采用反向传播算法和基于标准梯度的优化算法，通过排序优化转换为抓取框四个顶点信息，实现可视化，最终映射到真实世界坐标。使得检测得到的抓取框与真实值差异最小化；本发明解决了经验抓取检测方法为实现泛化性而很难满足精准性的问题；解决了抓取检测方法在真实场景中难以保证实时性的问题。
Description
技术领域
本发明属于机械臂抓取技术领域，特别涉及一种基于计算机视觉和深度学***面抓取检测方法。
背景技术
机器人的抓取力远远落后于人类的表现，并且是机器人领域中尚未解决的问题。当人们看到新颖的物体时，他们根据自己的经验本能地快速轻松地抓住任何未知物体。近年来展开了许多与机器人抓取和操纵有关的工作，但是实时的抓取检测仍然是一个挑战。机器人抓取问题可分为三个连续阶段：抓握检测，轨迹规划和执行。抓取检测是一种视觉识别问题，其中机器人使用其传感器来检测其环境中的可抓取物体。用于感知机器人环境的传感器通常是3D视觉***或RGB-D摄像机。关键任务是根据传感器信息预测潜在的抓取并将像素值映射到真实世界的坐标。这是执行抓握的关键步骤，因为后续步骤取决于在此步骤中计算出的坐标。然后，将计算出的真实世界坐标转换为机器人手臂末端工具的位置和方向。然后计划机械臂的最佳轨迹，以达到目标抓握位置。随后，使用开环或闭环控制器执行机械臂的规划。
随着越来越多的研究，机器人变得比以往更加智能，人们越来越需要一种通用技术来检测对机器人所遇到的任何物体的快速而稳健的抓取。而这其中，最主要的问题之一就是如何将机器人学到的知识精确地转移到新颖的现实世界对象上，这不仅要求算法的实时性和精准性，新的发展需求对泛化性也提出了要求。
抓取检测主要分为两类方法，一种是分析法，一种是经验法。分析法指的是依据机械手的各种参数，通过设计符合稳定性和灵活性等条件的力闭合约束条件来限定抓取位姿。这类方法，可以理解为一种基于动力学、几何学的约束问题的求解和优化。当抓取位姿满足力闭合条件时物体被夹具夹住，并在静摩擦力的作用下使得物体不再发生位移或旋转，从而维持抓取的稳定。分析法生成的抓取位姿能够确保目标物体的成功抓取，但这种方法通常只能应用在简单的理想模型上。实际场景的多变性、物体摆放的随机性、以及图像传感器的噪声等等，一方面增加了计算的复杂度，另一方面计算的精度无法得到保证。经验法就是利用知识库中的信息，去检测抓取位姿及判断其合理性。从物体的特征出发，利用相似性进行分类和位姿估计，从而达到抓取的目的。不需要像分析法那样需要预知目标物体的摩擦系数等等参数，具有更好的鲁棒性。但是经验法通常并不能兼顾实现精准性和实时性。
发明内容
本发明的目的提出一种基于计算机视觉和深度学***面抓取检测方法，其特征在于，包括：
步骤1：收集或自制抓取数据集，其中包括RGB图像及相应的标注信息和深度信息；对数据集进行尺度变换、平移、翻转和旋转的数据增强，扩充数据集；
步骤2：根据步骤1得到的扩充后的数据集制作并划分训练数据；利用深度补全算法补全深度图信息，并完成RGB图像与深度信息的融合；对融合图像进行裁剪及缩放，使其满足抓取检测模型的输入格式，并按照9：1的比例随机划分训练集与验证集，分别用于抓取检测模型的训练和验证；
步骤3：利用训练数据对提出的抓取检测模型进行训练，采用反向传播算法和基于标准梯度的优化算法来优化目标函数的梯度，使得检测得到的抓取框与真实值差异最小化；同时利用验证集对抓取检测模型进行测试，来调整抓取检测模型训练过程中的学习率，并一定程度避免抓取检测模型的过拟合；其中目标函数的定义为：
Ltoral＝Lboxes+LQ+Langle
其中Lboxes为boxes损失、LQ抓取质量分数损失、langle角度预测损失；
步骤4：根据训练得到的抓取检测模型，利用真实图像数据作为网络输入，抓取质量分数及抓取框五维表示作为抓取检测模型输出，通过排序选取最优并将其转换为抓取框四个顶点信息，实现可视化，最终映射到真实世界坐标；
所述五维抓取表示，在近年的相关工作中得到了广泛的应用；五维抓取表示为把抓取框描述为：
g＝{x，y，θ，h，w}
所述抓取检测模型输出为：
g＝{x，y，θ，h，w，Q}
其中(x，y)为抓取框的中心点，h和w分别为抓取框的高和宽，θ为其相对于图像水平轴的方向，Q为抓取质量分数，用0到1之间的一个数值来评估抓取的可能性，Q越大表示该抓取框的可行性越大。
所述抓取检测模型(网络模型)设计包括前端的特征提取器和后端的抓取预测器；其中特征提取器部分设计包括卷积模块、注意力残差模块和跨级局部模块等模块连接组合。
所述完成RGB图像与深度信息的融合包含了深度信息提取、深度图补全以及RGB图像与补全后的深度图融合为RGD图像，其中RGD图像将作为模型训练数据。
所述完成RGB图像与深度信息的融合，对RGB数据进行训练的方式包括单模态训练方式和多模态训练方式；其中RGD数据使用Depth图像替换RGB图像中的B通道融合而成，这一设计实现了多模态，提供了更多的可利用信息，并在实验中展示了良好的效果；针对数据集中深度信息提取，设计了如下公式：
其中(x，y，z)为点云信息中的坐标，Max为根据场景设定的深度值上限，Min为根据场景设定的深度值下限，限定阈值范围的设计可以从一定程度上过滤无效信息，此外可以实现全局的归一化，并非针对单一图像进行归一化，使得数据更加标准化；归一化后的值扩大255倍，调整至RGB通道值的尺度，使其满足RGD融合的条件。
所述利用验证集对抓取检测模型进行测试，将深度图像与RGB实现通道替换，随后将每张图片进行数据扩增，扩增策略：随机上下平移0-50像素，随机旋转0-360°；最终沿中心截取固定大小正方形区域作为训练图像；利用卷积模块和卷积操作进行了抓取框的预测。其中抓取框位置及大小信息进行了直接的回归，；抓取质量分数同样利用直接回归的方式，但是在最终输出时进行了sigmoid，将预测得到的抓取质量分数输出范围控制在0-1之间，可以很好的表示抓取置信度；角度则是通过分类的方式进行预测。
本发明的有益效果：
1、解决了传统分析法只能应用在简单的理想模型上，无法实现泛化性的问题；
2、解决了经验法抓取检测方法为实现泛化性而很难满足精准性的问题；
3、解决了抓取检测方法在真实场景中难以保证实时性的问题。
附图说明
图1为适用的机械臂抓取场景示意图。
图2为抓取框五维表示法图。
图3为抓取检测模型示意图。
图4为抓取检测结果展示图。
具体实施方式
本发明提出一种基于计算机视觉和深度学***面抓取检测方法，包括收集整理开源数据集或结合抓取目标自制数据集，数据集进行尺度变换、平移、翻转、旋转的数据增强；利用深度补全算法补全深度图信息，并完成RGB图像与深度信息的融合。对融合图像进行裁剪及缩放使其满足模型的输入格式，并按照9：1的比例随机划分训练集与验证集；采用反向传播算法和基于标准梯度的优化算法来优化目标函数的梯度，使得检测得到的抓取框与真实值差异最小化；利用真实图像数据作为抓取检测模型输入进行抓取检测，并对结果进行可视化。
整个机械臂抓取场景如图1所示。主要由机械臂、平行二指夹具、深度相机、计算机、控制器、待抓取物体及平台等组成。深度相机对平台上的待抓取物体进行拍摄，得到RGB图像及深度信息。计算机读取RGB图像及深度信息并加工，利用实现的抓取检测算法从该图像信息中检测出可行的抓取框。并将抓取框映射到机械臂坐标系下传送给控制器，对机械臂进行抓取轨迹规划及执行。
本发明主要针对机械臂抓取问题的视觉部分进行处理，在过去的方法中，提出了五维抓取表示，在近年的相关工作中得到了广泛的应用。五维抓取表示为把抓取框描述为：
g＝{x，y，θ，h，w)
所述五维抓取为(x，y)为抓取框的中心点，h和w分别为抓取框的高和宽，θ为其相对于图像水平轴的方向。
所述抓取检测模型输出为：
g＝{x，y，θ，h，w，Q}
其中(x，y)为抓取框的中心点，h和w分别为抓取框的高和宽，θ为其相对于图像水平轴的方向，Q为抓取质量分数，用0到1之间的一个数值来评估抓取的可能性，Q越大表示该抓取框的可行性越大。
五维表示法维度更小，计算量更少。在近期的工作中表明了这种五维表示的可行性，可以将抓取很好地表示在图像坐标***中(如图2所示)，h和w分别由抓取器的形状固定和限定。
五维表示法能够很好的表示平面场景的抓取框，但是这仅限于场景中确实存在合理的抓取点。当场景中不存在物体或者物体抓取点均不可行时，同样会得到抓取预测结果，这是不合理的。本发明对五维表示法进行了扩展，设定Q为抓取质量分数，用0到1之间的一个数值来评估抓取的可能性，Q越大表示该抓取框的可行性越大。通过一定的阈值设置，便可以过滤可行性比较差的抓取。
本发明提供了两种训练模式，一种直接基于RGB数据进行训练，即单模态训练方式；另一种基于RGD数据进行训练，为多模态训练方式。其中RGD数据使用Depth图像替换RGB图像中的B通道融合而成，这一设计实现了多模态，提供了更多的可利用信息，并在实验中展示了良好的效果。针对数据集中深度信息提取，设计了如下公式：
其中(x，y，z)为点云信息中的坐标，Max为根据场景设定的深度值上限，Min为根据场景设定的深度值下限，限定阈值范围的设计可以从一定程度上过滤无效信息，此外可以实现全局的归一化，并非针对单一图像进行归一化，使得数据更加标准化。归一化后的值扩大255倍，调整至RGB通道值的尺度，使其满足RGD融合的条件。由于设备的限制，点云经常存在部分数据缺失，从而无法得到完整的深度图。本发明中针对此问题利用深度补全的方法，制作了相应的mask文件，并利用OpenCV中的NS方法进行修复。
将深度图像与RGB实现通道替换，随后将每张图片进行数据扩增，扩增策略：随机上下平移0-50像素，随机旋转0-360°。最终沿中心截取固定大小正方形区域作为训练图像。将训练图像按照9：1的比例划分为训练集和验证集，分别用作模型的训练和模型的测试。
本发明设计的抓取检测模型包括前端的特征提取器和后端的抓取预测器，如图3所示，深度卷积网络在图像分类和目标检测等领域展示了很强的特征提取能力，本发明设计了深度卷积网络作为骨干网络进行特征提取。主要由卷积模块、注意力残差模块和跨级局部模块等组合连接而成。这样的网络设计具有足够的网络深度且包含了跨级连接，具有很强的特征提取能力及效率。
抓取预测器部分，利用了卷积模块和卷积操作进行了抓取框的预测。其中抓取框位置及大小信息进行了直接的回归；抓取质量分数同样利用直接回归的方式，但是在最终输出时进行了sigmoid，将预测得到的抓取质量分数输出范围控制在0-1之间，可以很好的表示抓取置信度；角度则是通过分类的方式进行预测。
本发明模型的损失函数分为三部分，其中Lboxes为boxes损失、LQ为抓取质量分数损失、Langle为角度预测损失，分别对应了网络的三个输出。采用反向传播算法和基于标准梯度的优化算法来优化目标函数的梯度，使得检测得到的抓取框与真实值差异最小化。
Ltoral＝Lboxes+LQ+Langle
根据训练得到抓取检测模型，利用真实图像数据作为网络输入，抓取框的{x，y，0，h，w}五维表示作为输出，并将其转换为抓取框四个顶点信息。同时对抓取框的质量分数进行排序，对质量分数超过设定阈值的抓取框进行保留，并输出质量分数最大的抓取框及实现可视化，如图4展示。随后，利用张正友标定法标定相机的内参、外参，并将图像中的像素点对应到真实世界中的三维坐标信息。
从实验结果可得，在本发明提出的算法相比其他算法具有更高的准确率和效率，在真实场景下展示了良好的效果。
此实施例仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (6)
1.一种基于计算机视觉和深度学***面抓取检测方法，其特征在于，包括：
步骤1：收集或自制抓取数据集，其中包括RGB图像及相应的标注信息，及深度信息；对数据集进行尺度变换、平移、翻转和旋转的数据增强，扩充数据集；
步骤2：根据步骤1得到的扩充后的数据集制作并划分训练数据；利用深度补全算法补全深度图信息，并完成RGB图像与深度信息的融合；对融合图像进行裁剪及缩放，使其满足抓取框的输入格式，并按照9∶1的比例随机划分训练集与验证集，分别用于抓取检测模型的训练和验证；
步骤3：利用训练数据对提出的抓取检测模型进行训练，采用反向传播算法和基于标准梯度的优化算法来优化目标函数的梯度，使得检测得到的抓取框与真实值差异最小化；同时利用验证集对抓取检测模型进行测试，来调整抓取检测模型训练过程中的学习率，并一定程度避免抓取检测模型的过拟合；其中目标函数的定义为：
Ltotal＝Lboxes+LQ+Langle
其中Lboxes为boxes损失、LQ抓取质量分数损失、Langle角度预测损失；
步骤4：根据训练得到的抓取检测模型，利用真实图像数据作为网络输入，抓取质量分数及抓取框五维表示作为抓取检测模型输出，通过排序选取最优并将其转换为抓取框四个顶点信息，实现可视化，最终映射到真实世界坐标；
2.根据权利要求1所述基于计算机视觉和深度学***面抓取检测方法，其特征在于，所述五维抓取表示，在近年的相关工作中得到了广泛的应用；五维抓取表示为把抓取框描述为：
g＝{x，y，θ，h，w}
所述抓取检测模型输出为：
g＝{x，y，θ，h，w，Q}
其中(x，y)为抓取框的中心点，h和w分别为抓取框的高和宽，θ为其相对于图像水平轴的方向，Q为抓取质量分数，用0到1之间的一个数值来评估抓取的可能性，Q越大表示该抓取框的可行性越大。
3.根据权利要求1所述基于计算机视觉和深度学***面抓取检测方法，其特征在于，所述抓取检测模型(网络模型)设计包括前端的特征提取器和后端的抓取预测器；其中特征提取器部分设计包括卷积模块、注意力残差模块和跨级局部模块等模块连接组合。
4.根据权利要求1所述基于计算机视觉和深度学***面抓取检测方法，其特征在于，所述完成RGB图像与深度信息的融合包含了深度信息提取、深度图补全以及RGB图像与补全后的深度图融合为RGD图像，其中RGD图像将作为模型训练数据。
5.根据权利要求1所述基于计算机视觉和深度学***面抓取检测方法，其特征在于，所述完成RGB图像与深度信息的融合，对RGB数据进行训练的方式包括单模态训练方式和多模态训练方式；其中RGD数据使用Depth图像替换RGB图像中的B通道融合而成，这一设计实现了多模态，提供了更多的可利用信息，并在实验中展示了良好的效果；针对数据集中深度信息提取，设计了如下公式：
其中(x，y，z)为点云信息中的坐标，Max为根据场景设定的深度值上限，Min为根据场景设定的深度值下限，限定阈值范围的设计可以从一定程度上过滤无效信息，此外可以实现全局的归一化，并非针对单一图像进行归一化，使得数据更加标准化；归一化后的值扩大255倍，调整至RGB通道值的尺度，使其满足RGD融合的条件。
6.根据权利要求1所述基于计算机视觉和深度学***面抓取检测方法，其特征在于，所述利用验证集对抓取检测模型进行测试，将深度图像与RGB实现通道替换，随后将每张图片进行数据扩增，扩增策略;随机上下平移0-50像素，随机旋转0-360°；最终沿中心截取固定大小正方形区域作为训练图像；利用卷积模块和卷积操作进行了抓取框的预测；其中抓取框位置及大小信息进行了直接的回归；抓取质量分数同样利用直接回归的方式，但是在最终输出时进行了sigmoid，将预测得到的抓取质量分数输出范围控制在0-1之间，可以很好的表示抓取置信度；角度则是通过分类的方式进行预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110207871.0A CN112906797B (zh) | 2021-02-25 | 2021-02-25 | 一种基于计算机视觉和深度学***面抓取检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110207871.0A CN112906797B (zh) | 2021-02-25 | 2021-02-25 | 一种基于计算机视觉和深度学***面抓取检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112906797A CN112906797A (zh) | 2021-06-04 |
| CN112906797B true CN112906797B (zh) | 2024-01-12 |
Family
ID=76108019
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110207871.0A Active CN112906797B (zh) | 2021-02-25 | 2021-02-25 | 一种基于计算机视觉和深度学***面抓取检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112906797B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781538B (zh) * | 2021-07-27 | 2024-02-13 | 武汉中海庭数据技术有限公司 | 一种图像深度信息融合方法、***、电子设备及存储介质 |
| CN113808205B (zh) * | 2021-08-31 | 2023-07-18 | 华南理工大学 | 一种基于检测约束的快速动态目标抓取方法 |
| CN114012722B (zh) * | 2021-11-01 | 2023-05-30 | 苏州科德软体电路板有限公司 | 一种基于深度学习和边缘检测的机械臂抓取目标方法 |
| CN114193446B (zh) * | 2021-11-22 | 2023-04-25 | 上海交通大学宁波人工智能研究院 | 一种基于形态学图像处理的闭环抓取检测方法 |
| CN114358136B (zh) * | 2021-12-10 | 2024-05-17 | 鹏城实验室 | 一种图像数据处理方法、装置、智能终端及存储介质 |
| CN114897039A (zh) * | 2022-03-02 | 2022-08-12 | 华为技术有限公司 | 一种数据处理方法及相关设备 |
| CN114998573B (zh) * | 2022-04-22 | 2024-05-14 | 北京航空航天大学 | 一种基于rgb-d特征深度融合的抓取位姿检测方法 |
| CN115436081B (zh) * | 2022-08-23 | 2023-10-10 | 中国人民解放军63653部队 | 一种目标捡拾性能测试方法 |
| CN115972198B (zh) * | 2022-12-05 | 2023-10-10 | 无锡宇辉信息技术有限公司 | 一种非完全信息条件下的机械臂视觉抓取方法与装置 |
| CN117681211B (zh) * | 2024-01-23 | 2024-07-16 | 哈尔滨工业大学 | 基于深度学习的二指欠驱动机械手爪抓取位姿检测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107204025A (zh) * | 2017-04-18 | 2017-09-26 | 华北电力大学 | 基于视觉感知的自适应服装动画建模方法 |
| CN110211180A (zh) * | 2019-05-16 | 2019-09-06 | 西安理工大学 | 一种基于深度学习的机械臂自主抓取方法 |
| CN111428815A (zh) * | 2020-04-16 | 2020-07-17 | 重庆理工大学 | 一种基于Anchor angle机制的机械臂抓取检测方法 |
| CN111523486A (zh) * | 2020-04-24 | 2020-08-11 | 重庆理工大学 | 一种基于改进CenterNet的机械臂抓取检测方法 |
| CN111695562A (zh) * | 2020-05-26 | 2020-09-22 | 浙江工业大学 | 一种基于卷积神经网络的机器人自主抓取方法 |
| CN111723782A (zh) * | 2020-07-28 | 2020-09-29 | 北京印刷学院 | 基于深度学习的视觉机器人抓取方法及*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3987976B2 (ja) * | 2003-11-25 | 2007-10-10 | 自動車電機工業株式会社 | バックドア自動開閉装置 |
-
2021
- 2021-02-25 CN CN202110207871.0A patent/CN112906797B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107204025A (zh) * | 2017-04-18 | 2017-09-26 | 华北电力大学 | 基于视觉感知的自适应服装动画建模方法 |
| CN110211180A (zh) * | 2019-05-16 | 2019-09-06 | 西安理工大学 | 一种基于深度学习的机械臂自主抓取方法 |
| CN111428815A (zh) * | 2020-04-16 | 2020-07-17 | 重庆理工大学 | 一种基于Anchor angle机制的机械臂抓取检测方法 |
| CN111523486A (zh) * | 2020-04-24 | 2020-08-11 | 重庆理工大学 | 一种基于改进CenterNet的机械臂抓取检测方法 |
| CN111695562A (zh) * | 2020-05-26 | 2020-09-22 | 浙江工业大学 | 一种基于卷积神经网络的机器人自主抓取方法 |
| CN111723782A (zh) * | 2020-07-28 | 2020-09-29 | 北京印刷学院 | 基于深度学习的视觉机器人抓取方法及*** |
Non-Patent Citations (3)
| Title |
|---|
| "Object Detection and Grabbing Based on Machine Vision for Service Robot";Guoliang Zhang;《 2018 IEEE 9th Annual Information Technology, Electronics and Mobile Communication Conference》;全文 * |
| "基于RGB-D图像的机械臂抓取位姿检测";张凯宇;《中国优秀硕士学位论文全文数据库 信息科技辑》;全文 * |
| 一种基于深度学习的机械臂抓取方法;杜学丹;蔡莹皓;鲁涛;王硕;闫哲;;机器人(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112906797A (zh) | 2021-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112906797B (zh) | 一种基于计算机视觉和深度学***面抓取检测方法 | |
| JP6011102B2 (ja) | 物体姿勢推定方法 | |
| CN109986560B (zh) | 一种面向多目标种类的机械臂自适应抓取方法 | |
| CN111085997A (zh) | 基于点云获取和处理的抓取训练方法及*** | |
| CN110796700B (zh) | 基于卷积神经网络的多物体抓取区域定位方法 | |
| CN114952809B (zh) | 工件识别和位姿检测方法、***及机械臂的抓取控制方法 | |
| CN115816460B (zh) | 一种基于深度学习目标检测与图像分割的机械手抓取方法 | |
| CN109444146A (zh) | 一种工业加工产品的缺陷检测方法、装置及设备 | |
| WO2022021156A1 (zh) | 用于机器人抓取三维物体的方法和装置 | |
| CN115070781B (zh) | 一种物体抓取方法及双机械臂协作*** | |
| CN113192128A (zh) | 一种结合自监督学习的机械臂抓取规划方法和*** | |
| CN116984269A (zh) | 一种基于图像识别的煤矸石抓取方法及*** | |
| Yin et al. | Overview of robotic grasp detection from 2D to 3D | |
| CN114131603B (zh) | 基于感知增强和场景迁移的深度强化学习机器人抓取方法 | |
| CN113762159B (zh) | 一种基于有向箭头模型的目标抓取检测方法及*** | |
| Ge et al. | Vipose: Real-time visual-inertial 6d object pose tracking | |
| CN115861780B (zh) | 一种基于yolo-ggcnn的机械臂检测抓取方法 | |
| Li et al. | An intelligence image processing method of visual servo system in complex environment | |
| Wang et al. | Unsupervised representation learning for visual robotics grasping | |
| Grzejszczak et al. | Robot manipulator teaching techniques with use of hand gestures | |
| Wanyan et al. | Scene Prediction and Manipulator Grasp Pose Estimation Based on YOLO-GraspNet | |
| Huang et al. | Intelligent humanoid mobile robot with embedded control and stereo visual feedback | |
| Mohammed et al. | Color matching based approach for robotic grasping | |
| CN115909197A (zh) | 一种基于注意力机制的多尺度融合机器人抓取检测方法 | |
| CN115194774A (zh) | 一种基于多目视觉的双机械臂抓握***控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |