CN109702741A - 基于自监督学习神经网络的机械臂视觉抓取***及方法 - Google Patents
基于自监督学习神经网络的机械臂视觉抓取***及方法 Download PDFInfo
- Publication number
- CN109702741A CN109702741A CN201811608471.5A CN201811608471A CN109702741A CN 109702741 A CN109702741 A CN 109702741A CN 201811608471 A CN201811608471 A CN 201811608471A CN 109702741 A CN109702741 A CN 109702741A
- Authority
- CN
- China
- Prior art keywords
- pose
- module
- mechanical arm
- neural network
- crawl
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
本公开提供了一种基于自监督学***面位姿到立***姿获取模块,与所述景深图像融合,获取立***姿;机械臂控制模块获取所述立***姿,并根据所述立***姿实现机械臂抓取操作。本公开不仅可以识别出所需抓取物体的大致轮廓位置,而且利用带全连接层的神经网络进一步进行精确抓取位置和抓取角度的计算。
Description
技术领域
本公开涉及机械臂技术领域,尤其涉及一种基于自监督学习神经网络的机械臂视觉抓取***及方法。
背景技术
机械臂是能模仿人手和臂的某些动作功能,用以按固定程序抓取,搬运物件或者操作工具的自动操作装置。机械臂可以代替人的繁重劳动以实现生产的机械化和自动化,能在有害环境下操作以保护人身安全,因而广泛应用与机械制造,冶金,轻工和原子能等领域。
工业上,机械臂抓取操作大多采用传统示教的方式。然而对于一个全新的操作物体或者一个全新的操作环境,就需要对机械臂重新进行人工示教。随着机器视觉的发展与应用,越来越多基于视觉的智能化机械臂抓取位姿计算方法被提出。这些方法大体上可以分为两类,第一类方法基于机器学习,第二类方法则基于模板匹配。
基于机器学习的计算方法通过学习的方式处理视觉图像中的特征,对抓取的位姿做出估计。该类方法依赖于被抓取物体的表面纹理信息,对于纹理信息丰富的物体具有较好的抓取位姿计算结果。然而,该方法在遇到表面缺少纹理信息的抓取物体时效果显然不理想。而基于模板匹配的方法则是将被抓取物体的轮廓信息与模板库中的模板轮廓进行匹配,从而根据最佳匹配模板的抓取位姿来估计被抓取物体的位姿。此类方法不再基于物体表面的纹理信息,只需物体的轮廓即可。因此,该类方法能够改善纹理缺失的物体抓取,却对于轮廓部分受遮挡的物体易出现错误估计的情况。此外,现有的方法仅基于机器视觉,却没有考虑到被抓取物体的实际质量分布这一实际抓取中的重要影响因素。
发明内容
(一)要解决的技术问题
本公开提供了一种基于自监督学习神经网络的机械臂视觉抓取***及方法,以至少部分解决以上所提出的技术问题。
(二)技术方案
根据本公开的一个方面,提供了一种基于自监督学习神经网络的机械臂视觉抓取***,包括:景深摄像头、实例分割模块、位姿估计神经网络模块、立***姿获取模块及机械臂控制模块,其中,
所述景深摄像头输出色彩图像到实例分割模块,输出景深图像到立***姿获取模块;
所述实例分割模块将分类、框体或分割信息的至少一种输入位姿估计神经网络模块;
所述位姿估计神经网络模块再输出平面位姿到立***姿获取模块,与所述景深图像融合,获取立***姿;
机械臂控制模块获取所述立***姿,并根据所述立***姿实现机械臂抓取操作。
在一些实施例中,所述实例分割模块主要采用ResNet-101的残差神经网络为骨架来提取视觉图像所对应的特征图,并将建议框生成网络生成的建议框映射到特征图中对应的区域特征,对该区域特征进行回归,得到该区域特征中物体的位置信息;该区域特征的另一分支则通过特征金字塔网络后实现图像在一预定分辨率上的分割,代表被抓取物体在图像中的具体轮廓信息。
在一些实施例中,所述位姿估计神经网络模块包括由五层卷积层和两层全连接层组成的位姿估计神经网络,其输入为实例分割模块得到的具体轮廓信息,所述位姿估计神经网络模块将所述具体轮廓内的像素点作为抓取位置进行采样。
在一些实施例中,所述位姿估计神经网络对以抓取位置为中心的固定尺寸的图像进行特征提取。
在一些实施例中,所述位姿估计通过得分函数来获得最佳抓取位姿。
根据本公开的另一个方面,提供了一种基于自监督学习神经网络的机械臂视觉抓取方法,包括:
S1,景深摄像头获取视觉图像,将其中的色彩图像输入实例分割模块进行实例分割,获取被抓取物体的分类、框体或分割信息的至少一种;
S2,将被抓取物体的分类、框体或分割信息的至少一种输入位姿估计神经网络模块,得到被抓取物体的平面位姿;
S3,景深摄像头获取视觉图像中的景深图像输入立***姿获取模块,与所述平面位姿融合,获取立***姿;
S4,将立***姿输入所述机械臂控制模块,并根据所述立***姿实现机械臂的抓取操作。
在一些实施例中,所述步骤S1中,景深摄像头获取视觉图像后,实例分割模块对其中的色彩图像进行实例分割,通过卷积神经网络识别并筛选出所需抓取的物体,对图像进行分割得到物体的被抓取物体的轮廓信息。
在一些实施例中,所述步骤S2中,将物体的轮廓作为位姿估计神经网络模块的输入,把轮廓内的像素点作为抓取位置进行采样;对以抓取位置为中心的固定尺寸的图像进行特征提取,并在每个抓取位置对抓取角度从0°到170°,以10°为步长进行采样,并通过softmax损失函数来选择最高得分所对应的抓取位置和抓取角度作为抓取的具***姿。
在一些实施例中,所述位姿估计神经网络模块中的神经网络由机械臂自监督学习训练,训练所用数据由机械臂实际抓取标注,所训练的网络考虑被抓取物体的实际质量分布。
在一些实施例中,所述步骤S3中,得到平面位姿后,融合景深图像得到被抓取物体的立***姿,在不同坐标系下的位姿转化后,输出立***姿,提供给机械臂控制模块。
(三)有益效果
从上述技术方案可以看出,本公开基于自监督学习神经网络的机械臂视觉抓取***及方法至少具有以下有益效果其中之一:
(1)本公开的方法不仅可以识别出所需抓取物体的大致轮廓位置,而且利用带全连接层的神经网络进一步进行精确抓取位置和抓取角度的计算;
(2)本公开的神经网络由机械臂自监督学习训练,所训练的神经网络考虑了被抓取物体的实际质量分布这一抓取的重要特征,以提高抓取的成功率;
(3)本公开将第一个神经网络的输出,即所需抓取物体的大致轮廓位置作为第二个网络的输入,在物体轮廓内进行抓取位置的采样,通过函数进行打分,选取得分最高的采样结果,能够提供精确的抓取位姿。
附图说明
图1为本公开实施例基于自监督学习神经网络的机械臂视觉抓取***的拓扑结构示意图。
图2为本公开实施例基于自监督学习神经网络的机械臂视觉抓取***的实例分割模块结构示意图。
图3为本公开实施例基于自监督学习神经网络的机械臂视觉抓取方法的流程图。
具体实施方式
本公开提供了一种基于自监督学习神经网络的机械臂视觉抓取***及方法,包括获取需要抓取物体的视觉图像,神经网络回归抓取物体的大致位置以及抓取姿态的精确估计。卷积神经网络首先识别物体并回归得到抓取物体在视觉图像中的大致轮廓位置。然后,在物体轮廓内采样不同的抓取位置以及抓取角度,通过神经网络的全连接层后对各个位置角度进行打分,将得分最高所对应的位置与角度作为机械臂抓取物体所选取的精确姿态。其中,神经网络的权重由机械臂自监督训练得到,考虑了被抓取物体的实际密度分布。利用该机械臂抓取方法,可以有效减小抓取采样的范围,克服被抓取物体部分遮挡和纹理缺失的问题,提高实际抓取精度。
为使本公开的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本公开进一步详细说明。
本公开某些实施例于后方将参照所附附图做更全面性地描述,其中一些但并非全部的实施例将被示出。实际上,本公开的各种实施例可以由许多不同形式实现,而不应被解释为限于此处所阐述的实施例;相对地,提供这些实施例使得本公开满足适用的法律要求。
在本公开的一个示例性实施例中,提供了一种基于自监督学***面位姿到立***姿获取模块,与所述景深图像融合,获取立***姿,输入到机械臂控制模块。
本公开的方法不仅可以识别出所需抓取物体的大致轮廓位置,而且利用带全连接层的神经网络进一步进行精确抓取位置和抓取角度的计算。
具体地,本公开平面位姿的获取主要由实例分割和位姿估计两个神经网络完成。图2为本公开实施例基于自监督学习神经网络的机械臂视觉抓取***的实例分割模块结构示意图。如图2所示,实例分割模块主要采用ResNet-101的残差神经网络为骨架来提取视觉图像所对应的特征图,并将建议框生成网络生成的建议框映射到特征图中对应的区域,再通过ROIAlign网络将该区域对应的特征图转化为向量,所述ROIAlign网络输出的向量分为两路,一路对该区域特征向量进行回归,得到该区域中物体的类别和用框体表示的位置信息;该区域特征向量的另一路则通过特征金字塔网络后实现图像在某一分辨率上的分割,代表被抓取物体在图像中的具体轮廓信息。
实例分割模块得到的具体轮廓信息作为输入提供给位姿估计神经网络模块,位姿估计神经网络模块在轮廓内进行像素采样,将以采样点为中心的一块图像区域输入到由五层卷积层和两层全连接层组成的神经网络。该神经网络还对每个采样点从从0°到170°,以10°为步长对抓取角度进行采样,因此该网络也可以视为对每个抓取位置进行了一个18类的分类的操作。使用softmax损失函数对结果进行打分,最终选取所有采样结果中得分最高所对应的抓取位置和角度作为机械臂操作的精准位姿。
本公开的***将第一个神经网络的输出,即所需抓取物体的大致轮廓位置作为第二个网络的输入,在物体轮廓内进行抓取位置的采样,通过函数进行打分,选取得分最高的采样结果作为精确的抓取位姿。
立***置获取模块得到平面位姿后,融合景深图像可得到被抓取物体的立***姿,在不同坐标系下的位姿转化后,将输出的位姿提供给机械臂控制模块,即可实现机械臂的具体抓取操作。
在本公开的一个示例性实施例中,提供了一种基于自监督学习神经网络的机械臂视觉抓取方法。图3为本公开实施例基于自监督学习神经网络的机械臂视觉抓取方法的流程图。如图3所示,所述方法包括:
S1,景深摄像头获取视觉图像,将其中的色彩图像输入实例分割模块进行实例分割,获取被抓取物体的分类/框体/分割信息;
S2,将被抓取物体的分类/框体/分割信息输入位姿估计神经网络模块,得到被抓取物体的平面位姿;
S3,景深摄像头获取视觉图像中的景深图像输入立***姿获取模块,与所述平面位姿融合,获取立***姿;
S4,将立***姿输入所述机械臂控制模块,对机械臂抓取操作进行控制。
具体地,所述步骤S1中,景深摄像头获取视觉图像后,实例分割模块对其中的色彩图像进行实例分割,通过卷积神经网络识别并筛选出所需抓取的物体,对图像进行分割得到物体的被抓取物体的轮廓信息。
所述步骤S2中,将物体的轮廓作为位姿估计神经网络模块的输入,把轮廓内的像素点作为抓取位置进行采样。对以抓取位置为中心的固定尺寸的图像进行特征提取,并在每个抓取位置对抓取角度从0°到170°,以10°为步长进行采样,即将角度估计视为一个18类的分类问题,通过一个打分函数来选择最高得分所对应的抓取位置和抓取角度作为抓取的具***姿。位姿估计神经网络模块包含卷积层和全连接层,通过得分函数来获得最佳抓取位姿。
在本发明中,训练所用数据并非人工标注,而是由机械臂实际抓取标注,因此可认为整个过程为自监督学习。由于本发明的神经网络由机械臂自监督学习训练,所训练的网络考虑了被抓取物体的实际质量分布这一抓取的重要特征,可以提高抓取的成功率。
所述步骤S3中,得到平面位姿后,融合景深图像可得到被抓取物体的立***姿,在不同坐标系下的位姿转化后。
所述步骤S4中,将输出的位姿提供给机械臂控制模块,即可实现机械臂的具体抓取操作。
为了达到简要说明的目的,上述实施例1中任何可作相同应用的技术特征叙述皆并于此,无需再重复相同叙述。
至此,已经结合附图对本公开实施例进行了详细描述。需要说明的是,在附图或说明书正文中,未绘示或描述的实现方式,均为所属技术领域中普通技术人员所知的形式,并未进行详细说明。此外,上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式,本领域普通技术人员可对其进行简单地更改或替换。
还需要说明的是,实施例中提到的方向用语,例如“上”、“下”、“前”、“后”、“左”、“右”等,仅是参考附图的方向,并非用来限制本公开的保护范围。贯穿附图,相同的元素由相同或相近的附图标记来表示。在可能导致对本公开的理解造成混淆时,将省略常规结构或构造。
并且图中各部件的形状和尺寸不反映真实大小和比例,而仅示意本公开实施例的内容。另外,在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。
除非有所知名为相反之意,本说明书及所附权利要求中的数值参数是近似值,能够根据通过本公开的内容所得的所需特性改变。具体而言,所有使用于说明书及权利要求中表示组成的含量、反应条件等等的数字,应理解为在所有情况中是受到「约」的用语所修饰。一般情况下,其表达的含义是指包含由特定数量在一些实施例中±10%的变化、在一些实施例中±5%的变化、在一些实施例中±1%的变化、在一些实施例中±0.5%的变化。
再者,单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。
此外,除非特别描述或必须依序发生的步骤,上述步骤的顺序并无限制于以上所列,且可根据所需设计而变化或重新安排。并且上述实施例可基于设计及可靠度的考虑,彼此混合搭配使用或与其他实施例混合搭配使用,即不同实施例中的技术特征可以自由组合形成更多的实施例。
在此提供的算法和显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述,构造这类***所要求的结构是显而易见的。此外,本公开也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本公开的内容,并且上面对特定语言所做的描述是为了披露本公开的最佳实施方式。
本公开可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。本公开的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本公开实施例的相关设备中的一些或者全部部件的一些或者全部功能。本公开还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本公开的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。并且,在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。
类似地,应当理解,为了精简本公开并帮助理解各个公开方面中的一个或多个,在上面对本公开的示例性实施例的描述中,本公开的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本公开要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,公开方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本公开的单独实施例。
以上所述的具体实施例,对本公开的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本公开的具体实施例而已,并不用于限制本公开,凡在本公开的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
Claims (10)
1.一种基于自监督学习神经网络的机械臂视觉抓取***,包括:景深摄像头、实例分割模块、位姿估计神经网络模块、立***姿获取模块及机械臂控制模块,其中,
所述景深摄像头输出色彩图像到实例分割模块,输出景深图像到立***姿获取模块;
所述实例分割模块将分类、框体或分割信息的至少一种输入位姿估计神经网络模块;
所述位姿估计神经网络模块再输出平面位姿到立***姿获取模块,与所述景深图像融合,获取立***姿;
机械臂控制模块获取所述立***姿,并根据所述立***姿实现机械臂抓取操作。
2.根据权利要求1所述的机械臂视觉抓取***,其中,所述实例分割模块主要采用ResNet-101的残差神经网络为骨架来提取视觉图像所对应的特征图,并将建议框生成网络生成的建议框映射到特征图中对应的区域,并对区域特征进行回归,得到该区域特征中物体的位置信息;该区域特征的另一分支则通过特征金字塔网络后实现图像在一预定分辨率上的分割,代表被抓取物体在图像中的具体轮廓信息。
3.根据权利要求2所述的机械臂视觉抓取***,其中,所述位姿估计神经网络模块包括由五层卷积层和两层全连接层组成的位姿估计神经网络,其输入为实例分割模块得到的具体轮廓信息,所述位姿估计神经网络模块将所述具体轮廓内的像素点作为抓取位置进行采样。
4.根据权利要求3所述的机械臂视觉抓取***,其中,所述位姿估计神经网络对以抓取位置为中心的固定尺寸的图像进行特征提取。
5.根据权利要求4所述的机械臂视觉抓取***,其中,所述位姿估计通过得分函数来获得最佳抓取位姿。
6.一种基于自监督学习神经网络的机械臂视觉抓取方法,包括:
S1,景深摄像头获取视觉图像,将其中的色彩图像输入实例分割模块进行实例分割,获取被抓取物体的分类、框体或分割信息的至少一种;
S2,将被抓取物体的分类、框体或分割信息的至少一种输入位姿估计神经网络模块,得到被抓取物体的平面位姿;
S3,景深摄像头获取视觉图像中的景深图像输入立***姿获取模块,与所述平面位姿融合,获取立***姿;
S4,将立***姿输入所述机械臂控制模块,并根据所述立***姿实现机械臂的抓取操作。
7.根据权利要求6所述的机械臂视觉抓取方法,所述步骤S1中,景深摄像头获取视觉图像后,实例分割模块对其中的色彩图像进行实例分割,通过卷积神经网络识别并筛选出所需抓取的物体,对图像进行分割得到物体的被抓取物体的轮廓信息。
8.根据权利要求7所述的机械臂视觉抓取方法,所述步骤S2中,将物体的轮廓作为位姿估计神经网络模块的输入,把轮廓内的像素点作为抓取位置进行采样;对以抓取位置为中心的固定尺寸的图像进行特征提取,并在每个抓取位置对抓取角度从0°到170°,以10°为步长进行采样,并通过softmax损失函数来选择最高得分所对应的抓取位置和抓取角度作为抓取的具***姿。
9.根据权利要求8所述的机械臂视觉抓取方法,所述位姿估计神经网络模块中的神经网络由机械臂自监督学习训练,训练所用数据由机械臂实际抓取标注,所训练的网络考虑被抓取物体的实际质量分布。
10.根据权利要求9所述的机械臂视觉抓取方法,所述步骤S3中,得到平面位姿后,融合景深图像得到被抓取物体的立***姿,在不同坐标系下的位姿转化后,输出立***姿,提供给机械臂控制模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811608471.5A CN109702741B (zh) | 2018-12-26 | 2018-12-26 | 基于自监督学习神经网络的机械臂视觉抓取***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811608471.5A CN109702741B (zh) | 2018-12-26 | 2018-12-26 | 基于自监督学习神经网络的机械臂视觉抓取***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109702741A true CN109702741A (zh) | 2019-05-03 |
CN109702741B CN109702741B (zh) | 2020-12-18 |
Family
ID=66258451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811608471.5A Active CN109702741B (zh) | 2018-12-26 | 2018-12-26 | 基于自监督学习神经网络的机械臂视觉抓取***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109702741B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110335314A (zh) * | 2019-06-24 | 2019-10-15 | 华中科技大学 | 基于目标物体的二维图像预测目标物体实时位姿的方法 |
CN110378325A (zh) * | 2019-06-20 | 2019-10-25 | 西北工业大学 | 一种机器人抓取过程中的目标位姿识别方法 |
CN110722556A (zh) * | 2019-10-17 | 2020-01-24 | 苏州恒辉科技有限公司 | 一种基于强化学习的可移动机械臂控制***及方法 |
CN111003380A (zh) * | 2019-12-25 | 2020-04-14 | 深圳蓝胖子机器人有限公司 | 一种智能回收垃圾的方法、***、设备 |
CN111240195A (zh) * | 2020-01-08 | 2020-06-05 | 北京迈格威科技有限公司 | 基于机器视觉的自动控制模型训练、目标物回收方法及装置 |
CN111260649A (zh) * | 2020-05-07 | 2020-06-09 | 常州唯实智能物联创新中心有限公司 | 一种近距离机械臂感知与校准方法 |
CN111251294A (zh) * | 2020-01-14 | 2020-06-09 | 北京航空航天大学 | 一种基于视觉位姿感知和深度强化学习的机器人抓取方法 |
CN111331599A (zh) * | 2020-03-02 | 2020-06-26 | 上海媒智科技有限公司 | 一种基于机械臂的物品自动定向抓取方法及*** |
CN111360862A (zh) * | 2020-02-29 | 2020-07-03 | 华南理工大学 | 一种基于卷积神经网络的生成最佳抓取位姿的方法 |
CN112560692A (zh) * | 2020-12-17 | 2021-03-26 | 华侨大学 | 一种基于深度学习的金针菇分类***及方法 |
CN112734727A (zh) * | 2021-01-11 | 2021-04-30 | 安徽理工大学 | 一种基于改进深度神经网络的苹果采摘方法 |
CN112883984A (zh) * | 2021-02-26 | 2021-06-01 | 山东大学 | 一种基于特征匹配的机械臂抓取***与方法 |
CN113245235A (zh) * | 2021-04-16 | 2021-08-13 | 嘉联支付有限公司 | 一种基于3d视觉的商品分类方法及装置 |
JP2023519012A (ja) * | 2020-03-27 | 2023-05-09 | アークソフト コーポレイション リミテッド | 画像処理方法及び装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070009159A1 (en) * | 2005-06-24 | 2007-01-11 | Nokia Corporation | Image recognition system and method using holistic Harr-like feature matching |
WO2014117446A1 (zh) * | 2013-02-02 | 2014-08-07 | 浙江大学 | 基于单个视频摄像机的实时人脸动画方法 |
CN106737673A (zh) * | 2016-12-23 | 2017-05-31 | 浙江大学 | 一种基于深度学习的端到端的机械臂控制的方法 |
CN106874914A (zh) * | 2017-01-12 | 2017-06-20 | 华南理工大学 | 一种基于深度卷积神经网络的工业机械臂视觉控制方法 |
CN108171748A (zh) * | 2018-01-23 | 2018-06-15 | 哈工大机器人(合肥)国际创新研究院 | 一种面向机器人智能抓取应用的视觉识别与定位方法 |
CN108280856A (zh) * | 2018-02-09 | 2018-07-13 | 哈尔滨工业大学 | 基于混合信息输入网络模型的未知物体抓取位姿估计方法 |
CN108648233A (zh) * | 2018-03-24 | 2018-10-12 | 北京工业大学 | 一种基于深度学习的目标识别与抓取定位方法 |
CN108885715A (zh) * | 2016-03-03 | 2018-11-23 | 谷歌有限责任公司 | 用于机器人抓取的深度机器学习方法和装置 |
-
2018
- 2018-12-26 CN CN201811608471.5A patent/CN109702741B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070009159A1 (en) * | 2005-06-24 | 2007-01-11 | Nokia Corporation | Image recognition system and method using holistic Harr-like feature matching |
WO2014117446A1 (zh) * | 2013-02-02 | 2014-08-07 | 浙江大学 | 基于单个视频摄像机的实时人脸动画方法 |
CN108885715A (zh) * | 2016-03-03 | 2018-11-23 | 谷歌有限责任公司 | 用于机器人抓取的深度机器学习方法和装置 |
CN106737673A (zh) * | 2016-12-23 | 2017-05-31 | 浙江大学 | 一种基于深度学习的端到端的机械臂控制的方法 |
CN106874914A (zh) * | 2017-01-12 | 2017-06-20 | 华南理工大学 | 一种基于深度卷积神经网络的工业机械臂视觉控制方法 |
CN108171748A (zh) * | 2018-01-23 | 2018-06-15 | 哈工大机器人(合肥)国际创新研究院 | 一种面向机器人智能抓取应用的视觉识别与定位方法 |
CN108280856A (zh) * | 2018-02-09 | 2018-07-13 | 哈尔滨工业大学 | 基于混合信息输入网络模型的未知物体抓取位姿估计方法 |
CN108648233A (zh) * | 2018-03-24 | 2018-10-12 | 北京工业大学 | 一种基于深度学习的目标识别与抓取定位方法 |
Non-Patent Citations (2)
Title |
---|
杜学丹: "一种基于深度学习的机械臂抓取方法", 《机器人》 * |
白成超: "结合深度学习的机械臂视觉抓取控制", 《载人航天》 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110378325A (zh) * | 2019-06-20 | 2019-10-25 | 西北工业大学 | 一种机器人抓取过程中的目标位姿识别方法 |
CN110378325B (zh) * | 2019-06-20 | 2022-03-15 | 西北工业大学 | 一种机器人抓取过程中的目标位姿识别方法 |
CN110335314A (zh) * | 2019-06-24 | 2019-10-15 | 华中科技大学 | 基于目标物体的二维图像预测目标物体实时位姿的方法 |
CN110722556A (zh) * | 2019-10-17 | 2020-01-24 | 苏州恒辉科技有限公司 | 一种基于强化学习的可移动机械臂控制***及方法 |
CN111003380A (zh) * | 2019-12-25 | 2020-04-14 | 深圳蓝胖子机器人有限公司 | 一种智能回收垃圾的方法、***、设备 |
CN111240195A (zh) * | 2020-01-08 | 2020-06-05 | 北京迈格威科技有限公司 | 基于机器视觉的自动控制模型训练、目标物回收方法及装置 |
CN111251294A (zh) * | 2020-01-14 | 2020-06-09 | 北京航空航天大学 | 一种基于视觉位姿感知和深度强化学习的机器人抓取方法 |
CN111360862A (zh) * | 2020-02-29 | 2020-07-03 | 华南理工大学 | 一种基于卷积神经网络的生成最佳抓取位姿的方法 |
CN111360862B (zh) * | 2020-02-29 | 2023-03-24 | 华南理工大学 | 一种基于卷积神经网络的生成最佳抓取位姿的方法 |
CN111331599A (zh) * | 2020-03-02 | 2020-06-26 | 上海媒智科技有限公司 | 一种基于机械臂的物品自动定向抓取方法及*** |
JP2023519012A (ja) * | 2020-03-27 | 2023-05-09 | アークソフト コーポレイション リミテッド | 画像処理方法及び装置 |
JP7448679B2 (ja) | 2020-03-27 | 2024-03-12 | アークソフト コーポレイション リミテッド | 画像処理方法及び装置 |
CN111260649A (zh) * | 2020-05-07 | 2020-06-09 | 常州唯实智能物联创新中心有限公司 | 一种近距离机械臂感知与校准方法 |
CN112560692A (zh) * | 2020-12-17 | 2021-03-26 | 华侨大学 | 一种基于深度学习的金针菇分类***及方法 |
CN112560692B (zh) * | 2020-12-17 | 2023-06-02 | 华侨大学 | 一种基于深度学习的金针菇分类***及方法 |
CN112734727A (zh) * | 2021-01-11 | 2021-04-30 | 安徽理工大学 | 一种基于改进深度神经网络的苹果采摘方法 |
CN112883984A (zh) * | 2021-02-26 | 2021-06-01 | 山东大学 | 一种基于特征匹配的机械臂抓取***与方法 |
CN113245235A (zh) * | 2021-04-16 | 2021-08-13 | 嘉联支付有限公司 | 一种基于3d视觉的商品分类方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109702741B (zh) | 2020-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109702741A (zh) | 基于自监督学习神经网络的机械臂视觉抓取***及方法 | |
Lin et al. | Using synthetic data and deep networks to recognize primitive shapes for object grasping | |
CN105069746B (zh) | 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其*** | |
Ueda et al. | A hand-pose estimation for vision-based human interfaces | |
Batchelor | Intelligent image processing in Prolog | |
CN107066935A (zh) | 基于深度学习的手部姿态估计方法及装置 | |
CN109086683A (zh) | 一种基于点云语义增强的人手姿态回归方法和*** | |
CN106737692A (zh) | 一种基于深度投影的机械手爪抓取规划方法及控制装置 | |
CN108764066A (zh) | 一种基于深度学习的快件分拣操作规范检测方法 | |
CN106874914A (zh) | 一种基于深度卷积神经网络的工业机械臂视觉控制方法 | |
CN107886089A (zh) | 一种基于骨架图回归的三维人体姿态估计的方法 | |
CN109325398A (zh) | 一种基于迁移学习的人脸属性分析方法 | |
Josifovski et al. | Object detection and pose estimation based on convolutional neural networks trained with synthetic data | |
CN108510594A (zh) | 虚拟试衣方法、装置及终端设备 | |
CN104866860A (zh) | 一种室内人体行为识别方法 | |
CN107679462A (zh) | 一种基于小波的深度多特征融合分类方法 | |
Ze et al. | Gnfactor: Multi-task real robot learning with generalizable neural feature fields | |
CN109341703A (zh) | 一种全周期采用CNNs特征检测的视觉SLAM算法 | |
CN111178170B (zh) | 一种手势识别方法和一种电子设备 | |
CN110472691A (zh) | 目标定位模块训练方法、装置、机器人及存储介质 | |
CN109446952A (zh) | 一种钢琴监督方法、装置、计算机设备及存储介质 | |
CN109409327A (zh) | 基于端到端深度神经网络的rru模块物件位姿检测方法 | |
CN110443862A (zh) | 基于无人机的岩性填图方法及***、电子设备 | |
CN108805987A (zh) | 基于深度学习的混合跟踪方法及装置 | |
CN110097599A (zh) | 一种基于部件模型表达的工件位姿估计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |