CN114942591A - 视觉伺服方法、装置 - Google Patents
视觉伺服方法、装置 Download PDFInfo
- Publication number
- CN114942591A CN114942591A CN202210389625.6A CN202210389625A CN114942591A CN 114942591 A CN114942591 A CN 114942591A CN 202210389625 A CN202210389625 A CN 202210389625A CN 114942591 A CN114942591 A CN 114942591A
- Authority
- CN
- China
- Prior art keywords
- pose
- neural network
- camera
- loss function
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 42
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 29
- 238000013528 artificial neural network Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims description 12
- 210000002569 neuron Anatomy 0.000 claims description 7
- 238000004088 simulation Methods 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000013178 mathematical model Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000004807 localization Effects 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 14
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 35
- 230000002159 abnormal effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
- G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Robotics (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种视觉伺服方法、装置。该方法包括：创建描述距离与位姿关系的三维环境、获取训练数据集、构建卷积神经网络、定义损失函数、使用训练数据集对构建的卷积神经网络在损失函数的约束下进行训练，然后输入相机观测图像到训练好的卷积神经网络预测相机位姿，根据位姿进行伺服控制。本发明解决了相关技术中已有的神经网络通过预测相机与目标的相对位姿实现伺服控制，而带来的特征设计复杂与预测精度较低的技术问题，达到了提高伺服预测精度的技术效果。
Description
技术领域
本发明涉及深度神经网络在计算机视觉伺服方面的应用领域，尤其涉及一种基于深度学习卷积神经网络的视觉伺服方法，更具体地说是基于图像相似性的卷积神经网络预测相对位姿的视觉伺服方法。
背景技术
视觉伺服是一种通过视觉信息估计相机和目标位姿或视觉特征误差，以缩小误差为目的对机器人进行动态控制的技术。在生活生产和工业机器人领域中，需要从视觉信息中提取出对机器平台的有效的控制信息应用场景十分广泛，例如机械臂抓取、汽车自动泊车、室内机器人导航、无人机自主降落等。视觉伺服通常分为两类：基于图像的视觉伺服(Image-based visual servoing，IBVS)、基于位姿的视觉伺服(Pose-based visualservoing，PBVS)。
近来，卷积神经网络在图像分类与回归领域中表现突出，它具有优秀的特征提取与语义分割能力，对于图像的尺度、纹理、旋转、光照等变换有较强的鲁棒性，且经过训练的模型具有较强的回归预测精度，这为从单张光学图像中预测位姿提供了可能。视觉伺服过程中，相机位姿的变化会引起观测图像的尺度、旋转等变化，通过大量的数据对模型进行训练后，可以使用模型从当前图像中回归得到相机的位姿信息。该方法既能减少传感器的使用，也可以降低特征设计的复杂度，但是传统的损失函数对于低维、高精度的位姿标签难将模型训练收敛，所以对于位姿预测有必要设计合理有效的损失函数。受相机位姿与观测到的图像具有相关性启发，当网络预测越准确时，观测的图像应更相似。图像之间的误差相比较位姿标签之间的误差在学习过程中具有更强的灵活性，高维图像信息相比较于低维位姿标签向量也更加鲁棒。
所以，本发明在基于深度学习位姿预测的PBVS方案中，提出图像相似性度量相关的损失函数，以及联合L1损失的混合训练策略，实现基于单张图像的位姿预测并进行视觉伺服。
发明内容
要解决的技术问题
本发明实施例提供了一种视觉伺服方法、装置，以至少解决相关技术中需要通过相机参数获取、特征设计、控制律设计实现伺服控制，存在特征设计复杂与预测精度较低的问题。
根据本发明实施例的一个方面，提供了一种视觉伺服方法，包括：获取训练数据集；构建卷积神经网络；所述的卷积神经网络以Resnet-152为基础，分类层通过连接三层神经元数量为2048、1024、6的全连接神经网络组成的；定位损失函数；所述的损失函数由图像相似性函数与回归预测函数组成的混合损失函数；将训练数据集输入卷积神经网络，使用损失函数对网络进行优化训练；输入相机观测图像到训练好的网络，预测相机位姿；根据位姿信息进行机器人视觉伺服控制。
可选地，在V-rep仿真软件环境中根据相机与目标的三维空间数学模型构建描述距离与位姿关系的模拟环境。
可选地，所述的训练数据集：通过相机在不同位姿下观测图像，收集观测值与相机位姿组成训练集。
可选地，所述的卷积神经网络输出为6维的空间位姿信息，其中前3维表示空间位置，后3维表示旋转的欧拉角。
可选地，所述的损失函数表达式：
其中，MSIM(·)表示图像相似性程度，
表示预测位姿中的平移向量，
表示预测位姿中的旋转向量，
表示预测位姿对应的图像，t与θu表示位姿的标签值，n表示批次计算中数据量的大小，Iy表示标签值对应的图像。
可选地，使用网络对观测该张图像相机所处的位姿进行准确估计作为期望位姿，使用PBVS使机械臂末端到达期望位姿。
根据本发明实施例的另一个方面，提供了一种视觉伺服装置，包括：创建模块，用于创建描述距离与位姿关系的模拟环境；获取模块，用于获取训练数据集；构建模块，用于构建卷积神经网络，所述的卷积神经网络以Resnet-152为基础，分类层通过连接三层神经元数量为2048、1024、6的全连接神经网络组成的。
可选地，所述装置还包括：训练模块，训练过程采用了用于预测回归的最小化绝对误差L1损失函数与针对任务需要所提出的图像相似性度量的函数MSIM损失函数进行联合训练，根据所述网络损失更新所述网络模型的参数，至收敛。
本发明实施例中，包括：创建描述距离与位姿关系的三维环境、获取训练数据集、构建卷积神经网络、定义损失函数、使用训练数据集对构建的卷积神经网络在损失函数的约束下进行训练，然后输入相机观测图像到训练好的卷积神经网络预测相机位姿，根据位姿进行伺服控制。本发明解决了相关技术中已有的神经网络通过预测相机与目标的相对位姿实现伺服控制，而带来的特征设计复杂与预测精度较低的技术问题，达到了提高伺服预测精度的技术效果。
现有基于神经网络的视觉伺服方法通过预测相机与目标的相对位姿实现伺服控制，但是存在特征设计复杂与预测精度较低的问题。本发明中通过卷积神经网络与本发明中设计的图像相似性的损失函数，无需经过视觉特征设计，直接输入单张图像直接估计精度较高的相机位姿信息，从而进行视觉伺服。与现有技术相比，本发明的有益效果如下：
1.减少先验参数获取，传感器使用减少；经典视觉伺服中需要通过相机参数获取、特征设计、控制律设计实现伺服控制，本方法中通过三维构建仿真环境，卷积神经网络估计相机位姿，减少了参数获取与特征设计环节。
2.通过深度学习实现单张图片位姿预测，使用图像相似性损失提高预测精度；
3.省去伺服传统特征设计(如点、线特征)环节，实现非结构环境下的视觉伺服。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1深度学习视觉伺服架构图；
图2损失设计示意图；
图3训练数据集分布展示；
图4遮挡数据示意图；
图5预测值对比结果；
图6空间位置可视化对比；
图7伺服控制结果；
图8伺服控制方法流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于限定特定顺序。
本申请实施例提供的视觉伺服方法包括以下步骤：
步骤1.创建三维环境：根据观测图像与机器人平台的相对位姿关系，在V-rep仿真软件环境中根据相机与目标的三维空间数学模型构建描述距离与位姿关系的模拟环境；
步骤2.获取训练数据集：在步骤1创建的三维环境中通过相机在不同位姿下观测图像，收集观测值与相机位姿组成训练集；
步骤3.构建卷积神经网络框架：根据观测图像与预测的位姿信息维数，构建以卷积神经网络Resnet-152为基础，连接三层神经元数量为2048、1024、6的全连接神经网络组成卷积神经网络框架；
步骤4.定义损失函数：定义有图像相似性函数与回归预测函数L1组成的混合损失函数，用于网络的训练，训练过程中加入遮挡噪声提升鲁棒性；
步骤5.训练架构：使用训练数据集与定义的网络架构，用损失函数对网络进行优化训练；
步骤6.输入相机观测图像，预测相机位姿；
步骤7.根据位姿信息，通过基于位置的视觉伺服方法，进行机器人视觉伺服控制。
下面结合具体示例，对本实施例进行举例说明。
本发明构建基于卷积神经网络的位姿预测框架实现视觉伺服，框架图如图1所示。训练后收敛的网络接受输入图像预测输出相机在空间的位姿。给定当前图像Ic，期望图像
网络的输出记为：s＝net(I)，其中net(·)为训练后的网络。s＝(t,θu)是6维向量表示位姿信息，其中t是平移量，θu是旋转量，表示得到当前观测图像Ic的相机位姿信息。
在伺服方案中，将当前位姿信息记为s＝(t,θu)，期望位姿记为s*＝0，误差为e＝s，交互矩阵记为
其中I3×3是单位矩阵，[·]×表示反对称矩阵。伺服任务可以描述为一个最小化位姿差的过程：
根据CNN预测的位姿信息，使用经典控制律
又
从而实现平移和旋转之间的解耦控制
其中R为旋转矩阵。迭代计算速度，最终使得相机到达期望位姿。
将单张图像作为输入进行低维位姿预测，会因为标签的低维、高精度特性导致训练过程中采用传统的回归损失函数不能达到预测效果，将预测标签误差、预测位姿对应的图像与标签图像的相似性之和作为损失进行反向传播，通过对比图像细节，增强网络的可训练性，防止梯度弥散，从而获得更准确的预测值。
损失函数设计如图2所示，相比较常见神经网络实现位姿估计使用单一损失函数进行网络训练。本发明中使用衡量位姿标签值、位姿估计值的损失函数，与衡量标签纸与估计值相对应的图像相似性误差作为反向传播误差，进行网络训练。通过训练收敛后的网络预测位姿信息，然后实现PBVS。针对位姿标签的低维度、高精度的特性，选取以层数多、拟合能力强的残差神经网络ResNet-152为基础框架，移除预训练的分类层后连接的全连接层神经元个数分别为2048、1024、512，最后输出为6维的空间位姿信息，其中前3维表示空间位置，后3维表示旋转的欧拉角。训练过程采用了用于预测回归的最小化绝对误差(L1)损失函数与针对任务需要所提出的图像相似性度量的函数(MSIM)损失函数进行联合训练至收敛。伺服过程输入任意单张图像，使用网络对观测该张图像相机所处的位姿进行准确估计作为期望位姿，最后使用基于位置的视觉伺服方法PBVS使机械臂末端到达期望位姿。
MSIM损失函数定义为：
其中M为每张图像滑动窗口的数量，xi、yi为两张对比图像的像素点，以及相关函数定义如下：
公式(4)中C1、C2为防止分母为0的小数，ωi为高斯平滑的权重。公式(5)针对亮度μx，采用高斯加权平均的方式计算滑动窗口内的亮度。公式(6)针对图像的对比度σx(明暗变化剧烈程度)，即像素的标准差。公式(7)σxy衡量图像的结构相似程度。
L1损失函数，即最小化绝对误差，训练过程中对标签值yi与模型的预测值
进行比较。公式表达为
其中
表示预测标签对应的观测图像。
实验分析
为详细描述该发明提出的算法实验结果，通过图5、6、7将实验结果进行了详细展示。在这部分中，设计了三种模型的遮挡实验。在预测过程中，对测试集数据随机增加灰色方块的遮挡，灰色方块的面积大小按照γ值划分为4个区间，遮挡数据可视化在图4中，遮挡实验的结果在图5中进行展示。每幅子图的第一行是对预测位置的可视化，每一个含箭头的线段都是以标签的三维空间位置为起点，箭头的末端指向预测值。从子图a可以看出，加入小面积遮挡后，L1、L2均出现异常预测值，且偏离正常范围十分远，L1出现的异常值较少，L2出现异常值更多。MSIM预测值误差较小，大多数预测值较为准确。随着遮挡面积增加子图b～d呈现的实验结果可以看出L1、L2预测的异常值大小、数量均呈现上升趋势，MSIM预测值一直处于一定范围内。
每幅子图的第二行是对角度预测的统计，采用散点图和误差线的方式表现。横坐标是测试集的样本序号，纵坐标是预测值，误差线表示预测值与标签值的误差大小。从单个子图中可以看出，L1、L2预测数值异常值较多，且纵坐标数值大，严重偏离标签正常范围。MSIM预测值大部分预测准确。子图a～d随着遮挡面积增大，预测误差增大，但是MSIM预测值区间不存在较大变化。
图6对标签值与预测值的对比结果进行了三维可视化。图7通过多个子图对伺服过程中特征的误差与图像相似性变化进行了描述。同时对开始到结束时观测的图像误差进行了可视化。
本发明实施例还提供了一种视觉伺服装置包括：创建模块，用于创建描述距离与位姿关系的模拟环境；获取模块，用于获取训练数据集；构建模块，用于构建卷积神经网络，所述的卷积神经网络以Resnet-152为基础，分类层通过连接三层神经元数量为2048、1024、6的全连接神经网络组成的。训练模块，训练过程采用了用于预测回归的最小化绝对误差L1损失函数与针对任务需要所提出的图像相似性度量的函数MSIM损失函数进行联合训练，根据所述网络损失更新所述网络模型的参数，至收敛。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明公开的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种视觉伺服方法，其特征在于，包括：
创建三维环境：根据观测图像与机器人平台的相对位姿关系，创建描述距离与位姿关系的模拟环境；
获取训练数据集；
构建卷积神经网络；所述的卷积神经网络以Resnet-152为基础，分类层通过连接三层神经元数量为2048、1024、6的全连接神经网络组成的；
定位损失函数；所述的损失函数由图像相似性函数与回归预测函数组成的混合损失函数；
将训练数据集输入卷积神经网络，使用损失函数对网络进行优化训练；
输入相机观测图像到训练好的网络，预测相机位姿；
根据位姿信息进行机器人视觉伺服控制。
2.根据权利要求1所述的视觉伺服方法，其特征在于，在V-rep仿真软件环境中根据相机与目标的三维空间数学模型构建描述距离与位姿关系的模拟环境。
3.根据权利要求1所述的视觉伺服方法，其特征在于，所述的训练数据集：通过相机在不同位姿下观测图像，收集观测值与相机位姿组成训练集。
4.根据权利要求1所述的视觉伺服方法，其特征在于，所述的卷积神经网络输出为6维的空间位姿信息，其中前3维表示空间位置，后3维表示旋转的欧拉角。
5.根据权利要求1所述的视觉伺服方法，其特征在于，所述的损失函数表达式：
其中，MSIM(·)表示图像相似性程度，
表示预测位姿中的平移向量，
表示预测位姿中的旋转向量，
表示预测位姿对应的图像，t与θu表示位姿的标签值，n表示批次计算中数据量的大小，Iy表示标签值对应的图像。
6.根据权利要求1所述的视觉伺服方法，其特征在于，使用网络对观测该张图像相机所处的位姿进行准确估计作为期望位姿，使用PBVS使机械臂末端到达期望位姿。
7.一种视觉伺服装置，其特征在于，包括：
创建模块，用于创建描述距离与位姿关系的模拟环境；
获取模块，用于获取训练数据集；
构建模块，用于构建卷积神经网络，所述的卷积神经网络以Resnet-152为基础，分类层通过连接三层神经元数量为2048、1024、6的全连接神经网络组成的。
8.根据权利要求7所述的视觉伺服装置，其特征在于，所述装置还包括：
训练模块，训练过程采用了用于预测回归的最小化绝对误差L1损失函数与针对任务需要所提出的图像相似性度量的函数MSIM损失函数进行联合训练，根据所述网络损失更新所述网络模型的参数，至收敛。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210389625.6A CN114942591A (zh) | 2022-04-13 | 2022-04-13 | 视觉伺服方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210389625.6A CN114942591A (zh) | 2022-04-13 | 2022-04-13 | 视觉伺服方法、装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114942591A true CN114942591A (zh) | 2022-08-26 |
Family
ID=82907298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210389625.6A Pending CN114942591A (zh) | 2022-04-13 | 2022-04-13 | 视觉伺服方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114942591A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111360827A (zh) * | 2020-03-06 | 2020-07-03 | 哈尔滨工业大学 | 一种视觉伺服切换控制方法及*** |
| CN111553239A (zh) * | 2020-04-23 | 2020-08-18 | 厦门理工学院 | 一种机器人关节视觉伺服控制方法、终端设备及存储介质 |
| CN112651437A (zh) * | 2020-12-24 | 2021-04-13 | 北京理工大学 | 一种基于深度学习的空间非合作目标位姿估计方法 |
-
2022
- 2022-04-13 CN CN202210389625.6A patent/CN114942591A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111360827A (zh) * | 2020-03-06 | 2020-07-03 | 哈尔滨工业大学 | 一种视觉伺服切换控制方法及*** |
| CN111553239A (zh) * | 2020-04-23 | 2020-08-18 | 厦门理工学院 | 一种机器人关节视觉伺服控制方法、终端设备及存储介质 |
| CN112651437A (zh) * | 2020-12-24 | 2021-04-13 | 北京理工大学 | 一种基于深度学习的空间非合作目标位姿估计方法 |
Non-Patent Citations (1)
| Title |
|---|
| YAOZHEN HE等: "Deep learning-based pose prediction for visual servoing of robotic manipulators using image similarity" * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11565407B2 (en) | Learning device, learning method, learning model, detection device and grasping system | |
| TWI742382B (zh) | 透過電腦執行的、用於車輛零件識別的神經網路系統、透過神經網路系統進行車輛零件識別的方法、進行車輛零件識別的裝置和計算設備 | |
| CN111695562B (zh) | 一种基于卷积神经网络的机器人自主抓取方法 | |
| Wu et al. | Pixel-attentive policy gradient for multi-fingered grasping in cluttered scenes | |
| CN112102405A (zh) | 基于深度强化学习的机器人搅动-抓取组合方法 | |
| US9111172B2 (en) | Information processing device, information processing method, and program | |
| CN114708435B (zh) | 基于语义分割的障碍物尺寸预测与不确定性分析方法 | |
| WO2019192402A1 (zh) | 一种插机方法及插机设备 | |
| US20210304496A1 (en) | Method and system for automatically processing point cloud based on reinforcement learning | |
| CN110097599B (zh) | 一种基于部件模型表达的工件位姿估计方法 | |
| CN113927597A (zh) | 基于深度学习的机器人连接件六自由度位姿估计*** | |
| CN116258937A (zh) | 基于注意力机制的小样本分割方法、装置、终端及介质 | |
| CN115070780A (zh) | 基于数字孪生的工业机器人抓取方法、装置及存储介质 | |
| CN111429481A (zh) | 一种基于自适应表达的目标追踪方法、装置及终端 | |
| CN114942591A (zh) | 视觉伺服方法、装置 | |
| JP7349423B2 (ja) | 学習装置、学習方法、学習モデル、検出装置及び把持システム | |
| Wang et al. | Robot grasping in dense clutter via view-based experience transfer | |
| CN115319739A (zh) | 一种基于视觉机械臂抓取工件方法 | |
| CN110728222B (zh) | 一种用于机械臂抓取***中目标物体的位姿估计方法 | |
| Luo et al. | Robot Visual Servoing Grasping Based on Top-Down Keypoint Detection Network | |
| Cretu et al. | Estimation of deformable object properties from shape and force measurements for virtualized reality applications | |
| Ginargiros et al. | Deep Active Perception for Object Detection using Navigation Proposals | |
| He et al. | Deep Learning-based Mobile Robot Target Object Localization and Pose Estimation Research | |
| CN113012291B (zh) | 基于机械手参数重建对象三维模型的方法和装置 | |
| CN117523549B (zh) | 基于深宽知识蒸馏的三维点云物体识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20220826 |
|
| WD01 | Invention patent application deemed withdrawn after publication |