CN112489117B - 一种单视角点云下基于域迁移的机器人抓取位姿检测方法 - Google Patents
一种单视角点云下基于域迁移的机器人抓取位姿检测方法 Download PDFInfo
- Publication number
- CN112489117B CN112489117B CN202011418811.5A CN202011418811A CN112489117B CN 112489117 B CN112489117 B CN 112489117B CN 202011418811 A CN202011418811 A CN 202011418811A CN 112489117 B CN112489117 B CN 112489117B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- pose
- grabbing
- domain
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013508 migration Methods 0.000 title claims abstract description 33
- 230000005012 migration Effects 0.000 title claims abstract description 33
- 238000001514 detection method Methods 0.000 title claims abstract description 27
- 238000004088 simulation Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000005070 sampling Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000013210 evaluation model Methods 0.000 claims abstract description 8
- 238000002372 labelling Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000005457 optimization Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 abstract description 3
- 230000001788 irregular Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000139306 Platt Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种单视角点云下基于域迁移的机器人抓取位姿检测方法，包括以下步骤：1)通过深度相机获取机器人抓取场景的单视角点云；2)对采集到的点云进行预处理；3)在目标点云上进行均匀随机采样并计算局部标架，获取候选抓取位姿；4)以夹持器中心定义新的坐标系，将抓取位姿编码成多通道投影图像；5)构建以多通道抓取图像作为输入，基于生成对抗网络实现从仿真域到实物域无监督域自适应迁移的抓取位姿评价模型；6)构建大尺度仿真物体数据集，并构建实物数据集，对拓抓取检测的方法进行自动标注，形成训练集和测试集。本发明通过无监督域迁移的方式来缓解数据采集与标注的成本，该方法具有对未知、非规则物体的泛化性能。
Description
技术领域
本发明涉及机器人操作技能学习中的抓取检测领域，具体涉及一种单视角点云下基于域迁移的机器人抓取位姿检测方法。
背景技术
伴随着人工智能的发展，机器人技术领域也发生了飞跃性的进步。现阶段，智能机器人期望具备感知环境和与环境进行交互的能力，在机器人操作技能学习中，机器人环境感知也是必不可少的一环，赋予机器人感知能力也一直是计算机视觉和机器人学科的长期目标。而在机器人操作技能中，抓握技能可以给社会带来巨大的作用，比如完成人类劳动繁重的取放任务，帮助残疾人或老年人完成日常的抓取任务等，所以是最基本的，也是最重要的一种技能。其中，关键技术在于机器人抓取位姿的检测。针对6DoF抓取位姿检测，传统的抓取位姿估计方法需要预先计算场景中物体的位姿并根据模型库中的该已知物体的CAD模型确定抓取位姿，而实际场景中通常物体为未知且不易获取精确的CAD模型。目前，主流的检测方法是基于两阶段抓取检测，即先生成候选抓取位姿再进行评价。主要体现在基于点云的深度学习方法，但这类方法仍然面临困难和挑战：传感器采集到的点云数据包含有较多噪声并且多为残缺的单视角点云，抓取检测算法泛化困难；参与训练的数据集是通过繁琐的重建方法得到的，有些场景难以采集且数据量有限，不容易大规模构建并进行标注，而仿真环境中产生的大规模数据集没有得到充分的利用。
传统的基于模型匹配的方法中一个典型的例子就是Chitta等人提出的ROS抓取框架(见“Chitta S,Jones E,CiocarlieMand Hsiao K,Perception,planning,andexecution for mobile manipulation in unstructuredenvironments,IEEE Roboticsand Automation Magazine 2012”)，将已知物体CAD模型配准到点云上，然后规划一个可行的抓取路线。基于两阶段抓取方法中最为经典的是Pas等人提出的算法(见“ten Pas A andPlatt R,Using geometry to detect graspposes in 3d point clouds,Proceedings ofthe InternationalSymposium on Robotics Research 2015”)，首先通过几何约束来采样一系列抓取候选，然后采用HOG特征对投影图像进行编码，采用支持向量机进行抓取评价。随后，Pas等人进行了优化(见“ten Pas A,Gualtieri M,Saenko K,Platt R,Grasp posedetection in point clouds,IJRR 2017”)，把位姿投影图像的分类器部分替换成深度学习方法，提升了抓取检测的性能。后续也有一些研究基于这种方法，但仍然没有考虑基于点云信息的算法中样本标注以及域迁移问题。
目前针对域迁移的机器人抓取位姿检测方案尚缺，少量用在机器人领域的一些迁移方法也存在于二维图像的检测框架之中，有一些还用到了域增强的策略。而在计算机视觉领域，迁移学习发展迅速，特别是现阶段深度学习热潮中，主要集中在特征的域自适应。因此，借助此领域中先进的域自适应技术来解决抓取检测中的迁移问题，可以大大减小采集样本和标注的代价，并且充分利用仿真环境下廉价的训练数据，提高模型泛化性能。
发明内容
发明目的：针对本领域内现有技术中存在的问题，本发明提供了一种单视角点云下基于域迁移的机器人抓取位姿检测方法，该方法可以实现从仿真域到实物域的无监督特征自适应，从而减小样本标注的代价，充分利用仿真数据，提高模型对新物体的泛化性能。
技术方案：本发明采用如下技术方案：
一种单视角点云下基于域迁移的机器人抓取位姿检测方法，包括如下步骤：
步骤1，通过深度相机获取桌面抓取场景的原始点云；
步骤2，对原始场景点云进行预处理，处理流程包括空间裁剪、平面提取和离群点滤波，得到待抓取物体的目标点云集；
步骤3，根据目标点云计算候选抓取位姿，首先在目标点云集中均匀随机采样，以每个采样点为中心计算邻域内的Darbour局部标架构建基础位姿，然后通过旋转和平移在二维网格中进行搜索拓展，计算最深的抓取位姿并判断有效性，获得最终的候选抓取位姿。
步骤4，对候选抓取位姿进行编码，转换点云坐标系到夹持器中心，通过投影的方式将抓取位姿编码成多通道图像。
步骤5，使用深度学习框架构建域迁移的抓取位姿评价模型，在仿真数据集和实物数据集上通过力闭合和碰撞检测的方式进行标注并训练模型，从而对多通道图像进行概率预测。
步骤6，根据所有候选抓取位姿预测的概率进行排序，选取概率最高的位姿作为机器人执行抓取的位姿。
步骤1中的场景数据为深度相机固定单个视角下采集到的点云数据，场景类型为机器人对桌面上单物体的抓取。
空间裁剪操作是对桌面部分及物体的点云之外的部分进行裁剪，平面提取操作用来去除桌面部分的点云，离群点滤波用于去除由于裁剪和平面提取后遗留的离群点。
步骤3所述的均匀随机采样，是利用同余法生成随机数来获取点云索引。
步骤3所述的以每个采样点为中心计算邻域内的Darbour局部标架构建基础位姿时的邻域表示为半径为r的球内区域。
步骤3所述的候选抓取位姿获取过程为：
(1)在目标点云上随机均匀采样获取采样点集；
(2)对每个采样点在邻域计算基础标架，从而得到基础位姿；
(3)通过对基础位姿旋转和平移进行位姿拓展；
(4)对每个拓展位姿进行碰撞检测，计算最深抓取位姿；
(5)通过对最深抓取位姿对应的夹持区域是否包含点云进行判断，剔除无效抓取候选。
步骤5所述的仿真数据集为3D-NET数据集，而实物数据集是通过KinectFusion算法三维重建得到的。
步骤5所述的域迁移的抓取位姿评价模型包含权重自适应的基础卷积网络、轻量全连接层和生成对抗网络，模型训练时的优化方式采用交替优化的方式，训练的步骤包括：
(1)输入数据包括仿真数据集和实物数据集，对所有网络进行前向计算；
(2)更新判别器D，计算仿真数据集的交叉熵损失、仿真数据的域判别损失、仿真生成数据的域判别损失以及实物生成数据的域判别损失，另外，加入梯度惩罚项来抑制模式坍塌；
(3)更新生成器G，使用仿真数据集经生成器和判别器之后的域判别损失和标签分类交叉熵损失；
(4)更新分类器C，仅使用仿真数据集经过F网络和C网络后的分类交叉熵损失；
(5)更新特征提取器F，使用仿真分类损失、仿真生成数据的标签分类交叉熵损失和实物生成数据的域判别损失。
用来优化判别器D的损失函数为：
其中，N表示批数据的样本数，Dc和Drf分别表示判别器标签分类分支和域判别分支，sn为仿真样本，
和
分别表示生成器的仿真特征合并输入和实物特征合并输入；
用来优化生成器D的损失函数为：
优化分类器C的损失函数为：
其中，
表示分类器的仿真特征输入；
优化特征提取器F的损失函数为：
其中，α和γ分别表示两个损失部分的平衡权重。
在特征提取网络中，加入了SE结构，可以自适应权重，提高模型性能，通过多层卷积操作，减小全连接层数量，可以有效抑制过拟合问题。
有益效果：与现有技术比，本发明公开的一种单视角点云下基于域迁移的机器人抓取位姿检测方法，具有以下有益效果：
1.本发明通过使用固定视角的RGB-D传感器采集单视角点云，简化了传感器的安装难度，降低了成本，而且算法可以检测得到6DoF的抓取位姿，满足了三维空间机器人抓取的操作任务需求，相比平面抓取更有实用性。
2.本发明所需的输入为单视角点云，算法可以应对残缺有噪声的数据，候选抓取生成较为简单有效，通过把抓取位姿编码成多通道图像可以有效利用深度学习模型进行抓取稳定性预测。
3.针对实物域样本难以采集的问题，本发明采用迁移学习中的域自适应技术，在仿真域和实物域数据集上同时训练模型且实物域无需标注，借助生成对抗网络进行对抗学习提取域自适应特征，实现对实物域数据的抓取稳定性预测。可以有效利用海量的仿真数据集信息，并且实物域无需标签，取代了繁杂的扫描重建任务，提高了泛化能力且经济实用。
4.本发明域自适应抓取检测模型中使用了自适应权重的方式对卷积层得到的结果进行调整，并且减小了全连接层的数量，有效的抑制了模型训练时的过拟合问题。
附图说明
图1为本发明公开方法中整体流程图；
图2为点云预处理示意图；
图3为候选抓取位姿编码示意图；
图4为域迁移的抓取检测模型的架构图；
图5为抓取位姿以及相对应的三通道抓取图像；
图6为域迁移的抓取检测模型中生成器生成的类仿真图像。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的具体实施案例做说明。
如图1所示，为本发明公开方法中整体流程图，本发明公开了一种单视角点云下基于域迁移的机器人抓取位姿检测方法，主要包括六个步骤：步骤1，获取抓取场景下的点云图像，采集视角固定且为单一视角；步骤2，点云预处理过程，通过空间裁剪、平面提取和离群点滤波提取目标物体点云；步骤3，候选抓取位姿生成，首先在目标点云集上进行均匀随机采样，然后以采样点建立球领域计算基础标架，对基础位姿进行旋转和平移从而进行拓展，计算每个拓展位姿的最深抓取点来获得候选抓取位姿；步骤4，把每个候选位姿通过投影的方式编码成多通道图像，其中，坐标系从原始点云坐标系变化到夹持器中心；步骤5，构建域迁移的抓取评价模型，并在有标注的仿真域和无标注的实物域数据集上同时进行训练，将训练好的模型直接用于实物域多通道图像，从而得到抓取置信度预测；步骤6，筛选置信度最高的图像对应的位姿作为最终的机器人执行位姿。
本发明的实施，需要用到RGB-D深度传感器和GPU，具体实施过程中采用的是带有Geforce 2080GPU的台式机一个、Kinect V1深度相机一个。
本发明所公开的方法，具体包括以下几个步骤：
步骤1，获取单物体桌面抓取场景下的点云数据；
利用RGB-D深度相机采集抓取场景的点云，并设置为单一固定视角下进行采集，方法中只需要利用点云信息。
步骤2，点云预处理；
如图2所示，首先对整个场景点云进行裁剪，去除周围杂乱场景，然后通过平面提取去除桌面点云信息，最后进行离群点滤波剔除杂点。
步骤3，候选抓取位姿生成；
夹持器坐标系示意图如图3所示。在目标点云集上进行均匀随机采样，以采样点为中心估计基础标架并通过旋转和平移进行拓展，计算最深抓取从而获取最终候选抓取位姿。
步骤3具体包括以下5个子步骤，具体实施方法如下：
(311)通过在目标点云上随机产生点云索引号进行均匀随机采样，并且采样的数量固定；
(312)对每个采样点建立球半径邻域，统计在球内的所有点，并计算基础标架(Darbour标架)，计算公式如下：
其中，p表示采样点，n(·)和n(·)T分别表示邻域内某一点的表面法向量和其转置，
表示目标点云，Br(p)表示以采样点为中心半径为r的球域，通过计算M(p)最小特征值对应的特征向量可以估计该采样点的法向量v1(p)，计算最大特征值对应的特征向量可以估计该点最小主曲率方向v3(p)，通过向量正交可以计算最大主曲率方向v2(p)，最终可以得到基础标架F(p)＝[v1(p),v2(p),v3(p)]，即夹持器的初始姿态，而夹持器的初始位置为该采样点p的坐标，所以可以得到夹持器的初始位姿h(p)＝[px,py,pz,v1(p),v2(p),v3(p)]；
(313)对每个初始夹持器位姿通过绕z轴旋转和沿y轴平移操作进行拓展，可以通过构建一个二维网格(Φ,Y)并在网格中进行搜索的方式实现，每一个拓展的夹持器位姿hφ,y(p)都是通过初始夹持器位姿右乘转移矩阵实现的；
(314)对每一个拓展位姿沿x正方向移动，找到满足无碰撞条件的最小x*，得到新的位姿
(315)通过判断每一个新位姿对应的夹持器区域是否包含点云，剔除无效位姿，从而得到所有候选位姿。
步骤4，如图4所示，对每一个候选抓取位姿进行编码，编码方式为：提取每个位姿对应夹持器的闭合区域内点云，以当前抓取位姿为基准，转换坐标系，在多个轴方向上进行投影，从而编码成多通道图像。
步骤5，如图5所示，构建基于域迁移的抓取位姿评价模型，可以看到，训练阶段使用仿真域数据和实物域数据，并结合生成对抗网络来提取域自适应特征，其思想主要是约束两个域提取的特征并作为生成器输入得到的生成图像(如图6所示)向仿真域对齐，从而将两个域映射到同一分布。而在测试阶段，只需要F网络和C网络即可，可用于实物域上的测试，以实物域中多通道抓取图像为输入，通过基于域迁移的抓取位姿评价模型进行概率预测，得到每个候选位姿可成功抓取的置信度。
步骤5中训练数据集主要有两个，一个是从3D-NET模型库中构建的物体集，作为仿真域，另一个是通过KinectFusion算法三维重建得到的物体集，作为实物域。同样是进行采样候选并编码等操作，借助力闭合原理检测对拓抓取来进行标注。
另外，模型训练时的优化方式采用交替优化的方式，训练过程包括以下几个子步骤：
(511)输入数据包括仿真数据集和实物数据集，然后对网络进行前向计算；
(512)更新判别器D，计算仿真数据集的交叉熵损失和域判别损失以及实物域的域对抗损失，另外，加入梯度惩罚项来抑制模式坍塌，优化的损失项为：
其中，N表示批数据的样本数，Dc和Drf分别表示判别器标签分类分支和域判别分支，sn为仿真样本，Fcsn和Fctn分别表示生成器的仿真特征合并输入和实物域特征合并输入；
(513)更新生成器G，使用仿真数据集经生成器和判别器之后的域判别损失和标签分类损失，优化的损失项为：
(514)更新分类器C，仅使用仿真数据集经过F网络和C网络后的分类损失，优化的损失项为：
其中，
表示分类器的仿真特征输入；
(515)更新特征提取器F，使用仿真分类损失和实物域生成数据的域对抗损失，损失项优化方式采用多损失加权的方式，损失项为：
其中，α和γ分别表示两个损失部分的平衡权重。
另外，在特征提取网络中，加入了SE结构，可以自适应权重，提高模型性能，通过多层卷积操作，减小全连接层数量，可以有效抑制过拟合问题。
步骤6，根据步骤5中所述模型预测的概率进行排序，筛选出可以稳定抓取物体的概率最高的抓取图像对应的位姿，将其作为机器人抓取执行位姿。
Claims (9)
1.一种单视角点云下基于域迁移的机器人抓取位姿检测方法，其特征在于，包括如下步骤：
步骤1，通过深度相机获取桌面抓取场景的原始点云；
步骤2，对原始场景点云进行预处理，处理流程包括空间裁剪、平面提取和离群点滤波，得到待抓取物体的目标点云集；
步骤3，根据目标点云计算候选抓取位姿，首先在目标点云集中均匀随机采样，以每个采样点为中心计算邻域内的Darbour局部标架构建基础位姿，然后通过旋转和平移在二维网格中进行搜索拓展，计算最深的抓取位姿并判断有效性，获得最终的候选抓取位姿。
步骤4，对候选抓取位姿进行编码，转换点云坐标系到夹持器中心，通过投影的方式将抓取位姿编码成多通道图像。
步骤5，使用深度学习框架构建域迁移的抓取位姿评价模型，在仿真数据集和实物数据集上通过力闭合和碰撞检测的方式进行标注并训练模型，从而对多通道图像进行概率预测。
步骤6，根据所有候选抓取位姿预测的概率进行排序，选取概率最高的位姿作为机器人执行抓取的位姿。
2.根据权利要求1所述的一种单视角点云下基于域迁移的机器人抓取位姿检测方法，其特征在于，步骤1中的场景数据为深度相机固定单个视角下采集到的点云数据，场景类型为机器人对桌面上单物体的抓取。
3.根据权利要求1所述的一种单视角点云下基于域迁移的机器人抓取位姿检测方法，其特征在于，空间裁剪操作是对桌面部分及物体的点云之外的部分进行裁剪，平面提取操作用来去除桌面部分的点云，离群点滤波用于去除由于裁剪和平面提取后遗留的离群点。
4.根据权利要求1所述的一种单视角点云下基于域迁移的机器人抓取位姿检测方法，其特征在于，步骤3所述的均匀随机采样，是利用同余法生成随机数来获取点云索引。
5.根据权利要求1所述的一种单视角点云下基于域迁移的机器人抓取位姿检测方法，其特征在于，步骤3所述的以每个采样点为中心计算邻域内的Darbour局部标架构建基础位姿时的邻域表示为半径为r的球内区域。
6.根据权利要求1所述的一种单视角点云下基于域迁移的机器人抓取位姿检测方法，其特征在于，步骤3所述的候选抓取位姿获取过程为：
(1)在目标点云上随机均匀采样获取采样点集；
(2)对每个采样点在邻域计算基础标架，从而得到基础位姿；
(3)通过对基础位姿旋转和平移进行位姿拓展；
(4)对每个拓展位姿进行碰撞检测，计算最深抓取位姿；
(5)通过对最深抓取位姿对应的夹持区域是否包含点云进行判断，剔除无效抓取候选。
7.根据权利要求1所述的一种单视角点云下基于域迁移的机器人抓取位姿检测方法，其特征在于，步骤5所述的仿真数据集为3D-NET数据集，而实物数据集是通过KinectFusion算法三维重建得到的。
8.根据权利要求1所述的一种单视角点云下基于域迁移的机器人抓取位姿检测方法，其特征在于，步骤5所述的域迁移的抓取位姿评价模型包含权重自适应的基础卷积网络、轻量全连接层和生成对抗网络，模型训练时的优化方式采用交替优化的方式，训练的步骤包括：
(1)输入数据包括仿真数据集和实物数据集，对所有网络进行前向计算；
(2)更新判别器D，计算仿真数据集的交叉熵损失、仿真数据的域判别损失、仿真生成数据的域判别损失以及实物生成数据的域判别损失，另外，加入梯度惩罚项来抑制模式坍塌；
(3)更新生成器G，使用仿真数据集经生成器和判别器之后的域判别损失和标签分类交叉熵损失；
(4)更新分类器C，仅使用仿真数据集经过F网络和C网络后的分类交叉熵损失；
(5)更新特征提取器F，使用仿真分类损失、仿真生成数据的标签分类交叉熵损失和实物生成数据的域判别损失。
9.根据权利要求8所述的一种单视角点云下基于域迁移的机器人抓取位姿检测方法，其特征在于，用来优化判别器D的损失函数为：
其中，N表示批数据的样本数，Dc和Drf分别表示判别器标签分类分支和域判别分支，sn为仿真样本，
和
分别表示生成器的仿真特征合并输入和实物特征合并输入；
用来优化生成器D的损失函数为：
优化分类器C的损失函数为：
其中，
表示分类器的仿真特征输入；
优化特征提取器F的损失函数为：
其中，α和γ分别表示两个损失部分的平衡权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011418811.5A CN112489117B (zh) | 2020-12-07 | 2020-12-07 | 一种单视角点云下基于域迁移的机器人抓取位姿检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011418811.5A CN112489117B (zh) | 2020-12-07 | 2020-12-07 | 一种单视角点云下基于域迁移的机器人抓取位姿检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112489117A CN112489117A (zh) | 2021-03-12 |
| CN112489117B true CN112489117B (zh) | 2022-11-18 |
Family
ID=74940410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011418811.5A Active CN112489117B (zh) | 2020-12-07 | 2020-12-07 | 一种单视角点云下基于域迁移的机器人抓取位姿检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112489117B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113191387B (zh) * | 2021-03-27 | 2024-03-29 | 西北大学 | 结合无监督学习与数据自增强的文物碎片点云分类方法 |
| CN113345100B (zh) * | 2021-05-19 | 2023-04-07 | 上海非夕机器人科技有限公司 | 用于物体的目标抓取姿态的预测方法、装置、设备和介质 |
| CN113297988B (zh) * | 2021-05-28 | 2024-03-22 | 东南大学 | 一种基于域迁移和深度补全的物体姿态估计方法 |
| CN113674348B (zh) * | 2021-05-28 | 2024-03-15 | 中国科学院自动化研究所 | 物体抓取方法、装置和*** |
| CN113763476B (zh) * | 2021-09-09 | 2023-12-01 | 西交利物浦大学 | 目标物的抓取方法、设备和存储介质 |
| CN114083535B (zh) * | 2021-11-18 | 2023-06-13 | 清华大学 | 一种机器手抓取姿势质量的物理度量方法及装置 |
| CN116703895B (zh) * | 2023-08-02 | 2023-11-21 | 杭州灵西机器人智能科技有限公司 | 基于生成对抗网络的小样本3d视觉检测方法及其*** |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110363815A (zh) * | 2019-05-05 | 2019-10-22 | 东南大学 | 一种单视角点云下基于实例分割的机器人抓取检测方法 |
| CN111046948B (zh) * | 2019-12-10 | 2022-04-22 | 浙江大学 | 点云仿真和深度学习的工件位姿识别及机器人上料方法 |
| CN111652928B (zh) * | 2020-05-11 | 2023-12-15 | 上海交通大学 | 三维点云中物体抓取位姿检测方法 |
-
2020
- 2020-12-07 CN CN202011418811.5A patent/CN112489117B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112489117A (zh) | 2021-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112489117B (zh) | 一种单视角点云下基于域迁移的机器人抓取位姿检测方法 | |
| CN110598554B (zh) | 基于对抗学习的多人姿态估计方法 | |
| Newbury et al. | Deep learning approaches to grasp synthesis: A review | |
| Wang et al. | Graspness discovery in clutters for fast and accurate grasp detection | |
| Gao et al. | Dynamic hand gesture recognition based on 3D hand pose estimation for human–robot interaction | |
| CN108491880B (zh) | 基于神经网络的物体分类和位姿估计方法 | |
| Romero et al. | Hands in action: real-time 3D reconstruction of hands in interaction with objects | |
| CN110222580B (zh) | 一种基于三维点云的人手三维姿态估计方法和装置 | |
| Hagelskjær et al. | Pointvotenet: Accurate object detection and 6 dof pose estimation in point clouds | |
| KR20130013122A (ko) | 객체 자세 검색 장치 및 방법 | |
| CN107067410B (zh) | 一种基于增广样本的流形正则化相关滤波目标跟踪方法 | |
| CN115830652B (zh) | 一种深度掌纹识别装置及方法 | |
| Laili et al. | Custom grasping: A region-based robotic grasping detection method in industrial cyber-physical systems | |
| Peng et al. | A self-supervised learning-based 6-DOF grasp planning method for manipulator | |
| Huu et al. | Proposing recognition algorithms for hand gestures based on machine learning model | |
| Ikram et al. | Real time hand gesture recognition using leap motion controller based on CNN-SVM architechture | |
| Wu et al. | A cascaded CNN-based method for monocular vision robotic grasping | |
| Lin et al. | Target recognition and optimal grasping based on deep learning | |
| Bergström et al. | Integration of visual cues for robotic grasping | |
| Li et al. | Grasping Detection Based on YOLOv3 Algorithm | |
| Yu et al. | Pointnet++ gpd: 6-dof grasping pose detection method based on object point cloud | |
| Salisu et al. | A Survey on Deep Learning-Based 2D Human Pose Estimation Models. | |
| Wu et al. | Capturing implicit spatial cues for monocular 3D hand reconstruction | |
| Wang et al. | A saliency detection model combined local and global features | |
| Zhang et al. | Novel objects detection for robotics grasp planning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |