CN112171661A - 一种基于视觉信息融合的机械臂抓取目标物体方法 - Google Patents
一种基于视觉信息融合的机械臂抓取目标物体方法 Download PDFInfo
- Publication number
- CN112171661A CN112171661A CN202010866054.1A CN202010866054A CN112171661A CN 112171661 A CN112171661 A CN 112171661A CN 202010866054 A CN202010866054 A CN 202010866054A CN 112171661 A CN112171661 A CN 112171661A
- Authority
- CN
- China
- Prior art keywords
- target object
- coordinate system
- dimensional
- mechanical arm
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于视觉信息融合的机械臂抓取目标物体方法，旨在解决目标物***于复杂环境的机械臂抓取问题。所述方法包括：通过置于机械臂末端上方的深度相机获取含有目标物体的彩色图像以及相机坐标下的图像深度信息；利用深度学习YOLO目标检测方法对彩色图像中的目标物体进行识别并定位出特征点像素坐标；利用所述彩色图像的特征点像素坐标融合所述的图像深度信息，计算出目标物体特征点在相机坐标系下的三维坐标；由目标物体特征点在相机坐标系下的三维坐标计算出目标物体在相机坐标系下的三维位置和三维位姿；将三维位置和三维位姿转换至机械臂基座坐标系下；利用与机械臂连接的二指夹爪对目标物体进行抓取。
Description
技术领域
本发明涉及机器人技术领域，具体涉及一种在背景复杂的情况下基于视觉信息融合的机械臂抓取目标物体的方法。
背景技术
随着人工智能技术的发展，机器人的应用领域不断拓展，而不管是工业领域还是家庭服务领域，机器人与真实世界的互动必不可少，而抓取，则是机器人与真实世界互动的基本技能。模仿人类手臂活动关节的多自由度机械臂与二指夹爪的组合常用于实现在各种环境下的抓取，由于真实世界的复杂多样，抓取任务具有很大的不确定性，提高机器臂在复杂环境的目标检测及抓取规划能力成为了目前机器人领域研究的热点。
目前深度学习方法得到了越来越广泛的应用，是二维图像目标识别目标检测的主要方法，在近年来也出现了利用深度学习方法完成机械臂抓取中的三维目标物体的识别任务，例如Nvidia发布的《Deep Object Pose Estimation for Semantic Robotic Graspingof Household Objects》，其原理则是利用深度学习方法先检测出目标点的二维坐标，再利用PnP算法，实现目标点二维坐标至三维坐标的转换以及目标物体的位姿估计，但是PnP算法在现实应用中会出现误差，即当二维坐标的估计存在正常范围内的误差时，PnP算法会放大误差，得出误差较大的三维坐标，以致无法成功抓取的问题，所以本文所述方法将图像深度信息和目标点二维坐标信息融合，丰富目标三维坐标的信息，用以计算出准确的目标物体三维位置以及三维位姿，实现准确的抓取。
发明内容
本发明提出一种基于视觉信息融合的机械臂抓取目标物体的方法，主要用于机械臂在复杂环境下的目标识别和抓取，能够使机械臂在复杂环境下实现快速稳定的目标物体三维位置和三维位姿的识别检测以实现机械臂抓取。
本发明包括以下主要步骤：
(1)通过置于机械臂末端上方的相机获取含有目标物体的RGB图像以及相机坐标系下的图像深度信息；
(2)基于所述RGB图像，利用深度学习方法对目标物体进行检测，获取包围目标物体的三维矩形框的各角点及中心点的像素坐标；
(3)基于所述包围目标物体的三维矩形框的各点像素坐标，融合相机坐标下的图像深度信息，计算出目标物体特征点在相机坐标系下的三维坐标；
(4)利用目标物体各特征点的三维坐标计算出目标物体在相机坐标系下的三维位置以及三维位姿；
(5)将目标物体在相机坐标系下的三维位置以及三维位姿转换至机械臂基座坐标系下；
(6)利用所述目标物体在机械臂基座坐标系下的三维位置以及三维位姿作为机械臂逆运动学输入，使用机械臂连接的二指夹爪进行目标抓取。
可选地，步骤(1)中所述的相机为RGB-D相机，固定在所述机械臂末端，随机械臂运动而运动。
可选地，步骤(2)中所述的深度学习方法是以包围目标物体的三维矩形框八个角点以及一个中心点的图像坐标和目标物体类别为训练标签，训练YOLO目标检测网络，来获取可以检测目标物体的深度学习网络。
即输入为含有目标物体的RGB图像，目标检测网络将图像划分成S*S个格子，矩形框的中心点落在哪个格子，就由这个格子负责预测矩形框九个特征点的坐标，即输出为S*S*(9*2+1+C)的张量，其中1为目标物体的置信度，C为物体的类别。
可选地，步骤(3)中基于所述包围目标物体的三维矩形框的各角点和中心点二维坐标信息，融合所得相机坐标系下的图像深度信息，由相机的透视投影成像几何原理以及标定所得的相机内参，将三维矩形框各角点和中心点二维坐标转换为相机坐标下的三维坐标。
其中基于相机透视投影成像几何原理，先得出相机坐标系与图像坐标系的转换关系，设相机坐标系OCXCYC与图像坐标系oxy，P(XC,YC,ZC)为目标物体在相机坐标系下三维坐标，p(x,y)为目标物体图像坐标系下坐标，C为相机光点，f为焦距，由成像几何原理可知：
即可得：
再由图像坐标系与像素坐标系的转换关系，其中图像坐标系由图像中心点为原点o(u0,v0)，像素坐标系以图像左上点为原点ouv，可得目标物体的相机坐标系下三维坐标与目标物体像素坐标的转换关系为：
其中(u，v)为目标物体特征点像素坐标，ZC为该像素坐标对应的深度信息，是公式中的已知条件，(XC,YC)为待解未知量，矩阵中(fx,fy,u0,v0)为相机内参。
可选地，步骤(4)中将目标物体三维矩形框中心点的三维坐标作为目标物体在相机坐标系下的三维位置，并根据得到的目标物体各特征点的三维坐标利用迭代最近点方法，求解目标物体在相机坐标系下的三维位姿。
目标物体在相机坐标系下的三维位姿求解问题可转换为目标物体在世界坐标系下到相机坐标系下的变换矩阵求解问题，设相机坐标系下目标物体特征点三维坐标为基准点集Q，世界坐标系下的目标物体三维坐标为待配准点集P，变换矩阵(R，t)，用E(R,t)表待配准点集P在变换矩阵(R，t)下与基准点集Q之间的误差：
则求解最优变换矩阵的问题就可以转化为求满足min(E(R，t))的最优解(R，t)
可选地，步骤(5)所述的相机坐标系与机械臂基座坐标系的转换关系为：
其中[Xpr Ypr Zpr]T为目标物体在机械臂坐标下的三维位置，而[Xpc Ypc Zpc]T为目标物体在相机坐标下的三维位置，T为手眼标定矩阵。
手眼标定矩阵的获取是通过多次运动机械臂末端，使相机采集多次标定板信息，其中机械臂基座与标定板固定不动，机械臂基座坐标系与机械臂末端坐标系的转换矩阵已知，相机坐标系下的标定板坐标已知，求解可得机械臂末端坐标系与相机坐标系得转换矩阵，以此得相机坐标系与机械臂基座坐标系转换矩阵。
可选地，步骤(6)所述二指夹爪与机械臂连接，所述的目标物体三维位置以及三维位姿作为机械臂逆运动学输入，向机械臂发出运动控制指令，使用机器人操作***ROS***中用于运动规划的MoveIt！功能包，进行机械臂末端到目标位置及位姿的运动规划，当机械臂末端运动到目标位置及位姿时，根据所述运动控制指令，由二指夹爪进行张开、夹紧完成目标物体抓取任务。
附图说明
图1是实现本发明方法的***示意图。
图2是实现本发明方法的方法流程图。
具体实施方式
本发明提出的一种基于视觉信息融合的机械臂抓取目标物体方法，结合附图详细说明如下：
图1是实现本发明方法的***示意图。实现基于视觉信息融合的机械臂抓取目标物体操作的***包括RGB-D相机，安装在机械臂末端上方，随机械臂运动而运动，这种安装方式也称为眼在手上，可在机械臂运动的情况下获取变化的RGB图像及图像深度信息。
所述的机械臂含有以下特征：含有固定的机械臂基座以及能够自由活动的关节，现市面上流行的有六自由度、七自由度等机械臂，能够实现大范围的空间作业，并且机械臂末端与二指夹爪连接，用以实现目标物体识别后的抓取操作。
图2是实现本发明方法的方法流程图。基于视觉信息融合的机械臂抓取目标物体方法包括以下步骤：
(1)通过置于机械臂末端上方的相机获取含有目标物体的RGB图像以及相机坐标系下的图像深度信息；
可选地，相机为RGB-G相机。
(2)基于所述RGB图像，利用深度学习方法对目标物体进行检测，获取包围目标物体的三维矩形框的各角点及中心点的像素坐标；
可选地，所述的深度学习方法是以包围目标物体的三维矩形框八个角点以及一个中心点的图像坐标和目标物体类别为训练标签，训练YOLO目标检测网络，来获取可以检测目标物体的深度学习网络。
(3)基于所述包围目标物体的三维矩形框的各点像素坐标，及相机坐标下的图像深度信息，计算出目标物体特征点在相机坐标系下的三维坐标；
可选地，基于所述包围目标物体的三维矩形框的各角点和中心点二维坐标以及所得相机坐标系下的图像深度信息，由相机的透视投影成像几何原理以及标定所得的相机内参，将三维矩形框各角点和中心点的像素坐标转换为相机坐标下的三维坐标。
(4)利用目标物体各特征点的三维坐标计算出目标物体在相机坐标系下的三维位置以及三维位姿；
可选地，将目标物体三维矩形框中心点的三维坐标作为目标物体在相机坐标系下的三维位置，并根据得到的目标物体各特征点的三维坐标利用迭代最近点方法，求解目标物体在相机坐标系下的三维位姿。
(5)将目标物体在相机坐标系下的三维位置以及三维位姿转换至机械臂基座坐标系下；
可选地，通过多次运动机械臂末端，使相机采集多次标定板信息，其中机械臂基座与标定板固定不动，机械臂基座坐标系与机械臂末端坐标系的转换矩阵已知，相机坐标系下的标定板坐标已知，求解可得机械臂末端坐标系与相机坐标系得转换矩阵，又由已知的机械臂基座坐标系与机械臂末端坐标系的转换矩阵，得到相机坐标系与机械臂基座坐标系的转换矩阵。
(6)利用所述目标物体在机械臂基座坐标系下的三维位置以及三维位姿作为机械臂逆运动学输入，使用机械臂连接的二指夹爪进行目标抓取。
可选地，所述二指夹爪与机械臂连接，所述的目标物体三维位置以及三维位姿作为机械臂逆运动学输入，向机械臂发出运动控制指令，使用机器人操作***ROS***中用于运动规划的MoveIt！功能包，进行机械臂末端到目标位置及位姿的运动规划，当机械臂末端运动到目标位置及位姿时，根据所述运动控制指令，由二指夹爪进行张开、夹紧完成目标物体抓取任务。
Claims (6)
1.一种基于基于视觉信息融合的机械臂抓取目标物体方法，其特征在于，包括以下主要步骤：
(1)通过置于机械臂末端上方的相机获取含有目标物体的彩色图像以及相机坐标系下的图像深度信息；
(2)基于所述彩色图像，利用深度学习YOLO目标检测方法对目标物体进行检测，获取包围目标物体的三维矩形框的各角点及中心点的像素坐标；
(3)基于所述包围目标物体的三维矩形框的各点像素坐标，及相机坐标下的图像深度信息，计算出目标物体特征点在相机坐标系下的三维坐标；
(4)利用目标物体各特征点的三维坐标计算出目标物体在相机坐标系下的三维位置以及三维位姿；
(5)将目标物体在相机坐标系下的三维位置以及三维位姿转换至机械臂基座坐标系下；
(6)利用所述目标物体在机械臂基座坐标系下的三维位置以及三维位姿作为机械臂逆运动学输入，使用机械臂连接的二指夹爪进行目标抓取。
2.如权利要求1所述的方法，其特征在于，所述步骤(1)中所述的相机为RGB-D相机，固定在所述机械臂末端上方，随机械臂运动而运动。
3.如权利要求1所述的方法，其特征在于，所述步骤(3)中基于所述包围目标物体的三维矩形框的各角点和中心点像素坐标需要融合所得相机坐标系下的图像深度信息，其中的图像深度信息为特征点像素坐标对应的深度相机得到的深度信息；
基于所述像素坐标和图像深度信息，由相机的透视投影成像几何原理以及标定所得的相机内参，将三维矩形框各角点和中心点像素坐标转换为准确的相机坐标下的三维坐标。
4.如权利要求1所述的方法，其特征在于，所述步骤(4)中将目标物体三维矩形框中心点的三维坐标作为目标物体在相机坐标系下的三维位置，并根据得到的目标物体各特征点的三维坐标利用迭代最近点方法，求解目标物体在相机坐标系下的三维位姿。
5.如权利要求1所述的方法，其特征在于，所述步骤(5)所述的相机坐标系与机械臂基座坐标系的转换关系为：
其中为目标物体在机械臂坐标下的三维坐标，而为目标物体在相机坐标下的三维坐标，T为手眼标定矩阵；
手眼标定矩阵的获取是通过多次运动机械臂末端，使相机采集多次标定板信息，其中机械臂基座与标定板固定不动，机械臂基座坐标系与机械臂末端坐标系的转换矩阵已知，相机坐标系下的标定板坐标已知，求解可得机械臂末端坐标系与相机坐标系得转换矩阵，以此得相机坐标系与机械臂基座坐标系转换矩阵。
6.如权利要求1所述的方法，其特征在于，所述步骤(6)所述二指夹爪与机械臂连接，所述的目标物体在机械臂基座坐标系下的三维位置以及三维位姿作为机械臂逆运动学输入，向机械臂发出运动控制指令，使用机器人操作***ROS***中用于运动规划的MoveIt！功能包，进行机械臂末端到目标位置及位姿的运动规划，当机械臂末端运动到目标位置及位姿时，根据所述运动控制指令，由二指夹爪进行张开、夹紧完成目标物体抓取任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010866054.1A CN112171661A (zh) | 2020-08-25 | 2020-08-25 | 一种基于视觉信息融合的机械臂抓取目标物体方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010866054.1A CN112171661A (zh) | 2020-08-25 | 2020-08-25 | 一种基于视觉信息融合的机械臂抓取目标物体方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112171661A true CN112171661A (zh) | 2021-01-05 |
Family
ID=73923934
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010866054.1A Pending CN112171661A (zh) | 2020-08-25 | 2020-08-25 | 一种基于视觉信息融合的机械臂抓取目标物体方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112171661A (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112936275A (zh) * | 2021-02-05 | 2021-06-11 | 华南理工大学 | 一种基于深度相机的机械臂抓取***和控制方法 |
| CN113084872A (zh) * | 2021-04-08 | 2021-07-09 | 国核自仪***工程有限公司 | 用于核电站的检查维护机器人 |
| CN113112504A (zh) * | 2021-04-08 | 2021-07-13 | 浙江大学 | 一种植物点云数据分割方法及*** |
| CN113313755A (zh) * | 2021-04-16 | 2021-08-27 | 中科创达软件股份有限公司 | 目标对象位姿的确定方法、装置、设备及存储介质 |
| CN113688704A (zh) * | 2021-08-13 | 2021-11-23 | 北京京东乾石科技有限公司 | 物品拣选方法、装置、电子设备和计算机可读介质 |
| CN113723389A (zh) * | 2021-08-30 | 2021-11-30 | 广东电网有限责任公司 | 一种支柱式绝缘子定位方法及装置 |
| CN113838147A (zh) * | 2021-09-29 | 2021-12-24 | 上海海事大学 | 基于深度相机的叶片装配视觉引导方法及*** |
| CN113927601A (zh) * | 2021-11-11 | 2022-01-14 | 盐城工学院 | 一种基于视觉识别实现机械臂精准挑拣的方法及*** |
| CN113984401A (zh) * | 2021-08-27 | 2022-01-28 | 吉林大学 | 基于三维信息的汽车智能检测执行***与方法 |
| CN114199130A (zh) * | 2021-12-13 | 2022-03-18 | 江西边际科技有限公司 | 一种惯性位姿自调节矫正的光学信息特征提取设备 |
| CN114347028A (zh) * | 2022-01-10 | 2022-04-15 | 武汉科技大学 | 一种基于rgb-d图像的机器人末端智能抓取方法 |
| CN114378827A (zh) * | 2022-01-26 | 2022-04-22 | 北京航空航天大学 | 一种基于移动机械臂整体控制的动态目标跟踪抓取方法 |
| CN114757964A (zh) * | 2022-04-11 | 2022-07-15 | 哈尔滨工业大学（深圳） | 双视觉飞行机械臂***及动态目标位姿估计与主动重建方法 |
| CN114917975A (zh) * | 2022-05-17 | 2022-08-19 | 中国科学院沈阳自动化研究所 | 一种机器人末端移液装置及机器人移液控制方法 |
| CN115319739A (zh) * | 2022-08-02 | 2022-11-11 | 中国科学院沈阳自动化研究所 | 一种基于视觉机械臂抓取工件方法 |
| CN115648224A (zh) * | 2022-12-22 | 2023-01-31 | 北京钢铁侠科技有限公司 | 一种基于双深度相机识别定位的机械臂抓取方法 |
| CN116079712A (zh) * | 2022-12-01 | 2023-05-09 | 杭州电子科技大学 | 一种机械臂的三维空间夹取高度控制方法 |
| WO2023082404A1 (zh) * | 2021-11-11 | 2023-05-19 | 中国科学院深圳先进技术研究院 | 机器人的控制方法、机器人、存储介质及抓取*** |
| CN116330285A (zh) * | 2023-03-20 | 2023-06-27 | 深圳市功夫机器人有限公司 | 机械臂控制方法、装置、机械臂及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108734737A (zh) * | 2018-06-14 | 2018-11-02 | 哈尔滨工业大学 | 基于视觉slam估计空间旋转非合作目标转轴的方法 |
| CN110390258A (zh) * | 2019-06-05 | 2019-10-29 | 东南大学 | 图像目标三维信息标注方法 |
| CN110580725A (zh) * | 2019-09-12 | 2019-12-17 | 浙江大学滨海产业技术研究院 | 一种基于rgb-d相机的箱体分拣方法及*** |
| CN110695991A (zh) * | 2019-09-26 | 2020-01-17 | 南京理工大学 | 基于变异粒子群优化的自动手眼标定方法 |
| CN110900581A (zh) * | 2019-12-27 | 2020-03-24 | 福州大学 | 基于RealSense相机的四自由度机械臂视觉伺服控制方法及装置 |
-
2020
- 2020-08-25 CN CN202010866054.1A patent/CN112171661A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108734737A (zh) * | 2018-06-14 | 2018-11-02 | 哈尔滨工业大学 | 基于视觉slam估计空间旋转非合作目标转轴的方法 |
| CN110390258A (zh) * | 2019-06-05 | 2019-10-29 | 东南大学 | 图像目标三维信息标注方法 |
| CN110580725A (zh) * | 2019-09-12 | 2019-12-17 | 浙江大学滨海产业技术研究院 | 一种基于rgb-d相机的箱体分拣方法及*** |
| CN110695991A (zh) * | 2019-09-26 | 2020-01-17 | 南京理工大学 | 基于变异粒子群优化的自动手眼标定方法 |
| CN110900581A (zh) * | 2019-12-27 | 2020-03-24 | 福州大学 | 基于RealSense相机的四自由度机械臂视觉伺服控制方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 王先逵主编: "《机床数字控制技术手册 技术基础卷》", 31 October 2013, 国防工业出版社, pages: 144 * |
| 陈云霁: "深度学习", 《智能计算***》, 9 February 2020 (2020-02-09), pages 79 - 82 * |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112936275A (zh) * | 2021-02-05 | 2021-06-11 | 华南理工大学 | 一种基于深度相机的机械臂抓取***和控制方法 |
| CN113084872A (zh) * | 2021-04-08 | 2021-07-09 | 国核自仪***工程有限公司 | 用于核电站的检查维护机器人 |
| CN113112504A (zh) * | 2021-04-08 | 2021-07-13 | 浙江大学 | 一种植物点云数据分割方法及*** |
| CN113112504B (zh) * | 2021-04-08 | 2023-11-03 | 浙江大学 | 一种植物点云数据分割方法及*** |
| CN113313755A (zh) * | 2021-04-16 | 2021-08-27 | 中科创达软件股份有限公司 | 目标对象位姿的确定方法、装置、设备及存储介质 |
| CN113688704A (zh) * | 2021-08-13 | 2021-11-23 | 北京京东乾石科技有限公司 | 物品拣选方法、装置、电子设备和计算机可读介质 |
| CN113984401A (zh) * | 2021-08-27 | 2022-01-28 | 吉林大学 | 基于三维信息的汽车智能检测执行***与方法 |
| CN113723389B (zh) * | 2021-08-30 | 2024-06-18 | 广东电网有限责任公司 | 一种支柱式绝缘子定位方法及装置 |
| CN113723389A (zh) * | 2021-08-30 | 2021-11-30 | 广东电网有限责任公司 | 一种支柱式绝缘子定位方法及装置 |
| CN113838147B (zh) * | 2021-09-29 | 2024-01-19 | 上海海事大学 | 基于深度相机的叶片装配视觉引导方法及*** |
| CN113838147A (zh) * | 2021-09-29 | 2021-12-24 | 上海海事大学 | 基于深度相机的叶片装配视觉引导方法及*** |
| CN113927601A (zh) * | 2021-11-11 | 2022-01-14 | 盐城工学院 | 一种基于视觉识别实现机械臂精准挑拣的方法及*** |
| WO2023082404A1 (zh) * | 2021-11-11 | 2023-05-19 | 中国科学院深圳先进技术研究院 | 机器人的控制方法、机器人、存储介质及抓取*** |
| CN114199130B (zh) * | 2021-12-13 | 2023-06-06 | 江西边际科技有限公司 | 一种惯性位姿自调节矫正的光学信息特征提取设备 |
| CN114199130A (zh) * | 2021-12-13 | 2022-03-18 | 江西边际科技有限公司 | 一种惯性位姿自调节矫正的光学信息特征提取设备 |
| CN114347028B (zh) * | 2022-01-10 | 2023-12-22 | 武汉科技大学 | 一种基于rgb-d图像的机器人末端智能抓取方法 |
| CN114347028A (zh) * | 2022-01-10 | 2022-04-15 | 武汉科技大学 | 一种基于rgb-d图像的机器人末端智能抓取方法 |
| CN114378827B (zh) * | 2022-01-26 | 2023-08-25 | 北京航空航天大学 | 一种基于移动机械臂整体控制的动态目标跟踪抓取方法 |
| CN114378827A (zh) * | 2022-01-26 | 2022-04-22 | 北京航空航天大学 | 一种基于移动机械臂整体控制的动态目标跟踪抓取方法 |
| CN114757964A (zh) * | 2022-04-11 | 2022-07-15 | 哈尔滨工业大学（深圳） | 双视觉飞行机械臂***及动态目标位姿估计与主动重建方法 |
| CN114917975A (zh) * | 2022-05-17 | 2022-08-19 | 中国科学院沈阳自动化研究所 | 一种机器人末端移液装置及机器人移液控制方法 |
| CN115319739A (zh) * | 2022-08-02 | 2022-11-11 | 中国科学院沈阳自动化研究所 | 一种基于视觉机械臂抓取工件方法 |
| CN116079712A (zh) * | 2022-12-01 | 2023-05-09 | 杭州电子科技大学 | 一种机械臂的三维空间夹取高度控制方法 |
| CN115648224A (zh) * | 2022-12-22 | 2023-01-31 | 北京钢铁侠科技有限公司 | 一种基于双深度相机识别定位的机械臂抓取方法 |
| CN116330285A (zh) * | 2023-03-20 | 2023-06-27 | 深圳市功夫机器人有限公司 | 机械臂控制方法、装置、机械臂及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112171661A (zh) | 一种基于视觉信息融合的机械臂抓取目标物体方法 | |
| CN110405730B (zh) | 一种基于rgb-d图像的人机物交互机械臂示教*** | |
| CN110900581B (zh) | 基于RealSense相机的四自由度机械臂视觉伺服控制方法及装置 | |
| Tang et al. | A framework for manipulating deformable linear objects by coherent point drift | |
| WO2018137445A1 (zh) | 一种基于ros***的机械臂抓取方法及*** | |
| CN110202573B (zh) | 全自动手眼标定、工作平面标定方法及装置 | |
| CN113492393A (zh) | 一种由人演示的机器人示教 | |
| CN108818535A (zh) | 机器人3d视觉手眼标定方法 | |
| CN112207835B (zh) | 一种基于示教学习实现双臂协同作业任务的方法 | |
| CN112454333B (zh) | 基于图像分割及表面肌电信号的机器人示教***及方法 | |
| CN111347411A (zh) | 基于深度学习的双臂协作机器人三维视觉识别抓取方法 | |
| CN113103235B (zh) | 一种基于rgb-d图像对柜体表面设备进行垂直操作的方法 | |
| CN108655026B (zh) | 一种机器人快速示教分拣***和方法 | |
| CN112947458B (zh) | 基于多模态信息的机器人准确抓取方法及计算机可读介质 | |
| Skoglund et al. | Programming by demonstration of pick-and-place tasks for industrial manipulators using task primitives | |
| Antonello et al. | A fully automatic hand-eye calibration system | |
| CN210361314U (zh) | 一种基于增强现实技术的机器人示教装置 | |
| CN117103277A (zh) | 一种基于多模态数据融合的机械手臂感知方法 | |
| Maeda et al. | Teaching of grasp/graspless manipulation for industrial robots by human demonstration | |
| CN116612366A (zh) | 一种基于数字孪生的摘复钩ai精准识别抓取方法 | |
| CN211890823U (zh) | 基于RealSense相机的四自由度机械臂视觉伺服控制*** | |
| CN115194774A (zh) | 一种基于多目视觉的双机械臂抓握***控制方法 | |
| CN114347028B (zh) | 一种基于rgb-d图像的机器人末端智能抓取方法 | |
| CN115446839A (zh) | 一种基于视觉***的机械臂多类型物品抓取方法、***及装置 | |
| CN113134839B (zh) | 一种基于视觉和力位图像学习的机器人精密柔性装配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210105 |
|
| WD01 | Invention patent application deemed withdrawn after publication |