CN111055281B - 一种基于ros的自主移动抓取***与方法 - Google Patents
一种基于ros的自主移动抓取***与方法 Download PDFInfo
- Publication number
- CN111055281B CN111055281B CN201911320327.6A CN201911320327A CN111055281B CN 111055281 B CN111055281 B CN 111055281B CN 201911320327 A CN201911320327 A CN 201911320327A CN 111055281 B CN111055281 B CN 111055281B
- Authority
- CN
- China
- Prior art keywords
- pose
- grabbing
- mechanical arm
- ros
- delta
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
- B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
本发明涉及一种基于ROS的自主移动抓取***与方法。本发明可以分为图像采集模块、视觉算法处理模块、位姿检测模块以及抓取控制模块。本方法实现了移动机器人在陌生环境下的环境感知,视觉导航以及实时的物***姿估计并抓取的功能。将移动机器人与机器视觉相结合,使得机器人可以完成更智能的任务,提供良好的服务,减轻了不必要的负担。本发明具有效率高、检测精度高、可实时检测、良好的适应能力等优点,可以在很大程度上释放日常工作上的人力投入,具有很强的市场潜力。大大方便服务人们工作和生活,有助于促进生活水平的提高。
Description
技术领域
本发明属于机器视觉领域,具体涉及种基于ROS的自主移动抓取***与方法。
背景技术
随着日趋严重的老龄化问题、迫使社会转移更多的人力,物力到老年人的生活照顾上,服务机器人能够很大程度上释放日常工作的人力投入,但是目前来说大多数服务机器人都是功能单一、对话型机器人,而对于具备拟人化,自主环境感知、视觉指导任务的移动机器人还尚处于研究阶段,不够成熟,难以完成复杂集成的任务。除此之外,移动机器人在灾害救援、军事侦查等场所应用越来越广。对于高危场所,移动机器人的使用很大程度上可以减轻人员的伤亡,但是在如何将视觉传感技术与自动控制、运动规划、视觉导航等方法融合,完美实现自主抓取是移动机器人领域的关键技术。因此研究出一种可以自主感知环境、实时检测、自主移动并执行相关任务的自主移动抓取***,减轻人工的劳动,提高高危作业的安全性,具有很重要的理论价值和实际意义。
发明内容
鉴于上述背景技术的不足,本发明的目的在于提供一种基于ROS的自主移动抓取***,该***通过图像采集、视觉算法处理、视觉导航和视觉抓取完成了对环境的感知和物体抓取功能。很好的集成了视觉传感技术、视觉导航、运动规划和自动控制等技术。节省了不必要的人员作业。解放了不必要的人力投入。具有很好的工程意义。
一种基于ROS的自主移动抓取***,该***分为四部分:图像采集模块、视觉导航模块、位姿检测模块以及抓取控制模块;图像采集模块由RGB-D相机、NVIDIA Jetson TX2和转动云台模块构成,RGB-D相机和NVIDIA Jetson TX2负责采集彩色图像和深度图像,转动云台控制模块由电机和蓝牙控制板组成,在执行视觉导航任务时,控制云台控制相机转到水平方向,在执行位姿检测任务时,控制云台控制相机转到竖直方向;视觉导航模块由移动小车、红外传感器和NVIDIA GeForce GTX 1080Ti服务器构成;RGB-D相机采集场景彩色图像和深度图像并传输到服务器,服务器执行SLAM算法进行建图并基于ROS使用move_base库控制移动小车进行导航,红外传感器用于导航过程中的避障;位姿检测模块由NVIDIAGeForce GTX 1080Ti服务器完成,RGB-D相机采集目标彩色图像和深度图像并传输到服务器,服务器执行像素投票神经网络PVnet回归关键点的坐标,并基于PnP算法对物体的6D姿态进行计算;抓取控制模块包括5自由度的机械臂及其控制器,控制器接收目标抓取位姿,使用ROS的Moveit运动规划算法库规划机械臂运动路径,执行抓取任务;其中的ROS为机器人操作***Robot Operating System;6D姿态包括3D位置和3D方向。
一种基于ROS的自主移动抓取***的抓取方法,该方法具体如下:
步骤一:将小车放入陌生环境,图像采集模块采集到的彩色图像和深度图像;
步骤二:图像采集模块采集到的彩色图像和深度图像通过ROS传输到视觉导航模块并执行SLAM算法,构建地图;利用二维码图标标记目标位置区域,通过检测二维码图标的位姿确定目标区域,移动小车根据ROS的move_base运动导航库规划的路径自主移动到目标区域附近;
其中地图构建基于RGBD-SLAM-V2框架,前端视觉里程计从每一帧彩色图像中提取特征,借助ORB特征描述子,使用RANSAC+ICP算法计算两帧图像之间的位姿关系,之后进行基于g2o优化库的后端以及回环检测优化,优化后的位姿结合彩色图和深度图,生成稠密地图;然后通过二维码图标标记找到目标区域位姿移动小车接收到使用ROS的move_base运动导航库导航到目标区域;
步骤三:到达指定区域之后,通过消息队列遥测传输协议发送指令给蓝牙控制板控制摄像头转向,接下来将图像采集模块采集到的彩色图像进行预处理,将预处理后的彩色图像通过ROS发送到位姿检测模块;
对彩色图像进行预处理具体为:
f(x,y,z)表示大小为H×W的一帧图像,x,y表示图像的横像素坐标和纵像素坐标,z表示通道数,彩色图z=3,用于位姿检测时,对彩色图,使用数据集的平均值和方差标准化处理:
f(x,y,z)=(f(x,y,z)-mean[z])/std[z]z=3 (1)
其中mean=[0.485,0.456,0.406]std=[0.229,0.224,0.225];
步骤四:位姿检测模块通过位姿检测算法计算得到物体的6D位姿,并转换为目标抓取位姿,通过ROS***将目标抓取位姿发送给抓取控制模块;
其中位姿检测模块通过位姿检测算法计算得到物体的6D位姿,具体为:
构建改进型像素级投票神经网络PVnet,具体为:
PVnet的输入f(x,y,z)是大小为H×W的彩色图,其使用预训练的Resnet-18作为基础网络,当特征图大小为H/8×W/8时,使用带有三种不同空洞率的Atrous spatialpyramid pooling模块进行提取特征,在卷积层和上采样层中重复使用残差连接,然后进行上采样,直到输出的尺寸达到H×W;在最后一层特征图使用1×1的卷积层输出像素级预测方向向量和语义分割结果。具体ASPP模块为就是将不同空洞率的卷积核去处理特征图,然后将特征图连接到一起扩大通道数,最后通过一个1×1卷积层得到同样大小的输出特征图。
(a)将输入图片f(x,y,z)送入像素级投票神经网络PVnet回归得到语义分割结果和像素级预测方向向量,具体方向向量的定义为:
(b)投票定位关键点坐标
给定语义标签和单位向量,使用基于RANSAC的投票方案生成关键点假设,首先使用语义标签找到属于目标对象的像素p,然后,随机选择两个像素,并将这两个像素点对应的预测单位方向向量vk(p)的交点作为关键点的假设hk,i,重复N次,产生一系列关键点的预测{hk,i|i=1,2,3...,N},对于假设hk,i投票的分数wk,i定义为:
根据手眼标定得到的手眼矩阵将变换到相对于机械臂基坐标下的位姿根据位姿得到相对于机械臂基坐标系Cbase的估计物体坐标系采用自上而下的抓取方式,机械臂末端夹持器竖直向下时的,机械臂末端坐标系Z轴也是竖直向下的,机械臂基坐标系的Z轴是竖直向上的;将物体坐标系Cobject和机械臂基坐标系Cbase通过位移使原点重合;基坐标系Z轴的单位向量为物体坐标系Cobject各个轴的单位向量为计算得到与之间的夹角:
然后取最小的θi对应的轴作为最终变换轴即i=min(θi)
(b)假设估计的物体姿态坐标系Cobject和机械臂基坐标系Cbase之间的变换关系为旋转矩阵为R,位移为T
根据旋转矩阵得到对应各个轴的欧拉角为:
步骤四:机械臂控制器接收到目标抓取位姿之后,通过ROS的Moveit运动规划库规划机械臂运动抓取;如果机械臂无法到达目标位姿,根据反馈信息相应的调整小车的位置,再次进行检测抓取,直到抓取完成,或者反馈没有物体存在;
将得到的抓取位姿pgrasp通过ROS以话题的形式发送给抓取控制模块的机械臂控制器;机械臂收到抓取姿态pgrasp后,根据机械臂末端极限位移减去目标位移Δx,Δy,Δz,判断pgrasp在位移上是否超过了机械臂的运动空间;如果Δx,Δy,Δz都为正,机械臂通过ROS的Moveit运动规划库规划机械臂运动,在运动到目标位置前,设置了抓取中间位置pgrasp_mid,pgrasp_mid是由pgrasp向上平移一定的距离得到,抓取之后的放置位置pplace同样经过这个中间位置pgrasp然后到达设定的放置位置pplace;如果Δx,Δy,Δz中有负数,且|Δx|,|Δy|,|Δz|大小在阈值之内,可以进行相应的方向移动使得Δx,Δy,Δz都为正,再次进行试抓,完成最终视觉抓取任务;若|Δx|,|Δy|,|Δz|其中一个大小在阈值之外,反馈没有物体存在。
本发明的有益效果:本发明方法采用图像采集、视觉算法处理、视觉导航与视觉抓取等方式实现了对未知环境的感知和物体的移动抓取功能,集成了多个传感器的信息融合、完成了分布式的设计,具有执行能力强、功能模块分工明确,可快速识别环境中的目标并作出反应,可以代替人工完成特定任务。一定程度上解放人工的劳动力。本发明具有自主感知、检测精度高、实时检测目标位姿等优点,具有可观的理论价值和实践价值。
具体实施方式:
一种基于ROS的自主移动抓取***,该***分为四部分:图像采集模块、视觉导航模块、位姿检测模块以及抓取控制模块;图像采集模块由RGB-D相机、NVIDIA Jetson TX2和转动云台模块构成,RGB-D相机和NVIDIA Jetson TX2负责采集彩色图像和深度图像,转动云台控制模块由电机和蓝牙控制板组成,在执行视觉导航任务时,控制云台控制相机转到水平方向,在执行位姿检测任务时,控制云台控制相机转到竖直方向;视觉导航模块由移动小车、红外传感器和NVIDIA GeForce GTX 1080Ti服务器构成;RGB-D相机采集场景彩色图像和深度图像并传输到服务器,服务器执行SLAM算法进行建图并基于ROS使用move_base库控制移动小车进行导航,红外传感器用于导航过程中的避障;位姿检测模块由NVIDIAGeForce GTX 1080Ti服务器完成,RGB-D相机采集目标彩色图像和深度图像并传输到服务器,服务器执行像素投票神经网络PVnet回归关键点的坐标,并基于PnP算法对物体的6D姿态进行计算;抓取控制模块包括5自由度的机械臂及其控制器,控制器接收目标抓取位姿,使用ROS的Moveit运动规划算法库规划机械臂运动路径,执行抓取任务;其中的ROS为机器人操作***Robot Operating System;6D姿态包括3D位置和3D方向。
一种基于ROS的自主移动抓取***的抓取方法,该方法具体如下:
步骤一:将小车放入陌生环境,图像采集模块采集到的彩色图像和深度图像;
步骤二:图像采集模块采集到的彩色图像和深度图像通过ROS传输到视觉导航模块并执行SLAM算法,构建地图;利用二维码图标标记目标位置区域,通过检测二维码图标的位姿确定目标区域,移动小车根据ROS的move_base运动导航库规划的路径自主移动到目标区域附近;
其中地图构建基于RGBD-SLAM-V2框架,前端视觉里程计从每一帧彩色图像中提取特征,借助ORB特征描述子,使用RANSAC+ICP算法计算两帧图像之间的位姿关系,之后进行基于g2o优化库的后端以及回环检测优化,优化后的位姿结合彩色图和深度图,生成稠密地图;然后通过二维码图标标记找到目标区域位姿移动小车接收到使用ROS的move_base运动导航库导航到目标区域;
步骤三:到达指定区域之后,通过消息队列遥测传输协议发送指令给蓝牙控制板控制摄像头转向,接下来将图像采集模块采集到的彩色图像进行预处理,将预处理后的彩色图像通过ROS发送到位姿检测模块;
对彩色图像进行预处理具体为:
f(x,y,z)表示大小为H×W的一帧图像,x,y表示图像的横像素坐标和纵像素坐标,z表示通道数,彩色图z=3,用于位姿检测时,对彩色图,使用数据集的平均值和方差标准化处理:
f(x,y,z)=(f(x,y,z)-mean[z])/std[z]z=3 (1)
其中mean=[0.485,0.456,0.406]std=[0.229,0.224,0.225];
步骤四:位姿检测模块通过位姿检测算法计算得到物体的6D位姿,并转换为目标抓取位姿,通过ROS***将目标抓取位姿发送给抓取控制模块;
其中位姿检测模块通过位姿检测算法计算得到物体的6D位姿,具体为:
构建像素级投票神经网络PVnet,具体为:
PVnet的输入f(x,y,z)是大小为H×W的彩色图,其使用预训练的Resnet-18作为基础网络,当特征图大小为H/8×W/8时,使用带有三种不同空洞率的Atrous spatialpyramid pooling模块进行提取特征,在卷积层和上采样层中重复使用残差连接,然后进行上采样,直到输出的尺寸达到H×W;在最后一层特征图使用1×1的卷积层输出像素级预测方向向量和语义分割结果。具体ASPP模块为就是将不同空洞率的卷积核去处理特征图,然后将特征图连接到一起扩大通道数,最后通过一个1×1卷积层得到同样大小的输出特征图。
(a)将输入图片f(x,y,z)送入像素级投票神经网络PVnet回归得到语义分割结果和像素级预测方向向量,具体方向向量的定义为:
(b)投票定位关键点坐标
给定语义标签和单位向量,使用基于RANSAC的投票方案生成关键点假设,首先使用语义标签找到属于目标对象的像素p,然后,随机选择两个像素,并将这两个像素点对应的预测单位方向向量vk(p)的交点作为关键点的假设hk,i,重复N次,产生一系列关键点的预测{hk,i|i=1,2,3...,N},对于假设hk,i投票的分数wk,i定义为:
根据手眼标定得到的手眼矩阵将变换到相对于机械臂基坐标下的位姿根据位姿得到相对于机械臂基坐标系Cbase的估计物体坐标系采用自上而下的抓取方式,机械臂末端夹持器竖直向下时的,机械臂末端坐标系Z轴也是竖直向下的,机械臂基坐标系的Z轴是竖直向上的;将物体坐标系Cobject和机械臂基坐标系Cbase通过位移使原点重合;基坐标系Z轴的单位向量为物体坐标系Cobject各个轴的单位向量为计算得到与之间的夹角:
然后取最小的θi对应的轴作为最终变换轴即i=min(θi)
(b)假设估计的物体姿态坐标系Cobject和机械臂基坐标系Cbase之间的变换关系为旋转矩阵为R,位移为T
根据旋转矩阵得到对应各个轴的欧拉角为:
步骤四:机械臂控制器接收到目标抓取位姿之后,通过ROS的Moveit运动规划库规划机械臂运动抓取;如果机械臂无法到达目标位姿,根据反馈信息相应的调整小车的位置,再次进行检测抓取,直到抓取完成,或者反馈没有物体存在;
将得到的抓取位姿pgrasp通过ROS以话题的形式发送给抓取控制模块的机械臂控制器;机械臂收到抓取姿态pgrasp后,根据机械臂末端极限位移减去目标位移Δx,Δy,Δz,判断pgrasp在位移上是否超过了机械臂的运动空间;如果Δx,Δy,Δz都为正,机械臂通过ROS的Moveit运动规划库规划机械臂运动,在运动到目标位置前,设置了抓取中间位置pgrasp_mid,pgrasp_mid是由pgrasp向上平移一定的距离得到,抓取之后的放置位置pplace同样经过这个中间位置pgrasp然后到达设定的放置位置pplace;如果Δx,Δy,Δz中有负数,且|Δx|,|Δy|,|Δz|大小在阈值之内,可以进行相应的方向移动使得Δx,Δy,Δz都为正,再次进行试抓,完成最终视觉抓取任务;若|Δx|,|Δy|,|Δz|其中一个大小在阈值之外,反馈没有物体存在。
Claims (3)
1.一种基于ROS的自主移动抓取***,其特征在于:该***分为四部分:图像采集模块、视觉导航模块、位姿检测模块以及抓取控制模块;图像采集模块由RGB-D相机、NVIDIAJetson TX2和转动云台控制模块构成,RGB-D相机和NVIDIA Jetson TX2负责采集彩色图像和深度图像,转动云台控制模块由电机和蓝牙控制板组成,在执行视觉导航任务时,控制云台控制相机转到水平方向,在执行位姿检测任务时,控制云台控制相机转到竖直方向;视觉导航模块由移动小车、红外传感器和NVIDIA GeForce GTX 1080Ti服务器构成;RGB-D相机采集场景彩色图像和深度图像并传输到服务器,服务器执行SLAM算法进行建图并基于ROS使用move_base库控制移动小车进行导航,红外传感器用于导航过程中的避障;位姿检测模块由NVIDIA GeForce GTX 1080Ti服务器完成,RGB-D相机采集目标彩色图像和深度图像并传输到服务器,服务器执行像素级投票神经网络PVnet回归关键点的坐标,并基于PnP算法对物体的6D位姿进行计算;抓取控制模块包括5自由度的机械臂及其控制器,控制器接收目标抓取位姿,使用ROS的Moveit运动规划算法库规划机械臂运动路径,执行抓取任务;其中的ROS为机器人操作***Robot Operating System;6D位姿包括3D位置和3D方向。
2.根据权利要求1所述的一种基于ROS的自主移动抓取***的抓取方法,其特征在于:
步骤一:将小车放入陌生环境,图像采集模块采集到的彩色图像和深度图像;
步骤二:图像采集模块采集到的彩色图像和深度图像通过ROS传输到视觉导航模块并执行SLAM算法,构建地图;利用二维码图标标记目标位置区域,通过检测二维码图标的位姿确定目标区域,移动小车根据ROS的move_base运动导航库规划的路径自主移动到目标区域附近;
其中地图构建基于RGBD-SLAM-V2框架,前端视觉里程计从每一帧彩色图像中提取特征,借助ORB特征描述子,使用RANSAC+ICP算法计算两帧图像之间的位姿关系,之后进行基于g2o优化库的后端以及回环检测优化,优化后的位姿结合彩色图和深度图,生成稠密地图;然后通过二维码图标标记找到目标区域位姿移动小车接收到使用ROS的move_base运动导航库导航到目标区域;
步骤三:到达指定区域之后,通过消息队列遥测传输协议发送指令给蓝牙控制板控制RGB-D相机转向,接下来将图像采集模块采集到的彩色图像进行预处理,将预处理后的彩色图像通过ROS发送到位姿检测模块;
对彩色图像进行预处理具体为:
f(x,y,z)表示大小为H×W的一帧图像,x,y表示图像的横像素坐标和纵像素坐标,z表示通道数,彩色图z=3,用于位姿检测时,对彩色图,使用数据集的平均值和方差标准化处理:
f(x,y,z)=(f(x,y,z)-mean[z])/std[z] z=3 (1)
其中mean=[0.485,0.456,0.406] std=[0.229,0.224,0.225];
步骤四:位姿检测模块通过位姿检测算法计算得到物体的6D位姿,并转换为目标抓取位姿,通过ROS***将目标抓取位姿发送给抓取控制模块;
其中位姿检测模块通过位姿检测算法计算得到物体的6D位姿,具体为:
(a)将输入图片f(x,y,z)送入改进型像素级投票神经网络PVnet回归得到语义分割结果和像素级预测方向向量,具体方向向量的定义为:
(b)投票定位关键点坐标
给定语义标签和单位向量,使用基于RANSAC的投票方案生成关键点假设,首先使用语义标签找到属于目标对象的像素p,然后,随机选择两个像素,并将这两个像素点对应的预测单位方向向量vk(p)的交点作为关键点的假设hk,i,重复N次,产生一系列关键点的预测{hk,i|i=1,2,3...,N},对于假设hk,i投票的分数wk,i定义为:
根据手眼标定得到的手眼矩阵将变换到相对于机械臂基坐标下的位姿根据位姿得到相对于机械臂基坐标系Cbase的估计物体坐标系采用自上而下的抓取方式,机械臂末端夹持器竖直向下时的,机械臂末端坐标系Z轴也是竖直向下的,机械臂基坐标系的Z轴是竖直向上的;将物体坐标系Cobject和机械臂基坐标系Cbase通过位移使原点重合;基坐标系Z轴的单位向量为物体坐标系Cobject各个轴的单位向量为计算得到与之间的夹角:
然后取最小的θi对应的轴作为最终变换轴即i=min(θi)
(b)假设估计的物***姿坐标系Cobject和机械臂基坐标系Cbase之间的变换关系为旋转矩阵为R,位移为T
根据旋转矩阵得到对应各个轴的欧拉角为:
步骤四:机械臂控制器接收到目标抓取位姿之后,通过ROS的Moveit运动规划库规划机械臂运动抓取;如果机械臂无法到达目标位姿,根据反馈信息相应的调整小车的位置,再次进行检测抓取,直到抓取完成,或者反馈没有物体存在;
将得到的抓取位姿pgrasp通过ROS以话题的形式发送给抓取控制模块的机械臂控制器;机械臂收到抓取位姿pgrasp后,根据机械臂末端极限位移减去目标位移△x,△y,△z,判断pgrasp在位移上是否超过了机械臂的运动空间;如果△x,△y,△z都为正,机械臂通过ROS的Moveit运动规划库规划机械臂运动,在运动到目标位置前,设置了抓取中间位置pgrasp_mid,pgrasp_mid是由pgrasp向上平移一定的距离得到,抓取之后的放置位置pplace同样经过这个中间位置pgrasp然后到达设定的放置位置pplace;如果△x,△y,△z中有负数,且|△x|,|△y|,|△z|大小在阈值之内,可以进行相应的方向移动使得△x,△y,△z都为正,再次进行试抓,完成最终视觉抓取任务;若|△x|,|△y|,|△z|其中一个大小在阈值之外,反馈没有物体存在。
3.根据权利要求2所述的一种基于ROS的自主移动抓取***的抓取方法,其特征在于:所述的改进型像素级投票神经网络PVnet为:
PVnet的输入f(x,y,z)是大小为H×W的彩色图,其使用预训练的Resnet-18作为基础网络,当特征图大小为H/8×W/8时,使用带有三种不同空洞率的Atrous spatial pyramidpooling模块进行提取特征,在卷积层和上采样层中重复使用残差连接,然后进行上采样,直到输出的尺寸达到H×W;在最后一层特征图使用1×1的卷积层输出像素级预测方向向量和语义分割结果;具体ASPP模块为就是将不同空洞率的卷积核去处理特征图,然后将特征图连接到一起扩大通道数,最后通过一个1×1卷积层得到同样大小的输出特征图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911320327.6A CN111055281B (zh) | 2019-12-19 | 2019-12-19 | 一种基于ros的自主移动抓取***与方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911320327.6A CN111055281B (zh) | 2019-12-19 | 2019-12-19 | 一种基于ros的自主移动抓取***与方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111055281A CN111055281A (zh) | 2020-04-24 |
CN111055281B true CN111055281B (zh) | 2021-05-07 |
Family
ID=70302469
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911320327.6A Active CN111055281B (zh) | 2019-12-19 | 2019-12-19 | 一种基于ros的自主移动抓取***与方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111055281B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111531407B (zh) * | 2020-05-08 | 2021-08-17 | 太原理工大学 | 一种基于图像处理的工件姿态快速测量方法 |
CN111482967B (zh) * | 2020-06-08 | 2023-05-16 | 河北工业大学 | 一种基于ros平台的智能检测与抓取方法 |
CN111906785A (zh) * | 2020-07-23 | 2020-11-10 | 谈斯聪 | 多模式综合信息识别移动式双臂机器人装置***及方法 |
CN111890366B (zh) * | 2020-08-05 | 2023-06-13 | 北京航空航天大学 | 一种机械臂物品抓取规划原理及基于ros的实现方法 |
CN112372641B (zh) * | 2020-08-06 | 2023-06-02 | 北京航空航天大学 | 一种基于视觉前馈与视觉反馈的家庭服务机器人物品抓取方法 |
CN113084808B (zh) * | 2021-04-02 | 2023-09-22 | 上海智能制造功能平台有限公司 | 一种基于单目视觉的移动机械臂2d平面抓取方法 |
CN113110513A (zh) * | 2021-05-19 | 2021-07-13 | 哈尔滨理工大学 | 一种基于ros的居家整理移动机器人 |
CN113758415A (zh) * | 2021-06-30 | 2021-12-07 | 广东食品药品职业学院 | 一种基于深度学习的机器视觉定位支架及***及定位方法 |
CN115222809B (zh) * | 2021-06-30 | 2023-04-25 | 达闼科技(北京)有限公司 | 目标位姿估计方法、装置、计算设备及存储介质 |
CN113566830B (zh) * | 2021-07-20 | 2023-09-26 | 常州大学 | 轮足复合机器人室外高精度自主导航装置及方法 |
CN113791620A (zh) * | 2021-09-14 | 2021-12-14 | 上海景吾智能科技有限公司 | 动态自适应定位方法、定位***、机器人及存储介质 |
CN113878578B (zh) * | 2021-09-30 | 2024-01-16 | 上海景吾智能科技有限公司 | 适用于复合型机器人的动态自适应定位方法和*** |
CN114102662A (zh) * | 2021-11-26 | 2022-03-01 | 江西省智能产业技术创新研究院 | 一种复合机器人 |
CN114770461B (zh) * | 2022-04-14 | 2023-12-01 | 深圳技术大学 | 一种基于单目视觉的移动机器人及其自动抓取方法 |
CN114912287B (zh) * | 2022-05-26 | 2023-07-25 | 四川大学 | 基于目标6d位姿估计的机器人自主抓取仿真***及方法 |
CN115018876B (zh) * | 2022-06-08 | 2023-09-26 | 哈尔滨理工大学 | 一种基于ros的非合作目标抓取控制方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101091723B1 (ko) * | 2011-04-07 | 2011-12-08 | 국방과학연구소 | 무인로봇의 통합 운용 시스템 및 그 시스템의 운용 방법 |
CN106272415A (zh) * | 2016-08-30 | 2017-01-04 | 上海大学 | 全向移动转运机器人 |
CN106846468B (zh) * | 2017-01-25 | 2021-05-07 | 南京阿凡达机器人科技有限公司 | 一种基于ros***的机械臂建模及运动规划实现方法 |
CN207309951U (zh) * | 2017-06-30 | 2018-05-04 | 南京信息工程大学 | 一种智能捡球机器人 |
CN110216698A (zh) * | 2019-03-11 | 2019-09-10 | 浙江工业大学 | 一种基于ros的机械臂遥操作*** |
CN109927012B (zh) * | 2019-04-08 | 2021-07-30 | 清华大学 | 移动抓取机器人和自动取货方法 |
-
2019
- 2019-12-19 CN CN201911320327.6A patent/CN111055281B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111055281A (zh) | 2020-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111055281B (zh) | 一种基于ros的自主移动抓取***与方法 | |
CN111496770B (zh) | 基于3d视觉与深度学习的智能搬运机械臂***及使用方法 | |
CN114728417B (zh) | 由远程操作员触发的机器人自主对象学习的方法及设备 | |
JP3994950B2 (ja) | 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置 | |
CN109164829B (zh) | 一种基于力反馈装置和vr感知的飞行机械臂***及控制方法 | |
CN112634318B (zh) | 一种水下维修机器人的遥操作***和方法 | |
US20230247015A1 (en) | Pixelwise Filterable Depth Maps for Robots | |
JP2013184257A (ja) | ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム | |
CN111015649B (zh) | 一种驱控一体化控制*** | |
JP2022542241A (ja) | ロボット装置からの視覚的出力を補強するシステム及び方法 | |
CN111462154A (zh) | 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人 | |
CN107450556A (zh) | 一种基于ros的自主导航智能轮椅 | |
CN113103230A (zh) | 一种基于处置机器人遥操作的人机交互***及方法 | |
US11769269B2 (en) | Fusing multiple depth sensing modalities | |
EP4095486A1 (en) | Systems and methods for navigating a robot using semantic mapping | |
CN109079777B (zh) | 一种机械臂手眼协调作业*** | |
CN116175582A (zh) | 一种基于机器视觉的智能机械臂操控***及控制方法 | |
Schnaubelt et al. | Autonomous assistance for versatile grasping with rescue robots | |
CN115194774A (zh) | 一种基于多目视觉的双机械臂抓握***控制方法 | |
CN114888768A (zh) | 一种基于多传感器融合的移动双工业机器人协同抓取***及方法 | |
KR102452315B1 (ko) | 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치 및 그 방법 | |
EP3842888A1 (en) | Pixelwise filterable depth maps for robots | |
CN116867611A (zh) | 融合静态大视场和高保真度可移动传感器用于机器人平台 | |
US20220268939A1 (en) | Label transfer between data from multiple sensors | |
CN116423515B (zh) | 一种多机器人的数字孪生控制***及其定位与建图的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |