CN112109074A - 一种机器人目标图像抓取方法 - Google Patents

一种机器人目标图像抓取方法 Download PDF

Info

Publication number
CN112109074A
CN112109074A CN202010106418.6A CN202010106418A CN112109074A CN 112109074 A CN112109074 A CN 112109074A CN 202010106418 A CN202010106418 A CN 202010106418A CN 112109074 A CN112109074 A CN 112109074A
Authority
CN
China
Prior art keywords
robot
target
target object
image
manipulator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010106418.6A
Other languages
English (en)
Inventor
庄永军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sanbao Innovation Intelligence Co ltd
Original Assignee
Shenzhen Sanbao Innovation Intelligence Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sanbao Innovation Intelligence Co ltd filed Critical Shenzhen Sanbao Innovation Intelligence Co ltd
Priority to CN202010106418.6A priority Critical patent/CN112109074A/zh
Publication of CN112109074A publication Critical patent/CN112109074A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/1605Simulation of manipulator lay-out, design, modelling of manipulator
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666Avoiding collision or forbidden zones

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

一种机器人目标图像抓取方法,机器人旋转带动其头部3D相机识别目标物体并拍摄图像;机器人移动至其机械手抓取目标物时最佳工作空间的位置;3D相机从不同方位拍摄目标物,并将图像信号传输给计算机,计算机利用图像信息对目标物进行3D建模;根据逆运动学规划机械手末端执行器的抓取位姿,并产生一条机械臂运动无碰撞的目标抓取路径;利用机器人手臂逆运动学模型计算各关节电机的转动量,生成期望轨迹,末端执行器产生相应动作协调实现仿人稳定抓取目标物。本发明通过3D相机拍摄图像,视觉反馈法定位目标物,根据逆运动学计算得出抓取目标物期望轨迹,使得这种仿制手更好地进行人机互动,能够更加灵活地在复杂的环境中工作。

Description

一种机器人目标图像抓取方法
技术领域
本发明涉及机器人控制技术领域,尤其涉及一种机器人目标图像抓取方法。
背景技术
当前,利用机器人来抓取物体时,一般是利用照相设备拍摄产品的图像,随后对拍摄到的图像进行图像处理以获取诸如物体尺寸之类的物体信息。物体信息随后被发送到机器人的控制单元,使得机器人能够根据物体信息,例如物体尺寸以及照片显示出的物***置,来控制机器人手臂的具体操作。
传统的机器人以其高刚度、高强度、高精度、高速度的特点在工业领域得到广泛应用,然而,当众多的科研和技术人员付出巨大努力师徒将刚性机器人从工业生产线应用扩展到其他领域(如家政服务、助老助残、农业自动化、医疗康复等)时,却发现严重依赖结构化环境和精确数学模型的机器人在上述的非结构复杂环境中与难以用准确的数学模型加以描述。复杂多变对象进行交互作业时,机器人的高刚度、高强度、高精度特点反而成为导致其不能胜任此类任务的缺点。在这种情况下,机器人研究逐渐兴起。
对于抓取机器人而言,设计和制造类似人的手指比较困难,容易出现故障,并且使用控制器控制机械手指的几十个关节也很复杂。新时代的人们需要更高级的仿制人手。这种仿制手能够更好地进行人机互动,能够更加灵活地在复杂的环境中工作。
发明内容
(一)发明目的
为解决背景技术中存在的技术问题,本发明提出一种机器人目标图像抓取方法,通过3D相机拍摄图像,视觉反馈法定位目标物,根据逆运动学计算得出抓取目标物期望轨迹,使得这种仿制手更好地进行人机互动,能够更加灵活地在复杂的环境中工作。
(二)技术方案
为解决上述问题,本发明提供了一种机器人目标图像抓取方法,包括:
机器人旋转带动其头部3D相机识别目标物体并拍摄图像;
机器人移动至其机械手抓取目标物时最佳工作空间的位置;
3D相机从不同方位拍摄目标物,并将图像信号传输给计算机,计算机利用图像信息对目标物进行3D建模;
根据逆运动学规划机械手末端执行器的抓取位姿,并产生一条机械臂运动无碰撞的目标抓取路径;
利用机器人手臂逆运动学模型计算各关节电机的转动量,生成期望轨迹,末端执行器产生相应动作协调实现仿人稳定抓取目标物。
优选的,通过手眼标定将3D相机坐标系下的目标物空间位置信息转换到机械臂基座标系下表示,用于对目标物的定位。
优选的,3D相机拍摄的图像进行预处理时基于HSV模型对H颜色通道进行颜色分割-轮廓提取-形态学去除-部分干扰-霍夫变换圆检测-圆率、面积大小、外接矩形面积、面积大小/外接矩形面积比值等,以此设置阈值进行最终的识别。
优选的,根据目标位姿信息,利用三次B样条曲线拟合出一条光滑过渡的轨迹。
优选的,三次B样条曲线拟合主要根据德布尔推导公式最终得到以下曲线方程:p(x)=p1*N1+p2*N2+p3*N3+p4*N4;其中:其中p1…pi为控制顶点。
优选的,抓取目标物期望轨迹的获取步骤为:
S1、由逆运动学求解出末端离散点反求得到各个离散点对应的关节角度;
S2、利用三次样条曲线对各个关节角进行拟合,得到各个关节的抓取目标的期望轨迹,对期望轨迹的跟踪,基于前期采用的PID控制效果不是很理想,拟主要采用自抗扰控制技术。
优选的,自抗扰控制器(ADRC)由***(TD)、非线性状态误差反馈控制律(NLSEF)及扩张状态观测器(ESO)三部分组成,这三部分有机结合成的ADRC可很好解决对被控对象进行跟踪控制。
优选的,采用视觉反馈法对目标物定位。
优选的,视觉反馈法的步骤为:
S1、先粗运动控制,使机械手运动到目标物范围,这时视觉***可同时看到机械手末端和目标;
S2、在机械说目的贴上一个易识别定位的标签,此时可以实时检测标签与目标中心的位置误差;
S3、根据误差作为ADRC的期望跟踪量,得到各个关节微转动量,最后实现精准控制到目标位置。
本发明中,实际工作环境使用时,机器人***旋转带动其头部3D相机拍摄场景搜索目标物,识别目标物后,机器人***移动至其机械手抓取目标物时最佳工作空间的位置,接着3D相机从不同方位拍摄目标物,并将图像信号传输给计算机,然后计算机利用图像信息对目标物进行3D建模,并规划末端执行器的抓取位姿,并产生一条机械臂运动无碰撞的目标抓取路径,利用机器人手臂逆运动学模型计算各关节电机相应的转动量,最后控制器生成控制指令控制机械手各个关节电机联合运动跟踪期望轨迹,末端执行器产生相应动作协调实现仿人稳定抓取目标物。这种仿制手可以更好地进行人机互动,能够更加灵活地在复杂的环境中工作。
本发明中,通过手眼标定对目标物进行定位,使得定位更加便捷准确;图像进行预处理时,采用以上基准,使得图像处理更加便捷;利用三次B样条曲线拟合出一条光滑过渡的轨迹,保证机械手运动的平稳性,避免突变而产生的抖振加大机械设备的磨损;通过曲线方程计算曲线拟合点坐标,结果更加准确,保证机械手运动的平稳性;自抗扰控制器的使用使得控制效果较好;采用视觉反馈法对目标物定位可精确定位。
附图说明
图1为本发明提出的一种机器人目标图像抓取方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
如图1所示,本发明提出的一种机器人目标图像抓取方法,机器人旋转带动其头部3D相机识别目标物体并拍摄图像;
机器人移动至其机械手抓取目标物时最佳工作空间的位置;
3D相机从不同方位拍摄目标物,并将图像信号传输给计算机,计算机利用图像信息对目标物进行3D建模;
根据逆运动学规划机械手末端执行器的抓取位姿,并产生一条机械臂运动无碰撞的目标抓取路径;
利用机器人手臂逆运动学模型计算各关节电机的转动量,生成期望轨迹,末端执行器产生相应动作协调实现仿人稳定抓取目标物。
本发明中,实际工作环境使用时,机器人***旋转带动其头部3D相机拍摄场景搜索目标物,识别目标物后,机器人***移动至其机械手抓取目标物时最佳工作空间的位置,接着3D相机从不同方位拍摄目标物,并将图像信号传输给计算机,然后计算机利用图像信息对目标物进行3D建模,并规划末端执行器的抓取位姿,并产生一条机械臂运动无碰撞的目标抓取路径,利用机器人手臂逆运动学模型计算各关节电机相应的转动量,最后控制器生成控制指令控制机械手各个关节电机联合运动跟踪期望轨迹,末端执行器产生相应动作协调实现仿人稳定抓取目标物。这种仿制手可以更好地进行人机互动,能够更加灵活地在复杂的环境中工作。
在一个可选的实施例中,通过手眼标定将3D相机坐标系下的目标物空间位置信息转换到机械臂基座标系下表示,用于对目标物的定位。
需要说明的是,通过手眼标定对目标物进行定位,使得定位更加便捷准确。
在一个可选的实施例中,3D相机拍摄的图像进行预处理时基于HSV模型对H颜色通道进行颜色分割-轮廓提取-形态学去除-部分干扰-霍夫变换圆检测-圆率、面积大小、外接矩形面积、面积大小/外接矩形面积比值等,以此设置阈值进行最终的识别。
需要说明的是,图像进行预处理时,采用以上基准,使得图像处理更加便捷。
在一个可选的实施例中,根据目标位姿信息,利用三次B样条曲线拟合出一条光滑过渡的轨迹。
需要说明的是,利用三次B样条曲线拟合出一条光滑过渡的轨迹,保证机械手运动的平稳性,避免突变而产生的抖振加大机械设备的磨损。
在一个可选的实施例中,三次B样条曲线拟合主要根据德布尔推导公式最终得到以下曲线方程:p(x)=p1*N1+p2*N2+p3*N3+p4*N4;其中:其中p1…pi为控制顶点。
需要说明的是,通过曲线方程计算曲线拟合点坐标,结果更加准确,保证机械手运动的平稳性。
在一个可选的实施例中,抓取目标物期望轨迹的获取步骤为:
S1、由逆运动学求解出末端离散点反求得到各个离散点对应的关节角度;
S2、利用三次样条曲线对各个关节角进行拟合,得到各个关节的抓取目标的期望轨迹,对期望轨迹的跟踪,基于前期采用的PID控制效果不是很理想,拟主要采用自抗扰控制技术。
需要说明的是,可通过以上步骤,得到抓取目标物期望轨迹。
在一个可选的实施例中,自抗扰控制器(ADRC)由***(TD)、非线性状态误差反馈控制律(NLSEF)及扩张状态观测器(ESO)三部分组成,这三部分有机结合成的ADRC可很好解决对被控对象进行跟踪控制。
需要说明的是,自抗扰控制器的使用使得控制效果较好。
在一个可选的实施例中,采用视觉反馈法对目标物定位。
需要说明的是,采用视觉反馈法对目标物定位可精确定位。
在一个可选的实施例中,视觉反馈法的步骤为:
S1、先粗运动控制,使机械手运动到目标物范围,这时视觉***可同时看到机械手末端和目标;
S2、在机械说目的贴上一个易识别定位的标签,此时可以实时检测标签与目标中心的位置误差;
S3、根据误差作为ADRC的期望跟踪量,得到各个关节微转动量,最后实现精准控制到目标位置。
需要说明的是,通过以上步骤可得到目标物的精确位置。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (9)

1.一种机器人目标图像抓取方法,其特征在于,包括:
机器人旋转带动其头部3D相机识别目标物体并拍摄图像;
机器人移动至其机械手抓取目标物时最佳工作空间的位置;
3D相机从不同方位拍摄目标物,并将图像信号传输给计算机,计算机利用图像信息对目标物进行3D建模;
根据逆运动学规划机械手末端执行器的抓取位姿,并产生一条机械臂运动无碰撞的目标抓取路径;
利用机器人手臂逆运动学模型计算各关节电机的转动量,生成期望轨迹,末端执行器产生相应动作协调实现仿人稳定抓取目标物。
2.根据权利要求1所述的一种机器人目标图像抓取方法,其特征在于,通过手眼标定将3D相机坐标系下的目标物空间位置信息转换到机械臂基座标系下表示,用于对目标物的定位。
3.根据权利要求2所述的一种机器人目标图像抓取方法,其特征在于,3D相机拍摄的图像进行预处理时基于HSV模型对H颜色通道进行颜色分割-轮廓提取-形态学去除-部分干扰-霍夫变换圆检测-圆率、面积大小、外接矩形面积、面积大小/外接矩形面积比值等,以此设置阈值进行最终的识别。
4.根据权利要求1所述的一种机器人目标图像抓取方法,其特征在于,根据目标位姿信息,利用三次B样条曲线拟合出一条光滑过渡的轨迹。
5.根据权利要求4所述的一种机器人目标图像抓取方法,其特征在于,三次B样条曲线拟合主要根据德布尔推导公式最终得到以下曲线方程:p(x)=p1*N1+p2*N2+p3*N3+p4*N4;其中:其中p1…pi为控制顶点。
6.根据权利要求1所述的一种机器人目标图像抓取方法,其特征在于,抓取目标物期望轨迹的获取步骤为:
S1、由逆运动学求解出末端离散点反求得到各个离散点对应的关节角度;
S2、利用三次样条曲线对各个关节角进行拟合,得到各个关节的抓取目标的期望轨迹,对期望轨迹的跟踪,基于前期采用的PID控制效果不是很理想,拟主要采用自抗扰控制技术。
7.根据权利要求1所述的一种机器人目标图像抓取方法,其特征在于,自抗扰控制器(ADRC)由***(TD)、非线性状态误差反馈控制律(NLSEF)及扩张状态观测器(ESO)三部分组成,这三部分有机结合成的ADRC可很好解决对被控对象进行跟踪控制。
8.根据权利要求1所述的一种机器人目标图像抓取方法,其特征在于,采用视觉反馈法对目标物定位。
9.根据权利要求8所述的一种机器人目标图像抓取方法,其特征在于,视觉反馈法的步骤为:
S1、先粗运动控制,使机械手运动到目标物范围,这时视觉***可同时看到机械手末端和目标;
S2、在机械说目的贴上一个易识别定位的标签,此时可以实时检测标签与目标中心的位置误差;
S3、根据误差作为ADRC的期望跟踪量,得到各个关节微转动量,最后实现精准控制到目标位置。
CN202010106418.6A 2020-02-21 2020-02-21 一种机器人目标图像抓取方法 Pending CN112109074A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010106418.6A CN112109074A (zh) 2020-02-21 2020-02-21 一种机器人目标图像抓取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010106418.6A CN112109074A (zh) 2020-02-21 2020-02-21 一种机器人目标图像抓取方法

Publications (1)

Publication Number Publication Date
CN112109074A true CN112109074A (zh) 2020-12-22

Family

ID=73798751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010106418.6A Pending CN112109074A (zh) 2020-02-21 2020-02-21 一种机器人目标图像抓取方法

Country Status (1)

Country Link
CN (1) CN112109074A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112894800A (zh) * 2020-12-24 2021-06-04 苏州迈维视电子技术有限公司 一种工件抓取下料引导用方法
CN113199454A (zh) * 2021-06-22 2021-08-03 北京航空航天大学 一种轮式移动智能物流作业机器人***
CN113246140A (zh) * 2021-06-22 2021-08-13 沈阳风驰软件股份有限公司 一种基于相机测量的多模型工件无序抓取方法及装置
CN113894050A (zh) * 2021-09-14 2022-01-07 深圳玩智商科技有限公司 物流件分拣方法、分拣设备及存储介质
CN113954075A (zh) * 2021-11-10 2022-01-21 佛山市南海区广工大数控装备协同创新研究院 基于机器人主动运动的运动物体跟踪抓取方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1133952A (ja) * 1997-07-18 1999-02-09 Yaskawa Electric Corp ロボットの制御方法、ロボットおよび把持物体の位置、姿勢修正方法
CN101402199A (zh) * 2008-10-20 2009-04-08 北京理工大学 基于视觉的手眼式低伺服精度机器人移动目标抓取方法
CN104842362A (zh) * 2015-06-18 2015-08-19 厦门理工学院 一种机器人抓取物料包的方法和机器人抓取装置
CN107414832A (zh) * 2017-08-08 2017-12-01 华南理工大学 一种基于机器视觉的移动机械臂抓取控制***及方法
CN107571260A (zh) * 2017-10-25 2018-01-12 南京阿凡达机器人科技有限公司 控制机器人抓取物体的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1133952A (ja) * 1997-07-18 1999-02-09 Yaskawa Electric Corp ロボットの制御方法、ロボットおよび把持物体の位置、姿勢修正方法
CN101402199A (zh) * 2008-10-20 2009-04-08 北京理工大学 基于视觉的手眼式低伺服精度机器人移动目标抓取方法
CN104842362A (zh) * 2015-06-18 2015-08-19 厦门理工学院 一种机器人抓取物料包的方法和机器人抓取装置
CN107414832A (zh) * 2017-08-08 2017-12-01 华南理工大学 一种基于机器视觉的移动机械臂抓取控制***及方法
CN107571260A (zh) * 2017-10-25 2018-01-12 南京阿凡达机器人科技有限公司 控制机器人抓取物体的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王忆勤等: "《中医面诊与计算机辅助诊断》", 30 November 2010, 上海科学技术出版社, pages: 71 - 75 *
过志强等: "视觉引导的机器人关节空间动态轨迹规划", 自动化仪表, vol. 36, no. 3, 31 March 2015 (2015-03-31), pages 77 - 80 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112894800A (zh) * 2020-12-24 2021-06-04 苏州迈维视电子技术有限公司 一种工件抓取下料引导用方法
CN113199454A (zh) * 2021-06-22 2021-08-03 北京航空航天大学 一种轮式移动智能物流作业机器人***
CN113246140A (zh) * 2021-06-22 2021-08-13 沈阳风驰软件股份有限公司 一种基于相机测量的多模型工件无序抓取方法及装置
CN113246140B (zh) * 2021-06-22 2021-10-15 沈阳风驰软件股份有限公司 一种基于相机测量的多模型工件无序抓取方法及装置
CN113894050A (zh) * 2021-09-14 2022-01-07 深圳玩智商科技有限公司 物流件分拣方法、分拣设备及存储介质
CN113954075A (zh) * 2021-11-10 2022-01-21 佛山市南海区广工大数控装备协同创新研究院 基于机器人主动运动的运动物体跟踪抓取方法和装置

Similar Documents

Publication Publication Date Title
CN112109074A (zh) 一种机器人目标图像抓取方法
US20210205986A1 (en) Teleoperating Of Robots With Tasks By Mapping To Human Operator Pose
CN107160364B (zh) 一种基于机器视觉的工业机器人示教***及方法
CN114080583B (zh) 视觉教导和重复移动操纵***
CN109571487B (zh) 一种基于视觉的机器人演示学习方法
Do et al. Imitation of human motion on a humanoid robot using non-linear optimization
CN105252532A (zh) 动作捕捉机器人协同柔性姿态控制的方法
CN104325268A (zh) 一种基于智能学习的工业机器人三维空间自主装配方法
CN111459274B (zh) 一种基于5g+ ar的针对非结构化环境的遥操作方法
CN112454333B (zh) 基于图像分割及表面肌电信号的机器人示教***及方法
CN113829343B (zh) 基于环境感知的实时多任务多人人机交互***
Schröder et al. Real-time hand tracking with a color glove for the actuation of anthropomorphic robot hands
CN114770461A (zh) 一种基于单目视觉的移动机器人及其自动抓取方法
Han et al. Grasping control method of manipulator based on binocular vision combining target detection and trajectory planning
CN113119073A (zh) 面向3c装配场景基于计算机视觉及机器学习的机械臂***
CN110722547B (zh) 模型未知动态场景下移动机器人视觉镇定
CN115723152B (zh) 一种智能护理机器人
CN111702787A (zh) 人机协作控制***及控制方法
Zhou et al. Visual servo control system of 2-DOF parallel robot
CN116206189A (zh) 一种曲面图形标识码及其识别方法
Wang et al. Object Grabbing of Robotic Arm Based on OpenMV Module Positioning
Jayasurya et al. Gesture controlled AI-robot using Kinect
Bai et al. Kinect-based hand tracking for first-person-perspective robotic arm teleoperation
Infantino et al. Visual control of a robotic hand
Li et al. Design of Tai-Chi Push-Hands Robot Control System and Construction of Visual Platform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination