CN108214487B - 基于双目视觉和激光雷达的机器人目标定位和抓取方法 - Google Patents

基于双目视觉和激光雷达的机器人目标定位和抓取方法 Download PDF

Info

Publication number
CN108214487B
CN108214487B CN201711356570.4A CN201711356570A CN108214487B CN 108214487 B CN108214487 B CN 108214487B CN 201711356570 A CN201711356570 A CN 201711356570A CN 108214487 B CN108214487 B CN 108214487B
Authority
CN
China
Prior art keywords
robot
target object
camera
mechanical arm
coordinate value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711356570.4A
Other languages
English (en)
Other versions
CN108214487A (zh
Inventor
黄锋
郭丽娟
蒋圣超
郭金明
唐捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Guangxi Power Grid Co Ltd
Original Assignee
Electric Power Research Institute of Guangxi Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of Guangxi Power Grid Co Ltd filed Critical Electric Power Research Institute of Guangxi Power Grid Co Ltd
Priority to CN201711356570.4A priority Critical patent/CN108214487B/zh
Publication of CN108214487A publication Critical patent/CN108214487A/zh
Application granted granted Critical
Publication of CN108214487B publication Critical patent/CN108214487B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/022—Optical sensing devices using lasers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种基于双目视觉和激光雷达的机器人目标定位和抓取方法，方法适用于机器人，机器人包括机器人本体，与机器人本体活动连接的左机械臂、右机械臂、设置在左机械臂上的第一摄像机和右机械臂上的第二摄像机以及设置在机器人本体上的激光雷达传感器；包括以下步骤：a）识别目标物体；b）确定目标物***置；c）确定机器人与目标物体的距离；d）控制机器人抓取目标物体。本发明综合利用激光测距的高精度特性和视觉信息的完整性，实现机器人对目标物体的精确定位和抓取，降低机器人机械臂抓取目标物体的失误率。

Description

基于双目视觉和激光雷达的机器人目标定位和抓取方法
技术领域
本发明涉及机器人技术领域，具体涉及一种基于双目视觉和激光雷达的机器人目标定位和抓取方法。
背景技术
机器人是一种自动化的机器，具备一些与人或其它生物相似的智能，如感知能力、规划能力、动作能力和协同能力，是一种具有高度灵活性的自动化机器。与固定式机器人相比，智能移动机器人更加强调了机器人具有的移动能力，从而面临更为复杂的不确定性环境。随着计算机技术以及控制技术的发展，机器人的智能化水平越来越高，能够在非结构化的环境中自主地完成一些工作，能够识别出目标物体，经过定位后能够到达目标物体所在的区域，抓取目标物体。
当前机器人的自主识别定位以及抓取一般利用视觉伺服定位技术来实现。然而，现有机器人的视觉传感***大多数包括一个摄像头，所获取的物品位置信息为大范围的环境信息，不能检测到物品所处的精确位置，因此，机器人机械臂不能够准确的抓取物品，容易出现抓取失误的问题。
发明内容
针对现有技术存在的缺陷，本发明的目的是提供一种基于双目视觉和激光雷达的机器人目标定位和抓取方法，综合利用激光测距的高精度特性和视觉信息的完整性，实现机器人对目标物体的精确定位和抓取，降低机器人机械臂抓取目标物体的失误率。
为达到上述目的，本发明采用如下技术方案：
一种基于双目视觉和激光雷达的机器人目标定位和抓取方法，所述方法适用于机器人，所述机器人包括机器人本体，与所述机器人本体活动连接的左机械臂、右机械臂、设置在所述左机械臂上的第一摄像机和所述右机械臂上的第二摄像机以及设置在所述机器人本体上的激光雷达传感器；
包括以下步骤：
a）识别目标物体；
b）确定目标物***置；
c）确定机器人与目标物体的距离；
d）控制机器人抓取目标物体。
作为本发明的一种优化或改进，步骤a）识别目标物体具体包括：
a1）构建目标物体的形态库，将目标物体的不同形态存储进形态库；
a2）通过所述第一摄像机和第二摄像机采集机器人周边信息，对采集到的初始信息进行去噪处理；
a3）将去噪后的信息与形态库中目标物体的形态进行匹配，根据匹配程度确定目标物体。
作为本发明的一种优化或改进，步骤b）确定目标物***置具体包括：
b1）通过第一摄像机采集目标物体的第一图像，通过第二摄像机采集目标物体的第二图像；
b2）采用平面模板法对所述第一摄像机和第二摄像机进行标定，并提取所述第一摄像机和第二摄像机的内部参数；
b3）以所述第一摄像机为原点建立第一基准坐标系，将目标物体在第一图像中的坐标值转换到目标物体在第一基准坐标系的坐标值；以所述第一摄像机和第二摄像机的云台中点为坐标原点建立机器人坐标系，将目标物体在第一基准坐标系的坐标值转换到机器人坐标系的坐标值，得到目标物体在机器人坐标系中的第一坐标值；
b4）以所述第二摄像机为原点建立第二基准坐标系，将目标物体在第二图像中的坐标值转换到目标物体在第二基准坐标系的坐标值；以所述第一摄像机和第二摄像机的云台中点为坐标原点建立机器人坐标系，将目标物体在第二基准坐标系的坐标值转换到机器人坐标系的坐标值，得到目标物体在机器人坐标系中的第二坐标值；
b5）将所述第一坐标值与第二坐标值的中点坐标值确定为目标物体的实际位置。
作为本发明的一种优化或改进，步骤c）确定机器人与目标物体的距离是通过安装在所述激光雷达传感器来测量机器人与目标物体的实际距离来实现。
作为本发明的一种优化或改进，步骤d）控制机器人抓取目标物体中，若机器人与目标物体的实际距离L1等于或小于机器人的左机械臂的长度L2和/或右机械臂的长度L3时，直接控制机器人的左机械臂和/或右机械臂抓取目标物体；若机器人与目标物体的实际距离L1大于机器人的左机械臂的长度L2和/或右机械臂的长度L3时，控制机器人移向目标物体以使机器人与目标物体的实际距离L1等于或小于机器人的左机械臂的长度L2和/或右机械臂的长度L3，并控制机器人的左机械臂和/或右机械臂抓取目标物体。
与现有技术相比，本发明的有益效果是：本发明融合了激光雷达测距的精度高特性和双摄像头的信息完整性优点，能有效提升目标定位的精准度，降低机器人的误抓取。
附图说明
为了更清楚地说明本发明实施例的技术方案，以下将对实施例描述中所需要使用的附图作简单地介绍。
图1为本发明优选的实施例的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参照图1，本发明优选的实施例提供一种基于双目视觉和激光雷达的机器人目标定位和抓取方法，该方法适用于机器人，机器人包括机器人本体，与机器人本体活动连接的左机械臂、右机械臂、设置在左机械臂上的第一摄像机和所述右机械臂上的第二摄像机以及设置在机器人本体上的激光雷达传感器；
包括以下步骤：
a）识别目标物体；
b）确定目标物***置；
c）确定机器人与目标物体的距离；
d）控制机器人抓取目标物体。
首先识别目标物体，具体步骤包括：
a1）构建目标物体的形态库，将目标物体的不同形态存储进形态库；
a2）通过第一摄像机和第二摄像机采集机器人周边信息，对采集到的初始信息进行去噪处理；
a3）将去噪后的信息与形态库中目标物体的形态进行匹配，根据匹配程度确定目标物体。
其次确定目标物***置，具体步骤包括：
b1）通过第一摄像机采集目标物体的第一图像，通过第二摄像机采集目标物体的第二图像；
b2）采用平面模板法对所述第一摄像机和第二摄像机进行标定，并提取所述第一摄像机和第二摄像机的内部参数；
b3）以所述第一摄像机为原点建立第一基准坐标系，将目标物体在第一图像中的坐标值转换到目标物体在第一基准坐标系的坐标值；以所述第一摄像机和第二摄像机的云台中点为坐标原点建立机器人坐标系，将目标物体在第一基准坐标系的坐标值转换到机器人坐标系的坐标值，得到目标物体在机器人坐标系中的第一坐标值；
b4）以所述第二摄像机为原点建立第二基准坐标系，将目标物体在第二图像中的坐标值转换到目标物体在第二基准坐标系的坐标值；以所述第一摄像机和第二摄像机的云台中点为坐标原点建立机器人坐标系，将目标物体在第二基准坐标系的坐标值转换到机器人坐标系的坐标值，得到目标物体在机器人坐标系中的第二坐标值；
b5）将所述第一坐标值与第二坐标值的中点坐标值确定为目标物体的实际位置。
然后确定机器人与目标物体的距离，具体为通过安装在激光雷达传感器来测量机器人与目标物体的实际距离来实现。
最后控制机器人抓取目标物体，具体步骤包括：
若机器人与目标物体的实际距离L1等于或小于机器人的左机械臂的长度L2和/或右机械臂的长度L3时，直接控制机器人的左机械臂和/或右机械臂抓取目标物体；若机器人与目标物体的实际距离L1大于机器人的左机械臂的长度L2和/或右机械臂的长度L3时，控制机器人移向目标物体以使机器人与目标物体的实际距离L1等于或小于机器人的左机械臂的长度L2和/或右机械臂的长度L3，并控制机器人的左机械臂和/或右机械臂抓取目标物体。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (3)

1.一种基于双目视觉和激光雷达的机器人目标定位和抓取方法，其特征在于，所述方法适用于机器人，所述机器人包括机器人本体，与所述机器人本体活动连接的左机械臂、右机械臂、设置在所述左机械臂上的第一摄像机和所述右机械臂上的第二摄像机以及设置在所述机器人本体上的激光雷达传感器；
包括以下步骤：
a）识别目标物体；具体包括：
a1）构建目标物体的形态库，将目标物体的不同形态存储进形态库；
a2）通过所述第一摄像机和第二摄像机采集机器人周边信息，对采集到的初始信息进行去噪处理；
a3）将去噪后的信息与形态库中目标物体的形态进行匹配，根据匹配程度确定目标物体；
b）确定目标物***置；具体包括：
b1）通过第一摄像机采集目标物体的第一图像，通过第二摄像机采集目标物体的第二图像；
b2）采用平面模板法对所述第一摄像机和第二摄像机进行标定，并提取所述第一摄像机和第二摄像机的内部参数；
b3）以所述第一摄像机为原点建立第一基准坐标系，将目标物体在第一图像中的坐标值转换到目标物体在第一基准坐标系的坐标值；以所述第一摄像机和第二摄像机的云台中点为坐标原点建立机器人坐标系，将目标物体在第一基准坐标系的坐标值转换到机器人坐标系的坐标值，得到目标物体在机器人坐标系中的第一坐标值；
b4）以所述第二摄像机为原点建立第二基准坐标系，将目标物体在第二图像中的坐标值转换到目标物体在第二基准坐标系的坐标值；以所述第一摄像机和第二摄像机的云台中点为坐标原点建立机器人坐标系，将目标物体在第二基准坐标系的坐标值转换到机器人坐标系的坐标值，得到目标物体在机器人坐标系中的第二坐标值；
b5）将所述第一坐标值与第二坐标值的中点坐标值确定为目标物体的实际位置；
c）确定机器人与目标物体的距离；
d）控制机器人抓取目标物体。
2.根据权利要求1所述的基于双目视觉和激光雷达的机器人目标定位和抓取方法，其特征在于，步骤c）确定机器人与目标物体的距离是通过安装在所述激光雷达传感器来测量机器人与目标物体的实际距离来实现。
3.根据权利要求1所述的基于双目视觉和激光雷达的机器人目标定位和抓取方法，其特征在于，步骤d）控制机器人抓取目标物体中，若机器人与目标物体的实际距离L1等于或小于机器人的左机械臂的长度L2和/或右机械臂的长度L3时，直接控制机器人的左机械臂和/或右机械臂抓取目标物体；若机器人与目标物体的实际距离L1大于机器人的左机械臂的长度L2和/或右机械臂的长度L3时，控制机器人移向目标物体以使机器人与目标物体的实际距离L1等于或小于机器人的左机械臂的长度L2和/或右机械臂的长度L3，并控制机器人的左机械臂和/或右机械臂抓取目标物体。
CN201711356570.4A 2017-12-16 2017-12-16 基于双目视觉和激光雷达的机器人目标定位和抓取方法 Active CN108214487B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711356570.4A CN108214487B (zh) 2017-12-16 2017-12-16 基于双目视觉和激光雷达的机器人目标定位和抓取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711356570.4A CN108214487B (zh) 2017-12-16 2017-12-16 基于双目视觉和激光雷达的机器人目标定位和抓取方法

Publications (2)

Publication Number Publication Date
CN108214487A CN108214487A (zh) 2018-06-29
CN108214487B true CN108214487B (zh) 2021-07-20

Family

ID=62652306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711356570.4A Active CN108214487B (zh) 2017-12-16 2017-12-16 基于双目视觉和激光雷达的机器人目标定位和抓取方法

Country Status (1)

Country Link
CN (1) CN108214487B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109129474B (zh) * 2018-08-10 2020-07-14 上海交通大学 基于多模态融合的机械手主动抓取装置及方法
CN109531570A (zh) * 2018-12-10 2019-03-29 浙江树人学院 基于视觉传感器的机械臂抓取方法
CN109765901A (zh) * 2019-02-18 2019-05-17 华南理工大学 基于线激光与双目视觉的动态代价地图导航方法
CN110202576A (zh) * 2019-06-14 2019-09-06 福耀集团(福建)机械制造有限公司 一种工件二维视觉引导抓取检测***和方法
CN110295728B (zh) * 2019-07-03 2021-02-09 广东博智林机器人有限公司 搬运***及其控制方法、地砖铺贴***
CN110722569A (zh) * 2019-11-08 2020-01-24 温州职业技术学院 一种基于机器人动作实时图像采集处理***
CN112010024B (zh) * 2020-08-21 2021-09-28 南京理工大学 一种基于激光和视觉融合检测的货箱自动抓取方法及***
CN112428268A (zh) * 2020-11-11 2021-03-02 南京农业大学 基于机器视觉的车载机械臂式水果拾取装箱***及方法
CN112991461A (zh) * 2021-03-11 2021-06-18 珠海格力智能装备有限公司 物料装配方法及装配装置、计算机可读存储介质、处理器
CN113312992A (zh) * 2021-05-18 2021-08-27 中山方显科技有限公司 一种基于多源传感器信息融合的动态物体感知及预测方法
CN114932554B (zh) * 2022-06-06 2023-12-01 北京钢铁侠科技有限公司 抓取机器人的自主移动方法、装置、存储介质及设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106671104A (zh) * 2017-01-11 2017-05-17 河北省自动化研究所 用于大型精密机械设备零件的双反馈机械臂自动装卸装置
CN106920250B (zh) * 2017-02-14 2019-08-13 华中科技大学 基于rgb-d视频的机器人目标识别与定位方法及***
CN107234625B (zh) * 2017-07-07 2019-11-26 中国科学院自动化研究所 视觉伺服定位和抓取的方法
CN107127760A (zh) * 2017-07-12 2017-09-05 清华大学 一种足履复合式人形机器人
CN107444902A (zh) * 2017-07-27 2017-12-08 大连大学 一种具有自动抓取功能的无人搬运车

Also Published As

Publication number Publication date
CN108214487A (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
CN108214487B (zh) 基于双目视觉和激光雷达的机器人目标定位和抓取方法
WO2022022694A1 (zh) 自动驾驶环境感知方法及***
CN110599541B (zh) 一种对多传感器进行标定的方法、装置和存储介质
EP3825903A1 (en) Method, apparatus and storage medium for detecting small obstacles
CN101370624B (zh) 自动化攫握零件的方法和***
US10083512B2 (en) Information processing apparatus, information processing method, position and orientation estimation apparatus, and robot system
CN112418103B (zh) 一种基于动态双目视觉的桥式起重机吊装安全防撞***及方法
KR20210019014A (ko) 공간의 복잡한 표면에서 지점의 위치를 결정하기 위한 방법 및 플랜트
CN106652028B (zh) 一种环境三维建图方法及装置
CN109952176A (zh) 一种机器人标定方法、***、机器人及存储介质
US20190122371A1 (en) Moving object controller, landmark, and moving object control method
CN113601501B (zh) 机器人柔性作业方法、装置及机器人
Wu et al. Peg-in-hole assembly in live-line maintenance based on generative mapping and searching network
CN108564626B (zh) 用于确定安装于采集实体的相机之间的相对姿态角的方法和装置
CN116243329A (zh) 基于激光雷达和相机融合的高精度多目标无接触测距方法
CN113310484A (zh) 一种移动机器人定位方法和***
CN106153012B (zh) 指定目标的空间姿态参数测量方法及其应用
CN107516328B (zh) 一种agv工作点定位方法及***
CN110232714B (zh) 深度相机的标定方法及***
Liu et al. A monocular vision measurement algorithm based on the underwater robot
Yu et al. Visual servo for fast glass handling by industrial robot with large sensor latency and low sampling rate
US20220088784A1 (en) Method and Apparatus for Monitoring Robot System
JP2017083230A (ja) 自己位置推定方法
Yang et al. Two-stage multi-sensor fusion positioning system with seamless switching for cooperative mobile robot and manipulator system
Su et al. Fast detection method of checkerboard corners based on the combination of template matching and Harris Operator

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant