CN110065064A - 一种机器人分拣控制方法 - Google Patents

一种机器人分拣控制方法 Download PDF

Info

Publication number
CN110065064A
CN110065064A CN201810069509.XA CN201810069509A CN110065064A CN 110065064 A CN110065064 A CN 110065064A CN 201810069509 A CN201810069509 A CN 201810069509A CN 110065064 A CN110065064 A CN 110065064A
Authority
CN
China
Prior art keywords
target object
robot
control method
location information
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810069509.XA
Other languages
English (en)
Inventor
王拴绪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Robotics Research Institute Co Ltd
Original Assignee
Nanjing Robotics Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Robotics Research Institute Co Ltd filed Critical Nanjing Robotics Research Institute Co Ltd
Priority to CN201810069509.XA priority Critical patent/CN110065064A/zh
Publication of CN110065064A publication Critical patent/CN110065064A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种机器人分拣控制方法，包括：构建机器人的目标追踪模型和目标对象的视觉特征地图，并确定初始目标对象在所述视觉特征地图上的初始位置；对目标对象图像进行采集与处理，通过激光扫描目标对象在所述视觉特征地图上的实际位置；运用图像处理的方法对机器人的操作状态进行检测和识别，获得器人操作过程下的目标对象，并获取所述目标对象在该时刻的位置信息；精确定位机器人与目标对象之间的距离，并对目标对象状态进行预测，对目标对象在下一时刻的位置信息进行预测；规划机器人的末端执行器的运行轨迹；控制机器人的末端执行器根据所规划的运动轨迹进行动作。

Description

一种机器人分拣控制方法
技术领域
本发明涉及机器人技术领域，尤其涉及一种机器人分拣控制方法。
背景技术
工业机器人与视觉的结合是未来的发展方向，目前在工业机器人领域应用的视觉***一般分为两类：一类是采用智能相机，即相机和处理器集成在一起，视觉算法运行在处理器当中，智能相机配置上位机软件模块，通过上位机软件模块可以实现对智能相机中算法输入参数做相应的配置；还有一类是采用普通工业相机，并配置PC机，普通相机只有相机和镜头，没有处理器，视觉算法运 行在PC机上面。
两类视觉***各有优缺点：第一类采用智能相机集成度比较高，但由于相机尺寸不能做很大，这样对于处理器的尺寸、处理能力、散热等有较高要求，增加了相机的成本，另外，这种智能相机尺寸和重量比较大，如果放在机器人末端的话，对机器人末端设计和负重是一个考验，应用较为不便；另一类采用普通工业相机集成度没有智能相机高，但是由于单独配置用于算法运行的PC机，虽然计算能力较强，其成本和智能相机差不多。
工业机器人可模仿人的部分动作，根据不同的执行程序、轨迹和要求实现自动抓取、搬运工件和操作工具的机电一体化***，它具有智能化和自动化的特点，能显著提高生产效率，改善工作条件，工业机器人的应用将大大提高我国制造业的技术水平、自动化程度、产品竞争力，促进制造业的转型升级，带来整个工业水平的提高；机器人视觉技术就是把光学电子***拍摄的影像转换成电子图像并传送到计算机***进行图像处理，实现对物体的颜色、尺寸、形状、位置等特征的识别，并把识别结果送到计算机以控制其他执行机构完成动作的工业***，由于它具有非接触、识别精度高、速度快、自动化程度高、易和其他***集成等特点，目前已广泛应用在轻工、化工、纺织、医疗、电子、汽车等行业，将机器人和机器视觉***结合起来，是一种非常有前途的应用。
工业机器人可以用于柔性分拣，但是这种在柔性分拣过程中，机器人的准确性不高，经常出现偏差，造成分拣物品的不准确，影响了生产的进行。
因此，如何提高机器人在柔性分拣过程中的准确性，成为本领域技术人员亟待解决的技术难题。
发明内容
本发明的目的是提供一种机器人分拣控制方法，能够提高机器人在柔性分拣过程中的准确性，使得机器人能准确分拣到目标对象。
为了实现上述目的，本发明提供了一种机器人分拣控制方法，包括以下步骤：
构建机器人的目标追踪模型和目标对象的视觉特征地图，并确定初始目标对象在所述视觉特征地图上的初始位置；
对目标对象图像进行采集与处理，通过激光扫描目标对象在所述视觉特征地图上的实际位置；
运用图像处理的方法对机器人的操作状态进行检测和识别，获得器人操作过程下的目标对象，并获取所述目标对象在该时刻的位置信息；
精确定位机器人与目标对象之间的距离，并对目标对象状态进行预测，对目标对象在下一时刻的位置信息进行预测；
根据预测结果及时跟踪目标对象下一个状态值和下一时刻的位置；
根据目标对象的当前状态信息与预测的状态信息，当前位置信息和下一刻的位置信息，规划机器人的末端执行器的运行轨迹；
控制机器人的末端执行器根据所规划的运动轨迹进行动作。
优选的，通过视觉传感器对目标对象图像进行采集和处理。
优选的，在对目标对象图像进行采集和处理之前，通过视觉传感器获取机器人的末端执行器的位置信息和状态信息，以确定机器人的末端执行器的初始位置信息和初始状态。
优选的，所述视觉传感器获取含有所述目标对象的两幅场景图像，然后经过二值化、边缘提取、轮廓外接矩形检测、椭圆检测、椭圆相似度计算、椭圆重心计算后，获得所述两幅场景图像中的所述目标对象的视差，以获得目标对象的状态信息。
优选的，所述通过激光扫描目标对象在所述视觉特征地图上的实际位置，包括：通过三个激光扫描器，经过三角测量获取目标对象的位置信息，并将位置信息标记在所述视觉特征地图上。
优选的，所述视觉传感器基于机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型；以及利用帧间差分法对对机器人的操作状态下的目标对象进行检测和识别；计算出机器人与目标对象之间的距离；基于卡尔曼滤波算法预测目标对象的运动状态。
优选的，所述规划机器人的末端执行器的运行轨迹；包括：所述运动轨迹由三条直线段过程的“门”字形轨迹，所述“门”字形轨迹的高度高于障碍物的高度。
本发明提供的机器人分拣控制方法，通过采集机器人、目标对象的初始状态和初始位置，以及下一刻的状态信息及位置信息，准确规划出机器人末端执行器的运动轨迹，够提高机器人在柔性分拣过程中的准确性，使得机器人能准确分拣到目标对象。
附图说明
图1为本发明提供的机器人分拣控制方法的一种具体实施方式的流程示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参看图1，图1为本发明提供的机器人分拣控制方法的一种具体实施方式的流程示意图。
如图1所示，本发明提供了一种机器人分拣控制方法，包括以下步骤。
构建机器人的目标追踪模型和目标对象的视觉特征地图，并确定初始目标对象在所述视觉特征地图上的初始位置；
对目标对象图像进行采集与处理，通过激光扫描目标对象在所述视觉特征地图上的实际位置；
运用图像处理的方法对机器人的操作状态进行检测和识别，获得器人操作过程下的目标对象，并获取所述目标对象在该时刻的位置信息；
精确定位机器人与目标对象之间的距离，并对目标对象状态进行预测，对目标对象在下一时刻的位置信息进行预测；
根据预测结果及时跟踪目标对象下一个状态值和下一时刻的位置；
根据目标对象的当前状态信息与预测的状态信息，当前位置信息和下一刻的位置信息，规划机器人的末端执行器的运行轨迹；
控制机器人的末端执行器根据所规划的运动轨迹进行动作。
具体的方案中，目标对象状态包括目标对象的姿态及目标对象的运动状态，比如目标对象的形状、运动速度、运动加速度等。
本发明提供的机器人分拣控制方法，通过采集机器人、目标对象的初始状态和初始位置，以及下一刻的状态信息及位置信息，准确规划出机器人末端执行器的运动轨迹，够提高机器人在柔性分拣过程中的准确性，使得机器人能准确分拣到目标对象。
优选的方案中，通过视觉传感器对目标对象图像进行采集和处理。
优选的方案中，在对目标对象图像进行采集和处理之前，通过视觉传感器获取机器人的末端执行器的位置信息和状态信息，以确定机器人的末端执行器的初始位置信息和初始状态。
优选的方案中，所述视觉传感器获取含有所述目标对象的两幅场景图像，然后经过二值化、边缘提取、轮廓外接矩形检测、椭圆检测、椭圆相似度计算、椭圆重心计算后，获得所述两幅场景图像中的所述目标对象的视差，以获得目标对象的状态信息。
优选的方案中，所述通过激光扫描目标对象在所述视觉特征地图上的实际位置，包括：通过三个激光扫描器，经过三角测量获取目标对象的位置信息，并将位置信息标记在所述视觉特征地图上。
优选的方案中，所述视觉传感器基于机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型；以及利用帧间差分法对对机器人的操作状态下的目标对象进行检测和识别；计算出机器人与目标对象之间的距离；基于卡尔曼滤波算法预测目标对象的运动状态。
优选的方案中，所述规划机器人的末端执行器的运行轨迹；包括：所述运动轨迹由三条直线段过程的“门”字形轨迹，所述“门”字形轨迹的高度高于障碍物的高度。这种方案可以使得机器人可以顺利跨过障碍物，以免机器人在运动过程中受到障碍物的影响。
以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，以上所述仅为本发明的较佳实施例，但本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。

Claims (7)

1.一种机器人分拣控制方法，其特征在于，包括以下步骤：
构建机器人的目标追踪模型和目标对象的视觉特征地图，并确定初始目标对象在所述视觉特征地图上的初始位置；
对目标对象图像进行采集与处理，通过激光扫描目标对象在所述视觉特征地图上的实际位置；
运用图像处理的方法对机器人的操作状态进行检测和识别，获得器人操作过程下的目标对象，并获取所述目标对象在该时刻的位置信息；
精确定位机器人与目标对象之间的距离，并对目标对象状态进行预测，对目标对象在下一时刻的位置信息进行预测；
根据预测结果及时跟踪目标对象下一个状态值和下一时刻的位置；
根据目标对象的当前状态信息与预测的状态信息，当前位置信息和下一刻的位置信息，规划机器人的末端执行器的运行轨迹；
控制机器人的末端执行器根据所规划的运动轨迹进行动作。
2.根据权利要求1所述的机器人分拣控制方法，其特征在于，通过视觉传感器对目标对象图像进行采集和处理。
3.根据权利要求2所述的机器人分拣控制方法，其特征在于，在对目标对象图像进行采集和处理之前，通过视觉传感器获取机器人的末端执行器的位置信息和状态信息，以确定机器人的末端执行器的初始位置信息和初始状态。
4.根据权利要求3所述的机器人分拣控制方法，其特征在于，所述视觉传感器获取含有所述目标对象的两幅场景图像，然后经过二值化、边缘提取、轮廓外接矩形检测、椭圆检测、椭圆相似度计算、椭圆重心计算后，获得所述两幅场景图像中的所述目标对象的视差，以获得目标对象的状态信息。
5.根据权利要求1所述的机器人分拣控制方法，其特征在于，所述通过激光扫描目标对象在所述视觉特征地图上的实际位置，包括：通过三个激光扫描器，经过三角测量获取目标对象的位置信息，并将位置信息标记在所述视觉特征地图上。
6.根据权利要求3所述的机器人分拣控制方法，其特征在于，所述视觉传感器基于机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型；以及利用帧间差分法对对机器人的操作状态下的目标对象进行检测和识别；计算出机器人与目标对象之间的距离；基于卡尔曼滤波算法预测目标对象的运动状态。
7.根据权利要求1所述的机器人分拣控制方法，其特征在于，所述规划机器人的末端执行器的运行轨迹；包括：所述运动轨迹由三条直线段过程的“门”字形轨迹，所述“门”字形轨迹的高度高于障碍物的高度。
CN201810069509.XA 2018-01-24 2018-01-24 一种机器人分拣控制方法 Pending CN110065064A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810069509.XA CN110065064A (zh) 2018-01-24 2018-01-24 一种机器人分拣控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810069509.XA CN110065064A (zh) 2018-01-24 2018-01-24 一种机器人分拣控制方法

Publications (1)

Publication Number Publication Date
CN110065064A true CN110065064A (zh) 2019-07-30

Family

ID=67365581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810069509.XA Pending CN110065064A (zh) 2018-01-24 2018-01-24 一种机器人分拣控制方法

Country Status (1)

Country Link
CN (1) CN110065064A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111804605A (zh) * 2020-07-13 2020-10-23 东莞市恒明机器人自动化有限公司 一种注塑机自动装箱单元
CN114083533A (zh) * 2021-11-09 2022-02-25 广州富港生活智能科技有限公司 一种基于机械臂的数据处理方法及装置
WO2023124735A1 (zh) * 2021-12-31 2023-07-06 广东美的白色家电技术创新中心有限公司 机器人控制方法、装置、***及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4633414A (en) * 1982-11-26 1986-12-30 Hitachi, Ltd. Robot operation control system
CN101226640A (zh) * 2007-12-21 2008-07-23 西北工业大学 基于多双目立体视觉的运动捕获方法
CN101434066A (zh) * 2008-10-20 2009-05-20 北京理工大学 机器人遥操作预测方法和遥操作预测平台
CN106610666A (zh) * 2015-10-22 2017-05-03 沈阳新松机器人自动化股份有限公司 一种基于双目视觉的助理机器人及其控制方法
CN107206601A (zh) * 2014-10-24 2017-09-26 费洛有限公司 客户服务机器人和相关***及方法
CN107363837A (zh) * 2017-09-08 2017-11-21 桂林加宏汽车修理有限公司 一种机械手控制***及控制机械手捕获物体的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4633414A (en) * 1982-11-26 1986-12-30 Hitachi, Ltd. Robot operation control system
CN101226640A (zh) * 2007-12-21 2008-07-23 西北工业大学 基于多双目立体视觉的运动捕获方法
CN101434066A (zh) * 2008-10-20 2009-05-20 北京理工大学 机器人遥操作预测方法和遥操作预测平台
CN107206601A (zh) * 2014-10-24 2017-09-26 费洛有限公司 客户服务机器人和相关***及方法
CN106610666A (zh) * 2015-10-22 2017-05-03 沈阳新松机器人自动化股份有限公司 一种基于双目视觉的助理机器人及其控制方法
CN107363837A (zh) * 2017-09-08 2017-11-21 桂林加宏汽车修理有限公司 一种机械手控制***及控制机械手捕获物体的方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111804605A (zh) * 2020-07-13 2020-10-23 东莞市恒明机器人自动化有限公司 一种注塑机自动装箱单元
CN111804605B (zh) * 2020-07-13 2021-03-19 东莞市恒明机器人自动化有限公司 一种注塑机自动装箱单元
CN114083533A (zh) * 2021-11-09 2022-02-25 广州富港生活智能科技有限公司 一种基于机械臂的数据处理方法及装置
CN114083533B (zh) * 2021-11-09 2024-04-09 广州富港生活智能科技有限公司 一种基于机械臂的数据处理方法及装置
WO2023124735A1 (zh) * 2021-12-31 2023-07-06 广东美的白色家电技术创新中心有限公司 机器人控制方法、装置、***及存储介质
CN116408790A (zh) * 2021-12-31 2023-07-11 广东美的白色家电技术创新中心有限公司 机器人控制方法、装置、***及存储介质
CN116408790B (zh) * 2021-12-31 2024-07-16 广东美的白色家电技术创新中心有限公司 机器人控制方法、装置、***及存储介质

Similar Documents

Publication Publication Date Title
Wang et al. Controlling object hand-over in human–robot collaboration via natural wearable sensing
Romero-Ramire et al. Fractal markers: A new approach for long-range marker pose estimation under occlusion
US20220016765A1 (en) Method and system for object grasping
EP3951643A1 (en) Gesture trajectory recognition method, based on hand speed and trajectory distribution, for following robot
Bhuyan et al. Hand pose recognition using geometric features
CN110065064A (zh) 一种机器人分拣控制方法
KR20210076962A (ko) 스마트카 모션 제어 방법 및 장치, 기기 및 저장 매체
Chao et al. Deep learning‐based grasp‐detection method for a five‐fingered industrial robot hand
Kim et al. An Innovative Automated Robotic System based on Deep Learning Approach for Recycling Objects.
US11478922B2 (en) Robot teaching device and robot system
Michel et al. Gesture recognition supporting the interaction of humans with socially assistive robots
KR20120089948A (ko) Ｍｈｉ의 형태 정보를 이용한 실시간 동작 인식시스템 및 실시간 동작 인식 방법
D'Avella et al. Multimodal grasp planner for hybrid grippers in cluttered scenes
El-Sawah et al. A framework for 3D hand tracking and gesture recognition using elements of genetic programming
Liu et al. Latest developments of gesture recognition for human–robot collaboration
Chang et al. Real-time object coordinate detection and manipulator control using rigidly trained convolutional neural networks
Lei et al. An investigation of applications of hand gestures recognition in industrial robots
Bose et al. In-situ enhanced anchor-free deep CNN framework for a high-speed human-machine interaction
Terreran et al. Multi-view human parsing for human-robot collaboration
Li et al. Tactile Sensing, Skill Learning, and Robotic Dexterous Manipulation
Zoghlami et al. Tracking body motions in order to guide a robot using the time of flight technology.
Algabri et al. Online boosting-based target identification among similar appearance for person-following robots
Wang et al. Robust grasp detection with incomplete point cloud and complex background
Sileo Collaborative and Cooperative Robotics Applications using Visual Perception
TWI788253B (zh) 適應性移動操作設備及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190730

RJ01 Rejection of invention patent application after publication