CN107914272B - 一种七自由度机械臂组件抓取目标物体的方法 - Google Patents

一种七自由度机械臂组件抓取目标物体的方法 Download PDF

Info

Publication number
CN107914272B
CN107914272B CN201711157592.8A CN201711157592A CN107914272B CN 107914272 B CN107914272 B CN 107914272B CN 201711157592 A CN201711157592 A CN 201711157592A CN 107914272 B CN107914272 B CN 107914272B
Authority
CN
China
Prior art keywords
camera
target object
mechanical arm
roi
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711157592.8A
Other languages
English (en)
Other versions
CN107914272A (zh
Inventor
解仑
纪小建
眭东亮
王志良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN201711157592.8A priority Critical patent/CN107914272B/zh
Publication of CN107914272A publication Critical patent/CN107914272A/zh
Application granted granted Critical
Publication of CN107914272B publication Critical patent/CN107914272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种七自由度机械臂组件抓取目标物体的方法，所述机械臂组件包括第一摄像头和第二摄像头；所述方法包括：对所述七自由度机械臂建立运动学模型；对所述第一摄像头和所述第二摄像头分别进行标定以获取第一标定参数和第二标定参数；根据所述第一标定参数建立环境空间的三维模型以确定所述目标物体所在作业空间，并根据所述机械臂的运动学模型控制所述机械臂运动至所述作业空间内；根据所述第二标定参数对所述目标物体进行识别和定位，并根据所述机械臂的运动学模型控制所述机械臂对所述目标物体进行抓取。本发明能够实现对狭小空间内的目标物进行识别和定位，从而指导机械臂完成狭小空间内目标物体的抓取。

Description

一种七自由度机械臂组件抓取目标物体的方法
技术领域
本发明涉及机器人技术领域，特别是指一种七自由度机械臂组件抓取目标物体的方法。
背景技术
随着作业环境的复杂化以及空间的狭窄化，不适合人类或大型装备进入以开展工作。因此，机器人越来越多的应用于非结构化环境下的自主作业的特殊场合中。仿生机器臂就是模拟人类手臂的结构，分配与人类手臂类似的各个关节，包括肩关节、肘关节和腕关节，以实现类似人类的手臂的功能。
目前，7自由度对于需要避障和回避内部奇异的机器人来说是最少的自由度数，由于具有冗余的自由度，其除了能够在三维空间中实现末端点的预期的位姿之外，还具有较强的灵活性和避障能力。因此，急需提出一种适合七自由度机械臂在狭小空间中对目标物体抓取的方法。
发明内容
本发明要解决的技术问题是提供一种七自由度机械臂组件抓取目标物体的方法，以满足在狭小空间中对目标物体的识别和抓取。
为解决上述技术问题，本发明实施例提供一种七自由度机械臂组件抓取目标物体的方法，所述机械臂组件包括第一摄像头和第二摄像头；其中，所述第一摄像头安装在所述机械臂组件的机器人本体上，所述第二摄像头安装在所述机械臂的末端；所述方法包括：对所述七自由度机械臂建立运动学模型；对所述第一摄像头和所述第二摄像头分别进行标定以获取第一标定参数和第二标定参数；根据所述第一标定参数建立环境空间的三维模型以确定所述目标物体所在作业空间，并根据所述机械臂的运动学模型控制所述机械臂运动至所述作业空间内；根据所述第二标定参数对所述目标物体进行识别和定位，并根据所述机械臂的运动学模型控制所述机械臂对所述目标物体进行抓取。
其中，所述对所述七自由度机械臂建立运动学模型包括：采用标准D‐H建模法对所述七自由度机械臂建立运动学模型。
其中，所述对所述第一摄像头和所述第二摄像头分别进行标定以获取第一标定参数和第二标定参数包括：采用张正友标定法分别对所述第一摄像头和所述第二摄像头进行单目和/或双目标定，以分别确定所述第一标定参数和所述第二标定参数；其中，所述标定参数至少包括内参、外参和重投影矩阵。
其中，所述根据所述第一标定参数建立环境空间的三维模型以确定所述目标物体所在作业空间包括：当所述第一摄像头对环境进行扫描时，采用SGBM半全局立体匹配算法计算每次扫描所得的点云，以根据所述第一标定参数建立所述第一摄像头坐标系下的环境空间的三维模型，并确定所述作业空间；相应的，所述根据所述机械臂的运动学模型控制所述机械臂运动至所述作业空间内包括：根据所述机械臂的运动学模型确定所述第一摄像头和所述机器人的基座的位置关系，将所述第一摄像头坐标系下的环境空间的三维模型转变为所述机器人的基座坐标系下的环境空间的三维模型，进而对机械臂进行路径规划使其进入到所述作业空间内。
其中，所述根据所述第二标定参数对所述目标物体进行识别和定位这个步骤之前，还包括：关闭所述第一摄像头，并开启所述第二摄像头；
相应的，所述根据所述第二标定参数对所述目标物体进行识别包括：所述机械臂带动所述第二摄像头进行行和列的扫描以识别所述目标物体。
其中，所述机械臂带动所述第二摄像头进行行和列的扫描以识别所述目标物体包括：
判断扫描的每帧图像中是否存在与预设颜色一致的物体；
若一致，将疑似物体分割出来，并将分割出的疑似物体的投影面积与预设面积阈值进行比较；
若所述投影面积大于或等于所述预设面积阈值，则将分割出的疑似物体的轮廓面积与最小外接矩形面积的计算比值和预设比值范围进行比较；
若所述计算比值在所述预设比值范围内，则从该帧图像中截取ROI感兴趣区域，并将所述ROI与模板图像进行直方图相似性对比；
若对比结果满足相似度判断阈值，则确定所述ROI为所述目标物体。
其中，所述将所述ROI与模板图像进行直方图相似性对比包括：
将所述ROI和所述模板图像均进行BGR三通道的分离，并对每个通道分别计算所述ROI和所述模板图像的直方图，并对计算得到的直方图都进行归一化；
对每个通道的所述ROI和所述模板图像的归一化的直方图进行相似度对比；
将三通道的对比结果进行与运算，当三通道的对比结果都满足相似度判断阈值时，则确定所述ROI为所述目标物体。
其中，所述方法还包括：
若，所述扫描的每帧图像中不存在与所述预设颜色一致的物体，和/或，
所述分割出的疑似物体的投影面积小于所述预设面积阈值，则认为所述目标物体不在视场范围内。
其中，所述预设比值范围设置为0.9‐1.1；相应的，若所述分割出的疑似物体的轮廓面积与最小外接矩形面积的计算比值在0.9‐1.1之间，从该帧图像中截取ROI。
其中，根据所述第二标定参数对所述目标物体进行定位，并根据所述机械臂的运动学模型控制所述机械臂对所述目标物体进行抓取，包括：
针对所述ROI，通过SURF加速健壮特征算法获取匹配的特征点，并保存所述匹配的特征点的像素坐标；
基于所述匹配的特征点的像素坐标，通过视差测距法获取所述目标物体相对于所述第二摄像头中任一摄像头的三维坐标信息；
根据所述机械臂的运动学模型确定所述第二摄像头和所述机器人的基座的位置关系，并基于该位置关系将所述目标物体相对于所述第二摄像头中任一摄像头的三维坐标信息转换为在所述基座坐标系下的三维坐标信息，且计算所述目标物体在所述基座坐标系的姿态；
根据所述目标物体在所述基座坐标系的位姿，对所述机械臂进行无碰撞路径规划，通过CAN总线控制机械臂和末端完成对所述目标物体的抓取。
其中，所述第一摄像头和所述第二摄像头均为固定在一块控制板上的两个CMOS互补金属氧化物半导体摄像头；
所述第一摄像头和所述第二摄像头通过拨码开关来切换单目摄像头和双目摄像头。
本发明的上述技术方案的有益效果如下：
通过对机械臂进行运动学模型的建立，根据第一摄像头建立环境空间的三维模型，指导冗余自由度机械臂通过合适的路径进入到作业空间中；进入到作业空间后，前几个关节保持不动，手腕处的两个关节带动第二摄像头进行行和列的扫描寻找目标物体；发现目标物体后停止扫描，对包含目标物体的该帧图像进行处理，获取该目标物体相对于机械臂基座的位姿。进而根据目标物的位姿，求运动学逆解，并进行无碰撞路径规划，控制机械臂运动完成目标物的抓取，最终满足在狭小空间中对目标物体的识别和抓取。
附图说明
图1为本发明实施例提供的七自由度机械臂组件的结构示意图；
图2为本发明实施例提供的七自由度机械臂组件抓取目标物体的方法流程图；
图3为本发明实施例提供的识别目标物体的方法流程图；
图4为本发明实施例提供的识别目标物体的又一方法流程图；
图5为本发明实施例提供的定位目标物体的方法流程图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对机械臂对狭小空间目标物体的识别和抓取难的问题，提供一种七自由度机械臂双目视觉目标识别与抓取的方法及***。
实施例一
参看图1所示，本发明实施例提供的一种七自由度机械臂组件抓取目标物体的方法，所述机械臂组件包括第一摄像头和第二摄像头；其中，所述第一摄像头安装在所述机械臂组件的机器人本体上，所述第二摄像头安装在所述机械臂的末端。
所述七自由度机械臂的特点包括：七个自由度第一关节为移动关节，其他6个为旋转关节，分为一个类肩关节(3自由度)，包括一个移动关节和两个旋转关节，其中心轴交于一点，一个肘关节(1自由度)和一个腕关节(3自由度)，包括3个相互垂直的旋转关节，其中心轴交于一点，类似于人的手臂，且各自由度关节轴相互垂直，各关节的初始角度为零时，各关节位于同一条线上。其中，移动关节的设置可以增大机械臂的操作范围。
安装在机器人本体上的第一摄像头可以形象地称为eye‐to‐hand摄像头，相当于人的双眼，用于获取环境信息，建立环境空间的三维模型，进而指导机械臂进入到操作空间中；安装在机械臂末端的第二摄像头可以形象地称为eye‐in‐hand摄像头，用于进行近距离识别定位目标并指导机械臂末端执行器完成目标物的抓取。
一般的，使用双目摄像头可以确定环境的深度信息，有利于实现对环境的重构。但是双目摄像机最大的问题就是标定，标定是为了获取目标物的相对位置。如果两个摄像头不固定在一块，一旦两个摄像头的相对位置发生变化就需要重新进行标定。因此，在本实施例中，所述第一摄像头和所述第二摄像头可以均为固定在一块控制板上的两个CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)摄像头，这样可以实现离线标定，并且只需要标定一次。所述第一摄像头和所述第二摄像头通过拨码开关来切换单目摄像头和双目摄像头。其中，单目分辨率可以为640*480，双目分辨率可以为1280*480。
如图2所示，针对图1中所示的七自由度机械臂组件抓取目标物体的方法包括如下步骤：
S201：对所述七自由度机械臂建立运动学模型；
优选的，可以采用标准的D‐H建模法(Denavit和Hartenberg在1955年提出一种通用的方法，这种方法在机器人的每个连杆上都固定一个坐标系，然后用4×4的齐次变换矩阵来描述相邻两连杆的空间关系)对所述七自由度机械臂进行运动学模型的建立，分析各连杆之间的齐次变换矩阵，通过依次变换可最终推导出末端执行器相对于基坐标系的位姿，方便之后对机械臂进行路径和轨迹规划以及确定双目摄像头与机械臂的关系。
S202：对所述第一摄像头和所述第二摄像头分别进行标定以获取第一标定参数和第二标定参数；
采用张正友标定法分别对所述第一摄像头和所述第二摄像头进行单目和/或双目标定，以分别确定所述第一标定参数和所述第二标定参数；其中，所述标定参数至少包括内参、外参和重投影矩阵。
所述标定参数可以保存在.Xml文件中，方便之后调用进行环境空间的三维重构和计算目标物的三维坐标。
S203：根据所述第一标定参数建立环境空间的三维模型以确定所述目标物体所在作业空间，并根据所述机械臂的运动学模型控制所述机械臂运动至所述作业空间内；
当所述第一摄像头对环境进行扫描时，采用SGBM(semi‐global block matching，半全局立体匹配算法)计算每次扫描所得的点云，以根据所述第一标定参数建立所述第一摄像头坐标系下的环境空间的三维模型，并确定所述作业空间；
相应的，所述根据所述机械臂的运动学模型控制所述机械臂运动至所述作业空间内包括：
根据所述机械臂的运动学模型确定所述第一摄像头和所述机器人的基座的位置关系，将所述第一摄像头坐标系下的环境空间的三维模型转变为所述机器人的基座坐标系下的环境空间的三维模型，进而对机械臂进行路径规划使其进入到所述作业空间内。
S204：根据所述第二标定参数对所述目标物体进行识别和定位，并根据所述机械臂的运动学模型控制所述机械臂对所述目标物体进行抓取。
所述机器人运动至作业空间后，首先对目标物体进行识别；当确认所述目标物体后，进而对该目标物体进行定位。
在步骤S204之前，所述七自由度机械臂组件抓取目标物体的方法还可以包括：
S205：关闭所述第一摄像头，并开启所述第二摄像头。
优选的，根据所述第二标定参数对所述目标物体进行识别的方式可以为：所述机械臂带动所述第二摄像头进行行和列的扫描以识别所述目标物体。进行行和列的扫描的原则为：首先控制机械臂第6自由度关节(俯仰角)为其旋转范围的最大值，并控制机械臂的第7自由度关节(偏航角)在其旋转范围内从小到大的旋转，若寻找到目标则停止扫描，否则减小俯仰角的大小重新进行扫描以实现对环境空间的全方位扫描来寻找目标物体。识别到目标物体后，对目标物进行检测，确定目标物的位姿。
具体的，在采用上述“行和列的扫描”的过程中，识别每一帧图像是否为目标物体的方法，如图3所示：
S301：判断扫描的每帧图像中是否存在与预设颜色一致的物体；
若一致，则进行步骤S302；若不一致，则认为所述目标物体不在视场范围内。
S302：将疑似物体分割出来，并将分割出的疑似物体的投影面积与预设面积阈值进行比较；
若所述投影面积大于或等于所述预设面积阈值，则进行步骤S303；若不一致，则认为所述目标物体不在视场范围内。
S303：将分割出的疑似物体的轮廓面积与最小外接矩形面积的计算比值和预设比值范围进行比较；
若所述计算比值在所述预设比值范围内，则进行步骤S304；若所述计算比值不在所述预设比值范围内，则结束此帧图像的判断，进行下一帧图像的识别。
S304：从该帧图像中截取ROI(Region of Interest，感兴趣区域)，并将所述ROI与模板图像进行直方图相似性对比；
在实际应用中，所述预设比值范围可以优选设置为0.9‐1.1；相应的，若所述分割出的疑似物体的轮廓面积与最小外接矩形面积的计算比值在0.9‐1.1之间，从该帧图像中截取ROI。
若对比结果满足相似度判断阈值，则进行步骤S305；若不满足，则结束此帧图像的判断，进行下一帧图像的识别。
S305：确定所述ROI为所述目标物体。
如图4所示，优选的，所述将所述ROI与模板图像进行直方图相似性对比(即步骤S304)可以包括如下子步骤：
S401：将所述ROI和所述模板图像均进行BGR三通道的分离，并对每个通道分别计算所述ROI和所述模板图像的直方图，并对计算得到的直方图都进行归一化；
S402：对每个通道的所述ROI和所述模板图像的归一化的直方图进行相似度对比；
S403：将三通道的对比结果进行与运算，当三通道的对比结果都满足相似度判断阈值时，则确定所述ROI即为所述目标物体。
如图5所示，根据所述第二标定参数对所述目标物体进行“定位”，并根据所述机械臂的运动学模型控制所述机械臂对所述目标物体进行抓取，包括如下步骤：
S501：针对所述ROI，通过SURF(Speeded up robust features，加速健壮特征)算法获取匹配的特征点，并保存所述匹配的特征点的像素坐标；
SURF算法广泛应用于实时性要求高的物体检测领域，为了减少SURF的计算时间，本实施例仅针对图像中的感兴趣区域进行特征点提取。具体的，采用轮廓与SURF算法相结合的方法进行特征点的提取和匹配，同时，为了匹配目标物的中心点，将之前检测的轮廓的中心点与SURF算法提取的特征点合并，并计算特征点的特征向量。进一步的，根据特征向量的描述符采用FLANN(Fast Library for Approximate Nearest Neighbors，快速最近邻)算法进行匹配粗选出匹配点，并将最近邻欧式距离与次近邻欧式距离之比作为删选匹配点的依据，剔除大量的误匹配点对。最后，采用RANSAC(Random Sample Consensus，随机抽样一致性)算法剔除误匹配点，并将剩余的匹配点对的像素坐标保存，以用于之后计算三维坐标。
S502：基于所述匹配的特征点的像素坐标，通过视差测距法获取所述目标物体相对于所述第二摄像头中任一摄像头的三维坐标信息；
S503：根据所述机械臂的运动学模型确定所述第二摄像头和所述机器人的基座的位置关系，并基于该位置关系将所述目标物体相对于所述第二摄像头中任一摄像头的三维坐标信息转换为在所述基座坐标系下的三维坐标信息，且计算所述目标物体在所述基座坐标系的姿态；
S504：根据所述目标物体在所述基座坐标系的位姿，对所述机械臂进行无碰撞路径规划，通过CAN总线控制机械臂和末端完成对所述目标物体的抓取。
本发明实施例所述的一种七自由度机械臂双目视觉目标识别与抓取的方法，通过标定双目摄像头的参数、建立机械臂的运动学模型，根据eye‐to‐hand双目摄像头建立环境空间的三维模型，指导冗余自由度机械臂通过合适的路径进入到作业空间中；进入到作业空间后，前几个关节保持不动，手腕处的两个关节带动eye‐in‐hand双目摄像头进行行和列的扫描寻找目标物体；摄像头每获取一帧图像进行目标分割，判断与目标物的形状是否相同，截取感兴趣区域与模板进行三通道直方图相似度对比，直到发现目标物体；发现目标物体后停止扫描，对包含目标物体的该帧图像进行处理，计算目标物体相对于左摄像机的三维坐标；根据机械臂的运动学模型参数和摄像机之间的坐标关系，将获得的相对于左摄像机的三维坐标转换为相对于世界坐标系的三维坐标并获得其姿态，最终转换为相对于机械臂基座的位姿。根据目标物的位姿，求运动学逆解，并进行无碰撞路径规划，控制机械臂运动完成目标物的抓取。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种七自由度机械臂组件抓取目标物体的方法，其特征在于，所述机械臂组件包括第一摄像头和第二摄像头；其中，所述第一摄像头安装在所述机械臂组件的机器人本体上，所述第二摄像头安装在所述机械臂的末端；
所述方法包括：
对所述七自由度机械臂建立运动学模型；
对所述第一摄像头和所述第二摄像头分别进行标定以获取第一标定参数和第二标定参数；
根据所述第一标定参数建立环境空间的三维模型以确定所述目标物体所在作业空间，并根据所述机械臂的运动学模型控制所述机械臂运动至所述作业空间内；
根据所述第二标定参数对所述目标物体进行识别和定位，并根据所述机械臂的运动学模型控制所述机械臂对所述目标物体进行抓取；
其中，所述根据所述第二标定参数对所述目标物体进行识别和定位这个步骤之前，还包括：
关闭所述第一摄像头，并开启所述第二摄像头；
相应的，所述根据所述第二标定参数对所述目标物体进行识别包括：
所述机械臂带动所述第二摄像头进行行和列的扫描以识别所述目标物体；
其中，所述机械臂带动所述第二摄像头进行行和列的扫描以识别所述目标物体包括：
判断扫描的每帧图像中是否存在与预设颜色一致的物体；
若一致，将疑似物体分割出来，并将分割出的疑似物体的投影面积与预设面积阈值进行比较；
若所述投影面积大于或等于所述预设面积阈值，则将分割出的疑似物体的轮廓面积与最小外接矩形面积的计算比值和预设比值范围进行比较；
若所述计算比值在所述预设比值范围内，则从该帧图像中截取ROI感兴趣区域，并将所述ROI与模板图像进行直方图相似性对比；
若对比结果满足相似度判断阈值，则确定所述ROI为所述目标物体。
2.根据权利要求1所述的方法，其特征在于，所述对所述七自由度机械臂建立运动学模型包括：
采用标准D-H建模法对所述七自由度机械臂建立运动学模型。
3.根据权利要求1所述的方法，其特征在于，所述对所述第一摄像头和所述第二摄像头分别进行标定以获取第一标定参数和第二标定参数包括：
采用张正友标定法分别对所述第一摄像头和所述第二摄像头进行单目和/或双目标定，以分别确定所述第一标定参数和所述第二标定参数；
其中，所述标定参数至少包括内参、外参和重投影矩阵。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一标定参数建立环境空间的三维模型以确定所述目标物体所在作业空间包括：
当所述第一摄像头对环境进行扫描时，采用SGBM半全局立体匹配算法计算每次扫描所得的点云，以根据所述第一标定参数建立所述第一摄像头坐标系下的环境空间的三维模型，并确定所述作业空间；
相应的，所述根据所述机械臂的运动学模型控制所述机械臂运动至所述作业空间内包括：
根据所述机械臂的运动学模型确定所述第一摄像头和所述机器人的基座的位置关系，将所述第一摄像头坐标系下的环境空间的三维模型转变为所述机器人的基座坐标系下的环境空间的三维模型，进而对机械臂进行路径规划使其进入到所述作业空间内。
5.根据权利要求1所述的方法，其特征在于，所述将所述ROI与模板图像进行直方图相似性对比包括：
将所述ROI和所述模板图像均进行BGR三通道的分离，并对每个通道分别计算所述ROI和所述模板图像的直方图，并对计算得到的直方图都进行归一化；
对每个通道的所述ROI和所述模板图像的归一化的直方图进行相似度对比；
将三通道的对比结果进行与运算，当三通道的对比结果都满足相似度判断阈值时，则确定所述ROI为所述目标物体。
6.根据权利要求1所述的方法，其特征在于，还包括：
若，所述扫描的每帧图像中不存在与所述预设颜色一致的物体，和/或，
所述分割出的疑似物体的投影面积小于所述预设面积阈值，则认为所述目标物体不在视场范围内。
7.根据权利要求1所述的方法，其特征在于，所述预设比值范围设置为0.9-1.1；
相应的，若所述分割出的疑似物体的轮廓面积与最小外接矩形面积的计算比值在0.9-1.1之间，从该帧图像中截取ROI。
8.根据权利要求4所述的方法，其特征在于，根据所述第二标定参数对所述目标物体进行定位，并根据所述机械臂的运动学模型控制所述机械臂对所述目标物体进行抓取，包括：
针对所述ROI，通过SURF加速健壮特征算法获取匹配的特征点，并保存所述匹配的特征点的像素坐标；
基于所述匹配的特征点的像素坐标，通过视差测距法获取所述目标物体相对于所述第二摄像头中任一摄像头的三维坐标信息；
根据所述机械臂的运动学模型确定所述第二摄像头和所述机器人的基座的位置关系，并基于该位置关系将所述目标物体相对于所述第二摄像头中任一摄像头的三维坐标信息转换为在所述基座坐标系下的三维坐标信息，且计算所述目标物体在所述基座坐标系的姿态；
根据所述目标物体在所述基座坐标系的位姿，对所述机械臂进行无碰撞路径规划，通过CAN总线控制机械臂和末端完成对所述目标物体的抓取。
CN201711157592.8A 2017-11-20 2017-11-20 一种七自由度机械臂组件抓取目标物体的方法 Active CN107914272B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711157592.8A CN107914272B (zh) 2017-11-20 2017-11-20 一种七自由度机械臂组件抓取目标物体的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711157592.8A CN107914272B (zh) 2017-11-20 2017-11-20 一种七自由度机械臂组件抓取目标物体的方法

Publications (2)

Publication Number Publication Date
CN107914272A CN107914272A (zh) 2018-04-17
CN107914272B true CN107914272B (zh) 2020-06-05

Family

ID=61896648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711157592.8A Active CN107914272B (zh) 2017-11-20 2017-11-20 一种七自由度机械臂组件抓取目标物体的方法

Country Status (1)

Country Link
CN (1) CN107914272B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108724183B (zh) * 2018-05-29 2024-03-26 广东工业大学 一种搬运机械臂的控制方法、***及相关装置
CN110802587B (zh) * 2018-08-06 2021-04-27 北京柏惠维康科技有限公司 一种确定机器人安全线路的方法及装置
CN110802588B (zh) * 2018-08-06 2021-03-16 北京柏惠维康科技有限公司 一种确定机器人安全线路的方法和装置
CN109129488B (zh) * 2018-09-27 2021-12-28 南方电网电力科技股份有限公司 一种基于近地全局视觉的高空检修机器人定位方法及装置
CN109664321A (zh) * 2018-12-27 2019-04-23 四川文理学院 机械臂、排爆小车及搜寻方法
CN110216674B (zh) * 2019-06-20 2021-10-01 北京科技大学 一种冗余自由度机械臂视觉伺服避障***
CN110340891B (zh) * 2019-07-11 2022-05-24 河海大学常州校区 基于点云模板匹配技术的机械臂定位抓取***及方法
CN110424754B (zh) * 2019-07-20 2022-01-11 深圳中物智建科技有限公司 一种砌墙机器人对接方法及***
CN110477956A (zh) * 2019-09-27 2019-11-22 哈尔滨工业大学 一种基于超声图像引导的机器人诊断***的智能扫查方法
CN110530289A (zh) * 2019-10-11 2019-12-03 上海理工大学 一种基于相机防碰撞的机器手三维自扫描装置及扫描方法
CN113001537B (zh) * 2019-12-20 2022-08-02 深圳市优必选科技股份有限公司 机械臂控制方法、机械臂控制装置及终端设备
CN111702755B (zh) * 2020-05-25 2021-08-17 淮阴工学院 一种基于多目立体视觉的机械臂智能控制***
CN111716358A (zh) * 2020-06-23 2020-09-29 北京如影智能科技有限公司 一种控制机械臂的方法及装置
CN113688847A (zh) * 2021-08-25 2021-11-23 徐州徐工矿业机械有限公司 一种挖掘机运行模式切换的控制方法、装置和挖掘机
CN115589531B (zh) * 2022-09-13 2023-10-20 深圳市拓普智造科技有限公司 目标场景的拍摄方法、***及存储介质
CN115648224A (zh) * 2022-12-22 2023-01-31 北京钢铁侠科技有限公司 一种基于双深度相机识别定位的机械臂抓取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007000946A (ja) * 2005-06-21 2007-01-11 Sumitomo Electric Ind Ltd 基準モデルの設定方法およびワーク搬送システム
CN101362330A (zh) * 2008-09-27 2009-02-11 公安部上海消防研究所 一种具有多自由度大负荷机械手的反恐排爆机器人
CN105690371A (zh) * 2014-11-28 2016-06-22 天津职业技术师范大学 一种面向太空服务机器人的手眼***
CN106826817A (zh) * 2017-01-11 2017-06-13 河北省自动化研究所 双反馈机械臂自动装卸***及方法
CN107094429A (zh) * 2017-07-03 2017-08-29 彭紫薇 一种多轴水果采摘机器人

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007000946A (ja) * 2005-06-21 2007-01-11 Sumitomo Electric Ind Ltd 基準モデルの設定方法およびワーク搬送システム
CN101362330A (zh) * 2008-09-27 2009-02-11 公安部上海消防研究所 一种具有多自由度大负荷机械手的反恐排爆机器人
CN105690371A (zh) * 2014-11-28 2016-06-22 天津职业技术师范大学 一种面向太空服务机器人的手眼***
CN106826817A (zh) * 2017-01-11 2017-06-13 河北省自动化研究所 双反馈机械臂自动装卸***及方法
CN107094429A (zh) * 2017-07-03 2017-08-29 彭紫薇 一种多轴水果采摘机器人

Also Published As

Publication number Publication date
CN107914272A (zh) 2018-04-17

Similar Documents

Publication Publication Date Title
CN107914272B (zh) 一种七自由度机械臂组件抓取目标物体的方法
CN107767423B (zh) 一种基于双目视觉的机械臂目标定位抓取方法
CN105729468B (zh) 一种基于多深度摄像机增强的机器人工作台
Song et al. CAD-based pose estimation design for random bin picking using a RGB-D camera
CN113614784B (zh) 利用稀疏rgb-d slam和交互感知对对象进行检测、跟踪和三维建模
Pfanne et al. Fusing joint measurements and visual features for in-hand object pose estimation
CN114299039B (zh) 一种机器人及其碰撞检测装置和方法
CN109079777B (zh) 一种机械臂手眼协调作业***
CN114495273A (zh) 一种机器人手势遥操作方法及相关装置
Yang et al. Visual servoing control of baxter robot arms with obstacle avoidance using kinematic redundancy
Li et al. A mobile robotic arm grasping system with autonomous navigation and object detection
Schnaubelt et al. Autonomous assistance for versatile grasping with rescue robots
CN115810188A (zh) 基于单张二维图像的树上果实三维位姿识别方法及***
KR102452315B1 (ko) 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치 및 그 방법
Ren et al. Vision based object grasping of robotic manipulator
Mühlbauer et al. Mixture of experts on Riemannian manifolds for visual-servoing fixtures
Infantino et al. Visual control of a robotic hand
DU et al. ROBOT MANIPULATOR USING A VISION-BASED HUMAN--MANIPULATOR INTERFACE.
Xin et al. Real-time dynamic system to path tracking and collision avoidance for redundant robotic arms
Wang et al. Recognition and grasping of target position and pose of manipulator based on vision
Sheng et al. Research on object recognition and manipulator grasping strategy based on binocular vision
US20240139962A1 (en) Iterative control of robot for target object
US20230256614A1 (en) Robot control method
Tang Neural Network Based on Work Piece Recognition and Robot Intelligent Capture in Complex Environments
EP4252975A1 (en) Information processing device, and picking device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant