CN113409394A - 一种智能叉取方法及*** - Google Patents

一种智能叉取方法及*** Download PDF

Info

Publication number
CN113409394A
CN113409394A CN202110944132.XA CN202110944132A CN113409394A CN 113409394 A CN113409394 A CN 113409394A CN 202110944132 A CN202110944132 A CN 202110944132A CN 113409394 A CN113409394 A CN 113409394A
Authority
CN
China
Prior art keywords
coordinate
coordinates
camera
image
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110944132.XA
Other languages
English (en)
Inventor
蒋世奇
张林帅
李浩麟
李以澄
顾硕鑫
张雪原
叶茂
肖地波
王婷婷
王林
严嘉嘉
王裕鑫
李飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu New Meteorological Technology Industry Co ltd
Chengdu University of Information Technology
Original Assignee
Chengdu New Meteorological Technology Industry Co ltd
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu New Meteorological Technology Industry Co ltd, Chengdu University of Information Technology filed Critical Chengdu New Meteorological Technology Industry Co ltd
Priority to CN202110944132.XA priority Critical patent/CN113409394A/zh
Publication of CN113409394A publication Critical patent/CN113409394A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Databases & Information Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Algebra (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种智能叉取方法及***，方法包括以下步骤：使用摄像机实时采集工作区图片，进行特征提取，获得待搬运物的第一图像坐标、以及工作区中障碍物的第三图像坐标，并获取搬运终点的第二坐标；获取叉爪的初始位置坐标，通过图像坐标到实际三维坐标的转换将第一图像坐标、第三图像坐标转换为第一坐标、第三坐标，获取叉爪实时位置坐标，并获取叉爪与摄像机的法兰坐标系的变换关系规划叉爪到待搬运物的第一路径；叉爪根据实时更新的第一路径到达待搬运物点进行叉取；根据第二坐标与第三坐标实时规划到搬运终点的第二路径，按照第二路径完成搬运。该方法能全自动对待搬运物进行叉取，并搬运到目的点。

Description

一种智能叉取方法及***
技术领域
本发明属于智能搬运领域，具体涉及一种智能叉取方法及***。
背景技术
大型企业工厂的材料货物搬运是工业生产中的重要一环。物料的装卸搬运是制造业企业生产过程中的辅助环节,但它是工序之间、车间之间、工厂之间相互衔接不可缺少的环节。
传统的工业常使用手动叉车进行货物搬运，这样效率低、安全隐患大，存在着劳动效率低、安全隐患大等一系列问题。近几年来，针对当前智能制造的企业发展需求，以建设智慧化生产工厂为基础，物料搬运的研究方向已朝着计算机、自动识别机器人方向发展，使得物料搬运与运输的设计制造水平达到一个新高度。
叉取是货物搬运的一种常见方法，智能叉车在分拣速度、管理软件平台、出入库速度、管理效率和用户体验方面的巨大优势，智能搬运场景中对智能叉车的导入越来越多，智能化叉车无需人工驾驶，结合条码技术、无线局域网技术和数据采集技术，同时采用电磁感应、机器视觉、激光雷达等导航方式作为辅助 RFID 识别可运行于复杂路径、多站点可靠循迹，操作方便。智能叉车比较智能化、灵活化、柔性化，具有低成本、高效率、安全作业的基本特征。它可以满足企业的个性化需求定制，替代人工搬运或人工叉车，优势明显。
基于此，本发明以经济实用、适当超前为基本定位，基于人工智能、计算机控制、智能移动机器人、视觉伺服等相关产品和先进技术，设计一种智能机器人叉取方法，通过定位导航和图像识别，实现产品的稳定夹取装载、搬运、卸货入库的自动化过程，提高生产效率，降低安全事故概率。
发明内容
有鉴于此，本发明的目的之一在于提供一种智能叉取方法，该方法能全自动对待搬运物进行叉取，并搬运到目的点。
为实现上述目的，本发明的技术方案为：一种智能叉取方法，包括以下步骤：
使用摄像机采集工作区图片，进行特征提取，获得待搬运物的第一图像初始坐标、以及工作区中障碍物的第三初始图像坐标，并获取搬运终点的第二坐标；
获取叉爪的初始位置坐标，通过图像坐标到实际三维坐标的转换将所述第一图像初始坐标、第三初始图像坐标转换为第一初始坐标、第三初始坐标，规划叉爪到待搬运物的第一路径；
叉爪根据第一路径运行，并实时采集工作区第二图片、与叉爪实时位置坐标，由于机器人带着摄像机一起运动，所以摄像机坐标系与机器人的世界坐标系的相对关系总是变化的，而摄像机的刚性连接使与机器人叉爪之间的相对位置关系保持不变。因此，采用手眼标定的方法获得摄像机在机器人末端的安装位置，即摄像机坐标系和机器人叉爪法兰坐标系的变换关系，确定摄像机坐标与世界坐标系之间的相对位置关系，通过变换确定叉爪在机器人世界坐标系下的位姿。；
根据实时获取的第二图片进行特征提取，获得待搬运物的第一图像坐标，与搬运终点的第二图像坐标、以及工作区中障碍物的第三图像坐标；
将所述第一图像坐标、第二图像坐标、第三图像坐标分别转换为第一坐标、第二坐标、第三坐标，实时更新第一路径；
叉爪根据实时更新的第一路径到达待搬运物点进行叉取；
根据第二坐标与第三坐标实时规划到搬运终点的第二路径，按照第二路径完成搬运。
进一步地，所述图像坐标到实际三维坐标的转换具体包括以下步骤：
将图像坐标转换为笛卡尔坐标：
Figure 871406DEST_PATH_IMAGE002
利用摄像机建立相机坐标系，将所述笛卡尔坐标转换为相机坐标：
Figure 225027DEST_PATH_IMAGE004
将相机坐标转换为实际三维坐标：
Figure 492060DEST_PATH_IMAGE006
其中，（u,v）为图像坐标，（x,y）为二维笛卡尔坐标，（x,y,z）为三维笛卡尔坐标，（u 0,v 0）图像坐标中的初始坐标，（xC,yC,zC）为相机坐标，（x w ,y w ,z w ）为点w的实际三维坐标系下的坐标，R矩阵为旋转矩阵，T矩阵为平移矩阵，f为摄像机的焦距。
进一步地，通过基于概率模型的SLAM优化方法进行路径规划，所述概率模型为：
Figure 97485DEST_PATH_IMAGE008
其中，p(A k )为事件A k 的概率， p(B│A k ) 为事件A k 已发生条件下事件B的概率，p(A k │ B) 为事件B发生条件下事件A k 的概率，m为事件发生的所有可能数。
进一步地，所述摄像机为感光芯片为CCD和/或CMOS的工业相机。
进一步地，所述摄像机安装于叉爪上。
本发明的目的之二在于提供一种智能叉取***，该***可用于工厂自动搬运货物。
为实现上述目的，本发明的技术方案为：一种智能叉取***，包括：
数据获取模块，用于使用摄像机实时采集工作区图片，进行特征提取，实时获得待搬运物的第一图像坐标、以及工作区中障碍物的第三图像坐标，同时实时采集叉爪与摄像机位置坐标，获取叉爪与摄像机的法兰坐标系的变换关系，并用于获取搬运终点的第二坐标；
坐标转换模块，与所述数据获取模块相连，用于通过图像坐标到实际三维坐标的转换将所述第一图像坐标、第三图像坐标转换为第一坐标、第三坐标；
路径规划模块，与所述坐标转换模块、所述数据获取模块相连，用于根据实时更新的第一坐标、第三坐标以及叉爪与摄像机的法兰坐标系的变换关系规划叉爪到待搬运物的第一路径，并用于在叉爪根据到达待搬运物点进行叉取后根据第三坐标、第二坐标以及叉爪与摄像机的法兰坐标系的变换关系规划从待搬运物到搬运终点的第二路径。
进一步地，所述坐标转换模块中图像坐标到实际三维坐标的转换具体包括以下步骤：
将图像坐标转换为笛卡尔坐标：
Figure 100002_DEST_PATH_IMAGE010
利用摄像机建立相机坐标系，将所述笛卡尔坐标转换为相机坐标：
Figure 100002_DEST_PATH_IMAGE012
将相机坐标转换为实际三维坐标：
Figure 100002_DEST_PATH_IMAGE014
其中，（u,v）为图像坐标，（x,y）为二维笛卡尔坐标，（x,y,z）为三维笛卡尔坐标，（u 0,v 0）图像坐标中的初始坐标，（xC,yC,zC）为相机坐标，（x w ,y w ,z w ）为点w的实际三维坐标系下的坐标，R矩阵为旋转矩阵，T矩阵为平移矩阵，f为摄像机的焦距。
进一步地，所述路径规划模块通过基于概率模型的SLAM优化方法进行路径规划，所述概率模型为：
Figure 100002_DEST_PATH_IMAGE016
其中，p(A k )为事件A k 的概率， p(B│A k ) 为事件A k 已发生条件下事件B的概率，p(A k │ B) 为事件B发生条件下事件A k 的概率，m为事件发生的所有可能数。
进一步地，所述摄像机为感光芯片为CCD和/或CMOS的工业相机。
进一步地，所述摄像机安装于叉爪上。
与现有技术相比，本发明具有如下优点：
本发明提供一种智能叉取方法及***，可在工作区域内自由移动并能够实时避障，可运行于复杂路径、多站点可靠循迹，操作方便，同时实现对待搬运物的自动抓取，安全转移至暂存点，再放置至指定位置等要求。
附图说明
为更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍。下面描述中的附图是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它附图。
图1为本发明一种智能叉取***结构图；
图2为本发明图像坐标到实际三维坐标的转换原理图；
图3为本发明叉爪与摄像机的法兰坐标系的变换关系过程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护范围。
所举实施例是为了更好地对本发明进行说明，并不是本发明的内容仅局限于所举实施例。所以熟悉本领域的技术人员根据上述发明内容对实施方案进行非本质的改进和调整，仍属于本发明的保护范围。
实施例1
参考图1，为本发明一种智能叉取***结构图，该***包括：数据获取模块1，用于使用摄像机实时采集工作区图片，进行特征提取，实时获得待搬运物的第一图像坐标、以及工作区中障碍物的第三图像坐标，同时实时采集叉爪与摄像机位置坐标，获取叉爪与摄像机的法兰坐标系的变换关系，并用于获取搬运终点的第二坐标；
本实施例中，摄像机采用感光芯片为CCD和/或CMOS的工业相机，摄像机安装于叉爪上。
坐标转换模块2，与数据获取模块相连1，用于通过图像坐标到实际三维坐标的转换将第一图像坐标、第三图像坐标转换为第一坐标、第三坐标；
本实施例中，图像坐标到实际三维坐标的转换具体包括以下步骤：
将图像坐标转换为笛卡尔坐标：
Figure DEST_PATH_IMAGE018
利用摄像机建立相机坐标系，将笛卡尔坐标转换为相机坐标：
Figure DEST_PATH_IMAGE020
将相机坐标转换为实际三维坐标：
Figure 235205DEST_PATH_IMAGE022
其中，（u,v）为图像坐标，（x,y）为二维笛卡尔坐标，（x,y,z）为三维笛卡尔坐标，（u 0,v 0）图像坐标中的初始坐标，（xC,yC,zC）为相机坐标，（x w ,y w ,z w ）为点w的实际三维坐标系下的坐标，R矩阵为旋转矩阵，T矩阵为平移矩阵，f为摄像机的焦距。
路径规划模块3，与坐标转换模块2、数据获取模块1相连，用于根据实时更新的第一坐标、第三坐标以及叉爪与摄像机的法兰坐标系的变换关系规划叉爪到待搬运物的第一路径，并用于在叉爪根据到达待搬运物点进行叉取后根据第三坐标、第二坐标以及叉爪与摄像机的法兰坐标系的变换关系规划从待搬运物到搬运终点的第二路径。
进一步地，路径规划模块通过基于概率模型的SLAM优化方法进行路径规划，概率模型为：
Figure DEST_PATH_IMAGE024
其中，p(A k )为事件A k 的概率， p(B│A k ) 为事件A k 已发生条件下事件B的概率，p(A k │ B) 为事件B发生条件下事件A k 的概率，m为事件发生的所有可能数。
实施例2
基于实施例1的***，本实施例中提供一种智能叉取方法，包括以下步骤：
S1：使用摄像机采集工作区图片，进行特征提取，获得待搬运物的第一图像初始坐标、以及工作区中障碍物的第三初始图像坐标，并获取搬运终点的第二坐标；
本实施例中，摄像机采用感光芯片为CCD和/或CMOS的工业相机，摄像机安装于叉爪上，叉爪可以为现在常用的机械叉爪。
S2：获取叉爪的初始位置坐标，通过图像坐标到实际三维坐标的转换将所述第一图像初始坐标、第三初始图像坐标转换为第一初始坐标、第三初始坐标，规划叉爪到待搬运物的第一路径；
本实施例中，通过摄像机采集现场工作场景图片，对图片进行特征提取，通过内部算法计算出工件坐标系的偏差量，然后将数据传送给机器人，这些数据将指导机器人建立新的工件坐标系，具体过程原理可参考图2：
图像坐标系（u,v）是定义在图像上的二维平面坐标系，在图像描述中主要是以像素为单位计算，也可以使用实际的物理长度为单位计算，即应用于笛卡尔坐标，如图2所示，图像坐标系（u,v）的初始坐标为（u 0,v 0），坐标轴方向如图所示；实际物理坐标系（x,y）的原点在图像物理尺寸的中心O点，相当于以像素单位的两轴最大值的中间值（u 0,v 0），坐标轴方向和像素坐标轴方向一致，而且笛卡尔坐标存在负值，则图像中任意一点的两坐标之间的变换关系如下所示：
Figure DEST_PATH_IMAGE026
上式可变换为齐次坐标矩阵来表达：
Figure DEST_PATH_IMAGE028
然后，可建立一个相机坐标系（X C ,Y C ,Z C ），该相机坐标系是以光学镜头的光心点O C 为坐标原点，其中坐标系的Z C 轴（镜头光轴）垂直于图像平面，并且经过图像坐标系的中心O点，相机坐标系的X C 、Y C 两轴分别平行于图像坐标系的x、y轴，外界点W在相机坐标系中的坐标值为（X C ,Y C ,Z C ），在图像坐标系中的投影点m的坐标值为（u m ,v m ）或（x m ,y m ），将笛卡尔坐标系下的点转换为相机坐标系下：
如图2所示点W在相机坐标系的坐标值为（X C ,Y C ,Z C ），其在图像的笛卡尔坐标系中映射点m的坐标为（x,y,z），根据几何关系得出公式：
Figure DEST_PATH_IMAGE030
其中f是工业相机的焦距，由相似三角形原理可知坐标值z=f,将上式表达成齐次矩阵方程式为：
Figure DEST_PATH_IMAGE032
实际三维坐标（X W ,Y W ,Z W ）是用户任意设置的一个基准坐标系，以毫米为单位，一般设置在方便描述物***置和计算的位置，为了方便描述待搬运物的位姿参数，本实施例采用本***将实际三维坐标选为机器人坐标系，同时减少两坐标系之间的变换计算。如图所示对点W的描述为（X W ,Y W ,Z W ），相机坐标系与实际三维坐标的变换为：在图中点W在实际三维坐标（X W ,Y W ,Z W ）下的坐标值为（x w ,y w ,z w ），将点W的实际三维坐标的坐标值转换到相机坐标系下坐标值（X C ,Y C ,Z C ），将坐标变换公式用齐次方程式描述，如下所示：
Figure DEST_PATH_IMAGE034
其中R矩阵为旋转矩阵，T矩阵为平移矩阵，其中R|T是3*4的矩阵。则由以上方程式可得到图像中任意已知点像素坐标得到对应的实际三维坐标值：
Figure DEST_PATH_IMAGE036
其中，z C 为常量，也是点W在相机坐标下的z C 轴坐标值，
Figure DEST_PATH_IMAGE038
。
本实施例中，通过两个不同坐标系描述空间内任意一点的坐标值不同，将此点从一个坐标系的坐标值转换成另一个坐标系中来描述的映射关系成为坐标变换。
进一步地，本实施例中图像处理算法采用Canny算法得出待搬运物的边缘图像，应用Hough变换算法检测得出待搬运物的姿态，并用Hu矩算法检测出得出待搬运物的重心位置坐标，由于外界环境对拍摄图像的影响，将对传统的Canny算法进行自适应边缘检测的改进，实现在变化环境中也能实时的对获取图片处理出较好的边缘图像，最终将图像处理出的得出待搬运物的图像位姿参数，经图像坐标系到实际三维坐标系的坐标变换得到容器在机器人坐标系下实际位姿参数，为搬运机器人实现智能搬运提供反馈，根据同一个坐标系下的第一坐标、第三坐标，规划一个避障的初始第一路径；
进一步，SLAM技术则是同步定位与地图构建，本实施例中通过基于概率模型的SLAM优化方法进行路径规划，概率模型为：
Figure DEST_PATH_IMAGE040
其中，p(A k )为事件A k 的概率， p(B│A k ) 为事件A k 已发生条件下事件B的概率，p(A k │ B) 为事件B发生条件下事件A k 的概率，m为事件发生的所有可能数。
S3：叉爪根据第一路径运行，并实时采集工作区第二图片、与叉爪实时位置坐标，并获取叉爪与摄像机的法兰坐标系的变换关系；
在实际运用中，由于机器人叉爪带着摄像机一起运动，所以摄像机坐标系与机器人的实际三维坐标系的相对关系总是变化的，而摄像机的刚性连接使与机器人执行机构之间的相对位置关系保持不变。因此，本步骤的目的是获得摄像机在机器人末端的安装位置，即摄像机坐标系和机器人末端法兰坐标系的变换关系，摄像机坐标系与机器人实际三维坐标的不同位姿关系可以通过机器人末端法兰坐标系当前位姿状态和上述表型结果求得，一般采用的标定方法如下：调节机器人使摄像机处于不同位姿拍摄同一靶标，根据机器人的位姿和摄像机相对于靶标的外参数获得摄像机相对于机器人末端的变换参数。
具体地，本步骤中引用四个坐标系，分别是基础坐标系，叉爪坐标系，相机坐标系，以及标定物坐标系，如图3所示。
其中，baseHcal表示基础坐标系到标定物坐标系的转化关系，包括旋转矩阵和平移向量；camHtool表示相机坐标系到叉爪坐标系的转化关系；这两个转化关系在叉爪移动过程中是不变的；camHcal可以由相机标定求出；baseHtool可以由机器人***中得出。
接下来控制叉爪从位置 1 移动到位置 2：
base = baseHtool （1）* tool（1）
tool（1） = inv（camHtool）*cam（1）
cam（1） = camHcal（1）*obj
联合上面三个公式：
base = baseHtool （1）* inv（camHtool）* camHcal（1）*obj
移动到叉爪到位置2后：
base = baseHtool （2）* inv（camHtool）* camHcal（2）*obj
因为base和obj是固定的，所以：
baseHtool （1）* inv（camHtool）* camHcal（1）=baseHtool （2）* inv（camHtool）* camHcal（2）
其中camHcal可通过相机标定获取外参得到， baseHtool是已知的，一般机器人上可以读出，未知的是camHtool，通过手眼示教多组相机位置不同数据，可以调用opencv的cvsolve解多组线性超定方程组，求解camHtool矩阵。
S4：根据实时获取的第二图片进行特征提取，获得待搬运物的第一图像坐标，与搬运终点的第二图像坐标、以及工作区中障碍物的第三图像坐标；
在实际搬运过程中，由于叉爪、摄像头的位置一直在变，得到的图片信息也不同，因此，实时更新获得图片，提取不同的障碍物图像坐标与待搬运物坐标；
S5：将第一图像坐标、第二图像坐标、第三图像坐标分别转换为第一坐标、第二坐标、第三坐标，实时更新第一路径；
本步骤中，可参考步骤S2、S3中的步骤，将不同坐标系转换为同一个坐标系下，根据实时更新的第一坐标、第三坐标以及叉爪与摄像机的法兰坐标系的变换关系规划叉爪到待搬运物的第一路径；
S6：叉爪根据实时更新的第一路径到达待搬运物点进行叉取；
S7：根据第二坐标与第三坐标实时规划到搬运终点的第二路径，按照第二路径完成搬运。
在步骤S6中完成对待搬运物的叉取后，需要将带搬运物搬运至目的点，因此重新重复步骤S2、S3，根据第三坐标、第二坐标以及叉爪与摄像机的法兰坐标系的变换关系规划从待搬运物到搬运终点的第二路径，完成搬运。
优选地，在搬运完成后，叉爪还可通过相同的步骤移动到叉爪指定空闲位置。
上面结合附图对本发明的实施例进行了描述，但本发明并不局限于上述具体实施方式，上述实施方式仅是示意性的，不是限制性的，本领域的技术人员在本发明的启示、不脱离本发明宗旨和权利要求保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种智能叉取方法，其特征在于，包括以下步骤：
使用摄像机采集工作区图片，进行特征提取，获得待搬运物的第一图像初始坐标、以及工作区中障碍物的第三初始图像坐标，并获取搬运终点的第二坐标；
获取叉爪的初始位置坐标，通过图像坐标到实际三维坐标的转换将所述第一图像初始坐标、第三初始图像坐标转换为第一初始坐标、第三初始坐标，规划叉爪到待搬运物的第一路径；
叉爪根据第一路径运行，并实时采集工作区第二图片、与叉爪实时位置坐标，采用手眼标定的方法获得摄像机在机器人末端的安装位置，即获取摄像机坐标系和机器人叉爪法兰坐标系的变换关系，确定摄像机坐标与世界坐标系之间的相对位置关系，通过变换确定叉爪在机器人世界坐标系下的位姿；
根据实时获取的第二图片进行特征提取，获得待搬运物的第一图像坐标，与搬运终点的第二图像坐标、以及工作区中障碍物的第三图像坐标；
将所述第一图像坐标、第二图像坐标、第三图像坐标分别转换为第一坐标、第二坐标、第三坐标，实时更新第一路径；
叉爪根据实时更新的第一路径到达待搬运物点进行叉取；
根据第二坐标与第三坐标实时规划到搬运终点的第二路径，按照第二路径完成搬运。
2.根据权利要求1所述的方法，其特征在于，所述图像坐标到实际三维坐标的转换具体包括以下步骤：
将图像坐标转换为笛卡尔坐标：
Figure 277050DEST_PATH_IMAGE002
利用摄像机建立相机坐标系，将所述笛卡尔坐标转换为相机坐标：
Figure 194191DEST_PATH_IMAGE004
将相机坐标转换为实际三维坐标：
Figure 442769DEST_PATH_IMAGE006
其中，（u,v）为图像坐标，（x,y）为二维笛卡尔坐标，（x,y,z）为三维笛卡尔坐标，（u 0,v 0）图像坐标中的初始坐标，（xC,yC,zC）为相机坐标，（x w ,y w ,z w ）为点w的实际三维坐标系下的坐标，R矩阵为旋转矩阵，T矩阵为平移矩阵，f为摄像机的焦距。
3.根据权利要求1所述的方法，其特征在于，通过基于概率模型的SLAM优化方法进行路径规划，所述概率模型为：
Figure 837979DEST_PATH_IMAGE008
其中，p(A k )为事件A k 的概率， p(B│A k ) 为事件A k 已发生条件下事件B的概率，p(A k │B)为事件B发生条件下事件A k 的概率，m为事件发生的所有可能数。
4.根据权利要求1所述的方法，其特征在于，所述摄像机为感光芯片为CCD和/或CMOS的工业相机。
5.根据权利要求1所述的方法，其特征在于，所述摄像机安装于叉爪上。
6.一种智能叉取***，其特征在于，包括：
数据获取模块，用于使用摄像机实时采集工作区图片，进行特征提取，实时获得待搬运物的第一图像坐标、以及工作区中障碍物的第三图像坐标，同时实时采集叉爪与摄像机位置坐标，获取叉爪与摄像机的法兰坐标系的变换关系，并用于获取搬运终点的第二坐标；
坐标转换模块，与所述数据获取模块相连，用于通过图像坐标到实际三维坐标的转换将所述第一图像坐标、第三图像坐标转换为第一坐标、第三坐标；
路径规划模块，与所述坐标转换模块、所述数据获取模块相连，用于根据实时更新的第一坐标、第三坐标以及叉爪与摄像机的法兰坐标系的变换关系规划叉爪到待搬运物的第一路径，并用于在叉爪根据到达待搬运物点进行叉取后根据第三坐标、第二坐标以及叉爪与摄像机的法兰坐标系的变换关系规划从待搬运物到搬运终点的第二路径。
7.根据权利要求6所述的***，其特征在于，所述坐标转换模块中图像坐标到实际三维坐标的转换具体包括以下步骤：
将图像坐标转换为笛卡尔坐标：
Figure DEST_PATH_IMAGE010
利用摄像机建立相机坐标系，将所述笛卡尔坐标转换为相机坐标：
Figure DEST_PATH_IMAGE012
将相机坐标转换为实际三维坐标：
Figure DEST_PATH_IMAGE014
其中，（u,v）为图像坐标，（x,y）为二维笛卡尔坐标，（x,y,z）为三维笛卡尔坐标，（u 0,v 0）图像坐标中的初始坐标，（xC,yC,zC）为相机坐标，（x w ,y w ,z w ）为点w的实际三维坐标系下的坐标，R矩阵为旋转，T矩阵为平移矩阵，f为摄像机的焦距。
8.根据权利要求6所述的***，其特征在于，所述路径规划模块通过基于概率模型的SLAM优化方法进行路径规划，所述概率模型为：
Figure DEST_PATH_IMAGE016
其中，p(A k )为事件A k 的概率， p(B│A k ) 为事件A k 已发生条件下事件B的概率，p(A k │B)为事件B发生条件下事件A k 的概率，m为事件发生的所有可能数。
9.根据权利要求6所述的***，其特征在于，所述摄像机为感光芯片为CCD和/或CMOS的工业相机。
10.根据权利要求6所述的***，其特征在于，所述摄像机安装于叉爪上。
CN202110944132.XA 2021-08-17 2021-08-17 一种智能叉取方法及*** Pending CN113409394A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110944132.XA CN113409394A (zh) 2021-08-17 2021-08-17 一种智能叉取方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110944132.XA CN113409394A (zh) 2021-08-17 2021-08-17 一种智能叉取方法及***

Publications (1)

Publication Number Publication Date
CN113409394A true CN113409394A (zh) 2021-09-17

Family

ID=77688593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110944132.XA Pending CN113409394A (zh) 2021-08-17 2021-08-17 一种智能叉取方法及***

Country Status (1)

Country Link
CN (1) CN113409394A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104476549A (zh) * 2014-11-20 2015-04-01 北京卫星环境工程研究所 基于视觉测量的机械臂运动路径补偿方法
CN108466268A (zh) * 2018-03-27 2018-08-31 苏州大学 一种货物分类搬运方法、***及移动机器人和存储介质
CN108499054A (zh) * 2018-04-04 2018-09-07 清华大学深圳研究生院 一种基于slam的车载机械臂捡球***及其捡球方法
US20180283017A1 (en) * 2017-03-31 2018-10-04 Canvas Construction, Inc. Automated drywall planning system and method
CN110605711A (zh) * 2018-06-14 2019-12-24 中瑞福宁机器人（沈阳）有限公司 一种控制协作机器人抓取物体的方法、装置及***
CN111496770A (zh) * 2020-04-09 2020-08-07 上海电机学院 基于3d视觉与深度学习的智能搬运机械臂***及使用方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104476549A (zh) * 2014-11-20 2015-04-01 北京卫星环境工程研究所 基于视觉测量的机械臂运动路径补偿方法
US20180283017A1 (en) * 2017-03-31 2018-10-04 Canvas Construction, Inc. Automated drywall planning system and method
CN108466268A (zh) * 2018-03-27 2018-08-31 苏州大学 一种货物分类搬运方法、***及移动机器人和存储介质
CN108499054A (zh) * 2018-04-04 2018-09-07 清华大学深圳研究生院 一种基于slam的车载机械臂捡球***及其捡球方法
CN110605711A (zh) * 2018-06-14 2019-12-24 中瑞福宁机器人（沈阳）有限公司 一种控制协作机器人抓取物体的方法、装置及***
CN111496770A (zh) * 2020-04-09 2020-08-07 上海电机学院 基于3d视觉与深度学习的智能搬运机械臂***及使用方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LUOWEI_MEMORY: "相机模型详解及标定原理", 《网页在线公开: HTTPS://BLOG.CSDN.NET/QQ_30567891/ARTICLE/DETAILS/79970492》 *
王飞涛: "基于激光SLAM搬运机器人自主导航研究与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Similar Documents

Publication Publication Date Title
CN111496770B (zh) 基于3d视觉与深度学习的智能搬运机械臂***及使用方法
CN111730603B (zh) 机器人***的控制装置以及控制方法
US12002007B2 (en) Robotic system with automated package scan and registration mechanism and methods of operating the same
US10518410B2 (en) Object pickup strategies for a robotic device
US11701777B2 (en) Adaptive grasp planning for bin picking
WO2019036929A1 (zh) 机器人码放货物的方法、控制机器人码放货物的***及机器人
Chiaravalli et al. Integration of a multi-camera vision system and admittance control for robotic industrial depalletizing
Bogh et al. Integration and assessment of multiple mobile manipulators in a real-world industrial production facility
CN109641706B (zh) 拣货方法、***及其应用的获持与放置***、机器人
Tavares et al. Flexible pick and place architecture using ROS framework
CN113409394A (zh) 一种智能叉取方法及***
CN111061228B (zh) 基于目标追踪的货箱自动转运控制方法
Irawan et al. Vision-based alignment control for mini forklift system in confine area operation
CN114888768A (zh) 一种基于多传感器融合的移动双工业机器人协同抓取***及方法
CN108534788A (zh) 一种基于kinect视觉的AGV导航方法
Martin et al. An autonomous transport vehicle in an existing manufacturing facility with focus on the docking maneuver task
Rauer et al. An autonomous mobile handling robot using object recognition
JP7241374B2 (ja) ロボットによるオブジェクト配置のシステム及び方法
Sun et al. A medical garbage bin recycling system based on AGV
Yeh et al. 3D Cameras and Algorithms for Multi-Angle Gripping and Control of Robotic Arm
WO2023073780A1 (ja) 学習データの生成装置および学習データの生成方法、並びに学習データを使用する機械学習装置および機械学習方法
US20240157565A1 (en) Robotic system transfer unit cell and method of operation thereof
Yesudasu et al. Depalletisation humanoid torso: Real-time cardboard package detection based on deep learning and pose estimation algorithm
KR20240014795A (ko) 물류창고에서 사물배치로봇을 이용한 물류 처리시스템 및 방법
CN115571823A (zh) 一种集成3d相机的搬运机器人装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210917

RJ01 Rejection of invention patent application after publication