CN111805543A - 一种红外成像目标作业轨迹检测***及其坐标转换方法 - Google Patents
一种红外成像目标作业轨迹检测***及其坐标转换方法 Download PDFInfo
- Publication number
- CN111805543A CN111805543A CN202010663488.1A CN202010663488A CN111805543A CN 111805543 A CN111805543 A CN 111805543A CN 202010663488 A CN202010663488 A CN 202010663488A CN 111805543 A CN111805543 A CN 111805543A
- Authority
- CN
- China
- Prior art keywords
- coordinate
- infrared imaging
- coordinate system
- model
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003331 infrared imaging Methods 0.000 title claims abstract description 77
- 238000001514 detection method Methods 0.000 title claims abstract description 40
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000003384 imaging method Methods 0.000 claims abstract description 7
- 230000009466 transformation Effects 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000013500 data storage Methods 0.000 claims description 3
- 238000011426 transformation method Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种红外成像目标作业轨迹检测***,其包括所述三维模型处理模块,用于获取作业对象的三维点云信息并基于三维模型得到特征数据信息;所述红外成像检测模块,其形成有红外成像***并用于获取作业对象的成像模型且基于所述三维模型处理模块获得的特征数据信息对作业对象进行检测和匹配,并将匹配完成的点云模型轨迹信息发送至所述坐标信息转换模块;所述坐标信息转换模块,用于将作业对象在点云坐标下的作业轨迹信息转换成在机器人坐标下的作业轨迹信息。本发明还公开了一种基于红外成像目标作业轨迹检测***的坐标转换方法。本发明具有获取对象模型能够更快、更准确定位使得目标检测的效果更佳且实现坐标的实时转换的优点。
Description
技术领域
本发明涉及机器人控制技术领域,具体而言,涉及一种红外成像目标作业轨迹检测***及其坐标转换方法。
背景技术
随着当前个性化产品定制需求的不断增加,产品单一重复性降低。这对于作业机器人的提出了更高的要求,在作业对象的快速变换情况下,机器人仍需保持高效率、高可靠性的工作。因此对于提高作业机器人对于变换的作业对象的适应能力非常重要。典型的或者常见的现有技术有:
如CN109648549A公开了一种机器人轨迹规划方法和机器人,所述方法包括以下步骤:控制机器人处于零重力拖动模式,并对机器人施加外部拖动力;在外部拖动力的作用下,记录机器人各个关节电机形成的运动轨迹和速度;以记录的机器人各个关节电机形成的运动轨迹和速度实现机器人的轨迹规划。再来看如CN1755562A的现有技术公开了机器人轨迹控制方法,其把持工件的机器人和安装了作业刀具的机器人的协同动作中,即使在插补动作中也能够容易地使作业刀具获得希望的位置以及姿势。对安装在引导机器人上的作业刀具设定的第一刀具坐标系的位置以及姿势协同控制多台机器人,以使在对把持在随动机器人上的工件设定的第二刀具坐标系上描绘出希望的轨迹。对两机器人进行示教,在再生运转时,根据关于引导机器人的插补位置数据、两机器人的相对位置数据计算关于随动机器人的插补位置数据。
综上所述,如上两种轨迹控制方法,均采用的是离线编程方法对机器人轨迹进行规划,但当作业对象快速变化时,在机器人坐标系进行位置标定花费的时间长。除了以上两种轨迹控制办法,目前还采用在线标定方法,把摄像机安装在机器人末端进行实时检测对象位置信息。该方法所需的工作空间大,且耗时长效率低。
因此,需要开发或者改进一种红外成像目标作业轨迹检测***及其坐标转换方法。
发明内容
本发明的目的在于提供一种红外成像目标作业轨迹检测***及其坐标转换方法以解决如何能够有效解决作业对象在快速变换后机器人工作效率低的问题。
为实现上述目的,本发明所提供的一种基于红外成像目标检测作业轨迹坐标转换***,其包括三维模型处理模块、红外成像检测模块和坐标信息转换模块;其中,所述三维模型处理模块,用于获取作业对象的三维点云信息并基于三维模型得到特征数据信息;所述红外成像检测模块,其形成有红外成像***并用于获取作业对象的成像模型且基于所述三维模型处理模块获得的特征数据信息对作业对象进行检测和匹配,并将匹配完成的点云模型轨迹信息发送至所述坐标信息转换模块;所述坐标信息转换模块,用于将作业对象在点云坐标下的作业轨迹信息转换成在机器人坐标下的作业轨迹信息。
优选的是,还包括数据存储模块,所述数据存储模块用于对存储作业对象的三维模型以及已生成的作业轨迹信息数据
优选的是,所述红外成像检测模块包括红外成像仪和用于对来自于所述红外成像仪的红外成像模型进行检测的检测装置。
优选的是,在红外成像***下引入机器人笛卡尔坐标系(XR,YR,ZR);所述三维模型处理模块获取作业对象的三维模型得到作业对象模型数据坐标系(u,v,w);所述红外成像检测模块的获取作业对象的成像模型进行检测和匹配得到红外成像***坐标系(x,y,z);所述作业对象模型数据坐标系(u,v,w)、笛卡尔坐标系(XR,YR,ZR)和红外成像***坐标系(x,y,z)之间的关系得到如下公式:
其中,f为红外***焦距,K为旋转矩阵,T为平移矩阵,U0和V0均表示相对于红外成像***坐标的初值,dx为在x方向上的焦距值。
本发明还提供了一种红外成像目标作业轨迹检测***的坐标转换方法,其包括如下步骤:
S1:将所述三维模型处理模块得到的点云模型数据转换至红外成像***坐标系下;
S2:将红外成像模型从红外成像***坐标系转换到机器人坐标系下;
S3:根据步骤S1和S2的转换结果得到变换矩阵关系;
S4:将S3的变换矩阵关系用于模型轨迹位置信息转换上得到机器人坐标系下的作业轨迹。
优选的是,所述S1步骤中的计算公式如下:
CQ=CHD DP
其中,DP为点云模型在点云坐标系下的坐标值,CHD点云坐标系与红外成像***坐标系的变换矩阵。
优选的是,所述S2步骤中的计算公式如下:
RQ=RHc CQ
其中,CQ为红外模型在红外成像***坐标系下的坐标值,RHC为红外成像***坐标系与机器人坐标系转换的变换矩阵,RQ为红外模型在机器人坐标系下的坐标值。
优选的是,所述S3步骤中的计算公式如下:
RHD=RHC CHD
优选的是,所述S4步骤中在机器人坐标系下作业轨迹GR的计算公式如下:
GR=RHDGD=RHC CHDGD
其中,GD为点云坐标系下的轨迹。
优选的是,还包括点云模型与红外成像模型间的坐标系转换,其计算公式如下:
CL=CND DM+CJD
其中,CND为红外模型坐标系与点云坐标系旋转转换的描述,CJD为红外坐标系与点云坐标系下的平移变换描述,L、M分别为红外模型数据信息,点云数据信息;其中,CHD=[CND,CJD];机器人作业轨迹GR的计算公式:
GR=RHDGD=RHC[CND,CJD]GD
上述技术方案所提供的一种基于红外成像目标检测作业轨迹坐标转换***,与现有技术相比,其有益效果包括:利用红外成像技术获取对象模型能够更快、更准确定位使得目标检测的效果更佳,通过红外成像***坐标系作为中间层可实现以获取点云作业对象模型轨迹数据与适用于作业机器人的轨迹数据进行坐标系快速实时转换。
附图说明
从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制,而是将重点放在示出实施例的原理上。在不同的视图中,相同的附图标记指定对应的部分。
图1是本发明实施例中一种红外成像目标作业轨迹检测***的红外成像检测模块的结构示意图;
图2是本发明实施例中一种基于红外成像目标作业轨迹检测***的坐标转换方法的步骤流程图。
具体实施方式
下面结合附图和实施例对本发明进行进一步说明。
如图1~2所示的一种基于红外成像目标检测作业轨迹坐标转换***,其包括三维模型处理模块、红外成像检测模块和坐标信息转换模块;其中,所述三维模型处理模块,用于获取作业对象的三维点云信息并基于三维模型得到特征数据信息;所述红外成像检测模块,其形成有红外成像***并用于获取作业对象的成像模型且基于所述三维模型处理模块获得的特征数据信息对作业对象进行检测和匹配,并将匹配完成的点云模型轨迹信息发送至所述坐标信息转换模块;所述坐标信息转换模块,用于将作业对象在点云坐标下的作业轨迹信息转换成在机器人坐标下的作业轨迹信息。
本实施例通过设置有三维模型处理模块、红外成像检测模块和坐标信息转换模块,从而利用红外成像技术获取对象模型能够更快、更准确定位使得目标检测的效果更佳,通过红外成像***坐标系作为中间层可实现以获取点云作业对象模型轨迹数据与适用于作业机器人的轨迹数据进行坐标系快速实时转换。
本实施例通过设置有数据存储模块,从而解决了数据的储存问题,所述数据存储模块用于对存储作业对象的三维模型以及已生成的作业轨迹信息数据
其中,所述红外成像检测模块包括红外成像仪和用于对来自于所述红外成像仪的红外成像模型进行检测的检测装置。
为了保证三维模型处理模块、红外成像检测模块和坐标信息转换模块之间的转换,本实施例中,在红外成像***下引入机器人笛卡尔坐标系(XR,YR,ZR);所述三维模型处理模块获取作业对象的三维模型得到作业对象模型数据坐标系(u,v,w);所述红外成像检测模块的获取作业对象的成像模型进行检测和匹配得到红外成像***坐标系(x,y,z);所述作业对象模型数据坐标系(u,v,w)、笛卡尔坐标系(XR,YR,ZR)和红外成像***坐标系(x,y,z)之间的关系得到如下公式:
其中,f为红外***焦距,K为旋转矩阵,T为平移矩阵,U0和V0均表示相对于红外成像***坐标的初值,dx为在x方向上的焦距值。
本实施例还提供了一种红外成像目标作业轨迹检测***的坐标转换方法,其包括如下步骤:
S1:将所述三维模型处理模块得到的点云模型数据转换至红外成像***坐标系下;
S2:将红外成像模型从红外成像***坐标系转换到机器人坐标系下;
S3:根据步骤S1和S2的转换结果得到变换矩阵关系;
S4:将S3的变换矩阵关系用于模型轨迹位置信息转换上得到机器人坐标系下的作业轨迹。
所述S1步骤中的计算公式如下:
CQ=CHD DP
其中,DP为点云模型在点云坐标系下的坐标值,CHD点云坐标系与红外成像***坐标系的变换矩阵。
所述S2步骤中的计算公式如下:
RQ=RHc CQ
其中,CQ为红外模型在红外成像***坐标系下的坐标值,RHC为红外成像***坐标系与机器人坐标系转换的变换矩阵,RQ为红外模型在机器人坐标系下的坐标值。其中,由于红外成像仪位置固定,所以RHC该值为已知。
所述S3步骤中的计算公式如下:
RHD=RHC CHD
所述S4步骤中在机器人坐标系下作业轨迹GR的计算公式如下:
GR=RHDGD=RHC CHDGD
其中,GD为点云坐标系下的轨迹。
还包括点云模型与红外成像模型间的坐标系转换,其计算公式如下:
CL=CND DM+CJD
其中,CND为红外模型坐标系与点云坐标系旋转转换的描述,CJD为红外坐标系与点云坐标系下的平移变换描述,L、M分别为红外模型数据信息,点云数据信息;其中,CHD=[CND,CJD];机器人作业轨迹GR的计算公式:
GR=RHDGD=RHC[CND,CJD]GD
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (10)
1.一种检测目标作业轨迹的***,其特征在于,其包括三维模型处理模块、红外成像检测模块和坐标信息转换模块;
其中,所述三维模型处理模块,用于获取作业对象的三维点云信息并基于三维模型得到特征数据信息;所述红外成像检测模块,其形成有红外成像***并用于获取作业对象的成像模型且基于所述三维模型处理模块获得的特征数据信息对作业对象进行检测和匹配,并将匹配完成的点云模型轨迹信息发送至所述坐标信息转换模块;所述坐标信息转换模块,用于将作业对象在点云坐标下的作业轨迹信息转换成在机器人坐标下的作业轨迹信息。
2.根据权利要求1所述的基于红外成像目标检测作业轨迹坐标转换***,其特征在于,还包括数据存储模块,所述数据存储模块用于对存储作业对象的三维模型以及已生成的作业轨迹信息数据。
3.根据权利要求1所述的基于红外成像目标检测作业轨迹坐标转换***,其特征在于,所述红外成像检测模块包括红外成像仪和用于对来自于所述红外成像仪的红外成像模型进行检测的检测装置。
5.一种基于权利要求1~4任一一项所述的红外成像目标作业轨迹检测***的坐标转换方法,其特征在于,其包括如下步骤:
S1:将所述三维模型处理模块得到的点云模型数据转换至红外成像***坐标系下;
S2:将红外成像模型从红外成像***坐标系转换到机器人坐标系下;
S3:根据步骤S1和S2的转换结果得到变换矩阵关系;
S4:将S3的变换矩阵关系用于模型轨迹位置信息转换上得到机器人坐标系下的作业轨迹。
6.根据权利要求5所述的坐标转换方法,其特征在于,所述S1步骤中的计算公式如下:
CQ=CHD DP
其中,DP为点云模型在点云坐标系下的坐标值,CHD点云坐标系与红外成像***坐标系的变换矩阵。
7.根据权利要求6所述的坐标转换方法,其特征在于,所述S2步骤中的计算公式如下:
RQ=RHc CQ
其中,CQ为红外模型在红外成像***坐标系下的坐标值,RHC为红外成像***坐标系与机器人坐标系转换的变换矩阵,RQ为红外模型在机器人坐标系下的坐标值。
8.根据权利要求7所述的坐标转换方法,其特征在于,所述S3步骤中的计算公式如下:
RHD=RHC CHD。.
9.根据权利要求8所述的坐标转换方法,其特征在于,所述S4步骤中在机器人坐标系下作业轨迹GR的计算公式如下:
GR=RHDGD=RHC CHDGD
其中,GD为点云坐标系下的轨迹。
10.根据权利要求9所述的坐标转换方法,其特征在于,还包括点云模型与红外成像模型间的坐标系转换,其计算公式如下:
CL=CND DM+CJD
其中,CND为红外模型坐标系与点云坐标系旋转转换的描述,CJD为红外坐标系与点云坐标系下的平移变换描述,L、M分别为红外模型数据信息,点云数据信息;其中,CHD=[CND,CJD];机器人作业轨迹GR的计算公式:
GR=RHDGD=RHC[CND,CJD]GD。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010663488.1A CN111805543B (zh) | 2020-07-10 | 2020-07-10 | 一种红外成像目标作业轨迹检测***及其坐标转换方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010663488.1A CN111805543B (zh) | 2020-07-10 | 2020-07-10 | 一种红外成像目标作业轨迹检测***及其坐标转换方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111805543A true CN111805543A (zh) | 2020-10-23 |
CN111805543B CN111805543B (zh) | 2022-04-26 |
Family
ID=72842678
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010663488.1A Active CN111805543B (zh) | 2020-07-10 | 2020-07-10 | 一种红外成像目标作业轨迹检测***及其坐标转换方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111805543B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106423656A (zh) * | 2016-08-11 | 2017-02-22 | 重庆大学 | 基于点云与图像匹配的自动喷涂***及方法 |
CN107598775A (zh) * | 2017-07-27 | 2018-01-19 | 芜湖微云机器人有限公司 | 一种通过激光进行检测并多轴机器人打磨的方法 |
CN109448034A (zh) * | 2018-10-24 | 2019-03-08 | 华侨大学 | 一种基于几何基元的零件位姿获取方法 |
CN109571152A (zh) * | 2018-12-27 | 2019-04-05 | 丰泰智控(深圳)有限公司 | 一种基于离线编程的工件自动打磨加工方法 |
CN110404715A (zh) * | 2019-08-15 | 2019-11-05 | 茂联橡胶制品(深圳)有限公司 | 基于机器人的橡胶喷涂生产线控制***及方法 |
US10565787B1 (en) * | 2017-01-27 | 2020-02-18 | NHIAE Group, LLC | Systems and methods for enhanced 3D modeling of a complex object |
CN111013883A (zh) * | 2019-11-25 | 2020-04-17 | 浙江明泉工业涂装有限公司 | 一种可用于多车型的智能喷涂的机器人控制方法 |
-
2020
- 2020-07-10 CN CN202010663488.1A patent/CN111805543B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106423656A (zh) * | 2016-08-11 | 2017-02-22 | 重庆大学 | 基于点云与图像匹配的自动喷涂***及方法 |
US10565787B1 (en) * | 2017-01-27 | 2020-02-18 | NHIAE Group, LLC | Systems and methods for enhanced 3D modeling of a complex object |
CN107598775A (zh) * | 2017-07-27 | 2018-01-19 | 芜湖微云机器人有限公司 | 一种通过激光进行检测并多轴机器人打磨的方法 |
CN109448034A (zh) * | 2018-10-24 | 2019-03-08 | 华侨大学 | 一种基于几何基元的零件位姿获取方法 |
CN109571152A (zh) * | 2018-12-27 | 2019-04-05 | 丰泰智控(深圳)有限公司 | 一种基于离线编程的工件自动打磨加工方法 |
CN110404715A (zh) * | 2019-08-15 | 2019-11-05 | 茂联橡胶制品(深圳)有限公司 | 基于机器人的橡胶喷涂生产线控制***及方法 |
CN111013883A (zh) * | 2019-11-25 | 2020-04-17 | 浙江明泉工业涂装有限公司 | 一种可用于多车型的智能喷涂的机器人控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111805543B (zh) | 2022-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109655024B (zh) | 采用空间变换技术的位移传感器外部参数标定方法 | |
US9149932B2 (en) | Robot picking system, control device, and method of manufacturing a workpiece | |
Chang et al. | Visual-based automation of peg-in-hole microassembly process | |
JP5904635B2 (ja) | 制御装置、制御方法及びロボット装置 | |
JP4265088B2 (ja) | ロボット装置及びその制御方法 | |
CN110253574B (zh) | 一种多任务机械臂位姿检测和误差补偿方法 | |
Huang et al. | Dynamic compensation robot with a new high-speed vision system for flexible manufacturing | |
CN113858217B (zh) | 多机器人交互的三维视觉位姿感知方法及*** | |
KR102111655B1 (ko) | 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치 | |
US20220402131A1 (en) | System and method for error correction and compensation for 3d eye-to-hand coordinaton | |
CN111805547A (zh) | 一种轨迹动态跟踪实现方法 | |
CN114770461A (zh) | 一种基于单目视觉的移动机器人及其自动抓取方法 | |
CN111805543B (zh) | 一种红外成像目标作业轨迹检测***及其坐标转换方法 | |
WO2023124735A1 (zh) | 机器人控制方法、装置、***及存储介质 | |
JP6939729B2 (ja) | 制御システム、制御方法およびプログラム | |
US20230123629A1 (en) | 3d computer-vision system with variable spatial resolution | |
Chen et al. | Application of visual servoing to an X-ray based welding inspection robot | |
CN112171664B (zh) | 基于视觉识别的生产线机器人轨迹补偿方法、装置和*** | |
Djelal et al. | Target tracking by visual servoing | |
CN109029322A (zh) | 一种全新数控机器人多坐标测量***及测量方法 | |
CN114859327A (zh) | 校准方法、装置、设备 | |
CN114670199A (zh) | 识别定位装置、***、实时跟踪*** | |
Xie et al. | Visual servoing with modified smith predictor for micromanipulation tasks | |
CN106826826B (zh) | 一种机器人控制方法与装置 | |
CN108958249B (zh) | 一种考虑未知控制方向的地面机器人控制***及控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |