CN112947349A - 基于双目视觉的自动化产线中agv与工位的二次定位装置与方法 - Google Patents

基于双目视觉的自动化产线中agv与工位的二次定位装置与方法 Download PDF

Info

Publication number
CN112947349A
CN112947349A CN202110366165.0A CN202110366165A CN112947349A CN 112947349 A CN112947349 A CN 112947349A CN 202110366165 A CN202110366165 A CN 202110366165A CN 112947349 A CN112947349 A CN 112947349A
Authority
CN
China
Prior art keywords
camera
agv
binocular vision
production line
automatic production
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110366165.0A
Other languages
English (en)
Inventor
张悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Yunqi Intelligent Technology Co ltd
Suzhou Research Institute Of Nanjing University Of Aeronautics And Astronautics
Original Assignee
Suzhou Yunqi Intelligent Technology Co ltd
Suzhou Research Institute Of Nanjing University Of Aeronautics And Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Yunqi Intelligent Technology Co ltd, Suzhou Research Institute Of Nanjing University Of Aeronautics And Astronautics filed Critical Suzhou Yunqi Intelligent Technology Co ltd
Priority to CN202110366165.0A priority Critical patent/CN112947349A/zh
Publication of CN112947349A publication Critical patent/CN112947349A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4189—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the transport system
    • G05B19/41895—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the transport system using automatic guided vehicles [AGV]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32252—Scheduling production, machining, job shop
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/60—Electric or hybrid propulsion means for production processes

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)
  • Automatic Assembly (AREA)

Abstract

本发明公开了基于双目视觉的自动化产线中AGV与工位的二次定位装置与方法，包括托盘、龙门架、工装、标靶、相机组件和AGV车体，所述AGV车体牵引端连接有托盘，且所述托盘置于龙门架的底部，所述托盘的顶部固定设有工装，所述工装的顶板固定设有两个圆环标靶，且两个标靶关于工装对称设置；本发明通过霍夫变换识别圆环检测颜色靶标，通过左右两相机坐标融合计算工装与龙门架之间的距离和角度偏差，过程中通过选择ROI区域降低计算量，通过设定检测圆环尺寸提高检测的稳定性，最终消除了***累计误差，达到1mm以内的工装和龙门架之间的定位精度，并有极好的效率和稳定性。

Description

基于双目视觉的自动化产线中AGV与工位的二次定位装置与 方法
技术领域
本发明涉及一种定位方法，特别涉及基于双目视觉的自动化产线中AGV与工位的二次定位装置与方法，属于工业自动化技术领域。
背景技术
自动生产线在无人干预的情况下按规定的程序或指令自动进行操作或控制的过程，其目标是“稳，准，快”。自动化技术广泛用于工业、农业、军事、科学研究、交通运输、商业、医疗、服务和家庭等方面。采用自动生产线不仅可以把人从繁重的体力劳动、部分脑力劳动以及恶劣、危险的工作环境中解放出来，而且能扩展人的器官功能，极大地提高劳动生产率。
在国家大力倡导工业自动化，中国制造2025的大背景下，产线自动化水平的要求进一步提高，包括效率，无人化程度，安全性，精度等。
AGV(自动给导引车)广泛应用于产线加工零部件搬运中，对于部分精密工艺，对接要求极高，主要有以下问题：
1)AGV车体和所搬运零部件之间的相对误差；
2)对接过程中AGV车体和零部件之间的相对误差变化；
3)精密工艺要求定位误差1mm以内，必须要进行高精度的二次定位才能满足；
4)零部件的前置工序的加工误差。
对于以上问题，均要求要有高精度的二次定位步骤。
发明内容
本发明的目的在于提供基于双目视觉的自动化产线中AGV与工位的二次定位装置与方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：基于双目视觉的自动化产线中AGV与工位的二次定位装置，包括托盘、龙门架、工装、标靶、相机组件和AGV车体，所述AGV车体牵引端连接有托盘，且所述托盘置于龙门架的底部，所述托盘的顶部固定设有工装，所述工作的顶板固定设有两个标靶，且两个标靶关于工装对称设置。
作为本发明的一种优选技术方案，所述龙门架顶部的一侧固定设有相机组件。
作为本发明的一种优选技术方案，所述相机组件包括左相机和右相机，且左相机和右相机对称设置。
基于双目视觉的自动化产线中AGV与工位的二次定位方法，所述定位方法具体包括以下步骤：
第一步骤：***初始化，读取标定参数；
第二步骤：相机组件择选标定；
第三步骤：实时采集图像；
第四步骤：ROI区域裁剪；
第五步骤：靶标识别；
第六步骤：角度和距离偏差计算；
第七步骤：发送到AGV车体；
第八步骤：重复第三步骤至第七步骤，直到偏差满足条件；
第九步骤：反馈完成。
作为本发明的一种优选技术方案，首次运行时，要进行相机组件标定，标定左右相机的二维码位置。
作为本发明的一种优选技术方案，第四步骤中，可以选择ROI识别区域。
作为本发明的一种优选技术方案，第五步骤中，可以选择识别靶标尺寸；
作为本发明的一种优选技术方案，第六步骤中，角度和距离偏差计算的具体方法如下：
采用双相机融合，将左右相机的靶标检测坐标通过初始标定点融合到同一坐标系下，用于计算角度偏差以及距离偏差。
与现有技术相比，本发明的有益效果是：
本发明基于双目视觉的自动化产线中AGV与工位的二次定位装置与方法，通过霍夫变换检测颜色靶标，通过左右两相机坐标融合计算工装与龙门架之间的距离和角度偏差，过程中通过选择ROI区域降低计算量，通过设定检测圆环尺寸提高检测的稳定性，最终消除了***累计误差，达到1mm以内的工装和龙门架之间的定位精度，并有极好的效率和稳定性。
附图说明
图1为本发明二次定位装置的结构示意图；
图2为本发明中二次定位方法的流程结构示意图；
图3为本发明中左相机坐标示意图；
图4为本发明中右相机坐标示意图；
图5为本发明中左右相机融合坐标示意图。
图中：1、托盘；2、龙门架；3、工装；4、标靶；5、相机；6、AGV车体。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-5，本发明提供了基于双目视觉的自动化产线中AGV与工位的二次定位装置与方法的技术方案：基于双目视觉的自动化产线中AGV与工位的二次定位装置，包括托盘1、龙门架2、工装3、标靶4、相机组件5和AGV车体6，AGV车体6牵引端连接有托盘1，且托盘1置于龙门架2的底部，托盘1的顶部固定设有工装4，工作4的顶板固定设有两个标靶4，且两个标靶4关于工装4对称设置，龙门架2顶部的一侧固定设有相机组件5，相机组件5包括左相机和右相机，且左相机和右相机对称设置。
基于双目视觉的自动化产线中AGV与工位的二次定位方法，定位方法具体包括以下步骤：
第一步骤：***初始化，读取标定参数；
第二步骤：相机组件择选标定；
第三步骤：实时采集图像；
第四步骤：ROI区域裁剪，可以选择ROI识别区域；
第五步骤：靶标识别，可以选择识别靶标尺寸；
第六步骤：角度和距离偏差计算，角度和距离偏差计算的具体方法如下：
采用双相机融合，将左右相机的靶标检测坐标通过初始标定点融合到同一坐标系下，用于计算角度偏差以及距离偏差；
第七步骤：发送到AGV车体；
第八步骤：重复第三步骤至第七步骤，直到偏差满足条件；
第九步骤：反馈完成。
整个***正式运行前先进行初始化标定，将AGV车体6搬运工装3至对接位置，并手动调整到工装3和龙门架2可以完成对接的地方，进行初始化标定，具体如下：
1)选择左右相机的ROI区域，调整至工装3和发动机可能出现的最大偏差位置，前后左右四个部分，并扩大1.5倍区域作为视觉的ROI区域，以此增加计算速度，减少计算量；
2)选择目标尺寸，根据视野中靶标圆环的半径，即像素尺寸R，选择目标尺寸范围0.9R-1.1R，该方法避免其他特征圆环的干扰，避免提取特征出错；
3)完成步骤1、2，进行左右标定，将左右点各自在视野中坐标记录作为融合后坐标的原点
图3和图4为左右两相机图像区域坐标，左标定点和右标定点在初始时进行标定，将左相机当前点和右相机当前点整合到同一个坐标系中，如图5所示。
初始化完毕后进行正式运行，AGV车体6搬运载有工装3的托盘1至指定位置进行粗定位，粗定位完成反馈至上位***，上位***下发指令进行视觉检测，实时检测靶标位置，
计算角度偏差以及距离偏差，首先进行中值滤波，然后进行二值化处理，通过canny算法提取出轮廓后，进行霍夫变换提取相应尺寸的圆环中心坐标(U左1，V左1)(U右1，V右1)。
计算融合后的当前点坐标，通过如下公式计算，
X左＝U左1-U左0(1)
Y左＝V左1-V左0(2)
X右＝U右1-U右0(3)
Y右＝V右1-V右0(4)
计算反馈偏差，反馈的位置偏差由两者位置偏差累加，角度偏差根据两相机中的二维码纵轴与标定偏差计算，其中，X轴向距离偏差：
X偏差＝X左-X右
Y轴向距离偏差：
Y偏差＝Y左-Y右
角度偏差：
a＝arctan(X偏差/Y偏差)
如图1所示，图1为龙门架2和工装3的对接示意图，AGV车体6背负托盘1，托盘1上有工装3，工装3上安装有靶标4，相机组件5安装于龙门架2上，***运行时需要完成初次标定，将左右相机坐标融合起来，并选择最优的ROI区域，在标定完毕后，再次运行时，相机扫描识别靶标圆环特征，将两点坐标转化到融合的坐标系之后，分别计算AGV上工装3相对于龙门架2的前后左右偏差以及角度偏差，通过调整AGV姿态实现两个工装3定位。
在本发明的描述中，需要理解的是，指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明中，除非另有明确的规定和限定，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.基于双目视觉的自动化产线中AGV与工位的二次定位装置，包括托盘(1)、龙门架(2)、工装(3)、标靶(4)、相机组件(5)和AGV车体(6)，其特征在于，所述AGV车体(6)牵引端连接有托盘(1)，且所述托盘(1)置于龙门架(2)的底部，所述托盘(1)的顶部固定设有工装(4)，所述工作(4)的顶板固定设有两个标靶(4)，且两个标靶(4)关于工装(4)对称设置。
2.根据权利要求1所述的基于双目视觉的自动化产线中AGV与工位的二次定位装置，其特征在于：所述龙门架(2)顶部的一侧固定设有相机组件(5)。
3.根据权利要求2所述的基于双目视觉的自动化产线中AGV与工位的二次定位装置，其特征在于：所述相机组件(5)包括左相机和右相机，且左相机和右相机对称设置。
4.基于双目视觉的自动化产线中AGV与工位的二次定位方法，其特征在于：所述定位方法具体包括以下步骤：
第一步骤：***初始化，读取标定参数；
第二步骤：相机组件择选标定；
第三步骤：实时采集图像；
第四步骤：ROI区域裁剪；
第五步骤：靶标识别；
第六步骤：角度和距离偏差计算；
第七步骤：发送到AGV车体；
第八步骤：重复第三步骤至第七步骤，直到偏差满足条件；
第九步骤：反馈完成。
5.根据权利要求4所述的基于双目视觉的自动化产线中AGV与工位的二次定位方法，其特征在于：首次运行时，要进行相机组件标定，标定左右相机的靶标位置。
6.根据权利要求1所述的基于双目视觉的自动化产线中AGV与工位的二次定位装置与方法，其特征在于：第四步骤中，可以选择ROI识别区域。
7.根据权利要求1所述的基于双目视觉的自动化产线中AGV与工位的二次定位方法，其特征在于：第五步骤中，可以选择识别圆环靶标尺寸；
8.根据权利要求1所述的基于双目视觉的自动化产线中AGV与工位的二次定位方法，其特征在于：第六步骤中，角度和距离偏差计算的具体方法如下：
采用双相机融合，将左右相机的靶标检测坐标通过初始标定点融合到同一坐标系下，用于计算角度偏差以及距离偏差。
CN202110366165.0A 2021-04-06 2021-04-06 基于双目视觉的自动化产线中agv与工位的二次定位装置与方法 Pending CN112947349A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110366165.0A CN112947349A (zh) 2021-04-06 2021-04-06 基于双目视觉的自动化产线中agv与工位的二次定位装置与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110366165.0A CN112947349A (zh) 2021-04-06 2021-04-06 基于双目视觉的自动化产线中agv与工位的二次定位装置与方法

Publications (1)

Publication Number Publication Date
CN112947349A true CN112947349A (zh) 2021-06-11

Family

ID=76232269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110366165.0A Pending CN112947349A (zh) 2021-04-06 2021-04-06 基于双目视觉的自动化产线中agv与工位的二次定位装置与方法

Country Status (1)

Country Link
CN (1) CN112947349A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114750857A (zh) * 2022-03-18 2022-07-15 上汽通用五菱汽车股份有限公司 基于机器视觉技术的柔性定位方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6078849A (en) * 1998-12-11 2000-06-20 Lockheed Martin Corporation Vision based precision docking of vehicles
CN106182004A (zh) * 2016-08-01 2016-12-07 上海交通大学 基于视觉引导的工业机器人自动销孔装配的方法
CN108571971A (zh) * 2018-05-17 2018-09-25 北京航空航天大学 一种agv视觉定位***及方法
CN109160452A (zh) * 2018-10-23 2019-01-08 西安中科光电精密工程有限公司 基于激光定位和立体视觉的无人转运叉车及导航方法
CN110006402A (zh) * 2019-04-25 2019-07-12 北京航空航天大学 一种大型部件对接装配相对位姿的视觉测量***和测量方法
CN111199542A (zh) * 2019-12-30 2020-05-26 季华实验室 工装板的精确定位方法
CN111768448A (zh) * 2019-03-30 2020-10-13 北京伟景智能科技有限公司 一种基于多相机检测的空间坐标系标定方法
CN111932565A (zh) * 2019-05-13 2020-11-13 中国科学院沈阳自动化研究所 一种多靶标识别跟踪解算方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6078849A (en) * 1998-12-11 2000-06-20 Lockheed Martin Corporation Vision based precision docking of vehicles
CN106182004A (zh) * 2016-08-01 2016-12-07 上海交通大学 基于视觉引导的工业机器人自动销孔装配的方法
CN108571971A (zh) * 2018-05-17 2018-09-25 北京航空航天大学 一种agv视觉定位***及方法
CN109160452A (zh) * 2018-10-23 2019-01-08 西安中科光电精密工程有限公司 基于激光定位和立体视觉的无人转运叉车及导航方法
CN111768448A (zh) * 2019-03-30 2020-10-13 北京伟景智能科技有限公司 一种基于多相机检测的空间坐标系标定方法
CN110006402A (zh) * 2019-04-25 2019-07-12 北京航空航天大学 一种大型部件对接装配相对位姿的视觉测量***和测量方法
CN111932565A (zh) * 2019-05-13 2020-11-13 中国科学院沈阳自动化研究所 一种多靶标识别跟踪解算方法
CN111199542A (zh) * 2019-12-30 2020-05-26 季华实验室 工装板的精确定位方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114750857A (zh) * 2022-03-18 2022-07-15 上汽通用五菱汽车股份有限公司 基于机器视觉技术的柔性定位方法及***

Similar Documents

Publication Publication Date Title
CN111775146B (zh) 一种工业机械臂多工位作业下的视觉对准方法
US20200393539A1 (en) System and method for vehicle radar inspection
CN110539109B (zh) 一种基于单双目视觉的机器人自动焊接***及方法
CN107490379B (zh) 利用二维码地标定位agv工作点位置的方法及***
CN109872372B (zh) 一种小型四足机器人全局视觉定位方法和***
CN113084808B (zh) 一种基于单目视觉的移动机械臂2d平面抓取方法
CN106182004A (zh) 基于视觉引导的工业机器人自动销孔装配的方法
CN110293559B (zh) 一种自动识别定位对准的安装方法
CN112894209A (zh) 一种基于十字激光的管板智能焊接机器人自动平面校正方法
CN112223285A (zh) 一种基于组合测量的机器人手眼标定方法
CN107804708A (zh) 一种贴装机取料旋转轴的旋转中心定位方法
CN110497373A (zh) 一种移动作业机器人的三维激光雷达与机械臂间的联合标定方法
CN109191527B (zh) 一种基于最小化距离偏差的对位方法及装置
CN109753075B (zh) 一种基于视觉的农林园区机器人导航方法
CN112947349A (zh) 基于双目视觉的自动化产线中agv与工位的二次定位装置与方法
CN108873914A (zh) 一种基于深度图像数据的机器人自主导航***及方法
CN113111715A (zh) 一种无人机目标跟踪与信息采集***及方法
CN111309022A (zh) 一种基于双目视觉的无人船自主避障***的自动避障方法
CN114092552A (zh) 一种基于固定端图像进行大型刚体构件对接的方法
CN113554713B (zh) 飞机蒙皮移动机器人制孔视觉定位及检测方法
CN113240751B (zh) 一种机器人末端相机的标定方法
CN115540750A (zh) 一种基于单目视觉物体尺寸检测方法、***及可存储介质
CN115893294A (zh) 基于2d相机的机器人自动加注方法
CN115112018A (zh) 一种基于立体视觉的三坐标机智能复合联检***及方法
CN113959412A (zh) 一种基于红外探测的无人机对接过程主动视觉导航方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210611