CN108548482B - 一种基于单目视觉与激光传感的图像识别装置和方法 - Google Patents

一种基于单目视觉与激光传感的图像识别装置和方法 Download PDF

Info

Publication number
CN108548482B
CN108548482B CN201810171987.1A CN201810171987A CN108548482B CN 108548482 B CN108548482 B CN 108548482B CN 201810171987 A CN201810171987 A CN 201810171987A CN 108548482 B CN108548482 B CN 108548482B
Authority
CN
China
Prior art keywords
laser
ring
pen
monocular vision
ccd camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810171987.1A
Other languages
English (en)
Other versions
CN108548482A (zh
Inventor
王红军
黎源鸿
周伟亮
刘磊
杨贻勇
方雅媚
蒙劭洋
马昆鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN201810171987.1A priority Critical patent/CN108548482B/zh
Publication of CN108548482A publication Critical patent/CN108548482A/zh
Application granted granted Critical
Publication of CN108548482B publication Critical patent/CN108548482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种基于单目视觉与激光传感的图像识别装置，包括支架、LED灯、CCD摄像头、计算机、环形激光传感器；支架架设在待测物体的正上方，对物体进行照明的LED灯、对物体进行拍摄的CCD摄像头、环形激光传感器均安装在支架上；环形激光传感器包括既能摆动也能沿着圆环滑移的激光笔，从而激光笔在物体表面形成至少三个激光点；计算机获取激光笔的位置和摆角信息，通过CCD摄像头获取激光点的位置信息，最终得到物体的空间位置信息。还涉及一种基于单目视觉与激光传感的图像识别方法。本发明通过计算出法向量的方法，操作简单，识别精确及识别速度快，工作效率高，大大减轻了工人的工作强度，属于机器视觉领域。

Description

一种基于单目视觉与激光传感的图像识别装置和方法
技术领域
本发明涉及机器视觉领域，尤其涉及一种激光传感和相机识别图像的分析，通过算法计算物体平面法向量的识别装置和方法。
背景技术
随着工业自动化技术的发展，对于生产和物流传送流水线线上工件的检测，由于运行速度快，工件种类多，距离变化大等，目前的工件识别技术显得无能为力。特别是对于背景复杂的环境，色彩目标的多样性以及流水线细小工件之间复杂的分割算法，虽然能够准确的识别目标，但运行速度慢，导致机器人作业效率不高，直接影响了流水线的生产效率。
为了提高流水线线上目标工件的识别率，简单操作、实时性高、运行速度快的算法成为目标图像探索的热点。
发明内容
针对现有技术中存在的技术问题，本发明的目的是：提供一种安装简单、为快速识别并抓取物体提供支持的基于单目视觉与激光传感的图像识别装置。
本发明的另一个目的是：提供一种基于单目视觉与激光传感的图像识别方法，降低流水线上视觉模块的研发成本，本发明设计的装置安装简单，计算的原理通俗易懂，激光笔测量工件深度信息和摆角信息后，将数据代入数学几何知识模型，就能快速计算出物体的空间平面法向量。
为了达到上述目的，本发明采用如下技术方案：
一种基于单目视觉与激光传感的图像识别装置，包括支架、LED灯、CCD摄像头、计算机、环形激光传感器；支架架设在待测物体的正上方，对物体进行照明的LED灯、对物体进行拍摄的CCD摄像头、环形激光传感器均安装在支架上；环形激光传感器包括既能摆动也能沿着圆环滑移的激光笔，从而激光笔在物体表面形成至少三个激光点；计算机获取激光笔的位置和摆角信息，通过CCD摄像头获取激光点的位置信息，最终得到物体的空间位置信息。
作为一种优选，环形激光传感器包括环形导轨、活动板、链接件、激光笔、滑动驱动组件、摆动驱动组件；环形导轨设有位于内圈的内凹槽和位于外圈的外凹槽，活动板卡入内凹槽和外凹槽之间，滑动驱动组件驱动活动板沿着环形导轨滑动；激光笔固定在链接件上，链接件与活动板转动式连接，摆动驱动组件驱动激光笔相对于活动板摆动。
作为一种优选，活动板为半圆弧活动板，两端均设有竖直的安装板；每块安装板上均安装一个链接件，每个链接件上均装有一支激光笔。
作为一种优选，安装板或链接件上设有显示激光笔摆角的刻度线。
作为一种优选，CCD摄像头、环形激光传感器、LED灯从上往下依次设置。
一种基于单目视觉与激光传感的图像识别方法，采用一种基于单目视觉与激光传感的图像识别装置，包括如下步骤：S101通过CCD摄像头采集物体的平面轮廓，计算机计算物体是否符合抓取条件；S102摆动和滑动激光笔，在物体的平面轮廓内打出激光点，获取竖直方向上的深度信息，从而进行坐标分析，获得激光点的坐标；S103根据激光点的坐标，求得这些激光点所构成的平面的法向量，即求得物体的上侧平面的法向量，并将数据传输到计算机中进行分析。
作为一种优选，步骤S102中，摆动和滑动激光笔，使激光点落在物体表面不同位置，通过环形激光传感器采集的激光点识别物体表面，通过不断调整激光笔在不同的位置，使激光笔所产生的激光点落在物体表面不同位置上，至少要打出三个不同的点，通过三个不同的点构成一个平面，指示物体的上侧平面。
作为一种优选，步骤S102中，激光笔所产生的激光点落在物体表面不同位置上，需通过环形激光传感器去识别不同的位置。
作为一种优选，建立三维直角坐标系，对激光笔打在物体上的激光点进行坐标分析，获得激光点坐标，通过建立以CCD摄像头为原点，竖直向下为z轴；通过CCD摄像头与物体表面的高度，激光笔距原点距离，推算出激光点的坐标。
作为一种优选，步骤S103中，通过所获得的激光点坐标，根据三个不同点构成一个平面，然后通过数学计算求解出该平面的法向量；通过传输路径将法向量的数据传输到计算机中，然后进行分析。
本发明的原理是：
本发明作用于上下侧面为平面，且两平面相互平行的物体。利用环形激光传感器在物体表面打点获取深度信息，形成一个与物体表面平行的平面，并计算出打在物体表面点上的世界坐标，通过传输到电脑里，进而通过计算出物体上侧平面上的法向量并传输到计算机中，使计算机识别出物体的空间位置。进而实现设计简单快速化，工作效率更高。
通过所建立的三维坐标系中，由已知的CCD摄像头到物体的高度，环形导轨的半径，激光笔摆动的角度和激光笔的位置，可以求得a、b、a1的坐标，进而计算出aba1组成的平面(即物体的表面)的法向量，然后传输给计算机，计算机通过分析，然后识别了物体所在的位置。
总的说来，本发明具有如下优点：
1.首先本发明采用的是比较简单的识别方法，仅仅是通过计算出法向量的方法，操作简单，识别精确及识别速度快，工作效率高，大大减轻了工人的工作强度。
2.采用本发明图像识别，进而计算出法向量，然后机械手识别并抓取的物体方法，适合于大部分的流水线工作，使得公司减少了投资成本，且本发明的制作成本比较低。
3.本发明通过实际操作，确实可行，而且识别速度快，识别精度比较高，能够精确的抓取物体放在指定位置。
附图说明
图1是一种基于单目视觉与激光传感的图像识别方法的流程图。
图2是一种基于单目视觉与激光传感的图像识别装置的结构示意图。
图3是根据本发明所设计的总体方案实施图。
图4是环形激光传感器的立体图。
图5是环形激光传感器的局部零件图。
图6是环形激光传感器的局部放大图。
其中，1为CCD摄像头，2为环形激光传感器，3为活动板，4和5为激光笔，6为链接件，7为支架，8为载物台，9是物体，10为计算机，21为导轨外环，22为导轨内环，23为外凹槽，24为内凹槽，31为安装板，32为螺栓孔，61为螺栓孔，62为螺钉，63为角度指针，64为紧固件。
A，B，A1，B1为激光笔所在位置，对应照射出四个激光点a，b，a1，b1。L为激光笔到所打激光点的距离，H为激光点到坐标系原点在z轴平行方向上的距离。
具体实施方式
下面来对本发明做进一步详细的说明。
如图1所示，本图详细介绍了实现单目视觉快速识别物体的过程以及利用环形激光传感器计算物体上侧所在平面法向量的一个介绍。
S101，CCD摄像头与环形激光传感器通过支架连接，CCD摄像头首先获取物体平面二维轮廓，环形导轨与半圆活动板是嵌套连接，两支可摆动的激光笔是通过标有刻度线的矩形链接件连接，通过CCD摄像头采集物体平面轮廓并计算轮廓大小，判断物体是否符合抓取条件。然后将物体在平面的二维坐标传输到相机上面的环形激光传感器。
S102，获取激光笔的平面坐标后，激光笔实现在平面上的滑动，配合激光笔的摆动，将激光点打到物体轮廓内，并计算世界坐标系，对激光笔打在物体上的激光点进行坐标分析。
S103，根据所获得的激光点坐标，求得这些不同激光点所构成的平面(即物体的上侧表面)的法向量；通过已有的编程进行数据分析，从而将物体的法向量相对于世界坐标输出。
其中计算机在分析的同时不断的寻找最优的方案。
如图2所示，通过搭建实验平台，可以清楚的看见各个部件的摆放位置，试验所需的东西较少，大大降低了成本。同时可以看出该方案的实施可以大大减少厂家的生产经营成本。
如图4-6所示，环形激光传感器包括环形导轨、活动板、链接件、激光笔、滑动驱动组件、摆动驱动组件；环形导轨设有位于内圈的内凹槽和位于外圈的外凹槽，活动板卡入内凹槽和外凹槽之间，滑动驱动组件驱动活动板沿着环形导轨滑动；激光笔固定在链接件上，链接件与活动板转动式连接，摆动驱动组件驱动激光笔相对于活动板摆动。活动板为半圆弧活动板，两端均设有竖直的安装板；每块安装板上均安装一个链接件，每个链接件上均装有一支激光笔。
通过图像的分析，然后根据计算机对数据的分析，可以求出该物体表面的法向量，进而可以传输到电脑中去，电脑进而识别出物体所在的位置。滑动驱动组件、摆动驱动组件优选的采用电机驱动。
通过对比试验，采用本发明大大降低了流水线上的视觉模块成本，用的材料主要包括环形导轨、活动板、激光笔；一般利用图像处理模块方法识别立体工件计算机的速度是0.82秒到0.90秒之间，因为图像处理模块，一般的处理步骤是需要进行灰度值处理、阈值分割、图像降噪、计算工件轮廓等，而本发明则只需要简单的数学几何计算公式，经验证，从激光笔将深度信息传输到计算机开始计算，识别工件法向量只需要0.56秒到0.66秒之间。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于单目视觉与激光传感的图像识别装置，其特征在于：包括支架、LED灯、CCD摄像头、计算机、环形激光传感器；支架架设在待测物体的正上方，对物体进行照明的LED灯、对物体进行拍摄的CCD摄像头、环形激光传感器均安装在支架上；环形激光传感器包括既能摆动也能沿着圆环滑移的激光笔，从而激光笔在物体表面形成至少三个激光点；计算机获取激光笔的位置和摆角信息，通过CCD摄像头获取激光点的位置信息，最终得到物体的空间位置信息；环形激光传感器包括环形导轨、活动板、链接件、激光笔、滑动驱动组件、摆动驱动组件；环形导轨设有位于内圈的内凹槽和位于外圈的外凹槽，活动板卡入内凹槽和外凹槽之间，滑动驱动组件驱动活动板沿着环形导轨滑动；激光笔固定在链接件上，链接件与活动板转动式连接，摆动驱动组件驱动激光笔相对于活动板摆动；
活动板为半圆弧活动板，两端均设有竖直的安装板；每块安装板上均安装一个链接件，每个链接件上均装有一支激光笔。
2.按照权利要求1所述的一种基于单目视觉与激光传感的图像识别装置，其特征在于：安装板或链接件上设有显示激光笔摆角的刻度线。
3.按照权利要求1所述的一种基于单目视觉与激光传感的图像识别装置，其特征在于：CCD摄像头、环形激光传感器、LED灯从上往下依次设置。
4.一种基于单目视觉与激光传感的图像识别方法，采用权利要求1-3中任一项所述的一种基于单目视觉与激光传感的图像识别装置，其特征在于：包括如下步骤：
S101 通过CCD摄像头采集物体的平面轮廓，计算机计算物体是否符合抓取条件；
S102 摆动和滑动激光笔，在物体的平面轮廓内打出激光点，获取竖直方向上的深度信息，从而进行坐标分析，获得激光点的坐标；
S103 根据激光点的坐标，求得这些激光点所构成的平面的法向量，即求得物体的上侧平面的法向量，并将数据传输到计算机中进行分析。
5.按照权利要求4所述的一种基于单目视觉与激光传感的图像识别方法，其特征在于：步骤S102中，摆动和滑动激光笔，使激光点落在物体表面不同位置，通过环形激光传感器采集的激光点识别物体表面，通过不断调整激光笔在不同的位置，使激光笔所产生的激光点落在物体表面不同位置上，至少要打出三个不同的点，通过三个不同的点构成一个平面，指示物体的上侧平面。
6.按照权利要求5所述的一种基于单目视觉与激光传感的图像识别方法，其特征在于：步骤S102中，激光笔所产生的激光点落在物体表面不同位置上，需通过环形激光传感器去识别不同的位置。
7.按照权利要求4所述的一种基于单目视觉与激光传感的图像识别方法，其特征在于：建立三维直角坐标系，对激光笔打在物体上的激光点进行坐标分析，获得激光点坐标，通过建立以CCD摄像头为原点，竖直向下为z轴；通过CCD摄像头与物体表面的高度，激光笔距原点距离，推算出激光点的坐标。
8.按照权利要求4所述的一种基于单目视觉与激光传感的图像识别方法，其特征在于：步骤S103中，通过所获得的激光点坐标，根据三个不同点构成一个平面，然后通过数学计算求解出该平面的法向量；通过传输路径将法向量的数据传输到计算机中，然后进行分析。
CN201810171987.1A 2018-03-01 2018-03-01 一种基于单目视觉与激光传感的图像识别装置和方法 Active CN108548482B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810171987.1A CN108548482B (zh) 2018-03-01 2018-03-01 一种基于单目视觉与激光传感的图像识别装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810171987.1A CN108548482B (zh) 2018-03-01 2018-03-01 一种基于单目视觉与激光传感的图像识别装置和方法

Publications (2)

Publication Number Publication Date
CN108548482A CN108548482A (zh) 2018-09-18
CN108548482B true CN108548482B (zh) 2019-11-15

Family

ID=63516013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810171987.1A Active CN108548482B (zh) 2018-03-01 2018-03-01 一种基于单目视觉与激光传感的图像识别装置和方法

Country Status (1)

Country Link
CN (1) CN108548482B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109541626B (zh) * 2018-12-12 2020-12-11 华南农业大学 目标平面法向量检测装置及检测方法
CN110321836B (zh) * 2019-07-01 2023-07-21 芜湖启迪睿视信息技术有限公司 一种基于图像和激光点云图的输送物料检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103791838A (zh) * 2014-03-07 2014-05-14 中国工程物理研究院激光聚变研究中心 一种微零件位姿自动测量方法
CN104034261A (zh) * 2014-06-10 2014-09-10 深圳先进技术研究院 一种曲面法向测量装置和曲面法向测量方法
CN105021124A (zh) * 2015-04-16 2015-11-04 华南农业大学 一种基于深度图的平面零件三维位置和法向量计算方法
CN107330936A (zh) * 2017-06-21 2017-11-07 清华大学深圳研究生院 一种基于单目视觉的双圆形标志物定位方法及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130323434A1 (en) * 2012-05-29 2013-12-05 King Abdullah University Of Science And Technology Inkjet printing with in situ fast annealing for patterned multilayer deposition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103791838A (zh) * 2014-03-07 2014-05-14 中国工程物理研究院激光聚变研究中心 一种微零件位姿自动测量方法
CN104034261A (zh) * 2014-06-10 2014-09-10 深圳先进技术研究院 一种曲面法向测量装置和曲面法向测量方法
CN105021124A (zh) * 2015-04-16 2015-11-04 华南农业大学 一种基于深度图的平面零件三维位置和法向量计算方法
CN107330936A (zh) * 2017-06-21 2017-11-07 清华大学深圳研究生院 一种基于单目视觉的双圆形标志物定位方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于单目视觉和激光测距仪的位姿测量算法;高学海等;《仪器仪表学报》;20070831;第28卷(第8期);第1479-1485页 *
基于单目视觉的工业机器人智能抓取研究;王修岩，程婷婷;《机械设计与制造》;20110531(第5期);第135-136页 *
平面工件的识别与定位方法研究;唐宇等;《机械设计与制造》;20151031(第10期);第172-175页 *

Also Published As

Publication number Publication date
CN108548482A (zh) 2018-09-18

Similar Documents

Publication Publication Date Title
CN110509300B (zh) 基于三维视觉引导的钢箍加工上料控制***及控制方法
CN108182689B (zh) 应用于机器人搬运打磨领域的板状工件三维识别定位方法
CN109623656B (zh) 基于厚度在线检测的移动式双机器人协同打磨装置及方法
CN111442759B (zh) 一种综采工作面设备位姿统一监测***
CN107186752B (zh) 一种波浪补偿打捞机器人***
CN201653373U (zh) 三轴非接触式影像测量***
KR102056664B1 (ko) 센서를 이용한 작업 방법 및 이를 수행하는 작업 시스템
CN103433810B (zh) 一种复杂曲面法矢在机检测装置及方法
CN106643545B (zh) 激光位移技术测量钢轨轮廓的校准方法
CN101839700A (zh) 一种非接触式影像测量***
CN105563481B (zh) 一种用于轴孔装配的机器人视觉引导方法
CN108548482B (zh) 一种基于单目视觉与激光传感的图像识别装置和方法
KR102634535B1 (ko) 포인트 집단 분석을 이용한 작업대상물의 터치교시점 인식방법
CN106767401A (zh) 一种基于十字激光和机器视觉的轴孔类零件定姿定位方法
CN109341532A (zh) 一种面向自动装配的基于结构特征的零件坐标标定方法
CN113465511A (zh) 一种钢卷尺寸在线测量及全方位端面缺陷在线检测方法
CN104819707A (zh) 一种多面体主动光标靶
US11816754B2 (en) Measurement parameter optimization method and device, and computer control program stored on computer-readable storage medium
CN104236543A (zh) 用于工业机器人空间位姿精度和轨迹测量的拉线式测量***和测量方法
CN110081821A (zh) 智能化高铁白车身装配质量检测装置及其方法
CN104316012A (zh) 一种用于大型零部件尺寸测量的工业机器人
CN103970071B (zh) 铸件表面清理过程中加工路径的检测及纠正方法
CN108088389B (zh) 一种旋转式双激光轮廓测量方法、存储装置及测量装置
CN110568866B (zh) 一种三维立体曲面视觉引导对位***及对位方法
CN109405767B (zh) 基于激光轮廓测量仪的铸造件浇冒口切割轨迹确定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant