CN108010074A - 一种基于机器视觉的工件检测方法及*** - Google Patents

一种基于机器视觉的工件检测方法及*** Download PDF

Info

Publication number
CN108010074A
CN108010074A CN201710976665.XA CN201710976665A CN108010074A CN 108010074 A CN108010074 A CN 108010074A CN 201710976665 A CN201710976665 A CN 201710976665A CN 108010074 A CN108010074 A CN 108010074A
Authority
CN
China
Prior art keywords
workpiece
target image
profile
coordinate
machine vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710976665.XA
Other languages
English (en)
Inventor
彭成斌
杨景翔
徐显兵
潘江锋
王少剑
康齐正
吴宝国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Blue Intelligent Technology Co Ltd
Original Assignee
Ningbo Blue Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Blue Intelligent Technology Co Ltd filed Critical Ningbo Blue Intelligent Technology Co Ltd
Priority to CN201710976665.XA priority Critical patent/CN108010074A/zh
Publication of CN108010074A publication Critical patent/CN108010074A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于机器视觉的工件检测方法及***，涉及机器视觉技术领域，所述基于机器视觉的工件检测方法包括：确定目标图像中工件的轮廓；确定所述轮廓的最小外接矩形；根据所述最小外接矩形和目标图像，调整所述目标图像中工件的方向，以使所述目标图像中的工件的方向与样本图像的工件方向一致；提取样本图像中的HOG特征，并使用所述HOG特征对SVM分类器进行训练；通过训练过的SVM分类器对目标图像进行检测，以对所述目标图像中工件进行分类。本发明解决了传统工业机器人无法智能识别和定位工件的问题，通过机器视觉算法对工件进行分类和定位。本发明提供的方法对工件的姿态角度没有要求，并且在遮挡的情况下也能进行检测。

Description

一种基于机器视觉的工件检测方法及***
技术领域
本发明涉及机器视觉技术领域，尤其涉及一种基于机器视觉的工件检测方法及***。
背景技术
随着科技的进步，越来越多的工业机器人被应用于生产领域，以替换人类进行重复性的生产活动。
工业机器人是面向工业领域的多关节机械手或多自由度的机器装置，它能自动执行工作，是靠自身动力和控制能力来实现各种功能的一种机器。它可以接受人类指挥，也可以按照预先编排的程序运行，现代的工业机器人还可以根据人工智能技术制定的原则纲领行动。
为了提高工业机器人的自动化程度，需要工业机器人能对生产中的工件进行智能的识别和定位。
由于近年来，机器视觉算法的应用越来越广泛，在工业机器人领域也有所涉及。
机器视觉***最基本的特点就是提高生产的灵活性和自动化程度。在一些不适于人工作业的危险工作环境或者人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉。同时，在大批量重复性工业生产过程中，用机器视觉检测方法可以大大提高生产的效率和自动化程度。
例如，公开号为CN103895042A的专利公开了一种基于视觉引导的工业机器人工件定位抓取方法及***。所述基于视觉引导的工业机器人工件定位抓取方法包括步骤：步骤S1、建立***参数化模型并摄像机定标；步骤S2、确定工件特征模板；步骤S3、搜索工件模板实例，根据实例的坐标信息确定工件的位置；步骤S4、计算目标工件的速度；步骤S5、预测工件处于待抓取工位时在机器人基础坐标系下的位姿；步骤S6、机器人按照规划轨迹运动接近并抓取工件，放置到目标点位置。此方法不适用于处理有多种工件的情况，使用的场景比较单一，在有遮挡的情况下也不能很好的使用。
总之，现有技术在工件检测中有如下缺陷：不能应用于多种类型的工件混合在一起的情况。只能对单一类型的工件的进行识别检测。
此外，现有技术对工件的角度和位置要求较高，过程效果并不理想。在有遮挡的情况实现也不是很理想。实施过程复杂，效果不佳。
发明内容
本发明所要解决的技术问题在于现有技术中在工件检测上存在的缺陷，如对工件的角度和位置要求较高，过程效果并不理想；在有遮挡的情况实现不是很理想；实施过程复杂，效果不佳等。
本发明针对现有技术的上述不足，提出一种基于机器视觉的工件检测方法及***。
所述基于机器视觉的工件检测方法包括：
确定目标图像中工件的轮廓；
确定所述轮廓的最小外接矩形；
根据所述最小外接矩形和目标图像，调整所述目标图像中工件的方向，以使所述目标图像中的工件的方向与样本图像的工件方向一致；
提取样本图像中的HOG特征，并使用所述HOG特征对SVM分类器进行训练；
通过训练过的SVM分类器对目标图像进行检测，以对所述目标图像中工件进行分类。
进一步地，在通过训练过的SVM分类器对目标图像进行检测之后，还包括：
通过检测结果，获取工件在目标图像坐标系中的坐标信息；
根据所述坐标信息，通过相机标定方法，确定工件在世界坐标系中的坐标。
进一步地，所述根据所述坐标信息，通过相机标定方法，确定工件在世界坐标系中的坐标，具体包括：
根据张正友标定法，确定工件的深度信息；
根据所述坐标信息和所述深度信息，确定工件在世界坐标系中的坐标。
进一步地，所述根据所述最小外接矩形和目标图像，调整所述目标图像中工件的方向，以使所述目标图像中的工件的方向与样本图像的工件方向一致，具体包括：
调整所述目标图像中工件的方向，以使目标图像中的工件轮廓的最小外接矩形与样本图形中工件的最小外接矩形方向一致；
通过将图像尺寸进行归一化并采用相关系数匹配法，调整所述目标图像中的工件的方向至样本图像的工件方向。
进一步地，所述确定目标图像中工件的轮廓，具体包括：
去除所述目标图像的噪点；
预定义轮廓提取的参数，并提取目标图像中工件的轮廓。
另一方面，本发明还提供一种基于机器视觉的工件检测***，包括：
轮廓确定模块，用于确定目标图像中工件的轮廓；
矩形确定模块，用于确定所述轮廓的最小外接矩形；
工件方向调整模块，用于根据所述最小外接矩形和目标图像，调整所述目标图像中工件的方向，以使所述目标图像中的工件的方向与样本图像的工件方向一致；
样本训练模块，用于提取样本图像中的HOG特征，并使用所述HOG特征对SVM分类器进行训练；
检测模块，用于通过训练过的SVM分类器对目标图像进行检测，以对所述目标图像中工件进行分类。
进一步地，所述基于机器视觉的工件检测***还包括：
坐标信息获取模块，用于通过检测结果，获取工件在目标图像坐标系中的坐标信息；
坐标信息确定模块，用于根据所述坐标信息，通过相机标定方法，确定工件在世界坐标系中的坐标。
进一步地，所述坐标信息确定模块，具体包括：
深度信息确定子模块，用于根据张正友标定法，确定工件的深度信息；
坐标信息确定子模块，用于根据所述坐标信息和所述深度信息，确定工件在世界坐标系中的坐标。
进一步地，所述工件方向调整模块，具体包括：
第一调整子模块，用于调整所述目标图像中工件的方向，以使目标图像中的工件轮廓的最小外接矩形与样本图形中工件的最小外接矩形方向一致；
第二调整子模块，用于通过将图像尺寸进行归一化并采用相关系数匹配法，调整所述目标图像中的工件的方向至样本图像的工件方向。
进一步地，所述轮廓确定模块，具体包括：
噪点去除子模块，用于去除所述目标图像的噪点；
轮廓提取子模块，用于预定义轮廓提取的参数，并提取目标图像中工件的轮廓。
本发明可以应用于多种类型工件混合在一起的情况，将其不同种类的工件按类别识别划分，对他们分别进行定位，适用的范围广。
在识别检测时，对工件的角度和位置要求不高，实现起来效果好。
此外，在工件有遮挡的情况也能有好的检测效果。
总之，本发明通过机器视觉的对工件进行分类识别，克服现有技术中的不足，而且实现起来成本低廉。
附图说明
图1是本发明实施例一提供的一种基于机器视觉的工件检测方法的流程图；
图2是本发明实施例二提供的一种基于机器视觉的工件检测方法的流程图；
图3是本发明实施例三提供的一种基于机器视觉的工件检测方法的流程图；
图4是本发明实施例四提供的一种基于机器视觉的工件检测***的结构框图。
具体实施方式
以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
还应当理解，此处所描述的具体实施例仅仅用于理解本发明，并不用于限定本发明。
本发明处理的目标图像来源于工业机器人的摄像机装置，该摄像机装置用于检测生产线上的工件。
实施例一
本实施例提供一种基于机器视觉的工件检测方法，其流程图如图1所示，详述如下：
步骤S101，确定目标图像中工件的轮廓。
其中，目标图像来自于工业机器人的摄像装置。摄像装置的摄像过程是连续的；所以，在本发明中，处理目标图像的过程也是连续的。
本发明涉及的轮廓包括最外层边缘的轮廓。
通过漫水填充算法，获取最外层边缘的轮廓。漫水填充法，也称种子填充法，在图形学中有很多应用。像Windows下的“画图”软件的油漆桶工具就是基于这个算法的。要给某个密闭区域涂色或者更改某个密闭区域内的颜色时，程序自动选中与种子点周围相同颜色的区域，接着将该区域替换成指定的颜色。可指定预设的点作为漫水填充的起始点。
可选地，步骤S101具体包括步骤：
去除所述目标图像的噪点；
预定义轮廓提取的参数，并提取目标图像中工件的轮廓。
首先，对图像进行一个预处理，去除目标图像的噪点，以便后续的处理和检测。
采用边缘检测算法来确定物体轮廓。
步骤S102，确定所述轮廓的最小外接矩形。
轮廓是指最外层轮廓，通过对最外层轮廓的计算可确定其最小外接矩形。
步骤S103，根据所述最小外接矩形和目标图像，调整所述目标图像中工件的方向，以使所述目标图像中的工件的方向与样本图像的工件方向一致。
在本发明中，由于生产线上的工件可能存在很多类型，大小和种类存在差异。每个需要检测的工件都有对应的样本图像，每个样本图像代表一类相同的工件。这里所说的相同包括形状和大小，有的时候还可以包括颜色。
将每个工件都调整至对应的样本图像中的工件方向相同，这里所说的方向相同是指不需要经过旋转就可以使得目标图像中的工件与样本图像中的工件重合。
在调整过程中，可以借助在步骤S102中生成的最小外接矩形来进行调整。
在本实施例中，不限制其具体的调整方法，只需使得所述目标图像中的工件的方向与样本图像的工件方向一致即可。
步骤S104，提取样本图像中的HOG特征，并使用所述HOG特征对SVM分类器进行训练。
方向梯度直方图(Histogram of Oriented Gradient,HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。HOG特征通过计算和统计图像局部区域的梯度方向直方图来构成特征。
提取样本图像中的HOG特征，并使用从样本图像中提取的HOG特征对SVM分类器进行训练。
SVM(Support Vector Machine)指的是支持向量机，是常见的一种判别方法。在机器学习领域，是一个有监督的学习模型，通常用来进行模式识别、分类以及回归分析。
步骤S105，通过训练过的SVM分类器对目标图像进行检测，以对所述目标图像中工件进行分类。
在步骤S104中，经过HOG特征训练过之后的SVM分类器对目标图像中的工件进行分类。
通过对目标图像中的工件进行分类后，以便工业机器人对工件的处理。
可通过OpenCV来实现步骤S104和步骤S105。
实施例二
本实施例提供一种基于机器视觉的工件检测方法，其流程图如图2所示，详述如下：
步骤S201，确定目标图像中工件的轮廓。
步骤S202，确定所述轮廓的最小外接矩形。
步骤S203，根据所述最小外接矩形和目标图像，调整所述目标图像中工件的方向，以使所述目标图像中的工件的方向与样本图像的工件方向一致。
步骤S204，提取样本图像中的HOG特征，并使用所述HOG特征对SVM分类器进行训练。
步骤S205，通过训练过的SVM分类器对目标图像进行检测，以对所述目标图像中工件进行分类。
由于步骤S201至步骤S205已经在实施例一种详述了，本实施例不再赘述。
步骤S206，通过检测结果，获取工件在目标图像坐标系中的坐标信息。
在目标图像中设立一个坐标系，获取工件在目标图像坐标系中的坐标。
步骤S207，根据所述坐标信息，通过相机标定方法，确定工件在世界坐标系中的坐标。
在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定(或摄像机标定)。
通过相机标定，可以确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系。用于图像中物体的坐标与真实的三维几何位置的相互转化。
根据所述坐标信息，通过相机标定方法，确定工件在世界坐标系中的坐标。
具体地，所述根据所述坐标信息，通过相机标定方法，确定工件在世界坐标系中的坐标，具体包括：
根据张正友标定法，确定工件的深度信息。
根据所述坐标信息和所述深度信息，确定工件在世界坐标系中的坐标。
根据张正友标定法，对于***模型，一幅视图是通过透视变换将三维空间中的点投影到图像平面。投影公式如下：
式中s表示尺度因子，u、v为像素坐标，X、Y、Z为世界坐标，fx、fy、cx、cy是相机内部参数，rij表示旋转矩阵，ti表示平移矩阵。
同样根据张正友标定法，取标定板上的两个点来计算深度，以图像上的两个点(同一平面)和实际距离可计算深度。
式中u、v为像素坐标，X、Y、Z为世界坐标，K为参数矩阵，fx、fy、u0、v0是相机内部参数，由相机标定求得，L为实际距离。
由上述公式可求得：
所述u、v为目标图像坐标系中的坐标。
在使用棋盘格标定的时候，可选取其中一张找到两个点，已知点的图像坐标系坐标和两个点世界坐标系的实际距离，可求得深度。根据已知的深度，获取实际抓取点的两个图像坐标系的坐标，计算世界坐标系坐标。
所述图像坐标或像素坐标为目标图像坐标系中坐标。
实施例三
本实施例提供一种基于机器视觉的工件检测方法，其流程图如图3示，详述如下：
步骤S301，确定目标图像中工件的轮廓。
步骤S302，确定所述轮廓的最小外接矩形。
步骤S303，调整所述目标图像中工件的方向，以使目标图像中的工件轮廓的最小外接矩形与样本图形中工件的最小外接矩形方向一致。
将目标图像中的工件以矩形的中心进行旋转，直到目标图像中的工件轮廓的最小外接矩形与样本图形中工件的最小外接矩形方向一致。
由于矩形是中心对称图形，在通过步骤S303调整之后，可能存在180度的偏差，为了克服这个可能出现的偏差，通过尺寸归一化以及相关系数匹配法进一步调整。
步骤S304，通过将图像尺寸进行归一化并采用相关系数匹配法，之后调整所述目标图像中的工件的方向至样本图像的工件方向。
所述归一化后的相关系数匹配法的计算公式为：
式中T(x,y)为实时图像，I(x,y)为基准图像，大小为w×h，(x,y)与(x',y')为归一化前后坐标值。
如果相关系数R(x,y)为1表示两幅图像中的工件重合；若R(x,y)为-1，则表示位置相反，需要调整180度。
由于在公式中图像已经被标准化了，排除了亮度的影响。
步骤S305，提取样本图像中的HOG特征，并使用所述HOG特征对SVM分类器进行训练。
步骤S306，通过训练过的SVM分类器对目标图像进行检测，以对所述目标图像中工件进行分类。
进一步地，所述确定目标图像中工件的轮廓，具体包括：
去除所述目标图像的噪点；
预定义轮廓提取的参数，并提取目标图像中工件的轮廓。
实施例四
本实施例提供一种基于机器视觉的工件检测***，其结构框图如图4所示，详述如下：
所述基于机器视觉的工件检测***包括：
轮廓确定模块410，用于确定目标图像中工件的轮廓；
矩形确定模块420，用于确定所述轮廓的最小外接矩形；
工件方向调整模块430，用于根据所述最小外接矩形和目标图像，调整所述目标图像中工件的方向，以使所述目标图像中的工件的方向与样本图像的工件方向一致；
样本训练模块440，用于提取样本图像中的HOG特征，并使用所述HOG特征对SVM分类器进行训练；
检测模块450，用于通过训练过的SVM分类器对目标图像进行检测，以对所述目标图像中工件进行分类。
进一步地，所述基于机器视觉的工件检测***还包括：
坐标信息获取模块460，用于通过检测结果，获取工件在目标图像坐标系中的坐标信息；
坐标信息确定模块470，用于根据所述坐标信息，通过相机标定方法，确定工件在世界坐标系中的坐标。
进一步地，所述坐标信息确定模块470，具体包括：
深度信息确定子模块471，用于根据张正友标定法，确定工件的深度信息；
坐标信息确定子模块472，用于根据所述坐标信息和所述深度信息，确定工件在世界坐标系中的坐标。
进一步地，所述工件方向调整模块430，具体包括：
第一调整子模块431，用于调整所述目标图像中工件的方向，以使目标图像中的工件轮廓的最小外接矩形与样本图形中工件的最小外接矩形方向一致；
第二调整子模块432，用于通过将图像尺寸进行归一化并采用相关系数匹配法，调整所述目标图像中的工件的方向至样本图像的工件方向。
进一步地，所述轮廓确定模块410，具体包括：
噪点去除子模块411，用于去除所述目标图像的噪点；
轮廓提取子模块412，用于预定义轮廓提取的参数，并提取目标图像中工件的轮廓。
由于本实施例提供的基于机器视觉的工件检测***应用于实施例一至实施例三提供的基于机器视觉的工件检测方法，相关的内容已经在实施例一至实施例三中详述了，这里不再赘述。
上述的步骤并没有严格的执行顺序，所有可预见并且不影响功能的实现的变化都应该在本发明的保护范围内。
应该理解，所描述的方法和***都是示意性的，在实际实施过程中通过调整可以有所差别。
在本申请所提供的实施例中，应该理解所描述的方法和***都是示意性的，在实际实施过程中通过调整可以有所差别。
另外，各功能单元或模块的具体名称也只是为了便于相互区分，并不用于本发明的保护范围。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.一种基于机器视觉的工件检测方法，其特征在于，包括：
确定目标图像中工件的轮廓；
确定所述轮廓的最小外接矩形；
根据所述最小外接矩形和目标图像，调整所述目标图像中工件的方向，以使所述目标图像中的工件的方向与样本图像的工件方向一致；
提取样本图像中的HOG特征，并使用所述HOG特征对SVM分类器进行训练；
通过训练过的SVM分类器对目标图像进行检测，以对所述目标图像中工件进行分类。
2.根据权利要求1所述的基于机器视觉的工件检测方法，其特征在于，在通过训练过的SVM分类器对目标图像进行检测之后，还包括：
通过检测结果，获取工件在目标图像坐标系中的坐标信息；
根据所述坐标信息，通过相机标定方法，确定工件在世界坐标系中的坐标。
3.根据权利要求2所述的基于机器视觉的工件检测方法，其特征在于，所述根据所述坐标信息，通过相机标定方法，确定工件在世界坐标系中的坐标，具体包括：
根据张正友标定法，确定工件的深度信息；
根据所述坐标信息和所述深度信息，确定工件在世界坐标系中的坐标。
4.根据权利要求1，2或3所述的基于机器视觉的工件检测方法，其特征在于，所述根据所述最小外接矩形和目标图像，调整所述目标图像中工件的方向，以使所述目标图像中的工件的方向与样本图像的工件方向一致，具体包括：
调整所述目标图像中工件的方向，以使目标图像中的工件轮廓的最小外接矩形与样本图形中工件的最小外接矩形方向一致；
通过将图像尺寸进行归一化并采用相关系数匹配法，调整所述目标图像中的工件的方向至样本图像的工件方向。
5.根据权利要求4所述的基于机器视觉的工件检测方法，其特征在于，所述确定目标图像中工件的轮廓，具体包括：
去除所述目标图像的噪点；
预定义轮廓提取的参数，并提取目标图像中工件的轮廓。
6.一种基于机器视觉的工件检测***，其特征在于，包括：
轮廓确定模块，用于确定目标图像中工件的轮廓；
矩形确定模块，用于确定所述轮廓的最小外接矩形；
工件方向调整模块，用于根据所述最小外接矩形和目标图像，调整所述目标图像中工件的方向，以使所述目标图像中的工件的方向与样本图像的工件方向一致；
样本训练模块，用于提取样本图像中的HOG特征，并使用所述HOG特征对SVM分类器进行训练；
检测模块，用于通过训练过的SVM分类器对目标图像进行检测，以对所述目标图像中工件进行分类。
7.根据权利要求6所述的基于机器视觉的工件检测***，其特征在于，还包括：
坐标信息获取模块，用于通过检测结果，获取工件在目标图像坐标系中的坐标信息；
坐标信息确定模块，用于根据所述坐标信息，通过相机标定方法，确定工件在世界坐标系中的坐标。
8.根据权利要求7所述的基于机器视觉的工件检测***，其特征在于，所述坐标信息确定模块，具体包括：
深度信息确定子模块，用于根据张正友标定法，确定工件的深度信息；
坐标信息确定子模块，用于根据所述坐标信息和所述深度信息，确定工件在世界坐标系中的坐标。
9.根据权利要求6，7或8所述的基于机器视觉的工件检测***，其特征在于，所述工件方向调整模块，具体包括：
第一调整子模块，用于调整所述目标图像中工件的方向，以使目标图像中的工件轮廓的最小外接矩形与样本图形中工件的最小外接矩形方向一致；
第二调整子模块，用于通过将图像尺寸进行归一化并采用相关系数匹配法，调整所述目标图像中的工件的方向至样本图像的工件方向。
10.根据权利要求9所述的基于机器视觉的工件检测***，其特征在于，所述轮廓确定模块，具体包括：
噪点去除子模块，用于去除所述目标图像的噪点；
轮廓提取子模块，用于预定义轮廓提取的参数，并提取目标图像中工件的轮廓。
CN201710976665.XA 2017-10-19 2017-10-19 一种基于机器视觉的工件检测方法及*** Pending CN108010074A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710976665.XA CN108010074A (zh) 2017-10-19 2017-10-19 一种基于机器视觉的工件检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710976665.XA CN108010074A (zh) 2017-10-19 2017-10-19 一种基于机器视觉的工件检测方法及***

Publications (1)

Publication Number Publication Date
CN108010074A true CN108010074A (zh) 2018-05-08

Family

ID=62051837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710976665.XA Pending CN108010074A (zh) 2017-10-19 2017-10-19 一种基于机器视觉的工件检测方法及***

Country Status (1)

Country Link
CN (1) CN108010074A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830837A (zh) * 2018-05-25 2018-11-16 北京百度网讯科技有限公司 一种用于检测钢包溶蚀缺陷的方法和装置
CN109657708A (zh) * 2018-12-05 2019-04-19 中国科学院福建物质结构研究所 基于图像识别-svm学习模型的工件识别装置及其方法
CN109670513A (zh) * 2018-11-27 2019-04-23 西安交通大学 一种基于词袋模型和支持向量机的活塞姿态检测方法
CN109685779A (zh) * 2018-12-14 2019-04-26 凌云光技术集团有限责任公司 一种工件边宽检测方法
CN109926817A (zh) * 2018-12-20 2019-06-25 南京理工大学 基于机器视觉的变压器自动装配方法
CN110135514A (zh) * 2019-05-22 2019-08-16 国信优易数据有限公司 一种工件分类方法、装置、设备及介质
CN110322395A (zh) * 2019-06-18 2019-10-11 电子科技大学中山学院 基于图像处理与仿射变换的零件轮廓形状检测方法及装置
CN110599544A (zh) * 2019-08-08 2019-12-20 佛山科学技术学院 一种基于机器视觉的工件定位方法及装置
CN110728655A (zh) * 2019-09-06 2020-01-24 重庆东渝中能实业有限公司 基于机器视觉的数控机床工件异常检测方法及装置
CN112052723A (zh) * 2020-07-23 2020-12-08 深圳市玩瞳科技有限公司 识字卡片、基于图像识别的桌面场景的str方法及装置
CN112525157A (zh) * 2020-10-13 2021-03-19 江苏三立液压机械有限公司 基于视频图像的液压油缸尺寸测量和位姿估计方法及***
CN112862770A (zh) * 2021-01-29 2021-05-28 珠海迪沃航空工程有限公司 一种基于人工智能的缺陷分析诊断***、方法、装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101556694A (zh) * 2009-05-15 2009-10-14 广东工业大学 一种旋转图像的匹配方法
CN103192397A (zh) * 2012-01-09 2013-07-10 沈阳新松机器人自动化股份有限公司 视觉机器人离线编程方法和***
CN103817699A (zh) * 2013-09-25 2014-05-28 浙江树人大学 一种快速的工业机器人手眼协调方法
CN103895042A (zh) * 2014-02-28 2014-07-02 华南理工大学 一种基于视觉引导的工业机器人工件定位抓取方法及***
CN105678311A (zh) * 2016-01-12 2016-06-15 北京环境特性研究所 一种用于模板识别的空间目标isar图像处理方法
CN106651825A (zh) * 2015-11-03 2017-05-10 中国科学院沈阳计算技术研究所有限公司 一种基于图像分割的工件定位与识别的方法
CN106980655A (zh) * 2017-03-09 2017-07-25 佛山益企信息科技有限公司 图片分割处理存储方法和***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101556694A (zh) * 2009-05-15 2009-10-14 广东工业大学 一种旋转图像的匹配方法
CN103192397A (zh) * 2012-01-09 2013-07-10 沈阳新松机器人自动化股份有限公司 视觉机器人离线编程方法和***
CN103817699A (zh) * 2013-09-25 2014-05-28 浙江树人大学 一种快速的工业机器人手眼协调方法
CN103895042A (zh) * 2014-02-28 2014-07-02 华南理工大学 一种基于视觉引导的工业机器人工件定位抓取方法及***
CN106651825A (zh) * 2015-11-03 2017-05-10 中国科学院沈阳计算技术研究所有限公司 一种基于图像分割的工件定位与识别的方法
CN105678311A (zh) * 2016-01-12 2016-06-15 北京环境特性研究所 一种用于模板识别的空间目标isar图像处理方法
CN106980655A (zh) * 2017-03-09 2017-07-25 佛山益企信息科技有限公司 图片分割处理存储方法和***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
尤卫卫: "机器人分拣作业中工件识别实用技术的研究与实现", 《中国优秀硕士学位论文全文数据库》 *
韩翀蛟: "基于几何形状特征的工件识别方法研究", 《中国优秀博硕士论文全文数据库》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830837A (zh) * 2018-05-25 2018-11-16 北京百度网讯科技有限公司 一种用于检测钢包溶蚀缺陷的方法和装置
CN109670513A (zh) * 2018-11-27 2019-04-23 西安交通大学 一种基于词袋模型和支持向量机的活塞姿态检测方法
CN109657708B (zh) * 2018-12-05 2023-04-18 中国科学院福建物质结构研究所 基于图像识别-svm学习模型的工件识别装置及其方法
CN109657708A (zh) * 2018-12-05 2019-04-19 中国科学院福建物质结构研究所 基于图像识别-svm学习模型的工件识别装置及其方法
CN109685779A (zh) * 2018-12-14 2019-04-26 凌云光技术集团有限责任公司 一种工件边宽检测方法
CN109926817A (zh) * 2018-12-20 2019-06-25 南京理工大学 基于机器视觉的变压器自动装配方法
CN110135514A (zh) * 2019-05-22 2019-08-16 国信优易数据有限公司 一种工件分类方法、装置、设备及介质
CN110322395A (zh) * 2019-06-18 2019-10-11 电子科技大学中山学院 基于图像处理与仿射变换的零件轮廓形状检测方法及装置
CN110599544B (zh) * 2019-08-08 2023-01-24 佛山科学技术学院 一种基于机器视觉的工件定位方法及装置
CN110599544A (zh) * 2019-08-08 2019-12-20 佛山科学技术学院 一种基于机器视觉的工件定位方法及装置
CN110728655A (zh) * 2019-09-06 2020-01-24 重庆东渝中能实业有限公司 基于机器视觉的数控机床工件异常检测方法及装置
CN112052723A (zh) * 2020-07-23 2020-12-08 深圳市玩瞳科技有限公司 识字卡片、基于图像识别的桌面场景的str方法及装置
CN112525157A (zh) * 2020-10-13 2021-03-19 江苏三立液压机械有限公司 基于视频图像的液压油缸尺寸测量和位姿估计方法及***
CN112862770A (zh) * 2021-01-29 2021-05-28 珠海迪沃航空工程有限公司 一种基于人工智能的缺陷分析诊断***、方法、装置
CN112862770B (zh) * 2021-01-29 2023-02-14 珠海迪沃航空工程有限公司 一种基于人工智能的缺陷分析诊断***、方法、装置

Similar Documents

Publication Publication Date Title
CN108010074A (zh) 一种基于机器视觉的工件检测方法及***
US20160214255A1 (en) Method for calibrating an articulated end effector employing a remote digital camera
CN110246127A (zh) 基于深度相机的工件识别与定位方法和***、分拣***
Azad et al. Stereo-based 6d object localization for grasping with humanoid robot systems
JP6899189B2 (ja) ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法
US11475589B2 (en) 3D pose estimation by a 2D camera
CN110910350A (zh) 一种用于风电塔筒的螺母松动检测方法
JP2021176078A (ja) 深層学習及びベクトル場推定による特徴検出
CN110796700A (zh) 基于卷积神经网络的多物体抓取区域定位方法
Azad et al. Combining appearance-based and model-based methods for real-time object recognition and 6d localization
CN107527368A (zh) 基于二维码的三维空间姿态定位方法与装置
JP2021163502A (ja) 複数の２次元カメラによる３次元の姿勢推定
CN109079777B (zh) 一种机械臂手眼协调作业***
Jia et al. Real-time color-based sorting robotic arm system
CN105718929B (zh) 全天候未知环境下高精度快速圆形目标定位方法和***
CN114842335B (zh) 用于建筑机器人的开槽目标识别方法及***
US10366278B2 (en) Curvature-based face detector
US20230169675A1 (en) Algorithm for mix-size depalletizing
Pyo et al. Precise pose estimation using landmark feature extraction and blob analysis for bin picking
Sharan et al. Automating the process of work-piece recognition and location for a pick-and-place robot in a SFMS
Sun et al. Further development of adaptable automated visual inspection—part I: concept and scheme
Yu et al. An object-based visual attention model for robots
Rybakov et al. Application of a computer vision system for recognizing tomato fruits and determining their position relative to the gripper device of the harvesting robot
CN115922738B (zh) 堆叠场景下的电子元器件抓取方法、装置、设备及介质
CN111360822B (zh) 一种基于视觉的机械手抓取空间正方体方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination