CN112560704A - 一种多特征融合的视觉识别方法及*** - Google Patents

一种多特征融合的视觉识别方法及*** Download PDF

Info

Publication number
CN112560704A
CN112560704A CN202011504074.0A CN202011504074A CN112560704A CN 112560704 A CN112560704 A CN 112560704A CN 202011504074 A CN202011504074 A CN 202011504074A CN 112560704 A CN112560704 A CN 112560704A
Authority
CN
China
Prior art keywords
image
images
coordinate system
coordinates
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011504074.0A
Other languages
English (en)
Other versions
CN112560704B (zh
Inventor
吴自然
陈宪帅
闫俊涛
吴桂初
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yueqing Institute Of Industry Wenzhou University
Original Assignee
Yueqing Institute Of Industry Wenzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yueqing Institute Of Industry Wenzhou University filed Critical Yueqing Institute Of Industry Wenzhou University
Priority to CN202011504074.0A priority Critical patent/CN112560704B/zh
Publication of CN112560704A publication Critical patent/CN112560704A/zh
Application granted granted Critical
Publication of CN112560704B publication Critical patent/CN112560704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种多特征融合的视觉识别方法，包括接收零件源图；对零件源图进行分割，得到各零件图像；对各零件图像进行两级分类识别，以确定各零件图像中零件的种类及图像分类归属；基于同类图像中的零件图像，确定各零件的模板图像及旋转图像并进行二者关键点提取及匹配，以计算出各零件旋转角度以及图像间的仿射变换矩阵；确定坐标转换矩阵，并结合仿射变换矩阵，让抓取点坐标变换到实际机器人坐标系下的坐标；将各零件的种类和旋转角度，以及抓取点坐标发送给实际机器人。实施本发明，能对实际场景中散乱放置零件的类别和旋转角度，以及抓取点坐标信息进行识别获取，实现对机器人调整零件姿态及夹取装配工作的正确引导。

Description

一种多特征融合的视觉识别方法及***
技术领域
本发明涉及小型断路器柔性装配***技术领域，尤其涉及一种多特征融合的视觉识别方法及***。
背景技术
随着工业生产中对机器自动化、智能化需求的日渐提高，机器视觉作为工业生产向智能化方向发展的重要技术之一，已得到愈加深入的研究，越来越多的视觉检测、测量及定位等技术被应用到实际生产当中。
将机器视觉技术应用于工业制造中的研究，不仅可以降低制造设备的机械化程度，提高提高工业生产的灵活性与柔性，同时可以提高产品的质量与生产的效率。但是，基于机器视觉的智能制造技术的发展，其可行及可靠性依靠高精度的图像分类、识别和定位跟踪等技术来支撑，而生产中所面临的形色多样的生产对象、复杂的工业环境与其不同的功能要求，给视觉的识别处理工作带来极大的困难和挑战。
在工业装配方面，在面对复杂程度相对较低的识别对象时，可以支持向量机等建模方法进行分类，一旦识别对象越多、越复杂时，模型训练所需的数据量也就越大，极大地延长了开发周期。此外，识别对象复杂度低时，可利用其轮廓、面积与颜色等信息进行分类，并通过特征匹配及模板匹配等方法对抓取点坐标和姿态进行估计，但当识别对象复杂程度较高时，尤其在小型断路器的自动装配应用中，断路器零部件外形及种类复杂多样，部分零件自身特征点区分不明显，无法通过特征匹配、模板匹配的方法对其旋转角度和抓取点坐标进行准确估计，即无法将识别的误差控制在***允许的误差范围之内，从而无法正确引导机器人完成后续零件姿态调整及夹取装配的工作。
因此，亟需一种用于小型断路器自动装配中的机器视觉识别方法，能够对实际场景中散乱放置零件的类别和旋转角度，以及抓取点坐标信息进行识别获取，并保证识别误差在***允许范围以内，实现对机器人调整零件姿态及夹取装配工作的正确引导。
发明内容
本发明实施例所要解决的技术问题在于，提供一种多特征融合的视觉识别方法及***，能对实际场景中散乱放置零件的类别和旋转角度，以及抓取点坐标信息进行识别获取，并保证识别误差在***允许范围以内，实现对机器人调整零件姿态及夹取装配工作的正确引导。
为了解决上述技术问题，本发明实施例提供了一种多特征融合的视觉识别方法，用于小型断路器柔性装配***中，包括以下步骤：
步骤S1、接收现场零件整体拍摄的零件源图；
步骤S2、对所述零件源图进行分割处理，得到各独立状态的零件图像；
步骤S3、基于零件种类及摆放姿态，对所述各独立状态的零件图像进行两级分类识别，以确定各零件图像中零件的种类及图像分类归属；其中，同一零件种类而摆放姿态相异的多个零件图像均归属于同一类图像中；
步骤S4、基于同一类图像中的零件图像，确定各零件的模板图像及旋转图像，并对各零件的模板图像与相应旋转图像进行关键点提取及匹配，以计算出各零件旋转角度以及图像之间的仿射变换矩阵；
步骤S5、确定像素坐标系到机器人坐标系转换的坐标转换矩阵，并结合所述仿射变换矩阵，将所述零件源图中的抓取点坐标变换到实际机器人坐标系下的坐标；
步骤S6、将各零件的种类和旋转角度，以及变换后的抓取点坐标发送给实际机器人的控制器，以实现对机器人调整零件姿态及夹取装配工作的引导。
其中，在所述步骤S1和所述步骤S2之间，还包括以下步骤：
对所述零件源图进行预处理；其中，所述预处理包括图像灰度化、零件边缘提取、二值化、形态学操作、零件轮廓提取及最大最小矩形框拟合。
其中，所述步骤S2中的“各独立状态的零件图像”是通过将最小矩形框中零件像素重新画入具有其最大外接矩形框大小的空白图像中的方式，对所述零件源图中所包含的多个零件分割成各自独立的零件来得到的。
其中，所述步骤S3具体包括：
基于零件种类，对各独立状态的零件图像进行一级分类识别，以确定各独立状态的零件图像中各零件的种类，并进一步基于各零件种类的摆放姿态，对归属于同一零件种类下的零件图像进行二级分类识别，以确定各零件图像的图像分类归属。
其中，所述各独立状态的零件图像中各零件的种类是在各独立状态的零件图像中，先通过对各零件轮廓面积、最小外接矩形框面积以及颜色进行分析比较，再采用比较分析后所得的实际特征数据与第一设定阈值比较的方式来实现的。
其中，所述各零件图像的图像分类归属是基于各独立状态的零件图像进行一级分类识别之后，先通过对各零件自身在各摆放姿态下的颜色、最小矩形框面积、成像结构以及零件固有的特定特征进行分析比较，再采用比较分析后所得的实际特征数据与第二设定阈值比较的方式来实现的。
其中，所述步骤S4具体包括：
提取同一类图像中两个摆放姿态相异的零件图像分别作为相应零件的模板图像及旋转图像；
在每一零件的模板图像和旋转图像上，均通过对各零件最小矩形框中感兴趣的边及感兴趣的顶点位置进行分析选取，并根据需求重新规定矩形框各顶点储存顺序，且进一步依次寻找与各顶点距离最近或最远的零件轮廓点作为关键点；
将每一零件的模板图像上的关键点与其对应旋转图像上的关键点进行匹配，而后计算各零件的模板图像与旋转图像中相对应的两两关键点形成的向量，并进一步将各零件所计算的向量间的夹角平均值设为各零件旋转角度；
通过三对及以上的关键点对，计算得到各零件的模板图像与旋转图像间的仿射变换矩阵。
其中，所述步骤S5具体包括：
通过相机标定获取相机内参及外参矩阵，依次经过从像素坐标系到图像坐标系、图像到相机坐标系及相机到世界坐标系的转换，并结合世界坐标系与机器人坐标系之间的平移和旋转关系，得到能将像素坐标从像素坐标系转换到机器人坐标系的坐标转换矩阵；
通过所述仿射变换矩阵对所述零件源图中指定的抓取点进行仿射变换，得到抓取点在实际图像中的像素坐标，而后通过所述坐标变换矩阵对抓取点像素坐标进行空间转换，得到抓取点在机器人坐标系下的坐标。
本发明实施例还提供了一种多特征融合的视觉识别***，包括：
图像接收单元，用于接收现场零件整体拍摄的零件源图；
图像分割单元，用于对所述零件源图进行分割处理，得到各独立状态的零件图像；
图像分级识别单元，用于基于零件种类及摆放姿态，对所述各独立状态的零件图像进行两级分类识别，以确定各零件图像中零件的种类及图像分类归属；其中，同一零件种类而摆放姿态相异的多个零件图像均归属于同一类图像中；
零件旋转角度计算单元，用于基于同一类图像中的零件图像，确定各零件的模板图像及旋转图像，并对各零件的模板图像与相应旋转图像进行关键点提取及匹配，以计算出各零件旋转角度以及图像之间的仿射变换矩阵；
抓取点坐标变换单元，用于确定像素坐标系到机器人坐标系转换的坐标转换矩阵，并结合所述仿射变换矩阵，将所述零件源图中的抓取点坐标变换到实际机器人坐标系下的坐标；
信息发送单元，用于将各零件的种类和旋转角度，以及变换后的抓取点坐标发送给实际机器人的控制器，以实现对机器人调整零件姿态及夹取装配工作的引导。
其中，还包括：
图像预处理单元，用于对所述零件源图进行预处理；其中，所述预处理包括图像灰度化、零件边缘提取、二值化、形态学操作、零件轮廓提取及最大最小矩形框拟合。
实施本发明实施例，具有如下有益效果：
1、与现有技术相比，本发明通过将最小矩形框中零件像素点画入具有其最大外接矩形框大小的空白图像中的方式进行零件图像分割，能有效避免零件相距较近时出现的将非目标零件部分同时分割至一张图像中的问题；通过对零件轮廓面积、最小外接矩形框面积、颜色以及成像结构等特征进行分析，以阈值比较的方式进行两级分类识别，在保证分类准确度的同时，又能减短***的开发周期；
2、本发明通过寻找与重定顺序后最小矩形框顶点相距最近或最远的零件轮廓点的方式获取关键点对，再通过关键点对计算零件旋转角度与实际抓取点坐标，最后将各零件的种类和旋转角度，以及变换后的抓取点坐标发送给实际机器人的控制器，从而能对实际场景中散乱放置零件的类别和旋转角度，以及抓取点坐标信息进行识别获取，并保证识别误差在***允许范围以内，实现对机器人调整零件姿态及夹取装配工作的正确引导；
3、本发明相较建模分类的方式，更便于后期***的维护与调整，且相较特征匹配及模板匹配等方式，更能满足***对识别精度的要求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。
图1为本发明实施例提供的多特征融合的视觉识别方法的流程图；
图2为图1步骤S2的应用场景中零件源图分割处理时的分割对比图；
图3为图1步骤S3的应用场景中零件图像进行一级分类识别时的流程图；
图4～图11为图1步骤S3的应用场景中零件图像进行二级分类识别时的零件操作示意与算法流程图；
图12为图1步骤S4的应用场景中的角度计算示意图；
图13为图1步骤S5的应用场景中的标定需坐标系示意图；
图14为本发明实施例提供的多特征融合的视觉识别***的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
如图1所示，为本发明实施例中，提出的一种多特征融合的视觉识别方法，用于小型断路器柔性装配***中，包括以下步骤：
步骤S1、接收现场零件整体拍摄的零件源图；
具体过程为，在接收到图像采集信号之后调用相机进行拍照，从而得到相机现场零件整体拍摄的零件源图。
步骤S2、对所述零件源图进行分割处理，得到各独立状态的零件图像；
具体过程为，在零件源图上，通过将最小矩形框中零件像素重新画入具有其最大外接矩形框大小的空白图像中的方式，对所述零件源图中所包含的多个零件分割成各自独立的零件来得到各独立状态的零件图像。
在一个实施例中，如图2中(a)所示，以绿色最小矩形框无法直接进行图像分割，当零件相距较近时，以蓝色最大外接矩形框分割，则出现图2中(b)所示将非目标零件部分同时分割至一张图像中的问题，而按所提供方法，以将最小矩形框中零件像素点画入具有其最大外接矩形框大小的空白图像中的方式进行图像分割，如图2中(c)所示，则可有效避免上述问题的发生。
应当说明的是，在零件源图进行分割处理之前，还包括对零件源图进行预处理；其中，预处理包括图像灰度化、零件边缘提取、二值化、形态学操作、零件轮廓提取及最大最小矩形框拟合等步骤。
步骤S3、基于零件种类及摆放姿态，对所述各独立状态的零件图像进行两级分类识别，以确定各零件图像中零件的种类及图像分类归属；其中，同一零件种类而摆放姿态相异的多个零件图像均归属于同一类图像中；
具体过程为，基于零件种类，对各独立状态的零件图像进行一级分类识别，以确定各独立状态的零件图像中各零件的种类，并进一步基于各零件种类的摆放姿态，对归属于同一零件种类下的零件图像进行二级分类识别，以确定各零件图像的图像分类归属。
其中，各独立状态的零件图像中各零件的种类是在各独立状态的零件图像中，先通过对各零件轮廓面积、最小外接矩形框面积以及颜色进行分析比较，再采用比较分析后所得的实际特征数据与第一设定阈值比较的方式来实现的。
其中，各零件图像的图像分类归属是基于各独立状态的零件图像进行一级分类识别之后，先通过对各零件自身在各摆放姿态下的颜色、最小矩形框面积、成像结构以及零件固有的特定特征进行分析比较，再采用比较分析后所得的实际特征数据与第二设定阈值比较的方式来实现的。
在一个实施例中，对零件图像进行一级分类识别。如图3所示，S0为分割后第一个零件的最小矩形框面积，用以初始化变量max_S和min_S，而Sn则是另外四个零件的最小矩形框面积。Th1、Th2分别为绿色与红色像素数的参考阈值。Sr1、Sr2分别为图片3和4代表的零件最小矩形框面积。
在另一个实施例中，对零件图像进行二级分类识别。
零件0：比较最小矩形框面积max_S与给定阈值Th3的大小，其分类结果lab0如下式(1)所示：
Figure BDA0002844458110000071
如图4中(a)和(c)所示，本发明实施例对姿态01、02矩形框可能出现的两种情况，以P1点为基础点，判断P1P2与P1P3的长短情况，并按下式(2)重新规定四个顶点的顺序，如图4中(b)和(d)所示。
Figure BDA0002844458110000072
如图4中(b)和(d)阴影区域所示，本发明实施例以Q1Q2所在的长边划定感兴趣区域(ROI)。假设表示零件的像素点集合为S，感兴趣区域内像素点集合为s，通过下式(3)对感兴趣的矩形长边做出选择,记作L：
Figure BDA0002844458110000073
对选取的边L的两个端点，即顶点，同样以感兴趣方式做出选择。如图5所示，实际操作中A点为最终选取的感兴趣点，同时记录与其构成矩形短边和长边的B、C两点。设向量AB和AC的夹角为Φ，因在图像中顺时针转动角度为负，反之为正，故根据下式(4)做出类别判断，记作：
Figure BDA0002844458110000081
零件1：如图6所示，零件1二级分类算法流程，Th4为零件1在自身不同姿态下的绿色像素数参考阈值，Th1与其的区别在于，Th1为自身与其它零件比较的参考；Th5为自身轮廓面积的参考阈值；小圆如图7中(a)图中黄色标记的圆并与(b)形成对比。子流程‘姿态10or11’的步骤同零件0姿态01和02的区分步骤基本一致。但零件1选取的感兴趣边为矩形框的短边，且其依据是两条短边与质心点m距离的大小。实际操作如图7中(c)和(d)所示，选取的边为AB边，点为A点。其分类结果如下式(5)，记作lab1：
Figure BDA0002844458110000082
零件2：比较零件2最小矩形框面积min_S与给定阈值Th6的大小，如下式(6)做出类别判断，记作lab2：
Figure BDA0002844458110000083
如图8所示，对零件2轮廓进行凸包检测找出其中间弯曲处的弯曲点O。凸包即如图8中(a)和(c)中的蓝色包围线，为凸多边形，凸包所包围白色区域即为凸性“缺陷”。同样以零件0中边选取的方式找到AB边所在，而两种姿态下均有矩形框顶点A距离O点较近，从而确定A点所在。设向量OA和OB的夹角为Φ，分类结果如下式(7)，记作lab2：
Figure BDA0002844458110000084
零件3：如图9所示，零件3的二级分类算法流程，依据其在一级分类中是否通过红色提取判断作出进一步判断。s3为其最小矩形框面积，Th7为姿态30和32的区分阈值，Th8为姿态31和33的区分阈值。
零件4：比较零件4最小矩形框面积s4与给定阈值Th9和Th10的大小，Th9<Th10。其分类结果如下式(8)所示，记作lab4：
Figure BDA0002844458110000091
对于姿态41、42和43，比较零件轮廓面积Scnt与给定阈值Th11的大小，将其分为两个子类，如下式(9)所示，记作lab4：
Figure BDA0002844458110000092
如图10所示，姿态41和42在灰度、形状、边缘梯度等方面均存在极大的相似度，难以准确区分，因此采用机械的方式使其变为姿态40或43再进行角度识别。
对于姿态44和45：顺次对矩形框顶点划定感兴趣区域，满足如下式(10)表述的条件,即确定为感兴趣顶点。其中，S为零件像素点集合，s为感兴趣区域内像素点集合。
Figure BDA0002844458110000093
回缩矩形框，获取新矩形内部的零件轮廓点；比较获取的轮廓点与不以感兴趣顶点为端点的两条原矩形框的边的最小距离的大小以确定两条边的位置。实际操作如图11所示，感兴趣顶点为A，与回缩后矩形框内轮廓点最小距离较小的边为BD边，另一边即为CD边。设向量AB和AC的夹角为Φ，根据下式(11)做出类别判断，记作lab4：
Figure BDA0002844458110000094
步骤S4、基于同一类图像中的零件图像，确定各零件的模板图像及旋转图像，并对各零件的模板图像与相应旋转图像进行关键点提取及匹配，以计算出各零件旋转角度以及图像之间的仿射变换矩阵；
具体过程为，提取同一类图像中两个摆放姿态相异的零件图像分别作为相应零件的模板图像及旋转图像；
在每一零件的模板图像和旋转图像上，均通过对各零件最小矩形框中感兴趣的边及感兴趣的顶点位置进行分析选取，并根据需求重新规定矩形框各顶点储存顺序，且进一步依次寻找与各顶点距离最近或最远的零件轮廓点作为关键点；
将每一零件的模板图像上的关键点与其对应旋转图像上的关键点进行匹配，而后计算各零件的模板图像与旋转图像中相对应的两两关键点形成的向量，并进一步将各零件所计算的向量间的夹角平均值设为各零件旋转角度；
通过三对及以上的关键点对，计算得到各零件的模板图像与旋转图像间的仿射变换矩阵。
在一个实施例中，如图12所示，为角度计算示意图，计算实际图像中两个关键点的向量ac及对应模板中的向量a1c1，其夹角θ即为旋转角。为减小误差，尽可能求多个值取平均。
步骤S5、确定像素坐标系到机器人坐标系转换的坐标转换矩阵，并结合所述仿射变换矩阵，将所述零件源图中的抓取点坐标变换到实际机器人坐标系下的坐标；
具体过程为，通过相机标定获取相机内参及外参矩阵，依次经过从像素坐标系到图像坐标系、图像到相机坐标系及相机到世界坐标系的转换，并结合世界坐标系与机器人坐标系之间的平移和旋转关系，得到能将像素坐标从像素坐标系转换到机器人坐标系的坐标转换矩阵；
通过所述仿射变换矩阵对所述零件源图中指定的抓取点进行仿射变换，得到抓取点在实际图像中的像素坐标，而后通过所述坐标变换矩阵对抓取点像素坐标进行空间转换，得到抓取点在机器人坐标系下的坐标。
在一个实施例中，首先将提前保存的与当前姿态零件对应的模板图像中的抓取点像素坐标通过仿射变换，得出抓取点在实际图像中的像素坐标，如下式(12)所示：
Figure BDA0002844458110000101
其中，M1为仿射变换矩阵、(u,v)为抓取点在实际图像中的像素坐标、(u0,v0)为抓取点在模板图像中的像素坐标
其次，将实际抓取点像素坐标经过如图13所示相机标定及手眼标定所需的4次坐标系变换，得到抓取点机器人坐标系下坐标，如下式(13)所示：
Figure BDA0002844458110000111
其中，M2为坐标转换矩阵、(x,y,z)为抓取点在机器人坐标系下的坐标、(x0,y0,z0)则为机器人坐标系与世界坐标系间的偏移量。
步骤S6、将各零件的种类和旋转角度，以及变换后的抓取点坐标发送给实际机器人的控制器，以实现对机器人调整零件姿态及夹取装配工作的引导。
具体过程为，以机器人的控制器为主控制器，接收信息包括零件类别、旋转角度和抓取点在机器人坐标系下的坐标，从而确保实现对机器人调整零件姿态及夹取装配工作的正确引导。其中，机器人的控制器承担接收关电开关输入的零件到达信号、输出相机开始拍照信号及对机器人运动和气缸夹爪动作的控制信号等作用。
如图14所示，为本发明实施例中，提供的一种多特征融合的视觉识别***，包括：
图像接收单元110，用于接收现场零件整体拍摄的零件源图；
图像分割单元120，用于对所述零件源图进行分割处理，得到各独立状态的零件图像；
图像分级识别单元130，用于基于零件种类及摆放姿态，对所述各独立状态的零件图像进行两级分类识别，以确定各零件图像中零件的种类及图像分类归属；其中，同一零件种类而摆放姿态相异的多个零件图像均归属于同一类图像中；
零件旋转角度计算单元140，用于基于同一类图像中的零件图像，确定各零件的模板图像及旋转图像，并对各零件的模板图像与相应旋转图像进行关键点提取及匹配，以计算出各零件旋转角度以及图像之间的仿射变换矩阵；
抓取点坐标变换单元150，用于确定像素坐标系到机器人坐标系转换的坐标转换矩阵，并结合所述仿射变换矩阵，将所述零件源图中的抓取点坐标变换到实际机器人坐标系下的坐标；
信息发送单元160，用于将各零件的种类和旋转角度，以及变换后的抓取点坐标发送给实际机器人的控制器，以实现对机器人调整零件姿态及夹取装配工作的引导。
其中，还包括：
图像预处理单元，用于对所述零件源图进行预处理；其中，所述预处理包括图像灰度化、零件边缘提取、二值化、形态学操作、零件轮廓提取及最大最小矩形框拟合。
实施本发明实施例，具有如下有益效果：
1、与现有技术相比，本发明通过将最小矩形框中零件像素点画入具有其最大外接矩形框大小的空白图像中的方式进行零件图像分割，能有效避免零件相距较近时出现的将非目标零件部分同时分割至一张图像中的问题；通过对零件轮廓面积、最小外接矩形框面积、颜色以及成像结构等特征进行分析，以阈值比较的方式进行两级分类识别，在保证分类准确度的同时，又能减短***的开发周期；
2、本发明通过寻找与重定顺序后最小矩形框顶点相距最近或最远的零件轮廓点的方式获取关键点对，再通过关键点对计算零件旋转角度与实际抓取点坐标，最后将各零件的种类和旋转角度，以及变换后的抓取点坐标发送给实际机器人的控制器，从而能对实际场景中散乱放置零件的类别和旋转角度，以及抓取点坐标信息进行识别获取，并保证识别误差在***允许范围以内，实现对机器人调整零件姿态及夹取装配工作的正确引导；
3、本发明相较建模分类的方式，更便于后期***的维护与调整，且相较特征匹配及模板匹配等方式，更能满足***对识别精度的要求。
值得注意的是，上述***实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种多特征融合的视觉识别方法，用于小型断路器柔性装配***中，其特征在于，包括以下步骤：
步骤S1、接收现场零件整体拍摄的零件源图；
步骤S2、对所述零件源图进行分割处理，得到各独立状态的零件图像；
步骤S3、基于零件种类及摆放姿态，对所述各独立状态的零件图像进行两级分类识别，以确定各零件图像中零件的种类及图像分类归属；其中，同一零件种类而摆放姿态相异的多个零件图像均归属于同一类图像中；
步骤S4、基于同一类图像中的零件图像，确定各零件的模板图像及旋转图像，并对各零件的模板图像与相应旋转图像进行关键点提取及匹配，以计算出各零件旋转角度以及图像之间的仿射变换矩阵；
步骤S5、确定像素坐标系到机器人坐标系转换的坐标转换矩阵，并结合所述仿射变换矩阵，将所述零件源图中的抓取点坐标变换到实际机器人坐标系下的坐标；
步骤S6、将各零件的种类和旋转角度，以及变换后的抓取点坐标发送给实际机器人的控制器，以实现对机器人调整零件姿态及夹取装配工作的引导。
2.如权利要求1所述的多特征融合的视觉识别方法，其特征在于，在所述步骤S1和所述步骤S2之间，还包括以下步骤：
对所述零件源图进行预处理；其中，所述预处理包括图像灰度化、零件边缘提取、二值化、形态学操作、零件轮廓提取及最大最小矩形框拟合。
3.如权利要求1所述的多特征融合的视觉识别方法，其特征在于，所述步骤S2中的“各独立状态的零件图像”是通过将最小矩形框中零件像素重新画入具有其最大外接矩形框大小的空白图像中的方式，对所述零件源图中所包含的多个零件分割成各自独立的零件来得到的。
4.如权利要求1所述的多特征融合的视觉识别方法，其特征在于，所述步骤S3具体包括：
基于零件种类，对各独立状态的零件图像进行一级分类识别，以确定各独立状态的零件图像中各零件的种类，并进一步基于各零件种类的摆放姿态，对归属于同一零件种类下的零件图像进行二级分类识别，以确定各零件图像的图像分类归属。
5.如权利要求4所述的多特征融合的视觉识别方法，其特征在于，所述各独立状态的零件图像中各零件的种类是在各独立状态的零件图像中，先通过对各零件轮廓面积、最小外接矩形框面积以及颜色进行分析比较，再采用比较分析后所得的实际特征数据与第一设定阈值比较的方式来实现的。
6.如权利要求4所述的多特征融合的视觉识别方法，其特征在于，所述各零件图像的图像分类归属是基于各独立状态的零件图像进行一级分类识别之后，先通过对各零件自身在各摆放姿态下的颜色、最小矩形框面积、成像结构以及零件固有的特定特征进行分析比较，再采用比较分析后所得的实际特征数据与第二设定阈值比较的方式来实现的。
7.如权利要求1所述的多特征融合的视觉识别方法，其特征在于，所述步骤S4具体包括：
提取同一类图像中两个摆放姿态相异的零件图像分别作为相应零件的模板图像及旋转图像；
在每一零件的模板图像和旋转图像上，均通过对各零件最小矩形框中感兴趣的边及感兴趣的顶点位置进行分析选取，并根据需求重新规定矩形框各顶点储存顺序，且进一步依次寻找与各顶点距离最近或最远的零件轮廓点作为关键点；
将每一零件的模板图像上的关键点与其对应旋转图像上的关键点进行匹配，而后计算各零件的模板图像与旋转图像中相对应的两两关键点形成的向量，并进一步将各零件所计算的向量间的夹角平均值设为各零件旋转角度；
通过三对及以上的关键点对，计算得到各零件的模板图像与旋转图像间的仿射变换矩阵。
8.如权利要求1所述的多特征融合的视觉识别方法，其特征在于，所述步骤S5具体包括：
通过相机标定获取相机内参及外参矩阵，依次经过从像素坐标系到图像坐标系、图像到相机坐标系及相机到世界坐标系的转换，并结合世界坐标系与机器人坐标系之间的平移和旋转关系，得到能将像素坐标从像素坐标系转换到机器人坐标系的坐标转换矩阵；
通过所述仿射变换矩阵对所述零件源图中指定的抓取点进行仿射变换，得到抓取点在实际图像中的像素坐标，而后通过所述坐标变换矩阵对抓取点像素坐标进行空间转换，得到抓取点在机器人坐标系下的坐标。
9.一种多特征融合的视觉识别***，其特征在于，包括：
图像接收单元，用于接收现场零件整体拍摄的零件源图；
图像分割单元，用于对所述零件源图进行分割处理，得到各独立状态的零件图像；
图像分级识别单元，用于基于零件种类及摆放姿态，对所述各独立状态的零件图像进行两级分类识别，以确定各零件图像中零件的种类及图像分类归属；其中，同一零件种类而摆放姿态相异的多个零件图像均归属于同一类图像中；
零件旋转角度计算单元，用于基于同一类图像中的零件图像，确定各零件的模板图像及旋转图像，并对各零件的模板图像与相应旋转图像进行关键点提取及匹配，以计算出各零件旋转角度以及图像之间的仿射变换矩阵；
抓取点坐标变换单元，用于确定像素坐标系到机器人坐标系转换的坐标转换矩阵，并结合所述仿射变换矩阵，将所述零件源图中的抓取点坐标变换到实际机器人坐标系下的坐标；
信息发送单元，用于将各零件的种类和旋转角度，以及变换后的抓取点坐标发送给实际机器人的控制器，以实现对机器人调整零件姿态及夹取装配工作的引导。
10.如权利要求9所述的多特征融合的视觉识别***，其特征在于，还包括：
图像预处理单元，用于对所述零件源图进行预处理；其中，所述预处理包括图像灰度化、零件边缘提取、二值化、形态学操作、零件轮廓提取及最大最小矩形框拟合。
CN202011504074.0A 2020-12-18 2020-12-18 一种多特征融合的视觉识别方法及*** Active CN112560704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011504074.0A CN112560704B (zh) 2020-12-18 2020-12-18 一种多特征融合的视觉识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011504074.0A CN112560704B (zh) 2020-12-18 2020-12-18 一种多特征融合的视觉识别方法及***

Publications (2)

Publication Number Publication Date
CN112560704A true CN112560704A (zh) 2021-03-26
CN112560704B CN112560704B (zh) 2023-07-18

Family

ID=75063647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011504074.0A Active CN112560704B (zh) 2020-12-18 2020-12-18 一种多特征融合的视觉识别方法及***

Country Status (1)

Country Link
CN (1) CN112560704B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114734448A (zh) * 2022-05-11 2022-07-12 上海交通大学 一种用于船舶理料装备的板材零件抓取方法及装置
CN115359112A (zh) * 2022-10-24 2022-11-18 爱夫迪(沈阳)自动化科技有限公司 一种高位料库机器人的码垛控制方法
CN117409082A (zh) * 2023-12-13 2024-01-16 南昌工控机器人有限公司 用于手机壳体模块化装配的视觉识别与定位方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110228103A1 (en) * 2006-08-10 2011-09-22 Kazuki Takemoto Image capture environment calibration method and information processing apparatus
CN104915957A (zh) * 2015-05-29 2015-09-16 何再兴 一种提高工业机器人三维视觉识别精度的匹配矫正方法
US20170032513A1 (en) * 2015-07-29 2017-02-02 Canon Kabushiki Kaisha Image processing method, image processing apparatus, recording medium, and method of manufacturing assembly
CN107423770A (zh) * 2017-08-03 2017-12-01 广东顺德西安交通大学研究院 一种面向高速生产线的机器人视觉定位方法
CN107563432A (zh) * 2017-08-29 2018-01-09 武汉交通职业学院 一种基于视觉形状模型的机器人多目标识别方法
CN110110760A (zh) * 2019-04-17 2019-08-09 浙江工业大学 一种基于机器视觉的工件定位与识别方法
CN110415363A (zh) * 2019-08-05 2019-11-05 上海神添实业有限公司 一种基于三目视觉的散乱物识别定位方法
CN110815213A (zh) * 2019-10-21 2020-02-21 华中科技大学 一种基于多维度特征融合的零件识别装配方法和装置
CN110935644A (zh) * 2019-12-27 2020-03-31 江南大学 一种基于机器视觉的轴承滚针尺寸检测***及方法
CN111152224A (zh) * 2020-01-10 2020-05-15 温州大学 一种双重寻优的机器人运动轨迹优化方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110228103A1 (en) * 2006-08-10 2011-09-22 Kazuki Takemoto Image capture environment calibration method and information processing apparatus
CN104915957A (zh) * 2015-05-29 2015-09-16 何再兴 一种提高工业机器人三维视觉识别精度的匹配矫正方法
US20170032513A1 (en) * 2015-07-29 2017-02-02 Canon Kabushiki Kaisha Image processing method, image processing apparatus, recording medium, and method of manufacturing assembly
CN107423770A (zh) * 2017-08-03 2017-12-01 广东顺德西安交通大学研究院 一种面向高速生产线的机器人视觉定位方法
CN107563432A (zh) * 2017-08-29 2018-01-09 武汉交通职业学院 一种基于视觉形状模型的机器人多目标识别方法
CN110110760A (zh) * 2019-04-17 2019-08-09 浙江工业大学 一种基于机器视觉的工件定位与识别方法
CN110415363A (zh) * 2019-08-05 2019-11-05 上海神添实业有限公司 一种基于三目视觉的散乱物识别定位方法
CN110815213A (zh) * 2019-10-21 2020-02-21 华中科技大学 一种基于多维度特征融合的零件识别装配方法和装置
CN110935644A (zh) * 2019-12-27 2020-03-31 江南大学 一种基于机器视觉的轴承滚针尺寸检测***及方法
CN111152224A (zh) * 2020-01-10 2020-05-15 温州大学 一种双重寻优的机器人运动轨迹优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈宪帅: "基于多特征融合的小型断路器零件分类与姿态识别", 《中国优秀硕士论文电子期刊网 工程科技Ⅱ辑》, pages 042 - 565 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114734448A (zh) * 2022-05-11 2022-07-12 上海交通大学 一种用于船舶理料装备的板材零件抓取方法及装置
CN114734448B (zh) * 2022-05-11 2023-11-07 上海交通大学 一种用于船舶理料装备的板材零件抓取方法及装置
CN115359112A (zh) * 2022-10-24 2022-11-18 爱夫迪(沈阳)自动化科技有限公司 一种高位料库机器人的码垛控制方法
CN115359112B (zh) * 2022-10-24 2023-01-03 爱夫迪(沈阳)自动化科技有限公司 一种高位料库机器人的码垛控制方法
CN117409082A (zh) * 2023-12-13 2024-01-16 南昌工控机器人有限公司 用于手机壳体模块化装配的视觉识别与定位方法及装置
CN117409082B (zh) * 2023-12-13 2024-02-23 南昌工控机器人有限公司 用于手机壳体模块化装配的视觉识别与定位方法及装置

Also Published As

Publication number Publication date
CN112560704B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN112560704B (zh) 一种多特征融合的视觉识别方法及***
CN109344701B (zh) 一种基于Kinect的动态手势识别方法
CN110580723B (zh) 一种利用深度学习和计算机视觉进行精准定位的方法
Azad et al. Stereo-based 6d object localization for grasping with humanoid robot systems
CN103530599B (zh) 一种真实人脸和图片人脸的区别方法和***
CN112950667A (zh) 一种视频标注方法、装置、设备及计算机可读存储介质
Frintrop General object tracking with a component-based target descriptor
CN111476841B (zh) 一种基于点云和图像的识别定位方法及***
CN111199556A (zh) 基于摄像头的室内行人检测和跟踪方法
CN110751097B (zh) 一种半监督的三维点云手势关键点检测方法
CN115816460B (zh) 一种基于深度学习目标检测与图像分割的机械手抓取方法
CN108537196B (zh) 基于运动历史点云生成的时空分布图的人体行为识别方法
Potapova et al. Attention-driven object detection and segmentation of cluttered table scenes using 2.5 d symmetry
CN114863464B (zh) 一种pid图纸图件信息的二阶识别方法
CN108154496B (zh) 一种适用于电力作业机器人的电力设备外观变化识别方法
CN115861999A (zh) 一种基于多模态视觉信息融合的机器人抓取检测方法
CN113822810A (zh) 一种基于机器视觉的三维空间中工件的定位方法
CN113689365B (zh) 一种基于Azure Kinect的目标跟踪定位方法
CN112749664A (zh) 一种手势识别方法、装置、设备、***及存储介质
CN109410272B (zh) 一种变压器螺母识别与定位装置及方法
CN116188763A (zh) 一种基于YOLOv5的纸箱识别定位及放置角度的测量方法
JPH1151611A (ja) 認識対象物体の位置姿勢認識装置および位置姿勢認識方法
Guan et al. High-resolution representation object pose estimation from monocular images
CN113139946A (zh) 一种基于视觉的衬衫污渍定位设备
Zhang et al. Robotic grasp detection using effective graspable feature selection and precise classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant