CN111626995B - 一种针对工件的智能嵌件检测方法和装置 - Google Patents

Abstract

本发明公开了一种针对工件的智能嵌件检测方法和装置，该方法包括：采用基于待检测嵌件大量图像进行神经网络训练产生的嵌件检测分类模型来识别待检测工件的工件图像中嵌件的位置和类型，参照该工件上所有嵌件正确安装时、嵌件的类型和嵌件彼此之间的位置关系制作该工件的嵌件数据标准识别该工件上的嵌件是否正确安装。其中，所述工件嵌件数据标准通过所述嵌件检测分类模型结合人工校核来产生。本发明提供的方案结合了图像分析技术和人工智能技术，实现自动化检测工件上嵌件的安装检测，节省人力，相比较传统的人工检测大大提高了效率。

Description

一种针对工件的智能嵌件检测方法和装置

技术领域

本发明提供的技术方案涉及自动检测/检验领域，用于替代传统的需要人工对工件/配件上安装的嵌件进行检查、核对。具体涉及一种针对工件的智能嵌件检测方法和装置。

背景技术

名词解析：

1.注塑件：指由注塑机生产的各种注塑产品统称，包括各种包装，零件等。主要是由聚乙烯或聚丙烯等材料并添加了多种有机溶剂后制成的。简称：工件。

2.嵌件：是镶嵌在注塑件上的一种配件，用来固定注塑件，或者把多个注塑件组装起来。

3.工装：即工艺装备，指制造过程中所用的各种工具的总称。包括刀具/夹具/模具/量具/检具/辅具/钳工工具/工位器具等。

在汽车注塑行业，很多工件上都需要安装嵌件。嵌件作为注塑件的重要组成部件，安装过程比较复杂，机械安装难度大，成本高，目前各国主要也是通过大量人力安装为主，人工安装由于疲劳等原因导致漏装、错装时有发生。

嵌件的漏装或反装、工件上二维码、条形码贴错或者无法识别，都会引起整车厂或者装配厂的质量投诉甚至索赔。对于一级工件，出现类似的问题将造成难以估量的损失。针对投诉厂商需要进行整改，如果整改不到位甚至会丢掉合同。随着汽车车型的增多，工件的种类会更加繁多，一个车间一年可能会生产几百种甚至上千种工件，使用到的嵌件有几十种，而且工件的差别也非常大，每个工件的颜色、大小、形状、嵌件的安装位置都不相同，给注塑行业带来极大的工作难度。目前，厂家普遍采用人工对工件上的嵌件、二维码、条形码进行点检。即每一个成品工件都需要进行人工检验并标注，这样做劳动强度大，检验效率低、质量不稳定，用工成本高甚至招工困难。

目前虽然有一些大批量的工件可以基于机器视觉技术、设置特殊工装结合传统图片对比的方式来实现自动检验。例如、公开号CN110632086A、发明名称为“一种基于机器视觉的注塑件表面缺陷的检测方法及***”所公开的采用特殊工装对特定工件所安装的嵌件进行检测。但由于嵌件种类繁多，对应多种甚至几十种工件，对同一种工件拍摄的位置和角度需要固定，为了保证准确率，拍摄的条件(采光、相机参数)也需要一样，限制条件非常苛刻。每换一种工件，就需要一套特殊的工装，并重新进行软件的研发。这种方式成本高、效率低，特别是当前汽车行业的发展趋势是小批量、多批次，所以这种检验方法无法适应汽车注塑行业的需求。

发明内容

为了解决采用传统的机器视觉在小批量、多批次的工件检测领域成本高、效率低，对待测工件的适用性不好的缺点。本发明借助深度神经网络训练嵌件检测分类模型，对于不同的待测工件只需制作对应的嵌件数据标准以供对比，无需对硬件进行改动。

由于同一种工件，将同一面放置到水平面上，嵌件在水平面上的投影之间的距离和角度是不变的，不论这个工件怎么摆放，放到什么地方。因此、只要能在相机拍摄的照片中识别出嵌件，就能通过嵌件之间的距离、角度以及嵌件的类型精确判断出嵌件是否安装正确。

根据所述原理本发明提供一种针对工件的智能嵌件检测方法，该方法包括：采用深度神经网络对待检测嵌件大量图像进行训练产生的嵌件检测分类模型来识别待检测工件的工件图像中嵌件的位置和类型；根据该工件上所有嵌件正确安装时、嵌件的类型和嵌件彼此之间的位置关系制作该工件的嵌件数据标准；基于该工件的嵌件数据标准中各嵌件的类型和彼此之间的位置关系和上述嵌件检测分类模型的识别结果，确定该工件上的嵌件是否正确安装。为了能够尽可能全面地拍摄到待测工件的图像，采用分别位于工件放置平台正上方、左上方、右上方的3台相机同时拍摄所述工件放置平台上放置的待检测工件得到所述待测工件的工件图像。其中、所述3台相机的内参标定在同一个坐标系下。

进一步地，所述嵌件检测分类模型为YOLOv3目标检测模型。训练的具体过程为：对大量包含有待测嵌件的图片样本标注出所有嵌件在所述图片中的位置以及对应的类型信息后，从所述图片样本中截取待测嵌件部分后与其对应的类型信息一起传入YOLOv3目标检测网络进行训练得到能够对所述待测工件安装的嵌件进行识别分类的嵌件检测分类模型。所述待测嵌件位置采用bounding box表征。

进一步地、通过相机接口调用所述3台相机同时对工件放置平台上的正确安装所有嵌件的标准工件进行拍摄，调用所述嵌件检测分类模型识别出3台相机拍摄的图片中的所有嵌件位置和类型，由配置人员分别对3台相机拍摄的图片中识别出的每个嵌件赋予唯一标号，并保证同一个嵌件在所述3台相机拍摄的图片中的唯一标号一致；计算每张图片识别出的每个嵌件在同一个世界坐标系中的坐标、进而得到该标准工件中每个嵌件相对于所述标准工件中其他嵌件之间的位置关系；将每个嵌件的类型、对应的所述唯一标号以及其与所述标准工件中其他嵌件之间的位置关系存储为所述工件的嵌件数据标准。

相应地，对于采用上述3台相机各自拍摄的工件图像，分别采用该工件的上述嵌件检测分类模型从每台相机拍到的工件图片中检测、识别出所有嵌件。对每台相机各自拍到的图片中所识别出所有嵌件，根据该工件的嵌件数据标准中各嵌件标号进行组合排列。对照该工件的嵌件数据标准中各嵌件标号的类型、不同标号嵌件之间空间距离，以及标号不同的3个嵌件之间构成的角度对上述所有排列组合进行排除以得到分别对应于每台相机的一组嵌件可能性组合；分别计算上述各组嵌件可能性组合中同一个标号嵌件的在同一个世界坐标系中的位置，依据相同标号嵌件的世界坐标相同或相差在一定范围内的原则，对所述各组嵌件可能性组合进行合并、筛选得到所述候选性组合；根据上述候选性组合来确定该待测工件上的嵌件是否正确安装。

与上述方法相对应，本发明还提供一种智能嵌件检测装置，该智能嵌件检测装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器执行所述计算机程序时实现上述的针对工件的智能嵌件检测方法。

附图说明

图1为某一工件的正确安装所有嵌件时的示意图。

具体实施方式

为了使本发明所解决的技术问题、技术方案以及有益效果更加清楚明白，以下结合附图对本发明进行进一步详细说明。应该理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

在汽车注塑领域，作为工件的注塑件需要镶嵌多种不同的嵌件用来固定该工件或者把多个注塑件组装起来。某一工件的正确安装嵌件时如图1所示，作为工件的注塑件需要在其上镶嵌多种不同的嵌件1-6，用来固定该工件或者把多个注塑件组装起来。

本发明提供一种针对工件的智能嵌件检测方法，用于检测工件上的嵌件是否正确安装。该方法包括：采用深度神经网络对待检测嵌件大量图像进行训练产生的嵌件检测分类模型来识别待检测工件的工件图像中嵌件的位置和类型；基于该工件上所有嵌件正确安装时、嵌件的类型和嵌件彼此之间的位置关系制作该工件的嵌件数据标准；基于该工件的嵌件数据标准中各嵌件的类型和彼此之间的位置关系和上述嵌件检测分类模型的识别结果，确定该工件上的嵌件是否正确安装。

具体地，YOLOv3图像目标检测算法是近年来一个比较好的目标检测算法，其检测速度快而且准确度也能满足要求。此外、它有自己的开源深度学***台正上方、左上方、右上方的3台相机同时拍摄所述工件放置平台上放置的待检测工件得到所述待测工件的工件图像，其中、所述3台相机的内参标定在同一个坐标系下。

另外，要想利用上述嵌件检测分类模型识别待测工件上的嵌件是否正确安装，还需要该工件上所有嵌件正确安装时所有嵌件的类型和嵌件彼此之间的位置关系制作该工件的嵌件数据标准作为参考。工件的嵌件数据标准可以通过相机接口调用所述3台相机同时对工件放置平台上的正确安装所有嵌件的该工件进行拍摄；调用所述嵌件检测分类模型识别出3台相机拍摄的图片中的所有嵌件位置和类型，由配置人员分别对3台相机拍摄的图片中识别出的每个嵌件赋予唯一标号，用于在计算机中标识具体的嵌件，并保证同一个嵌件在所述3台相机拍摄的图片中的唯一标号一致。计算出所述标准工件中每个嵌件在世界坐标系中的坐标以及其相对于该标准工件中其他嵌件之间的位置关系；将每个嵌件的类型、对应的所述唯一标号以及其与所述标准工件中其他嵌件之间的位置关系存储为所述工件的嵌件数据标准。

进一步地、所述确定该工件上的嵌件是否正确安装，实现为：从所述工件图像中识别出的所有嵌件在空间位置上可能组合中筛选出候选组合，根据所述候选组合识别该工件上的嵌件是否正确安装。具体地，对于上述3台相机各自拍摄的工件图像，分别采用该工件的上述嵌件检测分类模型从每台相机拍到的工件图片中检测出嵌件。对每台相机各自拍到的图片中所识别出所有嵌件，根据该工件的嵌件数据标准中各嵌件标号进行组合排列。假设标准工件的嵌件是：A1、A2、……、An。假设AI推断接口识别出3个相机拍摄的图片中的嵌件分别是：

相机1图片中的嵌件：C1Q1、C1Q2、……、C1Qm；

相机2图片中的嵌件：C2Q1、C2Q2、……、C2Ql；

相机3图片中的嵌件：C3Q1、C3Q2、……、C3Qk。

计算每个相机图片中的嵌件可能性组合，比如：计算相机1图片中的嵌件可能性组合：每个嵌件都有可能是A1、A2、……、An、误识别中的一个。所有的可能性个数就是从n个元素集合中选择m进行排列组合。例如，对于图1所示的工件，如果位于工件放置台正上方相机拍摄到图像中识别出5个嵌件，则分别将上述识别出5个嵌件，设为图1中嵌件A1-A6中任意5个，按照排列组合理论可知，这样存在6*5*4*3*2＝360种组合。然后、对照该工件的嵌件数据标准中各嵌件标号的类型、不同标号嵌件之间空间距离，以及标号不同的3个嵌件之间构成的角度对上述所有排列组合进行排除筛选以得到分别对应于各台相机的一组嵌件可能性组合。例如、对于上述假设，若C1Q1是A2，但是C1Q1的嵌件类型跟A2的嵌件类型不一样，那么就可以排除这种可能性。若假设C1Q1是A2，C1Q2是A3，可以根据C1Q1所在相机的内外参和A2的高度通过单目检测的公知技术计算C1Q1的世界坐标，同理可以计算出C1Q2的世界坐标。如果C1Q1和C1Q2的距离跟A2和A3的距离不一样，那么就可以排除这种可能性。又如假设C1Q1是A2，C1Q2是A3，C1Q3是A4，如果以C1Q1、C1Q2、C1Q3为顶点的三角形的三个角和以A2、A3、A4为顶点的三角形的三个角，只要有一个角的度数不一样，那么就可以排除这种可能性。

为了综合上述三台相机拍摄的待测工件的工件图像的检测识别结果，对相应于每台相机的上述各组嵌件可能性组合进行合并、筛选，以获得用于判断该待测工件上的嵌件是否正确安装的候选组合。为此，需要根据所述3台相机各自的内参、外参以及各自拍摄的标准工件图像分别计算出上述各组嵌件可能性组合中各标号对应的嵌件的在同一个世界坐标系中的位置，依据相同标号嵌件的世界坐标相同或相差在一定范围内的原则，对所述各组嵌件可能性组合进行合并、筛选得到所述候选性组合。内参指的是图像尺寸、焦距、畸变等相机内部固有参数，由内部调试获得，可看做设备的机器常数。外参指相机与检测台平面的位置关系，与设备的安装方式相关，设备固定后可通过调试获得，若设备固定不动，外参不必修改。相机标定原理可以参见现有技术中大量存在的各种论文和书籍。

对于上述各组嵌件可能性组合的合并计算可以先合并三台相机中的两台所拍摄工件图像中嵌件的可能性组合后，再跟剩下的一台相机所拍摄工件图像中嵌件的可能性组合进行合并。具体合并过程为：

a.对相应于待合并的两台相机的可能性组合，分别计算每个可能性组合中相同标号嵌件在同一世界坐标系中的世界坐标；

b.从相应于所述两台相机中一台相机的所有可能性组合中逐一选取一个可能性组合分别和相应应于两台相机中另一台相机的每一个可能性组合分别构成一个合并配对进行合并计算：仅在单台相机的可能性组合出现的嵌件标号单独标记出来，其余都出现一个合并配对的两个可能性组合中的标号、若存在对应于同一标号嵌件计算出的世界坐标不相同或距离相差超过预设的阈值范围，则无需对这个两个可能性组合进行合并，直接进行下一个合并配对的匹配；若不存在上述情况则将一个合并配对相同标号的嵌件进行合并，合并后的可能性组合中暂时保留所述单独标记出来的嵌件标号；对于存在单独标记出来的嵌件标号合并后的可能性组合，计算所述单独标记出来的嵌件标号与该合并后可能性组合中其它嵌件之间位置关系，与查询该工件的嵌件数据标准中该合并后可能性组合中所有的嵌件对应的位置计算出的该单独标记出来的嵌件标号与该合并后可能性组合中其它嵌件的位置计算出的位置关系进行比对确定是否排除该合并后的可能性组合。

相应地，所述基于该工件的嵌件数据标准中各嵌件的类型和彼此之间的位置关系和上述嵌件检测分类模型的识别结果，确定该工件上的嵌件是否正确安装，具体可以实现为：若所述候选组合只有一个则提示该工件上的嵌件正确安装；若所述候选组合不存在则，提示该工件上的嵌件未正确安装；若所述候选组合在两个以上提示用户调整当前待测工件的摆放位姿。

进一步地，为了规范待测工件在工件放置台上摆放，为了防止拍到非检测中的工件或者拍不到待测的工件，可以在工件放置台划定一个检测区域，检测区域以外的信息会被忽略掉。

与上述方法相对应，本发明还提供一种智能嵌件检测装置，该智能嵌件检测装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器执行所述计算机程序时实现上述的针对工件的智能嵌件检测方法。进一步地，本发明还提供一种计算机可读存储介质，所述计算可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，使所述处理器执行上述针对工件的智能嵌件检测方法。

本发明提供的方案结合了图像分析技术和人工智能技术，实现自动化检测工件上嵌件的安装检测，节省人力，相比较传统的人工检测大大提高了效率，降低企业的人力成本。

Claims (10)

1.一种针对工件的智能嵌件检测方法，其特征在于，该方法包括：采用深度神经网络对待检测嵌件大量图像进行训练产生的嵌件检测分类模型来识别待检测工件的工件图像中嵌件的位置和类型；所述待检测工件的工件图像采用分别位于工件放置平台上方不同角度的3台相机同时拍摄所述工件放置平台上放置的待检测工件得到，所述3台相机的内参标定在同一个坐标系下；

基于该待检测工件上所有嵌件正确安装时、嵌件的类型和嵌件彼此之间的位置关系制作该待检测工件的嵌件数据标准；所述待检测工件的嵌件数据标准通过以下方式产生：通过相机接口调用所述3台相机同时对工件放置平台上的正确安装所有嵌件的标准工件进行拍摄，调用所述嵌件检测分类模型识别出3台相机拍摄的图片中的所有嵌件位置和类型，由配置人员分别对3台相机拍摄的图片中识别出的每个嵌件赋予唯一标号，并保证同一个嵌件在所述3台相机拍摄的图片中的唯一标号一致；计算每张图片识别出的每个嵌件在同一个世界坐标系中的坐标、进而得到该标准工件中每个嵌件相对于所述标准工件中其他嵌件之间的位置关系；将每个嵌件的类型、对应的所述唯一标号以及其与所述标准工件中其他嵌件之间的位置关系存储为所述待检测工件的嵌件数据标准；

基于所述嵌件数据标准中各嵌件的类型和彼此之间的位置关系和上述嵌件检测分类模型的识别结果，确定该待检测工件上的嵌件是否正确安装。

2.如权利要求1所述的智能嵌件检测方法，其特征在于，所述嵌件检测分类模型为YOLOv3图像目标检测模型。

3.如权利要求2所述的智能嵌件检测方法，其特征在于，所述嵌件检测分类模型训练的过程包括：对一定数量包含有待测嵌件的图片样本标注出所有嵌件在所述图片中的位置以及对应的类型信息后，从所述图片样本中截取待测嵌件部分后与其对应的类型信息一起传入YOLOv3目标检测网络进行训练得到能够对所述待检测工件安装的嵌件进行识别分类的嵌件检测分类模型；所述待测嵌件位置采用bounding box表征。

4.如权利要求1所述的智能嵌件检测方法，其特征在于，所述基于所述嵌件数据标准中各嵌件的类型和彼此之间的位置关系和上述嵌件检测分类模型的识别结果，确定该待检测工件上的嵌件是否正确安装；实现为：分别从所述3台相机中的每一台拍摄的工件图像中识别出的所有嵌件在空间位置上可能性组合，从而得到3组可能性组合；然后对所述3组可能性组合进行合并、过滤得到候选组合，根据所述候选组合识别该工件上的嵌件是否正确安装。

5.如权利要求4所述的智能嵌件检测方法，其特征在于，所述分别从所述3台相机中的每一台拍摄的工件图像中识别出的所有嵌件在空间位置上可能性组合，具体包括：分别采用该工件的上述嵌件检测分类模型从每台相机各自拍到的图片中识别出所有嵌件，根据该工件的嵌件数据标准中各嵌件标号进行组合排列；然后、对照该工件的嵌件数据标准中各嵌件标号的类型、不同标号嵌件之间空间距离，以及标号不同的3个嵌件之间构成的角度对上述所有排列组合进行排除筛选以得到分别对应于各台相机的一组嵌件可能性组合。

6.如权利要求4或5所述的智能嵌件检测方法，其特征在于，所述对所有可能性组合进行合并、过滤得到候选组合，通过以下方式实现：分别计算上述各组嵌件可能性组合中同一个标号嵌件的在同一个世界坐标系中的位置，依据相同标号嵌件的世界坐标相同或相差在一定范围内的原则，对所述各组嵌件可能性组合进行合并、筛选得到所述候选组合；根据上述候选组合来确定该待检测工件上的嵌件是否正确安装。

7.如权利要求6所述的智能嵌件检测方法，其特征在于，所述依据相同标号嵌件的世界坐标相同或相差在一定范围内的原则，对所述各组嵌件可能性组合进行合并、筛选得到所述候选性组合实现为：

先对其中两组嵌件可能性组合进行合并计算：将第一组可能性组合中的每个可能性组合逐一和两组中另1组可能性组合中的每个可能性组合根据嵌件标号进行合并，合并时保留并单独标记仅出现在一个可能性组合中的嵌件标号；计算合并后的组合中每个标号对应嵌件的在同一个世界坐标系下的坐标，若存在同一标号嵌件的所述坐标不相同或距离相差超过预设的阈值范围，则直接排除该合并后的组合；对于合并后的组合中存在单独标记的嵌件标号，计算该单独标记的嵌件标号对应的嵌件与所述合并后的可能性组合中其它嵌件之间位置关系，基于该工件的嵌件数据标准中该单独标记的嵌件标号对应的嵌件与其他嵌件的位置关系进行比对，如果不一致、则排除该合并后的可能性组合；合并完上述两组嵌件可能性组合后再与第三组嵌件可能性组合依样合并得到所述候选组合。

8.如权利要求4-5、7中任一项所述的智能嵌件检测方法，其特征在于，根据所述候选组合识别该工件上的嵌件是否正确安装，具体为：若所述候选组合只有一个则提示该工件上的嵌件正确安装；若所述候选组合不存在则、提示该工件上的嵌件未正确安装；若所述候选组合在两个以上提示用户调整当前待测工件的摆放位姿。

9.一种智能嵌件检测装置，其特征在于，该智能嵌件检测装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-8中任一项所述的针对工件的智能嵌件检测方法。

10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-8任一项所述的针对工件的智能嵌件检测方法。