CN113838015A - 一种基于网络协同的电器产品外观缺陷检测方法 - Google Patents

Abstract

本发明涉及一种基于网络协同的电器产品外观缺陷检测方法。本发明在电器产品外观检测中利用了人机协同技术采集了检测样本并叠加深度学***，同时减少了人员部署，节约了生产成本。

Description

一种基于网络协同的电器产品外观缺陷检测方法

技术领域

本发明涉及一种基于网络协同的电器产品外观缺陷检测方法，属于人工智能、工控自动化技术领域。

背景技术

随着智能制造、工业互联网、人工智能在我国的深入发展和推进，各类电气设备的应用与日俱增，相应的产品质量和使用安全问题也不容忽视。目前用户端电气设备生产制造环节的检验手段和工具的智能化在我国仍处于初级阶段，不能满足产业快速发展的需要。

目前基于深度学习的产品外观缺陷检测***及其装置普遍包括图像显示设备、服务器、控制器等。大部分携带服务器的检测***中，在服务器端包括了深度学习模块，并针对采集来的图像数据进行迭代计算得出更新的检测模型，但是检测模型的缺陷种类大多固定不具备新类别的扩展，同时对于正在检测的模型以及其检测出来的产品检测结果，位于边缘侧的用户无法将新的缺陷种类、产品特征告知机器学习模块，进而无法针对这一新的情形形成新的检测机理以及更新产品检测专家库

申请号为202010107000.7的发明专利申请公开了一种基于专家库的装配生产线智能控制***，包括专家库、上位机、机器人、螺丝机、检测单元、驱动单元、视觉识别单元、送钉机、智能装配单元等。该专利申请未有通过深度机器学习对检测模型进行迭代优化，同时生成的专家库无法满足在边缘侧—远端类似的分布式***下进行更新，不利于形成新的检测机理。

申请号为202010888429.4的发明专利申请公开了一种深度学习装置及深度学习应用方法，包括：模型库、操作装置、执行装置。用户根据应用需求选择和操作页面可视化组件，调用对应的深度学习模型对输入数据进行处理，就可实现对输入数据进行所需要的深度学习任务。该专利申请所公开的方法中对并未体现对模型的迭代训练，限制了深度学习的广度和产出模型的精度。

申请号为202010829978.4的发明专利申请公开了一种智能钢带视觉检测设备，该专利申请更多的在于利用已经训练完成实行的模型进行检测，未有基于网络协同和机器学习的步骤，属于传统的视觉识别检测解决方案。

发明内容

本发明的目的是：将人机协同机制引入基于深度学习的产品外观缺陷检测方法中。

为了达到上述目的，本发明的技术方案是提供了一种基于网络协同的电器产品外观缺陷检测方法，其特征在于，包括以下步骤：

步骤1、在远端训练服务器中建立电器领域外观检测专家模型库，远端训练服务器利用边缘侧人机交互设备上传的与不同电器设备型号相对应的训练数据集对机器深度学习算法进行训练，形成多个与不同电器设备型号相对应的外观检测深度学习模型，并将所有外观检测深度学习模型存储在电器领域外观检测专家模型库中，并为每个外观检测深度学习模型与对应的电器设备型号建立映射关系；

当边缘侧生产设备需要生产新电器设备型号的电器产品时，远端训练服务器训练得到新的外观检测深度学习模型并存储在电器领域外观检测专家模型库中，随后远端训练服务器将新增的外观检测深度学习模型的模型信息通知边缘侧人机交互设备，使得用户通过边缘侧人机交互设备基于电器设备型号可以选择到电器领域外观检测专家模型库中新增的外观检测深度学习模型；

外观检测深度学习模型进行电器产品外观缺陷检测时，先对接收到任意尺寸的图像数据进行标准化操作，将接收到的图像数据统一成CNN卷积神经网络的输入尺寸，从而获得标准化图像数据；随后将标准化图像数据输入CNN卷积神经网络，以不同维度、种类的卷积核对标准化图像数据进行卷积运算，分别产生小目标特征图、中目标特征图、大目标特征图，其中，小目标特征图的采样感受野小于中目标特征图的采样感受野，中目标特征图的采样感受野小于大目标特征图的采样感受野；外观检测深度学习模型基于小目标特征图检测小目标缺陷，基于中目标特征图检测中目标缺陷，基于大目标特征图检测大目标缺陷，检测时，外观检测深度学习模型使用框回归算法及多分类算法对小目标特征图、中目标特征图及大目标特征图所对应的向量组进行目标检测对象的框回归预测和框下目标物的分类，若判断得到存在缺陷，则获得用于分别标记小目标缺陷所在位置和/或中目标缺陷所在位置和/或大目标缺陷所在位置的小目标缺陷边框和/或中目标缺陷边框和/或大目标缺陷边框以及缺陷类别，经过获得输出参数x、y、w、h和置信度，其中，x、y表示小目标缺陷边框或中目标缺陷边框或大目标缺陷边框的中心位置相对于当前缺陷的左上角位置的X轴偏移量及Y轴偏移量，w、h表示小目标缺陷边框或中目标缺陷边框或大目标缺陷边框的宽和高大小分别占整张图片宽和高大小的比例，置信度的值不大于1；

步骤2、用户根据边缘侧生产设备所实际生产的电器产品的电器设备型号，利用边缘侧人机交互设备生成与电器设备型号相关的模型调用信息；人机交互设备将该模型调用信息上传至远端训练服务器后，由远端训练服务器依据模型调用信息调用存储在电器领域外观检测专家模型库中的与当前电器设备型号相对应的外观检测深度学习模型；

步骤3、边缘侧生产设备通过图像采集设备获得当前电器产品的实时外观图片后，将该实时外观图片上传至远端训练服务器，远端训练服务器将接收到的实时外观图片输入已调用的外观检测深度学习模型，由外观检测深度学习模型利用实时外观图片对当前电器产品是否存在缺陷进行判断，若判断当前电器产品存在缺陷，则输出预测得到的小目标缺陷边框和/或中目标缺陷边框和/或大目标缺陷边框以及缺陷类别，输出对应的输出参数x、y、w、h，置信度和缺陷类别；

步骤4、边缘侧人机交互设备利用接收到的输出参数x、y、w、h，在实时外观图片上框出对应的缺陷区域，并显示对应的置信度和缺陷类别；

步骤5、若步骤4显示的置信度低于预先设定的阈值，或者根据实时外观图片判断出现了新的缺陷类别，则利用边缘侧人机交互设备，在实时外观图片上绘出缺陷边框并输入对应的缺陷类别，边缘侧人机交互设备利用绘出的缺陷边框得到对应的缺陷边框参数x、y、w、h，同时，边缘侧人机交互设备将置信度置1；边缘侧人机交互设备将之前获得的缺陷边框参数x、y、w、h以及对应的缺陷类别、置信度值和实时外观图片保存为一条新的训练数据；

若步骤4显示的置信度不低于预先设定的阈值，并且未出现新的缺陷类别，则边缘侧人机交互设备将步骤4获得的缺陷边框参数x、y、w、h以及对应的缺陷类别、置信度值和实时外观图片保存为一条新的训练数据；

步骤6、边缘侧人机交互设备按照设定周期，将每个周期步长所收集的所有新的训练数据上传至训练服务器，训练服务器利用每个周期步长所收集的所有新的训练数据组成新的训练数据集，并基于该训练数据集对步骤2至步骤5所使用的外观检测深度学习模型重新进行训练，得到更新优化后的外观检测深度学习模型，并替换现有的外观检测深度学习模型存入电器领域外观检测专家模型库中。

优选地，步骤1，当前电器设备型号的训练数据集采用以下方法获得：

边缘侧人机交互设备通过图像采集设备获得当前电器设备型号的电器产品外观图片，随后判断该电器产品外观图片是否存在外观缺陷，对存在外观缺陷的电器产品外观图片进行人工标注；进行人工标注时，基于电器行业领域对于外观检测的标准对采样图片进行标注，在电器产品外观图片上标注出缺陷边框以及缺陷类别；边缘侧人机交互设备将已完成人工标注的电器产品外观图片以及无需进行人工标注的电器产品外观图片上传至远端训练服务器，由远端训练服务器基于一定时间周期内接收到的电器产品外观图片构建训练数据集，利用该训练数据集对机器深度学习算法进行训练，从而获得与当前电器设备型号相对应的外观检测深度学习模型。

本发明研究视觉检测技术中人机协同和深度学***台技术实现了传统电器外观检测模型在服务器端的深度学习。最终，本发明将这些基于边缘侧的大量电器外观样本数据的优化模型存入专有数据库，构成电器外观检测的专家模型库并在实际应用中通过这些存于专家库的模型形成了电器行业高度智能化检测标准。

本发明在电器产品外观检测中利用了人机协同技术采集了检测样本并叠加深度学***，同时减少了人员部署，节约了生产成本。

附图说明

图1为基于网络协同的产品外观缺陷检测方法原理图；

图2为基于网络协同的产品外观缺陷检测方法应用示意图；

图3为深度机器学习算法训练完成后模型入库流程图；

图4为人机交互界面进行人机协同检测过程流程图；

图5为可视化WEB界面控制深度机器学习服务流程图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明提供的一种基于网络协同的电器产品外观缺陷检测方法包括以下步骤：

步骤1、在远端训练服务器中建立电器领域外观检测专家模型库，远端训练服务器利用边缘侧人机交互设备上传的与不同电器设备型号相对应的训练数据集对机器深度学习算法进行训练，形成多个与不同电器设备型号相对应的外观检测深度学习模型，并将所有外观检测深度学习模型存储在电器领域外观检测专家模型库中，并为每个外观检测深度学习模型与对应的电器设备型号建立映射关系。

本步骤中，当前电器设备型号的训练数据集采用以下方法获得：

边缘侧人机交互设备通过图像采集设备获得当前电器设备型号的电器产品外观图片，随后判断该电器产品外观图片是否存在外观缺陷，对存在外观缺陷的电器产品外观图片进行人工标注。进行人工标注时，基于电器行业领域对于外观检测的标准对采样图片进行标注，在电器产品外观图片上标注出缺陷边框以及缺陷类别。边缘侧人机交互设备将已完成人工标注的电器产品外观图片以及无需进行人工标注的电器产品外观图片上传至远端训练服务器，由远端训练服务器基于一定时间周期内接收到的电器产品外观图片构建训练数据集，利用该训练数据集对机器深度学习算法进行训练，从而获得与当前电器设备型号相对应的外观检测深度学习模型。

当边缘侧生产设备需要生产新电器设备型号的电器产品时，远端训练服务器基于上述方法训练得到新的外观检测深度学习模型并存储在电器领域外观检测专家模型库中，随后远端训练服务器将新增的外观检测深度学习模型的模型信息通知边缘侧人机交互设备，使得用户通过边缘侧人机交互设备基于电器设备型号可以选择到电器领域外观检测专家模型库中新增的外观检测深度学习模型。

本实施例中，外观检测深度学习模型进行电器产品外观缺陷检测时，先对接收到任意尺寸的图像数据进行标准化操作，通过缩放和pad(扩展像素值0)将接收到的图像数据统一成CNN卷积神经网络的输入尺寸，从而获得标准化图像数据。随后将标准化图像数据输入CNN卷积神经网络，以不同维度、种类的卷积核对标准化图像数据进行卷积运算，分别产生32倍下采样感受野为13×13pixels的小目标特征图、16倍下采样感受野为26×26pixels的中目标特征图、8倍下采样感受野为52×52pixels的大目标特征图。通过三种不同尺寸的特征图在多尺寸条件下检测不同大小目标物，比如：基于小目标特征图检测小目标缺陷，例如划痕、瑕疵、掉漆；基于中目标特征图检测中目标缺陷，例如铭牌瑕疵、电器表面旋钮瑕疵；基于大目标特征图检测大目标缺陷，例如接线端子异常。最后外观检测深度学习模型使用框回归算法(BBoxReg)及多分类算法(SVMs)对三种尺度下的小目标特征图、中目标特征图及大目标特征图所对应的向量组进行目标检测对象的框回归预测和框下目标物的分类，若判断得到存在缺陷，则获得用于分别标记小目标缺陷所在位置和/或中目标缺陷所在位置和/或大目标缺陷所在位置的小目标缺陷边框和/或中目标缺陷边框和/或大目标缺陷边框以及缺陷类别，经过获得输出参数x、y、w、h和置信度，其中，x、y表示小目标缺陷边框或中目标缺陷边框或大目标缺陷边框的中心位置相对于当前缺陷的左上角位置的X轴偏移量及Y轴偏移量，w、h表示小目标缺陷边框或中目标缺陷边框或大目标缺陷边框的宽和高大小分别占整张图片宽和高大小的比例，置信度的值不大于1。外观检测深度学习模型对于输入的图像进行了归一化处理，标识的参数x，y，w，h、根据这个归一化后的缺陷边框的中心点坐标x，y，w，h进行输出，所输出的为x，y，w，h占据图像像素的比例，最终在终端设备显示缺陷框时需据此进行还原操作。

步骤2、用户根据边缘侧生产设备所实际生产的电器产品的电器设备型号，利用边缘侧人机交互设备生成与电器设备型号相关的模型调用信息。人机交互设备将该模型调用信息上传至远端训练服务器后，由远端训练服务器依据模型调用信息调用存储在电器领域外观检测专家模型库中的与当前电器设备型号相对应的外观检测深度学习模型。

步骤3、边缘侧生产设备通过图像采集设备获得当前电器产品的实时外观图片后，将该实时外观图片上传至远端训练服务器，远端训练服务器将接收到的实时外观图片输入已调用的外观检测深度学习模型，由外观检测深度学习模型利用实时外观图片对当前电器产品是否存在缺陷进行判断，若判断当前电器产品存在缺陷，则输出预测得到的小目标缺陷边框和/或中目标缺陷边框和/或大目标缺陷边框以及缺陷类别，输出对应的输出参数x、y、w、h，置信度和缺陷类别。

步骤4、边缘侧人机交互设备利用接收到的输出参数x、y、w、h，在实时外观图片上框出对应的缺陷区域，并显示对应的置信度和缺陷类别。

步骤5、若步骤4显示的置信度低于预先设定的阈值，或者根据实时外观图片判断出现了新的缺陷类别，则利用边缘侧人机交互设备，在实时外观图片上绘出缺陷边框并输入对应的缺陷类别，边缘侧人机交互设备利用绘出的缺陷边框得到对应的缺陷边框参数x、y、w、h，同时，边缘侧人机交互设备将置信度置1。边缘侧人机交互设备将之前获得的缺陷边框参数x、y、w、h以及对应的缺陷类别、置信度值和实时外观图片保存为一条新的训练数据。

若步骤4显示的置信度不低于预先设定的阈值，并且未出现新的缺陷类别，则边缘侧人机交互设备将步骤4获得的缺陷边框参数x、y、w、h以及对应的缺陷类别、置信度值和实时外观图片保存为一条新的训练数据。

步骤6、边缘侧人机交互设备按照设定周期，将每个周期步长所收集的所有新的训练数据上传至训练服务器，训练服务器利用每个周期步长所收集的所有新的训练数据组成新的训练数据集，并基于该训练数据集对步骤2至步骤5所使用的外观检测深度学习模型重新进行训练，得到更新优化后的外观检测深度学习模型，并替换现有的外观检测深度学习模型存入电器领域外观检测专家模型库中。

本实施例中，人机交互设备内置硬件标准需搭载Intel赛扬J1800处理器作为主芯片、内置有2G DDR3内存、SSD硬盘、预装Ubuntu16.04及以上版本操作***，并配备具有触控功能的显示屏。如图2所示，人机交互设备需要具备配置功能界面用以完成必要的配置选项、显示界面用以展示检测后的图像、上传数据集、检测模型更新。

训练服务器内置硬件标准需搭载Intel至强5128处理器作为主芯片、内置有32GDDR3内存、SSD硬盘、必须配置GPU单元、预装Ubuntu16.04及以上版本操作***。为了能够实现模型优化、操作***还必须预装关系型数据库、深度机器学习框架、Web服务器框架。训练服务器

本实施例采用可视化WEB操作界面实现对训练服务器的操作，其操作过程如下：

1、可视化操作界面是由内置于服务器的WEB服务提供一种可以部署于云端的可视化的操作接口。

2、通过可视化操作接口与人机交互设备连接查看人机交互设备参数、通过可视化操作接口与服务器连接用以指定训练参数、启动电器外观检测模型训练、下发电器外观检测模型模型库信息至人机交互设备。

本***中，Web界面基于Flask框架进行开发，负责与人机交互设备以及服务器进行通信。如图1所示，Web界面需要和服务器进行连接，能够满足从可视化界面观下发训练指令至训练服务器开始训练。

如图1所示，Web界面需与人机交互设备连接，使得用户能够在可视化界面中查询被检测产品的参数、更改人机交互设备的设置，从而实现在云端配置监测整个***方便管理***运行状态。

Claims (2)

1.一种基于网络协同的电器产品外观缺陷检测方法，其特征在于，包括以下步骤：

步骤1、在远端训练服务器中建立电器领域外观检测专家模型库，远端训练服务器利用边缘侧人机交互设备上传的与不同电器设备型号相对应的训练数据集对机器深度学习算法进行训练，形成多个与不同电器设备型号相对应的外观检测深度学习模型，并将所有外观检测深度学习模型存储在电器领域外观检测专家模型库中，并为每个外观检测深度学习模型与对应的电器设备型号建立映射关系；

当边缘侧生产设备需要生产新电器设备型号的电器产品时，远端训练服务器训练得到新的外观检测深度学习模型并存储在电器领域外观检测专家模型库中，随后远端训练服务器将新增的外观检测深度学习模型的模型信息通知边缘侧人机交互设备，使得用户通过边缘侧人机交互设备基于电器设备型号可以选择到电器领域外观检测专家模型库中新增的外观检测深度学习模型；

外观检测深度学习模型进行电器产品外观缺陷检测时，先对接收到任意尺寸的图像数据进行标准化操作，将接收到的图像数据统一成CNN卷积神经网络的输入尺寸，从而获得标准化图像数据；随后将标准化图像数据输入CNN卷积神经网络，以不同维度、种类的卷积核对标准化图像数据进行卷积运算，分别产生小目标特征图、中目标特征图、大目标特征图，其中，小目标特征图的采样感受野小于中目标特征图的采样感受野，中目标特征图的采样感受野小于大目标特征图的采样感受野；外观检测深度学习模型基于小目标特征图检测小目标缺陷，基于中目标特征图检测中目标缺陷，基于大目标特征图检测大目标缺陷，检测时，外观检测深度学习模型使用框回归算法及多分类算法对小目标特征图、中目标特征图及大目标特征图所对应的向量组进行目标检测对象的框回归预测和框下目标物的分类，若判断得到存在缺陷，则获得用于分别标记小目标缺陷所在位置和/或中目标缺陷所在位置和/或大目标缺陷所在位置的小目标缺陷边框和/或中目标缺陷边框和/或大目标缺陷边框以及缺陷类别，经过获得输出参数x、y、w、h和置信度，其中，x、y表示小目标缺陷边框或中目标缺陷边框或大目标缺陷边框的中心位置相对于当前缺陷的左上角位置的X轴偏移量及Y轴偏移量，w、h表示小目标缺陷边框或中目标缺陷边框或大目标缺陷边框的宽和高大小分别占整张图片宽和高大小的比例，置信度的值不大于1；

步骤2、用户根据边缘侧生产设备所实际生产的电器产品的电器设备型号，利用边缘侧人机交互设备生成与电器设备型号相关的模型调用信息；人机交互设备将该模型调用信息上传至远端训练服务器后，由远端训练服务器依据模型调用信息调用存储在电器领域外观检测专家模型库中的与当前电器设备型号相对应的外观检测深度学习模型；

步骤3、边缘侧生产设备通过图像采集设备获得当前电器产品的实时外观图片后，将该实时外观图片上传至远端训练服务器，远端训练服务器将接收到的实时外观图片输入已调用的外观检测深度学习模型，由外观检测深度学习模型利用实时外观图片对当前电器产品是否存在缺陷进行判断，若判断当前电器产品存在缺陷，则输出预测得到的小目标缺陷边框和/或中目标缺陷边框和/或大目标缺陷边框以及缺陷类别，输出对应的输出参数x、y、w、h，置信度和缺陷类别；

步骤4、边缘侧人机交互设备利用接收到的输出参数x、y、w、h，在实时外观图片上框出对应的缺陷区域，并显示对应的置信度和缺陷类别；

步骤5、若步骤4显示的置信度低于预先设定的阈值，或者根据实时外观图片判断出现了新的缺陷类别，则利用边缘侧人机交互设备，在实时外观图片上绘出缺陷边框并输入对应的缺陷类别，边缘侧人机交互设备利用绘出的缺陷边框得到对应的缺陷边框参数x、y、w、h，同时，边缘侧人机交互设备将置信度置1；边缘侧人机交互设备将之前获得的缺陷边框参数x、y、w、h以及对应的缺陷类别、置信度值和实时外观图片保存为一条新的训练数据；

若步骤4显示的置信度不低于预先设定的阈值，并且未出现新的缺陷类别，则边缘侧人机交互设备将步骤4获得的缺陷边框参数x、y、w、h以及对应的缺陷类别、置信度值和实时外观图片保存为一条新的训练数据；

步骤6、边缘侧人机交互设备按照设定周期，将每个周期步长所收集的所有新的训练数据上传至训练服务器，训练服务器利用每个周期步长所收集的所有新的训练数据组成新的训练数据集，并基于该训练数据集对步骤2至步骤5所使用的外观检测深度学习模型重新进行训练，得到更新优化后的外观检测深度学习模型，并替换现有的外观检测深度学习模型存入电器领域外观检测专家模型库中。

2.如权利要求1所述的一种基于网络协同的电器产品外观缺陷检测方法，其特征在于，步骤1，当前电器设备型号的训练数据集采用以下方法获得：

边缘侧人机交互设备通过图像采集设备获得当前电器设备型号的电器产品外观图片，随后判断该电器产品外观图片是否存在外观缺陷，对存在外观缺陷的电器产品外观图片进行人工标注；进行人工标注时，基于电器行业领域对于外观检测的标准对采样图片进行标注，在电器产品外观图片上标注出缺陷边框以及缺陷类别；边缘侧人机交互设备将已完成人工标注的电器产品外观图片以及无需进行人工标注的电器产品外观图片上传至远端训练服务器，由远端训练服务器基于一定时间周期内接收到的电器产品外观图片构建训练数据集，利用该训练数据集对机器深度学习算法进行训练，从而获得与当前电器设备型号相对应的外观检测深度学习模型。

Images