CN108682003B - 一种产品质量检测方法 - Google Patents
一种产品质量检测方法 Download PDFInfo
- Publication number
- CN108682003B CN108682003B CN201810301604.8A CN201810301604A CN108682003B CN 108682003 B CN108682003 B CN 108682003B CN 201810301604 A CN201810301604 A CN 201810301604A CN 108682003 B CN108682003 B CN 108682003B
- Authority
- CN
- China
- Prior art keywords
- product
- sample
- training
- classifier
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种产品质量检测方法,包含两个部分的内容,第一部分是构建识别器,第二部分是采用识别器对待测产品的质量进行检测,所述识别器包括:判断待测对象是否符合检测类别的产品的二分类器,判断产品在图片中位置的产品检测器,以及判断产品为良品或次品的多分类器。此种方法可检测产品是良品或次品,具有快速性、可扩展性和高灵活性的特点。
Description
技术领域
本发明涉及一种产品质量检测方法,特别涉及一种基于少量样本的可扩展的器件良品、多次品(缺陷、污点、是否器件)的识别方法。
背景技术
在工业领域,对于良品和次品的识别需要日益扩大,次品主要有色差、缺陷、变形等,举个生活中简单的例子,平常使用的餐巾纸如果存在污点、残缺,相对残缺,污点可能会使人更加反感,还有螺丝存在缺陷很容易造成事故,以上的问题都是严重影响企业发展的重大问题。
目前存在的方法比较单一,主要处理单个任务,一种方法只能做一个任务,例如仅仅做污点检测、亦或者只能做缺陷检测,并且使用的方法也都比较传统,可扩展性和灵活性很差,有待改进。
发明内容
本发明的目的,在于提供一种产品质量检测方法,其可检测产品良品和次品,具有快速性、可扩展性和高灵活性的特点。
为了达成上述目的,本发明的解决方案是:
一种产品质量检测方法,包含两个部分的内容,第一部分是构建识别器,第二部分是采用识别器对待测产品的质量进行检测,所述识别器包括:判断待测对象是否符合检测类别的产品的二分类器,判断产品在图片中位置的产品检测器,以及判断产品为良品或次品的多分类器。
上述第一部分包含如下步骤:
步骤1,准备若干包含产品的图片作为产品样本,准备若干包含非产品的图片作为非产品样本,并对各样本进行标定,对于产品样本还需要标定其在图片中的位置和类别信息;
步骤2,利用产品样本和非产品样本,采用迁移学习方法训练二分类器,以确认是否要检测的产品;
步骤3,利用标定产品在图片中的位置信息训练产品检测器;
步骤4,使用前述步骤3训练好的产品检测器,从图片中抠取产品,采用Inception_V4进行迁移学习,训练得到多分类器。
上述步骤1的具体内容是:
首先,准备样本集,包含产品样本和非产品样本,并按照一定比例将样本集分为训练样本和测试样本;
然后,根据实际情况对各样本进行标定;将各样本分别标定产品样本或非产品样本;对产品样本,标定产品在图片中的位置,并标定产品为良品或次品。
上述步骤2的具体内容是:将标定好的所有产品样本和非产品样本,使用迁移学习方法,采用Inception_V4网络训练二分类器,具体是采用Inception_V4预训练好的模型,去除全连接层,自行搭架训练二分类器需要的全连接层,训练过程只更新最后搭架的全连接层参数,Inception_V4网络参数不更新。
上述步骤3的具体内容是:将标定有图片中的位置的产品样本,使用faster-rcnn网络,使用迁移学习的方法训练产品检测器;网络采用RPN结构,并加入回归框,整个网络的损失函数为:
上述公式中,i表示anchors index,pi表示foreground softmax predict概率,代表对应的GT predict概率,即当第i个anchor与GT间IoU>0.7,认为该anchor是foreground,反之当IoU<0.3时,认为该anchor是background,0.3<IoU<0.7的anchor则不参与训练;ti代表predict bounding box,代表对应foreground anchor对应的GT box。
上述步骤4中,还包括人工选出抠取错误的不参加训练。
上述第二部分包含如下步骤:针对包含有待测对象的图片,首先采用二分类器判断是否要检测的产品,如果是,则表示该待测对象符合要识别的产品类别,然后再使用产品检测器检测其在图片中的位置,并将其从图片中抠出,作为多分类器的输入,输出结果就是最终的良品次品判定结果。
采用上述方案后,本发明只需要人工标定少量数据,用于训练模型,训练模型开始不需要人工干预,具有很高的实用性,并且可扩展,高灵活。
附图说明
图1是本发明的流程图。
具体实施方式
以下将结合附图,对本发明的技术方案及有益效果进行详细说明。
如图1所示,本发明提供一种产品质量检测方法,包含两个部分的内容,第一部分是构建识别器,第二部分是采用识别器对待测产品的质量进行检测,这里的识别器包括:判断待测对象是否符合检测类别的产品的二分类器,判断产品在图片中位置的产品检测器,以及判断产品质量的多分类器;其中,第一部分主要包含如下步骤:
步骤1,准备若干包含产品的图片作为产品样本,准备若干包含非产品的图片作为非产品样本,并对各样本进行标定,对于产品样本还需要标定其在图片中的位置和类别信息;
首先,准备样本集,包含产品样本和非产品样本,并将其中的90%作为训练样本,将剩余的10%作为测试样本;
然后,根据实际情况对前述各样本进行标定;(1)训练是否产品的二分类器需要标定产品样本和非产品样本(可按照如下规则进行标定:产品样本:0,非产品样本:1);(2)训练产品位置的产品检测器需要标定产品在样本中的位置;(3)训练良品、次品的多分类器需要标定产品样本为良品或次品(如存在污点、缺陷等)。
步骤2,利用产品样本和非产品样本,采用迁移学习方法训练二分类器,以确认是否要检测的产品;
将前述标定好的用于二分类器训练的数据,使用迁移学习方法,采用Inception_V4网络,训练是否产品二分类器,实现细节:采用Inception_V4预训练好的模型,去除全连接层,自行搭建训练二分类器需要的全连接层,训练过程只更新最后搭架的全连接层参数,Inception_V4网络参数不更新。
步骤3,利用标定产品在图片中的位置信息训练产品检测器;
将前述标定好的用于产品检测器训练的数据,使用faster-rcnn网络,使用迁移学习的方法,进行训练;网络主要采用RPN结构,另外加入了回归框,整个网络的损失函数为:
上述公式中,i表示anchors index(锚索引),pi表示foreground softmaxpredict概率(前景的概率),代表对应的GT predict概率(真实位置的概率)(即当第i个anchor(锚)与GT(真实位置)间IoU(两个框的交集与并集的比率)>0.7,认为该anchor是foreground(前景),反之当IoU<0.3时,认为该anchor是background(背景),至于那些0.3<IoU<0.7的anchor则不参与训练);ti代表predict bounding box(预测框),代表foreground anchor对应的GT box(真实框位置);Ncls表示前景背景的数量,Nreg表示回归框数量,Lcls表示分类前景背景的损失函数,Lreg表示预测回归框的损失函数。可以看到,整个Loss分为2部分:
cls loss,即rpn_cls_loss层计算的softmax loss,用于分类anchors为forground与background的网络训练。
reg loss,即rpn_loss_bbox层计算的smoothL1loss,用于boundingboxregression网络训练。注意在该loss中乘了pi,相当于只关心foreground anchors的回归(其实在回归中也完全没必要去关心background)。
由于在实际过程中,Ncls和Nreg差距过大,用参数λ平衡二者(如Ncls=256,Nreg=2400时设置λ=10),使总的网络Loss计算过程中能够均匀考虑2种Loss。这里比较重要是Lreg使用的soomth L1loss,计算公式如下:
步骤4,使用前述步骤3训练好的产品检测器,从图片中抠取产品,人工选出抠取错误的不参加训练,采用Inception_V4进行迁移学习,训练得到良品、次品的多分类器。
第二部分主要包括如下内容:针对包含有待测对象的图片,首先采用二分类器判断是否要检测的产品,如果是,则表示该待测对象符合要识别的产品类别,然后再使用训练好的产品检测器检测其在图片中的位置,并将其从图片中抠出,作为多分类器的输入,输出结果就是最终的良品次品判定结果。
以上实施例仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明保护范围之内。
Claims (4)
1.一种产品质量检测方法,其特征在于:包含两个部分的内容,第一部分是构建识别器,第二部分是采用识别器对待测产品的质量进行检测,所述识别器包括:判断待测对象是否符合检测类别的产品的二分类器,判断产品在图片中位置的产品检测器,以及判断产品为良品或次品的多分类器;
所述第一部分包含如下步骤:
步骤1,准备若干包含产品的图片作为产品样本,准备若干包含非产品的图片作为非产品样本,并对各样本进行标定,对于产品样本还需要标定其在图片中的位置和类别信息;
步骤2,利用产品样本和非产品样本,采用迁移学习方法训练二分类器,以确认是否要检测的产品;
步骤3,利用标定产品在图片中的位置信息训练产品检测器;
步骤4,使用前述步骤3训练好的产品检测器,从图片中抠取产品,采用Inception_V4进行迁移学习,训练得到多分类器;
所述步骤1的具体内容是:
首先,准备样本集,包含产品样本和非产品样本,并按照一定比例将样本集分为训练样本和测试样本;
然后,根据实际情况对各样本进行标定;将各样本分别标定产品样本或非产品样本;对产品样本,标定产品在图片中的位置,并标定产品为良品或次品;
所述步骤2的具体内容是:将标定好的所有产品样本和非产品样本,使用迁移学习方法,采用Inception_V4网络训练二分类器,具体是采用Inception_V4预训练好的模型,去除全连接层,自行搭架训练二分类器需要的全连接层,训练过程只更新最后搭架的全连接层参数,Inception_V4网络参数不更新。
3.如权利要求2所述的一种产品质量检测方法,其特征在于:所述步骤4中,还包括人工选出抠取错误的不参加训练。
4.如权利要求1所述的一种产品质量检测方法,其特征在于:所述第二部分包含如下步骤:针对包含有待测对象的图片,首先采用二分类器判断是否要检测的产品,如果是,则表示该待测对象符合要识别的产品类别,然后再使用产品检测器检测其在图片中的位置,并将其从图片中抠出,作为多分类器的输入,输出结果就是最终的良品次品判定结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810301604.8A CN108682003B (zh) | 2018-04-04 | 2018-04-04 | 一种产品质量检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810301604.8A CN108682003B (zh) | 2018-04-04 | 2018-04-04 | 一种产品质量检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108682003A CN108682003A (zh) | 2018-10-19 |
CN108682003B true CN108682003B (zh) | 2021-10-08 |
Family
ID=63800812
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810301604.8A Active CN108682003B (zh) | 2018-04-04 | 2018-04-04 | 一种产品质量检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108682003B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020178913A1 (ja) * | 2019-03-01 | 2020-09-10 | 株式会社安川電機 | 検査システム |
CN111242924A (zh) * | 2020-01-13 | 2020-06-05 | 浙江水利水电学院 | 一种产品质量管理*** |
CN111753877B (zh) * | 2020-05-19 | 2024-03-05 | 海克斯康制造智能技术(青岛)有限公司 | 一种基于深度神经网络迁移学习的产品质量检测方法 |
CN112132456A (zh) * | 2020-09-22 | 2020-12-25 | 珠海大横琴科技发展有限公司 | 一种质量检测方法、装置及电子设备 |
CN112669292B (zh) * | 2020-12-31 | 2022-09-30 | 上海工程技术大学 | 一种实现飞机蒙皮喷漆表面缺陷检测与分类的方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107368845A (zh) * | 2017-06-15 | 2017-11-21 | 华南理工大学 | 一种基于优化候选区域的Faster R‑CNN目标检测方法 |
CN107451602A (zh) * | 2017-07-06 | 2017-12-08 | 浙江工业大学 | 一种基于深度学习的果蔬检测方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8498448B2 (en) * | 2011-07-15 | 2013-07-30 | International Business Machines Corporation | Multi-view object detection using appearance model transfer from similar scenes |
CN104616031B (zh) * | 2015-01-22 | 2018-06-12 | 哈尔滨工业大学深圳研究生院 | 迁移学习方法及装置 |
US10062010B2 (en) * | 2015-06-26 | 2018-08-28 | Intel Corporation | System for building a map and subsequent localization |
US10452899B2 (en) * | 2016-08-31 | 2019-10-22 | Siemens Healthcare Gmbh | Unsupervised deep representation learning for fine-grained body part recognition |
CN106780448B (zh) * | 2016-12-05 | 2018-07-17 | 清华大学 | 一种基于迁移学习与特征融合的超声甲状腺结节良恶性分类*** |
CN107145845A (zh) * | 2017-04-26 | 2017-09-08 | 中山大学 | 基于深度学习及多特征点融合的行人检测方法 |
CN107274394A (zh) * | 2017-06-13 | 2017-10-20 | 广州启煌科技有限公司 | 一种基于滤布缺陷破损检测方法、电子设备及存储介质 |
-
2018
- 2018-04-04 CN CN201810301604.8A patent/CN108682003B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107368845A (zh) * | 2017-06-15 | 2017-11-21 | 华南理工大学 | 一种基于优化候选区域的Faster R‑CNN目标检测方法 |
CN107451602A (zh) * | 2017-07-06 | 2017-12-08 | 浙江工业大学 | 一种基于深度学习的果蔬检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108682003A (zh) | 2018-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108682003B (zh) | 一种产品质量检测方法 | |
CN108960135B (zh) | 基于高分辨遥感图像的密集舰船目标精确检测方法 | |
CN108257114A (zh) | 一种基于深度学习的输电设备缺陷自动识别方法 | |
CN104680542B (zh) | 基于在线学习的遥感影像变化检测方法 | |
CN110992349A (zh) | 一种基于深度学习的地下管道异常自动化定位与识别方法 | |
JP6707920B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
CN110415214A (zh) | 摄像头模组的外观检测方法、装置、电子设备及存储介质 | |
US20220245402A1 (en) | Ai-based pre-training model determination system, and ai-based vision inspection management system using same for product production lines | |
WO2023160666A1 (zh) | 一种目标检测方法、目标检测模型训练方法及装置 | |
CN111815573B (zh) | 一种基于深度学习的接箍外壁检测方法及*** | |
CN114841920A (zh) | 基于图像处理的火焰识别方法、装置及电子设备 | |
CN113077416A (zh) | 一种基于图像处理的焊点焊接缺陷检测方法与*** | |
CN116029979A (zh) | 一种基于改进Yolov4的布料瑕疵视觉检测方法 | |
CN113962980A (zh) | 基于改进yolov5x的玻璃容器瑕疵检测方法及*** | |
CN110751170A (zh) | 面板质量检测方法、***、终端设备及计算机可读介质 | |
JP7059889B2 (ja) | 学習装置、画像生成装置、学習方法、及び学習プログラム | |
CN110595401A (zh) | 一种使用X-ray射线检测电池四角的检测方法 | |
CN114299040A (zh) | 瓷砖瑕疵检测方法、装置和电子设备 | |
CN109493316B (zh) | 基于相似性分析和特征增量学习的封箱机烟包缺条智能检测方法 | |
CN113947567B (zh) | 基于多任务学习的缺陷检测方法 | |
CN115240031A (zh) | 一种基于生成对抗网络的板材表面缺陷生成方法及*** | |
CN113344915B (zh) | 一种输电线路关键部件缺陷检测方法及*** | |
CN115908344A (zh) | 一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法 | |
CN115222691A (zh) | 图像缺陷检测方法、***及相关装置 | |
US20230419466A1 (en) | Method and apparatus for identifying defect grade of bad picture, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |