CN107123111B - 一种用于手机屏幕缺陷检测的深度残差网络构造方法 - Google Patents
一种用于手机屏幕缺陷检测的深度残差网络构造方法 Download PDFInfo
- Publication number
- CN107123111B CN107123111B CN201710243888.5A CN201710243888A CN107123111B CN 107123111 B CN107123111 B CN 107123111B CN 201710243888 A CN201710243888 A CN 201710243888A CN 107123111 B CN107123111 B CN 107123111B
- Authority
- CN
- China
- Prior art keywords
- picture
- network
- residual error
- different
- mobile phone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Telephone Function (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
一种用于手机屏幕缺陷检测的深度残差网络构造方法,包括:1)分别采集包含瑕疵图片和正常图片,进行标记(1表示包含瑕疵图片,0表示正常图片),通过训练数据训练自定义的深度残差网络直到收敛并且有较高准确率;2)通过对深度残差网络的每个残差模块使用一定的概率进行随机移除的方法来生成浅层网络模型,并重复进行此操作,生成多个不同深度的网络模型;3)将高分辨率相机拍摄的手机屏幕图片进行不同比例的缩放,形成图片金字塔,对于每个尺度的图片,将图片分割成小块并使得图片块含有一定的重合面积,将所有小块图片作为一个组一起送入不同深度的网络模型中;4)选取每个网络模型输出的特征图作为缺陷的响应图,采用阈值分割的方法获得手机屏幕缺陷区域位置,最后将不同深度的网络模型的检测结果叠加,从而获得最终检测结果。
Description
技术领域
本发明属于目标检测与识别领域,涉及从图像中检测特定目标,具体是检测手机屏幕缺陷的方法。
背景技术
传统的用人工检测屏幕瑕疵方法存在诸多不足之处,在工业生产高速发展的今天,它已经完全无法适应当今工业生产高效、准确的要求。对手机屏幕产商而言,寻找一种高效、准确的自动化检测设备用以替代人工检测环节,成为了迫切的需求。随着计算机视觉、图像处理等领域的发展,基于机器视觉的自动化检测***成为了一种良好的解决方案。该方案通过高分辨率工业相机采集手机屏幕图像,然后将图像信息通过图像分析模块进行实时的处理,从而判断手机屏幕是否合格。
传统的基于机器视觉的屏幕缺陷检测算法,大多是针对一种或几种类别的屏幕缺陷进行设计的,不具有通用性,所以对于特殊的瑕疵,需要写专门的算法。由于屏幕的特殊性,拍照时在成像上的摩尔纹是不可避免的,而传统算法不能很好地解决摩尔纹问题。另外,传统的算法虽然可以检测较明显的线状、点状缺陷,但是对于成像上很淡缺陷以及具有特殊形状的缺陷,准确率很低。最后,传统的屏幕缺陷检测算法需要调节大量参数,尤其是在屏幕产品换型时,调整大量参数会导致时间的浪费。因此,设计一个具有良好泛化性的算法具有非常实用的价值。
近年来,深度学习方法在计算机视觉领域产生了巨大的影响。深度学习采用多层网络结构,模拟人脑中神经***的层次关系和传递方式,它已经在模式识别的多个领域得到了广泛的应用并取得了良好的成绩。本方法采用基于深度残差神经网络的分类算法,使用预处理后的手机屏幕局部图像块作为分类器的输入,然后抽取卷积神经网络的特征图作为检测结果,将缺陷检测问题转变成一个图像块分类问题,通过此方法得到的深度模型不仅能够有效地学习到图像的背景纹理模式,从含有背景纹理的图像块中准确地定位缺陷的位置,而且对于各种类型的缺陷都有较高的准确率。此外,深度残差网络模型是一种隐式的集成学习方法,训练一个深度残差网络模型可以通过移除残差模块的方式生成很多浅层网络模型,这些浅层网络模型对各种不同类型的缺陷分别具有不同的敏感度,从而能够相辅相成,检测各种不同的缺陷。使用深度残差网络的算法相比传统算法,训练过程简单,检测成功率高,并且通用性更好。
发明内容
本发明要克服基于机器视觉的屏幕缺陷检测算法的上述缺陷,提供一种用于手机屏幕缺陷检测的深度残差网络构造方法。
为实现上述目的,本发明所述的基于卷积神经网络剪枝算法的手机屏幕缺陷检测方法包括如下步骤:
1)分别采集包含瑕疵图片和正常图片,进行标记(1表示包含瑕疵图片,0表示正常图片),通过训练数据训练自定义的深度残差网络直到收敛并且有较高准确率;
2)通过对深度残差网络的每个残差模块使用一定的概率进行随机移除的方法来生成浅层网络模型,并重复进行此操作,生成多个不同深度的网络模型;
3)采集手机屏幕图片数据,生成图片金字塔,分割成图片块且保证每个图片块之间具有一定的重叠面积,用于测试阶段数据生成,送入到步骤2)获得的多个不同深度的网络模型中进行运算;
4)取每个网络模型的特征图作为响应图,采用阈值分割的方法获得缺陷位置,最后将多个不同深度网络模型的检测结果叠加并圈出。不同深度的网络模型对特定类型的缺陷具有较高的响应,通过叠加的方式能够检测出各种不同类型的手机屏幕缺陷。
步骤2)所述的通过移除残差模块生成浅层网络模型具体是:先通过随机的方式决定是否移除深度残差网络中的每个残差单元,反复多次执行此操作,并生成一系列不同的浅层网络模型;然后将这些浅层网络模型依次在测试集上测试准确率,选取准确率最高的前若干个网络模型并予以保留,将其余网络模型丢弃;利用上述方法生成浅层网络模型集合,这些网络模型各不相同,对各种不同类型缺陷具有不同的敏感度,具有相互补充的作用。
步骤3)所述的图片金字塔具体是:将原始高分辨率图片缩小成不同尺度的图片,这些不同尺度的图片合起来称为一组图片金字塔;使用图片金字塔的目的是来检测不同尺度上、不同大小的缺陷;在分割图片块时,图片块之间具有一定的重叠面积是为了避免一个完整的缺陷被分割到不同图片块中,从而造成检测结果不准确。
步骤4)所述的响应图具体是:将浅层网络模型集合中每个网络模型输出的特征图作为某一类缺陷的响应图;每个网络模型输出的特征图各不相同,并且对某一特定类型的缺陷具有良好的响应。
本发明的有益效果如下:
本发明是一种用于手机屏幕缺陷检测的深度残差网络构造方法。它基于深度学习的深度残差网络模型,采用移除残差模块的方式生成多个浅层网络模型,通过模型筛选保留检测效果较好的浅层网络集合,并将所有浅层网络模型的检测结果叠加,以达到最佳的检测效果。此外,由于深度残差网络能够自动地学习到背景纹理信息,可以较好地处理成像中的摩尔纹干扰,在屏幕产品换型时,只需要少量的训练图片进行网络微调,就可以重新保证网络的准确率达标。
与传统方法相比,本发明能够更有效地检测成像较淡以及形状特殊的缺陷。此外,传统方法需要设置大量参数,每次换型都需要调整参数才能保证算法的准确性。本发明采用的神经网络算法具有良好的自适应和泛化特性,能够快速进行屏幕产品换型,节省产线部署时间。
附图说明
图1是本发明方法的框架示意图。
图2是本发明的图片金字塔到分割成图片小块的图示。
具体实施方式
下面结合附图对本发明的技术方案进行清晰、完整的解释和描述。
本发明提出了一种用于手机屏幕缺陷检测的深度残差网络构造方法,该方法在已经拍摄的手机屏幕图片上,利用深度残差网络模型确定瑕疵在图片上的位置并圈出。
一种用于手机屏幕缺陷检测的深度残差网络构造方法包括如下步骤:
步骤1,训练阶段数据采集:分别采集包含瑕疵和正常图片小块,进行标记(1表示包含瑕疵图片,0表示正常图片)。按照10:1的比例分成训练集和验证集;自定义深度残差网络,利用上述的训练数据,训练深度残差网络直到收敛,并且能够在验证集上达到较高的分类准确率。通过观察可视化深度残差网络中间隐层的特征图,可以分析网络是否很好的学到了瑕疵特征。
步骤2,利用移除残差模块的方式生成浅层网络模型集合。具体地,预先设定一个概率p,表示每个残差模块被移除的概率。对深度残差网络的每个模块单元,根据概率p决定是否将其移除,从而得到一个浅层网络模型。然后考虑浅层网络模型集合R中是否已经包含该浅层网络模型,若不包含则将其加入到集合R中,否则丢弃该模型。反复执行上述步骤,直到集合R中包含N个不同模型。然后将集合R中的所有模型使用验证集的数据测试准确率,保留准确率前K大的模型,剔除其余模型,如图1所示。
步骤3,测试阶段数据生成:采集手机屏幕图片数据,图片包含且仅包含完整的手机屏幕位置。利用不同比例的缩放尺度将图片展成图像金字塔,用于多尺度检测。对于每个尺度的图片,预先设定图片块的重叠面积比例,然后分割成固定大小的图片块,将所有的图片块作为一组,作为所有浅层网络模型的输入数据,如图2所示。
步骤4,每一个图片块,将每个浅层网络模型输出的特征图作为响应图,将响应图对应到原图,通过阈值分割的方法,获得缺陷的位置。将所有浅层网络模型的检测结果叠加,从而获得最终检测结果。
Claims (3)
1.一种用于手机屏幕缺陷检测的深度残差网络构造方法,包括如下步骤:
1)分别采集包含瑕疵图片和正常图片,进行标记,1表示包含瑕疵图片,0表示正常图片,通过训练数据训练自定义的深度残差网络直到收敛;
2)通过对深度残差网络的每个残差模块使用一定的概率进行随机移除的方法来生成浅层网络模型,并重复进行此操作,生成多个不同深度的网络模型;
3)采集手机屏幕图片数据,生成图片金字塔,分割成图片块且保证每个图片块之间具有一定的重叠面积,用于测试阶段数据生成,送入到步骤2)获得的多个不同深度的网络模型中进行运算;
4)取每个网络模型的特征图作为响应图,采用阈值分割的方法获得缺陷位置,最后将多个不同深度网络模型的检测结果叠加并圈出,通过叠加的方式能够检测出各种不同类型的手机屏幕缺陷;
所述步骤2)通过移除残差模块生成浅层网络模型具体是:先通过随机的方式决定是否移除深度残差网络中的每个残差单元,反复多次执行此操作,并生成一系列不同的浅层网络模型;然后将这些浅层网络模型依次在测试集上测试准确率,选取准确率最高的前若干个网络模型并予以保留,将其余网络模型丢弃;利用上述方法生成浅层网络模型集合,这些网络模型各不相同,对各种不同类型缺陷具有不同的敏感度,具有相互补充的作用。
2.根据权利要求1所述的方法,其特征在于:所述步骤3)的图片金字塔具体是:将原始高分辨率图片缩小成不同尺度的图片,这些不同尺度的图片合起来称为一组图片金字塔;使用图片金字塔的目的是来检测不同尺度上、不同大小的缺陷;在分割图片块时,图片块之间具有一定的重叠面积是为了避免一个完整的缺陷被分割到不同图片块中,从而造成检测结果不准确。
3.根据权利要求1所述的方法,其特征在于,所述步骤4)的响应图具体是:将浅层网络模型集合中每个网络模型输出的特征图作为某一类缺陷的响应图;每个网络模型输出的特征图各不相同,并且对某一特定类型的缺陷具有良好的响应。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710243888.5A CN107123111B (zh) | 2017-04-14 | 2017-04-14 | 一种用于手机屏幕缺陷检测的深度残差网络构造方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710243888.5A CN107123111B (zh) | 2017-04-14 | 2017-04-14 | 一种用于手机屏幕缺陷检测的深度残差网络构造方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107123111A CN107123111A (zh) | 2017-09-01 |
CN107123111B true CN107123111B (zh) | 2020-01-24 |
Family
ID=59724665
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710243888.5A Active CN107123111B (zh) | 2017-04-14 | 2017-04-14 | 一种用于手机屏幕缺陷检测的深度残差网络构造方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107123111B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI655412B (zh) * | 2017-12-25 | 2019-04-01 | 群光電子股份有限公司 | 發光源檢測系統與方法 |
CN108229561B (zh) * | 2018-01-03 | 2022-05-13 | 北京先见科技有限公司 | 一种基于深度学习的颗粒产品缺陷检测方法 |
CN108171707A (zh) * | 2018-01-23 | 2018-06-15 | 武汉精测电子集团股份有限公司 | 一种基于深度学习的Mura缺陷等级评判方法及装置 |
CN108847223B (zh) * | 2018-06-20 | 2020-09-29 | 陕西科技大学 | 一种基于深度残差神经网络的语音识别方法 |
CN108898594A (zh) * | 2018-06-27 | 2018-11-27 | 湖北工业大学 | 一种均质面板缺陷的检测方法 |
CN110211121B (zh) * | 2019-06-10 | 2021-07-16 | 北京百度网讯科技有限公司 | 用于推送模型的方法和装置 |
CN110288586A (zh) * | 2019-06-28 | 2019-09-27 | 昆明能讯科技有限责任公司 | 一种基于可见光图像数据的多尺度输电线路缺陷检测方法 |
CN110766079B (zh) * | 2019-10-24 | 2023-07-21 | 南京纳贝信息技术有限公司 | 用于屏幕异常画面检测的训练数据的生成方法与装置 |
CN110827245A (zh) * | 2019-10-28 | 2020-02-21 | 上海悦易网络信息技术有限公司 | 一种检测屏幕显示断线的方法及设备 |
CN110796646A (zh) * | 2019-10-28 | 2020-02-14 | 上海悦易网络信息技术有限公司 | 一种电子设备屏幕区域瑕疵检测方法与设备 |
CN111080633A (zh) * | 2019-12-20 | 2020-04-28 | Oppo(重庆)智能科技有限公司 | 屏缺陷检测方法、装置、终端设备以及存储介质 |
CN111291830B (zh) * | 2020-03-04 | 2023-03-03 | 东莞理工学院 | 一种提高玻璃表面缺陷检测效率与准确率的方法 |
CN111583129A (zh) * | 2020-04-09 | 2020-08-25 | 天津大学 | 基于卷积神经网络AMNet的屏摄图像摩尔纹去除方法 |
CN111563883B (zh) * | 2020-04-22 | 2023-05-05 | 惠州旭鑫智能技术有限公司 | 屏幕视觉定位方法、定位设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104850858A (zh) * | 2015-05-15 | 2015-08-19 | 华中科技大学 | 一种注塑制品缺陷检测识别方法 |
CN106228162A (zh) * | 2016-07-22 | 2016-12-14 | 王威 | 一种基于深度学习的移动机器人快速物体识别方法 |
CN106226212A (zh) * | 2016-08-30 | 2016-12-14 | 上海交通大学 | 基于深度残差网络的高光谱霾监测方法 |
CN106372581A (zh) * | 2016-08-25 | 2017-02-01 | 中国传媒大学 | 构建及训练人脸识别特征提取网络的方法 |
-
2017
- 2017-04-14 CN CN201710243888.5A patent/CN107123111B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104850858A (zh) * | 2015-05-15 | 2015-08-19 | 华中科技大学 | 一种注塑制品缺陷检测识别方法 |
CN106228162A (zh) * | 2016-07-22 | 2016-12-14 | 王威 | 一种基于深度学习的移动机器人快速物体识别方法 |
CN106372581A (zh) * | 2016-08-25 | 2017-02-01 | 中国传媒大学 | 构建及训练人脸识别特征提取网络的方法 |
CN106226212A (zh) * | 2016-08-30 | 2016-12-14 | 上海交通大学 | 基于深度残差网络的高光谱霾监测方法 |
Non-Patent Citations (1)
Title |
---|
Deep Residual Learning for Image Recognition;Zhang X etc;《IEEE Conference on Computer Vision and Pattern Recognition》;20160630;第770-778页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107123111A (zh) | 2017-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107123111B (zh) | 一种用于手机屏幕缺陷检测的深度残差网络构造方法 | |
CN106875373B (zh) | 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法 | |
CN108961217B (zh) | 一种基于正例训练的表面缺陷检测方法 | |
CN110047073B (zh) | 一种x射线焊缝图像缺陷定级方法及*** | |
CN107330453B (zh) | 基于分步识别和融合关键部位检测的色情图像识别方法 | |
CN110473173A (zh) | 一种基于深度学习语义分割的缺陷检测方法 | |
CN111179229A (zh) | 一种基于深度学习的工业ct缺陷检测方法 | |
CN110992329A (zh) | 一种产品表面缺陷检测方法、电子设备及可读存储介质 | |
CN110992317A (zh) | 一种基于语义分割的pcb板缺陷检测方法 | |
CN107966454A (zh) | 一种基于fpga的端塞缺陷检测装置及检测方法 | |
CN105740910A (zh) | 一种车辆物件检测方法及装置 | |
CN105654121A (zh) | 一种基于深度学习的复杂提花织物缺陷检测方法 | |
CN112233067A (zh) | 一种热轧钢卷端面质量检测方法及*** | |
CN111047655A (zh) | 基于卷积神经网络的高清摄像机布料疵点检测方法 | |
CN111339902A (zh) | 一种数显仪表的液晶屏示数识别方法及装置 | |
CN116843650A (zh) | 融合aoi检测与深度学习的smt焊接缺陷检测方法及*** | |
CN109840905A (zh) | 电力设备锈迹检测方法及*** | |
CN115861170A (zh) | 基于改进yolo v4算法的表面缺陷检测方法 | |
CN109886936B (zh) | 一种低对比度缺陷检测方法和装置 | |
CN109472790A (zh) | 一种机械零件缺陷检测方法及*** | |
CN111160100A (zh) | 一种基于样本生成的轻量级深度模型航拍车辆检测方法 | |
CN112750113B (zh) | 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置 | |
CN108154199B (zh) | 一种基于深度学习的高精度快速单类目标检测方法 | |
CN113205136A (zh) | 一种用于电源适配器外观缺陷的实时高精度检测方法 | |
CN113112482A (zh) | 一种基于注意力机制网络的pcb缺陷检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20181206 Address after: 516006 5th Floor, North 36 Chenjiang Avenue, Chenjiang Street, Zhongkai High-tech Zone, Huizhou City, Guangdong Province Applicant after: Huizhou Xu Xin Intelligent Technology Co., Ltd. Address before: 310027 No. 38, Zhejiang Road, Hangzhou, Zhejiang, Xihu District Applicant before: Zhejiang University |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |