CN110276759A - 一种基于机器视觉的手机屏坏线缺陷诊断方法 - Google Patents

一种基于机器视觉的手机屏坏线缺陷诊断方法 Download PDF

Info

Publication number
CN110276759A
CN110276759A CN201910578679.5A CN201910578679A CN110276759A CN 110276759 A CN110276759 A CN 110276759A CN 201910578679 A CN201910578679 A CN 201910578679A CN 110276759 A CN110276759 A CN 110276759A
Authority
CN
China
Prior art keywords
mobile phone
phone screen
image
screen image
bad line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910578679.5A
Other languages
English (en)
Other versions
CN110276759B (zh
Inventor
张衍超
张瑜
侯竞夫
宫俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN201910578679.5A priority Critical patent/CN110276759B/zh
Publication of CN110276759A publication Critical patent/CN110276759A/zh
Application granted granted Critical
Publication of CN110276759B publication Critical patent/CN110276759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/24—Arrangements for testing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于机器视觉的手机屏坏线缺陷诊断方法，包括以下步骤：通过CCD工业相机采集图像，对所述图像中手机屏的区域进行提取，去掉所述图像背景获取手机屏图像P；对所述手机屏图像P存在的干扰信息进行剔除。对所述去除干扰后的手机屏图像P’的暗部细节进行Gamma变换增强。对所述手机屏图像P’进行缺陷检测。传统的手机屏缺陷检测是基于人工的检测，人工检测具有主观性、效率低，工厂成本高，而本发明提出的基于机器视觉的手机屏坏线缺陷检测方法具有自动化程度高、检测准确率高，低成本的优点，适应我国智能制造的战略需求。

Description

一种基于机器视觉的手机屏坏线缺陷诊断方法
技术领域
本发明涉及缺陷诊断技术领域，具体而言，尤其涉及一种基于机器视觉的手机屏坏线缺陷诊断方法。
背景技术
在工业生产高速发展的今天，各种大小、各种型号的手机充斥着全球各地，产品更新换代速度之快也令人瞠目结舌。对于手机屏幕缺陷检测来说，人工检测耗时耗力，大部分基于机器视觉的自动化检测算法只能够针对几种类型屏幕进行检测，已经无法满足手机屏幕生产商的要求。对手机屏幕生产商而言，寻找一套高效的、准确的、通用的自动化检测设备以代替人工检测是当务之急。机器视觉(也称计算机视觉)技术早已有了30多年的积累和沉淀。这是一种依靠计算机与摄像头相结合的模拟生物视觉技术，涉及数学、图像采集、图像识别、计算机科学、光学、机器学习等多个专业领域。计算机对于摄像头采集发回的屏幕样本图像的各种参数进行计算分析并与给定的指标进行比对从而得出结论，可重复性大、结果准确、效率极高，并且其特色的非接触式检测可以从采集多个角度的图像进行三维数据交叉分析，提高准确率，还可以避免检测时造成划伤、破损等二次伤害。
本发明针对在生产手机屏幕时常常出现的坏线缺陷进行了深入研究，并且针对各种不同型号的屏幕在存在包括周期性纹理、有记号笔标记、坏线不明显等干扰情况下检测准确率都极高。
发明内容
根据上述提出的技术问题，而提供一种基于机器视觉的手机屏坏线缺陷诊断方法。本发明主要利用一种基于机器视觉的手机屏坏线缺陷诊断方法，其特征在于，包括以下步骤：
步骤S1：通过CCD工业相机采集图像，对所述图像中手机屏的区域进行提取，去掉所述图像背景获取手机屏图像P；
步骤S2：对所述手机屏图像P存在的干扰信息进行剔除，获取去除干扰后的手机屏图像P’；所述干扰信息包含：周期性纹理、记号笔以及黑条；
步骤S3：对所述去除干扰后的手机屏图像P’的暗部细节进行Gamma变换增强，增强所述去除干扰后的手机屏图像P’的对比度；所述Gamma变换对所述去除干扰后的手机屏图像P’灰度值进行的非线性变换，使输出图像的灰度值与所述去除干扰后的手机屏图像P’的灰度值呈指数关系，即：
其中，Vin表示所述去除背景后的手机屏图像P’的灰度值，A表示系数，γ表示Gamma值，Vout表示所述去除背景后的手机屏图像P’经Gamma变换后的灰度值；所述Vout和所述Vin的取值范围均为[0，1]；
步骤S4：对所述手机屏图像P’进行缺陷检测。
进一步地，所述步骤S1还包括以下步骤：
步骤S11：计算所述CCD工业相机采集图像的面积；
步骤S12：对所述CCD工业相机采集图像进行预处理；所述预处理首先对图像进行灰度化处理，再将所述输入的图像转化为单通道图像并进行二值化处理；
步骤S13：通过全局自适应阈值分割方法处理所述CCD工业相机采集图像，获取矩形轮廓明显的二值图像；
步骤S14：为去除图像的噪声点的干扰因素对所述步骤S13获取的二值图像进行包含腐蚀与膨胀的形态学处理；
步骤S15：基于Findcounts轮廓检索算法获得所述手机屏的轮廓位置信息，并将轮廓信息储存在位置数组中；所述手机屏的轮廓信息包括：手机屏的矩形区域左上角顶点的坐标(x，y)；手机屏的矩形区域的纵向长度h以及手机屏矩形区域的横向长度w；
步骤S16：读取并保存所述位置数组的位置信息，对所述CCD工业相机采集图像进行裁剪获得手机屏图像P；所述裁剪获得手机屏图像P为：(y+3：y+h-3，x+3：x+w-3)。
更进一步地，所述步骤S2还包含以下步骤：
步骤S21：通过Gabor滤波，对所述手机屏图像P进行0°和90°方向的多尺度滤波，对干扰信息周期性纹理进行去除；
步骤S22：去除记号笔及黑条。
更进一步地，所述步骤S22还包含以下的步骤：
步骤S221：图像灰度化处理，转化成单通道图像，方便下一步的阈值分割。
步骤S222：通过对大量样本的数据统计，所述黑条和所述记号笔区域的灰度值均在0-100之间；将灰度值大于100的区域，灰度值设置为0，即纯黑色，除纯黑色外其他部分灰度值设置为225即纯白色，得到掩模图像即修复模板；
步骤S223：扩张待修复区域，设定修复半径R＝3；
步骤S224：利用步骤S222中得到的所述掩模，利用inpaint算法对图像进行修复。
进一步地，所述步骤S4还包括以下步骤：
步骤S41：基于霍夫变换的坏线检测，对所述手机屏图像P’中的坏线几何特征进行检测，若存在缺陷则对缺陷进行定位和提取，获取检测信息α；
步骤S42：基于BGR三通道均值的坏线检测；基于数值特征的检测，若存在缺陷，则对缺陷进行定位和提取，获取检测信息β；
步骤S43：执行所述步骤S41及所述步骤S42后，各自会输出一定的检测信息分别为α、β，通过以下算式：
F＝αβ
当且仅当F＝1时，输出的所述手机屏图像P’为好屏，否则输出的所述手机屏图像P’为坏线坏屏。
更进一步地，所述步骤S42还包括以下步骤：
步骤S421：取所述手机屏图像P’前两行求三通道(B、G、R)均值，分别为avgB0，avgG0，avgR0，将avgB0，avgG0，avgR0三通道的均值初始化为前一次三通道的均值；
步骤S422：所述手机屏图像P’下移两行像素，求三通道均值分别为avgB1，avgG1，avgR1；
步骤S423：将求得的三通道均值与前一次的三通道均值做商：
T1＝avgB1/avgB0；
T2＝avgG1/avgG0；
T3＝avgR1/avgR0；
如果至少有一个超出阈值T0，则判定出现坏线缺陷，并标记出坏线；如果没有满足上式，则再次下移两行，进行三通道均值比较；若出现缺陷，则令β＝0。
更进一步地，所述步骤S41还包括以下步骤：
步骤S411：将获得的所述手机屏图像P’进行尺寸的归一化处理为500*500，便于后续的图像处理；
步骤S412：对所述手机屏图像P’进行灰度化、二值化处理；
步骤S413：基于Canny边缘检测算法；
步骤S414：霍夫变换算法能获取步骤1-3得到的轮廓信息中的直线信息，并返回对应的直线位置信息(x1，y1)，(x1，y2)；
其中，x1、x2分别表示检测出的直线的点的横坐标，y1、y2分别检测出的直线上点的纵坐标；
步骤S415：根据返回的位置信息中y1、y2值得关系可判断是否含有缺陷；判断算式为：
y1+y2≤10或abs(y1)+abs(y2)＞1000；
其中，y1、y2分别表示对应直线上点的纵坐标；若所述位置信息满足上式则不存在坏线缺陷；若出现缺陷，则令α＝0。
较现有技术相比，本发明具有以下优点：
传统的手机屏缺陷检测是基于人工的检测，人工检测具有主观性、效率低，工厂成本高，而本发明提出的基于机器视觉的手机屏坏线缺陷检测方法具有自动化程度高、检测准确率高，低成本的优点，适应我国智能制造的战略需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明整体流程示意图。
图2(a)为本发明通过CCD拍摄得到的图像。
图2(b)为本发明通过提取得到的手机屏图像P’。
图3(a)为本发明可能含有黑条的示意图。
图3(b)为本发明去除干扰的示意图。
图3(c)为本发明可能含有记号笔的示意图。
图3(d)为本发明去除记号笔的示意图。
图4(a)为本发明含有坏线的示意图。
图4(b)为本发明Canny边缘检测处理后示意图。
图4(c)为本发明算法检测，在图中标出坏线示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1-4所示为本发明一种基于机器视觉的手机屏坏线缺陷诊断方法，包括以下步骤：
步骤S1：通过CCD工业相机采集图像，对所述图像中手机屏的区域进行提取，去掉所述图像背景获取手机屏图像P；
步骤S2：对所述手机屏图像P存在的干扰信息进行剔除，获取去除干扰后的手机屏图像P’；所述干扰信息包含：周期性纹理、记号笔以及黑条；
步骤S3：对所述去除干扰后的手机屏图像P’的暗部细节进行Gamma变换增强，增强所述去除干扰后的手机屏图像P’的对比度；所述Gamma变换对所述去除干扰后的手机屏图像P’灰度值进行的非线性变换，使输出图像的灰度值与所述去除干扰后的手机屏图像P’的灰度值呈指数关系，即：
其中，Vin表示所述去除背景后的手机屏图像P’的灰度值，A表示系数，γ表示Gamma值，Vout表示所述去除背景后的手机屏图像P’经Gamma变换后的灰度值；所述Vout和所述Vin的取值范围均为[0，1]；
步骤S4：对所述手机屏图像P’进行缺陷检测。
作为一种优选的实施方式，步骤S1还包括以下步骤：
步骤S11：计算所述CCD工业相机采集图像的面积；
步骤S12：对所述CCD工业相机采集图像进行预处理；所述预处理首先对图像进行灰度化处理，再将所述输入的图像转化为单通道图像并进行二值化处理。
步骤S13：通过全局自适应阈值分割方法处理所述CCD工业相机采集图像，获取矩形轮廓明显的二值图像。
步骤S14：为去除图像的噪声点的干扰因素对所述步骤S13获取的二值图像进行包含腐蚀与膨胀的形态学处理。
腐蚀的计算公式为：
膨胀的计算公式为：
可以理解为在其它的实施方式中，腐蚀与膨胀方式可以按照实际情况进行选择，只要能够满足能够将二值图进行形态学处理即可。
步骤S15：基于Findcounts轮廓检索算法获得所述手机屏的轮廓位置信息，并将轮廓信息储存在位置数组中；所述手机屏的轮廓信息包括：手机屏的矩形区域左上角顶点的坐标(x,y)；手机屏的矩形区域的纵向长度h以及手机屏矩形区域的横向长度w。
步骤S16：读取并保存所述位置数组的位置信息，对所述CCD工业相机采集图像进行裁剪获得手机屏图像P；所述裁剪获得手机屏图像P为：(y+3：y+h-3，x+3：x+w-3)。
在本实施方式中，所述步骤S2还包含以下步骤：
步骤S21：通过Gabor滤波，对所述手机屏图像P进行0°和90°方向的多尺度滤波，对干扰信息周期性纹理进行去除；
步骤S22：去除记号笔及黑条。
更进一步地，所述步骤S22还包含以下的步骤：
步骤S221：图像灰度化处理，转化成单通道图像，方便下一步的阈值分割；
步骤S222：通过对大量样本的数据统计，所述黑条和所述记号笔区域的灰度值均在0-100之间；将灰度值大于100的区域，灰度值设置为0，即纯黑色，除纯黑色外其他部分灰度值设置为225即纯白色，得到掩模图像即修复模板；
步骤S223：扩张待修复区域，设定修复半径R＝3；
步骤S224：利用步骤S222中得到的所述掩模，利用inpaint算法对图像进行修复。
进一步地，所述步骤S4还包括以下步骤：
步骤S41：基于霍夫变换的坏线检测，对所述手机屏图像P’中的坏线几何特征进行检测，若存在缺陷则对缺陷进行定位和提取，获取检测信息α；
步骤S42：基于BGR三通道均值的坏线检测；基于数值特征的检测，若存在缺陷，则对缺陷进行定位和提取，获取检测信息β；
步骤S43：执行所述步骤S41及所述步骤S42后，各自会输出一定的检测信息分别为α、β，通过以下算式：
F＝αβ
当且仅当F＝1时，输出的所述手机屏图像P’为好屏，否则输出的所述手机屏图像P’为坏线坏屏。
更进一步地，所述步骤S42还包括以下步骤：
步骤S421：取所述手机屏图像P’前两行求三通道(B、G、R)均值，分别为avgB0，avgG0，avgR0，将avgB0，avgG0，avgR0三通道的均值初始化为前一次三通道的均值；
步骤S422：所述手机屏图像P’下移两行像素，求三通道均值分别为avgB1，avgG1，avgR1；
步骤S423：将求得的三通道均值与前一次的三通道均值做商：
T1＝avgB1/avgB0；
T2＝avgG1/avgG0；
T3＝avgR1/avgR0；
如果至少有一个超出阈值T0，则判定出现坏线缺陷，并标记出坏线；如果没有满足上式，则再次下移两行，进行三通道均值比较；若出现缺陷，则令β＝0。
更进一步地，所述步骤S41还包括以下步骤：
步骤S411：将获得的所述手机屏图像P’进行尺寸的归一化处理为500*500，便于后续的图像处理；
步骤S412：对所述手机屏图像P’进行灰度化、二值化处理；
步骤S413：基于Canny边缘检测算法；
作为优选的实施方式，Canny算法实现的第一步是用高斯滤波对图像去噪，对于二维图像，高斯模糊要做卷积处理，将二维的卷积化成两个一维卷积，即先对行做一维卷积，再对列做一维卷积。高斯模糊将(灰度)图像I和一个高斯核进行卷积操作：
Iσ＝I*Gσ
其中，*表示卷积操作，Gσ是标准差为σ的二维高斯核，定义为：
对平滑后的图像使用Sobel算子计算水平方向和竖直方向的一阶导数(图像梯度)(Gx和Gy)。根据得到的这两幅梯度图(Gx和Gy)找到边界的梯度和方向。如下所示：
步骤S414：霍夫变换算法能获取步骤1-3得到的轮廓信息中的直线信息，并返回对应的直线位置信息(x1，y1)，(x1，y2)；
其中，x1、x2分别表示检测出的直线的点的横坐标，y1、y2分别检测出的直线上点的纵坐标；
步骤S415：根据返回的位置信息中y1、y2值得关系可判断是否含有缺陷；判断算式为：
y1+y2≤10或abs(y1)+abs(y2)＞1000；
其中，y1、y2分别表示对应直线上点的纵坐标；若所述位置信息满足上式则不存在坏线缺陷；若出现缺陷，则令α＝0。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种基于机器视觉的手机屏坏线缺陷诊断方法，其特征在于，包括以下步骤：
S1：通过CCD工业相机采集图像，对所述图像中手机屏的区域进行提取，去掉所述图像背景获取手机屏图像P；
S2：对所述手机屏图像P存在的干扰信息进行剔除，获取去除干扰后的手机屏图像P’；所述干扰信息包含：周期性纹理、记号笔以及黑条；
S3：对所述去除干扰后的手机屏图像P’的暗部细节进行Gamma变换增强，增强所述去除干扰后的手机屏图像P’的对比度；所述Gamma变换对所述去除干扰后的手机屏图像P’灰度值进行的非线性变换，使输出图像的灰度值与所述去除干扰后的手机屏图像P’的灰度值呈指数关系，即：
其中，Vin表示所述去除背景后的手机屏图像P’的灰度值，A表示系数，γ表示Gamma值，Vout表示所述去除背景后的手机屏图像P’经Gamma变换后的灰度值；所述Vout和所述Vin的取值范围均为[0,1]；
S4：对所述手机屏图像P’进行缺陷检测。
2.根据权利要求1所述的一种基于机器视觉的手机屏坏线缺陷诊断方法，其特征还在于：
所述步骤S1还包括以下步骤：
S11：计算所述CCD工业相机采集图像的面积；
S12：对所述CCD工业相机采集图像进行预处理；所述预处理首先对图像进行灰度化处理，再将所述输入的图像转化为单通道图像并进行二值化处理；
S13：通过全局自适应阈值分割方法处理所述CCD工业相机采集图像，获取矩形轮廓明显的二值图像；
S14：为去除图像的噪声点的干扰因素对所述步骤S13获取的二值图像进行包含腐蚀与膨胀的形态学处理；
S15：基于Findcounts轮廓检索算法获得所述手机屏的轮廓位置信息，并将轮廓信息储存在位置数组中；所述手机屏的轮廓信息包括：手机屏的矩形区域左上角顶点的坐标(x,y)；手机屏的矩形区域的纵向长度h以及手机屏矩形区域的横向长度w；
S16：读取并保存所述位置数组的位置信息，对所述CCD工业相机采集图像进行裁剪获得手机屏图像P；所述裁剪获得手机屏图像P为：(y+3：y+h-3，x+3：x+w-3)。
3.根据权利要求1所述的一种基于机器视觉的手机屏坏线缺陷诊断方法，其特征还在于：所述步骤S2还包含以下步骤：
S21：通过Gabor滤波，对所述手机屏图像P进行0°和90°方向的多尺度滤波，对干扰信息周期性纹理进行去除；
S22：去除记号笔及黑条干扰因素。
4.根据权利要求3所述的一种基于机器视觉的手机屏坏线缺陷诊断方法，其特征还在于：所述步骤S22还包含以下的步骤：
S221：图像灰度化处理，转化成单通道图像，方便下一步的阈值分割；
S222：通过对大量样本的数据统计，所述黑条和所述记号笔区域的灰度值均在0-100之间；将灰度值大于100的区域，灰度值设置为0，即纯黑色，除纯黑色外其他部分灰度值设置为225即纯白色，得到掩模图像即修复模板；
S223：扩张待修复区域，设定修复半径R＝3；
S224：利用步骤S222中得到的所述掩模，利用inpaint算法对图像进行修复。
5.根据权利要求1所述的一种基于机器视觉的手机屏坏线缺陷诊断方法，其特征还在于：所述步骤S4还包括以下步骤：
S41：基于霍夫变换的坏线检测，对所述手机屏图像P’中的坏线几何特征进行检测，若存在缺陷则对缺陷进行定位和提取，获取检测信息α；
S42：基于BGR三通道均值的坏线检测；基于数值特征的检测，若存在缺陷，则对缺陷进行定位和提取，获取检测信息β；
S43：执行所述步骤S41及所述步骤S42后，各自会输出一定的检测信息分别为α、β，通过以下算式：
F＝αβ
当且仅当F＝1时，输出的所述手机屏图像P’为好屏，否则输出的所述手机屏图像P’为坏线坏屏；
所述步骤S42还包括以下步骤：
S421：取所述手机屏图像P’前两行求三通道(B、G、R)均值，分别为avgB0，avgG0，avgR0，将avgB0，avgG0，avgR0三通道的均值初始化为前一次三通道的均值；
S422：所述手机屏图像P’下移两行像素，求三通道均值分别为avgB1，avgG1，avgR1；
S423：将求得的三通道均值与前一次的三通道均值做商：
T1＝avgB1/avgB0；
T2＝avgG1/avgG0；
T3＝avgR1/avgR0；
如果至少有一个超出阈值T0，则判定出现坏线缺陷，并标记出坏线；如果没有满足上式，则再次下移两行，进行三通道均值比较；若出现缺陷，则令β＝0。
6.根据权利要求1所述的一种基于机器视觉的手机屏坏线缺陷诊断方法，其特征还在于：所述步骤S41还包括以下步骤：
S411：将获得的所述手机屏图像P’进行尺寸的归一化处理为500*500，便于后续的图像处理；
S412：对所述手机屏图像P’进行灰度化、二值化处理；
S413：基于Canny边缘检测算法；
S414：霍夫变换算法能获取步骤1-3得到的轮廓信息中的直线信息，并返回对应的直线位置信息(x1,y1),(x1,y2)；
其中，x1、x2分别表示检测出的直线的点的横坐标，y1、y2分别检测出的直线上点的纵坐标；
S415：根据返回的位置信息中y1、y2值得关系可判断是否含有缺陷；判断算式为：
y1+y2≤10或abs(y1)+abs(y2)>1000；
其中，y1、y2分别表示对应直线上点的纵坐标；若所述位置信息满足上式则不存在坏线缺陷；若出现缺陷，则令α＝0。
CN201910578679.5A 2019-06-28 2019-06-28 一种基于机器视觉的手机屏坏线缺陷诊断方法 Active CN110276759B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910578679.5A CN110276759B (zh) 2019-06-28 2019-06-28 一种基于机器视觉的手机屏坏线缺陷诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910578679.5A CN110276759B (zh) 2019-06-28 2019-06-28 一种基于机器视觉的手机屏坏线缺陷诊断方法

Publications (2)

Publication Number Publication Date
CN110276759A true CN110276759A (zh) 2019-09-24
CN110276759B CN110276759B (zh) 2023-04-28

Family

ID=67962594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910578679.5A Active CN110276759B (zh) 2019-06-28 2019-06-28 一种基于机器视觉的手机屏坏线缺陷诊断方法

Country Status (1)

Country Link
CN (1) CN110276759B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724375A (zh) * 2020-06-22 2020-09-29 中国科学院大学 一种屏幕检测方法及***
CN114268621A (zh) * 2021-12-21 2022-04-01 东方数科(北京)信息技术有限公司 基于深度学习的数字仪表读表方法及装置
CN116468726A (zh) * 2023-06-13 2023-07-21 厦门福信光电集成有限公司 一种在线异物线路检测方法及***
CN117911409A (zh) * 2024-03-19 2024-04-19 深圳市酷童小样科技有限公司 一种基于机器视觉的手机屏坏线缺陷诊断方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100418356B1 (ko) * 2003-03-31 2004-02-14 (주)에이치아이티에스 라인스캔 카메라를 이용한 엘시디(lcd) 패널의 에지면검사방법
CN101587730A (zh) * 2008-04-09 2009-11-25 联发科技股份有限公司 光盘缺陷侦测装置及其方法
US20100142845A1 (en) * 2008-12-09 2010-06-10 Vladimir Rybkin Method and system for restoring a motion-blurred image
US20130229531A1 (en) * 2012-03-05 2013-09-05 Apple Inc. Camera blemish defects detection
CN105589224A (zh) * 2014-11-12 2016-05-18 乐金显示有限公司 具有测量标记的液晶显示装置、测量密封线的设备和方法
CN106157310A (zh) * 2016-07-06 2016-11-23 南京汇川图像视觉技术有限公司 基于混合自适应水平集模型与多通道结合的TFT LCD mura缺陷检测方法
CN107194919A (zh) * 2017-05-18 2017-09-22 南京大学 基于规律纹理背景重建的手机屏幕缺陷检测方法
CN107818556A (zh) * 2016-08-31 2018-03-20 江苏邦融微电子有限公司 电容式指纹采集***的坏线自检测和自修复方法
CN107845087A (zh) * 2017-10-09 2018-03-27 深圳市华星光电半导体显示技术有限公司 液晶面板亮度不均匀缺陷的检测方法和***
CN107862692A (zh) * 2017-11-30 2018-03-30 中山大学 一种基于卷积神经网络的织带断痕缺陷检测方法
CN109167928A (zh) * 2018-09-06 2019-01-08 武汉精测电子集团股份有限公司 基于显示面板缺陷检测的快速自动曝光方法及***
CN109685794A (zh) * 2018-12-25 2019-04-26 凌云光技术集团有限责任公司 用于手机屏幕缺陷检测相机自适应步长dpc算法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100418356B1 (ko) * 2003-03-31 2004-02-14 (주)에이치아이티에스 라인스캔 카메라를 이용한 엘시디(lcd) 패널의 에지면검사방법
CN101587730A (zh) * 2008-04-09 2009-11-25 联发科技股份有限公司 光盘缺陷侦测装置及其方法
US20100142845A1 (en) * 2008-12-09 2010-06-10 Vladimir Rybkin Method and system for restoring a motion-blurred image
US20130229531A1 (en) * 2012-03-05 2013-09-05 Apple Inc. Camera blemish defects detection
CN105589224A (zh) * 2014-11-12 2016-05-18 乐金显示有限公司 具有测量标记的液晶显示装置、测量密封线的设备和方法
CN106157310A (zh) * 2016-07-06 2016-11-23 南京汇川图像视觉技术有限公司 基于混合自适应水平集模型与多通道结合的TFT LCD mura缺陷检测方法
CN107818556A (zh) * 2016-08-31 2018-03-20 江苏邦融微电子有限公司 电容式指纹采集***的坏线自检测和自修复方法
CN107194919A (zh) * 2017-05-18 2017-09-22 南京大学 基于规律纹理背景重建的手机屏幕缺陷检测方法
CN107845087A (zh) * 2017-10-09 2018-03-27 深圳市华星光电半导体显示技术有限公司 液晶面板亮度不均匀缺陷的检测方法和***
CN107862692A (zh) * 2017-11-30 2018-03-30 中山大学 一种基于卷积神经网络的织带断痕缺陷检测方法
CN109167928A (zh) * 2018-09-06 2019-01-08 武汉精测电子集团股份有限公司 基于显示面板缺陷检测的快速自动曝光方法及***
CN109685794A (zh) * 2018-12-25 2019-04-26 凌云光技术集团有限责任公司 用于手机屏幕缺陷检测相机自适应步长dpc算法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
姚海根 等: "《数字印前技术》", 31 January 2012, 印刷工业出版社 *
郝仕嘉 等: "基于机器视觉的手机屏幕缺陷检测方法研究", 《信息与电脑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724375A (zh) * 2020-06-22 2020-09-29 中国科学院大学 一种屏幕检测方法及***
CN111724375B (zh) * 2020-06-22 2023-05-09 中国科学院大学 一种屏幕检测方法及***
CN114268621A (zh) * 2021-12-21 2022-04-01 东方数科(北京)信息技术有限公司 基于深度学习的数字仪表读表方法及装置
CN114268621B (zh) * 2021-12-21 2024-04-19 东方数科(北京)信息技术有限公司 基于深度学习的数字仪表读表方法及装置
CN116468726A (zh) * 2023-06-13 2023-07-21 厦门福信光电集成有限公司 一种在线异物线路检测方法及***
CN116468726B (zh) * 2023-06-13 2023-10-03 厦门福信光电集成有限公司 一种在线异物线路检测方法及***
CN117911409A (zh) * 2024-03-19 2024-04-19 深圳市酷童小样科技有限公司 一种基于机器视觉的手机屏坏线缺陷诊断方法
CN117911409B (zh) * 2024-03-19 2024-05-31 深圳市酷童小样科技有限公司 一种基于机器视觉的手机屏坏线缺陷诊断方法

Also Published As

Publication number Publication date
CN110276759B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN111402264B (zh) 图像区域分割方法、装置及其模型训练方法及计算机设备
CN108960245B (zh) 轮胎模具字符的检测与识别方法、装置、设备及存储介质
CN110276759A (zh) 一种基于机器视觉的手机屏坏线缺陷诊断方法
CN104751142B (zh) 一种基于笔划特征的自然场景文本检测方法
CN104408449B (zh) 智能移动终端场景文字处理方法
CN110119741A (zh) 一种有背景的卡证图像信息识别方法
CN109426814A (zh) 一种***图片特定板块的定位、识别方法、***、设备
CN114359998B (zh) 一种人脸口罩佩戴状态下的识别方法
CN111754538B (zh) Usb表面缺陷检测的阈值分割方法
CN116704516B (zh) 一种用于水溶肥料包装的视觉检测方法
CN110648312A (zh) 一种基于鳞片形态特征分析的羊毛与羊绒纤维识别方法
CN113034497A (zh) 一种基于视觉的保温杯焊缝定位检测方法及***
CN115393375A (zh) 荧光显微成像中明场细胞图像分割方法和装置
CN114119695A (zh) 一种图像标注方法、装置及电子设备
CN112686872B (zh) 基于深度学习的木材计数方法
CN111191584B (zh) 一种人脸识别方法及装置
CN117496532A (zh) 基于0cr的智慧识别工具
Manuaba et al. The object detection system of balinese script on traditional Balinese manuscript with findcontours method
CN112101293A (zh) 人脸表情的识别方法、装置、设备及存储介质
CN104102911A (zh) 一种基于aoi的子弹表观缺陷检测***的图像处理算法
CN108985294B (zh) 一种轮胎模具图片的定位方法、装置、设备及存储介质
Khan et al. Segmentation of single and overlapping leaves by extracting appropriate contours
CN115019306A (zh) 一种基于深度学习和机器视觉的包埋盒标签批量识别方法及***
CN112633289B (zh) 一种粘连字符分割方法和***
CN110276260B (zh) 一种基于深度摄像头的商品检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant