CN111724375A - 一种屏幕检测方法及*** - Google Patents

一种屏幕检测方法及*** Download PDF

Info

Publication number
CN111724375A
CN111724375A CN202010573549.5A CN202010573549A CN111724375A CN 111724375 A CN111724375 A CN 111724375A CN 202010573549 A CN202010573549 A CN 202010573549A CN 111724375 A CN111724375 A CN 111724375A
Authority
CN
China
Prior art keywords
detection
edge
convolution
screen
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010573549.5A
Other languages
English (en)
Other versions
CN111724375B (zh
Inventor
高岩
王孟醒
申立勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Chinese Academy of Sciences
Original Assignee
University of Chinese Academy of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Chinese Academy of Sciences filed Critical University of Chinese Academy of Sciences
Priority to CN202010573549.5A priority Critical patent/CN111724375B/zh
Publication of CN111724375A publication Critical patent/CN111724375A/zh
Application granted granted Critical
Publication of CN111724375B publication Critical patent/CN111724375B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种屏幕检测方法及***,所述检测方法,对待检测屏幕的彩色图片进行预处理,获得预处理后的图片;对所述预处理后的图片采用卷积算子进行边缘检测,获得边缘检测结果;基于所述边缘检测结果,采用卷积滤波算法进行坏点检测,获得坏点检测结果;基于所述边缘检测结果,采用Houghline检测算法进行坏线检测,获得坏线检测结果。本发明采用卷积算子进行边缘检测,在提高边缘检测精度的同时提高了边缘检测的速度,本发明得到的边缘检测结果既可以用于坏线检测又可以用于坏点检测,通过同一计算结果的重复利用进一步提高了检测速度。

Description

一种屏幕检测方法及***
技术领域
本发明涉及屏幕检测技术领域,特别涉及一种屏幕检测方法及***。
背景技术
电子屏幕的生产中,缺陷检测是生产线中重要一环。目前很多生产线仍然通过人工观察的方式,其结果依赖人工经验而不稳定,且生产成本高,因而人工检测需通过机器智能技术替换。针对工业生产中对于简单可靠、准确实时的要求。
屏幕缺陷检测是工业生产中的重要问题之一。应用传统图像处理方法检测物体表面缺陷的一般步骤为:首先,应用图像处理方法对目标图像进行图像预处理,从而精确处理每个像素。进而依据实际应用的需要设置、调整和改进各种参数,达到降低噪声、提升或降低亮度和提高图像对比度的效果,从而提高图像的质量,为图像的进一步处理奠定基础。其次,应用直方图分析、小波变换、傅里叶变换和边缘检测等方法,从而获得在特定区域或特定频域内的图像结果,从而便于后续设计算法并对图像进行特征提取。最后,应用如调整阈值界、决策树、Adaboost和SVM等方法,对所获得的图像特征进行分类,从而得到最后的检测结果。
图像处理方法具有精确、安全、可靠和可重复的特点,并且被广泛的研究并提出了很多有效的方法。其中,Peng等人提出了一种在线玻璃缺陷检测的方法。该算法首先选择下限去除条纹状的背景图案,然后通过选择固定阈值和OTSU图像阈值算法提取缺损的部位。这种方法在快速检测如气泡、污点和变形等玻璃缺陷时的效果很好,但在检测玻璃的细微光学缺陷时的结果却很差。Zhao等人结合Canny算子、二元特征直方图和Adaboost算法,提出了一种用于玻璃缺陷检测和分类的算法。但这种算法的检测类型仅为玻璃是否含有气泡,且在对检测精度要求越来越高的工业生产中,该方法的测量精度较低。Liu等人提出了一种基于主成分分析算法来检测和识别手机玻璃的缺陷。该算法先使用OTSU图像阈值算法在预处理阶段定位可能存在缺陷的位置,再提取十类特征,最后对目标图像进行分类识别。Li等人提出了一种基于主成分分析法来检测和提取手机屏幕玻璃缺陷的算法。但该算法在屏幕出现未知问题时,也会将其依照最初设定的分类分入其中的一类缺陷。Win等人将基于中值的OTSU图像阈值算法和对比度调整的方法相结合,提出了对屏幕表面缺陷的自动检测算法。该算法简单但十分有效,可以克服一定程度上图像的亮度和对比度的影响,但当样本量较大时,最佳阈值的计算时间较长,效率较低,且容易被噪声点所干扰。Liang等人基于主成分分析方法提出了一种低分辨率图像的稀疏表示,从而快速有效地检测出手机屏幕的缺陷。Jian等人通过模糊均值聚类方法实现了对手机屏幕缺陷的自动检测。该算法在图片预处理的过程中,分辨并对准物体轮廓,然后通过投影对缺陷区域进行提取。该算法的分辨精度很高,但检测时间则会相对延长。
如何在保证屏幕检测精度的同时,提高屏幕检测的速度成为一个亟待解决的技术问题。
发明内容
本发明的目的是提供一种屏幕检测方法及***,以实现在保证屏幕检测精度的同时,提高屏幕检测的速度。
为实现上述目的,本发明提供了如下方案:
一种屏幕检测方法,所述检测方法包括如下步骤:
对待检测屏幕的彩色图片进行预处理,获得预处理后的图片;
对所述预处理后的图片采用卷积算子进行边缘检测,获得边缘检测结果;
基于所述边缘检测结果,采用卷积滤波算法进行坏点检测,获得坏点检测结果;
基于所述边缘检测结果,采用Houghline检测算法进行坏线检测,获得坏线检测结果。
可选的,所述对待检测屏幕的彩色图片进行预处理,获得预处理后的图片,具体包括:
对所述彩色图片进行灰度化处理,获得灰度化处理后的图片,作为预处理后的图片。
可选的,所述对所述预处理后的图片采用卷积算子进行边缘检测,获得边缘检测结果,具体包括:
利用公式Gedge*Igray=|Gx*Igray|+|Gy*Igray|对预处理后的图片进行卷积操作,获得卷积操作结果;其中,Igray表示预处理后的图片,Gedge表示卷积操作表示算子,Gx和Gy分别表示第一卷积核和第二卷积核,
Figure BDA0002550504840000031
对所述卷积操作结果利用公式
Figure BDA0002550504840000032
进行二值化操作,获得边缘检测结果;其中,Iedge表示边缘检测结果,(Gedge*Igray)(i,j)表示位于(i,j)的像素点的卷积操作表示算子与灰度图像的卷积,T表示边缘检测阈值。
可选的,所述对所述卷积操作结果利用公式
Figure BDA0002550504840000033
进行二值化操作,获得边缘检测结果,之前还包括:
对所述卷积操作结果进行top-hat变换,获得增强后的卷积操作结果;
设置不同的预设阈值,计算每个预设阈值对应的增强后的卷积操作结果的类间方差;
选取类间方差最大的预设阈值作为边缘检测阈值。
可选的,所述基于所述边缘检测结果,采用卷积滤波算法进行坏点检测,获得坏点检测结果,具体包括:
根据边缘检测结果Iedge,用卷积滤波算法,利用公式
Figure BDA0002550504840000041
进行坏点检测,获得坏点检测结果Inew;其中,G表示拉普拉斯卷积算子。
一种屏幕检测***,所述检测***包括:
预处理模块,用于对待检测屏幕的彩色图片进行预处理,获得预处理后的图片;
边缘检测模块,用于对所述预处理后的图片采用卷积算子进行边缘检测,获得边缘检测结果;
坏点检测模块,用于基于所述边缘检测结果,采用卷积滤波算法进行坏点检测,获得坏点检测结果;
坏线检测模块,用于基于所述边缘检测结果,采用Houghline检测算法进行坏线检测,获得坏线检测结果。
可选的,所述预处理模块,具体包括:
灰度化处理子模块,用于对所述彩色图片进行灰度化处理,获得灰度化处理后的图片,作为预处理后的图片。
可选的,所述边缘检测模块,具体包括:
卷积操作子模块,用于利用公式Gedge*Igray=|Gx*Igray|+|Gy*Igray|对预处理后的图片进行卷积操作,获得卷积操作结果;其中,Igray表示预处理后的图片,Gedge表示卷积操作表示算子,Gx和Gy分别表示第一卷积核和第二卷积核,
Figure BDA0002550504840000051
二值操作子模块,用于对所述卷积操作结果利用公式
Figure BDA0002550504840000052
进行二值化操作,获得边缘检测结果;其中,Iedge表示边缘检测结果,(Gedge*Igray)(i,j)表示位于(i,j)的像素点的卷积操作表示算子与灰度图像的卷积,T表示边缘检测阈值。
可选的,所述边缘检测模块,还包括:
top-hat变换子模块,用于对所述卷积操作结果进行top-hat变换,获得增强后的卷积操作结果;
类间方差计算子模块,用于设置不同的预设阈值,计算每个预设阈值对应的增强后的卷积操作结果的类间方差;
边缘检测阈值计算子模块,用于选取类间方差最大的预设阈值作为边缘检测阈值。
可选的,所述坏点检测模块,具体包括:
坏点检测子模块,用于根据边缘检测结果Iedge,用卷积滤波算法,利用公式
Figure BDA0002550504840000053
进行坏点检测,获得坏点检测结果Inew;其中,G表示拉普拉斯卷积算子。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明公开了一种屏幕检测方法及***,所述检测方法,对待检测屏幕的彩色图片进行预处理,获得预处理后的图片;对所述预处理后的图片采用卷积算子进行边缘检测,获得边缘检测结果;基于所述边缘检测结果,采用卷积滤波算法进行坏点检测,获得坏点检测结果;基于所述边缘检测结果,采用Houghline检测算法进行坏线检测,获得坏线检测结果。本发明采用卷积算子进行边缘检测,在提高边缘检测精度的同时提高了边缘检测的速度,本发明得到的边缘检测结果既可以用于坏线检测又可以用于坏点检测,通过同一计算结果的重复利用进一步提高了检测速度。
本发明采用自适应边缘检测阈值的方式使本发明的方法及***可以应用于不同的场景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的一种屏幕检测方法的流程图;
图2为本发明提供的待检测屏幕的示例图;其中,图2(a)为带有坏点的待检测屏幕的示例图,图2(b)带有坏线的待检测屏幕的示例图;
图3为本发明提供的待检测屏幕的边缘检测结果示意图;其中,图3(a)为带有坏点的待检测屏幕的边缘检测结果示意图,图3(b)带有坏线的待检测屏幕的边缘检测结果示意图;
图4为本发明提供的现有的不同算子的边缘检测结果示意图;
图5为本发明提供的待检测屏幕的坏点检测结果示意图;
图6为本发明提供的待检测屏幕的边缘对比图;其中,图6(a)为外部边缘示意图,图6(b)为内部边缘示意图;
图7为本发明提供的坏线初步检测结果示意图;
图8为本发明提供的坏线最终检测结果示意图;
图9为本发明提供的自适应阈值坏线检测结果示意图;
图10为本发明提供的多个离散的坏点的检测结果示意图;其中,图10(a)为多个离散的坏点的待检测屏幕的示例图,图10(b)为多个离散点的待检测屏幕的检测效果图;
图11为本发明提供的多个连续的坏点的检测结果示意图;其中,图11(a)为多个连续的坏点的待检测屏幕的示例图,图11(b)为多个连续的待检测屏幕的检测效果图;
图12本发明提供的单个较大面积的坏点的检测结果示意图;其中,图12(a)为单个较大面积的坏点的待检测屏幕的示例图,图12(b)为单个较大面积的待检测屏幕的检测效果图;
图13本发明提供的多个离散较大面积的坏点的检测结果示意图;其中,图13(a)为多个离散较大面积的坏点的待检测屏幕的示例图,图13(b)为多个离散较大面积的待检测屏幕的检测效果图;
图14本发明提供的多个连续较大面积的坏点的检测结果示意图;其中,图14(a)为多个连续较大面积的坏点的待检测屏幕的示例图,图14(b)为多个连续较大面积的待检测屏幕的检测效果图;
图15本发明提供的一条不贯穿的坏线的检测结果示意图;其中,图15(a)为一条不贯穿的坏线的坏点的待检测屏幕的示例图,图15(b)为一条不贯穿的坏线的待检测屏幕的检测效果图。
具体实施方式
本发明的目的是提供一种屏幕检测方法及***,以实现在保证屏幕检测精度的同时,提高屏幕检测的速度。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对发明作进一步详细的说明。
为实现上述目的,本发明提供了如下方案:
如图1所示本发明提供一种屏幕检测方法,所述检测方法包括如下步骤:
步骤101,对待检测屏幕的彩色图片进行预处理,获得预处理后的图片。
步骤101具体包括:对所述彩色图片进行灰度化处理,获得灰度化处理后的图片,作为预处理后的图片。
具体的,将屏幕和屏幕的背景进行分离的第一步,就是将彩色图片Irgb转换为灰度图像Igray,这里可以使用下面的公式进行实现:
Figure BDA0002550504840000081
其中(u,v)表示像素坐标,IrgbR,IrgbG,IrgbB分别表示彩色图像中红绿蓝三个通道中的图像。
本发明使用彩色相机进行拍摄得到的图片会比使用单通道相机进行拍摄得到的图片包含更多的信息。
步骤102,对所述预处理后的图片采用卷积算子进行边缘检测,获得边缘检测结果;
步骤102所述对所述预处理后的图片采用卷积算子进行边缘检测,获得边缘检测结果,具体包括:利用公式Gedge*Igray=|Gx*Igray|+|Gy*Igray|对预处理后的图片进行卷积操作,获得卷积操作结果;其中,Igray表示预处理后的图片,Gedge表示卷积操作表示算子,Gx和Gy分别表示第一卷积核和第二卷积核,
Figure BDA0002550504840000082
对所述卷积操作结果利用公式
Figure BDA0002550504840000083
进行二值化操作,获得边缘检测结果;其中,Iedge表示边缘检测结果,(Gedge*Igray)(i,j)表示位于(i,j)的像素点的卷积操作表示算子与灰度图像的卷积,T表示边缘检测阈值。
具体的,首先对于边缘和轮廓进行定义:对于(u,v)处两侧像素值差距较大的像素点,将其称为物体的外部边缘,对应于图2(a)中屏幕与背景间的轮廓线;对于(u,v)处两侧像素值差距较小的像素点,将其称为物体的内部边缘,对应于图2(b)屏幕中坏线的位置。为了便于区分两种边缘,可以尝试使用Roberts边缘检测算子、Sobel边缘检测算子、LoG边缘检测算子和Canny边缘检测算子等方法,但都不能满足我们的要求,因此本发明定义了一种新的卷积算子,其表示形式如下:
Figure BDA0002550504840000091
Gx和Gy分别为两个卷积核。
Gx与图像I的卷积结果体现了图像I在水平方向上的变化,数值越大表示图像在该点水平方向的变化越明显。
Gy与图像I的卷积结果体现了图像I在垂直方向上的变化,数值越大表示图像在该点垂直方向的变化越明显。
应用这种卷积操作表示算子,对于灰度图像Igray进行卷积操作,再进行二值化操作,就可以得到提取边缘后的图像Iedge,操作过程如下所示:
Iedge=sgn(Gedge*Igray) (3)
即,
Figure BDA0002550504840000092
对于两张原始缺陷图像的处理结果如图3所示。
在这里,以图2(b)为例,将本发明的卷积算子与其他算子进行对比,本发明的检测结果如图3所示,其他算子的边缘检测结果如图4所示。
与Roberts算子的检测结果相比,本发明的检测算子可以检测到左侧的边界且屏幕内的噪点不会增加。
与Sobel算子的检测结果相比,本文设计的检测算子对屏幕内的噪点有抑制效果,且屏幕中间的亮线为一条完整的空心线,而Sobel算子检测到的亮线中间有黏连的部分。
与LoG算子的检测结果相比,本文设计的检测算子对于屏幕内的噪点有抑制效果,且LoG算子的检测时间更长。
与Roberts算子、Sobel算子、LoG算子和Canny算子的检测结果相比,本文设计的检测算子的边界线较粗,而屏幕中间的亮线中的那条空心黑线也比其余结果更细,这更符合屏幕中坏线的实际情形,这将有利于对于屏幕中亮线的进一步提取。
在边缘检测应用公式(3)的过程中,不可避免的要对图片进行二值化的操作,那么这里就牵涉到对于边缘检测阈值T的选取。公式3中的sgn函数本身就包含对阈值T的选取,这里的完整形式为:
Figure BDA0002550504840000101
这里T就是阈值,它的作用在于卷积核Gedge与图像I做完卷积后,如果将像素点上值比T大的设定为1,即为白色,将像素点上值比T小的设定为0,即为黑色。考虑在固定场景下的情况,比如工厂内固定的暗室无尘环境,那么T只要选定一个合适的固定值,就可以满足精准分割的要求。在上述内容中,为了保证检测结果的实时性,对于边缘检测阈值T的选取是通过给定一个固定值进行的,但如果考虑在不同的场景下,阈值T需要选择不同的数值才可以满足分割的要求,这样就需要对于每张照片设定不同的阈值T,而自适应阈值方法就可以兼顾到场景的变化。其中应用的OTSU算法是将图像分为前景和背景两类,然后计算使得两类的类间方差达到最大的分割阈值T。下面介绍一种可行的自适应阈值方法用来调整二值化时的阈值。
首先对图片进行如公式2所示方法的边缘检测,
其次对所得结果进行top-hat变换,这样做的目的是增强卷积结果的边缘信息,
然后利用最大类间方差(OTSU)法获得分割的最佳边缘检测阈值T,
最后利用连通性原则和Houghline检测算法得到如图9所示。
这里增加了对阈值T的计算过程,运行时间略有延长,但同时对不同场景下的图片的兼容性有了很大的提升。至此,得到了应用自适应阈值的屏幕坏线结果,耗时约为1.95s。
具体的,所述对所述卷积操作结果利用公式
Figure BDA0002550504840000111
进行二值化操作,获得边缘检测结果,之前还包括:对于固定检测环境的情况,设置不同的阈值T,比较并选取最佳分割阈值T。对于环境变化的情况,对所述卷积操作结果进行top-hat变换,获得增强后的卷积操作结果,应用最大类间方差(OTSU)法获取最佳分割阈值T。步骤103,基于所述边缘检测结果,采用卷积滤波算法进行坏点检测,获得坏点检测结果。
对于具有坏点的图片,首先由边缘检测的结果得到了屏幕的外部边缘,然后对于屏幕内部区域进行点检测,这里使用了改进的拉普拉斯卷积算子对屏幕内部进行卷积,运算过程如下所示:
Figure BDA0002550504840000112
从而得到了如图5所示的效果。
在工业生产中,对于时间的实时性要求较高,该方法可以较快的得到坏点检测的结果,用时约为0.14s。
作为一种优选的实施方式,但是不限于该实施方式,如果在坏点检测中检测到坏点,那么就会将屏幕送回返工,而不再进行后续的屏幕检测。而如果坏点检测中未检测到有坏点,那么就将继续进行后续的坏线检测。
步骤104,基于所述边缘检测结果,采用Houghline检测算法进行坏线检测,获得坏线检测结果。
如果像素点P1(x1,y2)和P2(x2,y2)关于对称轴P对称,则称像素点P1和P2为一对对称点对。
如图6所示,对于获得的坏线图片边缘检测结果,不难发现:对于外部边缘处,如图6(a)所示,fi和gi是以外部边缘为轴的对称点对,而对于内部边缘处,如图6(b)所示,fi'和gi'是由以内部边缘为轴的对称点对。由于屏幕内部的颜色较为统一,其内部边缘两侧的像素值差距较小,而外部边缘两侧的像素值差距较大,即
Figure BDA0002550504840000121
所以称内部边缘具有对称性而外部边缘就不具有对称性。
对于坏线图片的边缘检测结果,如图3(b)所示。由于坏线是内部边缘,位于屏幕内,它所处的环境比较统一,即卷积计算后的坏线是一条像素值为0的直线,即显示为一条黑线,并且这条直线的两侧是两条像素值为1的直线,即显示为一条白线。因而总体来看,坏线,即内部边缘,是一条中间像素值为0两侧像素值为1的白色空心直线而外部边缘处为一条全部是像素值为1的直线,即显示为一条白色实心直线。
所以在检测中,本发明利用这里的区别,考虑在图片中寻找在一点处像素值为0,其左右两侧的像素值也为0,但在其上下两侧的像素值为1的全部像素点,或者寻找在一点处像素值为0,左右两侧的像素值也为1,但在其上下两侧的像素值为0的全部像素点。那么利用这种对称性和连通性原则,就可以得到如图7所示的效果。至此,坏线检测结果的耗时约为0.66s。但从坏线检测初步结果中也可以看到,图片里还是存在着很多噪声点的。为了去掉这些噪声点,仅保留图片中的坏线,采取Houghline检测算法,就得到了最终的坏线检测结果图片,如图8所示。
Houghline检测方法的原理是将图像空间X-Y中的所有直线y=px+q重新表示为参数空间内的q=-xp+y。那么如果将图像空间中的点两两相连,那么就会有许多条直线,但是这些直线在参数空间内仅表示为一个点。对于这些点的重复次数进行计数,取次数多点出的p,q值即为图像空间中的一条直线参数。这样做的作用是检测图像中的直线,在这里我们就可以检测屏幕中的坏线,而去除那些噪声点对于结果的影响。
至此,得到了屏幕中的坏线,并且不包含其它噪声点的结果,耗时约为1.06s。
一种屏幕检测***,所述检测***包括:
预处理模块,用于对待检测屏幕的彩色图片进行预处理,获得预处理后的图片。
所述预处理模块,具体包括:灰度化处理子模块,用于对所述彩色图片进行灰度化处理,获得灰度化处理后的图片,作为预处理后的图片。
边缘检测模块,用于对所述预处理后的图片采用卷积算子进行边缘检测,获得边缘检测结果。
所述边缘检测模块,具体包括:卷积操作子模块,用于利用公式Gedge*Igray=|Gx*Igray|+|Gy*Igray|对预处理后的图片进行卷积操作,获得卷积操作结果;其中,Igray表示预处理后的图片,Gedge表示卷积操作表示算子,Gx和Gy分别表示第一卷积核和第二卷积核,
Figure BDA0002550504840000131
二值操作子模块,用于对所述卷积操作结果利用公式
Figure BDA0002550504840000132
进行二值化操作,获得边缘检测结果;其中,Iedge表示边缘检测结果,(Gedge*Igray)(i,j)表示位于(i,j)的像素点的卷积操作表示算子与灰度图像的卷积,T表示边缘检测阈值。
其中,所述边缘检测模块,还包括:top-hat变换子模块,用于对所述卷积操作结果进行top-hat变换,获得增强后的卷积操作结果;类间方差计算子模块,用于设置不同的预设阈值,计算每个预设阈值对应的增强后的卷积操作结果的类间方差;边缘检测阈值计算子模块,用于选取类间方差最大的预设阈值作为边缘检测阈值。
坏点检测模块,用于基于所述边缘检测结果,采用卷积滤波算法进行坏点检测,获得坏点检测结果。
坏点检测模块包括坏点检测子模块,用于根据边缘检测结果Iedge,用卷积滤波算法,利用公式
Figure BDA0002550504840000141
进行坏点检测,获得坏点检测结果Inew;其中,G表示拉普拉斯卷积算子。
坏线检测模块,用于基于所述边缘检测结果,采用Houghline检测算法进行坏线检测,获得坏线检测结果。
为了说明本发明的方法及***的技术效果,本发明提供了以下具体的实施方式进行说明算法。
本发明的方法是基于传统图像处理的屏幕检测算法,本质上是对从相机采集到的图像进行像素处理。对于屏幕中的坏点,在对于屏幕进行边缘检测算法后,可以提取到屏幕的边缘,进而对于屏幕内的像素进行卷积操作,提取到屏幕中的坏点;对于屏幕中的坏线,利用与坏点中相同的边缘检测算法直接提取到屏幕中的坏线,然后利用Houghline检测对直线进行拟合。具体流程如下所示:
Algorithm 1基于图像处理的屏幕检测算法流程:
Input:
通过相机得到的原始图像,I;
Output:
屏幕是否正常;
1:对I进行预处理,得到Igray
2:对Igray进行边缘检测,得到ledge
3:对ledge进行基于卷积滤波的坏点检测;
4:if图片中含有坏点then
5:return"屏幕不正常,内有坏点”,并输出坏点位置表;
6:else
7:对Iedge进行基于Houghline方法的坏线检测;
8:if图片中含有坏线then
9:return"屏幕不正常,内有坏线”,并输出坏线位置表;
10:else
11:return屏幕正常;
12:endif
13:end
本发明不仅对于屏幕中仅包含单个坏点和单条贯通屏幕的坏点进行了测试,还对于屏幕中包含多个离散坏点、多个连续坏点、面积较大的坏点和不直接贯通屏幕的坏线的情况都进行了测试。
首先是对于坏点面积较小的情况,其面积大小与图2(a)中的坏点面积一致。对于这样的坏点,测试了多个离散分布的坏点和一串连续几个坏点的情况,检测结果分别如图10和图11所示。经过试验可以发现其测试时间与检测单个坏点的时间没有差别,运行时间如表1所示,为0.14s。但依旧可以精确测量出每个坏点的位置。
其次是对于面积较大的坏点情况,其坏点面积大于图2(a)中的坏点面积。如果按照之前的算法步骤进行试验,依旧可以找到该坏点的外部边缘,进而定位坏点的位置,即图示效果为一个空心圆的状态。因此本发明加入了对于空心圆的修补的内容,使得图示效果增强,坏点也可以直接进行输出,实验结果如图12所示,但运算时间略有延长,约增加0.09s。同样,本发明对面积较大的坏点也测试了多个离散和连续的情况,实验结果分别如图13和图14所示。本发明的方法都可以准确的进行识别且运行时间与检测单个面积较大的坏点时间没有差别,运行时间如表1所示,为0.23s。
最后是对于屏幕中有坏线的情况,还测试了一条不贯穿整条屏幕的坏线的情况,即坏线中间有断开的情形。对于这种情形,其检测结果如图15所示。研究发现其测试时间与检测贯穿整条屏幕的坏线的时间没有差别,运行时间如表1所示,为1.06s,但依旧可以准确检测到坏线所处的位置。
将本发明算法的测试结果与LoG+Blob算法、OTSU算法、一种基于相位一致性的算法和一种基于Canny边缘算子的算法的结果进行时间上的对比,如表1所示,表1中的1表示OTSU算法,20表示基于Canny边缘算子的算法,19表示基于相位一致性的算法。对于其时间进行分析,LoG+Blob算法和在面对坏线时的时间延长主要是因为其在面对缺陷部位面积增加时导致的时间延长。对于实验结果进行分析,其他四种方法在面对坏点检测的时候都可以给出良好结果,但由于坏线检测中屏幕自身灰度值较高,导致基于OTSU算法的算法无法区别直方图分布中的并不明显双峰,而导致在面对示例图片时无法区分坏线。
通过上述实验结果表明,本文所提出的算法具有很强的精准性、实时性和适用性,在精准确定坏点坏线的基础上,对于不同更复杂情况都可以得到实时的结果。
表1检测时间对比表
Figure BDA0002550504840000161
针对于现代屏幕产业生产实际的需要,本发明的方法为一种基于传统图像处理的屏幕缺陷检测算法。经测试,该方法具有准确性和实时性等优点,满足实际生产中的切实需要。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

Claims (10)

1.一种屏幕检测方法,其特征在于,所述检测方法包括如下步骤:
对待检测屏幕的彩色图片进行预处理,获得预处理后的图片;
对所述预处理后的图片采用卷积算子进行边缘检测,获得边缘检测结果;
基于所述边缘检测结果,采用卷积滤波算法进行坏点检测,获得坏点检测结果;
基于所述边缘检测结果,采用Houghline检测算法进行坏线检测,获得坏线检测结果。
2.根据权利要求1所述的屏幕检测方法,其特征在于,所述对待检测屏幕的彩色图片进行预处理,获得预处理后的图片,具体包括:
对所述彩色图片进行灰度化处理,获得灰度化处理后的图片,作为预处理后的图片。
3.根据权利要求1所述的屏幕检测方法,其特征在于,所述对所述预处理后的图片采用卷积算子进行边缘检测,获得边缘检测结果,具体包括:
利用公式Gedge*Igray=|Gx*Igray|+|Gy*Igray|对预处理后的图片进行卷积操作,获得卷积操作结果;其中,Igray表示预处理后的图片,Gedge表示卷积操作表示算子,Gx和Gy分别表示第一卷积核和第二卷积核,
Figure FDA0002550504830000011
对所述卷积操作结果利用公式
Figure FDA0002550504830000012
进行二值化操作,获得边缘检测结果;其中,Iedge表示边缘检测结果,(Gedge*Igray)(i,j)表示位于(i,j)的像素点的卷积操作表示算子与灰度图像的卷积,T表示边缘检测阈值。
4.根据权利要求3所述的屏幕检测方法,其特征在于,所述对所述卷积操作结果利用公式
Figure FDA0002550504830000021
进行二值化操作,获得边缘检测结果,之前还包括:
对所述卷积操作结果进行top-hat变换,获得增强后的卷积操作结果;
设置不同的预设阈值,计算每个预设阈值对应的增强后的卷积操作结果的类间方差;
选取类间方差最大的预设阈值作为边缘检测阈值。
5.根据权利要求1所述的屏幕检测方法,其特征在于,所述基于所述边缘检测结果,采用卷积滤波算法进行坏点检测,获得坏点检测结果,具体包括:
根据边缘检测结果Iedge,用卷积滤波算法,利用公式
Figure FDA0002550504830000022
进行坏点检测,获得坏点检测结果Inew;其中,G表示拉普拉斯卷积算子。
6.一种屏幕检测***,其特征在于,所述检测***包括:
预处理模块,用于对待检测屏幕的彩色图片进行预处理,获得预处理后的图片;
边缘检测模块,用于对所述预处理后的图片采用卷积算子进行边缘检测,获得边缘检测结果;
坏点检测模块,用于基于所述边缘检测结果,采用卷积滤波算法进行坏点检测,获得坏点检测结果;
坏线检测模块,用于基于所述边缘检测结果,采用Houghline检测算法进行坏线检测,获得坏线检测结果。
7.根据权利要求6所述的屏幕检测***,其特征在于,所述预处理模块,具体包括:
灰度化处理子模块,用于对所述彩色图片进行灰度化处理,获得灰度化处理后的图片,作为预处理后的图片。
8.根据权利要求6所述的屏幕检测***,其特征在于,所述边缘检测模块,具体包括:
卷积操作子模块,用于利用公式Gedge*Igray=|Gx*Igray|+|Gy*Igray|对预处理后的图片进行卷积操作,获得卷积操作结果;其中,Igray表示预处理后的图片,Gedge表示卷积操作表示算子,Gx和Gy分别表示第一卷积核和第二卷积核,
Figure FDA0002550504830000031
二值操作子模块,用于对所述卷积操作结果利用公式
Figure FDA0002550504830000032
进行二值化操作,获得边缘检测结果;其中,Iedge表示边缘检测结果,(Gedge*Igray)(i,j)表示位于(i,j)的像素点的卷积操作表示算子与灰度图像的卷积,T表示边缘检测阈值。
9.根据权利要求8所述的屏幕检测***,其特征在于,所述边缘检测模块,还包括:
top-hat变换子模块,用于对所述卷积操作结果进行top-hat变换,获得增强后的卷积操作结果;
类间方差计算子模块,用于设置不同的预设阈值,计算每个预设阈值对应的增强后的卷积操作结果的类间方差;
边缘检测阈值计算子模块,用于选取类间方差最大的预设阈值作为边缘检测阈值。
10.根据权利要求6所述的屏幕检测***,其特征在于,所述坏点检测模块,具体包括:
坏点检测子模块,用于根据边缘检测结果Iedge,用卷积滤波算法,利用公式
Figure FDA0002550504830000041
进行坏点检测,获得坏点检测结果Inew;其中,G表示拉普拉斯卷积算子。
CN202010573549.5A 2020-06-22 2020-06-22 一种屏幕检测方法及*** Active CN111724375B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010573549.5A CN111724375B (zh) 2020-06-22 2020-06-22 一种屏幕检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010573549.5A CN111724375B (zh) 2020-06-22 2020-06-22 一种屏幕检测方法及***

Publications (2)

Publication Number Publication Date
CN111724375A true CN111724375A (zh) 2020-09-29
CN111724375B CN111724375B (zh) 2023-05-09

Family

ID=72569867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010573549.5A Active CN111724375B (zh) 2020-06-22 2020-06-22 一种屏幕检测方法及***

Country Status (1)

Country Link
CN (1) CN111724375B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114239614A (zh) * 2021-12-03 2022-03-25 广东电网有限责任公司江门供电局 一种地埋电缆巡视的***及方法
CN117911409A (zh) * 2024-03-19 2024-04-19 深圳市酷童小样科技有限公司 一种基于机器视觉的手机屏坏线缺陷诊断方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004219291A (ja) * 2003-01-16 2004-08-05 Seiko Epson Corp 画面の線欠陥検出方法及び装置
CN107576663A (zh) * 2017-08-30 2018-01-12 无锡达蒙科技有限公司 一种显示屏缺陷自动检测***及方法
CN108961238A (zh) * 2018-07-02 2018-12-07 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质
CN110111330A (zh) * 2019-05-17 2019-08-09 上海应用技术大学 手机屏幕检测方法
CN110276759A (zh) * 2019-06-28 2019-09-24 东北大学 一种基于机器视觉的手机屏坏线缺陷诊断方法
CN110570411A (zh) * 2019-09-05 2019-12-13 中国科学院长春光学精密机械与物理研究所 一种基于变异系数的Mura检测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004219291A (ja) * 2003-01-16 2004-08-05 Seiko Epson Corp 画面の線欠陥検出方法及び装置
CN107576663A (zh) * 2017-08-30 2018-01-12 无锡达蒙科技有限公司 一种显示屏缺陷自动检测***及方法
CN108961238A (zh) * 2018-07-02 2018-12-07 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质
CN110111330A (zh) * 2019-05-17 2019-08-09 上海应用技术大学 手机屏幕检测方法
CN110276759A (zh) * 2019-06-28 2019-09-24 东北大学 一种基于机器视觉的手机屏坏线缺陷诊断方法
CN110570411A (zh) * 2019-09-05 2019-12-13 中国科学院长春光学精密机械与物理研究所 一种基于变异系数的Mura检测方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LINGFENG KONG ET AL.: "Detection of Water-stains Defects in TFT-LCD Based on Machine Vision", 《2018 11TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING,BIOMEDICAL ENGINEERING AND INFORMATICS》 *
WEI-CHEN LI 等: "Defect Inspection in Low-Contrast LCD Images UsingHoughTransform-Based NonstationaryLineDetection", 《IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS》 *
谢健 等: "几种边缘检测算法的比较与分析", 《中国电子学会第十七届信息论学术年会论文集》 *
郭峰林 等: "基于AOI的印刷电路图像对准算法研究", 《中国工程科学》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114239614A (zh) * 2021-12-03 2022-03-25 广东电网有限责任公司江门供电局 一种地埋电缆巡视的***及方法
CN117911409A (zh) * 2024-03-19 2024-04-19 深圳市酷童小样科技有限公司 一种基于机器视觉的手机屏坏线缺陷诊断方法
CN117911409B (zh) * 2024-03-19 2024-05-31 深圳市酷童小样科技有限公司 一种基于机器视觉的手机屏坏线缺陷诊断方法

Also Published As

Publication number Publication date
CN111724375B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN106650770B (zh) 一种基于样本学习和人眼视觉特性的mura缺陷检测方法
CN109472271B (zh) 印刷电路板图像轮廓提取方法及装置
CN112686858A (zh) 一种手机充电器视觉缺陷检测方法、装置、介质及设备
CN109472788B (zh) 一种飞机铆钉表面的伤痕检测方法
CN112149543B (zh) 一种基于计算机视觉的建筑扬尘识别***与方法
CN115205223B (zh) 透明物体的视觉检测方法、装置、计算机设备及介质
CN108510476A (zh) 一种基于机器视觉的手机屏线路检测方法
CN109886960A (zh) 基于机器视觉的玻璃边缘缺陷检测的方法
CN111667475B (zh) 一种基于机器视觉的大枣分级检测方法
Samarawickrama et al. Matlab based automated surface defect detection system for ceremic tiles using image processing
CN113177924A (zh) 一种工业流水线产品瑕疵检测方法
CN109461156B (zh) 基于视觉的螺纹密封塞装配检测方法
CN111724375B (zh) 一种屏幕检测方法及***
CN110807763A (zh) 一种陶瓦表面鼓包检测方法及***
CN111665199A (zh) 一种基于机器视觉的电线电缆颜色检测识别方法
CN110910394B (zh) 影像模组的解像力测量方法
KR102242996B1 (ko) 자동차 사출제품의 비정형 불량 검출 방법
JP5088165B2 (ja) 欠陥検出方法および欠陥検出装置
CN115272350A (zh) 一种计算机pcb主板生产质量检测方法
CN111768455A (zh) 一种基于图像的木材区域和主色提取方法
CN115731493A (zh) 基于视频图像识别的降水微物理特征参量提取与分析方法
CN113744326B (zh) 一种在ycrcb颜色空间中基于种子区域生长法则的火灾检测方法
WO2018068414A1 (zh) 色环电阻的检测方法、装置和自动光学检测***
CN111563869B (zh) 用于摄像模组质检的污点测试方法
JP2001028059A (ja) 色ムラ検査方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant