CN117437202A - 基于图像的偏光片缺陷检测方法、装置、设备及存储介质 - Google Patents
基于图像的偏光片缺陷检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117437202A CN117437202A CN202311447390.2A CN202311447390A CN117437202A CN 117437202 A CN117437202 A CN 117437202A CN 202311447390 A CN202311447390 A CN 202311447390A CN 117437202 A CN117437202 A CN 117437202A
- Authority
- CN
- China
- Prior art keywords
- image
- defect
- detection
- polaroid
- polarizer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 271
- 230000007547 defect Effects 0.000 title claims abstract description 223
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000003384 imaging method Methods 0.000 claims abstract description 66
- 230000010287 polarization Effects 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims description 67
- 238000012545 processing Methods 0.000 claims description 39
- 230000000694 effects Effects 0.000 claims description 35
- 230000002950 deficient Effects 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 24
- 230000009467 reduction Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000007689 inspection Methods 0.000 claims description 9
- 239000000463 material Substances 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 230000000903 blocking effect Effects 0.000 claims description 4
- 230000000149 penetrating effect Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000004458 analytical method Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000000306 component Substances 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000010339 dilation Effects 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 238000005530 etching Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30121—CRT, LCD or plasma display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明提供了一种基于图像的偏光片缺陷检测方法、装置、设备及存储介质，其中，该方法包括：获取待检测偏光片和预设的偏光片缺陷检测模型；通过预设的偏振成像***对所述待检测偏光片进行偏振成像处理，生成所述待检测偏光片对应的检测图像；将所述检测图像输入所述偏光片缺陷检测模型中，得到检测结果。本方法采用了偏振成像技术，通过对待检测偏光片进行偏振成像处理，可以获取到更加丰富的偏光片表面特征和缺陷信息。同时，通过提前训练好的偏光片缺陷检测模型，将检测图像输入到模型中，得到准确的缺陷检测结果，通过使用预设的偏光片缺陷检测模型，可以实现自动化的缺陷检测分析，大大提高了效率和准确性。
Description
技术领域
本发明涉及缺陷检测领域，尤其涉及一种基于图像的偏光片缺陷检测方法、装置、设备及存储介质。
背景技术
偏光片是液晶面板的核心元器件之一，占液晶面板的成本的10％左右。在偏光片生产过程中，由于加工工艺限制、设计水平不足，生产设备故障和生产条件恶劣等因素，在工件内部极易形成不均匀的区域，这些区域通常表现为气泡状的残胶、裂缝、夹杂物、污渍、划痕等缺陷。任何细微的偏光片缺陷在通过液晶分子发光成像后都会在显示器上面得到呈现，人眼对显示器这种局部的异常会非常敏感，从而影响观感降低显示器的品质。因此，在偏光片生产过程中，对其进行缺陷检测及分类以确保产品的质量是很有必要的。目前，传统的偏光片缺陷检测方法主要依赖于人工视觉检查或基于规则的图像处理算法。然而，这些方法存在一些明显的问题。首先，人工视觉检查容易受到主观因素的影响，不同的检查员可能会有不一样的判断标准，从而导致结果的不一致性。其次，人工检查需要大量的时间和资源，效率低下且成本较高。此外，在面对复杂的缺陷形态或缺陷在图像中的不明显情况时，基于规则的图像处理算法往往无法提供准确的检测结果，鲁棒性较差。
发明内容
本发明的主要目的在于解决现有的偏光片缺陷检测无法提供准确的检测结果的技术问题。
本发明第一方面提供了一种基于图像的偏光片缺陷检测方法，所述基于图像的偏光片缺陷检测方法包括：
获取待检测偏光片和预设的偏光片缺陷检测模型；
通过预设的偏振成像***对所述待检测偏光片进行偏振成像处理，生成所述待检测偏光片对应的检测图像；
将所述检测图像输入所述偏光片缺陷检测模型中，得到检测结果。
可选的，在本发明第一方面的第一种实现方式中，所述偏振成像***包括光源和检测仪，所述检测仪包括摄像机和偏振镜；
所述通过预设的偏振成像***对所述待检测偏光片进行偏振成像处理，生成所述待检测偏光片对应的检测图像包括：
将所述待检测偏光片置于所述光源和所述检测仪之间，并开启所述光源；
调整所述检测仪的成像角度，并在所述成像角度调整过程中，通过所述摄像机采集所述光源透过所述待检测偏光片和所述偏振镜后形成的多张偏振图像；
对所述多张偏振图像进行对比度检测，并将对比度最高的偏振图像作为所述待检测偏光片对应的检测图像。
可选的，在本发明第一方面的第二种实现方式中，所述偏光片缺陷检测模型包括生成器和判别器；
所述将所述检测图像输入所述偏光片缺陷检测模型中，得到检测结果包括：
将所述检测图像输入所述偏光片缺陷检测模型中，通过所述偏光片缺陷检测模型中的判别器，对输入的检测图像进行分类，得到分类结果，其中，所述分类结果包括无缺陷和有缺陷；
若所述检测图像的分类结果为有缺陷，则通过所述偏光片缺陷检测模型中的生成器，生成所述检测图像的无缺陷图像；
对所述检测图像和所述无缺陷图像进行图像处理，得到检测结果。
可选的，在本发明第一方面的第三种实现方式中，所述将所述检测图像输入所述偏光片缺陷检测模型中，通过所述偏光片缺陷检测模型中的判别器，对输入的检测图像进行分类，得到分类结果包括：
将所述检测图像输入所述偏光片缺陷检测模型中，对所述检测图像进行分块处理，得到所述检测图像对应的多个图像块；
通过所述偏光片缺陷检测模型中的判别器提取所述多个图像块对应的图像特征，得到各图像块的特征表示；
通过所述判别器对各特征表示进行判断，得到各图像块对应不同分类结果的概率；
根据各图像块的分类结果为有缺陷的概率，计算所述检测图像为有缺陷的概率，并根据所述检测图像为有缺陷的概率对输入的检测图像进行分类，得到分类结果。
可选的，在本发明第一方面的第四种实现方式中，在所述获取待检测偏光片和预设的偏光片缺陷检测模型之前，包括：
获取预设的模型训练素材，其中，所述模型训练素材包括缺陷训练图片和背景训练图片；
根据所述缺陷训练图片和所述背景训练图片生成缺陷效果图片；
将所述缺陷效果图片输入预设的生成对抗网络中，通过所述生成对抗网络中的生成器生成对应的无缺陷效果图片；
通过所述生成对抗网络中的判别器对所述无缺陷效果图片进行分类，得到分类结果，并根据所述分类结果计算预设的损失函数，得到损失函数值；
判断所述损失函数值是否大于预设的损失阈值；
若是，则根据所述损失函数值对所述生成对抗网络进行反向传播，更新所述生成对抗网络中的生成器和判别器，并返回将所述缺陷效果图片输入预设的生成对抗网络中，通过所述生成对抗网络中的生成器生成对应的无缺陷效果图片的步骤，直至所述损失函数值不大于预设的损失阈值；
若否，则将所述生成对抗网络作为偏光片缺陷检测模型。
可选的，在本发明第一方面的第五种实现方式中，所述根据所述缺陷训练图片和所述背景训练图片生成缺陷效果图片包括：
将所述缺陷训练图片和所述背景训练图片进行随机配对，得到图片组合；
对任一图片组合中的缺陷训练图片和背景训练图片进行像素归一化，得到对应的归一化数值；
根据所述归一化数值，对对应图片组合中的缺陷训练图片和背景训练图片进行融合，得到缺陷效果图片。
可选的，在本发明第一方面的第六种实现方式中，所述对所述检测图像和所述无缺陷图像进行图像处理，得到检测结果包括：
对所述检测图像和所述无缺陷图像进行降噪处理，并生成降噪处理后的检测图像和所述无缺陷图像对应的残差图像；
对所述残差图像进行二值化处理，得到二值化图像，并对所述二值化图像进行数学形态学运算，得到检测结果。
本发明第二方面提供了一种基于图像的偏光片缺陷检测装置，所述基于图像的偏光片缺陷检测装置包括：
获取模块，用于获取待检测偏光片和预设的偏光片缺陷检测模型；
偏振成像模块，用于通过预设的偏振成像***对所述待检测偏光片进行偏振成像处理，生成所述待检测偏光片对应的检测图像；
检测模块，用于将所述检测图像输入所述偏光片缺陷检测模型中，得到检测结果。
本发明第三方面提供了一种基于图像的偏光片缺陷检测装置，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于图像的偏光片缺陷检测设备执行上述的基于图像的偏光片缺陷检测方法的步骤。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于图像的偏光片缺陷检测方法的步骤。
上述基于图像的偏光片缺陷检测方法、装置、设备及存储介质，通过获取待检测偏光片和预设的偏光片缺陷检测模型；通过预设的偏振成像***对所述待检测偏光片进行偏振成像处理，生成所述待检测偏光片对应的检测图像；将所述检测图像输入所述偏光片缺陷检测模型中，得到检测结果。本方法采用了偏振成像技术，通过对待检测偏光片进行偏振成像处理，可以获取到更加丰富的偏光片表面特征和缺陷信息。同时，通过提前训练好的偏光片缺陷检测模型，将检测图像输入到模型中，得到准确的缺陷检测结果，通过使用预设的偏光片缺陷检测模型，可以实现自动化的缺陷检测分析，大大提高了效率和准确性。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
图1为本发明实施例中基于图像的偏光片缺陷检测方法的第一个实施例示意图；
图2为本发明实施例中基于图像的偏光片缺陷检测装置的一个实施例示意图；
图3为本发明实施例中基于图像的偏光片缺陷检测装置的另一个实施例示意图；
图4为本发明实施例中基于图像的偏光片缺陷检测设备的一个实施例示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种基于图像的偏光片缺陷检测方法进行详细介绍。如图1所示，该基于图像的偏光片缺陷检测的方法，本方法包括如下步骤：
101、获取待检测偏光片和预设的偏光片缺陷检测模型；
在本发明的一个实施例中，在所述获取待检测偏光片和预设的偏光片缺陷检测模型之前，包括：获取预设的模型训练素材，其中，所述模型训练素材包括缺陷训练图片和背景训练图片；根据所述缺陷训练图片和所述背景训练图片生成缺陷效果图片；将所述缺陷效果图片输入预设的生成对抗网络中，通过所述生成对抗网络中的生成器生成对应的无缺陷效果图片；通过所述生成对抗网络中的判别器对所述无缺陷效果图片进行分类，得到分类结果，并根据所述分类结果计算预设的损失函数，得到损失函数值；判断所述损失函数值是否大于预设的损失阈值；若是，则根据所述损失函数值对所述生成对抗网络进行反向传播，更新所述生成对抗网络中的生成器和判别器，并返回将所述缺陷效果图片输入预设的生成对抗网络中，通过所述生成对抗网络中的生成器生成对应的无缺陷效果图片的步骤，直至所述损失函数值不大于预设的损失阈值；若否，则将所述生成对抗网络作为偏光片缺陷检测模型。
具体的，偏光片缺陷检测模型的模型结构主要为SPatchGAN，SPatchGAN是一种基于生成对抗网络(GenerativeAdversarialNetworks，GANs)的图像处理技术，SPatchGAN基本上由两个关键组件组成：生成器和判别器。生成器接收输入图像，并通过卷积神经网络(CNN)等结构生成分割结果。判别器则由多个局部判别器组成，每个局部判别器都负责对输入图像中的一个小图像补丁进行缺陷判别。具体的，训练AI时还会利用非配对的缺陷训练图片和所述背景训练图片生成缺陷效果图片，基于SPatchGAN的生成对抗网络让模型学习以缺陷效果图片为输入，输出无缺陷的图片。此外，这里的训练会和背景训练图片以及无缺陷效果图片这一组基于配对数据的训练一起进行，形成半监督学习(semi-supervisedlearning)，并得到一个偏光片缺陷检测模型。
具体的，对于SPatchGAN中的生成器和判别器，在生成器生成相应的输出图像后，将生成的无缺陷效果图片和真实的图像一起提供给判别器进行判断。判别器输出一个概率，表示输入图像是真实图像的概率。根据判别器的判断结果，计算生成器的损失函数常用的损失函数有两个常用的选择：对抗损失和内容损失，根据生成器的损失函数，进行反向传播，并更新生成器的参数。通常使用梯度下降等优化算法来更新参数，以使生成器能够生成更逼真的图像，对于判别器，根据判别器的损失函数，进行反向传播，并更新判别器的参数。通常使用梯度下降等优化算法来更新参数，以使判别器能够更准确地判断真伪。重复进行上述步骤，通过迭代优化判别器的参数，提高其生成图像以及对真实和生成图像的区分能力。
进一步的，所述根据所述缺陷训练图片和所述背景训练图片生成缺陷效果图片包括：将所述缺陷训练图片和所述背景训练图片进行随机配对，得到图片组合；对任一图片组合中的缺陷训练图片和背景训练图片进行像素归一化，得到对应的归一化数值；根据所述归一化数值，对对应图片组合中的缺陷训练图片和背景训练图片进行融合，得到缺陷效果图片。
具体的，训练模型时会将缺陷训练图片和数据集中的背景训练图片配对组合,得到带缺陷和偏光片成像背景的图片，配对组合的方法为xnoisy＝max(xclean+xbackground-1.0,-1.0)。其中xnoisy是带缺陷和偏光片成像背景的图片，xclean是缺陷训练图片，xbackground是带偏光片成像背景的图片，所有像素值都被归一化到[-1.0,1.0]的区间，进行组合后，达到缺陷效果图片。
102、通过预设的偏振成像***对待检测偏光片进行偏振成像处理，生成待检测偏光片对应的检测图像；
在本发明的一个实施例中，所述偏振成像***包括光源和检测仪，所述检测仪包括摄像机和偏振镜；所述通过预设的偏振成像***对所述待检测偏光片进行偏振成像处理，生成所述待检测偏光片对应的检测图像包括：将所述待检测偏光片置于所述光源和所述检测仪之间，并开启所述光源；调整所述检测仪的成像角度，并在所述成像角度调整过程中，通过所述摄像机采集所述光源透过所述待检测偏光片和所述偏振镜后形成的多张偏振图像；对所述多张偏振图像进行对比度检测，并将对比度最高的偏振图像作为所述待检测偏光片对应的检测图像。
具体的，在进行检测图像生成的过程中，偏振成像***需要处在黑暗中，避免受到环境光的影响，光源发出的均匀线偏振光透射待检测偏光片，调整所述检测仪的成像角度，并在所述成像角度调整过程中，摄像机采集不同角度下的偏振图像。当检测仪与待检测偏光片透光轴方向一致和垂直时，图像分别为最亮和最暗，缺陷成像对比度较低，不利于缺陷检出，在实际应用中，可以事先通过选择存在较为明显缺陷的检测图片，人为选定其中的缺陷位置为感兴趣区域，并通过偏振成像***根据该感兴趣区域计算对比度，进行确定对比度最高的拍摄角度，后续对相应批次的偏光片进行检测时，可使用该角度进行检测，其中对比度的计算公式如下：
其中，GB和GD分别是背景区域和感兴趣区域的灰度值。
103、将检测图像输入偏光片缺陷检测模型中，得到检测结果。
在本发明的一个实施例中，所述偏光片缺陷检测模型包括生成器和判别器；所述将所述检测图像输入所述偏光片缺陷检测模型中，得到检测结果包括：将所述检测图像输入所述偏光片缺陷检测模型中，通过所述偏光片缺陷检测模型中的判别器，对输入的检测图像进行分类，得到分类结果，其中，所述分类结果包括无缺陷和有缺陷；若所述检测图像的分类结果为有缺陷，则通过所述偏光片缺陷检测模型中的生成器，生成所述检测图像的无缺陷图像；对所述检测图像和所述无缺陷图像进行图像处理，得到检测结果。
具体的，将所述检测图像输入所述偏光片缺陷检测模型中，通过所述偏光片缺陷检测模型中的判别器，对输入的检测图像进行分类，得到分类结果。分类结果包括无缺陷和有缺陷两种可能性。如果所述检测图像的分类结果为有缺陷，即被判定为存在缺陷，则继续使用所述偏光片缺陷检测模型中的生成器。通过生成器，可以针对该检测图像生成一张无缺陷的图像。接下来，对所述检测图像及其对应的无缺陷图像进行图像处理操作。这些图像处理操作可以根据具体需求进行选择，如滤波、噪声去除或增强等。这样可以进一步优化检测结果，消除检测图像中的噪声或其他不完善因素。最终，经过图像处理后，得到最终的检测结果。这个结果可以用于指导相关工作。
进一步的，所述将所述检测图像输入所述偏光片缺陷检测模型中，通过所述偏光片缺陷检测模型中的判别器，对输入的检测图像进行分类，得到分类结果包括：将所述检测图像输入所述偏光片缺陷检测模型中，对所述检测图像进行分块处理，得到所述检测图像对应的多个图像块；通过所述偏光片缺陷检测模型中的判别器提取所述多个图像块对应的图像特征，得到各图像块的特征表示；通过所述判别器对各特征表示进行判断，得到各图像块对应不同分类结果的概率；根据各图像块的分类结果为有缺陷的概率，计算所述检测图像为有缺陷的概率，并根据所述检测图像为有缺陷的概率对输入的检测图像进行分类，得到分类结果。
具体的，偏光片缺陷检测模型的判别器对输入的检测图像首先被划分为多个大小相等的块。例如，可以将图像划分为NxN的网格，其中N是块的大小，判别器对每个块提取特征。通常，这涉及使用卷积神经网络(CNN)或其他特征提取方法，提取图像块内的特征表示，对于每个图像块，判别器根据提取的特征进行判断，并输出一个概率，表示该图像块中存在缺陷的概率，最后，通过组合每个图像块存在缺陷的概率的判断结果，可以得到整个检测图像的判断结果，确定检测图像的图像类型，得到分类结果，例如，当一个图像块根据概率确定存在缺陷时，可以确定整个检测图像存在缺陷，将所有图像块中存在缺陷概率最大的图像块的概率作为检测图像存在缺陷的概率，划分图像块可以在面对不同类型的缺陷如裂纹、气泡等时，更好地处理其异质性，这是由于多种缺陷可能存在不同的形状、大小和位置的情况，通过划分图像块的方式，不同的缺陷可以被分配到不同的块中进行处理，此外，对于大尺寸的图像，如果将整幅图像作为输入直接进行缺陷检测，模型需要同时处理大量不同位置、不同大小的信息，这会增加计算复杂度和难度，同时可能丢失一些细节信息。将图像划分为多个大小相等的块，能够降低计算复杂度，提高模型的检测精度。
进一步的，所述对所述检测图像和所述无缺陷图像进行图像处理，得到检测结果包括：对所述检测图像和所述无缺陷图像进行降噪处理，并生成降噪处理后的检测图像和所述无缺陷图像对应的残差图像；对所述残差图像进行二值化处理，得到二值化图像，并对所述二值化图像进行数学形态学运算，得到检测结果。
具体的，对所述检测图像和所述无缺陷图像进行降噪处理。降噪处理的目的是消除图像中的噪声或其他干扰因素，并提取更清晰的特征。一种常用的降噪方法是使用图像滤波算法，例如均值滤波、中值滤波或高斯滤波等。通过应用这些滤波算法，可以平滑图像并减少噪声。接下来，通过将降噪处理后的检测图像与所述无缺陷图像进行计算，生成它们对应的残差图像。残差图像表示了两个图像之间的差异，即检测图像中的缺陷区域。针对残差图像，进行二值化处理。二值化将图像转换为只有两个灰度级别(通常为黑和白)的图像。这样可以将缺陷区域与非缺陷区域分离开来。在得到二值化图像后，还可以应用数学形态学运算来改善图像的形状和结构。数学形态学运算包括腐蚀、膨胀、开运算和闭运算等操作。腐蚀操作可以减小图像中目标区域的大小，而膨胀操作则可以填充目标区域的空洞。开运算通过先腐蚀再膨胀的操作可以去除小的噪点或细小的不连续区域，而闭运算通过先膨胀再腐蚀的操作可以填补缺陷中的小孔洞。最后，根据经过数学形态学运算的二值化图像，得到最终的检测结果。这个结果将提供有关缺陷的位置和形状信息，为进一步的分析和处理提供指导。
在本实施例中，通过获取待检测偏光片和预设的偏光片缺陷检测模型；通过预设的偏振成像***对所述待检测偏光片进行偏振成像处理，生成所述待检测偏光片对应的检测图像；将所述检测图像输入所述偏光片缺陷检测模型中，得到检测结果。本方法采用了偏振成像技术，通过对待检测偏光片进行偏振成像处理，可以获取到更加丰富的偏光片表面特征和缺陷信息。同时，通过提前训练好的偏光片缺陷检测模型，将检测图像输入到模型中，得到准确的缺陷检测结果，通过使用预设的偏光片缺陷检测模型，可以实现自动化的缺陷检测分析，大大提高了效率和准确性。
上面对本发明实施例中基于图像的偏光片缺陷检测方法进行了描述，下面对本发明实施例中基于图像的偏光片缺陷检测装置进行描述，请参阅图2，本发明实施例中基于图像的偏光片缺陷检测装置一个实施例包括：
获取模块201，用于获取待检测偏光片和预设的偏光片缺陷检测模型；
偏振成像模块202，用于通过预设的偏振成像***对所述待检测偏光片进行偏振成像处理，生成所述待检测偏光片对应的检测图像；
检测模块203，用于将所述检测图像输入所述偏光片缺陷检测模型中，得到检测结果。
本发明实施例中，所述基于图像的偏光片缺陷检测装置运行上述基于图像的偏光片缺陷检测方法，所述基于图像的偏光片缺陷检测装置，通过获取待检测偏光片和预设的偏光片缺陷检测模型；通过预设的偏振成像***对所述待检测偏光片进行偏振成像处理，生成所述待检测偏光片对应的检测图像；将所述检测图像输入所述偏光片缺陷检测模型中，得到检测结果。本方法采用了偏振成像技术，通过对待检测偏光片进行偏振成像处理，可以获取到更加丰富的偏光片表面特征和缺陷信息。同时，通过提前训练好的偏光片缺陷检测模型，将检测图像输入到模型中，得到准确的缺陷检测结果，通过使用预设的偏光片缺陷检测模型，可以实现自动化的缺陷检测分析，大大提高了效率和准确性。
请参阅图3，本发明实施例中基于图像的偏光片缺陷检测装置的第二个实施例包括：
获取模块201，用于获取待检测偏光片和预设的偏光片缺陷检测模型；
偏振成像模块202，用于通过预设的偏振成像***对所述待检测偏光片进行偏振成像处理，生成所述待检测偏光片对应的检测图像；
检测模块203，用于将所述检测图像输入所述偏光片缺陷检测模型中，得到检测结果。
在本发明的一个实施例中，所述偏振成像***包括光源和检测仪，所述检测仪包括摄像机和偏振镜；
所述偏振成像模块202具体用于：
将所述待检测偏光片置于所述光源和所述检测仪之间，并开启所述光源；
调整所述检测仪的成像角度，并在所述成像角度调整过程中，通过所述摄像机采集所述光源透过所述待检测偏光片和所述偏振镜后形成的多张偏振图像；
对所述多张偏振图像进行对比度检测，并将对比度最高的偏振图像作为所述待检测偏光片对应的检测图像。
在本发明的一个实施例中，所述偏光片缺陷检测模型包括生成器和判别器；所述检测模块203包括：
分类单元2031，用于将所述检测图像输入所述偏光片缺陷检测模型中，通过所述偏光片缺陷检测模型中的判别器，对输入的检测图像进行分类，得到分类结果，其中，所述分类结果包括无缺陷和有缺陷；
图像生成单元2032，用于若所述检测图像的分类结果为有缺陷，则通过所述偏光片缺陷检测模型中的生成器，生成所述检测图像的无缺陷图像；
图像处理单元2033，用于对所述检测图像和所述无缺陷图像进行图像处理，得到检测结果。
在本发明的一个实施例中，所述分类单元2031具体用于：
将所述检测图像输入所述偏光片缺陷检测模型中，对所述检测图像进行分块处理，得到所述检测图像对应的多个图像块；
通过所述偏光片缺陷检测模型中的判别器提取所述多个图像块对应的图像特征，得到各图像块的特征表示；
通过所述判别器对各特征表示进行判断，得到各图像块对应不同分类结果的概率；
根据各图像块的分类结果为有缺陷的概率，计算所述检测图像为有缺陷的概率，并根据所述检测图像为有缺陷的概率对输入的检测图像进行分类，得到分类结果。
在本发明的一个实施例中，所述基于图像的偏光片缺陷检测装置还包括模型训练模块204，所述模型训练模块204具体用于：
获取预设的模型训练素材，其中，所述模型训练素材包括缺陷训练图片和背景训练图片；
根据所述缺陷训练图片和所述背景训练图片生成缺陷效果图片；
将所述缺陷效果图片输入预设的生成对抗网络中，通过所述生成对抗网络中的生成器生成对应的无缺陷效果图片；
通过所述生成对抗网络中的判别器对所述无缺陷效果图片进行分类，得到分类结果，并根据所述分类结果计算预设的损失函数，得到损失函数值；
判断所述损失函数值是否大于预设的损失阈值；
若是，则根据所述损失函数值对所述生成对抗网络进行反向传播，更新所述生成对抗网络中的生成器和判别器，并返回将所述缺陷效果图片输入预设的生成对抗网络中，通过所述生成对抗网络中的生成器生成对应的无缺陷效果图片的步骤，直至所述损失函数值不大于预设的损失阈值；
若否，则将所述生成对抗网络作为偏光片缺陷检测模型。
在本发明的一个实施例中，所述模型训练模块204具体还用于：
将所述缺陷训练图片和所述背景训练图片进行随机配对，得到图片组合；
对任一图片组合中的缺陷训练图片和背景训练图片进行像素归一化，得到对应的归一化数值；
根据所述归一化数值，对对应图片组合中的缺陷训练图片和背景训练图片进行融合，得到缺陷效果图片。
在本发明的一个实施例中，所述图像处理单元2033具体用于：
对所述检测图像和所述无缺陷图像进行降噪处理，并生成降噪处理后的检测图像和所述无缺陷图像对应的残差图像；
对所述残差图像进行二值化处理，得到二值化图像，并对所述二值化图像进行数学形态学运算，得到检测结果。
本实施例在上一实施例的基础上，详细描述了各个模块的具体功能以及部分模块的单元构成，通过上述模块和模块中的各单元，通过获取待检测偏光片和预设的偏光片缺陷检测模型；通过预设的偏振成像***对所述待检测偏光片进行偏振成像处理，生成所述待检测偏光片对应的检测图像；将所述检测图像输入所述偏光片缺陷检测模型中，得到检测结果。本方法采用了偏振成像技术，通过对待检测偏光片进行偏振成像处理，可以获取到更加丰富的偏光片表面特征和缺陷信息。同时，通过提前训练好的偏光片缺陷检测模型，将检测图像输入到模型中，得到准确的缺陷检测结果，通过使用预设的偏光片缺陷检测模型，可以实现自动化的缺陷检测分析，大大提高了效率和准确性。
上面图2和图3从模块化功能实体的角度对本发明实施例中的中基于图像的偏光片缺陷检测装置进行详细描述，下面从硬件处理的角度对本发明实施例中基于图像的偏光片缺陷检测设备进行详细描述。
图4是本发明实施例提供的一种基于图像的偏光片缺陷检测设备的结构示意图，该基于图像的偏光片缺陷检测设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)410(例如，一个或一个以上处理器)和存储器420，一个或一个以上存储应用程序433或数据432的存储介质430(例如一个或一个以上海量存储设备)。其中，存储器420和存储介质430可以是短暂存储或持久存储。存储在存储介质430的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对基于图像的偏光片缺陷检测设备400中的一系列指令操作。更进一步地，处理器410可以设置为与存储介质430通信，在基于图像的偏光片缺陷检测设备400上执行存储介质430中的一系列指令操作，以实现上述基于图像的偏光片缺陷检测方法的步骤。
基于图像的偏光片缺陷检测设备400还可以包括一个或一个以上电源440，一个或一个以上有线或无线网络接口450，一个或一个以上输入输出接口460，和/或，一个或一个以上操作***431，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图4示出的基于图像的偏光片缺陷检测设备结构并不构成对本发明提供的基于图像的偏光片缺陷检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于图像的偏光片缺陷检测方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***或装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于图像的偏光片缺陷检测方法，其特征在于，所述基于图像的偏光片缺陷检测方法包括：
获取待检测偏光片和预设的偏光片缺陷检测模型；
通过预设的偏振成像***对所述待检测偏光片进行偏振成像处理，生成所述待检测偏光片对应的检测图像；
将所述检测图像输入所述偏光片缺陷检测模型中，得到检测结果。
2.根据权利要求1所述的基于图像的偏光片缺陷检测方法，其特征在于，所述偏振成像***包括光源和检测仪，所述检测仪包括摄像机和偏振镜；
所述通过预设的偏振成像***对所述待检测偏光片进行偏振成像处理，生成所述待检测偏光片对应的检测图像包括：
将所述待检测偏光片置于所述光源和所述检测仪之间，并开启所述光源；
调整所述检测仪的成像角度，并在所述成像角度调整过程中，通过所述摄像机采集所述光源透过所述待检测偏光片和所述偏振镜后形成的多张偏振图像；
对所述多张偏振图像进行对比度检测，并将对比度最高的偏振图像作为所述待检测偏光片对应的检测图像。
3.根据权利要求1所述的基于图像的偏光片缺陷检测方法，其特征在于，所述偏光片缺陷检测模型包括生成器和判别器；
所述将所述检测图像输入所述偏光片缺陷检测模型中，得到检测结果包括：
将所述检测图像输入所述偏光片缺陷检测模型中，通过所述偏光片缺陷检测模型中的判别器，对输入的检测图像进行分类，得到分类结果，其中，所述分类结果包括无缺陷和有缺陷；
若所述检测图像的分类结果为有缺陷，则通过所述偏光片缺陷检测模型中的生成器，生成所述检测图像的无缺陷图像；
对所述检测图像和所述无缺陷图像进行图像处理，得到检测结果。
4.根据权利要求3所述的基于图像的偏光片缺陷检测方法，其特征在于，所述将所述检测图像输入所述偏光片缺陷检测模型中，通过所述偏光片缺陷检测模型中的判别器，对输入的检测图像进行分类，得到分类结果包括：
将所述检测图像输入所述偏光片缺陷检测模型中，对所述检测图像进行分块处理，得到所述检测图像对应的多个图像块；
通过所述偏光片缺陷检测模型中的判别器提取所述多个图像块对应的图像特征，得到各图像块的特征表示；
通过所述判别器对各特征表示进行判断，得到各图像块对应不同分类结果的概率；
根据各图像块的分类结果为有缺陷的概率，计算所述检测图像为有缺陷的概率，并根据所述检测图像为有缺陷的概率对输入的检测图像进行分类，得到分类结果。
5.根据权利要求4所述的基于图像的偏光片缺陷检测方法，其特征在于，在所述获取待检测偏光片和预设的偏光片缺陷检测模型之前，包括：
获取预设的模型训练素材，其中，所述模型训练素材包括缺陷训练图片和背景训练图片；
根据所述缺陷训练图片和所述背景训练图片生成缺陷效果图片；
将所述缺陷效果图片输入预设的生成对抗网络中，通过所述生成对抗网络中的生成器生成对应的无缺陷效果图片；
通过所述生成对抗网络中的判别器对所述无缺陷效果图片进行分类，得到分类结果，并根据所述分类结果计算预设的损失函数，得到损失函数值；
判断所述损失函数值是否大于预设的损失阈值；
若是，则根据所述损失函数值对所述生成对抗网络进行反向传播，更新所述生成对抗网络中的生成器和判别器，并返回将所述缺陷效果图片输入预设的生成对抗网络中，通过所述生成对抗网络中的生成器生成对应的无缺陷效果图片的步骤，直至所述损失函数值不大于预设的损失阈值；
若否，则将所述生成对抗网络作为偏光片缺陷检测模型。
6.根据权利要求5所述的基于图像的偏光片缺陷检测方法，其特征在于，所述根据所述缺陷训练图片和所述背景训练图片生成缺陷效果图片包括：
将所述缺陷训练图片和所述背景训练图片进行随机配对，得到图片组合；
对任一图片组合中的缺陷训练图片和背景训练图片进行像素归一化，得到对应的归一化数值；
根据所述归一化数值，对对应图片组合中的缺陷训练图片和背景训练图片进行融合，得到缺陷效果图片。
7.根据权利要求3所述的基于图像的偏光片缺陷检测方法，其特征在于，所述对所述检测图像和所述无缺陷图像进行图像处理，得到检测结果包括：
对所述检测图像和所述无缺陷图像进行降噪处理，并生成降噪处理后的检测图像和所述无缺陷图像对应的残差图像；
对所述残差图像进行二值化处理，得到二值化图像，并对所述二值化图像进行数学形态学运算，得到检测结果。
8.一种基于图像的偏光片缺陷检测装置，其特征在于，所述基于图像的偏光片缺陷检测装置包括：
获取模块，用于获取待检测偏光片和预设的偏光片缺陷检测模型；
偏振成像模块，用于通过预设的偏振成像***对所述待检测偏光片进行偏振成像处理，生成所述待检测偏光片对应的检测图像；
检测模块，用于将所述检测图像输入所述偏光片缺陷检测模型中，得到检测结果。
9.一种基于图像的偏光片缺陷检测设备，其特征在于，所述基于图像的偏光片缺陷检测设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于图像的偏光片缺陷检测设备执行如权利要求1-7中任意一项所述的基于图像的偏光片缺陷检测方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任意一项所述基于图像的偏光片缺陷检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311447390.2A CN117437202B (zh) | 2023-11-01 | 2023-11-01 | 基于图像的偏光片缺陷检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311447390.2A CN117437202B (zh) | 2023-11-01 | 2023-11-01 | 基于图像的偏光片缺陷检测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117437202A true CN117437202A (zh) | 2024-01-23 |
| CN117437202B CN117437202B (zh) | 2024-07-16 |
Family
ID=89554938
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311447390.2A Active CN117437202B (zh) | 2023-11-01 | 2023-11-01 | 基于图像的偏光片缺陷检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117437202B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111223093A (zh) * | 2020-03-04 | 2020-06-02 | 武汉精立电子技术有限公司 | 一种aoi缺陷检测方法 |
| JP2020188142A (ja) * | 2019-05-15 | 2020-11-19 | セラミックフォーラム株式会社 | 結晶欠陥検出装置及び結晶欠陥検出方法 |
| WO2021253632A1 (zh) * | 2020-06-19 | 2021-12-23 | 深圳新视智科技术有限公司 | 基于对抗神经网络的布匹缺陷检测方法、终端和存储介质 |
| CN114600165A (zh) * | 2019-09-17 | 2022-06-07 | 波士顿偏振测定公司 | 用于使用偏振提示表面建模的***和方法 |
| CN115908308A (zh) * | 2022-11-16 | 2023-04-04 | 深圳市格灵精睿视觉有限公司 | 基于偏振光成像的表面缺陷检测方法、设备及存储介质 |
| CN116577351A (zh) * | 2023-07-14 | 2023-08-11 | 深圳市深卓越光电有限公司 | 基于图像数据的液晶玻璃基板偏光片质量检测方法 |
| CN116934627A (zh) * | 2023-07-28 | 2023-10-24 | 重庆大学 | 一种弱光环境下的目标检测方法 |
-
2023
- 2023-11-01 CN CN202311447390.2A patent/CN117437202B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020188142A (ja) * | 2019-05-15 | 2020-11-19 | セラミックフォーラム株式会社 | 結晶欠陥検出装置及び結晶欠陥検出方法 |
| CN114600165A (zh) * | 2019-09-17 | 2022-06-07 | 波士顿偏振测定公司 | 用于使用偏振提示表面建模的***和方法 |
| CN111223093A (zh) * | 2020-03-04 | 2020-06-02 | 武汉精立电子技术有限公司 | 一种aoi缺陷检测方法 |
| WO2021253632A1 (zh) * | 2020-06-19 | 2021-12-23 | 深圳新视智科技术有限公司 | 基于对抗神经网络的布匹缺陷检测方法、终端和存储介质 |
| CN115908308A (zh) * | 2022-11-16 | 2023-04-04 | 深圳市格灵精睿视觉有限公司 | 基于偏振光成像的表面缺陷检测方法、设备及存储介质 |
| CN116577351A (zh) * | 2023-07-14 | 2023-08-11 | 深圳市深卓越光电有限公司 | 基于图像数据的液晶玻璃基板偏光片质量检测方法 |
| CN116934627A (zh) * | 2023-07-28 | 2023-10-24 | 重庆大学 | 一种弱光环境下的目标检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117437202B (zh) | 2024-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110148130B (zh) | 用于检测零件缺陷的方法和装置 | |
| CN111693534B (zh) | 表面缺陷的检测方法、模型训练方法、装置、设备和介质 | |
| CN111833306A (zh) | 缺陷检测方法和用于缺陷检测的模型训练方法 | |
| CN108664840A (zh) | 图像识别方法及装置 | |
| WO2024002187A1 (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
| CN116485779B (zh) | 自适应晶圆缺陷检测方法、装置、电子设备及存储介质 | |
| CN115797314B (zh) | 零件表面缺陷检测方法、***、设备及存储介质 | |
| CN116071315A (zh) | 一种基于机器视觉的产品可视缺陷检测方法及*** | |
| CN115471476A (zh) | 一种部件缺陷检测方法、装置、设备及介质 | |
| TW201512649A (zh) | 偵測晶片影像瑕疵方法及其系統與電腦程式產品 | |
| CN114612418A (zh) | 一种鼠标外壳表面缺陷检测方法及装置、***、电子设备 | |
| CN117635590A (zh) | 一种笔记本电脑外壳的缺陷检测方法、缺陷检测装置和存储介质 | |
| CN117437202B (zh) | 基于图像的偏光片缺陷检测方法、装置、设备及存储介质 | |
| Kuo et al. | Automated inspection of micro-defect recognition system for color filter | |
| CN117152094A (zh) | 基于计算机视觉的钢板表面缺陷分析方法、装置及*** | |
| CN116797602A (zh) | 一种用于工业产品检测的表面缺陷鉴定方法和装置 | |
| CN106845498A (zh) | 结合高程的单幅山脉遥感图像滑坡泥石流检测方法 | |
| CN116152191A (zh) | 基于深度学习的显示屏裂纹缺陷检测方法、装置及设备 | |
| Qureshi et al. | An information based framework for performance evaluation of image enhancement methods | |
| CN115578362A (zh) | 电极涂层的缺陷检测方法、装置、电子设备及介质 | |
| CN115239663A (zh) | 隐形眼镜瑕疵检测方法及***、电子设备、存储介质 | |
| KR20230036650A (ko) | 영상 패치 기반의 불량 검출 시스템 및 방법 | |
| CN117474916B (zh) | 一种图像检测方法、电子设备及存储介质 | |
| Setiawan et al. | Improved Edge Detection Based on Adaptive Gaussian Smoothing in X-Ray Image | |
| CN113516161B (zh) | 一种隧道施工人员风险预警方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |