CN111077166A - 液晶屏的瑕疵检测方法、装置及终端设备 - Google Patents

液晶屏的瑕疵检测方法、装置及终端设备 Download PDF

Info

Publication number
CN111077166A
CN111077166A CN201811226869.2A CN201811226869A CN111077166A CN 111077166 A CN111077166 A CN 111077166A CN 201811226869 A CN201811226869 A CN 201811226869A CN 111077166 A CN111077166 A CN 111077166A
Authority
CN
China
Prior art keywords
liquid crystal
crystal screen
defects
screen image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811226869.2A
Other languages
English (en)
Inventor
张樱
师军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd, Beijing Kingsoft Cloud Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN201811226869.2A priority Critical patent/CN111077166A/zh
Publication of CN111077166A publication Critical patent/CN111077166A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N2021/9513Liquid crystal panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30121CRT, LCD or plasma display

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Liquid Crystal (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)

Abstract

本发明提供了一种液晶屏的瑕疵检测方法、装置及终端设备,涉及检测技术领域,该方法包括:获取待检测的液晶屏图像;将液晶屏图像输入至预先训练得到的瑕疵检测模型,以使瑕疵检测模型对所述液晶屏图像进行瑕疵检测;获取瑕疵检测模型输出的瑕疵检测结果。本发明能够采用人工智能方式对液晶屏的瑕疵进行检测,并得到包括有液晶屏瑕疵类别的检测结果,较好地节约了人力成本,提升了液晶屏瑕疵的检测效率。

Description

液晶屏的瑕疵检测方法、装置及终端设备
技术领域
本发明涉及检测技术领域,尤其是涉及一种液晶屏的瑕疵检测方法、装置及终端设备。
背景技术
目前,液晶屏类电子产品已经成为我们生活、工作中不可缺少的重要组成元素,而液晶屏作为电子产品的重要组成部件,其质量直接关乎电子产品的性能及外观。在液晶屏的生产过程中,现在的科技水平还无法完全避免各种各样的缺陷(如划伤、气泡、暗/亮点等),液晶屏的这些缺陷会直接影响电子产品的使用度甚至造成电子产品无法正常使用,致使用户体验较低。而现有技术大多需要专业人员对液晶屏进行瑕疵判别,不仅人力成本较高,而且检测效率低下。
发明内容
有鉴于此,本发明的目的在于提供一种液晶屏的瑕疵检测方法、装置及终端设备,较好地节约了人力成本,提升了液晶屏瑕疵的检测效率。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提供了一种液晶屏的瑕疵检测方法,该方法包括:获取待检测的液晶屏图像;将液晶屏图像输入至预先训练得到的瑕疵检测模型,以使瑕疵检测模型对液晶屏图像进行瑕疵检测;获取瑕疵检测模型输出的瑕疵检测结果;其中,瑕疵检测结果包括液晶屏瑕疵类别。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,获取待检测的液晶屏图像的步骤,包括:通过图像采集设备获取待检测的液晶屏图像;其中,图像采集设备设立于液晶屏生产线上的指定位置;待检测的液晶屏图像为图像采集设备采集的待检测液晶屏的图像;和/或,通过AOI检测设备获取待检测的液晶屏图像;其中,AOI检测设备设立于液晶屏的生产线上的指定位置,待检测的液晶屏图像为AOI检测设备检测到的异常液晶屏的图像。
结合第一方面,本发明实施例提供了第一方面的第二种可能的实施方式,其中,瑕疵检测模型的训练过程包括:获取多组训练图像;其中,每组包含多张训练图像,组间的训练图像携带的瑕疵类别标签不同;组内的训练图像的瑕疵类别标签相同,瑕疵样式不同;将多组训练图像输入至预设的神经网络结构,计算神经网络结构的损失函数值;基于损失函数值,通过反向传播算法对神经网络结构的网络参数进行训练,直至损失函数值收敛到预设值,停止训练。
结合第一方面,本发明实施例提供了第一方面的第三种可能的实施方式,其中,瑕疵检测模型为深度卷积神经网络;瑕疵检测模型对液晶屏图像进行瑕疵检测的步骤,包括:对液晶屏图像进行语义分割处理,得到分割结果;基于分割结果对液晶屏图像进行瑕疵检测。
结合第一方面的第三种可能的实施方式,本发明实施例提供了第一方面的第四种可能的实施方式,其中,对液晶屏图像进行语义分割处理的步骤,包括:采用空洞卷积方式对液晶屏图像进行语义分割处理;或者,采用空洞空间金字塔池化方式对液晶屏图像进行语义分割处理;或者,采用多比例的带孔卷积级联方式对液晶屏图像进行语义分割处理。
结合第一方面任一种实施方式,本发明实施例提供了第一方面的第五种可能的实施方式,其中,液晶屏瑕疵类别包括外表瑕疵和显示瑕疵;外表瑕疵包括划伤瑕疵、凹痕瑕疵、毛边瑕疵、气泡瑕疵和异物瑕疵中的一种或多种;显示瑕疵包括点瑕疵、线瑕疵和面瑕疵中的一种或多种。
第二方面,本发明实施例还提供一种液晶屏的瑕疵检测装置,包括:图像获取模块,用于获取待检测的液晶屏图像;瑕疵检测模块,用于将液晶屏图像输入至预先训练得到的瑕疵检测模型,以使瑕疵检测模型对液晶屏图像进行瑕疵检测;结果获取模块,用于获取瑕疵检测模型输出的瑕疵检测结果;其中,瑕疵检测结果包括液晶屏瑕疵类别。
结合第二方面,本发明实施例提供了第二方面的第一种可能的实施方式,其中,图像获取模块用于:通过图像采集设备获取待检测的液晶屏图像;其中,图像采集设备设立于液晶屏生产线上的指定位置;待检测的液晶屏图像为图像采集设备采集的待检测液晶屏的图像;和/或,通过AOI检测设备获取待检测的液晶屏图像;其中,AOI检测设备设立于液晶屏的生产线上的指定位置,待检测的液晶屏图像为AOI检测设备检测到的异常液晶屏的图像。
结合第二方面,本发明实施例提供了第二方面的第二种可能的实施方式,其中,瑕疵检测模块还用于:获取多组训练图像;其中,每组包含多张训练图像,组间的训练图像携带的瑕疵类别标签不同;组内的训练图像的瑕疵类别标签相同,瑕疵样式不同;将多组训练图像输入至预设的神经网络结构,计算神经网络结构的损失函数值;基于损失函数值,通过反向传播算法对神经网络结构的网络参数进行训练,直至损失函数值收敛到预设值,停止训练。
结合第二方面,本发明实施例提供了第二方面的第三种可能的实施方式,其中,瑕疵检测模型为深度卷积神经网络;瑕疵检测模块包括:分割单元,用于对液晶屏图像进行语义分割处理,得到分割结果;瑕疵检测单元,用于基于分割结果对液晶屏图像进行瑕疵检测。
结合第二方面的第三种可能的实施方式,本发明实施例提供了第二方面的第四种可能的实施方式,分割单元用于:采用空洞卷积方式对液晶屏图像进行语义分割处理;或者,采用空洞空间金字塔池化方式对液晶屏图像进行语义分割处理;或者,采用多比例的带孔卷积级联方式对液晶屏图像进行语义分割处理。
结合第二方面任一种实施方式,本发明实施例提供了第二方面的第五种可能的实施方式,其中,液晶屏瑕疵类别包括外表瑕疵和显示瑕疵;外表瑕疵包括划伤瑕疵、凹痕瑕疵、毛边瑕疵、气泡瑕疵和异物瑕疵中的一种或多种;显示瑕疵包括点瑕疵、线瑕疵和面瑕疵中的一种或多种。
第三方面,本发明实施例提供了一种终端设备,终端设备包括存储器以及处理器,存储器用于存储支持处理器执行如第一方面至第一方面的第八种可能的实施方式任一项的方法的程序,处理器被配置为用于执行存储器中存储的程序。
第四方面,本发明实施例提供了一种计算机存储介质,用于储存为上述第一方面至第一方面的第八种可能的实施方式任一项的方法所用的计算机软件指令。
本发明实施例提供了一种液晶屏的瑕疵检测方法、装置及终端设备,通过获取待检测的液晶屏图像,并将液晶屏图像输入至预先训练得到的瑕疵检测模型,以使瑕疵检测模型对液晶屏图像进行瑕疵检测,进而获取瑕疵检测模型输出的瑕疵检测结果。本发明实施例采用瑕疵检测模型对液晶屏的瑕疵进行检测并得到包括有液晶屏瑕疵类别的检测结果,较好地节约了人力成本,提升了液晶屏瑕疵的检测效率。
本公开的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本公开的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的一种液晶屏的瑕疵检测方法的流程图;
图2示出了本发明实施例所提供的瑕疵检测模型的训练过程的流程图;
图3示出了本发明实施例所提供的另一种液晶屏的瑕疵检测方法的流程图;
图4示出了本发明实施例所提供的一种液晶屏的瑕疵检测装置的结构框图;
图5示出了本发明实施例所提供的一种终端设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
考虑到现有技术中液晶屏的瑕疵检测方法对液晶屏的瑕疵检测准确性不高,本发明实施例提供了一种液晶屏的瑕疵检测方法、装置及终端设备,能够较准确地对液晶屏的瑕疵进行检测,以下对本发明实施例进行详细介绍。
参见图1所示的一种液晶屏的瑕疵检测方法的流程图,该方法可以由诸如手机、计算机等终端设备执行,该方法包括以下步骤:
步骤S102,获取待检测的液晶屏图像。其中,待检测的液晶屏图像可以是液晶屏通电点亮后的图像,也可以是液晶屏处于黑屏状态时的屏幕外观图像,在此不进行限制。对于液晶屏通电点亮后的图像,可以用于检测该液晶屏的显示瑕疵,诸如亮斑/暗斑等点瑕疵,或者亮线/暗线等线瑕疵,或者小区域的面瑕疵等。对于液晶屏处于黑屏状态时的屏幕外观图像,可用于检测该液晶屏的外表瑕疵,诸如划伤瑕疵、气泡瑕疵、异物瑕疵等,具体可根据检测需要而灵活设置待检测的液晶屏是处于点亮状态还是黑屏状态,并相应获取其对应的图像。
在一种实施方式中,通过图像采集设备诸如摄像头、扫描仪等,获取待检测的液晶屏图像,图像采集设备设立于液晶屏生产线上的指定位置,待检测的液晶屏图像为图像采集设备采集的待检测液晶屏的图像。
在另一种实施方式中,通过AOI(Automatic Optical Inspection,自动光学检查)检测设备获取待检测的液晶屏图像,AOI检测设备设立于液晶屏的生产线上的指定位置,待检测的液晶屏图像为AOI检测设备检测到的异常液晶屏的图像,异常液晶屏即有瑕疵的液晶屏。自动检测时,AOI检测设备通过高清CCD摄像头自动扫描液晶屏,采集液晶屏的图像,并可以初步识别异常液晶屏。
获取待检测的液晶屏图像的方式一种方式为检测设备如AOI检测设备或图像采集设备直接将采集的待检测的液晶屏图像发送给终端设备,另一种方式为AOI检测设备或图像采集设备直接将采集的待检测的液晶屏图像上传给云服务器,以便用于执行液晶屏的瑕疵检测方法的终端设备按照需要从云服务器中下载待检测的液晶屏图像。此外,获取待检测的液晶屏图像的方式还可以是直接接收用户输入的液晶屏图像。
步骤S104,将液晶屏图像输入至预先训练得到的瑕疵检测模型,以使瑕疵检测模型对液晶屏图像进行瑕疵检测。
在一种实施方式中,瑕疵检测模型可以采用神经网络结构实现,神经网络是一种运算模型,由大量的节点(或称神经元)相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆。网络的输出则根据网络的连接方式,权重值和激励函数的不同而不同。神经网络通常是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。
在实际应用中,瑕疵检测模型可以是通过训练多组训练图像预先进行训练得到,多组训练图像均为液晶屏的瑕疵图像,每组训练图像可以是有一种瑕疵的多张图像,且每组训练图像的瑕疵类别均不同;诸如,划伤瑕疵类别对应多张表现形式不同的划伤瑕疵图像,点瑕疵类别对应多张表现形式不同的点瑕疵图像,线瑕疵类别对应多张表现形式不同的线瑕疵图像等;待训练的瑕疵检测模型通过训练,得到合理的检测结果,即当瑕疵检测模型的损失函数收敛至预设阈值时,停止训练。通过预先训练得到的瑕疵检测模型已经能够对液晶屏的各种类型的瑕疵以及每种类别的瑕疵的多种表现形式进行较准确地检测。
步骤S106,获取瑕疵检测模型输出的瑕疵检测结果;其中,瑕疵检测结果包括液晶屏瑕疵类别。
液晶屏瑕疵类别可以包括外表瑕疵和显示瑕疵,其中,外表瑕疵包括划伤瑕疵、凹痕瑕疵、毛边瑕疵、气泡瑕疵和异物瑕疵中的一种或多种;显示瑕疵包括点瑕疵、线瑕疵和面瑕疵中的一种或多种。如手机屏幕上的划痕属于划伤瑕疵,手机屏幕上某个位置出现亮点无法正常显示,该瑕疵属于点瑕疵。
本发明实施例提供的上述液晶屏的瑕疵检测方法,通过获取待检测的液晶屏图像,并将液晶屏图像输入至预先训练得到的瑕疵检测模型,以使瑕疵检测模型对液晶屏图像进行瑕疵检测,进而获取瑕疵检测模型输出的瑕疵检测结果。本发明实施例采用瑕疵检测模型对液晶屏的瑕疵进行检测并得到包括有液晶屏瑕疵类别的检测结果,较好地节约了人力成本,提升了液晶屏瑕疵的检测效率。
为便于理解,以下给出基于本实施例提供的液晶屏的瑕疵检测方法中,对瑕疵检测模型进行训练的一种具体实施方式,参见图2所示的一种瑕疵检测模型的训练过程的流程图,该方法包括以下步骤:
步骤S202,获取多组训练图像;其中,每组包含多张训练图像,组间的训练图像携带的瑕疵类别标签不同;组内的训练图像的瑕疵类别标签相同,瑕疵样式不同。
多组训练图像均为液晶屏的瑕疵图像,根据瑕疵类别的不同将训练图像分为不同的组,即每组内的训练图像的瑕疵类别相同而组与组之间的瑕疵类别不同,且组内的瑕疵样式不同,每张训练图像有一种样式的瑕疵。如第一组训练图像的瑕疵均为异物瑕疵,第二组训练图像的瑕疵均为点瑕疵,每组又有多张训练图像,其中,第一组内的训练图像包括有透明异物的训练图像、浑浊异物的训练图像等有不同瑕疵样式的多张训练图像,第二组内的训练图像包括有坏点的训练图像、有暗点的训练图像和有亮点的训练图像等有不同瑕疵样式的多张训练图像。以上仅为示意性说明,在此不再赘述。
步骤S204,将多组训练图像输入至预设的神经网络结构,计算神经网络结构的损失函数值。
基于预设的神经网络结构对瑕疵检测模型进行训练,神经网络结构可以是深度卷积神经网络如deeplab神经网络,通过语义图像分割对训练图像进行语义分割处理,得到分割结果,基于分割结果对训练图像进行瑕疵检测,即训练瑕疵检测模型。
步骤S206,基于损失函数值,通过反向传播算法对神经网络结构的网络参数进行训练,直至损失函数值收敛到预设值,停止训练。
当损失函数收敛至预设阈值时,即得到最佳的网络参数,此时的瑕疵检测模型已能够对液晶屏的瑕疵进行较准确地检测并输出较好的检测结果,可以停止对瑕疵检测模型的训练。
本发明实施例提供的上述训练得到的瑕疵检测模型对液晶屏的瑕疵进行检测,通过对神经网络结构的网络参数进行训练,使损失函数收敛到预设值,从而得到最佳的网络参数,进而使得瑕疵检测模型能够对液晶屏的瑕疵进行较准确的检测。
为便于理解,以下给出基于本实施例提供的液晶屏的瑕疵检测方法的一种具体实施方式,参见图3所示的另一种液晶屏的瑕疵检测方法的流程图,该方法包括以下步骤:
步骤S302,通过AOI检测设备获取待检测的液晶屏图像;其中,AOI检测设备设立于液晶屏的生产线上的指定位置,待检测的液晶屏图像为AOI检测设备检测到的异常液晶屏的图像。
异常液晶屏的图像即有瑕疵的液晶屏的图像,瑕疵的类别在上述实施方式中已做出说明,在此不再赘述。
步骤S304,将液晶屏图像输入至预先训练得到的瑕疵检测模型。
瑕疵检测模型可以采用深度卷积神经网络(CNNs)实现。深度卷积神经网络是一种前馈神经网络,人工神经元可以响应周围单元,可以进行大型的图像处理。深度卷积神经网络相比传统的神经网络,在特征识别相关任务具有更好的识别效果,可较好地应用于图像检测。
步骤S306,通过瑕疵检测模型对液晶屏图像进行语义分割处理,得到分割结果。
具体实施时,深度卷积神经网络是通过语义图像分割对液晶屏图像进行语义分割处理的,本实施例给出如下三种语义分割方式:
方式一:采用空洞卷积方式对液晶屏图像进行语义分割处理;
空洞卷积(atrous convolution)方式通过atrous(带孔)算法获取更多的液晶屏图像信息,采用完全连接的条件随机场(CRF)提高模型捕获细节的能力,在不做池化损失信息的情况下,让每个卷积输出都包含较大范围的信息,从而得到液晶屏图像的分割结果。
方式二:采用空洞空间金字塔池化方式对液晶屏图像进行语义分割处理;
空洞空间金字塔池化(atrous spatial pyramid pooling,ASPP)方式是在神经网络池化层的最后几个最大池化层中去除采样,取而代之的是使用空洞卷积,以更高的采样密度计算特征映射。将液晶屏图像按照预设的尺寸分割为子块,子块经过卷积运算得到对应的特征图,空洞空间金字塔池化方式使得任意大小的特征图都能够转换成固定大小的特征向量,从而对液晶屏图像实现更好的语义分割效果。
方式三:采用多比例的带孔卷积级联方式对液晶屏图像进行语义分割处理。
采用多比例的带孔卷积级联或并行来捕获多尺度背景,将修改之前提出的带孔空间金字塔池化模块,该模块用于探索多尺度卷积特征,将全局背景基于图像层次进行编码获得特征。
在具体实施时,可以根据需求而选用上述任一方式实现,在此不进行限制。
步骤S308,基于分割结果对液晶屏图像进行瑕疵检测。
根据分割结果在瑕疵检测模型中对液晶屏图像的瑕疵进行检测,确定液晶屏图像中液晶屏的瑕疵类别。
步骤S310,获取瑕疵检测模型输出的瑕疵检测结果;其中,瑕疵检测结果包括液晶屏瑕疵类别。
具体的,如检测到的液晶屏的瑕疵是划痕瑕疵,则瑕疵检测结果包括液晶屏的瑕疵为划痕瑕疵;检测到的液晶屏的瑕疵是气泡瑕疵,则瑕疵检测结果包括液晶屏的瑕疵为气泡瑕疵;检测到的液晶屏的瑕疵是暗点/亮点瑕疵,则瑕疵检测结果包括液晶屏的瑕疵为点瑕疵。
综上所述,采用本实施例提供的上述液晶屏的瑕疵检测方法,通过AOI检测设备获取待检测的液晶屏图像,并通过语义图像分割由深度卷积神经网络对液晶屏图像进行语义分割处理,得到分割结果,从而基于分割结果对液晶屏图像的瑕疵进行较准确的检测。
在一种具体的实施方式中,瑕疵检测模型可以是deeplab神经网络,deeplab神经网络是一种用于图像语义分割的顶尖深度学习模型,其目标是将语义标签(如人、狗、猫等)分配给输入图像的每个像素,deeplab神经网络的第一个功能是结合深度卷积神经网络,使用空洞卷积进行语义分割,第二个功能基于第一个功能的优化,使用空洞空间金字塔池化对图像进行有效的分割,第三个功能是采用多比例的带孔卷积级联或并行来捕获多尺度背景,基于图像特征优化ASPP的分割,还有一个功能是对第三个功能的扩展,包括一个简单而高效的改善分割结果的解码器模块。深度卷积神经网络主要包括卷积层和池化层,通过卷积层和池化层分别对液晶屏图像进行卷积处理和池化处理,通过特征提取而实现对液晶屏图像的检测。本实施例可以结合deeplab神经网络的优势而将其应用于对液晶屏的瑕疵检测方面,替代传统的人工判别瑕疵的低效方式,较好地提升了瑕疵检测效率,适用于各需要检测液晶屏瑕疵的场合。
对应于前述液晶屏的瑕疵检测方法,本发明实施例提供了一种液晶屏的瑕疵检测装置,参见图4示出的一种液晶屏的瑕疵检测装置的结构框图,该装置包括以下模块:
图像获取模块402,用于获取待检测的液晶屏图像;
瑕疵检测模块404,用于将液晶屏图像输入至预先训练得到的瑕疵检测模型,以使瑕疵检测模型对液晶屏图像进行瑕疵检测;
结果获取模块406,用于获取瑕疵检测模型输出的瑕疵检测结果;其中,瑕疵检测结果包括液晶屏瑕疵类别。
本发明实施例提供的上述液晶屏的瑕疵检测装置,通过获取待检测的液晶屏图像,并将液晶屏图像输入至预先训练得到的瑕疵检测模型,以使瑕疵检测模型对液晶屏图像进行瑕疵检测,进而获取瑕疵检测模型输出的瑕疵检测结果。本发明实施例采用神经网络构成的瑕疵检测模型对液晶屏的瑕疵进行检测并得到包括有液晶屏瑕疵类别的检测结果,较好地节约了人力成本,提升了液晶屏瑕疵的检测效率。上述图像获取模块402进一步用于:通过图像采集设备获取待检测的液晶屏图像;其中,图像采集设备设立于液晶屏生产线上的指定位置;待检测的液晶屏图像为图像采集设备采集的待检测液晶屏的图像;和/或通过AOI检测设备获取待检测的液晶屏图像;其中,AOI检测设备设立于液晶屏的生产线上的指定位置,待检测的液晶屏图像为AOI检测设备检测到的异常液晶屏的图像。
上述瑕疵检测模块404还用于:获取多组训练图像;其中,每组包含多张训练图像,组间的训练图像携带的瑕疵类别标签不同;组内的训练图像的瑕疵类别标签相同,但瑕疵样式不同;将多组训练图像输入至预设的神经网络结构,计算神经网络结构的损失函数值;基于损失函数值,通过反向传播算法对神经网络结构的网络参数进行训练,直至损失函数值收敛到预设值,停止训练。
在具体实施时,神经网络结构为深度卷积神经网络;上述瑕疵检测模块404包括:分割单元,用于对液晶屏图像进行语义分割处理,得到分割结果;瑕疵检测单元,用于基于分割结果对液晶屏图像进行瑕疵检测。其中,分割单元用于:采用空洞卷积方式对液晶屏图像进行语义分割处理;或者,采用空洞空间金字塔池化方式对液晶屏图像进行语义分割处理;或者,采用多比例的带孔卷积级联方式对液晶屏图像进行语义分割处理。
在上述任一实施方式的装置中,液晶屏瑕疵类别包括外表瑕疵和显示瑕疵;外表瑕疵包括划伤瑕疵、凹痕瑕疵、毛边瑕疵、气泡瑕疵和异物瑕疵中的一种或多种;显示瑕疵包括点瑕疵、线瑕疵和面瑕疵中的一种或多种。
本实施例所提供的装置,其实现原理及产生的技术效果和前述实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
本发明实施例提供了一种终端设备,参见图5所示的一种终端设备的结构示意图,该终端设备包括:处理器50、存储器51、总线52和通信接口53,所述处理器50、通信接口53和存储器51通过总线52连接;处理器50用于执行存储器51中存储的可执行模块,例如计算机程序。
其中,存储器51可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口53(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线52可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器51用于存储程序,所述处理器50在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器50中,或者由处理器50实现。
处理器50可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器50中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器50可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器51,处理器50读取存储器51中的信息,结合其硬件完成上述方法的步骤。
本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行前述实施例任一项的方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***具体工作过程,可以参考前述实施例中的对应过程,在此不再赘述。
本发明实施例所提供的液晶屏的瑕疵检测方法、装置及终端设备的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种液晶屏的瑕疵检测方法,其特征在于,包括:
获取待检测的液晶屏图像;
将所述液晶屏图像输入至预先训练得到的瑕疵检测模型,以使所述瑕疵检测模型对所述液晶屏图像进行瑕疵检测;
获取所述瑕疵检测模型输出的瑕疵检测结果;其中,所述瑕疵检测结果包括液晶屏瑕疵类别。
2.根据权利要求1所述的方法,其特征在于,所述获取待检测的液晶屏图像的步骤,包括:
通过图像采集设备获取待检测的液晶屏图像;其中,所述图像采集设备设立于液晶屏生产线上的指定位置;所述待检测的液晶屏图像为所述图像采集设备采集的待检测液晶屏的图像;
和/或
通过AOI检测设备获取待检测的液晶屏图像;其中,所述AOI检测设备设立于液晶屏的生产线上的指定位置,所述待检测的液晶屏图像为所述AOI检测设备检测到的异常液晶屏的图像。
3.根据权利要求1所述的方法,其特征在于,所述瑕疵检测模型的训练过程包括:
获取多组训练图像;其中,每组包含多张训练图像,组间的训练图像携带的瑕疵类别标签不同;组内的训练图像的瑕疵类别标签相同,瑕疵样式不同;
将多组所述训练图像输入至预设的神经网络结构,计算所述神经网络结构的损失函数值;
基于所述损失函数值,通过反向传播算法对所述神经网络结构的网络参数进行训练,直至所述损失函数值收敛到预设值,停止训练。
4.根据权利要求1所述的方法,其特征在于,所述瑕疵检测模型为深度卷积神经网络;
所述瑕疵检测模型对所述液晶屏图像进行瑕疵检测的步骤,包括:
对所述液晶屏图像进行语义分割处理,得到分割结果;
基于所述分割结果对所述液晶屏图像进行瑕疵检测。
5.根据权利要求4所述的方法,其特征在于,所述对所述液晶屏图像进行语义分割处理的步骤,包括:
采用空洞卷积方式对所述液晶屏图像进行语义分割处理;
或者,
采用空洞空间金字塔池化方式对所述液晶屏图像进行语义分割处理;
或者,
采用多比例的带孔卷积级联方式对所述液晶屏图像进行语义分割处理。
6.根据权利要求1至5任一项所述的方法,其特征在于,
所述液晶屏瑕疵类别包括外表瑕疵和显示瑕疵;
所述外表瑕疵包括划伤瑕疵、凹痕瑕疵、毛边瑕疵、气泡瑕疵和异物瑕疵中的一种或多种;
所述显示瑕疵包括点瑕疵、线瑕疵和面瑕疵中的一种或多种。
7.一种液晶屏的瑕疵检测装置,其特征在于,包括:
图像获取模块,用于获取待检测的液晶屏图像;
瑕疵检测模块,用于将所述液晶屏图像输入至预先训练得到的瑕疵检测模型,以使所述瑕疵检测模型对所述液晶屏图像进行瑕疵检测;
结果获取模块,用于获取所述瑕疵检测模型输出的瑕疵检测结果;其中,所述瑕疵检测结果包括液晶屏瑕疵类别。
8.根据权利要求7所述的装置,其特征在于,所述图像获取模块用于:
通过图像采集设备获取待检测的液晶屏图像;其中,所述图像采集设备设立于液晶屏生产线上的指定位置;所述待检测的液晶屏图像为所述图像采集设备采集的待检测液晶屏的图像;
和/或
通过AOI检测设备获取待检测的液晶屏图像;其中,所述AOI检测设备设立于液晶屏的生产线上的指定位置,所述待检测的液晶屏图像为所述AOI检测设备检测到的异常液晶屏的图像。
9.根据权利要求7所述的装置,其特征在于,所述瑕疵检测模块还用于:
获取多组训练图像;其中,每组包含多张训练图像,组间的训练图像携带的瑕疵类别标签不同;组内的训练图像的瑕疵类别标签相同,但瑕疵样式不同;
将多组所述训练图像输入至预设的神经网络结构,计算所述神经网络结构的损失函数值;
基于所述损失函数值,通过反向传播算法对所述神经网络结构的网络参数进行训练,直至所述损失函数值收敛到预设值,停止训练。
10.根据权利要求7所述的装置,其特征在于,所述瑕疵检测模型为深度卷积神经网络;
所述瑕疵检测模块包括:
分割单元,用于对所述液晶屏图像进行语义分割处理,得到分割结果;
瑕疵检测单元,用于基于所述分割结果对所述液晶屏图像进行瑕疵检测。
11.根据权利要求10所述的装置,其特征在于,所述分割单元用于:
采用空洞卷积方式对所述液晶屏图像进行语义分割处理;
或者,
采用空洞空间金字塔池化方式对所述液晶屏图像进行语义分割处理;
或者,
采用多比例的带孔卷积级联方式对所述液晶屏图像进行语义分割处理。
12.根据权利要求7至11任一项所述的装置,其特征在于,所述液晶屏瑕疵类别包括外表瑕疵和显示瑕疵;
所述外表瑕疵包括划伤瑕疵、凹痕瑕疵、毛边瑕疵、气泡瑕疵和异物瑕疵中的一种或多种;
所述显示瑕疵包括点瑕疵、线瑕疵和面瑕疵中的一种或多种。
13.一种终端设备,其特征在于,所述终端设备包括存储器以及处理器,所述存储器用于存储支持处理器执行权利要求1至6任一项所述方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。
14.一种计算机存储介质,其特征在于,用于储存为权利要求1至6任一项所述方法所用的计算机软件指令。
CN201811226869.2A 2018-10-19 2018-10-19 液晶屏的瑕疵检测方法、装置及终端设备 Pending CN111077166A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811226869.2A CN111077166A (zh) 2018-10-19 2018-10-19 液晶屏的瑕疵检测方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811226869.2A CN111077166A (zh) 2018-10-19 2018-10-19 液晶屏的瑕疵检测方法、装置及终端设备

Publications (1)

Publication Number Publication Date
CN111077166A true CN111077166A (zh) 2020-04-28

Family

ID=70309643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811226869.2A Pending CN111077166A (zh) 2018-10-19 2018-10-19 液晶屏的瑕疵检测方法、装置及终端设备

Country Status (1)

Country Link
CN (1) CN111077166A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464936A (zh) * 2020-12-11 2021-03-09 合肥维信诺科技有限公司 显示模组异常显示区域的定位方法和定位装置
CN112686869A (zh) * 2020-12-31 2021-04-20 上海智臻智能网络科技股份有限公司 一种布匹瑕疵检测方法及其装置
CN113673526A (zh) * 2021-07-23 2021-11-19 浙江大华技术股份有限公司 气泡检测方法、终端及计算机可读存储介质
CN114428412A (zh) * 2020-10-29 2022-05-03 中强光电股份有限公司 影像辨识装置以及影像辨识方法
CN115222653A (zh) * 2021-12-17 2022-10-21 荣耀终端有限公司 测试方法和装置
CN116405661A (zh) * 2023-04-28 2023-07-07 可诺特软件(深圳)有限公司 一种智能电视开发性能测试方法和装置
CN117132584A (zh) * 2023-09-22 2023-11-28 山东省计算中心(国家超级计算济南中心) 一种基于深度学习的液晶显示屏瑕疵检测方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105549231A (zh) * 2015-12-04 2016-05-04 凌云光技术集团有限责任公司 液晶屏缺陷检测装置及方法
CN106886801A (zh) * 2017-04-14 2017-06-23 北京图森未来科技有限公司 一种图像语义分割方法及装置
CN107273036A (zh) * 2017-06-30 2017-10-20 广东欧珀移动通信有限公司 移动终端及其分屏控制方法、计算机可读存储介质
CN107561738A (zh) * 2017-08-30 2018-01-09 湖南理工学院 基于fcn的tft‑lcd表面缺陷快速检测方法
CN107657603A (zh) * 2017-08-21 2018-02-02 北京精密机电控制设备研究所 一种基于智能视觉的工业外观检测方法
CN107886514A (zh) * 2017-11-22 2018-04-06 浙江中医药大学 基于深度残差网络的乳腺钼靶图像肿块语义分割方法
CN108305260A (zh) * 2018-03-02 2018-07-20 苏州大学 一种图像中角点的检测方法、装置及设备
WO2018156869A1 (en) * 2017-02-26 2018-08-30 Yougetitback Limited System and method for detection of mobile device fault conditions
CN108846841A (zh) * 2018-07-02 2018-11-20 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105549231A (zh) * 2015-12-04 2016-05-04 凌云光技术集团有限责任公司 液晶屏缺陷检测装置及方法
WO2018156869A1 (en) * 2017-02-26 2018-08-30 Yougetitback Limited System and method for detection of mobile device fault conditions
CN106886801A (zh) * 2017-04-14 2017-06-23 北京图森未来科技有限公司 一种图像语义分割方法及装置
CN107273036A (zh) * 2017-06-30 2017-10-20 广东欧珀移动通信有限公司 移动终端及其分屏控制方法、计算机可读存储介质
CN107657603A (zh) * 2017-08-21 2018-02-02 北京精密机电控制设备研究所 一种基于智能视觉的工业外观检测方法
CN107561738A (zh) * 2017-08-30 2018-01-09 湖南理工学院 基于fcn的tft‑lcd表面缺陷快速检测方法
CN107886514A (zh) * 2017-11-22 2018-04-06 浙江中医药大学 基于深度残差网络的乳腺钼靶图像肿块语义分割方法
CN108305260A (zh) * 2018-03-02 2018-07-20 苏州大学 一种图像中角点的检测方法、装置及设备
CN108846841A (zh) * 2018-07-02 2018-11-20 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LIANG-CHIEH CHEN 等: "DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
LIANG-CHIEH CHEN 等: "Rethinking Atrous Convolution for Semantic Image Segmentation", ARXIV:1706.05587V3 *
LIANG-CHIEH CHEN 等: "Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs", ARXIV:1412.7062V4 *
罗艾娜 等: "基于深度神经网络的复杂光照下的蓝藻图片语义分割", 《计算机应用与软件》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114428412A (zh) * 2020-10-29 2022-05-03 中强光电股份有限公司 影像辨识装置以及影像辨识方法
TWI776275B (zh) * 2020-10-29 2022-09-01 中強光電股份有限公司 影像辨識裝置以及影像辨識方法
CN112464936A (zh) * 2020-12-11 2021-03-09 合肥维信诺科技有限公司 显示模组异常显示区域的定位方法和定位装置
CN112464936B (zh) * 2020-12-11 2022-12-20 合肥维信诺科技有限公司 显示模组异常显示区域的定位方法和定位装置
CN112686869A (zh) * 2020-12-31 2021-04-20 上海智臻智能网络科技股份有限公司 一种布匹瑕疵检测方法及其装置
CN113673526A (zh) * 2021-07-23 2021-11-19 浙江大华技术股份有限公司 气泡检测方法、终端及计算机可读存储介质
CN115222653A (zh) * 2021-12-17 2022-10-21 荣耀终端有限公司 测试方法和装置
CN115222653B (zh) * 2021-12-17 2023-08-18 荣耀终端有限公司 测试方法和装置
CN116405661A (zh) * 2023-04-28 2023-07-07 可诺特软件(深圳)有限公司 一种智能电视开发性能测试方法和装置
CN116405661B (zh) * 2023-04-28 2023-09-29 可诺特软件(深圳)有限公司 一种智能电视开发性能测试方法和装置
CN117132584A (zh) * 2023-09-22 2023-11-28 山东省计算中心(国家超级计算济南中心) 一种基于深度学习的液晶显示屏瑕疵检测方法及装置
CN117132584B (zh) * 2023-09-22 2024-02-13 山东省计算中心(国家超级计算济南中心) 一种基于深度学习的液晶显示屏瑕疵检测方法及装置

Similar Documents

Publication Publication Date Title
CN111077166A (zh) 液晶屏的瑕疵检测方法、装置及终端设备
CN109613002B (zh) 一种玻璃缺陷检测方法、装置和存储介质
CN111507958B (zh) 目标检测方法、检测模型的训练方法及电子设备
CN111179253A (zh) 一种产品缺陷检测方法、装置与***
CN109671058B (zh) 一种大分辨率图像的缺陷检测方法及***
KR20210010541A (ko) 배터리 검출 방법 및 장치(battery detection method and device)
CN112634209A (zh) 一种产品缺陷检测方法和装置
JP2024509411A (ja) 欠陥検出方法、装置及びシステム
CN110619618A (zh) 一种表面缺陷检测方法、装置及电子设备
CN111311542A (zh) 一种产品质量检测方法及装置
CN111598825B (zh) 数据处理方法、瑕疵的检测方法、计算设备及存储介质
CN111105336A (zh) 一种基于对抗网络的图像去水印的方法
CN111598863A (zh) 缺陷检测方法、装置、设备及可读存储介质
CN114549997B (zh) 一种基于区域特征提取的x光图像缺陷检测方法和装置
CN111242955B (zh) 基于全卷积神经网络的道路表面裂缝图像分割方法
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN115690102B (zh) 缺陷检测方法、装置、电子设备、存储介质和程序产品
JP2022003495A (ja) 検査装置、ユニット選択装置、検査方法、及び検査プログラム
CN111860027A (zh) 二维码的识别方法及装置
CN112446869A (zh) 基于深度学习的无监督工业品缺陷检测方法及装置
CN111612787B (zh) 混凝土裂纹高分图像无损语义分割方法、装置及存储介质
CN111476759A (zh) 一种屏幕表面检测方法、装置、终端及存储介质
CN117437227B (zh) 一种图像生成及缺陷检测方法、装置、介质、设备及产品
CN114429445A (zh) 一种基于MAIRNet的PCB缺陷检测与识别方法
CN116152191A (zh) 基于深度学习的显示屏裂纹缺陷检测方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200428

RJ01 Rejection of invention patent application after publication