CN117670876B - 一种面板缺陷严重程度判级方法、***、设备及存储介质 - Google Patents
一种面板缺陷严重程度判级方法、***、设备及存储介质 Download PDFInfo
- Publication number
- CN117670876B CN117670876B CN202410129562.XA CN202410129562A CN117670876B CN 117670876 B CN117670876 B CN 117670876B CN 202410129562 A CN202410129562 A CN 202410129562A CN 117670876 B CN117670876 B CN 117670876B
- Authority
- CN
- China
- Prior art keywords
- defect
- line
- target frame
- judging
- severity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 242
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 230000011218 segmentation Effects 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000002372 labelling Methods 0.000 claims abstract description 22
- 230000015654 memory Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种面板缺陷严重程度判级方法、***、设备及存储介质，涉及面板缺陷检测技术领域，所述方法流程为：基于原始图像的缺陷位置标注数据进行模型训练，以得到目标检测网络模型；基于原始图像的线路位置标注数据进行模型训练，以得到语义分割网络模型；基于目标检测网络模型对待检测图像进行预测，以得到缺陷位置；基于语义分割网络模型对待检测图像进行预测，以得到线路位置；基于缺陷位置和线路位置的相交情况进行缺陷严重程度判定，以得到缺陷严重程度的判断结果。本发明基于目标检测网络模型和语义分割网络模型对缺陷和线路进行精准定位，并且结合两者的位置相交情况对缺陷严重程度进行判级，能够满足不同线路缺陷严重程度判级需求。
Description
技术领域
本发明涉及面板缺陷检测技术领域，具体而言，涉及一种面板缺陷严重程度判级方法、***、设备及存储介质。
背景技术
面板加工工厂在生产面板过程中会产生很多缺陷，然而整个面板的生产工艺流程复杂、生产周期长，从基板到生产加工完毕常常需要较长的时间，因此在每个工艺段产生的缺陷都需要时刻监控，避免缺陷流入下一道制程造成良率的降低。
目前，很多面板生产厂商引入了智能化缺陷检测***（ADC），这些***通常基于深度学习的目标检测算法，能够对历史的缺陷样本进行学习，建立缺陷目标检测模型，最终实现对生产的面板进行实时检测，及时发现面板生产过程中出现的缺陷。但是，由于面板Array（是指在玻璃基板上制作液晶驱动电路）段缺陷严重程度与线路位置有强关联性，因此现有的智能化缺陷检测***无法准确的定位，也无法根据定位结果对缺陷等级进行判定。
发明内容
本发明提供一种面板缺陷判级方法、***、设备及存储介质，为了解决现有基于深度学习的目标检测技术无法准确的定位，也无法根据定位结果对缺陷等级进行判定的问题。
在第一方面，本发明提供一种面板缺陷严重程度判级方法，所述方法流程如下：
基于原始图像的缺陷位置标注数据进行模型训练，以得到目标检测网络模型；
基于原始图像的线路位置标注数据进行模型训练，以得到语义分割网络模型；
基于目标检测网络模型对待检测图像进行预测，以得到缺陷位置；
基于语义分割网络模型对待检测图像进行预测，以得到线路位置；
基于缺陷位置和线路位置的相交情况进行缺陷严重程度判定，以得到缺陷严重程度的判断结果。
本发明基于目标检测网络模型和语义分割网络模型对缺陷和线路进行精准定位，并且结合两者的位置相交情况对缺陷严重程度进行判级，能够满足不同线路缺陷严重程度判级需求。
进一步地，基于原始图像的缺陷位置标注数据进行模型训练，以得到目标检测网络模型的流程如下：
对原始图像进行缺陷位置标注处理，以得到包含缺陷位置信息的缺陷目标框；
基于包含缺陷目标框的原始图像进行模型训练，以得到目标检测网络模型。
本发明通过对存在缺陷的原始图像进行缺陷位置的标注，并且进行模型训练，使得训练之后的目标检测网络模型能够对待检测图像进行缺陷位置的精准检测。
进一步地，基于原始图像的线路位置标注数据进行模型训练，以得到语义分割网络模型的流程如下：
对原始图像进行二值化处理和边缘轮廓提取处理，以得到边缘轮廓图像；
对边缘轮廓图像进行线路标注处理，以得到包含线路位置信息的线路目标框；
基于包含线路目标框的原始图像进行模型训练，以得到语义分割网络模型。
本发明通过对存在线路的原始图像进行线路位置的标注，并且进行模型训练，使得训练之后的语义分割网络模型能够对待检测图像进行线路位置的精准检测；与此同时，在进行线路位置标注之前，还需要进行二值化处理和边缘轮廓提取，以减少面板上其他图像对线路位置标注的影响，使得训练之后的语义分割网络模型能够更加精准的进行线路位置检测。
进一步地，所述缺陷位置包括缺陷目标框的坐标信息；所述缺陷目标框的坐标信息表示为：；
其中，为缺陷目标框的左下角点坐标，/>为缺陷目标框的右上角点坐标。
本发明通过两个对角点可以唯一确定一个矩形框，使得缺陷的位置信息表示更加简单，便于后续的位置相交计算。
进一步地，所述线路位置包括线路的坐标信息，所述线路的坐标信息包括线路目标框的坐标信息以及线路轮廓的坐标信息；
所述线路目标框的坐标信息表示为：；其中，为线路目标框的左下角点坐标，/>为线路目标框的右上角点坐标；
所述线路的多边形标注坐标信息表示为：；其中，为线路轮廓多边形标注的点坐标。
本发明通过目标框和多边形标注的形式对线路位置进行进行粗略和详细的描述，进行根据不同的位置描述信息能够对缺陷等级进行分类，适应性更强，缺陷等级分类更合理。
进一步地，基于缺陷位置和线路位置的相交情况进行缺陷严重程度判定，以得到缺陷严重程度的判断结果的流程如下：
基于缺陷目标框的坐标信息和线路目标框的坐标信息判断缺陷目标框和线路目标框是否相交，如果不相交，则判定缺陷为普通缺陷；
如果相交，则判定缺陷为严重缺陷，并且基于缺陷目标框的坐标信息和线路轮廓的坐标信息判断缺陷目标框和线路轮廓相交比例，并且根据相交比例判定缺陷的严重等级。
本发明首先根据缺陷是否在线路上对缺陷进行一级大范围的区分，然后再根据缺陷是否将线路在纵向或者横向完全覆盖进行二级小范围的区分，最后再根据缺陷与线路的相交比例进行小范围内详细的等级区分，使得等级区分的效率较高，等级区分更合理，能够满足不同线路缺陷严重程度判级需求。
进一步地，缺陷目标框和线路轮廓相交比例判定的流程如下：
如果缺陷目标框将线路轮廓横向或者纵向覆盖，则判定缺陷为一级严重缺陷；
如果缺陷目标框未将线路轮廓横向或者纵向覆盖，则基于相交比例判定缺陷为N级严重缺陷，其中，N根据相交比例进行对应选择。
在第二方面，本发明提供一种面板缺陷严重程度判级***，所述***包括：
目标检测单元，所述目标检测单元基于原始图像的缺陷位置标注数据进行模型训练，以得到目标检测网络模型，并且基于目标检测网络模型对待检测图像进行预测，以得到缺陷位置；
语义分割单元，所述语义分割单元基于原始图像的线路位置标注数据进行模型训练，以得到语义分割网络模型，并且基于语义分割网络模型对待检测图像进行预测，以得到线路位置；
缺陷严重程度判级单元，所述缺陷严重程度判级单元基于缺陷位置和线路位置的相交情况进行缺陷严重程度判定，以得到缺陷严重程度的判断结果。
在第三方面，本发明提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的算机程序，所述处理器执行计算机程序时实现所述一种面板缺陷严重程度判级方法。
在第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述一种面板缺陷严重程度判级方法。
本发明的有益效果如下：
本发明基于目标检测网络模型和语义分割网络模型对缺陷和线路进行精准定位，并且结合两者的位置相交情况对缺陷严重程度进行判级，能够满足不同线路缺陷严重程度判级需求。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例所述硬件运行环境的计算机设备结构示意图；
图2是本发明实施例所述面板缺陷严重程度判级方法的流程图；
图3是本发明实施例所述缺陷检测示意图；
图4是本发明实施例所述线路检测示意图；
图5是本发明实施例所述面板缺陷严重程度判级***的***框图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
为了解决现有基于深度学习的目标检测技术无法准确的定位，进而影响缺陷严重程度判级准确性的问题。本申请提供一种面板缺陷严重程度判级方法、***、设备及存储介质，在介绍本申请的具体技术方案之前，先介绍下本申请实施例方案涉及的硬件运行环境。
请参阅图1，图1为本申请实施例方案涉及的硬件运行环境的计算机设备结构示意图。
如图1所示，该计算机设备可以包括：处理器，例如中央处理器（CentralProcessing Unit，CPU），通信总线、用户接口，网络接口，存储器。其中， 通信总线用于实现这些组件之间的连接通信。用户接口可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选的，用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口（如无线保真接口）。存储器可以是高速的随机存取存储器（Random Access Memory，RAM），也可以是稳定的非易失性存储器（Non-VolatileMemory，NVM），例如磁盘存储器，存储器可选的还可以是独立于前述处理器的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器中可以包括操作***、网络通信模块、用户接口模块以及数据存储模块。
在图1所示的计算机设备中，网络接口主要用于与网络服务器进行数据通信；用户接口主要用于与用户进行数据交互；本申请计算机设备中的处理器、存储器可以设置在计算机设备中，所述计算机设备通过处理器调用存储器中数据存储模块存储的面板缺陷严重程度判级***，并执行本申请实施例提供的面板缺陷严重程度判级方法。
基于前述实施例的硬件环境，本申请的实施例提供了一种面板缺陷严重程度判级方法，请参阅图2，图2为所述面板缺陷严重程度判级方法的流程图，所述方法流程如下：
（1）基于原始图像的缺陷位置标注数据进行模型训练，以得到目标检测网络模型。
于本发明实施例中，所述目标检测网络模型训练的流程如下：
（1.1）对原始图像进行缺陷位置标注处理，以得到包含缺陷位置信息的缺陷目标框。
（1.2）基于包含缺陷目标框的原始图像进行模型训练，以得到目标检测网络模型，所述目标检测网络模型为Faster RCNN模型等。
（2）基于原始图像的线路位置标注数据进行模型训练，以得到语义分割网络模型。
于本发明实施例中，所述语义分割网络模型训练的流程如下：
（2.1）对原始图像进行二值化处理和边缘轮廓提取处理，以得到边缘轮廓图像。
（2.2）对边缘轮廓图像进行线路标注处理，以得到包含线路位置信息的线路目标框；
（2.3）基于包含线路目标框的原始图像进行模型训练，以得到语义分割网络模型，所述语义分割网络模型为Deeplabv3模型等。
于本发明实施例中，所述步骤（1.1）中涉及到的原始图像为存在缺陷的面板图片；所述步骤（2.1）中涉及到的原始图像为不存在缺陷的面板图片。
（3）基于目标检测网络模型对待检测图像进行预测，以得到缺陷位置，请参阅图3。
于本发明实施例中，所述缺陷位置包括缺陷目标框的坐标信息；所述缺陷目标框的坐标信息表示为：其中，/>为缺陷目标框的左下角点坐标，/>为缺陷目标框的右上角点坐标，通过两个对角点可以唯一确定一个矩形框。
（4）基于语义分割网络模型对待检测图像进行预测，以得到线路位置；
于本发明实施例中，所述线路位置包括线路的坐标信息，所述线路的坐标信息包括线路目标框的坐标信息以及线路轮廓的坐标信息，请参阅图4。
所述线路目标框的坐标信息表示为：；其中，为线路目标框的左下角点坐标，/>为线路目标框的右上角点坐标，即初步通过线路目标框确定线路位置。
所述线路的多边形标注坐标信息表示为：；其中，为线路轮廓多边形标注的点坐标，即通过多边形标注的点坐标再次确定线路轮廓。
（5）基于缺陷位置和线路位置的相交情况进行缺陷严重程度判定，以得到缺陷严重程度的判断结果。
于本发明实施例中，基于缺陷位置和线路位置的相交情况进行缺陷严重程度判定的流程如下：
（5.1）基于缺陷目标框的坐标信息和线路目标框的坐标信息判断缺陷目标框和线路目标框是否相交，如果不相交，则判定缺陷为普通缺陷，这是因为如果缺陷不在线路上，就对整个面板的影响相对较小；因此，首先根据缺陷是否在线路上对缺陷进行一个大范围的区分。
（5.2）如果相交，则判定缺陷为严重缺陷，并且基于缺陷目标框的坐标信息和线路轮廓的坐标信息判断缺陷目标框和线路轮廓相交情况，根据相交情况判定缺陷的严重等级，这是因为如果缺陷在线路上，就会对整个面板的电路造成较大的影响；例如缺陷直接将线路截断，则可能出现短路或者断路的情况，如果只是落在线路上，则可能只会对面板的性能造成影响，而不会直接出现短路或者断路的情况，因此，还需要根据缺陷和线路的相交情况对缺陷的等级进行具体的判定。
具体的，缺陷目标框和线路轮廓相交比例判定的流程如下：
（5.21）如果缺陷目标框将线路轮廓横向或者纵向覆盖，则判定缺陷为一级严重缺陷；具体的，例如：当线路轮廓为横向设置时，则基于缺陷目标框的坐标信息，根据横坐标/>和/>从线路轮廓的多边形标注坐标信息判定横坐标/>到/>范围内线路轮廓的纵向对应的两个纵坐标/>和/>是否在/>范围内，如果在，则判定缺陷为横纵向覆盖，缺陷为一级严重缺陷；同理，当线路轮廓为纵向设置时，也是采用同样的原理进行判定。
（5.22）如果缺陷目标框未将线路轮廓横向或者纵向覆盖，则基于相交比例判定缺陷为N级严重缺陷，其中，N根据相交比例进行对应选择；当缺陷未将线路横向或纵向覆盖时，则根据缺陷与线路最小单元的面积相交占比，进行缺陷严重等级判断，例如，缺陷目标框的与线路最小单元的面积占比为4/5时，则判定缺陷为二级严重缺陷，面积占比为3/5时，则判定缺陷为三级严重缺陷，依次类推；其中，面积占比所对应的缺陷等级可以根据实际情况进行设置，本发明实施例不做限制；具体的，所述线路最小单元的面积可以为预设值，不同的线路其最小单元的面积不同，可以根据实际情况进行设置。
综上，本发明基于目标检测网络模型和语义分割网络模型对缺陷以及线路进行精准定位，并且在缺陷和线路精准定位的基础上结合两者的相交情况能够对缺陷严重程度进行判级，等级判定速度较快，能够适应不同线路缺陷严重程度判级需求。
此外，在一种实施例中，基于与前述实施例相同的发明思路，本发明实施例提供了一种面板缺陷严重程度判级***，所述***与实施例1的所述方法一一对应，请参阅图5，图5为所述面板缺陷严重程度判级***的结构框图，所述***包括：
目标检测单元，所述目标检测单元基于原始图像的缺陷位置标注数据进行模型训练，以得到目标检测网络模型，并且基于目标检测网络模型对待检测图像进行预测，以得到缺陷位置；
语义分割单元，所述语义分割单元基于原始图像的线路位置标注数据进行模型训练，以得到语义分割网络模型，并且基于语义分割网络模型对待检测图像进行预测，以得到线路位置；
缺陷严重程度判级单元，所述缺陷严重程度判级单元基于缺陷位置和线路位置的相交情况进行缺陷严重程度判定，以得到缺陷严重程度的判断结果。需要说明的是，本实施例中面板缺陷严重程度判级***中各单元是与前述实施例中的面板缺陷严重程度判级方法中的各步骤一一对应，因此，本实施例的具体实施方式和达到的技术效果可参照前述面板缺陷严重程度判级方法的实施方式，这里不再赘述。
此外，在一种实施例中，本申请还提供一种计算机设备，所述计算机设备包括处理器，存储器以及存储在所述存储器中的计算机程序，所述计算机程序被处理器运行时实现前述实施例中方法。
此外，在一种实施例中，本申请还提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现前述实施例中方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件***中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，Hyper TextMarkup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光盘）中，包括若干指令用以使得一台多媒体终端设备(可以是手机，计算机，电视接收机，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (8)
1.一种面板缺陷严重程度判级方法，其特征在于，所述方法流程如下：
基于原始图像的缺陷位置标注数据进行模型训练，以得到目标检测网络模型；
基于原始图像的线路位置标注数据进行模型训练，以得到语义分割网络模型；
基于目标检测网络模型对待检测图像进行预测，以得到缺陷位置；
基于语义分割网络模型对待检测图像进行预测，以得到线路位置；
基于缺陷位置和线路位置的相交情况进行缺陷严重程度判定，以得到缺陷严重程度的判断结果；
其中，所述缺陷位置包括缺陷目标框的坐标信息，所述线路位置包括线路的坐标信息，所述线路的坐标信息包括线路目标框的坐标信息以及线路轮廓的坐标信息；
其中，基于缺陷位置和线路位置的相交情况进行缺陷严重程度判定，以得到缺陷严重程度的判断结果的流程如下：
基于缺陷目标框的坐标信息和线路目标框的坐标信息判断缺陷目标框和线路目标框是否相交，如果不相交，则判定缺陷为普通缺陷；
其中，如果相交，则判定缺陷为严重缺陷，并且基于缺陷目标框的坐标信息和线路轮廓的坐标信息判断缺陷目标框和线路轮廓相交比例，根据相交比例判定缺陷的严重等级；
其中，缺陷目标框和线路轮廓相交比例判定的流程如下：
如果缺陷目标框将线路轮廓横向或者纵向覆盖，则判定缺陷为一级严重缺陷；
如果缺陷目标框未将线路轮廓横向或者纵向覆盖，则基于相交比例判定缺陷为N级严重缺陷，其中，等级N根据相交比例进行对应选择。
2.根据权利要求1所述的一种面板缺陷严重程度判级方法，其特征在于，基于原始图像的缺陷位置标注数据进行模型训练，以得到目标检测网络模型的流程如下：
对原始图像进行缺陷位置标注处理，以得到包含缺陷位置信息的缺陷目标框；
基于包含缺陷目标框的原始图像进行模型训练，以得到目标检测网络模型。
3.根据权利要求2所述的一种面板缺陷严重程度判级方法，其特征在于，基于原始图像的线路位置标注数据进行模型训练，以得到语义分割网络模型的流程如下：
对原始图像进行二值化处理和边缘轮廓提取处理，以得到边缘轮廓图像；
对边缘轮廓图像进行线路标注处理，以得到包含线路位置信息的线路目标框；
基于包含线路目标框的原始图像进行模型训练，以得到语义分割网络模型。
4.根据权利要求3所述的一种面板缺陷严重程度判级方法，其特征在于，所述缺陷目标框的坐标信息表示为：Bbox1＝[x11,y11,x12,y12]；
其中，(x11,y11)为缺陷目标框的左下角点坐标，(x12,y12)为缺陷目标框的右上角点坐标。
5.根据权利要求4所述的一种面板缺陷严重程度判级方法，其特征在于，所述线路目标框的坐标信息表示为：Bbox2＝[x21,y21,x22,y22]；其中，(x21,y21)为线路目标框的左下角点坐标，(x22,y22)为线路目标框的右上角点坐标；
所述线路的多边形标注坐标信息表示为：M＝[x1,y1,x2,y2,...,xn,yn]；其中，(x1,y1),(x2,y2),...,(xn,yn)为线路轮廓多边形标注的点坐标。
6.一种面板缺陷严重程度判级***，其特征在于，所述***包括：
目标检测单元，所述目标检测单元基于原始图像的缺陷位置标注数据进行模型训练，以得到目标检测网络模型，并且基于目标检测网络模型对待检测图像进行预测，以得到缺陷位置；
语义分割单元，所述语义分割单元基于原始图像的线路位置标注数据进行模型训练，以得到语义分割网络模型，并且基于语义分割网络模型对待检测图像进行预测，以得到线路位置；
缺陷严重程度判级单元，所述缺陷严重程度判级单元基于缺陷位置和线路位置的相交情况进行缺陷严重程度判定，以得到缺陷严重程度的判断结果；
其中，所述缺陷位置包括缺陷目标框的坐标信息，所述线路位置包括线路的坐标信息，所述线路的坐标信息包括线路目标框的坐标信息以及线路轮廓的坐标信息；
其中，基于缺陷位置和线路位置的相交情况进行缺陷严重程度判定，以得到缺陷严重程度的判断结果的流程如下：
基于缺陷目标框的坐标信息和线路目标框的坐标信息判断缺陷目标框和线路目标框是否相交，如果不相交，则判定缺陷为普通缺陷；
其中，如果相交，则判定缺陷为严重缺陷，并且基于缺陷目标框的坐标信息和线路轮廓的坐标信息判断缺陷目标框和线路轮廓相交比例，根据相交比例判定缺陷的严重等级；
其中，缺陷目标框和线路轮廓相交比例判定的流程如下：
如果缺陷目标框将线路轮廓横向或者纵向覆盖，则判定缺陷为一级严重缺陷；
如果缺陷目标框未将线路轮廓横向或者纵向覆盖，则基于相交比例判定缺陷为N级严重缺陷，其中，等级N根据相交比例进行对应选择。
7.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行计算机程序时实现权利要求1-5中任一项所述一种面板缺陷严重程度判级方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5中任一项所述一种面板缺陷严重程度判级方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410129562.XA CN117670876B (zh) | 2024-01-31 | 2024-01-31 | 一种面板缺陷严重程度判级方法、***、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410129562.XA CN117670876B (zh) | 2024-01-31 | 2024-01-31 | 一种面板缺陷严重程度判级方法、***、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117670876A CN117670876A (zh) | 2024-03-08 |
| CN117670876B true CN117670876B (zh) | 2024-05-03 |
Family
ID=90064390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410129562.XA Active CN117670876B (zh) | 2024-01-31 | 2024-01-31 | 一种面板缺陷严重程度判级方法、***、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117670876B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118096767A (zh) * | 2024-04-28 | 2024-05-28 | 成都数之联科技股份有限公司 | 一种晶圆切割不良缺陷检测方法、***、设备及存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019061608A1 (zh) * | 2017-09-30 | 2019-04-04 | 深圳市华星光电半导体显示技术有限公司 | 一种面板点灯机、面板点灯测试***及测试方法 |
| CN109859207A (zh) * | 2019-03-06 | 2019-06-07 | 华南理工大学 | 一种高密度柔性基板的缺陷检测方法 |
| CN113077453A (zh) * | 2021-04-15 | 2021-07-06 | 华南理工大学 | 一种基于深度学习的电路板元器件缺陷检测方法 |
| CN115063618A (zh) * | 2022-08-17 | 2022-09-16 | 成都数之联科技股份有限公司 | 一种基于模板匹配的缺陷定位方法、***、设备及介质 |
| CN115272199A (zh) * | 2022-07-11 | 2022-11-01 | 成都数之联科技股份有限公司 | 一种pcb载板缺陷检测方法、***、电子设备及介质 |
| CN115661157A (zh) * | 2022-12-28 | 2023-01-31 | 成都数之联科技股份有限公司 | 面板圆类缺陷检测方法、装置、介质、设备及程序产品 |
| CN115861293A (zh) * | 2023-02-08 | 2023-03-28 | 成都数联云算科技有限公司 | 缺陷轮廓提取方法、装置、存储介质、设备及程序产品 |
| CN115880520A (zh) * | 2022-11-14 | 2023-03-31 | 成都数之联科技股份有限公司 | 一种基于模板匹配和缺陷分割的缺陷等级分类方法及*** |
| CN115908420A (zh) * | 2023-01-10 | 2023-04-04 | 北京阿丘机器人科技有限公司 | 印刷电路板的缺陷检测方法、装置、设备及存储介质 |
| CN115984158A (zh) * | 2021-10-12 | 2023-04-18 | Tcl科技集团股份有限公司 | 缺陷分析方法、装置、电子设备及计算机可读存储介质 |
| CN116740062A (zh) * | 2023-08-14 | 2023-09-12 | 菲特（天津）检测技术有限公司 | 基于不规则胶圈的缺陷检测方法及*** |
| CN116958052A (zh) * | 2023-06-21 | 2023-10-27 | 安徽工业大学 | 一种基于yolo和注意力机制的印刷电路板缺陷检测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7696000B2 (en) * | 2006-12-01 | 2010-04-13 | International Business Machines Corporation | Low defect Si:C layer with retrograde carbon profile |
| WO2008072693A1 (ja) * | 2006-12-14 | 2008-06-19 | Nippon Electric Glass Co., Ltd. | 板ガラス欠陥検出装置、板ガラスの製造方法、板ガラス物品、板ガラスの良否判定装置及び板ガラスの検査方法 |
-
2024
- 2024-01-31 CN CN202410129562.XA patent/CN117670876B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019061608A1 (zh) * | 2017-09-30 | 2019-04-04 | 深圳市华星光电半导体显示技术有限公司 | 一种面板点灯机、面板点灯测试***及测试方法 |
| CN109859207A (zh) * | 2019-03-06 | 2019-06-07 | 华南理工大学 | 一种高密度柔性基板的缺陷检测方法 |
| CN113077453A (zh) * | 2021-04-15 | 2021-07-06 | 华南理工大学 | 一种基于深度学习的电路板元器件缺陷检测方法 |
| CN115984158A (zh) * | 2021-10-12 | 2023-04-18 | Tcl科技集团股份有限公司 | 缺陷分析方法、装置、电子设备及计算机可读存储介质 |
| CN115272199A (zh) * | 2022-07-11 | 2022-11-01 | 成都数之联科技股份有限公司 | 一种pcb载板缺陷检测方法、***、电子设备及介质 |
| CN115063618A (zh) * | 2022-08-17 | 2022-09-16 | 成都数之联科技股份有限公司 | 一种基于模板匹配的缺陷定位方法、***、设备及介质 |
| CN115880520A (zh) * | 2022-11-14 | 2023-03-31 | 成都数之联科技股份有限公司 | 一种基于模板匹配和缺陷分割的缺陷等级分类方法及*** |
| CN115661157A (zh) * | 2022-12-28 | 2023-01-31 | 成都数之联科技股份有限公司 | 面板圆类缺陷检测方法、装置、介质、设备及程序产品 |
| CN115908420A (zh) * | 2023-01-10 | 2023-04-04 | 北京阿丘机器人科技有限公司 | 印刷电路板的缺陷检测方法、装置、设备及存储介质 |
| CN115861293A (zh) * | 2023-02-08 | 2023-03-28 | 成都数联云算科技有限公司 | 缺陷轮廓提取方法、装置、存储介质、设备及程序产品 |
| CN116958052A (zh) * | 2023-06-21 | 2023-10-27 | 安徽工业大学 | 一种基于yolo和注意力机制的印刷电路板缺陷检测方法 |
| CN116740062A (zh) * | 2023-08-14 | 2023-09-12 | 菲特（天津）检测技术有限公司 | 基于不规则胶圈的缺陷检测方法及*** |
Non-Patent Citations (4)
| Title |
|---|
| Manhattan-distance IOU loss for fast and accurate bounding box regression and object detection;Yanyun Shen 等;《Neurocomputing》;20220821;第500卷(第2022期);99-114 * |
| 基于深度学习的液晶面板缺陷检测与分类;张笛;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200715(第(2020)07期);I136-113 * |
| 手机玻璃面板凹凸型瑕疵检测方法研究;杨军亮;《中国优秀硕士学位论文全文数据库 信息科技辑》;20220415(第(2022)04期);I136-669 * |
| 柔性IC封装基板外观缺陷检测问题研究;郭怀勇;《中国优秀硕士学位论文全文数据库 信息科技辑》;20210215(第(2021)02期);I135-448 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117670876A (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117670876B (zh) | 一种面板缺陷严重程度判级方法、***、设备及存储介质 | |
| US11861919B2 (en) | Text recognition method and device, and electronic device | |
| CN111986174A (zh) | 缺陷检测方法、装置、电子设备及计算机存储介质 | |
| CN114266773A (zh) | 显示面板缺陷定位方法、装置、设备及存储介质 | |
| CN115578377B (zh) | 一种面板缺陷的检测方法、训练方法、装置、设备及介质 | |
| CN112634201B (zh) | 目标检测方法、装置和电子设备 | |
| CN111062383A (zh) | 一种基于图像的船舶检测深度神经网络算法 | |
| CN113657202A (zh) | 构件识别方法、构建训练集方法、装置、设备及存储介质 | |
| CN113673519A (zh) | 基于文字检测模型的文字识别方法及其相关设备 | |
| CN112419268A (zh) | 一种输电线路图像缺陷检测方法、装置、设备及介质 | |
| CN115311354A (zh) | 异物风险区域的识别方法、装置、设备及存储介质 | |
| CN113899367B (zh) | 无人机降落的定位方法、装置、计算机设备及存储介质 | |
| CN116245817A (zh) | 基于改进YOLOv5的PCB缺陷检测方法及存储介质 | |
| CN108121648B (zh) | 一种界面错误监控方法 | |
| CN113902793A (zh) | 基于单视觉遥感影像端到端建筑物高度预测方法、***和电子设备 | |
| CN113221855A (zh) | 基于尺度敏感损失与特征融合的小目标检测方法和*** | |
| CN115937212B (zh) | 一种玻璃板裂纹检测方法、装置、设备及介质 | |
| CN116665170A (zh) | 目标检测模型的训练及目标检测方法、装置、设备和介质 | |
| CN115953578A (zh) | 一种裂缝语义分割模型推理结果的评估方法及装置 | |
| CN112784737B (zh) | 结合像素分割和线段锚的文本检测方法、***及装置 | |
| CN113902890A (zh) | 用于视觉概念检测的自监督数据增强方法、***、设备 | |
| CN113435350A (zh) | 一种交通标线检测方法、装置、设备和介质 | |
| CN117496443B (zh) | 一种公路电力线路故障检测方法、装置、电子设备及介质 | |
| CN115661666B (zh) | 遥感影像中桥梁的识别方法、装置、电子设备及介质 | |
| CN118096767A (zh) | 一种晶圆切割不良缺陷检测方法、***、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |