WO2022255518A1 - 딥러닝 신경망 모델을 이용한 검사대상 패널의 결함 판정장치 - Google Patents

딥러닝 신경망 모델을 이용한 검사대상 패널의 결함 판정장치 Download PDF

Info

Publication number
WO2022255518A1
WO2022255518A1 PCT/KR2021/006944 KR2021006944W WO2022255518A1 WO 2022255518 A1 WO2022255518 A1 WO 2022255518A1 KR 2021006944 W KR2021006944 W KR 2021006944W WO 2022255518 A1 WO2022255518 A1 WO 2022255518A1
Authority
WO
WIPO (PCT)
Prior art keywords
defect
panel
image
type
deep learning
Prior art date
Application number
PCT/KR2021/006944
Other languages
English (en)
French (fr)
Inventor
강래호
장세일
김미진
이지섭
Original Assignee
주식회사 솔루션에이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 솔루션에이 filed Critical 주식회사 솔루션에이
Publication of WO2022255518A1 publication Critical patent/WO2022255518A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to a technique for determining defects in a panel to be inspected, and more particularly, to a technique for easily determining defects in a panel to be inspected using a deep learning model method.
  • the technology to classify defects using machine learning from images of products such as inspection target panels and PCBs is an essential technology for smart factories. After analyzing product defects in real time, the cause of the defect can be removed by feeding back to the production system according to the analyzed defect type, and as a result, mass defects in the continuous process can be drastically reduced. In addition, process optimization can be performed by analyzing defect patterns according to working conditions.
  • defects in the panel to be inspected are determined by using an optical inspector or by visual inspection by a skilled worker.
  • a technical problem to be solved by the present invention relates to an apparatus for determining defects of a panel to be tested using a deep learning neural network model that can easily determine defects of a panel to be tested.
  • An apparatus for determining a defect of a panel to be inspected using a deep learning neural network model for solving the above problems includes an image processing unit that extracts image information for determining defects from an image of the panel to be inspected; a defect learning value extraction unit that classifies each defect pattern using a deep learning neural network model for the image information and outputs a learning value of each classified defect pattern; a defect determination unit determining a final defect type of the panel to be inspected for each defect pattern by reflecting a weight for each type optimized for the learning value of the defect pattern type; and a user interface unit displaying information on a final defect type of the panel to be inspected on a display screen and providing an interface for receiving a command from an operator.
  • the image processing unit divides the image of the panel to be inspected captured by the camera into blocks in units of detailed regions of interest in the longitudinal direction, divides the blocks into regions smaller than the blocks, and is composed of a certain rectangular region, It is characterized by extracting information.
  • the defect learning value extractor extracts a plurality of defect patterns included in each defect image based on a deep learning neural network model for each defect image, and then extracts a learning value corresponding to a defect type for each defect pattern. characterized by extraction.
  • the defect learning value extractor includes the plurality of defect patterns including a point defect pattern, a line defect pattern, and a mura defect pattern of the panel to be inspected, and for the image information, the point defect pattern and the line defect It is characterized in that a defect learning value classified as one of a pattern and the mura defect pattern is extracted.
  • the defect determination unit may receive a learning value and an optimized weight for each defect type and determine a final defect type using a weighted combination decision method.
  • the defect determination unit optimizes the weight for each defect image type based on the defect learning value for the final defect type derived with the same initial weight, and calculates the optimized weight for each defect type and the learning value for each defect type. It is characterized in that the defect learning value for each defect type is output by multiplying and summing, and the defect type having the maximum defect learning value among the defect learning values for each defect type is determined as the final defect type.
  • the defect determination unit is characterized in that it is implemented by applying an ensemble model to the deep learning models.
  • the defect determination unit uses information obtained by a data augmentation technique for a training image used for learning each of the first deep learning model, the second deep learning model, and the third deep learning model. It is characterized by doing.
  • the data augmentation technique is characterized in that the training image is acquired through at least two of rotation, enlargement, horizontal reversal, vertical reversal, horizontal movement, vertical movement, and combinations thereof.
  • each defect pattern is classified using a deep learning neural network model for image information, a learning value of each classified defect pattern is output, and a weight for each type optimized for the learning value of the defect pattern type is It is possible to determine the final defect type of the panel to be inspected for each defect pattern by reflecting the defect pattern, thereby improving the defect determination error of the conventional image pattern classifier and reducing the fatigue of the operator by monitoring the operator's visual inspection rate. There are possible effects.
  • deep learning models can minimize gray zone defects judged by human intuition and experience to less than 5% for false defects by more accurate judgment and classification than humans.
  • FIG. 1 is a block diagram illustrating an apparatus for determining a defect of a panel to be inspected using a deep learning neural network model according to the present invention.
  • FIG. 2 is a conceptual diagram for explaining the entire process of the defect determination device of the panel to be inspected using the deep learning neural network model shown in FIG. 1 .
  • 3A to 3D are reference views illustrating a plurality of defect patterns learned by the defect learning value extraction unit.
  • FIG. 4 is an example of a mura pattern image for explaining the determination of a mura defect pattern according to an automatic change of a set value in a defect determination unit.
  • FIG. 5 is a conceptual diagram of a weighted combination determination method of a defect determination unit.
  • FIG. 6 is a reference diagram illustrating defect types for each channel derived with optimized weights in a defect determination unit.
  • 7A to 7C are reference diagrams illustrating information displayed by a user interface unit.
  • FIG. 1 is a block diagram illustrating a defect determining device (hereinafter, referred to as a defect determining device 100) of a panel to be tested using a deep learning neural network model according to the present invention, and FIG. It is a conceptual diagram to explain the entire process of the defect determination device of the panel to be inspected using a learning neural network model.
  • the defect determination apparatus 100 includes an image processing unit 110 , a defect learning value extraction unit 120 , a defect determination unit 130 , and a user interface unit 140 .
  • the image processing unit 110 extracts image information for defect determination from an image of a panel to be inspected.
  • the image processing unit 110 divides the image of the panel to be inspected captured by the camera into blocks in units of detailed regions of interest in the longitudinal direction, divides the blocks into regions smaller than the blocks and consists of a certain rectangular region, Extract image information.
  • the image processing unit 110 compresses multi-channel image information obtained from at least one image acquisition device according to various angles and/or multi-illumination into low resolution, derives a region of interest, and outputs image data for the derived region of interest. print out
  • the image processing unit 110 compresses and converts image or sensor map data obtained from a multi-channel image acquisition device into a low-capacity compression format and low-resolution, and extracts an image portion of an unnecessary area excluding an object to be detected in a cropping block of a region of interest. Remove.
  • a multiplexer for multiplexing image data of different input channels output from the image processing unit 110 and transmitting the multiplexed image data to the defect learning value extraction unit 120 may be additionally provided.
  • the image data of the region of interest of the image processing unit 110 is a deep learning prediction model with multiple defect types having multiple defect elements and defect patterns included in the image data obtained for each channel by continuously performing the set number of times (Sequence Length). This is built
  • the image processing unit 110 divides an image of a display panel such as a touch screen captured by a camera into blocks in units of detailed regions of interest.
  • the image processing unit 110 may divide the image of the transparent flexible touch screen panel into blocks in units of detailed regions of interest in the longitudinal direction.
  • the image processing unit 110 may divide blocks divided into detailed region-of-interest units into detailed regions that are smaller than the block, and more specifically, may divide blocks into detailed regions consisting of a certain rectangular region.
  • the image processing unit 110 obtains image information on whether or not a panel to be inspected is defective by using a lighting inspection method.
  • the image processing unit 110 is a device for inspecting defects according to patterns of a panel to be inspected by applying various patterns.
  • a Vignetting phenomenon and a Moire phenomenon may occur in an image due to lens distortion.
  • the image processing unit 110 has a purpose of improving reliability by inspecting whether a product is defective in a manufacturing process through an electric flat panel display inspection, or reducing a defect rate through partial repair by detecting a defective product in the middle of the process. This is a test in which an operation of an object is observed after applying an electrical signal, and the test is performed using a probe unit that applies an electrical signal by contacting an electrode of the object to be inspected.
  • AP Auto Probe
  • PG Plasma Generator
  • BLU Back Light Unit
  • the image processing unit 110 strongly applies the inspection recipe to reduce non-detection, many false defects that are detected as defects are generated even for normal products, and if the inspection recipe is applied weakly to reduce this, actual defects are detected. Failure to do so may result in defective products being shipped out as normal products. This is a trade-off phenomenon caused by the rule-based algorithm of the automatic image pattern classifier. As the inspection is conducted based on the standardized rules written by humans, the inspection is good within the set rules, but new types of products or defects Inspection is difficult.
  • the image processing unit 110 may perform an optical inspection based on data stored in a database.
  • the defect image that has been inspected is stored in the database, and the defect data is transmitted for defect determination by the defect determination device and supported for testing in other components.
  • the image processing unit 110 classifies the acquired image information into one of a plurality of defect patterns.
  • the plurality of defect patterns include a point defect pattern, a line defect pattern, and a mura defect pattern of the panel to be inspected.
  • the defect learning value extractor 120 classifies each defect pattern using a deep learning neural network model for the image information, and outputs a learning value of each classified defect pattern.
  • the defect learning value extractor 120 extracts a plurality of defect patterns included in each defect image based on a deep learning neural network model for each defect image, and then learns a defect type corresponding to each extracted defect pattern. extract the value
  • the defect learning value extractor 120 includes the plurality of defect patterns including a point defect pattern, a line defect pattern, and a mura defect pattern of the inspection target panel, and the point defect pattern, the line defect pattern for the image information A defect learning value classified as one of a defect pattern and the mura defect pattern is extracted.
  • the defect learning value extractor 120 includes defect image 1, defect image k, and defect image K for an arbitrary channel k as a plurality of defect images k having defect elements included in the output image data of each channel.
  • Defect image m of any channel m includes defect image 1, defect image m, and defect image M
  • defect image h of any channel h includes defect image 1, defect image h, and defect image H. .
  • the defect learning value extractor 120 uses a deep learning prediction model built with defect image k, defect image m, and defect image h of each channel k, m, and h as inputs to determine a number of defects included in each defect image. extract the pattern. At this time, since each defect image of each channel includes a plurality of defect patterns, the defect learning value extractor 120 detects a defect type for each extracted defect pattern. For example, when there is no defect at all, defect image k, defect image m, and defect image h of each channel k, m, and h become 0.
  • the defect learning value extractor 120 learns based on a deep learning prediction model with each defect image having defect elements of each channel as an input, and extracts and extracts a plurality of defect patterns included in each defect image according to the learning result A defect type is derived for each defect pattern detected. At this time, the defect type is scratch, dent, hole, NA, etc., and a learning value for each defect type is output.
  • the defect learning value extraction unit 120 transfers the learning values for a plurality of defect types for each channel to the defect determination unit 130 .
  • 3A to 3D are reference views illustrating a plurality of defect patterns learned by the defect learning value extractor 120 .
  • the defect learning value extractor 120 classifies the image information into one of the point defect pattern, the line defect pattern, and the mura defect pattern.
  • the defect determination unit 130 determines the final defect type of the panel to be inspected for each defect pattern by reflecting the weight for each type optimized for the learning value of the defect pattern type.
  • the defect determination unit 130 determines the final defect type by a weighted combination decision method by receiving the learning value and the optimized weight for each defect type.
  • the defect determination unit 130 optimizes the weight for each defect image type based on the defect learning value for the final defect type derived with the same initial weight, and learns the optimized weight for each defect type and each defect type.
  • the values are multiplied and summed to output the defect learning values for each defect type, and the defect type having the maximum defect learning value among the defect learning values for each defect type is determined as the final defect type.
  • the defect determining unit 130 may be implemented by applying an ensemble model to the deep learning models.
  • the defect determination unit 130 is information obtained by data augmentation technique on the training image used for learning each of the first deep learning model, the second deep learning model, and the third deep learning model.
  • the data augmentation technique is acquired through at least two of rotation, enlargement, horizontal reversal, vertical reversal, horizontal movement, vertical movement, and combinations thereof of the learning image.
  • FIG. 4 is an example of a mura pattern image for explaining the determination of a mura defect pattern according to an automatic change of a setting value in the defect determination unit 130 .
  • (a) of FIG. 4 shows an original image
  • (b), (c) and (d) of FIG. 4 illustrate an increase in the sharpness of a Mura defect pattern according to a change in a set value, respectively.
  • FIG. 4(d) is an example of checking the clearest Mura defect pattern in the defect determination unit 130 according to the automatic change of the setting value and determining the defect of the original image.
  • the defect determination unit 130 continuously stores images used for determination while automatically determining a defect pattern, and programmatically and automatically applies the stored images to the deep learning models to automatically perform deep learning learning. By performing iteratively, the deep learning model can be optimized.
  • the defect determination unit 130 receives the final decision result information of the inspector for determining the defect pattern, and programmatically and automatically applies the input final decision result information to the deep learning models to automatically perform deep learning learning. It is possible to optimize the deep learning model by repeatedly performing.
  • the defect determination unit 130 determines the final defect type of the display panel by reflecting a plurality of weights for each channel set to a plurality of learning values for each channel.
  • the defect determination unit 130 determines the final defect type in a weighted combination decision method based on the set weight and the learning value for the plurality of defect types of each channel.
  • a weighted combination method the defect determination unit 130 initially assigns the same weight to the defect learning value for each channel, then calculates the probability that the final defect type for each channel is detected, and calculates a plurality of defect types for each channel with the calculated probability Optimize each weight for .
  • An algorithm for optimizing these weights may be provided with various algorithms such as an automatic tuning method (Grid Search).
  • FIG. 5 is a conceptual diagram of a weighted coupling determination method of the defect determination unit 130. Referring to FIG. The values are multiplied by preset weights (w1, w2, w3, w4), then synthesized, and among the defect learning values for the synthesized defect types, a defect type exceeding a predetermined threshold is determined as the final defect type of the corresponding inspection target panel. .
  • FIG. 6 is a reference diagram illustrating defect types for each channel derived with optimized weights in the defect determination unit 130. Referring to FIG.
  • the accuracy of the learning value for the defect type is higher when the average of the existing method is multiplied by the weight obtained by the grid search method and averaged.
  • the weight is optimized based on the ratio of learning values for the defect type (dent, scratch, hole, NA) for each channel derived by
  • the defect determination unit 130 multiplies each learning value for a plurality of defect types for each channel and each weight for each defect type for each channel, and then sums them up to output a defect learning value for each defect type for each channel. do.
  • the user interface unit 140 displays information on the final defect type of the panel to be inspected on a display screen and provides an interface for receiving an operator's command.
  • the user interface unit 140 displays decision result information of the defect determination unit 130 on a display screen and provides a user interface for receiving an operator's command.
  • 7A to 7C are reference diagrams illustrating information displayed by the operator interface device.
  • the user interface unit 140 provides a UI function so that experts can re-determine based on the results determined by the respective decision subjects (AOI, S-ADJ, and S-DRS).
  • the user interface unit 140 provides a function that can be used for education of decision subjects (AOI, S-ADJ, S-DRS). For example, AOI decision result/ADJ decision result/worker decision result are compared, and through a statistical graph of the decision result, the vulnerability of the decision subject can be identified, and AOI/ADJ problem identification and worker retraining decision and retraining function can be performed.
  • the present invention can be applied to various playback devices by being implemented as a software program and recording on a predetermined computer-readable recording medium.
  • Various playback devices may be PCs, laptops, portable terminals, and the like.
  • the recording medium may be a hard disk, flash memory, RAM, ROM, etc. as a built-in type of each playback device, or an optical disk such as CD-R or CD-RW, compact flash card, smart media, memory stick, or multimedia card as an external type. have.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 따른 딥러닝 신경망 모델을 이용한 검사대상 패널의 결함 판정장치는 검사대상 패널에 대한 영상에서 결함 판정을 위한 이미지 정보를 추출하는 이미지 처리부; 상기 이미지 정보에 대해 딥러닝 신경망 모델을 이용하여 각각의 결함 패턴을 분류하고, 분류된 각 결함 패턴의 학습값을 출력하는 결함 학습값 추출부; 상기 결함 패턴 유형의 학습값에 최적화된 각 유형에 대한 가중치를 반영하여 각 결함 패턴에 대한 검사대상 패널의 최종 결함 유형을 판정하는 결함 판정부; 및 상기 검사대상 패널에 대한 최종 결함 유형에 대한 정보를 디스플레이 화면에 표시하고, 작업자의 명령을 입력받기 위한 인터페이스를 제공하는 유저 인터페이스부를 포함하는 것을 특징으로 한다.

Description

딥러닝 신경망 모델을 이용한 검사대상 패널의 결함 판정장치
본 발명은 검사대상 패널의 결함 판정 기술에 관한 것으로, 보다 상세하게는 딥러닝 모델 방식을 이용하여 검사대상 패널의 결함을 용이하게 판정할 수 있도록 하는 기술이다.
[이 발명을 지원한 연구개발사업]
[과제고유번호]Y2020007
[부처명] 경기도
[연구관리전문기관] 경기도경제과학진흥원
[연구사업명] 전략산업기술개발
[연구과제명] 인공지능 기술 기반 자동 결함 분류 시스템 개발
[기여율] 1/1
[주관기관] ㈜솔루션에이
[연구기간] 2020. 9. 1. ~ 2021.8. 31.
검사대상 패널, PCB 등과 같은 제품의 이미지로부터 기계 학습을 이용하여 결함을 분류하는 기술은 Smart Factory에 필수적인 기술이다. 제품의 결함을 실시간으로 분석한 후 분석된 결함 종류에 따라서 생산 시스템에 피드백 함으로써 결함 원인을 제거할 수 있어서 결과적으로 연속 공정에서의 대량 결함을 획기적으로 감소시킬 수 있다. 또한 작업조건에 따른 결함 패턴을 분석함으로써 공정 최적화를 할 수 있다.
최근에, 광학 검사기를 이용하거나, 숙련된 작업자가 육안 검사를 통해 검사대상 패널에 대한 결함 여부를 판정하고 있다.
그런데, 광학 검사기의 경우에는 렌즈 왜곡으로 인하여 영상에 Vignetting 현상 및 Moire 현상이 발생하게 되며, 이러한, 비정형 패턴 등에 의해 가성결함이 다량 발생하게 되며, 평균 10% 내지 15% 정도 발생하게 된다. 이에 따라, 가성결함을 줄이기 위해 Recipe를 느슨하게 유지하는 경우에는 가성 결함을 발생하지 않으나, 실제 결함이 있는 검사대상 패널에 대한 검출에 실패할 수 있다.
한편, 작업자의 육안 검사에 의해 결함 여부를 판정할 경우에는, 작업자의 숙련도 및 컨디션에 따라 결함 판정의 품질 편차가 발생한다. 또한, 육안 검사에 따른 작업자의 피로도가 상당하여 작업자의 이직률이 지속적으로 발생되며, 이에 따라 숙련된 작업자의 확보가 어렵고, 새로운 작업자에 대한 채용 및 교육에 많은 자원이 추가로 소요된다는 점에서 문제점이 있다.
본 발명이 해결하고자 하는 기술적 과제는 검사대상 패널의 결함을 용이하게 판정할 수 있도록 하는 딥러닝 신경망 모델을 이용한 검사대상 패널의 결함 판정장치에 관한 것이다.
상기의 과제를 해결하기 위한 본 발명에 따른 딥러닝 신경망 모델을 이용한 검사대상 패널의 결함 판정장치는 검사대상 패널에 대한 영상에서 결함 판정을 위한 이미지 정보를 추출하는 이미지 처리부; 상기 이미지 정보에 대해 딥러닝 신경망 모델을 이용하여 각각의 결함 패턴을 분류하고, 분류된 각 결함 패턴의 학습값을 출력하는 결함 학습값 추출부; 상기 결함 패턴 유형의 학습값에 최적화된 각 유형에 대한 가중치를 반영하여 각 결함 패턴에 대한 검사대상 패널의 최종 결함 유형을 판정하는 결함 판정부; 및 상기 검사대상 패널에 대한 최종 결함 유형에 대한 정보를 디스플레이 화면에 표시하고, 작업자의 명령을 입력받기 위한 인터페이스를 제공하는 유저 인터페이스부를 포함하는 것을 특징으로 한다.
상기 이미지 처리부는, 카메라에서 촬영된 검사대상 패널의 영상을 길이 방향의 세부관심영역 단위의 블록으로 구분하고, 상기 블록을 상기 블록보다 작은 영역인 사각형의 일정 영역으로 구성되는 영역으로 구분하여 상기 이미지 정보를 추출하는 것을 특징으로 한다.
상기 결함 학습값 추출부는, 상기 각 결함 이미지에 대해 딥러닝 신경망 모델을 기반으로 각각의 결함 이미지에 포함된 다수의 결함 패턴을 추출한 다음 추출된 각각의 결함 패턴에 대한 결함 유형에 대응하는 학습값을 추출하는 것을 특징으로 한다.
상기 상기 결함 학습값 추출부는, 상기 복수의 결함 패턴들은 상기 검사대상 패털의 포인트 결함 패턴, 라인 결함 패턴 및 무라(mura) 결함 패턴을 포함하고, 상기 이미지 정보에 대해 상기 포인트 결함 패턴, 상기 라인 결함 패턴 및 상기 무라(mura) 결함 패턴 중 어느 하나로 분류된 결함 학습값을 추출하는 것을 특징으로 한다.
상기 결함 판정부는, 상기 각 결함 유형에 대한 학습값과 최적화된 가중치를 제공받아 가중 결합 판정 방식으로 최종 결함 유형을 판정하는 것을 특징으로 한다.
상기 결함 판정부는, 초기 동일한 가중치로 도출된 최종 결함 유형에 대한 결함 학습값을 토대로 각 결함 이미지 유형에 대한 가중치를 최적화하고, 상기 최적화된 각 결함 유형에 대한 가중치와 각 결함 유형에 대한 학습값을 곱한 후 합산하여 각 결함 유형에 대한 결함 학습값을 출력하고, 각 결함 유형에 대한 결함 학습값 중 최대 결함 학습값을 가지는 결함 유형을 최종 결함 유형으로 판정하는 것을 특징으로 한다.
상기 결함 판정부는, 상기 딥러닝 모델들에 대해, 앙상블(Ensemble) 모델을 적용하여 구현된 것을 특징으로 한다.
상기 결함 판정부는, 상기 제1 딥러닝 모델, 상기 제2 딥러닝 모델 및 상기 제3 딥러닝 모델 각각의 학습을 위해 사용되는 학습 이미지에 대해 데이터 증강(Data Augmentation) 기법에 의해 획득한 정보를 사용하는 것을 특징으로 한다.
상기 데이터 증강(Data Augmentation) 기법은, 상기 학습 이미지의 회전, 확대, 좌우반전, 상하반전, 가로이동, 세로이동 및 그 조합 중 적어도 둘 이상을 통해 획득하는 것을 특징으로 한다.
본 발명에 의하면, 이미지 정보에 대해 딥러닝 신경망 모델을 이용하여 각각의 결함 패턴을 분류하고, 분류된 각 결함 패턴의 학습값을 출력하고, 결함 패턴 유형의 학습값에 최적화된 각 유형에 대한 가중치를 반영하여 각 결함 패턴에 대한 검사대상 패널의 최종 결함 유형을 판정할 수 있도록 함으로써, 종래의 이미지 패턴 분류기의 결함 판정 오류를 개선하고, 작업자의 육안 검사 비율을 감시시킴에 따라 작업자의 피로도를 낮출 수 있는 효과가 있다.
또한, 딥러닝 모델들을 통해 인간의 직관과 경험으로 판단하는 그레이존 결함을 사람보다 정확한 판정 및 분류 수행으로 가성 결함에 대해 5% 미만으로 최소화할 수 있다.
또한, 각기 다른 경험과 직관을 가진 작업자들에 의한 품질 관리를 대신하여 딥러닝 모델들을 이용함으로써, 외부 상황에 영향을 받지 않고 획일화된 품질 관리를 수행할 수 있다.
도 1은 본 발명에 따른 딥러닝 신경망 모델을 이용한 검사대상 패널의 결함 판정장치를 설명하기 위한 구성블록도이다.
도 2는 도 1에 도시된 딥러닝 신경망 모델을 이용한 검사대상 패널의 결함 판정장치의 전체 공정을 설명하기 위한 개념도이다.
도 3a 내지 도 3d는 결함 학습값 추출부에 의해 학습되는 복수의 결함 패턴들을 예시하는 참조도이다.
도 4는 결함 판정부에서 설정값의 자동 변경에 따른 무라 결함 패턴을 판정하는 것을 설명하기 위한 일 예의 무라 패턴 이미지이다.
도 5는 결함 판정부의 가중 결합 판정 방식에 대한 개념도이다.
도 6은 결함 판정부에서 최적화된 가중치로 도출된 각 채널 별 결함 유형을 예시하는 참조도이다.
도 7a 내지 도 7c는 유저 인터페이스부에 의해 표시되는 정보를 예시하는 참조도이다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
도 1은 본 발명에 따른 딥러닝 신경망 모델을 이용한 검사대상 패널의 결함 판정장치(이하, 결함 판정장치(100)라 칭한다)을 설명하기 위한 구성블록도이고, 도 2는 도 1에 도시된 딥러닝 신경망 모델을 이용한 검사대상 패널의 결함 판정장치의 전체 공정을 설명하기 위한 개념도이다.
도 1을 참조하면, 결함 판정장치(100)는 이미지 처리부(110), 결함 학습값 추출부(120), 결함 판정부(130), 유저 인터페이스부(140)를 포함한다.
이미지 처리부(110)는 검사대상 패널에 대한 영상에서 결함 판정을 위한 이미지 정보를 추출한다.
이미지 처리부(110)는 카메라에서 촬영된 검사대상 패널의 영상을 길이 방향의 세부관심영역 단위의 블록으로 구분하고, 상기 블록을 상기 블록보다 작은 영역인 사각형의 일정 영역으로 구성되는 영역으로 구분하여 상기 이미지 정보를 추출한다.
이미지 처리부(110)는 적어도 하나의 영상 획득 장치에서 다양한 각도 및/또는 다 조명에 따라 획득된 다채널의 영상 정보에 대해 저해상도로 압축한 다음 관심 영역을 도출하고 도출된 관심 영역에 대한 영상 데이터를 출력한다.
이미지 처리부(110)는 다수 채널의 영상 취득 장치에서 얻은 이미지 혹은 센서 맵 데이터를 저용량 압축 포멧으로 저해상도 압축 변환하고, 관심 영역의 크로핑(cropping) 블록에서 검출하려는 사물을 제외한 불필요한 영역의 영상 부분을 제거한다. 이미지 처리부(110)에서 출력되는 서로 다른 입력 채널의 영상 데이터에 대해 멀티플렉싱하여 결함 학습값 추출부(120)로 전달하는 멀티플렉서를 추가로 구비될 수 있다.
이미지 처리부(110)의 관심 영역의 영상 데이터는 설정된 횟수(Sequence Length)만큼 연속 수행하여 각 채널 당 획득된 영상 데이터에 포함된 다수의 결함 요소 및 결함 패턴을 가지는 다수의 결함 유형으로 딥러닝 예측 모델이 구축된다.
이미지 처리부(110)는 카메라에서 촬영된 터치스크린 등의 디스플레이 패널의 영상을 세부관심영역 단위의 블록으로 구분한다. 이미지 처리부(110)는 투명 플렉서블 터치스크린 패널의 영상을 길이 방향의 세부관심영역 단위의 블록으로 구분할 수 있다. 이미지 처리부(110)는 세부관심영역 단위로 구분된 블록을 상기 블록 보다 작은 영역인 세부 영역으로 분리할 수 있으며, 보다 구체적으로, 블록을 사각형의 일정 영역으로 구성되는 세부 영역으로 분리할 수 있다.
한편, 이미지 처리부(110)는 점등 검사 방식을 이용하여 검사대상 패널의 결함 여부에 대한 이미지 정보를 획득한다. 일반적으로, 이미지 처리부(110)는 다양한 패턴을 인가하여 나타난 검사대상 패널의 패턴에 따른 결함을 검사하는 장치이다. 다만, 이러한, 이미지 처리부(110)는 렌즈 왜곡으로 인하여 영상에 Vignetting 현상 및 Moire 현상이 발생할 수 있다. 이미지 처리부(110)는 전기식 평면디스플레이 검사로 제조 공정에서 제품의 결함 여부를 검사하여 신뢰도를 향상하게 시키거나, 결함 제품에 대해 공정 중간에 검출해 부분적 수리를 통해 결함률을 감소시키는 목적을 갖는다. 이는 전기신호를 인가한 뒤, 대상물의 동작을 관찰하는 검사로, 검사 대상의 전극에 접촉하여 전기적 신호를 인가하는 프로브 유닛을 이용하여 검사한다.
기존의 디스플레이 점등 검사 방법은 검사 요청이 들어오면, AP(Auto Probe) 장비가 Cell을 점등 검사 할 수 있도록 Cell을 Contactor를 정렬(Align) 및 안착을 한 후 Data/Gate Line 전극에 일괄 접촉해 PG(Pattern Generator)와 BLU(Back Light Unit)를 이용해 Cell을 점등한 후 광학 검사를 하여, Cell의 결함을 검출한다.
이미지 처리부(110)는 미검출을 줄이기 위해 검사 레시피를 강하게 적용하게 되면, 정상 제품에 대해서도 결함이라고 검출하는 가성 결함이 많이 발생하게 되며, 이를 줄이기 위해 검사 레시피를 약하게 적용하게 되면, 실제 결함을 검출하지 못해 결함 제품이 정상 제품으로 나가는 경우가 있다. 이는, 자동 이미지 패턴 분류기의 Rule-Based 기반 알고리즘으로 인한 Trade-Off 현상으로, 인간이 작성한 정형화된 규칙을 기반으로 검사를 진행하다 보니, 정해진 규칙 내에서는 검사를 잘하지만 새로운 유형의 제품 혹은 결함에 대해서는 검사가 어려움이 있다.
이를 해소하기 위한 본 발명에 따른 이미지 처리부(110)는 데이터베이스에 저장되어 있는 데이터를 기반으로 광학 검사를 진행할 수 있다. 검사가 완료된 결함 영상은 데이터베이스에 저장하고, 결함 데이터는 결함 판정장치에서 결함 판정을 위해 전송하고, 기타 다른 구성요소에서 테스트 할 수 있도록 지원한다. 이미지 처리부(110)는 상기 획득한 이미지 정보에 대해 복수의 결함 패턴들 중 어느 하나의 결함 패턴으로 분류한다. 상기 복수의 결함 패턴들은 상기 검사대상 패널의 포인트 결함 패턴, 라인 결함 패턴 및 무라(mura) 결함 패턴을 포함한다.
결함 학습값 추출부(120)는 상기 이미지 정보에 대해 딥러닝 신경망 모델을 이용하여 각각의 결함 패턴을 분류하고, 분류된 각 결함 패턴의 학습값을 출력한다. 결함 학습값 추출부(120)는 상기 각 결함 이미지에 대해 딥러닝 신경망 모델을 기반으로 각각의 결함 이미지에 포함된 다수의 결함 패턴을 추출한 다음 추출된 각각의 결함 패턴에 대한 결함 유형에 대응하는 학습값을 추출한다.
결함 학습값 추출부(120)는 상기 복수의 결함 패턴들은 상기 검사대상 패털의 포인트 결함 패턴, 라인 결함 패턴 및 무라(mura) 결함 패턴을 포함하고, 상기 이미지 정보에 대해 상기 포인트 결함 패턴, 상기 라인 결함 패턴 및 상기 무라(mura) 결함 패턴 중 어느 하나로 분류된 결함 학습값을 추출한다.
결함 학습값 추출부(120)는 출력되는 각 채널의 영상 데이터에 포함된 결함 요소를 가지는 다수의 결함영상 k는 임의의 채널 k에 대해 결함영상 1, 결함영상 k, 및 결함영상 K 가 포함되고, 임의의 채널 m의 결함영상 m은 결함영상 1, 결함영상 m, 및 결함영상 M 가 포함되며, 임의의 채널 h의 결함영상 h 는 결함영상 1, 결함영상 h, 및 결함영상 H 가 포함된다.
결함 학습값 추출부(120)는 각 채널 k, m, h의 결함영상 k, 결함영상 m, 및 결함영상 h을 입력으로 구축된 딥러닝 예측 모델을 이용하여 각 결함 영상에 포함된 다수의 결함 패턴을 추출한다. 이때 각 채널의 각각의 결함 영상에는 다수의 결함 패턴이 포함되어 있으므로 이에 결함 학습값 추출부(120)는 추출된 각 결함패턴에 대한 결함 유형을 검출한다. 예를 들어, 결함이 하나도 없는 경우 각 채널 k, m, h의 결함영상 k, 결함영상 m, 및 결함영상 h는 모두 0이 된다.
결함 학습값 추출부(120)는 각 채널의 결함 요소를 가지는 각각의 결함 영상을 입력으로 딥러닝 예측모델에 의거 학습하고, 학습 결과에 따라 각 결함 영상에 포함된 다수의 결함 패턴을 추출하여 추출된 각 결함 패턴에 대한 결함 유형을 도출한다. 이때 결함 유형은 스크래치, 덴트, 홀, NA 등이고, 이러한 각 결함 유형에 대한 학습값이 출력된다. 결함 학습값 추출부(120)는 각 채널 별 다수의 결함 유형에 대한 학습값은 결함 판정부(130)로 전달한다.
도 3a 내지 도 3d는 결함 학습값 추출부(120)에 의해 학습되는 복수의 결함 패턴들을 예시하는 참조도이다. 결함 학습값 추출부(120)는 상기 이미지 정보에 대해 상기 포인트 결함 패턴, 상기 라인 결함 패턴 및 상기 무라(mura) 결함 패턴 중 어느 하나로 분류한다.
결함 판정부(130)는 상기 결함 패턴 유형의 학습값에 최적화된 각 유형에 대한 가중치를 반영하여 각 결함 패턴에 대한 검사대상 패널의 최종 결함 유형을 판정한다. 결함 판정부(130)는 상기 각 결함 유형에 대한 학습값과 최적화된 가중치를 제공받아 가중 결합 판정 방식으로 최종 결함 유형을 판정한다.
결함 판정부(130)는 초기 동일한 가중치로 도출된 최종 결함 유형에 대한 결함 학습값을 토대로 각 결함 이미지 유형에 대한 가중치를 최적화하고, 상기 최적화된 각 결함 유형에 대한 가중치와 각 결함 유형에 대한 학습값을 곱한 후 합산하여 각 결함 유형에 대한 결함 학습값을 출력하고, 각 결함 유형에 대한 결함 학습값 중 최대 결함 학습값을 가지는 결함 유형을 최종 결함 유형으로 판정한다.
결함 판정부(130)는 상기 딥러닝 모델들에 대해, 앙상블(Ensemble) 모델을 적용하여 구현할 수 있다.
결함 판정부(130)는 상기 제1 딥러닝 모델, 상기 제2 딥러닝 모델 및 상기 제3 딥러닝 모델 각각의 학습을 위해 사용되는 학습 이미지에 대해 데이터 증강(Data Augmentation) 기법에 의해 획득한 정보를 사용한다. 상기 데이터 증강(Data Augmentation) 기법은, 상기 학습 이미지의 회전, 확대, 좌우반전, 상하반전, 가로이동, 세로이동 및 그 조합 중 적어도 둘 이상을 통해 획득한다.
도 4는 결함 판정부(130)에서 설정값의 자동 변경에 따른 무라 결함 패턴을 판정하는 것을 설명하기 위한 일 예의 무라 패턴 이미지이다. 도 4를 참조하면, 도 4의 (a)는 원본 이미지를 나타내고, 도 4의 (b), (c) 및 (d)는 각각 설정값의 변경에 따른 무라 결함패턴의 선명도가 증가하는 것을 예시하는 이미지이다. 도 4의 (d)는 설정값의 자동 변경에 따라 결함 판정부(130)에서 가장 선명한 무라 결함패턴을 확인하고, 원본 이미지에 대한 결함을 판정한 예시이다. 또한, 결함 판정부(130)는 결함패턴을 자동으로 판정하면서 판정에 사용된 이미지들을 지속적으로 저장하고, 상기 저장된 이미지들을 상기 딥러닝 모델들에 프로그램적으로 자동으로 인가해서 딥러닝 학습을 자동으로 반복적으로 수행하도록 하여, 상기 딥러닝 모델을 최적화할 수 있다. 또한, 결함 판정부(130)는 결함패턴 판정에 대한 검수자의 최종 판단결과정보를 입력받고, 상기 입력된 최종 판단결과정보를 상기 딥러닝 모델들에 프로그램적으로 자동으로 인가해서 딥러닝 학습을 자동으로 반복적으로 수행하도록 하여,상기 딥러닝 모델을 최적화할 수 있다.
결함 판정부(130)는 각 채널 별 다수의 학습값에 설정된 각 채널 별 다수의 가중치를 반영하여 해당 디스플레이 패널의 최종 결함 유형을 판정한다. 결함 판정부(130)는 각 채널의 다수의 결함 유형에 대한 학습값과 설정된 가중치에 의거 가중 결합 판정 방식으로 최종 결함 유형을 판정한다. 결함 판정부(130)는 가중 결합 방식으로, 초기에 동일한 가중치를 각 채널 별 결함 학습값에 부여한 다음 각 채널별 최종 결함 유형이 검출된 확률을 연산하고 연산된 확률로 각 채널 별 다수의 결함 유형에 대한 각각의 가중치를 최적화한다. 이러한 가중치를 최적화하는 알고리즘은 자동 튜닝 방식(Grid Search) 등 다양한 알고리즘으로 구비될 수 있다.
도 5는 결함 판정부(130)의 가중 결합 판정 방식에 대한 개념도로서, 도 5를 참조하면, 결함 판정부(130)는 결함 학습값 추출부(120)의 각 채널 별 결함 유형에 대한 결함 학습값에 기 설정된 가중치(w1, w2, w3, w4)를 곱한 다음 합성하고 합성된 결함 유형에 대한 결함 학습값 중 기 정해진 임계값을 초과하는 결함 유형을 해당 검사대상 패널의 최종 불량 유형으로 판정한다.
도 6은 결함 판정부(130)에서 최적화된 가중치로 도출된 각 채널 별 결함 유형을 예시하는 참조도이다.
도 6을 참조하면, 기존의 방식의 평균에 grid search 방식으로 구한 가중치를 곱해서 평균을 하면 결함 유형에 대한 학습값에 대한 정확도가 더 높아짐을 확인할 수 있으며, 이에 결함 판정부(130)는 동일한 가중치로 도출된 각 채널 별 불량 유형(덴트, 스크래치, 홀, NA)에 대한 학습값의 비를 토대로 가중치를 최적화한다. 결함 판정부(130)는 각 채널 별 다수의 불량 유형에 대한 각각의 학습값과 각 채널 별 다수의 결함 유형에 대한 각각의 가중치를 곱한 다음 합산하여 각 채널 별 불량 유형에 대한 불량 학습값을 출력한다.
유저 인터페이스부(140)는 상기 검사대상 패널에 대한 최종 결함 유형에 대한 정보를 디스플레이 화면에 표시하고, 작업자의 명령을 입력받기 위한 인터페이스를 제공한다.
유저 인터페이스부(140)는 결함 판정부(130)의 판정 결과정보를 디스플레이 화면에 표시하고, 작업자의 명령을 입력받기 위한 유저 인터페이스를 제공한다.
도 7a 내지 도 7c는 작업자 인터페이스 장치에 의해 표시되는 정보를 예시하는 참조도이다.
유저 인터페이스부(140)는 각 판정 주체(AOI, S-ADJ, S-DRS)가 판정한 결과를 바탕으로 숙련자가 재판정할 수 있도록 하기 위한 UI 기능을 제공한다. 또한, 유저 인터페이스부(140)는 판정 주체(AOI, S-ADJ, S-DRS)의 교육용으로 활용할 수 있는 기능을 제공한다. 예를 들어, AOI 판정결과/ADJ 판정결과/작업자 판정결과를 비교하고, 판정 결과에 대한 통계 그래프를 통하여, 판정 주체의 취약점을 파악할 수 있도록 하고, AOI/ADJ 문제파악 및 작업자 재교육 여부 결정 및 재교육 기능을 수행할 수 있다.
본 발명은 소프트웨어적인 프로그램으로 구현하여 컴퓨터로 읽을 수 있는 소정 기록매체에 기록해 둠으로써 다양한 재생장치에 적용할 수 있다. 다양한 재생장치는 PC, 노트북, 휴대용 단말 등일 수 있다. 예컨대, 기록매체는 각 재생장치의 내장형으로 하드디스크, 플래시 메모리, RAM, ROM 등이거나, 외장형으로 CD-R, CD-RW와 같은 광디스크, 콤팩트 플래시 카드, 스마트 미디어, 메모리 스틱, 멀티미디어 카드일 수 있다.
이상과 같이 본 발명의 실시예를 설명하였으나, 본 발명의 명세서에 개시된 실시예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.

Claims (9)

  1. 검사대상 패널에 대한 영상에서 결함 판정을 위한 이미지 정보를 추출하는 이미지 처리부;
    상기 이미지 정보에 대해 딥러닝 신경망 모델을 이용하여 각각의 결함 패턴을 분류하고, 분류된 각 결함 패턴의 학습값을 출력하는 결함 학습값 추출부;
    상기 결함 패턴 유형의 학습값에 최적화된 각 유형에 대한 가중치를 반영하여 각 결함 패턴에 대한 검사대상 패널의 최종 결함 유형을 판정하는 결함 판정부; 및
    상기 검사대상 패널에 대한 최종 결함 유형에 대한 정보를 디스플레이 화면에 표시하고, 작업자의 명령을 입력받기 위한 인터페이스를 제공하는 유저 인터페이스부를 포함하는 것을 특징으로 하는 딥러닝 신경망 모델을 이용한 검사대상 패널의 결함 판정장치.
  2. 청구항 1에 있어서,
    상기 이미지 처리부는,
    카메라에서 촬영된 검사대상 패널의 영상을 길이 방향의 세부관심영역 단위의 블록으로 구분하고, 상기 블록을 상기 블록보다 작은 영역인 사각형의 일정 영역으로 구성되는 영역으로 구분하여 상기 이미지 정보를 추출하는 것을 특징으로 하는 딥러닝 신경망 모델을 이용한 검사대상 패널의 결함 판정장치.
  3. 청구항 1에 있어서,
    상기 결함 학습값 추출부는,
    상기 각 결함 이미지에 대해 딥러닝 신경망 모델을 기반으로 각각의 결함 이미지에 포함된 다수의 결함 패턴을 추출한 다음 추출된 각각의 결함 패턴에 대한 결함 유형에 대응하는 학습값을 추출하는 것을 특징으로 하는 딥러닝 신경망 모델을 이용한 검사대상 패널의 결함 판정장치.
  4. 청구항 1에 있어서,
    상기 상기 결함 학습값 추출부는,
    상기 복수의 결함 패턴들은 상기 검사대상 패털의 포인트 결함 패턴, 라인 결함 패턴 및 무라(mura) 결함 패턴을 포함하고,
    상기 이미지 정보에 대해 상기 포인트 결함 패턴, 상기 라인 결함 패턴 및 상기 무라(mura) 결함 패턴 중 어느 하나로 분류된 결함 학습값을 추출하는 것을 특징으로 하는 딥러닝 신경망 모델을 이용한 검사대상 패널의 결함 판정장치.
  5. 청구항 1에 있어서,
    상기 결함 판정부는,
    상기 각 결함 유형에 대한 학습값과 최적화된 가중치를 제공받아 가중 결합 판정 방식으로 최종 결함 유형을 판정하는 것을 특징으로 하는 딥러닝 신경망 모델을 이용한 검사대상 패널의 결함 판정장치.
  6. 청구항 5에 있어서,
    상기 결함 판정부는,
    초기 동일한 가중치로 도출된 최종 결함 유형에 대한 결함 학습값을 토대로 각 결함 이미지 유형에 대한 가중치를 최적화하고, 상기 최적화된 각 결함 유형에 대한 가중치와 각 결함 유형에 대한 학습값을 곱한 후 합산하여 각 결함 유형에 대한 결함 학습값을 출력하고, 각 결함 유형에 대한 결함 학습값 중 최대 결함 학습값을 가지는 결함 유형을 최종 결함 유형으로 판정하는 것을 특징으로 하는 딥러닝 신경망 모델을 이용한 검사대상 패널의 결함 판정장치.
  7. 청구항 1에 있어서,
    상기 결함 판정부는,
    상기 딥러닝 모델들에 대해, 앙상블(Ensemble) 모델을 적용하여 구현된 것을 특징으로 하는 딥러닝 신경망 모델을 이용한 검사대상 패널의 결함 판정장치.
  8. 청구항 7에 있어서,
    상기 결함 판정부는,
    상기 제1 딥러닝 모델, 상기 제2 딥러닝 모델 및 상기 제3 딥러닝 모델 각각의 학습을 위해 사용되는 학습 이미지에 대해 데이터 증강(Data Augmentation) 기법에 의해 획득한 정보를 사용하는 것을 특징으로 하는 딥러닝 신경망 모델을 이용한 검사대상 패널의 결함 판정장치.
  9. 청구항 8에 있어서,
    상기 데이터 증강(Data Augmentation) 기법은, 상기 학습 이미지의 회전, 확대, 좌우반전, 상하반전, 가로이동, 세로이동 및 그 조합 중 적어도 둘 이상을 통해 획득하는 것을 특징으로 하는 딥러닝 신경망 모델을 이용한 검사대상 패널의 결함 판정장치.
PCT/KR2021/006944 2021-06-03 2021-06-03 딥러닝 신경망 모델을 이용한 검사대상 패널의 결함 판정장치 WO2022255518A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210071941A KR20220164099A (ko) 2021-06-03 2021-06-03 딥러닝 신경망 모델을 이용한 검사대상 패널의 결함 판정장치
KR10-2021-0071941 2021-06-03

Publications (1)

Publication Number Publication Date
WO2022255518A1 true WO2022255518A1 (ko) 2022-12-08

Family

ID=84323694

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/006944 WO2022255518A1 (ko) 2021-06-03 2021-06-03 딥러닝 신경망 모델을 이용한 검사대상 패널의 결함 판정장치

Country Status (2)

Country Link
KR (1) KR20220164099A (ko)
WO (1) WO2022255518A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240103084A (ko) 2022-12-26 2024-07-04 (주)제이에스 시스템 Pcb 불량 검출 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190017121A (ko) * 2017-08-10 2019-02-20 울랄라랩 주식회사 기계학습 기법에 기반한 기계의 오류 데이터를 검출하기 위한 알고리즘 및 방법
KR20190085159A (ko) * 2016-12-07 2019-07-17 케이엘에이-텐코 코포레이션 컨볼루션 뉴럴 네트워크 기반 결함 검사를 위한 데이터 증강
US20200090969A1 (en) * 2018-09-19 2020-03-19 Kla-Tencor Corporation System and Method for Characterization of Buried Defects
KR20200071876A (ko) * 2018-12-06 2020-06-22 주식회사 씨에스앤씨 공정 중 생산품 불량 예측시스템 및 불량 예측을 위한 학습모델 생성방법
KR20200092143A (ko) * 2019-01-24 2020-08-03 가천대학교 산학협력단 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190085159A (ko) * 2016-12-07 2019-07-17 케이엘에이-텐코 코포레이션 컨볼루션 뉴럴 네트워크 기반 결함 검사를 위한 데이터 증강
KR20190017121A (ko) * 2017-08-10 2019-02-20 울랄라랩 주식회사 기계학습 기법에 기반한 기계의 오류 데이터를 검출하기 위한 알고리즘 및 방법
US20200090969A1 (en) * 2018-09-19 2020-03-19 Kla-Tencor Corporation System and Method for Characterization of Buried Defects
KR20200071876A (ko) * 2018-12-06 2020-06-22 주식회사 씨에스앤씨 공정 중 생산품 불량 예측시스템 및 불량 예측을 위한 학습모델 생성방법
KR20200092143A (ko) * 2019-01-24 2020-08-03 가천대학교 산학협력단 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템 및 방법

Also Published As

Publication number Publication date
KR20220164099A (ko) 2022-12-13

Similar Documents

Publication Publication Date Title
WO2019107614A1 (ko) 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
WO2020141882A1 (ko) 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템 및 방법
CN109308447A (zh) 在电力远程监控中自动提取设备运行参数和运行状态的方法
CN109060817B (zh) 人工智能复检***及其方法
KR20200092143A (ko) 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템 및 방법
KR102168724B1 (ko) 이미지 검사를 이용한 이상 판별 방법 및 장치
CN111896549B (zh) 一种基于机器学习的建筑物裂缝监测***和方法
CN111312023B (zh) 一种中学物理电路实验电路图自动绘制的装置及方法
WO2022255518A1 (ko) 딥러닝 신경망 모델을 이용한 검사대상 패널의 결함 판정장치
CN116718600B (zh) 一种用于对线束产品进行智能化检测的检测装置
WO2023085717A1 (ko) 클러스터링을 기반으로 하는 레이블링을 수행하기 위한 장치, 이상 탐지를 위한 장치 및 이를 위한 방법
CN111401437A (zh) 基于深度学习的输电通道隐患预警等级分析方法
KR102174424B1 (ko) 서버 기반 부품 검사방법 및 그를 위한 시스템 및 장치
WO2022158628A1 (ko) 머신러닝 모델에 기반한 디스플레이 패널의 결함 판정 시스템
CN117974398A (zh) 基于多源数据的施工******
CN115481941B (zh) 一种多功能区联合的智能化安防管理方法及***
WO2023113274A1 (ko) Ai 기반 제품 표면 검사 장치 및 방법
WO2023158068A1 (ko) 객체검출률 향상을 위한 학습시스템 및 그 방법
WO2022250190A1 (ko) 딥러닝 모델을 이용한 영상검사 대상체의 결함 판정시스템
CN114782431B (zh) 一种印刷电路板缺陷检测模型训练方法及缺陷检测方法
JPH09264856A (ja) 物品外観検査装置
CN112347889B (zh) 一种变电站作业行为辨识方法及装置
JP2021148678A (ja) 不良検出装置及び不良検出方法
CN113850773A (zh) 一种检测方法、装置、设备及计算机可读存储介质
KR100591853B1 (ko) Ｌｃｄ 모듈 검사 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21944273

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE