KR20230075148A - 제품 표면의 품질 검사를 수행하기 위한 장치 및 방법 - Google Patents
제품 표면의 품질 검사를 수행하기 위한 장치 및 방법 Download PDFInfo
- Publication number
- KR20230075148A KR20230075148A KR1020210161458A KR20210161458A KR20230075148A KR 20230075148 A KR20230075148 A KR 20230075148A KR 1020210161458 A KR1020210161458 A KR 1020210161458A KR 20210161458 A KR20210161458 A KR 20210161458A KR 20230075148 A KR20230075148 A KR 20230075148A
- Authority
- KR
- South Korea
- Prior art keywords
- lighting
- sample
- inspected
- images
- surface images
- Prior art date
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 141
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000007547 defect Effects 0.000 claims abstract description 71
- 238000013528 artificial neural network Methods 0.000 claims abstract description 34
- 238000003062 neural network model Methods 0.000 claims abstract description 23
- 238000004519 manufacturing process Methods 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims description 27
- 230000002950 deficient Effects 0.000 claims description 26
- 238000012360 testing method Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
- G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
- G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
- G01N2021/95615—Inspecting patterns on the surface of objects using a comparative method with stored comparision signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/129—Using chemometrical methods
- G01N2201/1296—Using chemometrical methods using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Biochemistry (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Immunology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
제품 표면의 품질 검사를 수행하기 위한 방법이 개시된다. 이 방법은, 조명 장치가, 서로 다른 복수의 조명 환경들을 생성하는 단계, 카메라 장치가, 상기 복수의 조명 환경들에서 하나의 검사 대상 샘플을 촬영하여 복수의 표면 이미지들을 획득하는 단계, 및 비전 검사 장치가, 심층 신경망 모델을 기반으로 상기 복수의 표면 이미지들을 분석하여, 상기 검사 대상 샘플의 표면 불량을 판정하는 단계를 포함한다.
Description
본 발명은 제품 표면의 품질 검사를 수행하기 위한 장치 및 방법에 관한 것으로, 더욱 상세하게는, 전자 부품을 생산하는 양산 라인에서 심층 신경망을 이용하여 제품 표면의 품질 검사를 수행하기 위한 장치 및 방법에 관한 것이다.
고가의 전자 제품은 인덕터, 저항, 콘덴서 등과 같은 수많은 소형 전자 부품들로 구성된다. 이러한 소형 전자 부품을 생산하는 양산라인에서는 정밀한 제품 검사를 수행하여 부품 패키징의 크랙 등의 표면 불량 유무를 판별하는 검사가 필수적이다.
최근 자동화된 양산라인에서 수많은 소형 전자 부품의 표면 불량 유무를 판별하기 위해, 실시간으로 소형 전자 부품의 표면 이미지를 이용하여 표면 불량을 검사하는 비전 검사 장치가 일반적으로 사용되고 있다.
일반적인 비전 검사 장치는 검사 대상 샘플로 조명을 조사하는 조명부, 검사 대상 샘플을 촬영하는 카메라 및 상기 카메라에 의해 획득된 이미지를 이용하여 전자 부품의 표면 불량을 검사하는 검사부로 구성된다.
종래의 비전 감사 장치는, 검사 대상 샘플의 상부에 위치한 조명부가 검사 대상 샘플로 조명을 수직방향으로 조사하거나, 미리 고안된 최적의 각도에서 검사 대상 샘플로 조명을 조사하는 조명 환경에서, 부품의 표면 이미지를 획득한다. 이처럼 고정된 조명 환경에서는 부품의 표면 불량 상태에 따른 최적의 조명 환경을 검사 대상 샘플 별로 실시간으로 조정하기 어려운 문제가 있다.
또한, 부품의 표면 불량을 검사하는 검사부의 경우, 종래의 검사부는 컴퓨터 비전 알고리즘을 이용하여 엣지 이미지를 획득하고 이를 정상 엣지 이미지와 비교하여 불량 여부를 검사한다.
이러한 엣지 이미지 기반의 컴퓨터 비전 알고리즘은 미세한 크랙이나 표면의 굴곡 등을 정확하게 검출하지 못하는 경우가 있기 때문에, 선별된 불량 부품에 대하여 숙련된 검사 인력의 육안 검사를 추가로 수행해야 한다. 이로 인해, 제조 비용 및 제조 시간이 늘어나는 문제가 있다.
상술한 문제점을 해결하기 위한 본 발명의 목적은, 검사 대상 샘플의 표면 품질을 검사하는 양산 라인에서, 복수의 조명 환경들에서 획득한 검사 대상 샘플에 대한 복수의 표면 이미지들을 심층 신경망을 이용하여 추론하고, 그 추론 결과를 기반으로 검사 대상 샘플의 표면 불량(미세 스크래치, 굴곡 등)을 검사하기 위한 장치 및 방법을 제공하는 데 있다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부된 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
상술한 목적을 달성하기 위한 본 발명의 일면에 따른 제품 표면의 품질 검사를 수행하기 위한 방법은, 조명 장치가, 서로 다른 복수의 조명 환경들을 생성하는 단계; 카메라 장치가, 상기 복수의 조명 환경들에서 하나의 검사 대상 샘플을 촬영하여 복수의 표면 이미지들을 획득하는 단계; 및 비전 검사 장치가, 심층 신경망 모델을 기반으로 상기 복수의 표면 이미지들을 분석하여, 상기 검사 대상 샘플의 표면 불량을 판정하는 단계를 포함한다.
실시 예에서, 상기 서로 다른 복수의 조명 환경들을 생성하는 단계는, 조명 제어부가 상기 조명 장치에 포함된 복수의 조명 유닛들 중에서 적어도 하나의 조명 유닛을 온(ON) 상태로 제어하여 상기 복수의 조명 환경들을 생성하는 단계일 수 있다.
실시 예에서, 상기 서로 다른 복수의 조명 환경들을 생성하는 단계는 조명 제어부가 상기 조명 장치에 포함된 N(여기서, N은 2이상의 자연수)개의 조명 유닛들 중에서 적어도 하나의 조명 유닛을 온 상태로 제어하는 단계; 및 상기 N개의 조명 유닛들이 2N-1개의 조명 환경들을 생성하는 단계를 포함할 수 있다.
실시 예에서, 상기 복수의 표면 이미지들을 획득하는 단계는, N(여기서, N은 2이상의 자연수)개의 조명 유닛들을 포함하는 상기 조명 장치에서 생성하는 2N-1개의 조명 환경들에서 하나의 검사 대상 샘플에 대한 2N-1개의 표면 이미지들을 획득하는 단계일 수 있다.
실시 예에서, 상기 검사 대상 샘플의 표면 불량을 판정하는 단계는, 상기 심층 신경망을 기반으로 상기 복수의 표면 이미지들 각각을 분석하여, 불량으로 판정된 표면 이미지들의 개수를 카운팅하는 단계 및 상기 카운팅된 표면 이미지들의 개수와 사전에 설정된 문턱치를 비교하여, 상기 검사 대상 샘플의 표면 불량을 판정하는 단계를 포함할 수 있다.
실시 예에서, 상기 카운팅된 표면 이미지들의 개수와 상기 심층 신경망의 학습 단계에서 설정된 문턱치를 비교하여, 상기 검사 대상 샘플의 표면 불량을 판정하는 단계는, 상기 표면 불량으로 판정된 상기 표면 이미지들의 개수가 상기 문턱치보다 큰 경우, 상기 검사 대상 샘플을 표면 불량으로 판정하는 단계 및 상기 표면 불량으로 판정된 상기 표면 이미지들의 개수가 상기 문턱치보다 작거나 같을 경우, 상기 검사 대상 샘플을 표면 정상으로 판정하는 단계를 포함할 수 있다.
실시 예에서, 상기 카운팅된 표면 이미지들의 개수와 상기 심층 신경망의 학습 단계에서 설정된 문턱치를 비교하여, 상기 검사 대상 샘플의 표면 불량을 판정하는 단계는, 제품의 생산 수율에 우선 순위를 두는 경우, 상기 문턱치를 제1 문턱치보다 높은 제2 문턱치로 설정하고, 불량 검출 성능에 우선 순위를 두는 경우, 상기 문턱치를 상기 제1 문턱치로 설정하는 단계를 더 포함할 수 있다.
실시 예에서, 상기 검사 대상 샘플의 표면 불량을 판정하는 단계는, 상기 비전 검사 장치의 전처리부가, 상기 복수의 표면 이미지들을 전처리하는 단계; 상기 비전 검사 장치의 심층 신경망 모델이, 상기 전처리된 복수의 표면 이미지들을 분석하여, 각 표면 이미지에 대한 상기 검사 대상 샘플의 표면 불량을 판정하는 단계; 및 상기 비전 검사 장치의 양불 판정부가, 상기 표면 불량으로 판정된 표면 이미지들의 개수와 상기 심층 신경망 모델의 사전 학습 단계에서 설정된 문턱치를 비교하여, 상기 검사 대상 샘플의 표면 불량을 최종적으로 판정하는 단계를 포함할 수 있다.
실시 예에서, 상기 복수의 표면 이미지들을 전처리하는 단계는, 선택적으로 수행될 수 있다.
실시 예에서, 상기 복수의 표면 이미지들을 전처리하는 단계는, 연산 부하가 낮은 처리 과정으로서, 상기 복수의 표면 이미지들을 그레이 이미지로 변환하거나 상기 복수의 표면 이미지들의 사이즈를 축소하는 단계일 수 있다.
본 발명의 다른 일면에 따른 제품 표면의 품질 검사를 수행하기 위한 장치는, 서로 다른 복수의 조명 환경들을 생성하는 조명 장치; 상기 복수의 조명 환경들에서 하나의 검사 대상 샘플을 촬영하여 복수의 표면 이미지들을 획득하는 카메라 장치; 및 심층 신경망 모델을 기반으로 상기 복수의 표면 이미지들을 분석하여, 상기 검사 대상 샘플의 표면 불량을 판정하는 비전 검사 장치를 포함한다.
실시 예에서, 상기 조명 장치는 조명 지지대; 및 상기 조명 지지대에 고정되고, 상기 검사 대상 샘플로 조명을 조사하는 복수의 조명 유닛들을 포함하고, 상기 복수의 조명 환경들은 상기 복수의 조명 유닛들이 나타낼 수 있는 온(ON) 상태의 조합 수에 따라 생성되는 것일 수 있다.
실시 예에서, 상기 복수의 조명 환경들은, 상기 복수의 조명 유닛들 각각의 조명 각도에 따라 생성되는 것일 수 있다.
실시 예에서, 상기 카메라 장치는, 상기 조명 장치가 N개의 조명 유닛들을 포함하는 경우, 2N-1개의 표면 이미지를 획득하는 것일 수 있다.
실시 예에서, 상기 비전 검사 장치는, 상기 복수의 조명 환경들을 생성하도록 상기 조명 장치에 포함된 복수의 조명 유닛들 각각의 온-오프 동작을 제어하는 조명 제어부; 상기 카메라 장치의 셔터 동작을 제어하는 카메라 제어부; 및 상기 복수의 표면 이미지들 중에서 표면 불량으로 판정된 표면 이미지들의 개수를 기반으로 상기 검사 대상 샘플의 표면 불량을 판정하는 이미지 검사부를 포함할 수 있다.
실시 예에서, 상기 이미지 검사부에서 수행되는 처리과정을 분산 처리하기 위해, 상기 이미지 검사부는 외부 컴퓨팅 장치에 탑재될 수 있다.
실시 예에서, 상기 이미지 검사부는, 상기 복수의 표면 이미지들을 전처리하는 전처리부; 상기 심층 신경망 모델을 통해 컴파일 되고, 상기 전처리된 표면 이미지들을 분석하여, 각 표면 이미지별로 상기 검사 대상 샘플의 표면 불량을 판정하는 신경망 추론 엔진; 및 상기 전처리된 표면 이미지들 중에서 표면 불량으로 판정된 표면 이미지들의 개수를 기반으로 상기 검사 대상 샘플의 표면 불량을 판정하는 양불 판정부를 포함할 수 있다.
실시 예에서, 상기 전처리부는 상기 복수의 표면 이미지들의 전처리를 선택적으로 수행할 수 있다.
실시 예에서, 상기 양불 판정부는, 상기 표면 불량으로 판정된 표면 이미지들의 개수와 상기 심층 신경망 모델의 사전 학습 과정에서 설정된 문턱치를 비교하여 상기 검사 대상 샘플의 표면 불량을 판정할 수 있다.
본 발명에 따르면, 학습 과정에서, 서로 다른 복수의 조명 환경에서 획득한 학습용 검사 대상 샘플에 대한 복수의 표면 이미지들을 훈련 데이터로 사용하여, 심층 신경망을 학습시키는 과정이 수행되고, 실제 검사 과정에서는, 서로 다른 복수의 조명 환경에서 획득한 실제 검사 대상 샘플에 대한 복수의 표면 이미지들을 상기 학습 과정에서 학습된 심층 신경망을 이용하여 추론하고, 그 추론 결과에 포함된 불량으로 판정된 표면 이미지의 개수와 미리 설정한 문턱치를 비교하여, 해당 실제 검사 대상 샘플의 표면 불량을 판정함으로써, 판정 정확도를 향상시킬 수 있다.
도 1은 본 발명의 실시 예에 따른 제품 표면의 품질 검사를 수행하기 위한 장치의 주요 구성들을 나타내는 도면이다.
도 2a는 본 발명의 실시 예에 따른 다채널 조명 장치를 하부에서 바라본 저면도이고, 도 2b는 도 2a에 도시된 다채널 조명 장치를 측면에서 바라본 측면도이다.
도 3은 본 발명의 일 실시 예에 따른 비전 검사 장치의 주요 구성들을 나타내는 블록도이다.
도 4는 본 발명의 다른 실시 예에 따른 비전 검사 장치의 주요 구성들을 나타내는 블록도이다.
도 5는 본 발명의 또 다른 실시 예에 따른 비전 검사 장치의 주요 구성들을 나타내는 블록도이다.
도 6은 도 4 내지 6에 도시된 이미지 검사부의 내부 구성을 나타내는 블록도이다.
도 7은 본 발명의 실시 예에 따른 불량으로 판정된 표면 이미지의 개수별 샘플 분포를 나타낸 막대 그래프이다.
도 8은 본 발명의 실시 예에 따른 제품 표면의 품질 검사를 위한 비전 검사 방법을 나타내는 순서도이다.
도 2a는 본 발명의 실시 예에 따른 다채널 조명 장치를 하부에서 바라본 저면도이고, 도 2b는 도 2a에 도시된 다채널 조명 장치를 측면에서 바라본 측면도이다.
도 3은 본 발명의 일 실시 예에 따른 비전 검사 장치의 주요 구성들을 나타내는 블록도이다.
도 4는 본 발명의 다른 실시 예에 따른 비전 검사 장치의 주요 구성들을 나타내는 블록도이다.
도 5는 본 발명의 또 다른 실시 예에 따른 비전 검사 장치의 주요 구성들을 나타내는 블록도이다.
도 6은 도 4 내지 6에 도시된 이미지 검사부의 내부 구성을 나타내는 블록도이다.
도 7은 본 발명의 실시 예에 따른 불량으로 판정된 표면 이미지의 개수별 샘플 분포를 나타낸 막대 그래프이다.
도 8은 본 발명의 실시 예에 따른 제품 표면의 품질 검사를 위한 비전 검사 방법을 나타내는 순서도이다.
본 명세서에 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다. 또한 본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 실시 예에 따른 심층 신경망을 이용하여 제품 표면의 품질 검사를 수행하기 위한 장치의 주요 구성들을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 심층 신경망을 이용하여 제품 표면의 품질 검사를 수행하기 위한 장치(이하, '검사 장치'라 함)(100)는 심층 신경망을 이용하여 제품(이하, '검사 대상 샘플' 또는 '샘플'이라 함)의 표면 불량을 검사하는 장치이다. 여기서, 검사 대상 샘플(10)는, 인덕터, 저항, 콘덴서 등과 소형 전자 부품 또는 소형 전자 소자일 수 있으나, 이를 한정하는 것은 아니다.
검사 대상 샘플(10)의 표면 불량을 검사하기 위해, 검사 장치(100)는 다채널 조명 장치(110), 카메라 장치(130) 및 비전 검사 장치(150)를 포함한다.
다채널 조명 장치(110)는 컨베이어 벨트와 같은 이송 장치(170)에 의해 이송되는 검사 대상 샘플(10)로 조명을 조사하는 장치로서, 복수의 조명 환경들을 조성한다.
카메라 장치(130)는 다채널 조명 장치(110)에 의해 조성되는 복수의 조명 환경들에서 검사 대상 샘플(10)의 표면을 촬영하여 복수의 표면 이미지들을 제공하는 장치이다.
비전 검사 장치(150)는 카메라 장치(130)에 의해 제공되는 복수의 표면 이미지들을 추론하여 검사 대상 샘플(10)의 표면 불량을 검사하는 비전 검사를 수행한다.
검사 대상 샘플(10)는 이송 장치(170)에 의해 검사 장치(100)로 자동으로 이송될 수 있으며, 검사가 완료된 검사 대상 샘플(10)는, 검사 결과에 따라, 이송 장치(170)의 끝단에 설치된 분류 장치(190)에 의해 양품 또는 불량품으로 분류될 수 있다. 본 발명은 분류 장치(190)의 구조 및 기능에 특징이 있는 것이 아니므로, 이에 대한 설명은 생략하기로 한다.
도 2a는 본 발명의 실시 예에 따른 다채널 조명 장치를 하부에서 바라본 저면도이고, 도 2b는 도 2a에 도시된 다채널 조명 장치를 측면에서 바라본 측면도이다.
도 2a 및 도 2b를 참조하면, 본 발명의 실시 예에 따른 다채널 조명 장치(110)는, 복수의 조명 환경들을 조성하기 위해, 다채널로 구성된 복수의 조명 유닛들(111, 112, 113, 및 114)을 포함하도록 구성된다. 특별히 한정하는 것은 아니지만, 본 명세서에서는 다채널 조명 장치(110)가 4채널 조명을 제공하기 위해 4개의 조명 유닛들(111, 112, 113, 및 114)을 포함하는 것으로 가정한다.
4개의 조명 유닛들(111, 112, 113, 및 114)은 조명 지지대(116)에 의해 이송 장치(170)의 상부에 고정되어, 이송 장치(170)의 상부에서 검사 대상 샘플(10)로 면조명을 조사한다.
조명 지지대(116)는 카메라 장치(130)가 검사 대상 샘플(10)를 촬영하도록 중앙 부분이 개방된 구조를 가지며, 이때, 4개의 조명 유닛들(111, 112, 113, 및 114)은 최적의 조명 환경을 제공하기 위해 카메라 장치(130)의 촬영 영역을 바라볼 수 있는 각도로 조명 지지대(116)에 설치된다.
최적의 조명 환경을 제공하기 위한 조명 각도는 조명 지지대(116)의 일측에 설치된 전기 모터(117)에 의해 자동으로 조절될 수 있다. 예를 들면, 전기 모터(117)의 회전축과 조명 유닛의 회전축(118)을 체인(119)으로 연결한 후, 체인(119)을 통해 전기 모터(117)의 회전축으로부터 조명 유닛의 회전축(118)으로 전달되는 회전력을 이용하여 각 조명 유닛의 조명 각도를 자동으로 조절할 수 있다.
한편, 다채널 조명 장치(110)에 의해 조성되는 복수의 조명 환경들은 복수의 조명 유닛들(111, 112, 113, 및 114) 중에서 적어도 하나의 조명 유닛을 온 상태로 제어함에 따라 제공될 수 있다.
아래의 표 1은 4채널 조명을 사용하는 경우, 모든 채널의 조명이 오프된 경우를 제외한 총 15가지 조명 환경들에서 각 채널 조명의 온-오프 상태를 나타내는 표이다.
| 조명4 | 조명3 | 조명2 | 조명1 | 획득 설정 | |
| 이미지#1 | OFF | OFF | OFF | ON | ○ |
| 이미지#2 | OFF | OFF | ON | OFF | ○ |
| 이미지#3 | OFF | OFF | ON | ON | ○ |
| 이미지#4 | OFF | ON | OFF | OFF | ○ |
| 이미지#5 | OFF | ON | OFF | ON | ○ |
| 이미지#6 | OFF | ON | ON | OFF | ○ |
| 이미지#7 | OFF | ON | ON | ON | ○ |
| 이미지#8 | ON | OFF | OFF | OFF | ○ |
| 이미지#9 | ON | OFF | OFF | ON | ○ |
| 이미지#10 | ON | OFF | ON | OFF | ○ |
| 이미지#11 | ON | OFF | ON | ON | ○ |
| 이미지#12 | ON | ON | OFF | OFF | ○ |
| 이미지#13 | ON | ON | OFF | ON | ○ |
| 이미지#14 | ON | ON | ON | OFF | ○ |
| 이미지#15 | ON | ON | ON | ON | ○ |
위의 표 1과 같이 4채널 조명을 사용하는 경우, 총 15가지 조명 환경들을 제공할 수 있으며, 이 경우, 카메라 장치(130)는 검사 대상 샘플(10)에 대해 총 15개의 표면 이미지를 획득할 수 있다. 설계에 따라, 15개의 표면 이미지들을 모두 획득하지 않고, 더 적은 개수의 표면 이미지를 획득하도록 설정할 수도 있다.
한편, 4개의 조명 유닛들(111, 112, 113, 및 114) 각각의 조명 각도를 조절하는 경우, 조절된 조명 각도에 따라 16가지 이상의 조명 환경들을 제공할 수 있으며, 이에 따라, 16개 이상의 표면 이미지 획득이 가능하다.
도 3은 본 발명의 일 실시 예에 따른 비전 검사 장치의 주요 구성들을 나타내는 블록도이다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 비전 검사 장치(150)는 다채널 조명 장치(110) 및 카메라 장치(130)의 동작을 제어하는 동시에 카메라 장치(130)에 의해 복수의 표면 이미지를 기반으로 비전 검사를 수행한다.
이를 위해, 비전 검사 장치(150)는 조명 제어부(151), 카메라 제어부(153), 통합 제어부(155) 및 이미지 검사부(157)를 포함한다.
조명 제어부(151)는, 복수의 조명 환경들을 조성하기 위해, 다채널 조명 장치(110)에 포함된 복수의 조명 유닛들(111~114)의 온-오프 동작을 제어할 수 있다. 이때, 조명 제어부(151)는 복수의 조명 유닛들(111~114)의 온-오프 동작을 제어하기 위한 온-오프 제어 신호를 다채널 조명 장치(110)로 전송할 수 있다.
선택적으로 또는 추가로, 조명 제어부(151)는, 복수의 조명 환경들을 조성하기 위해, 복수의 조명 유닛들(111~114)의 조명 각도를 제어할 수 있다. 이때, 조명 제어부(151)는 복수의 조명 유닛들(111~114)의 조명 각도를 제어하기 위한 모터 제어 신호를 다채널 조명 장치(110)에 설치된 전기 모터(도 3의 117)로 전송할 수 있다.
카메라 제어부(153)는 검사 대상 샘플(10)의 표면 이미지를 획득하기 위해 각 조명 환경별로 카메라 장치(130)의 셔터 동작을 제어한다.
통합 제어부(155)는 카메라 장치(130)로부터 심층 신경망 학습을 위한 표면 이미지들과 실제 검사를 위한 표면 이미지들을 획득하여 저장하거나, 이를 이미지 검사부(157)로 전달한다. 또한, 통합 제어부(155)는 주변 구성들(151, 153 및 157)의 동작을 제어 및 관리하는 구성으로, 적어도 하나의 CPU 및 적어도 하나의 메모리를 포함하도록 구성될 수 있다.
이미지 검사부(157)는 심층 신경망을 이용하여 통합 제어부(155)를 통해 전달된 검사 대상 샘플(10)의 표면 이미지들에 대한 비전 검사를 수행하며, 이를 위해, 적어도 하나의 GPU 및 적어도 하나의 메모리를 포함하도록 구성될 수 있다.
이러한 조명 제어부(151), 카메라 제어부(153) 통합 제어부(155) 및 이미지 검사부(157)는 독립된 칩 형태, 예를 들면, CPU 코어, 메모리 및 프로그램 가능한 입/출력을 갖는 MCU(Micro Controller Unit) 형태로 구현되어, 하나의 임베디드 보드(embedded board) 상에 실장될 수 있다.
한편, 도 3에 도시된 구성들(151, 153, 155 및 157)은 설명의 이해를 돕기 위해 기능 단위로 구분한 것에 불과하며, 설계에 따라 일부 구성들은 하나의 구성으로 통합될 수 있다. 예를 들면, 조명 제어부(151) 및 카메라 제어부(153)가 하나의 칩 형태로 통합되거나, 조명 제어부(151), 카메라 제어부(153) 및 통합 제어부(155)가 하나의 칩 형태로 통합되거나, 통합 제어부(155)와 이미지 검사부(157)가 하나의 칩 형태로 통합될 수 있다.
도 4는 본 발명의 다른 실시 예에 따른 비전 검사 장치의 주요 구성들을 나타내는 블록도이다.
도 4를 참조하면, 본 발명의 다른 실시 예에 따른 비전 검사 장치(150)는 분류 제어부(158)와 사용자 인터페이스(159)를 더 포함하도록 구성된 점에서 도 3에 도시된 비전 검사 장치(150)와 차이가 있다.
분류 제어부(158)는 검사 결과에 따라 자동으로 양품과 불량품을 분류하는 도 1에 도시된 분류 장치(190)의 동작을 제어한다.
사용자 인터페이스(159)는 검사 진행 과정과 검사 결과를 확인하기 위한 구성으로서, 디스플레이 장치로 구현될 수 있다. 이 때, 디스플레이 장치의 출력은 통합 제어부(155)에 제어될 수 있다.
사용자 인터페이스(159)가 디스플레이 장치로 구현된 경우, 사용자 인터페이스(159)는 카메라 장치(130)로부터 제공된 검사 대상 샘플(10)의 표면 이미지들과 이미지 검사부로부터 제공된 검사 결과 등을 표시할 수 있다. 또한 사용자 인터페이스(159)는 심층신경망 학습을 위한 샘플 별 양품/불량품의 라벨 정보를 입력할 수 있도록 입력 기능을 가질 수 있다.
도 5는 본 발명의 또 다른 실시 예에 따른 비전 검사 장치의 주요 구성들을 나타내는 블록도이다.
도 5를 참조하면, 본 발명의 또 다른 실시 예에 따른 비전 검사 장치(150)는, 이미지 검사부(210)가 외부 컴퓨팅 장치(200)에 탑재된 점에서 도 3 및 4에 도시된 실시 예와 차이가 있다.
도 3 및 4에 도시된 이미지 검사부(157)는 전술한 바와 같이 심층 신경망을 이용하여 통합 제어부(155)로부터 입력된 샘플 별 복수의 표면 이미지들에 대한 비전 검사를 수행한다. 이러한 비전 검사는 심층 신경망 추론 엔진을 통해 수행되며, 이를 위해, GPU 등의 연산 장치가 필요하다.
비전 검사 장치(150)가 충분한 성능을 가진 연산 장치를 보유하지 못한 경우, 충분한 성능의 연산 장치를 보유한 외부 컴퓨팅 장치(200)에서 비전 검사를 수행하는 것이 바람직하다.
외부 컴퓨팅 장치(200)가 충분한 성능의 연산 장치를 보유한 경우, 외부 컴퓨팅 장치(200)는 네트워크(50)을 통해 비전 검사 장치(150)의 통합 제어부(155)로부터 샘플 별로 복수의 표면 이미지들을 수신하고, 외부 컴퓨팅 장치(200)에 임베딩된 이미지 검사부(210)가 샘플 별로 수신된 복수의 표면 이미지들에 대한 비전 검사를 수행할 수 있다.
이후, 비전 검사 장치(150)는 네트워크(50)을 통해 외부 컴퓨팅 장치(200)에 임베딩된 이미지 검사부(210)로부터 해당 샘플의 검사결과를 수신할 수 있다.
네트워크(50)는 이더넷 등의 유선 통신 환경 또는 WiFi와 같은 무선 통신 환경으로 이루어질 수 있으며, 비전 검사 장치(150)는 이러한 네트워크(50)에 접속하기 위해 유/무선 통신을 지원하는 통신 인터페이스(15)를 더 포함하도록 구성될 수 있다.
한편, 서로 다른 양산 라인에 설치된 복수의 비전 검사 장치들(150, 150A 및 150B)은 네트워크(50)를 통해 외부 컴퓨팅 장치(200)와 통신하도록 구성될 수 있다. 즉, 외부 컴퓨팅 장치(200)는 비전 검사 장치 별로 검사 대상 샘플에 대한 복수의 표면 이미지들(52)을 네트워크(50)를 통해 수신하고, 비전 검사에 대한 검사 결과들(54)을 네트워크(50)를 통해 비전 검사 장치 별로 전송할 수 있다.
이처럼 서로 다른 양산 라인에 설치된 복수의 비전 검사 장치들(150, 150A 및 150B)이 하나의 외부 컴퓨팅 장치(200)를 공유하는 네트워크 구성을 통해, 외부 컴퓨팅 장치(200)는 복수의 양산 라인에서 양산되는 복수의 검사 대상 샘플들에 대한 비전 검사를 병렬적으로 수행할 수도 있다.
본 실시 예에 따른 처리 방식은 전술한 비전 검사 장치에서 수행되는 프로세스들 중에서 높은 연산량을 필요로 하는 비전 검사 프로세스를 외부 컴퓨팅 장치(200)에서 처리하는 점에서 엣지 컴퓨팅 또는 클라우드 컴퓨팅 처리 방식으로 불릴 수 있다.
도 6은 도 4 내지 6에 도시된 이미지 검사부의 내부 구성을 나타내는 블록도이다.
도 6을 참조하면, 본 발명의 실시 예에 따른 이미지 검사부(300)는 인터페이스(310), 전처리부(320), 신경망 추론엔진(330), 양불 판정부(340) 및 데이터 저장부(350)를 포함한다.
인터페이스(310)는 통합 제어부(155)로부터 입력된 복수의 조명 환경들에서 획득한 복수의 표면 이미지들을 전처리부(320)로 전달한다. 이때, 이미지 검사부(300)가 도 5에 도시된 외부 컴퓨팅 장치(200)에 임베딩된 경우, 인터페이스(310)는 외부 컴퓨팅 장치(200)와 물리적으로 분리된 비전 검사 장치(150)로부터 복수의 표면 이미지들을 수신하기 위해 네트워크(도 5의 50)에 접속 가능하도록 유선 또는 무선 통신 기능을 갖도록 구성될 수 있다.
전처리부(320)는 인터페이스(310)를 경유하여 전달된 복수의 표면 이미지들에 대한 전처리 과정을 수행한다. 전처리 과정은, 예를 들면, 복수의 표면 이미지들의 사이즈를 조정하거나 복수의 표면 이미지들이 컬러 이미지인 경우, 컬러 이미지들을 그레이 스케일의 흑백 이미지로 변환하는 연산 부하가 낮은 처리 과정일 수 있다. 이러한 전처리 과정은 선태적으로 수행될 수 있다. 따라서, 전처리 과정은 생략될 수 있다.
아래에서 상세히 설명하겠지만, 서로 다른 다양한 조명 환경에서 획득한 복수의 표면 이미지들을 기반으로 검사 대상 샘플의 표면 불량을 판정하기 때문에, 연산 부하가 낮은 전처리 과정을 수행하거나 전처리 과정을 생략하더라도 검사 대상 샘플의 표면 불량을 정확하게 판정할 수 있다.
전처리부(320)에 의해 전처리된 표면 이미지들은 사전 학습된 컨볼루션 기반의 심층 신경망 모델을 통해 컴파일된 신경망 추론 엔진(330)으로 입력된다.
상기 신경망 추론 엔진(330)은 상기 전처리된 표면 이미지들을 각각 분석하여, 각 표면 이미지별로 상기 검사 대상 샘플의 표면 불량을 추론한다. 전술한 표 1을 예로 들 경우, 15장의 표면 이미지들이 신경망 추론 엔진(330)으로 입력되는 경우, 신경망 추론 엔진(330)은 15장의 표면 이미지별로 검사 대상 샘플의 표면 불량 유무를 추론하여, 총 15개의 판정 결과들을 출력한다.
양불 판정부(340)는 신경망 추론 엔진(330)에 의해 불량으로 판정된 표면 이미지의 개수를 카운팅하고, 카운팅된 표면 이미지들의 개수와 사전 학습 과정에서 설정된 양불 판정을 위한 문턱치를 비교하여 해당 검사 대상 샘플의 불량 유무를 최종적으로 판정한다. 예를 들면, 양불 판정부(340)는 표면 불량으로 판정된 표면 이미지의 개수가 양불 판정을 위한 문턱치보다 큰 경우, 해당 검사 대상 샘플을 표면 불량으로 최종적으로 판정하고, 반대인 경우, 해당 검사 대상 샘플을 표면 정상으로 최종적으로 판정한다.
이 후, 양불 판정부(340)에 판정된 최종 검사 결과는 인터페이스(310)를 통해 통합 제어부(도 3 내지 5의 155)로 전송되고, 통합 제어부(도 3 내지 5의 155)는 인터페이스(310)를 통해 수신된 최종 검사 결과를 사용자 인터페이스(도 4 및 5의 159)를 통해 시각적인 정보 형태로 제공한다.
비전 검사에 사용되는 표면 이미지들과 최종 검사 결과는 이력 관리를 위하여 데이터 저장부(350)에 별도로 저장될 수 있다.
도 6에 도시된 이상 검사부의 내부 구성들은 설명의 이해를 돕기 위해 구분한 것에 불과하며, 일부 구성들은 하나의 구성으로 통합될 수 있다. 예를 들면, 신경망 추론 엔진(330)과 양불 판정부(340)는 하나의 로직 형태로 통합될 수 있다.
도 7은 본 발명의 실시 예에 따른 불량으로 판정된 표면 이미지의 개수별 샘플 분포를 나타낸 막대 그래프이다.
도 7을 참조하면, 양불 판정을 위한 문턱치는 학습 과정에서 설정될 수 있으며, 학습된 심층 신경망 모델의 정확도를 검증하기 위하여 사용되는 테스트 샘플에 대한 검사 결과를 통해 설정할 수 있다.
도 7에 도시된 그래프는 샘플 별로 15개의 이미지를 획득한 후, 이 15개의 이미지를 훈련 데이터로 이용하여 심층 신경망 모델을 학습시키는 경우, 테스트 과정에서 샘플별 불량 판정 이미지 개수를 막대 그래프로 나타낸 예이다.
참조 번호 72가 지시하는 점선 박스 내의 막대 그래프들은 정상 샘플의 표면 이미지들을 검사한 결과, 불량으로 판정된 표면 이미지들의 개수 별 샘플 수이고, 참조 번호 74가 지시하는 점선 박스 내의 막대 그래프들은 불량 샘플의 표면 이미지들을 검사한 결과, 불량으로 판정된 표면 이미지들의 개수 별 샘플 수이다.
도 7에 도시된 그래프에서 볼 수 있듯이, 불량으로 판정된 표면 이미지들의 개수는 0개와 15개가 가장 많으며 가운데로 가면서 그 수가 감소하여 0에 수렴하는 형태를 나타낸다.
샘플의 양불 판정을 위한 문턱치를 5로 설정하면, 샘플별로 획득한 총 15장의 표면 이미지들 중에서 5장 이상의 표면 이미지에서 불량으로 판정된 경우에 해당하는 샘플을 불량으로 최종 판정한다.
도 7의 그래프에서 양불 판정을 위한 문턱치는 5 이상 11 이하의 값으로 설정할 수 있다. 단, 문턱치가 작을수록 정상 샘플을 불량 샘플로 오인하는 False Negative 판정 확률이 높아지고 실제 불량 샘플을 정상 샘플로 오인하는 False Positive 판정 확률이 낮아진다.
실제 양산 라인에서의 비전 검사 판정은 False Positive 판정을 낮추는 쪽으로 판정하는 것이 불량률을 줄이고 불량으로 인한 손해를 줄이는데 효과적이다. 다만, 문턱치를 작게 설정할 경우, False Negative 판정에 의한 생산 수율 감소를 야기할 수 있다. 따라서, 본 발명에 따른 비전 검사 장치는 트레이드 오프 관계에 있는 생산 수율과 불량 검출 성능이라는 2가지 항목에서 우선 순위에 따라 양불 판정을 위한 문턱치를 설정할 수 있는 장점이 있다. 예를 들면, 제1 문턱치와 상기 제1 문턱치보다 높은 제2 문턱치 중에서 어느 하나를 문턱치로 설정하는 경우, 제품의 생산 수율에 우선 순위를 두는 경우, 문턱치를 제1 문턱치보다 높은 제2 문턱치로 설정하고, 불량 검출 성능에 우선 순위를 두는 경우, 문턱치를 제2 문턱치보다 작은 제1 문턱치로 설정할 수 있다.
이상 설명한 바와 같이, 본 발명에 따른 검사 장치는 서로 다른 조명 환경들에서 하나의 샘플에 대한 복수의 표면 이미지를 획득하여 심층신경망의 학습 및 추론의 입력 데이터로 사용하고, 검사 시에는 해당 샘플에 대한 복수의 표면 이미지에 대한 추론 결과와 미리 설정한 문턱치를 비교하는 방식으로 해당 샘플의 불량 유무를 판정함으로써, 제품 표면의 미세 스크래치, 굴곡 등과 같은 불량 판정에 대한 정확도를 향상시킬 수 있다.
또한, 종래의 비전 검사 기술이나 방법에서는 조명 장치가 검사 대상 샘플로 조명을 수직방향으로 조사하거나, 미리 고안된 최적 각도에서 검사 대상 샘플로 조명을 조사하여 이미지를 획득하고 있기 때문에, 표면 불량 상태에 따른 최적의 조명 환경을 실시간으로 조정하는데 어려움이 있다.
이에 반해, 본 발명에서는 다채널 조명 장치(110)를 이용하여 복수의 조명 환경들에서 획득한 제품의 복수의 표면 이미지들을 심층신경망 학습 및 추론에 활용하기 때문에, 조명 환경을 실시간으로 조정할 필요 없이, 제품 표면의 불량 유무를 정확하게 판정할 수 있다.
또한, 전술한 바와 같이, 신경망 추론 엔진(330)의 추론 성능을 높이기 위해 수행되는 전처리 과정이 오히려 입력 이미지에 포함된 결함 특징을 제거하는 문제가 있을 수 있다. 특히, 결함의 깊이가 얕은 미세 갈라짐과 흠집은 전처리 과정에서 사라지기 때문에 검출이 어렵다. 또한, 전처리 과정의 수행에 따른 시간 지연으로 인해 생산 라인 운영에서 불필요한 비용이 발생할 수도 있다.
이에 반해, 본 발명에 따른 심층 신경망 기반의 비전 검사 방법에서는 다양한 조명 환경 제어를 통해 복수의 샘플 이미지를 획득할 수 있고, 이를 토대로 심층 신경망 모델을 학습하고 그 학습된 심층 신경망 모델을 이용하여 샘플의 불량 유무를 추론하기 때문에, 정보의 손실이 크지 않은 간단한 수준의 전처리 과정, 예를 들면, 컬러 이미지를 그레이 스케일의 흑백 이미지로 변환하거나 입력 이미지의 사이즈 조정과 같은 연산 부하가 낮은 처리 과정을 수행하여도 제품 표면의 불량 유무를 정확하게 판정할 수 있다.
또한, 본 발명에 따른 비전 검사 방법은 비전 검사 장치(150)의 내부에서 고사양의 GPU자원을 필요로 하는 이미지 검사부(157 및 210)를 외부 컴퓨팅 장치(200)에 분산 배치함으로써, 양산 라인에서는 단말 형태로 구현된 저사양의 비전 검사 장치의 설치가 가능하다. 이 경우, 복수의 비전 검사 장치들이 외부 컴퓨팅 장치(200)를 공유하도록 네트워크(50)를 구성함으로써, 외부 컴퓨팅 장치(200)가 복수의 양산 라인들에 수행되는 비전 검사들을 병렬적으로 수행할 수 있고, 각 양산 라인에서 필요한 비전 검사 장치의 설치 비용이 크게 절감될 수 있다.
도 8은 본 발명의 실시 예에 따른 제품 표면의 품질 검사를 위한 비전 검사 방법을 나타내는 순서도이다.
도 8을 참조하면, 먼저, S810에서, 컨베이어 벨트 등과 같은 이송 장치에 의해, 검사 대상 샘플이 검사 위치로 이송된다.
이어, S820, 조명 제어부(151)가, 통합 제어부(155)의 제어 명령에 따라, 다채널 조명 장치(110)에 포함된 복수의 조명 유닛들의 온-오프 동작을 제어하여, 복수의 조명 환경들을 조성한다. 복수의 조명 유닛들이 N(N은 2이상의 자연수)개이고, N개의 조명 유닛들 중에서 적어도 하나가 온(ON) 될 때, N개의 조명 유닛들이 나타낼 수 있는 온(ON) 상태의 조합 수는 2N-1이다. 따라서, 다채널 조명 장치(110)가 제공할 수 있는 조명 환경의 수는 2N-1이고, 2N-1개의 조명 환경에서 획득할 수 있는 검사 대상 샘플의 표면 이미지의 개수 역시 2N-1이다. 예를 들어, 4채널 조명 장치의 경우, 15개(= 24-1)의 조명 환경이 제공되므로, 15개의 표면 이미지들이 획득된다.
이어, S830에서, 카메라 제어부(153)가, 통합 제어부(155)의 제어 명령에 따라, 카메라 장치(153)를 제어하여, 하나의 검사 대상 샘플에 대한 복수의 표면 이미지들을 획득한다. 예를 들어, 카메라 장치(153)는, 카메라 제어부(153)의 제어에 따라, 2N-1번의 셔터 동작을 통해 하나의 검사 대상 샘플에 대한 2N-1개의 표면 이미지들을 획득한다.
이어, S840에서, 표면 이미지들의 획득이 완료되면, 학습 모드에서는, 심층 신경망을 학습시키기 위해, 상기 획득한 복수의 표면 이미지들과 샘플에 대한 라벨 정보를 저장한다.
이어, S850에서, 저장된 표면 이미지들을 이용하여 심층 신경망 모델을 학습시키는 과정이 수행된다. 심층 신경망 모델의 학습은 별도의 고성능 GPU가 탑재된 서버에서 이루어질 수 있다. 컴퓨팅 성능이 충분한 경우 검사 장치(100)에서 수행될 수도 있다. 학습에는 이미지 분석에 활용되는 컨볼루션 기반의 심층 신경망 모델이 사용되나 이는 학습 목적 달성에 문제가 없는 한 특별히 한정되지 않는다.
한편, 검사 모드에서는, 통합 제어부(155)가 카메라 장치(130)로부터 획득한 표면 이미지들을 이미지 검사부(도 3 및 4의 157 또는 도 5의 210)로 전송한다. 이 때 이미지 검사부(도 3 및 4의 157 또는 도 5의 210)는 비전 검사 장치의 내부에 탑재될 수도 있으며, 외부 컴퓨팅 장치(200)에 탑재될 수도 있다.
이미지 검사부(도 5의 210)가 외부 컴퓨팅 장치(200)에 탑재된 경우, 통합 제어부(155)는 네트워크(50)를 경유하여, 유선 또는 무선 통신 방식에 따라 카메라 장치(130)로부터 획득한 표면 이미지들을 외부 컴퓨팅 장치(200)에 탑재된 이미지 검사부(도 5의 210)로 전송한다.
이어, S860에서, 이미지 검사부(도 3 및 4의 157 또는 도 5의 210) 또는 상기 S850에서 학습 완료된 심층 신경망 모델(또는 신경망 추론 엔진(330))이 복수의 표면 이미지들을 분석하여, 샘플의 표면 불량 유무를 판정한다.
불량 유무를 판정하는 과정은 전술한 바와 같이, 불량으로 판정된 표면 이미지들의 개수와 심층 신경망 모델의 사전 학습 과정(S850)에서 설정된 양불 판정을 위한 문턱치를 비교하는 방식으로 해당 검사 대상 샘플의 표면 불량 유무를 판정할 수 있다.
이어, S870에서, 통합 제어부(155)가 이미지 검사부(도 3 및 4의 157 또는 도 5의 210)로부터 검사 대상 샘플의 불량 유무를 나타내는 판정 결과를 수신하고, 이를 디스플레이 장치로 구현된 사용자 인터페이스(도 4의 159)를 통해 획득한 표면 이미지들과 함께 출력하여 사용자가 확인할 수 있도록 한다.
이어, S880에서, 분류 제어부(도 4의 158)가, 통합 제어부(155)의 제어 명령에 따라, 해당 검사 대상 샘플이 불량인 경우, 분류 장치(190)를 제어하여 정상 검사 대상 샘플과 구분되도록 분류한다.
본 발명의 보호범위가 이상에서 명시적으로 설명한 실시예의 기재와 표현에 제한되는 것은 아니며, 다양 형태로 변경될 수 있다. 또한, 본 발명이 속하는 기술분야에서 자명한 변경이나 치환으로 말미암아 본 발명이 보호범위가 제한될 수도 없음을 다시 한번 첨언한다.
Claims (19)
- 조명 장치가, 서로 다른 복수의 조명 환경들을 생성하는 단계
카메라 장치가, 상기 복수의 조명 환경들에서 하나의 검사 대상 샘플을 촬영하여 복수의 표면 이미지들을 획득하는 단계; 및
비전 검사 장치가, 심층 신경망 모델을 기반으로 상기 복수의 표면 이미지들을 분석하여, 상기 검사 대상 샘플의 표면 불량을 판정하는 단계
를 포함하는 제품 표면의 품질 검사를 수행하기 위한 방법. - 제1항에서,
상기 서로 다른 복수의 조명 환경들을 생성하는 단계는,
조명 제어부가 상기 조명 장치에 포함된 복수의 조명 유닛들 중에서 적어도 하나의 조명 유닛을 온(ON) 상태로 제어하여 상기 복수의 조명 환경들을 생성하는 단계인 것인 제품 표면의 품질 검사를 수행하기 위한 방법. - 제1항에서,
상기 서로 다른 복수의 조명 환경들을 생성하는 단계는,
조명 제어부가 상기 조명 장치에 포함된 N(여기서, N은 2이상의 자연수)개의 조명 유닛들 중에서 적어도 하나의 조명 유닛을 온 상태로 제어하는 단계; 및
상기 N개의 조명 유닛들이 2N-1개의 조명 환경들을 생성하는 단계
를 포함하는 제품 표면의 품질 검사를 수행하기 위한 방법. - 제1항에서,
상기 복수의 표면 이미지들을 획득하는 단계는,
N(여기서, N은 2이상의 자연수)개의 조명 유닛들을 포함하는 상기 조명 장치가 2N-1개의 조명 환경들을 생성하는 경우, 하나의 검사 대상 샘플에 대한 2N-1개의 표면 이미지들을 획득하는 단계
인 것인 제품 표면의 품질 검사를 수행하기 위한 방법. - 제1항에서,
상기 검사 대상 샘플의 표면 불량을 판정하는 단계는,
상기 심층 신경망을 기반으로 상기 복수의 표면 이미지들 각각을 분석하여, 불량으로 판정된 표면 이미지들의 개수를 카운팅하는 단계; 및
상기 카운팅된 표면 이미지들의 개수와 사전에 설정된 문턱치를 비교하여, 상기 검사 대상 샘플의 표면 불량을 판정하는 단계
를 포함하는 제품 표면의 품질 검사를 수행하기 위한 방법. - 제5항에서,
상기 카운팅된 표면 이미지들의 개수와 상기 심층 신경망의 학습 단계에서 설정된 문턱치를 비교하여, 상기 검사 대상 샘플의 표면 불량을 판정하는 단계는,
상기 표면 불량으로 판정된 상기 표면 이미지들의 개수가 상기 문턱치보다 큰 경우, 상기 검사 대상 샘플을 표면 불량으로 판정하는 단계; 및
상기 표면 불량으로 판정된 상기 표면 이미지들의 개수가 상기 문턱치보다 작거나 같을 경우, 상기 검사 대상 샘플을 표면 정상으로 판정하는 단계
를 포함하는 제품 표면의 품질 검사를 수행하기 위한 방법. - 제5항에서,
상기 카운팅된 표면 이미지들의 개수와 상기 심층 신경망의 학습 단계에서 설정된 문턱치를 비교하여, 상기 검사 대상 샘플의 표면 불량을 판정하는 단계는,
제품의 생산 수율에 우선 순위를 두는 경우, 상기 문턱치를 제1 문턱치보다 높은 제2 문턱치로 설정하고, 불량 검출 성능에 우선 순위를 두는 경우, 상기 문턱치를 상기 제1 문턱치로 설정하는 단계를 더 포함하는 제품 표면의 품질 검사를 수행하기 위한 방법. - 제1항에서,
상기 검사 대상 샘플의 표면 불량을 판정하는 단계는,
상기 비전 검사 장치의 전처리부가, 상기 복수의 표면 이미지들을 전처리하는 단계;
상기 비전 검사 장치의 심층 신경망 모델이, 상기 전처리된 복수의 표면 이미지들을 분석하여, 각 표면 이미지에 대한 상기 검사 대상 샘플의 표면 불량을 판정하는 단계; 및
상기 비전 검사 장치의 양불 판정부가, 상기 표면 불량으로 판정된 표면 이미지들의 개수와 상기 심층 신경망 모델의 사전 학습 단계에서 설정된 문턱치를 비교하여, 상기 검사 대상 샘플의 표면 불량을 최종적으로 판정하는 단계
를 포함하는 제품 표면의 품질 검사를 수행하기 위한 방법. - 제8항에서,
상기 복수의 표면 이미지들을 전처리하는 단계는,
선택적으로 수행되는 것인 제품 표면의 품질 검사를 수행하기 위한 방법. - 제8항에서,
상기 복수의 표면 이미지들을 전처리하는 단계는,
연산 부하가 낮은 처리 과정으로서, 상기 복수의 표면 이미지들을 그레이 이미지로 변환하거나 상기 복수의 표면 이미지들의 사이즈를 축소하는 단계인 것인 제품 표면의 품질 검사를 수행하기 위한 방법. - 서로 다른 복수의 조명 환경들을 생성하는 조명 장치;
상기 복수의 조명 환경들에서 하나의 검사 대상 샘플을 촬영하여 복수의 표면 이미지들을 획득하는 카메라 장치; 및
심층 신경망 모델을 기반으로 상기 복수의 표면 이미지들을 분석하여, 상기 검사 대상 샘플의 표면 불량을 판정하는 비전 검사 장치
를 포함하는 제품 표면의 품질 검사를 수행하기 위한 장치. - 제11항에서,
상기 조명 장치는,
조명 지지대; 및
상기 조명 지지대에 고정되고, 상기 검사 대상 샘플로 조명을 조사하는 복수의 조명 유닛들을 포함하고,
상기 복수의 조명 환경들은
상기 복수의 조명 유닛들이 나타낼 수 있는 온(ON) 상태의 조합 수에 따라 생성되는 것인 제품 표면의 품질 검사를 수행하기 위한 장치. - 제12항에서,
상기 복수의 조명 환경들은,
상기 복수의 조명 유닛들 각각의 조명 각도에 따라 생성되는 것인 제품 표면의 품질 검사를 수행하기 위한 장치. - 제11항에서,
상기 카메라 장치는,
상기 조명 장치가 N개의 조명 유닛들을 포함하는 경우, 2N-1개의 표면 이미지를 획득하는 것인 제품 표면의 품질 검사를 수행하기 위한 장치. - 제11항에서,
상기 비전 검사 장치는,
상기 복수의 조명 환경들을 생성하도록 상기 조명 장치에 포함된 복수의 조명 유닛들 각각의 온-오프 동작을 제어하는 조명 제어부;
상기 카메라 장치의 셔터 동작을 제어하는 카메라 제어부; 및
상기 복수의 표면 이미지들 중에서 표면 불량으로 판정된 표면 이미지들의 개수를 기반으로 상기 검사 대상 샘플의 표면 불량을 판정하는 이미지 검사부
를 포함하는 제품 표면의 품질 검사를 수행하기 위한 장치. - 제15항에서,
상기 이미지 검사부에서 수행되는 처리과정을 분산 처리하기 위해, 상기 이미지 검사부는 외부 컴퓨팅 장치에 탑재된 것인 제품 표면의 품질 검사를 수행하기 위한 장치. - 제15항에서,
상기 이미지 검사부는,
상기 복수의 표면 이미지들을 전처리하는 전처리부;
상기 심층 신경망 모델을 통해 컴파일 되고, 상기 전처리된 표면 이미지들을 분석하여, 각 표면 이미지별로 상기 검사 대상 샘플의 표면 불량을 판정하는 신경망 추론 엔진; 및
상기 전처리된 표면 이미지들 중에서 표면 불량으로 판정된 표면 이미지들의 개수를 기반으로 상기 검사 대상 샘플의 표면 불량을 판정하는 양불 판정부
를 포함하는 제품 표면의 품질 검사를 수행하기 위한 장치. - 제17항에서,
상기 전처리부는 상기 복수의 표면 이미지들의 전처리를 선택적으로 수행하는 것인 제품 표면의 품질 검사를 수행하기 위한 장치. - 제17항에서,
상기 양불 판정부는,
상기 표면 불량으로 판정된 표면 이미지들의 개수와 상기 심층 신경망 모델의 사전 학습 과정에서 설정된 문턱치를 비교하여 상기 검사 대상 샘플의 표면 불량을 판정하는 것인 제품 표면의 품질 검사를 수행하기 위한 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210161458A KR20230075148A (ko) | 2021-11-22 | 2021-11-22 | 제품 표면의 품질 검사를 수행하기 위한 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210161458A KR20230075148A (ko) | 2021-11-22 | 2021-11-22 | 제품 표면의 품질 검사를 수행하기 위한 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230075148A true KR20230075148A (ko) | 2023-05-31 |
Family
ID=86543442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210161458A KR20230075148A (ko) | 2021-11-22 | 2021-11-22 | 제품 표면의 품질 검사를 수행하기 위한 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230075148A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102660626B1 (ko) * | 2023-11-07 | 2024-04-25 | 주식회사 파인더아이 | 현장 검증이 가능한 ai 기반 비전 검사 시스템 및 방법 |
-
2021
- 2021-11-22 KR KR1020210161458A patent/KR20230075148A/ko unknown
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102660626B1 (ko) * | 2023-11-07 | 2024-04-25 | 주식회사 파인더아이 | 현장 검증이 가능한 ai 기반 비전 검사 시스템 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10964004B2 (en) | Automated optical inspection method using deep learning and apparatus, computer program for performing the method, computer-readable storage medium storing the computer program, and deep learning system thereof | |
| US20210073975A1 (en) | Method for enhancing optical feature of workpiece, method for enhancing optical feature of workpiece through deep learning, and non transitory computer readable recording medium | |
| CN110659660B (zh) | 利用深度学习***的自动光学检测分类设备及其训练设备 | |
| CN110658198B (zh) | 光学检测方法、光学检测装置及光学检测*** | |
| US20200292462A1 (en) | Surface defect detection system and method thereof | |
| CN109919908B (zh) | 发光二极管芯片缺陷检测的方法和装置 | |
| CN112088387B (zh) | 检测成像物品缺陷的***和方法 | |
| CN111815564B (zh) | 一种检测丝锭的方法、装置及丝锭分拣*** | |
| CN113030108A (zh) | 一种基于机器视觉的涂层缺陷检测***与方法 | |
| JP2021515885A (ja) | 照明条件を設定する方法、装置、システム及びプログラム並びに記憶媒体 | |
| CN111612737A (zh) | 一种人造板表面瑕疵检测装置及检测方法 | |
| CN113077450B (zh) | 基于深度卷积神经网络的樱桃分级检测方法及*** | |
| CN111161237A (zh) | 一种果蔬表面质检方法及其储存介质、分拣装置 | |
| Guo et al. | Research of the machine vision based PCB defect inspection system | |
| KR20230075148A (ko) | 제품 표면의 품질 검사를 수행하기 위한 장치 및 방법 | |
| CN111833350A (zh) | 机器视觉检测方法与*** | |
| US20180176549A1 (en) | Multi-view-angle image capturing device and multi-view-angle image inspection apparatus using the same | |
| CN212646436U (zh) | 一种人造板表面瑕疵检测装置 | |
| US7747066B2 (en) | Z-axis optical detection of mechanical feature height | |
| Ye et al. | Automatic optical apparatus for inspecting bearing assembly defects | |
| KR102558404B1 (ko) | 비정형적 외형을 갖는 제품의 불량을 검사하는 장치 | |
| Devasena et al. | AI-Based Quality Inspection of Industrial Products | |
| KR102625717B1 (ko) | 비전 계란 선별 시스템 | |
| Tangsuksant et al. | Defect Solder Classification in Print Circuit Boards using Machine Learning | |
| TWI712991B (zh) | 兼具自動化光學檢測及人工智慧檢測功能之瑕疵檢測方法及其裝置 |