KR102674064B1 - Defect detection integrated control system based on vision inspection using artificial intelligence-based visual intelligence - Google Patents
Defect detection integrated control system based on vision inspection using artificial intelligence-based visual intelligence Download PDFInfo
- Publication number
- KR102674064B1 KR102674064B1 KR1020210076777A KR20210076777A KR102674064B1 KR 102674064 B1 KR102674064 B1 KR 102674064B1 KR 1020210076777 A KR1020210076777 A KR 1020210076777A KR 20210076777 A KR20210076777 A KR 20210076777A KR 102674064 B1 KR102674064 B1 KR 102674064B1
- Authority
- KR
- South Korea
- Prior art keywords
- defect detection
- image
- artificial intelligence
- intelligence
- control system
- Prior art date
Links
- 230000007547 defect Effects 0.000 title claims abstract description 112
- 238000001514 detection method Methods 0.000 title claims abstract description 88
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 42
- 238000007689 inspection Methods 0.000 title claims abstract description 35
- 230000000007 visual effect Effects 0.000 title claims abstract description 31
- 230000002950 deficient Effects 0.000 claims abstract description 19
- 238000013480 data collection Methods 0.000 claims abstract description 8
- 238000013135 deep learning Methods 0.000 claims description 10
- 239000000463 material Substances 0.000 claims description 7
- 230000005856 abnormality Effects 0.000 claims description 4
- 230000001149 cognitive effect Effects 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 description 15
- 238000000034 method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 230000010339 dilation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000013523 data management Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 244000035744 Hura crepitans Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 비전 검사에 따른 불량 검출 통합 제어 시스템에 관한 것으로서, 보다 구체적으로는 촬영된 객체에 대한 이미지를 기초로 인공지능 기반 시각지능을 활용하여 노이즈를 제거하고 해당 제거된 이미지를 통해 불량 검출에 대한 판별이 정확하게 이루어지고 해당 불량 검출이 통합적으로 제어되는 환경을 제공할 수 있는 인공지능 기반의 시각지능을 활용한 비전 검사에 따른 불량 검출 통합 제어 시스템에 대한 것이다.
본 발명의 일 실시예에 따라 인공지능 기반의 시각지능을 활용한 비전 검사에 따른 불량 검출 통합 제어 시스템은, 객체의 이미지를 촬영하기 위한 객체 이미지 촬영수단; 상기 촬영된 이미지를 수신하여 이미지에 포함된 노이즈를 제거하고, 노이즈 제거된 이미지 내 불량 요소를 제거 후 정상 요소만으로 구성된 이미지 구축을 수행하여 객체 불량 검출을 판별하기 위한 불량 검출 판별부; 상기 판별된 불량 검출 정보를 수신하여 확인하기 위한 작업자 단말기; 및 상기 판별된 불량 검출 정보를 수집하여 관리하기 위한 데이터 수집부;를 포함하는 것을 특징으로 한다.The present invention relates to an integrated control system for detecting defects according to vision inspection. More specifically, the present invention relates to an integrated control system for detecting defects based on images of captured objects, using artificial intelligence-based visual intelligence to remove noise and detect defects through the removed images. This is about an integrated control system for defect detection based on vision inspection using artificial intelligence-based visual intelligence that can provide an environment in which defect detection is accurately made and defect detection is controlled in an integrated manner.
According to an embodiment of the present invention, an integrated control system for detecting defects according to vision inspection using artificial intelligence-based visual intelligence includes: object image capturing means for capturing an image of an object; a defect detection determination unit for receiving the captured image, removing noise included in the image, removing defective elements in the noise-removed image, and then constructing an image consisting of only normal elements to determine whether an object is defective; a worker terminal for receiving and confirming the determined defect detection information; and a data collection unit for collecting and managing the determined defect detection information.
Description
본 발명은 비전 검사에 따른 불량 검출 통합 제어 시스템에 관한 것으로서, 보다 구체적으로는 촬영된 객체에 대한 이미지를 기초로 인공지능 기반 시각지능을 활용하여 노이즈를 제거하고 해당 제거된 이미지를 통해 불량 검출에 대한 판별이 정확하게 이루어지고 해당 불량 검출이 통합적으로 제어되는 환경을 제공할 수 있는 인공지능 기반의 시각지능을 활용한 비전 검사에 따른 불량 검출 통합 제어 시스템에 대한 것이다.The present invention relates to an integrated control system for detecting defects according to vision inspection. More specifically, the present invention relates to an integrated control system for detecting defects based on images of captured objects, using artificial intelligence-based visual intelligence to remove noise and detect defects through the removed images. This is about an integrated control system for defect detection based on vision inspection using artificial intelligence-based visual intelligence that can provide an environment in which defect detection is accurately made and defect detection is controlled in an integrated manner.
광학 시스템(일례로, 비전)은 공장에서 특정 목적을 위해 이미지 데이터를 수집하는 시스템을 말한다. 일례로, 촬영되는 이미지를 기반으로 불량 검출, 이상 감지 등을 검출하기 위함이다. 광학 시스템은 카메라 모듈, 렌즈 등으로 이루어져 있으며, 희망하는 이미지를 촬영하기 위한 밝기를 생성하기 위해서 조명을 광학 시스템 주변에 설치한다. Optical systems (e.g., vision) are systems that collect image data for a specific purpose in a factory. For example, this is to detect defects, abnormalities, etc. based on the captured image. The optical system consists of a camera module, lens, etc., and lighting is installed around the optical system to generate brightness for shooting the desired image.
하지만, 기존 광학 시스템을 활용한 불량 검출 시스템은 표면의 흠집 검출과 같이 검출하고자 하는 불량의 형태, 크기, 정도 등을 명확하게 정의하고 그 정의에 한정하여 검사하는 환경에 적합하고, 조립과 같은 공정에서는 조립 결과물의 다양성이 크게 발생하므로 정해진 규칙으로 판단이 요구되는 환경에서는 적합하지 않다.However, a defect detection system using an existing optical system is suitable for an environment where the shape, size, and degree of the defect to be detected are clearly defined, such as surface scratch detection, and inspection is limited to that definition, and is suitable for processes such as assembly. Since there is a large diversity of assembly results, it is not suitable for environments that require judgment based on established rules.
또한, 종래의 객체 인식 기술은 객체의 속성에 따라 각각의 알고리즘의 인식 성능이 달라지는 점에 착안해서, 다양한 객체 이미지 데이터를 클러스터링 한 후 가장 효과적인 알고리즘을 선택적으로 사용하여 인식 성능을 높이는 방법인 다계층 분류(Multiclass Classification) 방식을 주로 사용하고 있어, 객체의 인식 이후의 실질적이고 다양한 활용성에 대한 한계성을 가지고 있다.In addition, the conventional object recognition technology focuses on the fact that the recognition performance of each algorithm varies depending on the properties of the object, and is a multi-layer method that clusters various object image data and then selectively uses the most effective algorithm to improve recognition performance. Since it mainly uses the multiclass classification method, it has limitations in practical and diverse usability after object recognition.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 인공지능 기반 시각지능을 활용하여 어떠한 환경에서도 정확하고 신속하게 객체에 대한 불량 검출 판별이 이루어지고 해당 불량 검출이 통합적으로 제어되는 환경을 제공할 수 있는 비전 검사에 따른 불량 검출 통합 제어 시스템을 제공하고자 한다.The present invention is intended to solve the above-mentioned problems, and utilizes artificial intelligence-based visual intelligence to accurately and quickly detect and determine defects in objects in any environment and provide an environment in which defect detection is comprehensively controlled. We aim to provide an integrated control system for defect detection based on vision inspection.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical challenges that this embodiment aims to achieve are not limited to the technical challenges described above, and other technical challenges may exist.
본 발명의 일 실시예에 따라 인공지능 기반의 시각지능을 활용한 비전 검사에 따른 불량 검출 통합 제어 시스템은, 객체의 이미지를 촬영하기 위한 객체 이미지 촬영수단; 상기 촬영된 이미지를 수신하여 이미지에 포함된 노이즈를 제거하고, 노이즈 제거된 이미지 내 불량 요소를 제거 후 정상 요소만으로 구성된 이미지 구축을 수행하여 객체 불량 검출을 판별하기 위한 불량 검출 판별부; 상기 판별된 불량 검출 정보를 수신하여 확인하기 위한 작업자 단말기; 및 상기 판별된 불량 검출 정보를 수집하여 관리하기 위한 데이터 수집부;를 포함하는 것을 특징으로 한다.According to an embodiment of the present invention, an integrated control system for detecting defects according to vision inspection using artificial intelligence-based visual intelligence includes: object image capturing means for capturing an image of an object; a defect detection determination unit for receiving the captured image, removing noise included in the image, removing defective elements in the noise-removed image, and then constructing an image consisting of only normal elements to determine whether an object is defective; a worker terminal for receiving and confirming the determined defect detection information; and a data collection unit for collecting and managing the determined defect detection information.
또한, 상기 불량 검출 판별부는, 수집되는 불량 검출 정보를 대상 객체에 따라 분류하여 각각의 객체에 대응되는 불량 검출 비율을 산출하는 것을 특징으로 한다.In addition, the defect detection determination unit classifies the collected defect detection information according to target objects and calculates a defect detection rate corresponding to each object.
또한, 상기 불량 검출 판별부는, 대상 객체에 따른 분류로써, 이종 소재 조립 부품에 대해 각 부품에 대응되는 객체에 따라 분류하는 것을 특징으로 한다.In addition, the defect detection and determination unit is characterized in that it classifies assembled parts of different materials according to the object corresponding to each part, as a classification according to the target object.
또한, 상기 불량 검출 판별부는, 수신된 촬영 이미지가 영상인 경우, 해당 영상을 연속하는 이미지로 구성하는 것을 특징으로 한다.In addition, when the received captured image is a video, the defect detection and determination unit configures the video into continuous images.
또한, 상기 불량 검출 판별부는, 이미지의 노이즈를 제거하고 정상 요소만으로 구성된 이미지 구축을 수행하기 위한 인공지능 기반 학습 모델을 포함하는 것을 특징으로 한다.In addition, the defect detection and determination unit is characterized by including an artificial intelligence-based learning model for removing noise from the image and constructing an image composed of only normal elements.
또한, 상기 불량 검출 판별부는, 인공지능 기반 학습 모델이 딥러닝(Deep Learning) 기반으로 구성되는 것을 특징으로 한다.In addition, the defect detection and determination unit is characterized in that the artificial intelligence-based learning model is configured based on deep learning.
또한, 상기 불량 검출 판별부는, 노이즈 제거된 이미지에 기초하여 일관된 형태의 색감으로 구성된 이미지 획득을 추가로 수행하는 것을 특징으로 한다.In addition, the defect detection and determination unit is characterized in that it additionally acquires an image with a consistent color based on the noise-removed image.
또한, 상기 불량 검출 판별부는, 인공지능 기반 학습모델 중 노이즈 제거 모델을 포함하고, 노이즈 제거 모델은 촬영 이미지에 대한 특징을 학습하고 해당 학습된 특징을 제외한 부분을 노이즈로 판별하여 노이즈 제거를 수행하는 것을 특징으로 한다.In addition, the defect detection and determination unit includes a noise removal model among the artificial intelligence-based learning models, and the noise removal model learns features of the captured image and determines the part excluding the learned features as noise to perform noise removal. It is characterized by
또한, 상기 불량 검출 판별부는, 인공지능 기반 학습모델 중 불량 인지 모델을 포함하고, 불량 인지 모델은 노이즈 제거된 이미지를 기초로 불량 요소를 찾아 제거하고 정상 요소만 있는 이미지로 구축하여 노이즈만 제거된 이미지와의 비교를 통해 불량 검출 판별을 수행하는 것을 특징으로 한다.In addition, the defect detection and determination unit includes a defect recognition model among the artificial intelligence-based learning models, and the defect recognition model finds and removes defective elements based on the noise-removed image and builds an image with only normal elements to remove noise. It is characterized by performing defect detection and discrimination through comparison with the image.
또한, 상기 불량 인지 모델은, 노이즈 제거된 이미지를 기초로 전체 이미지 중 일정 영역을 제거하고 정상 요소만 있는 이미지로 구축하여 노이즈만 제거된 이미지와의 비교를 통해 불량 검출 판별을 수행하는 것을 특징으로 한다.In addition, the defect recognition model is characterized in that it removes a certain area from the entire image based on the noise-removed image, builds an image with only normal elements, and performs defect detection and discrimination through comparison with the image from which only noise has been removed. do.
본 발명에 따라 인공지능 기반의 시각지능을 활용한 비전 검사에 따른 불량 검출 통합 제어 시스템은, 인공지능 기반 시각지능을 활용하여 어떠한 환경에서도 정확하고 신속하게 객체에 대한 불량 검출 판별이 이루어지고 해당 불량 검출이 통합적으로 제어되는 환경을 제공할 수 있다.According to the present invention, the integrated control system for detecting defects according to vision inspection using artificial intelligence-based visual intelligence accurately and quickly detects and determines defects for objects in any environment by utilizing artificial intelligence-based visual intelligence. An environment in which detection is controlled in an integrated manner can be provided.
또한, 기존 환경 대비 불량 검사 정확도를 향상시킬 수 있다.Additionally, defect inspection accuracy can be improved compared to existing environments.
또한, 기존 환경 대비 이종 소재 조립 부품에 대한 불량 검출 환경을 제공할 수 있다.In addition, compared to existing environments, it is possible to provide an environment for detecting defects in assembled parts made of different materials.
다만, 본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.However, the effects of the present invention are not limited to the effects described above, and effects not mentioned can be clearly understood by those skilled in the art from this specification and the attached drawings.
도 1은 본 발명의 일 실시예로서 인공지능 기반의 시각지능을 활용한 비전 검사에 따른 불량 검출 통합 제어 시스템의 개념도
도 2는 본 발명의 일 실시예로서 인공지능 기반의 시각지능을 활용한 비전 검사에 따른 불량 검출 통합 제어 시스템의 노이즈 제거를 설명하기 위한 도면
도 3은 본 발명의 일 실시예로서 인공지능 기반의 시각지능을 활용한 비전 검사에 따른 불량 검출 통합 제어 시스템의 불량 인지 모델 예시도
도 4는 본 발명의 일 실시예로서 인공지능 기반의 시각지능을 활용한 비전 검사에 따른 불량 검출 통합 제어 시스템의 불량 검출을 설명하기 위한 도면
도 5는 본 발명의 일 실시예로서 인공지능 기반의 시각지능을 활용한 비전 검사에 따른 불량 검출 통합 제어 방법을 도시한 순서도1 is a conceptual diagram of a defect detection integrated control system according to vision inspection using artificial intelligence-based visual intelligence as an embodiment of the present invention.
Figure 2 is a diagram illustrating noise removal in a defect detection integrated control system according to vision inspection using artificial intelligence-based visual intelligence as an embodiment of the present invention.
Figure 3 is an example of a defect recognition model of a defect detection integrated control system according to vision inspection using artificial intelligence-based visual intelligence as an embodiment of the present invention.
Figure 4 is a diagram illustrating defect detection in a defect detection integrated control system according to vision inspection using artificial intelligence-based visual intelligence as an embodiment of the present invention.
Figure 5 is a flowchart showing an integrated control method for detecting defects according to vision inspection using artificial intelligence-based visual intelligence as an embodiment of the present invention.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.Terms or words used in this specification and claims should not be construed as limited to their common or dictionary meanings, and the inventor may appropriately define the concept of terms in order to explain his or her invention in the best way. It must be interpreted with meaning and concept consistent with the technical idea of the present invention based on the principle that it is.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Therefore, the embodiments described in this specification and the configurations shown in the drawings are only one of the most preferred embodiments of the present invention, and do not represent the entire technical idea of the present invention, so they can be replaced at the time of filing the present application. It should be understood that various equivalents and variations may exist.
이하, 도면을 참조로 하여 본 발명에 따른 인공지능 기반의 시각지능을 활용한 비전 검사에 따른 불량 검출 통합 제어 시스템을 설명하기로 한다.Hereinafter, an integrated control system for detecting defects according to vision inspection using artificial intelligence-based visual intelligence according to the present invention will be described with reference to the drawings.
도 1은 본 발명의 일 실시예로서 인공지능 기반의 시각지능을 활용한 비전 검사에 따른 불량 검출 통합 제어 시스템의 개념도이다.Figure 1 is a conceptual diagram of a defect detection integrated control system according to vision inspection using artificial intelligence-based visual intelligence as an embodiment of the present invention.
본 발명에 따른 인공지능 기반의 시각지능을 활용한 비전 검사에 따른 불량 검출 통합 제어 시스템은 기본적으로 객체 이미지 촬영수단, 불량 검출 판별부, 작업자 단말기 및 데이터 수집부를 포함하여 구성된다.The integrated control system for defect detection based on vision inspection using artificial intelligence-based visual intelligence according to the present invention basically includes an object image capturing means, a defect detection and determination unit, an operator terminal, and a data collection unit.
도 1을 참조로 하면, 보다 구체적으로, 본 발명은 객체의 이미지를 촬영하기 위한 객체 이미지 촬영수단; 상기 촬영된 이미지를 수신하여 이미지에 포함된 노이즈를 제거하고, 노이즈 제거된 이미지 내 불량 요소를 제거 후 정상 요소만으로 구성된 이미지 구축을 수행하여 객체 불량 검출을 판별하기 위한 불량 검출 판별부; 상기 판별된 불량 검출 정보를 수신하여 확인하기 위한 작업자 단말기; 및 상기 판별된 불량 검출 정보를 수집하여 관리하기 위한 데이터 수집부;를 포함한다.Referring to FIG. 1, more specifically, the present invention includes an object image photographing means for photographing an image of an object; a defect detection determination unit for receiving the captured image, removing noise included in the image, removing defective elements in the noise-removed image, and then constructing an image consisting of only normal elements to determine whether an object is defective; a worker terminal for receiving and confirming the determined defect detection information; and a data collection unit for collecting and managing the determined defect detection information.
또한, 상기 비전 검사에 따른 불량 검출 통합 제어 시스템은, 객체를 촬영하여 생성된 촬영 이미지를 수신 받기 위한 수신부, 검출 판별 수행을 구현하는데 필요한 정보를 저장하는 저장부를 더 포함할 수 있으며, 상기 수신부는 객체 이미지 촬영수단으로부터 정보를 수신받을 수 있다.In addition, the integrated control system for detecting defects according to the vision inspection may further include a receiver for receiving a captured image generated by photographing an object, and a storage unit for storing information necessary to implement detection and determination, and the receiver may include Information can be received from an object image capturing means.
또한, 일례로, 객체 이미지 촬영수단은 이미지 촬영을 위한 장치들로 이루어질 수 있으며, 비전 카메라(이미지 센서, 렌즈, 셔터, 제어 장치들을 포함) 혹은 복수개의 비전 카메라로 이루어진 그룹일 수 있다. 다만, 이에 한정하지 않고, 통상의 기술자에게 자명한 수준에서 다양하게 변형 가능하다.Additionally, as an example, the object image capturing means may be comprised of devices for image capturing, and may be a vision camera (including an image sensor, lens, shutter, and control devices) or a group consisting of a plurality of vision cameras. However, it is not limited to this, and various modifications are possible at a level that is obvious to those skilled in the art.
또한, 상기 비전 검사에 따른 불량 검출 통합 제어 시스템에 수신되는 이미지는 객체 이미지 촬영수단이 촬영하여 생성될 수도 있지만, 외부 서버 혹은 컴퓨터 프로그램에 의해 창조되는 이미지일 수도 있다.In addition, the image received by the defect detection integrated control system according to the vision inspection may be created by taking an object image photographing means, but may also be an image created by an external server or computer program.
또한, 상기 작업자 단말기라 함은, 스마트폰(smartphone), 태블릿 PC(tablet Personalcomputer), 이동 전화기(mobile phone), 영상 전화기, 데스크탑 PC(dasktoppersonal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia plater), 웨어러블 장치(wearable device)(예: 스마트 안경, 머리 착용형 장치(head-mounted-device(HMD) 등), 스마트미러(smart mirrors) 또는 스마트 와치(smart watch)) 중 적어도 하나를 포함할 수 있으며, 이러한 예에 한정하지 않고 다양한 형태로 전기적인 신호로 변화된 값을 송수신 할 수 있는 장치를 의미하는 것이다.In addition, the worker terminal refers to a smartphone, a tablet personal computer, a mobile phone, a video phone, a desktop personal computer, a laptop personal computer, and a netbook computer ( netbook computer), personal digital assistant (PDA), portable multimedia plater (PMP), wearable device (e.g. smart glasses, head-mounted-device (HMD), etc.), smart mirror (smart mirror) It may include at least one of mirrors or a smart watch, and is not limited to these examples, but refers to a device that can transmit and receive values changed into electrical signals in various forms.
또한, 상기 작업자 단말기의 일례로, 입력 모듈을 포함할 수도 있는데, 해당 모듈은 숫자 또는 문자 정보를 입력 받고 각종 기능들을 설정하기 위한 다수의 입력키 및 기능키들을 포함할 수 있는데, 기능키들은 특정 기능을 수행하도록 설정된 방향키, 사이드 키 및 단축키 등을 포함하고, 입력 모듈은 작업자 단말기의 기능 제어와 관련한 키 신호를 생성하여 작업자 단말기로 전달할 수도 있다.In addition, as an example of the worker terminal, it may include an input module. The module may include a number of input keys and function keys for receiving numeric or character information and setting various functions. The function keys may include specific input keys. It includes direction keys, side keys, and shortcut keys set to perform functions, and the input module can also generate key signals related to controlling functions of the worker terminal and transmit them to the worker terminal.
또한, 작업자 단말기가 풀 터치스크린을 지원하는 경우, 해당 단말기의 케이스 측면에 형성되는 볼륨 조절을 위한 볼륨 키, 화면 온/오프 및 휴대단말기 온/오프를 위한 전원 키 만을 포함할 수도 있고, 특히, 검출된 불량 검출 정보 제어 및 확인을 지시하는 입력 신호, 인증 정보입력에 해당하는 입력 신호, 특정 샌드 박스 선택을 지시하는 입력 신호, 콘텐츠의 색상, 투명도 변경을 지시하는 입력 신호 등과 같은 다양한 입력 신호 등을 생성하고, 이를 상기 불량 검출 판별부 및 데이터 수집부 등에 전달할 수도 있다.In addition, if the worker terminal supports a full touch screen, it may only include a volume key for volume control formed on the side of the case of the terminal, a power key for screen on/off and a mobile terminal on/off, and in particular, Various input signals such as input signals instructing control and confirmation of detected defect information, input signals corresponding to authentication information input, input signals instructing selection of a specific sandbox, input signals instructing change of color and transparency of content, etc. It may also be generated and delivered to the defect detection and determination unit and data collection unit.
또한, 상기 작업자 단말기의 일례로, 단말기 제어모듈을 포함할 수도 있는데, 작업자 단말기의 전송받고자 하는 인공지능 기반의 시각지능을 활용한 비전 검사에 따른 불량 검출 통합 제어 시스템의 전반적인 동작 및 작업자 단말기의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수도 있다.In addition, as an example of the worker terminal, it may include a terminal control module, and the overall operation of the defect detection integrated control system and the interior of the worker terminal according to vision inspection using artificial intelligence-based visual intelligence that the worker terminal wants to receive. It can also control signal flow between blocks and perform data processing functions.
또한, 예를 들어, 단말기 제어모듈은 중앙 처리 장치(Central Processing Unit: CPU), 애플리케이션 프로세서(Application Processor) 등 및 작업자 단말기의 실시간 위치 정보를 생성하기 위한 GPS(Global Positioning System) 기반의 측정 센서를 구비할 수도 있다.In addition, for example, the terminal control module uses a central processing unit (CPU), an application processor, etc., and a GPS (Global Positioning System)-based measurement sensor to generate real-time location information of the worker terminal. It may be available.
또한, 일례로, 데이터 수집부는 일종의 웹서버, 데이터베이스 서버, 모바일 서버 및 클라우드 서버로서 역할을 하도록 구축될 수 있는데, 예를 들어 처리된 결과를 온라인 네트워크를 통해 웹페이지 상에서 보여주거나 필요한 입력 데이터를 웹페이지를 통해 전송 받을 수 있고, 여기서 웹페이지는 단순한 텍스트, 이미지, 사운드, 동영상 등 이외에도 웹 어플리케이션과 같은 특정 작업을 수행하기 위한 소프트웨어를 포함하는 것일 수 있다. In addition, as an example, the data collection unit may be built to serve as a kind of web server, database server, mobile server, and cloud server, for example, displaying the processed results on a web page through an online network or sending the necessary input data to the web. It can be transmitted through a page, where a web page may include software to perform a specific task, such as a web application, in addition to simple text, images, sounds, and videos.
또한, 본 발명에서 언급하는 온라인 네트워크라 함은 유선 공중망, 무선 이동 통신망, 또는 휴대 인터넷 등과 통합된 코어 망일 수도 있고, TCP/IP 프로토콜 및 그 상위 계층에 존재하는 여러 서비스, 즉 HTTP(Hyper Text Transfer Protocol), HTTPS(Hyper Text Transfer Protocol Secure), Telnet, FTP(File Transfer Protocol), DNS(Domain Name System), SMTP(Simple Mail Transfer Protocol) 등을 제공하는 전 세계적인 개방형 컴퓨터 네트워크 구조를 의미할 수 있으며, 이러한 예에 한정하지 않고 다양한 형태로 데이터를 송수신할 수 있는 데이터 통신망을 포괄적으로 의미하는 것일 수 있다.In addition, the online network referred to in the present invention may be a core network integrated with a wired public network, wireless mobile communication network, or mobile Internet, etc., and may be a core network integrated with the TCP/IP protocol and various services existing in its upper layer, that is, HTTP (Hyper Text Transfer). Protocol), HTTPS (Hyper Text Transfer Protocol Secure), Telnet, FTP (File Transfer Protocol), DNS (Domain Name System), and SMTP (Simple Mail Transfer Protocol). , It is not limited to this example, but may comprehensively mean a data communication network that can transmit and receive data in various forms.
또한, 상술한 서버는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체를 통해 데이터 교환 및 관리가 이루어질 수도 있으며, 서버 내에서 이루어지는 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함하고, 상기 서버들의 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.In addition, the above-described server may exchange and manage data through transmission media such as optical or metal wires or waveguides containing carrier waves that transmit signals specifying program commands, data structures, etc., and may exchange and manage data of program commands made within the server. Examples include not only machine language code such as that produced by a compiler, but also high-level language code that can be executed by a device that electronically processes information using an interpreter, for example, a computer, and the hardware devices of the servers are It may be configured to operate as one or more software modules to perform the operations of the invention, and vice versa.
도 2는 본 발명의 일 실시예로서 인공지능 기반의 시각지능을 활용한 비전 검사에 따른 불량 검출 통합 제어 시스템의 노이즈 제거를 설명하기 위한 도면이고, 도 3은 본 발명의 일 실시예로서 인공지능 기반의 시각지능을 활용한 비전 검사에 따른 불량 검출 통합 제어 시스템의 불량 인지 모델 예시도, 도 4는 본 발명의 일 실시예로서 인공지능 기반의 시각지능을 활용한 비전 검사에 따른 불량 검출 통합 제어 시스템의 불량 검출을 설명하기 위한 도면이다.Figure 2 is a diagram to explain noise removal in a defect detection integrated control system according to vision inspection using artificial intelligence-based visual intelligence as an embodiment of the present invention, and Figure 3 is an embodiment of the present invention using artificial intelligence An example of a defect recognition model of a defect detection integrated control system based on vision inspection using visual intelligence-based visual intelligence, Figure 4 is an embodiment of the present invention, and integrated control of defect detection based on vision inspection using artificial intelligence-based visual intelligence. This is a diagram to explain defect detection in the system.
이하 도 2 내지 5를 참조로 설명하면, 상기 불량 검출 판별부는, 수집되는 불량 검출 정보를 대상 객체에 따라 분류하여 각각의 객체에 대응되는 불량 검출 비율을 산출하고, 대상 객체에 따른 분류로써, 이종 소재 조립 부품에 대해 각 부품에 대응되는 객체에 따라 분류하는 것을 특징으로 한다.Hereinafter, with reference to FIGS. 2 to 5, the defect detection determination unit classifies the collected defect detection information according to the target object, calculates a defect detection rate corresponding to each object, and classifies according to the target object to determine heterogeneous It is characterized by classifying material assembly parts according to the object corresponding to each part.
또한, 일례로, 이종 소재 조립 부품은 다양한 소재(예: 플라스틱, 고무, 종이, 금속 등)가 혼합되어 조립된 제품으로써, 조립 파츠의 유무, 체결정도(예: +2μm, -2μm 등), 체결형태(예: 정렬형태 등) 등 다양한 요소를 포함하며, 이종 소재 조립 부품에 대해 각 부품에 대응되는 객체에 따라 분류할 수도 있다.In addition, as an example, heterogeneous material assembly parts are products assembled by mixing various materials (e.g. plastic, rubber, paper, metal, etc.), and include the presence or absence of assembled parts, degree of fastening (e.g. +2μm, -2μm, etc.), It includes various factors such as fastening type (e.g., alignment type, etc.), and parts assembled from different materials can be classified according to the object corresponding to each part.
또한, 상기 불량 검출 판별부는, 수신된 촬영 이미지가 영상인 경우, 해당 영상을 연속하는 이미지로 구성할 수도 있으며, 연속적인 이미지로서 시간적 순서에 중첩인 영상을 일정 시간 간격(예: 0.1s, 1s 등)을 기준으로 이미지를 추출하여 복수개의 시간적 순서에 따른 이미지로 나열한다.In addition, if the received captured image is a video, the defect detection and determination unit may configure the video as a continuous image, and as a continuous image, the video overlapping in the temporal order can be divided at a certain time interval (e.g., 0.1 s, 1 s). etc.), images are extracted and listed as multiple images in chronological order.
또한, 상기 불량 검출 판별부는, 이미지의 노이즈를 제거하고 정상 요소만으로 구성된 이미지 구축을 수행하기 위한 인공지능 기반 학습 모델을 포함하고, 인공지능 기반 학습 모델이 딥러닝(Deep Learning) 기반으로 구성되는 것을 특징으로 하고, 상기 불량 검출 판별부는, 노이즈 제거된 이미지에 기초하여 일관된 형태의 색감으로 구성된 이미지 획득을 추가로 수행할 수도 있다.In addition, the defect detection and determination unit includes an artificial intelligence-based learning model for removing noise from the image and constructing an image composed of only normal elements, and the artificial intelligence-based learning model is configured based on deep learning. As a feature, the defect detection and determination unit may additionally acquire an image with a consistent color based on the noise-removed image.
또한, 상기 불량 검출 판별부는, 인공지능 기반 학습모델 중 노이즈 제거 모델을 포함하고, 노이즈 제거 모델은 촬영 이미지에 대한 특징을 학습하고 해당 학습된 특징을 제외한 부분을 노이즈로 판별하여 노이즈 제거를 수행할 수도 있다.In addition, the defect detection and determination unit includes a noise removal model among the artificial intelligence-based learning models, and the noise removal model learns features of the captured image and determines the part excluding the learned features as noise to perform noise removal. It may be possible.
또한, 상기 노이즈 제거 모델은, 딥러닝 기반의 컨볼루션 신경망(CNN)이 연속적으로 연결되고 해당 모든 연결된 레이어(Dense Layer)로서의 최종 출력값을 가지는 구조로 구성된 인코더를 포함하고, 딥러닝 기반의 데이터 확장이 가능한 컨볼루션 신경망(Dilated CNN)이 연속적으로 연결되고 해당 모든 연결된 레이어(Dense Layer)로서의 최종 출력값을 가지는 않는 구조로 구성된 디코더를 포함한다.In addition, the noise removal model includes an encoder composed of a structure in which a deep learning-based convolutional neural network (CNN) is continuously connected and has a final output value as all connected layers (Dense Layer), and deep learning-based data expansion. This possible convolutional neural network (Dilated CNN) is connected continuously and includes a decoder composed of a structure that does not have a final output value as all connected layers (Dense Layer).
또한, 상기 노이즈 제거 모델에 활용되는 딥러닝 기반의 컨볼루션 신경망(CNN)에 대한 일례로, ResNet을 기반으로 하여 GoogLeNet의 Inception 개념을 추가한 혼합 네트워크 구조를 구성하고, 이는 down-sampling으로 인한 이미지의 디테일 정보의 손실을 회피하기 위하여 Dilated Convolution의 개념을 바탕으로 입력 이미지에 대하여 다양한 크기의 receptive field를 적용하고 이를 concatenated 연산을 수행하여 각 receptive field의 값을 혼합할 수도 있다.In addition, as an example of a deep learning-based convolutional neural network (CNN) used in the noise removal model, a mixed network structure is constructed based on ResNet and adding the Inception concept of GoogLeNet, which reduces the image size due to down-sampling. In order to avoid loss of detail information, based on the concept of Dilated Convolution, receptive fields of various sizes can be applied to the input image and a concatenated operation can be performed to mix the values of each receptive field.
또한, ResNet의 Skip Connection을 적용하여 작은 변화(Fluctuation)을 쉽게 검출할 수 있도록 하고, 이는 ResNet의 구조를 적용하면서 깊은 네트워크에도 쉽게 최적화가 가능하며, 늘어난 네트워크 깊이로 인해 정확도를 개선할 수도 있다.In addition, by applying ResNet's Skip Connection, small changes (fluctuations) can be easily detected, which can be easily optimized for deep networks by applying the structure of ResNet, and accuracy can also be improved due to the increased network depth.
또한, Dilated Convolution 개념을 사용하여 해상도의 손실 없이 receptive field의 사이즈를 확장할 수 있으며, 일례로 픽셀로 구분된 이미지에 대한 임의의 사각형의 위치의 coefficient만 전체 reactive 필드에 존재하게 되고 나머지는 모두 0으로 채워질 수도 있으며, Dilated Convolution은 dilation rate이라는 파라미터를 가지는데 이는 기본적인 convolutional layer에 대하여 커널 값 사이의 간격을 정의한다.In addition, the size of the receptive field can be expanded without loss of resolution by using the Dilated Convolution concept. For example, only the coefficient of the position of a random square for an image divided into pixels exists in the entire reactive field, and all others are 0. It may be filled with, and Dilated Convolution has a parameter called dilation rate, which defines the gap between kernel values for the basic convolutional layer.
또한, 일례로, Convolution 연산을 함에 있어 down-sampling은 정보의 유실을 초래하므로, pooling layer를 적용하지 않고 대신하여 Dilated Convolution을 적용할 수도 있다.In addition, as an example, since down-sampling causes loss of information during convolution operation, dilated convolution may be applied instead without applying the pooling layer.
또한, 일례로, 구조의 네트워크를 정의함에 있어서, 입력은 세 개의 다른 Dilated Convolutional Layer로 각각 들어가고, 각 Dilated Convolution 연산 후 결과를 concatenate 한 후 1 x 1 Convolution 연산을 하여 ResNet의 Skip Connection을 활용하여 초기 입력 값과 Add 연산을 수행하고, 상기 정의한 네트워크의 모든 Convolutional Layer의 커널은 모두 3 x 3 사이즈로 정의되어 있으며, 패딩 사이즈는 dilation rate인 1, 2, 3과 연동되어 동일하게 1, 2, 3으로 설정되며, 네트워크 블록의 output은 input 사이즈와 같으므로 전체 네트워크의 output 사이즈도 동일할 수도 있다. 이에 따라, dilated convolution layer의 output 사이즈는 아래 수학식 2와 같이 계산될 수도 있다.In addition, as an example, in defining a structural network, the input goes into three different dilated convolutional layers, and after each dilated convolution operation, the result is concatenated, and then a 1 x 1 convolution operation is performed to utilize ResNet's Skip Connection to create an initial An Add operation is performed on the input value, and the kernels of all convolutional layers of the network defined above are defined as 3 It is set to , and since the output of the network block is the same as the input size, the output size of the entire network may also be the same. Accordingly, the output size of the dilated convolution layer may be calculated as in Equation 2 below.
또한, 수학식 2는 로 표현되며, i는 input size, k는 커널(필터) size, p는 zero-padding, s는 stride, d는 dilation rate를 의미하고, 이에 있어서, d = p, k = 3, s = 1로 설정하고 앞서 설명한 바와 같이 input 사이즈는 output 사이즈와 동일할 수도 있다.Additionally, Equation 2 is It is expressed as, i is the input size, k is the kernel (filter) size, p is zero-padding, s is the stride, and d is the dilation rate, where d = p, k = 3, s = 1. As set and explained earlier, the input size may be the same as the output size.
또한, 네트워크 구조에 대한 일례로, 네트워크는 pooling layer 없이 구성된 convolutional 네트워크이며, pooling 과정이 없이 큰 사이즈의 데이터를 그대로 사용하는 것은 학습에 어려움이 있으나 이미지의 색상 정보를 유지하기 위하여 batch normalization layer 또한 적용하지 않으며, 학습 가능한 설정의 데이터 사이즈 및 Convolution Layer 사이즈를 실험적으로 반복 수행하여 확정할 수도 있다.Additionally, as an example of the network structure, the network is a convolutional network constructed without a pooling layer. Using large-sized data without a pooling process is difficult for learning, but a batch normalization layer is also applied to maintain the color information of the image. Alternatively, the data size and convolution layer size of the learnable settings can be confirmed by repeatedly performing experiments.
또한, Initial Convolution Layer는 64 채널로 설정되고, final Convolution Layer의 경우 컬러 스케일은 3 채널, 그레이 스케일은 1채널로 설정되고, 모든 ReLU Layer는 Final Residual output의 양의 값과 음의 값을 모두 같도록 하기 위하여 parametric ReLU(pReLU)로 정의되며, 상기 일례로 설명된 네트워크는 Global Skip Connection을 통해 노이즈(residual image)를 추정하도록 학습될 수도 있다.In addition, the Initial Convolution Layer is set to 64 channels, the color scale is set to 3 channels and the gray scale is set to 1 channel for the final Convolution Layer, and all ReLU Layers have the same positive and negative values of the Final Residual output. In order to do so, it is defined as parametric ReLU (pReLU), and the network described as an example may be learned to estimate noise (residual image) through Global Skip Connection.
또한, 일례로, 정의된 네트워크를 활용하여 노이즈 제거를 보다 효율적으로 수행하기 위하여 U-Net의 개념을 적용하여 U-Net을 통하여 얻어진 디테일 맵(마스크 영역)을 외곽선 확장 정보로 활용하여 원본 이미지와 concatenate 한 후 앞서 정의된 네트워크의 입력으로 전달하여 노이즈 제거(디노이징)을 수행할 수도 있다.In addition, as an example, in order to perform noise removal more efficiently using a defined network, the concept of U-Net is applied and the detail map (mask area) obtained through U-Net is used as outline expansion information to match the original image and After concatenate, noise removal (denoising) can be performed by passing it to the input of a previously defined network.
또한, 디테일 맵을 추출하기 위하여 백본 네트워크로 U-Net을 활용할 수도 있으며, U-Net의 인코딩/디코딩 과정을 통하여 인코딩 과정에서는 Conv 블록을 거쳐감에 따라 Feature의 크기는 절반으로 줄어들고 차원수는 두배로 늘어나게 되며, 디코딩 과정에서는 인코딩 과정과 반대로 Conv 블록을 거쳐감에 따라 Feature의 크기는 두배씩 늘어나며 차원수는 절반씩 줄어들며, 각 Conv 연산 블록마다 Conv 연산과 Activation Function으로 ReLU를 적용하고, Sub-Sampling과 Up-Sampling에는 3 x 3 커널을 적용하고 Conv 연산 후 Batch Normalization을 적용하며, U-Net은 Symmetric Shortcut Connection을 사용하여 Sub-Sampling과 Up-Sampling에서 손실될 수 있는 Feature 정보를 최소화할 수도 있다.In addition, U-Net can be used as a backbone network to extract a detail map. Through the encoding/decoding process of U-Net, the size of the feature is halved and the number of dimensions is doubled as it passes through the Conv block in the encoding process. In the decoding process, contrary to the encoding process, as it goes through the Conv block, the size of the feature doubles and the number of dimensions decreases by half. ReLU is applied as a Conv operation and Activation Function to each Conv operation block, and Sub- A 3 there is.
또한, 상기 불량 검출 판별부는, 인공지능 기반 학습모델 중 불량 인지 모델을 포함하고, 불량 인지 모델은 노이즈 제거된 이미지를 기초로 불량 요소를 찾아 제거하고 정상 요소만 있는 이미지로 구축하여 노이즈만 제거된 이미지와의 비교를 통해 불량 검출 판별을 수행할 수도 있다.In addition, the defect detection and determination unit includes a defect recognition model among the artificial intelligence-based learning models, and the defect recognition model finds and removes defective elements based on the noise-removed image and builds an image with only normal elements to remove noise. Defect detection and discrimination can also be performed through comparison with the image.
또한, 상기 불량 인지 모델은 노이즈 제거된 이미지를 기초로 전체 이미지 중 일정 영역(예: 128 x 128 픽셀 크기의 이미지로 변환 후, 이를 9번에 걸쳐 동일하지 않은 3 x 3 영역 각각 등)을 제거하고 정상 요소만 있는 이미지로 구축하여 노이즈만 제거된 이미지와의 비교를 통해 불량 검출 판별을 수행할 수도 있다.In addition, the defect recognition model removes a certain area of the entire image (e.g., after converting it to an image with a size of 128 x 128 pixels, 9 times, each of the 3 x 3 areas that are not the same, etc.) based on the noise-removed image. It is also possible to construct an image with only normal elements and perform defect detection and discrimination by comparing it with an image from which only noise has been removed.
또한, 상기 불량 인지 모델은, 딥러닝 기반의 컨볼루션 신경망(CNN)이 연속적으로 연결되고 입력된 데이터 차원을 그대로 유지하는 레이어(Reduction Layer)를 포함하고, 딥러닝 기반의 컨볼루션 신경망(CNN)이 연속적으로 연결되고 데이터 차원의 변화 없이 특징만이 추출되는 레이어(Feature Extract Layer)를 포함하며, 딥러닝 기반의 데이터 확장이 가능한 컨볼루션 신경망(Dilated CNN)이 연속적으로 연결되고 입력된 크기와 동일한 데이터를 출력하는 레이어(Upscaling Layer)를 포함한다.In addition, the defective recognition model includes a layer (Reduction Layer) in which a deep learning-based convolutional neural network (CNN) is continuously connected and maintains the input data dimension, and a deep learning-based convolutional neural network (CNN) It includes a layer (Feature Extract Layer) that is continuously connected and extracts only features without changing the data dimension, and a convolutional neural network (Dilated CNN) capable of expanding data based on deep learning is connected continuously and has the same size as the input. Includes a layer that outputs data (Upscaling Layer).
또한, 일례로, 상기 불량 인지 모델은 노이즈 제거(디노이징)된 명확한 정상 이미지를 통하여 이미지 구축(완성)을 위한 학습이 수행되며, 이미지 완성 네트워크(딥러닝 기반의 컨볼루션 신경망(CNN)이 연속적으로 연결)를 구성하여 검사 대상(객체) 이미지가 들어오면 128 x 128 픽셀 크기의 이미지로 변환 후, 이를 9번에 걸쳐 3 x 3 영역에서 각 한 영역 각각으로 패치를 제거하고 이를 복원하는 과정 수행할 수도 있다. In addition, as an example, the defective recognition model is trained to build (complete) an image through a clear normal image from which noise has been removed (denoised), and an image completion network (a deep learning-based convolutional neural network (CNN)) is used to continuously When the inspection target (object) image is received, it is converted into an image of 128 You may.
또한, 각 패치 영역별 복원한 이미지 대응 영역과의 차이를 구하여 그 차이를 이상 점수로 산정하고 그 차이가 큰 영역에 불량이 포함된 것으로 판정하고, 픽셀 단위의 매칭 차이를 구하는 것으로 차이가 큰 픽셀들을 추출하여 원본 이미지 위에 마스킹하면 해당 영역을 불량 영역으로 표기할 수도 있다.In addition, the difference between each patch area and the corresponding area of the restored image is calculated, the difference is calculated as an abnormality score, the area with the large difference is determined to contain defects, and the pixel-by-pixel matching difference is calculated to determine the pixel with the large difference. If these areas are extracted and masked over the original image, the area can be marked as a defective area.
또한, 이미지 구축(완성)을 위한 네트워크 구조의 예시로 input 이미지 패치(128 x 128)의 32 x 32 중앙 영역은 DCNN(Deep Convolutional Neural Network)의 input으로 들어가기 전 제거(0으로 설정)하고, 이미지 완성(구축)을 위한 네트워크에서 이미지를 재구성한 후, 원 이미지의 대응하는 영역과의 차이를 구하기 위해 생성된 패치 영역을 Subtract 연산하고, 이미지 차이에 절대 값을 이상 점수(anomaly score)로 사용할 수도 있다.In addition, as an example of a network structure for image construction (completion), the 32 x 32 central area of the input image patch (128 x 128) is removed (set to 0) before entering the input of DCNN (Deep Convolutional Neural Network), and the image After reconstructing the image in the network for completion (construction), the generated patch area is subtracted to find the difference with the corresponding area of the original image, and the absolute value of the image difference can be used as an anomaly score. there is.
또한, 이미지 완성을 위한 네트워크는 아래와 같이 17개의 레이어로 구성될 수도 있는데, Conv(5, 1, 1, 32) - Conv(3, 1, 1, 64) - Conv(3, 1, 1, 64) - Conv(3, 1, 2, 128) - Conv(3, 1, 1, 128) - Conv(3, 1, 1, 128) - Conv(3, 2, 1, 128) - Conv(3, 4, 1, 128) - Conv(3, 8, 1, 128) - Conv(3, 16, 1, 128) - Conv(3, 1, 1, 128) - Conv(3, 1, 1, 128) - Bilinear Upscaling(2x) - Conv(3, 1, 1, 64) - Conv(3, 1, 1, 64) - Conv(3, 1, 1, 32) - Conv(3, 1, 1, 16) - Conv(3, 1, 1, 1) - Clip(-1, 1)이며, 여기서 Conv(k, d, s, c)는 k x k의 커널 사이즈를 가지는 Convolutional Layer를 나타내며, d는 Dilation rate, s는 stride 및 c는 output 채널을 의미할 수도 있다.Additionally, the network for image completion may be composed of 17 layers as shown below, Conv(5, 1, 1, 32) - Conv(3, 1, 1, 64) - Conv(3, 1, 1, 64) ) - Conv(3, 1, 2, 128) - Conv(3, 1, 1, 128) - Conv(3, 1, 1, 128) - Conv(3, 2, 1, 128) - Conv(3, 4, 1, 128) - Conv(3, 8, 1, 128) - Conv(3, 16, 1, 128) - Conv(3, 1, 1, 128) - Conv(3, 1, 1, 128) - Bilinear Upscaling(2x) - Conv(3, 1, 1, 64) - Conv(3, 1, 1, 64) - Conv(3, 1, 1, 32) - Conv(3, 1, 1, 16) - Conv(3, 1, 1, 1) - Clip(-1, 1), where Conv(k, d, s, c) represents a convolutional layer with a kernel size of k x k, and d is the dilation rate, s. may mean stride and c may mean output channel.
또한, 상기 네트워크 구조에 대한 일례로, 전체적으로 네트워크는 17 개의 레이어로 구성되며, 세 번째 레이어 이후에 Feature map의 해상도는 스트라이드 convolution에 의해 절반으로 줄어들고, Output neuron의 receptive field를 증가시키기 위해 레이어 7~10에서는 연속적으로 Dilated Convolution을 적용할 수도 있으며, 레이어 13에서는 입력 크기로의 업 스케일링을 위하여 Convolution 연산을 통한 bilinear rescaling을 수행하고, 모든 Convolutional 레이어에 대하여 미러 패딩(mirror padding)을 사용하며, 활성화 함수로는 ELU(Exponential Linear Unit) activation function이 적용될 수도 있다.In addition, as an example of the network structure, the overall network consists of 17 layers, and after the third layer, the resolution of the feature map is reduced by half by stride convolution, and layers 7 through 7 are used to increase the receptive field of the output neuron. In layer 10, dilated convolution can be applied continuously, and in layer 13, bilinear rescaling is performed through convolution operation to upscale to the input size, mirror padding is used for all convolutional layers, and the activation function is used. The ELU (Exponential Linear Unit) activation function may be applied.
또한, 네트워크는 L1 reconstruction loss를 기반으로 학습되며, 바이너리 마스크 M에 의해 정의된 32 x 32 중심 영역은 나머지 영역과 다르게 가중치가 부여되고, X가 검사를 수행할 이미지 패치인 경우, 네트워크는 아래의 수학식 1을 통해 훈련될 수도 있다.Additionally, the network is trained based on L1 reconstruction loss, and the 32 x 32 central region defined by the binary mask M is weighted differently from the remaining regions, and if X is the image patch to perform inspection, the network is It can also be trained through Equation 1.
또한, 수학식 1은 손실함수를 나타낸 것으로서, 로 표현되며, 여기서 는 element-wise 행렬곱을 의미하며, 은 M의 complement mask를 의미하고, 는 중심 영역과 나머지 영역 사이의 가중치 파라미터이며, N은 X의 픽셀 수, 는 L1 행렬정규화(matrix normalization)을 의미한다.In addition, Equation 1 represents the loss function, It is expressed as means element-wise matrix multiplication, means the complement mask of M, is the weight parameter between the center area and the rest area, N is the number of pixels in stands for L1 matrix normalization.
또한, 이미지 완성(구축) 네트워크는 ADAM 옵티마이저를 이용하여 128의 batch 사이즈로 처음부터 학습을 수행하고, 모든 가중치(weight)는 평균이 '0'이고 표준편차가 '1'인 가우시안 생략 분포(truncated Gaussian distribution) 로 초기화 할 수도 있다.In addition, the image completion (construction) network is trained from scratch with a batch size of 128 using the ADAM optimizer, and all weights are Gaussian omission distributions (with a mean of '0' and a standard deviation of '1') It can also be initialized with a truncated Gaussian distribution.
도 5는 본 발명의 일 실시예로서 인공지능 기반의 시각지능을 활용한 비전 검사에 따른 불량 검출 통합 제어 방법을 도시한 순서도이다.Figure 5 is a flowchart showing an integrated control method for detecting defects according to vision inspection using artificial intelligence-based visual intelligence as an embodiment of the present invention.
한편으로, 본 발명에 대한 방법으로써, 인공지능 기반의 시각지능을 활용한 비전 검사에 따른 불량 검출 통합 제어 방법은 기본적으로 객체 이미지 촬영단계, 노이즈 제거단계, 이미지 구축단계, 불량 검출 판별단계, 불량 검출 확인단계 및 데이터 관리단계를 포함하여 구성된다.On the other hand, as a method for the present invention, the defect detection integrated control method according to vision inspection using artificial intelligence-based visual intelligence is basically an object image capturing step, a noise removal step, an image construction step, a defect detection and determination step, and a defect detection step. It consists of a detection confirmation step and a data management step.
보다 구체적으로 도 5를 참고하면, 상기 객체 이미지 촬영수단이 객체의 이미지를 촬영하는 객체 이미지 촬영단계, 상기 불량 검출 판별부가 촬영 이미지에 포함된 노이즈를 제거하는 노이즈 제거단계, 상기 노이즈 제거된 이미지 내 불량 요소를 제거 후 정상 요소만으로 구성된 이미지 구축을 수행하는 이미지 구축단계, 상기 구축된 이미지를 기초로 노이즈만 제거된 이미지와의 비교를 통해 불량 검출 판별을 수행하는 불량 검출 판별단계, 상기 작업자 단말기가 판별된 불량 검출 정보를 수신받아 확인하는 불량 검출 확인단계 및 상기 데이터 수집부가 판별된 불량 검출 정보를 수집하여 관리하는 데이터 관리단계를 포함하여 이루어 진다.More specifically, referring to FIG. 5, an object image photographing step in which the object image photographing means captures an image of an object, a noise removal step in which the defect detection and determination unit removes noise included in the captured image, and a noise removal step in which the defect detection and determination unit removes noise included in the photographed image, and An image construction step of removing defective elements and then constructing an image composed of only normal elements, a defect detection and determination step of performing defect detection and discrimination by comparing the constructed image with an image from which only noise has been removed, and the worker terminal It includes a defect detection confirmation step in which determined defect detection information is received and confirmed, and a data management step in which the data collection unit collects and manages the determined defect detection information.
이상에서 첨부된 도면을 참조하여 본 발명을 설명함에 있어 특정형상 및 방향을 위주로 설명하였으나, 본 발명은 그 발명에 속하는 기술분야에서 통상의 지식을 가진 사람에 의하여 다양한 변형 및 변경이 가능하고, 이러한 변형 및 변경은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.In the above description of the present invention with reference to the attached drawings, the specific shape and direction have been mainly described. However, the present invention can be modified and modified in various ways by a person skilled in the art to which the invention pertains. Modifications and changes should be construed as being included in the scope of rights of the present invention.
Claims (10)
상기 촬영된 이미지를 수신하여 이미지에 포함된 노이즈를 제거하고, 노이즈 제거된 이미지 내 불량 요소를 제거 후 정상 요소만으로 구성된 이미지 구축을 수행하여 객체 불량 검출을 판별하기 위한 불량 검출 판별부;
상기 판별된 불량 검출 정보를 수신하여 확인하기 위한 작업자 단말기; 및
상기 판별된 불량 검출 정보를 수집하여 관리하기 위한 데이터 수집부;를 포함하며,
상기 불량 검출 판별부는,
이미지의 노이즈를 제거하고 정상 요소만으로 구성된 이미지 구축을 수행하기 위한 인공지능 기반 학습 모델; 및
상기 인공지능 기반 학습 모델 중 불량 인지 모델; 을 포함하며,
상기 인공지능 기반 학습 모델은 딥러닝(Deep Learning)을 기반으로 구성되며,
상기 불량 인지 모델은,
노이즈 제거된 이미지를 기초로 전체 이미지 중 미리 설정된 크기의 픽셀을 이미지로 변환 후, 변환한 이미지를 미리 설정된 횟수에 걸쳐 입력 및 출력 사이즈가 동일하지 않은 각각의 3x3 커널의 영역에서 불량 요소에 대응하는 각각의 패치를 제거 및 복원하고, 정상 요소만 있는 이미지로 구축하여 노이즈만 제거된 이미지와의 비교를 통해 불량 검출 판별을 수행하며,
각 패치 영역별로 복원된 이미지와 해당 패치 영역과의 차이를 구하여 상기 차이를 이상 점수로 산정하고, 상기 이상 점수가 미리 설정된 임계값을 초과하는 영역을 불량 영역으로 판정하여 원본 이미지 위에 마스킹함으로써, 해당 영역을 불량 영역으로 표기하는 것을 특징으로 하는,
인공지능 기반의 시각지능을 활용한 비전 검사에 따른 불량 검출 통합 제어 시스템.
Object image photographing means for photographing an image of an object;
a defect detection determination unit for receiving the captured image, removing noise included in the image, removing defective elements in the noise-removed image, and then constructing an image consisting of only normal elements to determine whether an object is defective;
a worker terminal for receiving and confirming the determined defect detection information; and
It includes a data collection unit for collecting and managing the determined defect detection information,
The defect detection and determination unit,
An artificial intelligence-based learning model to remove noise from images and build images consisting of only normal elements; and
A poor recognition model among the artificial intelligence-based learning models; Includes,
The artificial intelligence-based learning model is constructed based on deep learning,
The defective cognitive model is,
Based on the noise-removed image, pixels of a preset size among the entire image are converted into images, and then the converted image is converted to a defective element in each 3x3 kernel area where the input and output sizes are not the same over a preset number of times. Each patch is removed and restored, an image with only normal elements is constructed, and defective detection is determined through comparison with an image from which only noise has been removed.
The difference between the restored image and the corresponding patch area is calculated for each patch area, the difference is calculated as an abnormality score, and the area where the abnormality score exceeds a preset threshold is determined to be a defective area and masked on the original image, Characterized by marking the area as a defective area,
An integrated control system for defect detection based on vision inspection using artificial intelligence-based visual intelligence.
상기 불량 검출 판별부는,
수집되는 불량 검출 정보를 대상 객체에 따라 분류하여 각각의 객체에 대응되는 불량 검출 비율을 산출하는 것을 특징으로 하는,
인공지능 기반의 시각지능을 활용한 비전 검사에 따른 불량 검출 통합 제어 시스템.
In claim 1,
The defect detection and determination unit,
Characterized by classifying the collected defect detection information according to the target object and calculating the defect detection rate corresponding to each object.
An integrated control system for defect detection based on vision inspection using artificial intelligence-based visual intelligence.
상기 불량 검출 판별부는,
대상 객체에 따른 분류로써, 이종 소재 조립 부품에 대해 각 부품에 대응되는 객체에 따라 분류하는 것을 특징으로 하는,
인공지능 기반의 시각지능을 활용한 비전 검사에 따른 불량 검출 통합 제어 시스템.
In claim 2,
The defect detection and determination unit,
Classification according to the target object, characterized in that dissimilar material assembly parts are classified according to the object corresponding to each part,
An integrated control system for defect detection based on vision inspection using artificial intelligence-based visual intelligence.
상기 불량 검출 판별부는,
수신된 촬영 이미지가 영상인 경우, 해당 영상을 연속하는 이미지로 구성하는 것을 특징으로 하는,
인공지능 기반의 시각지능을 활용한 비전 검사에 따른 불량 검출 통합 제어 시스템.
In claim 1,
The defect detection and determination unit,
When the received captured image is a video, the video is composed of continuous images,
An integrated control system for defect detection based on vision inspection using artificial intelligence-based visual intelligence.
상기 불량 검출 판별부는,
노이즈 제거된 이미지에 기초하여 일관된 형태의 색감으로 구성된 이미지 획득을 추가로 수행하는 것을 특징으로 하는,
인공지능 기반의 시각지능을 활용한 비전 검사에 따른 불량 검출 통합 제어 시스템.
In claim 1,
The defect detection and determination unit,
Characterized by additionally acquiring an image with a consistent color based on the noise-removed image,
An integrated control system for defect detection based on vision inspection using artificial intelligence-based visual intelligence.
상기 불량 검출 판별부는,
인공지능 기반 학습모델 중 노이즈 제거 모델을 포함하고,
노이즈 제거 모델은 촬영 이미지에 대한 특징을 학습하고 해당 학습된 특징을 제외한 부분을 노이즈로 판별하여 노이즈 제거를 수행하는 것을 특징으로 하는,
인공지능 기반의 시각지능을 활용한 비전 검사에 따른 불량 검출 통합 제어 시스템.In claim 1,
The defect detection and determination unit,
Includes a noise removal model among artificial intelligence-based learning models,
The noise removal model is characterized in that it learns the features of the captured image, determines the part excluding the learned features as noise, and performs noise removal.
An integrated control system for defect detection based on vision inspection using artificial intelligence-based visual intelligence.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210076777A KR102674064B1 (en) | 2021-06-14 | 2021-06-14 | Defect detection integrated control system based on vision inspection using artificial intelligence-based visual intelligence |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210076777A KR102674064B1 (en) | 2021-06-14 | 2021-06-14 | Defect detection integrated control system based on vision inspection using artificial intelligence-based visual intelligence |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220167826A KR20220167826A (en) | 2022-12-22 |
| KR102674064B1 true KR102674064B1 (en) | 2024-06-12 |
Family
ID=84578285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210076777A KR102674064B1 (en) | 2021-06-14 | 2021-06-14 | Defect detection integrated control system based on vision inspection using artificial intelligence-based visual intelligence |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102674064B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117078689B (en) * | 2023-10-17 | 2024-01-30 | 沈阳宏远电磁线股份有限公司 | Cable defect identification method and system based on machine vision |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020031984A1 (en) * | 2018-08-08 | 2020-02-13 | Ｂｌｕｅ Ｔａｇ株式会社 | Component inspection method and inspection system |
| JP2021022257A (en) * | 2019-07-30 | 2021-02-18 | 三菱パワー株式会社 | Inspection support system, server device, inspection support method, and inspection support program |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100459893B1 (en) | 2002-01-08 | 2004-12-04 | 삼성전자주식회사 | Method and apparatus for color-based object tracking in video sequences |
| KR20140095333A (en) | 2013-01-24 | 2014-08-01 | 한남대학교 산학협력단 | Method and apparratus of tracing object on image |
-
2021
- 2021-06-14 KR KR1020210076777A patent/KR102674064B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020031984A1 (en) * | 2018-08-08 | 2020-02-13 | Ｂｌｕｅ Ｔａｇ株式会社 | Component inspection method and inspection system |
| JP2021022257A (en) * | 2019-07-30 | 2021-02-18 | 三菱パワー株式会社 | Inspection support system, server device, inspection support method, and inspection support program |
Non-Patent Citations (1)
| Title |
|---|
| PCB Defect Detection Using Denoising Convolutional Autoencoders, MVIP, 2020.02. |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220167826A (en) | 2022-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022161286A1 (en) | Image detection method, model training method, device, medium, and program product | |
| US10776659B2 (en) | Systems and methods for compressing data | |
| US8463025B2 (en) | Distributed artificial intelligence services on a cell phone | |
| KR102519085B1 (en) | Method and apparatus of multi-frame super resolution robust to local and global motion | |
| KR102674065B1 (en) | Defect detection system and method through image completion based on artificial intelligence-based denoising | |
| US11704563B2 (en) | Classifying time series image data | |
| CN108898562B (en) | Mobile equipment image defogging method based on deep learning | |
| CN113066017A (en) | Image enhancement method, model training method and equipment | |
| CN111401349A (en) | Face temperature measurement method and device, electronic equipment and storage medium | |
| CN111833369A (en) | Alum image processing method, system, medium and electronic device | |
| WO2018120082A1 (en) | Apparatus, method and computer program product for deep learning | |
| Cavigelli et al. | Computationally efficient target classification in multispectral image data with Deep Neural Networks | |
| JP7351941B2 (en) | System and method for determining actions performed by objects in images | |
| CN108038473B (en) | Method and apparatus for outputting information | |
| Markman et al. | Learning in the dark: 3D integral imaging object recognition in very low illumination conditions using convolutional neural networks | |
| KR102674064B1 (en) | Defect detection integrated control system based on vision inspection using artificial intelligence-based visual intelligence | |
| Venkatesvara Rao et al. | Real-time video object detection and classification using hybrid texture feature extraction | |
| CN110942097A (en) | Imaging-free classification method and system based on single-pixel detector | |
| Chen et al. | Mobile imaging and computing for intelligent structural damage inspection | |
| CN115497152A (en) | Customer information analysis method, device, system and medium based on image recognition | |
| KR20220128192A (en) | Apparatus for detecting object using compound image and method thereof | |
| KR20220167827A (en) | Smart factory system capable of detecting defects based on artificial intelligence | |
| KR20220167825A (en) | Vision inspection system and method using artificial intelligence-based visual intelligence | |
| CN110619734A (en) | Information pushing method and device | |
| Htike et al. | Human Posture Recognition: Methodology and Implementation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |