KR102129459B1 - Method And Apparatus for Classifying Defective Electronic Component - Google Patents

Method And Apparatus for Classifying Defective Electronic Component Download PDF

Info

Publication number
KR102129459B1
KR102129459B1 KR1020180086511A KR20180086511A KR102129459B1 KR 102129459 B1 KR102129459 B1 KR 102129459B1 KR 1020180086511 A KR1020180086511 A KR 1020180086511A KR 20180086511 A KR20180086511 A KR 20180086511A KR 102129459 B1 KR102129459 B1 KR 102129459B1
Authority
KR
South Korea
Prior art keywords
lead
defect
package
region
area
Prior art date
Application number
KR1020180086511A
Other languages
Korean (ko)
Other versions
KR20200011714A (en
Inventor
박태형
류종현
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020180086511A priority Critical patent/KR102129459B1/en
Publication of KR20200011714A publication Critical patent/KR20200011714A/en
Application granted granted Critical
Publication of KR102129459B1 publication Critical patent/KR102129459B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Health & Medical Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Operations Research (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

전자부품 불량 분류 방법 및 장치를 개시한다.
본 실시예는 인쇄회로기판을 촬영한 PCB 이미지 내에서 영역 데이터를 이용해서 리드영역 영상과 패키지영역 영상을 분리하고, 리드영역 영상에 대한 리드 불량 판별 결과값과 패키지영역 영상에 대한 패키지 불량 판별 결과값을 각각 산출한 후 판별 결과를 종합하여 최종적인 분류 결과를 얻을 수 있는 전자부품 불량 분류 방법 및 장치를 제공한다.Disclosed is an electronic component defect classification method and apparatus.
In this embodiment, the lead region image and the package region image are separated using the region data in the PCB image photographed on the printed circuit board, and the lead failure discrimination result value for the lead region image and the package defect discrimination result for the package region image are separated. Provided is an electronic component defect classification method and apparatus capable of obtaining a final classification result by synthesizing discrimination results after calculating each value.

Figure R1020180086511
Figure R1020180086511

Description

전자부품 불량 분류 방법 및 장치{Method And Apparatus for Classifying Defective Electronic Component}Method and Apparatus for Classifying Defective Electronic Component

본 실시예는 PCB에서 이형 부품의 결함을 자동으로 판별하기 위한 시스템에 관한 것이다.This embodiment relates to a system for automatically discriminating defects in a molded part on a PCB.

이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.The contents described below merely provide background information related to the present embodiment, and do not constitute a prior art.

일반적으로 인쇄회로기판에 전자부품을 자동으로 조립하는 표면 실장 기술 라인에는 필수적으로 자동 광학 검사기가 포함되어 있다.In general, a surface mount technology line for automatically assembling electronic components on a printed circuit board essentially includes an automatic optical checker.

일반적인 자동 광학 검사기는 인쇄회로기판을 촬영한 PCB 이미지에서 여러가지 불량여부를 판별한다. 최근 4차 산업 혁명 스마트 팩토리의 확산에 따라 검사 장비의 성능과 생산성이 더욱 중요시되고 있다.A general automatic optical inspection machine determines whether various defects are in a PCB image taken by a printed circuit board. With the proliferation of the smart factory in the 4th industrial revolution, the performance and productivity of inspection equipment are becoming more important.

자동 광학 검사기에서 이용하는 자동 판별 기법이 등장하기 이전에는 사람의 육안에 의존한 수작업을 통하여 직접 불량을 판별하고 분류하는 방식으로 불량을 판별하였다. 하나의 PCB에는 보통 수백 개의 표면 실장 부품들이 장착되어 있으므로, 육안 분류 시에 작업자의 피로도가 증가하고, 그에 따른 오분류가 많이 발생할 수 밖에 없다.Prior to the introduction of the automatic discrimination technique used in automatic optical inspection machines, defects were discriminated by a method of directly identifying and classifying defects through manual work dependent on the human eye. Since one PCB is usually equipped with hundreds of surface-mounted components, the fatigue of the worker increases when visually classifying, and misclassification is inevitably caused.

따라서, PCB 내에 실장되는 전자부품에서 발생하는 여러가지 불량의 분류를 사용자가 직접 설정하고, 자동 광학 검사기 내에서 세분화되고, 정확한 분류 결과를 얻을 수 있는 기술을 필요로 한다.Accordingly, there is a need for a technique capable of manually setting the classification of various defects occurring in electronic components mounted in the PCB, subdividing in an automatic optical inspection machine, and obtaining accurate classification results.

본 실시예는 인쇄회로기판을 촬영한 PCB 이미지 내에서 영역 데이터를 이용해서 리드영역 영상과 패키지영역 영상을 분리하고, 리드영역 영상에 대한 리드 불량 판별 결과값과 패키지영역 영상에 대한 패키지 불량 판별 결과값을 각각 산출한 후 판별 결과를 종합하여 최종적인 분류 결과를 얻을 수 있는 전자부품 불량 분류 방법 및 장치를 제공하는 데 목적이 있다.In this embodiment, the lead region image and the package region image are separated using the region data in the PCB image photographed on the printed circuit board, and the lead failure discrimination result value for the lead region image and the package defect discrimination result for the package region image are separated. An object of the present invention is to provide an electronic component defect classification method and apparatus capable of obtaining a final classification result by synthesizing discrimination results after calculating each value.

본 실시예의 일 측면에 의하면, PCB 이미지, 리드영역 데이터, 패키지영역 데이터를 수신하고, 상기 PCB 이미지 상에서 부품영역을 구분하는 부품영역 구분부; 상기 리드영역 데이터를 기반으로 상기 부품영역 상에서 리드영역을 구분하는 리드영역 구분부; 상기 패키지영역 데이터를 기반으로 상기 부품영역 상에서 패키지영역을 구분하는 패키지영역 구분부; 상기 리드영역에 대한 불량 여부를 판별한 리드 판별 결과값을 생성하는 리드 불량 판별부; 상기 패키지영역에 대한 불량 여부를 판별한 패키지 판별 결과값을 생성하는 패키지 불량 판별부; 및 상기 리드 판별 결과값과 상기 패키지 판별 결과값을 기반으로 세부 불량 분류 결과를 생성하는 세부 불량 분류부를 포함하는 것을 특징으로 하는 전자부품 불량 분류장치를 제공한다.According to an aspect of the present embodiment, a component area divider for receiving PCB image, lead area data, and package area data, and classifying a component area on the PCB image; A lead area division unit for classifying lead areas on the part area based on the lead area data; A package area division unit for classifying a package area on the component area based on the package area data; A lead defect discrimination unit that generates a lead discrimination result value that determines whether the lead region is defective; A package defect determination unit that generates a package determination result value that determines whether the package area is defective; And a detailed defect classification unit generating a detailed defect classification result based on the lead discrimination result value and the package discrimination result value.

본 실시예의 다른 측면에 의하면, PCB 이미지, 리드영역 데이터, 패키지영역 데이터를 수신하고, 상기 PCB 이미지 상에서 부품영역을 구분하는 과정; 상기 리드영역 데이터를 기반으로 상기 부품영역 상에서 리드영역을 구분하는 과정; 상기 패키지영역 데이터를 기반으로 상기 부품영역 상에서 패키지영역을 구분하는 과정; 상기 리드영역에 대한 불량 여부를 판별한 리드 판별 결과값을 생성하는 과정; 상기 패키지영역에 대한 불량 여부를 판별한 패키지 판별 결과값을 생성하는 과정; 및 상기 리드 판별 결과값과 상기 패키지 판별 결과값을 기반으로 세부 불량 분류 결과를 생성하는 과정을 포함하는 것을 특징으로 하는 전자부품 불량 분류 방법을 제공한다.According to another aspect of this embodiment, the process of receiving the PCB image, lead area data, package area data, and classifying the component area on the PCB image; A process of classifying a lead area on the part area based on the lead area data; Classifying a package area on the part area based on the package area data; Generating a lead discrimination result value for determining whether the lead region is defective; Generating a package determination result value that determines whether the package area is defective; And generating a detailed defect classification result based on the lead discrimination result value and the package discrimination result value.

이상에서 설명한 바와 같이 본 실시예에 의하면, 인쇄회로기판을 촬영한 PCB 이미지 내에서 영역 데이터를 이용해서 리드영역 영상과 패키지영역 영상을 분리하고, 리드영역 영상에 대한 리드 불량 판별 결과값과 패키지영역 영상에 대한 패키지 불량 판별 결과값을 각각 산출한 후 판별 결과를 종합하여 최종적인 분류 결과를 얻을 수 있는 효과가 있다.As described above, according to the present embodiment, the lead region image and the package region image are separated using the region data in the PCB image photographed on the printed circuit board, and the lead defect determination result value and the package region for the lead region image are separated. It is possible to obtain a final classification result by synthesizing the discrimination results after calculating the result of determining the package defects for the images.

본 실시예에 의하면, PCB에 실장된 전자부품에서 발생하는 여러 가지 불량을 대분류를 사용자가 직접 설정하고, 자동 광학 검사기 내에서 세분화되고, 정확한 분류 결과를 얻을 수 있는 효과가 있다.According to this embodiment, there is an effect that a user can set a large category for various defects occurring in an electronic component mounted on a PCB, refine it in an automatic optical inspection machine, and obtain accurate classification results.

본 실시예에 의하면, PCB에 실장된 전자부품 이미지를 리드영역 영상과 패키지의 영역 영상을 나눠 학습하여 입력 이미지의 크기를 경량화하여, 입력 이미지에 따른 딥 러닝의 네트워크 구조가 간소화할 수 있는 효과가 있다., 간소화된 딥 러닝 네트워크 구조로 인해 학습 시간, 분류 시간을 단축할 수 있으며, 연산 부하를 감소시킬 수 있는 효과가 있다.According to this embodiment, the electronic component image mounted on the PCB is divided into a lead region image and a package region image to learn the size of the input image, thereby reducing the size of the input image and simplifying the network structure of deep learning according to the input image. Yes, due to the simplified deep learning network structure, it is possible to shorten the learning time and classification time, and has the effect of reducing the computational load.

도 1은 본 실시예에 따른 전자부품 불량 분류 시스템을 개략적으로 나타낸 도면이다.
도 2a, 2b, 2c, 2d는 본 실시예에 따른 다양한 전자부품 불량을 나타낸 도면이다.
도 3은 본 실시예에 따른 패키지영역과 리드영역을 나타낸 도면이다.
도 4는 본 실시예에 따른 전자부품 불량을 학습하는 방식을 나타낸 도면이다.
도 5는 본 실시예에 따른 복수의 판별 유닛에서 전자부품의 불량을 판별하는 방식을 나타낸 도면이다.
도 6은 본 실시예에 따른 전자부품 불량 분류 방법을 설명하기 위한 순서도이다.1 is a view schematically showing an electronic component defect classification system according to the present embodiment.
2A, 2B, 2C, and 2D are diagrams showing various electronic component defects according to the present embodiment.
3 is a view showing a package area and a lead area according to the present embodiment.
4 is a diagram illustrating a method of learning an electronic component defect according to the present embodiment.
5 is a diagram illustrating a method of determining a defect of an electronic component in a plurality of discrimination units according to the present embodiment.
6 is a flowchart illustrating a method for classifying electronic component defects according to the present embodiment.

이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, this embodiment will be described in detail with reference to the accompanying drawings.

도 1은 본 실시예에 따른 전자부품 불량 분류장치를 개략적으로 나타낸 도면이다.1 is a view schematically showing an electronic component defect classification apparatus according to the present embodiment.

본 실시예에 따른 전자부품 불량 분류장치(100)는 딥 러닝(Deep Learning)을 이용하여 PCB(Printed Circuit Board)에 실장된 전자부품의 불량 여부를 판별한다. 전자부품 불량 분류장치(100)는 PCB에 실장된 전자부품에 대응하는 부품영역(220)을 확인하고, 부품영역(220) 내의 리드(250)와 패키지(240)에 대응하는 각각의 영역(310, 320)으로 분할한다. 이후 전자부품 불량 분류장치(100)는 리드(250)의 불량 여부와 패키지(240)의 불량 여부를 판별하고, 불량에 대한 세부적인 내역을 정확하게 확인할 수 있다.The electronic component defect classification apparatus 100 according to the present embodiment determines whether electronic components mounted on a printed circuit board (PCB) are defective by using deep learning. The electronic component defect classification apparatus 100 identifies the component region 220 corresponding to the electronic component mounted on the PCB, and each region 310 corresponding to the lead 250 and the package 240 in the component region 220. , 320). Thereafter, the electronic component defect classification apparatus 100 may determine whether the lead 250 is defective and whether the package 240 is defective, and accurately check detailed details of the defect.

전자부품 불량 분류장치(100)는 PCB 내에 실장된 전자부품의 불량 여부를 세부적으로 정확하게 판별을 위해 하나의 판별기만을 이용하는 것이 아니라 다중 판별기(120, 130)를 이용하기 때문에 하나의 PCB에 실장된 전자부품에 복수의 불량이 발생하더라도 해당 불량들을 모두 정확하게 판별할 수 있다. 다시 말해, 전자부품 불량 분류장치(100)는 하나의 PCB 표면에 실장된 전자부품에 두 가지 이상의 불량이 발견되더라도 다중 판별기(120, 130)로 이용하여 각각의 불량을 확인할 수 있다.The electronic component defect classification apparatus 100 is mounted on one PCB because it uses multiple discriminators 120 and 130 instead of using only one discriminator to accurately determine whether electronic components mounted on the PCB are defective. Even if a plurality of defects occur in the electronic component, all the defects can be accurately determined. In other words, the electronic component defect classification apparatus 100 may check each defect by using the multiple discriminators 120 and 130 even when two or more defects are found in the electronic component mounted on one PCB surface.

본 실시예에 따른 전자부품 불량 분류장치(100)는 표면실장장치(SMD: Surface Mounting Device)에서 표면 실장 검사를 위한 자동광학검사기(AOI, Automated Optical Inspection machine)에 적용되는 것이 바람직하다. The electronic component defect classification apparatus 100 according to the present embodiment is preferably applied to an Automated Optical Inspection machine (AOI) for surface mount inspection in a Surface Mounting Device (SMD).

표면실장장치(SMD)는 PCB에 표면 실장 부품(SMC: Surface Mounted Components)을 장착하는데 기계 장비를 의미한다. 표면실장장치(SMD)는 PCB 위의 부품을 실장하는 장치로서, 최근 기술의 발달로 인해 기판에 탑재할 수 있는 표면 실장 부품의 수도 증가하고 있다.The surface mount device (SMD) refers to a mechanical device for mounting a surface mounted component (SMC) on a PCB. The surface mount device (SMD) is a device for mounting components on a PCB, and the number of surface mount components that can be mounted on a substrate is increasing due to recent developments in technology.

자동광학검사기(AOI)는 PCB의 전자부품 조립 상태를 자동으로 검사하는 장비를 의미한다. 자동광학검사기(AOI)는 카메라로부터 PCB 이미지를 획득하여, PCB에 실장된 각 부품의 조립 불량 여부를 판정한다. Automatic Optical Inspection Machine (AOI) refers to the equipment that automatically inspects the assembly status of electronic components on the PCB. The automatic optical inspection machine (AOI) acquires a PCB image from the camera and determines whether or not assembly of each component mounted on the PCB is defective.

PCB 조립라인은 스마트폰, 스마트카 등 각종 IT 제품의 핵심 제조 공정으로서 그 수요가 날로 증가하고 있으며, 스마트팩토리 확산에 따라 자동광학검사기(AOI)의 성능이 중요시 되고 있다. 전자부품 불량 분류장치(100)는 표면 실장 부품검사의 질을 향상시키며 학습에 필요한 데이터의 부담을 줄여준다.The PCB assembly line is a key manufacturing process for various IT products such as smart phones and smart cars, and the demand is increasing day by day. As the smart factory spreads, the performance of the automatic optical inspection (AOI) is becoming important. The electronic component defect classification device 100 improves the quality of surface-mounted component inspection and reduces the burden of data required for learning.

본 실시예에 따른 전자부품 불량 분류장치(100)는 영상 분리부(110), 리드 불량 판별부(120), 패키지 불량 판별부(130), 세부 불량 분류부(140)를 포함한다. 전자부품 불량 분류장치(100)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.The electronic component defect classification apparatus 100 according to the present exemplary embodiment includes an image separation unit 110, a lead defect determination unit 120, a package defect determination unit 130, and a detailed defect classification unit 140. The components included in the electronic component defect classification apparatus 100 are not necessarily limited thereto.

전자부품 불량 분류장치(100)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.Each component included in the electronic component defect classification device 100 may be connected to a communication path connecting a software module or a hardware module inside the device to operate organically with each other. These components communicate using one or more communication buses or signal lines.

도 1에 도시된 전자부품 불량 분류장치(100)의 각 구성요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.Each component of the electronic component defect classification apparatus 100 shown in FIG. 1 refers to a unit that processes at least one function or operation, and may be implemented by a software module, a hardware module, or a combination of software and hardware. .

영상 분리부(110)는 부품영역 구분부(112), 리드영역 구분부(114) 및 패키지영역 구분부(116)를 포함한다.The image separation unit 110 includes a component area division unit 112, a lead area division unit 114, and a package area division unit 116.

부품영역 구분부(112)는 별도의 카메라로부터 촬영된 PCB 이미지(210)를 수신한다. 부품영역 구분부(112)는 기 저장된 DB 또는 외부장치로부터 리드영역 데이터, 패키지영역 데이터를 수신한다.The component area division unit 112 receives the PCB image 210 taken from a separate camera. The component area division unit 112 receives lead area data and package area data from a pre-stored DB or an external device.

리드영역 데이터는 리드 개수, 하나 이상의 리드에 대한 넓이, 높이, 치수 및 좌표값 중 적어도 하나의 정보를 포함한다. 패키지영역 데이터는 패키지에 대한 넓이, 높이, 치수 및 좌표값 중 적어도 하나의 정보를 포함한다.The lead area data includes at least one of the number of leads, the width, height, dimensions and coordinate values for one or more leads. The package area data includes at least one of a width, height, dimension, and coordinate value for the package.

부품영역 구분부(112)는 리드영역 데이터와 패키지영역 데이터를 기반으로 PCB 이미지(210) 상에서 부품영역(220)을 구분한다. The component region division unit 112 divides the component region 220 on the PCB image 210 based on the lead region data and the package region data.

부품영역 구분부(112)는 리드영역 데이터에 포함된 리드 각각의 좌표값과 패키지영역 데이터에 포함된 패키지에 대한 좌표값을 기반으로 PCB 이미지(210) 상에서 부품영역(220)을 구분한다.The component area division unit 112 distinguishes the component area 220 on the PCB image 210 based on the coordinate values of each lead included in the lead area data and the package value included in the package area data.

리드영역 구분부(114)는 리드영역 데이터를 기반으로 부품영역(220) 상에서 리드영역(320)을 구분한다. The lead area divider 114 divides the lead area 320 on the part area 220 based on the lead area data.

리드영역 구분부(114)는 리드영역 데이터에 포함된 리드 개수, 리드 각각에 대한 넓이, 높이, 치수 및 좌표값 중 적어도 하나의 정보를 이용하여 부품영역(220) 상에서 리드영역(320)을 구분한다. 리드영역 구분부(114)는 패키지영역(310)을 기준으로 리드영역(320)을 상측 리드영역(324), 하측 리드영역(322), 좌측 리드영역(328), 우측 리드영역(326)을 구분한다.The lead area division unit 114 divides the lead area 320 on the part area 220 by using at least one of the number of leads included in the lead area data, the width, height, dimensions, and coordinate values for each lead. do. The lead region dividing unit 114 uses the lead region 320 as the upper lead region 324, the lower lead region 322, the left lead region 328, and the right lead region 326 based on the package region 310. To distinguish.

패키지영역 구분부(116)는 패키지영역 데이터를 기반으로 부품영역(220) 상에서 패키지영역을 구분한다. 패키지영역 구분부(116)는 패키지영역 데이터에 포함된 패키지(240)에 대한 넓이, 높이, 치수 및 좌표값 중 적어도 하나의 정보를 이용하여 부품영역(220) 상에서 패키지영역(310)을 구분한다.The package area division unit 116 divides the package area on the component area 220 based on the package area data. The package area division unit 116 classifies the package area 310 on the component area 220 using at least one of a width, height, dimension, and coordinate value of the package 240 included in the package area data. .

리드 불량 판별부(120)는 리드영역(320)에 대한 불량 여부를 판별한 리드 판별 결과값을 생성한다. 리드 불량 판별부(120)는 리드영역 구분부(114)에서 구분한 상측 리드영역(324), 하측 리드영역(322), 좌측 리드영역(328), 우측 리드영역(326) 각각에 대한 불량 여부를 판별한 리드 판별 결과값을 생성한다.The lead defect determining unit 120 generates a lead discrimination result value that determines whether or not the lead region 320 is defective. The lead defect determining unit 120 determines whether the upper lead region 324, the lower lead region 322, the left lead region 328, and the right lead region 326 separated by the lead region division unit 114 are defective. A lead discrimination result value is determined.

리드 불량 판별부(120)는 PCB 이미지(210) 중 리드영역(320)에 대응하는 리드영역 이미지를 RGB 채널로 분리한다. 리드 불량 판별부(120)는 RGB 채널 각각을 CNN(Convolutional Neural Network)으로 입력하여 각 리드에 대한 틀어짐 불량 점수, 회전 불량 점수, 미삽입 불량 점수 및 연납 불량 점수 중 하나 이상의 리드 불량 점수를 산출한다. 리드 불량 판별부(120)는 리드 불량 점수 중 가장 높은 점수를 갖는 리드 불량을 리드 불량 판별값(리드 불량 판별값1 내지 리드 불량 판별값n)으로 출력한다.The lead defect determining unit 120 separates the lead region image corresponding to the lead region 320 from the PCB image 210 into RGB channels. The lead failure determining unit 120 inputs each of the RGB channels to a convolutional neural network (CNN) to calculate one or more lead failure scores of a defect defect score, a rotation defect score, an uninserted defect score, and an annual failure score for each lead. . The lead failure determining unit 120 outputs a lead failure having the highest score among the lead failure scores as a lead failure determination value (lead failure determination value 1 to lead failure determination value n).

패키지 불량 판별부(130)는 패키지영역에 대한 불량 여부를 판별한 패키지 판별 결과값을 생성한다. The package defect determination unit 130 generates a package determination result value that determines whether or not the package area is defective.

패키지 불량 판별부(130)는 PCB 이미지(210) 중 패키지영역(310)에 대응하는 패키지영역 이미지를 RGB 채널로 분리한다. 패키지 불량 판별부(130)는 RGB 채널 각각을 CNN으로 입력하여 각 패키지에 대한 깨짐 불량 점수, 이물질 불량 점수, 미삽입 불량 점수 및 회전 불량 점수 중 하나 이상의 패키지 불량 점수를 산출한다. 패키지 불량 판별부(130)는 패키지 불량 점수 중 가장 높은 점수를 갖는 패키지 불량을 패키지 불량 판별값(리드 불량 판별값1 내지 리드 불량 판별값n)으로 출력한다.The package defect determining unit 130 separates the package region image corresponding to the package region 310 from the PCB image 210 into RGB channels. The package defect determining unit 130 inputs each of the RGB channels as a CNN to calculate a package defect score of one or more of a broken defect score, a foreign substance defect score, an uninserted defect score, and a rotation defect score for each package. The package defect determining unit 130 outputs the package defect having the highest score among the package defect scores as a package defect determination value (lead failure determination value 1 to lead failure determination value n).

세부 불량 분류부(140)는 리드 판별 결과값과 패키지 판별 결과값을 기반으로 세부 불량 분류 결과를 생성한다. The detailed defect classification unit 140 generates a detailed defect classification result based on the lead determination result value and the package determination result value.

세부 불량 분류부(140)는 리드 불량 판별부(120)로부터 리드 판별 결과값에 대응하는 리드 불량 판별값1 내지 리드 불량 판별값n을 수신한다. 세부 불량 분류부(140)는 패키지 불량 판별부(130)로부터 패키지 판별 결과값에 대응하는 패키지 불량 판별값1 내지 패키지 불량 판별값m을 수신한다.The detailed defect classification unit 140 receives the lead failure determination value 1 to the lead failure determination value n corresponding to the lead determination result value from the lead failure determination unit 120. The detailed failure classification unit 140 receives the package failure determination value 1 to the package failure determination value m corresponding to the package determination result value from the package failure determination unit 130.

세부 불량 분류부(140)는 리드 불량 판별값1 내지 리드 불량 판별값n, 패키지 불량 판별값1 내지 패키지 불량 판별값m을 서포트 벡터 머신(SVM: Support Vector Machine)에 적용하여 세부 불량 분류 결과를 출력한다.The detailed defect classification unit 140 applies the detailed defect classification result to the support vector machine (SVM) by applying the lead failure discrimination value 1 to the lead failure discrimination value n and the package defect discrimination value 1 to the package defect discrimination value m. Output.

서포트 벡터 머신(SVM: Support Vector Machine)은 기계 학습의 분야 중 하나로 패턴 인식, 자료 분석을 위한 지도 학습 모델을 의미한다. 서포트 벡터 머신(SVM)은 주어진 데이터 집합을 바탕으로 새로운 데이터가 어느 종류에 속할지 판단하는 선형 분류 모델을 생성한다. 서포트 벡터 머신(SVM)은 만들어진 분류 모델로 데이터들의 공간에서 경계를 만들게 되는데 데이터 사이의 마진이 가장 크게 나타내게 하는 영역을 경계로 만든다.Support Vector Machine (SVM) is one of the fields of machine learning and refers to a supervised learning model for pattern recognition and data analysis. The support vector machine (SVM) generates a linear classification model that determines which kind of new data belongs to based on a given data set. The support vector machine (SVM) is a classification model that is created to create a boundary in the space of data. The boundary is the area that makes the margin between data the largest.

도 2a, 2b, 2c, 2d는 본 실시예에 따른 다양한 전자부품 불량을 나타낸 도면이다.2A, 2B, 2C, and 2D are diagrams showing various electronic component defects according to the present embodiment.

도 2a에 도시된 바와 같이, 전자부품 불량 분류장치(100)는 촬영장치로부터 인쇄회로기판을 촬영한 PCB 이미지(210)를 입력받는다. PCB 내에는 다양한 전자부품이 실장된다.As shown in FIG. 2A, the electronic component defect classification apparatus 100 receives a PCB image 210 photographing a printed circuit board from a photographing apparatus. Various electronic components are mounted in the PCB.

전자부품 불량 분류장치(100)는 영상 분리부(110)로 입력된 리드영역 데이터, 패키지영역 데이터를 이용하여 PCB 내에 실장된 다양한 전자부품을 확인한다. The electronic component defect classification apparatus 100 checks various electronic components mounted in the PCB using the lead region data and the package region data input to the image separation unit 110.

전자부품 불량 분류장치(100)는 패키지영역 데이터에 포함된 패키지영역에 대한 넓이, 높이, 치수 및 좌표값 중 적어도 하나의 정보를 이용하여 PCB 내에 실장된 다양한 전자부품의 패키지영역(310)을 확인한다.The electronic component defect classification apparatus 100 checks the package region 310 of various electronic components mounted in the PCB using at least one of the width, height, dimension, and coordinate values of the package region included in the package region data. do.

전자부품 불량 분류장치(100)는 리드영역 데이터에 포함된 리드영역에 대한 넓이, 높이, 치수 및 좌표값 중 적어도 하나의 정보를 이용하여 PCB 내에 실장된 다양한 전자부품의 리드영역(320)을 확인한다.The electronic component defect classification apparatus 100 checks the lead regions 320 of various electronic components mounted in the PCB using at least one of the width, height, dimension, and coordinate values of the lead regions included in the lead region data. do.

도 2b에 도시된 바와 같이, PCB에 실장되는 일반적인 RLC 부품과 이형 부품이 존재한다. 도 2b의 (a)에 도시된 바와 같이, RLC 부품은 패드(230)와 패키지(240)를 포함한다. RLC 부품은 리드(250)를 미포함한다.As shown in FIG. 2B, there are general RLC components and release components mounted on a PCB. As shown in FIG. 2B (a), the RLC component includes a pad 230 and a package 240. The RLC component does not include leads 250.

도 2b의 (b)에 도시된 바와 같이, 이형 부품은 패드(230), 패키지(240), 리드(250), 접합부(260)를 포함한다. 도 2b의 (b)에 도시된 이형 부품은 일반적인 RLC 부품과 달리 패키지 형태와 크기가 일정하지 않고 복수 개의 리드(250)를 포함한다. 이형 부품에 포함되는 리드(250)에서는 틀어짐, 회전, 미삽입, 연납(납땜) 등으로 인한 불량이 발생한다.As shown in (b) of Figure 2b, the release component includes a pad 230, a package 240, a lead 250, a junction 260. The release component shown in FIG. 2B (b), unlike the general RLC component, does not have a uniform package shape and size, and includes a plurality of leads 250. In the lead 250 included in the release component, defects due to twisting, rotation, non-insertion, and soldering (soldering) occur.

도 2c에 도시된 바와 같이, PCB에 실장되는 이형 부품을 실장할 때 리드(250)의 틀어짐이 발생할 수 있다. 다시 말해, 패드(230)의 각도와 리드(250)의 각도는 일정하지만 패드(230) 영역에서 리드(250)가 벗어나는 불량이 발생한다. 또한, 패드(230)의 각도와 리드(250)의 각도가 크게 엇나가며 접합부(260)와 리드(250)가 벗어나는 불량이 발생한다. 또한, PCB에 실장되는 부품영역(220)에 해당 부품이 실장 되지 않는 경우에도 불량이 발생한다. 또한, 패드(230) 영역에만 납이 묻어야 하는 데, 납이 과다 투입되는 경우 리드(250)와 리드(250) 사이가 연결되는 경우 불량이 발생한다.As shown in FIG. 2C, when the molded part mounted on the PCB is mounted, the lead 250 may be distorted. In other words, the angle of the pad 230 and the angle of the lead 250 are constant, but a defect in which the lead 250 deviates from the pad 230 region occurs. In addition, the angle of the pad 230 and the angle of the lead 250 greatly deviate, and a defect in which the junction 260 and the lead 250 deviate occurs. In addition, even when the component is not mounted in the component region 220 mounted on the PCB, a defect occurs. In addition, lead should only be buried in the area of the pad 230, but when lead is excessively charged, a defect occurs when the lead 250 is connected between the lead 250.

도 2d에 도시된 바와 같이, PCB에 실장되는 이형 부품의 패키지 내에 불량이 발생할 수 있다. 패키지 불량 종류로서는 대표적으로 깨짐, 이물질, PCB에 실장되는 부품영역(220)에 해당 부품이 실장 되지 않는 경우, 패드(230)의 각도와 패키지(240)의 각도가 크게 엇나가며 접합부(260)에서 패키지(240)가 벗어나는 경우 등이 있다.As shown in FIG. 2D, defects may occur in a package of a molded part mounted on a PCB. As a package defect type, when the corresponding component is not mounted in a component area 220 mounted on a crack, a foreign material, or a PCB, the angle of the pad 230 and the angle of the package 240 are largely displaced, and the junction 260 In some cases, the package 240 is out of order.

다시 말해, PCB에 전자부품 실장 시에 이미 훼손되어 있는 부품을 실장하거나, 실장 후 어떠한 큰 충격을 받아서 부품이 깨지는 경우 불량이 발생한다. PCB에 실장되는 부품영역(220)에 표시된 부품뿐만 아니라 다른 물질들이 함께 실장되어있는 경우에도 불량이 발생한다.In other words, when an electronic component is mounted on a PCB, a component that is already damaged is mounted, or a defect occurs when the component is broken due to a large impact after mounting. A defect occurs in the case where not only the components displayed on the component region 220 mounted on the PCB but also other materials are mounted together.

도 3은 본 실시예에 따른 패키지영역과 리드영역을 나타낸 도면이다.3 is a view showing a package area and a lead area according to the present embodiment.

전자부품 불량 분류장치(100)는 PCB 이미지(210)로부터 리드영역 데이터, 패키지영역 데이터를 기반으로 부품영역(220)에 대응하는 부품영역 이미지를 분리한다.The electronic component defect classification apparatus 100 separates the component region image corresponding to the component region 220 from the PCB image 210 based on the lead region data and the package region data.

전자부품 불량 분류장치(100)는 부품영역(220)에 대응하는 부품영역 이미지 중 리드영역 데이터를 기반으로 리드영역(320)에 대응하는 리드영역 이미지만을 추출한다. 전자부품 불량 분류장치(100)는 부품영역(220)에 대응하는 부품영역 이미지 중 패키지영역 데이터를 기반으로 패키지영역(310)에 대응하는 패키지영역 이미지만을 추출한다. The electronic component defect classification apparatus 100 extracts only the lead region image corresponding to the lead region 320 based on the lead region data among the component region images corresponding to the component region 220. The electronic component defect classification apparatus 100 extracts only the package region image corresponding to the package region 310 based on the package region data among the component region images corresponding to the component region 220.

전자부품 불량 분류장치(100)는 부품영역(220)을 식별한 후 리드영역 데이터, 패키지영역 데이터를 기반으로 추출된 리드와 패키지에 대한 좌표값을 PCB 이미지(210) 상에 적용하면 도 3에 도시된 바와, 같이 부품영역(220)을 패키지영역(310)과 리드영역(320)으로 구분할 수 있다.When the electronic component defect classification apparatus 100 identifies the component region 220 and applies the coordinate values for the leads and packages extracted based on the lead region data and the package region data on the PCB image 210, FIG. As illustrated, the component region 220 may be divided into a package region 310 and a lead region 320.

리드영역(320)은 도 3에 도시된 바와 같이 이형 부품의 리드 방향별로 분류하여 영상 추출 시 예컨대, 4개의 리드영역(하측 리드영역(322), 상측 리드영역(324), 우측 리드영역(326), 좌측 리드영역(328))으로 구분할 수 있다.As shown in FIG. 3, the lead area 320 is classified by the lead direction of the molded part, and when extracting an image, for example, four lead areas (lower lead area 322, upper lead area 324, right lead area 326) ), and the left lead region 328).

도 4는 본 실시예에 따른 전자부품 불량을 학습하는 방식을 나타낸 도면이다.4 is a diagram illustrating a method of learning an electronic component defect according to the present embodiment.

전자부품 불량 분류장치(100)는 PCB 이미지(210)를 획득한 후 PCB 이미지(210)로부터 부품영역(220)을 확인한다. 전자부품 불량 분류장치(100)는 부품영역(220)으로부터 리드영역(320)과 패키지영역(310)을 구분한다. 전자부품 불량 분류장치(100)는 리드영역(320)과 패키지영역(310) 각각에 대한 불량 여부를 판별한다. 다시 말해, 전자부품 불량 분류장치(100)는 부품영역(220) 내에서 구분된 리드영역(320)에 대한 리드 불량과 패키지영역(310)에 대한 패키지 불량을 판별한다. The electronic component defect classification apparatus 100 acquires the PCB image 210 and then checks the component area 220 from the PCB image 210. The electronic component defect classification apparatus 100 distinguishes the lead region 320 and the package region 310 from the component region 220. The electronic component defect classification apparatus 100 determines whether the lead region 320 and the package region 310 are defective. In other words, the electronic component defect classification apparatus 100 determines the lead failure for the lead region 320 divided within the component region 220 and the package failure for the package region 310.

전자부품 불량 분류장치(100)는 리드영역(320)에 대한 리드 불량과 패키지영역(310)에 대한 패키지 불량을 판별하기 위해 분류 네트워크로서 CNN(Convolutional Neural Network)을 이용한다. 분류 네트워크는 인공 신경망으로서 입력층, 출력층과 여러 개의 컨볼루션 층으로 구성되며, 각 층에는 뉴런과 같은 필터(Filter)들이 존재한다.The electronic component defect classification apparatus 100 uses a convolutional neural network (CNN) as a classification network to determine lead defects in the lead region 320 and package defects in the package region 310. The classification network is an artificial neural network, and consists of an input layer, an output layer, and several convolution layers, and filters such as neurons exist in each layer.

전자부품 불량 분류장치(100)는 CNN에 입력하는 입력 이미지로서 리드영역(320)에 대응하는 리드영역 이미지와 패키지영역(310)에 대응하는 패키지영역 이미지를 입력한다.The electronic component defect classification apparatus 100 inputs a lead region image corresponding to the lead region 320 and a package region image corresponding to the package region 310 as an input image input to the CNN.

전자부품 불량 분류장치(100)는 리드영역 이미지와 패키지영역 이미지 각각을 3개 채널(RGB 채널)로 분할한 후 딥 인공 신경망중 하나인 CNN로 입력한다. 전자부품 불량 분류장치(100)는 리드영역 이미지와 패키지영역 이미지를 내부 인공신경망의 연산에 따라 불량 종류당 점수를 산출한다. 전자부품 불량 분류장치(100)는 불량 종류당 점수를 각각 확인하여 가장 높은 점수를 갖는 불량 종류를 최종불량 결과로서 출력한다.The electronic component defect classification apparatus 100 divides each of the lead region image and the package region image into three channels (RGB channel) and inputs them to CNN, which is one of the deep artificial neural networks. The electronic component defect classification apparatus 100 calculates a score per type of defect according to the calculation of an internal artificial neural network for a lead region image and a package region image. The electronic component defect classification apparatus 100 checks each score for each defect type and outputs the defect type having the highest score as the final defect result.

전자부품 불량 분류장치(100)는 리드영역 이미지를 내부 인공신경망(예컨대, CNN)에 입력하고 연산에 따라 리드에 대한 틀어짐 불량, 회전 불량, 미삽입 불량, 연납 불량별로 점수를 출력한다. 전자부품 불량 분류장치(100)는 리드에 대한 틀어짐 불량 점수, 회전 불량 점수, 미삽입 불량 점수, 연납 불량 점수 중 가장 높은 점수를 받은 불량을 최종불량 결과로서 출력한다.The electronic component defect classification apparatus 100 inputs a lead region image into an internal artificial neural network (for example, CNN) and outputs scores for each of the defects, rotation defects, non-insertion defects, and lead defects for the leads according to calculation. The electronic component defect classification apparatus 100 outputs the defect having the highest score among the defect defect score, rotation defect score, uninserted defect score, and lead failure score for the lead as a final defect result.

전자부품 불량 분류장치(100)는 패키지영역 이미지를 내부 인공신경망(예컨대, CNN)에 입력하고 연산에 따라 패키지에 대한 깨짐 불량, 이물질 불량, 미삽입 불량, 회전 불량별로 점수를 출력한다. 전자부품 불량 분류장치(100)는 패키지에 대한 깨짐 불량 점수, 이물질 불량 점수, 미삽입 불량 점수, 회전 불량 점수 중 가장 높은 점수를 받은 불량을 최종불량 결과로 출력한다.The electronic component defect classification apparatus 100 inputs a package region image into an internal artificial neural network (for example, CNN) and outputs scores according to calculation for each broken defect, foreign substance defect, uninserted defect, and rotation defect. The electronic component defect classification apparatus 100 outputs the defect having the highest score among the broken defect score, the foreign substance defect score, the non-inserted defect score, and the rotation defect score for the package as the final defective result.

도 5는 본 실시예에 따른 복수의 판별 유닛에서 전자부품의 불량을 판별하는 방식을 나타낸 도면이다.5 is a diagram illustrating a method of determining a defect of an electronic component in a plurality of discrimination units according to the present embodiment.

도 5에 도시된 바와 같이, 전자부품 불량 분류장치(100)는 리드 불량 판별부(120)로부터 리드 불량 판별값1 내지 리드 불량 판별값n을 수신한다. 전자부품 불량 분류장치(100)는 패키지 불량 판별부(130)로부터 패키지 불량 판별값1 내지 패키지 불량 판별값n을 수신한다.As shown in FIG. 5, the electronic component defect classification apparatus 100 receives the lead failure determination value 1 to the lead failure determination value n from the lead failure determination unit 120. The electronic component defect classification apparatus 100 receives the package defect determination value 1 to the package defect determination value n from the package defect determination unit 130.

전자부품 불량 분류장치(100)는 리드 불량 판별값1 내지 리드 불량 판별값m, 패키지 불량 판별값1 내지 패키지 불량 판별값m을 종합적으로 고려하여 최종 불량 분류하여 최종 불량 분류 결과를 출력한다.The electronic component defect classification apparatus 100 comprehensively considers the lead failure discrimination value 1 to the lead failure discrimination value m and the package defect discrimination value 1 to the package defect discrimination value m to output the final defect classification result.

전자부품 불량 분류장치(100)는 최종 불량 분류 결과를 생성하기 전에 앞단 분류기(리드 불량 판별부(120), 패키지 불량 판별부(130))에서 판단한 점수와 판별 결과를 세부 불량 분류부(140)에서 서포트 벡터 머신(SVM)을 이용하여 최종 불량 여부를 판별한다.The electronic component defect classification apparatus 100 displays the scores and the determination results determined by the front end classifier (lead defect discrimination unit 120 and package defect discrimination unit 130) before generating the final defect classification result, and the detailed defect classification unit 140. The support vector machine (SVM) is used to determine the final defect.

전자부품 불량 분류장치(100)는 딥 러닝 인공신경망에서 출력되는 점수에 따른 분류 결과를 세부 불량 분류부(140)로 입력하여 최종 불량 여부를 결정하고, 결정된 최종 불량을 판별한다.The electronic component defect classification apparatus 100 inputs the classification result according to the score output from the deep learning artificial neural network into the detailed defect classification unit 140 to determine whether or not the final defect is present, and determines the determined final defect.

전자부품 불량 분류장치(100)는 사용자가 설정한 리드 불량의 소분류 개수 n개와 패키지 불량의 소분류 개수 m개의 점수를 세부 불량 분류부(140)로 입력하여 최종 불량 분류 결과를 출력한다.The electronic component defect classification apparatus 100 inputs the scores of n number of small classifications of lead defects and m number of small classifications of package defects set by the user to the detailed defect classification unit 140 to output a final defect classification result.

도 6은 본 실시예에 따른 전자부품 불량 분류 방법을 설명하기 위한 순서도이다.6 is a flowchart illustrating a method for classifying electronic component defects according to the present embodiment.

전자부품 불량 분류장치(100)는 별도의 카메라로부터 촬영된 PCB 이미지(210)를 수신하고, 기 저장된 DB 또는 외부장치로부터 리드영역 데이터, 패키지영역 데이터를 수신한다(S610). 단계 S610에서, 리드영역 데이터는 리드 개수, 하나 이상의 리드에 대한 넓이, 높이, 치수 및 좌표값 중 적어도 하나의 정보를 포함한다. 패키지영역 데이터는 패키지에 대한 넓이, 높이, 치수 및 좌표값 중 적어도 하나의 정보를 포함한다.The electronic component defect classification device 100 receives the PCB image 210 photographed from a separate camera, and receives lead area data and package area data from a pre-stored DB or external device (S610). In step S610, the lead area data includes information on at least one of the number of leads, the width, height, dimensions, and coordinate values for one or more leads. The package area data includes at least one of a width, height, dimension, and coordinate value for the package.

전자부품 불량 분류장치(100)는 리드영역 데이터와 패키지영역 데이터를 기반으로 PCB 이미지(210) 상에서 부품영역(220)을 구분한다(S620). 단계 S620에서, 전자부품 불량 분류장치(100)는 리드영역 데이터에 포함된 리드 각각의 좌표값과 패키지영역 데이터에 포함된 패키지에 대한 좌표값을 기반으로 PCB 이미지(210) 상에서 부품영역(220)을 구분한다.The electronic component defect classification apparatus 100 classifies the component region 220 on the PCB image 210 based on the lead region data and the package region data (S620). In step S620, the electronic component defect classification apparatus 100 based on the coordinate values of each lead included in the lead area data and the coordinate values for the package included in the package area data, the component area 220 on the PCB image 210. To distinguish.

전자부품 불량 분류장치(100)는 리드영역 데이터를 기반으로 부품영역(220) 상에서 리드영역(320)을 구분한다(S630). 단계 S630에서, 전자부품 불량 분류장치(100)는 리드영역 데이터에 포함된 리드 개수, 리드 각각에 대한 넓이, 높이, 치수 및 좌표값 중 적어도 하나의 정보를 이용하여 부품영역(220) 상에서 리드영역(320)을 구분한다. The electronic component defect classification apparatus 100 classifies the lead region 320 on the component region 220 based on the lead region data (S630). In step S630, the electronic component defect classification apparatus 100 uses the information on at least one of the number of leads included in the lead area data, the width, height, dimensions, and coordinate values for each lead area, to lead areas on the parts area 220. (320).

전자부품 불량 분류장치(100)는 패키지영역 데이터를 기반으로 부품영역(220) 상에서 패키지영역을 구분한다(S640). 단계 S640에서, 전자부품 불량 분류장치(100)는 패키지영역 데이터에 포함된 패키지(240)에 대한 넓이, 높이, 치수 및 좌표값 중 적어도 하나의 정보를 이용하여 부품영역(220) 상에서 패키지영역(310)을 구분한다.The electronic component defect classification apparatus 100 classifies the package region on the component region 220 based on the package region data (S640). In step S640, the electronic component defect classification apparatus 100 uses the information on at least one of the width, height, dimension, and coordinate values of the package 240 included in the package area data to determine the package area ( 310).

전자부품 불량 분류장치(100)는 리드영역(320)에 대한 불량 여부를 판별한 리드 판별 결과값을 생성한다(S650). The electronic component defect classification apparatus 100 generates a lead discrimination result value that determines whether or not the lead region 320 is defective (S650).

단계 S650에서, 리드 불량 판별부(120)는 PCB 이미지(210) 중 리드영역(320)에 대응하는 리드영역 이미지를 RGB 채널로 분리한다. 전자부품 불량 분류장치(100)는 RGB 채널 각각을 CNN으로 입력하여 각 리드에 대한 틀어짐 불량 점수, 회전 불량 점수, 미삽입 불량 점수 및 연납 불량 점수 중 하나 이상의 리드 불량 점수를 산출한다. 전자부품 불량 분류장치(100)는 리드 불량 점수 중 가장 높은 점수를 갖는 리드 불량을 리드 불량 판별값(리드 불량 판별값1 내지 리드 불량 판별값n)으로 출력한다.In step S650, the lead defect determining unit 120 separates the lead region image corresponding to the lead region 320 from the PCB image 210 into RGB channels. The electronic component defect classification device 100 inputs each of the RGB channels as a CNN to calculate one or more lead failure scores of a defect defect score, a rotation defect score, an uninserted defect score, and an annual failure score for each lead. The electronic component defect classification apparatus 100 outputs a lead failure having the highest score among the lead failure scores as a lead failure determination value (lead failure determination value 1 to lead failure determination value n).

전자부품 불량 분류장치(100)는 패키지영역에 대한 불량 여부를 판별한 패키지 판별 결과값을 생성한다(S660). The electronic component defect classification apparatus 100 generates a package discrimination result value that determines whether or not the package region is defective (S660).

단계 S660에서, 전자부품 불량 분류장치(100)는 PCB 이미지(210) 중 패키지영역(310)에 대응하는 패키지영역 이미지를 RGB 채널로 분리한다. 전자부품 불량 분류장치(100)는 RGB 채널 각각을 CNN으로 입력하여 각 패키지에 대한 깨짐 불량 점수, 이물질 불량 점수, 미삽입 불량 점수 및 회전 불량 점수 중 하나 이상의 패키지 불량 점수를 산출한다. 전자부품 불량 분류장치(100)는 패키지 불량 점수 중 가장 높은 점수를 갖는 패키지 불량을 패키지 불량 판별값(리드 불량 판별값1 내지 리드 불량 판별값n)으로 출력한다.In step S660, the electronic component defect classification apparatus 100 separates the package region image corresponding to the package region 310 among the PCB images 210 into RGB channels. The electronic component defect classification apparatus 100 inputs each RGB channel as a CNN to calculate one or more package defect scores of a broken defect score, a foreign substance defect score, an uninserted defect score, and a rotation defect score for each package. The electronic component defect classification apparatus 100 outputs a package defect having the highest score among the package defect scores as a package defect discrimination value (lead defect discrimination value 1 to lead defect discrimination value n).

전자부품 불량 분류장치(100)는 리드 판별 결과값과 패키지 판별 결과값을 기반으로 세부 불량 분류 결과를 생성한다(S670). 단계 S670에서, 전자부품 불량 분류장치(100)는 리드 불량 판별값1 내지 리드 불량 판별값n, 패키지 불량 판별값1 내지 패키지 불량 판별값m을 서포트 벡터 머신(SVM)에 적용하여 세부 불량 분류 결과를 출력한다.The electronic component defect classification apparatus 100 generates a detailed defect classification result based on the lead discrimination result value and the package discrimination result value (S670). In step S670, the electronic component defect classification apparatus 100 applies the defect defect determination value 1 to the lead failure determination value n, and the package failure determination value 1 to the package failure determination value m to the support vector machine (SVM) to determine the detailed defect classification result. Outputs

도 6에서는 단계 S610 내지 단계 S670을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 6에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 6은 시계열적인 순서로 한정되는 것은 아니다.Although FIG. 6 describes that steps S610 to S670 are sequentially executed, the present invention is not limited thereto. In other words, since the steps described in FIG. 6 may be changed and executed or one or more steps may be executed in parallel, FIG. 6 is not limited to the time series order.

전술한 바와 같이 도 6에 기재된 본 실시예에 따른 전자부품 불량 분류 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 전자부품 불량 분류 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.As described above, the electronic component defect classification method according to the present embodiment described in FIG. 6 may be implemented as a program and recorded in a computer-readable recording medium. The program for implementing the electronic component defect classification method according to the present embodiment is recorded, and the computer-readable recording medium includes all types of recording devices in which data that can be read by a computer system is stored.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present embodiment, and those skilled in the art to which this embodiment belongs may be capable of various modifications and variations without departing from the essential characteristics of the present embodiment. Therefore, the present embodiments are not intended to limit the technical spirit of the present embodiment, but to explain, and the scope of the technical spirit of the present embodiment is not limited by these embodiments. The protection scope of the present embodiment should be interpreted by the claims below, and all technical spirits within the equivalent range should be interpreted as being included in the scope of the present embodiment.

100: 전자부품 불량 분류장치
110: 영상 분리부 112: 부품영역 구분부
114: 리드영역 구분부 116: 패키지영역 구분부
120: 리드 불량 판별부 130: 패키지 불량 판별부
140: 세부 불량 분류부
210: PCB 이미지 220: 부품영역
230: 패드 240: 패키지
250: 리드 260: 접합부
310: 패키지영역 320: 리드영역100: electronic component defect classification device
110: image separation unit 112: parts area division
114: lead area division 116: package area division
120: lead defect determining unit 130: package defect determining unit
140: detailed bad classification
210: PCB image 220: Component area
230: pad 240: package
250: lead 260: joint
310: package area 320: lead area

Claims (9)

입력된 PCB 이미지 상에서 부품영역을 구분하는 부품영역 구분부;
상기 부품영역 상에서 입력된 리드영역 데이터를 기반으로 리드영역을 구분하는 리드영역 구분부;
상기 부품영역 상에서 입력된 패키지영역 데이터를 기반으로 패키지영역을 구분하는 패키지영역 구분부;
상기 리드영역에 대응하는 리드영역 이미지를 RGB 채널로 분리한 후 상기 RGB 채널 각각을 CNN(Convolutional Neural Network)으로 입력하여 상기 리드영역에 대한 틀어짐 불량, 회전 불량, 미삽입 불량, 연납 불량별로 불량 점수를 산출하고, 상기 불량 점수를 각각 확인하여 가장 높은 점수를 갖는 불량 종류를 최종불량 결과로서 포함하는 리드 판별 결과값을 생성하는 리드 불량 판별부;
상기 패키지영역에 대응하는 패키지영역 이미지를 RGB 채널로 분리한 후 상기 RGB 채널 각각을 상기 CNN으로 입력하여 상기 패키지영역에 대한 깨짐 불량, 이물질 불량, 미삽입 불량, 회전 불량별로 불량 점수를 산출하고, 상기 불량 점수를 각각 확인하여 가장 높은 점수를 갖는 불량 종류를 최종불량 결과로서 포함하는 패키지 판별 결과값을 생성하는 패키지 불량 판별부; 및
상기 리드 판별 결과값으로부터 리드 불량 판별값1 내지 리드 불량 판별값n을 추출하고, 상기 패키지 판별 결과값으로부터 패키지 불량 판별값1 내지 패키지 불량 판별값m을 추출하며, 상기 리드 불량 판별값1 내지 상기 리드 불량 판별값n, 상기 패키지 불량 판별값1 내지 상기 패키지 불량 판별값m을 서포트 벡터 머신(SVM: Support Vector Machine)에 적용하여 상기 세부 불량 분류 결과를 출력하는 세부 불량 분류부
를 포함하는 것을 특징으로 하는 전자부품 불량 분류장치.A component region division unit for classifying component regions on the input PCB image;
A lead area division unit for classifying lead areas based on lead area data input on the part area;
A package area division unit for classifying the package area based on the package area data input on the component area;
After separating the lead region image corresponding to the lead region into RGB channels, each of the RGB channels is input to a convolutional neural network (CNN) to score a defect for each of the lead region, such as distortion, rotation failure, non-insertion failure, and lead failure. A lead defect determining unit for generating a lead discrimination result value that calculates and checks each of the defect scores and includes a defect type having the highest score as a final defect result;
After separating the package region image corresponding to the package region into RGB channels, each of the RGB channels is input to the CNN to calculate a defect score for each broken defect, foreign substance defect, non-insertion defect, and rotation defect for the package region, A package defect determination unit that checks each of the defect scores and generates a package determination result value including the type of the defect having the highest score as a final defect result; And
A lead failure judgment value 1 to a lead failure judgment value n is extracted from the lead judgment result value, a package failure judgment value 1 to a package failure judgment value m is extracted from the package judgment result value, and the lead failure judgment values 1 to the A detailed defect classification unit that outputs the detailed defect classification result by applying a lead defect determination value n, the package defect determination value 1 to the package defect determination value m to a support vector machine (SVM)
Electronic component defect classification device comprising a. 제 1 항에 있어서,
상기 부품 영역 구분부는,
상기 리드영역 데이터에 포함된 리드 각각의 좌표값과 상기 패키지영역 데이터에 포함된 패키지에 대한 좌표값을 기반으로 상기 PCB 이미지 상에서 상기 부품영역을 구분하는 것을 특징으로 하는 전자부품 불량 분류장치.According to claim 1,
The component area division unit,
The electronic component defect classification apparatus, characterized in that the component area is classified on the PCB image based on a coordinate value of each lead included in the lead area data and a coordinate value of a package included in the package area data. 제 1 항에 있어서,
상기 리드영역 구분부는,
상기 리드영역 데이터에 포함된 리드 개수, 리드 각각에 대한 넓이, 높이, 치수 및 좌표값 중 적어도 하나의 정보를 이용하여 상기 부품영역 상에서 상기 리드영역을 구분하는 것을 특징으로 하는 전자부품 불량 분류장치.According to claim 1,
The lead area division unit,
An electronic component defect classification apparatus, characterized in that the lead area is classified on the part area by using at least one of the number of leads included in the lead area data, the width, height, dimensions, and coordinate values for each lead. 제 3 항에 있어서,
상기 리드영역 구분부는 상기 패키지영역을 기준으로 상기 리드영역을 상측 리드영역, 하측 리드영역, 좌측 리드영역, 우측 리드영역을 구분하며,
상기 리드 불량 판별부는 상기 상측 리드영역, 상기 하측 리드영역, 상기 좌측 리드영역, 상기 우측 리드영역 각각에 대한 불량 여부를 판별한 상기 리드 판별 결과값을 생성하는 것을 특징으로 하는 전자부품 불량 분류장치.The method of claim 3,
The lead area division unit divides the lead area into an upper lead area, a lower lead area, a left lead area, and a right lead area based on the package area.
And the lead defect determining unit generates the lead discrimination result value for determining whether each of the upper lead region, the lower lead region, the left lead region, and the right lead region is defective. 제 1 항에 있어서,
상기 패키지영역 구분부는,
상기 패키지영역 데이터에 포함된 패키지에 대한 넓이, 높이, 치수 및 좌표값 중 적어도 하나의 정보를 이용하여 상기 부품영역 상에서 상기 패키지영역을 구분하는 것을 특징으로 하는 전자부품 불량 분류장치.According to claim 1,
The package area division unit,
And classifying the package area on the component area using at least one of a width, height, dimension, and coordinate value of the package included in the package area data. 삭제delete 삭제delete 삭제delete 입력된 PCB 이미지 상에서 부품영역을 구분하는 과정;
상기 부품영역 상에서 입력된 리드영역 데이터를 기반으로 리드영역을 구분하는 과정;
상기 부품영역 상에서 입력된 패키지영역 데이터를 기반으로 패키지영역을 구분하는 과정;
상기 리드영역에 대응하는 리드영역 이미지를 RGB 채널로 분리한 후 상기 RGB 채널 각각을 CNN(Convolutional Neural Network)으로 입력하여 상기 리드영역에 대한 틀어짐 불량, 회전 불량, 미삽입 불량, 연납 불량별로 불량 점수를 산출하고, 상기 불량 점수를 각각 확인하여 가장 높은 점수를 갖는 불량 종류를 최종불량 결과로서 포함하는 리드 판별 결과값을 생성하는 과정;
상기 패키지영역에 대응하는 패키지영역 이미지를 RGB 채널로 분리한 후 상기 RGB 채널 각각을 상기 CNN으로 입력하여 상기 패키지영역에 대한 깨짐 불량, 이물질 불량, 미삽입 불량, 회전 불량별로 불량 점수를 산출하고, 상기 불량 점수를 각각 확인하여 가장 높은 점수를 갖는 불량 종류를 최종불량 결과로서 포함하는 패키지 판별 결과값을 생성하는 과정; 및
상기 리드 판별 결과값으로부터 리드 불량 판별값1 내지 리드 불량 판별값n을 추출하고, 상기 패키지 판별 결과값으로부터 패키지 불량 판별값1 내지 패키지 불량 판별값m을 추출하며, 상기 리드 불량 판별값1 내지 상기 리드 불량 판별값n, 상기 패키지 불량 판별값1 내지 상기 패키지 불량 판별값m을 서포트 벡터 머신(SVM: Support Vector Machine)에 적용하여 상기 세부 불량 분류 결과를 출력하는 과정
을 포함하는 것을 특징으로 하는 전자부품 불량 분류 방법.
A process of classifying component areas on the input PCB image;
A process of classifying the lead area based on the lead area data input on the part area;
Classifying a package region based on the package region data input on the component region;
After separating the lead region image corresponding to the lead region into RGB channels, each of the RGB channels is input to a convolutional neural network (CNN) to score a defect for each of the lead region, such as distortion, rotation failure, non-insertion failure, and lead failure. Calculating, and generating a lead discrimination result value including the defect type having the highest score as a final defect result by checking the defect scores, respectively;
After separating the package region image corresponding to the package region into RGB channels, each of the RGB channels is input to the CNN to calculate a defect score for each broken defect, foreign substance defect, non-insertion defect, and rotation defect for the package region, Checking each of the defect scores to generate a package discrimination result value including a defect type having the highest score as a final defect result; And
A lead failure judgment value 1 to a lead failure judgment value n is extracted from the lead judgment result value, a package failure judgment value 1 to a package failure judgment value m is extracted from the package judgment result value, and the lead failure judgment values 1 to the A process of outputting the detailed defect classification result by applying a lead defect discrimination value n, the package defect discrimination value 1 to the package defect discrimination value m to a support vector machine (SVM)
Electronic component defect classification method comprising a.
KR1020180086511A 2018-07-25 2018-07-25 Method And Apparatus for Classifying Defective Electronic Component KR102129459B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180086511A KR102129459B1 (en) 2018-07-25 2018-07-25 Method And Apparatus for Classifying Defective Electronic Component

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180086511A KR102129459B1 (en) 2018-07-25 2018-07-25 Method And Apparatus for Classifying Defective Electronic Component

Publications (2)

Publication Number Publication Date
KR20200011714A KR20200011714A (en) 2020-02-04
KR102129459B1 true KR102129459B1 (en) 2020-07-02

Family

ID=69571124

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180086511A KR102129459B1 (en) 2018-07-25 2018-07-25 Method And Apparatus for Classifying Defective Electronic Component

Country Status (1)

Country Link
KR (1) KR102129459B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240103084A (en) 2022-12-26 2024-07-04 (주)제이에스 시스템 Pcb defect detection system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487706B (en) * 2020-11-13 2023-10-17 北京遥测技术研究所 Automatic mounting parameter intelligent decision method based on ensemble learning

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101563332B1 (en) * 2014-04-01 2015-11-09 충북대학교 산학협력단 System and method for classificating surface mount device
KR101678771B1 (en) * 2015-03-09 2016-11-22 충북대학교 산학협력단 Apparatus and Method for inspecting SMT Faulty

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240103084A (en) 2022-12-26 2024-07-04 (주)제이에스 시스템 Pcb defect detection system

Also Published As

Publication number Publication date
KR20200011714A (en) 2020-02-04

Similar Documents

Publication Publication Date Title
US10878283B2 (en) Data generation apparatus, data generation method, and data generation program
JP4552749B2 (en) Inspection standard setting device and method, and process inspection device
CN110866891A (en) Image recognition device, image recognition method, and image recognition program
CN105510348A (en) Flaw detection method and device of printed circuit board and detection equipment
US12026865B2 (en) Image analysis system for testing in manufacturing
TWI502189B (en) Training data verification apparatus, training data generation apparatus, image classification apparatus, training data verification method, training data generation method, and image classification method
TWI715051B (en) Machine learning method and automatic optical inspection device using the method thereof
KR102129459B1 (en) Method And Apparatus for Classifying Defective Electronic Component
KR101991170B1 (en) Apparatus and method for classifying defect
CN108596829A (en) A kind of PCB bare boards picture method for registering and device
CN116718600B (en) Detection device for intelligent detection of wire harness product
KR20160120641A (en) The system for design automation and production automation of mudule production using automatic identification and the method thereof
KR102174424B1 (en) Method for Inspecting Component basesd Server and system and apparatus therefor
KR101441326B1 (en) Teaching data auto-generation apparatus of automated inspection machine and method for teaching data auto-generation the same
JP2010071826A (en) Teacher data preparation method, and image sorting method and image sorter
KR101993705B1 (en) Apparatus and Method for Automatically Inputting Component Library Code for Automated Optical Inspection Machines
CN116993654B (en) Camera module defect detection method, device, equipment, storage medium and product
WO2023080587A1 (en) Deep learning-based mlcc stacked alignment inspection system and method
TWI816932B (en) Failure analyzing method and system for electronic device
JP4459945B2 (en) Extraction color range setting method
KR102129970B1 (en) Method And Apparatus for Matching inspection Data Electronic Component
CN113298166A (en) Defect classifier, defect classification method, device, equipment and storage medium
EP4254325A1 (en) Inspection of printed circuit board assemblies
TWI810016B (en) System for inspecting soft circuit board
CN112453750A (en) System and method for establishing detection model according to standard value to confirm welding state

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right