KR20230090302A - Method for building training data for generating image of defective product based on deep learning, device and program - Google Patents
Method for building training data for generating image of defective product based on deep learning, device and program Download PDFInfo
- Publication number
- KR20230090302A KR20230090302A KR1020230072936A KR20230072936A KR20230090302A KR 20230090302 A KR20230090302 A KR 20230090302A KR 1020230072936 A KR1020230072936 A KR 1020230072936A KR 20230072936 A KR20230072936 A KR 20230072936A KR 20230090302 A KR20230090302 A KR 20230090302A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- defective product
- electronic device
- radiation dose
- generating
- Prior art date
Links
- 230000002950 deficient Effects 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 title claims abstract description 12
- 238000013135 deep learning Methods 0.000 title claims description 16
- 239000000463 material Substances 0.000 claims abstract description 61
- 230000005855 radiation Effects 0.000 claims description 42
- 239000000126 substance Substances 0.000 claims description 14
- 230000002194 synthesizing effect Effects 0.000 claims description 14
- 230000002238 attenuated effect Effects 0.000 claims description 13
- 238000002372 labelling Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000013016 damping Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 238000003780 insertion Methods 0.000 description 6
- 230000037431 insertion Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 239000000428 dust Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
- G01N23/18—Investigating the presence of flaws defects or foreign matter
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
Description
본 발명은 딥러닝 기반의 불량품 이미지를 생성하는 학습데이터 구축 방법, 장치 및 프로그램에 관한 것이다.The present invention relates to a method, apparatus, and program for constructing learning data for generating an image of a defective product based on deep learning.
공정의 품질 검사 프로세스에서 최근 각광받고 있는 딥러닝 기술이 접목되고 있다. 이러한 딥러닝 기술은 불량품 구분의 정확성을 높이기 위해 다량의 학습데이터 확보가 필수적이다. 즉, 다량의 학습데이터를 이용하여 정상상태에 대해 학습을 수행함으로써 불량품 구분 모델의 정확성을 높일 수 있다. 따라서 정확한 불량품 구분 모델을 위해서는 다량의 학습 데이터를 확보하는 것이 최우선 과제라 할 수 있다. 다만, 학습데이터를 생성하는데 익숙하지 않은 비숙련자가 모델링을 수행 할 때, 데이터의 전처리 및 기타 처리를 잘못하여 학습데이터를 잘못 생성하는 경우가 발생될 수 있다. 잘못 생성된 학습데이터에 의해 성능이 떨어지는 예측 모델이 생성될 수 있고, 이로 인해 예측 정확도가 상당히 떨어지게 되어 솔루션의 성능을 저하시키게 되는 문제점이 있었다.In the quality inspection process of the process, “deep learning” technology, which has recently been in the limelight, is being grafted. In this “deep learning” technology, it is essential to secure a large amount of “learning data” to increase the accuracy of classifying defective products. That is, it is possible to increase the accuracy of the defective product classification model by performing learning on the normal state using a large amount of learning data. Therefore, securing a large amount of learning data is the top priority for an accurate defective product classification model. However, when modeling is performed by an inexperienced person who is not accustomed to generating learning data, there may be cases in which learning data is created incorrectly by incorrect pre-processing and other processing of data. Incorrectly generated training data can generate a predictive model with poor performance, and this causes a significant decrease in prediction accuracy, thereby degrading the performance of the solution.
또한, 예를 들어, 식품 분야에서 충분한 불량품 이미지를 확보하기 어렵기 때문에, 학습데이터를 만들기 어려운 문제가 있었으며, 불량품 이미지를 인위적으로 확보하더라도 양품과 이물을 겹쳐서 찍는 수작업을 반복해야 하기 때문에 충분한 학습데이터에 도달하기 어려운 문제점이 있었다.In addition, For example, in the field of food, it is difficult to secure enough defective product images, so there was a problem in creating learning data, and even if defective images are artificially obtained, sufficient learning data is required because the manual work of overlapping good and foreign materials must be repeated. There was a problem that was difficult to reach.
본 발명이 해결하고자 하는 과제는 엑스레이 감쇠 공식을 이용하여 매우 정밀하게 양품 이미지와 이물 이미지를 합성하여 불량품 이미지를 생성하는 방법을 제공하는 것이다.An object to be solved by the present invention is to provide a method for generating a defective product image by synthesizing a good product image and a foreign material image very precisely using an X-ray attenuation formula.
또한, 본 발명이 해결하고자 하는 과제는 소형의 이물 이미지를 양품 이미지에 삽입하되 이물 이미지의 삽입 각도, 위치 또는 형태 등을 변형하여 학습데이터를 크게 증폭할 수 있는 방법을 제공하는 것이다.In addition, an object to be solved by the present invention is to provide a method for greatly amplifying learning data by inserting a small foreign object image into a good product image and modifying the insertion angle, position, or shape of the foreign object image.
또한, 본 발명이 해결하고자 하는 과제는 물리적으로 양품 이미지 및 이물 이미지를 다양하게 생성할 수 있는 방법을 제공하는 것이다.In addition, an object to be solved by the present invention is to provide a method capable of generating various images of good products and foreign matter physically.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the description below.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 전자 장치가 수행하는 엑스레이 감쇠 공식을 이용한 학습데이터 생성 방법은, 상기 전자 장치가 양품 이미지 및 이물 이미지를 획득하는 단계; 및 상기 전자 장치가 엑스레이 감쇠 공식을 이용하여 상기 양품 이미지 및 상기 이물 이미지를 합성하여 불량품 이미지를 생성하는 단계를 포함할 수 있다.A method for generating learning data using an X-ray attenuation formula performed by an electronic device according to an aspect of the present invention for solving the above problems includes acquiring, by the electronic device, a good product image and a foreign object image; and generating, by the electronic device, a defective product image by synthesizing the good product image and the foreign material image using an X-ray attenuation formula.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.
상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.According to the present invention as described above, it has various effects as follows.
본 발명에 따르면, 물리적으로 양품 이미지 및 이물 이미지를 다양하게 생성할 수 있다.According to the present invention, it is possible to physically generate images of good products and images of foreign matter in various ways.
또한, 본 발명에 따르면, 양품 이미지와 이물 이미지를 따로 확보하고 이물별 감쇠계수와 두께를 이용하여 퀄리티 높은 이미지를 합성할 수 있다.In addition, according to the present invention, it is possible to separately secure a good product image and a foreign material image, and synthesize a high quality image using the attenuation coefficient and thickness of each foreign material.
또한, 본 발명에 따르면, 양품 이미지와 별개로 확보된 이물 이미지의 감쇠계수, 두께, 삽입 각도, 삽입 위치, 회전 등 여러 변수를 활용하여 하나의 이물 이미지를 기초로 다량의 불량품 이미지를 생성해낼 수 있다.In addition, according to the present invention, it is possible to generate a large number of defective product images based on one foreign material image by utilizing various variables such as attenuation coefficient, thickness, insertion angle, insertion position, and rotation of the foreign material image obtained separately from the good product image. there is.
또한, 본 발명에 따르면, 이물 이미지를 별도로 양품 이미지에 합성시키는 과정에서 이물 이미지 정보를 정확히 알고 있기 때문에 통상적인 학습데이터셋을 생성하는데 많은 시간이 소요되는 이물에 대한 라벨링(박스처리, 바이너리 객체 제공 등) 처리 속도가 높아질 수 있다.In addition, according to the present invention, since foreign material image information is accurately known in the process of synthesizing a foreign material image separately into a good image, labeling of foreign material (box processing, binary object provision), which takes a lot of time to create a typical learning dataset etc.) can increase the processing speed.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.
도 1 은 본 발명의 일 실시 예에 따른 엑스레이 감쇠 공식을 이용한 학습데이터 생성 장치를 나타낸 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 학습데이터 생성 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 학습데이터 생성 방법을 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시 예에 따른 엑스레이 감쇠 공식을 활용한 불량품 이미지 산출 방법을 설명하기 위한 흐름도이다.
도 5 내지 도 11은 본 발명의 일 실시 예에 따른 엑스레이 감쇠 공식을 활용한 불량품 이미지 산출 방법을 설명하기 위한 예시도이다.1 is a block diagram showing an apparatus for generating learning data using an X-ray attenuation formula according to an embodiment of the present invention.
2 is a flowchart illustrating a method for generating learning data according to an embodiment of the present invention.
3 is an exemplary diagram for explaining a method for generating learning data according to an embodiment of the present invention.
4 is a flowchart illustrating a method for calculating a defective product image using an X-ray attenuation formula according to an embodiment of the present invention.
5 to 11 are exemplary diagrams for explaining a method of calculating a defective product image using an X-ray attenuation formula according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the present invention, and methods of achieving them, will become clear with reference to the detailed description of the following embodiments taken in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, only these embodiments are intended to complete the disclosure of the present invention, and are common in the art to which the present invention belongs. It is provided to fully inform the person skilled in the art of the scope of the invention, and the invention is only defined by the scope of the claims.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.Terminology used herein is for describing the embodiments and is not intended to limit the present invention. In this specification, singular forms also include plural forms unless specifically stated otherwise in a phrase. As used herein, "comprises" and/or "comprising" does not exclude the presence or addition of one or more other elements other than the recited elements. Like reference numerals throughout the specification refer to like elements, and “and/or” includes each and every combination of one or more of the recited elements. Although "first", "second", etc. are used to describe various components, these components are not limited by these terms, of course. These terms are only used to distinguish one component from another. Accordingly, it goes without saying that the first element mentioned below may also be the second element within the technical spirit of the present invention.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings commonly understood by those skilled in the art to which the present invention belongs. In addition, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless explicitly specifically defined.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.The spatially relative terms "below", "beneath", "lower", "above", "upper", etc. It can be used to easily describe a component's correlation with other components. Spatially relative terms should be understood as including different orientations of elements in use or operation in addition to the orientations shown in the drawings. For example, if you flip a component that is shown in a drawing, a component described as "below" or "beneath" another component will be placed "above" the other component. can Thus, the exemplary term “below” may include directions of both below and above. Components may also be oriented in other orientations, and thus spatially relative terms may be interpreted according to orientation.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1 은 본 발명의 일 실시 예에 따른 엑스레이 감쇠 공식을 이용한 학습데이터 생성 장치를 나타낸 블록도이다.1 is a block diagram showing an apparatus for generating learning data using an X-ray attenuation formula according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 엑스레이 감쇠 공식을 이용한 학습데이터 생성 방법을 실행하는 전자 장치(100)는 제어부(110), 데이터베이스(120), 딥러닝 네트워크(130) 및 CT 촬영부(140)를 포함할 수 있다.Referring to FIG. 1 , an electronic device 100 executing a learning data generation method using an X-ray attenuation formula according to an embodiment of the present invention includes a control unit 110, a database 120, a deep learning network 130, and a CT A photographing unit 140 may be included.
일 실시 예에서, 제어부(110)는 학습데이터(예: 불량품 이미지)를 생성하는 각종 동작을 전반적으로 제어할 수 있으며, 데이터베이스(120)는 양품 이미지, 이물 이미지, 불량품 이미지, 이물 이미지 정보 등을 저장할 수 있다. In one embodiment, the control unit 110 may control various operations for generating learning data (eg, defective product images), and the database 120 may store good product images, foreign material images, defective product images, foreign material image information, and the like. can be saved
여기서, 양품 이미지란 불량 발견 없이 최종 품질 테스트가 통과된 물품의 이미지를 의미할 수 있으며, 예를 들어, 식품의 경우 이물이 없이 사람이 식용 가능한 형태로 품질 테스트가 완료된 식품의 이미지일 수 있다.Here, the good product image may refer to an image of a product that has passed the final quality test without finding any defects. For example, in the case of food, it may be an image of a product that has completed the quality test in a form that is edible to humans without any foreign matter.
여기서, 이물 이미지란 제품에 원래 포함되지 않은 구성으로써 제품의 기능을 손상시킬 수 있는 물질의 이미지를 의미할 수 있으며, 예를 들어, 식품의 경우 먼지, 머리카락 등 식용이 불가능한 물질의 이미지일 수 있다.Here, the foreign matter image may mean an image of a substance that is not originally included in the product and may damage the function of the product. For example, in the case of food, it may be an image of an inedible substance such as dust or hair. .
여기서, 불량품 이미지란 양품에 이물이 삽입된 불량품이 포함된 이미지를 의미할 수 있으며, 예를 들어, 식품의 경우 음식 상에 먼지, 머리카락 등이 놓여진 상태를 촬영한 이미지일 수 있다.Here, the defective product image may refer to an image including a defective product in which a foreign substance is inserted into a good product. For example, in the case of food, it may be an image of a state in which dust or hair is placed on the food.
여기서, 이물 이미지 정보는 이물 이미지가 양품 이미지에 삽입되는 각도, 위치, 크기, 형태 중 적어도 하나를 포함할 수 있다.Here, the foreign material image information may include at least one of an angle, a position, a size, and a shape at which the foreign material image is inserted into the good product image.
일 실시 예에서, 전자 장치(100)는 양품 이미지와 이물 이미지를 따로 획득하여 저장하고, 엑스레이 감쇠 공식(변수: 이물별 감쇠계수(u)와 두께(t))을 이용하여 퀄리티 높은 불량품 이미지를 합성할 수 있으며, 양품 이미지와 별개로 확보된 이물 이미지의 두께, 삽입 각도, 크기, 위치, 회전, 이물의 밝기, 크기, 명도, 샤프니스(블러) 및 탁도 등 다양한 변수를 적용시켜서 하나의 이물 이미지를 기초로 수 많은 불량품 이미지를 생성해낼 수 있다.In an embodiment, the electronic device 100 separately acquires and stores a good product image and a foreign material image, and generates a high-quality defective product image using an X-ray attenuation formula (variables: attenuation coefficient (u) and thickness (t) for each foreign material). It can be synthesized, and various variables such as thickness, insertion angle, size, position, rotation, brightness, size, brightness, sharpness (blur) and turbidity of the foreign material image obtained separately from the good image are applied to form a single foreign material image. Based on this, it is possible to generate numerous images of defective products.
즉, 본 발명은 각도, 벡터 등 변경해서 이물 경우의 수를 늘리는 단계 뿐 아니라, 이물의 밝기, 크기, 명도, 샤프니스(블러), 탁도 등을 변경해서 다양한 이물 이미지를 만들고 이를 양품 이미지와 합성하여 학습용 합성 데이터를 최대로 증폭할 수 있다. That is, the present invention not only increases the number of foreign object cases by changing the angle, vector, etc., but also creates various foreign object images by changing the brightness, size, brightness, sharpness (blur), turbidity, etc. of the foreign object, and synthesizes them with good images. The synthetic data for learning can be maximally amplified.
또한, 일 실시 예에서, 전자 장치(100)는 이물 이미지를 별도로 양품 이미지에 합성 시키는 과정에서, 이물 이미지 정보를 정확히 알고 있기 때문에 통상적인 학습데이터셋을 생성하는데 많은 시간이 소요되는 이물에 대한 라벨링(박스처리, 바이너리 객체 제공 등) 작업 시간이 현저히 줄어들게 되고 효율이 올라간다.In addition, in one embodiment, since the electronic device 100 accurately knows the foreign material image information in the process of synthesizing the foreign material image separately into a good product image, labeling of the foreign material, which takes a lot of time to create a typical learning dataset (Box processing, binary object provision, etc.) Work time is significantly reduced and efficiency is increased.
도 2는 본 발명의 일 실시 예에 따른 학습데이터 생성 방법을 설명하기 위한 흐름도이다. 도 3은 본 발명의 일 실시 예에 따른 학습데이터 생성 방법을 설명하기 위한 예시도이다. 도 4는 본 발명의 일 실시 예에 따른 엑스레이 감쇠 공식을 활용한 불량품 이미지 산출 방법을 설명하기 위한 흐름도이다. 도 5 내지 도 11은 본 발명의 일 실시 예에 따른 엑스레이 감쇠 공식을 활용한 불량품 이미지 산출 방법을 설명하기 위한 예시도이다. 도 2 및 도 4의 동작들은 도 1의 전자 장치(100)를 통해 수행될 수 있다.2 is a flowchart illustrating a method for generating learning data according to an embodiment of the present invention. 3 is an exemplary diagram for explaining a method for generating learning data according to an embodiment of the present invention. 4 is a flowchart illustrating a method for calculating a defective product image using an X-ray attenuation formula according to an embodiment of the present invention. 5 to 11 are exemplary diagrams for explaining a method of calculating a defective product image using an X-ray attenuation formula according to an embodiment of the present invention. The operations of FIGS. 2 and 4 may be performed through the electronic device 100 of FIG. 1 .
도 2 및 도 3을 참조하면, 일 실시 예에서, 전자 장치(100)는 동작 21에서, 양품 이미지 및 이물 이미지를 획득할 수 있다. 예를 들어, 전자 장치(100)는 도 3에 도시된 바와 같이 이물이 없는 양품 이미지(a) 및 먼지를 나타내는 이물 이미지(b)를 획득할 수 있다.Referring to FIGS. 2 and 3 , in
일 실시 예에서, 전자 장치(100)는 동작 22에서, 엑스레이 감쇠 공식을 이용하여 양품 이미지 및 이물 이미지를 합성하여 불량품 이미지를 생성할 수 있다. 예를 들어, 전자 장치(100)는 도 3과 같이 양품 이미지(a) 및 이물 이미지 (b)를 합성하여 불량품 이미지(c)를 생성할 수 있으며, 이를 위해 엑스레이 감쇠 공식을 이용할 수 있다.In an embodiment, in
구체적으로, 도 4 내지 도 11을 참조하면, 일 실시 예에서, 전자 장치(100)는 동작 41에서, 양품에 이물이 들어간 불량품을 엑스레이(X-ray) 촬영한 정보에 기초하여 하기 수학식 1로 표현되는 기준 방사선량을 산출할 수 있다. Specifically, referring to FIGS. 4 to 11 , in
예를 들어, 전자 장치(100)는 엑스레이 촬영부(미도시)를 구비하여 양품에 이물이 들어간 불량품을 촬영하여 엑스레이 촬영한 정보를 획득할 수 있으며, 이와 달리 외부의 엑스레이 촬영부로부터 불량품을 엑스레이 촬영한 정보를 획득할 수 있다.For example, the electronic device 100 may include an X-ray photographing unit (not shown) to acquire X-ray photographed information by photographing a defective product containing a foreign substance in a good product. The captured information can be obtained.
예를 들어, 실제로 양품에 이물이 들어간 불량품을 촬영함으로써 이물이 들어간 불량품에서 검출될 수 있는 감쇠된 방사선량을 도 5와 같이 획득할 수 있다. 즉, 이물은 양품의 바로 위에 놓여 있거나 내부에 파묻혀 있을 수 있다. 따라서, 엑스선은 이물을 먼저 통과하거나 양품을 먼저 통과할 수 있으며, 양품 및 이물을 통과하여 최종적으로 감쇠된 방사선량 Ir2가 검출될 수 있다. 여기서 최종적으로 감쇠된 방사선량이 기준 방사선량이 된다. 즉, 실제로 불량품을 촬영함으로써 불량품 이미지를 합성할 때 기준으로 활용할 기준 방사선량을 획득할 수 있다.For example, an attenuated radiation dose that can be detected in a defective product containing a foreign material can be acquired as shown in FIG. 5 by actually photographing a defective product containing a foreign material. That is, the foreign material may be placed directly on top of the good product or may be buried inside. Accordingly, the X-rays may first pass through the foreign material or the good product, and the finally attenuated radiation dose Ir2 may be detected after passing through the good product and the foreign material. Here, the finally attenuated radiation dose becomes the reference radiation dose. That is, by actually photographing the defective product, a reference radiation dose to be used as a reference when synthesizing images of the defective product can be obtained.
여기서, A 및 B는 각각 양품 또는 이물 중 어느 하나이고, Ir1은 A에 따라 감쇠된 방사선량이고, Io는 원방사선량이고, μA는 A의 감쇠계수이고, tA는 A의 두께이고, Ir2는 A 및 B에 따라 감쇠된 기준 방사선량이고, μB는 B의 감쇠계수이고, tB는 B의 두께이다.Here, A and B are either good or foreign, respectively, Ir1 is the radiation dose attenuated according to A, Io is the far radiation dose, μA is the attenuation coefficient of A, tA is the thickness of A, and Ir2 is is the reference radiation dose attenuated according to A and B, μB is the attenuation coefficient of B, and tB is the thickness of B.
일 실시 예에서, 전자 장치(100)는 동작 42에서, 양품 및 이물을 각각 엑스레이 촬영하여 양품 이미지 및 이물 이미지를 획득하면서 하기 수학식 2로 표현되는 제1 방사선량 및 제2 방사선량을 산출할 수 있다. 예를 들어, 전자 장치(100)는 도 6과 같이 제1 방사선량 I1 및 제2 방사선량 I2를 획득할 수 있다.In an embodiment, in
여기서, I1은 A에 따라 감쇠된 제1 방사선량이고, Io는 원방사선량이고, μA는 A의 감쇠계수이고, tA는 A의 두께이고, I2는 B에 따라 감쇠된 제2 방사선량이고, μB는 B의 감쇠계수이고, tB는 B의 두께이다.Here, I1 is the first radiation dose attenuated according to A, Io is the far radiation dose, μA is the attenuation coefficient of A, tA is the thickness of A, I2 is the second radiation dose attenuated according to B, μB is the damping coefficient of B, and tB is the thickness of B.
일 실시 예에서, 전자 장치(100)는 동작 43에서, 불량품 이미지의 제3 방사선량과 기준 방사선량이 일치되도록 양품 이미지 및 이물 이미지를 합성하여 불량품 이미지를 산출할 수 있다.In an embodiment, the electronic device 100 may, in
예를 들어, 전자 장치(100)는 단순히 양품 이미지와 이물 이미지를 합성하는 것이 아니라 도 7에 도시된 바와 같이 실제로 불량품에서 검출되는 기준 방사선량과 제3 방서선량 I3가 일치되도록 불량품 이미지를 합성함으로써 보다 퀄리티 높은 불량품 이미지를 합성할 수 있다.For example, the electronic device 100 does not simply synthesize a good product image and a foreign material image, but as shown in FIG. 7 , the electronic device 100 synthesizes a defective product image such that the reference radiation dose actually detected in the defective product and the third radiation dose I3 are matched. Higher quality defective product images can be synthesized.
여기서, I3는 제3 방사선량이고, I1은 A에 따라 감쇠된 제1 방사선량이고, Io는 원방사선량이고, μA는 A의 감쇠계수이고, tA는 A의 두께이고, I2는 B에 따라 감쇠된 제2 방사선량이고, μB는 B의 감쇠계수이고, tB는 B의 두께이다.Here, I3 is the third radiation dose, I1 is the first radiation dose attenuated according to A, Io is the far radiation dose, μA is the attenuation coefficient of A, tA is the thickness of A, and I2 is according to B is the attenuated second radiation dose, μB is the attenuation coefficient of B, and tB is the thickness of B.
일 실시 예에서, 전자 장치(100)는 동작 23에서, 엑스레이 감쇠 공식 및 생성된 불량품 이미지를 이용하여 복수의 불량품 이미지를 추가로 생성할 수 있다. In an embodiment, in
예를 들어, 전자 장치(100)는 양품 또는 이물 중 적어도 하나의 두께를 변화시킴으로써 변화된 두께에 대응하는 불량품 이미지를 추가로 생성할 수 있다. 예컨대, 도 8 및 도 9에 도시된 바와 같이 변화된 두께 tB'는 원래 두께 tB의 1/2 또는 1/4이 될 수 있으며, 이에 따라 제3 방사선량 I3도 도 8 및 하기 수학식 4에 기재된 바와 같이 변화하며, 도 8에서 생성된 불량품 이미지는 도 7에서 생성된 불량품 이미지와 다를 수 있다.For example, the electronic device 100 may additionally create an image of a defective product corresponding to the changed thickness by changing the thickness of at least one of the non-defective product and the foreign material. For example, as shown in FIGS. 8 and 9, the changed thickness tB' may be 1/2 or 1/4 of the original thickness tB, and accordingly, the third radiation dose I3 is also described in FIG. 8 and Equation 4 below. , and the defective product image generated in FIG. 8 may be different from the defective product image generated in FIG. 7 .
또한, 예를 들어, 전자 장치(100)는 양품 또는 이물 중 적어도 하나의 감쇠계수를 변화시킴으로써 변화된 두께에 대응하는 불량품 이미지를 추가로 생성할 수 있다. 예컨대, 도 10 및 도 11에 도시된 바와 같이 변화된 감쇠계수 μb'는 원래 감쇠계수 μb의 1/2 또는 1/4이 될 수 있으며, 이에 따라 제3 방사선량 I3도 도 10 및 하기 수학식 5에 기재된 바와 같이 변화하며, 도 10에서 생성된 불량품 이미지는 도 7 및 도 9에서 생성된 불량품 이미지와 다를 수 있다.Also, for example, the electronic device 100 may additionally generate an image of a defective product corresponding to the changed thickness by changing an attenuation coefficient of at least one of a good product and a foreign material. For example, as shown in FIGS. 10 and 11, the changed attenuation coefficient μb' may be 1/2 or 1/4 of the original attenuation coefficient μb, and accordingly, the third radiation dose I3 is also expressed in FIG. 10 and Equation 5 below. , and the defective product images generated in FIG. 10 may be different from the defective product images generated in FIGS. 7 and 9 .
또한, 예를 들어, 전자 장치(100)는 양품 이미지보다 크기가 작은 이물 이미지를 양품 이미지에 삽입할 수 있고, 이물 이미지가 삽입되는 각도, 위치, 형태, 이물의 밝기, 크기, 명도, 샤프니스(블러) 및 탁도 중 적어도 하나를 변형하여 복수의 불량품 이미지를 생성할 수 있다. 이외에도 이물 이미지를 변형할 수 있는 다양한 변수에 기초하여 불량품 이미지를 증폭시킬 수 있다.In addition, for example, the electronic device 100 may insert a foreign material image smaller in size than the good product image into the good product image, and the angle, position, shape, brightness, size, brightness, and sharpness of the foreign material image ( Blur) and turbidity may be modified to generate a plurality of defective product images. In addition, the defective product image may be amplified based on various variables capable of transforming the image of the foreign material.
이와 같이 본 발명은 양품 이미지와 별개로 확보된 이물 이미지의 감쇠계수, 두께, 삽입 각도, 삽입 위치, 회전, 이물의 밝기, 크기, 명도, 샤프니스(블러) 및 탁도 등 여러 변수를 활용하여 하나의 이물 이미지를 기초로 다량의 불량품 이미지를 생성해낼 수 있으며, 이는 학습용 합성데이터가 최대로 증폭될 수 있음을 의미할 수 있다.As described above, the present invention utilizes various variables such as attenuation coefficient, thickness, insertion angle, insertion position, rotation, brightness, size, brightness, sharpness (blur) and turbidity of the foreign material image obtained separately from the good product image to obtain a single image. A large amount of defective product images can be generated based on the image of the foreign object, which may mean that synthetic data for learning can be maximally amplified.
일 실시 예에서, 전자 장치(100)는 동작 24에서, 불량품 이미지에 레이블링(labeling)을 수행하여 학습데이터셋을 구축할 수 있다.In an embodiment, in
예를 들어, 전자 장치(100)는 이물 이미지가 양품 이미지에 삽입된 좌표, 이물 이미지의 크기, 이물 이미지에 표시된 이물의 정보 중 적어도 하나에 기초하여 바운딩 박스(bounding box) 또는 분할된 이미지(segmented image)를 설정할 수 있다.For example, the electronic device 100 creates a bounding box or a segmented image based on at least one of coordinates where the foreign object image is inserted into the good product image, the size of the foreign object image, and foreign object information displayed on the foreign object image. image) can be set.
즉, 본 발명은, 이물 이미지를 별도로 양품 이미지에 합성시키는 과정에서 이물 이미지 정보를 정확히 알고 있기 때문에 통상적인 학습데이터셋을 생성하는데 많은 시간이 소요되는 이물에 대한 라벨링(박스처리, 바이너리 객체 제공 등) 처리 속도를 높일 수 있다.That is, in the present invention, since foreign material image information is accurately known in the process of synthesizing a foreign material image separately into a good image, labeling of foreign material (box processing, binary object provision, etc. ) to speed up processing.
한편, 본 발명은 엑스레이 감쇠 공식을 이용하여 생성한 학습데이터셋을 이용하여 이물질 검출에 활용되는 딥러닝 네트워크를 기계학습하고 이물질을 정밀하게 검출할 수 있다.On the other hand, the present invention can perform machine learning on a deep learning network used for detecting foreign substances and precisely detect foreign substances using a learning dataset generated using an X-ray attenuation formula.
예를 들어, 전자 장치(100)는 학습데이터셋을 기반으로 딥러닝 네트워크(130)를 트레이닝할 수 있고, 이미지를 딥러닝 네트워크(130)에 입력하여, 딥러닝 네트워크(130)를 통해 이미지에 이물이 포함된 지 여부를 산출할 수 있다. 여기서, 기계학습할 경우에 불량품 이미지가 정답 값(ground truth)로 활용될 수 있다.For example, the electronic device 100 may train the deep learning network 130 based on the training dataset, input an image to the deep learning network 130, and enter the image through the deep learning network 130. It can be calculated whether foreign matter is included or not. Here, in the case of machine learning, an image of a defective product may be used as a ground truth.
본 발명의 일 면에 따른 전자 장치가 수행하는 엑스레이 감쇠 공식을 이용한 학습데이터 생성 방법은, 상기 전자 장치가 양품 이미지 및 이물 이미지를 획득하는 단계; 및 상기 전자 장치가 엑스레이 감쇠 공식을 이용하여 상기 양품 이미지 및 상기 이물 이미지를 합성하여 불량품 이미지를 생성하는 단계;를 포함할 수 있다.A method of generating learning data using an X-ray attenuation formula performed by an electronic device according to an aspect of the present invention includes acquiring, by the electronic device, a good product image and a foreign object image; and generating, by the electronic device, a defective product image by synthesizing the good product image and the foreign material image using an X-ray attenuation formula.
다양한 실시 예에 따르면, 상기 불량품 이미지를 생성하는 단계는, 상기 전자 장치가 양품에 이물이 들어간 불량품을 엑스레이(X-ray) 촬영한 정보에 기초하여 하기 수학식 1로 표현되는 기준 방사선량을 산출하는 단계; 상기 전자 장치가 상기 양품 및 상기 이물을 각각 엑스레이 촬영하여 상기 양품 이미지 및 상기 이물 이미지를 획득하면서 하기 수학식 2로 표현되는 제1 방사선량 및 제2 방사선량을 산출하는 단계; 상기 전자 장치가 상기 불량품 이미지의 제3 방사선량과 상기 기준 방사선량이 일치되도록 상기 양품 이미지 및 상기 이물 이미지를 합성하여 상기 불량품 이미지를 산출하는 단계;를 포함할 수 있다.According to various embodiments of the present disclosure, in the generating of the defective product image, the electronic device calculates a reference radiation dose expressed by
다양한 실시 예에 따르면, 상기 전자 장치가 엑스레이 감쇠 공식 및 상기 생성된 불량품 이미지를 이용하여 복수의 불량품 이미지를 추가로 생성하는 단계;를 더 포함할 수 있다.According to various embodiments of the present disclosure, the electronic device may further include generating a plurality of defective product images using an X-ray attenuation formula and the generated defective product images.
다양한 실시 예에 따르면, 상기 복수의 불량품 이미지를 추가로 생성하는 단계는, 상기 전자 장치가 양품 또는 이물 중 적어도 하나의 두께를 변화시킴으로써 변화된 두께에 대응하는 불량품 이미지를 추가로 생성하는 단계;를 포함할 수 있다.According to various embodiments of the present disclosure, the additionally generating the plurality of defective product images may include additionally generating, by the electronic device, a defective product image corresponding to the changed thickness by changing the thickness of at least one of the non-defective product and the foreign material. can do.
다양한 실시 예에 따르면, 상기 복수의 불량품 이미지를 추가로 생성하는 단계는, 상기 전자 장치가 양품 또는 이물 중 적어도 하나의 감쇠계수를 변화시킴으로써 변화된 두께에 대응하는 불량품 이미지를 추가로 생성하는 단계;를 포함할 수 있다.According to various embodiments of the present disclosure, the additionally generating the plurality of defective product images may include further generating, by the electronic device, a defective product image corresponding to the changed thickness by changing an attenuation coefficient of at least one of the non-defective product and the foreign material. can include
다양한 실시 예에 따르면, 상기 불량품 이미지에 레이블링을 수행하여 학습데이터셋을 구축하는 단계는, 상기 전자 장치가 상기 이물 이미지가 상기 양품 이미지에 삽입된 좌표, 상기 이물 이미지의 크기, 상기 이물 이미지에 표시된 이물의 정보 중 적어도 하나에 기초하여 바운딩 박스(bounding box) 또는 분할된 이미지를 설정하는 단계;를 포함할 수 있다.According to various embodiments of the present disclosure, the constructing of the training data set by labeling the defective product image may include, in the electronic device, the coordinates at which the foreign material image is inserted into the good product image, the size of the foreign material image, and the displayed information on the foreign material image. It may include setting a bounding box or a divided image based on at least one of foreign object information.
다양한 실시 예에 따르면, 상기 불량품 이미지를 생성하는 단계는, 상기 전자 장치가 상기 양품 이미지보다 크기가 작은 상기 이물 이미지를 상기 양품 이미지에 삽입하는 단계; 및 상기 전자 장치가 상기 이물 이미지가 삽입되는 각도, 위치, 형태, 이물의 밝기, 크기, 명도, 샤프니스(블러) 및 탁도 중 적어도 하나를 변형하여 복수의 불량품 이미지를 생성하는 단계;를 포함할 수 있다.According to various embodiments of the present disclosure, the generating of the defective product image may include inserting, by the electronic device, the foreign material image having a smaller size than the non-defective product image into the non-defective product image; and generating, by the electronic device, a plurality of defective product images by modifying at least one of the angle, position, shape, brightness, size, brightness, sharpness (blur), and turbidity of the foreign object image. there is.
다양한 실시 예에 따르면, 상기 전자 장치가 상기 불량품 이미지에 레이블링(labeling)을 수행하여 학습데이터셋을 구축하는 단계;를 더 포함할 수 있다.According to various embodiments, the electronic device may further include constructing a training data set by performing labeling on the defective product image.
본 발명의 일 면에 따른 전자 장치가 수행하는 딥러닝 기반 이물질 검출 방법은, 상기 전자 장치가 제1항의 학습데이터셋을 기반으로 딥러닝 네트워크를 트레이닝하는 단계; 및 상기 전자 장치가 이미지를 상기 딥러닝 네트워크에 입력하여, 상기 딥러닝 네트워크를 통해 상기 이미지에 이물이 포함된 지 여부를 산출하는 단계;를 포함할 수 있다.A deep learning-based foreign material detection method performed by an electronic device according to an aspect of the present invention includes training a deep learning network based on the learning dataset of
본 발명의 일 면에 따른 제어부 및 데이터베이스를 포함하며 엑스레이 감쇠공식을 이용하여 학습데이터를 생성하는 전자 장치는, 상기 제어부가 양품 이미지 및 이물 이미지를 획득하고, 상기 제어부가 엑스레이 감쇠 공식을 이용하여 상기 양품 이미지 및 상기 이물 이미지를 합성하여 불량품 이미지를 생성하고, 상기 제어부가 상기 불량품 이미지에 레이블링(labeling)을 수행하여 학습데이터셋을 구축할 수 있다.In an electronic device including a control unit and a database and generating learning data using an X-ray attenuation formula according to an aspect of the present invention, the control unit obtains a good image and a foreign object image, and the control unit uses the X-ray attenuation formula to generate the learning data. A defective product image may be generated by synthesizing the good product image and the foreign material image, and the control unit may perform labeling on the defective product image to construct a training data set.
엑스레이 감쇠공식을 이용하여 학습데이터를 생성하는 프로그램은 하드웨어인 컴퓨터와 결합되어, 제1항 내지 제8항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장될 수 있다.A program for generating learning data using an X-ray attenuation formula may be combined with a computer as hardware and stored in a medium to execute the method of any one of
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.Steps of a method or algorithm described in connection with an embodiment of the present invention may be implemented directly in hardware, implemented in a software module executed by hardware, or implemented by a combination thereof. A software module may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any form of computer readable recording medium well known in the art to which the present invention pertains.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.Although the embodiments of the present invention have been described with reference to the accompanying drawings, those skilled in the art to which the present invention pertains can be implemented in other specific forms without changing the technical spirit or essential features of the present invention. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.
100 : 전자 장치100: electronic device
Claims (10)
상기 전자 장치가 양품 이미지 및 이물 이미지를 획득하는 단계;
상기 전자 장치가 엑스레이 감쇠 공식을 이용하여 상기 양품 이미지 및 상기 이물 이미지를 합성하여 불량품 이미지를 생성하는 단계; 및
상기 전자 장치가 엑스레이 감쇠 공식 및 상기 생성된 불량품 이미지를 이용하여 복수의 불량품 이미지를 추가로 생성하는 단계를 포함하고,
상기 복수의 불량품 이미지를 추가로 생성하는 단계에서,
상기 전자 장치는, 상기 양품 이미지보다 크기가 작은 상기 이물 이미지를 상기 양품 이미지에 삽입하고, 상기 이물 이미지가 삽입되는 각도, 위치, 형태, 이물의 밝기, 크기, 명도, 샤프니스 및 탁도를 변형하여 상기 복수의 불량품 이미지를 생성하는 것을 특징으로 하는, 방법.In the learning data construction method for generating a defective product image based on deep learning performed by an electronic device,
obtaining, by the electronic device, a good product image and a foreign material image;
generating, by the electronic device, a defective product image by synthesizing the good product image and the foreign material image using an X-ray attenuation formula; and
Further generating, by the electronic device, a plurality of defective product images using an X-ray attenuation formula and the generated defective product images;
In the step of additionally generating the plurality of defective product images,
The electronic device inserts the foreign material image, which is smaller in size than the good product image, into the good product image, and modifies the angle, position, shape, brightness, size, brightness, sharpness, and turbidity of the foreign material image at which the foreign material image is inserted, characterized by generating a plurality of images of defective products.
상기 불량품 이미지를 생성하는 단계는,
상기 전자 장치가 양품에 이물이 들어간 불량품을 엑스레이(X-ray) 촬영한 정보에 기초하여 하기 수학식 1로 표현되는 기준 방사선량을 산출하는 단계; 를 포함하는, 방법.
[수학식 1]
여기서, A 및 B는 각각 양품 또는 이물 중 어느 하나이고, Ir1은 A에 따라 감쇠된 방사선량이고, Io는 원방사선량이고, μA는 A의 감쇠계수이고, tA는 A의 두께이고, Ir2는 A 및 B에 따라 감쇠된 기준 방사선량이고, μB는 B의 감쇠계수이고, tB는 B의 두께이다.According to claim 1,
The step of generating the defective product image,
Calculating, by the electronic device, a reference radiation dose expressed by Equation 1 below based on information obtained by X-ray imaging of a defective product containing a foreign substance in a good product; Including, method.
[Equation 1]
Here, A and B are either good or foreign, respectively, Ir1 is the radiation dose attenuated according to A, Io is the far radiation dose, μA is the attenuation coefficient of A, tA is the thickness of A, and Ir2 is is the reference radiation dose attenuated according to A and B, μB is the attenuation coefficient of B, and tB is the thickness of B.
상기 불량품 이미지를 생성하는 단계는,
상기 전자 장치가 상기 양품 및 상기 이물을 각각 엑스레이 촬영하여 상기 양품 이미지 및 상기 이물 이미지를 획득하면서 하기 수학식 2로 표현되는 제1 방사선량 및 제2 방사선량을 산출하는 단계; 를 포함하는, 방법.
[수학식 2]
여기서, I1은 A에 따라 감쇠된 제1 방사선량이고, Io는 원방사선량이고, μA는 A의 감쇠계수이고, tA는 A의 두께이고, I2는 B에 따라 감쇠된 제2 방사선량이고, μB는 B의 감쇠계수이고, tB는 B의 두께이다.According to claim 2,
The step of generating the defective product image,
calculating, by the electronic device, a first radiation dose and a second radiation dose expressed by Equation 2 below while obtaining an image of the good article and an image of the foreign substance by taking X-rays of the good article and the foreign substance; Including, method.
[Equation 2]
Here, I1 is the first radiation dose attenuated according to A, Io is the far radiation dose, μA is the attenuation coefficient of A, tA is the thickness of A, I2 is the second radiation dose attenuated according to B, μB is the damping coefficient of B, and tB is the thickness of B.
상기 전자 장치가 상기 불량품 이미지의 제3 방사선량과 상기 기준 방사선량이 일치되도록 상기 양품 이미지 및 상기 이물 이미지를 합성하여 상기 불량품 이미지를 산출하는 단계; 를 포함하는, 방법.According to claim 3,
calculating, by the electronic device, the defective product image by synthesizing the good product image and the foreign material image such that the third radiation dose of the defective product image and the reference radiation dose match; Including, method.
상기 전자 장치가 엑스레이 감쇠 공식 및 상기 생성된 불량품 이미지를 이용하여 복수의 불량품 이미지를 추가로 생성하는 단계; 를 더 포함하는, 방법.According to claim 1,
additionally generating, by the electronic device, a plurality of defective product images using an X-ray attenuation formula and the generated defective product images; Further comprising a method.
상기 복수의 불량품 이미지를 추가로 생성하는 단계는,
상기 전자 장치가 양품 또는 이물 중 적어도 하나의 두께를 변화시킴으로써 변화된 두께에 대응하는 불량품 이미지를 추가로 생성하는 단계; 를 포함하는, 방법.According to claim 5,
The step of additionally generating the plurality of defective product images,
further generating, by the electronic device, a defective product image corresponding to the changed thickness by changing the thickness of at least one of the non-defective product and the foreign material; Including, method.
상기 복수의 불량품 이미지를 추가로 생성하는 단계는,
상기 전자 장치가 양품 또는 이물 중 적어도 하나의 감쇠계수를 변화시킴으로써 변화된 두께에 대응하는 불량품 이미지를 추가로 생성하는 단계; 를 포함하는, 방법.According to claim 5,
The step of additionally generating the plurality of defective product images,
further generating, by the electronic device, an image of a defective product corresponding to the changed thickness by changing an attenuation coefficient of at least one of the non-defective product and the foreign material; Including, method.
상기 전자 장치가 상기 불량품 이미지에 레이블링(labeling)을 수행하여 학습데이터셋을 구축하는 단계; 를 더 포함하는, 방법.According to claim 1,
constructing, by the electronic device, a training data set by labeling the defective product image; Further comprising a method.
상기 전자 장치가 제1항의 학습데이터셋을 기반으로 딥러닝 네트워크를 트레이닝하는 단계; 및
상기 전자 장치가 이미지를 상기 딥러닝 네트워크에 입력하여, 상기 딥러닝 네트워크를 통해 상기 이미지에 이물이 포함된지 여부를 산출하는 단계; 를 포함하는, 방법.In the foreign matter detection method performed by the electronic device,
training, by the electronic device, a deep learning network based on the learning dataset of claim 1; and
calculating, by the electronic device, whether a foreign object is included in the image by inputting an image to the deep learning network; Including, method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020230072936A KR20230090302A (en) | 2020-11-17 | 2023-06-07 | Method for building training data for generating image of defective product based on deep learning, device and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200153337A KR102542505B1 (en) | 2020-11-17 | 2020-11-17 | System, method and program for creating tranining data using x-ray attenuation equation and method for detecting foreighn material using thereof |
KR1020230072936A KR20230090302A (en) | 2020-11-17 | 2023-06-07 | Method for building training data for generating image of defective product based on deep learning, device and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200153337A Division KR102542505B1 (en) | 2020-11-17 | 2020-11-17 | System, method and program for creating tranining data using x-ray attenuation equation and method for detecting foreighn material using thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230090302A true KR20230090302A (en) | 2023-06-21 |
Family
ID=81709282
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200153337A KR102542505B1 (en) | 2020-11-17 | 2020-11-17 | System, method and program for creating tranining data using x-ray attenuation equation and method for detecting foreighn material using thereof |
KR1020230072936A KR20230090302A (en) | 2020-11-17 | 2023-06-07 | Method for building training data for generating image of defective product based on deep learning, device and program |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200153337A KR102542505B1 (en) | 2020-11-17 | 2020-11-17 | System, method and program for creating tranining data using x-ray attenuation equation and method for detecting foreighn material using thereof |
Country Status (2)
Country | Link |
---|---|
KR (2) | KR102542505B1 (en) |
WO (1) | WO2022108249A1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5156452B2 (en) | 2008-03-27 | 2013-03-06 | 東京エレクトロン株式会社 | Defect classification method, program, computer storage medium, and defect classification apparatus |
KR101661687B1 (en) | 2015-05-18 | 2016-09-30 | (주)투비시스템 | The method and apparatus for determining defective PCB(printed circuit board) based on X-ray |
JP2020027424A (en) | 2018-08-10 | 2020-02-20 | 東京エレクトロンデバイス株式会社 | Learning data generating device, discrimination model generating device, and program |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2340524B1 (en) * | 2008-09-19 | 2019-06-05 | Koninklijke Philips N.V. | Method for generation of attenuation map in pet-mr |
KR101747300B1 (en) * | 2010-10-21 | 2017-06-15 | 삼성전자주식회사 | Method for processing image, image processing apparatus and medical image system for performing the same |
KR102000938B1 (en) * | 2016-05-23 | 2019-07-17 | (주)자비스 | Method for Setting Inspection Criteria Automatically by Indicating Regions and Smart Learning Method for X-ray Inspection Using the Same |
KR20190063839A (en) * | 2017-11-30 | 2019-06-10 | 전자부품연구원 | Method and System for Machine Vision based Quality Inspection using Deep Learning in Manufacturing Process |
KR102171491B1 (en) * | 2017-12-21 | 2020-10-29 | 동의대학교 산학협력단 | Method for sorting products using deep learning |
JP2020060419A (en) * | 2018-10-09 | 2020-04-16 | 三菱電機株式会社 | Foreign matter monitoring device and foreign matter monitoring method |
JP2020144688A (en) * | 2019-03-07 | 2020-09-10 | 株式会社Ihi | Learning method, learning apparatus, and weld defect detecting apparatus with same learning apparatus |
-
2020
- 2020-11-17 KR KR1020200153337A patent/KR102542505B1/en active IP Right Grant
-
2021
- 2021-11-12 WO PCT/KR2021/016500 patent/WO2022108249A1/en active Application Filing
-
2023
- 2023-06-07 KR KR1020230072936A patent/KR20230090302A/en not_active Application Discontinuation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5156452B2 (en) | 2008-03-27 | 2013-03-06 | 東京エレクトロン株式会社 | Defect classification method, program, computer storage medium, and defect classification apparatus |
KR101661687B1 (en) | 2015-05-18 | 2016-09-30 | (주)투비시스템 | The method and apparatus for determining defective PCB(printed circuit board) based on X-ray |
JP2020027424A (en) | 2018-08-10 | 2020-02-20 | 東京エレクトロンデバイス株式会社 | Learning data generating device, discrimination model generating device, and program |
Also Published As
Publication number | Publication date |
---|---|
KR20220067617A (en) | 2022-05-25 |
KR102542505B1 (en) | 2023-06-13 |
WO2022108249A1 (en) | 2022-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9031317B2 (en) | Method and apparatus for improved training of object detecting system | |
WO2019117065A1 (en) | Data generation device, data generation method and data generation program | |
WO2020046960A1 (en) | System and method for optimizing damage detection results | |
US20090279772A1 (en) | Method and System for Identifying Defects in NDT Image Data | |
US20100220910A1 (en) | Method and system for automated x-ray inspection of objects | |
US20220244194A1 (en) | Automated inspection method for a manufactured article and system for performing same | |
KR20210049086A (en) | Article inspection by dynamic selection of projection angle | |
JP2012032370A (en) | Defect detection method, defect detection apparatus, learning method, program, and recording medium | |
KR101717768B1 (en) | Component inspecting method and apparatus | |
JP6749655B1 (en) | Inspection device, abnormality detection method, computer program, learning model generation method, and learning model | |
EP3779874A2 (en) | System and method for automated surface assessment | |
JP4982213B2 (en) | Defect inspection apparatus and defect inspection method | |
WO2017165332A1 (en) | 2d video analysis for 3d modeling | |
CN109978985B (en) | Data processing method and device, storage medium and electronic equipment | |
Goto et al. | Adversarial autoencoder for detecting anomalies in soldered joints on printed circuit boards | |
US11557038B2 (en) | Apparatus and method for x-ray data generation | |
US8831301B2 (en) | Identifying image abnormalities using an appearance model | |
KR102542505B1 (en) | System, method and program for creating tranining data using x-ray attenuation equation and method for detecting foreighn material using thereof | |
US20230194847A1 (en) | Microscopy System and Method for Modifying Microscope Images in the Feature Space of a Generative Network | |
JP2023145412A (en) | Defect detection method and system | |
Gan et al. | A statistical approach in enhancing the volume prediction of ellipsoidal ham | |
CN113192070B (en) | Weld image processing method and system based on computer vision | |
CN109063601A (en) | Cheilogramma detection method, device, computer equipment and storage medium | |
KR20220111214A (en) | Method, apparatus and computer program for inspection of product based on artificial intelligence | |
JP7401537B2 (en) | A system, a workstation and an imaging device comprising the system, and a computer-implemented method, a computer-readable medium containing temporary or non-transitory data representing instructions for causing a processor system to perform the method. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
E902 | Notification of reason for refusal |