KR20240076915A - Anomaly detection method and apparatus for manufacturing process - Google Patents

Anomaly detection method and apparatus for manufacturing process Download PDF

Info

Publication number
KR20240076915A
KR20240076915A KR1020220158836A KR20220158836A KR20240076915A KR 20240076915 A KR20240076915 A KR 20240076915A KR 1020220158836 A KR1020220158836 A KR 1020220158836A KR 20220158836 A KR20220158836 A KR 20220158836A KR 20240076915 A KR20240076915 A KR 20240076915A
Authority
KR
South Korea
Prior art keywords
manufacturing process
network
abnormality
clause
feature
Prior art date
Application number
KR1020220158836A
Other languages
Korean (ko)
Inventor
구영현
유성준
박철호
정원희
박향화
우소연
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020220158836A priority Critical patent/KR20240076915A/en
Priority to PCT/KR2023/006163 priority patent/WO2024111766A1/en
Publication of KR20240076915A publication Critical patent/KR20240076915A/en

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0275—Fault isolation and identification, e.g. classify fault; estimate cause or root of failure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • General Factory Administration (AREA)

Abstract

기계 학습을 이용하여 제조 공정에서 이상을 감지하는 방법 및 장치가 개시된다. 개시된 제조 공정에서 이상을 감지하는 방법은, 타겟 제조 공정에서, 정형 데이터 및 비정형 데이터를 미리 설정된 수집 주기별로 수집하는 단계; 미리 학습된 특징 추출 모델을 이용하여, 상기 정형 및 비정형 데이터의 특징 벡터를 추출하는 단계; 및 연결된 상기 특징 벡터를 미리 학습된 이상 감지 모델에 입력하여, 상기 타겟 제조 공정의 이상을 감지하는 단계를 포함한다.A method and device for detecting abnormalities in a manufacturing process using machine learning are disclosed. The disclosed method of detecting an abnormality in a manufacturing process includes collecting structured data and unstructured data at a preset collection period in a target manufacturing process; extracting feature vectors of the structured and unstructured data using a pre-learned feature extraction model; and detecting an abnormality in the target manufacturing process by inputting the connected feature vector into a pre-learned abnormality detection model.

Description

제조 공정에서 이상을 감지하는 방법 및 장치{ANOMALY DETECTION METHOD AND APPARATUS FOR MANUFACTURING PROCESS}Method and device for detecting abnormalities in the manufacturing process {ANOMALY DETECTION METHOD AND APPARATUS FOR MANUFACTURING PROCESS}

본 발명은 제조 공정에서 이상을 감지하는 방법 및 장치에 관한 것으로서, 더욱 상세하게는 기계 학습을 이용하여 제조 공정에서 이상을 감지하는 방법 및 장치에 관한 것이다. The present invention relates to a method and device for detecting abnormalities in a manufacturing process, and more specifically, to a method and device for detecting abnormalities in a manufacturing process using machine learning.

제조 공정의 이상을 감지하기 위한 방법으로 CUSUM (Cumulative SUM) chart, EWMA (Exponentially Weighted Moving Average) chart, Hotelling’s chart와 같은 통계적 공정관리(Statistical Process Control, SPC) 기법이 있으나, 이 기법들을 사용하기 위해서는 정규성 가정과 같은 제약조건이 있다. There are statistical process control (SPC) techniques such as the CUSUM (Cumulative SUM) chart, EWMA (Exponentially Weighted Moving Average) chart, and Hotelling's chart as a way to detect abnormalities in the manufacturing process. However, to use these techniques, There are constraints such as the assumption of normality.

이러한 기법들 외에도 Multiway Principal Component Analysis(MPCA), Fault Detection k-Nearest-Neighbor(FD-kNN), Statistics Pattern Analysis (SPA) 등의 방법이 제안되었으나 분류기준(decision boundary)에 따라 분류 성능의 편차가 많이 발생한다. In addition to these techniques, methods such as Multiway Principal Component Analysis (MPCA), Fault Detection k-Nearest-Neighbor (FD-kNN), and Statistics Pattern Analysis (SPA) have been proposed, but there are differences in classification performance depending on the classification criteria (decision boundary). It happens a lot.

이에 최근에는 인공 지능 기술의 발달과 함께, 인공 지능을 이용해 제조 공정의 이상(anomaly)을 감지하는 방법들이 활발히 연구되고 있다. 하지만 인공 지능을 이용하기 위해서는, 제조 공정의 이상 데이터가 훈련 데이터로서 확보되어야 하는데, 제조 공정 특성상, 대량의 이상 데이터가 용이하게 확보되거 어려운 문제가 있다.Accordingly, recently, with the development of artificial intelligence technology, methods for detecting anomalies in the manufacturing process using artificial intelligence are being actively researched. However, in order to use artificial intelligence, abnormal data from the manufacturing process must be secured as training data, but due to the nature of the manufacturing process, it is difficult to easily secure large amounts of abnormal data.

관련 선행문헌으로 대한민국 공개특허 제2022-0151256호 대한민국 등록특허 제10-2432082호, 제10-2427205호, 제10-2018330호가 있다.Related prior literature includes Korean Patent Publication No. 2022-0151256, Korean Patent Registration No. 10-2432082, No. 10-2427205, and No. 10-2018330.

본 발명은 대량의 제조 공정 이상 데이터가 용이하게 확보되기 어려운 환경에서도 제조 공정의 이상을 정확하게 감지할 수 있는 이상 감지 방법을 제공하기 위한 것이다.The present invention is intended to provide an abnormality detection method that can accurately detect manufacturing process abnormalities even in environments where it is difficult to easily obtain large amounts of manufacturing process abnormality data.

상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 타겟 제조 공정에서, 정형 데이터 및 비정형 데이터를 미리 설정된 수집 주기별로 수집하는 단계; 미리 학습된 특징 추출 모델을 이용하여, 상기 정형 및 비정형 데이터의 특징 벡터를 추출하는 단계; 및 연결된 상기 특징 벡터를 미리 학습된 이상 감지 모델에 입력하여, 상기 타겟 제조 공정의 이상을 감지하는 단계를 포함하는 제조 공정에서 이상을 감지하는 방법이 제공된다. According to an embodiment of the present invention for achieving the above object, in a target manufacturing process, collecting structured data and unstructured data at a preset collection cycle; extracting feature vectors of the structured and unstructured data using a pre-learned feature extraction model; and detecting an abnormality in the target manufacturing process by inputting the connected feature vector into a pre-learned abnormality detection model.

또한 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 메모리; 및 상기 메모리와 전기적으로 연결된 적어도 하나의 프로세서를 포함하며, 상기 프로세서는 미리 학습된 특징 추출 모델을 이용하여, 타겟 제조 공정에서 미리 설정된 수집 주기별로 수집된 정형 데이터 및 비정형 데이터의 특징 벡터를 추출하고, 서포트 데이터 셋 및 연결된 상기 특징 벡터를 페어링한 후, 미리 학습된 이상 감지 모델에 입력하여, 상기 타겟 제조 공정의 이상을 감지하며, 상기 이상 감지 모델은, 샴 네트워크 기반의 퓨샷 러닝 기법을 이용해 학습된 모델인 제조 공정에서 이상을 감지하는 장치가 제공된다.Also, according to another embodiment of the present invention for achieving the above object, a memory; and at least one processor electrically connected to the memory, wherein the processor extracts feature vectors of structured data and unstructured data collected at preset collection cycles in the target manufacturing process using a pre-learned feature extraction model, and , After pairing the support data set and the connected feature vector, it is input to a pre-trained anomaly detection model to detect anomalies in the target manufacturing process, and the anomaly detection model is learned using a Siamese network-based few-shot learning technique. A device that detects abnormalities in the manufacturing process of the model is provided.

본 발명의 일실시예에 따르면, 정형 데이터 및 비정형 데이터를 이용하여 이상을 감지할 뿐만 아니라, 정형 및 비정형 데이터의 특징 벡터를 통합하여 이상 감지에 이용함으로써, 대량의 훈련 데이터 확보가 어려운 환경에서도 이상 감지의 정확도가 향상될 수 있다.According to one embodiment of the present invention, not only is anomaly detected using structured data and unstructured data, but also the feature vectors of structured and unstructured data are integrated and used to detect anomaly, so that anomaly is detected even in an environment where it is difficult to secure a large amount of training data. The accuracy of detection can be improved.

도 1은 본 발명의 일실시예에 따른 제조 공정에서 이상을 감지하는 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 특징 추출 모델 및 이상 감지 모델을 설명하기 위한 도면이다.
도 3은 샴 네트워크 기반의 퓨샷 러닝 기법을 설명하기 위한 도면이다.
도 4는 본 발명의 다른 실시예에 따른 제조 공정에서 이상을 감지하는 방법을 설명하기 위한 도면이다.1 is a diagram illustrating a method for detecting abnormalities in a manufacturing process according to an embodiment of the present invention.
Figure 2 is a diagram for explaining a feature extraction model and an abnormality detection model according to an embodiment of the present invention.
Figure 3 is a diagram to explain a Siamese network-based few-shot learning technique.
Figure 4 is a diagram for explaining a method for detecting abnormalities in a manufacturing process according to another embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention. While describing each drawing, similar reference numerals are used for similar components.

전술된 바와 같이, 제조 공정의 이상을 감지하는 이상 감지 모델을 학습시키기 위해서는, 제조 공정의 정상 데이터 뿐만 아니라 이상 데이터를 확보해야할 필요가 있다. 하지만 정상 데이터와 달리 이상 데이터를 확보하는 것은 쉽지 않으며, 이에 본 발명은 다양한 종류의 제조 공정 데이터를 이용해, 이상을 감지하는 방법을 제안한다.As described above, in order to learn an abnormality detection model that detects abnormalities in the manufacturing process, it is necessary to secure abnormal data as well as normal data of the manufacturing process. However, unlike normal data, it is not easy to secure abnormal data, so the present invention proposes a method for detecting abnormalities using various types of manufacturing process data.

본 발명의 일실시예는 제조 공정에서 수집된 정형 데이터와 비정형 데이터를 이용하여, 제조 공정에서 이상을 감지한다. 본 발명의 일실시예는 제조 공정에 설치되어 제조 공정을 감지하는 센서 등을 통해 수집되는 시계열 데이터인 정형 데이터 뿐만 아니라, 비시계열 데이터인 비정형 데이터를 이상 감지에 이용된다. 비정형 데이터는 일실시예로서, 제조 공정을 촬영한 이미지 데이터일 수 있다. One embodiment of the present invention detects abnormalities in the manufacturing process using structured data and unstructured data collected during the manufacturing process. One embodiment of the present invention uses not only structured data, which is time-series data collected through sensors installed in the manufacturing process to detect the manufacturing process, but also unstructured data, which is non-time-series data, to detect abnormalities. As an example, unstructured data may be image data captured during a manufacturing process.

예컨대 본 발명의 일실시예가, 용접이 이용되는 제조 공정에서 이용되는 경우, 용접 장치의 전압값 등이 정형 데이터일 수 있으며, 용접 장면을 촬영한 이미지가 비정형 데이터일 수 있다.For example, when an embodiment of the present invention is used in a manufacturing process that uses welding, the voltage value of the welding device may be structured data, and an image of a welding scene may be unstructured data.

또한 본 발명의 일실시예는 대량의 훈련 데이터가 확보되기 쉽지 않은 제조 공정 환경을 고려하여, 메타 학습(meta learning)을 이용한다.Additionally, one embodiment of the present invention uses meta learning, considering the manufacturing process environment in which it is difficult to secure a large amount of training data.

본 발명의 일실시예에 따른 이상 감지 방법은 메모리 및 프로세서를 포함하는 컴퓨팅 장치에서 수행될 수 있다.The anomaly detection method according to an embodiment of the present invention may be performed on a computing device including a memory and a processor.

이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the attached drawings.

도 1은 본 발명의 일실시예에 따른 제조 공정에서 이상을 감지하는 방법을 설명하기 위한 도면이다. 1 is a diagram illustrating a method for detecting abnormalities in a manufacturing process according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 컴퓨팅 장치는 타겟 제조 공정에서, 정형 데이터 및 비정형 데이터를 미리 설정된 수집 주기별로 수집(S110)한다. 여기서 타겟 제조 공정이란, 이상이 감지되는 대상인 제조 공정으로서, 다양한 제품을 제조하는 공정이며, 특정 제조 공정에 한정되지 않는다. 정형 데이터는 시계열적으로 공정 데이터를 센싱하는 센서에 의해 수집될 수 있으며, 비정형 데이터는 비시계열적으로 공정 데이터를 센싱하는 센서에 의해 수집될 수 있다. Referring to FIG. 1, a computing device according to an embodiment of the present invention collects structured data and unstructured data at a preset collection cycle in a target manufacturing process (S110). Here, the target manufacturing process is a manufacturing process in which an abnormality is detected, a process for manufacturing various products, and is not limited to a specific manufacturing process. Structured data can be collected by sensors that sense process data in a time series, and unstructured data can be collected by sensors that sense process data in a non-time series.

컴퓨팅 장치는 미리 학습된 특징 추출 모델을 이용하여, 수집된 정형 및 비정형 데이터의 특징 벡터를 추출(S120)하고, 추출된 특징 벡터를 미리 학습된 이상 감지 모델에 입력하여, 타겟 제조 공정의 이상을 감지(S130)한다.The computing device extracts feature vectors of the collected structured and unstructured data using a pre-learned feature extraction model (S120), inputs the extracted feature vectors into a pre-learned anomaly detection model, and detects anomalies in the target manufacturing process. Detect (S130).

특징 추출 모델과 이상 감지 모델은 메타 학습 기법을 통해 학습된 모델일 수 있으며, 일실시예로서 특징 추출 모델 및 이상 감지 모델은 서로 다른 메타 학습 기법을 통해 학습될 수 있다. 예컨대, 특징 추출 모델은 MAML(Model-Agnostic Meta-Learning) 기법을 이용해 학습될 수 있으며, 이상 감지 모델은 샴 네트워크 기반의 퓨샷 러닝 기법을 이용해 학습될 수 있다.The feature extraction model and the anomaly detection model may be models learned through a meta-learning technique. In one embodiment, the feature extraction model and the anomaly detection model may be learned through different meta-learning techniques. For example, the feature extraction model can be learned using MAML (Model-Agnostic Meta-Learning), and the anomaly detection model can be learned using a Siamese network-based few-shot learning technique.

단계 S120에서 추출된 정형 및 비정형 데이터의 특징 벡터 각각은 연결(concatenation)되어 이상 감지 모델로 입력된다. 즉, 정형 및 비정형 데이터의 특징 벡터 각각으로부터 타겟 제조 공정의 이상이 감지되는 것이 아니라, 정형 및 비정형 데이터의 특징 벡터가 통합된 형태로 타겟 제조 공정의 이상 감지에 이용된다.Each feature vector of the structured and unstructured data extracted in step S120 is concatenated and input into an anomaly detection model. In other words, rather than detecting anomalies in the target manufacturing process from each feature vector of the structured and unstructured data, the feature vectors of the structured and unstructured data are integrated and used to detect anomalies in the target manufacturing process.

본 발명의 일실시예에 따르면, 정형 데이터 및 비정형 데이터를 이용하여 이상을 감지할 뿐만 아니라, 정형 및 비정형 데이터의 특징 벡터를 통합하여 이상 감지에 이용함으로써, 대량의 훈련 데이터 확보가 어려운 환경에서도 이상 감지의 정확도가 향상될 수 있다.According to one embodiment of the present invention, not only is anomaly detected using structured data and unstructured data, but also the feature vectors of structured and unstructured data are integrated and used to detect anomaly, so that anomaly is detected even in an environment where it is difficult to secure a large amount of training data. The accuracy of detection can be improved.

한편, 컴퓨팅 장치는 제조 공정에서 이상을 감지하는 장치로서, 메모리 및 메모리와 전기적으로 연결된 적어도 하나의 프로세서를 포함할 수 있다. 그리고 프로세서는 이상을 감지하기 위한 일련의 과정을 수행할 수 있다. 프로세서는 미리 학습된 특징 추출 모델을 이용하여, 타겟 제조 공정에서 미리 설정된 수집 주기별로 수집된 정형 데이터 및 비정형 데이터의 특징 벡터를 추출한다. 그리고 서포트 데이터 셋 및 연결된 특징 벡터를 페어링한 후, 미리 학습된 이상 감지 모델에 입력하여, 타겟 제조 공정의 이상을 감지한다.Meanwhile, a computing device is a device that detects abnormalities in a manufacturing process and may include a memory and at least one processor electrically connected to the memory. And the processor can perform a series of processes to detect abnormalities. The processor uses a pre-learned feature extraction model to extract feature vectors of structured data and unstructured data collected at preset collection cycles in the target manufacturing process. Then, after pairing the support data set and the connected feature vector, they are input into a pre-trained anomaly detection model to detect anomalies in the target manufacturing process.

도 2는 본 발명의 일실시예에 따른 특징 추출 모델 및 이상 감지 모델을 설명하기 위한 도면이며, 도 3은 샴 네트워크 기반의 퓨샷 러닝 기법을 설명하기 위한 도면이다.Figure 2 is a diagram for explaining a feature extraction model and an anomaly detection model according to an embodiment of the present invention, and Figure 3 is a diagram for explaining a Siamese network-based few-shot learning technique.

도 2를 참조하면, 특징 추출 모델(210)은 정형 데이터 및 비정형 데이터를 입력받아, 정형 데이터 및 비정형 데이터 각각의 특징 벡터(211, 212)를 출력한다. 특징 추출 모델(210)은, 훈련용 정형 데이터 및 훈련용 비정형 데이터와, 훈련용 정형 데이터 및 훈련용 비정형 데이터에 레이블링된 정답값(정상 또는 이상)을 포함하는 훈련 데이터를 통해 학습될 수 있다. Referring to FIG. 2, the feature extraction model 210 receives structured data and unstructured data and outputs feature vectors 211 and 212 for the structured data and unstructured data, respectively. The feature extraction model 210 may be learned through training data including structured data for training, unstructured data for training, and correct answer values (normal or abnormal) labeled in the structured data for training and unstructured data for training.

미리 설정된 수집 주기 별로 특징 추출 모델(210)에 의해 추출된 정형 및 비정형 데이터의 특징 벡터는 연결되며, 연결된 특징 벡터(213)은 서포트 데이터 셋과 페어링(220)되어, 이상 감지 모델(230)로 입력된다. 즉, 연결된 특징 벡터(213) 및 서포트 데이터 셋이 페어링된 한쌍의 데이터가, 이상 감지 모델(230)로 입력된다.The feature vectors of the structured and unstructured data extracted by the feature extraction model 210 for each preset collection cycle are connected, and the connected feature vector 213 is paired with the support data set 220 and used as an anomaly detection model 230. is entered. That is, a pair of data in which the connected feature vector 213 and the support data set are paired are input to the anomaly detection model 230.

이상 감지 모델(230)은 전술된 바와 같이, 샴 네트워크(Siamese Network)를 이용하는 퓨샷 러닝 기반의 모델로서, 제1 및 제2네트워크(310, 320)를 포함한다. 제1 및 제2네트워크(310, 320)는, 제1 및 제2네트워크(310, 320)로 입력되는 특징 벡터의 클래스가 동일할 경우, 제1 및 제2네트워크(310, 320)에서 출력되는 임베딩 벡터의 거리가 가깝도록, 그리고 제1 및 제2네트워크(310, 320)로 입력되는 특징 벡터의 클래스가 상이할 경우에는 제1 및 제2네트워크(310, 320)에서 출력되는 임베딩 벡터의 거리가 멀도록, 학습된 네트워크이다.As described above, the anomaly detection model 230 is a few-shot learning-based model using a Siamese network and includes first and second networks 310 and 320. When the classes of feature vectors input to the first and second networks 310 and 320 are the same, the first and second networks 310 and 320 output from the first and second networks 310 and 320. So that the distance of the embedding vectors is close, and when the classes of the feature vectors input to the first and second networks (310, 320) are different, the distances of the embedding vectors output from the first and second networks (310, 320) By far, it is a trained network.

연결된 특징 벡터(213)는 제1네트워크(310)로 입력되며, 서포트 데이터 셋은 제2네트워크(320)로 입력된다. 제1네트워크(310)는 특징 벡터(213)에 대한 제1임베딩 벡터를 출력하며, 제2네트워크는 서포트 데이터 셋에 대한 제2임베딩 벡터를 출력한다. 그리고 이상 감지 모델(230)은 제1 및 제2임베딩 벡터 사이의 거리에 따라서, 타겟 제조 공정의 이상을 감지한다. 제1 및 제2임베딩 벡터 사이의 거리가 가까울수록, 제1 및 제2임베딩 벡터 사이의 유사도가 높은 것으로 판단된다.The connected feature vector 213 is input to the first network 310, and the support data set is input to the second network 320. The first network 310 outputs a first embedding vector for the feature vector 213, and the second network outputs a second embedding vector for the support data set. And the anomaly detection model 230 detects anomalies in the target manufacturing process according to the distance between the first and second embedding vectors. It is determined that the closer the distance between the first and second embedding vectors is, the higher the similarity between the first and second embedding vectors is.

서포트 데이터 셋은, 정상 또는 이상 제조 공정에서 수집된 레퍼런스 정형 및 비정형 데이터의 특징 벡터를 포함하는 데이터 셋으로서, 정상 및 이상 공정에 대한 정답값에 대응된다고 볼 수 있다. 실시예에 따라서, 정상 및 이상 제조 공정에서 수집된 레퍼런스 특징 벡터가 모두 특징 벡터(213)와 페어링되거나, 정상 및 이상 제조 공정에서 수집된 레퍼런스 특징 벡터 중 하나가 특징 벡터(213)와 페어링될 수 있다.The support data set is a data set containing feature vectors of reference structured and unstructured data collected from normal or abnormal manufacturing processes, and can be viewed as corresponding to the correct answer values for normal and abnormal manufacturing processes. Depending on the embodiment, all reference feature vectors collected in normal and abnormal manufacturing processes may be paired with the feature vector 213, or one of the reference feature vectors collected in normal and abnormal manufacturing processes may be paired with the feature vector 213. there is.

특징 벡터(213)가 정상 제조 공정에서 수집된 레퍼런스 특징 벡터와 페어링되며, 특징 벡터(213)에 대한 제1임베딩 벡터와, 정상 제조 공정에서 수집된 레퍼런스 특징 벡터에 대한 제2임베딩 벡터 사이의 거리가 임계값보다 작은 경우, 이상 감지 모델(230)은 제1 및 제2임베딩 벡터의 유사도가 높은 것으로 판단하여, 타겟 제조 공정에 이상이 발생하지 않은 것으로 판단할 수 있다. 반대로 특징 벡터(213)에 대한 제1임베딩 벡터와, 정상 제조 공정에서 수집된 레퍼런스 특징 벡터에 대한 제2임베딩 벡터 사이의 거리가 임계값보다 큰 경우, 이상 감지 모델(230)은 제1 및 제2임베딩 벡터의 유사도가 낮은 것으로 판단하여, 타겟 제조 공정에 이상이 발생한 것으로 판단할 수 있다.The feature vector 213 is paired with a reference feature vector collected in a normal manufacturing process, and the distance between the first embedding vector for the feature vector 213 and the second embedding vector for the reference feature vector collected in the normal manufacturing process If is less than the threshold, the anomaly detection model 230 may determine that the similarity between the first and second embedding vectors is high, and thus determine that no anomaly has occurred in the target manufacturing process. Conversely, when the distance between the first embedding vector for the feature vector 213 and the second embedding vector for the reference feature vector collected in the normal manufacturing process is greater than the threshold, the anomaly detection model 230 uses the first and second embedding vectors for the feature vector 213. 2 Since the similarity of the embedding vectors is determined to be low, it can be determined that an abnormality has occurred in the target manufacturing process.

또는 특징 벡터(213)가 이상 제조 공정에서 수집된 레퍼런스 특징 벡터와 페어링되며, 특징 벡터(213)에 대한 제1임베딩 벡터와, 이상 제조 공정에서 수집된 레퍼런스 특징 벡터에 대한 제2임베딩 벡터 사이의 거리가 임계값보다 작은 경우, 이상 감지 모델(230)은 제1 및 제2임베딩 벡터의 유사도가 높은 것으로 판단하여, 타겟 제조 공정에 이상이 발생한 것으로 판단할 수 있다. 반대로 특징 벡터(213)에 대한 제1임베딩 벡터와, 이상 제조 공정에서 수집된 레퍼런스 특징 벡터에 대한 제2임베딩 벡터 사이의 거리가 임계값보다 큰 경우, 이상 감지 모델(230)은 제1 및 제2임베딩 벡터의 유사도가 낮은 것으로 판단하여, 타겟 제조 공정에 이상이 발생하지 않은 것으로 판단할 수 있다.Or, the feature vector 213 is paired with a reference feature vector collected in an abnormal manufacturing process, and the difference between the first embedding vector for the feature vector 213 and the second embedding vector for the reference feature vector collected in the abnormal manufacturing process If the distance is smaller than the threshold, the anomaly detection model 230 may determine that the similarity between the first and second embedding vectors is high and determine that an abnormality has occurred in the target manufacturing process. Conversely, if the distance between the first embedding vector for the feature vector 213 and the second embedding vector for the reference feature vector collected in the abnormal manufacturing process is greater than the threshold, the anomaly detection model 230 uses the first and second embedding vectors for the feature vector 213. 2 Since the similarity of the embedding vectors is determined to be low, it can be determined that no abnormality has occurred in the target manufacturing process.

또는 정상 및 이상 제조 공정에서 수집된 레퍼런스 특징 벡터가 모두 특징 벡터(213)와 페어링되며, 특징 벡터(213)에 대한 제1임베딩 벡터와, 정상 제조 공정에서 수집된 레퍼런스 특징 벡터에 대한 제2임베딩 벡터 사이의 거리가, 특징 벡터(213)에 대한 제1임베딩 벡터와, 이상 제조 공정에서 수집된 레퍼런스 특징 벡터에 대한 제2임베딩 벡터 사이의 거리보다 작은 경우, 이상 감지 모델(230)은 특징 벡터(213)에 대한 제1임베딩 벡터와, 정상 제조 공정에서 수집된 레퍼런스 특징 벡터에 대한 제2임베딩 벡터의 유사도가 높은 것으로 판단하여, 타겟 제조 공정에 이상이 발생하지 않은 것으로 판단할 수 있다. 반대로 특징 벡터(213)에 대한 제1임베딩 벡터와, 정상 제조 공정에서 수집된 레퍼런스 특징 벡터에 대한 제2임베딩 벡터 사이의 거리가, 특징 벡터(213)에 대한 제1임베딩 벡터와, 이상 제조 공정에서 수집된 레퍼런스 특징 벡터에 대한 제2임베딩 벡터 사이의 거리보다 큰 경우, 이상 감지 모델(230)은 특징 벡터(213)에 대한 제1임베딩 벡터와, 이상 제조 공정에서 수집된 레퍼런스 특징 벡터에 대한 제2임베딩 벡터의 유사도가 높은 것으로 판단하여, 타겟 제조 공정에 이상이 발생한 것으로 판단할 수 있다.Or, both reference feature vectors collected in normal and abnormal manufacturing processes are paired with the feature vector 213, and a first embedding vector for the feature vector 213 and a second embedding for the reference feature vector collected in the normal manufacturing process If the distance between the vectors is smaller than the distance between the first embedding vector for the feature vector 213 and the second embedding vector for the reference feature vector collected in the abnormal manufacturing process, the anomaly detection model 230 uses the feature vector Since the similarity between the first embedding vector for (213) and the second embedding vector for the reference feature vector collected in the normal manufacturing process is determined to be high, it can be determined that no abnormality has occurred in the target manufacturing process. Conversely, the distance between the first embedding vector for the feature vector 213 and the second embedding vector for the reference feature vector collected in the normal manufacturing process is the distance between the first embedding vector for the feature vector 213 and the abnormal manufacturing process. If the distance between the second embedding vector for the reference feature vector collected in is greater than the distance between the first embedding vector for the feature vector 213 and the reference feature vector collected in the abnormal manufacturing process. Since the similarity of the second embedding vector is determined to be high, it can be determined that an abnormality has occurred in the target manufacturing process.

한편, 실시예에 따라서 서포트 데이터 셋은 이상 제조 공정에서 수집된 복수의 이상 유형별 레퍼런스 정형 및 비정형 데이터의 특징 벡터를 더 포함할 수 있다. 이 경우, 특징 벡터(213)는 정상 제조 공정에서 수집된 레퍼런스 특징 벡터와, 이상 제조 공정에서 이상 유형별로 수집된 복수의 레퍼런스 특징 벡터와 추가로 페어링될 수 있다.Meanwhile, depending on the embodiment, the support data set may further include feature vectors of reference structured and unstructured data for a plurality of abnormality types collected in an abnormal manufacturing process. In this case, the feature vector 213 may be additionally paired with a reference feature vector collected in a normal manufacturing process and a plurality of reference feature vectors collected for each abnormality type in an abnormal manufacturing process.

이상 유형별 레퍼런스 특징 벡터는 타겟 제조 공정의 이상이 감지된 경우, 제2네트워크(320)로 입력될 수 있다. 즉 이상 감지 모델(230)은 1차적으로 타겟 제조 공정의 이상을 감지하고, 이상이 감지된 경우 2차적으로 이상 유형을 감지할 수 있다.Reference feature vectors for each abnormality type may be input to the second network 320 when an abnormality in the target manufacturing process is detected. That is, the abnormality detection model 230 can primarily detect an abnormality in the target manufacturing process, and when an abnormality is detected, it can secondarily detect the type of abnormality.

이상 유형별 레퍼런스 특징 벡터가 이용됨으로써, 이상의 유무 뿐만 아니라, 이상의 유형도 감지될 수 있다. 이상 감지 모델(230)은 특징 벡터(213)에 대한 제1임베딩 벡터와 이상 유형별 레퍼런스 특징 벡터에 대한 제2임베딩 벡터 사이의 거리를 계산한 후, 가장 거리가 가까운 즉, 가장 유사도가 높은 이상 유형별 레퍼런스 특징 벡터에 대응되는 이상 유형을 감지할 수 있다.By using reference feature vectors for each abnormality type, not only the presence or absence of an abnormality but also the type of abnormality can be detected. The anomaly detection model 230 calculates the distance between the first embedding vector for the feature vector 213 and the second embedding vector for the reference feature vector for each anomaly type, and then calculates the distance for each anomaly type with the closest distance, that is, the highest similarity. An abnormality type corresponding to a reference feature vector can be detected.

도 4는 본 발명의 다른 실시예에 따른 제조 공정에서 이상을 감지하는 방법을 설명하기 위한 도면으로서, 정형 데이터 및 비정형 데이터의 수집 주기를 나타내는 도면이다.Figure 4 is a diagram for explaining a method for detecting abnormalities in a manufacturing process according to another embodiment of the present invention, and is a diagram showing the collection cycle of structured data and unstructured data.

단계 S130에서 컴퓨팅 장치는 이전 수집 주기(410)에서 추출된 정형 및 비정형 데이터에 대한 특징 벡터를 샴 네트워크의 제1네트워크로 입력하고, 현재 수집 주기(420)에서 추출된 정형 및 비정형 데이터에 대한 특징 벡터를 특징 벡터를 샴 네트워크의 제2네트워크로 입력한다.In step S130, the computing device inputs feature vectors for the structured and unstructured data extracted in the previous collection cycle (410) into the first network of the Siamese network, and features for the structured and unstructured data extracted in the current collection cycle (420). Input the feature vector into the second network of the Siamese network.

그리고 제1 및 제2네트워크로부터 출력되는 임베딩 벡터 사이의 거리에 따라서, 이전 및 현재 수집 주기에서 추출된 특징 벡터 사이의 유사도를 판단한다.And, according to the distance between the embedding vectors output from the first and second networks, the similarity between the feature vectors extracted from the previous and current collection cycles is determined.

그리고 유사도가 임계값 이하인 경우, 이전 또는 현재 수집 주기에서 추출된 특징 벡터를 제1네트워크로 입력하고, 서포트 데이터 셋을 제2네트워크로 입력하여 획득된 임베딩 벡터 사이의 거리에 따라서, 타겟 제조 공정의 이상을 감지한다. 이전 및 현재 수집 주기에서 추출된 특징 벡터 사이의 유사도가 임계값 이하로 낮다는 것은, 이전 및 현재 수집 주기에서 추출된 특징 벡터의 클래스가 서로 다른 것이므로, 이전 또는 현재 수집 주기에서 타겟 제조 공정의 이상이 존재할 수 있음을 의미한다. 따라서 컴퓨팅 장치는 이전 및 현재 수집 주기에서 추출된 특징 벡터 사이의 유사도 임계값 이하인 경우, 서포트 데이터 셋을 이용하여, 정확한 이상 유무를 감지하고 이상 유형을 감지할 수 있다.And if the similarity is below the threshold, the feature vector extracted from the previous or current collection cycle is input to the first network and the support data set is input to the second network, and according to the distance between the embedding vectors obtained, the target manufacturing process Detect abnormalities. If the similarity between the feature vectors extracted from the previous and current collection cycles is low below the threshold, it means that the classes of feature vectors extracted from the previous and current collection cycles are different, which means that there is an abnormality in the target manufacturing process in the previous or current collection cycle. This means that it can exist. Therefore, if the similarity between the feature vectors extracted in the previous and current collection cycles is below the threshold, the computing device can use the support data set to accurately detect the presence or absence of anomaly and detect the type of anomaly.

본 발명의 일실시예에 따르면, 매 수집 주기마다 정형 및 비정형 데이터에 대한 특징 벡터와 서포트 데이터 셋이 샴 네트워크로 입력되는 것이 아니라, 이전 및 현재 주기에서 추출된 정형 및 비정형 데이터에 대한 특징 벡터의 유사도가 낮은 경우, 정형 및 비정형 데이터에 대한 특징 벡터와 서포트 데이터 셋이 샴 네트워크로 입력된다. 따라서, 정형 및 비정형 데이터가 수집될 때마다 정형 및 비정형 데이터에 대한 특징 벡터와 서포트 데이터 셋의 유사도가 판단되지 않으므로, 이상 감지 속도가 향상될 수 있다.According to an embodiment of the present invention, feature vectors and support data sets for structured and unstructured data are not input into the Siamese network every collection cycle, but feature vectors for structured and unstructured data extracted from the previous and current cycles are input to the Siamese network. When similarity is low, feature vectors and support data sets for structured and unstructured data are input into a Siamese network. Therefore, since the similarity between the feature vectors for the structured and unstructured data and the support data set is not determined each time structured and unstructured data are collected, the anomaly detection speed can be improved.

한편, 임계값은 수집 주기의 길이에 따라서 조절될 수 있으며 일실시예로서 수집 주기의 길이와 임계값은 반비례할 수 있다. 즉, 수집 주기의 길이가 길수록 임계값은 작아질 수 있다.Meanwhile, the threshold may be adjusted according to the length of the collection cycle, and in one embodiment, the length of the collection cycle and the threshold may be inversely proportional. That is, the longer the length of the collection cycle, the smaller the threshold can be.

앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The technical contents described above may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be specially designed and configured for the embodiments or may be known and available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc. A hardware device may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.As described above, the present invention has been described with specific details such as specific components and limited embodiments and drawings, but this is only provided to facilitate a more general understanding of the present invention, and the present invention is not limited to the above embodiments. , those skilled in the art can make various modifications and variations from this description. Accordingly, the spirit of the present invention should not be limited to the described embodiments, and the scope of the patent claims described later as well as all things that are equivalent or equivalent to the scope of this patent claim shall fall within the scope of the spirit of the present invention. .

Claims (15)

타겟 제조 공정에서, 정형 데이터 및 비정형 데이터를 미리 설정된 수집 주기별로 수집하는 단계;
미리 학습된 특징 추출 모델을 이용하여, 상기 정형 및 비정형 데이터의 특징 벡터를 추출하는 단계; 및
연결된 상기 특징 벡터를 미리 학습된 이상 감지 모델에 입력하여, 상기 타겟 제조 공정의 이상을 감지하는 단계
를 포함하는 제조 공정에서 이상을 감지하는 방법.
In the target manufacturing process, collecting structured data and unstructured data at a preset collection cycle;
extracting feature vectors of the structured and unstructured data using a pre-learned feature extraction model; and
Inputting the connected feature vector into a pre-learned abnormality detection model to detect an abnormality in the target manufacturing process
A method for detecting abnormalities in a manufacturing process including.
 제 1항에 있어서,
상기 특징 추출 모델 및 상기 이상 감지 모델은
서로 다른 메타 학습 기법을 통해 학습된 모델인
제조 공정에서 이상을 감지하는 방법.
According to clause 1,
The feature extraction model and the anomaly detection model are
Models learned through different meta-learning techniques
How to detect anomalies in the manufacturing process.
 제 2항에 있어서,
상기 특징 추출 모델은
MAML(Model-Agnostic Meta-Learning) 기법을 이용해 학습된 모델인
제조 공정에서 이상을 감지하는 방법.
According to clause 2,
The feature extraction model is
A model learned using MAML (Model-Agnostic Meta-Learning) technique
How to detect anomalies in the manufacturing process.
 제 2항에 있어서,
상기 이상 감지 모델은
샴 네트워크 기반의 퓨샷 러닝 기법을 이용해 학습된 모델인
제조 공정에서 이상을 감지하는 방법.
According to clause 2,
The abnormality detection model is
A model learned using a Siamese network-based few-shot learning technique.
How to detect anomalies in the manufacturing process.
 제 4항에 있어서,
상기 타겟 제조 공정의 이상을 감지하는 단계는
상기 수집 주기별로 추출된 상기 특징 벡터를 상기 샴 네트워크의 제1네트워크로 입력하고, 서포트 데이터 셋을 상기 샴 네트워크의 제2네트워크로 입력하는 단계; 및
상기 제1 및 제2네트워크로부터 출력되는 임베딩 벡터 사이의 거리에 따라서, 상기 타겟 제조 공정의 이상을 감지하는 단계를 포함하며,
상기 서포트 데이터 셋은
정상 또는 이상 제조 공정에서 수집된 레퍼런스 정형 및 비정형 데이터의 특징 벡터를 포함하는
제조 공정에서 이상을 감지하는 방법.
According to clause 4,
The step of detecting an abnormality in the target manufacturing process is
Inputting the feature vector extracted for each collection cycle into a first network of the Siamese network and inputting the support data set into a second network of the Siamese network; and
Detecting an abnormality in the target manufacturing process according to the distance between the embedding vectors output from the first and second networks,
The support data set is
Contains feature vectors of reference structured and unstructured data collected from normal or abnormal manufacturing processes.
How to detect anomalies in the manufacturing process.
 제 5항에 있어서,
상기 서포트 데이터 셋은
상기 이상 제조 공정에서 수집된 복수의 이상 유형별 레퍼런스 정형 및 비정형 데이터의 특징 벡터를 더 포함하는
제조 공정에서 이상을 감지하는 방법.
According to clause 5,
The support data set is
Further comprising feature vectors of reference structured and unstructured data for a plurality of abnormality types collected in the abnormal manufacturing process.
How to detect anomalies in the manufacturing process.
 제 6항에 있어서,
상기 이상 유형별 레퍼런스 정형 및 비정형 데이터의 특징 벡터는
상기 타겟 제조 공정의 이상이 감지된 경우, 상기 제2네트워크로 입력되며,
상기 타겟 제조 공정의 이상을 감지하는 단계는
상기 타겟 제조 공정의 이상 유형을 감지하는
제조 공정에서 이상을 감지하는 방법.
According to clause 6,
The feature vectors of reference structured and unstructured data for each abnormality type are
If an abnormality in the target manufacturing process is detected, it is input to the second network,
The step of detecting an abnormality in the target manufacturing process is
Detecting abnormal types of the target manufacturing process
How to detect anomalies in the manufacturing process.
 제 4항에 있어서,
상기 타겟 제조 공정의 이상을 감지하는 단계는
이전 수집 주기에서 추출된 상기 특징 벡터를 상기 샴 네트워크의 제1네트워크로 입력하고, 현재 수집 주기에서 추출된 상기 특징 벡터를 상기 샴 네트워크의 제2네트워크로 입력하는 단계;
상기 제1 및 제2네트워크로부터 출력되는 제1임베딩 벡터 사이의 거리에 따라서, 상기 이전 및 현재 수집 주기에서 추출된 특징 벡터 사이의 유사도를 판단하는 단계;
상기 유사도가 임계값 이하인 경우, 상기 이전 또는 현재 수집 주기에서 추출된 상기 특징 벡터를 상기 제1네트워크로 입력하고, 서포트 데이터 셋을 상기 제2네트워크로 입력하여 획득된 제2임베딩 벡터 사이의 거리에 따라서, 상기 타겟 제조 공정의 이상을 감지하는 단계를 포함하며,
상기 서포트 데이터 셋은
정상 또는 이상 제조 공정에서 수집된 레퍼런스 정형 및 비정형 데이터의 특징 벡터를 포함하는
제조 공정에서 이상을 감지하는 방법.
According to clause 4,
The step of detecting an abnormality in the target manufacturing process is
Inputting the feature vector extracted from the previous collection cycle into a first network of the Siamese network and inputting the feature vector extracted from the current collection cycle into a second network of the Siamese network;
determining similarity between feature vectors extracted from the previous and current collection cycles according to the distance between the first embedding vectors output from the first and second networks;
If the similarity is below the threshold, the distance between the second embedding vector obtained by inputting the feature vector extracted from the previous or current collection cycle into the first network and inputting the support data set into the second network Therefore, it includes detecting an abnormality in the target manufacturing process,
The support data set is
Contains feature vectors of reference structured and unstructured data collected from normal or abnormal manufacturing processes.
How to detect anomalies in the manufacturing process.
 제 8항에 있어서,
상기 임계값은
상기 수집 주기의 길이에 따라서 조절되는
제조 공정에서 이상을 감지하는 방법.
According to clause 8,
The threshold is
Adjusted according to the length of the collection cycle
How to detect anomalies in the manufacturing process.
 제 1항에 있어서,
상기 정형 데이터는
상기 타겟 제조 공정을 감지하는 센서에 의해 수집된 시계열 데이터이며,
상기 비정형 데이터는
상기 타겟 제조 공정에 대한 이미지를 포함하는 비시계열 데이터인
제조 공정에서 이상을 감지하는 방법.
According to clause 1,
The structured data is
It is time series data collected by a sensor that detects the target manufacturing process,
The unstructured data is
Non-time series data containing images of the target manufacturing process
How to detect anomalies in the manufacturing process.
 메모리; 및
상기 메모리와 전기적으로 연결된 적어도 하나의 프로세서를 포함하며,
상기 프로세서는
미리 학습된 특징 추출 모델을 이용하여, 타겟 제조 공정에서 미리 설정된 수집 주기별로 수집된 정형 데이터 및 비정형 데이터의 특징 벡터를 추출하고,
서포트 데이터 셋 및 연결된 상기 특징 벡터를 페어링한 후, 미리 학습된 이상 감지 모델에 입력하여, 상기 타겟 제조 공정의 이상을 감지하며,
상기 이상 감지 모델은, 샴 네트워크 기반의 퓨샷 러닝 기법을 이용해 학습된 모델인
제조 공정에서 이상을 감지하는 장치.
Memory; and
Includes at least one processor electrically connected to the memory,
The processor is
Using a pre-learned feature extraction model, feature vectors of structured data and unstructured data collected at preset collection cycles in the target manufacturing process are extracted,
After pairing the support data set and the connected feature vector, it is input into a pre-trained anomaly detection model to detect anomalies in the target manufacturing process,
The anomaly detection model is a model learned using a Siamese network-based few-shot learning technique.
A device that detects abnormalities in the manufacturing process.
 제 11항에 있어서,
상기 프로세서는
상기 수집 주기별로 추출된 상기 특징 벡터를 상기 샴 네트워크의 제1네트워크로 입력하고, 상기 서포트 데이터 셋을 상기 샴 네트워크의 제2네트워크로 입력하며,
상기 제1 및 제2네트워크로부터 출력되는 임베딩 벡터 사이의 거리에 따라서, 상기 타겟 제조 공정의 이상을 감지하며,
상기 서포트 데이터 셋은
정상 또는 이상 제조 공정에서 수집된 레퍼런스 정형 및 비정형 데이터의 특징 벡터를 포함하는
제조 공정에서 이상을 감지하는 장치.
According to clause 11,
The processor is
The feature vector extracted for each collection cycle is input to a first network of the Siamese network, and the support data set is input to a second network of the Siamese network,
Detecting an abnormality in the target manufacturing process according to the distance between the embedding vectors output from the first and second networks,
The support data set is
Contains feature vectors of reference structured and unstructured data collected from normal or abnormal manufacturing processes.
A device that detects abnormalities in the manufacturing process.
 제 12항에 있어서,
상기 서포트 데이터 셋은
상기 이상 제조 공정에서 수집된 복수의 이상 유형별 레퍼런스 정형 및 비정형 데이터의 특징 벡터를 더 포함하는
제조 공정에서 이상을 감지하는 장치.
According to clause 12,
The support data set is
Further comprising feature vectors of reference structured and unstructured data for a plurality of abnormality types collected in the abnormal manufacturing process.
A device that detects abnormalities in the manufacturing process.
 제 13항에 있어서,
상기 이상 유형별 레퍼런스 정형 및 비정형 데이터의 특징 벡터는
상기 타겟 제조 공정의 이상이 감지된 경우, 상기 제2네트워크로 입력되며,
상기 프로세서는
상기 타겟 제조 공정의 이상 유형을 감지하는
제조 공정에서 이상을 감지하는 장치.
According to clause 13,
The feature vectors of reference structured and unstructured data for each abnormality type are
If an abnormality in the target manufacturing process is detected, it is input to the second network,
The processor is
Detecting abnormal types of the target manufacturing process
A device that detects abnormalities in the manufacturing process.
 제 11항에 있어서,
상기 프로세서는
이전 수집 주기에서 추출된 상기 특징 벡터를 상기 샴 네트워크의 제1네트워크로 입력하고, 현재 수집 주기에서 추출된 상기 특징 벡터를 상기 샴 네트워크의 제2네트워크로 입력하고,
상기 제1 및 제2네트워크로부터 출력되는 제1임베딩 벡터 사이의 거리에 따라서, 상기 이전 및 현재 수집 주기에서 추출된 특징 벡터 사이의 유사도를 판단하고,
상기 유사도가 임계값 이하인 경우, 상기 이전 또는 현재 수집 주기에서 추출된 상기 특징 벡터를 상기 제1네트워크로 입력하고, 서포트 데이터 셋을 상기 제2네트워크로 입력하여 획득된 제2임베딩 벡터 사이의 거리에 따라서, 상기 타겟 제조 공정의 이상을 감지하는,
제조 공정에서 이상을 감지하는 장치.
According to clause 11,
The processor is
Input the feature vector extracted from the previous collection cycle into the first network of the Siamese network, and input the feature vector extracted from the current collection cycle into the second network of the Siamese network,
Determining similarity between feature vectors extracted in the previous and current collection cycles according to the distance between the first embedding vectors output from the first and second networks,
If the similarity is less than or equal to the threshold, the distance between the second embedding vector obtained by inputting the feature vector extracted from the previous or current collection cycle into the first network and inputting the support data set into the second network Therefore, detecting abnormalities in the target manufacturing process,
A device that detects abnormalities in the manufacturing process.
KR1020220158836A 2022-11-24 2022-11-24 Anomaly detection method and apparatus for manufacturing process KR20240076915A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220158836A KR20240076915A (en) 2022-11-24 2022-11-24 Anomaly detection method and apparatus for manufacturing process
PCT/KR2023/006163 WO2024111766A1 (en) 2022-11-24 2023-05-04 Method and device for detecting anomaly in manufacturing process

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220158836A KR20240076915A (en) 2022-11-24 2022-11-24 Anomaly detection method and apparatus for manufacturing process

Publications (1)

Publication Number Publication Date
KR20240076915A true KR20240076915A (en) 2024-05-31

Family

ID=91195731

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220158836A KR20240076915A (en) 2022-11-24 2022-11-24 Anomaly detection method and apparatus for manufacturing process

Country Status (2)

Country Link
KR (1) KR20240076915A (en)
WO (1) WO2024111766A1 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2917848A4 (en) * 2012-11-09 2016-11-02 California Inst Of Techn Automated feature analysis, comparison, and anomaly detection
KR101970619B1 (en) * 2017-06-28 2019-04-22 한국과학기술연구원 Method for detecting abnormal situation and system for performing the same
KR102291964B1 (en) * 2019-08-09 2021-08-19 연세대학교 산학협력단 Method for Fault Detection and Fault Diagnosis in Semiconductor Manufacturing Process
US20220067582A1 (en) * 2020-08-27 2022-03-03 Samsung Electronics Co. Ltd. Method and apparatus for continual few-shot learning without forgetting
KR102548178B1 (en) * 2020-12-14 2023-06-28 전북대학교산학협력단 Apparatus for few-shot classification with clustering function and meta-learning method thereof

Also Published As

Publication number Publication date
WO2024111766A1 (en) 2024-05-30

Similar Documents

Publication Publication Date Title
JP2020119558A (en) Learning method and learning device of pedestrian detector for robust surveillance based on image analysis, and testing method and testing device using the same
JP6161257B2 (en) Event detection apparatus and method, operation recognition apparatus and method, and program
Vodenčarević et al. Identifying behavior models for process plants
CN109977895B (en) Wild animal video target detection method based on multi-feature map fusion
CN109159113B (en) Robot operation method based on visual reasoning
CN111753986B (en) Dynamic test method and device for deep learning model
CN111190804A (en) Multi-level deep learning log fault detection method for cloud native system
KR20170112857A (en) Method for recognizing subtle facial expression using deep learning based analysis of micro facial dynamics and apparatus therefor
KR20200072169A (en) Method and system for anomaly behavior detection using machine learning
CN117104377B (en) Intelligent management system and method for electric bicycle
CN116374645A (en) Running state monitoring system and method for bucket wheel machine
KR102132077B1 (en) Facility data fault diagnosis system and method of the same
Thoduka et al. Using visual anomaly detection for task execution monitoring
CN112949352B (en) Training method and device of video detection model, storage medium and electronic equipment
CN112534472B (en) Image determination device, image determination method, and recording medium for program thereof
KR20240076915A (en) Anomaly detection method and apparatus for manufacturing process
KR100786229B1 (en) On-Line Fault Detecting Method for 3-Phase Induction Motor
Bergaoui et al. Object-centric and memory-guided normality reconstruction for video anomaly detection
CN112990428A (en) Repetitive human activity abnormal motion detection
CN117935174B (en) Intelligent management system and method for vacuum bag film production line
CN112446870B (en) Pipeline damage detection method, device, equipment and storage medium
US20220342375A1 (en) Master pattern generation method based on control program analysis and training method for cycle analysis model
박규민 Collision Detection for Robot Manipulators Using Supervised and Unsupervised Learning Algorithms
Okolai et al. Autonomous vehicle fault Detection and Isolation Model Using Stochastic Gradient Descent
Vijayalakshmi et al. Image classifier based digital image forensic detection-a review and simulations