KR20190060547A - Method of Deriving and Visualizing the Causes of Process Malfunctions Through Machine Learning Model In Data Imbalance Environment - Google Patents

Method of Deriving and Visualizing the Causes of Process Malfunctions Through Machine Learning Model In Data Imbalance Environment Download PDF

Info

Publication number
KR20190060547A
KR20190060547A KR1020170158862A KR20170158862A KR20190060547A KR 20190060547 A KR20190060547 A KR 20190060547A KR 1020170158862 A KR1020170158862 A KR 1020170158862A KR 20170158862 A KR20170158862 A KR 20170158862A KR 20190060547 A KR20190060547 A KR 20190060547A
Authority
KR
South Korea
Prior art keywords
data
failure
cause
deriving
failure cause
Prior art date
Application number
KR1020170158862A
Other languages
Korean (ko)
Other versions
KR102016812B1 (en
Inventor
김동일
윤주성
구정인
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020170158862A priority Critical patent/KR102016812B1/en
Publication of KR20190060547A publication Critical patent/KR20190060547A/en
Application granted granted Critical
Publication of KR102016812B1 publication Critical patent/KR102016812B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04Manufacturing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395Quality analysis or management
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Educational Administration (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Manufacturing & Machinery (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Factory Administration (AREA)

Abstract

Disclosed is a method for deriving and visualizing a cause of process failure through a machine learning model in a data imbalance environment. The method comprises: a step of acquiring first data including quality inspection result data measured in at least one sensor installed in each of a plurality of processes and second data including process data; a step of preprocessing individual data of each of the first data and the second data; a step of integrating the preprocessed individual data to generate analysis target data; a step of preprocessing the analysis target data; a step of generating a failure prediction model based on the preprocessed analysis target data; a step of analyzing a failure cause as cause factors or failure cause factors through machine learning modeling or a decision making tree based on multiple variables; and a step of deriving a failure cause index based on the analysis result of the step of analyzing. The present invention can effectively draw process variables and purchasing influence.

Description

데이터 불균형 환경에서 머신러닝 모델을 통해 공정 불량 원인을 도출하고 시각화하는 방법{Method of Deriving and Visualizing the Causes of Process Malfunctions Through Machine Learning Model In Data Imbalance Environment}[0001] The present invention relates to a method of deriving and visualizing a cause of a process failure using a machine learning model in a data imbalance environment,

본 발명의 실시예는 데이터 불균형 환경에서 머신러닝 모델을 통해 공정 불량 원인을 도출하고 시각화하는 방법에 관한 것이다.An embodiment of the present invention relates to a method for deriving and visualizing a cause of process failure through a machine learning model in a data imbalance environment.

최근 전기전자제품이나 통신제품의 지능화 및 고성능화 추세에 따라 제품을 생산하는 제조 공정 라인이 복잡해지고 있다. 특히, 여러 공정들을 포함하는 제조 라인에서 불량을 예측하여 제품에 대한 신뢰성을 높이고 비용을 절감할 필요가 있다.Recently, the manufacturing process line for producing products has become complicated in accordance with the trend of intelligent and high performance of electric / electronic products and communication products. In particular, there is a need to increase the reliability of products and reduce costs by predicting defects in manufacturing lines including various processes.

이와 같이, 제품 출하 후 품질문제 등에 대응하기 위하여 제조 상품에 대한 제조이력정보를 추적하고 품질원인 분석 또는 시뮬레이션을 효과적으로 수행하고 수행 결과를 최종 사용자가 가시적으로 혹은 직관적으로 제공할 수 있는 방안이 요구되고 있다.In this way, in order to cope with quality problems after shipment of products, it is required to track production history information on manufactured goods, effectively perform quality cause analysis or simulation, and provide end users with visual or intuitive results have.

국내 공개특허공보 제10-2016-0076646호(2016.07.01.)Korean Patent Laid-Open No. 10-2016-0076646 (Jul. 국내 등록특허공보 제10-1530848호(2015.06.17.)Korean Patent Registration No. 10-1530848 (June 17, 2015)

본 발명은 종래 기술의 요구에 부응하기 위해 도출된 것으로, 그 목적은 제품 출하 후 품질문제 등에 대응하기 위하여 제조 상품에 대한 제조이력정보를 추적하고 품질원인 분석 또는 시뮬레이션을 효과적으로 수행하고 수행 결과를 최종 사용자가 가시적으로 혹은 직관적으로 제공할 수 있는, 데이터 불균형 환경에서 머신러닝 모델을 통해 공정 불량 원인을 도출하고 시각화하는 방법을 제공하는 데 있다.SUMMARY OF THE INVENTION The present invention has been made in order to meet the needs of the prior art, and its object is to track the manufacturing history information on the manufactured goods, effectively perform quality cause analysis or simulation, And to provide a method of deriving and visualizing the causes of process defects through a machine learning model in a data imbalance environment that a user can visually or intuitively provide.

상기 기술적 과제를 해결하기 위한 본 발명의 일 측면에 따른 데이터 불균형 환경에서 머신러닝 모델을 통해 공정 불량 원인을 도출하고 시각화하는 방법(이하 간략히 '공정 불량 원인 도출 방법'이라 함)은, 품질 원인 분석에 사용되는 다변량 분석 방법의 일종으로서, 양품 데이터에서 과소추출(undersampling)을 통해 양품 및 불량의 비율을 미리 설정된 비율로 맞춰 학습 데이터셋의 밸런스를 조정하는 단계; 상기 학습 데이터셋에 기초하여 불량원인인자를 파악하는 단계; 상기 과소추출 과정을 랜덤하게 반복하여 여러 개의 의사결정나무를 학습하는 단계; 및 상기 랜덤하게 반복된 과소추출 과정에 따른 불량원인인자 파악과 상기 불량원인인자 파악에 사용된 상기 여러 개의 의사결정나무의 결과를 종합하여 최종 불량원인인자를 추출하는 단계를 포함한다.In order to solve the above technical problems, a method of deriving and visualizing a cause of a process failure using a machine learning model in a data imbalance environment according to an aspect of the present invention (hereinafter, simply referred to as a "process defect cause derivation method" The method comprising the steps of adjusting a balance of a learning data set by adjusting a ratio of good products and defective parts by a predetermined ratio through undersampling in good quality data; Determining a failure cause factor based on the learning data set; Learning a plurality of decision trees by randomly repeating the under-extraction process; And extracting a final failure cause factor by synthesizing results of the plurality of decision trees used for grasping a failure cause factor according to the randomly repeated oversampling process and grasping the failure cause factor.

일실시예에서, 상기 불량 예측모델을 생성하는 단계와 분석하는 단계는 복수의 공정들 전체의 변수를 입력데이터로 하고, 양품 또는 불량 여부를 출력 데이터로 놓고, 예측 모델링하는 것을 포함할 수 있다.In one embodiment, the step of generating and analyzing the poor prediction model may include a step of modeling the parameters of the plurality of processes as input data, outputting good or bad output data, and performing prediction modeling.

일실시예에서, 상기 불량 예측모델을 생성하는 단계는 결정트리를 이용한 모델링 및 결과 해석이나 GA와 SVM을 이용한 모델링 및 결과 해석 등과 같이 머신러닝 모델을 활용한 원인인자를 파악하는 것을 포함할 수 있다.In one embodiment, the step of generating the bad prediction model may include grasping the causal factors utilizing the machine learning model, such as modeling using the decision tree and analyzing the results, modeling with GA and SVM, and analyzing the results .

일실시예에서, 상기 불량 예측모델을 생성하는 단계와 분석하는 단계는, 양품 데이터에서 과소추출(undersampling)을 통해 양품 및 불량의 비율을 미리 설정된 비율로 맞춰 학습 데이터셋의 밸런스를 조정하는 단계; 상기 학습 데이터셋에 기초하여 불량원인인자를 파악하는 단계; 상기 과소추출 과정을 랜덤하게 반복하여 여러 개의 의사결정나무를 학습하는 단계; 및 상기 랜덤하게 반복된 과소추출 과정에 따른 불량원인인자 파악과 상기 불량원인인자 파악에 사용된 상기 여러 개의 의사결정나무의 결과를 종합하여 최종 불량원인인자를 추출하는 단계를 포함할 수 있다.In one embodiment, the step of generating and analyzing the poor prediction model comprises: balancing the learning data set by matching a ratio of good products and defects with predetermined ratios through undersampling in good quality data; Determining a failure cause factor based on the learning data set; Learning a plurality of decision trees by randomly repeating the under-extraction process; And a step of extracting a final failure cause factor by combining the results of the plurality of decision trees used for grasping a failure cause factor according to the randomly repeated under-exploitation process and the failure cause factor.

일실시예에서, 상기 조정하는 단계에 입력되는 전처리된 데이터셋은 불량 개수가 적고 양품 개수가 압도적으로 많을 수 있다.In one embodiment, the preprocessed data set input to the adjusting step may have a small number of defects and an overwhelming number of good products.

일실시예에서, 상기 학습하는 단계에서 상기 과소추출 과정은 불량의 발생율이 가장 큰 데이터 근처의 양품 데이터에게 큰 가중치를 주어 추출할 수 있다.In one embodiment, in the learning step, the underestimation process can extract a large amount of good data near the data having the greatest incidence of failure with a large weight.

일실시예에서, 상기 학습하는 단계에서 램덤하게 수행되는 상기 과소추출 과정은 특정 과소추출 과정에서 샘플링된 데이터셋에 의해 학습된 모델 또는 불량원인인자 파악 결과가 종속되는 것을 방지할 수 있다.In one embodiment, the underestimation process, which is performed randomly in the learning process, can prevent the model or the defect cause identification result, which is learned by the data set sampled in a certain underestimation process, from being dependent.

일실시예에서, 공정 불량 원인 도출 방법은, 상기 도출하는 단계 후에 불량 원인 지수에 기초하여 품질 원인을 시각화하기 위한 정보를 출력하는 단계를 더 포함할 수 있다.In one embodiment, the process failure cause derivation method may further include outputting information for visualizing the quality cause based on the failure cause index after the deriving step.

본 발명에 의하면, 다변량 분석에 기반하여 제조공정라인에서 생산되는 제품의 최종 품질 불량 원인을 분석하기 위한 품질문제 원인인자, 공정변수 및 영향력 지수를 효과적으로 도출할 수 있다.According to the present invention, based on the multivariate analysis, it is possible to effectively derive the cause of the quality problem, the process variable, and the influence index for analyzing the cause of the final quality defect of the product produced in the manufacturing line.

또한, 도출된 품질문제 원인인자와 영향력 지수에 기초한 원인분석 결과에 따라 공정변수를 제어함으로써 공정 및 생산제품의 신뢰성을 높이고 불량 발생을 낮출 수 있으며, 원인인자, 공정변수 또는 영향력 지수에 대한 가시적 혹은 직관적 사용자 인터페이스를 제공하여 사용자 편의성을 극대화할 수 있다.In addition, it is possible to increase the reliability of process and production products and reduce the occurrence of defects by controlling the process variables according to the cause analysis results based on the derived quality factor and the influence index, Intuitive user interface is provided to maximize user convenience.

또한, 사용자 친화적 사용자 인터페이스(UI) 기반으로 상세 분석 시나리오를 설계하는데 기여할 수 있다.It can also contribute to the design of detailed analysis scenarios based on user friendly user interface (UI).

도 1은 본 발명의 일실시예에 따른 데이터 불균형 환경에서 머신러닝 모델을 통해 공정 불량 원인을 도출하고 시각화하는 방법(이하 간략히 '공정 불량 원인 도출 방법'이라 함)에 대한 흐름도이다.
도 2는 도 1의 공정 불량 원인 도출 방법을 적용할 수 있는 제조 공정에 대한 흐름도이다.
도 3은 도 1의 공정 불량 원인 도출 방법을 도 2의 제조 공정에 적용한 실시예를 설명하기 위한 도면이다.
도 4 내지 도 7은 도 1의 공정 불량 원인 도출 방법의 과정들 중에서 개별 데이터 전처리 과정을 설명하기 위한 도면들이다.
도 8은 도 1의 공정 불량 원인 도출 방법에서 데이터를 통합하고 불량 예측모델을 생성하는 과정을 설명하기 위한 도면이다.
도 9 및 도 10은 도 8의 불량 예측 모델의 작동 원리를 설명하기 위한 예시도들이다.
도 11은 도 1의 공정 불량 원인 도출 방법에서 원인인자를 도출하고 시각화하는 과정을 설명하기 위한 도면이다.
FIG. 1 is a flowchart of a method of deriving and visualizing a cause of a process failure using a machine learning model in a data unbalance environment according to an embodiment of the present invention (hereinafter, simply referred to as a "process defect cause derivation method").
FIG. 2 is a flowchart of a manufacturing process to which the process failure cause derivation method of FIG. 1 can be applied.
Fig. 3 is a diagram for explaining an embodiment in which the process failure cause derivation method of Fig. 1 is applied to the manufacturing process of Fig. 2. Fig.
FIGS. 4 to 7 are diagrams for explaining the individual data preprocessing process among the processes of the process failure cause derivation method of FIG.
8 is a diagram for explaining a process of integrating data and generating a failure prediction model in the process failure cause derivation method of FIG.
Figs. 9 and 10 are illustrations for explaining the operation principle of the failure prediction model of Fig.
11 is a diagram for explaining a process of deriving and visualizing a causal factor in the process defect cause derivation method of FIG.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.BRIEF DESCRIPTION OF THE DRAWINGS The present invention is capable of various modifications and various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, "특징으로 한다", "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. It is also to be understood that the terms " comprising, " " including, " or " having ", when used in this specification, specify the presence of stated features, integers, But do not preclude the presence or addition of one or more other features, numbers, steps, operations, elements, parts, or combinations thereof.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세하게 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 데이터 불균형 환경에서 머신러닝 모델을 통해 공정 불량 원인을 도출하고 시각화하는 방법(이하 간략히 '공정 불량 원인 도출 방법'이라 함)에 대한 흐름도이다.FIG. 1 is a flowchart of a method of deriving and visualizing a cause of a process failure using a machine learning model in a data unbalance environment according to an embodiment of the present invention (hereinafter, simply referred to as a "process defect cause derivation method").

도 1을 참조하면, 본 실시예에 따른 데이터 불균형 환경에서 머신러닝 모델을 통해 공정 불량 원인을 도출하고 시각화하는 방법(이하 간략히 '공정 불량 원인 도출 방법'이라 함)은, 데이터 수집 단계(S11), 개별 데이터 전처리 단계(S12), 데이터 통합 단계(S13), 분석대상 데이터 전처리 단계(S14), 불량 예측모델 생성 단계(S15), 원인인자 분석 단계(S16) 및 불량원인지수 도출 및 시각화 단계(S17)를 포함한다.Referring to FIG. 1, a method of deriving and visualizing a cause of a process failure (hereinafter, simply referred to as a process defect cause derivation method) through a machine learning model in a data unbalance environment according to the present embodiment includes a data collection step S11, , The individual data preprocessing step S12, the data integration step S13, the analysis target data preprocessing step S14, the failure prediction model generation step S15, the causal factor analysis step S16, and the failure cause index derivation and visualization step S17).

본 실시예의 공정 불량 원인 도출 방법은, 품질 원인 분석에 사용되는 다변량 분석 방법의 일종이다.The process failure cause derivation method of this embodiment is a kind of multivariate analysis method used for quality cause analysis.

구체적으로 각 단계를 설명하면, 데이터 수집 단계(S11)와 개별 데이터 전처리 단계(S12)와 데이터 통합 단계(S13)에서는 양품 데이터에서 과소추출(undersampling)을 통해 양품 및 불량의 비율을 미리 설정된 비율로 맞춰 학습 데이터셋의 밸런스를 조정할 수 있다.More specifically, in each of the data collection step S11, the individual data preprocessing step S12, and the data integration step S13, the ratio of good products and defective products is reduced to a predetermined ratio You can adjust the balance of the training dataset accordingly.

분석대상 데이터 전처리 단계(S14)와 불량 예측모델 생성 단계(S15)와 원인인자 분석 단계(S16)에서는, 학습 데이터셋에 기초하여 불량원인인자를 파악할 수 있다. 구체적으로, 분석대상 데이터 전처리 단계(S14)에서는 과소추출 과정을 랜덤하게 반복하여 여러 개의 의사결정나무를 학습할 수 있다. 불량 예측모델 생성 단계(S15)에서는 상기 랜덤하게 반복된 과소추출 과정에 따른 불량원인인자 파악과 상기 불량원인인자 파악에 사용된 여러 개의 의사결정나무를 수행할 수 있다. 그리고, 원인인자 분석 단계(S16)에서는 의사결정나무의 결과를 종합하여 최종 불량원인인자를 추출할 수 있다.In the analysis object data preprocessing step S14, the failure prediction model generation step S15 and the causal factor analysis step S16, the failure cause factor can be grasped based on the learning data set. Specifically, in the analysis target data preprocessing step S14, it is possible to randomly repeat the under-extraction process to learn a plurality of decision trees. In the failure prediction model generation step S15, it is possible to perform a plurality of decision trees used for identifying a failure cause factor according to the randomly repeated under-exploitation process and for identifying the failure cause factor. In the causal factor analysis step (S16), the final failure factor can be extracted by combining the results of the decision tree.

전술한 불량 예측모델을 생성하는 단계와 분석하는 단계는 복수의 공정들 전체의 변수를 입력데이터로 하고, 양품 또는 불량 여부를 출력 데이터로 놓고, 예측 모델링을 생성할 수 있다.The step of generating and analyzing the failure prediction model described above can generate the predictive modeling by setting the variables of all of the plurality of processes as input data and outputting good or bad as output data.

또한, 전술한 불량 예측모델을 생성하는 단계는 결정트리를 이용한 모델링 및 결과 해석이나 GA(genetic algorithm)와 SVM(support vector machine)을 이용한 모델링 및 결과 해석 등과 같이 머신러닝 모델을 활용하여 원인인자를 파악할 수 있다.In addition, the step of generating the above-described poor prediction model uses a machine learning model such as a modeling and a result analysis using a decision tree, a modeling using a genetic algorithm (GA) and a support vector machine (SVM) .

또한, 전술한 불량 예측모델을 생성하는 단계와 분석하는 단계는, 좀더 구체적으로, 양품 데이터에서 과소추출(undersampling)을 통해 양품 및 불량의 비율을 미리 설정된 비율로 맞춰 학습 데이터셋의 밸런스를 조정하고, 상기 학습 데이터셋에 기초하여 불량원인인자를 파악하고, 상기 과소추출 과정을 랜덤하게 반복하여 여러 개의 의사결정나무를 학습하고, 상기 랜덤하게 반복된 과소추출 과정에 따른 불량원인인자 파악과 상기 불량원인인자 파악에 사용된 여러 개의 의사결정나무의 결과를 종합하여 최종 불량원인인자를 추출할 수 있다.More specifically, the steps of generating and analyzing the failure prediction model described above are performed by adjusting the balance of the learning data set by matching the ratio of good products and defects with predetermined ratios through undersampling in the good data , Determining failure cause factors based on the learning data set, learning a plurality of decision trees by randomly repeating the under-extraction process, and identifying a failure cause factor according to the randomly repeated under- The final failure factor can be extracted by combining the results of several decision trees used to identify the causal factor.

또한, 전술한 조정하는 단계에 입력되는 전처리된 데이터셋은 불량 개수가 적고 양품 개수가 압도적으로 많을 수 있다.In addition, the preprocessed data set inputted in the above-described adjustment step may have a small number of defective products and a large number of good products.

또한, 전술한 학습하는 단계에서의 과소추출 과정은 불량의 발생율이 가장 큰 데이터 근처의 양품 데이터에게 큰 가중치를 주어 추출되도록 이루어질 수 있다.In addition, the underestimation process in the learning step described above can be performed by giving a large weight to the good data near the data having the greatest failure occurrence rate.

또한, 전술한 학습하는 단계에서 램덤하게 수행되는 과소추출 과정은 특정 과소추출 과정에서 샘플링된 데이터셋에 의해 학습된 모델이나 불량원인인자 파악 결과가 종속되는 것을 방지하도록 설계될 수 있다.In addition, the underestimation process, which is performed randomly in the learning step, may be designed to prevent the dependence of the model learned by the sampled data set or the failure cause factor identification result in a certain underestimation process.

또한, 본 실시예의 공정 불량 원인 도출 방법은, 상기의 도출하는 단계 후에 불량 원인 지수에 기초하여 품질 원인을 시각화하기 위한 정보를 출력하도록 구성될 수 있다.In addition, the process failure cause derivation method of this embodiment can be configured to output information for visualizing the quality cause based on the failure cause index after the above deriving step.

도 2는 도 1의 공정 불량 원인 도출 방법을 적용할 수 있는 제조 공정에 대한 흐름도이다.  FIG. 2 is a flowchart of a manufacturing process to which the process failure cause derivation method of FIG. 1 can be applied.

본 실시예에 따른 공정 불량 원인 분석 방법은, 도 2에 여러 단계들(S21 내지 S30)로 나타낸 바와 같이, 바코드를 인쇄하고, 도포크림을 인쇄하고, 납도포(SPI) 검사를 수행하고, 터미널을 삽입하고, 기판실장(SMD) 방식으로 소자를 배치하고, 리플로우, 솔러링 및 굽기(baking)를 수행하고, 자동광학검사(auto optical inspection, AOI) 검사를 수행하고, 전류 흐름 검사(in circuit tester, ICT)를 수행하고, 기능동작검사(in function tester, IFT)를 수행하는 등 여러 공정을 포함하는 적어도 하나의 특정 제품의 제조 공정에서 데이터 수집, 개별 데이터 전처리(벡터화), 데이터 통합, 분석대상 데이터 전처리, 단변량 분석(불량 원인 인자 분석), 불량 원인 지수 도출 및 불량 원인 지수 시각화의 일련의 과정을 수행하여 제품 출하 후 발생할 수 있는 품질 문제의 대응을 위한 제조정보를 추적관리하고 가시화할 수 있다.The process failure cause analysis method according to the present embodiment is characterized in that the bar code is printed, the application cream is printed, the lead application (SPI) inspection is performed as indicated by various steps S21 to S30 in Fig. 2, (AOI) inspection is carried out, and the current flow inspection (in) is performed by inserting the device, placing the device by a substrate mounting (SMD) method, performing reflow, soldering and baking, (vectorization), data integration, and data collection in a manufacturing process of at least one specific product including various processes including performing a circuit tester (ICT) and performing an in-process tester (IFT) We perform a series of processes such as preprocessing of data to be analyzed, univariate analysis (failure factor analysis), derivation of failure factor index and visualization of failure factor index, and manufacturing information It can be tracked and visualized.

전술한 제조 공정에 본 실시예에 따른 공정 불량 원인 분석 방법을 적용할 수 있다.The process failure cause analysis method according to the present embodiment can be applied to the above-described manufacturing process.

SPI 검사 공정에서 수집되는 데이터는 일례로 총 16,177개의 칼럼으로 생성될 수 있다(예컨대, 14,847*16,177 매트릭스). 매트릭스에는 식별자(ID), 공정 기계, 날짜, 시간, 카운트 수 등의 검사항목이 포함될 수 있다.Data collected in the SPI inspection process can be generated in a total of 16,177 columns (e.g., 14,847 * 16,177 matrices). The matrix may include an identifier (ID), a processing machine, a date, a time, and a number of counts.

SPI 검사 공정에서의 데이터 전처리는 각 검사항목별 양품/불량 수, 양품/불량 여부 등에 수치화하고, 전체 검사 결과 등에 반영할 수 있다. 중복되는 데이터는 가장 나중에 수집되는 값 또는 실측값으로 선택될 수 있다.Data preprocessing in the SPI inspection process can be quantified in the number of good / bad, good / bad, and reflected in the overall inspection results for each inspection item. Duplicate data may be selected as the last collected or measured value.

리플로우(reflow) 공정에서의 데이터 전처리는 두 개의 차수(1, 2)에 대해서 각각 최상위값 13개, 최하위값 13개의 측정값을 이용하여 각 측정에 대한 결과와 변환값을 포함하도록 수행될 수 있다. 일례로, 리플로우 공정 데이터의 전처리에 의해 열 개수 1,130,863와 제품 수 606,451의 테이블을 생성할 수 있다.The data preprocessing in the reflow process can be performed to include the results and transform values for each measurement using the 13 highest and 13 lowest values for the two orders (1, 2), respectively. have. For example, by preprocessing the reflow process data, a table of 1,130,863 columns and 606,451 columns can be created.

또한, 리플로우(reflow) 공정에서의 데이터 전처리는 각 차수 데이터를 하나의 행으로 처리할 수 있다(14,847*63 매트릭스). 각 차수별 결과를 표기할 수 있다. 테이블에서 불량이 결합(join)되지 않으며 전부 OK만 남을 수 있다. 그리고, 테이블에는 작업자 정보를 표시할 수 있다.Also, data preprocessing in the reflow process can process each order data into a single row (14,847 * 63 matrix). Results for each order can be shown. No bad joins are allowed in the table, and only OK can be left. Then, the worker information can be displayed on the table.

또한, AOI 공정에서의 데이터 전처리는 헤더 테이블에 있는 OK 또는 불량(NG) 정보를 이용할 수 있다. AOI 공정은 보통 2대의 설비에서 각각 한번씩 검사하므로, 불량의 경우 각 설비에서 여러 번 검사하는 형태가 될 수 있다. 데이터 전처리는 AOI 공정의 각 검사설비 별로 양품과 불량 정보를 0과 1로 인덱스할 수 있다. 특정 검사설비 데이터값이 없는 경우, -9999 등의 더미값을 생성할 수 있다. 또한, 데이터 전처리에서는 여러 번 검사를 한 경우는 문제가 있는 가능성을 내포하므로 검사 횟수 컬럼을 생성하여 이용할 수 있다.Also, the data preprocessing in the AOI process can use OK or bad (NG) information in the header table. The AOI process is usually checked once in each of two facilities, and in case of failure, it can be inspected several times in each facility. Data preprocessing can index good and bad information for each inspection facility in AOI process as 0 and 1. If there is no specific inspection facility data value, a dummy value such as -9999 can be generated. In addition, in the data preprocessing, if there are many times of inspection, the possibility of a problem is implied, so that a column of the number of times of inspection can be used.

또한, ICT 검사 공정에서의 데이터 전처리는 ICT 검사 단계(예컨대, 1,533개)별로 측정 값(measure_value), 편차(deviation) 등을 행으로 표현하고, 헤더 테이블에서 최종 결과(양품/불량 또는 OK/NG)와 검사 횟수 변수를 생성할 수 있다. 이러한 데이터 전처리에 의하면, 일례로, 3068개의 변수를 생성할 수 있고, 마지막 두 열에 OK/NG 정보 및 검사 횟수를 생성한 테이블을 제공할 수 있다.Data preprocessing in the ICT inspection process expresses measurement values (measure_value) and deviation for each ICT inspection step (for example, 1,533 pieces), and outputs final results (good / bad or OK / NG ) And the number of test variables. According to this data preprocessing, for example, 3068 variables can be generated, and a table in which the OK / NG information and the number of tests are generated in the last two columns can be provided.

이와 같이, 본 실시예에 의하면, 리플로우/솔더링(굽기) 공정 프로세스에서 데이터를 수집하고, SPI 검사(도포크림), AOI 검사(정위치 검사), ICT 검사(전류 흐름) 및 IFT 검사(기능 동작)에서 검사 데이터를 수집하고, 정전기, 진동 센서 및 외부 날씨를 통해 기타 공정 환경 데이터를 수집할 수 있다. 그런 다음, 수집된 데이터에 대해 개별 데이터 전처리를 수행한 후, 데이터를 통합하고, 통합된 데이터를 분석대상 데이터로서 전처리한 후 단변량 분석을 통해 공정 불량 원인 인자를 분석할 수 있다. 그리고, 단변량 분석 결과를 이용하여 공정 불량 원인 지수를 도출하고 시각화하여 사용자, 관리자 등에게 직관적으로 보여주거나 미리 설정된 제어 단말 등에 공정 분석, 공정 관리, 공정 제어 등에 필요한 신호나 데이터를 전송할 수 있다.As described above, according to the present embodiment, the data is collected in the reflow / soldering (burning) process, and the SPI inspection (coating cream), the AOI inspection (correct position inspection), the ICT inspection (current flow) Motion), and collect other process environmental data through static electricity, vibration sensors, and external weather. Then, after individual data preprocessing is performed on the collected data, the data is integrated, and the integrated data is preprocessed as the analysis target data, and the unfavorable factor of the cause can be analyzed by univariate analysis. Using the results of the univariate analysis, the process failure cause index can be derived and visualized, intuitively displayed to a user, a manager, etc., or signals or data necessary for process analysis, process control, process control, and the like can be transmitted to a preset control terminal.

도 3은 도 1의 공정 불량 원인 도출 방법을 도 2의 제조 공정에 적용한 실시예를 설명하기 위한 도면이다.Fig. 3 is a diagram for explaining an embodiment in which the process failure cause derivation method of Fig. 1 is applied to the manufacturing process of Fig. 2. Fig.

도 3을 참조하면, 본 실시예에 따른 공정 불량 원인 도출 방법은, 바코드를 인쇄하고 도포크림을 인쇄하고 터미널을 삽입하고 기판실장 방식으로 소자를 배치하고, 리플로우 또는 솔러링(굽기)의 일련의 프로세스 흐름을 가지는 공정에서 데이터 수집, 개별 데이터 전처리(벡터화), 데이터 통합, 데이터 전처리, 불량 예측모델 생성, 불량 원인분석 및 불량원인지수 도출 및 시각화의 일련의 과정을 수행하여 제품 출하 후 발생할 수 있는 품질 문제의 대응을 위한 제조정보를 추적관리하고 가시화할 수 있다.Referring to FIG. 3, the method of deriving the cause of the process failure according to the present embodiment is a method of printing a bar code, printing a coating cream, inserting a terminal, arranging the device by a substrate mounting method, and performing a series of reflow or soldering (Vectorization), data integration, data preprocessing, generation of a failure prediction model, analysis of failure cause, calculation of failure cause index, and visualization in a process having a process flow of It is possible to track and visualize the manufacturing information to cope with the quality problem.

본 실시예에서는 리플로우/솔더링(굽기) 공정 프로세스에서 데이터를 수집하고, SPI 검사(도포크림), AOI 검사(정위치 검사), ICT 검사(전류 흐름) 및 IFT 검사(기능 동작)에서 검사 데이터를 수집하고, 정전기, 진동 센서 및 외부 날씨를 통해 기타 공정 환경 데이터를 수집할 수 있다.In the present embodiment, data is collected in a reflow / soldering (burning) process, and the inspection data (inspection data) is measured in an SPI inspection (coating cream), an AOI inspection (correct position inspection), an ICT inspection (current flow) , And collect other process environmental data through static electricity, vibration sensors, and external weather.

각각의 수집된 데이터는 개별 데이터 전처리 과정을 거친 후, 대부분의 데이터가 통합되고, 통합된 데이터를 전처리한 후 변수선택이 포함된 불량예측 모델이나 변수선택과 불량예측모델을 GA와 SVM를 통해 생성하고, 생성한 모델을 통해 불량 원인을 분석할 수 있다. 변수선택이 포함된 불량예측 모델을 이용하는 경우, 불량 원인 분석은 의사결정나무의 결과를 해석하는 방식으로 수행될 수 있다. 또한, GA와 SVM을 통한 변수선택과 불량예측모델을 이용하는 경우, 불량 원인 분석은 모델 결과를 해석하는 방식으로 수행될 수 있다. 그리고, 의사결정나무의 (결과) 해석 결과나 GA와 SVM에 의한 모델 결과는 시각화되어 사용자 등에게 보여지거나 전송될 수 있다.Each collected data is subjected to individual data preprocessing, and then most data is integrated, preprocessed integrated data, and a failure prediction model including variable selection, a variable selection and a failure prediction model are generated through GA and SVM , And the cause of the defect can be analyzed through the generated model. When using a bad prediction model with variable selection, the failure cause analysis can be performed in a manner that interprets the results of decision trees. In addition, when using variable selection and bad prediction model through GA and SVM, failure cause analysis can be performed by analyzing model results. Then, the (result) analysis result of the decision tree or the model result by GA and SVM can be visualized and displayed or transmitted to the user.

도 4 내지 도 7은 도 1의 공정 불량 원인 도출 방법의 과정들 중에서 개별 데이터 전처리 과정을 설명하기 위한 도면들이다.FIGS. 4 to 7 are diagrams for explaining the individual data preprocessing process among the processes of the process failure cause derivation method of FIG.

본 실시예에 따른 공정 불량 원인 분석 방법은 개별 데이터 전처리 과정으로서 변수 생성 과정, 숫자형 변수 변환 과정, 의미있는 변수 생성 과정 중 적어도 어느 하나의 과정을 포함할 수 있다.The process failure cause analysis method according to the present embodiment may include at least one of a process of generating a variable, a process of converting a numerical variable, and a process of generating a meaningful variable, as individual data preprocessing processes.

구체적으로, 변수 생성 과정은 도 4의 (a)에 도시한 바와 같이 특정 제품(A)의 식별자(ID), 센서 번호에 대응하는 항목, 센싱값에 대응하는 값1, 값2 등과 같이 어느 한 제품에 대한 여러 공정들에서의 여러 개의 센서들에서 측정한 값이 수집 데이터 내에서 여러 개의 행(rows)에 존재하는 경우, 한 제품당 하나의 행(row)에 존재하도록 만들어주기 위해 열(column)을 확장하여 데이터 벡터화를 수행할 수 있다. 이와 같이 본 실시예에서는 4행 4열의 데이터를 2행 7열의 데이터로 벡터화하여 각 개별 데이터를 전처리할 수 있다.More specifically, as shown in FIG. 4A, the variable generating process is a process of generating a variable such as an identifier (ID) of a specific product A, an item corresponding to a sensor number, a value 1 or a value 2 corresponding to a sensing value If the measured values from several sensors in various processes for the product are in several rows in the collection data, the column (s) to make it exist in one row per product ) Can be extended to perform data vectorization. As described above, in this embodiment, data of 4 rows and 4 columns can be vectorized into data of 2 rows and 7 columns, and individual data can be preprocessed.

숫자형 변수 변환 과정은 도 4의 (b)에 도시한 바와 같이 여러 제품들(A, B, C, D)에 대한 결과 및 원인가 명목형 변수들로 저장되어 있는 경우 각 명목에 대한 변수항목들을 생성하여 바이너리(binary)로 처리할 수 있다. 이와 같이 본 실시예에서는 결과 항목의 명목형 변수들인 OK 및 NG와 원인 항목의 명목형 변수들인 EE, AA, DD를 각 명목에 대한 변수항목들인 원인AA, 원인BB, 원인CC, 원인DD, 원인EE의 바이너리 값(0 또는 1)로 처리할 수 있다.As shown in FIG. 4 (b), when the result and cause of various products (A, B, C, and D) are stored as nominal variables, You can create and process it as a binary. Thus, in this embodiment, the nominal variables of the result item, OK and NG, and the nominal variables of causal items EE, AA, and DD are classified into the cause items AA, cause BB, cause CC, cause DD, EE binary value (0 or 1) can be processed.

전술한 변수 생성 과정은 도 5에 도시한 바와 같이 하나의 제품에 패드 식별자(PADID) 별로 여러 개의 측정 값(raw data)이 있을 때(도 4의 (a) 참조), 측정 값을 패드 식별자별로 각각 개별 변수로 생성한 전처리 데이터를 생성할 수 있다(도 4의 (b) 참조). 전처리 데이터에서는 이상유형별 이상 개수를 변수로 추가 생성할 수 있다.5, when there are a plurality of raw data for each pad identifier (PADID) in one product (see FIG. 4 (a)), The preprocessing data generated by the individual variables can be generated (see FIG. 4 (b)). In the preprocessing data, an abnormal number of abnormal types can be additionally generated as a variable.

전술한 숫자형 변수 변환 과정은 도 6에 도시한 바와 같이 날씨 정보(a)가 명목형으로 존재하는 경우, 각 날씨 상태를 숫자형 변수로 전환하는 개별 데이터 전처리를 수행할 수 있다. 도 6의 (a)는 로우 데이터(raw data)가 되고 (b)는 전처리된 데이터의 예시가 된다.As shown in FIG. 6, when the weather information (a) is present in a nominal form, the individual data pre-processing for converting each weather condition into a numeric variable can be performed. 6A shows raw data and FIG. 6B shows an example of preprocessed data.

한편, 의미있는 변수 생성 과정은 제조 공정에서 날씨가 중요한 인자로 반영되고 있는 경우, 개별 날씨와, 제조 공정 중 최고 온도, 습도, 비가 한번이라도 왔는지(IS_RAIN) 등과 같은 의미있는 변수를 생성하기 위한 것이다. 의미있는 변수 생성 과정에서는, 도 7에 도시한 바와 같이, 날씨 정보로부터 공정 진행 상황의 평균, 최대 또는 최소 값 변수를 생성할 수 있다.On the other hand, the process of generating meaningful variables is to generate meaningful variables such as individual weather and whether the maximum temperature, humidity, and rain have ever reached during the manufacturing process (IS_RAIN) if the weather is an important factor in the manufacturing process . In the meaningful variable generating process, as shown in FIG. 7, an average, maximum or minimum value variable of the process progress can be generated from the weather information.

도 8은 도 1의 공정 불량 원인 도출 방법에서 데이터를 통합하고 불량 예측모델을 생성하는 과정을 설명하기 위한 도면이다. 도 9 및 도 10은 도 8의 불량 예측 모델의 작동 원리를 설명하기 위한 예시도들이다. 그리고 도 11은 도 1의 공정 불량 원인 도출 방법에서 원인인자를 도출하고 시각화하는 과정을 설명하기 위한 도면이다.8 is a diagram for explaining a process of integrating data and generating a failure prediction model in the process failure cause derivation method of FIG. Figs. 9 and 10 are illustrations for explaining the operation principle of the failure prediction model of Fig. And FIG. 11 is a diagram for explaining a process of deriving and visualizing a causal factor in the process failure cause derivation method of FIG.

전술한 과정들에서 데이터 통합 단계에서는, 도 8에 도시된 바와 같이, 소량의 불량 데이터 셋에서는 전체 데이터를 추출하고, 상대적으로 대량인 양품의 데이터 셋에서는 소량의 데이터만을 추출하여 통합 데이터 셋의 구성을 최적화하여 설계할 수 있다.In the data integration step in the above-described processes, as shown in FIG. 8, the entire data is extracted in a small number of bad data sets, and only a small amount of data is extracted in a relatively large good data set, Can be optimized and designed.

최적화된 통합 데이터 셋은 분석대상 데이터 전처리를 거쳐 불량 예측모델을 생성하는데 이용될 수 있다. 불량 예측모델 생성 단계에서는 랜덤 포레스트(random forest) 기반의 의사결정나무 모델링이나 GA 기반 SVM 모델링을 사용하여 불량 예측모델을 생성할 수 있다.Optimized integrated data sets can be used to generate poor prediction models through data preprocessing for analysis. In the failure prediction model generation stage, a failure prediction model can be generated using random tree based decision tree modeling or GA based SVM modeling.

본 실시예의 불량 예측모델 생성 단계에 의하면, 도 9에 도시한 바와 같은 파일럿 분석 결과를 얻을 수 있다. 이 결과는 모든 생성 변수를 활용하여 결정 트리 모델링을 수행한 결과로서, 각 분기의 조건들이 양품과 불량에 영향을 미쳤음을 알 수 있다. 본 실시예에서, SPI 공정 결과 중 232 센서의 볼룸(volume)이 111.4보다 작으면 불량 가능성이 높은 것을 분석되었다.According to the failure prediction model generation step of the present embodiment, a pilot analysis result as shown in Fig. 9 can be obtained. This result shows that the decision tree modeling is performed using all the production variables, and the conditions of each branch have influenced the good products and defects. In the present embodiment, when the volume of 232 sensors of the SPI process results is smaller than 111.4, the possibility of failure is high.

또한, 본 실시예의 불량 예측모델 생성 단계에 의하면, 도 9에 도시한 바와 같은 파일럿 분석 결과를 얻을 수 있다. 이 결과는 동적인(actionalbe) 변수 위주로 결정 트리 모델링을 수행한 결과로서, 각 분기의 조건들이 양품과 불량에 영향을 미쳤음을 알 수 있다. 본 실시예에서, 조건 설정이 가능한 리플로우, 더스트, 습도 등의 변수가 큰 영향을 미치는 것을 확인하였다. 일례로, 리플로우 공정의 TOP1, CHASOO2 온도가 190.5℃보다 크면 불량이 발생하는 것으로 분석되었다.Further, according to the failure prediction model generation step of the present embodiment, the pilot analysis result as shown in Fig. 9 can be obtained. This result is the result of decision tree modeling based on dynamic (actionalbe) variables, and it can be seen that the conditions of each branch influenced good products and badness. In the present embodiment, it was confirmed that variables such as reflow, dust, humidity, etc., which can be set conditions, have a great influence. For example, when the temperature of TOP1 and CHASOO2 in the reflow process is greater than 190.5 ° C, it is analyzed that defects occur.

생성된 불량 예측모델을 이용한 불량 원인분석 단계와 불량 원인 지수 도출 및 시각화 단계에서는, 구간별 양품 밀도와 불량 밀도에 대한 불량 원인분석 결과를 얻고, 이에 기초하여 불량원인지수를 도출하거나 도출된 불량원인지수를 도 11에 도시한 바와 같이 시각화할 수 있다.In the failure cause analysis step and the failure cause index derivation and visualization step using the generated failure prediction model, the failure cause analysis result of the defect density and bad density according to the sections is obtained, and the failure cause index is derived based on the result, The exponent can be visualized as shown in FIG.

본 실시예에 따른 공정 불량 원인 분석 방법은, 전술한 일련의 과정들을 통해 얻어진 단변량 분석 결과를 도 11에 도시한 바와 같이 테이블(table) 형태로 수치로 도출하고 시각화할 수 있다. 이러한 테이블 형태의 다변량 분석 결과는 필터(filter)와 정렬(sorting)이 가능하므로 예컨대 최소 출현률(불량 개수)의 조정 등으로 의미없는 결과를 제거하는데 매우 효과적이다.The process failure cause analysis method according to the present embodiment can derive and visualize numerical values of univariate analysis results obtained through the above-described series of processes in the form of a table as shown in FIG. The results of multivariate analysis of the table type can be filtered and sorted so that it is very effective in eliminating meaningless results, for example, by adjusting the minimum occurrence rate (defective number).

또한, 도 11에 도시한 바와 같이, 분석 결과 테이블에서 각 변수명을 클릭하면, 변수의 양품별 및/또는 불량별 분포 그래프가 자동으로 생성되어 화면에 표시되도록 할 수 있다.11, when each variable name is clicked in the analysis result table, a distribution graph of the good and / or failure of the variable can be automatically generated and displayed on the screen.

전술한 실시예들에 의하면, 반도체, 자동차, 철강 등 국가 주력 산업 분야의 스마트 제조기술과 관련하여 본 명세서에서 제공하는 공정 불량 원인 분석 기술을 활용하여 공정 내 품질 이상 원인을 효과적으로 파악하고 시각화할 수 있다.According to the embodiments described above, it is possible to effectively identify and visualize causes of abnormalities in process quality by utilizing the process failure analysis technique provided in this specification in connection with smart manufacturing technology in the main industries of the industry such as semiconductor, automobile, and steel have.

한편, 전술한 공정 불량 원인 분석 방법은 제어부, 저장부 및 인터페이스를 포함할 수 있다. 제어부를 프로세서 또는 마이크로프로세서를 포함할 수 있고, 저장부를 메모리를 포함할 수 있으며, 인터페이스는 네트워크 및 입출력 장치와의 연결과 관리를 지원하는 통신서브시스템, 입출력 인터페이스 등을 포함할 수 있다. 입출력 장치는 표시장치를 포함할 수 있다.Meanwhile, the method of analyzing the cause of the process failure may include a control unit, a storage unit, and an interface. The control unit may include a processor or a microprocessor, and the storage unit may include a memory, and the interface may include a communication subsystem, an input / output interface, and the like for supporting connection and management with the network and the input / output device. The input / output device may include a display device.

제어부는 저장부 저장되는 소프트웨어 모듈이나 프로그램을 수행하여 공정 불량 원인 분석 방법의 일련의 절차들을 수행할 수 있다.The control unit may perform a series of procedures of the method for analyzing the cause of the process failure by executing a software module or a program stored in the storage unit.

제어부는 적어도 하나 이상의 중앙 처리 장치(CPU) 또는 코어를 포함할 수 있다. 중앙처리장치 또는 코어는 처리할 명령어를 저장하는 레지스터(register)와, 비교, 판단, 연산을 담당하는 산술논리연산장치(arithmetic logical unit, ALU)와, 명령어의 해석과 실행을 위해 CPU를 내부적으로 제어하는 제어유닛(control unit)과, 이들을 연결하는 내부 버스 등을 구비할 수 있다. 중앙처리장치 혹은 코어는 MCU(micro control unit)와 주변 장치(외부 확장 장치를 위한 집적회로)가 함께 배치되는 SOC(system on chip)로 구현될 수 있으며, 이에 한정되지 않는다.The control unit may include at least one central processing unit (CPU) or a core. The central processing unit or core includes a register for storing instructions to be processed, an arithmetic logical unit (ALU) for performing comparison, determination, and operation, and an arithmetic logic unit A control unit for controlling the control unit, and an internal bus for connecting the control unit and the control unit. The central processing unit or core may be implemented as a system on chip (SOC) in which a micro control unit (MCU) and a peripheral device (integrated circuit for external expansion device) are disposed together, but the present invention is not limited thereto.

또한, 제어부는 하나 이상의 데이터 프로세서, 이미지 프로세서 또는 코덱(CODEC)을 포함할 수 있으나, 이에 한정되지는 않는다. 제어부는 주변장치 인터페이스와 메모리 인터페이스를 구비할 수 있다. 주변장치 인터페이스는 제어부와 입출력장치나 다른 주변 장치를 연결하고, 메모리 인터페이스는 제어부와 메모리를 연결할 수 있다.In addition, the control unit may include, but is not limited to, one or more data processors, image processors, or CODECs. The control unit may include a peripheral device interface and a memory interface. The peripheral device interface connects the control unit to the input / output device or other peripheral device, and the memory interface can connect the control unit and the memory.

저장부는 공정 불량 원인 분석 방법의 과정들을 구현하기 위한 하나 이상의 소프트웨어 모듈을 저장할 수 있다. 소프트웨어 모듈은, 도 1의 각 단계를 수행하기 위한 모듈들을 포함할 수 있다.The storage may store one or more software modules for implementing the processes of the process failure cause analysis method. The software module may include modules for performing the respective steps of Fig.

저장부는 비휘발성 랜덤 액세스 메모리(non-volatile RAM, NVRAM), 대표적 휘발성 메모리인 DRAM(dynamic random access memory) 등의 반도체 메모리, 하드디스크 드라이브(hard disk drive, HDD), 광 저장 장치, 플래시 메모리 등으로 구현될 수 있다. 그리고 저장부는 공정 불량 원인 분석 방법을 수행하기 위한 소프트웨어 모듈 외에 제어부나 컴퓨팅 장치 등을 위한 운영체제, 프로그램, 명령어 집합 등을 저장할 수 있다.The storage unit may be a nonvolatile random access memory (NVRAM), a semiconductor memory such as a dynamic random access memory (DRAM) as a typical volatile memory, a hard disk drive (HDD), an optical storage device, a flash memory Lt; / RTI > The storage unit may store an operating system, a program, and a command set for a control unit, a computing device, and the like in addition to a software module for performing a method of analyzing the cause of the process failure.

한편, 전술한 실시예에 있어서, 공정 원인 불량 분석 방법의 과정들은 소정의 컴퓨팅 장치에서 일련의 기능을 구현하기 위한 소프트웨어 형태로 컴퓨터 판독 가능 매체(기록매체)에 저장되거나 혹은 캐리어 형태로 원격지에 저장되고 원격지의 컴퓨팅 장치에서 네트워크를 통해 다운로드되어 해당 기능을 수행하도록 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨팅 장치에서 읽어낼 수 있는 소프트웨어를 저장하는 장치를 포함하나, 이에 한정되지 않고, 네트워크를 통해 연결되는 복수의 컴퓨터 장치의 저장장치나 클라우드 시스템을 포함할 수 있다.Meanwhile, in the above-described embodiments, the processes of the cause failure analysis method may be stored in a computer-readable medium (recording medium) in the form of software for implementing a series of functions in a predetermined computing device, And may be downloaded through a network from a remote computing device to perform the corresponding function. The computer-readable medium includes, but is not limited to, a device for storing software readable by a computing device, and may include a storage device or a cloud system of a plurality of computer devices connected via a network.

또한, 컴퓨터 판독 가능 매체는 공정 원인 불량 분석 방법과 직간접으로 연관되는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하는 형태를 더 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것을 포함할 수 있다.The computer readable medium may further include a program command, a data file, a data structure, and the like that are directly or indirectly associated with the method for analyzing the cause failure of a process, singly or in combination. Programs recorded on a computer-readable medium may include those specifically designed and constructed for the present invention or those known and available to those skilled in the computer software arts.

또한, 컴퓨터 판독 가능 매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 여기서 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 하드웨어 장치는 본 실시예의 공정 불량 원인 분석 방법을 수행하기 위해 적어도 하나의 소프트웨어 모듈에 의해 동작하도록 구성될 수 있으며, 그 역도 마찬가지이다.The computer-readable medium may also include a hardware device specifically configured to store and execute program instructions, such as a ROM, a RAM, a flash memory, and the like. The program instructions may include machine language code such as those generated by a compiler, as well as high-level language code that may be executed by a computer using an interpreter or the like. The hardware device may be configured to operate by at least one software module to perform the process failure cause analysis method of the present embodiment, and vice versa.

인터페이스는 제조 공정의 다수의 센서들과 신호 및 데이터를 송수신하는 장치와 이를 제어하거나 관리하는 수단 또는 그 구성부를 포함할 수 있다. 인터페이스는 인트라넷이나 인터넷, 이동 통신망, 위성망 등과의 연결을 위한 입력 포트, 유선 또는 무선 통신 라인 등을 포함할 수 있다. 이러한 인터페이스는 공정 불량 원인 분석 방법을 구현하는 컴퓨팅 장치의 구성요소들 중 입력장치, 데이터 수집부 혹은 데이터 획득부의 적어도 일부 기능부나 구성부에 대응할 수 있다. 즉, 이러한 인터페이스는 통신수단이나 통신 장치로서 하나 이상의 통신 프로토콜을 지원하는 하나 이상의 유선 및/또는 무선 통신 서브시스템을 포함할 수 있다.The interface may include a device for transmitting and receiving signals and data with a plurality of sensors in a manufacturing process and a means for controlling or managing the same or a component thereof. The interface may include an input port for connection with an intranet or the Internet, a mobile communication network, a satellite network, etc., a wired or wireless communication line, and the like. Such an interface may correspond to at least some of the functional units or components of the input device, the data collection unit, or the data acquisition unit among the components of the computing device that implement the process defect cause analysis method. That is, such an interface may comprise one or more wired and / or wireless communication subsystems that support one or more communication protocols as communication means or communication devices.

유선 통신 서브시스템은, 무선 통신 서브시스템에 연결될 수 있으며, PSTN(public switched telephone network), ADSL(Asymmetric Digital Subscriber Line) 또는 VDSL(Very high-data rate Digital Subscriber Line) 네트워크, PES(PSTN Emulation Service)를 위한 서브시스템, IP(internet protocol) 멀티미디어 서브시스템(IMS) 등을 포함할 수 있다. 무선 통신 서브시스템은 무선 네트워크 연결을 위한 무선 주파수(radio frequency, RF) 수신기, RF 송신기, RF 송수신기, 광(예컨대, 적외선) 수신기, 광 송신기, 광 송수신기 또는 이들의 조합을 포함할 수 있다.The wired communication subsystem may be connected to a wireless communication subsystem and may be a public switched telephone network (PSTN), an asymmetric digital subscriber line (ADSL) or a very high-data rate digital subscriber line (VDSL) network, a PSTN Emulation Service (PESN) , An internet protocol (IP) multimedia subsystem (IMS), and the like. The wireless communication subsystem may include a radio frequency (RF) receiver for a wireless network connection, an RF transmitter, an RF transceiver, an optical (e.g., infrared) receiver, an optical transmitter, an optical transceiver, or a combination thereof.

무선 네트워크는 기본적으로 인트라넷이나 Wi-Fi(Wireless Fidelity) 등의 근거리 네트워크를 지칭하나, 이에 한정되지 않는다. 본 실시예에서 인터페이스는 다양한 무선 네트워크를 지원하도록 구현될 수 있다. 무선 네트워크는, GSM(Global System for Mobile Communication), EDGE(Enhanced Data GSM Environment), CDMA(Code Division Multiple Access), W-CDMA(W-Code Division Multiple Access), LET-A(LET-Advanced), OFDMA(Orthogonal Frequency Division Multiple Access), WiMax, Bluetooth 등을 포함할 수 있다.A wireless network basically refers to a local area network such as an intranet or Wi-Fi (Wireless Fidelity), but is not limited thereto. In this embodiment, the interface may be implemented to support various wireless networks. The wireless network may be a wireless communication system such as a Global System for Mobile Communications (GSM), Enhanced Data GSM Environment (EDGE), Code Division Multiple Access (CDMA), W-Code Division Multiple Access (W-CDMA), LET- OFDMA (Orthogonal Frequency Division Multiple Access), WiMax, Bluetooth, and the like.

본 발명은 도면에 도시된 실시 예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 청구범위에 의해서 정하여져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. I will understand. Therefore, the technical scope of the present invention should be defined by the claims.

Claims (8)

데이터 불균형 환경에서 머신러닝 모델을 통해 공정 불량 원인을 도출하고 시각화하는 방법으로서,
복수의 공정들에 각각 설치되는 적어도 하나 이상의 센서에서 측정된 품질 검사 결과 데이터를 포함하는 제1 데이터와 공정 데이터를 포함하는 제2 데이터를 획득하는 단계;
상기 제1 데이터 및 상기 제2 데이터 각각의 개별 데이터를 전처리하는 단계;
상기 전처리된 개별 데이터를 통합하여 분석대상 데이터를 생성하는 단계;
상기 분석대상 데이터를 전처리하는 단계;
상기 전처리된 분석대상 데이터에 기초하여 불량 예측모델을 생성하는 단계;
불량 원인을 복수의 변수기준으로 머신러닝 모델링 또는 의사결정나무를 통해 원인인자 또는 불량원인인자를 분석하는 단계; 및
상기 분석하는 단계의 분석 결과에 기초하여 불량 원인 지수를 도출하는 단계를 포함하는 공정 불량 원인 도출 및 시각화 방법.
As a method for deriving and visualizing the causes of process defects through a machine learning model in a data imbalance environment,
Acquiring first data including quality inspection result data measured in at least one sensor installed in each of a plurality of processes and second data including process data;
Pre-processing individual data of each of the first data and the second data;
Integrating the preprocessed individual data to generate analysis target data;
Pre-processing the analysis target data;
Generating a failure prediction model based on the preprocessed analysis target data;
Analyzing the cause of the defect by modeling the plurality of variables or analyzing the cause or failure cause factor through the decision tree; And
And deriving a failure cause index based on the analysis result of the analysis step.
청구항 1에 있어서,
상기 불량 예측모델을 생성하는 단계와 상기 분석하는 단계는 복수의 공정들 전체의 변수를 입력데이터로 하고, 양품 또는 불량 여부를 출력 데이터로 놓고, 예측 모델링하는, 공정 불량 원인 도출 및 시각화 방법.
The method according to claim 1,
Wherein the step of generating the failure prediction model and the step of analyzing are performed by using variables of all of the plurality of processes as input data and outputting good or bad data as output data and performing prediction modeling.
청구항 1에 있어서,
상기 불량 예측모델을 생성하는 단계는 결정트리를 이용한 모델링 및 결과 해석이나 GA(genetic algorithm)와 SVM(support vector machine)을 이용한 모델링 및 결과 해석을 포함한 머신러닝 모델을 활용하여 원인인자를 파악하는, 공정 불량 원인 도출 및 시각화 방법.
The method according to claim 1,
The step of generating the Prediction Model includes the steps of modeling using a decision tree, analyzing results, modeling using GA (genetic algorithm) and support vector machine (SVM) Method of deriving cause of process failure and visualization method.
청구항 1에 있어서,
상기 불량 예측모델을 생성하는 단계와 상기 분석하는 단계는,
양품 데이터에서 과소추출(undersampling)을 통해 양품 및 불량의 비율을 미리 설정된 비율로 맞춰 학습 데이터셋의 밸런스를 조정하는 단계;
상기 학습 데이터셋에 기초하여 불량원인인자를 파악하는 단계;
상기 과소추출 과정을 랜덤하게 반복하여 여러 개의 의사결정나무를 학습하는 단계; 및
상기 랜덤하게 반복된 과소추출 과정에 따른 불량원인인자 파악과 상기 불량원인인자 파악에 사용된 상기 여러 개의 의사결정나무의 결과를 종합하여 최종 불량원인인자를 추출하는 단계를 포함하는, 공정 불량 원인 도출 및 시각화 방법.
The method according to claim 1,
Wherein the step of generating the poor prediction model and the step of analyzing,
Adjusting the balance of the learning data set by adjusting the ratio of good and defective through a predetermined ratio by undersampling the good data;
Determining a failure cause factor based on the learning data set;
Learning a plurality of decision trees by randomly repeating the under-extraction process; And
And a step of extracting a final failure cause factor by synthesizing the results of the plurality of decision trees used for grasping a failure cause factor according to the randomly repeated under- And a visualization method.
청구항 4에 있어서,
상기 조정하는 단계에 입력되는 전처리된 데이터셋은 불량 개수가 적고 양품 개수가 상대적으로 큰 비율로 많은, 공정 불량 원인 도출 및 시각화 방법.
The method of claim 4,
Wherein the preprocessed data set input to the adjusting step has a small number of defects and a large number of good products in a relatively large proportion.
청구항 4에 있어서,
상기 학습하는 단계에서 상기 과소추출 과정은 불량의 발생율이 가장 큰 데이터 근처의 양품 데이터에 상대적으로 큰 가중치를 주어 추출하는, 공정 불량 원인 도출 및 시각화 방법.
The method of claim 4,
Wherein the underestimation step extracts the good data near the largest data occurrence rate with a relatively large weight value.
청구항 4에 있어서,
상기 학습하는 단계에서 램덤하게 수행되는 상기 과소추출 과정은 특정 과소추출 과정에서 샘플링된 데이터셋에 의해 학습된 모델 또는 불량원인인자 파악 결과가 종속되는 것을 방지하는, 공정 불량 원인 도출 및 시각화 방법.
The method of claim 4,
Wherein the underestimation process performed randomly in the learning step prevents the dependence of the model or failure cause factor identification result learned by the sampled data set in a certain underestimation process.
청구항 1에 있어서,
상기 도출하는 단계 후에 불량 원인 지수에 기초하여 품질 원인을 시각화하기 위한 정보를 출력하는 단계를 더 포함하는, 공정 불량 원인 도출 및 시각화 방법.
The method according to claim 1,
And outputting information for visualizing the quality cause based on the failure cause index after the deriving step.
KR1020170158862A 2017-11-24 2017-11-24 Method of Deriving and Visualizing the Causes of Process Malfunctions Through Machine Learning Model In Data Imbalance Environment KR102016812B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170158862A KR102016812B1 (en) 2017-11-24 2017-11-24 Method of Deriving and Visualizing the Causes of Process Malfunctions Through Machine Learning Model In Data Imbalance Environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170158862A KR102016812B1 (en) 2017-11-24 2017-11-24 Method of Deriving and Visualizing the Causes of Process Malfunctions Through Machine Learning Model In Data Imbalance Environment

Publications (2)

Publication Number Publication Date
KR20190060547A true KR20190060547A (en) 2019-06-03
KR102016812B1 KR102016812B1 (en) 2019-10-21

Family

ID=66849502

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170158862A KR102016812B1 (en) 2017-11-24 2017-11-24 Method of Deriving and Visualizing the Causes of Process Malfunctions Through Machine Learning Model In Data Imbalance Environment

Country Status (1)

Country Link
KR (1) KR102016812B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021107661A3 (en) * 2019-11-29 2021-07-22 이화여자대학교 산학협력단 Data processing method using learning model
KR102316034B1 (en) * 2020-11-19 2021-10-25 주식회사 유일로보틱스 Take out robot apparatus of injection molding machine
WO2021216309A1 (en) * 2020-04-24 2021-10-28 Ul Llc Using machine learning to virtualize products tests
KR20220089484A (en) * 2020-12-21 2022-06-28 부산대학교 산학협력단 Method and Apparatus for Analysis of Product Defect
KR102548849B1 (en) * 2022-04-07 2023-06-28 김재성 Decision Optimization System
WO2023133292A1 (en) * 2022-01-07 2023-07-13 Applied Materials, Inc. Predictive modeling for chamber condition monitoring
WO2024034873A1 (en) * 2022-08-10 2024-02-15 에스케이가스 주식회사 Method for analyzing root cause in chemical process and modeling yield prediction using same

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102457255B1 (en) * 2020-09-15 2022-10-20 현대오토에버 주식회사 System for evaluating business capability of smart office based on user’s behavior analysis

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101530848B1 (en) 2012-09-20 2015-06-24 국립대학법인 울산과학기술대학교 산학협력단 Apparatus and method for quality control using datamining in manufacturing process
KR20150139334A (en) * 2014-06-03 2015-12-11 삼성전자주식회사 Semiconductor process management system, semiconductor manufacturing system including the same and method for manufacturing semiconductor including the same
KR20160076646A (en) 2014-12-23 2016-07-01 (주)해인씨앤에스 Method and apparatus for managing a process and quality improvement of manufacturing process
KR20160084453A (en) * 2013-11-22 2016-07-13 캘리포니아 인스티튜트 오브 테크놀로지 Generation of weights in machine learning
KR101744194B1 (en) * 2016-08-19 2017-06-09 인하대학교 산학협력단 Method and Apparatus for Classification and prediction of Automatic Checking Fail For Wafer using Euclidean Distance in Semiconductor FAB Manufacturing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101530848B1 (en) 2012-09-20 2015-06-24 국립대학법인 울산과학기술대학교 산학협력단 Apparatus and method for quality control using datamining in manufacturing process
KR20160084453A (en) * 2013-11-22 2016-07-13 캘리포니아 인스티튜트 오브 테크놀로지 Generation of weights in machine learning
KR20150139334A (en) * 2014-06-03 2015-12-11 삼성전자주식회사 Semiconductor process management system, semiconductor manufacturing system including the same and method for manufacturing semiconductor including the same
KR20160076646A (en) 2014-12-23 2016-07-01 (주)해인씨앤에스 Method and apparatus for managing a process and quality improvement of manufacturing process
KR101744194B1 (en) * 2016-08-19 2017-06-09 인하대학교 산학협력단 Method and Apparatus for Classification and prediction of Automatic Checking Fail For Wafer using Euclidean Distance in Semiconductor FAB Manufacturing

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021107661A3 (en) * 2019-11-29 2021-07-22 이화여자대학교 산학협력단 Data processing method using learning model
WO2021216309A1 (en) * 2020-04-24 2021-10-28 Ul Llc Using machine learning to virtualize products tests
KR102316034B1 (en) * 2020-11-19 2021-10-25 주식회사 유일로보틱스 Take out robot apparatus of injection molding machine
KR20220089484A (en) * 2020-12-21 2022-06-28 부산대학교 산학협력단 Method and Apparatus for Analysis of Product Defect
US11494375B2 (en) 2020-12-21 2022-11-08 Pusan National University Industry-University Cooperation Foundation Method and apparatus for analyzing cause of product defect
WO2023133292A1 (en) * 2022-01-07 2023-07-13 Applied Materials, Inc. Predictive modeling for chamber condition monitoring
KR102548849B1 (en) * 2022-04-07 2023-06-28 김재성 Decision Optimization System
WO2024034873A1 (en) * 2022-08-10 2024-02-15 에스케이가스 주식회사 Method for analyzing root cause in chemical process and modeling yield prediction using same
KR20240021641A (en) * 2022-08-10 2024-02-19 에스케이가스 주식회사 Method for analysis of root cause of chemical processes and method for modeling of yield prediction

Also Published As

Publication number Publication date
KR102016812B1 (en) 2019-10-21

Similar Documents

Publication Publication Date Title
KR20190060547A (en) Method of Deriving and Visualizing the Causes of Process Malfunctions Through Machine Learning Model In Data Imbalance Environment
CN112884092B (en) AI model generation method, electronic device, and storage medium
KR101998972B1 (en) Method of analyzing and visualizing the cause of process failure by deriving the defect occurrence index by variable sections
JP2017531264A (en) Data pipeline for process control system analysis
CN107168995B (en) Data processing method and server
TW202036353A (en) Solder paste printing quality detecting method, data processing device and computer storage medium
JP7102941B2 (en) Information processing methods, information processing devices, and programs
US10579042B2 (en) Defect rate analytics to reduce defectiveness in manufacturing
CN111400186A (en) Performance test method and system
CN113837596B (en) Fault determination method and device, electronic equipment and storage medium
TWI727323B (en) Repairable board detection device, method and storage medium
JPWO2019116418A1 (en) Fault analyzer, fault analysis method and fault analysis program
CN112860676A (en) Data cleaning method applied to big data mining and business analysis and cloud server
CN106569944A (en) Constraint-tree-based onboard software test data analysis method
CN112416800A (en) Intelligent contract testing method, device, equipment and storage medium
US10228685B2 (en) Use of multivariate models to control manufacturing operations
CN109829051B (en) Method and device for screening similar sentences of database
US20120316803A1 (en) Semiconductor test data analysis system
CN115952098A (en) Performance test tuning scheme recommendation method and system
JP2022037107A (en) Failure analysis device, failure analysis method, and failure analysis program
CN114185807A (en) Test data management method and device, computer equipment and storage medium
CN107609401A (en) Automatic test approach and device
CN114564853B (en) Evaluation report generation method based on FMEA data and electronic equipment
US11675339B1 (en) Route based manufacturing system analysis, apparatuses, systems, and methods
CN113570333B (en) Process design method suitable for integration

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant