WO2020141882A1 - 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템 및 방법 - Google Patents

설명 가능한 인공지능 모델링 및 시뮬레이션 시스템 및 방법 Download PDF

Info

Publication number
WO2020141882A1
WO2020141882A1 PCT/KR2020/000022 KR2020000022W WO2020141882A1 WO 2020141882 A1 WO2020141882 A1 WO 2020141882A1 KR 2020000022 W KR2020000022 W KR 2020000022W WO 2020141882 A1 WO2020141882 A1 WO 2020141882A1
Authority
WO
WIPO (PCT)
Prior art keywords
simulation
workflow
artificial intelligence
workflow model
modeling
Prior art date
Application number
PCT/KR2020/000022
Other languages
English (en)
French (fr)
Inventor
이병민
김영희
김종문
천기쁨
Original Assignee
에스케이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 주식회사 filed Critical 에스케이 주식회사
Priority to US17/420,237 priority Critical patent/US12032469B2/en
Priority to EP20736068.6A priority patent/EP3907618A4/en
Publication of WO2020141882A1 publication Critical patent/WO2020141882A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3457—Performance evaluation by simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3086—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves the use of self describing data formats, i.e. metadata, markup languages, human readable formats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/34—Graphical or visual programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • G06N3/105—Shells for specifying net layout
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to an artificial intelligence technology that can be described. More specifically, image conversion, measurement, and image search are performed by selecting/assembling an algorithm suitable for a created/edited workflow according to a subject area such as a semiconductor or display manufacturing process. It relates to a system and method for generating a possible AI workflow model and performing simulation.
  • the development of the AI algorithm is based on the Al language and the Python language, and is somewhat closed by the individual's capabilities, and the evaluation of the performance is evaluated and verified by individual standards, and the AI maintains the expected performance and operates stably. There are a number of cases that need to be managed and controlled continuously by humans, so there is a limit to unmanned intelligence.
  • the technology development process has been carried out in a somewhat personalized pattern that analysts apply after design development verification in a personal development environment to meet unit requirements, and understanding and improving performance that changes according to the environment.
  • the distribution/disposal process is also performed manually, making it difficult to improve and share the technology.
  • the present invention has been devised to solve the above problems, and the object of the present invention is to visualize the connection of algorithms based on workflow and to automatically perform automatic performance verification and multiple artificial intelligence algorithms based on workflows through integrated simulation. It is possible to centrally compare the performance of each other through simulation, visualize the connection of algorithms based on the workflow, and automatically verify the performance with integrated simulation, and the results of classification analysis explain the cause/evidence with images and standardized shape data It is to provide an artificial intelligence modeling and simulation system and method to enable it.
  • an explanatory AI modeling and simulation method if an algorithm suitable for a workflow created and edited according to a subject area among pre-stored algorithms is selected, the AI workflow model Designing; And when input information is input, performing simulation on an artificial intelligence workflow model based on the input information.
  • AI workflow model may be provided by visualizing a workflow and an algorithm selected to be suitable for the workflow.
  • the algorithm may be classified and stored in a library for each process so as to be assembled for each process with respect to a data preprocessing process, a learning/classification process, a data postprocessing process, and an iterative learning/classification process.
  • the artificial intelligence workflow model sequentially performs an image normalization process, a learning process, and an image feature analysis process, measures an area of interest, extracts image features, and provides explanatory data based on the image features. Can be created.
  • the step of performing the simulation may include: registering a simulation for each AI workflow model when a plurality of deep learning AI workflow models or machine learning AI workflow models are designed; And performing each registered simulation.
  • the explainable AI modeling and simulation method when each simulation is performed, compares and evaluates the performance of each AI workflow model in real time based on the result of each simulation. ; And continuously distributing or changing an optimal AI workflow model according to a result of real-time comparison evaluation.
  • the step of performing each registered simulation is performed using the distributed management environment for distributing data for each deep learning AI workflow model or machine learning AI workflow model, and simultaneously simulating each simulation. Conditions.
  • the input information may be image data obtained in a process.
  • the comparative evaluation step selects the first deep learning AI workflow model having the highest accuracy among the plurality of deep learning AI workflow models on which simulation has been performed, and is identical to the first deep learning AI workflow model.
  • the step of selecting, distributing or changing the first machine learning AI workflow model for which the result is calculated may distribute or change the selected first machine learning AI workflow model.
  • one of the algorithms of Find Defect, Validate Defect, GMM Classification, NCC Classification, Monitor Defect, and Extract Feature can be used.
  • a descriptive artificial intelligence modeling and simulation system includes a storage unit for storing an algorithm; And, if an algorithm suitable for a workflow created/edited in accordance with a subject area is selected among pre-stored algorithms, an AI workflow model is designed, and when information is input, simulation of the AI workflow model based on the input information It includes; a processor for performing.
  • FIG. 1 is a flow chart provided in the description of a descriptive artificial intelligence modeling and simulation method according to an embodiment of the present invention
  • Figure 2 is a diagram provided in the description of the process of designing the AI workflow model
  • FIG. 4 is a diagram illustrating an artificial intelligence workflow model
  • FIG. 5 is a diagram illustrating a screen for managing image data
  • FIG. 6 is a diagram illustrating a screen for managing an algorithm
  • FIG. 7 is a diagram illustrating a screen provided with a visualized AI workflow model
  • FIG. 10 is a diagram illustrating an optimal model of the AI workflow model
  • 11 is a view provided for explaining the process of evaluating the optimal simulation between the AI workflow model
  • FIG. 13 is a diagram provided for explaining a process of determining a grade by determining whether or not each region is defective in a process of performing an AI workflow model-specific simulation
  • FIG. 14 is a diagram provided for explanation of a process of estimating suspicion factors and generating explanatory data by analyzing commonalities of similar images in a process of performing artificial intelligence workflow model-specific simulation,
  • 15 is a diagram illustrating various image charge factors
  • 16 is a block diagram of an explainable artificial intelligence modeling and simulation system according to another embodiment of the present invention.
  • FIG. 1 is a flowchart provided for explaining a method for explaining artificial intelligence modeling and simulation according to an embodiment of the present invention.
  • the explainable artificial intelligence modeling and simulation method according to an embodiment of the present invention when the artificial intelligence modeling and simulation system selects algorithms suitable for a workflow created/edited according to a subject area among pre-stored algorithms, the selected algorithms are assembled Becomes (S110), the AI workflow model can be designed (S120).
  • the algorithms may be a plurality of deep learning algorithms or machine learning algorithms.
  • the AI modeling and simulation system continuously compares and evaluates the performance of each AI workflow model designed based on the results of each simulation when each simulation is simultaneously performed under the same conditions (S150), Depending on the result of the comparative evaluation, the optimal AI workflow model can be continuously distributed or changed to be applied to the process (S160).
  • AI modeling and simulation system can be distributed and perform real-time classification of the results of the optimal AI workflow model applied to the process (S170) to perform reporting tasks to verify and confirm the real-time classification results ( S180).
  • FIG. 2 is a diagram provided to explain the process of designing an AI workflow model.
  • Explainable AI modeling and simulation system according to an embodiment of the present invention relates to an AI operation simulation platform technology for automating the development-verification-distribution-operation process of a process-specific AI algorithm and increasing operation efficiency
  • This is a learning classification algorithm modeling, algorithm asset management, parallel simulation execution and automatic algorithm performance verification, distributed algorithms, which are essential for unmanned/automated manufacturing inspection processes of various types of analysis and classification, which are the main tasks of Industry 4.0. It can support major processes such as confirming the result of execution with image and shape data.
  • the explainable artificial intelligence modeling and simulation system provides a development-operation-verification-distribution management system for artificial intelligence algorithms that will continue to increase as the number of cases of artificial intelligence-based manufacturing advancement increases.
  • a technique for explaining the suitability of the developed AI algorithm as data it visualizes the connection of the algorithm based on the workflow, and performs automatic performance verification and multiple deep learning algorithms and machine learning algorithms based on the workflow at the same time through integrated simulation. It is possible to centrally manage the performance comparison by simulating under conditions, and deep learning algorithms and machine learning algorithms are selected based on the simulation results under the same conditions.
  • the explainable AI modeling and simulation system first selects algorithms suitable for a workflow created/edited according to a subject area among pre-stored algorithms, and then selected algorithms are selected. Assembled, AI workflow models can be designed.
  • the pre-stored algorithm may be composed of an image processing algorithm and an artificial intelligence learning/classification algorithm, as illustrated in FIG. 3, and the image processing algorithm and the artificial intelligence learning/classification algorithm may be classified into a randomly edited library or a library for each process. Is saved.
  • Image processing algorithms include algorithms for the image normalization process, algorithms for the learning process, and algorithms for the image characterization process, and the user can use the algorithms for the image normalization process, the algorithms for the learning process, and the image feature analysis process. Algorithms suitable for the created/edited workflow can be selected and assembled.
  • any one of Load Object, Normalize, Rotate Image, and Working Domain can be selected.
  • any one of GMM Learning and NCC Learning can be selected.
  • any one of Find Defect, Validate Defect, GMM Classification, NCC Classification, Monitor Defect, and Extract Feature can be selected.
  • the AI learning/classification algorithm includes an algorithm for the data preprocessing process, an algorithm for the learning/classification process, an algorithm for the data postprocessing process, and an algorithm for the iterative learning/classification process.
  • FIG. 4 is a diagram illustrating an AI workflow model
  • FIG. 5 is a diagram illustrating a screen for managing image data
  • FIG. 6 is a diagram illustrating a screen for managing an algorithm
  • FIG. 7 is a diagram illustrating a screen provided with a visualized AI workflow model.
  • Embodiable AI modeling and simulation system may design an AI workflow model through a user interface as illustrated in FIG. 4.
  • the user interface for designing the AI workflow model may be composed of an analysis subject area, an image processing and AI learning/classification area, an algorithm property, a model workflow area, and a data and log area.
  • the analysis subject area can be used to select a subject area in the form of a tree, create a library of new AI workflow models, or select a library of stored AI workflow models, image processing and AI learning/classification areas Can be used to design the AI workflow model by selecting/assembling the algorithm from the library where the algorithm is stored through the user interface.
  • the algorithm property area may be used to select or set property information including input/output parameters of the algorithm through a user interface, and the model workflow area may be provided by visualizing an AI workflow model.
  • data and log area can be used to check history, logs, and data after the algorithm constituting the AI workflow model is executed.
  • the user interface for managing image data input to the designed AI workflow model may be configured as an analysis target image list area, an image list area for each detection type, and an original image area, as illustrated in FIG. 5.
  • the analysis target image list area may be used for a user to register or receive image data to be analyzed.
  • the image list area by detection type a list of images to be analyzed by process or detection type is displayed, and in the original image area, an original of an image in which image characteristics are detected is displayed, so that a user can view the original of the image in detail.
  • the user interface for managing the algorithm may be composed of an algorithm list area, an algorithm detail information area and a detection, process, and feature variable list area.
  • a list of data processing, image processing, and AI learning/classification algorithms may be displayed, and in the algorithm detail area, an algorithm type, an executable file path, an executable file type, and node type information may be displayed.
  • a list of detection types to be applied to an algorithm may be displayed.
  • a process list may be displayed.
  • an algorithm version (feature variable group) list may be displayed.
  • the user interface for providing a visualized AI workflow model may include an analysis subject library area, an algorithm workflow canvas area, an immediate execution result viewer area, and an algorithm node list area as illustrated in FIG. 7.
  • the analysis subject library area displays a list of analysis models for each subject area, and can be used to manage a user-designed analysis model for each subject area.
  • the Algorithm Workflow canvas area can be used to design the workflow by selecting algorithm nodes, connecting, and setting properties.
  • the immediate performance result viewer area can be used to perform the AI workflow model and check the performance result.
  • the algorithm node list area may display a list of selectable data processing, image processing, and artificial intelligence learning/classification algorithm node lists.
  • FIG. 8 is a diagram provided to explain the process of performing simulation for each AI workflow model.
  • Explainable artificial intelligence modeling and simulation system according to an embodiment of the present invention provides various algorithms to prepare the development-operation-verification-distribution management system of the artificial intelligence algorithm and to explain the suitability of the developed artificial intelligence algorithm as data. Select/Assemble to design multiple deep learning AI workflow models or machine learning AI workflow models, and if multiple deep learning AI workflow models or machine learning AI workflow models are designed, multiple deep learning A simulation for a learning AI workflow model or a machine learning AI workflow model may be registered, and each registered simulation may be performed.
  • the explainable artificial intelligence modeling and simulation system uses the distributed management environment for distributing and managing data for multiple deep learning artificial intelligence workflow models or machine learning artificial intelligence workflow models, thereby simultaneously simulating each simulation. Can be done in
  • the distributed management environment means that a plurality of servers connected in a chain form is implemented to distributedly manage data for each AI workflow model.
  • Describable artificial intelligence modeling and simulation system uses distributed management environment, simulates each registered, and compares and evaluates performance in real time based on the results of each simulation to verify performance
  • the optimized AI workflow model can be continuously deployed or changed, and the AI workflow model can be optimized through cumulative iterative learning/verification of additional images/classifications that occur continuously during operation.
  • the explainable artificial intelligence modeling and simulation system accumulates and increases the size of the verification section, compares and evaluates the results of each simulation performed simultaneously, and based on the evaluation results, a plurality of deep learning artificial intelligence work
  • the first deep learning AI workflow model with the highest accuracy among the flow models is selected, and the first machine learning AI workflow model with the same results as the first deep learning AI workflow model is selected, and the first Deploy a machine learning AI workflow model, or compare and evaluate the results of each simulation performed at the same time while maintaining the size of the verification section, and based on the evaluation results, multiple deep learning AI workflow models
  • the first deep learning AI workflow model with the highest accuracy is selected, and the first machine learning AI workflow model with the same results as the first deep learning AI workflow model is selected, and the first machine learning Deploy AI workflow models.
  • FIG. 10 is a diagram illustrating an optimal model of an artificial intelligence workflow model.
  • the descriptive artificial intelligence modeling and simulation system according to an embodiment of the present invention can automatically evaluate the performance of the designed artificial intelligence workflow model when the artificial intelligence workflow model is designed.
  • the explainable AI modeling and simulation system is a method of selecting the best fit point model with the highest accuracy of validity in a section within a saturation point through automatic comparison of results of learning and classification, and an AI workflow model. Can evaluate the performance.
  • FIG. 11 is a view provided to explain the process of evaluating the optimal simulation between AI workflow models.
  • Describable artificial intelligence modeling and simulation system performs simulation on image data obtained in a process using each artificial intelligence workflow model as illustrated in FIG. 11, By comparing the performance of each simulation for each AI workflow model, it is possible to select the optimal AI workflow model. At this time, if the result as illustrated in FIG. 11 is calculated, the B model with the highest accuracy will be selected and distributed.
  • the explainable AI modeling and simulation system may manage learning data/models through classification performance evaluation and monitoring of the AI workflow model.
  • the explainable AI modeling and simulation system can analyze the variability of date, type, purity, and accuracy, and suggest key improvement points that need improvement.
  • FIG. 13 is a diagram provided to explain the process of determining whether a class is defective by determining whether or not each region is defective in a process of performing simulation for each AI workflow model.
  • the descriptive artificial intelligence modeling and simulation system according to an embodiment of the present invention, when image data is input, sequentially performs an image normalization process, a learning process, and an image feature analysis process to measure an area of interest to extract image features. Can.
  • an explanatory artificial intelligence modeling and simulation system divides image data into analysis unit regions when image data is input for quality assurance, inspection, and measurement during the process, determines whether each region is defective, and determines the result According to the rating can be determined.
  • the grade according to the determination result the grade for a significant difference in shape may be determined according to a preset condition.
  • the artificial intelligence modeling and simulation system may measure an erroneous region of interest and extract image characteristics.
  • FIG. 14 is a diagram provided to explain the process of analyzing commonalities of similar images, estimating susceptibility factors, and generating explanatory data in the process of performing simulation for each AI workflow model.
  • the descriptive artificial intelligence modeling and simulation system measures information on the size, area, etc. of the extracted image feature by measuring the region of interest determined as defective, classifies the image, and searches for similar images of the image feature. , It can analyze the commonality of similar images.
  • the suspected factor may be estimated, and explanatory data including the estimated suspected factor may be generated.
  • the explainable artificial intelligence modeling and simulation system may search for similar images of image features for each predetermined similarity section and provide the searched similar images.
  • the explainable artificial intelligence modeling and simulation system estimates the alleged factor using similar images found in the section with the highest similarity, but when it is difficult to estimate the alleged factor due to the small number of samples, it is performed at an interval one level lower than the highest section.
  • the commonality of similar images can be analyzed by estimating the susceptibility factor using the searched similar images.
  • Embodable AI modeling and simulation systems include microbial recognition in wastewater classification, surface flatness defect detection and classification, material edge damage recognition and classification, and electron microscope images of detection distribution patterns using artificial intelligence algorithms. And in various fields such as the classification field, as illustrated in FIG. 15, the suspected factor may be estimated and explanatory data including the estimated suspected factor may be generated.
  • Describeable artificial intelligence modeling and simulation system includes a communication unit 110, a processor 120 and a storage unit 130, as shown in FIG.
  • the communication unit 110 is a means for communication connection with a plurality of servers for a process facility management system or a distributed management environment, and is used to receive image data acquired during a process or to distribute an AI workflow model whose performance has been verified. Can be.
  • the processor 120 designs an AI workflow model, registers a simulation for the designed AI workflow model, and registers information when an algorithm suitable for a workflow created/edited according to a subject area is selected among pre-stored algorithms. Once input, the distributed simulation environment can be used to simultaneously perform the simulation registered for the input information.
  • the processor 120 may compare and evaluate the performance based on the performance result of each simulation, and distribute the AI workflow model whose performance has been verified.
  • the storage unit 130 is a storage medium in which programs and information necessary for the processor 120 to operate are stored. Also, the storage unit 130 may classify and store image data, algorithms, artificial intelligence workflow models, simulations, and the like in a randomly edited library or a process-specific library.
  • the technical idea of the present invention can be applied to a computer-readable recording medium containing a computer program that performs functions of the apparatus and method according to the present embodiment. Further, the technical idea according to various embodiments of the present invention may be implemented in the form of computer-readable codes recorded on a computer-readable recording medium.
  • the computer-readable recording medium can be any data storage device that can be read by a computer and stores data.
  • the computer-readable recording medium may be a ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, or the like.
  • computer-readable codes or programs stored in a computer-readable recording medium may be transmitted through a network connected between computers.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

디스플레이의 제조공정 등의 주제 영역에 맞게 작성/편집된 워크플로우에 적합한 알고리즘을 선택/조립하여 이미지 변환, 계측 및 이미지 검색이 가능한 인공지능 워크플로우 모델을 생성하고, 시뮬레이션을 수행하는 시스템 및 방법이 제공된다. 본 발명의 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 방법은 기저장된 알고리즘 중 주제 영역에 맞게 작성/편집된 워크플로우에 적합한 알고리즘이 선택되면, 인공지능 워크플로우 모델을 설계하는 단계; 및 입력정보가 입력되면, 입력정보를 대상으로 인공지능 워크플로우 모델에 대한 시뮬레이션을 수행하는 단계;를 포함한다. 이에 의해, 이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 워크플로우 기반으로 알고리즘의 연결을 가시화하고 통합된 시뮬레이션으로 자동 성능 검증할 수 있으며, 워크플로우 기반의 복수의 인공지능 알고리즘을 동시에 시뮬레이션하여 상호 성능 비교를 할 수 있다. 또한, 분류 분석의 결과가 이미지와 표준화된 형상 데이터로 원인/근거를 설명할 수 있게 하여 알고리즘의 성능 개선방향을 제시할 수 있다.

Description

설명 가능한 인공지능 모델링 및 시뮬레이션 시스템 및 방법
본 발명은 설명 가능한 인공지능 기술에 관한 것으로, 더욱 상세하게는 반도체, 디스플레이의 제조공정 등의 주제 영역에 맞게 작성/편집된 워크플로우에 적합한 알고리즘을 선택/조립하여 이미지 변환, 계측 및 이미지 검색이 가능한 인공지능 워크플로우 모델을 생성하고, 시뮬레이션을 수행하는 시스템 및 방법에 관한 것이다.
인공지능 알고리즘의 개발은 알 언어, 파이썬 언어 기반으로 개인의 역량에 의해 다소 폐쇄적으로 진행되고, 성능의 평가는 개인의 기준에 의해 평가 검증되고 있어, 인공지능이 기대한 성능을 유지하며 안정적으로 운영되기 위해 사람에 의해 지속적으로 관리 제어되어야 하는 사례가 다수 존재하여 무인 지능화의 한계가 존재한다.
그리고 기존의 인공지능 알고리즘은 단위 요구사항을 충족시키기 위해 분석가가 개인 개발 환경에서 설계 개발 검증 후 적용하는 다소 개인화된 패턴으로 기술 개발 프로세스가 진행되어 왔으며, 환경에 따라 변화되는 성능의 이해 및 개선 / 배포 / 폐기 프로세스도 수동으로 진행되어 기술의 개선과 공유가 쉽지 않다는 단점 역시 존재한다.
또한, 최근 오픈소스 기반 딥 러닝 기법의 알고리즘이 트렌드가 되어 수많은 알고리즘이 개발되고 있으나, 실세계에 접목하기 위해서는 지속적으로 인공지능 판정의 적합성을 직접 확인하고 배포 여부를 판단하게 된다.
그러나 영역별 요구사항별 인공지능 알고리즘의 수가 많고, 변화하는 제조 데이터를 반영해 주기적으로 리모델링이 필요한 인공지능 알고리즘을 일일이 확인 검증하는 것이 어려워 최적화를 포기하는 사례가 발생하기도 한다. 즉, 알고리즘 변화 관리의 실패로 성능의 폴트(Fault)가 자주 발생하게 된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 워크플로우 기반으로 알고리즘의 연결을 가시화하고 통합된 시뮬레이션으로 자동 성능 검증 및 워크플로우 기반의 복수의 인공지능 알고리즘을 동시에 시뮬레이션하여 상호 성능 비교하는 중앙 관리가 가능하고, 워크플로우 기반으로 알고리즘의 연결을 가시화하고 통합된 시뮬레이션으로 자동 성능 검증할 수 있으며, 분류 분석의 결과가 이미지와 표준화된 형상 데이터로 원인/근거를 설명할 수 있도록 하는 인공지능 모델링 및 시뮬레이션 시스템 및 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 설명 가능한 인공지능 모델링 및 시뮬레이션 방법은 기저장된 알고리즘 중 주제 영역에 맞게 작성 및 편집된 워크플로우에 적합한 알고리즘이 선택되면, 인공지능 워크플로우 모델을 설계하는 단계; 및 입력정보가 입력되면, 입력정보를 대상으로 인공지능 워크플로우 모델에 대한 시뮬레이션을 수행하는 단계;를 포함한다.
그리고 인공지능 워크플로우 모델은, 워크플로우 및 워크플로우에 적합하도록 선택된 알고리즘이 시각화되어, 제공될 수 있다.
또한, 알고리즘은, 데이터 전처리 프로세스, 학습/분류 프로세스, 데이터 후처리 프로세스 및 반복 학습/분류 프로세스에 대하여, 프로세스별로 조립되도록, 프로세스별 라이브러리에 분류되어 저장될 수 있다.
그리고 인공지능 워크플로우 모델은, 이미지 데이터가 입력되면, 이미지 정규화 프로세스, 학습 프로세스 및 이미지 특징분석 프로세스를 순차적으로 수행하여, 관심영역을 계측하여 이미지 특징을 추출하고, 이미지 특징을 기반으로 설명 데이터를 생성할 수 있다.
또한, 시뮬레이션을 수행하는 단계는, 시뮬레이션을 수행하는 단계는, 복수의 딥러닝 인공지능 워크플로우 모델 또는 머신러닝 인공지능 워크플로우 모델이 설계되면, 인공지능 워크플로우 모델별 시뮬레이션을 등록하는 단계; 및 등록된 각각의 시뮬레이션을 수행하는 단계;를 포함할 수 있다.
그리고 본 발명의 일 실시예에 따른, 설명 가능한 인공지능 모델링 및 시뮬레이션 방법은 각각의 시뮬레이션이 수행되면, 각각의 시뮬레이션의 수행결과를 기반으로 각각의 인공지능 워크플로우 모델의 성능을 실시간 비교 평가하는 단계; 및 실시간 비교 평가의 결과에 따라 최적의 인공지능 워크플로우 모델을 계속적으로 배포 또는 변경하는 단계;를 더 포함할 수 있다.
또한, 등록된 각각의 시뮬레이션을 수행하는 단계는, 각각의 딥러닝 인공지능 워크플로우 모델 또는 머신러닝 인공지능 워크플로우 모델에 대한 데이터를 분산 관리하는 분산 관리 환경을 이용하여, 각각의 시뮬레이션을 동시에 동일한 조건에서 수행할 수 있다.
그리고 입력정보는, 공정 과정에서 획득된 이미지 데이터일 수 있다.
또한, 비교 평가하는 단계는, 시뮬레이션이 수행된 복수의 딥러닝 인공지능 워크플로우 모델 중 가장 정확도가 높은 제1 딥러닝 인공지능 워크플로우 모델을 선별하고, 제1 딥러닝 인공지능 워크플로우 모델과 동일한 결과가 산출된 제1 머신러닝 인공지능 워크플로우 모델을 선별하며, 배포 또는 변경하는 단계는, 선별된 제1 머신러닝 인공지능 워크플로우 모델을 배포 또는 변경할 수 있다.
그리고 등록된 각각의 시뮬레이션을 수행하는 단계는, 이미지 데이터가 입력되면, 이미지 데이터를 분석 단위 영역으로 분할하여, 영역별 불량 여부를 판정하고, 판정 결과에 따라 등급을 판정하는 단계; 불량 판정된 관심영역을 계측하여 이미지 특징을 추출하는 단계; 이미지 특징의 유사 이미지를 검색하는 단계; 유사 이미지별 공통성을 분석하여, 혐의 인자를 추정하는 단계; 및 혐의 인자가 포함된 설명 데이터를 생성하는 단계;를 포함할 수 있다.
또한, 불량 판정된 영역을 계측하여 이미지 특징을 추출하는 단계는, Find Defect, Validate Defect, GMM Classification, NCC Classification, Monitor Defect 및 Extract Feature 중 어느 하나의 알고리즘을 이용할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 알고리즘을 저장하는 저장부; 및 기저장된 알고리즘 중 주제 영역에 맞게 작성/편집된 워크플로우에 적합한 알고리즘이 선택되면, 인공지능 워크플로우 모델을 설계하고, 정보가 입력되면, 입력된 정보를 대상으로 인공지능 워크플로우 모델에 대한 시뮬레이션을 수행하는 프로세서;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 워크플로우 기반으로 알고리즘의 연결을 가시화하고 통합된 시뮬레이션으로 자동 성능 검증할 수 있으며, 워크플로우 기반의 복수의 인공지능 알고리즘을 동시에 시뮬레이션하여 상호 성능 비교를 할 수 있다.
또한, 본 발명의 실시예들에 따르면, 분류 분석의 결과가 이미지와 표준화된 형상 데이터로 원인/근거를 설명할 수 있게 하여 알고리즘의 성능 개선방향을 제시할 수 있다.
도 1은 본 발명의 일 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 방법의 설명에 제공되는 흐름도,
도 2는 인공지능 워크플로우 모델을 설계하는 과정의 설명에 제공되는 도면,
도 3은 알고리즘을 예시한 도면,
도 4는 인공지능 워크플로우 모델을 예시한 도면,
도 5는 이미지 데이터를 관리하는 화면을 예시한 도면,
도 6은 알고리즘을 관리하는 화면을 예시한 도면,
도 7은 시각화된 인공지능 워크플로우 모델이 제공되는 화면을 예시한 도면,
도 8은 인공지능 워크플로우 모델별 시뮬레이션을 수행하는 과정의 설명에 제공되는 도면,
도 9는 인공지능 워크플로우 모델 및 시뮬레이션을 검증하는 과정의 설명에 제공되는 도면,
도 10은 인공지능 워크플로우 모델의 최적 모형을 예시한 도면,
도 11은 인공지능 워크플로우 모델 간 최적 시뮬레이션을 평가하는 과정의 설명에 제공되는 도면,
도 12는 인공지능 워크플로우 모델을 분류 성능 평가하는 과정의 설명에 제공되는 도면,
도 13은 인공지능 워크플로우 모델별 시뮬레이션을 수행하는 과정 중 영역별 불량 여부를 판정하여, 등급을 판정하는 과정의 설명에 제공되는 도면,
도 14는 인공지능 워크플로우 모델별 시뮬레이션을 수행하는 과정 중 유사 이미지별 공통성을 분석하여, 혐의 인자를 추정하고, 설명 데이터를 생성하는 과정의 설명에 제공되는 도면,
도 15는 다양한 이미지 혐의 인자를 예시한 도면, 그리고
도 16은 본 발명의 다른 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템의 블록도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
1. 설명 가능한 인공지능 모델링 및 시뮬레이션 방법
본 발명의 실시예에서는 설명 가능한 인공지능 시뮬레이션 플랫폼을 제공하기 위한 시스템 및 방법을 제시한다.
여기서, '설명 가능한 인공지능'이란 인공지능을 이용한 분류 분석의 결과로 원인/근거를 설명할 수 있는 데이터를 추출하는 인공지능 기술을 의미한다.
도 1은 본 발명의 일 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 방법의 설명에 제공되는 흐름도이다. 본 발명의 일 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 방법은 인공지능 모델링 및 시뮬레이션 시스템이, 기저장된 알고리즘 중 주제 영역에 맞게 작성/편집된 워크플로우에 적합한 알고리즘들이 선택되면, 선택된 알고리즘들이 조립되어(S110), 인공지능 워크플로우 모델이 설계될 수 있다(S120).
이때, 알고리즘들은 복수의 딥러닝 알고리즘 또는 머신러닝 알고리즘일 수 있다.
그리고 인공지능 모델링 및 시뮬레이션 시스템은, 복수의 인공지능 워크플로우 모델이 설계되면, 인공지능 워크플로우 모델별 시뮬레이션이 등록되도록 하고(S130), 입력정보가 입력되면, 입력정보를 대상으로 등록된 각각의 시뮬레이션을 수행할 수 있다(S140).
또한, 인공지능 모델링 및 시뮬레이션 시스템은, 각각의 시뮬레이션이 동일한조건에서 동시에 수행되면, 각각의 시뮬레이션의 수행결과를 기반으로 설계된 각각의 인공지능 워크플로우 모델의 성능을 지속적으로 비교 평가하고(S150), 비교 평가의 결과에 따라 최적의 인공지능 워크플로우 모델을 계속적으로 배포 또는 변경하여, 공정 과정에 적용되도록 할 수 있다(S160).
그리고 인공지능 모델링 및 시뮬레이션 시스템은 배포되어 공정 과정에 적용된 최적의 인공지능 워크플로우 모델의 수행 결과의 실시간 분류를 수행하여(S170), 실시간 분류 결과를 검증하고 확정하는 리포팅 업무를 수행할 수 있다(S180).
2. 인공지능 워크플로우 모델 설계
도 2는 인공지능 워크플로우 모델을 설계하는 과정의 설명에 제공되는 도면이다. 본 발명의 일 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 제조 산업에서 공정별 인공지능 알고리즘의 개발-검증-배포-운영 프로세스를 자동화하고 운영 효율성을 증대시키는 인공지능 운영 시뮬레이션 플랫폼 기술에 관한 것으로, Industry 4.0의 주요 과제인 Visual Information의 해석 및 분류라는 다양한 종류의 제조 검사 프로세스 무인화/자동화를 위해 반드시 필요한 학습 분류 알고리즘 모델링, 알고리즘 자산 관리, 병렬 시뮬레이션 수행 및 자동 알고리즘 성능 검증, 배포된 알고리즘의 수행 결과를 이미지와 형상 데이터로 확인하는 등의 주요한 과정을 지원할 수 있다.
더불어, 본 발명의 일 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 인공지능 기반 제조 선진화 추진 사례가 늘어날수록 지속적으로 증가하게 될 인공지능 알고리즘의 개발-운영-검증-배포 관리체계를 마련하고 개발된 인공지능 알고리즘의 적합성을 데이터로 설명하기 위한 기술로서, 워크플로우 기반으로 알고리즘의 연결을 가시화하고 통합된 시뮬레이션으로 자동 성능 검증 및 워크플로우 기반의 복수의 딥러닝 알고리즘과 머신러닝 알고리즘을 동시에 동일한 조건에서 시뮬레이션하여 상호 성능 비교하는 중앙 관리가 가능하고, 딥러닝 알고리즘과 머신러닝 알고리즘이 동시에 동일한 조건에서 시뮬레이션된 결과를 바탕으로, 최적의 정확도를 갖는 딥러닝 알고리즘을 선별하고, 선별된 딥러닝 알고리즘과 동일한 결과값을 갖는 머신러닝 알고리즘을 선별/적용하여, 설명가능 인공지능을 구현할 수 있으며, 워크플로우 기반으로 알고리즘의 연결을 가시화하고 통합된 시뮬레이션으로 자동 성능 검증할 수 있으며, 분류 분석의 결과가 이미지와 표준화된 형상 데이터로 원인/근거를 설명할 수 있다.
이러한 기능들을 수행하기 위해, 본 발명의 일 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 우선, 기저장된 알고리즘 중 주제 영역에 맞게 작성/편집된 워크플로우에 적합한 알고리즘들이 선택되면, 선택된 알고리즘들이 조립되어, 인공지능 워크플로우 모델을 설계할 수 있다.
여기서, 기저장된 알고리즘은 도 3에 예시된 바와 같이 이미지 처리 알고리즘과 인공지능 학습/분류 알고리즘으로 구성될 수 있으며, 이미지 처리 알고리즘과 인공지능 학습/분류 알고리즘은 임의로 편집된 라이브러리 또는 프로세스별 라이브러리에 분류되어 저장된다.
이미지 처리 알고리즘은 이미지 정규화 프로세스를 위한 알고리즘, 학습 프로세스를 위한 알고리즘 및 이미지 특징분석 프로세스를 위한 알고리즘 등이 포함되며, 사용자가 이미지 정규화 프로세스를 위한 알고리즘, 학습 프로세스를 위한 알고리즘 및 이미지 특징분석 프로세스를 위한 알고리즘 중에 작성/편집된 워크플로우에 적합한 알고리즘들을 선택하여 조립할 수 있다.
이미지 정규화 프로세스를 위한 알고리즘은, Load Object, Normalize, Rotate Image 및 Working Domain 중 어느 하나의 알고리즘이 선택될 수 있다.
학습 프로세스를 위한 알고리즘은, GMM Learning 및 NCC Learning 중 어느 하나의 알고리즘이 선택될 수 있다.
이미지 특징분석을 위한 알고리즘은, Find Defect, Validate Defect, GMM Classification, NCC Classification, Monitor Defect 및 Extract Feature 중 어느 하나의 알고리즘이 선택될 수 있다.
인공지능 학습/분류 알고리즘은 데이터 전처리 프로세스를 위한 알고리즘, 학습/분류 프로세스를 위한 알고리즘, 데이터 후처리 프로세스를 위한 알고리즘 및 반복 학습/분류 프로세스를 위한 알고리즘이 포함된다.
본 발명의 일 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 도 4 내지 도 7에 예시된 바와 같이 화면에 출력되는 사용자 인터페이스를 통해, 알고리즘 관리, 인공지능 워크플로우 모델 관리, 이미지 데이터 관리, 인공지능 워크플로우 모델에 대한 시뮬레이션 등록 및 수행, 배포 및 적용 등을 수행할 수 있다.
구체적으로, 도 4는 인공지능 워크플로우 모델을 예시한 도면이고, 도 5는 이미지 데이터를 관리하는 화면을 예시한 도면이며, 도 6은 알고리즘을 관리하는 화면을 예시한 도면이다. 또한, 도 7은 시각화된 인공지능 워크플로우 모델이 제공되는 화면을 예시한 도면이다.
설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 도 4에 예시된 바와 같이 사용자 인터페이스를 통해, 인공지능 워크플로우 모델을 설계할 수 있다.
이때, 인공지능 워크플로우 모델을 설계하기 위한 사용자 인터페이스는 분석 주제 영역, 이미지 프로세싱 및 인공지능 학습/분류 영역, 알고리즘 속성, 모델 워크플로우 영역 및 데이터 앤 로그 영역으로 구성될 수 있다.
분석 주제 영역은 트리 형태로 주제 영역을 선택하거나, 새로운 인공지능 워크플로우 모델의 라이브러리를 생성하거나 또는 저장된 인공지능 워크플로우 모델의 라이브러리를 선택하는데 이용될 수 있으며, 이미지 프로세싱 및 인공지능 학습/분류 영역은 사용자 인터페이스를 통해, 알고리즘이 저장된 라이브러리에서 알고리즘을 선택/조립하여 인공지능 워크플로우 모델을 설계하는데 이용될 수 있다.
알고리즘 속성 영역은 사용자 인터페이스를 통해, 알고리즘의 입출력 파라미터가 포함된 속성정보를 선택하거나 설정하는데 이용될 수 있으며, 모델 워크플로우 영역은 인공지능 워크플로우 모델이 시각화되어 제공될 수 있다.
그리고 데이터 앤 로그 영역은 인공지능 워크플로우 모델을 구성하는 알고리즘이 실행된 이후, 히스토리, 로그, 데이터를 확인하는데 이용될 수 있다.
그리고 설계된 인공지능 워크플로우 모델에 입력되는 이미지 데이터를 관리하기 위한 사용자 인터페이스는 도 5에 예시된 바와 같이, 분석 대상 이미지 목록 영역, 탐지 유형별 이미지 목록 영역, 원본 이미지 영역으로 구성될 수 있다.
분석 대상 이미지 목록 영역은, 사용자가 분석할 이미지 데이터를 등록하거나 수신하는데 이용될 수 있다.
탐지 유형별 이미지 목록 영역은, 공정별 또는 탐지 유형별 분석 대상 이미지 목록이 표시되며, 원본 이미지 영역은, 이미지 특징이 탐지된 이미지의 원본이 표시되어, 사용자가 이미지의 원본을 상세하게 볼 수 있도록 한다.
또한, 알고리즘을 관리하기 위한 사용자 인터페이스는 도 6에 예시된 바와 같이, 알고리즘 목록 영역, 알고리즘 상세 정보 영역 및 탐지, 공정, 특징변수 목록 영역으로 구성될 수 있다.
알고리즘 목록 영역은 데이터 처리, 이미지 처리, 인공지능 학습/분류 알고리즘 목록이 표시될 수 있으며, 알고리즘 상세 정보 영역은 알고리즘 유형, 실행파일 경로, 실행파일 유형, 노드 유형 정보가 표시될 수 있다.
탐지, 공정, 특징변수 목록 영역은 알고리즘에 적용될 탐지 유형 목록, 공정 목록, 알고리즘 버전(특징변수 그룹) 목록이 표시될 수 있다.
그리고 시각화된 인공지능 워크플로우 모델을 제공하기 위한 사용자 인터페이스는 도 7에 예시된 바와 같이 분석 주제 라이브러리 영역, 알고리즘 워크플로우 캔버스 영역, 즉시 수행결과 뷰어 영역 및 알고리즘 노드 목록 영역으로 구성될 수 있다.
분석 주제 라이브러리 영역은 주제 영역별 분석 모델 목록이 표시되고, 사용자가 설계된 분석 모델을 주제 영역별로 관리하는데 이용될 수 있다.
알고리즘 워크플로우 캔버스 영역은 알고리즘 노드 선택, 연결, 속성 설정을 통한 워크플로우 설계를 하는데 이용될 수 있다.
즉시 수행결과 뷰어 영역은 인공지능 워크플로우 모델을 수행하고, 수행 결과를 확인하는데 이용될 수 있다.
알고리즘 노드 목록 영역은 알고리즘 모델링을 하는 경우에, 선택 가능한 데이터 처리, 이미지 처리, 인공지능 학습/분류 알고리즘 노드 목록이 표시될 수 있다.
3. 시뮬레이션
도 8은 인공지능 워크플로우 모델별 시뮬레이션을 수행하는 과정의 설명에 제공되는 도면이다. 본 발명의 일 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 인공지능 알고리즘의 개발-운영-검증-배포 관리체계를 마련하고 개발된 인공지능 알고리즘의 적합성을 데이터로 설명하기 위해, 다양한 알고리즘을 선택/조립하여, 복수의 딥러닝 인공지능 워크플로우 모델 또는 머신러닝 인공지능 워크플로우 모델을 설계하고, 복수의 딥러닝 인공지능 워크플로우 모델 또는 머신러닝 인공지능 워크플로우 모델이 설계되면, 복수의 딥러닝 인공지능 워크플로우 모델 또는 머신러닝 인공지능 워크플로우 모델에 대한 시뮬레이션을 등록하고, 등록된 각각의 시뮬레이션을 수행할 수 있다.
구체적으로, 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 복수의 딥러닝 인공지능 워크플로우 모델 또는 머신러닝 인공지능 워크플로우 모델에 대한 데이터를 분산 관리하는 분산 관리 환경을 이용하여, 각각의 시뮬레이션을 동시에 동일한 조건에서 수행할 수 있다.
여기서, 분산 관리 환경은 체인 형태로 연결된 복수의 서버가 각각의 인공지능 워크플로우 모델에 대한 데이터를 분산 관리하도록 구현된 것을 의미한다.
도 9는 인공지능 워크플로우 모델 및 시뮬레이션을 검증하는 과정의 설명에 제공되는 도면이다. 본 발명의 일 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 분산 관리 환경을 이용하여, 등록된 각각의 시뮬레이션하고, 각각의 시뮬레이션의 결과를 바탕으로, 성능을 실시간 비교 평가하여, 성능이 검증된 최적의 인공지능 워크플로우 모델을 계속적으로 배포 또는 변경하고, 운영 시 지속적으로 발생하는 추가 이미지/분류 결과에 대하여 누적 반복 학습/검증을 통해, 인공지능 워크플로우 모델을 최적화시킬 수 있다.
일 예를 들면, 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 검증 구간의 크기를 누적하여 증가시키면서, 동시에 수행된 각각의 시뮬레이션의 결과를 비교 평가하여, 평가 결과를 기준으로, 복수의 딥러닝 인공지능 워크플로우 모델 중 가장 정확도가 높은 제1 딥러닝 인공지능 워크플로우 모델을 선별하고, 제1 딥러닝 인공지능 워크플로우 모델과 동일한 결과가 산출된 제1 머신러닝 인공지능 워크플로우 모델을 선별하여, 제1 머신러닝 인공지능 워크플로우 모델을 배포하거나, 또는 검증 구간의 크기를 일정하게 유지하면서, 동시에 수행된 각각의 시뮬레이션의 결과를 비교 평가하여, 평가 결과를 기준으로, 복수의 딥러닝 인공지능 워크플로우 모델 중 가장 정확도가 높은 제1 딥러닝 인공지능 워크플로우 모델을 선별하고, 제1 딥러닝 인공지능 워크플로우 모델과 동일한 결과가 산출된 제1 머신러닝 인공지능 워크플로우 모델을 선별하여, 제1 머신러닝 인공지능 워크플로우 모델을 배포할 수 있다.
그리고 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 공정 과정에 적용시킨 이후에도, 공정 과정에 적용된 최적의 인공지능 워크플로우 모델을 운영하는 경우, 지속적으로 추가 이미지/분류 결과가 누적 반복 학습/검증되도록 하여, 인공지능 워크플로우 모델을 계속적으로 최적화시킬 수 있다.
도 10은 인공지능 워크플로우 모델의 최적 모형을 예시한 도면이다. 본 발명의 일 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 인공지능 워크플로우 모델이 설계되면, 설계된 인공지능 워크플로우 모델의 성능에 대하여 자동 평가를 수행할 수 있다.
구체적으로, 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 학습 및 분류의 결과 비교 자동화를 통하여, 포화점 이내의 구간에서 유효성 검사의 정확성이 가장 높은 최고 적합점 모델을 선별하는 방식으로, 인공지능 워크플로우 모델의 성능을 평가할 수 있다.
도 11은 인공지능 워크플로우 모델 간 최적 시뮬레이션을 평가하는 과정의 설명에 제공되는 도면이다. 본 발명의 일 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 도 11에 예시된 바와 같이 각각의 인공지능 워크플로우 모델을 이용하여, 공정 과정에서 획득된 이미지 데이터를 대상으로 시뮬레이션을 수행하고, 인공지능 워크플로우 모델별 각각의 시뮬레이션의 수행 결과를 비교하여, 최적의 인공지능 워크플로우 모델을 선택할 수 있다. 이때, 도 11에 예시된 바와 같은 결과가 산출된다면, 정확도가 가장 높은 B 모델이 선정되어, 배포될 것이다.
도 12는 인공지능 워크플로우 모델을 분류 성능 평가하는 과정의 설명에 제공되는 도면이다. 본 발명의 일 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 인공지능 워크플로우 모델의 분류 성능 평가 및 모니터링을 통해, 학습 데이터/모델을 관리할 수 있다.
구체적으로, 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 일자별, 유형별, 순도 및 정확성의 변동성을 분석하여, 개선이 필요한 핵심 개선 포인트를 제시할 수 있다.
도 13은 인공지능 워크플로우 모델별 시뮬레이션을 수행하는 과정 중 영역별 불량 여부를 판정하여, 등급을 판정하는 과정의 설명에 제공되는 도면이다. 본 발명의 일 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 이미지 데이터가 입력되면, 이미지 정규화 프로세스, 학습 프로세스 및 이미지 특징분석 프로세스를 순차적으로 수행하여, 관심영역을 계측하여 이미지 특징을 추출할 수 있다.
구체적으로, 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 공정 과정에서 품질보증, 검사, 계측을 위하여, 이미지 데이터가 입력되면, 이미지 데이터를 분석 단위 영역으로 분할하여, 영역별 불량 여부를 판정하고, 판정 결과에 따라 등급을 판정할 수 있다. 이때, 판정 결과에 따른 등급은, 기설정된 조건에 따라 형상의 유의미한 차이에 대한 등급이 판정될 수 있다.
그리고 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 판정 결과에 따라 등급이 판정되면, 불량 판정된 관심영역을 계측하여 이미지 특징을 추출할 수 있다.
도 14는 인공지능 워크플로우 모델별 시뮬레이션을 수행하는 과정 중 유사 이미지별 공통성을 분석하여, 혐의 인자를 추정하고, 설명 데이터를 생성하는 과정의 설명에 제공되는 도면이다.
본 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 불량 판정된 관심영역을 계측하여 추출된 이미지 특징의 크기, 면적 등에 대한 정보를 산출하여, 영상을 분류하고, 이미지 특징의 유사 이미지를 검색하여, 유사 이미지별 공통성을 분석할 수 있다.
그리고 유사 이미지별 공통성의 분석 결과에 따라, 도 15에 예시된 바와 같이 혐의 인자를 추정하고, 추정된 혐의 인자가 포함된 설명 데이터를 생성할 수 있다.
여기서, 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 이미지 특징의 유사 이미지를 기설정된 유사도 구간별로 검색하고, 검색된 유사 이미지를 제공할 수 있다.
이를 통해, 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 유사도가 가장 높은 구간에서 검색된 유사 이미지들을 이용하여 혐의 인자를 추정하되, 표본이 적어 혐의 인자의 추정이 어려운 경우, 가장 높은 구간보다 한 단계 낮은 구간에서 검색된 유사 이미지들을 이용하여 혐의 인자를 추정하는 방식으로, 유사 이미지별 공통성을 분석할 수 있다.
설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 폐수 내 미생물 인식 분류 분야, 표면 평탄도 불량 감지 및 분류 분야, 재료 에지(edge) 손상 인식 및 분류 분야, 전자 현미경 이미지를 인공지능 알고리즘을 이용한 탐지 분포 패턴의 인식 및 분류 분야 등 다양한 분야에서, 도 15에 예시된 바와 같이 혐의 인자를 추정하고 추정된 혐의 인자가 포함된 설명 데이터를 생성할 수 있다.
4. 시스템 구성
도 16은 본 발명의 다른 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템의 블록도이다. 본 발명의 일 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 도 16에 도시된 바와 같이 통신부(110), 프로세서(120) 및 저장부(130)를 포함한다.
통신부(110)는 공정 시설 관리 시스템이나 분산 관리 환경을 위한 복수의 서버와 통신 연결을 위한 수단으로서, 공정 과정에서 획득된 이미지 데이터를 수신하거나, 성능이 검증된 인공지능 워크플로우 모델을 배포하는데 이용될 수 있다.
프로세서(120)는 기저장된 알고리즘 중 주제 영역에 맞게 작성/편집된 워크플로우에 적합한 알고리즘이 선택되면, 인공지능 워크플로우 모델을 설계하고, 설계된 인공지능 워크플로우 모델에 대한 시뮬레이션을 등록하고, 정보가 입력되면, 분산 관리 환경을 이용하여, 입력된 정보를 대상으로 등록된 시뮬레이션을 동시에 수행할 수 있다.
또한, 프로세서(120)는 시뮬레이션별 수행 결과를 바탕으로 성능을 비교 평가하고 검증하여, 성능이 검증된 인공지능 워크플로우 모델을 배포할 수 있다.
저장부(130)는 프로세서(120)가 동작함에 필요한 프로그램 및 정보들이 저장되는 저장매체이다. 또한, 저장부(130)는 이미지 데이터, 알고리즘, 인공지능 워크플로우 모델, 시뮬레이션 등을 임의로 편집된 라이브러리 또는 프로세스별 라이브러리에 분류하여 저장할 수 있다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터 간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (12)

  1. 기저장된 알고리즘 중 주제 영역에 맞게 작성 및 편집된 워크플로우에 적합한 알고리즘이 선택되면, 인공지능 워크플로우 모델을 설계하는 단계; 및
    입력정보가 입력되면, 입력정보를 대상으로 인공지능 워크플로우 모델에 대한 시뮬레이션을 수행하는 단계;를 포함하는 설명 가능한 인공지능 모델링 및 시뮬레이션 방법.
  2. 청구항 1에 있어서,
    인공지능 워크플로우 모델은,
    워크플로우 및 워크플로우에 적합하도록 선택된 알고리즘이 시각화되어, 제공되는 것을 특징으로 하는 설명 가능한 인공지능 모델링 및 시뮬레이션 방법.
  3. 청구항 1에 있어서,
    알고리즘은,
    데이터 전처리 프로세스, 학습/분류 프로세스, 데이터 후처리 프로세스 및 반복 학습/분류 프로세스에 대하여, 프로세스별로 조립되도록, 프로세스별 라이브러리에 분류되어 저장되는 것을 특징으로 하는 설명 가능한 인공지능 모델링 및 시뮬레이션 방법.
  4. 청구항 3에 있어서,
    인공지능 워크플로우 모델은,
    이미지 데이터가 입력되면, 이미지 정규화 프로세스, 학습 프로세스 및 이미지 특징분석 프로세스를 순차적으로 수행하여, 관심영역을 계측하여 이미지 특징을 추출하고, 이미지 특징을 기반으로 설명 데이터를 생성하는 것을 특징으로 하는 설명 가능한 인공지능 모델링 및 시뮬레이션 방법.
  5. 청구항 1에 있어서,
    시뮬레이션을 수행하는 단계는,
    복수의 딥러닝 인공지능 워크플로우 모델 또는 머신러닝 인공지능 워크플로우 모델이 설계되면, 인공지능 워크플로우 모델별 시뮬레이션을 등록하는 단계; 및
    등록된 각각의 시뮬레이션을 수행하는 단계;를 포함하는 것을 특징으로 하는 설명 가능한 인공지능 모델링 및 시뮬레이션 방법.
  6. 청구항 5에 있어서,
    각각의 시뮬레이션이 수행되면, 각각의 시뮬레이션의 수행결과를 기반으로 각각의 인공지능 워크플로우 모델의 성능을 실시간 비교 평가하는 단계; 및
    실시간 비교 평가의 결과에 따라 최적의 인공지능 워크플로우 모델을 계속적으로 배포 또는 변경하는 단계; 를 더 포함하는 것을 특징으로 하는 설명 가능한 인공지능 모델링 및 시뮬레이션 방법.
  7. 청구항 6에 있어서,
    등록된 각각의 시뮬레이션을 수행하는 단계는,
    각각의 딥러닝 인공지능 워크플로우 모델 또는 머신러닝 인공지능 워크플로우 모델에 대한 데이터를 분산 관리하는 분산 관리 환경을 이용하여, 각각의 시뮬레이션을 동시에 동일한 조건에서 수행하는 것을 특징으로 하는 설명 가능한 인공지능 모델링 및 시뮬레이션 방법.
  8. 청구항 6에 있어서,
    입력정보는,
    공정 과정에서 획득된 이미지 데이터인 것을 특징으로 하는 설명 가능한 인공지능 모델링 및 시뮬레이션 방법.
  9. 청구항 6에 있어서,
    비교 평가하는 단계는,
    시뮬레이션이 수행된 복수의 딥러닝 인공지능 워크플로우 모델 중 가장 정확도가 높은 제1 딥러닝 인공지능 워크플로우 모델을 선별하고, 제1 딥러닝 인공지능 워크플로우 모델과 동일한 결과가 산출된 제1 머신러닝 인공지능 워크플로우 모델을 선별하며,
    배포 또는 변경하는 단계는,
    선별된 제1 머신러닝 인공지능 워크플로우 모델을 배포 또는 변경하는 것을 특징으로 하는 설명 가능한 인공지능 모델링 및 시뮬레이션 방법.
  10. 청구항 6에 있어서,
    등록된 각각의 시뮬레이션을 수행하는 단계는,
    이미지 데이터가 입력되면, 이미지 데이터를 분석 단위 영역으로 분할하여, 영역별 불량 여부를 판정하고, 판정 결과에 따라 등급을 판정하는 단계;
    불량 판정된 관심영역을 계측하여 이미지 특징을 추출하는 단계;
    이미지 특징의 유사 이미지를 검색하는 단계;
    유사 이미지별 공통성을 분석하여, 혐의 인자를 추정하는 단계; 및
    혐의 인자가 포함된 설명 데이터를 생성하는 단계;를 포함하는 것을 특징으로 하는 설명 가능한 인공지능 모델링 및 시뮬레이션 방법.
  11. 청구항 10에 있어서,
    불량 판정된 영역을 계측하여 이미지 특징을 추출하는 단계는,
    Find Defect, Validate Defect, GMM Classification, NCC Classification, Monitor Defect 및 Extract Feature 중 어느 하나의 알고리즘을 이용하는 것을 특징으로 하는 설명 가능한 인공지능 모델링 및 시뮬레이션 방법.
  12. 알고리즘을 저장하는 저장부; 및
    기저장된 알고리즘 중 주제 영역에 맞게 작성/편집된 워크플로우에 적합한 알고리즘이 선택되면, 인공지능 워크플로우 모델을 설계하고, 정보가 입력되면, 입력된 정보를 대상으로 인공지능 워크플로우 모델에 대한 시뮬레이션을 수행하는 프로세서;를 포함하는 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템.
PCT/KR2020/000022 2019-01-04 2020-01-02 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템 및 방법 WO2020141882A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/420,237 US12032469B2 (en) 2019-01-04 2020-01-02 Explainable artificial intelligence modeling and simulation system and method
EP20736068.6A EP3907618A4 (en) 2019-01-04 2020-01-02 EXPLAINABLE SYSTEM AND METHODS FOR MODELING AND SIMULATION WITH ARTIFICIAL INTELLIGENCE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190000998A KR102142205B1 (ko) 2019-01-04 2019-01-04 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템 및 방법
KR10-2019-0000998 2019-01-04

Publications (1)

Publication Number Publication Date
WO2020141882A1 true WO2020141882A1 (ko) 2020-07-09

Family

ID=71407378

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/000022 WO2020141882A1 (ko) 2019-01-04 2020-01-02 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템 및 방법

Country Status (4)

Country Link
US (1) US12032469B2 (ko)
EP (1) EP3907618A4 (ko)
KR (1) KR102142205B1 (ko)
WO (1) WO2020141882A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990561A (zh) * 2021-03-04 2021-06-18 广东工业大学 一种基于工作流模型的工业产业链协同决策方法
EP4379602A1 (de) * 2022-11-29 2024-06-05 Frequentis AG Verfahren für eine zertifizierung von periodisch adaptierten maschinenlernen-modellen

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102338304B1 (ko) * 2020-10-20 2021-12-13 주식회사 뉴로코어 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템
KR102284539B1 (ko) * 2020-11-30 2021-08-02 주식회사 애자일소다 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템과 이를 이용한 서비스 방법
KR102528505B1 (ko) * 2020-12-10 2023-05-08 주식회사 인터엑스 제조공정 데이터를 이용한 자가학습형 인공지능 플랫폼
KR102278284B1 (ko) * 2021-02-23 2021-07-16 주식회사 에이아이노미스 중첩 편집 블록을 이용한 딥러닝 모델 제작 장치 및 방법
KR102633843B1 (ko) * 2021-03-31 2024-02-07 한국과학기술연구원 인공지능 기반 실시간 음향 시뮬레이션 방법 및 시스템
KR20220152022A (ko) * 2021-05-07 2022-11-15 삼성전자주식회사 블록체인 네트워크에 포함된 노드에 대응하는 전자 장치와 이의 동작 방법
US11977367B2 (en) * 2021-05-12 2024-05-07 United Microelectronics Corp. Command script editing method, command script editor and graphic user interface
KR20230159913A (ko) 2022-05-16 2023-11-23 고려대학교 산학협력단 강화학습을 이용한 시뮬레이터 자동 운영 방법, 이를 수행하기 위한 장치 및 기록 매체
KR20240024575A (ko) * 2022-08-17 2024-02-26 쿠팡 주식회사 서비스와 관련된 인공 지능 모델을 관리하는 방법 및 장치
KR102524758B1 (ko) * 2022-09-26 2023-04-25 (주)시큐레이어 설명가능 인공지능(xai)에 기반하여 데이터 마스킹 정보를 제공하기 위한 방법 및 이를 이용한 서버
WO2024106751A1 (ko) * 2022-11-15 2024-05-23 주식회사 인비전랩 인공지능 모델 자동생성 방법
KR20240083235A (ko) * 2022-12-02 2024-06-12 주식회사 와이즈넛 데이터 기반의 머신러닝 모델 파이프라인을 자동으로 생성하기 위한 시스템
KR20240095615A (ko) 2022-12-16 2024-06-26 한국과학기술원 플러그 앤 플레이 방식 기반의 인공지능 모델에 대한 설명 제공 방법
CN116523068A (zh) * 2023-04-07 2023-08-01 迈塔沃斯(武汉)科技有限公司 一种用于ai算法训练的仿真***
KR102630391B1 (ko) * 2023-08-29 2024-01-30 (주)시큐레이어 설명가능 인공지능(xai)에 기반하여 이미지 데이터 마스킹 정보를 제공하기 위한 방법 및 이를 이용한 러닝 서버
KR102630394B1 (ko) * 2023-08-29 2024-01-30 (주)시큐레이어 설명가능 인공지능(xai)에 기반하여 테이블 데이터 분석 정보를 제공하기 위한 방법 및 이를 이용한 러닝 서버

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070094211A1 (en) * 2004-04-30 2007-04-26 Xerox Corporation Workflow auto generation from user constraints and hierarchical dependence graphs for workflows
US20090088875A1 (en) * 2007-09-27 2009-04-02 Rockwell Automation Technologies, Inc. Visualization of workflow in an industrial automation environment
US20100138368A1 (en) * 2008-12-03 2010-06-03 Schlumberger Technology Corporation Methods and systems for self-improving reasoning tools
KR101345068B1 (ko) * 2013-06-12 2013-12-26 성결대학교 산학협력단 워크플로우 모델링 및 시뮬레이션 시스템 및 방법
KR20180130925A (ko) * 2017-05-30 2018-12-10 국방과학연구소 머신 러닝을 위한 학습 이미지를 자동 생성하는 인공 지능 장치 및 그의 제어 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100621971B1 (ko) * 2004-03-04 2006-09-08 한국과학기술원 워크플로우 시스템에 기반한 워크플로우 모델 시뮬레이션장치 및 방법
US7502763B2 (en) * 2005-07-29 2009-03-10 The Florida International University Board Of Trustees Artificial neural network design and evaluation tool
JP4872702B2 (ja) * 2007-02-16 2012-02-08 日本電気株式会社 分散ワークフローシミュレーションシステム、方法、及び、プログラム
WO2008130906A1 (en) * 2007-04-17 2008-10-30 Mikos, Ltd. System and method for using three dimensional infrared imaging to provide psychological profiles of individuals
US20160358099A1 (en) * 2015-06-04 2016-12-08 The Boeing Company Advanced analytical infrastructure for machine learning
EP3416105A4 (en) * 2016-02-12 2019-02-20 Sony Corporation INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING DEVICE
KR102474168B1 (ko) * 2017-03-17 2022-12-06 포틀랜드 스테이트 유니버시티 적응형 컨볼루션 및 적응형 분리형 컨볼루션을 통한 프레임 인터폴레이션
KR101888637B1 (ko) * 2017-03-20 2018-08-14 한국생산기술연구원 제조 특화형 알고리즘 템플릿 기반 데이터 분석 방법 및 플랫폼 구조 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070094211A1 (en) * 2004-04-30 2007-04-26 Xerox Corporation Workflow auto generation from user constraints and hierarchical dependence graphs for workflows
US20090088875A1 (en) * 2007-09-27 2009-04-02 Rockwell Automation Technologies, Inc. Visualization of workflow in an industrial automation environment
US20100138368A1 (en) * 2008-12-03 2010-06-03 Schlumberger Technology Corporation Methods and systems for self-improving reasoning tools
KR101345068B1 (ko) * 2013-06-12 2013-12-26 성결대학교 산학협력단 워크플로우 모델링 및 시뮬레이션 시스템 및 방법
KR20180130925A (ko) * 2017-05-30 2018-12-10 국방과학연구소 머신 러닝을 위한 학습 이미지를 자동 생성하는 인공 지능 장치 및 그의 제어 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3907618A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990561A (zh) * 2021-03-04 2021-06-18 广东工业大学 一种基于工作流模型的工业产业链协同决策方法
CN112990561B (zh) * 2021-03-04 2023-01-20 广东工业大学 一种基于工作流模型的工业产业链协同决策方法
EP4379602A1 (de) * 2022-11-29 2024-06-05 Frequentis AG Verfahren für eine zertifizierung von periodisch adaptierten maschinenlernen-modellen

Also Published As

Publication number Publication date
KR102142205B1 (ko) 2020-08-06
US20220066905A1 (en) 2022-03-03
US12032469B2 (en) 2024-07-09
EP3907618A1 (en) 2021-11-10
EP3907618A4 (en) 2022-09-21
KR20200092447A (ko) 2020-08-04

Similar Documents

Publication Publication Date Title
WO2020141882A1 (ko) 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템 및 방법
WO2021184630A1 (zh) 基于知识图谱定位排污对象的方法及相关设备
CN103748670A (zh) 区域决定装置、观察装置或检查装置、区域决定方法以及使用了区域决定方法的观察方法或检查方法
JP5080526B2 (ja) データ解析のための方法および装置
WO2022114653A1 (ko) 데이터 경계 도출 시스템 및 방법
WO2020004749A1 (ko) 동영상 파일을 이용한 설비 학습 장치 및 방법
CN116986246A (zh) 一种用于对输煤皮带进行智能巡检***及巡检方法
CN114298558B (zh) 电力网络安全研判***及其研判方法
KR102174424B1 (ko) 서버 기반 부품 검사방법 및 그를 위한 시스템 및 장치
CN116453437B (zh) 显示屏模组的测试方法、装置、设备及存储介质
CN115552462A (zh) 显微镜中的图像分析方法
Constantinou et al. An automated approach for noise identification to assist software architecture recovery techniques
CN112732773B (zh) 一种继电保护缺陷数据的唯一性校核方法及***
WO2022255518A1 (ko) 딥러닝 신경망 모델을 이용한 검사대상 패널의 결함 판정장치
CN114155412A (zh) 深度学习模型迭代方法、装置、设备及存储介质
WO2021091050A1 (ko) 크라우드 소싱 기반 프로젝트의 특성에 따른 검수자 선별 방법
WO2019073615A1 (ja) 工事現場画像判定装置及び工事現場画像判定プログラム
Cerqueira et al. Systematic Literature Review on the Machine Learning Approach in Software Engineering
Lee et al. Advanced yield enhancement: computer-based spatial pattern analysis. Part 1
WO2014193057A1 (ko) 불량 샘플의 결함 맵을 이용한 문제 설비 판정 방법 및 그 장치
Han et al. 6‐3: Identifying the Detail Reason of Pixel Defect via Machine Learning Method
CN112968941B (zh) 一种基于边缘计算的数据采集和人机协同标注方法
Li et al. Knowledge discovery and anomaly identification for low correlation industry data
WO2024136568A1 (ko) 객체의 외관 검사 장치 및 객체의 외관 검사 방법
Panket et al. Information and Communications Technology Intelligence Risk Assessment for Digital Universities

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20736068

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020736068

Country of ref document: EP

Effective date: 20210804