KR102543064B1 - System for providing manufacturing environment monitoring service based on robotic process automation - Google Patents

Abstract

RPA 기반 제조환경 모니터링 서비스 제공 시스템이 제공되며, 제조환경 내 설비 및 공정으로부터 적어도 하나의 제조환경 데이터를 수집하는 적어도 하나의 모니터링 단말, 적어도 하나의 제조환경 데이터를 수집 및 분석한 결과로 설비 또는 공정의 정상상태 또는 이상상태를 출력하는 사용자 단말 및 RPA(Robotic Process Automation)를 이용하여 제조환경 내 설비 및 공정으로부터 수집된 적어도 하나의 제조환경 데이터를 적어도 하나의 모니터링 단말로부터 수집하는 수집부, 적어도 하나의 제조환경 데이터를 RPA가 분석하여 정상상태 또는 이상상태의 여부를 사용자 단말로 안내하도록 하는 상태분석부, 사용자 단말에서 정상상태 또는 이상상태를 시각화하여 출력되도록 하는 시각화부를 포함하는 모니터링 서비스 제공 서버를 포함한다.An RPA-based manufacturing environment monitoring service provision system is provided, and at least one monitoring terminal collects at least one manufacturing environment data from facilities and processes in the manufacturing environment, and at least one facility or process as a result of collecting and analyzing the manufacturing environment data At least one collection unit that collects at least one manufacturing environment data collected from facilities and processes in the manufacturing environment from at least one monitoring terminal using a user terminal outputting a normal state or an abnormal state of and RPA (Robotic Process Automation) A monitoring service providing server including a state analysis unit that analyzes the manufacturing environment data of the RPA and informs the user terminal of whether it is a normal state or an abnormal state, and a visualization unit that visualizes and outputs the normal state or abnormal state from the user terminal include

Description

ＲＰＡ 기반 제조환경 모니터링 서비스 제공 시스템{SYSTEM FOR PROVIDING MANUFACTURING ENVIRONMENT MONITORING SERVICE BASED ON ROBOTIC PROCESS AUTOMATION}RPA-based manufacturing environment monitoring service provision system {SYSTEM FOR PROVIDING MANUFACTURING ENVIRONMENT MONITORING SERVICE BASED ON ROBOTIC PROCESS AUTOMATION}

본 발명은 RPA 기반 제조환경 모니터링 서비스 제공 시스템에 관한 것으로, 제조환경을 모니터링하여 정상상태 및 이상상태를 알려주고, 이상징후를 탐지하거나 고정불량을 예측하는 AI 예지보전을 수행하며, 프로그램 코딩없이 RPA를 이용하여 인공지능 알고리즘을 생성, 변경 및 삭제할 수 있는 솔루션을 제공한다.The present invention relates to an RPA-based manufacturing environment monitoring service providing system, which monitors the manufacturing environment to inform normal and abnormal conditions, performs AI predictive maintenance that detects abnormalities or predicts fixed defects, and uses RPA without program coding. It provides a solution that can create, change, and delete artificial intelligence algorithms using

4차 산업혁명과 더불어 기업의 디지털 트랜스포메이션이 가속화됨에 따라 프로세스 자동화의 툴로써 RPA(Robotic Process Automation)에 대한 관심이 뜨겁다. RPA는 사람이 정보시스템을 이용해서 반복적으로 수행하는 규칙 기반의 단순업무를 소프트웨어 로봇을 통해 자동화하는 기술이다. 2010년대부터 국내외의 많은 기업이 RPA를 채택해 왔고, 견고한 개발 플랫폼의 보급이 RPA 확산을 촉진하고 있다. RPA 프로젝트는 프로세스 분석과 설계 단계에서 워크숍, 인터뷰, 관찰 등의 정성적인 방법을 통해 자동화 대상 업무 프로세스를 분석하고, 프로세스 정의서(Process Design Documents)에 작성한다. 또, RPA가 사람이 수행하는 단순반복적인 정형화된 업무를 대신 수행할 때, AI(Artificial Intelligence)와 OCR(Optical Character Recognition) 등 다양한 기술을 접목하여 적용범위와 효과를 더욱 높이고 있다. 소프트웨어로봇을 이용한 자동화 기술인 RPA나, RPA와 AI를 결합한 초자동화(Hyperautomation)가 단순반복적인 기업업무를 자동화할 것으로 예측되고 있다.As the digital transformation of companies accelerates along with the 4th industrial revolution, interest in RPA (Robotic Process Automation) as a tool for process automation is hot. RPA is a technology that automates simple, rule-based tasks that humans repeatedly perform using information systems through software robots. Since the 2010s, many companies at home and abroad have adopted RPA, and the spread of solid development platforms is promoting the spread of RPA. The RPA project analyzes the business processes to be automated through qualitative methods such as workshops, interviews, and observations in the process analysis and design stage, and writes them in Process Design Documents. In addition, when RPA performs simple, repetitive, standardized tasks performed by humans instead, it is further enhancing the scope and effect by combining various technologies such as AI (Artificial Intelligence) and OCR (Optical Character Recognition). RPA, an automation technology using software robots, and hyperautomation, a combination of RPA and AI, are expected to automate simple and repetitive business tasks.

이때, RPA의 수행 프로세스를 분석하거나 사용자의 프로세스를 머신러닝이 학습하여 RPA를 학습된 프로세스에 따라 구동시키는 방법이 연구 및 개발되었는데, 이와 관련하여, 선행기술인 한국공개특허 제2022-0007493호(2022년01월18일 공개) 및 한국공개특허 제2022-0115202호(2022년08월17일 공개)에는, 사용자 단말에서 RPA 애플리케이션의 코드를 분석하거나 규칙을 시각화한 결과를 출력하도록 하고, RPA 프로세스를 분석하여 디스플레이하며, 분석결과 RPA가 제어 및 규칙을 위반하는 경우, RPA의 제어 및 프로세스를 중단시키는 구성과, RPA에서 사용자 단말의 동작을 모니터링하고, RPA의 머신러닝을 이용하여 모니터링된 결과를 RPA에서 구현하도록 학습 및 검증을 수행하며, 학습된 결과에 따라 RPA의 동작을 진행시키는 구성이 각각 개시되어 있다.At this time, a method of analyzing the RPA performance process or learning the user's process by machine learning to drive the RPA according to the learned process has been researched and developed. Published on January 18, 2022) and Korean Patent Publication No. 2022-0115202 (published on August 17, 2022), the user terminal analyzes the code of the RPA application or outputs the result of visualizing the rules, and the RPA process Analyze and display, and if the RPA violates the control and rules as a result of the analysis, the configuration to stop the control and process of the RPA, and the operation of the user terminal in the RPA, and the monitored result using the machine learning of the RPA A configuration for performing learning and verification to be implemented in, and proceeding with the operation of the RPA according to the learned result is disclosed.

다만, 전자의 경우 RPA가 규칙 또는 정책에 위반되는 프로세스를 진행한 경우 중지를 시키는 구성만을 개시할 뿐이고, 후자의 경우에도 RPA 프로젝트를 통하여 프로세스 정의서를 작성하는 것이 아니라, 객체인식 자동기록 방법을 이용하는데 객체인식기록모듈은 실제 사용자 화면에서 출력되는 키보드 로그나 마우스 로그를 모두 인식할 수도 없거니와 인식을 위한 지연이 발생하여 사용자의 업무를 방해한다. 또, 정성적인 방법을 통해 프로세스 정의서를 작성했다고 할지라도 실제 업무수행에서 발생할 수 있는 다양한 예외와 오류 사항을 충실히 반영할 수 없으므로, 개발 단계에서 봇의 코드를 지속해서 수정해야 하고, 테스트 단계에서는 프로세스 정의서에 반영되지 않은 예외와 오류 처리에 많은 시간을 보내야 한다. 또, 유지보수 단계에서 발생한 예외와 오류는 업무 중단을 초래해서 RPA 사용에 대한 거부감을 가져올 수도 있다. 이에, RPA 기반으로 제조설비공장에 발생하는 설비고장을 미리 예측하여 알려주도록 AI 예지보전을 이용하고, 사용자가 RPA 전문가가 아니더라도 직관적으로 AI 플로우를 생성하고 AI를 학습, 검증 및 재학습시킬 수 있는 플랫폼의 연구 및 개발이 요구된다.However, in the former case, if RPA proceeds with a process that violates rules or policies, it only initiates a configuration that stops it. However, the object recognition recording module cannot recognize all of the keyboard log or mouse log output on the actual user screen, and a delay for recognition occurs, interfering with the user's work. In addition, even if the process definition is prepared through a qualitative method, it cannot faithfully reflect various exceptions and errors that may occur in actual work, so the bot code must be continuously modified in the development stage, and the process definition in the test stage You have to spend a lot of time dealing with exceptions and errors that are not reflected in the definition. In addition, exceptions and errors that occur during the maintenance phase can cause work disruption, which can lead to reluctance to use RPA. Therefore, AI predictive maintenance is used to predict and notify equipment failures that occur in manufacturing facilities based on RPA in advance, and even if users are not RPA experts, they can intuitively create AI flows and learn, verify, and relearn AI. Research and development of the platform is required.

본 발명의 일 실시예는, 제조환경 내 설비 및 공정으로부터 수집된 적어도 하나의 제조환경 데이터를 RPA(Robotic Process Automation)가 입력받아 정상상태 또는 이상상태의 여부를 사용자 단말로 안내하고, 인공지능 모델을 이용하여 설비 또는 공정으로부터 발생하는 이상징후나 불량을 예측함으로써 설비나 공정 상 고장을 미리 알려주는 인공지능 예지보전방법을 이용하며, 사용자가 직관적으로 인공지능 플로우를 구성할 수 있도록 각 단계를 시각화하여 사용자는 드래그 앤 드롭(Drag & Drop) 만으로도 인공지능 플로우를 생성, 수정, 변경 및 삭제할 수 있고, 인공지능 모델은 기 설정된 주기로 재학습됨으로써 비전공자도 노코딩방식으로 인공지능 모델을 개발, 유지 및 보수까지 할 수 있도록 하는, RPA 기반 제조환경 모니터링 서비스 제공 시스템을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.In one embodiment of the present invention, RPA (Robotic Process Automation) receives at least one manufacturing environment data collected from facilities and processes in the manufacturing environment, guides the user terminal whether it is in a normal state or abnormal state, and artificial intelligence model It uses an artificial intelligence predictive maintenance method that informs equipment or process failures in advance by predicting abnormal signs or defects occurring from equipment or processes using Therefore, users can create, modify, change, and delete artificial intelligence flows just by dragging and dropping, and artificial intelligence models are re-learned at a preset cycle, so that even non-majors can develop, maintain and delete artificial intelligence models without coding. It is possible to provide an RPA-based manufacturing environment monitoring service providing system that can even be repaired. However, the technical problem to be achieved by the present embodiment is not limited to the technical problem as described above, and other technical problems may exist.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 제조환경 내 설비 및 공정으로부터 적어도 하나의 제조환경 데이터를 수집하는 적어도 하나의 모니터링 단말, 적어도 하나의 제조환경 데이터를 수집 및 분석한 결과로 설비 또는 공정의 정상상태 또는 이상상태를 출력하는 사용자 단말 및 RPA(Robotic Process Automation)를 이용하여 제조환경 내 설비 및 공정으로부터 수집된 적어도 하나의 제조환경 데이터를 적어도 하나의 모니터링 단말로부터 수집하는 수집부, 적어도 하나의 제조환경 데이터를 RPA가 분석하여 정상상태 또는 이상상태의 여부를 사용자 단말로 안내하도록 하는 상태분석부, 사용자 단말에서 정상상태 또는 이상상태를 시각화하여 출력되도록 하는 시각화부를 포함하는 모니터링 서비스 제공 서버를 포함한다.As a technical means for achieving the above technical problem, an embodiment of the present invention, at least one monitoring terminal for collecting at least one manufacturing environment data from facilities and processes in the manufacturing environment, at least one collection of manufacturing environment data And at least one monitoring terminal for at least one manufacturing environment data collected from equipment and processes in the manufacturing environment using a user terminal and RPA (Robotic Process Automation) that outputs the normal or abnormal state of the equipment or process as a result of the analysis. A collection unit that collects at least one manufacturing environment data, a state analysis unit that analyzes at least one manufacturing environment data and informs the user terminal of whether it is a normal state or an abnormal state, and a visualization that visualizes and outputs the normal state or abnormal state from the user terminal and a monitoring service providing server including a unit.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 제조환경 내 설비 및 공정으로부터 수집된 적어도 하나의 제조환경 데이터를 RPA(Robotic Process Automation)가 입력받아 정상상태 또는 이상상태의 여부를 사용자 단말로 안내하고, 인공지능 모델을 이용하여 설비 또는 공정으로부터 발생하는 이상징후나 불량을 예측함으로써 설비나 공정 상 고장을 미리 알려주는 인공지능 예지보전방법을 이용하며, 사용자가 직관적으로 인공지능 플로우를 구성할 수 있도록 각 단계를 시각화하여 사용자는 드래그 앤 드롭(Drag & Drop) 만으로도 인공지능 플로우를 생성, 수정, 변경 및 삭제할 수 있고, 인공지능 모델은 기 설정된 주기로 재학습됨으로써 비전공자도 노코딩(No-Coding) 방식으로 인공지능 모델을 개발, 유지 및 보수까지 할 수 있도록 한다.According to any one of the above-described problem solving means of the present invention, RPA (Robotic Process Automation) receives at least one manufacturing environment data collected from facilities and processes in the manufacturing environment and determines whether it is in a normal state or an abnormal state to a user terminal It uses an artificial intelligence predictive maintenance method that notifies failures in facilities or processes in advance by predicting abnormal symptoms or defects occurring from facilities or processes using artificial intelligence models, and users can intuitively configure artificial intelligence flows. By visualizing each step so that users can create, modify, change, and delete artificial intelligence flows only by drag & drop, and artificial intelligence models are retrained at preset cycles, even non-majors can use no-coding (No-Coding). ) method to develop, maintain, and even repair artificial intelligence models.

도 1은 본 발명의 일 실시예에 따른 RPA 기반 제조환경 모니터링 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 모니터링 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 RPA 기반 제조환경 모니터링 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 RPA 기반 제조환경 모니터링 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.1 is a diagram for explaining an RPA-based manufacturing environment monitoring service providing system according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a monitoring service providing server included in the system of FIG. 1 .
3 and 4 are diagrams for explaining an embodiment in which an RPA-based manufacturing environment monitoring service is implemented according to an embodiment of the present invention.
5 is an operational flowchart for explaining a method for providing an RPA-based manufacturing environment monitoring service according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail so that those skilled in the art can easily practice the present invention with reference to the accompanying drawings. However, the present invention may be embodied in many different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Throughout the specification, when a part is said to be "connected" to another part, this includes not only the case where it is "directly connected" but also the case where it is "electrically connected" with another element interposed therebetween. . In addition, when a part "includes" a certain component, this means that it may further include other components, not excluding other components, unless otherwise stated, and one or more other characteristics. However, it should be understood that it does not preclude the possibility of existence or addition of numbers, steps, operations, components, parts, or combinations thereof.

명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다. As used throughout the specification, the terms "about", "substantially", etc., are used at or approximating that value when manufacturing and material tolerances inherent in the stated meaning are given, and do not convey an understanding of the present invention. Accurate or absolute figures are used to help prevent exploitation by unscrupulous infringers of the disclosed disclosure. The term "step of (doing)" or "step of" as used throughout the specification of the present invention does not mean "step for".

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체 지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.In this specification, a "unit" includes a unit realized by hardware, a unit realized by software, and a unit realized using both. Further, one unit may be realized using two or more hardware, and two or more units may be realized by one hardware. On the other hand, '~ unit' is not limited to software or hardware, and '~ unit' may be configured to be in an addressable storage medium or configured to reproduce one or more processors. Thus, as an example, '~unit' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables. Functions provided within components and '~units' may be combined into smaller numbers of components and '~units' or further separated into additional components and '~units'. In addition, components and '~units' may be implemented to play one or more CPUs in a device or a secure multimedia card.

본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다. In this specification, some of the operations or functions described as being performed by a terminal, device, or device may be performed instead by a server connected to the terminal, device, or device. Likewise, some of the operations or functions described as being performed by the server may also be performed by a terminal, apparatus, or device connected to the server.

본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.In this specification, some of the operations or functions described as mapping or matching with the terminal mean mapping or matching the terminal's unique number or personal identification information, which is the terminal's identifying data. can be interpreted as

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 RPA 기반 제조환경 모니터링 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, RPA 기반 제조환경 모니터링 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100), 모니터링 서비스 제공 서버(300), 적어도 하나의 모니터링 단말(400)을 포함할 수 있다. 다만, 이러한 도 1의 RPA 기반 제조환경 모니터링 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.1 is a diagram for explaining an RPA-based manufacturing environment monitoring service providing system according to an embodiment of the present invention. Referring to FIG. 1 , the RPA-based manufacturing environment monitoring service providing system 1 may include at least one user terminal 100, a monitoring service providing server 300, and at least one monitoring terminal 400. However, since the RPA-based manufacturing environment monitoring service providing system 1 of FIG. 1 is only an embodiment of the present invention, the present invention is not limitedly interpreted through FIG. 1 .

이때, 도 1의 각 구성요소들은 일반적으로 네트워크(Network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 모니터링 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 모니터링 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 적어도 하나의 모니터링 단말(400)과 연결될 수 있다. 또한, 적어도 하나의 모니터링 단말(400)은, 네트워크(200)를 통하여 모니터링 서비스 제공 서버(300)와 연결될 수 있다. At this time, each component of FIG. 1 is generally connected through a network (Network, 200). For example, as shown in FIG. 1 , at least one user terminal 100 may be connected to the monitoring service providing server 300 through the network 200 . In addition, the monitoring service providing server 300 may be connected to at least one user terminal 100 and at least one monitoring terminal 400 through the network 200 . In addition, at least one monitoring terminal 400 may be connected to the monitoring service providing server 300 through the network 200 .

여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.Here, the network refers to a connection structure capable of exchanging information between nodes such as a plurality of terminals and servers, and examples of such networks include a local area network (LAN) and a wide area network (WAN: Wide Area Network), the Internet (WWW: World Wide Web), wired and wireless data communications networks, telephone networks, and wired and wireless television communications networks. Examples of wireless data communication networks include 3G, 4G, 5G, 3rd Generation Partnership Project (3GPP), 5th Generation Partnership Project (5GPP), Long Term Evolution (LTE), World Interoperability for Microwave Access (WIMAX), Wi-Fi , Internet (Internet), LAN (Local Area Network), Wireless LAN (Wireless Local Area Network), WAN (Wide Area Network), PAN (Personal Area Network), RF (Radio Frequency), Bluetooth (Bluetooth) network, NFC ( A Near-Field Communication (Near-Field Communication) network, a satellite broadcasting network, an analog broadcasting network, a Digital Multimedia Broadcasting (DMB) network, etc. are included, but not limited thereto.

하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.In the following, the term at least one is defined as a term including singular and plural, and even if at least one term does not exist, each component may exist in singular or plural, and may mean singular or plural. It will be self-evident. In addition, the singular or plural number of each component may be changed according to embodiments.

적어도 하나의 사용자 단말(100)은, RPA 기반 제조환경 모니터링 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 제조환경 내 설비나 공정의 이상상태 또는 정상상태를 출력하는 단말일 수 있다. 또, 사용자 단말(100)은, RPA를 이용하여 코딩없이도 인공지능 알고리즘의 생성, 편집, 수정, 삭제 등을 수행하는 단말일 수 있다. 이를 위하여, 사용자 단말(100)은, RPA에서 진행하는 적어도 하나의 단계(Step)를 포함하는 플로우(Flow)를 생성, 수정 및 삭제하는 단말일 수 있다. 이때, 사용자 단말(100)은 적어도 하나의 실행코드에 대응하는 적어도 하나의 액티비티(Activity)를 제공받고, 적어도 하나의 액티비티를 드래그 앤 드롭 함으로써 플로우의 단계를 추가하거나, 변경하거나 삭제하는 방식으로 프로그램 코딩 없이도 플로우를 변경하거나 생성하는 단말일 수 있다.At least one user terminal 100 may be a terminal that outputs an abnormal state or a normal state of a facility or process in a manufacturing environment using a web page, app page, program, or application related to an RPA-based manufacturing environment monitoring service. In addition, the user terminal 100 may be a terminal that performs creation, editing, modification, deletion, etc. of an artificial intelligence algorithm without coding using RPA. To this end, the user terminal 100 may be a terminal that creates, modifies, and deletes a flow including at least one step performed in the RPA. At this time, the user terminal 100 is provided with at least one activity corresponding to at least one execution code, and drags and drops the at least one activity to add, change, or delete steps of the flow. It may be a terminal that changes or creates a flow without coding.

여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.Here, at least one user terminal 100 may be implemented as a computer capable of accessing a remote server or terminal through a network. Here, the computer may include, for example, a laptop, a desktop, a laptop, and the like equipped with a navigation system and a web browser. In this case, at least one user terminal 100 may be implemented as a terminal capable of accessing a remote server or terminal through a network. At least one user terminal 100 is, for example, a wireless communication device that ensures portability and mobility, navigation, PCS (Personal Communication System), GSM (Global System for Mobile communications), PDC (Personal Digital Cellular), PHS (Personal Handyphone System), PDA (Personal Digital Assistant), IMT (International Mobile Telecommunication)-2000, CDMA (Code Division Multiple Access)-2000, W-CDMA (W-Code Division Multiple Access), Wibro (Wireless Broadband Internet ) may include all types of handheld-based wireless communication devices such as terminals, smartphones, smart pads, tablet PCs, and the like.

모니터링 서비스 제공 서버(300)는, RPA 기반 제조환경 모니터링 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 모니터링 서비스 제공 서버(300)는, 공정 또는 설비로부터 수집된 제조환경 데이터를 RPA가 수집하도록 하고, RPA가 인공지능 알고리즘에 제조환경 데이터를 질의로 입력하고 그 결과를 사용자 단말(100)로 전송하도록 하는 서버일 수 있다. 또, 모니터링 서비스 제공 서버(300)는, 사용자 단말(100)의 사용자가 RPA를 개발한 개발자나 프로그래머가 아닐지라도 직관적인 GUI로 플로우 내 단계를 변경하거나 삭제하거나 추가하는 등의 업무를 수행할 수 있도록 하는 단말일 수 있다. 그리고, 모니터링 서비스 제공 서버(300)는, 인공지능 알고리즘에 입력되는 제조환경 데이터를 전처리 및 정제하는 과정을 RPA가 진행하도록 하는 서버일 수 있다. 이에 따라, 모니터링 서비스 제공 서버(300)는, 사용자 단말(100)에서 새롭게 인공지능 알고리즘을 구축하려고 하는 경우, 별도의 라벨러를 고용하거나 사용자가 일일이 수작업으로 전처리 및 라벨링을 하지 않아도 자동으로 데이터셋을 구축하고 인공지능 알고리즘이 사용자가 설정한 순서에 따라 작동하도록 학습 및 검증하는 방식으로 모델링을 진행하도록 설정하는 서버일 수 있다. 또, 모니터링 서비스 제공 서버(300)는, 인공지능 알고리즘으로 제조환경 데이터를 분석하여 이상징후를 탐지하거나 불량을 예측하도록 하는 AI예지보전을 수행하는 서버일 수 있다.The monitoring service providing server 300 may be a server providing an RPA-based manufacturing environment monitoring service web page, app page, program or application. In addition, the monitoring service providing server 300 allows the RPA to collect the manufacturing environment data collected from the process or facility, and the RPA inputs the manufacturing environment data to the artificial intelligence algorithm as a query and returns the result to the user terminal 100 It may be a server that allows transmission. In addition, the monitoring service providing server 300, even if the user of the user terminal 100 is not a developer or programmer who developed RPA, can perform tasks such as changing, deleting, or adding steps in a flow with an intuitive GUI It may be a terminal that allows In addition, the monitoring service providing server 300 may be a server that allows the RPA to proceed with the process of pre-processing and refining the manufacturing environment data input to the artificial intelligence algorithm. Accordingly, when trying to build a new artificial intelligence algorithm in the user terminal 100, the monitoring service providing server 300 automatically creates a dataset without hiring a separate labeler or manually preprocessing and labeling the user. It can be a server that builds and sets up modeling in such a way that artificial intelligence algorithms learn and verify to operate according to the sequence set by the user. In addition, the monitoring service providing server 300 may be a server that performs AI predictive maintenance to detect anomalies or predict defects by analyzing manufacturing environment data with an artificial intelligence algorithm.

여기서, 모니터링 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.Here, the monitoring service providing server 300 may be implemented as a computer capable of accessing a remote server or terminal through a network. Here, the computer may include, for example, a laptop, a desktop, a laptop, and the like equipped with a navigation system and a web browser.

적어도 하나의 모니터링 단말(400)은, RPA 기반 제조환경 모니터링 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 공정 및 설비에서 발생하는 각종 제조환경 데이터를 감지 및 모니터링하여 RPA가 요구하는 시각 또는 시점에 제조환경 데이터를 전송하는 단말일 수 있다. At least one monitoring terminal 400 detects and monitors various manufacturing environment data generated from processes and facilities using a web page, app page, program, or application related to the RPA-based manufacturing environment monitoring service, It may be a terminal that transmits manufacturing environment data at a point in time.

여기서, 적어도 하나의 모니터링 단말(400)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 모니터링 단말(400)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 모니터링 단말(400)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.Here, at least one monitoring terminal 400 may be implemented as a computer capable of accessing a remote server or terminal through a network. Here, the computer may include, for example, a laptop, a desktop, a laptop, and the like equipped with a navigation system and a web browser. In this case, at least one monitoring terminal 400 may be implemented as a terminal capable of accessing a remote server or terminal through a network. At least one monitoring terminal 400 is, for example, a wireless communication device that ensures portability and mobility, navigation, PCS (Personal Communication System), GSM (Global System for Mobile communications), PDC (Personal Digital Cellular), PHS (Personal Handyphone System), PDA (Personal Digital Assistant), IMT (International Mobile Telecommunication)-2000, CDMA (Code Division Multiple Access)-2000, W-CDMA (W-Code Division Multiple Access), Wibro (Wireless Broadband Internet ) may include all types of handheld-based wireless communication devices such as terminals, smartphones, smart pads, tablet PCs, and the like.

도 2는 도 1의 시스템에 포함된 모니터링 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3 및 도 4는 본 발명의 일 실시예에 따른 RPA 기반 제조환경 모니터링 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.2 is a block diagram illustrating a monitoring service providing server included in the system of FIG. 1, and FIGS. 3 and 4 show an embodiment in which an RPA-based manufacturing environment monitoring service is implemented according to an embodiment of the present invention. It is a drawing for explanation.

도 2를 참조하면, 모니터링 서비스 제공 서버(300)는, 수집부(310), 상태분석부(320), 시각화부(330), AI예지보전부(340), 재학습부(350), 노코딩부(360), AI수정부(370), 자동AI생성부(380), 분류부(390) 및 하이브리드부(391)를 포함할 수 있다.Referring to FIG. 2, the monitoring service providing server 300 includes a collection unit 310, a state analysis unit 320, a visualization unit 330, an AI predictive maintenance unit 340, a relearning unit 350, a furnace It may include a coding unit 360, an AI correction unit 370, an automatic AI generation unit 380, a classification unit 390, and a hybrid unit 391.

본 발명의 일 실시예에 따른 모니터링 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100) 및 적어도 하나의 모니터링 단말(400)로 RPA 기반 제조환경 모니터링 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100) 및 적어도 하나의 모니터링 단말(400)은, RPA 기반 제조환경 모니터링 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 단말(100) 및 적어도 하나의 모니터링 단말(400)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(Hyper Text Mark-up Language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(Chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(Application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(App)을 포함한다.The monitoring service providing server 300 according to an embodiment of the present invention or another server (not shown) operating in conjunction with at least one user terminal 100 and at least one monitoring terminal 400 monitors the RPA-based manufacturing environment In the case of transmitting a service application, program, app page, web page, etc., at least one user terminal 100 and at least one monitoring terminal 400, the RPA-based manufacturing environment monitoring service application, program, app page, web page etc. can be installed or opened. In addition, a service program may be driven in at least one user terminal 100 and at least one monitoring terminal 400 by using a script executed in a web browser. Here, the web browser is a program that allows users to use the web (WWW: World Wide Web) service, and means a program that receives and displays hypertext described in HTML (Hyper Text Mark-up Language). For example, Netscape , Explorer, Chrome, and the like. In addition, an application means an application on a terminal, and includes, for example, an app running on a mobile terminal (smart phone).

도 2를 참조하면, 수집부(310)는, RPA(Robotic Process Automation)를 이용하여, 제조환경 내 설비 및 공정으로부터 수집된 적어도 하나의 제조환경 데이터를, 적어도 하나의 모니터링 단말(400)로부터 수집할 수 있다. 제조환경 데이터는, 설비로부터 수집되는 진동, 전류, 비전, 온도 및 소음을 포함하는 설비 데이터와, 공정으로부터 수집되는 생산조건, 제품정보, 설비상태 및 제어조건을 포함하는 공정 데이터를 포함할 수 있으나 나열된 것들로 한정되지 않고 열거되지 않은 이유로 배제되지 않는다.Referring to FIG. 2 , the collection unit 310 collects, from at least one monitoring terminal 400, at least one manufacturing environment data collected from facilities and processes in the manufacturing environment using RPA (Robotic Process Automation). can do. Manufacturing environment data may include equipment data including vibration, current, vision, temperature, and noise collected from equipment, and process data including production conditions, product information, equipment status, and control conditions collected from processes. It is not limited to those listed and is not excluded for reasons not listed.

이때, 적어도 하나의 모니터링 단말(400)은, 제조환경 내 설비 및 공정으로부터 적어도 하나의 제조환경 데이터를 수집하는 장치나 단말일 수 있는데, 예를 들어, 온도나 습도를 측정하는 센서, 각 설비나 공정을 촬영하는 카메라, 각 장비나 설비의 데이터를 수집하도록 SoC(System on Chip)와 통합된 MEMS(Micro Electro Mechanical Systems), 적외선 이미지 센서, 가속도 센서, 압력 센서, 9축 모션 센서, 마이크로폰, 자기 센서, 근접 센서, 정전용량 센서, 경사각 센서, 초음파 센서, 포토 센서, 비전 센서, 안전 센서, 광학 센서일 수 있다. 이때, 광학 센서는, 빛 등을 쏜 다음, 돌아온 시간차, 각도차 등을 계산해 사물을 감지하는 액티브(Active) 센서나, 센서를 2개 이상 이용해 삼각법 등으로 사물을 감지하는 패시브(Passive) 센서를 포함할 수 있다.At this time, the at least one monitoring terminal 400 may be a device or terminal that collects at least one manufacturing environment data from facilities and processes in the manufacturing environment, for example, a sensor for measuring temperature or humidity, each facility or Cameras filming the process, MEMS (Micro Electro Mechanical Systems) integrated with SoC (System on Chip) to collect data of each equipment or facility, infrared image sensor, acceleration sensor, pressure sensor, 9-axis motion sensor, microphone, magnetic It may be a sensor, a proximity sensor, a capacitive sensor, an inclination sensor, an ultrasonic sensor, a photo sensor, a vision sensor, a safety sensor, or an optical sensor. At this time, the optical sensor is an active sensor that detects an object by calculating the time difference, angle difference, etc. returned after shooting light, or a passive sensor that detects an object by trigonometry using two or more sensors. can include

3D 이미지 센서로는 스테레오 카메라, ToF(Time of Flight) 카메라, 구조광 카메라를 사용할 수 있다. 스테레오 카메라는 2 대의 카메라로 3D 이미지를 생성하고, ToF 카메라는 쏜 빛이 돌아온 시간을 계산해 거리 데이터를 산출, 3D 이미지화한다. 구조광 카메라는 카메라와 프로젝터를 이용하는데, 카메라 영상과 프로젝터 영상에서 구조광 코드의 일치점을 탐색하고 그 점의 3차원 좌표를 획득한다. 이외에도 펄스 레이저를 목표물에 방출하고 빛이 돌아오기까지 걸리는 시간 및 강도를 측정해 거리, 방향, 속도, 온도, 물질 분포 및 농도 특성을 감지하는 라이다(LiDAR) 등을 더 포함할 수 있다. 다만, 나열된 것들로 한정되지 않고 열거되지 않은 이유로 배제되지 않는다.A stereo camera, a Time of Flight (ToF) camera, and a structured light camera can be used as the 3D image sensor. The stereo camera creates a 3D image with two cameras, and the ToF camera calculates the time it takes for the shot light to return, calculates the distance data, and converts it into a 3D image. The structured light camera uses a camera and a projector, and searches for a coincidence point of structured light codes in the camera image and the projector image, and obtains the 3D coordinates of the point. In addition, it may further include LiDAR, which detects distance, direction, speed, temperature, material distribution and concentration characteristics by emitting a pulse laser to a target and measuring the time and intensity it takes for the light to return. However, it is not limited to those listed and is not excluded for reasons not listed.

예를 들어, CNC(Computer Numerical Control) 설비를 모니터링하는 시스템이라면, CNC(Computer Numerical Control) 설비, 모니터링 단말(400), 데이터 수집 클라우드 서버, 사용자 프로그램 등으로 구성될 수 있다. CNC 설비에는 전력, 온도, 진동 센서를 설치하여 이 데이터를 수집할 수 있는 모니터링 단말(400)이 탑재되어 있다고 가정한다. 모니터링 단말(400)은 제품이 생산될 때마다 센서를 통해 감지한 매 초당 전력값, 온도, 진동감지 측정값을 WIFI를 통해 데이터 수집 클라우드 서버로 전달한다. RPA는, 수집 데이터 분석을 위해 모니터링 단말(400)로부터 수신되는 제조환경 데이터를 데이터베이스에 손실없이 수집해야 하므로, Node.js를 이용하여 디바이스 맥주소(Mac Address), 보드 채널(Board Channel), 센서 종류(Sensor Type), 데이터 값(Data Value), 데이터 타입(Data Type), 상태 코드(Status Code) 데이터를 POST 통신방식으로 1초 주기로 수신되는 여러 디바이스의 데이터를 받아 관련 원천 데이터인 NoSQL 데이터베이스 시스템에 저장할 수 있다.For example, if the system monitors CNC (Computer Numerical Control) facilities, it may be configured with CNC (Computer Numerical Control) facilities, the monitoring terminal 400, a data collection cloud server, a user program, and the like. It is assumed that a monitoring terminal 400 capable of collecting data by installing power, temperature, and vibration sensors is installed in the CNC equipment. The monitoring terminal 400 transmits the power value, temperature, and vibration detection measurement values per second detected through the sensor to the data collection cloud server through WIFI whenever a product is produced. Since the RPA must collect the manufacturing environment data received from the monitoring terminal 400 in the database without loss for analysis of the collected data, the device MAC address, board channel, sensor NoSQL database system, which is related source data, by receiving data from multiple devices that receive sensor type, data value, data type, and status code data in a 1-second period through POST communication method can be stored in

RPA는, 데이터 수집을 위한 데이터 수신 및 저장 기능은 원천 데이터(Raw Data)를 이용하여 디바이스 맥 주소, 디바이스 포트(채널) 번호, 센서 종류, 센서 측정값, 수신 날짜와 시간을 RDB에 저장하고, 분산 저장 및 확장이 용이하도록 1 분 단위로 각 디바이스의 센서별로 독립적인 RDB 테이블로 데이터를 지정하는 구조로 데이터베이스에 저장할 수 있다. 클라우드 서버는 수신한 데이터들을 확인하여 디바이스 이름, 연번, 일시, 측정값 등을 데이터베이스에 저장하고, 데이터베이스에 저장된 데이터는 실시간 모니터링 프로그램에 의해 선택된 데이터를 실시간 조회할 수 있게 JSON 형태의 데이터로 반환하여 대시보드 형태로 보여주며, 생산품에 따라 분석 결과로 설정된 설비의 과부하 값을 실시간으로 감지하여 사용자 단말(100)로 전달하여 설비운영이 정상적으로 유지될 수 있게 한다.RPA, data reception and storage function for data collection uses raw data to store device MAC address, device port (channel) number, sensor type, sensor measurement value, and reception date and time in RDB, To facilitate distributed storage and expansion, it can be stored in the database in a structure that specifies data as an independent RDB table for each sensor of each device in 1-minute increments. The cloud server checks the received data and stores the device name, serial number, date and time, measurement value, etc. in the database. It is displayed in the form of a dashboard, and the overload value of the facility set as an analysis result according to the product is detected in real time and transmitted to the user terminal 100 so that the facility operation can be maintained normally.

RPA는 동시에 많은 양의 데이터를 수집하는 데이터게더링(Gathering) 역할, 제조환경 데이터를 주기적으로 데이터게더링으로 가져와 가공 후 데이터베이스에 저장하는 데이터프로세싱의 역할, 어떠한 데이터를 수집하여 어떻게 나타낼 것인지를 데이터셀렉팅 역할을 수행할 수 있다. RPA plays the role of data gathering, which collects a large amount of data at the same time, the role of data processing, which periodically imports manufacturing environment data into data gathering, processes it, and stores it in a database. role can be fulfilled.

데이터게더링data gathering 데이터프로세싱data processing 데이터셀렉팅data selection 제조환경 데이터 수집저장Manufacturing environment data collection and storage 제조환경 데이터 가공분석Processing and analysis of manufacturing environment data 제조데이터 시각화Manufacturing data visualization

상태분석부(320)는, 적어도 하나의 제조환경 데이터를 RPA가 분석하여 정상상태 또는 이상상태의 여부를 사용자 단말(100)로 안내하도록 할 수 있다. 사용자 단말(100)은, 적어도 하나의 제조환경 데이터를 수집 및 분석한 결과로 설비 또는 공정의 정상상태 또는 이상상태를 출력할 수 있다. 예를 들어, 전류 데이터의 정상범위가 [X-Y]까지이고 오차범위가 10% 이내라면, 이 이상을 초과하는 전류 데이터는 이상범위의 전류 데이터로 판단할 수 있다. 초과만 했다고 해서 바로 이상상태를 안내하는 것은 아니고, 이상 전류가 각 설비나 공정에 영향을 미칠 수 있는 다른 조건과 결합하는 경우에 이상상태를 안내할 수 있다. 물론, 수치의 초과만으로도 바로 이상상태를 출력하는 것을 배제하는 것은 아님은 자명하다 할 것이다.시각화부(330)는, 사용자 단말(100)에서 정상상태 또는 이상상태를 시각화하여 출력되도록 할 수 있다. 각 데이터는 대시보드(DashBoard)에 인포그래픽의 형태로 시각화될 수 있다. 대시보드는 공장의 모든 설비를 표시하고 실시간 수집 데이터를 모니터링하기 위하여 PoP, SPC 등 데이터의 특성, 예를 들어, 센서 업데이트 주기, 처리 및 디스플레이가 되어야 하는 조건에 따라 분석된 데이터 값의 특성과 디스플레이되어야 하는 주기, 모니터 내 포지셔닝 위치 및 항상 디스플레이할 것인지 스팟(Spot)성으로 디스플레이할 것인지를 위한 데이터 분류 등 일종의 패턴을 구별해 내어 시각화를 할 수 있다. 또한, 정보의 중요도 및 우선순위에 따라 분류한 후, 업종 특성에 부합되는 다양한 템플릿을 구성할 수 있도록 한다. 설비 정보에서는 설비이름, 설비상태, 실시간 수집 데이터, 생산 정보, 감지 정보를 보여주고, 모든 설비 전체 실시간 전력값, 진동 감지 정보 등을 출력할 수 있다. 이때, 설비 아이디에는, 설비 타이틀, 설비 작성자, 작성 날짜, 센서 연동 키, 수정 날짜, 설비 상태, 설비 설명 등이 매핑되어 저장될 수 있다.The state analysis unit 320 may allow the RPA to analyze at least one piece of manufacturing environment data and inform the user terminal 100 whether or not the manufacturing environment is in a normal state or an abnormal state. The user terminal 100 may output a normal state or an abnormal state of a facility or process as a result of collecting and analyzing at least one piece of manufacturing environment data. For example, if the normal range of the current data is up to [X-Y] and the error range is within 10%, the current data exceeding this range can be determined as the current data in the abnormal range. Exceeding alone does not immediately inform an abnormal state, but an abnormal state can be announced when an abnormal current is combined with other conditions that may affect each facility or process. Of course, it is self-evident that an abnormal state is not immediately excluded even when the numerical value is exceeded. The visualization unit 330 may visualize and output a normal state or an abnormal state in the user terminal 100 . Each data can be visualized in the form of an infographic on the DashBoard. The dashboard displays all facilities of the plant and monitors the data collected in real time, such as PoP and SPC, etc., such as the sensor update cycle, the characteristics and display of data values analyzed according to the conditions to be processed and displayed. It is possible to visualize by distinguishing a kind of pattern, such as period to be performed, positioning position in the monitor, and data classification for always displaying or spot displaying. In addition, after classifying information according to importance and priority, it is possible to compose various templates that match the characteristics of the industry. Facility information shows facility name, facility status, real-time collection data, production information, and detection information, and can output real-time power values of all facilities and vibration detection information. At this time, the facility ID, facility title, facility creator, creation date, sensor interlocking key, modification date, facility state, facility description, etc. may be mapped and stored.

AI예지보전부(340)는, RPA에서 수집한 제조환경 데이터를 적어도 하나의 인공지능 알고리즘에 질의(Query)로 입력하고, 제조환경 데이터 내 설비 또는 공정의 이상징후탐지 또는 불량예측을 결과로 출력하여 사용자 단말(100)로 전송할 수 있다. 이때, 예지보전(Predictive Maintenance)이란, 인공지능 알고리즘 기반으로 공장설비, 장비 등 고장발생 가능성과 잔여수명을 예측하는 기술이다. 설비와 장비가 가동하면서 발생하는 진동과 전류 등을 데이터 기반으로 분석해 이상징후를 실시간으로 확인해 관리자에게 알려주는 것으로, 설비가 고장나기 앞서 조치를 취할 수 있어 다운타임(Down-Time) 발생으로 인한 공장가동률이 떨어지는 것에 대한 피해를 줄일 수 있다. 이때, 예지보전의 단계는 정형화되어 있는데 예를 들어 표 2와 같을 수 있다. 이를 위하여, 각 제조환경 데이터를 실시간 처리하여 모델링을 수행한 후, 인공지능 알고리즘을 이용하여 예측분석을 진행하고, 실시간 모니터링 후 수리 및 교체시기를 예측하여 진단 및 조치를 내리게 된다.The AI predictive maintenance unit 340 inputs the manufacturing environment data collected by the RPA as a query to at least one artificial intelligence algorithm, and detects anomalies in the equipment or process in the manufacturing environment data or outputs a defect prediction as a result and can be transmitted to the user terminal 100. At this time, Predictive Maintenance is a technology that predicts the possibility of failure and remaining lifespan of factory facilities and equipment based on artificial intelligence algorithms. Data-based analysis of vibrations and currents generated while equipment and facilities are operating is used to check abnormal signs in real time and notify the manager, so that measures can be taken before facilities fail, resulting in downtime Damage caused by a drop in utilization rate can be reduced. At this time, the step of predictive maintenance is standardized, and may be shown in Table 2, for example. To this end, after performing modeling by processing each manufacturing environment data in real time, predictive analysis is performed using artificial intelligence algorithms, and diagnosis and action are taken by predicting repair and replacement times after real-time monitoring.

단계step 내용detail 제1단계Step 1 데이터취득data acquisition -이상징후감지- Detection of abnormal signs 제2단계Step 2 진단Diagnosis -결함 여부, 결함의 원인 진단
-심각도 분류-Diagnosing whether there is a defect and the cause of the defect
- Severity Classification 제3단계Step 3 예지prognosis -향후 결함진행예지
-잔존유효수명예측-Prediction of future defects
-Prediction of remaining useful life 제4단계Step 4 제시 및 조치present and act -문제해결방안제시 및 조치- Suggestions and measures to solve problems 제5단계Step 5 사후 분석post hoc analysis -문제해결확인
-사후상태진단-Check problem solving
-Post condition diagnosis

예를 들어, 압력, 온도, pH 수준 등의 공정 데이터는 물리적 제조 프로세스의 보안 상태를 나타낸다. 제어 프로세스 데이터를 분석하는 것은 이러한 공정 데이터를 분석하여 이상징후를 탐지하는 것이다. 프로세스 데이터를 분석한 후 예측을 함으로써 이상징후를 탐지하거나, 제어 명령어 분석을 통하여 제어명령의 결과를 예측하는 등의 과정을 수행할 수도 있다. 재학습부(350)는, 수집된 제조환경 데이터와 사용자 단말(100)의 응답에 기반하여 학습 데이터셋을 생성하여 적어도 하나의 인공지능 모델을 기 설정된 주기로 자동으로 재학습시킬 수 있다. 예를 들어 일주일 주기로 월요일부터 금요일까지 쌓였던 제조환경 데이터를 이용하여 공장이 돌아가지 않는 시간, 예를 들어 토요일 및 일요일에 진행이 되도록 할 수 있다.For example, process data such as pressure, temperature, and pH level represent the security of the physical manufacturing process. Analyzing control process data is to detect anomalies by analyzing these process data. Processes such as detecting anomalies by making predictions after analyzing process data or predicting the results of control commands through analysis of control commands may be performed. The re-learning unit 350 may generate a learning dataset based on the collected manufacturing environment data and the response of the user terminal 100 to automatically re-learn at least one artificial intelligence model at a preset cycle. For example, by using the manufacturing environment data accumulated from Monday to Friday on a weekly cycle, it is possible to make it work during the non-running time of the factory, for example, Saturday and Sunday.

노코딩(No-Coding)부(360)는, RPA에서 진행하는 적어도 하나의 단계(Step)를 포함하는 플로우(Flow)를 생성, 수정 및 삭제하도록, 적어도 하나의 실행코드에 대응하는 적어도 하나의 액티비티(Activity)를 제공하고, 적어도 하나의 액티비티가 드래그 앤 드롭(Drag and Drop) 방식으로 플로우 내 단계에 삽입되는 경우 변경된 플로우에 따라 RPA가 구동되도록 할 수 있다. 예를 들어, 어묵을 대량생산하는 어묵제조업체의 직원인 A는 제조설비 중 어묵을 튀기는 튀김기 설비의 이상징후를 파악하고 싶다고 가정하자. 직원 A는 코딩 전문가가 아닌 일반인이라고 가정한다. 이때, 직원 A는 이상징후 파악을 위한 인공지능 알고리즘을 선택해야 하는데 이 과정부터 벌써 난관이다. 어떠한 인공지능 알고리즘을 선택해야 하고, 어떠한 데이터를 입력해야 하는지 모른다. 이때, RPA는 각 제조설비의 이상징후를 파악할 수 있는 인공지능 알고리즘 및 데이터셋의 종류를 미리 보유하고 사용자가 [튀김기] 및 [이상징후]라는 데이터만 입력해도, 입력되어야 할 데이터셋의 종류와 이를 학습 및 검증할 수 있는 인공지능 알고리즘을 선택해준다. 이와 같이 사용자는 [튀김기] 및 [이상징후]만을 입력하고 생성버튼을 누르면 사용자의 할 일은 끝이 나고, 인공지능 알고리즘을 위한 플로우가 도 3d와 같이 출력된다. The no-coding unit 360 generates, modifies, and deletes a flow including at least one step that proceeds in the RPA, and at least one corresponding to at least one execution code. An activity may be provided, and when at least one activity is inserted into a step in a flow using a drag and drop method, the RPA may be driven according to the changed flow. For example, let's assume that A, an employee of a fish cake manufacturer that mass-produces fish cake, wants to identify abnormal signs of fryer equipment that fry fish cake among manufacturing facilities. Assume that employee A is an ordinary person, not a coding expert. At this time, employee A has to select an artificial intelligence algorithm to identify anomalies, but this process is already difficult. You don't know which artificial intelligence algorithm to choose and what data to input. At this time, RPA holds artificial intelligence algorithms and dataset types that can identify anomalies in each manufacturing facility in advance, and even if the user enters only the data of [Fryer] and [Abnormal signs], the type of dataset to be input and It selects an artificial intelligence algorithm that can learn and verify it. In this way, if the user inputs only [Fryer] and [Abnormal symptom] and presses the Create button, the user's task is finished, and the flow for the artificial intelligence algorithm is output as shown in FIG. 3D.

이때, 튀김기 이상을 파악하기 위한 데이터셋의 종류는, 튀김기를 촬영하고 있는 카메라, 튀김기에서 출력되는 전류 및 튀김기의 진동인데, 사용자가 이를 모두 수집하지 않아도, 각 제조환경 데이터는 설비의 종류, ID, 감지된 데이터의 종류, 감지값 등이 모두 태깅되어 있는 라벨링된 상태이므로, 이 데이터를 데이터베이스로부터 수집하도록 한 후, 영상분석을 위한 인공지능 알고리즘(알고리즘 #1), 진동 데이터의 이상여부를 파악할 수 있는 인공지능 알고리즘(알고리즘 #2), 전류 데이터의 이상여부를 파악할 수 있는 인공지능 알고리즘(알고리즘 #3)을 로딩하고, 각 인공지능 알고리즘에 이에 맞는 데이터, 즉 알고리즘 #1에는 카메라로부터 수집된 영상 데이터, 알고리즘 #2에는 진동 데이터, 알고리즘 #3에는 전류 데이터를 각각 넣어주어 인공지능 알고리즘(알고리즘 #1, #2, #3)이 학습 및 검증을 수행하여 모델링이되도록 한다. 그리고, 학습 및 검증이 완료되면 사용자가 생성한 플로우, 즉 튀김기가 고장이 나는지 안나는지에 대한 정보를 사용자 단말(100)로 도 3g와 같이 출력해준다. 이렇게 생성된 인공지능 알고리즘은 지속적으로 사용자에게 어묵튀김기를 감시한 결과를 안내해주고 고장여부를 예측해준다. 사용자가 이 인공지능 알고리즘을 삭제할 때까지 계속 진행한다. 각 셀이 각 단계인데, 인공지능 알고리즘 자체를 없애고 싶다면 드래그 한 후 모든 셀을 삭제하면 되고, 한 단계만 삭제하고 싶다면 셀을 마우스로 선택한 후 DEL 버튼을 누르면 삭제된다. 단계를 추가하고 싶다면 액티비티 리스트에서 추가하면 된다. At this time, the type of data set to identify the fryer abnormality is the camera photographing the fryer, the current output from the fryer, and the vibration of the fryer. Even if the user does not collect all of them, each manufacturing environment data includes the type of facility, , Since the type of detected data and the detected value are all tagged, it is in a labeled state, so after collecting this data from the database, an artificial intelligence algorithm for image analysis (algorithm #1), to determine whether the vibration data is abnormal loading an artificial intelligence algorithm (algorithm #2) that can detect anomalies in current data and an artificial intelligence algorithm (algorithm #3) that can determine whether current data is abnormal, and data suitable for each artificial intelligence algorithm, that is, algorithm #1 Image data, vibration data in Algorithm #2, and current data in Algorithm #3 are input, respectively, so that the artificial intelligence algorithm (Algorithm #1, #2, #3) performs learning and verification to be modeled. Then, when the learning and verification are completed, the flow created by the user, that is, information about whether the fryer is out of order is output to the user terminal 100 as shown in FIG. 3G. The artificial intelligence algorithm created in this way continuously informs the user of the results of monitoring the fish cake fryer and predicts whether or not it will fail. It continues until the user deletes this artificial intelligence algorithm. Each cell is a step. If you want to get rid of the AI algorithm itself, you can delete all cells after dragging. If you want to delete only one step, select a cell with the mouse and press the DEL button to delete it. If you want to add a step, you can add it from the list of activities.

노코딩부(360)는, 적어도 하나의 단계의 순서가 변경되도록 적어도 하나의 단계에 대응하는 셀(Cell)을 선택 후 다른 단계 사이에 드롭(Drop)하는 경우, 변경된 순서에 따라 RPA가 작동하도록 실행코드의 순서를 변경할 수 있다. 예를 들어, [A→B→C→D→E]의 플로우가 있다고 가정하자. 플로우는 각 단계를 포함하여 이루어진다. 사용자가 B 단계를 B'로 바꾸고 싶다고 가정하면, B'에 대응하는 액티비티 리스트 내 액티비티를 선택하고, B 단계가 존재하는 셀(Cell)에 드래그 앤 드롭하면 사용자의 일은 끝이 난다. C 언어조차 모르는 사람이라도 [A→B→C→D→E]의 플로우를 [A→B'→C→D→E]의 플로우로 수정하는 유지보수작업을 완료할 수 있는 것이다. 이때, 액티비티 리스트는 도 3d의 좌측에 도시된 ②으로 표시된 영역을 의미한다. ②에는 텍스트 형식으로 기재되어 있지만 이에 대한 가이드나 설명 또는 그래픽화된 GUI를 함께 오버레이하여 직관적으로 어떠한 작업을 추가하고 싶은지를 선택하도록 할 수 있다. 또는 키워드 검색 형식으로 액티비티를 선택할 수도 있다. 그리고, 플로우는, 도 3d의 우측에 도시된 ③ 영역을 의미한다. 즉 도 3d의 좌측 ② 영역에 있는 리스트 내 액티비티를 우측 ③ 영역에 액티비티에 대응하는 셀 덮어쓰기(변경)하거나 액티비티에 대응하는 셀 끼워넣기(추가)를 함으로써 플로우 내 단계를 손 쉽게 변경할 수 있다. 이때 셀이란 도 3d의 ③ 영역에 각 액티비티가 기재된 박스를 의미한다. The no-coding unit 360 selects a cell corresponding to at least one step so that the order of at least one step is changed and then drops it between different steps, so that the RPA operates according to the changed order You can change the order of executable code. For example, suppose there is a flow of [A→B→C→D→E]. Flow consists of each step. Assuming that the user wants to change step B to B', select an activity in the activity list corresponding to B' and drag and drop it to the cell where step B exists, and the user's work is done. Even a person who does not even know the C language can complete the maintenance work of modifying the flow of [A→B→C→D→E] to the flow of [A→B'→C→D→E]. At this time, the activity list refers to the area indicated by ② shown on the left side of FIG. 3D. Although it is described in text format in ②, it is possible to intuitively select what kind of work to add by overlaying a guide or explanation or graphic GUI. Alternatively, you can select an activity in the form of a keyword search. And, the flow means the region ③ shown on the right side of FIG. 3D. That is, the steps in the flow can be easily changed by overwriting (changing) the activity in the list in the area ② on the left of FIG. 3D or inserting (adding) the cell corresponding to the activity in the area ③ on the right. At this time, the cell means a box in which each activity is written in the region ③ of FIG. 3D.

AI수정부(370)는, 사용자 단말(100)에서 RPA를 이용하여 인공지능 알고리즘의 순서를 변경, 추가 및 삭제 중 어느 하나를 하는 경우, 인공지능 알고리즘의 구동순서를 변경, 추가 및 삭제할 수 있다. 이때, 사용자는 전문가가 아니므로 이 변경, 추가 및 삭제가 가능한 것인지를 안내할 수 있다. 예를 들어, [데이터 입력-인공지능 구동-데이터 출력]의 플로우에서 [인공지능 구동] 단계를 삭제하려고 한다면 삭제하면 안된다고 안내해야 한다. 인공지능 알고리즘이 빠지면 입력 데이터를 처리할 장치가 없어지는 것과 같고, 구동이 되지 않기 때문이다. 예를 들어, [밀가루 투입-국수제조장치 구동-국수 출력]의 과정에서 국수제조장치를 돌리지 않으면 밀가루는 국수가 될 수 없는 것과 같다. 이러한 안내를 해줌으로써 사용자가 직관적으로 무엇을 삭제하려고 하는지에 대한 정보를 아이콘 또는 인포그래픽화하거나 텍스트로 안내해줄 수 있다.The AI modification unit 370 can change, add, and delete the driving order of artificial intelligence algorithms when the user terminal 100 uses RPA to change, add, or delete the order of artificial intelligence algorithms. . At this time, since the user is not an expert, it is possible to guide whether this change, addition, or deletion is possible. For example, if you want to delete the [AI drive] step in the flow of [Data input-AI drive-Data output], you should inform them not to delete it. This is because if the artificial intelligence algorithm is missing, it is like the device to process the input data is missing, and it does not work. For example, if the noodle maker is not turned in the process of [injecting flour - driving noodle maker - outputting noodles], flour cannot be made into noodles. By providing such guidance, information on what the user wants to delete intuitively can be presented as an icon, infographic, or text.

자동AI생성부(380)는, 사용자 단말(100)에서 RPA를 이용하여 적어도 하나의 실행코드에 대응하는 액티비티를 순서에 맞게 배열하는 경우, 적어도 하나의 인공지능 알고리즘이 액티비티에 따라 구동되도록, 생성된 플로우에 대응하는 적어도 하나의 제조환경 데이터를 데이터셋(DataSet)으로 구축하고, 구축된 데이터셋에 대하여 학습 및 검증을 거치는 모델링을 수행한 후 가장 정확도가 높은 인공지능 알고리즘을 선택하여 사용자가 생성한 플로우를 수행하는 인공지능 알고리즘으로 채택 및 세팅할 수 있다.The automatic AI generator 380, when arranging activities corresponding to at least one executable code in order using RPA in the user terminal 100, generates at least one artificial intelligence algorithm to be driven according to the activity At least one manufacturing environment data corresponding to the established flow is built into a dataset (DataSet), and after performing modeling that goes through learning and verification for the built dataset, the user selects the most accurate artificial intelligence algorithm and creates it. It can be adopted and set as an artificial intelligence algorithm that performs a flow.

상술한 어묵제조공장의 예를 계속 인용하면, 직원 A가 생각하기에 어묵튀김기의 고장이 진동 및 전류 뿐만 아니라 온도나 습도에도 영향을 받고 있는 것 같다면, [온도], [습도], [튀김기], [이상징후]라는 키워드를 넣으면 또 RPA는 온도 및 습도를 해석하여 이상징후를 예측할 수 있는 인공지능 알고리즘을 추출해준다. 물론 이를 위해서는 RPA가 어묵제조공장에 구축될 때, 정의서에 각 키워드에 대한 인공지능 알고리즘 및 데이터셋의 종류가 미리 정의, 세팅 및 구축되어 있어야 한다. 각 데이터의 종류마다 예를 들어, 정형 데이터인지, 반정형 데이터인지, 비정형 데이터인지에 따라 어떠한 인공지능 알고리즘을 적용해야 하는지는 알려져있고, 텍스트 데이터인지, 숫자 데이터인지, 영상 데이터인지, 또 데이터의 종류가 무엇인지에 따라 미리 인공지능 알고리즘이 지정되어 있는 경우, RPA는 열심히 인공지능 알고리즘이 똑똑해질 수 있도록 데이터셋을 공급해주고, 그 결과를 사용자에게 알려주며, 인공지능 알고리즘이 학습을 더 하여 정확도를 더 높여 더 똑똑해질 수 있도록 새로 수집된 데이터들을 인공지능 알고리즘으로 공급해줄 수 있다. Continuing the example of the fish cake manufacturing plant described above, if employee A thinks that the failure of the fish cake fryer is affected not only by vibration and current but also by temperature and humidity, [temperature], [humidity], [fryer ] and [anomaly], RPA extracts an artificial intelligence algorithm that can predict anomalies by interpreting temperature and humidity. Of course, for this, when RPA is built in a fish cake manufacturing plant, the artificial intelligence algorithm and data set type for each keyword must be defined, set, and built in advance in the definition. For each type of data, for example, it is known which artificial intelligence algorithm should be applied depending on whether it is structured data, semi-structured data, or unstructured data, and whether it is text data, numeric data, video data, or data If an artificial intelligence algorithm is specified in advance depending on the type, RPA works hard to supply a dataset so that the artificial intelligence algorithm can become smart, informs the user of the result, and the artificial intelligence algorithm learns more to improve accuracy. Newly collected data can be fed to artificial intelligence algorithms so that they can go higher and become smarter.

각 데이터, 예를 들어, 어묵튀김기를 촬영한 영상에 라벨을 부착하는 일이나, 온도 데이터 및 습도 데이터를 일일이 인공지능 알고리즘으로 넣어주는 과정은 인력 투입되어 단순반복적으로 해야 하는 업무이다. 이러한 과정을 RPA가 대신해주는 것이다. 도 3b와 같이 적색라인이 RPA가 하는 업무인데, 제조현장 데이터를 데이터베이스에 저장하고, 인공지능 알고리즘에 입력하여 인공지능 알고리즘이 일을 할 수 있도록 도와주며, 또 그 결과를 다시 데이터베이스에 저장하고, 그 결과를 사람인 사용자에게 알려주고, 대시보드에 데이터를 전달하여 결과를 시각화할 수 있도록 하는 업무를 RPA가 진행한다. 이에 따라, 온도 및 습도의 데이터도 RPA가 데이터베이스로부터 자동으로 가져와 라벨링을 해주거나 미리 라벨링된 상태라면 이를 그대로 가져와 쓴다. 인공지능 알고리즘이 학습 및 검증되도록 모델링되면 이후 입력되는 온도 및 습도를 이용하여 이상여부를 예측해주고, 그 결과, 즉 정말 고장이 나는지 안나는지에 대한 정보를 RPA가 수집한 후 정확도를 개선하기 위해 자동으로 재학습을 시킨다.The process of attaching a label to each data, for example, a video of a fish cake fryer, or inserting temperature data and humidity data into an artificial intelligence algorithm, is a simple, repetitive task that requires manpower. RPA takes care of this process. As shown in Figure 3b, the red line is the task that RPA does. It stores manufacturing site data in a database, inputs it to an artificial intelligence algorithm to help the artificial intelligence algorithm do its job, and stores the results again in the database, RPA is responsible for notifying the result to the human user and delivering the data to the dashboard so that the result can be visualized. Accordingly, the temperature and humidity data are also automatically imported from the database by RPA and labeled, or if they are previously labeled, they are imported and used as they are. After the artificial intelligence algorithm is modeled to be learned and verified, it predicts abnormalities using the input temperature and humidity, and as a result, RPA collects information on whether or not it really malfunctions, and then automatically re-learn

분류부(390)는, 제조환경 데이터 중 텍스트 데이터를 데이터베이스에 저장하고, 제조환경 데이터 중 이미지 또는 영상에 대응하는 영상 데이터를 기 설정된 폴더(Folder)에 저장할 수 있다. 텍스트 데이터도 숫자인지 일반 사람이 사용하는 텍스트인지에 따라 나뉘어질 수 있고, 전자의 경우 숫자를 처리하는 인공지능 알고리즘, 사람이 사용하는 텍스트의 경우 자연어처리(NLP) 및 자연어이해(NLU)를 통하여 이해할 수 있는 기계어로 바꿔주는 작업이 필요하기 때문에 이 둘을 나누어 저장할 수 있다. 이미지나 영상의 경우 비전 기반 딥러닝을 별도로 사용해야 하기 때문에 텍스트와는 별도로 나눠서 저장할 수 있다. 이에 따라, 하이브리드부(391)는, 텍스트 데이터를 처리하는 적어도 하나의 인공지능 알고리즘과 영상 데이터를 처리하는 적어도 하나의 인공지능 알고리즘을 각각 설정하여 하이브리드 인공지능으로 구축할 수 있다.The classification unit 390 may store text data among manufacturing environment data in a database, and store image data corresponding to an image or video among manufacturing environment data in a preset folder. Text data can also be classified according to whether it is numbers or text used by ordinary people. In the case of the former, artificial intelligence algorithms that process numbers, and in the case of texts used by humans, through natural language processing (NLP) and natural language understanding (NLU) Since converting into understandable machine language is required, these two can be stored separately. In the case of images or videos, vision-based deep learning must be used separately, so they can be stored separately from text. Accordingly, the hybrid unit 391 may establish hybrid artificial intelligence by setting at least one artificial intelligence algorithm for processing text data and at least one artificial intelligence algorithm for processing image data, respectively.

<RPA 정의서 자동생성><automatic generation of RPA definition>

본 발명의 일 실시예는 사용자가 자동으로 수행하는 업무를 그대로 따라하도록 RPA를 생성할 수 있다. 예를 들어, 사용자 A가 B 이벤트가 발생하면, [C-D-E] 과정을 거쳐 F를 출력하고 이 업무가 정형화된 업무라면, 사용자 A의 행동을 그대로 따라하여 [B 이벤트 발생-C-D-E 수행-F 출력]이라는 RPA 정의서를 생성할 수 있다. 이를 위해서는 사용자의 로그를 모두 팔로우업해야 하는데 사용자는 업무시간에 쇼핑을 하거나 직장동료와 채팅을 할 수도 있어서 이의 구분이 필요하며, 선행기술에 개시된 자동모듈을 이용하는 경우 모든 로그가 수집되지 않아 디테일을 모두 사람이 지정해줘야 하는 문제점이 발생하므로, 로그의 수집 및 구분이 필요하다.One embodiment of the present invention can create RPA to follow the tasks automatically performed by the user. For example, when user A occurs event B, it goes through [C-D-E] and outputs F. If this task is a standardized task, it follows user A’s action as it is [occurs event B-performs C-D-E-outputs F] RPA definition can be created. To do this, it is necessary to follow up all of the user's logs. The user may shop or chat with co-workers during business hours, so it is necessary to distinguish between them. In the case of using the automatic module disclosed in the prior art, all logs are not collected, so detailed Since problems occur that must be specified by a person, it is necessary to collect and classify logs.

사용자 단말(100)에 RPA 정의서 자동생성모듈이 설치되고, 사용자 단말(100)에서 발생시키는 키보드ㆍ마우스 이벤트 데이터와 해당 이벤트가 발생할 당시의 스크린캡쳐 이미지를 수집하는 작업은 ① 로그수집으로 정의한다. 로그수집은 스크린캡쳐 이미지들과 함께 어떤 키보드 버튼이 눌렸는지, 어떤 좌표를 클릭했는지 상세 로그를 수집한다. 그 다음 ② 데이터 가공 및 정제 작업을 수행하는데, 수집된 이미지 간 유사도를 측정하여 이미지를 그룹화하고, 그룹화 결과를 이벤트 데이터에 반영한다. 그 다음은 ③ 로그변환으로 가공된 데이터를 프로세스마이닝(Process Mining) 입력 데이터 형식인 이벤트 데이터로 가공하는 프로세스 이벤트 로그생성 작업을 수행한다. 이때, 프로세스 이벤트 로그생성 작업에서는 속성인 케이스, 액티비티, 타임스탬프를 생성하는 작업을 담당한다. ③ 작업의 결과물은 프로세스 마이닝 분석에 적합한 로그가 산출물로 생성되는 것이다. 이 결과물은 ProM, Disco 등 프로세스 마이닝 전문 분석 툴의 입력으로 사용될 수 있으며 결과적으로 RPA 프로젝트 생명주기의 제 1 단계 및 제 2 단계인 분석 및 설계 단계에서 정의서를 구현하는데 이용될 수 있다. 실제 사용자가 해당 업무를 수행할 때 발생시키는 모든 행동 로그를 수집하여 가시화하고 분석할 수 있는 형태의 프로세스 로그를 생성하기 때문에 일반적인 인터뷰, 관찰 등의 정성적인 방법 보다 더욱 자세하고 명확한 분석 및 설계가 가능하다.RPA definition automatic generation module is installed in the user terminal 100, and the task of collecting the keyboard/mouse event data generated by the user terminal 100 and the screen capture image at the time the corresponding event occurs is defined as ① log collection. Log collection collects detailed logs of which keyboard buttons were pressed and which coordinates were clicked along with screen capture images. Then, ② data processing and refinement are performed. The similarity between the collected images is measured, the images are grouped, and the grouping results are reflected in the event data. Next, create a process event log that processes data processed through log conversion into event data, which is an input data format for process mining. At this time, the process event log creation task is responsible for creating the properties of case, activity, and timestamp. ③ The result of the work is that a log suitable for process mining analysis is created as an output. This result can be used as an input for professional process mining analysis tools such as ProM and Disco, and as a result, it can be used to implement definitions in the analysis and design stages, which are the first and second stages of the RPA project life cycle. It collects all behavioral logs generated by actual users when performing their tasks, and creates a process log in a form that can be visualized and analyzed, enabling more detailed and clear analysis and design than qualitative methods such as general interviews and observations. do.

<비업무 로그 검출><Non-work log detection>

사용자 단말(100)에서 발생되는 모든 키보드, 마우스 이벤트와 업무 수행 화면 이미지를 수집하기 때문에, 수집된 로그에 업무 프로세스와 관련된 이벤트뿐만 아니라 업무와 관련 없는 비업무 이벤트 및 화면 로그도 포함되어 있을 가능성이 높다. 따라서 수집된 로그에서 실제 업무에 해당하지 않는 비업무 로그를 검출해야 하는데, 예를 들어, 비업무 로그는 인터넷 검색, 쇼핑, SNS 등 업무 프로세스에 해당하지 않는 작업들이 모두 포함될 수 있으며 RPA 대상 업무가 아닌 경우에도 비업무 로그로 분류될 수 있다. 이러한 비업무 로그는 수집된 로그의 품질 저하, 높은 업무 프로세스 변동성을 야기하기 때문에 식별하여 제거해야 한다. Since all keyboard and mouse events generated from the user terminal 100 and task performance screen images are collected, there is a high possibility that the collected logs include not only business process-related events but also non-business-related events and screen logs. . Therefore, it is necessary to detect non-business logs that do not correspond to actual business from the collected logs. For example, non-business logs can include all tasks that do not correspond to business processes, such as Internet search, shopping, and SNS, and are not subject to RPA. It can also be classified as a non-business log. These non-business logs should be identified and removed because they cause deterioration in the quality of collected logs and high business process variability.

이를 위해, 로고 인식을 이용할 수 있는데, 특정 로고가 이미지에 존재하는지를 확인하여 비업무 이미지를 검출한다. 또, 유사도 측정 방법으로 이미지 그룹화를 위한 유사도 측정 알고리즘을 이용할 수 있다. 유사한 이미지를 분류하기 위하여 평균 해시(Average Hash) 함수를 이용함으로써 이미지를 해시값으로 변환할 수 있다. 이미지를 축소한 후 색을 그레이스케일(Grayscale)로 변환한 후, 각 픽셀의 평균을 계산하고, 픽셀의 밝기가 평균보다 크면 1, 그렇지 않으면 0으로 입력하여 배열로 출력한다. 그리고, 정규화 거리(Normalized Distance) 알고리즘을 이용하여 비교가능한 형식으로 변환된 이미지 사이의 유사도를 측정할 수 있다. 두 이미지의 정규화 거리가 기 설정된 거리 이하이면 동일한 업무로 분류한다. 비업무 로고가 업무 이미지에 포함되어 있는지 판별하는 템플릿 매칭 알고리즘을 이용할 수도 있다. 이 템플릿 매칭 알고리즘은 상관계수를 이용한다. To this end, logo recognition can be used, which detects non-business images by checking whether a particular logo is present in the image. In addition, a similarity measurement algorithm for image grouping may be used as a similarity measurement method. In order to classify similar images, an image may be converted into a hash value by using an average hash function. After reducing the image and converting the color to grayscale, the average of each pixel is calculated, and if the brightness of the pixel is greater than the average, input 1, otherwise output as an array. In addition, similarity between images converted into comparable formats may be measured using a normalized distance algorithm. If the normalized distance between the two images is equal to or less than a predetermined distance, they are classified as the same task. A template matching algorithm can also be used to determine whether a non-business logo is included in a business image. This template matching algorithm uses a correlation coefficient.

<프로세스 이벤트 로그 생성><Create process event log>

우선 케이스를 분리해야 하는데, 케이스를 나누지 않은 업무 프로세스 로그는 개별 프로세스 인스턴스가 분리되지 않아 연속적으로 수행된 의미없는 업무 프로세스 맵을 얻게 된다. 이때 시작화면을 기준으로 케이스를 분리해야 하는데, 업무시작에 해당하는 화면이 기록되면 기존 업무의 수행이 종료되고 새로운 업무가 시작되었다고 판단하는 것이다. 케이스 분리 기능은 매우 간단한 반복문으로 구현될 수 있다. 업무수행 이미지 파일을 불러와 업무시작화면으로 주어진 이미지와 기 저장된 업무시작화면 간 유사도를 측정하고, 만약 유사도가 기준값을 만족하지 못하는 경우 새로운 케이스로 설정하고 기준값을 만족하면 이를 기존 케이스에 포함시킨다. 이러한 반복문을 수행하면 개별 업무가 분리된 로그 데이터를 얻을 수 있다. 케이스 분리 기능을 통해 가공된 데이터는 실제 업무수행이 정확히 반영되어 프로세스 마이닝 분석이 가능하다. 프로세스 마이닝 분석을 위한 툴은 공지기술의 툴을 이용할 수 있으므로 이하의 간단한 기본개념만 소개하고 상세한 설명은 생략한다.First of all, cases need to be separated. In the business process log that does not divide cases, a meaningless business process map that is continuously performed is obtained because individual process instances are not separated. At this time, it is necessary to separate cases based on the start screen. When the screen corresponding to the start of work is recorded, it is determined that the previous work has ended and a new work has started. The case separation function can be implemented with a very simple loop. The task performance image file is called and the similarity between the image given as the task start screen and the pre-stored task start screen is measured, and if the similarity does not satisfy the standard value, a new case is set and if the standard value is satisfied, it is included in the existing case. By executing these loop statements, log data separated by individual tasks can be obtained. Data processed through the case separation function accurately reflects actual work performance, enabling process mining analysis. Since tools for process mining analysis can use tools of known technologies, only the following simple basic concepts are introduced and detailed descriptions will be omitted.

<프로세스 마이닝><Process Mining>

프로세스 마이닝을 지원하는 상용툴이 다수 개발되었는데, 프로세스 마이닝은 이처럼 다양한 정보시스템에 기록된 이벤트 데이터를 이용하여 사실에 근거한 통찰력을 제공하고 프로세스 개선을 지원하는 종합적 도구의 집합을 제공하는 것이다. 프로세스 마이닝은 분석 대상 프로세스와 분석 관점, 이벤트 로그와 프로세스 모델이 서로 어떻게 관련되어있는가에 따라 크게 3가지 유형으로 구분된다. 첫째, 프로세스 발견(Process Discovery)은 이벤트 데이터를 입력데이터로 이용하여 프로세스 모델을 자동으로 발견한다. 이때, 미리 정의된 프로세스 모델이 필요가 없다. 둘째, 순응도 검사(Conformance Checking)는 기 정의된 프로세스 모델과 실제 수행된 프로세스를 비교, 분석하는 것이다. 셋째, 확장(Enhancement)은 프로세스 마이닝을 통해 발견된 프로세스 모델, 혹은 기존 프로세스 모델을 다양한 관점에서 확장하는 것이다. A number of commercial tools have been developed to support process mining. Process mining provides a set of comprehensive tools that provide fact-based insights and support process improvement using event data recorded in such various information systems. Process mining is largely classified into three types depending on the process to be analyzed, the viewpoint of analysis, and how the event log and process model are related to each other. First, process discovery uses event data as input data to automatically discover process models. At this time, there is no need for a predefined process model. Second, conformance checking is to compare and analyze the predefined process model and the actually performed process. Third, enhancement is to extend the process model discovered through process mining or the existing process model from various perspectives.

본 발명의 일 실시예는 프로세스 마이닝 분석을 위한 이벤트 데이터를 수집하는데, 이벤트 데이터는 식별자 속성, 클래스 속성, 타임스탬프 속성, 수치형 속성, 기타 속성으로 구성된다. 식별자 속성은 고객명, 구매 오더 번호, 기계 번호 등의 특정 개체를 의미한다. 클래스 속성은 액티비티 이름, 상태 코드 등의 행위에 해당한다. 타임스탬프 속성은 해당 클래스가 수행된 시간을 나타내며 수치형 속성은 일종의 측정값을 의미한다. 예를 들어, 구매오더 번호가 발행되었을 때 구매 수량이라는 속성이 수치형 속성에 해당될 수 있다. 추가 속성은 위 범주에 포함되지 않는 자료이며 목록, 테이블 등의 구조를 가질 수 있다. 이렇게, 최종 산출물인 프로세스 마이닝 이벤트 데이터는 프로세스 마이닝 전문툴(공지기술)을 이용하여 RPA 로봇 개발 프로젝트의 분석과 설계 단계에서 가장 큰 어려움인 업무 프로세스 가시화를 지원할 수 있다. 또한, 업무 담당자의 모든 이벤트를 기록한 데이터이기 때문에 숨겨진 다양한 업무 패턴을 발견하여 RPA 개발에 이용할 수 있다. 그리고, RPA 로봇의 이벤트 로그를 수집하여 평가 및 고도화를 위한 통찰력 발견 등에 이용할 수도 있다.An embodiment of the present invention collects event data for process mining analysis, and the event data is composed of an identifier attribute, a class attribute, a timestamp attribute, a numeric attribute, and other attributes. Identifier properties refer to specific entities such as customer name, purchase order number, and machine number. Class attributes correspond to behaviors such as activity names and status codes. The timestamp attribute represents the time the class was executed, and the numeric attribute represents a kind of measurement value. For example, when a purchase order number is issued, an attribute called purchase quantity may correspond to a numerical attribute. Additional properties are data not included in the above categories and can have a structure such as a list or a table. In this way, the process mining event data, which is the final product, can support work process visualization, which is the biggest difficulty in the analysis and design stages of the RPA robot development project, by using process mining specialized tools (known technologies). In addition, since it is data that records all events of the person in charge, it can be used for RPA development by discovering various hidden work patterns. In addition, event logs of RPA robots can be collected and used to discover insights for evaluation and advancement.

이하, 상술한 도 2의 모니터링 서비스 제공 서버의 구성에 따른 동작 과정을 도 3 및 도 4를 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.Hereinafter, an operation process according to the configuration of the above-described monitoring service providing server of FIG. 2 will be described in detail with reference to FIGS. 3 and 4 as examples. However, it will be apparent that the embodiment is only any one of various embodiments of the present invention, and is not limited thereto.

출원인의 기업(디엑스솔루션즈)은 RPA 분야에 특화한 업체로, 재무·회계·구매·고객관리 등은 한 번 정리하는 데 수 시간이 필요하고, 숙련도가 올라도 업무 시간 단축에는 한계가 있는데, RPA는 이러한 업무들을 자동화해준다. 출원인은 직접 RPA 기술을 시연하기도 했는데, 키보드에 손도 대지 않았지만 국세청 홈택스에 접속해 매출·매입 전표를 내려받아 엑셀 파일로 만드는 일, 이를 보고 양식에 맞게 상계전표로 정제하는 일, 특정 회계프로그램에 입력하는 일이 5 분도 안 돼 끝난다. 좌표를 기반으로 하는 매크로 프로그램과 달리, 외부 환경 변화와 관계없이 작업 수행이 가능하고, 정형화된 사무라면 이 외에도 어느 곳이든 적용할 수 있다. 이러한 RPA를 도 3a와 같이 제조환경 데이터를 수집하고, 인공지능 알고리즘에 질의로 입력해주며, 각 단계에 필요한 데이터를 자동으로 수집, 입력, 출력 및 시각화해줄 수 있고, 도 3b와 같이 RPA가 하는 역할(적색라인)을 정의해줄 수 있다. 도 3c와 같이 한국 내 RPA를 개발하는 업체가 없어 한국 내 외산업체의 한국특허잠식 및 대부분 외국산인 Ui-Path를 이용하는 환경에서, 본 발명의 출원인은 Ui-Path의 기능을 대부분 구현하면서도, 유지보수가 난관이어서 RPA를 이용하는 업체들도 5 년 내 80%가 이탈하고 20% 만 RPA를 유지할 정도로 사용성이 낮은 문제를 본 발명의 일 실시예에 따른 액티비티를 이용하여 C 언어를 모르는 일반인이라도 유지보수를 수행할 수 있도록 구현했다.The applicant's company (DNS Solutions) is a company that specializes in the field of RPA. It takes several hours to organize finance, accounting, purchasing, and customer management once, and there is a limit to reducing work hours even if the proficiency level increases. RPA automates these tasks. The applicant also demonstrated RPA technology directly, without touching the keyboard, but accessing the National Tax Service Hometax, downloading sales and purchase slips and making them into excel files, viewing them and refining them into offset slips according to the form, and inputting them into a specific accounting program The job is done in less than 5 minutes. Unlike macro programs based on coordinates, work can be performed regardless of changes in the external environment, and it can be applied anywhere other than standard office work. These RPAs can collect manufacturing environment data as shown in FIG. 3a, input queries to artificial intelligence algorithms, and automatically collect, input, output, and visualize data necessary for each step, and as shown in FIG. 3b, RPAs do You can define roles (red line). As shown in FIG. 3c, in an environment where there is no company developing RPA in Korea, domestic and foreign companies encroach on Korean patents and most of the foreign companies use Ui-Path, the applicant of the present invention implements most of the functions of Ui-Path, while maintaining 80% of companies using RPA leave within 5 years and only 20% maintain RPA because of the difficulty, so even ordinary people who do not know the C language can perform maintenance by using the activity according to an embodiment of the present invention. implemented to make it work.

본 발명의 솔루션(NeoRPA)의 실행화면은 도 3d와 같이 ①과 같이 기본메뉴(개발-새로만들기, 열기, 저장, 실행, 디버그, 정지, 레코드)를 제공하고, ②와 같이 액티비티 메뉴를 제공하는데, GUI화된 프로그램 코드의 모음으로, 300 개 이상이 개발완료되었고, 이러한 액티비티를 ③에 삽입하면 끝이 나기 때문에, 노코딩방식의 프로그래밍이 가능해지고, 이후 사용자가 원하는대로 수정, 변형, 변경, 편집 및 삭제하거나 생성할 수도 있어서 유지율 및 이용률이 매우 높아질 수 있다. 도 3e와 같이 AI 모델을 실행하는 메인화면에서, 각 진동 데이터를 RPA가 자동으로 수집하고, 비전 데이터도 자동으로 수집하며 실행 코드가 자동으로 완료되어 시각화까지 RPA가 모두 진행한다. 그 결과는 도 3g와 같이 출력될 수 있다. The execution screen of the solution (NeoRPA) of the present invention provides a basic menu (development-new, open, save, run, debug, stop, record) as shown in ① as shown in FIG. 3D, and provides an activity menu as shown in ②. , A collection of GUI-styled program codes, more than 300 of which have been developed, and since inserting these activities into ③ is the end, no-coding programming is possible, and then modify, transform, change, and edit as desired by the user. And it can be deleted or created, so the maintenance rate and utilization rate can be very high. In the main screen for running the AI model as shown in FIG. 3e, RPA automatically collects each vibration data, vision data is automatically collected, and the execution code is automatically completed, so RPA proceeds all the way to visualization. The result may be output as shown in FIG. 3G.

<RPA 실행화면><RPA Execution Screen>

도 4a 내지 도 4g는 RPA가 자동으로 데이터를 수집, 편집, 입력하는 과정을 반디캠(BANDICAM)으로 화면녹화한 것을 캡쳐한 도면이다. 이때 각 과정을 모두 캡쳐하지 못했기 때문에 RPA의 단계가 캡쳐된 단계에만 머무르는 것은 아님을 분명히 한다. 이때, 도 4a를 보면 인공지능 알고리즘의 각 단계가 존재하는데, 도 4b의 한 단계를 실행하기 위하여 사용자 단말(100) 내 폴더가 지정되어 있는지, 그 폴더 내 파일이 존재하는지 등을 확인해야 한다. 이때, RPA는 도 4c와 같은 작업이 필요함을 안내하고 사용자가 아닌 RPA가 웹 페이지에 자동접속하여, 웹 페이지 내 폴더와 파일을 생성하기 위한 메뉴를 찾고, 그 메뉴 내에서 필터나 식별자를 지정하여 검색한 후, RPA가 도 4d와 같이 파일을 사용자 단말(100) 내 폴더를 생성하여 다운로드받을 때, 도 4e와 같이 파일 내 필요한 정보가 모두 포함되어 있는지, 이 포맷은 제대로 지정이 되었는지 확인 및 수정하고, 다운로드를 받는다. 이제 다시 도 4a의 화면으로 돌아와서, 각 단계에 필요한 데이터가 입력되도록 도 4f 및 도 4g와 같이 기 지정된 폴더(RPA가 자동으로 지정하고 생성한 폴더)로부터 2 개의 파일을 차례로 로딩(Loading)한다. 이러한 데이터 수집, 저장 및 로딩과정은 사람이 수행하게 되면 단순반복적인 업무로 업무의 피로는 증가하지만 효율은 향상되지 않는 과정이다. 이러한 과정을 사람이 신경쓰지 않아도 RPA가 자동으로 로딩하고 파일을 지정하고 업로드해주기 때문에 단순반복업무는 RPA가 하고 그 외 중요업무는 사람이 하는 업무배분이 가능해진다.4a to 4g are diagrams capturing screen recordings of the process of automatically collecting, editing, and inputting data by RPA using BANDICAM. At this time, since each process could not be captured, it is clear that the steps of RPA do not stay only at the captured steps. At this time, referring to FIG. 4A, each step of the artificial intelligence algorithm exists. In order to execute one step of FIG. 4B, it is necessary to check whether a folder in the user terminal 100 is designated and whether a file exists in the folder. At this time, the RPA informs that the operation as shown in FIG. 4c is necessary, and the RPA, not the user, automatically accesses the web page, finds a menu for creating folders and files in the web page, and designates a filter or identifier in the menu to After searching, when the RPA creates and downloads a file in a folder in the user terminal 100 as shown in FIG. 4d, checks and corrects whether all necessary information in the file is included and whether the format is properly specified as shown in FIG. 4e and download it. Now, returning to the screen of FIG. 4A, two files are sequentially loaded from a pre-designated folder (a folder automatically designated and created by RPA) as shown in FIGS. 4F and 4G so that necessary data for each step is input. These data collection, storage, and loading processes are simple and repetitive tasks that increase work fatigue when performed by humans, but do not improve efficiency. Even if people do not care about this process, RPA automatically loads, designates and uploads files, so it is possible to distribute tasks that simple repetitive tasks are done by RPA and other important tasks are done by people.

<RPA & AI 액티비티 실행화면><RPA & AI activity execution screen>

도 4h 내지 도 4g는 RPA가 FRB 라인의 모니터링 알고리즘을 만들고 세팅하는 과정이다. FRB 라인을 모니터링하기 위해서는 진동 및 비전이 필요하다는 것이 미리 세팅되어 있어서 도 4h와 같이 [진동 데이터-비전 데이터-출력]이라는 단계가 미리 세팅되어 출력된다. 이때, 도 4i와 같이 RPA는 진동비전 모니터링(출력 단계)을 확인하고, 도 4j와 같이 진동 데이터를 가져오기 위하여 데이터베이스에 접속하고 또 비전 데이터도 가져오기 위해 데이터베이스에 접속한 후, 도 4k와 같이 로딩한다. 그 다음 도 4l 및 도 4m과 같이 [출력] 단계에 진동 데이터 및 비전 데이터가 표시가 되는지 확인하고, 상단의 [실행] 메뉴를 눌러 디버깅을 수행한다. 그리고 나서 도 4n과 같은 페이지에 접속하여 도 4o와 같은 화면을 대시보드에 출력함으로써 사용자 단말(100)에서 모니터링이 될 수 있도록 한다.4h to 4g are processes in which RPA creates and sets monitoring algorithms for FRB lines. It is set in advance that vibration and vision are required to monitor the FRB line, so a step of [vibration data-vision data-output] is preset and output as shown in FIG. 4H. At this time, as shown in FIG. 4i, the RPA checks the vibration vision monitoring (output step), connects to the database to obtain vibration data as shown in FIG. Loading. Then, as shown in FIGS. 4L and 4M, it is checked whether vibration data and vision data are displayed in the [Output] step, and debugging is performed by pressing the [Execute] menu at the top. Then, by accessing the page shown in FIG. 4n and outputting the screen shown in FIG. 4o on the dashboard, monitoring can be performed in the user terminal 100 .

이와 같은 도 2 내지 도 4의 RPA 기반 제조환경 모니터링 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 RPA 기반 제조환경 모니터링 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.Matters not described in the RPA-based manufacturing environment monitoring service provision method of FIGS. 2 to 4 are the same as those described in the RPA-based manufacturing environment monitoring service provision method through FIG. Since it can be inferred, the following description will be omitted.

도 5는 본 발명의 일 실시예에 따른 도 1의 RPA 기반 제조환경 모니터링 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 5를 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 5에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.5 is a diagram illustrating a process of transmitting and receiving data between components included in the RPA-based manufacturing environment monitoring service providing system of FIG. 1 according to an embodiment of the present invention. Hereinafter, an example of a process of transmitting and receiving data between each component will be described through FIG. 5, but the present application is not limited to such an embodiment, and according to various embodiments described above, It is obvious to those skilled in the art that a process of transmitting and receiving data may be changed.

도 5를 참조하면, 모니터링 서비스 제공 서버는, RPA(Robotic Process Automation)를 이용하여, 제조환경 내 설비 및 공정으로부터 수집된 적어도 하나의 제조환경 데이터를, 적어도 하나의 모니터링 단말로부터 수집한다(S5100).Referring to FIG. 5, the monitoring service providing server collects at least one manufacturing environment data collected from facilities and processes in the manufacturing environment from at least one monitoring terminal using Robotic Process Automation (RPA) (S5100). .

그리고, 모니터링 서비스 제공 서버는, 적어도 하나의 제조환경 데이터를 RPA가 분석하여 정상상태 또는 이상상태의 여부를 사용자 단말로 안내하도록 하고(S5200), 사용자 단말에서 정상상태 또는 이상상태를 시각화하여 출력되도록 한다(S5300).In addition, the monitoring service providing server causes the RPA to analyze at least one manufacturing environment data and informs the user terminal whether it is in a normal state or an abnormal state (S5200), and visualizes and outputs the normal state or abnormal state in the user terminal Do (S5300).

상술한 단계들(S5100~S5300)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S5100~S5300)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.The order between the above-described steps (S5100 to S5300) is only an example, and is not limited thereto. That is, the order of the above-described steps (S5100 to S5300) may be mutually changed, and some of the steps may be simultaneously executed or deleted.

이와 같은 도 5의 RPA 기반 제조환경 모니터링 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 RPA 기반 제조환경 모니터링 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.Matters not described in the RPA-based manufacturing environment monitoring service provision method of FIG. 5 are the same as those described for the RPA-based manufacturing environment monitoring service provision method through FIGS. Since it can be inferred, the following description will be omitted.

도 5를 통해 설명된 일 실시예에 따른 RPA 기반 제조환경 모니터링 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. The RPA-based manufacturing environment monitoring service providing method according to an embodiment described with reference to FIG. 5 may be implemented in the form of a recording medium including instructions executable by a computer such as an application or program module executed by a computer. there is. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer readable media may include all computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.

전술한 본 발명의 일 실시예에 따른 RPA 기반 제조환경 모니터링 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 RPA 기반 제조환경 모니터링 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.The above-described RPA-based manufacturing environment monitoring service providing method according to an embodiment of the present invention is executed by an application basically installed in the terminal (which may include a program included in a platform or operating system, etc. It may be executed by an application (ie, a program) directly installed in the master terminal by a user through an application providing server such as an application store server, a web server related to an application or a corresponding service. In this sense, the RPA-based manufacturing environment monitoring service providing method according to an embodiment of the present invention described above is implemented as an application (i.e., a program) that is basically installed in a terminal or directly installed by a user, and is readable by a computer such as a terminal. can be recorded on a recordable medium.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다. The above description of the present invention is for illustrative purposes, and those skilled in the art can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, the embodiments described above should be understood as illustrative in all respects and not limiting. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as distributed may be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the detailed description above, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts should be construed as being included in the scope of the present invention. do.

Claims (10)

제조환경 내 설비 및 공정으로부터 적어도 하나의 제조환경 데이터를 수집하는 적어도 하나의 모니터링 단말;
상기 적어도 하나의 제조환경 데이터를 수집 및 분석한 결과로 상기 설비 또는 공정의 정상상태 또는 이상상태를 출력하는 사용자 단말; 및
RPA(Robotic Process Automation)를 이용하여 상기 제조환경 내 설비 및 공정으로부터 수집된 적어도 하나의 제조환경 데이터를 상기 적어도 하나의 모니터링 단말로부터 수집하는 수집부, 상기 적어도 하나의 제조환경 데이터를 상기 RPA가 분석하여 정상상태 또는 이상상태의 여부를 상기 사용자 단말로 안내하도록 하는 상태분석부, 상기 사용자 단말에서 상기 정상상태 또는 이상상태를 시각화하여 출력되도록 하는 시각화부, 상기 RPA에서 진행하는 적어도 하나의 단계(Step)를 포함하는 플로우(Flow)를 생성, 수정 및 삭제하도록, 적어도 하나의 실행코드에 대응하는 적어도 하나의 액티비티(Activity)를 제공하고, 상기 적어도 하나의 액티비티가 드래그 앤 드롭(Drag and Drop) 방식으로 상기 플로우 내 단계에 삽입되는 경우 변경된 플로우에 따라 상기 RPA가 구동되도록 하는 노코딩(No-Coding)부를 포함하는 모니터링 서비스 제공 서버;
를 포함하는 RPA 기반 제조환경 모니터링 서비스 제공 시스템.
at least one monitoring terminal for collecting at least one manufacturing environment data from facilities and processes in the manufacturing environment;
a user terminal outputting a normal state or an abnormal state of the facility or process as a result of collecting and analyzing the at least one manufacturing environment data; and
A collection unit that collects at least one manufacturing environment data collected from facilities and processes in the manufacturing environment from the at least one monitoring terminal using Robotic Process Automation (RPA), and the RPA analyzes the at least one manufacturing environment data At least one step (Step At least one activity corresponding to at least one execution code is provided to create, modify, and delete a flow including a ), and the at least one activity is a drag and drop method A monitoring service providing server including a no-coding unit for driving the RPA according to the changed flow when inserted into a step in the flow as;
RPA-based manufacturing environment monitoring service providing system that includes.
제 1 항에 있어서,
상기 모니터링 서비스 제공 서버는,
상기 RPA에서 수집한 제조환경 데이터를 적어도 하나의 인공지능 알고리즘에 질의(Query)로 입력하고, 상기 제조환경 데이터 내 설비 또는 공정의 이상징후탐지 또는 불량예측을 결과로 출력하여 상기 사용자 단말로 전송하는 AI예지보전부;
를 더 포함하는 것을 특징으로 하는 RPA 기반 제조환경 모니터링 서비스 제공 시스템.
According to claim 1,
The monitoring service providing server,
Inputting the manufacturing environment data collected by the RPA into at least one artificial intelligence algorithm as a query, and outputting an abnormal symptom detection or defect prediction of the equipment or process in the manufacturing environment data as a result and transmitting it to the user terminal AI predictive maintenance department;
RPA-based manufacturing environment monitoring service providing system further comprising a.
제 1 항에 있어서,
상기 모니터링 서비스 제공 서버는,
수집된 상기 제조환경 데이터와 상기 사용자 단말의 응답에 기반하여 학습 데이터셋을 생성하여 상기 적어도 하나의 인공지능 모델을 기 설정된 주기로 자동으로 재학습시키는 재학습부;
를 더 포함하는 것을 특징으로 하는 RPA 기반 제조환경 모니터링 서비스 제공 시스템.
According to claim 1,
The monitoring service providing server,
a re-learning unit for automatically re-learning the at least one artificial intelligence model at a predetermined cycle by generating a learning dataset based on the collected manufacturing environment data and the response of the user terminal;
RPA-based manufacturing environment monitoring service providing system further comprising a.
삭제delete 제 1 항에 있어서,
상기 노코딩부는,
상기 적어도 하나의 단계의 순서가 변경되도록 상기 적어도 하나의 단계에 대응하는 셀(Cell)을 선택 후 다른 단계 사이에 드롭(Drop)하는 경우, 변경된 순서에 따라 상기 RPA가 작동하도록 상기 실행코드의 순서를 변경하는 것을 특징으로 하는 RPA 기반 제조환경 모니터링 서비스 제공 시스템.
According to claim 1,
The no-coding unit,
When a cell corresponding to the at least one step is selected and then dropped between different steps so that the order of the at least one step is changed, the order of the execution code so that the RPA operates according to the changed order RPA-based manufacturing environment monitoring service providing system, characterized in that for changing.
제 2 항에 있어서,
상기 모니터링 서비스 제공 서버는,
상기 사용자 단말에서 상기 RPA를 이용하여 상기 인공지능 알고리즘의 순서를 변경, 추가 및 삭제 중 어느 하나를 하는 경우, 상기 인공지능 알고리즘의 구동순서를 변경, 추가 및 삭제하는 AI수정부;
를 더 포함하는 것을 특징으로 하는 RPA 기반 제조환경 모니터링 서비스 제공 시스템.
According to claim 2,
The monitoring service providing server,
An AI correction unit for changing, adding, and deleting the driving order of the artificial intelligence algorithm when the user terminal uses the RPA to change, add, or delete the order of the artificial intelligence algorithm;
RPA-based manufacturing environment monitoring service providing system further comprising a.
제 1 항에 있어서,
상기 모니터링 서비스 제공 서버는,
상기 사용자 단말에서 상기 RPA를 이용하여 상기 적어도 하나의 실행코드에 대응하는 액티비티를 순서에 맞게 배열하는 경우, 적어도 하나의 인공지능 알고리즘이 상기 액티비티에 따라 구동되도록, 생성된 플로우에 대응하는 적어도 하나의 제조환경 데이터를 데이터셋(DataSet)으로 구축하고, 구축된 데이터셋에 대하여 학습 및 검증을 거치는 모델링을 수행한 후 가장 정확도가 높은 인공지능 알고리즘을 선택하여 상기 사용자가 생성한 플로우를 수행하는 인공지능 알고리즘으로 채택 및 세팅하는 자동AI생성부;
를 더 포함하는 것을 특징으로 하는 RPA 기반 제조환경 모니터링 서비스 제공 시스템.
According to claim 1,
The monitoring service providing server,
When the user terminal arranges the activities corresponding to the at least one execution code in order using the RPA, at least one artificial intelligence algorithm corresponding to the generated flow is driven according to the activity Artificial intelligence that builds manufacturing environment data into a dataset, performs modeling through learning and verification on the built dataset, selects the most accurate artificial intelligence algorithm, and performs the flow created by the user Automatic AI generation unit that adopts and sets algorithms;
RPA-based manufacturing environment monitoring service providing system further comprising a.
제 1 항에 있어서,
상기 제조환경 데이터는,
설비로부터 수집되는 진동, 전류, 비전, 온도 및 소음을 포함하는 설비 데이터;
공정으로부터 수집되는 생산조건, 제품정보, 설비상태 및 제어조건을 포함하는 공정 데이터;
를 포함하는 것을 특징으로 하는 RPA 기반 제조환경 모니터링 서비스 제공 시스템.
According to claim 1,
The manufacturing environment data,
Facility data including vibration, current, vision, temperature and noise collected from the facility;
Process data including production conditions, product information, equipment status and control conditions collected from the process;
RPA-based manufacturing environment monitoring service providing system comprising a.
제 1 항에 있어서,
상기 모니터링 서비스 제공 서버는,
상기 제조환경 데이터 중 텍스트 데이터를 데이터베이스에 저장하고, 상기 제조환경 데이터 중 이미지 또는 영상에 대응하는 영상 데이터를 기 설정된 폴더(Folder)에 저장하는 분류부;
를 포함하는 것을 특징으로 하는 RPA 기반 제조환경 모니터링 서비스 제공 시스템.
According to claim 1,
The monitoring service providing server,
a classification unit for storing text data among the manufacturing environment data in a database and storing image data corresponding to an image or video among the manufacturing environment data in a preset folder;
RPA-based manufacturing environment monitoring service providing system comprising a.
제 9 항에 있어서,
상기 모니터링 서비스 제공 서버는,
상기 텍스트 데이터를 처리하는 적어도 하나의 인공지능 알고리즘과 상기 영상 데이터를 처리하는 적어도 하나의 인공지능 알고리즘을 각각 설정하여 하이브리드 인공지능으로 구축하는 하이브리드부;
를 포함하는 것을 특징으로 하는 RPA 기반 제조환경 모니터링 서비스 제공 시스템.
According to claim 9,
The monitoring service providing server,
a hybrid unit configured to establish hybrid artificial intelligence by setting at least one artificial intelligence algorithm for processing the text data and at least one artificial intelligence algorithm for processing the image data, respectively;
RPA-based manufacturing environment monitoring service providing system comprising a.

Images