KR102310543B1 - Apparatus and method for creating user interface - Google Patents

Apparatus and method for creating user interface Download PDF

Info

Publication number
KR102310543B1
KR102310543B1 KR1020210082498A KR20210082498A KR102310543B1 KR 102310543 B1 KR102310543 B1 KR 102310543B1 KR 1020210082498 A KR1020210082498 A KR 1020210082498A KR 20210082498 A KR20210082498 A KR 20210082498A KR 102310543 B1 KR102310543 B1 KR 102310543B1
Authority
KR
South Korea
Prior art keywords
information
screen
display object
visualization
information display
Prior art date
Application number
KR1020210082498A
Other languages
Korean (ko)
Inventor
최인희
조용민
Original Assignee
주식회사 애자일소다
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 애자일소다 filed Critical 주식회사 애자일소다
Priority to KR1020210082498A priority Critical patent/KR102310543B1/en
Application granted granted Critical
Publication of KR102310543B1 publication Critical patent/KR102310543B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Disclosed is a device and method for creating a user interface. The present invention allows a user to intuitively recognize visualized information by generating and outputting the visualized information based on an image, symbol, color, and text when a progress state of a process and a change in the process occur in case of driving a program for developing an artificial intelligence agent. The device includes a UI generating module (300) that analyzes a process executed by driving an arbitrary program and generates a UI screen corresponding to the generation of process progress information and process change information according to the analyzed result.

Description

사용자 인터페이스 생성 장치 및 방법{APPARATUS AND METHOD FOR CREATING USER INTERFACE}Apparatus and method for creating user interface {APPARATUS AND METHOD FOR CREATING USER INTERFACE}

본 발명은 사용자 인터페이스 생성 장치 및 방법에 관한 발명으로서, 더욱 상세하게는 인공 지능 에이전트를 개발하는 프로그램의 구동시에 프로세스의 진행 상태와 프로세스의 변동 발생시 사용자가 직관적으로 인식할 수 있도록 이미지, 심벌, 색상 및 텍스트에 기반한 시각화 정보를 생성하여 출력하는 사용자 인터페이스를 생성 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for generating a user interface, and more particularly, images, symbols, and colors so that a user can intuitively recognize the progress of a process and a change in the process when a program for developing an artificial intelligence agent is driven. and to an apparatus and method for generating a user interface for generating and outputting visualization information based on text.

인공 지능(artificial intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이다. 종래의 규칙-기반 스마트 시스템과 달리, AI는 학습하고 판단하며 스마트해지는 시스템이다. An artificial intelligence (AI) system is a computer system that implements human-level intelligence. Unlike conventional rule-based smart systems, AI is a system that learns, judges, and becomes smart.

인공 지능을 사용하여 인식률 및 사용자 기호에 대한 이해가 보다 정확하게 이루어짐에 따라, 기존의 규칙-기반 스마트 시스템들은 점차적으로 심층-기반 인공 지능 시스템들로 대체되고 있다.As the understanding of recognition rates and user preferences is more accurately achieved using artificial intelligence, existing rule-based smart systems are gradually being replaced by deep-based artificial intelligence systems.

인공 지능 기술은 머신 러닝(딥 러닝) 및 머신 러닝을 사용하는 요소 기술(element technology)로 구성된다.Artificial intelligence technology consists of machine learning (deep learning) and element technology using machine learning.

머신 러닝(machine learning, ML)은 입력 데이터의 특징을 스스로 분류/학습하는 알고리즘 기술이다. Machine learning (ML) is an algorithm technology that classifies/learns characteristics of input data by itself.

요소 기술은 딥 러닝과 같은 머신 러닝 알고리즘들을 사용하여 인식 및 판단과 같은 인간의 뇌 기능들을 시뮬레이션하는 기술로서, 언어 이해, 시각적 이해, 추론/예측, 지식 표현 및 동작 제어와 같은 기술 분야로 구성된다.Element technology is a technology that uses machine learning algorithms such as deep learning to simulate human brain functions such as recognition and judgment, and consists of technical fields such as language understanding, visual understanding, reasoning/prediction, knowledge expression, and motion control. .

최근 들어, 기업의 AI(Artificial Intelligence) 도입이 증가하고 있지만, AI 도입에서 가장 큰 어려움은 AI 분석 역량의 부족함이다. Recently, although the adoption of AI (Artificial Intelligence) by enterprises is increasing, the biggest difficulty in adopting AI is the lack of AI analysis capabilities.

또한, 기업 내에서 AI 분석을 위한 전문 인력의 부족과 함께, 분석가 간 협업 및 기술, 산출물 등 공유 환경이 마련되지 않아 AI 제품 및 기술이 도입되더라도 내재화에 한계가 존재한다.In addition, there is a limit to internalization even if AI products and technologies are introduced because there is a lack of professional manpower for AI analysis within the company, and a shared environment such as collaboration and technology and output between analysts is not provided.

또한, 개발된 인공지능 모델을 기존 시스템에 적용하기까지 소요되는 시간이 오래 걸리고 그 과정에서 해결할 과제들이 많다는 문제점이 있다. In addition, there is a problem that it takes a long time to apply the developed AI model to the existing system, and there are many problems to be solved in the process.

즉, 분석에 필요한 데이터를 업로드하거나, 새로운 프로젝트(Project)를 생성하여 모델링을 위한 최적의 분석 환경(Analysis Environment)을 확보하며, 다양한 모델링 기법과 알고리즘(Algorithm)을 선택하여 모델링(Modeling) 과정을 수행해야만 한다.That is, upload the data required for analysis or create a new project to secure the optimal analysis environment for modeling, and select various modeling techniques and algorithms to start the modeling process. have to do

또한, 완성된 모델을 활용하여 최상의 모델을 선정하고, 모델을 이용한 모델 서비스와 모델 서비스에 대한 테스트를 수행하여 안정성 등의 확인이 요구되지만, 종래 기술에 따른 인공지능 모델의 개발 과정은 사용자 인터페이스(User Interface)를 이용하여 단순하게 동작 상태만을 표시하거나, 또는 텍스트 위주의 정보를 사용자 인터페이스로 제공하는 점에서 직관적이지도 시각적이지도 않아 사용자가 인공지능 모델을 개발하기에 있어 불편한 문제점이 있다.In addition, the best model is selected using the completed model, and the model service using the model and the model service are tested to check stability, etc., but the development process of the artificial intelligence model according to the prior art requires the user interface ( User Interface) is used to simply display only the operation state, or text-oriented information is provided as a user interface, which is neither intuitive nor visual, so it is inconvenient for a user to develop an artificial intelligence model.

또한, 종래 기술에 따른 사용자 인터페이스는 텍스트 위주로 표시되어 새로운 프로젝트를 생성하여 모델링을 위한 최적의 분석 환경을 확보하거나, 다양한 모델링 기법과 알고리즘을 선택하여 모델링 과정을 분석하기에는 어려운 문제점이 있다.In addition, since the user interface according to the prior art is mainly displayed in text, it is difficult to create a new project to secure an optimal analysis environment for modeling, or to select various modeling techniques and algorithms to analyze the modeling process.

한국 공개특허공보 공개번호 제10-2021-0035057호(발명의 명칭: 전자 장치를 위한 동적 사용자 인터페이스 레이아웃 생성 방법 및 시스템)Korean Patent Laid-Open Publication No. 10-2021-0035057 (Title of the Invention: Method and System for Creating a Dynamic User Interface Layout for an Electronic Device)

이러한 문제점을 해결하기 위하여, 본 발명은 인공 지능 에이전트를 개발하는 프로그램의 구동시에 프로세스의 진행 상태와 프로세스의 변동 발생시 사용자가 직관적으로 인식할 수 있도록 이미지, 심벌, 색상 및 텍스트에 기반한 시각화 정보를 생성하여 출력하는 사용자 인터페이스를 생성 장치 및 방법을 제공하는 것을 목적으로 한다.In order to solve this problem, the present invention generates visualization information based on images, symbols, colors and texts so that the user can intuitively recognize the progress of the process and changes in the process when the program for developing the artificial intelligence agent is running. An object of the present invention is to provide an apparatus and method for generating a user interface for outputting a user interface.

상기한 목적을 달성하기 위하여 본 발명의 일 실시 예는 사용자 인터페이스 생성 장치로서, 임의의 프로그램의 구동에 의해 실행되는 프로세스를 분석하고, 상기 분석 결과에 따라 프로세스의 진행 정보와 프로세스의 변동 정보 발생에 대응한 UI 화면을 생성하는 UI 생성 모듈을 포함하되, 상기 UI 생성 모듈은 UI 화면에 프로세스의 진행 정보와 발생된 변동 정보에 대응하여 미리 설정된 색상을 기반으로 하는 시각화 정보 표시 객체와, 상기 시각화 정보 표시 객체에 시각화 정보 및 텍스트 정보 중 하나 이상을 포함한 요약 정보를 생성하는 것을 특징으로 한다.In order to achieve the above object, an embodiment of the present invention is an apparatus for generating a user interface, which analyzes a process executed by driving an arbitrary program, and generates process progress information and process change information according to the analysis result. A UI generating module for generating a corresponding UI screen, wherein the UI generating module includes a visualization information display object based on a preset color in response to the process progress information and the generated change information on the UI screen, and the visualization information It is characterized in that summary information including at least one of visualization information and text information is generated in the display object.

또한, 상기 실시 예에 따른 UI 화면은 시각화 정보 표시 객체와 연동하여 진행 정보 및 변동 정보 중 적어도 하나를 출력하는 텍스트 정보 표시 객체를 더 포함하는 것을 특징으로 한다.In addition, the UI screen according to the embodiment further comprises a text information display object for outputting at least one of progress information and change information in conjunction with the visualization information display object.

또한, 상기 실시 예에 따른 UI 화면의 색상은 프로세스의 실행, 프로세스의 실행 전 준비, 프로세스의 성공적 완료, 프로세스의 실패 및 프로세스의 일시 정지 중 어느 하나에 따라 서로 다른 색상으로 구분되는 것을 특징으로 한다.In addition, the color of the UI screen according to the embodiment is characterized in that it is divided into different colors depending on any one of the execution of the process, the preparation before the execution of the process, the successful completion of the process, the failure of the process, and the pause of the process. .

또한, 상기 실시 예에 따른 UI 화면의 시각화 정보는 미리 설정된 이미지 또는 심벌로 이루어지되, 회전, 반전, 이동 및 임의의 동작 중 어느 하나의 움직임을 수행하는 것을 특징으로 한다.In addition, the visualization information of the UI screen according to the embodiment is made of a preset image or symbol, characterized in that any one of rotation, inversion, movement, and any one movement is performed.

또한, 상기 실시 예에 따른 텍스트 정보는 생성자, 생성일시, 시작일시, 종료일시, 현재상태, 진행률, 메시지 중 적어도 하나를 포함하는 것을 특징으로 한다.In addition, the text information according to the embodiment is characterized in that it includes at least one of a creator, a creation date and time, a start date and time, an end date and time, a current state, a progress rate, and a message.

또한, 상기 실시 예에 따른 UI 생성 모듈은 네트워크를 통해 접속한 하나 이상의 사용자 단말과 프로그램의 구동 정보와 디스플레이 정보를 송수신하는 데이터 통신부; 상기 프로그램의 구동에 따른 프로세스를 분석하고, 상기 분석 결과에 대응하여 미리 설정된 색상을 기반으로 하는 시각화 정보 표시 객체와, 상기 시각화 정보 표시 객체에 시각화 정보 및 텍스트 정보 중 하나 이상을 포함하는 UI 화면을 생성하는 UI 화면 생성부; 상기 프로세스의 동작에 따른 상태 변동을 감지하고, 감지된 변동 정보가 상기 UI 화면 생성부에 반영되도록 동작하는 상태 변화 감지부; 및 상기 UI 화면이 사용자 단말에 디스플레이 되도록 제어하는 출력 인터페이스부;를 포함하는 것을 특징으로 한다.In addition, the UI generating module according to the embodiment includes a data communication unit for transmitting and receiving program driving information and display information with one or more user terminals connected through a network; Analyze a process according to the driving of the program, and a visualization information display object based on a preset color in response to the analysis result, and a UI screen including at least one of visualization information and text information in the visualization information display object UI screen generating unit to generate; a state change detection unit that detects a state change according to the operation of the process, and operates so that the detected change information is reflected in the UI screen generating unit; and an output interface unit controlling the UI screen to be displayed on the user terminal.

또한, 본 발명의 일 실시 예는 사용자 인터페이스 생성 방법으로서, a) UI 생성 모듈이 임의의 프로그램의 구동에 의해 실행되는 프로세스를 분석하여 상태 변화를 확인하고, 상기 확인 결과에 따라 프로세스의 진행 정보와 프로세스의 변동 정보 발생에 대응한 UI 화면을 생성하는 단계; 및 b) 상기 UI 생성 모듈이 생성된 UI 화면을 사용자 단말에 디스플레이 되도록 제어하는 단계;를 포함하되, 상기 UI 생성 모듈은 UI 화면에 프로세스의 진행 정보와 발생된 변동 정보에 대응하여 미리 설정된 색상을 기반으로 하는 시각화 정보 표시 객체와, 상기 시각화 정보 표시 객체에 시각화 정보 및 텍스트 정보 중 하나 이상을 포함한 요약 정보를 생성하는 것을 특징으로 한다. In addition, an embodiment of the present invention provides a method for generating a user interface, a) a UI generating module analyzes a process executed by driving an arbitrary program to confirm a state change, and according to the confirmation result, the process progress information and generating a UI screen corresponding to the generation of process change information; and b) controlling, by the UI generating module, the generated UI screen to be displayed on the user terminal. Based on the visualization information display object, and the visualization information display object is characterized in that it generates summary information including at least one of visualization information and text information.

또한, 상기 실시 예에 따른 UI 화면은 시각화 정보 표시 객체와 연동하여 진행 정보 및 변동 정보 중 적어도 하나를 출력하는 텍스트 정보 표시 객체를 더 포함하는 것을 특징으로 한다.In addition, the UI screen according to the embodiment further comprises a text information display object for outputting at least one of progress information and change information in conjunction with the visualization information display object.

또한, 상기 실시 예에 따른 UI 화면의 색상은 프로세스의 동작, 프로세스의 실행 전 준비, 프로세스의 성공적 완료, 프로세스의 실패 및 프로세스의 일시 정지 중 어느 하나에 따라 서로 다른 색상으로 구분되는 것을 특징으로 한다.In addition, the color of the UI screen according to the embodiment is characterized in that it is divided into different colors according to any one of operation of the process, preparation before execution of the process, successful completion of the process, failure of the process, and pause of the process. .

또한, 상기 실시 예에 따른 UI 화면의 시각화 정보는 미리 설정된 이미지 또는 심벌인 것을 특징으로 한다.In addition, the visualization information of the UI screen according to the embodiment is characterized in that it is a preset image or symbol.

또한, 상기 실시 예에 따른 시각화 정보는 회전, 반전, 이동 및 임의의 동작 중 어느 하나의 움직임을 수행하는 것을 특징으로 한다.In addition, the visualization information according to the embodiment is characterized in that any one of rotation, inversion, movement, and an arbitrary operation is performed.

또한, 상기 실시 예에 따른 텍스트 정보는 생성자, 생성일시, 시작일시, 종료일시, 현재상태, 진행률, 메시지 중 적어도 하나를 포함하는 것을 특징으로 한다.In addition, the text information according to the embodiment is characterized in that it includes at least one of a creator, a creation date and time, a start date and time, an end date and time, a current state, a progress rate, and a message.

또한, 상기 실시 예에 따른 UI 생성 모듈은 UI 화면과 연동된 하나 이상의 추가 UI 화면과, 상기 추가 UI 화면과 연동된 하나 이상의 세부 UI 화면을 구성하되, 상기 추가 UI 화면과 세부 UI 화면은 상기 UI 화면에 구성된 시각화 정보 및 텍스트 정보 또는 추가 화면에 구성된 시각화 정보 및 텍스트 정보 중 적어도 하나의 선택을 통해 가시적으로 표시되고, 상기 추가 UI 화면 및 세부 UI 화면에는 해당 프로세스의 진행 정보와 발생된 변동 정보에 대응하여 미리 설정된 색상을 기반으로 하는 시각화 정보 표시 객체와, 상기 시각화 정보 표시 객체에 시각화 정보 및 텍스트 정보 중 하나 이상을 포함한 요약 정보가 생성되는 것을 특징으로 한다.In addition, the UI generating module according to the embodiment configures one or more additional UI screens interlocked with the UI screen and one or more detailed UI screens interlocked with the additional UI screens, wherein the additional UI screens and the detailed UI screens are the UI It is visually displayed through selection of at least one of the visualization information and text information configured on the screen or the visualization information and text information configured on the additional screen, and the additional UI screen and the detailed UI screen show the progress information of the process and the generated change information. Correspondingly, a visualization information display object based on a preset color and summary information including at least one of visualization information and text information are generated in the visualization information display object.

또한, 상기 실시 예에 따른 UI 생성 모듈은 세부 UI 화면과 연동된 하나 이상의 상세 화면을 구성하되, 상기 상세 화면의 출력이 요청되면, 모델 학습 중인 프로세스의 상세 진행 현황을 확인하기 위해 세부 시각화 정보 표시 객체를 상세 시각화 정보 표시 객체로 전환하여 표시하는 것을 특징으로 한다.In addition, the UI generation module according to the embodiment configures one or more detailed screens interlocked with the detailed UI screen, but when the output of the detailed screen is requested, detailed visualization information is displayed to check the detailed progress of the model learning process It is characterized in that the object is converted into a detailed visualization information display object and displayed.

본 발명은 인공 지능 에이전트를 개발하는 프로그램의 구동시에 프로세스의 진행 상태와 프로세스의 변동 발생시 이미지, 심벌, 색상 및 텍스트에 기반한 시각화 정보를 생성하여 출력함으로써, 사용자가 직관적으로 인식할 수 있는 장점이 있다.The present invention has the advantage that the user can intuitively recognize by generating and outputting visualization information based on images, symbols, colors and texts when the progress of the process and changes in the process occur when the program for developing the artificial intelligence agent is driven. .

도1은 본 발명의 일 실시 예에 따른 사용자 인터페이스 생성 장치의 동작을 설명하기 위한 예시도.
도2는 도1의 실시 예에 따른 사용자 인터페이스 생성 장치의 UI 생성 모듈의 구성을 나타낸 블록도.
도3은 본 발명의 일 실시 예에 따른 사용자 인터페이스 생성 방법을 설명하기 위해 나타낸 블록도.
도4는 도3의 실시 예에 따른 사용자 인터페이스 생성 방법에서 메인 화면의 출력 상태를 나타낸 예시도.
도5는 도4의 실시 예에 따른 메인 화면에서 시각화 정보 표시부를 나타낸 예시도.
도6은 도4의 실시 예에 따른 메인 화면에서 변동 정보에 따라 표시되는 서로 다른 시각화 정보 표시부를 나타낸 예시도.
도7은 도4의 실시 예에 따른 메인 화면에서 텍스트 정보 표시부를 나타낸 예시도.
도8은 본 발명의 일 실시 예에서 추가 동작 화면의 출력 상태를 나타낸 예시도.
도9는 도8의 실시 예에 따른 추가 동작 화면에서 추가 시각화 정보 표시부를 구체적으로 나타낸 예시도.
도10은 도8의 실시 예에 따른 추가 동작 화면에서 변동 정보에 따라 표시되는 서로 다른 추가 시각화 정보 표시부를 나타낸 예시도.
도11은 본 발명의 일 실시 예에 따른 세부 동작 화면의 출력 상태를 나타낸 예시도.
도12는 도11의 실시 예에 따른 세부 동작 화면에서 세부 시각화 정보 표시부를 구체적으로 나타낸 예시도.
도13은 도11의 실시 예에 따른 세부 동작 화면에서 변동 정보에 따라 표시되는 서로 다른 추가 세부 시각화 정보 표시부를 나타낸 예시도.
도14는 본 발명의 일 실시 에에서 상세 동작 화면의 출력 상태를 나타낸 예시도.
도15는 도14의 실시 예에 따른 상세 동작 화면에서 상세 시각화 정보 표시부를 구체적으로 나타낸 예시도.1 is an exemplary diagram for explaining an operation of an apparatus for generating a user interface according to an embodiment of the present invention;
FIG. 2 is a block diagram illustrating a configuration of a UI generating module of the apparatus for generating a user interface according to the embodiment of FIG. 1;
3 is a block diagram illustrating a method for generating a user interface according to an embodiment of the present invention;
4 is an exemplary view illustrating an output state of a main screen in the method of generating a user interface according to the embodiment of FIG. 3 ;
5 is an exemplary view showing a visualization information display unit on the main screen according to the embodiment of FIG.
6 is an exemplary view illustrating different visualization information display units displayed according to change information on the main screen according to the embodiment of FIG. 4 .
7 is an exemplary view showing a text information display unit on the main screen according to the embodiment of FIG.
8 is an exemplary diagram illustrating an output state of an additional operation screen according to an embodiment of the present invention;
9 is an exemplary view specifically showing an additional visualization information display unit on the additional operation screen according to the embodiment of FIG. 8 .
10 is an exemplary view showing different additional visualization information display units displayed according to variation information on the additional operation screen according to the embodiment of FIG. 8 .
11 is an exemplary diagram illustrating an output state of a detailed operation screen according to an embodiment of the present invention;
12 is an exemplary view specifically showing a detailed visualization information display unit on the detailed operation screen according to the embodiment of FIG. 11 .
13 is an exemplary view showing different additional detailed visualization information display units displayed according to variation information on the detailed operation screen according to the embodiment of FIG. 11 .
14 is an exemplary view showing an output state of a detailed operation screen in an embodiment of the present invention;
FIG. 15 is an exemplary view specifically showing a detailed visualization information display unit on a detailed operation screen according to the embodiment of FIG. 14 .

이하에서는 본 발명의 바람직한 실시 예 및 첨부하는 도면을 참조하여 본 발명을 상세히 설명하되, 도면의 동일한 참조부호는 동일한 구성요소를 지칭함을 전제하여 설명하기로 한다.Hereinafter, the present invention will be described in detail with reference to preferred embodiments of the present invention and the accompanying drawings.

본 발명의 실시를 위한 구체적인 내용을 설명하기에 앞서, 본 발명의 기술적 요지와 직접적 관련이 없는 구성에 대해서는 본 발명의 기술적 요지를 흩뜨리지 않는 범위 내에서 생략하였음에 유의하여야 할 것이다. Prior to describing the specific contents for carrying out the present invention, it should be noted that components not directly related to the technical gist of the present invention are omitted within the scope of not disturbing the technical gist of the present invention.

또한, 본 명세서 및 청구범위에 사용된 용어 또는 단어는 발명자가 자신의 발명을 최선의 방법으로 설명하기 위해 적절한 용어의 개념을 정의할 수 있다는 원칙에 입각하여 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다.In addition, the terms or words used in the present specification and claims have meanings and concepts consistent with the technical idea of the invention based on the principle that the inventor can define the concept of an appropriate term to best describe his invention. should be interpreted as

본 명세서에서 어떤 부분이 어떤 구성요소를 "포함"한다는 표현은 다른 구성요소를 배제하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.In the present specification, the expression that a part "includes" a certain element does not exclude other elements, but means that other elements may be further included.

또한, "‥부", "‥기", "‥모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는 그 둘의 결합으로 구분될 수 있다.Also, terms such as “… unit”, “… group”, and “… module” mean a unit that processes at least one function or operation, which may be divided into hardware, software, or a combination of the two.

또한, "적어도 하나의" 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. In addition, the term "at least one" is defined as a term including the singular and the plural, and even if the term "at least one" does not exist, each element may exist in the singular or plural, and may mean the singular or plural. will be self-evident.

또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시 예에 따라 변경가능하다 할 것이다.In addition, that each component is provided in singular or plural may be changed according to an embodiment.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 따른 사용자 인터페이스 장치 및 방법의 바람직한 실시예를 상세하게 설명한다.Hereinafter, a preferred embodiment of a user interface device and method according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도1은 본 발명의 일 실시 예에 따른 사용자 인터페이스 생성 장치의 동작을 설명하기 위한 예시도이고, 도2는 도1의 실시 예에 따른 사용자 인터페이스 생성 장치의 UI 생성 모듈의 구성을 나타낸 블록도이다.1 is an exemplary diagram for explaining an operation of an apparatus for generating a user interface according to an embodiment of the present invention, and FIG. 2 is a block diagram showing the configuration of a UI generating module of the apparatus for generating a user interface according to the embodiment of FIG. 1 .

도1 및 도2를 참조하면, 본 발명의 일 실시 예에 따른 사용자 인터페이스 장치는 하나 이상의 사용자 단말(100), 사용자 단말 1(100a), 사용자 단말 n(100b)와 임의의 프로그램이 설치된 관리 서버(200) 사이에 동작이 이루어질 수 있도록 인터페이스를 수행하는 UI 생성 모듈(300)을 포함하여 구성될 수 있다.1 and 2, the user interface device according to an embodiment of the present invention is one or more user terminal 100, user terminal 1 (100a), user terminal n (100b) and a management server in which an arbitrary program is installed. It may be configured to include a UI generating module 300 that performs an interface so that an operation can be made between 200 .

사용자 단말(100), 사용자 단말 1(100b) 내지 사용자 단말 n(100b)은 네트워크를 통해 관리 서버(200)에 접속하여 사용자로부터 입력되는 임의의 정보를 관리 서버(200)에 전송하고, 관리 서버(200)로부터 전송되는 임의의 정보가 표시되도록 동작한다.The user terminal 100, the user terminal 1 (100b) to the user terminal n (100b) access the management server 200 through a network and transmit arbitrary information input from the user to the management server 200, and the management server Any information transmitted from 200 operates to be displayed.

또한, 사용자 단말(100), 사용자 단말 1(100b) 내지 사용자 단말 n(100b)은 컴퓨터 등으로 구현될 수 있고, 내비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. In addition, the user terminal 100, the user terminal 1 (100b) to the user terminal n (100b) may be implemented with a computer, etc., navigation, a web browser (WEB Browser) is mounted laptop, desktop (Desktop), laptop ( Laptop) and the like.

관리 서버(200)는 임의의 프로그램이 설치되고, 사용자 단말(100), 사용자 단말 1(100b) 내지 사용자 단말 n(100b)으로부터 전송되는 입력 정보에 따라 프로그램이 임의의 프로세스를 수행할 수 있도록 제어하는 구성으로서, 서버 시스템으로 구성될 수 있다.The management server 200 controls so that an arbitrary program is installed, and the program can perform an arbitrary process according to input information transmitted from the user terminal 100, the user terminal 1 (100b) to the user terminal n (100b). As a configuration to do, it may be configured as a server system.

또한, 관리 서버(200)에 설치된 프로그램은 의사결정 최적화를 위한 분석과 운영을 제어하기 위해 AI 기반 분석과 운영 전반의 환경을 제공하는 계정, 패키지, 소스, 데이터 관리 등이 가능한 프로그램일 수 있다.In addition, the program installed in the management server 200 may be a program capable of managing an account, package, source, data, etc. that provides an overall environment for AI-based analysis and operation to control analysis and operation for decision optimization.

본 실시 예에서는 설명의 편의를 위해 인공지능 모델 개발 프로그램을 실시 예로 설명하지만 이에 한정되는 것은 아니고, 인공지능 개발 관련 프로그램 이외에 다른 도메인의 개발 관련 프로그램이 사용될 수도 있다.In the present embodiment, an artificial intelligence model development program is described as an embodiment for convenience of description, but the present invention is not limited thereto, and development-related programs in other domains may be used in addition to the artificial intelligence development-related programs.

UI(User Interface) 생성 모듈(300)은 사용자 단말(100), 사용자 단말 1(100b) 내지 사용자 단말 n(100b)과 관리 서버(200) 사이에 인터페이스를 수행하는 구성으로서, 관리 서버(200)에서 동작하는 프로그램의 프로세스를 분석한다.UI (User Interface) generation module 300 is a configuration for performing an interface between the user terminal 100, the user terminal 1 (100b) to the user terminal n (100b) and the management server 200, the management server 200 Analyze the process of the program running in

또한, UI 생성 모듈(300)은 프로세스의 분석 결과에 따라 프로세스의 진행 정보와 프로세스의 변동 정보 발생에 대응한 UI 화면을 생성하여 사용자 단말(100), 사용자 단말 1(100b) 내지 사용자 단말 n(100b)에 디스플레이 될 수 있도록 동작하고, 바람직하게는 데이터 통신부(310)와, UI 화면 생성부(320)와, 상태 변화 감지부(330)와, 출력 인터페이스부(340)를 포함하여 구성될 수 있다.In addition, the UI generation module 300 generates a UI screen corresponding to the generation of process progress information and process change information according to the analysis result of the process, and thus the user terminal 100, the user terminal 1 ( 100b ) to the user terminal n ( 100b), preferably configured to include a data communication unit 310 , a UI screen generation unit 320 , a state change detection unit 330 , and an output interface unit 340 . have.

데이터 통신부(310)는 네트워크를 통해 관리 서버(200)에 접속한 사용자 단말(100), 사용자 단말 1(100b) 내지 사용자 단말 n(100b)과 프로그램의 구성 및 실행을 위한 동작 정보와, 프로그램의 구동에 대응한 프로세스의 UI 화면이 사용자 단말(100), 사용자 단말 1(100b) 내지 사용자 단말 n(100b)을 통해 출력되도록 디스플레이 정보를 송수신한다.The data communication unit 310 includes the user terminal 100, the user terminal 1 (100b) to the user terminal n (100b) connected to the management server 200 through the network, and operation information for the configuration and execution of the program, and the program. The display information is transmitted and received so that the UI screen of the process corresponding to the driving is output through the user terminal 100 and the user terminal 1 ( 100b ) to the user terminal n ( 100b ).

UI 화면 생성부(320)는 프로그램의 구동에 따른 프로세스를 분석하고, 상기 분석 결과에 대응하여 미리 설정된 색상을 기반으로 하는 시각화 정보 표시 객체를 UI 화면에 생성한다.The UI screen generating unit 320 analyzes a process according to the driving of the program, and generates a visualization information display object based on a preset color in response to the analysis result on the UI screen.

또한, UI 화면 생성부(320)는 UI 화면에 프로세스의 진행 정보와 발생된 변동 정보에 대응하여 미리 설정된 색상(Color)을 기반으로 하는 시각화 정보 표시 객체를 생성한다.Also, the UI screen generating unit 320 generates a visualization information display object based on a preset color in response to the process progress information and the generated change information on the UI screen.

여기서, 프로세스는 임의의 프로그램이 구동되는 동안 실행되는 일련의 과정으로서, 프로그램을 이용한 임의의 프로젝트를 구성하여 시작하거나 구성된 프로젝트를 편집 또는 수정하는 과정, 새로운 환경을 구성하여 프로젝트 내에서 임의의 모델을 학습하는 과정, 새로운 환경 내에서 여러 개의 모델을 학습하는 과정 등이 될 수 있다.Here, the process is a series of processes that are executed while an arbitrary program is running. The process of starting by configuring an arbitrary project using the program, or editing or modifying the configured project, and configuring a new environment to create an arbitrary model within the project. It can be a process of learning, a process of learning multiple models in a new environment, and so on.

따라서, UI 화면의 색상은 프로세스의 구성 및 실행, 프로세스의 실행 전 준비, 프로세스의 성공적 완료, 프로세스의 실패 및 프로세스의 일시 정지 중 어느 하나에 따라 서로 다른 색상으로 구분되어 표시될 수 있도록 구성하여 해당 프로세스의 상태에 대한 시각화를 통해 사용자가 직관적으로 인식할 수 있도록 한다.Therefore, the color of the UI screen is configured so that it can be displayed in different colors depending on any one of the configuration and execution of the process, the preparation before the execution of the process, the successful completion of the process, the failure of the process, and the pause of the process. Through the visualization of the state of the process, the user can intuitively recognize it.

또한, 프로세스의 상태에 따른 UI 화면의 색상은, 예를 들어 오랜 실행 시간(수시간~ 수일)이 걸리는 경우, 프로세스 중간에 어떤 상태인지, 어디까지 수행되었는지 UI 화면의 색상을 통해 사용자가 진행 상황을 직관적으로 인식할 수 있도록 한다.In addition, the color of the UI screen according to the state of the process, for example, when a long execution time (hours to several days) is taken, the state in the middle of the process and how far the process has been performed can be determined by the user's progress status through the color of the UI screen. to be intuitively recognizable.

또한, UI 화면 생성부(320)는 UI 화면에 생성된 시각화 정보 표시 객체에 시각화 정보 및 텍스트 정보 중 하나 이상을 갖는 요약 정보가 포함되도록 생성할 수 있다.Also, the UI screen generating unit 320 may generate the visualization information display object generated on the UI screen to include summary information having at least one of visualization information and text information.

즉, 시각화 정보는 해당 프로세스와 연관되어 미리 설정된 이미지 또는 심벌(Symbol)이 포함되도록 구성하여 사용자가 어떤 프로세스를 실행중인지, 프로세스가 어떤 동작을 실행중인지, 프로세스가 어떤 상태인지를 사용자가 시각화 정보를 통해 직관적으로 인식할 수 있도록 한다.That is, the visualization information is configured to include a preset image or symbol associated with the process, so that the user can see what process the user is running, what action the process is running, and what state the process is in. make it intuitively recognizable.

또한, 시각화 정보는 이미지 또는 심벌이 시각화 정보 표시 객체의 임의의 위치에 고정되어 있거나, 임의의 위치에서 회전, 반전, 이동 또는 임의의 동작 중 어느 하나의 움직임을 수행하도록 구성될 수도 있다.In addition, the visualization information may be configured such that an image or a symbol is fixed at an arbitrary position of the visualization information display object, or any one of rotation, inversion, movement, or any operation is performed at an arbitrary position.

이러한 시각화 정보의 움직임을 통해 사용자가 프로세스의 동작 상태를 더욱 쉽게 인식할 수 있도록 한다.Through the movement of such visualization information, the user can more easily recognize the operating state of the process.

또한, 텍스트 정보는 시각화 정보를 중심으로 시각화 정보 표시 객체의 임의의 위치에 배치되어 사용자가 해당 프로세스의 요약 정보를 쉽게 획득할 수 있도록 한다.In addition, the text information is arranged at an arbitrary position of the visualization information display object based on the visualization information so that the user can easily obtain summary information of the corresponding process.

또한, 텍스트 정보는 프로젝트의 개설 및 설정과 관련한 정보로서, 해당 프로세스를 생성한 생성자, 생성일시, 해당 프로세스를 실행한 시작일시, 프로세스의 실행을 종료한 종료일시, 해당 프로세스의 현재상태, 해당 프로세스의 진행률, 해당 프로세스의 실행중 발생한 정보 또는 프로세스의 처리결과를 나타낸 메시지 중 적어도 하나를 포함하여 구성될 수 있다.In addition, text information is information related to the opening and setting of a project, and includes the creator who created the process, the date and time of creation, the start date and time of executing the process, the end date and time when the execution of the process is terminated, the current state of the process, and the process It may be configured to include at least one of the progress rate of the process, information generated during execution of the corresponding process, or a message indicating the processing result of the process.

또한, UI 화면 생성부(320)는 시각화 정보 표시 객체와 연동하여 UI 화면상에 프로세스의 진행 정보와 발생된 변동 정보에 대응한 텍스트 정보 표시 객체를 생성하여 표시할 수도 있다.Also, the UI screen generating unit 320 may generate and display a text information display object corresponding to the process progress information and the generated change information on the UI screen in conjunction with the visualization information display object.

여기서, 텍스트 정보 표시 객체는 요약 정보와 함께 출력되는 시각화 정보 표시 객체와 관련된 프로세스의 상세 내용을 리스트 등의 포맷을 이용하여 텍스트로 출력함으로써, 사용자가 요약 정보에 대한 상세 내용을 확인할 수 있도록 한다.Here, the text information display object outputs the details of the process related to the visualization information display object output together with the summary information as text using a format such as a list, so that the user can check the details of the summary information.

상태 변화 감지부(330)는 프로세스의 동작에 따른 상태 변동을 감지하고, 변동 정보가 감지되면 해당 변동 정보를 UI 화면 생성부(320)를 통해 반영되도록 동작한다.The state change detection unit 330 detects a state change according to the operation of the process, and when change information is detected, the change information is reflected through the UI screen generating unit 320 .

즉, 프로세스의 실행중에 새로운 내용으로 변경되거나 또는 추가되는 업데이트(예를 들어, 프로젝트에서 개발한 모델의 이름과 버전, 최종 수정 날짜, 생성자, 모델의 정확도, 모델의 배포 상태 등)가 발생되면, 해당 변동 정보를 UI 화면 생성부(320)를 통해 시각화 정보 표시 객체와 텍스트 정보 표시 객체에 반영되도록 한다.In other words, when an update (for example, the name and version of the model developed in the project, the last modification date, the creator, the accuracy of the model, the deployment status of the model, etc.) occurs during the execution of the process, an update that is changed or added to new content occurs, The change information is reflected in the visualization information display object and the text information display object through the UI screen generating unit 320 .

또한, 새롭게 업데이트되는 변동 정보는 텍스트 정보 표시 객체의 최상단에 위치되게 함으로써, 사용자가 발생된 변동 정보를 쉽게 확인할 수 있도록 한다.In addition, the newly updated change information is positioned at the top of the text information display object, so that the user can easily check the generated change information.

출력 인터페이스부(340)는 UI 화면이 인터페이스를 통해 사용자 단말(100), 사용자 단말 1(100b) 내지 사용자 단말 n(100b)에 디스플레이 되도록 제어한다.The output interface unit 340 controls the UI screen to be displayed on the user terminal 100, the user terminal 1 (100b) to the user terminal n (100b) through the interface.

다음은 본 발명의 일 실시 예에 따른 사용자 인터페이스 생성 방법을 설명한다.The following describes a user interface creation method according to an embodiment of the present invention.

도3은 본 발명의 일 실시 예에 따른 사용자 인터페이스 생성 방법을 설명하기 위해 나타낸 블록도이다.3 is a block diagram illustrating a method for generating a user interface according to an embodiment of the present invention.

도1 내지 도3을 참조하면, 본 발명의 일 실시 예에 따른 사용자 인터페이스 생성 방법은, 관리 서버(200)에 설치된 프로그램이 실행됨에 따라 UI 생성 모듈(300)은 임의의 프로젝트를 구성하여 시작하거나 구성된 프로젝트를 편집 또는 수정하는 프로세스이면, 해당 프로세스를 분석하여 상태 변화를 확인(S100)한다. 1 to 3 , in the method for generating a user interface according to an embodiment of the present invention, as a program installed in the management server 200 is executed, the UI generating module 300 configures and starts an arbitrary project or If it is a process of editing or revising the configured project, the process is analyzed to check the state change (S100).

또한, S100 단계에서, 관리 서버(200)는 설치된 프로그램의 구동을 위한 사용자 단말(100), 사용자 단말 1(100b) 내지 사용자 단말 n(100b)의 사용자 인증을 수행할 수 있다.In addition, in step S100 , the management server 200 may perform user authentication of the user terminal 100 and the user terminal 1 ( 100b ) to the user terminal n ( 100b ) for running the installed program.

계속해서, UI 생성 모듈(300)은 확인 결과에 대응하여 도4와 같은 프로세스의 진행 정보와 프로세스의 변동 정보 발생에 대응한 UI 화면으로 메인 화면(400)을 생성(S200)한다.Subsequently, the UI generating module 300 generates the main screen 400 as a UI screen corresponding to the generation of process progress information and process change information as shown in FIG. 4 in response to the confirmation result ( S200 ).

S200 단계에서 생성되는 메인 화면(400)에는 프로세스의 진행 정보와 발생된 변동 정보에 대응하여 메인 화면(400)상의 임의의 위치에 미리 설정된 색상(Color)을 기반으로 하는 시각화 정보 표시 객체(410)와, 시각화 정보 표시 객체(410)와 연동하여 진행 정보 및 변동 정보 중 적어도 하나를 포함하는 텍스트 정보 표시 객체(420)와, 해당 프로세스의 진행 상태를 표시하는 진행 상태 표시 객체(430)가 배치될 수 있다.In the main screen 400 generated in step S200, a visualization information display object 410 based on a color preset at an arbitrary location on the main screen 400 in response to the process progress information and the generated change information. And, a text information display object 420 including at least one of progress information and change information in conjunction with the visualization information display object 410, and a progress state display object 430 for displaying the progress state of the process are to be arranged can

시각화 정보 표시 객체(410)의 색상은 프로세스의 구성 및 실행, 프로세스의 실행 전 준비, 프로세스의 성공적 완료, 프로세스의 실패 및 프로세스의 일시 정지 중 어느 하나에 따라 서로 다른 색상으로 구분되어 표시될 수 있도록 구성하여 해당 프로세스의 상태에 대한 시각화를 통해 사용자가 직관적으로 인식할 수 있도록 한다. The color of the visualization information display object 410 is divided into different colors according to any one of the configuration and execution of the process, the preparation before the execution of the process, the successful completion of the process, the failure of the process, and the pause of the process so that it can be displayed. Configure it so that the user can intuitively recognize it through the visualization of the state of the process.

또한, 시각화 정보 표시 객체(410)에는 도5와 같이, 시각화 정보(413) 및 텍스트 정보(411, 412, 414)를 포함한 요약 정보가 생성될 수도 있다.In addition, summary information including visualization information 413 and text information 411 , 412 , and 414 may be generated in the visualization information display object 410 as shown in FIG. 5 .

여기서, 시각화 정보는 임의의 색상을 기반으로 하는 시각화 정보 표시 객체(410) 상에 해당 프로세스와 연관되어 미리 설정된 이미지 또는 심벌(Symbol)로 구성된 시각화 정보(413)가 포함되도록 구성하여 사용자가 어떤 프로세스를 실행중인지, 프로세스가 어떤 상태인지를 사용자가 표시되는 시각화 정보를 통해 직관적으로 인식할 수 있도록 한다.Here, the visualization information is configured to include the visualization information 413 consisting of an image or symbol preset in association with the process on the visualization information display object 410 based on an arbitrary color, so that the user can select any process. It enables the user to intuitively recognize whether the program is running or what state the process is in through the displayed visualization information.

또한, 시각화 정보(413)는 시각화 정보 표시 객체(410)의 임의의 위치에 고정되어 있거나, 임의의 위치에서 회전, 반전, 이동 또는 임의의 동작 중 어느 하나의 움직임을 수행하도록 구성되어 시각화 정보(413)의 움직임을 통해 사용자가 프로세스의 동작 상태를 더욱 쉽게 인식할 수 있도록 한다.In addition, the visualization information 413 is fixed to an arbitrary position of the visualization information display object 410, or is configured to perform any one of rotation, inversion, movement, or arbitrary operation at an arbitrary position, so that the visualization information ( 413) allows the user to more easily recognize the operating state of the process.

또한, 텍스트 정보(411, 412, 414)는 시각화 정보(413)를 중심으로 시각화 정보 표시 객체(410)의 임의의 위치에 배치되어 사용자가 해당 프로세스의 요약 정보를 쉽게 획득할 수 있도록 한다.In addition, the text information 411 , 412 , and 414 are arranged at an arbitrary position of the visualization information display object 410 around the visualization information 413 so that the user can easily obtain summary information of the corresponding process.

여기서, 텍스트 정보(411, 412, 414)는 프로젝트의 개설 및 설정과 관련한 정보로서, 해당 프로세스를 생성한 생성자, 생성일시, 해당 프로세스의 현재 상태 또는 프로세스의 처리결과, 추가 사용자 설정 등을 나타낸 메시지를 포함할 수 있다.Here, the text information 411 , 412 , 414 is information related to the opening and setting of a project, and a message indicating the creator who created the process, the creation date and time, the current state of the process or the processing result of the process, additional user settings, etc. may include.

또한, UI 생성 모듈(300)은 프로젝트에 발생된 변동 정보에 따라, 도6(a)의 시각화 정보 표시 객체(410a)에 사용자 추가를 나타낸 시각화 정보(413a)와 텍스트 정보가 표시되도록 한다.In addition, the UI generation module 300 displays the visualization information 413a indicating user addition and text information in the visualization information display object 410a of FIG. 6(a) according to the change information generated in the project.

또한, UI 생성 모듈(300)은 도6(b)의 시각화 정보 표시 객체(410b)에 나타낸 바와 같이, 사용자 감소를 나타낸 시각화 정보(413b)와 텍스트 정보가 표시되도록 하거나, 도6(c)의 시각화 정보 표시 객체(410c)에 나타낸 바와 같이, 메모정보 업데이트를 나타낸 시각화 정보(413c)와 텍스트 정보가 표시되도록 하거나, 도6(d)의 시각화 정보 표시 객체(410d)에 나타낸 바와 같이, 모델을 학습할 수 있는 환경의 설정 정보 업데이트를 나타낸 시각화 정보(413d)와 텍스트 정보가 표시되도록 하거나, 도6(e)의 시각화 정보 표시 객체(410e)에 나타낸 바와 같이, 모델의 학습 정보 업데이트를 나타낸 시각화 정보(413e)와 텍스트 정보가 표시되도록 구성할 수도 있다.In addition, the UI generation module 300 displays the visualization information 413b and text information indicating a decrease in the user as shown in the visualization information display object 410b of FIG. As shown in the visualization information display object 410c, the visualization information 413c and text information indicating the memo information update are displayed, or as shown in the visualization information display object 410d of FIG. 6(d), the model As shown in the visualization information 413d and text information showing the setting information update of the learning environment, or as shown in the visualization information display object 410e of FIG. 6(e), the visualization showing the learning information update of the model Information 413e and text information may be configured to be displayed.

또한, UI 화면 생성부(320)는 도7과 같이, 시각화 정보 표시 객체(410)의 일측에 시각화 정보 표시 객체(410)와 연동하여 프로세스의 진행 정보와 발생된 변동 정보에 대응한 텍스트 정보 표시 객체(420)를 생성하여 표시할 수 있다.In addition, the UI screen generating unit 320, as shown in Figure 7, in conjunction with the visualization information display object 410 on one side of the visualization information display object 410 to display text information corresponding to the progress information of the process and the generated change information An object 420 may be created and displayed.

여기서, 텍스트 정보 표시 객체(420)는 시각화 정보 표시 객체(410)의 요약 정보와 함께 시각화 정보 표시 객체(410)와 관련된 프로세스의 상세 내용을 리스트를 이용한 포맷을 통해 텍스트로 출력함으로써, 사용자가 요약 정보에 대한 상세 내용을 확인할 수 있도록 한다.Here, the text information display object 420 outputs the details of the process related to the visualization information display object 410 together with the summary information of the visualization information display object 410 as text through a format using a list, thereby allowing the user to summarize Allows you to check the details of the information.

즉, 텍스트 정보 표시 객체(420)를 통해 출력되는 상세 내용은 해당 프로세스를 생성한 생성자(421a), 프로세스의 현재 상태 정보 또는 변동 정보(421b) 등이 포함되도록 텍스트를 이용하여 표시되도록 한다.That is, the detailed content output through the text information display object 420 is displayed using text to include the creator 421a who created the process, the current state information or the change information 421b of the process, and the like.

또한, UI 생성 모듈(300)은 프로세스의 동작에 따른 상태 변동을 감지하고, 변동 정보가 감지되면 해당 변동 정보가 텍스트 정보 표시 객체(420)에 반영되도록 하고, 변동이 발생된 프로세스는 최상단에 위치시켜 사용자가 변동이 발생한 내용을 직관적으로 인식할 수 있도록 한다.In addition, the UI generation module 300 detects a state change according to the operation of the process, and when change information is detected, the change information is reflected in the text information display object 420, and the process in which the change occurs is located at the top This allows the user to intuitively recognize the content of the change.

또한, 텍스트 정보 표시 객체(420)의 일측에는 상세 설명에 연동된 하위 내용을 확인할 수 있는 표시 객체(422)가 구성될 수 있다.Also, on one side of the text information display object 420 , a display object 422 that can check sub-content linked to the detailed description may be configured.

계속해서, UI 생성 모듈(300)은 새로운 환경을 구성하여 프로젝트 내에서 임의의 모델을 학습하는 추가 프로세스의 실행 여부를 판단(S300)한다.Subsequently, the UI generation module 300 determines whether to execute an additional process for learning an arbitrary model within the project by configuring a new environment ( S300 ).

S300 단계에서 추가 프로세스가 실행됨에 따라, UI 생성 모듈(300)은 해당 프로세스를 검색하고, 검색된 프로세스의 상태를 분석하여 변화 정보를 확인(S400)한다. As the additional process is executed in step S300, the UI generation module 300 searches for the corresponding process, analyzes the state of the searched process, and confirms change information (S400).

또한, UI 생성 모듈(300)은 확인 결과에 대응하여 도8과 같은 프로세스의 진행 정보와 프로세스의 변동 정보 발생에 대응하여 모델을 학습할 수 있는 도구, 환경 등을 구성하는 UI 화면으로 추가 동작 화면(500)을 생성(S500)한다.In addition, the UI generation module 300 is an additional operation screen as a UI screen for configuring a tool, environment, etc. for learning a model in response to the occurrence of process progress information and process change information as shown in FIG. 8 in response to the confirmation result (500) is generated (S500).

또한, S500 단계에서 생성되는 추가 동작 화면(500)에는 프로세스의 진행 정보와 발생된 변동 정보에 대응하여 추가 동작 화면(500)상의 임의의 위치에 미리 설정된 색상(Color)을 기반으로 하는 추가 시각화 정보 표시 객체(510)와, 추가 시각화 정보 표시 객체(510)와 연동하여 진행 정보 및 변동 정보 중 적어도 하나를 포함하는 추가 텍스트 정보 표시 객체(520)와, 해당 프로세스의 진행 상태를 표시하는 리스트 표시 객체(530)가 배치될 수 있다.In addition, in the additional operation screen 500 generated in step S500, additional visualization information based on a color preset at an arbitrary position on the additional operation screen 500 in response to the process progress information and the generated change information The display object 510, the additional text information display object 520 including at least one of progress information and change information in conjunction with the additional visualization information display object 510, and a list display object for displaying the progress of the corresponding process 530 may be disposed.

여기서, 추가 시각화 정보 표시 객체(510)의 색상은 프로세스의 구성 및 실행, 프로세스의 실행 전 준비, 프로세스의 성공적 완료, 프로세스의 실패 및 프로세스의 일시 정지 중 어느 하나에 따라 서로 다른 색상으로 구분되어 표시될 수 있도록 구성하여 해당 프로세스의 상태에 대한 시각화를 통해 사용자가 직관적으로 인식할 수 있도록 한다.Here, the color of the additional visualization information display object 510 is divided into different colors and displayed according to any one of the configuration and execution of the process, the preparation before the execution of the process, the successful completion of the process, the failure of the process, and the pause of the process. It is configured so that the user can intuitively recognize it through the visualization of the state of the process.

한편, 본 실시 예에서는 퍼플(Purple), 그레이(Gray), 블루(Blue), 핑크(Pink), 오렌지(Orange) 색상을 실시 예로 설명하지만 이에 한정되는 것은 아니고, 다양한 색상으로 변경 실시 할 수 있음은 당업자에게 있어서 자명할 것이다.Meanwhile, in this embodiment, although purple, gray, blue, pink, and orange colors are described as examples, the present embodiment is not limited thereto, and various colors may be used. will be apparent to those skilled in the art.

퍼플 색상은 프로젝트 내에서 임의의 모델을 학습할 수 있는 환경을 구성하는 Running, 모델이 학습할 수 있는 환경 내에서 모델의 학습을 수행하는 Running 상태를 표시하고, 그레이 색상은 Creating 상태로 환경 설정 및 학습 등의 실행 전 준비 단계를 표시한다.Purple color indicates Running, which constitutes an environment that can train an arbitrary model within the project, and Running state, which performs model training within an environment where the model can learn, and gray color indicates Environment setting and Indicate preparatory steps before execution, such as learning.

또한, 블루 색상은 성공적으로 완료되었음을 표시하고, 핑크 색상은 다양한 이유로 실패되었다는 경고의 의미를 표시하며, 오렌지 색상은 해당 프로세스가 성공적으로 완료될 수도 있고, 실패될 수도 있는 중간 정지 상태를 표시한다.In addition, blue color indicates successful completion, pink color indicates a warning that it has failed for various reasons, and orange color indicates an intermediate stop state where the process may or may not complete successfully.

또한, 추가 시각화 정보 표시 객체(510)에는 도9와 같이, 시각화 정보(516) 및 텍스트 정보(511, 512, 513, 514, 515)를 포함한 요약 정보가 임의의 배경색(517)을 기반으로 생성될 수 있다.In addition, in the additional visualization information display object 510 , as shown in FIG. 9 , summary information including visualization information 516 and text information 511 , 512 , 513 , 514 , 515 is generated based on an arbitrary background color 517 . can be

여기서, 시각화 정보(516)는 임의의 배경색(517)을 기반으로 하는 추가 시각화 정보 표시 객체(510) 상에 해당 프로세스와 연관되어 미리 설정된 이미지 또는 심벌(Symbol)로 구성된 시각화 정보(516)가 포함되도록 구성하여 사용자가 어떤 프로세스를 실행중인지, 해당 프로세스가 어떤 상태인지를 사용자가 표시되는 시각화 정보(516)와 배경색(517)을 통해 직관적으로 인식할 수 있도록 한다.Here, the visualization information 516 includes visualization information 516 composed of an image or symbol preset in association with the process on the additional visualization information display object 510 based on an arbitrary background color 517. It is configured so that the user can intuitively recognize which process is being executed and what state the process is in through the displayed visualization information 516 and the background color 517 .

또한, 시각화 정보(516)는 추가 시각화 정보 표시 객체(510)의 임의의 위치에 고정되어 있거나, 임의의 위치에서 회전, 반전, 이동 또는 임의의 동작 중 어느 하나의 움직임을 수행하도록 구성되어 시각화 정보(516)의 움직임을 통해 사용자가 프로세스의 동작 상태를 더욱 쉽게 인식할 수 있도록 구성될 수도 있다.In addition, the visualization information 516 is fixed at an arbitrary position of the additional visualization information display object 510, or is configured to perform any one of rotation, inversion, movement, or arbitrary motion at an arbitrary position, so that the visualization information It may be configured so that the user can more easily recognize the operation state of the process through the movement of 516 .

또한, 텍스트 정보(511, 512, 513, 514, 515)는 시각화 정보(516)를 중심으로 추가 시각화 정보 표시 객체(510)의 임의의 위치에 배치되어 사용자가 해당 프로세스의 요약 정보를 쉽게 획득할 수 있도록 한다.In addition, the text information 511 , 512 , 513 , 514 , and 515 are arranged at an arbitrary position of the additional visualization information display object 510 centered on the visualization information 516 so that the user can easily obtain summary information of the corresponding process. make it possible

여기서, 텍스트 정보(511, 512, 513, 514, 515)는 해당 프로세스를 생성한 생성자, 생성일시, 해당 프로세스의 현재 상태 또는 프로세스의 처리결과, 시작시간, 종료시간 등을 나타낸 메시지를 포함할 수 있다.Here, the text information 511, 512, 513, 514, and 515 may include a message indicating the creator who created the process, the creation date and time, the current state of the process or the processing result of the process, the start time, the end time, etc. have.

또한, UI 생성 모듈(300)은 프로젝트에 발생된 변동 정보에 따라, 도10(a)의 추가 시각화 정보 표시 객체(510a)에 배경색(517)을 기반으로 생성 과정을 나타낸 시각화 정보(516a)와 텍스트 정보가 표시되도록 구성할 수도 있다.In addition, the UI generation module 300 includes visualization information 516a showing a generation process based on the background color 517 in the additional visualization information display object 510a of FIG. 10 (a) according to the change information generated in the project; It can also be configured to display text information.

또한, UI 생성 모듈(300)은 도10(b)의 추가 시각화 정보 표시 객체(510b)에 나타낸 바와 같이, 모델을 학습할 수 있는 도구와 환경을 구성하는 UI 화면으로, 임의의 배경색(517b)을 기반으로 획득한 모델을 이용하여 모델 서비스를 만드는 빌딩(Building) 과정을 나타낸 시각화 정보(516b)와 텍스트 정보가 표시되도록 하거나, 도10(c)의 추가 시각화 정보 표시 객체(510c)에 나타낸 바와 같이, 임의의 배경색(517c)을 기반으로 완료 상태를 나타낸 시각화 정보(516c)와 텍스트 정보가 표시되도록 하거나, 도10(d)의 추가 시각화 정보 표시 객체(510d)에 나타낸 바와 같이, 임의의 배경색(517d)을 기반으로 경고 상태를 나타낸 시각화 정보(516d)와 텍스트 정보가 표시되도록 구성할 수도 있다.In addition, as shown in the additional visualization information display object 510b of FIG. 10(b), the UI generation module 300 is a UI screen that configures tools and environments for learning a model, and has an arbitrary background color 517b. Visualization information 516b and text information indicating a building process for creating a model service using a model obtained based on Similarly, visualization information 516c and text information indicating the completion status are displayed based on an arbitrary background color 517c, or as shown in the additional visualization information display object 510d of FIG. 10(d), an arbitrary background color Visualization information 516d indicating a warning state and text information may be configured to be displayed based on 517d.

또한, UI 생성 모듈(300)은 'Creating' -> 'Building' -> 'Complete'의 단계로 구성될 수 있고, 'Complete'가 되어야 모델을 학습시킬 수 있으며, 1개 이상의 모델을 학습 시킬 수 있는 시점부터 'Working' 단계가 될 수 있으며, 'Working' 단계에서는 이미지가 아닌 생성한 모델 학습의 주요 상태별 개수를 표시할 수도 있다.In addition, the UI generation module 300 can be configured in the steps of 'Creating' -> 'Building' -> 'Complete', and can train a model only when it becomes 'Complete', and can train one or more models. It can be the 'Working' stage from the time there is, and in the 'Working' stage, the number of each major state of the generated model learning can be displayed instead of an image.

또한, 리스트 표시 객체(530)에는 프로세스별로 진행중인 현재 상태와 모델 학습 중인 프로세스를 표시함으로써, 사용자가 해당 프로세스의 상태를 더욱 쉽게 확인할 수 있도록 한다.In addition, the list display object 530 displays the current state in progress for each process and the process in which the model is being trained, so that the user can more easily check the state of the corresponding process.

계속해서, UI 생성 모듈(300)은 모델을 학습할 수 있는 환경 내에서 여러 개의 모델 학습을 구성하는 세부 프로세스의 실행 여부를 판단(S600)한다.Subsequently, the UI generation module 300 determines whether to execute a detailed process constituting a plurality of model learning within an environment in which a model can be learned ( S600 ).

S600 단계에서 세부 프로세스가 실행됨에 따라, UI 생성 모듈(300)은 해당 프로세스를 검색하고, 검색된 프로세스의 상태를 분석하여 변화 정보를 확인(S700)한다. As the detailed process is executed in step S600 , the UI generation module 300 searches for the corresponding process, analyzes the state of the searched process, and confirms change information ( S700 ).

또한, UI 생성 모듈(300)은 확인 결과에 대응하여 도11과 같은 프로세스의 진행 정보와 프로세스의 변동 정보 발생에 대응한 UI 화면으로서, 예를 들어 빌드과정을 통해 생성된 모델 서비스가 제대로 동작하는지 내부적으로 확인하기 위한 세부 동작 화면(600)을 생성(S800)한다.In addition, the UI generation module 300 is a UI screen corresponding to the generation of process progress information and process change information as shown in FIG. 11 in response to the confirmation result, for example, whether the model service generated through the build process operates properly. A detailed operation screen 600 for internal confirmation is generated (S800).

S800 단계에서 생성되는 세부 동작 화면(600)에는 프로세스의 진행 정보와 발생된 변동 정보에 대응하여 세부 동작 화면(600)상의 임의의 위치에 미리 설정된 색상(Color)을 기반으로 하는 세부 시각화 정보 표시 객체(610)와, 세부 시각화 정보 표시 객체(610)와 연동하여 진행 정보 및 변동 정보 중 적어도 하나를 포함하는 세부 텍스트 정보 표시 객체(620)와, 해당 프로세스의 진행 상태를 표시하는 동작 상태 표시 객체(630)가 배치될 수 있다.In the detailed operation screen 600 generated in step S800, detailed visualization information display object based on a preset color at an arbitrary position on the detailed operation screen 600 in response to the process progress information and the generated fluctuation information 610 and a detailed text information display object 620 including at least one of progress information and change information in conjunction with the detailed visualization information display object 610, and an operation state display object for displaying the progress of the corresponding process ( 630) may be disposed.

여기서, 세부 시각화 정보 표시 객체(610)의 색상은 프로세스의 구성 및 실행, 프로세스의 실행 전 준비, 프로세스의 성공적 완료, 프로세스의 실패 및 프로세스의 일시 정지 중 어느 하나에 따라 서로 다른 색상으로 구분되어 표시될 수 있도록 구성하여 해당 프로세스의 상태에 대한 시각화를 통해 사용자가 직관적으로 인식할 수 있도록 한다.Here, the color of the detailed visualization information display object 610 is divided into different colors and displayed according to any one of the configuration and execution of the process, the preparation before the execution of the process, the successful completion of the process, the failure of the process, and the pause of the process. It is configured so that the user can intuitively recognize it through the visualization of the state of the process.

또한, 세부 시각화 정보 표시 객체(610)에는 도12와 같이, 시각화 정보(616) 및 텍스트 정보(611, 612, 613, 614, 615, 617)를 포함한 요약 정보가 임의의 배경색(619)을 기반으로 생성될 수 있다.In addition, in the detailed visualization information display object 610, as shown in FIG. 12, summary information including visualization information 616 and text information 611, 612, 613, 614, 615, 617 is based on an arbitrary background color 619. can be created with

또한, 시각화 정보(616)는 임의의 배경색(619)을 기반으로 하는 세부 시각화 정보 표시 객체(610) 상에 해당 프로세스와 연관되어 미리 설정된 이미지(616a), 심벌(616b) 및 진행률 정보표시부(616c)로 구성하여 사용자가 어떤 프로세스를 실행중인지, 해당 프로세스가 어떤 상태인지를 사용자가 표시되는 시각화 정보(616)와 배경색(619)을 통해 직관적으로 인식할 수 있도록 한다.In addition, the visualization information 616 is a preset image 616a, a symbol 616b, and a progress information display unit 616c associated with the process on the detailed visualization information display object 610 based on an arbitrary background color 619. ) so that the user can intuitively recognize what process the user is running and what state the process is in through the displayed visualization information 616 and the background color 619 .

또한, 시각화 정보(616)는 세부 시각화 정보 표시 객체(610)의 임의의 위치에 고정되어 있거나, 임의의 위치에서 회전, 반전, 이동 또는 임의의 동작 중 어느 하나의 움직임을 수행하도록 구성되어 시각화 정보(616)의 움직임을 통해 사용자가 프로세스의 동작 상태를 더욱 쉽게 인식할 수 있도록 구성될 수도 있다.In addition, the visualization information 616 is fixed at an arbitrary position of the detailed visualization information display object 610, or is configured to perform any one of rotation, inversion, movement, or arbitrary operation at an arbitrary position, so that the visualization information It may be configured so that the user can more easily recognize the operation state of the process through the movement of 616 .

또한, 텍스트 정보(611, 612, 613, 614, 615, 617)는 시각화 정보(616)를 중심으로 세부 시각화 정보 표시 객체(610)의 임의의 위치에 배치되어 사용자가 해당 프로세스의 요약 정보를 쉽게 획득할 수 있도록 한다.In addition, the text information 611 , 612 , 613 , 614 , 615 , 617 is arranged at an arbitrary position of the detailed visualization information display object 610 with the visualization information 616 as the center, so that the user can easily view the summary information of the process. make it possible to obtain

여기서, 텍스트 정보(611, 612, 613, 614, 615, 617)는 해당 프로세스를 생성한 생성자, 생성일시, 해당 프로세스의 현재 상태 또는 프로세스의 처리결과, 시작시간, 종료시간, 기능 버튼 등을 나타낸 메시지를 포함할 수 있다.Here, the text information 611 , 612 , 613 , 614 , 615 , and 617 indicates the creator who created the process, the creation date and time, the current state of the process or the processing result of the process, the start time, the end time, the function button, etc. It can contain messages.

또한, 세부 시각화 정보 표시 객체(610)는 모델 학습 중인 프로세스의 상세 진행 현황을 보기 위한 버튼(618)이 구성될 수도 있다.In addition, the detailed visualization information display object 610 may be configured with a button 618 for viewing the detailed progress status of the model learning process.

이때, 버튼(618)이 선택되면, 세부 시각화 정보 표시 객체(610)가 반전되는 인터렉션을 통해 상세 진행 현황이 포함된 상세 동작 화면으로 전환될 수 있다.At this time, when the button 618 is selected, the detailed visualization information display object 610 may be switched to a detailed operation screen including the detailed progress status through an inverted interaction.

또한, UI 생성 모듈(300)은 프로젝트에 발생된 변동 정보에 따라, 도13(a)과 같이, 임의의 배경색(619a)을 기반으로 Configuring을 나타낸 세부 시각화 정보 표시 객체(610a), 도13(b)와 같이 임의의 배경색(619b)을 기반으로 진행률이 표시된 'Running'을 나타낸 세부 시각화 정보 표시 객체(610b), 도13(c)와 같이 임의의 배경색(619c)을 기반으로 완료된 상태의 'Running'을 나타낸 세부 시각화 정보 표시 객체(610d), 도13(d)와 같이 임의의 배경색(619d)을 기반으로 'Succeeded'를 나타낸 세부 시각화 정보 표시 객체(610d), 도13(e)와 같이 임의의 배경색(619e)을 기반으로 'Warning'을 나타낸 세부 시각화 정보 표시 객체(610e), 도13(f)와 같이 임의의 배경색(619f)을 기반으로 'Failed'를 나타낸 세부 시각화 정보 표시 객체(610f), 도13(g)와 같이 임의의 배경색(619g)을 기반으로 'Stopped'를 나타낸 세부 시각화 정보 표시 객체(610g)가 표시되도록 구성할 수도 있다.In addition, the UI generation module 300 is a detailed visualization information display object 610a showing Configuring based on an arbitrary background color 619a, as shown in Fig. 13 (a), according to the change information generated in the project, Fig. 13 ( As shown in b), a detailed visualization information display object 610b showing 'Running' in which progress is displayed based on an arbitrary background color 619b, as shown in FIG. A detailed visualization information display object 610d showing 'Running', a detailed visualization information display object 610d showing 'Succeeded' based on an arbitrary background color 619d as shown in Fig. 13(d), as shown in Fig. 13(e) Detailed visualization information display object 610e showing 'Warning' based on an arbitrary background color 619e, a detailed visualization information display object showing 'Failed' based on an arbitrary background color 619f as shown in Fig. 13(f) ( 610f), the detailed visualization information display object 610g indicating 'Stopped' may be configured to be displayed based on an arbitrary background color 619g as shown in FIG. 13(g).

한편, 모델 학습 중인 프로세스의 상세 진행 현황을 보기 위한 버튼(618)이 활성화되면, UI 생성 모듈(300)은 도14와 같이, 상세 시각화 정보 표시 객체(640)로 전환되도록 한다.On the other hand, when the button 618 for viewing the detailed progress of the model learning process is activated, the UI generation module 300 switches to the detailed visualization information display object 640 as shown in FIG. 14 .

즉, UI 생성 모듈(300)은 세부 UI 화면과 연동된 하나 이상의 상세 화면 출력이 요청되면, 모델 학습 중인 프로세스의 상세 진행 현황을 확인하기 위해 세부 시각화 정보 표시 객체(610)를 상세 시각화 정보 표시 객체(640)로 전환하여 표시되도록 한다.That is, the UI generation module 300 sets the detailed visualization information display object 610 to the detailed visualization information display object in order to check the detailed progress of the model learning process when one or more detailed screen output interlocked with the detailed UI screen is requested. Switch to (640) so that it is displayed.

상세 시각화 정보 표시 객체(640)는 도15와 같이, 전체 진행률을 나타내는 진행률 표시부(641)와, 현재 진행 단계를 나타내는 진행 단계 표시부(642)와, 프로그래스 바(643)와, 진행 표시부(644)와, 세부 진행률(645)과, 세부 시각화 정보 표시 객체(610) 화면으로 원위치되도록 동작하는 되돌아가기 버튼(646)이 포함되어 구성될 수 있다.The detailed visualization information display object 640 includes a progress display unit 641 indicating the overall progress rate, a progress stage display unit 642 indicating the current progress stage, a progress bar 643 and a progress display unit 644 as shown in FIG. ), a detailed progress rate 645, and a detailed visualization information display object 610 may be configured to include a return button 646 that operates to return to the original screen.

따라서, 프로그램의 구동시에 프로세스의 진행 상태 및 프로세스의 변동 발생시 이미지, 심벌, 색상 및 텍스트에 기반한 시각화 정보를 생성하여 출력함으로써, 사용자가 직관적으로 인식할 수 있게 된다.Accordingly, by generating and outputting visualization information based on images, symbols, colors, and texts when the progress of a process and a change in the process occur when the program is running, the user can intuitively recognize it.

이상의 실시예에서는 인공지능 에이전트를 개발하는 프로그램에 대하여 설명하였지만, 본 발명은 이에 제안되지 않으며, 다양한 목적을 가지는 임의의 프로그램에 적절하게 변형되어 UI 생성 모듈의 동작이 수행될 수 있다.Although the above embodiment has been described with respect to a program for developing an artificial intelligence agent, the present invention is not proposed thereto, and the operation of the UI generating module may be performed by appropriately modifying any program having various purposes.

UI 생성 모듈은 해당 프로그램의 구동에 의해 실행되는 프로세스를 분석하고, 분석 결과에 따라 프로세스의 진행 정보와 프로세스의 변동 정보 발생에 대응한 UI 화면을 생성할 수 있다.The UI generating module may analyze a process executed by driving the corresponding program and generate a UI screen corresponding to the generation of process progress information and process change information according to the analysis result.

UI 생성 모듈은 UI 화면에 해당 프로그램의 구동에 의해 실행되는 프로세스의 진행 정보와 발생된 변동 정보에 대응하여 미리 설정된 색상(Color)을 기반으로 하는 시각화 정보 표시 객체와, 상기 시각화 정보 표시 객체에 시각화 정보 및 텍스트 정보 중 하나 이상을 포함한 요약 정보를 생성할 수 있다.The UI generation module includes a visualization information display object based on a preset color in response to the change information and progress information of a process executed by driving the corresponding program on the UI screen, and visualized on the visualization information display object Summary information including one or more of informational and textual information may be generated.

이에 따라 해당 프로그램 구동시에 프로세스의 진행 상태 및 프로세스의 변동 발생시 이미지, 심벌, 색상 및 텍스트에 기반한 시각화 정보를 생성하여 출력함으로써, 사용자가 직관적으로 인식할 수 있게 된다.Accordingly, the user can intuitively recognize by generating and outputting visualization information based on images, symbols, colors, and texts when the progress of the process and changes in the process occur when the corresponding program is driven.

상기와 같이, 본 발명의 바람직한 실시 예를 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.As described above, although described with reference to the preferred embodiment of the present invention, those skilled in the art can variously modify and change the present invention within the scope without departing from the spirit and scope of the present invention described in the claims below. You will understand that it can be done.

또한, 본 발명의 특허청구범위에 기재된 도면번호는 설명의 명료성과 편의를 위해 기재한 것일 뿐 이에 한정되는 것은 아니며, 실시예를 설명하는 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.In addition, the reference numbers described in the claims of the present invention are only described for clarity and convenience of explanation, and are not limited thereto, and in the process of describing the embodiment, the thickness of the lines shown in the drawings or the size of components, etc. may be exaggerated for clarity and convenience of explanation.

또한, 상술된 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있으므로, 이러한 용어들에 대한 해석은 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In addition, the above-mentioned terms are terms defined in consideration of functions in the present invention, which may vary depending on the intention or custom of the user or operator, so the interpretation of these terms should be made based on the content throughout this specification. .

또한, 명시적으로 도시되거나 설명되지 아니하였다 하여도 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기재사항으로부터 본 발명에 의한 기술적 사상을 포함하는 다양한 형태의 변형을 할 수 있음은 자명하며, 이는 여전히 본 발명의 권리범위에 속한다. In addition, even if it is not explicitly shown or described, a person of ordinary skill in the art to which the present invention pertains can make various modifications including the technical idea according to the present invention from the description of the present invention. Obviously, this still falls within the scope of the present invention.

또한, 첨부하는 도면을 참조하여 설명된 상기의 실시예들은 본 발명을 설명하기 위한 목적으로 기술된 것이며 본 발명의 권리범위는 이러한 실시예에 국한되지 아니한다.In addition, the above embodiments described with reference to the accompanying drawings have been described for the purpose of explaining the present invention, and the scope of the present invention is not limited to these embodiments.

100 : 사용자 단말 100a : 사용자 단말 1
100b : 사용자 단말 n 200 : 관리 서버
300 : UI 생성 모듈 310 : 데이터 통신부
320 : UI 화면 생성부 330 : 상태 변화 감지부
340 : 출력 인터페이스부 400 : 메인 화면
410 : 시각화 정보 표시 객체 420 : 텍스트 정보 표시 객체
430 : 진행 상태 표시 객체 500 : 추가 동작 화면
510 : 추가 시각화 정보 표시 객체 520 : 추가 텍스트 정보 표시 객체
530 : 리스트 표시 객체 600 : 세부 동작 화면
610 : 세부 시각화 정보 표시 객체 620 : 세부 텍스트 정보 표시 객체
630 : 동작 상태 표시 객체 640 : 상세 시각화 정보 표시 객체100: user terminal 100a: user terminal 1
100b: user terminal n 200: management server
300: UI generation module 310: data communication unit
320: UI screen generation unit 330: state change detection unit
340: output interface 400: main screen
410: visualization information display object 420: text information display object
430: progress display object 500: additional operation screen
510: additional visualization information display object 520: additional text information display object
530: list display object 600: detailed operation screen
610: detailed visualization information display object 620: detailed text information display object
630: operation state display object 640: detailed visualization information display object

Claims (14)

임의의 프로그램의 구동에 의해 실행되는 프로세스를 분석하고, 상기 분석 결과에 따라 프로세스의 진행 정보와 프로세스의 변동 정보 발생에 대응한 UI 화면을 생성하는 UI 생성 모듈(300)을 포함하되,
상기 UI 생성 모듈(300)은 UI 화면에 프로세스의 진행 정보와 발생된 변동 정보에 대응하여 미리 설정된 색상(Color)을 기반으로 하는 시각화 정보 표시 객체와, 상기 시각화 정보 표시 객체에 시각화 정보 및 텍스트 정보 중 하나 이상을 포함한 요약 정보를 생성하는 것을 특징으로 하는 사용자 인터페이스 생성 장치.and a UI generating module 300 that analyzes a process executed by driving an arbitrary program and generates a UI screen corresponding to the generation of process progress information and process change information according to the analysis result,
The UI generation module 300 includes a visualization information display object based on a preset color in response to process progress information and generated change information on the UI screen, and visualization information and text information on the visualization information display object. A user interface generating device, characterized in that generating summary information including at least one of. 제 1 항에 있어서,
상기 UI 화면은 시각화 정보 표시 객체와 연동하여 진행 정보 및 변동 정보 중 적어도 하나를 출력하는 텍스트 정보 표시 객체를 더 포함하는 것을 특징으로 하는 사용자 인터페이스 생성 장치.The method of claim 1,
The UI screen further comprises a text information display object for outputting at least one of progress information and change information in conjunction with the visualization information display object. 제 1 항 또는 제 2 항에 있어서,
상기 UI 화면의 색상은 프로세스의 실행, 프로세스의 실행 전 준비, 프로세스의 성공적 완료, 프로세스의 실패 및 프로세스의 일시 정지 중 어느 하나에 따라 서로 다른 색상으로 구분되는 것을 특징으로 하는 사용자 인터페이스 생성 장치.3. The method according to claim 1 or 2,
The UI screen color is divided into different colors according to any one of execution of a process, preparation before execution of the process, successful completion of the process, failure of the process, and pause of the process. 제 1 항 또는 제 2 항에 있어서,
상기 UI 화면의 시각화 정보는 미리 설정된 이미지 또는 심벌(Symbol)을 포함하되,
회전, 반전, 이동 및 임의의 동작 중 어느 하나의 움직임을 수행하는 것을 특징으로 하는 사용자 인터페이스 생성 장치.3. The method according to claim 1 or 2,
The visualization information of the UI screen includes a preset image or symbol (Symbol),
An apparatus for generating a user interface, characterized in that any one of rotation, inversion, movement, and arbitrary motion is performed. 제 1 항에 있어서,
상기 텍스트 정보는 생성자, 생성일시, 시작일시, 종료일시, 현재상태, 진행률, 메시지 중 적어도 하나를 포함하는 것을 특징으로 하는 사용자 인터페이스 생성 장치.The method of claim 1,
The text information includes at least one of a creator, a creation date and time, a start date and time, an end date and time, a current state, a progress rate, and a message. 제 1 항에 있어서,
상기 UI 생성 모듈(300)은 네트워크를 통해 접속한 하나 이상의 사용자 단말(100, 100a, 100b)과 프로그램의 구동 정보와 디스플레이 정보를 송수신하는 데이터 통신부(310);
상기 프로그램의 구동에 따른 프로세스를 분석하고, 상기 분석 결과에 대응하여 미리 설정된 색상을 기반으로 하는 시각화 정보 표시 객체와, 상기 시각화 정보 표시 객체에 시각화 정보 및 텍스트 정보 중 하나 이상을 포함하는 UI 화면을 생성하는 UI 화면 생성부(320);
상기 프로세스의 동작에 따른 상태 변동을 감지하고, 감지된 변동 정보가 상기 UI 화면 생성부(320)에 반영되도록 동작하는 상태 변화 감지부(330); 및
상기 UI 화면이 사용자 단말(100, 100a, 100b)에 디스플레이 되도록 제어하는 출력 인터페이스부(340);를 포함하는 것을 특징으로 하는 사용자 인터페이스 생성 장치.The method of claim 1,
The UI generation module 300 includes a data communication unit 310 for transmitting and receiving program driving information and display information with one or more user terminals 100 , 100a , 100b connected through a network;
Analyze a process according to the driving of the program, and a visualization information display object based on a preset color in response to the analysis result, and a UI screen including at least one of visualization information and text information in the visualization information display object UI screen generating unit 320 to generate;
a state change detection unit 330 that detects a state change according to the operation of the process and operates so that the detected change information is reflected in the UI screen generating unit 320; and
and an output interface unit (340) for controlling the UI screen to be displayed on the user terminals (100, 100a, 100b). a) UI 생성 모듈(300)이 임의의 프로그램의 구동에 의해 실행되는 프로세스를 분석하여 상태 변화를 확인하고, 상기 확인 결과에 따라 프로세스의 진행 정보와 프로세스의 변동 정보 발생에 대응한 UI 화면을 생성하는 단계; 및
b) 상기 UI 생성 모듈(300)이 생성된 UI 화면을 사용자 단말(100, 100a, 100b)에 디스플레이 되도록 제어하는 단계;를 포함하되,
상기 UI 생성 모듈(300)은 UI 화면에 프로세스의 진행 정보와 발생된 변동 정보에 대응하여 미리 설정된 색상(Color)을 기반으로 하는 시각화 정보 표시 객체와, 상기 시각화 정보 표시 객체에 시각화 정보 및 텍스트 정보 중 하나 이상을 포함한 요약 정보를 생성하는 것을 특징으로 하는 사용자 인터페이스 생성 방법.a) The UI generation module 300 analyzes a process executed by driving an arbitrary program to confirm a state change, and generates a UI screen corresponding to the generation of process progress information and process change information according to the confirmation result to do; and
b) controlling the UI screen generated by the UI generation module 300 to be displayed on the user terminal 100, 100a, 100b;
The UI generation module 300 includes a visualization information display object based on a preset color in response to process progress information and generated change information on the UI screen, and visualization information and text information on the visualization information display object. A method of generating a user interface, comprising generating summary information including at least one of: 제 7 항에 있어서,
상기 UI 화면은 시각화 정보 표시 객체와 연동하여 진행 정보 및 변동 정보 중 적어도 하나를 출력하는 텍스트 정보 표시 객체를 더 포함하는 것을 특징으로 하는 사용자 인터페이스 생성 방법.8. The method of claim 7,
The UI screen further comprises a text information display object for outputting at least one of progress information and change information in conjunction with the visualization information display object. 제 7 항에 있어서,
상기 UI 화면의 색상은 프로세스의 동작, 프로세스의 실행 전 준비, 프로세스의 성공적 완료, 프로세스의 실패 및 프로세스의 일시 정지 중 어느 하나에 따라 서로 다른 색상으로 구분되는 것을 특징으로 하는 사용자 인터페이스 생성 방법.8. The method of claim 7,
The UI screen color is divided into different colors according to any one of an operation of a process, preparation before execution of the process, successful completion of the process, failure of the process, and pause of the process. 제 7 항에 있어서,
상기 UI 화면의 시각화 정보는 미리 설정된 이미지 또는 심벌(Symbol)을 포함하는 것을 특징으로 하는 사용자 인터페이스 생성 방법.8. The method of claim 7,
The visualization information of the UI screen is a user interface creation method, characterized in that it includes a preset image or symbol (Symbol). 제 10 항에 있어서,
상기 시각화 정보는 회전, 반전, 이동 및 임의의 동작 중 어느 하나의 움직임을 수행하는 것을 특징으로 하는 사용자 인터페이스 생성 방법.11. The method of claim 10,
The visualization information is a method of generating a user interface, characterized in that performing any one of rotation, inversion, movement, and an arbitrary operation. 제 7 항에 있어서,
상기 텍스트 정보는 생성자, 생성일시, 시작일시, 종료일시, 현재상태, 진행률, 메시지 중 적어도 하나를 포함하는 것을 특징으로 하는 사용자 인터페이스 생성 방법.8. The method of claim 7,
The text information comprises at least one of a creator, a creation date and time, a start date and time, an end date and time, a current state, a progress rate, and a message. 제 7 항에 있어서,
상기 UI 생성 모듈(300)은 UI 화면과 연동된 하나 이상의 추가 UI 화면과, 상기 추가 UI 화면과 연동된 하나 이상의 세부 UI 화면을 구성하되,
상기 추가 UI 화면과 세부 UI 화면은 상기 UI 화면에 구성된 시각화 정보 및 텍스트 정보 또는 추가 화면에 구성된 시각화 정보 및 텍스트 정보 중 적어도 하나의 선택을 통해 가시적으로 표시되고,
상기 추가 UI 화면 및 세부 UI 화면에는 해당 프로세스의 진행 정보와 발생된 변동 정보에 대응하여 미리 설정된 색상을 기반으로 하는 시각화 정보 표시 객체와, 상기 시각화 정보 표시 객체에 시각화 정보 및 텍스트 정보 중 하나 이상을 포함한 요약 정보가 생성되는 것을 특징으로 하는 사용자 인터페이스 생성 방법.8. The method of claim 7,
The UI generation module 300 configures one or more additional UI screens interlocked with the UI screen, and one or more detailed UI screens interlocked with the additional UI screen,
The additional UI screen and the detailed UI screen are visually displayed through selection of at least one of visualization information and text information configured on the UI screen or visualization information and text information configured on the additional screen,
The additional UI screen and the detailed UI screen include a visualization information display object based on a preset color in response to the process progress information and the generated change information, and at least one of visualization information and text information to the visualization information display object. A method for generating a user interface, characterized in that the summary information is generated. 제 13 항에 있어서,
상기 UI 생성 모듈(300)은 세부 UI 화면과 연동된 하나 이상의 상세 화면을 구성하되,
상기 상세 화면의 출력이 요청되면, 모델 학습 중인 프로세스의 상세 진행 현황을 확인하기 위해 세부 시각화 정보 표시 객체(610)를 상세 시각화 정보 표시 객체(640)로 전환하여 표시하는 것을 특징으로 하는 사용자 인터페이스 생성 방법.14. The method of claim 13,
The UI generating module 300 configures one or more detailed screens linked with the detailed UI screens,
When the output of the detailed screen is requested, the detailed visualization information display object 610 is converted to the detailed visualization information display object 640 to check the detailed progress status of the process under model learning, and is displayed. Way.
KR1020210082498A 2021-06-24 2021-06-24 Apparatus and method for creating user interface KR102310543B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210082498A KR102310543B1 (en) 2021-06-24 2021-06-24 Apparatus and method for creating user interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210082498A KR102310543B1 (en) 2021-06-24 2021-06-24 Apparatus and method for creating user interface

Publications (1)

Publication Number Publication Date
KR102310543B1 true KR102310543B1 (en) 2021-10-08

Family

ID=78116006

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210082498A KR102310543B1 (en) 2021-06-24 2021-06-24 Apparatus and method for creating user interface

Country Status (1)

Country Link
KR (1) KR102310543B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100962439B1 (en) * 2008-01-15 2010-06-14 포항공과대학교 산학협력단 Method of generating user interface model applicable to various platform and apparatus thereof
KR101545137B1 (en) * 2008-04-17 2015-08-19 삼성전자주식회사 Method and apparatus for generating user interface
KR101746752B1 (en) * 2016-01-05 2017-06-13 아토리서치(주) Method and apparatus for generating user interface for management of software defined network
KR20210035057A (en) 2019-09-21 2021-03-31 삼성전자주식회사 Method and system for generating dynamic user interface layout for and electronic device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100962439B1 (en) * 2008-01-15 2010-06-14 포항공과대학교 산학협력단 Method of generating user interface model applicable to various platform and apparatus thereof
KR101545137B1 (en) * 2008-04-17 2015-08-19 삼성전자주식회사 Method and apparatus for generating user interface
KR101746752B1 (en) * 2016-01-05 2017-06-13 아토리서치(주) Method and apparatus for generating user interface for management of software defined network
KR20210035057A (en) 2019-09-21 2021-03-31 삼성전자주식회사 Method and system for generating dynamic user interface layout for and electronic device

Similar Documents

Publication Publication Date Title
CN108073277B (en) System and method for virtual reality and augmented reality for industrial automation
CN108089696B (en) Virtual reality and augmented reality for industrial automation
US20240161645A1 (en) Digital companion for perceptually enabled task guidance
US20070078966A1 (en) Presentation of automation data
US11586852B2 (en) System and method to modify training content presented by a training system based on feedback data
CN104412257A (en) Display control device, display control method, program, and communication system
WO2015125066A1 (en) System and method for facilitating equipment maintenance using smartglasses
US20210064397A1 (en) Operation display apparatus and operation display program
CN116859850A (en) Modularized industrial digital twin system
Lallai et al. Engineering task-based augmented reality guidance: application to the training of aircraft flight procedures
KR20210130368A (en) Apparatus and method for design customization
KR102310543B1 (en) Apparatus and method for creating user interface
EP4298568A1 (en) Interactive avatar training system
US6697089B1 (en) User selectable application grammar and semantics
US11586946B2 (en) System and method to generate training content based on audio and image feedback data
Paneru et al. Exploring the Nexus of User Interface (UI) and User Experience (UX) in the Context of Emerging Trends and Customer Experience, Human Computer Interaction, Applications of Artificial Intelligence
CN117157652A (en) Digital companion for task instruction supporting perception
Malchanau Cognitive architecture of multimodal multidimensional dialogue management
KR102313680B1 (en) Method for educating mathematics using code block
Marreiros et al. From kpi dashboards to advanced visualization
Kolbeinsson Managing interruptions in manufacturing: Towards a theoretical framework for interruptions in manufacturing assembly
Augstein et al. 3 Automated personalization of input methods and processes
Nyaga IoT-enhanced adaptive learning environments: personalized online education for the digital age
KR102529627B1 (en) Coding methods and coding educational system
KR102352318B1 (en) Apparatus and method for providing remote coding education

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant