KR102422712B1 - smart user interface providing method and apparatus for modelling software based medical image - Google Patents
smart user interface providing method and apparatus for modelling software based medical image Download PDFInfo
- Publication number
- KR102422712B1 KR102422712B1 KR1020190132269A KR20190132269A KR102422712B1 KR 102422712 B1 KR102422712 B1 KR 102422712B1 KR 1020190132269 A KR1020190132269 A KR 1020190132269A KR 20190132269 A KR20190132269 A KR 20190132269A KR 102422712 B1 KR102422712 B1 KR 102422712B1
- Authority
- KR
- South Korea
- Prior art keywords
- function
- smart
- medical image
- detailed
- information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명에 따르는 의료영상 기반 스마트 UI 제공방법은, 스마트 UI의 실행이 요청되면, 미리 저장된 UI 학습정보에 따라, 의료영상 기반 모델링을 위한 기능들 중 실행된 어느 한 기능에 대한 세부기능들 중 사용빈도수가 높은 일부 세부기능들을 실행하기 위한 명령들에 대응되는 아이콘들을 선택하여 스마트 UI 정보로서 표시하는 단계; 및 상기 표시된 아이콘들 중 어느 하나가 선택되면, 그 선택된 아이콘에 대응되는 세부기능을 실행하는 단계;를 포함하는 것을 특징으로 한다. In the medical image-based smart UI providing method according to the present invention, when execution of the smart UI is requested, according to the UI learning information stored in advance, among the functions for medical image-based modeling, one of the detailed functions for the executed function is used. selecting icons corresponding to commands for executing some detailed functions with high frequency and displaying them as smart UI information; and when any one of the displayed icons is selected, executing a detailed function corresponding to the selected icon.
Description
본 발명은 의료영상 기반 UI(User interface)에 관한 것으로, 더욱 상세하게는 의료영상 기반의 모델링시에 숙련자에 의해 학습된 UI(user interface) 정보를 비숙련자에게 제공하여, 전문적이고 많은 수가 구비되는 UI에 익숙하지 않은 비숙련자도 효과적으로 의료영상 기반의 모델링 소프트웨어를 사용할 수 있게 하는 의료영상 기반 스마트 UI 제공방법 및 장치에 관한 것이다. The present invention relates to a medical image-based user interface (UI), and more particularly, by providing UI (user interface) information learned by an expert during medical image-based modeling to an unskilled person, a professional and large number of The present invention relates to a method and apparatus for providing a medical image-based smart UI that enables unskilled persons unfamiliar with UI to effectively use medical image-based modeling software.
CT, MRI 등과 같은 의료 영상 기술의 발달과 더불어 의료영상 데이터를 적극적으로 활용하는 의료 기관이 증가하고 있다. 더욱 상기 의료 영상 기술과 3D 모델링 기술이 결합하여 모의 수술 또는 임플란트 등 환자 맞춤형 의료기기에 적용하는 사례가 급증하고 있다. With the development of medical imaging technologies such as CT and MRI, medical institutions actively using medical image data are increasing. Furthermore, the number of cases in which the medical imaging technology and 3D modeling technology are combined and applied to a patient-customized medical device such as a simulated surgery or an implant is rapidly increasing.
이러한 의료영상 모델링 기술로는 대한민국 특허청에 특허등록된 제 1013150320000호가 있다. 이는 임플란트 영상을 생성하고 디스플레이 장치에 재생하는 임플란트 영상 생성 시스템에 의해 수행되며, 환자의 구강에 기준 플레이트를 구비하는 바이트가 삽입되었을 때 획득되는 CT(Computed Tomography) 데이터 및 치아 석고 본(Plaster Patterns of Teeth)을 참조하여 폴리곤으로 입체를 표현하는 STL(STereo Lithography) 데이터를 획득하는 단계; 상기 CT 데이터의 기준 플레이트와 상기 STL 데이터의 기준 플레이트 좌표를 일치시킨 후, 상기 STL 데이터를 기준으로 상기 CT 데이터를 보정하는 단계; 및 상기 보정된 CT 데이터는 제1밀도의 영역을 표현하도록 하고, 상기 STL 데이터는 제2밀도의 영역을 표현하도록 하는 하이브리드 영상을 생성하는 단계;를 포함하는 임플란트 영상 생성방법을 개시한다. As such a medical image modeling technology, there is a patent registration No. 1013150320000 with the Korean Intellectual Property Office. This is performed by an implant image generating system that generates an implant image and reproduces it on a display device, and computed tomography (CT) data and plaster patterns of teeth obtained when a bite having a reference plate is inserted into the patient's mouth. Teeth) to obtain STL (Stereo Lithography) data representing a three-dimensional shape with polygons; correcting the CT data based on the STL data after matching the coordinates of the reference plate of the CT data and the reference plate of the STL data; and generating a hybrid image in which the corrected CT data represents an area of a first density and the STL data represents an area of a second density.
그리고, 대한민국 특허청에 특허공개된 제1020180025777호는, 수술 시뮬레이션에 사용될 환자의 어깨뼈 및 위팔뼈의 3차원 영상을 제공하는 환자영상 생성부; 어깨뼈의 3차원 영상에 어깨뼈 임플란트를 결합하여 인공 어깨뼈를 모델링하는 어깨뼈 모델링부; 및 위팔뼈의 3차원 영상에 위팔뼈 임플란트를 결합하여 인공 위팔뼈를 모델링하는 위팔뼈 모델링부;를 포함하고 상기 어깨뼈 모델링부는 인공 어깨뼈 모델링 시 필요한 기준값을 설정하는 어깨뼈 기준설정부; 어깨뼈 3차원 영상에 어깨뼈 임플란트를 결합하여 인공 어깨뼈를 모델링하는 어깨뼈 임플란트 가상이식부; 를 포함하여 환자의 실제 어깨관절 영상으로 시뮬레이션 환경을 제공하여 시뮬레이션 정확도를 높일 수 있는 환자 맞춤형 인공어깨관절 수술 시뮬레이션 시스템을 개시하고 있다. In addition, Patent Publication No. 1020180025777, published in the Korean Intellectual Property Office, discloses a patient image generator that provides a three-dimensional image of a patient's shoulder blade and upper arm bone to be used in a surgical simulation; a shoulder bone modeling unit for modeling an artificial shoulder bone by combining a shoulder bone implant with a three-dimensional image of the shoulder blade; and a humerus modeling unit for modeling the artificial humerus by combining the humerus implant with the 3D image of the humerus, wherein the scapula modeling unit includes: a scapula reference setting unit for setting a reference value necessary for modeling the artificial scapula; A virtual shoulder implant implantation unit for modeling an artificial shoulder bone by combining a shoulder bone implant with a three-dimensional image of the shoulder blade; including a patient-customized artificial shoulder joint surgery simulation system that can increase simulation accuracy by providing a simulation environment with the patient's actual shoulder joint image.
상기한 바와 같이 종래에는 의료영상 데이터를 기반으로 환자 맞춤형 의료 모델링 시장의 비중이 높아짐에 따라 모델링 사용자의 비중이 높아지고 있다. As described above, the proportion of modeling users is increasing as the proportion of the patient-tailored medical modeling market is increasing based on conventional medical image data.
그러나, 기존의 의료영상 기반 모델링 소프트웨어는 대부분 많은 기능을 제공함에 따라 기능별 세부기능이 추가적으로 있어 전문가라도 원하는 기능을 찾는데 많은 시간이 소요되고 있었다.However, as most of the existing medical image-based modeling software provides many functions, detailed functions for each function are additionally added, so even an expert takes a lot of time to find the desired function.
이처럼, 의료 영상 모델링 소프트웨어는 그 특성상 다른 소프트웨어에 비하여 매우 전문적이고 많은 UI(User Interface)를 거쳐야 하는 어려움이 있었다. 이에 종래 의료영상 기반 모델링은 숙련자와 비숙련자 사이의 모델링 결과물의 품질에서 차이가 크게 발생하는 문제가 있었다. As such, the medical image modeling software is very specialized compared to other software due to its characteristics, and there is a difficulty in having to go through a lot of UI (User Interface). Accordingly, in the conventional medical image-based modeling, there is a problem in that there is a large difference in the quality of the modeling result between the skilled and the unskilled.
이러함에도 불구하고 의료영상 기반의 모델링 수요는 폭발적으로 늘어나고 있어 이를 담당할 수 있는 전문 인력이 매우 부족한 상황이다. 이러한 상황을 고려하여 비숙련자도 효과적으로 의료 모델링을 이행할 수 있게 하는 가이드를 제공할 수 있는 기술의 개발이 요구되고 있다. In spite of this, the demand for modeling based on medical images is increasing explosively, and there is very little professional manpower in charge of this. In consideration of this situation, there is a need to develop a technology that can provide a guide that enables even unskilled people to effectively implement medical modeling.
더욱이 기존 의료영상 모델링 소프트웨어는 반복적인 작업 등으로 단순노동에 가까워 수고로움이 많으므로, 현재 인공지능을 활용하여 이를 의료 영상 모델링에도 접목할 필요성이 커지고 있다. Moreover, the existing medical image modeling software is similar to simple labor due to repetitive tasks, so there is a lot of effort.
본 발명은 전술한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 의료영상 기반의 모델링시에 숙련자에 의해 학습된 UI 학습 정보에 따른 스마트 UI 정보를 비숙련자에게 제공하여, 전문적이고 많은 수가 구비되는 UI에 익숙하지 않은 비숙련자도 효과적으로 의료영상 기반의 모델링을 이행할 수 있게 하는 의료영상 기반 스마트 UI 제공방법 및 장치를 제공하는 것을 그 목적으로 한다. The present invention has been devised to solve the above-described problems, and provides smart UI information according to UI learning information learned by an expert during medical image-based modeling to unskilled people, so that a professional and large number of UIs are provided. An object of the present invention is to provide a method and apparatus for providing a medical image-based smart UI that enables unskilled people not to be familiar with medical image-based modeling effectively.
또한, 본 발명의 다른 목적은 의료영상 모델링시에 단순노동에 가까운 작업을 손쉽게 이행할 수 있도록 기능별로 연관된 세부기능에 대해서도 UI 학습 정보에 따른 스마트 UI 정보를 비숙련자에게 제공하여, 비숙련자도 효과적으로 의료영상 기반의 모델링을 이행할 수 있게 하는 의료영상 기반 스마트 UI 제공방법 및 장치를 제공하는 것이다. In addition, another object of the present invention is to provide smart UI information according to UI learning information for detailed functions related to each function to non-skilled people so that they can easily perform tasks close to simple labor during medical image modeling, so that non-skilled people can also effectively It is to provide a medical image-based smart UI providing method and apparatus that enables medical image-based modeling to be implemented.
또한, 본 발명은 의료영상 기반의 모델링시에 숙련자에 의해 학습된 UI 학습 정보를 사용자의 사용이력에 따라 갱신하여, 의료영상 모델링 프로그램을 사용하는 사용자의 사용빈도를 반영한 스마트 UI 정보를 제공하여, 사용자 맞춤형의 스마트 UI를 제공할 수 있는 의료영상 기반 스마트 UI 제공방법 및 장치를 제공하는 것이다.In addition, the present invention provides smart UI information that reflects the frequency of use of the user using the medical image modeling program by updating the UI learning information learned by the expert during medical image-based modeling according to the user's usage history, It is to provide a medical image-based smart UI providing method and apparatus capable of providing a user-customized smart UI.
이를 위해, 본 발명의 일측면에 따르면, 의료영상 기반 스마트 UI 제공방법에 있어서, To this end, according to one aspect of the present invention, in a medical image-based smart UI providing method,
의료영상 기반 스마트 UI의 실행이 요청되면, 미리 저장된 UI 학습정보에 따라, 의료영상 기반 모델링을 위한 기능들 중 실행된 어느 한 기능에 대한 세부기능들 중 사용빈도수가 높은 일부 세부기능들을 실행하기 위한 명령들에 대응되는 아이콘들을 선택하여 스마트 UI 정보로서 표시하는 단계; 및 When execution of the medical image-based smart UI is requested, according to the UI learning information stored in advance, to execute some detailed functions with high frequency of use among the detailed functions for any one function executed among the functions for medical image-based modeling selecting icons corresponding to commands and displaying them as smart UI information; and
상기 표시된 아이콘들 중 어느 하나가 선택되면, 그 선택된 아이콘에 대응되는 세부기능을 실행하는 단계;를 포함할 수 있다.and executing a detailed function corresponding to the selected icon when any one of the displayed icons is selected.
또한, 상기 UI 학습정보는 숙련자에 의해 사용된 기능의 세부기능들과 각 세부기능들의 사용빈도수와, 상기 세부기능들에 대해 연계되어 실행된 세부기능들에 대한 사용빈도수를 포함할 수 있다.In addition, the UI learning information may include the frequency of use of detailed functions of the function used by the skilled person and each detailed function, and the frequency of use of the detailed functions executed in connection with the detailed functions.
또한, 상기 스마트 UI 정보에는 실행된 세부기능에 연계되어 실행된 사용빈도수가 높은 일부 세부기능들을 실행하기 위한 명령들에 대응되는 아이콘들을 선택하여 스마트 UI 정보로서 표시함을 특징으로 한다.In addition, in the smart UI information, icons corresponding to commands for executing some detailed functions with a high frequency of use executed in connection with the executed detailed functions are selected and displayed as smart UI information.
또한, 상기 UI 학습정보는 숙련자에 의해 실행된 의료영상 기반 모델링 프로그램의 기능 및 세부기능의 실행에 따라 사용빈도수가 갱신됨을 특징으로 한다.In addition, the UI learning information is characterized in that the frequency of use is updated according to the execution of the function and detailed function of the medical image-based modeling program executed by the skilled person.
또한, 상기 실행된 기능 또는 세부기능에 대한 이력정보를 저장하는 단계;In addition, storing the history information on the executed function or detailed function;
상기 스마트 UI의 실행이 요청되지 않으면, 상기 이력정보로 저장된 기능 또는 세부기능에 대한 실행 명령들에 대응되는 아이콘들을 선택하여 스마트 UI 정보로서 표시하는 단계; 및,if the execution of the smart UI is not requested, selecting icons corresponding to execution commands for the function or detailed function stored as the history information and displaying the selected icons as smart UI information; and,
상기 표시된 아이콘들 중 어느 하나가 선택되면, 그 선택된 아이콘에 대응되는 기능 또는 세부 기능을 실행하는 단계;를 더 포함할 수 있다.The method may further include; when any one of the displayed icons is selected, executing a function or a detailed function corresponding to the selected icon.
본 발명의 다른 측면에 따르면, 의료영상 기반 스마트 UI 제공장치에 있어서, 의료영상 기반 스마트 UI 학습정보를 저장하는 메모리부; 사용자와의 인터페이스를 담당하는 사용자 인터페이스부; 각종 정보를 표시하는 디스플레이부; 상기 사용자 인터페이스부를 통해 스마트 UI의 실행이 요청되면, 미리 저장된 스마트 UI 학습정보에 따라, 의료영상 기반 모델링을 위한 기능들 중 실행된 어느 한 기능에 대한 세부기능들 중 사용빈도수가 높은 일부 세부기능들을 실행하기 위한 명령들에 대응되는 아이콘들을 선택하여 스마트 UI 정보로서 표시하고, 상기 표시된 아이콘들 중 어느 하나가 선택되면, 그 선택된 아이콘에 대응되는 세부기능을 실행하는 제어부;를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an apparatus for providing a medical image-based smart UI, comprising: a memory unit for storing medical image-based smart UI learning information; a user interface unit responsible for an interface with a user; a display unit for displaying various types of information; When execution of the smart UI is requested through the user interface unit, some detailed functions with a high frequency of use among the detailed functions for any one executed function among the functions for medical image-based modeling are selected according to the smart UI learning information stored in advance. and a control unit that selects icons corresponding to commands to be executed and displays them as smart UI information, and executes a detailed function corresponding to the selected icon when any one of the displayed icons is selected. .
또한, 상기 UI 학습정보는 숙련자에 의해 사용된 기능의 세부기능들과 각 세부기능들의 사용빈도수와, 세부기능들에 대해 연계되어 실행된 세부기능들에 대한 사용빈도수를 포함할 수 있다.In addition, the UI learning information may include the frequency of use of detailed functions of the function used by the skilled person, the frequency of use of each detailed function, and the frequency of use of the detailed functions executed in connection with the detailed functions.
또한, 상기 스마트 UI 정보에는 실행된 세부기능에 연계되어 실행된 사용빈도수가 높은 일부 세부기능들을 실행하기 위한 명령들에 대응되는 아이콘들을 선택하여 스마트 UI 정보로서 표시함을 특징으로 한다.In addition, in the smart UI information, icons corresponding to commands for executing some detailed functions with a high frequency of use executed in connection with the executed detailed functions are selected and displayed as smart UI information.
또한, 상기 UI 학습정보는 숙련자에 의해 실행된 의료영상 기반 모델링 프로그램의 기능 및 세부기능의 실행에 따라 사용빈도수가 갱신됨을 특징으로 한다.In addition, the UI learning information is characterized in that the frequency of use is updated according to the execution of the function and detailed function of the medical image-based modeling program executed by the skilled person.
또한, 상기 제어부가, 상기 실행된 기능 또는 세부기능에 대한 이력정보를 상기 메모리부에 저장하고, 상기 스마트 UI의 실행이 요청되지 않으면, 상기 이력정보로 저장된 기능 또는 세부기능에 대한 실행 명령들에 대응되는 아이콘들을 선택하여 스마트 UI 정보로서 표시하고, 상기 표시된 아이콘들 중 어느 하나가 선택되면, 그 선택된 아이콘에 대응되는 기능 또는 세부 기능을 실행함을 특징으로 한다. In addition, the control unit stores the history information on the executed function or detailed function in the memory unit, and if the execution of the smart UI is not requested, the execution commands for the function or detailed function stored as the history information Corresponding icons are selected and displayed as smart UI information, and when any one of the displayed icons is selected, a function or detailed function corresponding to the selected icon is executed.
본 발명은 의료영상 기반의 모델링시에 숙련자에 의해 학습된 UI 학습 정보에 따른 스마트 UI 정보를 비숙련자에게 제공한다. The present invention provides smart UI information according to UI learning information learned by a skilled person during medical image-based modeling to a non-skilled person.
또한, 본 발명은 의료영상 모델링을 위한 단순노동에 가까운 작업을 손쉽게 이행할 수 있도록 기능별로 연관된 세부기능에 대해서도 UI 학습 정보에 따른 스마트 UI 정보를 비숙련자에게 제공한다. In addition, the present invention provides smart UI information according to UI learning information for detailed functions related to each function to non-skilled persons so that a task close to simple labor for modeling a medical image can be easily performed.
또한, 본 발명은 의료영상 기반의 모델링시에 숙련자에 의해 학습된 UI 학습 정보를 사용자의 사용이력에 따라 갱신하고, 의료영상 모델링 프로그램을 사용하는 사용자의 사용빈도를 반영한 스마트 UI 정보를 제공한다.In addition, the present invention provides smart UI information that updates UI learning information learned by a skilled person during medical image-based modeling according to the user's usage history, and reflects the usage frequency of the user who uses the medical image modeling program.
이처럼 오랜 경험을 가진 전문가에 의해 최적화된 UI는 경험이 적은 사용자에게 매우 좋은 가이드라인이 된다. 즉, 초보자는 순서대로 정리된 버튼을 클릭만 하다보면 경험에 비해 뛰어난 결과물을 빠른 시간에 얻을 수 있는 장점이 있다.UI optimized by experts with many years of experience is a very good guideline for inexperienced users. In other words, beginners have the advantage of being able to get superior results in a short time compared to experience by simply clicking the buttons arranged in order.
또한, 사용자가 몇 개의 메뉴만 수행해도 사용자가 어떤 의도를 가지고 있는지 예측하여 다음에 수행할 메뉴를 추천해 줄 수 있다.In addition, even if the user performs only a few menus, it is possible to predict the intention of the user and recommend a menu to be performed next.
도 1은 본 발명의 바람직한 실시예에 따른 의료영상 기반 스마트 UI 제공장치의 구성도.
도 2는 본 발명의 바람직한 실시예에 따른 의료영상 기반 스마트 UI를 제공하기 위한 학습과정의 절차도.
도 3은 본 발명의 바람직한 실시예에 따른 의료영상 기반 스마트 UI 제공방법의 절차도.
도 4는 본 발명의 바람직한 실시예에 따르는 의료영상 기반 스마트 UI를 제공하기 위한 학습 과정을 예시한 도면.
도 5 내지 도 7은 본 발명의 바람직한 실시예에 따른 의료영상 기반 스마트 UI를 제공 과정을 예시한 도면. 1 is a block diagram of a medical image-based smart UI providing apparatus according to a preferred embodiment of the present invention.
2 is a flowchart of a learning process for providing a medical image-based smart UI according to a preferred embodiment of the present invention.
3 is a flowchart of a method for providing a smart UI based on a medical image according to a preferred embodiment of the present invention.
4 is a diagram illustrating a learning process for providing a medical image-based smart UI according to a preferred embodiment of the present invention.
5 to 7 are diagrams illustrating a process of providing a medical image-based smart UI according to a preferred embodiment of the present invention.
본 발명은 의료영상 기반의 모델링시에 전문가 또는 숙련자(이하, 숙련자)에 의해 학습된 UI 학습 정보에 따른 스마트 UI 정보를 비숙련자에게 제공한다. 이를 통해, 오랜 경험을 가진 전문가에 의해 최적화된 UI는 경험이 적은 사용자에게 매우 좋은 가이드라인이 되므로, 초보자는 순서대로 정리된 버튼을 클릭만 하다 보면 경험에 비해 뛰어난 결과물을 빠른 시간에 얻을 수 있게 한다.The present invention provides smart UI information according to UI learning information learned by an expert or an expert (hereinafter referred to as an expert) to a non-skilled person during medical image-based modeling. Through this, UI optimized by experts with long experience is a very good guideline for inexperienced users, so beginners can get superior results faster than experience by simply clicking the buttons arranged in order. do.
또한, 본 발명은 의료영상 모델링을 위한 단순노동에 가까운 작업을 손쉽게 이행할 수 있도록 기능별로 연관된 세부기능에 대해서도 UI 학습 정보에 따른 스마트 UI 정보를 비숙련자에게 제공하여, 비숙련자도 효과적으로 의료영상 기반의 모델링을 이행할 수 있게 한다.In addition, the present invention provides smart UI information according to UI learning information for detailed functions related to each function to non-skilled people so that they can easily perform tasks close to simple labor for medical image modeling, so that non-skilled people can effectively perform medical image-based to implement the modeling of
또한, 본 발명은 의료영상 기반의 모델링시에 숙련자에 의해 학습된 UI 학습 정보를 사용자의 사용이력에 따라 갱신하고, 의료영상 모델링 프로그램을 사용하는 사용자의 사용빈도를 반영한 스마트 UI 정보를 제공하여, 사용자 맞춤형의 스마트 UI를 제공할 수 있게 한다. In addition, the present invention updates the UI learning information learned by the skilled in the medical image-based modeling according to the user's usage history, and provides smart UI information reflecting the usage frequency of the user who uses the medical image modeling program, It enables the provision of a user-customized smart UI.
상기한 본 발명에 따르는 의료영상 기반 모델링 소프트웨어의 스마트 UI 제공방법 및 장치를 도면을 참조하여 상세히 설명한다. A method and apparatus for providing a smart UI of the medical image-based modeling software according to the present invention will be described in detail with reference to the drawings.
<의료영상 기반 모델링 소프트웨어가 탑재된 컴퓨팅 장치의 구성> <Configuration of computing device equipped with medical image-based modeling software>
먼저 상기한 본 발명의 바람직한 실시예에 따르는 의료영상 기반 모델링 소프트웨어가 탑재된 컴퓨팅 장치의 구성을 도 1을 참조하여 상세히 설명한다. First, the configuration of a computing device equipped with medical image-based modeling software according to a preferred embodiment of the present invention will be described in detail with reference to FIG. 1 .
상기 컴퓨팅 장치는 제어부(100)와, 메모리부(102)와, 사용자 인터페이스부(104)와, 통신모듈(106)과, 디스플레이 제어기(108)와, 디스플레이부(110)로 구성된다. The computing device includes a control unit 100 , a memory unit 102 , a
상기 제어부(100)는 상기 컴퓨팅 장치의 각부를 전반적으로 제어함을 물론이며 본 발명의 바람직한 실시예에 따라 의료영상 기반 모델링 소프트웨어의 스마트 UI 제공을 위한 처리 프로세스를 수행한다. The control unit 100 not only controls each part of the computing device as a whole, but also performs a processing process for providing a smart UI of medical image-based modeling software according to a preferred embodiment of the present invention.
상기한 제어부(100)는 배포된 UI 학습정보 또는 숙련자의 의료영상 모델링에 의해 사용자 맞춤형으로 갱신된 UI 학습정보에 따라 스마트 UI 정보를 생성하여 상기 디스플레이부(110)를 통해 출력하여 사용자에게 안내한다. 상기 스마트 UI 정보는 사용자에 의해 실행된 의료영상 모델링의 기능에 대한 세부기능들 중 사용빈도수가 많은 세부기능들을 실행하기 위한 아이콘 정보들로 구성되거나, 어느 한 세부 기능이 실행되면 그 실행된 세부기능에 연계되어 실행된 연계사용 빈도수가 많은 세부기능들을 실행하기 위한 아이콘 정보들로 구성된다. 이러한 아이콘들을 통해 비숙련 사용자도 상기 스마트 UI 정보를 통해 어느 한 기능을 이용한 의료영상 모델링시에 주로 사용되는 세부기능들을 안내받을 수 있고, 어느 한 세부기능을 실행하면 연계되어 사용되는 세부기능들을 안내받을 수 있게 된다. 이를 통해, 본 발명은 전문적이고 많은 수가 구비되는 UI에 익숙하지 않은 비숙련자도 효과적으로 의료영상 기반의 모델링을 이행할 수 있게 하고, 단순노동에 가까운 작업을 손쉽게 이행할 수 있게 하며, UI 학습정보를 사용자의 사용 이력에 따라 갱신하여, 의료영상 모델링 프로그램을 사용하는 사용자의 사용빈도를 반영한 스마트 UI 정보를 제공하여, 사용자 맞춤형의 스마트 UI를 제공할 수 있게 한다. The control unit 100 generates smart UI information according to the distributed UI learning information or UI learning information updated customized for the user by modeling a medical image of an expert, and outputs it through the display unit 110 to guide the user. . The smart UI information consists of icon information for executing detailed functions with a high frequency of use among detailed functions of the function of medical image modeling executed by the user, or when any one detailed function is executed, the executed detailed function It consists of icon information for executing detailed functions with a high frequency of linked use executed in connection with . Through these icons, even non-skilled users can be guided through the smart UI information on detailed functions mainly used in medical image modeling using any one function, and when one detailed function is executed, detailed functions used in connection are guided be able to receive Through this, the present invention enables an unskilled person unfamiliar with a professional and large number of UIs to effectively implement medical image-based modeling, to easily perform a task close to simple labor, and to provide UI learning information. It is updated according to the user's usage history and provides smart UI information reflecting the usage frequency of the user who uses the medical image modeling program, so that a customized smart UI can be provided.
상기 메모리부(102)는 상기 제어부(100)의 처리 프로그램을 포함하는 다양한 정보를 저장하며, 특히 본 발명의 바람직한 실시예에 따라 UI 학습정보 및 사용자 명령 이력정보를 저장한다. 상기 UI 학습정보는 의료영상 기반 모델링을 위한 다수의 기능들 각각에 해당되는 세부기능들에 대한 사용빈도수 정보와 세부기능들 사이의 연계사용빈도수 정보를 포함한다. The memory unit 102 stores various information including the processing program of the control unit 100, and in particular stores UI learning information and user command history information according to a preferred embodiment of the present invention. The UI learning information includes information on the frequency of use for detailed functions corresponding to each of a plurality of functions for medical image-based modeling and information on the frequency of use of links between the detailed functions.
이러한 UI 학습정보는 표 1과 같이 구성될 수 있다. Such UI learning information may be configured as shown in Table 1.
빈도수use
frequency
세부기능used in conjunction
Detailed function
빈도수Linked use
frequency
제1기능
1st function
제1 세부기능
1st detailed function
25
25
...65
...
가령, 표 1을 참조하면, 제1 기능에서 각 세부기능인 제1 세부기능, 제2 세부기능 등의 각 세부기능에 대한 사용빈도수 정보가 제공된다. 또한, 제1세부기능에서 제4세부기능과 제2세부기능이 연계사용빈도수가 가장 높은데, UI 학습정보에는 각 세부기능에 대한 사용빈도수와 이러한 각 세부기능들 사이에서 연계사용한 세부기능에 대한 연계사용빈도수 정보가 포함된다. For example, referring to Table 1, information on the frequency of use of each detailed function such as the first detailed function and the second detailed function, which are each detailed function in the first function, is provided. In addition, in the first detailed function, the fourth detailed function and the second detailed function have the highest frequency of use in conjunction. In the UI learning information, the frequency of use for each detailed function and the linkage between the detailed functions used in conjunction with each of these detailed functions Information on the frequency of use is included.
상기한 바와 같은 UI 학습정보는 인공지능 플랫폼인 "Caffe", 의료영상 라이브러리인 "IACT library"가 사용될 수 있으며, 배포될 때에는 "iactCaffe Library"가 사용될 수 있다. As the UI learning information as described above, an artificial intelligence platform "Caffe" and a medical image library "IACT library" may be used, and when distributed, "iactCaffe Library" may be used.
또한, 상기한 UI 학습정보는 숙련자에 의한 의료영상 기반 모델링의 실행을 통해 갱신되어 사용자 맞춤형의 UI 학습정보의 생성을 가능하게 한다. In addition, the UI learning information is updated through the execution of medical image-based modeling by an expert to enable the creation of user-customized UI learning information.
상기 사용자 인터페이스부(104)는 상기 제어부(100)와 사용자 사이의 인터페이스를 담당하여, 사용자로부터 입력되는 각종 정보 및 명령을 상기 제어부(100)에 제공한다. The
상기 통신모듈(106)은 상기 제어부(100)와 네트워크로 연결된 외부 시스템 또는 장치 사이의 통신을 담당한다. The communication module 106 is in charge of communication between the control unit 100 and an external system or device connected through a network.
상기 디스플레이 제어기(108)는 상기 제어부(100)의 제어에 따르는 디스플레이 정보를 디스플레이부(110)를 통해 디스플레이한다.The display controller 108 displays display information according to the control of the controller 100 through the display unit 110 .
상기 디스플레이부(110)는 상기 디스플레이 제어기(108)를 통한 제어에 따르는 디스플레이 정보를 표시한다. The display unit 110 displays display information according to control through the display controller 108 .
이제 상기한 의료영상 기반 모델링 소프트웨어가 탑재된 컴퓨팅 장치에 의해 동작하는 스마트 UI 제공방법을 상세히 설명한다. A method of providing a smart UI operated by a computing device equipped with the above-described medical image-based modeling software will now be described in detail.
<의료영상 기반 모델링 소프트웨어가 탑재된 컴퓨팅 장치의 스마트 UI 제공을 위한 학습과정> <Learning process for providing smart UI for computing devices equipped with medical image-based modeling software>
먼저 의료영상 기반 모델링 소프트웨어가 탑재된 컴퓨팅 장치의 스마트 UI 제공을 위한 학습과정을 설명한다. 도 2는 본 발명의 바람직한 실시예에 따르는 의료영상 기반 모델링 소프트웨어의 스마트 UI 제공을 위한 학습과정의 절차를 도시한 것이다. 상기 도 2를 참조하면, 상기 컴퓨팅 장치의 제어부(100)는 사용자 인터페이스부(104)를 통한 스마트 UI 학습이 요청되는지를 체크한다(200단계). 상기 사용자 인터페이스부(104)를 통한 스마트 UI 학습이 요청되면, 미리 구축된 UI 학습정보를 입력할 것인지를 질의하고 그 질의에 따라 사용자가 상기 미리 구축된 UI 학습정보의 입력을 요청하면(202단계), 외부 시스템 또는 외부 기기로부터 미리 구축된 UI 학습정보를 제공받아 메모리부(102)에 저장한다(204단계). 상기 UI 학습정보는 의료영상 기반 모델링을 위한 다수의 기능들 각각에 대한 세부기능들에 대한 사용빈도수 정보와 세부기능들 사이의 연계사용빈도수 정보를 포함한다. 상기의 미리 구축된 스마트 UI 학습정보는 인공지능 플랫폼인 "Caffe" 의료영상 라이브러리인 "IACT library"가 사용될 수 있으며, 배포될 때에는 "iactCaffe Library"가 사용될 수 있다. First, a learning process for providing a smart UI for a computing device equipped with medical image-based modeling software will be described. 2 is a diagram illustrating a learning process for providing a smart UI of medical image-based modeling software according to a preferred embodiment of the present invention. Referring to FIG. 2 , the control unit 100 of the computing device checks whether smart UI learning through the
상기한 바와 달리 숙련자에 의한 의료영상 모델링 과정을 통한 UI 학습정보의 구축 또는 갱신이 요청되면(206단계), 상기 제어부(100)는 의료영상 모델링 프로그램을 실행(207단계)함과 아울러 숙련자에 의한 의료영상 모델링을 위해 사용자가 어느 한 기능 또는 세부기능의 실행 명령을 입력하면(208단계), 그 명령에 따른 기능 또는 세부기능을 수행함과 아울러 UI 학습정보를 생성 또는 갱신하여 저장한다(210단계). 여기서, 상기 UI 학습정보의 생성 또는 갱신은 의료영상 기반 모델링을 위한 다수의 기능들 각각에 대한 세부기능들에 대한 사용빈도수 정보와 세부기능들 사이의 연계사용빈도수 정보로 UI 학습정보를 생성하거나 기 저장된 UI 학습정보의 사용빈도수 정보와 연계사용빈도수 정보를 변경하는 것이다. Contrary to the above, when the construction or update of UI learning information through the medical image modeling process by the skilled person is requested (step 206), the controller 100 executes the medical image modeling program (step 207), and When the user inputs a command to execute any one function or detailed function for medical image modeling (step 208), the function or detailed function according to the command is performed, and UI learning information is created or updated and stored (step 210) . Here, the generation or update of the UI learning information is to generate or update the UI learning information as the frequency of use information for detailed functions for each of a plurality of functions for medical image-based modeling and the frequency of use information linked between the detailed functions. This is to change the frequency of use information and the linked use frequency information of the stored UI learning information.
이와 같이 본 발명에 따르면 숙련자에 의한 의료영상 모델링과 UI 학습정보를 갱신하는 과정은 동시에 이루어질 수 있다. 이는 특정 기관에서 특화된 분야의 의료영상 모델링을 수행하는 경우에 해당 기관의 숙련자에 의한 의료영상 모델링을 손쉽게 전수받을 수 있게 하는 효과를 제공한다. As described above, according to the present invention, the process of updating the medical image modeling and UI learning information by the skilled person can be performed at the same time. This provides the effect that, when a specific institution performs medical image modeling in a specialized field, it is possible to easily receive medical image modeling by an expert in the relevant institution.
<의료영상 기반 모델링 소프트웨어의 스마트 UI 제공과정><Providing smart UI of medical image-based modeling software>
이제 본 발명의 바람직한 실시예에 따르는 의료영상 기반 모델링 소프트웨어의 스마트 UI 제공과정을 설명한다. 도 3은 본 발명의 바람직한 실시예에 따르는 의료영상 기반 모델링 소프트웨어의 스마트 UI 제공방법의 절차를 도시한 것이다. A smart UI provision process of medical image-based modeling software according to a preferred embodiment of the present invention will now be described. 3 is a diagram illustrating a procedure of a method for providing a smart UI of a medical image-based modeling software according to a preferred embodiment of the present invention.
도 3을 참조하면, 상기 컴퓨팅 장치의 제어부(100)는 사용자 인터페이스부(104)를 통해 사용자가 의료영상 모델링 프로그램의 실행이 요청되는지를 체크한다(300단계). 상기 사용자가 의료영상 모델링 프로그램의 실행을 요청하면, 상기 제어부(100)는 상기 의료영상 모델링 프로그램을 실행한다(301단계). Referring to FIG. 3 , the control unit 100 of the computing device checks whether the user requests execution of a medical image modeling program through the user interface unit 104 (step 300 ). When the user requests execution of the medical image modeling program, the controller 100 executes the medical image modeling program (step 301).
이후 상기 제어부(100)는 사용자 인터페이스부(104)를 통해 사용자가 스마트 UI 실행을 요청하는지를 체크한다(302단계). 상기 사용자가 스마트 UI 실행을 요청하면, 상기 제어부(100)는 메모리부(102)에 저장된 UI 학습정보에 따라 스마트 UI 정보를 표시한다(304단계). 상기 스마트 UI 정보는, 상기 UI 학습정보에 기록된 의료영상 모델링을 위한 기능들 각각에 대한 세부기능들 중 사용빈도수가 높은 순서에 따르는 미리 정해둔 수의 세부기능들의 실행을 명령하기 위한 아이콘들로 구성되거나, 어느 한 세부기능이 실행되면 그 실행된 세부기능과 연계되어 실행된 세부기능들 중 사용빈도수가 높은 순서에 따르는 미리 정해둔 수의 세부기능들의 실행을 명령하기 위한 아이콘들로 구성된다. Thereafter, the control unit 100 checks whether the user requests execution of the smart UI through the user interface unit 104 (step 302). When the user requests execution of the smart UI, the control unit 100 displays smart UI information according to the UI learning information stored in the memory unit 102 (step 304). The smart UI information is an icon for instructing the execution of a predetermined number of detailed functions according to the order of the highest frequency of use among the detailed functions for each of the functions for medical image modeling recorded in the UI learning information. It consists of icons for instructing the execution of a predetermined number of detailed functions according to the order of the highest frequency of use among the detailed functions executed in connection with the executed detailed function or when any one detailed function is executed.
상기 아이콘 또는 상기 의료영상 모델링 프로그램의 메뉴를 통해 사용자 명령이 입력되면(306단계), 상기 제어부(100)는 상기 사용자 명령에 따르는 기능 또는 세부 기능을 실행함과 아울러 사용자 명령 이력정보를 저장한다(308단계). 이러한 과정은 의료영상 모델링이 종료될 때까지 수행된다(310단계). When a user command is input through the icon or the menu of the medical image modeling program (step 306), the control unit 100 executes a function or detailed function according to the user command and stores user command history information ( 308). This process is performed until the medical image modeling is finished (step 310).
상기한 바와 달리 상기 사용자가 스마트 UI 실행을 요청하지 않으면(302단계), 상기 제어부(100)는 메모리부(102)에 사용자 명령 이력정보에 기록된 의료영상 모델링을 위한 명령들에 대응되는 아이콘들로 구성되는 스마트 UI 정보를 표시한다(312단계). Contrary to the above, if the user does not request execution of the smart UI (step 302), the control unit 100 displays icons corresponding to commands for medical image modeling recorded in the user command history information in the memory unit 102. Display smart UI information composed of (step 312).
상기 아이콘들 또는 상기 의료영상 모델링 프로그램의 메뉴를 통해 사용자 명령이 입력되면, 상기 제어부(100)는 상기 사용자 명령에 따르는 기능을 수행함과 아울러 사용자 명령 이력정보를 저장한다(306,308단계). 이러한 과정은 의료영상 모델링이 종료될 때까지 수행된다(310단계). When a user command is input through the icons or the menu of the medical image modeling program, the control unit 100 performs a function according to the user command and stores user command history information (steps 306 and 308). This process is performed until the medical image modeling is finished (step 310).
상기한 바와 같이 본 발명은 의료영상 기반의 모델링시에 숙련자에 의해 학습된 UI 학습 정보를 비숙련자에게 제공하여, 전문적이고 많은 수가 구비되는 UI에 익숙하지 않은 비숙련자도 효과적으로 의료영상 기반의 모델링을 이행할 수 있게 한다. As described above, the present invention provides the UI learning information learned by the skilled in the medical image-based modeling to the unskilled, so that even unskilled people who are not familiar with the professional and large number of UIs can effectively perform medical image-based modeling. make it possible to implement
이를 위한 가이드 정보의 구성과정을 좀 더 상세히 설명한다. The configuration process of guide information for this purpose will be described in more detail.
도 4는 전문가(또는 숙련자)에 의한 의료영상 모델링시의 UI 학습정보의 생성과정을 예시한 것이다.4 illustrates a process of generating UI learning information when modeling a medical image by an expert (or an expert).
일반적으로 의료영상 모델링은 다수의 기능을 구비하고, 상기 다수의 기능 중 어느 하나에는 다수개의 확장된 세부기능이 포함될 수 있다.In general, medical image modeling has a plurality of functions, and any one of the plurality of functions may include a plurality of extended detailed functions.
도 4를 참조하면, 사용자가 도구(기능)를 선택한다. 가령, Edit Mask 기능을 선택하면, 선택 기능의 확장 기능으로 Draw Mode, Bush List, Mask Control 등이 제시될 수 있다. 이러한 다수의 확장된 세부기능 중 전문가에 의해 사용되고, 세부 기능별 사용빈도에 따라 점수를 부여하도록 지정하고, 기능별 세부 기능에 대한 사용빈도수를 저장한다.Referring to FIG. 4 , a user selects a tool (function). For example, if the Edit Mask function is selected, Draw Mode, Bush List, Mask Control, etc. may be presented as extension functions of the selection function. Among these multiple extended detailed functions, it is used by experts, and points are assigned according to the frequency of use for each detailed function, and the frequency of use for each detailed function is stored.
가령, 사용 빈도 등 사용누적에 따른 점수 차등을 살펴보면, Edit Mask 기능의 세부 기능별 사용빈도의 점수는 Draw Mode(+3), Bush List(+1), MasK Control(+2)이 각각 사용된다. 이를 스마트 UI 제어가 사용자 누적사용에 의해 구현하면, 사용빈도수가 큰 확장된 세부기능은 실행명령 아이콘들로 표시되는 스마트 UI 정보로 구성되어 비숙련자에게 제공된다. 즉, 사용빈도수에 따른 높은 점수 ㅅ순서로 aw mode, Mask Control, Bush List의 실행명령 아이콘 순서를 정렬하는 방식으로 UI 정보가 학습되는 과정을 거친다.For example, looking at the difference in scores according to the accumulated use such as frequency of use, Draw Mode (+3), Bush List (+1), and Mask Control (+2) are used for the frequency of use for each detailed function of the Edit Mask function, respectively. If the smart UI control is implemented by the cumulative use of the user, the extended detailed function with a high frequency of use is composed of smart UI information displayed by the icon of the execution command and provided to unskilled users. In other words, the UI information is learned by arranging the icon order of the execution command icons of aw mode, Mask Control, and Bush List in the order of high score according to the frequency of use.
도 5는 본 발명에 따른 스마트 UI 정보를 비숙련자에게 제공하는 과정을 예시한 것으로, 비숙련자의 스마트 UI 변하는 과정을 나타낸다.5 exemplifies a process of providing smart UI information to an unskilled person according to the present invention, and shows a process of changing the smart UI of an unskilled person.
도 5를 참조하면, 먼저, 숙련자의 UI는 숙련자의 사용빈도에 따른 스마트 UI가 적용된다. 가령, Mask Edit라는 기능의 실행을 명령하였다면 그에 대응되는 세부기능을 위한 명령 아이콘들로 DICOM LOAD, Threshold, Graph CUT, Boolean 등의 순서로 제공된다.Referring to FIG. 5 , first, a smart UI according to the use frequency of the skilled user is applied to the skilled user's UI. For example, if the execution of a function called Mask Edit is commanded, command icons for the corresponding detailed function are provided in the order of DICOM LOAD, Threshold, Graph CUT, Boolean, etc.
한편, 비숙련자의 UI는 비숙련자의 사용빈도에 따른 스마트 UI가 적용된다. 가령, Mask Edit라는 기능의 실행을 명령하였다면 그에 대응되는 세부기능을 위한 명령 아이콘들로 DICOM LOAD, DRAW MODE 등의 순서로 제공된다.On the other hand, a smart UI according to the frequency of use of the unskilled is applied to the UI of the unskilled. For example, if the execution of a function called Mask Edit is commanded, command icons for the corresponding detailed function are provided in the order of DICOM LOAD, DRAW MODE, etc.
이에, 본 발명에 따른 스마트 UI 정보는 비숙련자의 UI를 다음과 제공한다.Accordingly, the smart UI information according to the present invention provides the UI of a non-skilled person as follows.
가령, 비숙련자의 빈도를 파악하고 비숙련자의 의도를 예측해서 숙련자의 스마트 UI 정보가 적용되어 안내된다.For example, by grasping the frequency of unskilled people and predicting the intentions of unskilled people, smart UI information of skilled users is applied and guided.
즉, 숙련자에 의한 UI 학습정보를 이용하여, Mask Edit 기능 실행 명령시에, 상기 아이콘들로는 DICOM LOAD, Threshold, Graph CUT, Boolean 등이 안내되며, 이는 미리 저장된 UI 학습정보에 따른 것이다. That is, when the Mask Edit function execution command is commanded using the UI learning information by the skilled person, DICOM LOAD, Threshold, Graph CUT, Boolean, etc. are guided as the icons, and this is according to the UI learning information stored in advance.
이러한 본 발명에 따르는 의료영상 기반 모델링 소프트웨어의 스마트 UI 제공과정을 도 6 및 도 7을 참조하여 예시한다. The smart UI providing process of the medical image-based modeling software according to the present invention is exemplified with reference to FIGS. 6 and 7 .
도 6의 (a)는 경북대 IACT에서 개발한 KMed3D의 메인 화면을 예시한 것으로, 의료영상 모델링의 특성상 많은 기능을 제공하나 상대적으로 적은 기능을 제공하여 사용자 편의성을 제공한다.FIG. 6 (a) illustrates the main screen of KMed3D developed by Kyungpook National University IACT, and provides user convenience by providing many functions but relatively few functions due to the characteristics of medical image modeling.
도 6의(b)는 KMed3D에서 스마트 UI 정보인 Experience Tool을 기본 형태를 나타낸 것으로, 어떠한 작업도 하지 않았기 때문에 상기 Experience Tool이 비어있다. 6(b) shows the basic form of the Experience Tool, which is smart UI information in KMed3D, and the Experience Tool is empty because no work has been done.
도 6의 (c)는 숙련자 또는 사용자의 사용경험에 따라 Experience Tool에 메뉴가 추가된 것을 예시한 것이다. 예시로 해당 기능에 마우스를 올려놓으면 “Dicom Load”같은 기능설명을 부연하여 쉽게 기능에 접근할 수 있다. Figure 6 (c) illustrates that a menu is added to the Experience Tool according to the experience of the skilled or user. For example, if you hover your mouse over the function, you can easily access the function by amplifying the function description such as “Dicom Load”.
도 7의 (a)는 스마트 UI의 사용사례를 예시한 것으로, 사용자가 의료영상으로 "발목관절 Segmentation 결과 확인 작업"을 수행하며, 의료영상파일(DICOM 파일, MHA파일 등등)을 열 수 있으며, 이 작업으로 스마트 UI에 "Dicom Load"메뉴가 추가된다.Figure 7 (a) is an example of the use case of the smart UI, the user can perform "ankle joint segmentation result confirmation task" with a medical image, and open a medical image file (DICOM file, MHA file, etc.), This action adds a "Dicom Load" menu to the smart UI.
도 7의 (b)는 의료진이 그린 Manual Segmentation 파일(Case17_segmentation)과 인공지능이 계산한 Result 파일(Case17_result)을 여는 과정을 예시한다. 이 작업으로 스마트 UI 정보에는 "Mask Load"메뉴가 추가된다. 이후 Case17_segmentation은 노란색으로, Case17_result 파일은 빨간색으로 색깔을 변경하는 것으로, 이는 시각적으로 인공지능이 얼마나 잘 계산했는지 확인하는 것이며, 이 작업으로 스마트 UI 정보에는 "Color Change" 메뉴가 추가된다.7B illustrates a process of opening the Manual Segmentation file (Case17_segmentation) drawn by the medical staff and the Result file (Case17_result) calculated by the AI. With this operation, the "Mask Load" menu is added to the smart UI information. After that, Case17_segmentation is changed to yellow and Case17_result file to red, which is to visually check how well the AI has calculated, and with this operation, a "Color Change" menu is added to the smart UI information.
도 7의 (c)는 정량적 정확도를 계산하기 위해 Case17_segmnetation과 Case17_result의 교집합을 계산하는 것을 예시한 것이며, 그 결과는 Intersection 0, 1 이다. 이 작업으로 스마트 UI 정보에 "Intersection Mask" 메뉴가 추가된다.7( c ) illustrates calculating the intersection of Case17_segmnetation and Case17_result in order to calculate quantitative accuracy, and the results are Intersections 0 and 1. With this operation, the "Intersection Mask" menu is added to the smart UI information.
그리고 도 7의 (d)는 정략적 정확도를 계산하기 위해 3개의 Mask 각각의 Count를 계산하는 것을 예시한 것이며, 이 작업으로 스마트 UI에 "Mask Count" 메뉴가 추가된다. 이는, Intersection 0,1 Mask의 count는 406540으로 계산되었다.And Fig. 7 (d) exemplifies calculating the Count of each of the three Masks in order to calculate the strategic accuracy, and the "Mask Count" menu is added to the smart UI through this operation. In this case, the count of intersection 0,1 mask was calculated as 406540.
상기의 과정을 반복하면 전문가에 의해 스마트 UI가 학습된다.By repeating the above process, the smart UI is learned by an expert.
도 7의 (e)는 비숙련자가 KMed3D SW를 사용해서"인공지능 결과 확인"작업을 하게 되면, 앞의 도 7의 (a) 내지 (d)의 과정을 통해 학습된 스마트 UI가 초보자의 의도를 예측해서 스마트 UI 정보를 변경한다. 이를 통해 비숙련자는 다음에 어떤 메뉴를 클릭해야 할지 고민하지 않게 된다.FIG. 7(e) shows that when an unskilled person “checks artificial intelligence results” using KMed3D SW, the smart UI learned through the process of FIG. predicts and changes smart UI information. In this way, the inexperienced person does not have to think about which menu to click next.
상기한 바와 같은, 본 발명의 실시예들에서 설명한 기술적 사상들은 각각 독립적으로 실시될 수 있으며, 서로 조합되어 실시될 수 있다. 또한, 본 발명은 도면 및 발명의 상세한 설명에 기재된 실시예를 통하여 설명되었으나 이는 예시적인 것에 불과하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다. 따라서, 본 발명의 기술적 보호범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.As described above, the technical ideas described in the embodiments of the present invention may be implemented independently, or may be implemented in combination with each other. In addition, although the present invention has been described through the embodiments described in the drawings and detailed description of the invention, these are merely exemplary, and those of ordinary skill in the art to which the present invention pertains may make various modifications and equivalent other embodiments therefrom. It is possible. Accordingly, the technical protection scope of the present invention should be defined by the appended claims.
100 : 제어부
102 : 메모리부
104 : 사용자 인터페이스부
106 : 통신모듈
108 : 디스플레이 제어기
110 : 디스플레이부100: control unit
102: memory unit
104: user interface unit
106: communication module
108: display controller
110: display unit
Claims (10)
숙련자에 의해 사용된 기능 또는 각 세부기능들에 대한 사용빈도수와, 상기 세부기능들에 대해 연계되어 실행된 연계사용한 세부기능들과 각 연계사용한 세부기능들에 대한 연계사용빈도수를 포함하는 UI 학습정보를 생성하는 단계;
의료영상 기반 스마트 UI의 실행이 요청되면, 상기 생성된 UI 학습 정보에 따라 상기 사용빈도수 또는 연계사용빈도수가 높은 순서에 따르는 미리 정해둔 수의 세부기능들의 실행을 명령하기 위한 아이콘들로 구성된 스마트 UI 정보를 표시하는 단계; 및
상기 표시된 스마트 UI 정보 중에서 어느 하나의 아이콘이 선택되면, 그 선택된 아이콘에 대응되는 세부기능을 실행하는 단계;를 포함하는 것을 특징으로 하는 의료영상 기반 스마트 UI 제공방법. When medical image-based UI learning is requested, an execution command of any one function or detailed function is input through the user terminal to perform the function or detailed function according to the user command,
UI learning information including the frequency of use for the function or each detailed function used by the skilled person, and the frequency of use of the linked and used detailed functions executed in connection with the detailed functions and the linked use frequency for each linked and used detailed function creating a;
When the execution of the medical image-based smart UI is requested, the smart UI composed of icons for instructing the execution of a predetermined number of detailed functions according to the order of the frequency of use or the frequency of use in connection with the generated UI learning information displaying information; and
and executing a detailed function corresponding to the selected icon when any one icon is selected from among the displayed smart UI information.
상기 UI 학습정보는 상기 숙련자에 의해 실행된 의료영상 기반 모델링 프로그램의 기능 또는 세부기능의 실행에 따라 사용빈도수 또는 연계사용빈도수가 갱신됨을 특징으로 하는 의료영상 기반 스마트 UI 제공방법. According to claim 1,
The UI learning information is a medical image-based smart UI providing method, characterized in that the frequency of use or linked use frequency is updated according to the execution of the function or detailed function of the medical image-based modeling program executed by the skilled person.
상기 실행된 기능 또는 세부기능에 대한 이력정보를 저장하는 단계;
상기 스마트 UI의 실행이 요청되지 않으면, 상기 이력정보로 저장된 기능 또는 세부기능에 대한 실행 명령들에 대응되는 아이콘들을 선택하여 스마트 UI 정보로서 표시하는 단계; 및,
상기 표시된 아이콘들 중 어느 하나가 선택되면, 그 선택된 아이콘에 대응되는 기능 또는 세부 기능을 실행하는 단계;를 더 포함하는 것을 특징으로 하는 의료영상 기반 스마트 UI 제공방법.According to claim 1,
storing history information on the executed function or detailed function;
if the execution of the smart UI is not requested, selecting icons corresponding to the execution commands for the function or detailed function stored as the history information and displaying the selected icons as smart UI information; and,
When any one of the displayed icons is selected, executing a function or detailed function corresponding to the selected icon; Medical image-based smart UI providing method further comprising a.
사용자와의 인터페이스를 담당하는 사용자 인터페이스부;
각종 정보를 표시하는 디스플레이부;
상기 사용자 인터페이스부를 통해 스마트 UI의 실행이 요청되면, 상기 저장된 UI 학습 정보에 따라 상기 사용빈도수 또는 연계사용빈도수가 높은 순서에 따르는 미리 정해둔 수의 세부기능들의 실행을 명령하기 위한 아이콘들로 구성된 스마트 UI 정보를 표시하고, 상기 표시된 스마트 UI 정보 중에서 어느 하나의 아이콘이 선택되면, 그 선택된 아이콘에 대응되는 세부기능을 실행하는 제어부;를 포함하는 것을 특징으로 하는 의료영상 기반 스마트 UI 제공장치. UI learning information including the frequency of use for the function or each detailed function used by the skilled person, and the frequency of use of the linked and used detailed functions executed in connection with the detailed functions and the linked use frequency for each linked and used detailed function a memory unit for storing;
a user interface unit responsible for an interface with a user;
a display unit for displaying various types of information;
When the execution of the smart UI is requested through the user interface unit, the smart composed of icons for instructing the execution of a predetermined number of detailed functions according to the order of the frequency of use or the frequency of linked use according to the stored UI learning information A medical image-based smart UI providing apparatus comprising: a control unit that displays UI information and executes a detailed function corresponding to the selected icon when any one icon is selected from among the displayed smart UI information.
상기 UI 학습정보는 상기 숙련자에 의해 실행된 의료영상 기반 모델링 프로그램의 기능 또는 세부기능의 실행에 따라 사용빈도수 또는 연계사용빈도수가 갱신됨을 특징으로 하는 의료영상 기반 스마트 UI 제공장치.5. The method of claim 4,
The UI learning information is a medical image-based smart UI providing apparatus, characterized in that the frequency of use or linked use frequency is updated according to the execution of the function or detailed function of the medical image-based modeling program executed by the skilled person.
상기 제어부가,
상기 실행된 기능 또는 세부기능에 대한 이력정보를 상기 메모리부에 저장하고,
상기 스마트 UI의 실행이 요청되지 않으면, 상기 이력정보로 저장된 기능 또는 세부기능에 대한 실행 명령들에 대응되는 아이콘들을 선택하여 스마트 UI 정보로서 표시하고,
상기 표시된 아이콘들 중 어느 하나가 선택되면, 그 선택된 아이콘에 대응되는 기능 또는 세부 기능을 실행함을 특징으로 하는 의료영상 기반 스마트 UI 제공장치. 5. The method of claim 4,
the control unit,
Storing the history information on the executed function or detailed function in the memory unit,
If the execution of the smart UI is not requested, the icons corresponding to the execution commands for the function or detailed function stored as the history information are selected and displayed as smart UI information,
When any one of the displayed icons is selected, a function or detailed function corresponding to the selected icon is executed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190132269A KR102422712B1 (en) | 2019-10-23 | 2019-10-23 | smart user interface providing method and apparatus for modelling software based medical image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190132269A KR102422712B1 (en) | 2019-10-23 | 2019-10-23 | smart user interface providing method and apparatus for modelling software based medical image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210048644A KR20210048644A (en) | 2021-05-04 |
| KR102422712B1 true KR102422712B1 (en) | 2022-07-19 |
Family
ID=75913789
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190132269A KR102422712B1 (en) | 2019-10-23 | 2019-10-23 | smart user interface providing method and apparatus for modelling software based medical image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102422712B1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014054358A (en) | 2012-09-12 | 2014-03-27 | Fujifilm Corp | Medical image display device, medical image display method and medical image display program |
| JP2015092318A (en) | 2013-11-08 | 2015-05-14 | 株式会社東芝 | Medical information processor |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040041488A (en) | 2003-08-01 | 2004-05-17 | (주)메비시스 | Graphic user interface for color assignment of volume rendering image |
| US8626141B2 (en) * | 2009-07-30 | 2014-01-07 | Qualcomm Incorporated | Method and apparatus for customizing a user interface menu |
| KR20110112495A (en) | 2010-04-07 | 2011-10-13 | 주식회사 인아웃정보기술 | Medical analysis serve system for medical data |
| KR20120011752A (en) * | 2010-07-30 | 2012-02-08 | 한국전자통신연구원 | User interface apparatus of changing according to usage pattern and method thereof |
| KR101718894B1 (en) * | 2011-11-29 | 2017-03-23 | 삼성전자주식회사 | System and method for controlling device |
| KR101474768B1 (en) * | 2011-12-21 | 2014-12-19 | 삼성전자 주식회사 | Medical device and image displaying method using the same |
| KR101507810B1 (en) * | 2013-06-25 | 2015-04-07 | 삼성전자주식회사 | Method and apparatus for providing user interface for filming examinee using medical imaging device |
| KR101599890B1 (en) * | 2014-07-22 | 2016-03-04 | 삼성전자주식회사 | Apparatus and method for processing medical image |
-
2019
- 2019-10-23 KR KR1020190132269A patent/KR102422712B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014054358A (en) | 2012-09-12 | 2014-03-27 | Fujifilm Corp | Medical image display device, medical image display method and medical image display program |
| JP2015092318A (en) | 2013-11-08 | 2015-05-14 | 株式会社東芝 | Medical information processor |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210048644A (en) | 2021-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Pieper et al. | Interactive graphics for plastic surgery: A task-level analysis and implementation | |
| US7313504B2 (en) | Model management technology using grouping of features | |
| US20060020915A1 (en) | System and method for improved surgical workflow development | |
| US20130297265A1 (en) | Feature-driven rule-based framework for orthopedic surgical planning | |
| TW201626269A (en) | Systems and methods for planning hair transplantation | |
| CN111770735B (en) | Operation simulation information generation method and program | |
| CN110097944B (en) | Display regulation and control method and system for human organ model | |
| JP2007503864A (en) | Method, apparatus and computer program for creating and executing an executable template for an image processing protocol | |
| KR102298417B1 (en) | Program and method for generating surgical simulation information | |
| KR102322518B1 (en) | Method and apparatus for providing surgical report using a user-customized template | |
| KR102422712B1 (en) | smart user interface providing method and apparatus for modelling software based medical image | |
| US20230293236A1 (en) | Device, method and computer program product for validating surgical simulation | |
| US7623695B2 (en) | Image processing method and computer readable medium | |
| Thompson et al. | A hand biomechanics workstation | |
| JP2005185405A (en) | Medical image processor, region-of-interest extraction method and program | |
| KR102138920B1 (en) | Method for displaying undercut in prosthesis design and prosthetic CAD apparatus therefor | |
| CN106992985B (en) | protocol group generation method and device | |
| Drogemuller et al. | Envisioning Paramersive Design: An Immersive Approach to Architectural Design and Review | |
| KR20190133423A (en) | Program and method for generating surgical simulation information | |
| KR102474298B1 (en) | Method for designing prosthetic model and apparatus thereof | |
| Deakyne et al. | Immersive anatomical scenes that enable multiple users to occupy the same virtual space: a tool for surgical planning and education | |
| JP3315890B2 (en) | Data processing system | |
| JP7390669B2 (en) | Information processing system, information processing method, and program | |
| JPH09190459A (en) | Method and device for preparing connection diagram | |
| Deakyne | Immersive Anatomical Scenes that Enable Multiple Users to Occupy the Same Virtual Space: A Tool for Surgical Planning and Education |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |