KR102179586B1 - Ai-based cloud platform system for diagnosing medical image - Google Patents
Ai-based cloud platform system for diagnosing medical image Download PDFInfo
- Publication number
- KR102179586B1 KR102179586B1 KR1020200045743A KR20200045743A KR102179586B1 KR 102179586 B1 KR102179586 B1 KR 102179586B1 KR 1020200045743 A KR1020200045743 A KR 1020200045743A KR 20200045743 A KR20200045743 A KR 20200045743A KR 102179586 B1 KR102179586 B1 KR 102179586B1
- Authority
- KR
- South Korea
- Prior art keywords
- module
- displayed
- learning model
- list
- image processing
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/34—Graphical or visual programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Human Computer Interaction (AREA)
- Primary Health Care (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템에 관한 것으로서, 보다 상세하게는 다수의 사용자가 접속하여 인공지능 기반의 판독 모델의 설계 및 생성을 지원하는 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템에 관한 것이다.The present invention relates to an artificial intelligence-based cloud platform system for reading medical images, and more specifically, an artificial intelligence-based system for reading medical images that supports the design and creation of an artificial intelligence-based reading model by accessing a plurality of users. Of the cloud platform system.
인공지능(Artificial Intelligence) 기법을 이용한 다양한 알고리즘들이 오랜 기간 동안 개발되어 왔으며, 특히 최근에는 딥러닝(Deep Learning) 알고리즘을 적용하여 빅 데이터를 처리하는 다양한 기법들이 개발되고 있으며, 이를 적용한 성공사례도 점점 늘어나고 있다.Various algorithms using artificial intelligence techniques have been developed for a long period of time, and in particular, various techniques for processing big data by applying deep learning algorithms have been developed recently, and success cases of applying them are increasingly being developed. Is increasing.
그 동안 의료영상에도 인공지능을 적용하여 임상의사결정에 도움을 받고자 하는 시도가 활발하게 진행되었고, 특히, X-ray, 초음파, CT(Computed Tomography), MRI(Magnetic Resonance Imaging), PET(Positron Emission Tomography), MRA(Magnetic Resonance Angiography) 등의 진단기기들로부터 획득된 의료영상에 인공지능 알고리즘을 적용하여 임상의사의 의사결정에 도움을 주는 방법이 개발되어 왔다.In the meantime, attempts to receive help in clinical decision making by applying artificial intelligence to medical images have been actively conducted, especially X-ray, ultrasound, CT (Computed Tomography), MRI (Magnetic Resonance Imaging), PET (Positron Emission). Tomography) and MRA (Magnetic Resonance Angiography) have been developed to help clinicians make decisions by applying artificial intelligence algorithms to medical images.
인공지능을 통해서 의료영상에 나타난 조직이 정상인지 비정상인지, 종양의 경우 양성인지 음성인지 분류하는 보조진단시스템의 경우, 영상의학과 의사만이 판독하는 경우보다 병변의 검출율이 향상되는 것으로 알려져 있다. 이러한 분류를 위해서 naive bayes, SVM(Support Vector Machine), ANN(Artificial Neural Network), HMM(Hidden Markov Model) 등을 주로 사용하는데, 이들은 병변의 유무를 자동으로 분류(classification)하는 알고리즘들이다.It is known that the detection rate of lesions is improved in the case of an auxiliary diagnosis system that classifies whether tissues shown in medical images through artificial intelligence are normal or abnormal, and whether tumors are positive or negative, compared to the case that only radiologists read. For this classification, naive bayes, SVM (Support Vector Machine), ANN (Artificial Neural Network), and HMM (Hidden Markov Model) are mainly used, and these are algorithms that automatically classify the presence or absence of lesions.
인공지능 알고리즘으로 기계학습(machine learning) 알고리즘을 사용할 수 있으며, 기계학습은 크게 지도학습(Supervised Learning)과 비지도학습(Unsupervised Learning)으로 나눌 수 있다. 이러한 기계학습 알고리즘으로 판독모델(또는 예측모델)을 생성하고, 생성된 판독모델을 이용하여 의료영상에 대한 정상/비정상 여부를 추론하는 시스템을 구성하는 것이 가능하며, 근래에는 보다 정확한 진단이 가능한 판독모델의 생성을 위한 연구가 지속되고 있다.Machine learning algorithms can be used as artificial intelligence algorithms, and machine learning can be largely divided into supervised learning and unsupervised learning. It is possible to construct a system that generates a reading model (or predictive model) with such a machine learning algorithm, and infers whether or not a medical image is normal/abnormal using the generated reading model. Research is ongoing for the creation of models.
인공지능 알고리즘의 경우, 위에서 설명한 바와 같이, 크게 지도학습과 비지도 학습으로 구분되는데, 지도 학습의 경우에도 분류(Classification), 의사결정 트리(Decision Tree), KNN(K-nearest neighbor), 신경망(Neural network), SVM(Support vector machine) 등이 있으며, 비지도 학습의 경우에도 군집화(Clustering) 등이 있다. 이외에도, 준지도 학습이나 강화 학습(Reinforcement learning) 등도 인공지능 알고리즘으로 알려져 있다.In the case of artificial intelligence algorithm, as described above, it is largely divided into supervised learning and unsupervised learning. Even in the case of supervised learning, classification, decision tree, KNN (K-nearest neighbor), and neural network ( Neural network), support vector machine (SVM), and so on, and clustering in the case of unsupervised learning. In addition, quasi-supervised learning and reinforcement learning are also known as artificial intelligence algorithms.
병변이나 질환의 진단과 같은 의료영상의 판독에 사용되는 인공지능 알고리즘의 경우에도, 분류(Classification algorithm), 오브젝트 검출(Object detection), 세그멘테이션(Segmentation) 등의 알고리즘이 주로 사용되고 있는데, 분류 알고리즘의 경우에도 ResNet, DenseNet, MobileNet 등 다양하게 개발되어 있는 실정이다.Even in the case of artificial intelligence algorithms used for reading medical images such as lesions or disease diagnosis, algorithms such as classification algorithm, object detection, and segmentation are mainly used. Edo, ResNet, DenseNet, MobileNet, etc. are variously developed.
이와 같이 너무나도 다양한 알고리즘 존재로 인해, 인공지능 분야의 전문가, 예를 들어 알고리즘을 직접 코딩하여 학습 모델을 설계할 수 있는 전문가가 아닌 이상, 의료영상의 판독을 위한 학습 모델을 설계하는 것은 쉽지 않은 작업이다.Due to the existence of such a wide variety of algorithms, it is not an easy task to design a learning model for reading medical images unless you are an expert in the field of artificial intelligence, for example, an expert who can design a learning model by directly coding algorithms. to be.
또한, 의료 영상의 경우 개인정보에 해당하여 이를 쉽게 구할 수 없을 뿐만 아니라, 학습 모델의 판독 정확도를 높일 수 있을 만큼의 의료영상를 확보하는 것 자체도 어려운 일이다.In addition, in the case of a medical image, it is not only possible to obtain it easily because it corresponds to personal information, and it is also difficult to secure enough medical images to increase the reading accuracy of the learning model.
이에, 본 발명은 상기와 같은 문제점을 해소하기 위해 안출된 것으로서, 다양한 종류의 의료영상을 제공하고, 전처리나 후처리를 위한 이미지 프로세싱 알고리즘, 인공지능 알고리즘을 모듈화하여 제공하면서도, 사용자가 쉽게 인공지능 기반의 학습 모델을 설계할 수 있는 환경을 제공할 수 있는 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템을 제공하는데 그 목적이 있다.Accordingly, the present invention has been devised to solve the above problems, and provides various types of medical images, and provides a modularized image processing algorithm and artificial intelligence algorithm for pre- or post-processing, while allowing users to easily use artificial intelligence. Its purpose is to provide an artificial intelligence-based cloud platform system for reading medical images that can provide an environment in which a learning model can be designed.
상기 목적은 본 발명에 따라, 의료영상 판독을 위한 클라우드 플랫폼 시스템에 있어서, 의료영상의 전처리를 수행하도록 기 프로그래밍되어 모듈화된 복수의 이미지 프로세싱 모듈과, 인공지능 알고리즘이 기 프로그래밍되어 모듈화된 복수의 인공지능 모듈과, 신체 부위, 모달리티의 유형, 판록 대상 질환의 유형, 이미지 차원의 유형 중 적어도 하나에 따라 분류된 복수의 데이터세트가 저장된 데이터세트 저장부와, 웹 브라우저를 통해 접속한 사용자 단말에 인공지능 기반의 학습 모델의 설계를 위한 그래픽 유저 인터페이스를 제공하는 학습 모델 설계부와, 상기 학습 모델 설계부에 의해 설계된 학습 모델을 학습시켜 판독 모델을 생성하는 판독 모델 생성부를 포함하며; 상기 학습 모델 설계부는 복수의 상기 데이터세트, 복수의 상기 이미지 프로세싱 모듈의 리스트 및 복수의 상기 인공지능 모듈의 리스트가 표시된 모듈 리스트 표시창과, 학습 모델 설계창을 상기 그래픽 유저 인터페이스에 표시하고, 상기 모듈 리스트 표시창에 표시된 리스트가 상기 학습 모델 설계창으로 드래그 앤 드롭되는 경우, 상기 학습 모델 설계창에 드래그 앤 드롭에 대응하여 데이터 아이콘 및 모듈 아이콘을 생성하고, 상기 데이터 아이콘과 상기 모듈 아이콘들이 라인 연결되는 경우, 상기 데이터 아이콘 및 모듈 아이콘들 간의 라인 연결을 데이터의 흐름으로 하여 상기 학습 모델을 생성하고; 상기 판독 모델 생성부는 상기 데이터 아이콘에 대응하는 데이터세트를 상기 학습 모델 설계부에 의해 생성된 상기 학습 모델에 학습시켜 상기 판독 모델을 생성하고; 상기 학습 모델 설계부는 상기 학습 모델 설계창에 표시된 상기 이미지 프로세싱 모듈에 대응하는 모듈 아이콘이 선택된 경우, 해당 이미지 프로세싱 모듈의 이미지 프로세싱 전과 후의 이미지를 해당 모듈 아이콘 주변 중 일 영역에 표시하는 것을 특징으로 하는 의료영상 판독을 위한 클라우드 플랫폼 시스템에 의해서 달성된다.According to the present invention, in the cloud platform system for reading medical images, a plurality of image processing modules pre-programmed and modularized to perform pre-processing of medical images, and a plurality of modularized artificial intelligence algorithms An intelligent module, a data set storage unit in which a plurality of data sets classified according to at least one of a body part, type of modality, type of disease to be marked, and type of image dimension are stored, and a user terminal accessed through a web browser. A learning model designing unit that provides a graphic user interface for designing an intelligence-based learning model, and a reading model generation unit that generates a reading model by learning the learning model designed by the learning model designing unit; The learning model design unit displays a module list display window in which a plurality of data sets, a list of a plurality of image processing modules, and a list of a plurality of artificial intelligence modules are displayed, and a learning model design window on the graphic user interface, and the module When the list displayed on the list display window is dragged and dropped into the learning model design window, a data icon and a module icon are created in response to the drag and drop in the learning model design window, and the data icon and the module icons are connected by line. In this case, generating the learning model by using a line connection between the data icon and the module icons as a data flow; The read model generation unit generates the read model by learning a data set corresponding to the data icon on the learning model generated by the learning model design unit; When the module icon corresponding to the image processing module displayed in the learning model design window is selected, the learning model design unit displays an image before and after image processing of the image processing module in one area around the module icon. It is achieved by a cloud platform system for reading medical images.
여기서, 상기 학습 모델 설계부는 상기 학습 모델 설계창에 표시된 상기 이미지 프로세싱 모듈에 대응하는 모듈 아이콘이 선택된 경우, 상기 데이터세트를 구성하는 의료영상의 리스트가 표시되는 데이터 리스트 표시창과, 상기 데이터 리스트 표시창에 표시된 리스트 중 어느 하나가 선택될 때 해당 리스트의 의료영상이 표시되는 영상 표시창을 상기 그래픽 유저 인터페이스에 표시하고, 상기 영상 표시창에 표시되는 의료영상은 상기 이미지 프로세싱 모듈의 전처리 전과 후의 영상이 함께 표시될 수 있다.Here, the learning model design unit, when a module icon corresponding to the image processing module displayed on the learning model design window is selected, a data list display window displaying a list of medical images constituting the data set, and the data list display window When any one of the displayed lists is selected, an image display window displaying the medical images of the corresponding list is displayed on the graphic user interface, and the medical images displayed on the image display window are displayed together with images before and after pre-processing by the image processing module. I can.
또한, 상기 학습 모델 설계부는 상기 학습 모델 설계창에 표시된 상기 이미지 프로세싱 모듈에 대응하는 모듈 아이콘 중 하나가 선택되는 경우, 해당 이미지 프로세싱 모듈의 상세 정보가 표시되는 정보 표시창을 상기 그래픽 유저 인터페이스에 표시하며; 상기 정보 표시창에 표시되는 상세 정보는 해당 이미지 프로세싱 모듈의 전처리 과정을 결정하는 파라미터 정보를 포함하되, 파라미터 값의 변경이 가능하도록 설정될 수 있다.In addition, when one of the module icons corresponding to the image processing module displayed on the learning model design window is selected, the learning model design unit displays an information display window displaying detailed information of the image processing module on the graphic user interface. ; The detailed information displayed on the information display window includes parameter information for determining a pre-processing process of a corresponding image processing module, but may be set to allow a parameter value to be changed.
그리고, 상기 정보 표시창에는 해당 이미지 프로세싱 모듈에 의한 전처리 전과 후의 대표 이미지가 표시될 수 있다.In addition, representative images before and after pre-processing by a corresponding image processing module may be displayed on the information display window.
그리고, 상기 모듈 리스트 표시창에 표시되는 복수의 상기 이미지 프로세싱 모듈의 리스트는 복수의 전처리 기능별 그룹으로 구분되어 표시되며; 상기 전처리 기능별 그룹은 8비트 이상의 컬러 이미지에서 동작하는 이미지 프로세싱 모듈들의 리스트가 표시되는 컬러 전처리 그룹과, 8비트의 흑백 이미지에서 동작하는 이미지 프로세싱 모듈들의 리스트가 표시되는 그레이 스케일 전처리 그룹과, 1비트 흑백 이미지에서 동작하는 이미지 프로세싱 모듈들의 리스트가 표시되는 바이너리 전처리 그룹 중 적어도 2이상을 포함할 수 있다.Further, the list of the plurality of image processing modules displayed on the module list display window is divided into groups for each of a plurality of preprocessing functions and displayed; The preprocessing function group includes a color preprocessing group displaying a list of image processing modules operating on an 8-bit or larger color image, a gray scale preprocessing group displaying a list of image processing modules operating on an 8-bit black and white image, and a 1-bit. It may include at least two or more of a binary preprocessing group in which a list of image processing modules operating on a monochrome image is displayed.
그리고, 상기 학습 모델 설계부는 이미지 프로세싱 전과 후의 이미지가 해당 모듈 아이콘 주변에 표시된 상태에서 마우스의 스크롤이 인식되는 경우, 해당 데이터세트에 포함된 이미지를 변경하여 이미지 프로세싱 전과 후의 이미지를 표시할 수 있다.In addition, when a mouse scroll is recognized while images before and after image processing are displayed around a corresponding module icon, the learning model design unit may change an image included in a corresponding dataset to display images before and after image processing.
상기와 같은 구성에 따라, 본 발명에 따르면, 다양한 종류의 의료영상을 제공하고, 전처리나 후처리를 위한 이미지 프로세싱 알고리즘, 인공지능 알고리즘을 모듈화하여 제공하면서도, 사용자가 쉽게 인공지능 기반의 학습 모델을 설계할 수 있는 환경을 제공할 수 있는 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템이 제공된다.According to the above configuration, according to the present invention, various types of medical images are provided, image processing algorithms for pre-processing or post-processing, and artificial intelligence algorithms are provided by modularization, while allowing users to easily implement artificial intelligence-based learning models. A cloud platform system based on artificial intelligence for reading medical images that can provide a design environment is provided.
도 1 및 도 2는 본 발명의 실시예에 따른 인공지능 기반의 클라우드 플랫폼 시스템의 구성을 설명하기 위한 도면이고,
도 3 내지 도 24는 본 발명의 실시예에 따른 인공지능 기반의 클라우드 플랫폼 시스템이 제공하는 그래픽 유저 인터페이스를 설명하기 위한 도면이다.1 and 2 are diagrams for explaining the configuration of an artificial intelligence-based cloud platform system according to an embodiment of the present invention,
3 to 24 are diagrams for explaining a graphic user interface provided by an artificial intelligence-based cloud platform system according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.In the present invention, various modifications may be made and various embodiments may be provided, and specific embodiments will be illustrated in the drawings and described in detail.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.However, this is not intended to limit the present invention to a specific embodiment, it is to be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof, does not preclude in advance.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in the present application. Does not.
도 1은 본 발명의 실시예에 따른 인공지능 기반의 클라우드 플랫폼 시스템(100)의 활용 구조를 나타낸 도면이고, 도 2는 본 발명의 실시예에 따른 인공지능 기반의 클라우드 플랫폼 시스템(100)의 구성의 예를 나타낸 도면이다.1 is a diagram showing the utilization structure of an artificial intelligence-based
도 1을 참조하여 설명하면, 본 발명의 실시예에 따른 인공지능 기반의 클라우드 플랫폼 시스템(100)(이하, '클라우드 플랫폼 시스템(100)'이라 함)에는 다수의 사용자 단말(300)이 통신망(500)을 통해 접속하고, 본 발명의 실시예에 따른 클라우드 플랫폼 시스템(100)이 제공하는 학습 모델의 설계와, 판독 모델의 생성을 위한 그래픽 유저 인터페이스를 이용하여 판독 모델을 생성하게 된다.Referring to FIG. 1, a plurality of
본 발명의 실시예에 따른 클라우드 플랫폼 시스템(100)은, 도 2에 도시된 바와 같이, 복수의 데이터세트(111)가 저장된 데이터세트 저장부(110), 복수의 이미지 프로세싱 모듈(121), 복수의 인공지능 모듈(131), 모델 학습부(140) 및 의료영상 판독부(150)를 포함한다. 여기서, 이미지 프로세싱 모듈(121)은 제1 모듈 저장부(120)에 저장되고, 인공지능 모듈(131)은 제2 모듈 저장부(130)에 저장되는 것을 예로 하는데, 제1 모듈 저장부(120) 및 제2 모듈 저장부(130)가 물리적으로 분리된 스토리지를 의미하지 않음은 물론이다.The
데이터세트 저장부(110)에 저장된 복수의 데이터세트(111)는 신체 부위, 모달리티(Modality)의 유형, 판독대상 질환의 유형, 이미지 차원의 유형 중 적어도 하나에 따라 분류된다.The plurality of
신체 부위는 학습이나 판독 대상인 신체 부위로, 복부(Abdomen), 뇌(Brain), 머리(Head), 목(Neck), 척추(Spine), 유방(Breast), 흉부(Chest), 부인과(Gynecology) 부위, 비뇨기과(Urology) 부위, 심장(Heart), 혈관(Vessel), 근골격계(Musculoskeletal system) 등을 포함할 수 있다.Body parts are parts of the body that are to be learned or read. Abdomen, Brain, Head, Neck, Spine, Breast, Chest, Gynecology It may include a site, a urology site, a heart, a vessel, a musculoskeletal system, and the like.
모달리티의 유형으로는, CT, MRI, MRA, X-Ray, 초음파, PET 등을 포함할 수 있으며, 판독대상 질환의 유형은 종양, 척추측만증, 폐렴, 당뇨망막변증 등 의료영상을 이용하여 판독 가능한 다양한 질환, 병변을 포함할 수 있다. 그리고, 이미지 차원의 유형은 2D 이미지와 3D 이미지를 포함할 수 있다.Types of modality may include CT, MRI, MRA, X-ray, ultrasound, PET, and the like, and the types of diseases to be read can be read using medical images such as tumors, scoliosis, pneumonia, and diabetic retinopathy. It may include various diseases and lesions. And, the type of image dimension may include a 2D image and a 3D image.
상기와 같은 분류 기준에 따라 분류된 다수의 의료영상이 하나의 데이터세트(111)를 구성하게 되며, 사용자는 하나의 데이터세트(111)를 이용하여 학습을 진행할 수 있다.A plurality of medical images classified according to the classification criteria as described above constitute one
이미지 프로세싱 모듈(121)은 의료 영상의 전처리를 수행하도록 기 프로그래밍되어 모듈화된다. 이미지 프로세싱 모듈(121)은 컬러 이미지의 전처리를 위한 모듈, 그레이 스케일 이미지의 전처리를 위한 모듈, 바이너리 이미지의 전처리를 위한 모듈, 그리고 그 외의 모듈로 구분될 수 있는데, 이에 대한 상세한 설명은 후술한다.The
인공지능 모듈(131)은 인공지능 알고리즘이 기 프로그래밍되어 모듈화된다. 본 발명에서는 인공지능 모듈(131)이 딥러닝(Deep learning) 기반의 신경망(Neural network) 알고리즘이 모듈화되어 인공지능 모듈(131)을 구성하는 것을 예로 하며, 이에 대한 구체적인 설명은 후술한다.The
모델 학습부(140)는 학습 모델의 설계를 지원하는 학습 모델 설계부(141)와, 학습 모델 설계부(141)에 의해 설계된 학습 모델을 학습시켜 판독 모델을 생성하는 판독 모델 생성부(142)를 포함한다.The
본 발명에서는 설명의 편의를 위해 '학습 모델'과 '판독 모델'로 구분하여 설명하는데, 학습 모델은 사용자가 본 발명에 따른 클라우드 플랫폼 시스템(100)이 제공하는 그래픽 유저 인터페이스를 통해 모델을 설계하는 과정에서의 모델을 의미하고, 실제 학습이 이루어지기 전단의 설계 과정에 있는 상태를 정의하며, 판독 모델은 설계된 학습 모델을 데이터세트(111)를 이용하여 학습시킨 이후의 모델, 가중치(Weight value) 등의 파라미터가 업데이트된 상태를 정의한다.In the present invention, for convenience of explanation, it is divided into'learning model' and'reading model'. The learning model is designed by a user through a graphic user interface provided by the
학습 모델 설계부(141)는 웹 브라우저를 통해 접속한 사용자 단말(300)에 인공지능 기반의 학습 모델의 설계를 위한 그래픽 유저 인터페이스를 제공한다. 그리고, 상술한 바와 같이, 판독 모델 생성부(142)는 학습 모델 설계부(141)에 의해 설계된 학습 모델을 학습시켜 판독 모델을 생성한다.The learning
여기서, 학습 모델 설계부(141)는 학습 모델의 설계에 있어, 데이터세트(111), 이미지 프로세싱 모듈(121), 인공지능 모듈(131)의 선택, 드래그 앤 드랍, 모듈 간의 라인 연결을 통해 학습 모델을 설계할 수 있는 그래픽 유저 인터페이스를 제공하게 되는데, 이를 통해 사용자는 데이터세트(111), 모듈화된 이미지 프로세싱 알고리즘과 인공지능 알고리즘을 드래그 앤 드롭 방식과 같은 간단한 조작 만으로 보다 쉽게 학습 모델을 설계하고, 판독 모델을 생성할 수 있게 된다.Here, in the design of the learning model, the learning
이하에서는, 도 3 내지 도 24을 참조하여 본 발명의 실시예에 따른 클라우드 플랫폼 시스템(100)이 제공하는 그래픽 유저 인터페이스를 이용하여, 학습 모델의 설계 및 판독 모델의 생성을 위한 신규 프로젝트의 생성 과정에 대해 설명한다. 여기서, 신규 프로젝트 생성 과정은 학습 모델 설계부(141)에 의해 진행된다.In the following, the process of creating a new project for designing a learning model and generating a reading model using a graphic user interface provided by the
먼저, 사용자가 사용자 단말(300)을 통해 클라우드 플랫폼 시스템(100)이 제공하는 웹 사이트에 접속하면, 도 3에 도시된 바와 같은 메인 화면이 사용자 단말(300)의 화면 상에 표시된다.First, when a user accesses a web site provided by the
그런 다음, 사용자가 자신의 아이디 및 패스워드를 통해 로그인(도 3에서 우측 상단)한 후, 마이 페이지 메뉴를 클릭하면, 마이 페이지 화면이 사용자 단말(300)의 화면 상에 표시된다.Then, when the user logs in (top right in FIG. 3) through his/her ID and password and clicks the My Page menu, the My Page screen is displayed on the screen of the
도 4는 본 발명에 따른 클라우드 플랫폼 시스템(100)이 제공하는 마이 페이지 화면의 예를 나타낸 도면이다. 도 4를 참조하여 설명하면, 본 발명의 실시예에 따른 마이 페이지 화면은 마이 페이지 메뉴 창(41), 프로젝트 현황 창(42), 및 마이 프로젝트 목록 창(43)을 포함할 수 있다.4 is a diagram showing an example of a My Page screen provided by the
마이 페이지 메뉴 창(41)은 마이 프로젝트(My Projects)와 공유 프로젝트(Shared Projects)로 구성된 프로젝트 메뉴(Project), 데이터 세트 메뉴(Dataset), 모듈 메뉴(Modules)를 포함할 수 있으며, Q&A 메뉴(My Q&A)와 마이 프로파일 메뉴(My Profile)가 부가될 수 있다.The My
마이 프로젝트를 클릭하면, 도 4에 도시된 바와 같은 화면이 표시되고, 공유 프로젝트를 클릭하면, 도 5에 도시된 바와 같이, 다른 사용자가 생성한 프로젝트 중 공유로 설정된 프로젝트의 리스트들이 화면상에 표시된다.When you click My Project, a screen as shown in Fig. 4 is displayed, and when you click on a shared project, a list of projects set to be shared among projects created by other users are displayed on the screen, as shown in Fig. 5 do.
마찬가지로, 데이터 세트 메뉴가 클릭되면, 현재 클라우드 플랫폼 시스템(100)이 보유하고 있는 데이터 세트의 리스트가 도 5에 도시된 바와 같은 형태로 마이 페이지 메뉴 창(41) 우측에 표시되고, 해당 데이터 세트를 클릭하는 경우 상세 정보의 확인이 가능하도록 마련될 수 있다. 여기서, 클라우드 플랫폼 시스템(100)이 보유하고 있는 데이터 세트는 모듈러 화면 상의 데이터 세트 리스트에 표시되는데, 이에 대한 설명은 후술한다.Similarly, when the data set menu is clicked, a list of data sets currently held by the
모듈 메뉴는 이미지 프로세싱 항목(Image processing)과 신경망 항목(Neural Network)을 포함할 수 있다. 이미지 프로세싱 항목을 클릭하면, 현재 클라우드 플랫폼 시스템(100)이 보유하고 있는 이미지 프로세싱 모듈(121)의 리스트가, 도 5에 도시된 바와 같은 형태로 마이 페이지 메뉴 창(41)의 우측에 표시될 수 있다. 마찬가지로, 신경망 항목을 클릭하면, 클라우드 플랫폼 시스템(100)이 보유하고 있는 인공지능 모듈(131)의 리스트가, 도 5에 도시된 바와 같은 형태로 마이 페이지 메뉴 창(41)의 우측에 표시될 수 있다. 여기서, 클라우드 플랫폼 시스템(100)이 보유하고 있는 이미지 프로세싱 모듈(121)과 인공지능 모듈(131)은 후술할 모듈러 화면 상의 모듈 리스트 표시창(91)에 표시되는데, 이에 대한 설명은 후술한다.The module menu may include an image processing item and a neural network item. When the image processing item is clicked, a list of
다시, 도 4를 참조하여 설명하면, 마이 프로젝트 화면 상의 프로젝트 현황 창(42)에는 현재 로그인한 사용자의 프로젝트 현황, 리소스 현황, 프로젝트 별 공지 사항, 현재 클라우드 플랫폼 시스템(100)에 등록된 전체 프로젝트의 현황에 대한 정보, 현재 사용자의 프로젝트 수행 히스토리에 대한 정보 등이 표시될 수 있다.Again, referring to FIG. 4, the
그리고, 마이 프로젝트 목록 창(43)에는 현재 로그인한 사용자가 수행한 프로젝트의 리스트가 표시되는데, 도 4에서는 하나의 프로젝트가 수행된 예를 나타내고 있다.In addition, a list of projects executed by the currently logged-in user is displayed in the My
여기서, 마이 프로젝트 목록 창(43)에서 '+Create' 항목을 클릭하게 되면, 신규 프로젝트로 생성될 판독 모델의 속성 정보를 입력하기 위한 속성 입력창이 그래픽 유저 인터페이스에 표시된다.Here, when the'+Create' item is clicked on the My
먼저, 신규 프로젝트를 생성하기 위해 '+Create' 항목을 클릭하게 되면, 도 6에 도시된 바와 같은 프로젝트 기본정보 입력 팝업창이 속성 입력창으로 사용자 단말(300)의 화면 상에 표시된다.First, when a'+Create' item is clicked to create a new project, a project basic information input pop-up window as shown in FIG. 6 is displayed on the screen of the
프로젝트 기본정보 입력 팝업창에는 프로젝트 이름(Name)의 입력, 신체 부위(Body Part)의 선택, 모달리티 유형(Modality)의 선택, 프로젝트 요약(Summary), 프로젝트 종료일(Due date)의 입력, 커버 이미지(Cover Image) 선택을 위한 항목들이 표시될 수 있으며, 여기서, 신체 부위, 모달리티 유형이 신규 프로젝트로 생성될 판독 모델의 속성 정보에 포함된다.In the pop-up window for inputting basic project information, input the project name, body part, modality type, project summary, project end date, and cover image. Image) Items for selection may be displayed, where the body part and modality type are included in the attribute information of the read model to be created as a new project.
프로젝트 기본정보 입력 팝업창을 이용하여 속성 정보를 입력한 후, 다음 버튼(Next)을 클릭하면, 도 7에 도시된 바와 같이, 인공지능 모델의 유형을 선택하기 위한 모델 유형 선택 팝업창이 속성 입력창으로 그래픽 유저 인터페이스 화면에 표시된다.After entering the property information using the project basic information input pop-up window, and clicking the Next button (Next), as shown in FIG. 7, a model type selection pop-up window for selecting the type of the artificial intelligence model is displayed as the property input window. It is displayed on the graphical user interface screen.
본 발명에서는 인공지능 모델의 유형으로, 도 7에 도시된 바와 같이, 분류(Classification) 모델, 오브젝트 검출(Object detection) 모델, 및 세그멘테이션(Segmentation) 모델을 포함하는 것을 예로 하고 있으나, 이에 국한되지 않음은 물론이다. 여기서, 도 7에 도시된 모델 유형 선택 팝업창에서는 인공지능 모델 중 하나 또는 2이상을 선택할 수 있도록 마련되는 것을 예로 한다.In the present invention, as an example of the type of artificial intelligence model, as shown in FIG. 7, a classification model, an object detection model, and a segmentation model are included, but is not limited thereto. Of course. Here, as an example, in the model type selection pop-up window shown in FIG. 7, it is provided to select one or two or more of artificial intelligence models.
인공지능 모델의 유형의 선택 후, 다음 버튼(Next)을 클릭하게 되면, 도 8에 도시된 바와 같이, 2차원 및 3차원을 포함한 학습 대상 데이터세트(111)의 유형을 선택하기 위한 데이터 유형 선택 팝업창이 속성 입력창으로 그래픽 유저 인터페이스에 표시된다. 여기서, 2차원 또는 3차원 이미지 데이터세트(111)가 선택적으로, 또는 둘다 선택이 가능함은 물론이다.When the next button (Next) is clicked after selecting the type of the artificial intelligence model, as shown in FIG. 8, the data type selection for selecting the type of the
상기와 같은 과정을 통해, 인공지능 모델의 유형과, 2차원 또는 3차원 데이터세트(111)가 선택되면, 인공지능 모델의 유형과 데이터세트(111)의 유형은 상술한 속성 정보로 등록된다.Through the above process, when the type of the artificial intelligence model and the 2D or
속성 정보의 등록 과정이 완료되면, 학습 모델 설계부(141)는, 도 9에 도시된 바와 같이, 모듈러 화면을 그래픽 유저 인터페이스에 표시한다.When the registration process of attribute information is completed, the learning
모듈러 화면은 모듈 리스트 표시창(91), 학습 모델 설계창(92), 정보 표시창(93)을 포함할 수 있다.The modular screen may include a module
모듈 리스트 표시창(91)에는 복수의 데이터세트(111)의 리스트, 복수의 이미지 프로세싱 모듈(121)의 리스트, 그리고 복수의 인공지능 모델의 리스트가 표시된다.The module
여기서, 본 발명에서는 학습 모델 설계부(141)가 모듈 리스트 표시창(91)에 리스트를 표시할 때, 상술한 바와 같이 속성 입력창을 통해 입력한 송성 정보와 매칭되는 데이터세트(111), 이미지 프로세싱 모듈(121) 및 인공지능 모듈(131)의 리스트만을 표시할 수 있다. 이를 통해, 인공지능 분야에 지식이 부족한 사용자의 경우, 자신이 설계 및 생성하고자 하는 판독 모델과 속성 정보가 매칭되는 모듈 만이 리스트에 표출되어 보다 쉽게 접근이 가능하게 된다.Here, in the present invention, when the learning
도 10의 (a)는 속성 정보와 매칭되는 리스트만이 표시된 모듈 리스트 표시창(91)의 예를 나타낸 도면이고, 도 10의 (b)는 리스트 전체가 표시된 모듈 리스트 표시창(91)의 예를 나타낸 도면이다. 도 10은 데이터세트(111)의 리스트의 예를 나타내고 있다.FIG. 10A is a view showing an example of the module
도 10을 참조하여 설명하면, 본 발명에 따른 모듈 리스트 표시창(91)에는 전체 리스트 선택 항목(ALL)과, 추천 리스트 선택 항목(Recommend)이 마련될 수 있으며, 전체 리스트 선택 항목(ALL)을 클릭하면, 도 10의 (b)에 도시된 바와 같이, 데이터세트(111)의 전체 리스트가 표시되고, 추전 리스트 선택 항목(Recommend)을 클릭하면, 도 10의 (a)에 도시된 바와 같이, 추천 리스트, 즉 사전에 등록한 속성 정보와 매칭되는 데이터세트(111)의 리스트만이 표시된다.Referring to FIG. 10, in the module
한편, 모듈 리스트 표시창(91)에는 데이터세트 선택 항목(91a), 이미지 프로세싱 선택 항목(91b) 및 인공지능 선택 항목(91c)이 마련될 수 있으며, 학습 모델 설계부(141)는 데이터세트 선택 항목(91a)이 클릭되면, 데이터세트(111)의 리스트를 모듈 리스트 표시창(91)에 표시할 수 있다(도 10 참조).On the other hand, in the module
마찬가지로, 학습 모델 설계부(141)는 이미지 프로세싱 선택 항목(91b)이 선택이 클릭되면, 이미징 프로세싱 모듈의 리스트를 모듈 리스트 표시창(91)에 표시하게 되는데, 이 때, 데이터세트(111)에서와 동일하게, 전체 리스트 선택 항목(ALL)과 추전 리스트 선택 항목(Recommend)의 선택을 통해, 전체 리스트 또는 매칭되는 추천 리스트를 표시할 수 있다.Similarly, when the image
그리고, 학습 모델 설계부(141)는 인공지능 선택 항목(91c)이 클릭되면, 인공지능 모듈(131)의 리스트를 모듈 리스트 표시창(91)에 표시하게 되고, 동일하게, 전체 리스트 선택 항목(ALL)과 추전 리스트 선택 항목(Recommend)의 선택을 통해, 전체 리스트 또는 매칭되는 추천 리스트를 표시할 수 있다.And, when the artificial
한편, 본 발명의 실시예에 따른 클라우드 플랫폼 시스템(100)은, 도 2에 도시된 바와 같이, 기 생성된 판독 모델과 기 설계된 학습 모델이 저장된 모델 저장부(160)를 포함할 수 있다.Meanwhile, as shown in FIG. 2, the
여기서, 모델 저장부(160)에 저장된 판독 모델 또는 학습 모델은 본 발명에 따른 클라우드 플랫폼 시스템(100)을 이용한 사용자가 자신이 설계한 학습 모델이나 생성한 판독 모델을 공유로 하여 등록한 것으로, 공유를 통해 다른 사용자가 접근이 가능하게 된다.Here, the reading model or learning model stored in the
여기서, 학습 모델 설계부(141)는 속성 입력창을 통해 입력된 속성 정보와 매칭되는 판독 모델 또는 학습 모델을 모델 저장부(160)로부터 검색하고, 기 설정된 개수의 매칭되는 학습 모델 또는 판독 모델의 리스트가 표시된 추천 모델 리스트 창을 그래픽 유저 인터페이스에 표시할 수 있다. 본 발명에서는 추천 모델 리스트 창이 속성 입력창를 통한 속성 정보의 입력 후 모델러 화면으로 전환되기 전에 팝업 창 형태로 표시되는 것을 예로 하며, 사용자가 추천 모델 리스트 창에 추천된 모델 중 어느 하나를 클릭하면 해당 학습 모델 또는 판독 모델이 모델러 화면에 표시되어, 이를 기반으로 수정을 통해 새로운 학습 모델의 설계가 가능하게 된다.Here, the learning
도 11은 본 발명의 실시예에 따른 클라우드 플랫폼 시스템(100)에서 모듈 리스트 표시창(91)에 이미지 프로세싱 모듈(121)의 리스트가 표시된 예를 나타낸 도면이다. 본 발명에서는 모듈 리스트 표시창(91)에 표시되는 이미지 프로세싱 모듈(121)의 리스트가 복수의 전처리 기능별 그룹으로 구분되어 표시되는 것을 예로 한다.11 is a diagram illustrating an example in which a list of
여기서, 전처리 기능별 그룹은 컬러 전처리 그룹(Color), 그레이 스케일 전처리 그룹(Grayscale), 바이너리 전처리 그룹(Binary)을 포함할 수 있다. 또한 전처리 기능별 그룹은 일반 전처리 그룹(General)을 포함할 수 있다.Here, the group for each preprocessing function may include a color preprocessing group (Color), a grayscale preprocessing group (Grayscale), and a binary preprocessing group (Binary). Also, the group for each pre-processing function may include a general pre-processing group.
컬러 전처리 그룹에는 8비트 이상의 컬러 이미지에서 동작하는 이미지 프로세싱 모듈(121)들의 리스트가 표시될 수 있다.In the color preprocessing group, a list of
컬러 전처리 그룹에 속하는 이미지 프로세싱 모듈(121)은 컬러 모드 컨버팅 모듈, 컬러 투 그레이스케일 모듈, 컬러용 감마 보정 모듈, 컬러용 히스토그램 평활화 모듈을 포함할 수 있다.The
컬러 모드 컨버팅 모듈은 다양한 컬러 스페이스 간을 변환해주는 모듈이고, 컬러 투 그레이스케일 모듈은 컬러 이미지를 그레이스케일 이미지로 변환해주는 모듈이고, 컬러용 감마 보정 모듈은 컬러 이미지의 감마 보정을 수행하는 모듈이며, 컬러용 히스토그램 평활화 모듈은 컬러 이미지의 히스토그램을 평활화시키는 모듈이다.The color mode converting module is a module that converts between various color spaces, the color to grayscale module is a module that converts a color image into a grayscale image, and the gamma correction module for color is a module that performs gamma correction of color images. The color histogram smoothing module is a module that smoothes the histogram of a color image.
그레이 스케일 전처리 모듈은 그레이스케일용 감마 보정 모듈, 그레이스케일용 히스토그램 평활화 모듈, 형태학적(Morphological) 변환 모듈, 문턱치(Threshold) 변환 모듈을 포함할 수 있다.The gray scale preprocessing module may include a gamma correction module for grayscale, a histogram smoothing module for grayscale, a morphological conversion module, and a threshold conversion module.
감마 보정 모듈과 그레이스케일용 히스토그램 평활화 모듈은 각각 그레이스케일 이미지의 감마 보정 및 히스토그램 평활화를 수행하며, 형태학적(Morphological) 변환 모듈은 그레이스케일 이미지의 형태학적인 변환을 수행하는 모듈이고, 문턱치(Threshold) 변환 모듈은 그레이스케일 이미지를 흑과 백 두가지 값만 가지도록 이진화를 수행하는 모듈이다.The gamma correction module and the grayscale histogram smoothing module respectively perform gamma correction and histogram smoothing of the grayscale image, and the morphological conversion module is a module that performs morphological transformation of the grayscale image. The conversion module is a module that performs binarization of a grayscale image to have only two values, black and white.
바이너리 전처리 모듈은 윤곽선(Contour) 검출 모듈, 블록 껍질(Convex hull) 모듈, 바이너리 이미지용 형태학적(Morphological) 변환 모듈, 골격화(Skeletonize) 모듈을 포함할 수 있다.The binary preprocessing module may include a contour detection module, a block hull module, a morphological conversion module for binary images, and a skeletonize module.
윤곽선(Contour) 검출 모듈은 동일한 픽셀 값을 갖는 픽셀들을 연결시켜 윤곽선을 검출하는 모듈이고, 블록 껍질(Convex hull) 모듈은 이미지 내의 모든 힌색 픽셀 값을 포함하는 가장 작은 마스크를 생성해주는 모듈이고, 골격화(Skeletonize) 모듈은 이미지의 골격만을 남도록 만들어주는 모듈이다.The contour detection module is a module that detects the contour by connecting pixels having the same pixel value, and the convex hull module is a module that creates the smallest mask including all the white pixel values in the image. The Skeletonize module is a module that makes only the skeleton of an image remain.
일반 전처리 그룹(General)은 컬러 이미지, 그레이스케일 이미지 또는 바이너리 이미지에만 적용되는 상술한 이미지 프로세싱 모듈(121)을 제외한 나머지의 리스트를 포함한다.The general preprocessing group (General) includes a list of the rest except for the
도 11에 도시된 예에서와 같이, 일반 전처리 그룹(General)은 비트 감소 모듈(Bit Reduction), 엣지 검출 모듈(Edge Detection), 반전 모듈(Invert), 리샘플링 모듈(Resample), 리스케일링 모듈(Rescaling), 리사이징 모듈(Resize), 샤프닝 모듈(Sharpening), 스무딩 모듈(Smooding), 제로-패닝 모듈(Zero-padding) 모듈을 포함할 수 있다.As in the example shown in FIG. 11, a general preprocessing group is a bit reduction module, an edge detection module, an inverting module, a resampling module, and a rescaling module. ), a resizing module (Resize), a sharpening module (Sharpening), a smoothing module (Smooding), and a zero-panning module (Zero-padding) module.
비트 감소 모듈(Bit Reduction)은 이미지 표현에 사용되는 색상의 비트 값을 줄이는 과정으로 이미지를 8 비트 정수 형태로 변환시켜주는 모듈이고, 엣지 검출 모듈(Edge detection)은 이미지의 엣지를 찾아 이진화 시켜주는 모듈이고, 반전 모듈(Invert)은 이미지의 픽셀 값을 반전시켜주는 모듈이고, 리샘플링 모듈(Resample)은 픽셀간 거리의 정보를 사용하여 이미지의 크기를 조정하는 모듈이고, 리스케일링 모듈(Rescaling)은 이미지 샘플 영역, 예컨대, 프로파일 또는 전체 영상에 위치하는 픽셀 값의 범위를 변경하는 모듈이고, 리사이징 모듈(Resize)은 이미지의 크기를 확대 또는 축소시키는 모듈이고, 샤프닝 모듈(Sharpening)은 이미지의 엣지를 강조하는 효과를 주는 모듈이고, 스무딩 모듈(Smoothing)은 이미지에 흐림 효과를 주어 번지게 하는 모듈이고, 제로-패딩 모듈(Zero-padding)은 원본 이미지에 0인 값으로 이루어진 정사각형 모양을 붙이는 모듈이다.Bit Reduction module is a module that converts an image into an 8-bit integer form by reducing the bit value of a color used for image expression, and the edge detection module finds and binarizes the edge of an image. Module, the inverting module (Invert) is a module that inverts the pixel values of the image, the resampling module (Resample) is a module that adjusts the size of the image using information on the distance between pixels, and the rescaling module (Rescaling) An image sample area, for example, a profile or a module that changes the range of pixel values located in the entire image, the resizing module is a module that enlarges or reduces the size of the image, and the sharpening module It is a module that gives an emphasis effect, the smoothing module is a module that blurs and blurs the image, and the zero-padding module is a module that attaches a square shape with a value of 0 to the original image. .
상기와 같이, 학습 모델의 설계에 있어 원본 의료영상의 전처리 과정에 필요한 이미지 프로세싱 알고리즘들을 모듈화하고, 이를 전처리 기능에 따라 그룹화하여 리스트를 제공함으로써, 사용자가 보다 쉽게 자신이 설계하고자 하는 학습 모델에 적합한 이미지 프로세싱 알고리즘을 찾을 수 있게 된다.As described above, in the design of the learning model, the image processing algorithms required for the pre-processing of the original medical image are modularized and grouped according to the pre-processing function to provide a list. You will be able to find an image processing algorithm.
도 12는 본 발명의 실시예에 따른 클라우드 플랫폼 시스템(100)에서 모듈 리스트 표시창(91)에 인공지능 모듈(131)의 리스트가 표시된 예를 나타낸 도면이다. 본 발명에서는 모듈 리스트 표시창(91)에 표시되는 인공지능 모듈(131)의 리스트가 인공지능 기능별 그룹으로 구분되어 표시되는 것을 예로 한다.12 is a diagram illustrating an example in which a list of
인공지능 기능별 그룹은 2차원 분류 그룹(Classification 2D), 3차원 분류 그룹(Classification 3D), 2차원 검출 그룹(Object Detection 2D), 3차원 검출 그룹(Object Detection 3D), 2차원 세그멘테이션 그룹(Segmentation 2D), 3차원 세그멘테이션 그룹(Segmentation 3D)을 포함하는 것을 예로 한다.The groups for each AI function are 2D classification group (
2차원 분류 그룹(Classification 2D)은 2차원 이미지의 분류(Classification)를 수행하는 인공지능 모듈(131)들의 리스트가 표시되고, 3차원 분류 그룹(Classification 3D)은 3차원 이미지의 분류(Classification)를 수행하는 인공지능 모듈(131)들의 리스트가 표시되고, 2차원 검출 그룹(Object Detection 2D)은 2차원 이미지의 오브젝트 검출(Object detection)을 수행하는 인공지능 모듈(131)들의 리스트가 표시되고, 3차원 오브젝트 검출 그룹(Object Detection 3D)은 3차원 이미지의 오브젝트 검출(Object detection)을 수행하는 인공지능 모듈(131)들의 리스트가 표시되고, 2차원 세그멘테이션 그룹(Segmentation 2D)은 2차원 이미지의 세그멘테이션(Segmentation)을 수행하는 인공지능 모듈(131)들의 리스트가 표시되며, 3차원 세그멘테이션 그룹(Segmentation 3D)은 3차원 이미지의 세그멘테이션(Segmentation)을 수행하는 인공지능 모듈(131)들의 리스트가 표시된다.In the 2D classification group (
이미지의 분류(Classification)를 수행하는 인공지능 알고리즘으로는 DensNet, ResNet, MobileNet 알고리즘이 널리 알려져 있으며, 오브젝트 검출(Object Detection)을 수행하는 인공지능 알고리즘으로는 YOLO, SSD, Retinanet 알고리즘이 알려져 있고, 세그멘테이션(Segmentation)을 수행하는 인공지능 알고리즘으로는 DeepLab, U-net 알고리즘이 널리 알려져있다.As artificial intelligence algorithms that perform image classification, DensNet, ResNet, and MobileNet algorithms are widely known, and as artificial intelligence algorithms that perform object detection, YOLO, SSD, and Retinanet algorithms are known, and segmentation. DeepLab and U-net algorithms are widely known as artificial intelligence algorithms that perform (Segmentation).
상기와 같은 알고리즘을 이용하여 설계되는 인공지능 알고리즘이 모듈화되어 인공지능 모듈(131)로 저장되고, 사용자는 모듈 리스트 표시창(91)에 표시된 인공지능 모듈(131)을 선택하여 학습 모델을 설계함으로써, 보다 쉬운 설계가 가능하게 된다.The artificial intelligence algorithm designed using the above algorithm is modularized and stored as the
여기서, 본 발명의 실시예에 따른 모듈러 화면에는, 도 9에 도시된 바와 같이, 정보 표시창(93)이 마련되는데, 학습 모델 설계부(141)는 정보 표시창(93)을 통해 다양한 정보를 제공하게 된다.Here, on the modular screen according to the embodiment of the present invention, as shown in FIG. 9, an
학습 모델 설계부(141)는 사용자가 모델 리스트 표시창에 표시된 데이터세트(111), 이미지 프로세싱 모듈(121), 인공지능 모듈(131) 중 어느 하나를 선택하면, 정보 표시창(93)에 해당 데이터세트(111) 또는 모듈에 대한 정보를 표시할 수 있다.When the user selects any one of the
도 13에서는 이미지 프로세싱 모듈(121) 중 엣지 검출 모듈이 선택된 경우에 정보 표시창(93)에 표시된 정보의 예를 나타내고 있다. 이미지 프로세싱 모듈(121)에 대한 정보로는 도 13에 도시된 바와 같이, 해당 이미지 프로세싱 모듈(121)의 처리 이전과 이후의 이미지가 표시되고, 해당 이미지 프로세싱 모듈(121)의 간략한 정보가 하단에 표시되는 것을 예로 한다. 그리고, 더 많은 정보의 제공을 위해 상세 정보 버튼(More)을 클릭하게 되면, 도 14에 도시된 바와 같이, 해당 이미지 프로세싱 모듈(121)에 대한 보다 상세한 정보가 제공될 수 있다.13 shows an example of information displayed on the
마찬가지로, 인공지능 모듈(131) 중 어느 하나가 선택되면, 해당 인공지능 모듈(131)의 기능, 주요 용도, 층(Layer) 구조 등에 대한 설명과, 상세 정보 버튼(More)의 클릭을 통한 보다 상세한 정보가 제공될 수 있다.Likewise, when any one of the
이하에서는 모듈러 화면을 통해 학습 모델을 설계하는 과정에 대해 설명한다.Hereinafter, a process of designing a learning model through a modular screen will be described.
사용자가 모듈 리스트 표시창(91)에 표시된 리스트 중 하나를 선택하여 학습 모델 설계창(92)으로 드래그 앤 드롭시키게 되면, 학습 모델 설계창(92)에 드래그 앤 드롭에 대응하여 모듈 아이콘(또는 데이터세트(111) 아이콘)이 생성된다.When the user selects one of the lists displayed on the module
도 15는 학습 모델 설계창(92)에 하나의 데이터세트(111), 2개의 이미지 프로세싱 모듈(121), 하나의 인공지능 모듈(131)이 드래그 앤 드롭되어, 데이터세트(111) 아이콘 및 모듈 아이콘이 표시된 상태의 예를 나타내고 있다.FIG. 15 shows that one
그리고, 사용자가 마우스 커서를 이용하여, 데이터세트(111) 아이콘, 모듈 아이콘들을 라인 연결시키게 되면, 학습 모델 설계부(141)가 아이콘 간의 라인 연결을 데이터 흐름으로 하여 학습 모델을 생성하게 된다.In addition, when the user connects the icons of the
도 16은 학습 모델 설계창(92)에 표시된 아이콘들 간에 라인이 연결된 상태를 나타내고 있으며, 학습 모델 설계부(141)는 마우스 커서가 아이콘 위에 위치할 때 라인 연결이 가능한 상태임을 표시하고, 마우스 커서를 이동시켜 다른 아이콘으로 움직이면 두 아이콘 간이 커서의 움직임 방향으로 데이터의 흐름으로 인식하면서 화살표 형태의 라인 연결을 표시하게 된다.16 shows a state in which lines are connected between icons displayed on the learning
상기와 같이, 드래그 앤 드롭과 아이콘 간의 라인 연결과 같은 간단한 동작 만으로 학습 모델의 설계가 가능하게 되어, 인공지능 분야에 대한 지식이 부족하더라도 보다 쉽게 학습 모델의 설계가 가능하게 된다.As described above, it is possible to design a learning model with only a simple operation such as drag-and-drop and line connection between icons, so that even if knowledge about the field of artificial intelligence is insufficient, it is possible to design a learning model more easily.
한편, 본 발명의 실시예에 따른 클라우드 플랫폼 시스템(100)은, 도 2에 도시된 바와 같이, 복수의 레이어 모듈을 더 포함할 수 있다. 레이어 모듈은 인공지능 알고리즘의 구성에 적용되는 레이어가 기능별로 모듈화되어 저장되는데, 레이어 저장부(170)에 저장된다.Meanwhile, the
인공지능 알고리즘은 다수의 레이어의 네트워크 구조로 형성되는데, 인공지능 알고리즘을 구성하기 위한 레이어는 코어 레이어(Core layer), 컨벌루션 레이어(Convolution layer), 풀링 레이어(Pooling Layer), 머지 레이어(Merge layer), 정규화 레이어(Normalization layer)를 포함한다.Artificial intelligence algorithms are formed in a network structure of multiple layers, and the layers to compose the artificial intelligence algorithm are the core layer, convolution layer, pooling layer, and merge layer. , Includes a normalization layer.
여기서, 학습 모델 설계부(141)는 학습 모델 설계창(92)에 표시된 인공지능 모델의 아이콘이 선택되면, 도 17에 도시된 바와 같이, 해당 아이콘과 관련된 기능의 수행을 위한 버튼들이 표시된다. 17a는 개별 실행 버튼(17a)으로 이에 대한 설명은 후술하고, 17b는 해당 인공지능 모델의 설계 구조를 확인 및 수정하기 위한 레이어 진입 버튼(17b)이고, 17c는 해당 아이콘을 삭제하기 위한 삭제 버튼(17c)이다.Here, when the icon of the artificial intelligence model displayed on the learning
레이어 진입 버튼(17b)이 클릭되면, 학습 모델 설계부(141)는 도 18에 도시된 바와 같이, 레이어 모듈의 리스트가 표시된 레이어 리스트 표시창(18a)과, 인공지능 설계창(18b)을 그래픽 유저 인터페이스에 표시하게 된다.When the
또한, 학습 모델 설계부(141)는 전술한 모듈러 화면에서와 같이, 레이어 리스트 표시창(18a)에 표시된 레이어 모듈 또는 레이어 블록이 선택되면, 해당 레이어 모듈 또는 레이어 블록에 대한 정보가 표시되는 레이어 정보 표시창(18c)를 그래픽 유저 인터페이스에 표시할 수 있다. 여기서, 레이어 정보 표시창(18c)는 파라미터 정보가 표시될 수 있는데, 본 발명에서는 파라이터의 수정이 가능하게 마련되는 것을 예로 한다.In addition, the learning
레이어 리스트 표시창(18a)에는 복수의 레이어의 리스트가 상술한 그룹별로 분리되어 표시된다. 도 19에 도시된 바와 같이, 레이어 리스트 표시창(18a)의 상단에 위치한 아이콘 버튼을 클릭하면, 각각의 그룹에 해당하는 리스트가 레이어 리스트 표시창(18a)에 표시된다.In the layer
여기서, 사용자가 레이어 모듈의 리스트 중 어느 하나를 선택하여, 드래그 앤 드롭을 통해 인공지능 설계창(18b)으로 이동시키게 되면, 학습 모델 설계부(141)는 해당 레이어 모듈의 아이콘을 인공지능 설계창(18b)에 표시하게 된다.Here, when the user selects any one of the layer module list and moves it to the artificial
그리고, 학습 모델의 설계에서와 마찬가지로, 인공지능 설계창(18b)에 표시된 레이어 아이콘들을 라인 연결시키면, 학습 모델 설계부(141)가 레이어 아이콘들 간의 라인 연결을 데이터의 흐름으로 하여 인공지능 모듈(131)을 생성하게 된다.And, as in the design of the learning model, when the layer icons displayed on the artificial
사용자는 레이어 리스트 표시창(18a)과 인공지능 설계창(18b)을 이용하여, 자신이 직접 설계한 인공지능 모듈(131)을 생성할 수 있고, 이를 공유하는 경우 다른 사용자가 이를 활용할 수 있다. 또한, 자신도 또 다른 학습 모델을 설계할 때, 기존에 생성해두었던 인공지능 모듈(131)을 재사용할 수 있고, 타인이 설계한 인공지능 모듈(131)을 사용할 수 있는 등, 다양한 인공지능 모듈(131)의 생산, 공유 및 재사용이 가능하게 된다.A user can create an
또한, 본 발명에 따른 클라우드 플랫폼 시스템(100)은 적어도 2 이상의 레이어로 구성되되 인공지능 모듈(131)의 생성을 위해 모듈화된 복수의 레이어 블록을 더 포함할 수 있다.In addition, the
여기서, 학습 모델 설계부(141)는 레이어 리스트 표시창(18a)에 레이어 블록의 리스트도 함께 표시할 수 있으며, 레이어 리스트 표시창(18a)에 표시된 레이어 모듈의 리스트의 인공지능 설계창(18b)으로의 드래그 앤 드롭, 라인 연결을 통해 레이어 블록의 생성을 지원할 수 있다.Here, the learning
또한, 레이어 블록은 다수의 레이어 모듈과 다수의 레이어 블록의 드래그 앤 드롭, 라인 연결을 통해 생성될 수 있다. 즉, 레이어 모듈의 네트워크 구조의 설계로 레이어 블록의 모듈화가 가능하고, 레이어 모듈과 레이어 블록의 네트워크 구조의 설계로 레이어 블록의 설계가 가능하고, 레이어 모듈 및 레이어 블록의 네트워크 구조의 설계로 인공지능 모델의 설계 및 제작이 가능한 구조가 된다.In addition, the layer block may be generated through drag and drop of a plurality of layer modules and a plurality of layer blocks, and line connection. In other words, it is possible to modularize the layer block by designing the network structure of the layer module, the design of the layer block is possible by designing the network structure of the layer module and the layer block, and artificial intelligence by designing the network structure of the layer module and the layer block. It becomes a structure that can design and manufacture a model
이와 같은 설계 구조는 최종적인 인공지능 모듈(131)의 설계 구조를 시각적으로 간소하게 확인하는 것이 가능하며, 세부 구조를 찾아 들어가는 형태로 구조의 파악이 가능하게 되며, 네트워크 구조, 즉 레이어 모듈, 레이어 블록 및 라인 연결 구조를 쉽게 이해할 수 있다.In such a design structure, it is possible to visually and simply check the design structure of the final
즉, 도 17에 도시된 학습 모델의 네트워크 구조에서 인공지능 모델의 세부 네트워크 구조는, 도 18에 도시된 바와 같다. 그리고 도 18에 도시된 레이어 블록인 '#2 Blackbone_DenseNet121'은 도 20에 도시된 바와 같은 세부 네트워크 구조를 가지며, 도 20에 도시된 레이어 블록인 '#12 dense_block'은 도 21에 도시된 바와 같은 세부 네트워크 구조를 갖는다.That is, the detailed network structure of the artificial intelligence model in the network structure of the learning model shown in FIG. 17 is as shown in FIG. 18. In addition, the layer block'#2 Blackbone_DenseNet121' shown in FIG. 18 has a detailed network structure as shown in FIG. 20, and the layer block'#12 dense_block' shown in FIG. It has a network structure.
여기서, 사용자가 인공지능 설계창(18b)을 통해 생성한 인공지능 모듈(131), 레이어 블록을 저장 또는 공유를 설정하게 되면, 학습 모델 설계부(141)는 레이어 리스트 표시창(18a)에 해당 인공지능 모듈(131) 또는 레이어 블록의 리스트를 업데이트하여 다른 사용자가 사용 하능하게 할 수 있다.Here, when the user sets the
즉, 사용자는 인공지능 알고리즘을 구성하는 기본적인 레이어 알고리즘이 모듈화되어 있는 레이어 모듈을 이용하여, 다양한 형태의 레이어 블록을 설계할 수 있고, 레이어 모듈과 레이어 블록의 네트워크 설계로 다른 레이어 블록을 설계할 수 있으며, 이와 같은 방법을 통해 최종적인 인공지능 모듈(131)을 생성할 수 있게 된다.In other words, a user can design various types of layer blocks by using the layer module in which the basic layer algorithm constituting the artificial intelligence algorithm is modularized, and other layer blocks can be designed with the layer module and the network design of the layer block. In addition, it is possible to generate the final
또한, 상술한 바와 같이, 사용자 간의 레이어 블록, 인공지능 모듈(131) 등의 공유를 통해, 타인이 설계한 레이어 블록이나 인공지능 모듈(131)을 활용하여 재설계가 가능하게 되며, 자신이 설계한 인공지능 모듈(131)이나 레이어 블록도 재사용이 가능하게 되어, 새로운 학습 모델의 설계에 쉽게 활용할 수 있는 환경을 제공하게 된다.In addition, as described above, it is possible to redesign by using layer blocks or
다시, 도 6을 참조하여 설명하면, 학습 모델 설계창(92)을 통해, 상술한 바와 같은 과정을 통해 학습 모델이 설계된 후, 학습 모델 설계창(92)에 마련된 'RUN' 버튼을 클릭하게 되면, 판독 모델 생성부(142)가 학습 모델 설계부(141)에 의해 설계된 학습 모델을 학습시켜 판독 모델을 생성하게 된다.Again, referring to FIG. 6, after the learning model is designed through the above-described process through the learning
판독 모델 생성부(142)에 의해 정상적인 학습이 수행되면, 도 22에 도시된 바와 같이, 학습 모델 설계창(92)에 표시되어 있던 아이콘이 정상 동작이 완료된 것을 시각적으로 확인 가능하게 변화되는데, 본 발명에서는 회색에서 녹색으로 변경되고 아이콘에 체크 표시가 나타나는 것으로 이를 시각화하는 것을 예로 한다.When normal learning is performed by the reading
반면, 학습에 오류가 발생하는 경우, 오류 메시지와 함께 오류가 발생한 이미지 프로세싱 모듈(121) 또는 인공지능 모듈(131)의 아이콘을 붉은색으로 표시하는 등의 형태로 오류를 시각적으로 표시할 수 있다.On the other hand, when an error occurs in learning, the error may be visually displayed in the form of displaying an error message and an icon of the
여기서, 본 발명에 따른 판독 모델 생성부(142)는 전체 학습 실행 모드와 개별 모듈 실행 모드 중 어느 하나로 동작하도록 마련될 수 있다. 전체 학습 실행 모드는 상술한 바와 같이 'RUN' 버튼의 클릭을 통해 학습 모델 설계부(141)에 표시되어 있는 아이콘과 라인 연결에 기반하여, 라인 연결을 데이터의 흐름으로 하여 전체를 순차적으로 학습시키는 과정을 의미한다.Here, the read
반면, 개별 모듈 실행 모드는 도 17에 도시된 바와 같이, 이미지 프로세싱 모듈(121) 및 인공지능 모듈(131)의 아이콘에 커서를 가져갈 때 나타나는 개별 실행 버튼(17a)의 클릭을 통해 동작 가능하다.On the other hand, the individual module execution mode can be operated by clicking the
여기서, 판독 모델 생성부(142)는 특정 아이콘에 커서를 ??긴 상태에서 해당 아이콘에 대해 활성화된 개별 실행 버튼(17a)이 클릭되어 개별 모듈 실행 모드가 실행되면, 데이터 아이콘에 대응하는 데이터세트(111)가 라인 연결에 따른 데이터 흐름에 따라 개별 실행 버튼(17a)이 선택된 아이콘에 대응하는 이미지 프로세싱 모듈(121) 또는 인공지능 모듈(131)까지만을 실행시킨다.Here, when the
예를 들어, 도 22의 학습 모델 설계창(92) 내의 아이콘 'Color to Grayscale'의 개별 실행 버튼(17a)을 클릭하게 되면, 판독 모델 생성부(142)는 뇌출혈 CT에 해당하는 데이터세트(111)를 이용하여 'Resize'와 'Color to Grayscale'에 해당하는 이미지 프로세싱 모듈(121) 만을 순차적으로 실행시키게 된다.For example, if the
이를 통해, 학습 모델의 설계 과정에서 전체 설계가 완료된 상태에서 학습을 진행하지 않고, 예를 들어, 전처리 중 'Resize' 만을 실행하여 정상적으로 동작하는지 체크할 수 있어, 설계 과정에서 발생하는 오류를 미리 체크하여 설계 과정에 소요되는 시간을 현저하게 줄일 수 있게 된다.Through this, in the design process of the learning model, it is possible to check whether it operates normally by executing'Resize' only during pre-processing without proceeding with the learning when the entire design is completed, so that errors occurring in the design process are checked in advance. Thus, the time required for the design process can be significantly reduced.
또한, 판독 모델 생성부(142)는 전체 학습 실행 모드와 개별 모듈 실행 모드로 동작할 때, 이미지 프로세싱 모듈(121) 및 인공지능 모듈(131) 단위로 처리 결과를 저장할 수 있다.In addition, the read
그리고, 판독 모델 생성부(142)는 학습 모델 설계창(92)을 통해 이미지 프로세싱 모듈(121)과 인공지능 모듈(131) 중 적어도 하나가 변경된 후 전체 학습 실행 모드 또는 개별 모드 실행 모드 중 어느 하나가 실행될 때, 라인 연결에 따른 데이터 흐름에서 변경되지 않은 라인 연결까지의 이전 처리 결과를 불러들여 적용함으로써, 이미 실행되었던 이미지 프로세싱 모듈(121) 또는 인공지능 모듈(131)의 재실행에 따른 시간을 절약할 수 있게 된다.In addition, the read
도 22를 참조하여 설명하면, 사용자가 'Resize'를 개별 모듈 실행 모드로 실행시킨 수, 'Color to Grayscale' 및 'VGG16'을 설계하여 'Color to Grayscale'를 개별 모듈 실행 모드로 실행하거나 'RUN'버튼의 클릭을 통해 전체 학습 실행 모드로 실행하게 되면, 이미 실행되어 결과가 저장되어 있는 'Resize'는 이전 처리 결과를 불러들여 적용하고, 'Color to Grayscale' 및/또는 'VGG16' 만이 실행될 수 있다.Referring to FIG. 22, the number of users executing'Resize' as an individual module execution mode, designing'Color to Grayscale' and'VGG16' to execute'Color to Grayscale' as an individual module execution mode or'RUN When executing in full learning execution mode through the click of a button,'Resize', which has already been executed and the result saved, loads and applies the previous processing result, and only'Color to Grayscale' and/or'VGG16' can be executed have.
또한, 도 22에 도시된 바와 같이, 전체 학습 실행 모드로 실행이 완료된 후, 'Color to Grayscale'를 삭제하고 다른 이미지 프로세싱 모듈(121)로 대체한 후, 전체 학습 실행 모드나 개별 모듈 실행 모드가 실행되면, 마찬가지로 'Resize'는 이전 처리 결과를 불러들여 적용하게 된다. 여기서, 데이터 흐름에 따라 변경된 모듈 이후의 모듈은 수정되지 않더라도 이전 단계의 처리 결과가 변화되기 때문에 다시 실행되는 것은 당연하다.In addition, as shown in FIG. 22, after the execution is completed in the full learning execution mode,'Color to Grayscale' is deleted and replaced with another
한편, 학습 모델 설계부(141)는 학습 모델 설계창(92)에 표시된 이미지 프로세싱 모듈(121)에 대응하는 모듈 아이콘이 선택되는 경우, 도 23에 도시된 바와 같이, 해당 이미지 프로세싱 모듈(121)의 이미지 프로세싱 전과 후의 이미지를 해당 모듈 아이콘 주변 중 일 영역, 예를 들어, 상단에 표시할 수 있다.On the other hand, when the module icon corresponding to the
이를 통해, 사용자는 간단한 마우스 동작 만으로, 현재 자신이 설계한 학습 모델의 전처리 과정에서, 각각의 이미지 프로세싱 모듈(121)에 의해 처리된 이미지의 전과 후의 이미지를 쉽게 확인할 수 있다.Through this, the user can easily check the images before and after the images processed by each
여기서, 학습 모델 설계부(141)는 이미지 프로세싱 전과 후의 이미지가 해당 모듈 아이콘 주변에 표시된 상태에서 마우스의 스크롤이 인식되는 경우, 해당 데이터세트(111)에 포함된 이미지를 변경하여 이미지 프로세싱 전과 후의 이미지를 표시할 수 있다.Here, when the mouse scroll is recognized while images before and after image processing are displayed around the corresponding module icon, the learning
또한, 학습 모델 설계부(141)는 학습 모델 설계창(92)에 표시된 이미지 프로세싱 모듈(121)에 대응하는 모듈 아이콘이 선택된 경우, 데이터세트(111)를 구성하는 의료영상의 리스트가 표시되는 데이터 리스트 표시창(94)과, 데이터 리스트 표시창(94)에 표시된 리스트 중 어느 하나가 선택될 때 해당 리스트의 의료영상, 즉 이미지가 표시되는 영상 표시창(95)을 그래픽 유저 인터페이스에 표시할 수 있다.In addition, when the module icon corresponding to the
그리고, 학습 모델 설계부(141)는 영상 표시창(95)에 표시되는 의료영상을 이미지 프로세싱 모듈(121)의 전처리 전과 후의 영상을 함께 표시할 수 있다. 이를 통해, 사용자는 데이터세트(111)를 구성하는 의료영상 하나 하나를 직접 선택하고, 전처리 결과를 시각적으로 확인할 수 있게 된다.In addition, the learning
한편, 본 발명에 따른 학습 모델 설계부(141)는 학습 모델 설계창(92)에 표시된 이미지 프로세싱 모듈(121)에 대응하는 아이콘 중 어느 하나가 선택되면, 해당 이미지 프로세싱 모듈(121)의 상세 정보가 표시되는 정보 표시창(93)을 그래픽 유저 인터페이스에 표시할 수 있다. 도 24에는 이미지 프로세싱 모듈(121)이 선택되었을 때의 정보 표시창(93)의 예를 나타내고 있으며, 도 9는 모듈러 화면의 초기 정보 표시창(93)의 예를 나타낸 것이다.Meanwhile, when any one of the icons corresponding to the
그리고, 정보 표시창(93)에는 상세 정보(Information)와 함께 파라미터 정보(Parameter)가 표시되는데, 파라미터 정보는 해당 프로세싱 모듈의 전처리 과정을 결정하게 된다.In addition, parameter information is displayed on the
예를 들어, 엣지 검출(Edge Detection)의 파라미터는 최대 문턱치(Threshold_max)와 최소 문턱치(Threshold_min)를 포함하고, 리샘플링(Resampling)은 스페이싱(Spacing) 값을 포함하고, 감마 보정(Gamma Correction)은 감마값을 포함하고, 히스토그램 평활화(Histogram Equalization)는 커널 사이즈(Kernel size)와 한계값(Limit)을 포함할 수 있다.For example, the parameters of edge detection include a maximum threshold (Threshold_max) and a minimum threshold (Threshold_min), resampling includes a spacing value, and gamma correction includes a gamma value. Including, the histogram equalization may include a kernel size and a limit value.
여기서, 학습 모델 설계부(141)는 정보 표시창(93)에 표시된 파라미터 정보의 값을 변경 가능하도록 설정됨으로써, 사용자는 모듈화된 이미지 프로세싱 모듈(121)을 사용하더라도 그 파라미터 값을 변경함으로써, 자신만의 이미지 프로세싱 모듈(121)을 생성할 수 있게 된다. 이 때, 판독 모델 생성부(142)는 이미지 프로세싱 모듈(121)을 실행할 때, 변경된 파라미터를 적용하여 실행하게 된다.Here, the learning
이를 통해, 상술한 바와 같이, 개별 모듈 실행 모드로 파라미터를 변경해가면서 이미지 프로세싱 결과를 바로 확인할 수 있게 되어, 시간적으로 보다 효율적인 학습 모델의 설계가 가능하게 된다.Through this, as described above, it is possible to immediately check the image processing result while changing the parameter to the individual module execution mode, thereby enabling the design of a more efficient learning model in time.
상기와 같이, 학습 모델의 설계와, 학습을 통한 판독 모델의 생성이 완료되면, 학습 결과, 즉 가중치와 같은 파라미터가 적용된 최종적인 인공지능 모델이 생성되고, 의료영상 판독부(150)는 최종적으로 생성된 인공지능 모델을 이용하여 판독 대상인 의료영상을 판독하게 된다.As described above, when the design of the learning model and the generation of the reading model through learning are completed, a learning result, that is, a final artificial intelligence model to which parameters such as weights are applied, is generated, and the medical
비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.Although some embodiments of the present invention have been shown and described, those skilled in the art of ordinary skill in the art to which the present invention pertains will appreciate that the present embodiments can be modified without departing from the principles or spirit of the present invention. . The scope of the invention will be determined by the appended claims and their equivalents.
100 : 클라우드 플랫폼 시스템
111 : 데이터세트 121 : 이미지 프로세싱 모듈
131 : 인공지능 모듈 141 : 학습 모델 설계부
142 : 판독 모델 생성부 150 : 의료영상 판독부
160 : 모델 저장부 170 : 레이어 저장부100: cloud platform system
111: dataset 121: image processing module
131: artificial intelligence module 141: learning model design unit
142: reading model generation unit 150: medical image reading unit
160: model storage unit 170: layer storage unit
Claims (6)
의료영상의 전처리를 수행하도록 기 프로그래밍되어 모듈화된 복수의 이미지 프로세싱 모듈과,
인공지능 알고리즘이 기 프로그래밍되어 모듈화된 복수의 인공지능 모듈과,
신체 부위, 모달리티의 유형, 판록 대상 질환의 유형, 이미지 차원의 유형 중 적어도 하나에 따라 분류된 복수의 데이터세트가 저장된 데이터세트 저장부와,
웹 브라우저를 통해 접속한 사용자 단말에 인공지능 기반의 학습 모델의 설계를 위한 그래픽 유저 인터페이스를 제공하는 학습 모델 설계부와,
상기 학습 모델 설계부에 의해 설계된 학습 모델을 학습시켜 판독 모델을 생성하는 판독 모델 생성부를 포함하며;
상기 학습 모델 설계부는
복수의 상기 데이터세트, 복수의 상기 이미지 프로세싱 모듈의 리스트 및 복수의 상기 인공지능 모듈의 리스트가 표시된 모듈 리스트 표시창과, 학습 모델 설계창을 상기 그래픽 유저 인터페이스에 표시하고,
상기 모듈 리스트 표시창에 표시된 리스트가 상기 학습 모델 설계창으로 드래그 앤 드롭되는 경우, 상기 학습 모델 설계창에 드래그 앤 드롭에 대응하여 데이터 아이콘 및 모듈 아이콘을 생성하고,
상기 데이터 아이콘과 상기 모듈 아이콘들이 라인 연결되는 경우, 상기 데이터 아이콘 및 모듈 아이콘들 간의 라인 연결을 데이터의 흐름으로 하여 상기 학습 모델을 생성하고;
상기 판독 모델 생성부는 상기 데이터 아이콘에 대응하는 데이터세트를 상기 학습 모델 설계부에 의해 생성된 상기 학습 모델에 학습시켜 상기 판독 모델을 생성하고;
상기 학습 모델 설계부는
상기 학습 모델 설계창에 표시된 상기 이미지 프로세싱 모듈에 대응하는 모듈 아이콘이 선택된 경우, 해당 이미지 프로세싱 모듈의 이미지 프로세싱 전과 후의 이미지를 해당 모듈 아이콘 주변 중 일 영역에 표시하는 것을 특징으로 하는 의료영상 판독을 위한 클라우드 플랫폼 시스템.In the cloud platform system for reading medical images,
A plurality of image processing modules pre-programmed and modularized to perform pre-processing of medical images,
A plurality of artificial intelligence modules that are preprogrammed and modularized with artificial intelligence algorithms,
A data set storage unit storing a plurality of data sets classified according to at least one of a body part, a type of modality, a type of a disease to be marked, and a type of image dimension;
A learning model design unit that provides a graphic user interface for designing an artificial intelligence-based learning model to a user terminal accessed through a web browser;
A reading model generation unit for generating a reading model by learning the learning model designed by the learning model design unit;
The learning model design unit
A module list display window in which a plurality of the datasets, a list of the plurality of image processing modules, and a list of the plurality of artificial intelligence modules are displayed, and a learning model design window are displayed on the graphic user interface,
When the list displayed on the module list display window is dragged and dropped into the learning model design window, a data icon and a module icon are created in response to the drag and drop in the learning model design window,
When the data icon and the module icons are line-connected, generating the learning model by using a line connection between the data icon and the module icons as a data flow;
The read model generation unit generates the read model by learning a data set corresponding to the data icon on the learning model generated by the learning model design unit;
The learning model design unit
When a module icon corresponding to the image processing module displayed in the learning model design window is selected, images before and after image processing of the corresponding image processing module are displayed in one area around the module icon. Cloud platform system.
상기 학습 모델 설계부는
상기 학습 모델 설계창에 표시된 상기 이미지 프로세싱 모듈에 대응하는 모듈 아이콘이 선택된 경우, 상기 데이터세트를 구성하는 의료영상의 리스트가 표시되는 데이터 리스트 표시창과, 상기 데이터 리스트 표시창에 표시된 리스트 중 어느 하나가 선택될 때 해당 리스트의 의료영상이 표시되는 영상 표시창을 상기 그래픽 유저 인터페이스에 표시하고,
상기 영상 표시창에 표시되는 의료영상은 상기 이미지 프로세싱 모듈의 전처리 전과 후의 영상이 함께 표시되는 것을 특징으로 하는 의료영상 판독을 위한 클라우드 플랫폼 시스템.The method of claim 1,
The learning model design unit
When the module icon corresponding to the image processing module displayed in the learning model design window is selected, one of a data list display window displaying a list of medical images constituting the data set and a list displayed in the data list display window is selected. When a medical image of the list is displayed, an image display window is displayed on the graphic user interface,
The medical image displayed on the image display window is a cloud platform system for reading medical images, wherein images before and after pre-processing by the image processing module are displayed together.
상기 학습 모델 설계부는 상기 학습 모델 설계창에 표시된 상기 이미지 프로세싱 모듈에 대응하는 모듈 아이콘 중 하나가 선택되는 경우, 해당 이미지 프로세싱 모듈의 상세 정보가 표시되는 정보 표시창을 상기 그래픽 유저 인터페이스에 표시하며;
상기 정보 표시창에 표시되는 상세 정보는 해당 이미지 프로세싱 모듈의 전처리 과정을 결정하는 파라미터 정보를 포함하되, 파라미터 값의 변경이 가능하도록 설정되는 것을 특징으로 하는 의료영상 판독을 위한 클라우드 플랫폼 시스템.The method of claim 1,
When one of the module icons corresponding to the image processing module displayed on the learning model design window is selected, the learning model design unit displays an information display window displaying detailed information of the image processing module on the graphic user interface;
The detailed information displayed on the information display window includes parameter information that determines a pre-processing process of a corresponding image processing module, and is set to allow a parameter value to be changed.
상기 정보 표시창에는 해당 이미지 프로세싱 모듈에 의한 전처리 전과 후의 대표 이미지가 표시되는 것을 특징으로 하는 의료영상 판독을 위한 클라우드 플랫폼 시스템.The method of claim 3,
A cloud platform system for reading medical images, wherein representative images before and after pre-processing by a corresponding image processing module are displayed on the information display window.
상기 모듈 리스트 표시창에 표시되는 복수의 상기 이미지 프로세싱 모듈의 리스트는 복수의 전처리 기능별 그룹으로 구분되어 표시되며;
상기 전처리 기능별 그룹은
8비트 이상의 컬러 이미지에서 동작하는 이미지 프로세싱 모듈들의 리스트가 표시되는 컬러 전처리 그룹과,
8비트의 흑백 이미지에서 동작하는 이미지 프로세싱 모듈들의 리스트가 표시되는 그레이 스케일 전처리 그룹과,
1비트 흑백 이미지에서 동작하는 이미지 프로세싱 모듈들의 리스트가 표시되는 바이너리 전처리 그룹 중 적어도 2이상을 포함하는 것을 특징으로 하는 의료영상 판독을 위한 클라우드 플랫폼 시스템.The method of claim 1,
A list of the plurality of image processing modules displayed on the module list display window is divided into groups for each of a plurality of preprocessing functions and displayed;
The groups by preprocessing function above are
A color preprocessing group that displays a list of image processing modules operating on 8-bit or larger color images, and
A gray scale preprocessing group that displays a list of image processing modules operating on an 8-bit monochrome image,
A cloud platform system for reading medical images, comprising at least two of a binary preprocessing group in which a list of image processing modules operating on a 1-bit monochrome image is displayed.
상기 학습 모델 설계부는
이미지 프로세싱 전과 후의 이미지가 해당 모듈 아이콘 주변에 표시된 상태에서 마우스의 스크롤이 인식되는 경우, 해당 데이터세트에 포함된 이미지를 변경하여 이미지 프로세싱 전과 후의 이미지를 표시하는 것을 특징으로 하는 의료영상 판독을 위한 클라우드 플랫폼 시스템.The method of claim 1,
The learning model design unit
Cloud for medical image reading, characterized in that when a mouse scroll is recognized while images before and after image processing are displayed around the corresponding module icon, the image included in the data set is changed to display images before and after image processing. Platform system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200045743A KR102179586B1 (en) | 2020-04-16 | 2020-04-16 | Ai-based cloud platform system for diagnosing medical image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200045743A KR102179586B1 (en) | 2020-04-16 | 2020-04-16 | Ai-based cloud platform system for diagnosing medical image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102179586B1 true KR102179586B1 (en) | 2020-11-18 |
Family
ID=73697484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200045743A KR102179586B1 (en) | 2020-04-16 | 2020-04-16 | Ai-based cloud platform system for diagnosing medical image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102179586B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4024406A1 (en) | 2020-12-30 | 2022-07-06 | Kazaam Lab s.r.l. | Analytical platform for the provision of software services on the cloud |
| KR20230068704A (en) | 2021-11-11 | 2023-05-18 | (주)지케스 | Learning data integrated management platform system based on artificial intelligence |
| KR20230074354A (en) * | 2021-11-19 | 2023-05-30 | 이종현 | Electronic device detecting dangerous object on x-ray image based on artificial intelligence model and operating method thereof |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150085462A (en) * | 2014-01-15 | 2015-07-23 | 삼성전자주식회사 | Medical imaging apparatus and medical image processing method thereof |
| US20170213132A1 (en) * | 2016-01-27 | 2017-07-27 | Bonsai AI, Inc. | Multiple user interfaces of an artificial intelligence system to accommodate different types of users solving different types of problems with artificial intelligence |
-
2020
- 2020-04-16 KR KR1020200045743A patent/KR102179586B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150085462A (en) * | 2014-01-15 | 2015-07-23 | 삼성전자주식회사 | Medical imaging apparatus and medical image processing method thereof |
| US20170213132A1 (en) * | 2016-01-27 | 2017-07-27 | Bonsai AI, Inc. | Multiple user interfaces of an artificial intelligence system to accommodate different types of users solving different types of problems with artificial intelligence |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4024406A1 (en) | 2020-12-30 | 2022-07-06 | Kazaam Lab s.r.l. | Analytical platform for the provision of software services on the cloud |
| KR20230068704A (en) | 2021-11-11 | 2023-05-18 | (주)지케스 | Learning data integrated management platform system based on artificial intelligence |
| KR20230074354A (en) * | 2021-11-19 | 2023-05-30 | 이종현 | Electronic device detecting dangerous object on x-ray image based on artificial intelligence model and operating method thereof |
| KR102594184B1 (en) * | 2021-11-19 | 2023-10-27 | 이종현 | Electronic device detecting dangerous object on x-ray image based on artificial intelligence model and operating method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102150647B1 (en) | Ai-based cloud platform system for diagnosing medical image | |
| Nazir et al. | Survey of explainable artificial intelligence techniques for biomedical imaging with deep neural networks | |
| US20230106440A1 (en) | Content based image retrieval for lesion analysis | |
| KR102179586B1 (en) | Ai-based cloud platform system for diagnosing medical image | |
| KR102179584B1 (en) | Ai-based cloud platform system for diagnosing medical image | |
| US10692602B1 (en) | Structuring free text medical reports with forced taxonomies | |
| WO2018222755A1 (en) | Automated lesion detection, segmentation, and longitudinal identification | |
| CN109559300A (en) | Image processing method, electronic equipment and computer readable storage medium | |
| KR102460257B1 (en) | Method or apparatus for providing diagnostic results | |
| CN112348908A (en) | Shape-based generative countermeasure network for segmentation in medical imaging | |
| Ogiela et al. | Natural user interfaces in medical image analysis | |
| CN111723817A (en) | Pulmonary nodule auxiliary detection method | |
| Saraf et al. | Deep learning challenges in medical imaging | |
| KR102179588B1 (en) | Ai-based cloud platform system for diagnosing medical image | |
| KR102179587B1 (en) | Ai-based cloud platform system for diagnosing medical image | |
| KR102212966B1 (en) | Ai-based cloud platform system for diagnosing medical image where estimated runtime of each layer are displayed | |
| Shen et al. | Multicontext multitask learning networks for mass detection in mammogram | |
| KR20220074442A (en) | Method for providing information to determine disease | |
| KR102179585B1 (en) | Ai-based cloud platform system for diagnosing medical image | |
| US20230377195A1 (en) | Reinforcement learning to perform localization, segmentation, and classification on biomedical images | |
| Verma et al. | Deep neural network in medical image processing | |
| KR20220050014A (en) | User interface for video analysis | |
| KR102569976B1 (en) | Method for processing medical image | |
| Mudduluru | Developing and Applying Hybrid Deep Learning Models for Computer-Aided Diagnosis of Medical Image Data | |
| Shen | Characterizing Pulmonary Nodules using Machine and Deep Learning Methods to Improve Lung Cancer Diagnosis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |