KR102256342B1 - Method for predicting locations of stomach and device for predicting locations of stomach using the same - Google Patents

Method for predicting locations of stomach and device for predicting locations of stomach using the same Download PDF

Info

Publication number
KR102256342B1
KR102256342B1 KR1020180158131A KR20180158131A KR102256342B1 KR 102256342 B1 KR102256342 B1 KR 102256342B1 KR 1020180158131 A KR1020180158131 A KR 1020180158131A KR 20180158131 A KR20180158131 A KR 20180158131A KR 102256342 B1 KR102256342 B1 KR 102256342B1
Authority
KR
South Korea
Prior art keywords
region
landmark
image
predicting
interest
Prior art date
Application number
KR1020180158131A
Other languages
Korean (ko)
Other versions
KR20200070700A (en
Inventor
금지수
조준익
오상일
김지현
Original Assignee
주식회사 셀바스에이아이
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 셀바스에이아이, 연세대학교 산학협력단 filed Critical 주식회사 셀바스에이아이
Priority to KR1020180158131A priority Critical patent/KR102256342B1/en
Publication of KR20200070700A publication Critical patent/KR20200070700A/en
Application granted granted Critical
Publication of KR102256342B1 publication Critical patent/KR102256342B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736—Gastroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은, 개체에 대하여 내시경 영상을 수신하는 단계, 내시경 영상을 기초로 위의 부위를 예측하도록 구성된 위의 부위 예측 모델을 이용하여, 내시경 영상에 대한 위의 부위를 예측하는 단계, 및 예측된 위의 부위를 제공하는 단계를 포함하는, 위의 부위 예측 방법 및 이를 이용한 위의 부위 예측용 디바이스를 제공한다.The present invention provides the steps of receiving an endoscopic image for an individual, predicting an upper region of the endoscopic image using an upper region prediction model configured to predict the upper region based on the endoscopic image, and the predicted It provides a method for predicting a region of the stomach, including the step of providing the region of the stomach, and a device for predicting the region of the stomach using the same.

Description

위의 부위 예측 방법 및 이를 이용한 위의 부위 예측용 디바이스{METHOD FOR PREDICTING LOCATIONS OF STOMACH AND DEVICE FOR PREDICTING LOCATIONS OF STOMACH USING THE SAME}Method for predicting the above region and a device for predicting the above region using the same {METHOD FOR PREDICTING LOCATIONS OF STOMACH AND DEVICE FOR PREDICTING LOCATIONS OF STOMACH USING THE SAME}

본 발명은 위의 부위 예측 방법 및 이를 이용한 위의 부위 예측용 디바이스에 관한 것으로, 보다 구체적으로 내시경 영상을 기초로 위의 부위를 예측하고 내시경 영상을 분류하도록 구성된, 위의 부위 예측 방법 및 이를 이용한 위의 부위 예측용 디바이스에 관한 것이다.The present invention relates to a method for predicting a region of the stomach and a device for predicting a region using the same, and more specifically, a method of predicting a region of the stomach and using the same, configured to predict a region of the stomach based on an endoscopic image and classify an endoscopic image. It relates to a device for predicting the above region.

위에 생기는 악성 종양에는 위선암(gastric adenocarcinoma), 악성림프종(gastric lymphoma), 간질성 종양(gastrointestinal stromal tumor)등 여러 종류가 있으나 이 중 위선암이 가장 흔하다. There are several types of malignant tumors that occur in the stomach, such as gastric adenocarcinoma, gastric lymphoma, and gastrointestinal stromal tumor. Among these, gastric adenocarcinoma is the most common.

이때, 위암은 종양의 진행 정도에 따라, 조기 위암(early gastric cancer, EGC) 과 진행성 위암(advanced gastric cancer, AGC)으로 분류할 수 있다. 보다 구체적으로, 조기 위암은 림프절로의 전이 유무에 관계 없이, 종양 세포가 위의 점막층 또는 점막 하층까지 침범한 경우이고, 진행성 위암은 종양 세포가 점막하층을 지나 근육층 이상을 뚫고 침범된 경우로 주변 장기로의 침습이 가능하다.In this case, gastric cancer can be classified into early gastric cancer (EGC) and advanced gastric cancer (AGC) according to the degree of tumor progression. More specifically, early gastric cancer is a case in which tumor cells invade to the upper mucosa or submucosa, regardless of metastasis to the lymph nodes, and advanced gastric cancer is a case in which tumor cells pass through the submucosa and penetrate beyond the muscle layer. Invasion into organs is possible.

위암의 진단 방법으로는, 위 내시경 검사가 가장 중요하다. 보다 구체적으로, 의료진은 내시경 스코프(scope)를 이용하여 위암 의심 개체에 대하여 촬영된 위 내시경 영상을 판독함으로써 위암을 진단하고, 이를 기초로 병변에 따른 치료를 제공할 수 있다. 한편, 내시경 영상에 기초한 진단 시스템은, 의료진 숙련도에 따른 진단의 편차가 있을 수 있다. 이러한 진단의 편차는, 오진, 치료 시점의 지연, 부적절한 치료가 수행되는 등의 의료 사고와도 연관이 있을 수 있다. 특히, 조기 위암의 경우 병소 부위가 매우 작게 존재하거나 정상 조직과의 구별이 어려울 수 있어, 의료진의 숙련도에 따른 진단의 편차가 보다 클 수 있다.As a method of diagnosing gastric cancer, gastroscopy is the most important. More specifically, the medical staff can diagnose gastric cancer by reading a gastroscopy image taken on an individual suspected of gastric cancer using an endoscope scope, and provide treatment according to a lesion based on this. Meanwhile, in the diagnosis system based on an endoscopic image, there may be deviations in diagnosis according to the skill level of a medical staff. Such deviations in diagnosis may also be related to medical accidents such as misdiagnosis, delay in treatment timing, and inappropriate treatment. In particular, in the case of early gastric cancer, the lesion site may be very small or it may be difficult to distinguish it from a normal tissue, and thus the deviation of diagnosis according to the skill level of the medical staff may be greater.

의료 사고의 예방 및 의료 서비스의 향상 등을 위하여 진단의 정확성이 더욱 요구되고 있음에 따라, 질환 발병 여부뿐만 아니라, 병변에 대한 위치를 제공할 수 있는 새로운 진단 방법의 개발이 지속적으로 요구되고 있는 실정이다. As the accuracy of diagnosis is more demanded for the prevention of medical accidents and improvement of medical services, the development of new diagnostic methods that can provide not only the onset of disease, but also the location of the lesion is constantly required. to be.

발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.The technology that is the background of the present invention has been prepared to facilitate understanding of the present invention. It should not be understood as an admission that the matters described in the technology underlying the invention exist as prior art.

한편, 본 발명의 발명자들은, 인공지능 알고리즘 기반의 진단 시스템을 도입함으로써 종래의 내시경 영상에 기초한 진단 방법이 갖는 한계 및 문제점들을 보완하고자 하였다. Meanwhile, the inventors of the present invention have attempted to supplement the limitations and problems of the conventional endoscopic image-based diagnosis method by introducing a diagnosis system based on an artificial intelligence algorithm.

본 발명의 발명자들은, 내시경 영상에 기초한 진단과 관련하여 내시경 영상의 데이터에 의해 학습된 예측 모델을 이용할 수 있음을 인지할 수 있었다. The inventors of the present invention have recognized that a prediction model learned from data of an endoscopic image can be used in connection with diagnosis based on an endoscopic image.

특히, 본 발명의 발명자들은 내시경 영상에 대하여 위의 부위를 정확하게 예측함으로써 병변 발견 시 이의 위치, 즉 병소 부위에 대한 정확한 정보를 제공할 수 있음에 주목하였다.In particular, the inventors of the present invention noted that by accurately predicting the stomach region with respect to the endoscopic image, it is possible to provide accurate information on the location of the lesion, that is, the lesion region when a lesion is found.

보다 구체적으로, 본 발명의 발명자들은, 위의 부위에 따라 미리 결정된 랜드마크를 기초로 내시경 영상에 대하여 위 부위를 분류할 수 있도록 예측 모델을 구축하였다. 즉, 본 발명의 발명자들은, 의료진에 의한 내시경 영상의 판독에 더해 인공지능을 이용한 병소 부위에 대한 위치 정보를 더하여 정확한 병변의 진단을 제공하고자 하였다.More specifically, the inventors of the present invention constructed a prediction model to classify the stomach region with respect to the endoscopic image based on the landmark determined in advance according to the above region. In other words, the inventors of the present invention have attempted to provide accurate lesion diagnosis by adding positional information on a lesion site using artificial intelligence in addition to reading an endoscopic image by a medical staff.

그 결과, 본 발명의 발명자들은, 예측 모델을 이용하여 내시경 영상에 대한 위의 부위를 예측하여 병변 발견 시 병소 부위에 대한 정확한 정보를 제공할 수 있는 새로운 내시경 영상에 기초한 진단 시스템을 개발하기에 이르렀다. As a result, the inventors of the present invention have come to develop a new endoscopic image-based diagnostic system capable of predicting the stomach region of the endoscopic image using a predictive model and providing accurate information on the lesion region when a lesion is found. .

본 발명의 발명자들은, 내시경 영상에 기초하여 위의 부위에 따라 내시경 영상을 분류하도록 학습된 예측 모델에 기초한 진단 시스템이 병변에 대한 위치적 정보를 제공할 수 있어, 종래의 위 내시경에 기초한 진단 시스템이 갖는 한계를 극복할 수 있음을 기대할 수 있었다.The inventors of the present invention, the diagnosis system based on the predictive model learned to classify the endoscopic image according to the above region based on the endoscopic image can provide positional information on the lesion, so that the diagnosis system based on the conventional gastric endoscope I could expect to be able to overcome this limitation.

특히, 본 발명의 발명자들은, 새로운 진단 시스템을 제공함으로써, 의료진의 숙련도에 따른 진단의 오차의 발생, 병변이 발견되었을 때 이에 대한 위치 제공의 어려움과 같은 종래의 위 내시경에 기초한 진단 시스템이 갖는 한계들을 극복할 것을 기대할 수 있었다.In particular, the inventors of the present invention provide a new diagnostic system, such as the occurrence of a diagnosis error according to the skill level of a medical staff, and the difficulty of providing a location for a lesion when a lesion is found. I could expect to overcome them.

한편, 본 발명의 발명자들은, 예측 모델이 학습과정에서 정답과 예측 결과 사이의 오차를 줄이도록 학습함으로써 본 발명의 예측 모델의 진단 성능 향상을 기대할 수 있었다. 즉, 본 발명의 발명자들은 예측 모델에 대하여 미리 결정된 정답과 예측 모델의 예측 결과 사이의 오차를 줄이면서 학습하도록 구성함으로써 본 발명의 예측 모델의 진단 성능의 향상을 기대할 수 있었다.On the other hand, the inventors of the present invention could expect improved diagnostic performance of the predictive model of the present invention by learning the predictive model to reduce an error between the correct answer and the predicted result in the learning process. That is, the inventors of the present invention can expect to improve the diagnostic performance of the predictive model of the present invention by configuring the predictive model to learn while reducing an error between a predetermined correct answer and the predictive result of the predictive model.

보다 구체적으로, 본 발명의 발명자들은, 예측 모델에 입력된 내시경 영상에 대한 분류의 오차, 즉 위의 부위 분류의 오차만을 줄이도록 학습될 경우, 학습 데이터 수가 적을 때, 랜드마크가 존재하는 핵심 영역을 고려하지 않고 학습될 수 있음에 따라 분류의 정확도가 떨어질 수 있다는 점에 대하여 주목하였다.More specifically, the inventors of the present invention, when learning to reduce only the classification error of the endoscopic image input to the predictive model, that is, the error of the above part classification, when the number of training data is small, the key area where the landmark exists. It was noted that the accuracy of classification may be degraded as it can be learned without taking into account.

이러한 문제점을 해결하기 위해, 본 발명의 발명자들은, 실제 랜드마크가 존재하는 영역에 대한, 예측 모델의 위의 부위를 예측하는 과정에서 위의 부위 예측에 기여하는 관심 영역 사이의 위치 오차를, 상기 예측 모델의 학습에 더 반영하고자 하였다. In order to solve this problem, the inventors of the present invention determine the positional error between the region of interest that contributes to the prediction of the above region in the process of predicting the region above the prediction model with respect to the region where the actual landmark exists. It tried to reflect more on the learning of the predictive model.

결과적으로, 본 발명의 발명자들은, 예측 모델을 위의 부위에 따른 영상 분류의 오차 및 위치 오차를 줄이도록 학습 모델을 구성함에 따라, 랜드마크의 중심의 위의 부위 예측, 나아가 분류 능력의 향상을 확인할 수 있었다. As a result, the inventors of the present invention construct a learning model to reduce the error of image classification and position error according to the above region, thereby predicting the region above the center of the landmark, and further improving the classification ability. I could confirm.

즉, 본 발명의 발명자들은, 실제 랜드마크가 존재하는, 정답 랜드마크 영역 내에서 랜드마크의 예측이 활성화가 되도록 하는 '랜드마크' 중심의 학습이 가능한 예측 모델을 개발할 수 있었다. 이에 따라, 본 발명의 위의 부위 예측 모델은, 예측 과정에 있어서 내시경 영상에 대하여 ROI(region of interest)를 설정하고, 랜드마크 영역과 같은 주요 핵심 영역만을 포함하도록 크로핑(cropping) 하는 것, 내시경 영상의 확대, 변형과 같은 영상의 전처리 과정이 생략 가능하도록 구성될 수 있었다. That is, the inventors of the present invention were able to develop a prediction model that enables learning based on'landmarks' so that prediction of a landmark is activated within a correct answer landmark area in which an actual landmark exists. Accordingly, the above region prediction model of the present invention sets a region of interest (ROI) for an endoscopic image in the prediction process, and crops to include only a major core region such as a landmark region, It could be configured so that pre-processing of the image, such as enlargement and transformation of the endoscopic image, could be omitted.

나아가, 본 발명의 발명자들은, 예측 모델에 의한 위의 부위의 예측 결과와 함께, 상기 예측 모델의 관심도를 나타내는 영상을 제공하도록 하여, 예측 모델에 의한 위의 부위 예측에 있어서 관심도가 높은 영역에 대한 정보를 의료진에게 제공하도록 하였다. Further, the inventors of the present invention provide an image representing the degree of interest of the predictive model together with the prediction result of the above region by the predictive model, The information was provided to the medical staff.

이에, 본 발명이 해결하고자 하는 과제는 수신된 내시경 영상을 기초로 위의 부위를 예측하도록 구성된 위의 부위 예측 모델을 이용하여, 내시경 영상에 대한 위의 부위를 예측하고, 예측된 결과를 제공하도록 구성된, 위의 부위 예측 방법을 제공하는 것이다. Accordingly, the problem to be solved by the present invention is to predict the stomach region of the endoscopic image and provide the predicted result using the stomach region prediction model configured to predict the stomach region based on the received endoscopic image. It is to provide a structured, method for predicting the above region.

본 발명이 해결하고자 하는 다른 과제는, 수신된 내시경 영상을 기초로 위의 부위에 따라 미리 결정된 랜드마크를 예측하고, 랜드마크를 기초로 내시경 영상의 위의 부위를 분류하도록 구성된, 위의 부위 예측 방법을 제공하는 것이다.Another problem to be solved by the present invention is to predict a predetermined landmark according to the above region based on the received endoscopic image, and to classify the above region of the endoscopic image based on the landmark, the above region prediction Is to provide a way.

본 발명이 해결하고자 하는 또 다른 과제는, 정답 랜드마크 영역을 포함하는 학습용 내시경 영상을 기초로 위의 부위를 예측하는 처리 중에서, 학습용 내시경 영상 내에서 주요 관심 영역을 포함하는 관심도 영상을 생성하고, 정답 랜드마크 영역에 대한 주요 관심 영역의 위치 오차를 산출하여 이를 줄이도록 학습된 예측 모델을 이용한, 위의 부위 예측 방법을 제공하는 것이다. Another problem to be solved by the present invention is to generate an interest level image including a major region of interest in the learning endoscopic image, among the processing of predicting the above region based on the learning endoscopic image including the correct answer landmark region, A method for predicting the region above is provided using a predictive model trained to reduce the position error of the main ROI for the correct answer landmark region.

본 발명이 해결하고자 하는 또 다른 과제는, 개체의 내시경 영상을 수신하도록 구성된 수신부, 및 내시경 영상에 대한 위의 부위를 예측하고 이를 제공하도록 구성된 프로세서를 포함하는, 위의 부위 예측용 디바이스를 제공하는 것이다.Another problem to be solved by the present invention is to provide a device for predicting the above region, including a receiving unit configured to receive an endoscopic image of an individual, and a processor configured to predict and provide the above region for the endoscope image. will be.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the problems mentioned above, and other problems that are not mentioned will be clearly understood by those skilled in the art from the following description.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 위의 부위 예측 방법이 제공된다. 본 방법은, 개체에 대하여 내시경 영상을 수신하는 단계, 내시경 영상을 기초로 위의 부위를 예측하도록 구성된 위의 부위 예측 모델을 이용하여, 내시경 영상에 대한 위의 부위를 예측하는 단계, 및 예측된 위의 부위를 제공하는 단계를 포함한다.In order to solve the above-described problem, a method for predicting the above region according to an embodiment of the present invention is provided. The method includes the steps of receiving an endoscopic image for an individual, predicting the stomach region for the endoscopic image using the stomach region prediction model configured to predict the stomach region based on the endoscopic image, and the predicted And providing a portion of the stomach.

본 발명의 특징에 따르면, 위의 부위 예측 모델은, 내시경 영상 내에서, 위의 부위에 대하여 미리 결정된 랜드마크를 예측하도록 더 구성될 수 있다. 이때, 위의 부위를 예측하는 단계는, 위의 부위 예측 모델을 이용하여 내시경 영상 내에서 랜드마크를 예측하는 단계, 및 랜드마크를 기초로 위의 부위를 예측하는 단계를 포함할 수 있다.According to a feature of the present invention, the above region prediction model may be further configured to predict a landmark predetermined for the above region within an endoscopic image. In this case, predicting the above region may include predicting a landmark within the endoscopic image using the above region prediction model, and predicting the above region based on the landmark.

본 발명의 다른 특징에 따르면, 랜드마크는, 위 유문관의 홀(hole), 또는 내시경 스코프(scope)일 수 있고, 위의 부위는, 위 상단부, 위 중간부 및 위 하단부 중 적어도 하나일 수 있다. According to another feature of the present invention, the landmark may be a hole in the upper pyloric tube or an endoscope scope, and the upper part may be at least one of the upper upper part, the upper middle part, and the upper lower part. have.

본 발명의 다른 특징에 따르면, 위의 부위 예측 모델에 의해, 내시경 영상 내에서 홀의 랜드마크가 예측될 경우, 랜드마크를 기초로 위의 부위를 예측하는 단계는, 내시경 영상을 위 하단부에 대한 영상으로 결정하는 단계를 포함할 수 있다. According to another feature of the present invention, when the landmark of the hole is predicted in the endoscope image by the upper region prediction model, the step of predicting the upper region based on the landmark includes: an image of the upper and lower part of the endoscopic image. It may include the step of determining.

본 발명의 또 다른 특징에 따르면, 위의 부위 예측 모델에 의해, 내시경 영상 내에서 스코프의 랜드마크가 예측될 경우, 랜드마크를 기초로 위의 부위를 예측하는 단계는, 내시경 영상을 위 상단부에 대한 영상으로 결정하는 단계를 포함할 수 있다.According to another feature of the present invention, when the landmark of the scope is predicted in the endoscopic image by the above region prediction model, the step of predicting the above region based on the landmark comprises: placing the endoscopic image on the upper upper end. It may include the step of determining the image for.

본 발명의 또 다른 특징에 따르면, 위의 부위 예측 모델에 의해, 내시경 영상 내에서 랜드마크가 예측되지 않을 경우, 랜드마크를 기초로 위의 부위를 예측하는 단계는, 내시경 영상을 위 중간부에 대한 영상으로 결정하는 단계를 포함할 수 있다. According to another feature of the present invention, when the landmark is not predicted in the endoscopic image by the above region prediction model, the step of predicting the above region based on the landmark includes placing the endoscopic image in the middle of the stomach. It may include the step of determining the image for.

본 발명의 또 다른 특징에 따르면, 내시경 영상 내에서 랜드마크를 예측하는 단계는, 위의 부위 예측 모델을 이용하여 내시경 영상 내에서 랜드마크를 확률적으로 예측하는 단계를 포함할 수 있다. 나아가, 랜드마크를 기초로 위의 부위를 예측하는 단계는, 랜드마크에 대한 확률적 예측 결과를 기초로, 위의 부위를 예측하는 단계를 포함할 수 있다. According to another feature of the present invention, the step of predicting the landmark within the endoscopic image may include probabilistically predicting the landmark within the endoscopic image using the above region prediction model. Furthermore, the step of predicting the above region based on the landmark may include predicting the above region based on a probabilistic prediction result for the landmark.

본 발명의 또 다른 특징에 따르면, 내시경 영상에 대한 위의 부위를 예측하는 처리 중에서, 위의 부위 예측 모델의 관심도를 나타내는 관심도 영상을 생성하는 단계를 더 포함할 수 있다. 또한, 제공하는 단계는, 관심도 영상을 제공하는 단계를 더 포함할 수 있다. According to another feature of the present invention, among the processing of predicting an upper portion of the endoscopic image, the step of generating an interest level image indicating the degree of interest of the upper portion prediction model may be further included. In addition, the providing may further include providing an interest level image.

본 발명의 또 다른 특징에 따르면, 관심도 영상은, 위의 부위 예측 모델의 관심도가 주변 영역에 비하여 높은 주요 관심 영역을 포함할 수 있다. 또한, 위의 부위 예측 모델은, 위의 부위에 대하여 미리 결정된 랜드마크를 예측하고, 랜드마크가 존재하는 정답 랜드마크 영역에 대하여 주요 관심 영역이 높은 수준으로 중첩되도록 학습된 모델일 수 있다. 이때, 위의 부위 예측 모델은, 정답 랜드마크 영역을 포함하는 학습용 내시경 영상을 수신하는 단계, 학습용 내시경 영상에 대한 위의 부위를 예측하는 처리 중에서, 주요 관심 영역을 포함하는 관심도 영상을 생성하는 단계, 정답 랜드마크 영역에 대한 주요 관심 영역의 위치 오차를 산출하는 단계, 및 위치 오차를 학습하는 단계를 통해 위치 오차를 줄이도록 학습된 모델일 수 있다.According to another feature of the present invention, the interest level image may include a major region of interest that has a higher interest level than the surrounding region of the region prediction model. In addition, the above region prediction model may be a model that predicts a predetermined landmark with respect to the above region, and a major region of interest overlaps at a high level with respect to the correct answer landmark region in which the landmark exists. In this case, the above region prediction model includes receiving an endoscope image for learning including a landmark region for correct answer, and generating an interest level image including a main region of interest among the processing of predicting the above region for the learning endoscopic image. , The model may be trained to reduce the position error through the step of calculating the position error of the main ROI with respect to the correct answer landmark area, and the step of learning the position error.

본 발명의 또 다른 특징에 따르면, 위치 오차를 산출하는 단계는 하기 [수학식 1]에 의해 위치 오차를 산출하는 단계를 포함할 수 있다. According to another feature of the present invention, the step of calculating the position error may include calculating the position error by the following [Equation 1].

[수학식 1][Equation 1]

Figure 112018123462405-pat00001
Figure 112018123462405-pat00001

여기서, GT는 정답 랜드마크 영역의 픽셀이고, GC는 주요 관심 영역의 픽셀이고, |GT ∩ GC|는 정답 랜드마크 영역 및 주요 관심 영역의 중첩 픽셀 수이고, |GT ∪ GC|는 정답 랜드마크 영역 및 주요 관심 영역의 전체 픽셀 수이다.Here, GT is the pixel of the landmark area of the correct answer, GC is the pixel of the main area of interest, and | GT ∩ GC | is the number of overlapping pixels in the correct answer landmark area and main interest area, and | GT ∪ GC | is the total number of pixels in the correct answer landmark area and main interest area.

본 발명의 또 다른 특징에 따르면, 관심도 영상은, 위의 부위 예측 모델의 관심도가 주변 영역에 비하여 높은 주요 관심 영역을 포함할 수 있다. 이때, 위의 부위 예측 모델은, 내시경 영상에 대한 위의 부위의 분류 오차를 줄이고, 위의 부위에 대하여 미리 결정된 랜드마크를 예측하고, 랜드마크가 존재하는 정답 랜드마크 영역에 대하여 주요 관심 영역이 높은 수준으로 중첩되도록 학습된 모델일 수 있다. 나아가 위의 부위 예측 모델은, 위의 부위가 미리 결정되고 정답 랜드마크 영역을 포함하는 학습용 내시경 영상을 수신하는 단계, 학습용 내시경 영상을 기초로 위의 부위를 예측하는 단계, 학습용 내시경 영상에 대한 위의 부위를 예측하는 처리 중에서, 주요 관심 영역을 포함하는 관심도 영상을 생성하는 단계, 학습용 내시경 영상의 미리 결정된 위의 부위에 대한 위의 부위 예측 모델에 의해 예측된 위의 부위의 분류 오차를 산출하는 단계, 정답 랜드마크 영역에 대한 주요 관심 영역의 위치 오차를 산출하는 단계, 위의 부위의 분류 오차 및 위치 오차를 합산하여 전체 오차를 산출하는 단계, 및 전체 오차를 학습하는 단계를 통해 전체 오차를 줄이도록 학습된 모델일 수 있다.According to another feature of the present invention, the interest level image may include a major region of interest that has a higher interest level than the surrounding region of the region prediction model. At this time, the above region prediction model reduces the classification error of the above region with respect to the endoscopic image, predicts a predetermined landmark for the above region, and makes the main region of interest in the correct answer landmark region where the landmark exists. It may be a model that has been trained to be superimposed at a high level. Furthermore, in the above region prediction model, the above region is predetermined and receiving a learning endoscopic image including a correct answer landmark region, predicting the above region based on the learning endoscope image, and Among the processing for predicting the region of the region, generating an interest level image including the main region of interest, calculating a classification error of the region of the stomach predicted by the region prediction model for a predetermined region of the stomach of the learning endoscopy image. The total error is calculated through the steps, calculating the position error of the main region of interest for the correct answer landmark area, calculating the total error by summing the classification error and the position error of the above part, and learning the total error. It may be a model that has been trained to reduce.

본 발명의 또 다른 특징에 따르면, 위의 부위의 분류 오차를 산출하는 단계는, 하기 [수학식 2]에 의해 위의 부위의 분류 오차를 산출하는 단계를 포함할 수 있다.According to another feature of the present invention, calculating the classification error of the above region may include calculating the classification error of the above region according to the following [Equation 2].

[수학식 2][Equation 2]

Figure 112018123462405-pat00002
Figure 112018123462405-pat00002

여기서, k는 미리 결정된 위의 부위의 종류이고, t k 는 미리 결정된 위의 부위에 대한 레이블이고, y k 는 위의 부위 예측 모델에 의한 출력값이다.Here, k is a predetermined type of the upper region, t k is a label for the predetermined upper region, and y k is an output value by the upper region prediction model.

본 발명의 또 다른 특징에 따르면, 전체 오차를 산출하는 단계는, 하기 [수학식 3]에 의해 위의 부위의 분류 오차 및 위치 오차를 합산하는 단계를 포함할 수 있다.According to another feature of the present invention, calculating the total error may include summing the classification error and the position error of the above region by the following [Equation 3].

[수학식 3][Equation 3]

Figure 112018123462405-pat00003
Figure 112018123462405-pat00003

여기서, E cls 는 위의 부위의 분류 오차고, E loc 는 위치 오차이고, α는 가중치이다.Here, E cls is the classification error of the above region, E loc is the position error, and α is the weight.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 위의 부위 예측용 디바이스가 제공된다. 본 발명의 디바이스는, 프로세서에 의해 구현되는 위의 부위 예측용 디바이스로서, 개체에 대하여 내시경 영상을 수신하도록 구성된 수신부, 및 프로세서를 포함한다. 이때, 프로세서는, 내시경 영상을 기초로 위의 부위를 예측하도록 구성된 위의 부위 예측 모델을 이용하여, 내시경 영상에 대한 위의 부위를 예측하고, 예측된 위의 부위를 제공하도록 구성된다.In order to solve the above-described problem, a device for predicting the above region according to an embodiment of the present invention is provided. The device of the present invention is a device for predicting an above region implemented by a processor, and includes a receiving unit configured to receive an endoscopic image of an individual, and a processor. In this case, the processor is configured to predict the stomach region for the endoscopic image and provide the predicted stomach region using the stomach region prediction model configured to predict the stomach region based on the endoscopic image.

본 발명의 특징에 따르면, 위의 부위 예측 모델은, 내시경 영상 내에서, 위의 부위에 대하여 미리 결정된 랜드마크를 예측하도록 더 구성될 수 있다. 이때, 프로세서는, 위의 부위 예측 모델을 이용하여 내시경 영상 내에서 랜드마크를 예측하고, 랜드마크를 기초로 위의 부위를 예측하도록 더 구성될 수 있다. According to a feature of the present invention, the above region prediction model may be further configured to predict a landmark predetermined for the above region within an endoscopic image. In this case, the processor may be further configured to predict the landmark within the endoscopic image using the above region prediction model and predict the above region based on the landmark.

본 발명의 다른 특징에 따르면, 랜드마크는 위 유문관의 홀, 또는 내시경 스코프고, 위의 부위는 위 상단부, 위 중간부 및 위 하단부 중 적어도 하나일 수 있다.According to another feature of the present invention, the landmark is a hole in the upper pyloric tube or an endoscope scope, and the upper part may be at least one of an upper upper part, an upper middle part, and an upper lower part.

본 발명의 또 다른 특징에 따르면, 프로세서는, 위의 부위 예측 모델에 의해, 내시경 영상 내에서 홀의 랜드마크가 예측될 경우, 내시경 영상을 위 하단부에 대한 영상으로 결정하도록 더 구성될 수 있다. According to another feature of the present invention, the processor may be further configured to determine the endoscope image as an image for the upper lower part when the landmark of the hole is predicted in the endoscopic image by the upper region prediction model.

본 발명의 또 다른 특징에 따르면, 프로세서는, 위의 부위 예측 모델에 의해, 내시경 영상 내에서 스코프의 랜드마크가 예측될 경우, 내시경 영상을 위 상단부에 대한 영상으로 결정하도록 더 구성될 수 있다.According to another feature of the present invention, the processor may be further configured to determine the endoscope image as an image for the upper upper part when the landmark of the scope is predicted in the endoscopic image by the above region prediction model.

본 발명의 또 다른 특징에 따르면, 프로세서는, 위의 부위 예측 모델에 의해, 내시경 영상 내에서 랜드마크가 예측되지 않을 경우, 내시경 영상을 위 중간부에 대한 영상으로 결정하도록 더 구성될 수 있다. According to another feature of the present invention, the processor may be further configured to determine the endoscopic image as an image for the middle part of the stomach when the landmark is not predicted in the endoscopic image by the region prediction model.

본 발명의 또 다른 특징에 따르면, 프로세서는, 위의 부위 예측 모델을 이용하여, 내시경 영상 내에서 랜드마크를 확률적으로 예측하고, 랜드마크에 대한 확률적 예측 결과를 기초로, 위의 부위를 예측하도록 더 구성될 수 있다.According to another feature of the present invention, the processor probabilistically predicts the landmark within the endoscopic image using the above region prediction model, and based on the probabilistic prediction result for the landmark, the above region is It can be further configured to predict.

본 발명의 또 다른 특징에 따르면, 프로세서는, 내시경 영상에 대한 위의 부위를 예측하는 처리 중에서, 위의 부위 예측 모델의 관심도를 나타내는, 관심도 영상을 생성하고 관심도 영상을 제공하도록 더 구성될 수 있다. According to another feature of the present invention, the processor may be further configured to generate an interest degree image representing the degree of interest of the upper region prediction model and provide the interest degree image, among the processing for predicting the upper part of the endoscopic image. .

본 발명의 또 다른 특징에 따르면, 관심도 영상은, 위의 부위 예측 모델의 관심도가 주변 영역에 비하여 높은 주요 관심 영역을 포함할 수 있다. 이때, 위의 부위 예측 모델은, 위의 부위에 대하여 미리 결정된 랜드마크를 예측하고, 랜드마크가 존재하는 정답 랜드마크 영역에 대하여 주요 관심 영역이 높은 수준으로 중첩되도록 학습된 모델일 수 있다. 나아가, 위의 부위 예측 모델은 수신부를 통해 정답 랜드마크 영역을 포함하는 학습용 내시경 영상을 더 수신하고, 학습용 내시경 영상에 대한 위의 부위를 예측하는 처리 중에서, 주요 관심 영역을 포함하는 관심도 영상을 생성하고, 정답 랜드마크 영역에 대한 주요 관심 영역의 위치 오차를 산출하고, 위치 오차를 학습하는 단계를 통해 위치 오차를 줄이도록 학습된 모델일 수 있다.According to another feature of the present invention, the interest level image may include a major region of interest that has a higher interest level than the surrounding region of the region prediction model. In this case, the above region prediction model may be a model that predicts a predetermined landmark with respect to the above region, and a major region of interest overlaps at a high level with respect to the correct answer landmark region in which the landmark exists. Furthermore, the above region prediction model further receives the learning endoscopic image including the correct answer landmark region through the receiver, and generates an interest level image including the main region of interest among the processing of predicting the above region for the learning endoscope image. The model may be trained to reduce the position error through the step of calculating the position error of the main ROI with respect to the correct answer landmark area and learning the position error.

본 발명의 또 다른 특징에 따르면, 관심도 영상은, 위의 부위 예측 모델의 관심도가 주변 영역에 비하여 높은 주요 관심 영역을 포함할 수 있다. 이때, 위의 부위 예측 모델은, 내시경 영상에 대한 위의 부위의 분류 오차를 줄이고, 위의 부위에 대하여 미리 결정된 랜드마크를 예측하고, 랜드마크가 존재하는 정답 랜드마크 영역에 대하여 주요 관심 영역이 높은 수준으로 중첩되도록 학습된 모델일 수 있다. 나아가, 위의 부위 예측 모델은, 위의 부위가 미리 결정되고 정답 랜드마크 영역을 포함하는 학습용 내시경 영상을 수신부를 통해 더 수신하고, 학습용 내시경 영상을 기초로 위의 부위를 예측하고, 학습용 내시경 영상에 대한 위의 부위를 예측하는 처리 중에서, 주요 관심 영역을 포함하는 관심도 영상을 생성하고, 학습용 내시경 영상의 미리 결정된 위의 부위에 대한 위의 부위 예측 모델에 의해 예측된 위의 부위의 분류 오차를 산출하고, 정답 랜드마크 영역에 대한 주요 관심 영역의 위치 오차를 산출하고, 위의 부위의 분류 오차 및 위치 오차를 합산하여 전체 오차를 산출하고, 전체 오차를 학습하는 단계를 통해 전체 오차를 줄이도록 학습된 모델일 수 있다.According to another feature of the present invention, the interest level image may include a major region of interest that has a higher interest level than the surrounding region of the region prediction model. At this time, the above region prediction model reduces the classification error of the above region with respect to the endoscopic image, predicts a predetermined landmark for the above region, and makes the main region of interest in the correct answer landmark region where the landmark exists. It may be a model that has been trained to be superimposed at a high level. Furthermore, the above region prediction model further receives an endoscopic image for learning through a receiving unit in which the above region is determined in advance and includes the correct answer landmark region, and predicts the above region based on the learning endoscopic image, and the learning endoscopic image Among the processing for predicting the above region for, generates an interest level image including the main region of interest, and calculates the classification error of the above region predicted by the region prediction model for a predetermined region of the stomach of the learning endoscopy image. To reduce the total error by calculating, calculating the position error of the main interest area for the correct answer landmark area, calculating the total error by summing the classification error and the position error of the above part, and learning the total error. It can be a trained model.

본 발명은, 내시경 영상에 대하여 미리 결정된 랜드마크를 기초로 위의 부위를 예측하도록 구성된 위의 부위 예측 모델을 이용한 위의 부위 예측 방법 및 이를 이용한 디바이스를 제공함으로써, 병변에 대한 정확한 정보를 제공할 수 있는 효과가 있다. The present invention provides a method for predicting a stomach region using a stomach region prediction model configured to predict a stomach region based on a predetermined landmark for an endoscopic image, and a device using the same, thereby providing accurate information on a lesion. There is an effect that can be.

예를 들어, 본 발명은, 내시경 영상에 대하여, 위 상단부, 위 중간부 및 위 하단부 중 적어도 하나로 분류하고 이에 대한 정보를 제공하여, 병변이 발견될 경우, 병변이 발생한 위치, 즉 병소 부위에 대한 위치 정보를 제공할 수 있는 효과가 있다. 이에, 본 발명은 위암에 대한 정확한 진단, 나아가 좋은 치료 예후를 제공하는 것에 기여할 수 있는 효과가 있다. For example, the present invention classifies and provides information on at least one of the upper upper part, the upper middle part and the lower part of the upper part with respect to the endoscopic image, and when a lesion is found, the location where the lesion occurred, that is, the site of the lesion There is an effect of being able to provide location information. Accordingly, the present invention has an effect that can contribute to providing an accurate diagnosis for gastric cancer and a good treatment prognosis.

또한, 본 발명은, 예측 모델에 대하여 미리 결정된 정답에 대한 예측 모델의 예측에 따른 결과 사이의 오차를 줄이도록 학습된 예측 모델을 제공함으로써, 내시경 영상 분류의 성능 향상을 기대할 수 있는 효과가 있다. 보다 구체적으로, 본 발명은, 예측 모델이 영상을 분류하는 과정에서 위의 부위 예측에 기여하는 관심 영역과 미리 결정된 랜드마크에 대한 영역 사이의 위치 오차를, 예측 모델의 학습에 반영함에 따라, 높은 정확도 또는 높은 정밀도로 내시경 영상을 분류할 수 있다.In addition, the present invention provides a predictive model that has been trained to reduce an error between results of prediction of a predictive model for a predetermined correct answer to a predictive model, thereby improving the performance of endoscopic image classification. More specifically, the present invention reflects the positional error between the region of interest contributing to the above region prediction and the region for a predetermined landmark in the process of classifying an image in the predictive model in the learning of the predictive model. Endoscopic images can be classified with accuracy or high precision.

이에, 본 발명은, 예측 모델이 위의 부위 분류의 오차만을 학습하도록 구성될 경우 학습 데이터 수가 적을 때 랜드마크 영역과 같은 핵심 영역을 고려하지 않고 학습될 수 있음에 따라 영상 분류의 정확도가 떨어질 수 있다는 문제점을 해결할 수 있는 효과가 있다. Accordingly, in the present invention, when the prediction model is configured to learn only the error of the above region classification, the accuracy of image classification may be degraded as it can be learned without taking into account a core region such as a landmark region when the number of training data is small. There is an effect that can solve the problem that there is.

나아가, 본 발명은, 예측 과정에 있어서, 입력되는 내시경 영상에 대하여 ROI를 설정하는 것, 랜드마크 영역과 같은 핵심 영역만을 포함하도록 크로핑하는 것, 내시경 영상의 확대, 변형하는 것과 같은 영상의 전처리 과정의 생략에도, 내시경 영상에 대하여 위의 부위를 예측하는 능력이 우수한 예측 모델을 제공할 수 있는 효과가 있다. Further, in the prediction process, the present invention sets an ROI for an input endoscopic image, cropping to include only a key area such as a landmark area, and pre-processing an image such as enlargement and transformation of an endoscopic image. Even if the process is omitted, there is an effect of providing a predictive model having excellent ability to predict the above region with respect to an endoscopic image.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.The effects according to the present invention are not limited by the contents exemplified above, and more various effects are included in the present specification.

도 1은 본 발명의 일 실시예에 따른 위의 부위 예측용 디바이스의 구성을 예시적으로 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 위의 부위 예측 방법의 절차를 도시한 것이다.
도 3a는 본 발명의 다른 실시예에 따른 위의 부위 예측 방법의 절차를 도시한 것이다.
도 3b는 본 발명의 다른 실시예에 따른 위의 부위 예측 방법에 의한 내시경 영상에 대한 위의 부위 예측의 절차를 예시적으로 도시한 것이다.
도 4a 내지 4c는 본 발명의 다양한 실시예에 이용되는 위의 부위 예측 모델의 학습용 내시경 영상 데이터를 도시한 것이다.
도 4d는 본 발명의 다양한 실시예에 이용되는 위의 부위 예측 모델의 구성을 예시적으로 도시한 것이다.
도 5a 내지 5i는 본 발명의 다양한 실시예에 이용되는 위의 부위 예측 모델의 평가 결과를 도시한 것이다.1 is an exemplary diagram illustrating a configuration of a device for predicting a region according to an embodiment of the present invention.
2 is a diagram illustrating a procedure of the above region prediction method according to an embodiment of the present invention.
3A is a diagram illustrating a procedure of a method for predicting a region according to another embodiment of the present invention.
3B is an exemplary diagram illustrating a procedure for predicting an upper region for an endoscopic image using the method for predicting an upper region according to another embodiment of the present invention.
4A to 4C illustrate endoscopic image data for training of the above region prediction model used in various embodiments of the present invention.
4D is an exemplary diagram illustrating the configuration of the above region prediction model used in various embodiments of the present invention.
5A to 5I illustrate evaluation results of the above region prediction model used in various embodiments of the present invention.

발명의 이점, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages of the invention and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various forms different from each other, and only these embodiments make the disclosure of the present invention complete, and common knowledge in the technical field to which the present invention pertains. It is provided to completely inform the scope of the invention to the possessor, and the invention is only defined by the scope of the claims.

본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우, '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다. The shapes, sizes, ratios, angles, numbers, etc. disclosed in the drawings for explaining the embodiments of the present invention are exemplary, and thus the present invention is not limited to the illustrated matters. In addition, in describing the present invention, when it is determined that a detailed description of a related known technology may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. When'include','have','consists of' and the like mentioned in the present specification are used, other parts may be added unless'only' is used. In the case of expressing the constituent elements in the singular, it includes the case of including the plural unless specifically stated otherwise.

구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다. In interpreting the components, even if there is no explicit description, it is interpreted as including an error range.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다. Each of the features of the various embodiments of the present invention may be partially or entirely combined or combined with each other, and as a person skilled in the art can fully understand, technically various interlocking and driving are possible, and each of the embodiments may be independently implemented with respect to each other. It may be possible to do it together in a related relationship

본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다. For clarity of interpretation of the present specification, terms used in the present specification will be defined below.

본 명세서에서 사용되는 용어, "개체"는 질환의 발병 여부, 나아가 병변을 예측하고자 하는 모든 대상을 의미할 수 있다. 예를 들어, 개체는, 위암 의심 개체일 수도 있다. 이때, 본 명세서 내 개시된 개체는, 인간을 제외한 모든 포유 동물일 수 있으나, 이에 제한되는 것은 아니다. As used herein, the term "individual" may refer to all subjects for which the onset of a disease, and furthermore, a lesion is to be predicted. For example, the subject may be a suspected subject with gastric cancer. In this case, the individual disclosed in the present specification may be any mammal except humans, but is not limited thereto.

본 명세서에서 사용되는 용어, "위의 부위"는, 위의 해부학적 구조에 따라 구별되는 복수의 부위를 의미할 수 있다. 예를 들어, 위의 부위는, 식도와 가까운 위의 분문부(cardia), 위의 분문부 옆의 위 기저부(fundus), 및 위 몸체부(corpus)의 상단이 위치하는 위 상단부를 포함할 수 있다. 나아가, 위의 부위는, 소장 옆의 위 유문부(pylorus), 위 전정부(antrum)가 위치하는 위 하단부를 포함할 수 있다. 또한, 위의 부위는, 상기 위 상단부 및 위 하단부 사이의 몸체부가 위치하는, 위 중간부를 더 포함할 수 있다.As used herein, the term "gastric region" may mean a plurality of regions that are distinguished according to the anatomy of the stomach. For example, the region of the stomach may include a cardia of the stomach close to the esophagus, a fundus next to the cardia of the stomach, and an upper upper part of the stomach where the upper end of the corpus is located. have. Further, the portion of the stomach may include a pylorus of the stomach next to the small intestine, and a lower portion of the stomach where the antrum is located. In addition, the upper portion may further include an upper middle portion, in which the body portion between the upper upper portion and the upper lower portion is located.

그러나, 위의 부위는 이에 제한되는 것이 아니며, 위의 해부학적 구조에 따라 보다 다양하게 구별될 수 있다. However, the portion of the stomach is not limited thereto, and may be differentiated in more various ways according to the anatomical structure of the stomach.

본 명세서에서 사용되는 용어, "내시경 영상"은, 질환 의심 부위에 대하여 영상 진단 장치로부터 촬영된 내시경 영상을 의미할 수 있다. 예를 들어, 내시경 영상은, 개체에 대하여 촬영된 위 상단부, 위 하단부 또는, 위 벽의 위 중간부를 포함하는 내시경 영상일 수 있다.As used herein, the term "endoscopic image" may refer to an endoscopic image captured by an imaging apparatus for a region suspected of a disease. For example, the endoscope image may be an endoscope image including an upper upper portion, an upper lower portion, or an upper middle portion of the upper wall photographed with respect to the object.

그러나, 이에 제한되지 않고 내시경 영상은 보다 다양한 위의 부위를 포함할 수 있다. However, the present invention is not limited thereto, and the endoscopic image may include a wider variety of stomach regions.

내시경 영상은, 2차원 영상, 3차원 영상, 한 컷의 스틸 영상, 또는 복수개의 컷으로 구성된 동영상일 수 있다. 예를 들어, 내시경 영상이 복수개의 컷으로 구성된 동영상일 경우, 본 발명의 일 실시예에 따른 위의 부위 예측 방법에 따라 복수개의 내시경 영상 각각에 대한 위의 부위가 예측 또는 분류될 수 있다. 그 결과, 본 발명은 내시경 스코프와 같은 영상 진단 장치로부터의 내시경 영상의 수신과 동시에 위의 부위의 예측을 수행함으로써, 실시간으로 위의 부위에 대한 진단 정보를 제공할 수 있다. 즉, 본 발명은 내시경 영상 내에서 병변이 검출될 경우, 이에 대한 위치 정보를 실시간으로 제공할 수 있다. The endoscope image may be a 2D image, a 3D image, a still image of one cut, or a moving image composed of a plurality of cuts. For example, when the endoscopic image is a moving picture composed of a plurality of cuts, the above region for each of the plurality of endoscopic images may be predicted or classified according to the method for predicting the above region according to an embodiment of the present invention. As a result, the present invention can provide diagnosis information on the stomach region in real time by performing prediction of the stomach region at the same time as receiving an endoscopic image from an imaging device such as an endoscope scope. That is, in the present invention, when a lesion is detected in an endoscopic image, location information on the lesion can be provided in real time.

한편, 내시경 영상은, 위의 부위에 따라 미리 결정된 랜드마크를 더 포함할 수 있다. Meanwhile, the endoscopic image may further include a landmark determined in advance according to the above portion.

이때, 본 명세서에서 사용되는 용어, "랜드마크"는 내시경 영상을 기초로 위의 부분을 식별하는 것에 있어서 기준이 될 수 있는 특정 영역 또는, 부위를 의미할 수 있다. In this case, the term “landmark” used in the present specification may mean a specific region or a region that can serve as a reference in identifying the above part based on an endoscopic image.

예를 들어, 내시경 스코프는 위의 상단부를 촬영하기 위해 내시경 스코프의 삽입 반대 방향으로 휘어질 수 있다. 이에, 위의 상단부에 대한 내시경 영상은, 상기 스코프가 함께 나타날 수 있다. 따라서, 위의 상단부에 대하여, 내시경 스코프가 랜드마크로 결정될 수 있다. 즉, 내시경 영상에 대하여 내시경 스코프가 존재할 경우, 상기 내시경 영상은 위 상단부에 대한 영상일 수 있다.For example, the endoscope scope may be bent in a direction opposite to the insertion of the endoscope scope to photograph the upper end of the stomach. Accordingly, in the endoscope image of the upper upper part, the scope may appear together. Therefore, for the upper end portion, the endoscope scope can be determined as a landmark. That is, when an endoscope scope exists for an endoscope image, the endoscope image may be an image of the upper upper part.

나아가, 내시경 스코프에 의해 위의 하단부를 촬영할 경우, 위 유문부와 연결된 소장에 의한 '홀(hole)'이 나타날 수 있다. 이에, 위 하단부에 대하여, 상기 홀이 랜드마크로서 결정될 수 있다. 즉, 내시경 영상에 대하여 홀이 존재할 경우, 상기 내시경 영상은 위 하단부에 대한 영상일 수 있다. Furthermore, when the lower part of the stomach is photographed by an endoscope, a'hole' may appear due to the small intestine connected to the pylorus of the stomach. Accordingly, with respect to the upper and lower portions, the hole may be determined as a landmark. That is, when there is a hole in the endoscope image, the endoscope image may be an image for the upper and lower portions.

한편, 내시경 스코프에 의해 위 중간부를 촬영할 경우, 위 몸체부의 위벽이 관찰될 수 있다. 즉, 위 중간부는 랜드마크를 포함하지 않을 수 있다. 이에, 내시경 영상에 대하여 내시경 스코프 또는 홀의 랜드마크가 존재하지 않을 경우, 상기 내시경 영상은 위 중간부에 대한 영상일 수 있다.On the other hand, when photographing the middle part of the stomach by the endoscope scope, the stomach wall of the upper body part can be observed. That is, the upper middle portion may not include a landmark. Accordingly, when the landmark of the hole or the endoscope scope does not exist with respect to the endoscopic image, the endoscopic image may be an image of the middle part of the stomach.

한편, 질환의 진단 나아가, 위의 부위의 예측에 대한 정확도를 높이기 위해, 내시경 영상을 기초로 위의 부위를 예측하도록 구성된 예측 모델이 이용될 수 있다. Meanwhile, in order to diagnose a disease and further improve the accuracy of prediction of the stomach region, a prediction model configured to predict the stomach region based on an endoscopic image may be used.

본 명세서에서 사용되는 용어, "위의 부위 예측 모델"은 내시경 영상에 대하여 위의 부위를 예측 또는 분류하도록 학습된 모델일 수 있다. As used herein, the term "upper region prediction model" may be a model trained to predict or classify an upper region with respect to an endoscopic image.

예를 들어, 본 발명의 위의 부위 예측 모델은, 입력된 내시경 영상에 대하여 위의 상단부, 위의 하단부 및 위의 중간부의 3 클래스를 확률적으로 예측(분류)하도록 구성된 모델일 수 있다. For example, the upper region prediction model of the present invention may be a model configured to probabilistically predict (classify) three classes of an upper upper part, an upper lower part, and an upper middle part of an input endoscopic image.

한편, 본 발명의 위의 부위 예측 모델은, 내시경 영상 내에서 미리 결정된 랜드마크를 예측하고, 이를 기초로 내시경 영상에 대한 위의 부위를 예측하도록 더 구성된 모델일 수 있다.Meanwhile, the upper region prediction model of the present invention may be a model further configured to predict a predetermined landmark within an endoscopic image, and predict an upper region for an endoscopic image based on the predicted landmark.

예를 들어, 위 부위 예측 모델은, 내시경 영상에 대하여 내시경 스코프의 랜드마크가 예측될 경우, 상기 내시경 영상을 위 상단부에 대한 영상으로 결정하도록 학습된 예측 모델일 수 있다. For example, the gastric region prediction model may be a prediction model learned to determine the endoscopic image as an image for the upper upper part when the landmark of the endoscope scope is predicted with respect to the endoscopic image.

나아가, 위 부위 예측 모델은, 내시경 영상에 대하여 홀의 랜드마크가 예측될 경우, 상기 내시경 영상을 위 하단부에 대한 영상으로 결정하도록 학습된 예측 모델일 수 있다. Further, the upper region prediction model may be a predictive model that is trained to determine the endoscope image as an image for the upper lower part when the landmark of the hole is predicted with respect to the endoscopic image.

또한, 위 부위 예측 모델은, 내시경 영상에 대하여 랜드마크가 예측되지 않을 경우, 상기 내시경 영상을 위 중간부에 대한 영상으로 결정하도록 학습된 예측 모델일 수 있다. In addition, the gastric region prediction model may be a predictive model that is trained to determine the endoscopic image as an image for the middle part of the stomach when the landmark is not predicted with respect to the endoscopic image.

한편, 본 발명의 위의 부위 예측 모델은, 미리 결정된 정답에 대한 예측 모델의 예측에 따른 결과 사이의 오차를 줄이도록 학습된 모델일 수 있다. Meanwhile, the above region prediction model of the present invention may be a model trained to reduce an error between results of prediction of a prediction model for a predetermined correct answer.

예를 들어, 본 발명의 위의 부위 예측 모델은, 예측 모델에 입력된 내시경 영상에 대한 위의 부위의 예측 결과의 오차, 즉 위의 부위의 분류 오차를 줄이도록 구성됨에 따라 내시경 영상에 대한 위의 부위 예측의 정확도가 향상된 모델일 수 있다. For example, the stomach region prediction model of the present invention is configured to reduce an error in the prediction result of the stomach region with respect to the endoscopic image input to the prediction model, that is, the classification error of the stomach region. It may be a model with improved accuracy of prediction of the region of the.

보다 구체적으로, 본 발명의 위의 부위 예측 모델은, 위의 부위에 대하여 미리 결정된 랜드마크가 존재하는 정답 랜드마크 영역을 포함하는 학습용 내시경 영상을 수신하고, 학습용 내시경 영상에 대한 위의 부위를 예측하는 처리 중에서 주요 관심 영역을 포함하는 관심도 영상을 생성하고, 정답 랜드마크 영역에 대한 주요 관심 영역의 위치 오차를 산출하고, 위치 오차를 학습하도록 구성된 모델일 수 있다.More specifically, the above region prediction model of the present invention receives an endoscope image for learning including a correct answer landmark region in which a predetermined landmark exists for the above region, and predicts the above region for the learning endoscope image. The model may be configured to generate an interest level image including a main interest area, calculate a position error of the main interest area with respect to the correct answer landmark area, and learn the position error.

이때, 정답 랜드마크 영역에 대한 상기 주요 관심 영역의 위치 오차는 [수학식 1]에 의해 산출될 수 있다.In this case, the position error of the main interest area with respect to the correct answer landmark area may be calculated by [Equation 1].

[수학식 1][Equation 1]

Figure 112018123462405-pat00004
Figure 112018123462405-pat00004

여기서, GT는 정답 랜드마크 영역의 픽셀이고, GC는 주요 관심 영역의 픽셀이고, |GT ∩ GC|는 정답 랜드마크 영역 및 주요 관심 영역의 중첩 픽셀 수이고, |GT ∪ GC|는 정답 랜드마크 영역 및 주요 관심 영역의 전체 픽셀 수일 수 있다.Here, GT is the pixel of the landmark area of the correct answer, GC is the pixel of the main area of interest, and | GT ∩ GC | is the number of overlapping pixels in the correct answer landmark area and main interest area, and | GT ∪ GC | may be the total number of pixels in the correct answer landmark area and the main interest area.

나아가, 본 발명의 위의 부위 예측 모델은, 예측된 위의 부위의 분류 오차 및 관심 영역의 위치 오차를 모두 고려하여 학습된 모델일 수 있다.Furthermore, the upper region prediction model of the present invention may be a model trained in consideration of both the predicted classification error of the upper region and the position error of the ROI.

보다 구체적으로, 본 발명의 위의 부위 예측 모델은, 위의 부위가 미리 결정되고 정답 랜드마크 영역을 포함하는 학습용 내시경 영상을 수신하고, 학습용 내시경 영상을 기초로 위의 부위를 예측하고, 위의 부위를 예측하는 처리 중에서, 학습용 내시경 영상 내에서 주요 관심 영역을 포함하는 관심도 영상을 생성하고, 미리 결정된 위의 부위에 대한, 예측 모델에 의해 예측된 위의 부위의 분류 오차를 산출하고, 정답 랜드마크 영역에 대한 주요 관심 영역의 위치 오차를 산출하고, 위의 부위의 분류 오차 및 상기 위치 오차를 합산하여 전체 오차를 산출하고, 전체 오차를 줄이도록 학습하는 단계를 통해 학습된 모델일 수 있다.More specifically, in the above region prediction model of the present invention, the above region is predetermined and receives a learning endoscopic image including a correct answer landmark region, predicts the above region based on the learning endoscope image, and Among the processing of predicting the region, an interest degree image including the main region of interest is generated in the learning endoscopic image, and the classification error of the upper region predicted by the predictive model for the predetermined upper region is calculated, and the correct answer land The model may be trained through the step of calculating a position error of a major region of interest with respect to the mark region, calculating a total error by summing the classification error of the above part and the position error, and learning to reduce the total error.

이때, 위의 부위의 분류 오차는 하기 [수학식 2]에 의해 산출될 수 있다.At this time, the classification error of the above portion may be calculated by the following [Equation 2].

[수학식 2][Equation 2]

Figure 112018123462405-pat00005
Figure 112018123462405-pat00005

여기서, k는 미리 결정된 위의 부위의 종류이고, t k 는 미리 결정된 위의 부위에 대한 레이블이고, y k 는 위의 부위 예측 모델에 의한 출력값일 수 있다.Here, k is a predetermined type of the upper region, t k is a label for the predetermined upper region, and y k may be an output value by the upper region prediction model.

나아가, 전체 오차는 하기 [수학식 3]에 의해 산출될 수 있다.Furthermore, the total error can be calculated by the following [Equation 3].

[수학식 3][Equation 3]

Figure 112018123462405-pat00006
Figure 112018123462405-pat00006

여기서, E cls 는 위의 부위의 분류 오차고, E loc 는 위치 오차이고, α는 가중치일 수 있다.Here, E cls is a classification error of the above region, E loc is a position error, and α may be a weight.

즉, α가 0.5일 경우, 예측된 위의 부위의 분류 오차 및 주요 관심 영역의 오차의 가중치가 동일하게 적용될 수 있다.That is, when α is 0.5, the weight of the predicted classification error of the above region and the error of the main ROI may be equally applied.

이에, 본 발명의 위의 부위 예측 모델은, 위의 부위에 대한 분류와 같은 결과값의 오차만을 줄이도록 학습된 모델보다 영상의 분류 능력이 우수할 수 있다. 즉 본 발명의 위의 부위 예측 모델은, 위의 부위의 분류 오차만을 줄이도록 학습될 경우 학습 데이터 수가 적을 때 실제 랜드마크가 존재하는 핵심 영역을 고려하지 않을 수 있어 영상 예측의 정확도가 떨어질 수 있다는 문제점을 해결할 수 있다.Accordingly, the above region prediction model of the present invention may have superior image classification capability than a model trained to reduce only an error of a result value such as classification for the above region. That is, when the above region prediction model of the present invention is trained to reduce only the classification error of the above region, the core region where the actual landmark exists may not be considered when the number of training data is small, so that the accuracy of image prediction may be degraded. You can solve the problem.

나아가, 본 발명의 위의 부위 예측 모델은, 실제 랜드마크가 존재하는 영역 내에서 활성화가 되도록 하는 랜드마크 중심의 학습이 가능한 예측 모델일 수 있다. 이에, 예측 모델은, 예측 과정에 있어서 내시경 영상에 대하여 ROI를 설정하고, 랜드마크 영역과 같은 핵심 영역만을 포함하도록 크로핑하는 것과 내시경 영상의 확대, 변형과 같은 영상의 전처리 과정이 생략 가능할 수 있다.Furthermore, the above region prediction model of the present invention may be a prediction model capable of learning based on a landmark to be activated within an area where an actual landmark exists. Accordingly, in the prediction model, the ROI may be set for the endoscopic image in the prediction process, cropping to include only a key area such as a landmark area, and pre-processing of the image such as enlargement and transformation of the endoscopic image may be omitted. .

한편, 본 발명의 다양한 실시예에 따르면, 본 발명의 위의 부위 예측 모델은, 내시경 영상 내에서의 위의 부위를 예측하는 처리 중에서, 관심도가 높은 영역을 다른 영역과 구별되도록 내시경 영상 내에 표시하도록 더 구성될 수 있다. On the other hand, according to various embodiments of the present invention, the above region prediction model of the present invention displays a region of high interest in the endoscope image so as to be distinguished from other regions among the processing of predicting the above region within an endoscopic image. It can be further configured.

예를 들어, 본 발명의 위의 부위 예측 모델은, 내시경 영상 내의 특정 영역에 대하여 관심도의 정도에 따라 상이한 색깔을 나타내도록, CAM(class activation mapping) 영상을 제공하도록 구성될 수 있다. For example, the above region prediction model of the present invention may be configured to provide a class activation mapping (CAM) image so that different colors are displayed according to the degree of interest in a specific region in an endoscopic image.

본 명세서에서 사용되는 용어, "주요 관심 영역"은, 내시경 영상 내에서 본 발명의 위의 부위 예측 모델에 의해 관심도가 큰 영역일 수 있다. 즉, 주요 관심 영역은, 랜드마크에 대한 영역일 확률이 다른 영역에서보다 클 수도 있다.As used herein, the term "main region of interest" may be a region having a high degree of interest in the endoscopic image by the above region prediction model of the present invention. That is, the main ROI may have a greater probability of being an area for a landmark than in other areas.

이에, 본 발명의 위의 부위 예측 모델은, 실제 랜드마크가 존재하는 영역의 미리 결정된 정답 랜드마크 영역에 대한 주요 관심 영역의 중첩률이 높아지도록 학습된 모델일 수 있다. 즉, 본 발명의 위의 부위 예측 모델은, 정답 랜드마크 영역에 대한 주요 관심 영역의 위치 오차를 줄이도록 구성된 모델로서, 상기와 같은 학습 방법에 의해 랜드마크의 예측 및 위의 부위에 따른 영상 분류의 정확도가 향상된 모델일 수 있다. Accordingly, the above region prediction model of the present invention may be a model that has been trained to increase the overlap rate of the main ROI with respect to the predetermined correct answer landmark region of the region where the actual landmark exists. That is, the above region prediction model of the present invention is a model configured to reduce the positional error of the main region of interest with respect to the correct answer landmark region, and predicts the landmark and classifies the image according to the above region by the above learning method. It may be a model with improved accuracy.

한편, 본 발명의 위의 부위 예측 모델은, VGG-16, DCNN(Deep Convolutional Neural Network) 및 ResNet 중 선택된 적어도 하나의 모델일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 본 발명의 위의 부위 예측 모델은, DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), SSD(Single Shot Detector) 모델 또는 U-net을 기반으로 하는 예측 모델일 수도 있다. Meanwhile, the above region prediction model of the present invention may be at least one model selected from VGG-16, Deep Convolutional Neural Network (DCNN), and ResNet, but is not limited thereto. For example, the above region prediction model of the present invention is DNN (Deep Neural Network), CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), SSD It may be a (Single Shot Detector) model or a prediction model based on U-net.

이하에서는 도 1을 참조하여, 본 발명의 일 실시예에 따른 위의 부위 예측용 디바이스를 설명한다. Hereinafter, a device for predicting the above region according to an embodiment of the present invention will be described with reference to FIG. 1.

먼저, 도 1을 참조하여, 본 발명의 일 실시예에 따른 위의 부위 예측용 디바이스를 구체적으로 설명한다. 도 1은 본 발명의 일 실시예에 따른 위의 부위 예측용 디바이스의 구성을 도시한 것이다. 이때, 내시경 영상으로 위 내시경 영상을 예로 들어 설명하나, 이에 제한되는 것은 아니다. First, with reference to FIG. 1, a device for predicting the above region according to an embodiment of the present invention will be described in detail. 1 is a diagram illustrating a configuration of a device for predicting an above region according to an embodiment of the present invention. In this case, a gastroscopy image is used as an endoscope image as an example, but the present invention is not limited thereto.

도 1을 참조하면, 위의 부위 예측용 디바이스(100)는 내시경 영상 촬영부(110), 입력부(120), 출력부(130), 프로세서(140) 및 저장부(150)를 포함한다. Referring to FIG. 1, the device 100 for predicting the above region includes an endoscope image capturing unit 110, an input unit 120, an output unit 130, a processor 140, and a storage unit 150.

구체적으로 내시경 영상 촬영부(110)는 개체의 내시경 영상, 예를 들어 위 점막에 대한 내시경 영상을 촬영하도록 구성될 수 있다. 이때, 내시경 영상 촬영부(110)는 내시경 스코프일 수 있으나, 이에 제한되는 것이 아니다.Specifically, the endoscope image capturing unit 110 may be configured to capture an endoscope image of an object, for example, an endoscopic image of the gastric mucosa. In this case, the endoscope image capturing unit 110 may be an endoscope scope, but is not limited thereto.

한편, 내시경 영상 촬영부(110)에 의해 획득된 내시경 영상은 RGB의 컬러 영상일 수도 있다. 내시경 영상 촬영부(110)는 촬영된 내시경 영상을 후술할 프로세서(140)에 송신하도록 더 구성될 수도 있다. 나아가, 내시경 영상 촬영부(110)는 외부로부터 내시경 영상을 수신할 수 있는 수신부의 기능을 수행할 수도 있다. 한편, 내시경 영상 촬영부(110)를 통해 획득된 내시경 영상은, 다양한 위의 부위를 포함할 수 있다.Meanwhile, the endoscope image acquired by the endoscope image capturing unit 110 may be an RGB color image. The endoscopic image capturing unit 110 may be further configured to transmit the captured endoscopic image to the processor 140 to be described later. Furthermore, the endoscope image capturing unit 110 may perform a function of a receiver capable of receiving an endoscope image from the outside. Meanwhile, the endoscopic image acquired through the endoscopic image capturing unit 110 may include various upper portions.

예를 들어, 내시경 영상은, 식도와 가까운 위의 분문부, 위의 분문부 옆의 위 기저부, 및 위 몸체부의 상단이 위치하는 위 상단부를 포함할 수 있다. 나아가, 내시경 영상은, 소장 옆의 위 유문부, 위 전정부가 위치하는 위 하단부를 포함할 수 있다. 또한, 위의 부위는, 상기 위 상단부 및 위 하단부 사이의 몸체부가 위치하는, 위 중간부를 더 포함할 수 있다.For example, the endoscopic image may include a cardiac portion of the stomach close to the esophagus, a base of the stomach next to the cardiac portion of the stomach, and an upper end portion of the stomach where the upper end of the stomach body portion is located. Further, the endoscopic image may include a gastric pyloric part next to the small intestine, and an upper lower part where the gastric anterior part is located. In addition, the upper portion may further include an upper middle portion, in which a body portion between the upper upper portion and the upper lower portion is located.

나아가, 내시경 영상은, 위의 부위에 따라 미리 결정된 랜드마크를 더 포함할 수 있다. Furthermore, the endoscopic image may further include a landmark predetermined according to the above portion.

입력부(120)는 위의 부위 예측용 디바이스(100)를 설정하고, 전술한 내시경 영상 촬영부(110)의 동작을 지시할 수 있다. 예를 들어, 사용자는 입력부(120)를 통해, 원하는 스틸컷을 획득하도록 내시경 영상 촬영부(110)의 동작을 지시할 수 있다. 한편, 입력부(120)는 내시경 영상 촬영부(110)와 직접적으로 연결되어 조작하도록 레버가 구비된 스틱 형태를 가질 수 있으나, 이에 제한되지 않고, 키보드, 마우스, 터치 스크린 패널일 수 있다.The input unit 120 may set the device 100 for predicting the above region and instruct the operation of the above-described endoscope image capturing unit 110. For example, the user may instruct the operation of the endoscope image capturing unit 110 to obtain a desired still cut through the input unit 120. Meanwhile, the input unit 120 may have a stick shape provided with a lever to be directly connected to and manipulated the endoscope image capturing unit 110, but is not limited thereto, and may be a keyboard, a mouse, and a touch screen panel.

한편, 출력부(130)는 내시경 영상 촬영부(110)로부터 획득된 내시경 영상을 시각적으로 표시할 수 있다. 나아가, 출력부(130)는 프로세서(140)에 의해 내시경 영상 내에서 결정된 랜드마크, 위의 부위에 대한 정보, 나아가 병소 부위에 대한 위치 정보를 시각적으로 표시하도록 구성될 수 있다. Meanwhile, the output unit 130 may visually display an endoscope image obtained from the endoscope image capturing unit 110. Furthermore, the output unit 130 may be configured to visually display a landmark determined by the processor 140 in the endoscopic image, information on an upper region, and further location information on a lesion region.

프로세서(140)는 위의 부위 예측용 디바이스(110)에 대하여 정확한 예측 결과를 제공하기 위한 구성 요소일 수 있다. 이때, 프로세서(140)는, 내시경 영상에 대하여 위의 부위를 확률적으로 예측하고 위의 부위를 예측하는 처리 중에 관심도가 높은 영역을 결정하도록 구성된 예측 모델을 이용하도록 구성될 수 있다. 특히, 프로세서(140)는 위의 부위의 분류 오차 및 랜드마크의 위치에 대한 오차를 줄이도록 학습하여 높은 영상 분류 능력을 갖는 예측 모델에 기초할 수 있다. The processor 140 may be a component for providing an accurate prediction result with respect to the device for region prediction 110 above. In this case, the processor 140 may be configured to use a prediction model configured to probabilistically predict an upper portion of the endoscopic image and determine an area of high interest during the process of predicting the upper portion. In particular, the processor 140 may learn to reduce the classification error of the above portion and the error of the position of the landmark, and may be based on a predictive model having high image classification capability.

예를 들어, 프로세서(140)는 개체에 대한 내시경 영상에 대한 위의 부위를 확률적으로 분류하고, 위의 부위를 예측하는 처리 중에 관심도가 높은 영역을 결정하도록 구성된 예측 모델을 이용할 수 있다. 이때, 예측 모델은, 미리 결정된 정답에 대한 위의 부위 분류 오차 및, 미리 결정된 정답 랜드마크 영역에 대한 관심도가 높은 영역의 위치 오차를 줄이도록 학습한 모델일 수 있다. For example, the processor 140 may use a prediction model configured to probabilistically classify an upper portion of an endoscopic image of an object and determine an area of high interest during a process of predicting the upper portion. In this case, the prediction model may be a model that is trained to reduce an above-described region classification error for a predetermined correct answer and a position error of a region having a high interest in the predetermined correct answer landmark region.

한편 프로세서(140)는, 영상을 기초로 학습되는 다양한 학습 모델에 기초할 수 있다. 예를 들어, 본 발명의 다양한 실시예에서 이용되는 예측 모델들은 VGG-16, DCNN, ResNet, DNN, CNN, RNN, RBM, DBN, SSD 모델 또는 U-net을 기반으로 하는 예측 모델일 수 있으나, 이에 제한되는 것은 아니다. Meanwhile, the processor 140 may be based on various learning models that are learned based on an image. For example, prediction models used in various embodiments of the present invention may be prediction models based on VGG-16, DCNN, ResNet, DNN, CNN, RNN, RBM, DBN, SSD model, or U-net, It is not limited thereto.

저장부(150)는 내시경 영상 촬영부(110)를 통해 획득한 개체에 대한 내시경 영상을 저장하고, 입력부(120)를 통해 설정된 위의 부위 예측용 디바이스(100)의 지시를 저장하도록 구성될 수 있다. 나아가, 저장부(150)는 프로세서(140)에 의해 분류 또는, 예측된 결과들, 나아가 프로세서(140)에 의해 결정된 주요 관심 영역을 저장하도록 구성된다. 그러나, 전술한 것에 제한되지 않고 저장부(150)는, 위의 부위를 예측하고, 위 내시경 영상을 분류하기 위해 프로세서(140)에 의해 결정된 다양한 정보들을 저장할 수 있다.The storage unit 150 may be configured to store an endoscope image of an object acquired through the endoscope image capturing unit 110, and to store an instruction of the device 100 for predicting the above region set through the input unit 120. have. Further, the storage unit 150 is configured to store the classified or predicted results by the processor 140, and further, the main region of interest determined by the processor 140. However, it is not limited to the above, and the storage unit 150 may store various pieces of information determined by the processor 140 in order to predict the stomach region and classify the stomach endoscopic image.

이하에서는, 도 2를 참조하여, 본 발명의 일 실시예에 따른 위의 부위 예측 방법을 구체적으로 설명한다. 도 2는 본 발명의 일 실시예에 따른 위의 부위 예측 방법의 절차를 도시한 것이다. Hereinafter, a method for predicting the above region according to an embodiment of the present invention will be described in detail with reference to FIG. 2. 2 is a diagram illustrating a procedure of the above region prediction method according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 조기 위암의 예측 절차는 다음과 같다. 먼저, 개체에 대한 위 내시경 영상을 수신한다(S210). 그 다음, 위 내시경 영상에 대하여, 위의 부위에 따라 미리 결정된 랜드마크를 예측하도록 구성된 위의 부위 예측 모델을 이용하여, 랜드마크를 예측한다(S220). 다음으로, 랜드마크를 기초로 위 내시경 영상에 대한 위의 부위를 예측하고(S230), 마지막으로, 예측된 결과를 제공한다(S240). 2, a procedure for predicting early gastric cancer according to an embodiment of the present invention is as follows. First, a gastric endoscopic image of an object is received (S210). Then, with respect to the gastroscopy image, a landmark is predicted using an upper region prediction model configured to predict a landmark predetermined according to the upper region (S220). Next, the region of the stomach of the gastroscopy image is predicted based on the landmark (S230), and finally, the predicted result is provided (S240).

보다 구체적으로, 위 내시경 영상을 수신하는 단계(S210)에서 위암 의심 개체에 대한 위 내시경 영상이 수신될 수 있다. 이때, 위 내시경 영상은 RGB 컬러의 영상일 수도 있으나 이에 제한되는 것은 아니다. More specifically, in the step S210 of receiving a gastric endoscopic image, a gastric endoscopic image of a suspected gastric cancer may be received. In this case, the endoscopic image may be an RGB color image, but is not limited thereto.

이때, 본 발명의 일 실시예에 따르면, 위 내시경 영상을 수신하는 단계(S210)에서 복수개의 위 내시경 영상이 수신될 수 있다. 예를 들어, 내시경 영상 촬영부와 같은 영상 진단 장치의 구동에 따라 실시간으로 촬영된 위 내시경 영상이 획득될 수 있음에 따라, 위 내시경 영상을 수신하는 단계(S210)에서 복수개의 위 내시경 영상이 획득될 수 있다. In this case, according to an embodiment of the present invention, in the step S210 of receiving a gastric endoscopic image, a plurality of gastric endoscopic images may be received. For example, as a gastric endoscope image captured in real time can be obtained by driving an image diagnosis device such as an endoscope image capturing unit, a plurality of gastric endoscope images are acquired in the step (S210) of receiving a gastric endoscope image. Can be.

다음으로, 랜드마크를 예측하는 단계(S220)에서, 위의 부위 예측 모델에 의해 위의 부위에 따라 미리 결정된 랜드마크가 예측될 수 있다. Next, in the step of predicting the landmark (S220), a landmark predetermined according to the above region may be predicted by the above region prediction model.

본 발명의 일 실시예에 따르면, 랜드마크를 예측하는 단계(S220)에서, 위 하단부에 대한 랜드마크로서 결정된 위 유문관의 홀이 예측될 수 있다. 또한, 위 상단부에 대한 랜드마크로서 결정된 내시경 스코프가 예측될 수 있다. According to an embodiment of the present invention, in the step of predicting the landmark (S220), the hole of the upper pyloric tube determined as the landmark for the upper lower part may be predicted. In addition, an endoscope scope determined as a landmark for the upper upper part may be predicted.

본 발명의 다른 실시예에 따르면, 랜드마크를 예측하는 단계(S220)에서, 위의 부위 예측 모델에 의해 랜드마크가 확률적으로 예측될 수도 있다. According to another embodiment of the present invention, in the step of predicting the landmark (S220), the landmark may be probabilistically predicted by the above region prediction model.

다음으로, 위의 부위를 예측하는 단계(S230)에서, 랜드마크를 예측하는 단계(S220)의 결과로 예측된 랜드마크에 따른 위 내시경 영상에 대한 위의 부위가 결정될 수 있다.Next, in the step of predicting the upper part (S230), the upper part of the gastroscopy image according to the predicted landmark as a result of the predicting the landmark (S220) may be determined.

본 발명의 일 실시예에 따르면, 위의 부위를 예측하는 단계(S230)에서, 랜드마크를 예측하는 단계(S220)의 결과로 위의 부위 예측 모델에 의해 위 내시경 영상 내에서 홀의 랜드마크가 예측될 경우, 위 내시경 영상이 위 하단부에 대한 영상으로 결정될 수 있다.According to an embodiment of the present invention, in the step of predicting the upper part (S230), as a result of the step of predicting the landmark (S220), the landmark of the hole is predicted in the gastroscopy image by the upper part prediction model. If so, the upper endoscope image may be determined as an image for the lower part of the upper part.

본 발명의 다른 실시예에 따르면, 위의 부위를 예측하는 단계(S230)에서, 랜드마크를 예측하는 단계(S220)의 결과로 위의 부위 예측 모델에 의해 위 내시경 영상 내에서 내시경 스코프의 랜드마크가 예측될 경우, 위 내시경 영상이 위 상단부에 대한 영상으로 결정될 수 있다.According to another embodiment of the present invention, in the step of predicting the upper part (S230), as a result of the step of predicting the landmark (S220), the landmark of the endoscope scope in the gastric endoscopy image is determined by the upper part prediction model. When is predicted, the gastroscopy image may be determined as an image of the upper upper part of the stomach.

본 발명의 또 다른 실시예에 따르면, 위의 부위를 예측하는 단계(S230)에서, 랜드마크를 예측하는 단계(S220)의 결과로 랜드마크가 예측되지 않을 경우, 위 내시경 영상이 위 중간부에 대한 영상으로 결정될 수 있다.According to another embodiment of the present invention, when the landmark is not predicted as a result of the predicting the landmark (S220) in the predicting the upper part (S230), the upper endoscopic image is placed in the middle of the stomach. It can be determined by the video for the

본 발명의 또 다른 실시예에 따르면, 위의 부위를 예측하는 단계(S230)에서, 랜드마크에 대한 확률적 예측 결과에 따라 위의 부위가 예측될 수 있다.According to another embodiment of the present invention, in the step of predicting the above region (S230), the above region may be predicted according to a probabilistic prediction result for the landmark.

예를 들어, 랜드마크를 예측하는 단계(S220)에서, 위 내시경 영상의 특정 영역에 대하여 홀의 랜드마크인 확률이 99 %로 산출된 경우, 상기 위 내시경 영상은 위 하단부에 대한 영상인 확률이 99 %인, 위 하단부 영상으로 결정될 수 있다. For example, in the step of predicting a landmark (S220), when the probability of the landmark of the hole is calculated as 99% for a specific area of the upper endoscope image, the probability that the upper endoscope image is an image of the upper lower part is 99%. It may be determined as a phosphorus, upper and lower image.

마지막으로, 예측된 결과를 제공하는 단계(S240)에서, 위 내시경 영상에 대하여 결정된 위의 부위에 대한 정보가 제공될 수 있다.Finally, in the step of providing the predicted result (S240), information on the portion of the stomach determined for the gastroscopy image may be provided.

본 발명의 일 실시예에 따르면, 예측된 결과를 제공하는 단계(S240)에서, 위 내시경 영상과 함께 예측된 위의 부위에 대한 정보가 함께 제공될 수 있다.According to an embodiment of the present invention, in the step of providing the predicted result (S240), information on the predicted stomach region may be provided together with the gastroscopy image.

본 발명의 다른 실시예에 따르면, 위 내시경 영상 및 상기 위 내시경 영상에 대한 확률적 예측 결과가 제공될 수 있다.According to another embodiment of the present invention, a gastric endoscopic image and a probabilistic prediction result for the gastric endoscopic image may be provided.

예를 들어, 예측된 결과를 제공하는 단계(S240)에서, 위 내시경 영상과 함께 위 내시경 영상에 대한 위 상단부에 대한 영상인 확률, 위 중간부에 대한 영상인 확률, 또는 위 하단부에 대한 영상인 확률이 제공될 수 있다. For example, in the step of providing the predicted result (S240), the probability that the image is for the upper upper part of the upper endoscope image along with the upper endoscope image, the probability that the image is for the middle part of the stomach, or the image for the upper lower part is Probability can be provided.

한편, 본 발명의 일 실시예에 따른 위의 부위를 예측하는 방법에서, 위 내시경 영상 내에서 병변을 예측하는 단계, 및 예측된 위 내시경 영상에 대한 위의 부위 및 예측된 상기 병변을 기초로, 병변에 대한 위치를 결정하는 단계가 더 수행될 수 있다. On the other hand, in the method of predicting the stomach region according to an embodiment of the present invention, based on the predicting a lesion within a gastroscopy image, and the stomach region of the predicted gastroscopy image and the predicted lesion, A further step of determining the location for the lesion may be performed.

이에, 예측된 결과를 제공하는 단계(S240)에서, 병변에 대한 위치가 더 제공될 수 있다. Accordingly, in the step S240 of providing the predicted result, a location for the lesion may be further provided.

이상의 본 발명의 일 실시예에 따른 위의 부위 예측 방법에 의해, 개체로부터 획득된 내시경 영상에 대한 위의 부위의 예측에 따라, 병변이 예측될 경우 이의 위치에 대한 정보 제공이 가능할 수 있다.When a lesion is predicted according to the prediction of the stomach region with respect to an endoscopic image obtained from an individual by the above region prediction method according to an embodiment of the present invention, information on the location thereof may be provided.

이하에서는, 도 3a 및 도 3b를 참조하여 본 발명의 다른 실시예에 따른 위의 부위 예측 방법에 대하여 설명한다. 도 3a는 본 발명의 다른 실시예에 따른 위의 부위 예측 방법의 절차를 도시한 것이다. 도 3b는 본 발명의 다른 실시예에 따른 위의 부위 예측 방법에 의한 내시경 영상에 대한 위의 부위 예측의 절차를 예시적으로 도시한 것이다.Hereinafter, a method for predicting the above region according to another embodiment of the present invention will be described with reference to FIGS. 3A and 3B. 3A is a diagram illustrating a procedure of a method for predicting a region according to another embodiment of the present invention. 3B is an exemplary diagram illustrating a procedure for predicting an upper region for an endoscopic image using the method for predicting an upper region according to another embodiment of the present invention.

도 3a를 참조하면, 본 발명의 일 실시예에 따른 조기 위암의 예측 절차는 다음과 같다. 먼저, 개체에 대한 위 내시경 영상을 수신한다(S310). 그 다음, 위의 부위 예측 모델을 이용하여 위 내시경 영상 내에서 랜드마크를 예측한다(S320). 이때, 위 내시경 영상 내에서의 랜드마크를 예측하는 처리 중에서, 위의 부위 예측 모델의 관심도를 나타내는, 랜드마크 영상이 생성된다(S322). 다음으로, 랜드마크를 기초로 위의 부위를 예측하고(S330), 마지막으로, 예측된 결과를 제공한다(S340). 3A, a procedure for predicting early gastric cancer according to an embodiment of the present invention is as follows. First, a gastric endoscopic image of an object is received (S310). Then, the landmark is predicted in the gastroscopy image using the region prediction model (S320). At this time, during the processing of predicting the landmark in the upper endoscopic image, a landmark image indicating the degree of interest of the upper region prediction model is generated (S322). Next, the upper part is predicted based on the landmark (S330), and finally, the predicted result is provided (S340).

예를 들어, 도 3b를 참조하면, 위 내시경 영상을 수신하는 단계(S310)에서 위암 의심 개체에 대한 위 내시경 영상(312)이 수신될 수 있다. 이때, 위 내시경 영상(312)은 RGB 컬러의 영상일 수도 있으나 이에 제한되는 것은 아니다. For example, referring to FIG. 3B, in step S310 of receiving a gastric endoscopic image, a gastric endoscopic image 312 of a suspected gastric cancer may be received. In this case, the endoscopic image 312 may be an RGB color image, but is not limited thereto.

다음으로, 도 3b를 참조하면, 랜드마크를 예측하는 단계(S320)에서, 위의 부위 예측 모델(322)에, 위 내시경 영상을 수신하는 단계(S310)에서 획득된 위 내시경 영상(312)이 입력될 수 있다. 이때, 위의 부위 예측 모델(322)은 CNN과 같은 복수의 레이어(layer)로 구성되어 입력된 위 내시경 영상(312)에 대한 랜드마크를 예측할 수 있다. 보다 구체적으로, 랜드마크를 예측하는 단계(S320)에서 위의 부위 예측 모델(322)에 위 내시경 영상(312)이 입력되면, 내시경 스코프 또는 홀의 랜드마크가 예측될 수 있다. Next, referring to FIG. 3B, in the step of predicting a landmark (S320), the gastric endoscopic image 312 obtained in the step of receiving a gastroscopy image (S310) in the upper region prediction model 322 Can be entered. In this case, the region prediction model 322 may be configured with a plurality of layers such as CNN to predict a landmark for the input gastroscopy image 312. More specifically, in the step of predicting the landmark (S320), when the gastric endoscope image 312 is input to the upper region prediction model 322, the endoscope scope or the landmark of the hole may be predicted.

한편, 위의 부위 예측 모델(322)은, 위의 부위를 예측하는 처리 중에서 랜드마크로 예측되는 영역을 주요 관심 영역(324)으로 결정할 수 있다.On the other hand, the region prediction model 322 above may determine a region predicted as a landmark in the process of predicting the above region as the main region of interest 324.

이에, 랜드마크 영상을 생성하는 단계(S322)에서, 위 내시경 영상 내에서의 랜드마크를 예측하는 처리 중에서, 위의 부위 예측 모델(322)의 관심도가 높은 주요 관심 영역(324)이 결정될 수 있다. 이때, 주요 관심 영역(324)은, 랜드마크에 대한 영역일 확률이 높을 수 있다. Accordingly, in the step of generating a landmark image (S322), a major region of interest 324 having a high interest of the region prediction model 322 may be determined from among the processing of predicting a landmark in the gastroscopy image. . In this case, the main ROI 324 may have a high probability of being an area for a landmark.

보다 구체적으로, 도 3b를 참조하면, 랜드마크 영상을 생성하는 단계(S322)에서, 랜드마크에 대한 영역으로 예측되는 주요 관심 영역(324)을 포함하는 랜드마크 영상(326)이 생성될 수 있다. More specifically, referring to FIG. 3B, in the step of generating a landmark image (S322), a landmark image 326 including a main ROI 324 predicted as an area for the landmark may be generated. .

한편, 랜드마크를 예측하는 단계(S320)에서, 위의 부위 예측 모델(322)에 의해 랜드마크가 확률적으로 예측될 수도 있다.Meanwhile, in the step of predicting the landmark (S320), the landmark may be probabilistically predicted by the region prediction model 322 above.

예를 들어, 도 3b를 참조하면, 랜드마크를 예측하는 단계(S320)에서, 주요 관심 영역(324)에 대하여 랜드마크인 확률이 산출될 수 있다. 보다 구체적으로, 위 내시경 영상(312)은 홀의 랜드마크인 확률이 99 %이고 스코프의 랜드마크인 확률이 1 %인 것으로 산출될 수 있다. For example, referring to FIG. 3B, in the step of predicting a landmark (S320 ), a probability that the main region of interest 324 is a landmark may be calculated. More specifically, the upper endoscope image 312 may be calculated as having a probability of being a landmark of a hole of 99% and a probability of being a landmark of a scope of 1%.

다음으로, 위의 부위를 예측하는 단계(S330)에서, 예측된 랜드마크에 따라 위 내시경 영상에 대한 위의 부위가 결정될 수 있다.Next, in the step of predicting the stomach region (S330), the stomach region for the stomach endoscopic image may be determined according to the predicted landmark.

예를 들어, 도 3b를 참조하면, 랜드마크를 예측하는 단계(S320)에서, 위 내시경 영상(312)이 99 %의 홀의 랜드마크인 확률을 갖고, 1 %의 스코프의 랜드마크인 확률을 갖는 영상으로 결정되었음에 따라, 위 내시경 영상(312)은 위 하단부에 대한 영상인 확률이 99 %이고, 위 상단부인 확률이 1 %인 영상으로 결정될 수 있다. 즉, 위의 부위를 예측하는 단계(S330)에서, 위 내시경 영상(312)은 가장 높은 확률을 갖는 위 하단부에 대한 영상으로 결정될 수 있다. For example, referring to FIG. 3B, in the step of predicting a landmark (S320), the upper endoscopic image 312 has a probability of being a landmark of a hole of 99%, and an image having a probability of being a landmark of a scope of 1%. As determined, the upper endoscope image 312 may be determined as an image having a probability of being an image of an upper lower portion of 99% and a probability of being an upper portion of an upper portion of 1%. That is, in the step of predicting the upper part (S330), the upper endoscope image 312 may be determined as an image of the upper lower part having the highest probability.

마지막으로, 예측된 결과를 제공하는 단계(S340)에서, 위 내시경 영상에 대하여 결정된 위의 부위에 대한 정보가 제공될 수 있다.Finally, in the step of providing the predicted result (S340), information on the portion of the stomach determined for the gastroscopy image may be provided.

예를 들어, 도 3b를 참조하면, 예측된 결과를 제공하는 단계(S340)에서, 위 하단부로 결정된 영상(342)과 함께 위의 부위에 대하여 확률적으로 예측된 정보, 보다 구체적으로, 위 하단부로 결정된 영상(342)에 대한 위 하단부일 확률, 위 상단부일 확률 및 위 중간부일 확률이 함께 제공될 수 있다.For example, referring to FIG. 3B, in the step of providing the predicted result (S340), information that is probabilistically predicted for the upper region together with the image 342 determined as the upper lower part, more specifically, the upper lower part For the image 342 determined as, a probability of an upper and lower portion, a probability of an upper upper portion, and a probability of an upper middle portion may be provided together.

또한, 예측된 결과를 제공하는 단계(S340)에서, 전술한 랜드마크 영상을 생성하는 단계(S322)에서 생성된 랜드마크 영상(326)이 함께 제공될 수 있다.In addition, in the step S340 of providing the predicted result, the landmark image 326 generated in the step S322 of generating the landmark image described above may be provided together.

이상의 본 발명의 다른 실시예에 따른 위의 부위 예측 방법에 의해, 개체로부터 획득된 내시경 영상에 대한 위의 부위의 예측에 따라, 내시경 영상에 대한 다양한 정보를 제공할 수 있다.By the above region prediction method according to another embodiment of the present invention, various information on an endoscopic image may be provided according to prediction of the above region with respect to an endoscopic image obtained from an individual.

이하에서는, 도 4a 내지 도 4d를 참조하여, 본 발명의 다양한 실시예에서 이용되는 위의 부위 예측 모델의 학습 방법을 설명한다. 도 4a 내지 4c는 본 발명의 다양한 실시예에 이용되는 위의 부위 예측 모델의 학습용 내시경 영상 데이터를 도시한 것이다. 도 4d는 본 발명의 다양한 실시예에 이용되는 위의 부위 예측 모델의 구성을 예시적으로 도시한 것이다.Hereinafter, a learning method of the above region prediction model used in various embodiments of the present invention will be described with reference to FIGS. 4A to 4D. 4A to 4C illustrate endoscopic image data for training of the above region prediction model used in various embodiments of the present invention. 4D is an exemplary diagram illustrating the configuration of the above region prediction model used in various embodiments of the present invention.

이때, 학습용 내시경 영상은, 개체에 대하여 촬영된 위 상단부, 위 하단부 또는, 위 벽의 위 중간부를 포함하는 내시경 영상으로 구성될 수 있다. In this case, the endoscope image for learning may be composed of an endoscope image including an upper upper portion, an upper lower portion, or an upper middle portion of the upper wall photographed with respect to the object.

그러나, 이에 제한되는 것이 아니며, 본 발명의 예측 모델의 학습은, 보다 위 부위에 대한 내시경 영상에 기초하여 수행될 수 있다.However, the present invention is not limited thereto, and the learning of the prediction model of the present invention may be performed based on an endoscopic image of an upper region.

도 4a의 (a)를 참조하면, 본 발명의 위의 부위 예측 모델의 위의 부위 예측의 학습, 검증 및 평가를 위해, 각각 1455 장의 위 하단부(hole)에 대한 내시경 영상, 2059 장의 위 상단부(scope)에 대한 영상 및 3584 장의 위 중간부에 대한 영상으로 구성된, A, B, C, D 및 E의 데이터셋의 학습용 영상이 이용된다.Referring to FIG. 4A(a), for learning, verification, and evaluation of the upper region prediction of the upper region prediction model of the present invention, an endoscopic image of the upper and lower holes of 1455, respectively, the upper upper part of 2059 ( Scope) and the image for the training of the datasets A, B, C, D and E, which consist of the image for the upper middle part of chapter 3584, are used.

도 4a의 (b)를 참조하면, 본 발명의 위의 부위 예측 모델의 학습, 검증 및 평가는 5회의 교차 검증을 통해 수행되었다. 이때, 학습, 검증 및 평가에 이용된 학습용 내시경 영상의 비율은 3:1:1이 되도록 구성되었다. Referring to (b) of FIG. 4A, training, verification, and evaluation of the above region prediction model of the present invention were performed through five cross-validations. At this time, the ratio of the learning endoscopic image used for learning, verification, and evaluation was configured to be 3:1:1.

도 4b를 참조하면, 학습용 내시경 영상은, 내시경 영상 내의 불 필요한 영역들이 제거되었다. 이에, 불 필요 영역이 제거된 학습용 내시경 영상이 최종적으로 학습 및 실제 위의 부위 예측에 이용되었다. 즉, 본 발명의 위의 부위 예측 모델은, 예측 과정에 있어서 내시경 영상에 대하여 ROI를 설정하고, 핵심 영역만을 포함하도록 크로핑하는 것과 내시경 영상의 확대, 변형과 같은 영상의 전처리 과정이 생략될 수 있다. 그럼에도, 본 발명의 위의 부위 예측 모델은, 위의 부위의 예측 능력이 다른 예측 모델들 보다 우수할 수 있다.Referring to FIG. 4B, in the endoscope image for learning, unnecessary areas in the endoscope image have been removed. Accordingly, the learning endoscopic image from which the unnecessary region was removed was finally used for learning and predicting the actual stomach region. That is, in the region prediction model of the present invention, in the prediction process, the ROI is set for the endoscopic image, cropping to include only the core region, and pre-processing of the image such as enlargement and transformation of the endoscopic image may be omitted. have. Nevertheless, the upper region prediction model of the present invention may have better predictive ability of the upper region than other predictive models.

한편, 본 발명의 다양한 실시예에서 이용되는 위의 부위 예측 모델은, 영상 인식에 적합하고, 예측 처리 중에서 랜드마크 영역에 대한 활성화에 따른 관심도의 정도, 예를 들어 CAM을 제공할 수 있는, VGG-16, DCNN, ResNet 중 선택된 적어도 하나의 모델일 수 있다. 그러나, 본 발명의 예측 모델들은 이에 제한되지 않고 보다 다양한 알고리즘에 기초할 수 있다. On the other hand, the above region prediction model used in various embodiments of the present invention is suitable for image recognition and can provide a degree of interest according to activation of a landmark region during prediction processing, for example, VGG. It may be at least one model selected from -16, DCNN, and ResNet. However, the prediction models of the present invention are not limited thereto and may be based on more various algorithms.

도 4c의 (a)를 참조하면, 위 하단부의 예측을 위한 학습용 내시경 영상은, 위 유문관의 홀에 대하여 마스크가 형성된 영상일 수 있다. 도 4c의 (b)를 참조하면, 위 상단부의 예측을 위한 학습용 내시경 영상은, 내시경 스코프에 마스크가 형성된 영상일 수 있다. 도 4c의 (c)를 참조하면, 위 중간부의 예측을 위한 학습용 내시경 영상은, 마스크가 형성되지 않은 영상일 수 있다.Referring to (a) of FIG. 4C, the learning endoscopic image for prediction of the upper lower part may be an image in which a mask is formed for the hole of the upper pylorus. Referring to (b) of FIG. 4C, the learning endoscopic image for prediction of the upper upper part may be an image in which a mask is formed in the endoscope scope. Referring to (c) of FIG. 4C, the learning endoscopic image for prediction of the upper middle portion may be an image in which a mask is not formed.

도 4d를 참조하면, VGG-16에 기초한 위의 부위 예측 모델이 예시적으로 개시된다. 보다 구체적으로, VGG-16에 기초한 예측 모델은, 컨볼루션(convolution) + ReLU(Rectifier Linear Unit)으로 구성된 레이어, 지역적 최대값을 뽑아 특징으로 사용하는 맥스 풀링(max pooling) 레이어, 완전 연결(fully connected layer) 레이어 및 최종적으로 내시경 영상에 대한 위의 부위를 분류하는 소프트맥스(softmax) 레이어의 복수의 층으로 구성될 수 있다. Referring to FIG. 4D, the above region prediction model based on VGG-16 is exemplarily disclosed. More specifically, the prediction model based on VGG-16 is a layer consisting of convolution + ReLU (Rectifier Linear Unit), a max pooling layer that is used as a feature by extracting a local maximum value, and a fully connected layer. connected layer) layer and finally a softmax layer for classifying the upper portion of the endoscopic image.

보다 구체적으로, 위의 부위 예측 모델은, 위의 부위 예측 모델에 위의 부위에 따른 정답 랜드마크 영역(414)이 결정된, 224 x 224 픽셀의 학습용 내시경 영상(412)이 입력되면, 다층의 신경망 구조에 의해 위 상단부, 위 중간부 또는 위 하단부의 3 클래스로 영상을 분류하도록 구성될 수 있다. More specifically, in the above region prediction model, when a 224 x 224 pixel training endoscope image 412 in which the correct answer landmark region 414 according to the above region is determined is input to the above region prediction model, a multilayer neural network It can be configured to classify images into three classes of an upper upper part, an upper middle part, or an upper lower part by structure.

이때, 위의 부위 예측 모델은, 위의 부위의 예측 처리 중에서, 보다 구체적으로 굵은 선으로 표시된 마지막 컨볼루션 + ReLU 레이어에서, 랜드마크의 예측의 활성화에 따른 관심도의 정도를 나타내는 랜드마크 영상(422)을 생성할 수 있다. 이때, 랜드마크 영상(422)은 위의 부위 예측 모델에 의해 결정된 관심도가 높은 주요 관심 영역(424)을 포함할 수 있는데, 주요 관심 영역(424)은 랜드마크의 활성화 정도에 따라 0 내지 1사이의 값을 가지도록 정규화될 수 있다. At this time, the above region prediction model is a landmark image 422 indicating the degree of interest due to activation of the landmark prediction in the last convolution + ReLU layer, more specifically indicated by a thick line, among the prediction processing of the above region. ) Can be created. At this time, the landmark image 422 may include a main region of interest 424 with a high degree of interest determined by the above region prediction model, and the main region of interest 424 is between 0 and 1 depending on the degree of activation of the landmark. Can be normalized to have a value of.

이때, 학습용 내시경 영상(412)은, 랜드마크 영상(422)에 대하여 위의 부위 예측 모델에 의해 결정된 관심도가 높은 주요 관심 영역(424)과 실제 정답 랜드마크 영역(414)의 중첩된 정도에 따라 랜드마크에 대한 활성화 정도가 평가될 수 있다.At this time, the learning endoscopy image 412 is based on the degree of overlapping of the landmark image 422 with the main interest region 424 having a high degree of interest determined by the above region prediction model and the actual correct answer landmark region 414. The degree of activation for landmarks can be evaluated.

보다 구체적으로, 본 발명의 위의 부위 예측 모델은, 컨볼루션 + ReLU 레이어에서 학습용 내시경 영상(412)에서 미리 결정된 정답 랜드마크 영역(414)에 대한 주요 관심 영역(424)의 위치 오차를 산출하여, 랜드마크에 대한 활성화 정도를 평가할 수 있다. More specifically, the above region prediction model of the present invention calculates the position error of the main region of interest 424 with respect to the landmark region 414 for the correct answer predetermined in the learning endoscopic image 412 in the convolution + ReLU layer. , You can evaluate the degree of activation for landmarks.

이때, 위치 오차는, 하기 [수학식 1]에 의해 산출될 수 있다.At this time, the position error may be calculated by the following [Equation 1].

[수학식 1][Equation 1]

Figure 112018123462405-pat00007
Figure 112018123462405-pat00007

여기서, GT는 정답 랜드마크 영역의 픽셀이고, GC는 주요 관심 영역의 픽셀이고, |GT ∩ GC|는 정답 랜드마크 영역 및 주요 관심 영역의 중첩 픽셀 수이고, |GT ∪ GC|는 정답 랜드마크 영역 및 주요 관심 영역의 전체 픽셀 수이다.Here, GT is the pixel of the landmark area of the correct answer, GC is the pixel of the main area of interest, and | GT ∩ GC | is the number of overlapping pixels in the correct answer landmark area and main interest area, and | GT ∪ GC | is the total number of pixels in the correct answer landmark area and main interest area.

한편, 본 발명의 위의 부위 예측 모델은, 위의 부위 예측의 마지막 단계, 보다 구체적으로 마지막 소프트맥스 레이어에서 학습용 내시경 영상(412)에 대하여 미리 결정된 위의 부위에 대한, 위의 부위 예측 모델의 위의 부위의 분류 오차를 산출하고, 전술한 위치 오차 및 분류 오차를 줄이면서 학습하도록 구성될 수 있다. On the other hand, the above region prediction model of the present invention is the final step of the above region prediction, more specifically, the above region prediction model for the region of the stomach predetermined for the learning endoscopic image 412 in the last softmax layer. It may be configured to calculate the classification error of the above portion and learn while reducing the above-described position error and classification error.

이때, 위의 부위의 분류 오차는 하기 [수학식 2]에 의해 산출될 수 있다.At this time, the classification error of the above portion may be calculated by the following [Equation 2].

[수학식 2][Equation 2]

Figure 112018123462405-pat00008
Figure 112018123462405-pat00008

여기서, k는 미리 결정된 위의 부위의 종류이고, t k 는 미리 결정된 위의 부위에 대한 레이블이고, y k 는 위의 부위 예측 모델에 의한 출력값이다.Here, k is a predetermined type of the upper region, t k is a label for the predetermined upper region, and y k is an output value by the upper region prediction model.

즉, 본 발명의 위의 부위 예측 모델은, 예측된 위의 부위의 분류 오차 및 관심 영역의 위치 오차를 합산한, 전체 오차를 줄이면서 학습하도록 구성됨에 따라, 위의 부위 분류뿐만 아니라 랜드마크의 위치를 학습하여 영상 분류 능력이 향상된 모델일 수 있다.That is, the above region prediction model of the present invention is configured to learn while reducing the total error, which is a sum of the predicted classification error of the above region and the position error of the region of interest. It may be a model with improved image classification capability by learning a location.

이때, 전체 오차는 [수학식 3]에 의해 산출될 수 있다.In this case, the total error can be calculated by [Equation 3].

[수학식 3][Equation 3]

Figure 112018123462405-pat00009
Figure 112018123462405-pat00009

여기서, E cls 는 위의 부위의 분류 오차고, E loc 는 위치 오차이고, α는 가중치이다. 즉, α가 0.5일 경우, 예측된 위의 부위의 분류 오차 및 주요 관심 영역의 오차의 가중치가 동일하게 적용될 수 있다. Here, E cls is the classification error of the above region, E loc is the position error, and α is the weight. That is, when α is 0.5, the weight of the predicted classification error of the above region and the error of the main ROI may be equally applied.

이에, 본 발명의 위의 부위 예측 모델은, 위의 부위 분류와 같은 결과값의 오차만을 줄이면서 학습하도록 구성된 예측 모델보다, 위의 부위 예측 능력이 우수할 수 있다. Accordingly, the above region prediction model of the present invention may be superior to a prediction model configured to learn while only reducing an error of a result value such as the above region classification.

한편, 본 발명의 다양한 실시예에 이용되는 위의 부위 예측 모델의 구성 및 이의 학습 방법은 전술한 것에 제한되는 것이 아니다.Meanwhile, the configuration of the region prediction model and a learning method thereof used in various embodiments of the present invention are not limited to those described above.

실시예: 본 발명의 위의 부위 예측 모델의 평가Example: Evaluation of the stomach region prediction model of the present invention

이하의 실시예에서는, 도 5a 내지 도 5i를 참조하여 본 발명의 다양한 실시예에 이용되는 랜드마크 중심의 학습을 수행한 위의 부위 예측 모델의 평가 결과를 설명한다. 이때, 예측 모델로서 VGG-16가 이용되었다. 나아가, 위의 부위 예측 모델은 입력된 내시경 영상에 대하여, 위 상단부, 위 하단부 및 위 중간부의 3 클래스로 분류하도록 구성되었다. In the following embodiments, an evaluation result of the above region prediction model that performs landmark-oriented learning used in various embodiments of the present invention will be described with reference to FIGS. 5A to 5I. At this time, VGG-16 was used as a prediction model. Furthermore, the upper region prediction model was configured to classify the input endoscopic image into three classes: the upper upper part, the upper lower part, and the upper middle part.

이때, 3 클래스의 위의 부위 예측에 대한 평가를 위해, 220 장의 위 상단부 영상, 220 장의 위 하단부 영상 및 220 장의 위 중간부 영상이 이용되었고, 총 5 번의 평가가 수행되었다. At this time, to evaluate the prediction of the upper part of the 3 classes, 220 images of the upper upper part, 220 images of the upper lower part, and 220 images of the upper middle part were used, and a total of 5 evaluations were performed.

도 5a 내지 도 5i는 본 발명의 다양한 실시예에 이용되는 위의 부위 예측 모델에 대한 평가 결과를 비교하여 도시한 것이다.5A to 5I are views comparing evaluation results of the above region prediction models used in various embodiments of the present invention.

먼저, 도 5a, 및 도 5b의 (a) 및 (b)를 참조하면, 본 발명의 랜드마크 중심의 학습 방법에 기초한 VGG-16 모델(본 발명의 위의 부위 예측 모델) 에 대한 위의 부위 예측 평가 결과가 도시된다.First, referring to FIGS. 5A and 5B (a) and (b), the upper region for the VGG-16 model (the upper region prediction model of the present invention) based on the landmark-oriented learning method of the present invention The predictive evaluation results are shown.

본 평가 결과를 참조하면, 본 발명의 위의 부위 예측 모델은, 위 하단부에 대하여 0.950의 검출률(Recall, RCL), 0.980의 정확도(Precision, PRC) 및 0.965의 F-1 점수(F1)를 갖는 것으로 나타난다. 나아가, 본 발명의 위의 부위 예측 모델은 위 상단부에 대하여 0.979의 검출률, 0.977의 정확도 및 0.978의 F-1 점수를 갖는 것으로 나타난다. 또한, 본 발명의 위의 부위 예측 모델은 위 중간부에 대하여 0.962의 검출률, 0.935의 정확도 및 0.948의 F-1 점수를 갖는 것으로 나타난다.Referring to the evaluation result, the upper region prediction model of the present invention has a detection rate of 0.950 (Recall, RCL), an accuracy of 0.980 (Precision, PRC) and an F-1 score (F1) of 0.965 for the upper lower part. Appears to be. Furthermore, the upper region prediction model of the present invention appears to have a detection rate of 0.979, an accuracy of 0.977, and an F-1 score of 0.978 for the upper upper part of the stomach. In addition, the stomach region prediction model of the present invention appears to have a detection rate of 0.962, an accuracy of 0.935, and an F-1 score of 0.948 with respect to the middle part of the stomach.

즉, 본 발명의 위의 부위 예측 모델은, 높은 검출률, 정확도 및 F1 점수로, 위의 부위를 예측 하는 것으로 나타난다. 특히, 본 발명의 위의 부위 예측 모델은, 랜드마크 중심의 학습에 따라, 미리 결정된 랜드마크가 각각 존재하는 위 하단부 및 위 상단부에 대하여 보다 정확하고 정밀도 높은 분류가 가능할 수 있다.That is, the above region prediction model of the present invention appears to predict the above region with a high detection rate, accuracy, and F1 score. In particular, the upper region prediction model of the present invention may be able to classify more accurately and with high precision with respect to the upper lower part and the upper upper part in which predetermined landmarks exist, respectively, according to landmark-centered learning.

도 5c를 더 참조하면, 본 발명의 위의 부위 예측 모델에 의한 위 하단부(hole)의 예측에 대한 AUC값은 0.99로 나타나고, 위 상단부(scope)의 예측에 대한 AUC값은 1.00으로 나타난다. 나아가, 위 중간부(middle)의 예측에 대한 AUC값은 0.99로 나타난다. Referring further to FIG. 5C, the AUC value for the prediction of the upper hole by the upper region prediction model of the present invention is 0.99, and the AUC value for the prediction of the upper scope is 1.00. Furthermore, the AUC value for the prediction of the upper middle is 0.99.

이와 같은 결과는, 위의 부위를 예측하는 것에 있어서, 본 발명의 랜드마크 중심의 학습 방법에 기초한 위의 부위 예측 모델이 높은 예측 능력을 가지는 것을 의미할 수 있다. Such a result may mean that, in predicting the above region, the above region prediction model based on the landmark-oriented learning method of the present invention has a high predictive ability.

도 5d를 참조하면, 본 발명의 위의 부위 예측 모델에 의해 홀의 랜드마크가 예측되었음에 따라, 위 하단부로 분류된 내시경 영상이 도시된다. 이때, 위 하단부로 분류된 내시경 영상은, 위 하단부에 대한 랜드마크로서 미리 결정된, 홀의 예측에 따라 위 하단부일 확률(H)이 다른 확률(예를 들어, 위 상단부인 확률(S) 또는 위 중간부일 확률(M))보다 높은 영상일 수 있다. Referring to FIG. 5D, as the landmark of the hole is predicted by the upper region prediction model of the present invention, an endoscopic image classified as an upper lower part is shown. At this time, the endoscopic image classified as the upper and lower parts is a landmark for the upper and lower parts, and the probability (H) of the upper and lower parts is different according to the prediction of the hole (for example, the probability that the upper and lower parts are (S) or the upper middle It may be an image higher than the negative probability (M)).

도 5e를 함께 참조하면, 본 발명의 위의 부위 예측 모델은 위의 부위 예측 처리에 따라 영상 내에서 흰색 선으로 표시된 실제 홀의 랜드마크가 존재하는 영역인 정답 랜드마크 영역과 유사한 영역에서 관심도(활성화 정도)가 높아지는 것으로 나타난다. Referring also to FIG. 5E, the above region prediction model of the present invention has a degree of interest (activation) in a region similar to the correct answer landmark region, which is the region where the landmark of the real hole indicated by a white line in the image exists according to the region prediction process above. Degree) appears to increase.

즉, 랜드마크 중심의 학습 방법에 기초한 본 발명의 위의 부위 예측 모델은, 내시경 영상에 대하여, 위 상단부, 위 하단부 또는 위 중간부의 위의 부위를 예측하고 분류하는 능력이 우수할 수 있다. 특히, 본 발명의 위의 부위 예측 모델에 의해 주요 관심 영역으로 결정된 영역은, 실제 랜드마크가 존재하는 영역일 확률이 높을 수 있다.That is, the upper region prediction model of the present invention based on a landmark-centered learning method may have excellent ability to predict and classify the upper region of the upper upper part, the upper lower part, or the upper middle part with respect to an endoscopic image. In particular, the area determined as the main region of interest by the above region prediction model of the present invention may have a high probability that the actual landmark exists.

도 5f를 참조하면, 본 발명의 위의 부위 예측 모델에 의해 내시경 스코프의 랜드마크가 예측되었음에 따라, 위 상단부로 분류된 내시경 영상이 도시된다. 이때, 위 상단부로 분류된 내시경 영상은, 위 상단부에 대한 랜드마크로서 미리 결정된, 내시경 스코프의 예측에 따라 위 상단부일 확률(S)이 다른 확률(예를 들어, 위 하단부일 확률(H) 또는 위 중간부일 확률(M))보다 높은 영상일 수 있다. Referring to FIG. 5F, as the landmark of the endoscope scope is predicted by the upper region prediction model of the present invention, an endoscopic image classified as the upper upper part is shown. At this time, the endoscopic image classified as the upper upper part has a different probability (e.g., the upper and lower part probability (H)) according to the prediction of the endoscope scope, which is predetermined as a landmark for the upper upper part. It may be an image that is higher than the probability (M) of the upper middle part.

도 5g를 함께 참조하면, 본 발명의 위의 부위 예측 모델은 위의 부위 예측 처리에 따라 영상 내에서 흰색 선으로 표시된 실제 스코프의 랜드마크가 존재하는 영역인 정답 랜드마크 영역과 유사한 영역에서 관심도(활성화 정도)가 높아지는 것으로 나타난다. 5G, the above region prediction model of the present invention has a degree of interest in a region similar to the correct answer landmark region, which is an region in which the landmark of an actual scope, indicated by a white line, exists in the image according to the above region prediction processing. The degree of activation) appears to increase.

즉, 랜드마크 중심의 학습 방법에 기초한 본 발명의 위의 부위 예측 모델은, 내시경 영상에 대하여, 위 상단부, 위 하단부 또는 위 중간부의 위의 부위를 예측하고 분류하는 능력이 우수할 수 있다. 특히, 본 발명의 위의 부위 예측 모델에 의해 주요 관심 영역으로 결정된 영역은, 실제 랜드마크가 존재하는 영역일 확률이 높을 수 있다.That is, the upper region prediction model of the present invention based on a landmark-centered learning method may have excellent ability to predict and classify the upper region of the upper upper part, the upper lower part, or the upper middle part with respect to an endoscopic image. In particular, the area determined as the main region of interest by the above region prediction model of the present invention may have a high probability that the actual landmark exists.

도 5h를 참조하면, 본 발명의 위의 부위 예측 모델에 의해 내시경 스코프의 랜드마크가 예측되지 않았음에 따라, 위 중간부로 분류된 내시경 영상이 도시된다. 이때, 위 중간부로 분류된 내시경 영상은, 위 중간부일 확률(M)이 다른 확률(예를 들어, 위 상단부일 확률(S) 또는 위 하단부일 확률(H))보다 높은 영상일 수 있다. Referring to FIG. 5H, since the landmark of the endoscope scope is not predicted by the upper region prediction model of the present invention, an endoscopic image classified as an upper middle portion is shown. In this case, the endoscopic image classified as the upper middle portion may be an image having a higher probability of being the upper middle portion (M) than another probability (for example, the probability that the upper portion is the upper portion (S) or the probability that the upper portion is the lower portion (H)).

도 5i를 함께 참조하면, 본 발명의 위의 부위 예측 모델은 실제 위 중간부의 내시경 영상의 일부 영역에 대하여 관심도(활성화 정도)가 높아지는 것으로 나타난다. 그러나, 위의 부위 예측 모델은, 상기 위 내시경 영상을 정확하게 위 중간부로 예측한 것으로 나타난다.Referring also to FIG. 5I, in the upper region prediction model of the present invention, it appears that the degree of interest (the degree of activation) increases with respect to a partial region of an endoscopic image of an actual upper middle portion. However, the above region prediction model appears to accurately predict the gastric endoscopic image to the middle of the stomach.

즉, 랜드마크 중심의 학습 방법에 기초한 본 발명의 위의 부위 예측 모델은, 내시경 영상에 대하여, 위 상단부, 위 하단부 또는 위 중간부의 위의 부위를 예측하고 분류하는 능력이 우수할 수 있다. 특히, 본 발명의 위의 부위 예측 모델에 의해 주요 관심 영역으로 결정된 영역은, 실제 랜드마크가 존재하는 영역일 확률이 높을 수 있다.That is, the upper region prediction model of the present invention based on a landmark-centered learning method may have excellent ability to predict and classify the upper region of the upper upper part, the upper lower part, or the upper middle part with respect to an endoscopic image. In particular, the area determined as the main region of interest by the above region prediction model of the present invention may have a high probability that the actual landmark exists.

이상의 실시예의 결과로, 위의 부위의 분류 오차 및 랜드마크 위치 오차를 줄이면서 학습하도록 구성된 위의 부위 예측 모델에 기초한 본 발명의 다양한 실시예에 따른 위의 부위 예측 방법 및 이를 이용한 디바이스는, 높은 정확도로 내시경 영상에 대하여 위의 부위를 예측하고, 이에 따라 영상을 분류할 수 있다.As a result of the above embodiments, the above region prediction method according to various embodiments of the present invention and a device using the same based on the above region prediction model configured to learn while reducing the classification error of the above region and the landmark position error, It is possible to predict the above part of the endoscopic image with accuracy and classify the image accordingly.

보다 구체적으로, 본 발명의 다양한 실시예에 이용되는 위의 부위 예측 모델은, 실제 랜드마크가 존재하는 랜드마크 영역에 대하여 높은 관심도를 갖는 것으로 나타난다. 즉, 내시경 영상 내에서 활성화가 높은 주요 관심 영역으로 결정된 영역은, 랜드마크가 존재하는 영역일 확률이 높을 수 있다. More specifically, the above region prediction model used in various embodiments of the present invention appears to have a high degree of interest in a landmark region in which an actual landmark exists. That is, the area determined as the main region of interest with high activation in the endoscopic image may have a high probability of being an area in which a landmark exists.

특히, 본 발명은 실제 랜드마크가 존재하는 영역에 대한 예측 모델이 영상을 분류하는 과정에서 위의 부위 예측에 기여하는 관심 영역과 정답 랜드마크 영역 사이의 위치 오차를, 예측 모델의 학습에 반영함에 따라, 영상 분류의 기능이 향상된 진단 시스템을 제공할 수 있는 효과가 있다.In particular, the present invention reflects the positional error between the region of interest and the correct answer landmark region that contributes to the above region prediction in the process of classifying the image by the prediction model for the region where the actual landmark exists in the learning of the predictive model. Accordingly, there is an effect of providing a diagnostic system with an improved image classification function.

즉, 본 발명은, 내시경 영상에 대하여 위의 부위를 정확하게 예측함으로써 병변 발견 시 이의 위치, 즉 병소 부위에 대한 정확한 정보를 제공할 수 있는 효과가 있다.That is, the present invention has the effect of providing accurate information on the location of the lesion, that is, the location of the lesion, when a lesion is detected by accurately predicting the area of the stomach with respect to an endoscopic image.

이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Although the embodiments of the present invention have been described in more detail with reference to the accompanying drawings, the present invention is not necessarily limited to these embodiments, and various modifications may be made without departing from the spirit of the present invention. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain the technical idea, and the scope of the technical idea of the present invention is not limited by these embodiments. Therefore, it should be understood that the embodiments described above are illustrative and non-limiting in all respects. The scope of protection of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

100: 위의 부위 예측용 디바이스
110: 내시경 촬영부
120: 입력부
130: 출력부
140: 프로세서
150: 저장부
312: 위 내시경 영상
322: 위의 부위 예측 모델
324, 424: 주요 관심 영역
326, 422: 랜드마크 영상
332: 위의 부위 예측 정보
342: 위 하단부로 결정된 영상
412: 학습용 내시경 영상
414: 정답 랜드마크 영역100: device for predicting the above region
110: endoscopic photographing unit
120: input
130: output
140: processor
150: storage unit
312: gastric endoscopy image
322: stomach region prediction model
324, 424: main areas of interest
326, 422: Landmark video
332: prediction information of the above region
342: image determined by the upper and lower parts
412: learning endoscopy image
414: correct answer landmark area

Claims (25)

프로세서에 의해 구현되는 위의 부위 예측 방법으로서,
개체에 대하여 내시경 영상을 수신하는 단계;
상기 내시경 영상을 기초로 위의 부위를 예측하도록 구성된 위의 부위 예측 모델을 이용하여, 상기 내시경 영상에 대한 위의 부위를 예측하는 단계, 및
예측된 상기 위의 부위를 제공하는 단계를 포함하고,
상기 위의 부위 예측 모델은,
상기 내시경 영상 내에서, 상기 위의 부위에 대하여 미리 결정된 랜드마크를 예측하도록 더 구성되고,
상기 위의 부위를 예측하는 단계는,
상기 위의 부위 예측 모델을 이용하여 상기 내시경 영상 내에서 상기 랜드마크를 예측하는 단계, 및
상기 랜드마크를 기초로 상기 위의 부위를 예측하는 단계를 포함하고,
상기 랜드마크는, 위 유문관의 홀(hole), 및 내시경 스코프(scope)이고,
상기 위의 부위는, 위 상단부, 위 중간부 및 위 하단부 중 하나인, 위의 부위 예측 방법.As the above region prediction method implemented by a processor,
Receiving an endoscopic image of the object;
Predicting the stomach region for the endoscopic image using the stomach region prediction model configured to predict the stomach region based on the endoscopic image, and
Including the step of providing the predicted region of the stomach,
The above region prediction model,
In the endoscopic image, it is further configured to predict a predetermined landmark for the above region,
The step of predicting the above region,
Predicting the landmark within the endoscopic image using the above region prediction model, and
Including the step of predicting the above portion based on the landmark,
The landmark is a hole in the upper pyloric tube, and an endoscope scope,
The upper part is one of an upper upper part, an upper middle part, and an upper lower part. 삭제delete 삭제delete 제1항에 있어서,
상기 위의 부위 예측 모델에 의해,
상기 내시경 영상 내에서 상기 홀의 랜드마크가 예측될 경우,
상기 랜드마크를 기초로 상기 위의 부위를 예측하는 단계는,
상기 내시경 영상을 상기 위 하단부에 대한 영상으로 결정하는 단계를 포함하는, 위의 부위 예측 방법.The method of claim 1,
By the above region prediction model,
When the landmark of the hall is predicted in the endoscopic image,
Predicting the above region based on the landmark,
And determining the endoscope image as an image for the upper and lower portions. 제1항에 있어서,
상기 위의 부위 예측 모델에 의해,
상기 내시경 영상 내에서 상기 스코프의 랜드마크가 예측될 경우,
상기 랜드마크를 기초로 상기 위의 부위를 예측하는 단계는,
상기 내시경 영상을 상기 위 상단부에 대한 영상으로 결정하는 단계를 포함하는, 위의 부위 예측 방법.The method of claim 1,
By the above region prediction model,
When the landmark of the scope is predicted within the endoscopic image,
Predicting the above region based on the landmark,
And determining the endoscope image as an image for the upper upper part of the stomach. 제1항에 있어서,
상기 위의 부위 예측 모델에 의해,
상기 내시경 영상 내에서 상기 랜드마크가 예측되지 않을 경우,
상기 랜드마크를 기초로 상기 위의 부위를 예측하는 단계는,
상기 내시경 영상을 상기 위 중간부에 대한 영상으로 결정하는 단계를 포함하는, 위의 부위 예측 방법.The method of claim 1,
By the above region prediction model,
When the landmark is not predicted within the endoscopic image,
Predicting the above region based on the landmark,
And determining the endoscopic image as an image for the middle part of the stomach. 제1항에 있어서,
상기 내시경 영상 내에서 상기 랜드마크를 예측하는 단계는,
상기 위의 부위 예측 모델을 이용하여, 상기 내시경 영상 내에서 상기 랜드마크를 확률적으로 예측하는 단계를 포함하고,
상기 랜드마크를 기초로 상기 위의 부위를 예측하는 단계는,
상기 랜드마크에 대한 확률적 예측 결과를 기초로, 상기 위의 부위를 예측하는 단계를 포함하는, 위의 부위 예측 방법.The method of claim 1,
Predicting the landmark within the endoscopic image,
Including the step of probabilistically predicting the landmark within the endoscopic image by using the above region prediction model,
Predicting the above region based on the landmark,
And predicting the above region based on a probabilistic prediction result for the landmark. 제1항에 있어서,
상기 내시경 영상에 대한 위의 부위를 예측하는 처리 중에서, 위의 부위 예측 모델의 관심도를 나타내는, 관심도 영상을 생성하는 단계를 더 포함하고,
상기 제공하는 단계는,
상기 관심도 영상을 제공하는 단계를 더 포함하는, 위의 부위 예측 방법.The method of claim 1,
In the process of predicting the above region of the endoscopic image, the method further comprises generating an interest degree image representing the degree of interest of the region prediction model,
The providing step,
The method of predicting the above region, further comprising the step of providing the level of interest image. 제8항에 있어서,
상기 관심도 영상은,
상기 위의 부위 예측 모델의 관심도가 주변 영역에 비하여 높은 주요 관심 영역을 포함하고,
상기 위의 부위 예측 모델은,
상기 위의 부위에 대하여 미리 결정된 랜드마크를 예측하고, 상기 랜드마크가 존재하는 정답 랜드마크 영역에 대하여 상기 주요 관심 영역이 높은 수준으로 중첩되도록 학습된 모델이고,
상기 정답 랜드마크 영역을 포함하는 학습용 내시경 영상을 수신하는 단계;
상기 학습용 내시경 영상에 대한 위의 부위를 예측하는 처리 중에서, 상기 주요 관심 영역을 포함하는 관심도 영상을 생성하는 단계;
상기 정답 랜드마크 영역에 대한 상기 주요 관심 영역의 위치 오차를 산출하는 단계, 및
상기 위치 오차를 학습하는 단계를 통해 상기 위치 오차를 줄이도록 학습된 모델인, 위의 부위 예측 방법.The method of claim 8,
The interest level image,
The interest of the region prediction model above includes a major region of interest that is higher than that of the surrounding region,
The above region prediction model,
It is a model that predicts a predetermined landmark with respect to the above region, and the main region of interest overlaps at a high level with respect to the correct answer landmark region in which the landmark exists,
Receiving an endoscope image for learning including the correct answer landmark area;
Generating a degree of interest image including the main region of interest during a process of predicting an upper part of the learning endoscopic image;
Calculating a location error of the main interest area with respect to the correct answer landmark area, and
The above region prediction method, which is a model trained to reduce the position error through the step of learning the position error. 제9항에 있어서,
상기 위치 오차를 산출하는 단계는,
하기 [수학식 1]에 의해 상기 위치 오차를 산출하는 단계를 포함하는, 위의 부위 예측 방법.
[수학식 1]
Figure 112018123462405-pat00010

(여기서, GT는 정답 랜드마크 영역의 픽셀이고, GC는 주요 관심 영역의 픽셀이고, |GT ∩ GC|는 정답 랜드마크 영역 및 주요 관심 영역의 중첩 픽셀 수이고, |GT ∪ GC|는 정답 랜드마크 영역 및 주요 관심 영역의 전체 픽셀 수이다.)The method of claim 9,
The step of calculating the position error,
Comprising the step of calculating the position error by the following [Equation 1], the above region prediction method.
[Equation 1]
Figure 112018123462405-pat00010

(Here, GT is the pixel of the correct landmark area, GC is the pixel of the main region of interest, | GT ∩ GC | is the number of overlapping pixels of the correct landmark area and the main region of interest, and | GT ∪ GC | is the correct landmark This is the total number of pixels in the mark area and the main area of interest.) 제8항에 있어서,
상기 관심도 영상은,
상기 위의 부위 예측 모델의 관심도가 주변 영역에 비하여 높은 주요 관심 영역을 포함하고,
상기 위의 부위 예측 모델은,
상기 내시경 영상에 대한 위의 부위의 분류 오차를 줄이고, 상기 위의 부위에 대하여 미리 결정된 랜드마크를 예측하고, 상기 랜드마크가 존재하는 정답 랜드마크 영역에 대하여 상기 주요 관심 영역이 높은 수준으로 중첩되도록 학습된 모델이고,
상기 위의 부위가 미리 결정되고 상기 정답 랜드마크 영역을 포함하는 학습용 내시경 영상을 수신하는 단계;
상기 학습용 내시경 영상을 기초로 상기 위의 부위를 예측하는 단계;
상기 학습용 내시경 영상에 대한 위의 부위를 예측하는 처리 중에서, 상기 주요 관심 영역을 포함하는 관심도 영상을 생성하는 단계;
상기 학습용 내시경 영상의 미리 결정된 위의 부위에 대한 상기 위의 부위 예측 모델에 의해 예측된 위의 부위의 분류 오차를 산출하는 단계;
상기 정답 랜드마크 영역에 대한 상기 주요 관심 영역의 위치 오차를 산출하는 단계;
상기 위의 부위의 분류 오차 및 상기 위치 오차를 합산하여 전체 오차를 산출하는 단계, 및
상기 전체 오차를 학습하는 단계를 통해 상기 전체 오차를 줄이도록 학습된 모델인, 위의 부위 예측 방법.The method of claim 8,
The interest level image,
The interest of the region prediction model above includes a major region of interest that is higher than that of the surrounding region,
The above region prediction model,
To reduce the classification error of the upper part of the endoscopic image, predict a predetermined landmark for the upper part, and overlap the main region of interest with a correct answer landmark region in which the landmark exists. Is a trained model,
Receiving an endoscopic image for learning in which the above portion is determined in advance and includes the correct answer landmark area;
Predicting the stomach region based on the learning endoscopic image;
Generating a degree of interest image including the main region of interest during a process of predicting an upper part of the learning endoscopic image;
Calculating a classification error of the upper region predicted by the upper region prediction model for a predetermined upper region of the learning endoscopic image;
Calculating a location error of the main ROI with respect to the correct answer landmark area;
Calculating a total error by summing the classification error of the above part and the position error, and
The above region prediction method, which is a model trained to reduce the total error through the learning of the total error. 제11항에 있어서,
상기 위의 부위의 분류 오차를 산출하는 단계는,
하기 [수학식 2]에 의해 상기 위의 부위의 분류 오차를 산출하는 단계를 포함하는, 위의 부위 예측 방법.
[수학식 2]
Figure 112018123462405-pat00011

(여기서, k는 상기 미리 결정된 위의 부위의 종류이고, t k 는 상기 미리 결정된 위의 부위에 대한 레이블이고, y k 는 상기 위의 부위 예측 모델에 의한 출력값이다.)The method of claim 11,
The step of calculating the classification error of the above region,
A method for predicting an upper region comprising the step of calculating a classification error of the upper region by the following [Equation 2].
[Equation 2]
Figure 112018123462405-pat00011

(Here, k is the type of the predetermined upper region, t k is a label for the predetermined upper region, and y k is an output value by the upper region prediction model.) 제11항에 있어서,
상기 전체 오차를 산출하는 단계는,
하기 [수학식 3]에 의해 상기 위의 부위의 분류 오차 및 상기 위치 오차를 합산하는 단계를 포함하는, 위의 부위 예측 방법.
[수학식 3]
Figure 112018123462405-pat00012

(여기서, E cls 는 상기 위의 부위의 분류 오차고, E loc 는 상기 위치 오차이고, α는 가중치이다.)The method of claim 11,
The step of calculating the total error,
A method for predicting the above region, including the step of summing the classification error of the above region and the position error by the following [Equation 3].
[Equation 3]
Figure 112018123462405-pat00012

(Here, E cls is the classification error of the above region, E loc is the position error, and α is the weight.) 제1항에 있어서,
상기 내시경 영상 내에서 병변을 예측하는 단계, 및
예측된 상기 내시경 영상에 대한 상기 위의 부위 및 예측된 상기 병변을 기초로, 상기 병변에 대한 위치를 결정하는 단계를 더 포함하고,
상기 제공하는 단계는,
상기 병변에 대한 위치를 제공하는 단계를 더 포함하는, 위의 부위 예측 방법.The method of claim 1,
Predicting a lesion within the endoscopic image, and
Based on the predicted region of the stomach and the predicted lesion of the endoscopic image, further comprising the step of determining a location for the lesion,
The providing step,
The method of predicting the site of the stomach, further comprising the step of providing a location for the lesion. 프로세서에 의해 구현되는 위의 부위 예측용 디바이스로서,
개체에 대하여 내시경 영상을 수신하도록 구성된 수신부,
및 상기 프로세서를 포함하고,
상기 프로세서는,
상기 내시경 영상을 기초로 위의 부위를 예측하도록 구성된 위의 부위 예측 모델을 이용하여, 상기 내시경 영상에 대한 위의 부위를 예측하고, 예측된 상기 위의 부위를 제공하도록 구성되고,
상기 위의 부위 예측 모델은,
상기 내시경 영상 내에서, 상기 위의 부위에 대하여 미리 결정된 랜드마크를 예측하도록 더 구성되고,
상기 프로세서는,
상기 위의 부위 예측 모델을 이용하여 상기 내시경 영상 내에서 상기 랜드마크를 예측하고, 상기 랜드마크를 기초로 상기 위의 부위를 예측하도록 더 구성되고,
상기 랜드마크는, 위 유문관의 홀, 및 내시경 스코프고,
상기 위의 부위는, 위 상단부, 위 중간부 및 위 하단부 중 하나인, 위의 부위 예측용 디바이스.As a device for predicting the above region implemented by a processor,
A receiving unit configured to receive an endoscopic image for an object,
And the processor,
The processor,
Using the stomach region prediction model configured to predict the stomach region based on the endoscopic image, it is configured to predict the stomach region for the endoscopic image and provide the predicted stomach region,
The above region prediction model,
In the endoscopic image, it is further configured to predict a predetermined landmark for the above region,
The processor,
Predicting the landmark in the endoscopic image using the above region prediction model, and is further configured to predict the above region based on the landmark,
The landmark is the hall of the upper Yumoongwan, and the endoscope scope,
The upper part is one of an upper upper part, an upper middle part, and an upper lower part, a device for predicting an upper part. 삭제delete 삭제delete 제15항에 있어서,
상기 프로세서는,
상기 위의 부위 예측 모델에 의해, 상기 내시경 영상 내에서 상기 홀의 랜드마크가 예측될 경우,
상기 내시경 영상을 상기 위 하단부에 대한 영상으로 결정하도록 더 구성된, 위의 부위 예측용 디바이스.The method of claim 15,
The processor,
When the landmark of the hole is predicted in the endoscopic image by the above region prediction model,
The device for predicting an upper region, further configured to determine the endoscopic image as an image for the upper lower part. 제15항에 있어서,
상기 프로세서는,
상기 위의 부위 예측 모델에 의해, 상기 내시경 영상 내에서 상기 스코프의 랜드마크가 예측될 경우,
상기 내시경 영상을 상기 위 상단부에 대한 영상으로 결정하도록 더 구성된, 위의 부위 예측용 디바이스.The method of claim 15,
The processor,
When the landmark of the scope is predicted in the endoscopic image by the above region prediction model,
The device for predicting a region of the stomach, further configured to determine the endoscopic image as an image of the upper upper part of the stomach. 제15항에 있어서,
상기 프로세서는,
상기 위의 부위 예측 모델에 의해, 상기 내시경 영상 내에서 상기 랜드마크가 예측되지 않을 경우,
상기 내시경 영상을 상기 위 중간부에 대한 영상으로 결정하도록 더 구성된, 위의 부위 예측용 디바이스.The method of claim 15,
The processor,
When the landmark is not predicted in the endoscopic image by the above region prediction model,
The device for predicting a region of the stomach, further configured to determine the endoscopic image as an image of the intermediate part of the stomach. 제15항에 있어서,
상기 프로세서는,
상기 위의 부위 예측 모델을 이용하여, 상기 내시경 영상 내에서 상기 랜드마크를 확률적으로 예측하고, 상기 랜드마크에 대한 확률적 예측 결과를 기초로, 상기 위의 부위를 예측하도록 더 구성된, 위의 부위 예측용 디바이스.The method of claim 15,
The processor,
Using the above region prediction model, the above is further configured to probabilistically predict the landmark within the endoscopic image and predict the above region based on a probabilistic prediction result for the landmark. Device for region prediction. 제15항에 있어서,
상기 프로세서는,
상기 내시경 영상에 대한 위의 부위를 예측하는 처리 중에서, 위의 부위 예측 모델의 관심도를 나타내는, 관심도 영상을 생성하고 상기 관심도 영상을 제공하도록 더 구성된, 위의 부위 예측용 디바이스.The method of claim 15,
The processor,
The device for predicting an upper region, further configured to generate an interest degree image and provide the interest degree image, representing the degree of interest of the upper region prediction model, among processing for predicting the upper region of the endoscopic image. 제22항에 있어서,
상기 관심도 영상은,
상기 위의 부위 예측 모델의 관심도가 주변 영역에 비하여 높은 주요 관심 영역을 포함하고,
상기 위의 부위 예측 모델은,
상기 위의 부위에 대하여 미리 결정된 랜드마크를 예측하고, 상기 랜드마크가 존재하는 정답 랜드마크 영역에 대하여 상기 주요 관심 영역이 높은 수준으로 중첩되도록 학습된 모델이고,
상기 정답 랜드마크 영역을 포함하는 학습용 내시경 영상을 상기 수신부를 통해 더 수신하고, 상기 학습용 내시경 영상에 대한 위의 부위를 예측하는 처리 중에서, 상기 주요 관심 영역을 포함하는 관심도 영상을 생성하고, 상기 정답 랜드마크 영역에 대한 상기 주요 관심 영역의 위치 오차를 산출하고, 상기 위치 오차를 학습하는 단계를 통해 상기 위치 오차를 줄이도록 학습된 모델인, 위의 부위 예측용 디바이스.The method of claim 22,
The interest level image,
The interest of the region prediction model above includes a major region of interest that is higher than that of the surrounding region,
The above region prediction model,
It is a model that predicts a predetermined landmark with respect to the above region, and the main region of interest overlaps at a high level with respect to the correct answer landmark region in which the landmark exists,
In the processing of further receiving an endoscope image for learning including the correct answer landmark region through the receiving unit, and predicting the above region for the learning endoscope image, an interest level image including the main region of interest is generated, and the correct answer The device for predicting the region above, which is a model trained to reduce the position error through the step of calculating the position error of the main region of interest with respect to the landmark region and learning the position error. 제22항에 있어서,
상기 관심도 영상은,
상기 위의 부위 예측 모델의 관심도가 주변 영역에 비하여 높은 주요 관심 영역을 포함하고,
상기 위의 부위 예측 모델은,
상기 내시경 영상에 대한 위의 부위의 분류 오차를 줄이고, 상기 위의 부위에 대하여 미리 결정된 랜드마크를 예측하고, 상기 랜드마크가 존재하는 정답 랜드마크 영역에 대하여 상기 주요 관심 영역이 높은 수준으로 중첩되도록 학습된 모델이고,
상기 위의 부위가 미리 결정되고 상기 정답 랜드마크 영역을 포함하는 학습용 내시경 영상을 상기 수신부를 통해 더 수신하고, 상기 학습용 내시경 영상을 기초로 상기 위의 부위를 예측하고, 상기 학습용 내시경 영상에 대한 위의 부위를 예측하는 처리 중에서, 상기 주요 관심 영역을 포함하는 관심도 영상을 생성하고, 상기 학습용 내시경 영상의 미리 결정된 위의 부위에 대한 상기 위의 부위 예측 모델에 의해 예측된 위의 부위의 분류 오차를 산출하고, 상기 정답 랜드마크 영역에 대한 상기 주요 관심 영역의 위치 오차를 산출하고, 상기 위의 부위의 분류 오차 및 상기 위치 오차를 합산하여 전체 오차를 산출하고, 상기 전체 오차를 학습하는 단계를 통해 상기 전체 오차를 줄이도록 학습된 모델인, 위의 부위 예측용 디바이스.The method of claim 22,
The interest level image,
The interest of the region prediction model above includes a major region of interest that is higher than that of the surrounding region,
The above region prediction model,
To reduce the classification error of the upper part of the endoscopic image, predict a predetermined landmark for the upper part, and overlap the main region of interest with a correct answer landmark region in which the landmark exists. Is a trained model,
The upper part is determined in advance and the learning endoscope image including the correct answer landmark region is further received through the receiving unit, the upper part is predicted based on the learning endoscope image, and the upper part of the learning endoscope image Among the processing for predicting the region of, an interest degree image including the main region of interest is generated, and the classification error of the upper region predicted by the region prediction model for a predetermined region of the upper region of the learning endoscopy image is calculated. Through the steps of calculating, calculating the position error of the main ROI with respect to the correct answer landmark area, calculating the total error by summing the classification error and the position error of the above part, and learning the total error A device for predicting the above region, which is a model trained to reduce the overall error. 제15항에 있어서,
상기 프로세서는,
상기 내시경 영상 내에서 병변을 예측하고, 예측된 상기 내시경 영상에 대한 상기 위의 부위 및 예측된 상기 병변을 기초로 상기 병변에 대한 위치를 결정하고, 상기 병변에 대한 위치를 제공하도록 더 구성된, 위의 부위 예측용 디바이스.The method of claim 15,
The processor,
The stomach is further configured to predict a lesion within the endoscopic image, determine a location for the lesion based on the predicted area and the predicted lesion, and provide a location for the lesion. The device for predicting the part of the body.
KR1020180158131A 2018-12-10 2018-12-10 Method for predicting locations of stomach and device for predicting locations of stomach using the same KR102256342B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180158131A KR102256342B1 (en) 2018-12-10 2018-12-10 Method for predicting locations of stomach and device for predicting locations of stomach using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180158131A KR102256342B1 (en) 2018-12-10 2018-12-10 Method for predicting locations of stomach and device for predicting locations of stomach using the same

Publications (2)

Publication Number Publication Date
KR20200070700A KR20200070700A (en) 2020-06-18
KR102256342B1 true KR102256342B1 (en) 2021-05-26

Family

ID=71143459

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180158131A KR102256342B1 (en) 2018-12-10 2018-12-10 Method for predicting locations of stomach and device for predicting locations of stomach using the same

Country Status (1)

Country Link
KR (1) KR102256342B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101839789B1 (en) * 2017-08-01 2018-03-19 주식회사 뷰노 System for generating interpretation data of dental image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101839789B1 (en) * 2017-08-01 2018-03-19 주식회사 뷰노 System for generating interpretation data of dental image

Also Published As

Publication number Publication date
KR20200070700A (en) 2020-06-18

Similar Documents

Publication Publication Date Title
ES2947667T3 (en) Systems and methods for processing real-time video from a medical imaging device and detecting objects in the video
JP6657480B2 (en) Image diagnosis support apparatus, operation method of image diagnosis support apparatus, and image diagnosis support program
US10860930B2 (en) Learning method, image recognition device, and computer-readable storage medium
KR102210806B1 (en) Apparatus and method for diagnosing gastric lesion using deep learning of endoscopic images
Fukuda et al. Comparison of performances of artificial intelligence versus expert endoscopists for real-time assisted diagnosis of esophageal squamous cell carcinoma (with video)
KR102209382B1 (en) Method for providing information of lesion diagnosis and device for providing information of lesion diagnosis using the same
JP2021527549A (en) Systems and methods for training hostile generation networks, as well as the use of trained hostile generation networks
JP7017198B2 (en) A computer-readable recording medium that stores a disease diagnosis support method, diagnosis support system, diagnosis support program, and this diagnosis support program using endoscopic images of the digestive organs.
EP3478159B1 (en) Assessment and monitoring of a mucosal disease in a subject's gastrointestinal tract
EP3148399B1 (en) Reconstruction of images from an in vivo multi-camera capsule with confidence matching
JP2013524988A (en) System and method for displaying a part of a plurality of in-vivo images
KR102257904B1 (en) Method for predicting pathological conditions and device for diagnosing pathological conditions using the same
CN110176295A (en) A kind of real-time detecting method and its detection device of Gastrointestinal Endoscopes lower portion and lesion
CN114913173B (en) Endoscope auxiliary inspection system, method, device and storage medium
CN116745861A (en) Control method, device and program of lesion judgment system obtained through real-time image
KR102256342B1 (en) Method for predicting locations of stomach and device for predicting locations of stomach using the same
KR102275760B1 (en) Method for predicting cancer suspicious area and device for predicting cancer suspicious area using the same
KR102258070B1 (en) Method for evaluating foot type and device evaluating foot type using the same
KR102268771B1 (en) Method for providing a user interface using the data receiving apparatus based on the image processing of the AI and Apparatus for using the same
KR102270669B1 (en) An image receiving device that calculates an image including a plurality of lesions using artificial intelligence
US20230162356A1 (en) Diagnostic imaging device, diagnostic imaging method, diagnostic imaging program, and learned model
US20230334658A1 (en) Quantification of barrett's oesophagus
KR102253398B1 (en) Method for providing user interface through artificial intelligence-based image processing and user events, and image receiving apparatus using the method
CN117854705A (en) Multi-lesion multi-task intelligent diagnosis method, device, equipment and medium for upper digestive tract
稲場淳 et al. Artificial intelligence system for detecting superficial laryngopharyngeal cancer with high efficiency of deep learning

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant