KR102587670B1 - Deep learning based vascular invasion classification method for pancreatic cancer using endoscopic ultrasound image and analysis apparatus - Google Patents

Deep learning based vascular invasion classification method for pancreatic cancer using endoscopic ultrasound image and analysis apparatus Download PDF

Info

Publication number
KR102587670B1
KR102587670B1 KR1020210143665A KR20210143665A KR102587670B1 KR 102587670 B1 KR102587670 B1 KR 102587670B1 KR 1020210143665 A KR1020210143665 A KR 1020210143665A KR 20210143665 A KR20210143665 A KR 20210143665A KR 102587670 B1 KR102587670 B1 KR 102587670B1
Authority
KR
South Korea
Prior art keywords
pancreatic
pancreatic cancer
image
images
ultrasound endoscopic
Prior art date
Application number
KR1020210143665A
Other languages
Korean (ko)
Other versions
KR20230059454A (en
Inventor
박수현
서강원
서정웅
Original Assignee
이화여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이화여자대학교 산학협력단 filed Critical 이화여자대학교 산학협력단
Priority to KR1020210143665A priority Critical patent/KR102587670B1/en
Priority to PCT/KR2022/007654 priority patent/WO2023075055A1/en
Publication of KR20230059454A publication Critical patent/KR20230059454A/en
Application granted granted Critical
Publication of KR102587670B1 publication Critical patent/KR102587670B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A61B8/4472—Wireless probes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A61B8/5253—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode combining overlapping images, e.g. spatial compounding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Vascular Medicine (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Physiology (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법은 분석장치가 대상자의 췌장 초음파 내시경 영상을 입력받는 단계, 상기 분석장치가 상기 췌장 초음파 내시경 영상을 제1 세그멘테이션 모델에 입력하여 췌장암 영역을 구분하는 단계, 상기 분석장치가 상기 췌장 초음파 내시경 영상을 분류 모델에 입력하여 췌장암의 혈관 침범 여부를 판단하는 단계 및 상기 분석장치가 상기 췌장 초음파 내시경 영상을 제2 세그멘테이션 모델에 입력하여 상기 췌장암 영역의 주변에 위치한 혈관 영역을 구분하는 단계를 포함한다.The deep learning-based vascular invasion classification method for pancreatic cancer using ultrasound endoscopic images includes the steps of an analysis device receiving an ultrasound endoscopic image of the patient's pancreas, and the analysis device inputting the pancreatic ultrasound endoscopic image into a first segmentation model to classify the pancreatic cancer area. A step wherein the analysis device inputs the pancreatic ultrasound endoscopic image into a classification model to determine whether pancreatic cancer invades blood vessels, and the analysis device inputs the pancreatic ultrasound endoscopic image into a second segmentation model to determine the vicinity of the pancreatic cancer area. It includes the step of distinguishing the blood vessel region located in.

Description

초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법 및 분석장치{DEEP LEARNING BASED VASCULAR INVASION CLASSIFICATION METHOD FOR PANCREATIC CANCER USING ENDOSCOPIC ULTRASOUND IMAGE AND ANALYSIS APPARATUS}Deep learning-based vascular invasion classification method and analysis device for pancreatic cancer using ultrasound endoscopic images {DEEP LEARNING BASED VASCULAR INVASION CLASSIFICATION METHOD FOR PANCREATIC CANCER USING ENDOSCOPIC ULTRASOUND IMAGE AND ANALYSIS APPARATUS}

이하 설명하는 기술은 췌장 초음파 내시경 영상을 이용하여 췌장암의 혈관 침범에 대한 정보를 산출하는 기법에 관한 것이다.The technology described below relates to a technique for calculating information on vascular invasion of pancreatic cancer using pancreatic ultrasound endoscopic images.

췌장암은 예후가 매우 좋지 않은 대표적인 종양이다. 췌장암 진단시 수술적 치료가 가능한 경우는 20% 미만이며, 수술 시행 후 5년 생존율도 25% 미만으로 전체 췌장암 환자 5년 생존율은 5% 정도로 보고된다. 현재 췌장암 완치가 가능한 방법은 침습적 수술 절제술이 유일하다. 한편, 복강 내 주요 혈관(상장간막동맥, 문맥)이 침범되었을 경우 종양 크기가 작다고 하더라도 수술적 절제가 불가능하다. Pancreatic cancer is a representative tumor with a very poor prognosis. When pancreatic cancer is diagnosed, surgical treatment is possible in less than 20% of cases, and the 5-year survival rate after surgery is less than 25%. The 5-year survival rate for all pancreatic cancer patients is reported to be around 5%. Currently, the only possible cure for pancreatic cancer is invasive surgical resection. On the other hand, if major blood vessels in the abdominal cavity (superior mesenteric artery, portal vein) are invaded, surgical resection is not possible even if the tumor size is small.

미국등록특허 US 제8,047,993호US registered patent US No. 8,047,993

초음파 내시경(endoscopic ultrasonography, EUS) 개발로 소화관 벽에 발생되는 상피하종양에 대한 평가가 가능하게 되었다. 그러나, EUS를 이용하여도 췌장암에서 혈관 침범은 확인하기 어렵다.The development of endoscopic ultrasonography (EUS) has made it possible to evaluate subepithelial tumors occurring in the walls of the digestive tract. However, even using EUS, it is difficult to confirm vascular invasion in pancreatic cancer.

이하 설명하는 기술은 췌장 초음파 내시경 영상을 이용하여 췌장암 혈관 침범 여부를 확인하는 기법을 제공하고자 한다. 나아가, 이하 설명하는 기술은 췌장암 혈관 침범 영역을 시각적으로 제공하는 기법을 제공하고자 한다.The technology described below is intended to provide a technique for confirming vascular invasion of pancreatic cancer using pancreatic ultrasound endoscopic images. Furthermore, the technology described below seeks to provide a technique that visually provides the area of vascular invasion in pancreatic cancer.

초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법은 분석장치가 대상자의 췌장 초음파 내시경 영상을 입력받는 단계, 상기 분석장치가 상기 췌장 초음파 내시경 영상을 제1 세그멘테이션 모델에 입력하여 췌장암 영역을 구분하는 단계, 상기 분석장치가 상기 췌장 초음파 내시경 영상을 분류 모델에 입력하여 췌장암의 혈관 침범 여부를 판단하는 단계 및 상기 분석장치가 상기 췌장 초음파 내시경 영상을 제2 세그멘테이션 모델에 입력하여 상기 췌장암 영역의 주변에 위치한 혈관 영역을 구분하는 단계를 포함한다.The deep learning-based vascular invasion classification method for pancreatic cancer using ultrasound endoscopic images includes the steps of an analysis device receiving an ultrasound endoscopic image of the patient's pancreas, and the analysis device inputting the pancreatic ultrasound endoscopic image into a first segmentation model to classify the pancreatic cancer area. A step wherein the analysis device inputs the pancreatic ultrasound endoscopic image into a classification model to determine whether pancreatic cancer invades blood vessels, and the analysis device inputs the pancreatic ultrasound endoscopic image into a second segmentation model to determine the vicinity of the pancreatic cancer area. It includes the step of distinguishing the blood vessel region located in.

초음파 내시경 영상을 이용하여 췌장암의 혈관 침범을 분류하는 분석 장치는 대상자의 췌장 초음파 내시경 영상을 입력받는 입력장치, 췌장 초음파 내시경 영상에서 췌장암 영역을 구분하는 제1 세그멘테이션 모델, 췌장 초음파 내시경 영상에서 췌장암의 혈관 침범 여부를 분류하는 분류 모델 및 췌장 초음파 내시경 영상에서 혈관 영상을 구분하는 제2 세그멘테이션 모델을 저장하는 저장장치 및 상기 입력된 췌장 초음파 내시경 영상을 상기 제1 세그멘테이션 모델에 입력하여 췌장암 영역을 구분하고, 상기 입력된 췌장 초음파 내시경 영상을 상기 분류 모델에 입력하여 췌장암의 혈관 침범 여부를 판단하고, 혈관 침범이 발생했다고 판단한 경우 상기 입력된 췌장 초음파 내시경 영상을 상기 제1 세그멘테이션 모델에 입력하여 상기 췌장암 영역의 주변에 위치한 혈관 영역을 구분하는 연산장치를 포함한다.The analysis device that classifies vascular invasion of pancreatic cancer using ultrasound endoscopic images includes an input device that receives the subject's pancreatic ultrasound endoscopic images, a first segmentation model that classifies the pancreatic cancer area in the pancreatic ultrasound endoscopic images, and a first segmentation model that classifies pancreatic cancer areas in the pancreatic ultrasound endoscopic images. A storage device for storing a classification model for classifying vascular invasion and a second segmentation model for distinguishing blood vessel images from pancreatic ultrasound endoscopic images, and inputting the input pancreatic ultrasound endoscopic images into the first segmentation model to classify pancreatic cancer areas; , the input pancreatic ultrasound endoscopic image is input into the classification model to determine whether vascular invasion of pancreatic cancer has occurred, and when it is determined that vascular invasion has occurred, the input pancreatic ultrasound endoscopic image is input into the first segmentation model to determine the pancreatic cancer area. It includes an arithmetic device that classifies the blood vessel area located around the .

이하 설명하는 기술은 딥러닝 모델로 췌장 초음파 내시경 영상을 분석하여 췌장암 환자에 대한 수술적 절제술 시행 또는 최소침습적인 다른 치료 방법에 대한 의사 결정을 가능하게 한다. 나아가, 이하 설명하는 기술은 췌장암 혈관 침범 영역에 대한 시각 정보를 제공하여 췌장암 환자에 대한 적합한 치료 방법을 찾는 데 도움을 줄 수 있다.The technology described below analyzes pancreatic ultrasound endoscopic images using a deep learning model to enable decision-making about surgical resection or other minimally invasive treatment methods for pancreatic cancer patients. Furthermore, the technology described below can help find an appropriate treatment method for pancreatic cancer patients by providing visual information about the area of vascular invasion in pancreatic cancer.

도 1은 췌장암 혈관 침범을 분석하는 시스템에 대한 예이다.
도 2는 췌장 초음파 내시경 영상을 분석하는 학습 모델에 대한 예이다.
도 3은 혈관 영상 생성 모델의 학습 과정 및 3D 혈관 영상을 생성하는 과정에 대한 예이다.
도 4는 환자의 췌장 초음파 내시경 영상을 분석하는 과정에 대한 예이다.
도 5는 췌장암 혈관 침범을 분석하는 분석장치에 대한 예이다.Figure 1 is an example of a system for analyzing vascular invasion of pancreatic cancer.
Figure 2 is an example of a learning model for analyzing pancreatic ultrasound endoscopic images.
Figure 3 is an example of the learning process of a blood vessel image generation model and the process of generating a 3D blood vessel image.
Figure 4 is an example of the process of analyzing an ultrasound endoscopic image of a patient's pancreas.
Figure 5 is an example of an analysis device for analyzing vascular invasion of pancreatic cancer.

이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The technology described below may be subject to various changes and may have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the technology described below to specific embodiments, and should be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the technology described below.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, B, etc. may be used to describe various components, but the components are not limited by the terms, and are only used for the purpose of distinguishing one component from other components. It is used only as For example, a first component may be named a second component without departing from the scope of the technology described below, and similarly, the second component may also be named a first component. The term and/or includes any of a plurality of related stated items or a combination of a plurality of related stated items.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설명된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.In terms used in this specification, singular expressions should be understood to include plural expressions, unless clearly interpreted differently from the context, and terms such as “including” refer to the described features, numbers, steps, operations, and components. , it means the existence of parts or a combination thereof, but should be understood as not excluding the possibility of the presence or addition of one or more other features, numbers, step operation components, parts, or combinations thereof.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.Before providing a detailed description of the drawings, it would be clarified that the division of components in this specification is merely a division according to the main function each component is responsible for. That is, two or more components, which will be described below, may be combined into one component, or one component may be divided into two or more components for more detailed functions. In addition to the main functions it is responsible for, each of the components described below may additionally perform some or all of the functions handled by other components, and some of the main functions handled by each component may be performed by other components. Of course, it can also be carried out exclusively by .

또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In addition, when performing a method or operation method, each process forming the method may occur in a different order from the specified order unless a specific order is clearly stated in the context. That is, each process may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the opposite order.

이하 설명하는 기술은 췌장 초음파 내시경 영상을 기준으로 췌장암 영역 및 혈관 침범에 대한 정보를 제공하는 기법이다.The technology described below is a technique that provides information on pancreatic cancer area and vascular invasion based on pancreatic ultrasound endoscopic images.

EUS는 방사형 스캔(radial scan) 시스템과 선형주사(linear-array) 시스템으로 나눌 수 있다. 또한, 장기 내 관심 영역에 대한 혈관계 특징을 부각하기 위한 조영 증강 EUS도 개발되었다. 이하 설명하는 기술은 췌장 영역에 대한 EUS 영상을 이용하는 것으로 장비나 영상의 종류에 제한을 두지 않는다. 따라서, 이하 초음파 내시경 영상 또는 EUS 영상은 다양한 형태의 장비 중 어느 하나 또는 다양한 영상 생성 기법 중 어느 하나를 이용하여 산출된 결과물을 포함하는 의미이다.EUS can be divided into radial scan systems and linear-array systems. Additionally, contrast-enhanced EUS has been developed to highlight vascular features in regions of interest within organs. The technology described below uses EUS images of the pancreas region and is not limited to the type of equipment or image. Therefore, hereinafter referred to as ultrasound endoscopic image or EUS image, it is meant to include results produced using any one of various types of equipment or one of various image generation techniques.

이하 분석장치가 기계학습모델을 이용하여 EUS 영상에서 혈관 침범을 분류한다고 설명한다. 분석 장치는 데이터 처리가 가능한 다양한 장치로 구현될 수 있다. 예컨대, 분석 장치는 PC, 네트워크상의 서버, 스마트 기기, 전용 프로그램이 임베딩된 칩셋 등으로 구현될 수 있다.Below, we explain that the analysis device classifies vascular invasion in EUS images using a machine learning model. The analysis device can be implemented as a variety of devices capable of processing data. For example, an analysis device can be implemented as a PC, a server on a network, a smart device, or a chipset with a dedicated program embedded therein.

기계 학습 모델은 결정 트리, 랜덤 포레스트(random forest), KNN(K-nearest neighbor), 나이브 베이즈(Naive Bayes), SVM(support vector machine), ANN(artificial neural network) 등이 있다. 특히 이하 설명하는 기술은 ANN을 이용하여 CT 영상에서 병변을 예측할 수 있다. Machine learning models include decision trees, random forest, KNN (K-nearest neighbor), Naive Bayes, SVM (support vector machine), and ANN (artificial neural network). In particular, the technology described below can predict lesions in CT images using ANN.

ANN은 생물의 신경망을 모방한 통계학적 학습 알고리즘이다. 다양한 신경망 모델이 연구되고 있다. 최근 딥러닝 신경망(deep learning network, DNN)이 주목받고 있다. DNN은 입력 계층(input layer)과 출력 계층(output layer) 사이에 여러 개의 은닉 계층(hidden layer)들로 이뤄진 인공신경망 모델이다. DNN은 일반적인 인공신경망과 마찬가지로 복잡한 비선형 관계(non-linear relationship)들을 모델링할 수 있다. DNN은 다양한 유형의 모델이 연구되었다. 예컨대, CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), GAN(Generative Adversarial Network), RL(Relation Networks) 등이 있다.ANN is a statistical learning algorithm that mimics biological neural networks. Various neural network models are being studied. Recently, deep learning network (DNN) has been attracting attention. DNN is an artificial neural network model consisting of several hidden layers between the input layer and the output layer. DNN, like general artificial neural networks, can model complex non-linear relationships. Various types of DNN models have been studied. For example, there are Convolutional Neural Network (CNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), Generative Adversarial Network (GAN), and Relation Networks (RL).

도 1은 췌장암 혈관 침범을 분석하는 시스템(100)에 대한 예이다. 도 1에서 분석장치는 컴퓨터 단말(130) 및 서버(140)인 예를 도시하였다.Figure 1 is an example of a system 100 for analyzing vascular invasion of pancreatic cancer. Figure 1 shows an example in which the analysis device is a computer terminal 130 and a server 140.

EUS 장비(110)는 대상자에 대한 EUS 영상을 획득하는 장치이다. EUS 장비(110)가 생성하는 영상은 EMR(Electronic Medical Record, 120)에 저장될 수 있다. The EUS equipment 110 is a device that acquires EUS images of a subject. Images generated by the EUS equipment 110 may be stored in an Electronic Medical Record (EMR) 120.

도 1에서 사용자(A)는 컴퓨터 단말(130)을 이용하여 대상자의 영상을 이용하여 병변을 예측할 수 있다. 컴퓨터 단말(130)은 대상자의 EUS 영상을 입력받는다. 컴퓨터 단말(130)은 유선 또는 무선 네트워크를 통해 EUS 장비(110) 또는 EMR(120)로부터 EUS 영상을 입력받을 수 있다. 경우에 따라 컴퓨터 단말(130)은 EUS 장비(110)와 물리적으로 연결된 장치일 수도 있다.In FIG. 1, a user (A) can predict a lesion using a subject's image using the computer terminal 130. The computer terminal 130 receives the EUS image of the subject. The computer terminal 130 can receive EUS images from the EUS equipment 110 or the EMR 120 through a wired or wireless network. In some cases, the computer terminal 130 may be a device physically connected to the EUS equipment 110.

컴퓨터 단말(130)은 딥러닝 모델을 이용하여 EUS 영상을 분석한다. 컴퓨터 단말(130)은 EUS 영상에서 췌장암 영역을 구분할 수 있다. 컴퓨터 단말(130)은 EUS 영상을 분석하여 췌장암 혈관 침범을 분류할 수 있다. 컴퓨터 단말(130)은 EUS 영상을 분석하여 췌장암 혈관 침범에 대한 확률을 산출할 수 있다. 나아가, 컴퓨터 단말(130)은 EUS 영상에서 췌장암 주변 혈관 영역을 재구성하여 3D 영상을 제공할 수도 있다. 사용자 A는 분석 결과 및 영상을 확인할 수 있다. The computer terminal 130 analyzes the EUS image using a deep learning model. The computer terminal 130 can distinguish the pancreatic cancer area in the EUS image. The computer terminal 130 can classify pancreatic cancer vascular invasion by analyzing EUS images. The computer terminal 130 can analyze the EUS image and calculate the probability of vascular invasion of pancreatic cancer. Furthermore, the computer terminal 130 may provide a 3D image by reconstructing the blood vessel area around pancreatic cancer in the EUS image. User A can check the analysis results and video.

서버(140)는 EUS 장비(110) 또는 EMR(120)로부터 대상자의 EUS 영상을 수신할 수 있다. The server 140 may receive the EUS image of the subject from the EUS equipment 110 or the EMR 120.

서버(140)는 딥러닝 모델을 이용하여 EUS 영상을 분석한다. 서버(140)는 EUS 영상에서 췌장암 영역을 구분할 수 있다. 서버(140)는 EUS 영상을 분석하여 췌장암 혈관 침범을 분류할 수 있다. 서버(140)는 EUS 영상을 분석하여 췌장암 혈관 침범에 대한 확률을 산출할 수 있다. 나아가, 서버(140)는 EUS 영상에서 췌장암 주변 혈관 영역을 재구성하여 3D 영상을 제공할 수도 있다. 서버(140)는 분석 결과 및 영상은 사용자 A의 단말에 전송할 수 있다. 사용자 A는 분석 결과 및 영상을 확인할 수 있다. The server 140 analyzes the EUS image using a deep learning model. The server 140 can distinguish the pancreatic cancer area in the EUS image. The server 140 may classify pancreatic cancer vascular invasion by analyzing EUS images. The server 140 may calculate the probability of vascular invasion of pancreatic cancer by analyzing the EUS image. Furthermore, the server 140 may provide a 3D image by reconstructing the blood vessel area around pancreatic cancer in the EUS image. The server 140 may transmit the analysis results and images to user A's terminal. User A can check the analysis results and video.

컴퓨터 단말(130) 및/또는 서버(140)는 분석 결과 및 영상을 EMR(120)에 저장할 수도 있다. The computer terminal 130 and/or server 140 may store analysis results and images in the EMR 120.

도 2는 췌장 초음파 내시경 영상을 분석하는 학습 모델(200)에 대한 예이다. 도 2는 3가지 학습 모델들을 도시한다. 학습 모델들은 종양 영역 분할 모델(210), 혈관 침범 분류 모델(220) 및 혈관 영상 생성 모델(230)이다. 한편, 연구자는 2010년부터 2020년 사이의 췌장암 EUS 검사를 실행한 152명의 환자의 영상 데이터를 활용하여 아래 학습 모델을 구축하였다.Figure 2 is an example of a learning model 200 that analyzes pancreatic ultrasound endoscopic images. Figure 2 shows three learning models. The learning models are a tumor region segmentation model (210), a vascular invasion classification model (220), and a vascular image generation model (230). Meanwhile, the researcher built the learning model below using image data from 152 patients who underwent EUS examination for pancreatic cancer between 2010 and 2020.

종양 영역 분할 모델(210)은 췌장 EUS 영상에서 췌장암 영역을 분할하는 모델이다. 종양 영역 분할 모델(210)은 딥러닝 모델 중 영상에서 특정 객체를 구분(분할)하는 시멘틱 세그멘테이션(semantic segmentation) 모델일 수 있다. The tumor region segmentation model 210 is a model for dividing the pancreatic cancer region in the pancreatic EUS image. The tumor region segmentation model 210 may be a semantic segmentation model that distinguishes (segments) specific objects in an image among deep learning models.

시멘틱 세그멘테이션 모델은 대표적으로 FCN (fully convolutional network) 과 인코더-디코더 구조를 기반으로 한 U-net 등이 있다. 도 2는 U-net 기반의 세그멘테이션 모델을 예로 도시하였다. U-net은 영상에서 컨텍스트 정보를 얻기 위한 네트워크와 영역화(localization)를 위한 네트워크가 대칭적 구조를 갖는다. Representative semantic segmentation models include FCN (fully convolutional network) and U-net based on the encoder-decoder structure. Figure 2 shows an example of a U-net-based segmentation model. U-net has a symmetrical structure of a network for obtaining context information from images and a network for localization.

통상적으로 U-net은 마지막 계층을 제외한 나머지 계층들은 각각 ReLU 활성화 함수를 갖는 컨볼루션 계층 및 맥스 풀링 계층을 갖는다. 마지막 계층은 컨볼루션 계층만을 갖는다. 좌측 네트워크는 계층 이동시 다운샘플링이 수행되고, 우측 네트워크는 계층 이동시 업 샘플링이 수행된다.Typically, U-net has a convolutional layer and a max pooling layer, with each layer except the last layer having a ReLU activation function. The last layer has only a convolutional layer. In the left network, downsampling is performed when moving a layer, and in the right network, upsampling is performed when moving in a layer.

종양 영역 분할 모델(210)은 췌장 EUS 영상을 입력받아 췌장암 영역을 구분한다. 종양 영역 분할 모델(210)은 췌장 EUS 영상에서 췌장암 영역이 다른 색으로 구분되는 영상을 출력할 수도 있다.The tumor region segmentation model 210 receives the pancreatic EUS image and classifies the pancreatic cancer region. The tumor region segmentation model 210 may output an image in which the pancreatic cancer region is divided into different colors in the pancreatic EUS image.

종양 영역 분할 모델(210)은 학습 데이터를 이용하여 사전에 학습되어야 한다. 연구자는 컴퓨터 장치를 이용하여 췌장 EUS 영상에 대한 전처리 및 라벨 데이터를 생성하였다. 연구자는 학습 데이터 각각에 대하여 원본 췌장 EUS 영상에서 초음파 내시경 영역만을 자르고, 췌장암에 해당하는 영역을 마스킹(masking)하여 라벨 데이터를 생성하였다.The tumor region segmentation model 210 must be trained in advance using training data. The researcher used a computer device to generate preprocessing and labeling data for pancreatic EUS images. For each piece of learning data, the researcher cut out only the ultrasound endoscopic area from the original pancreatic EUS image and masked the area corresponding to pancreatic cancer to generate labeled data.

일반적으로 의료 영상은 대량의 영상 확보가 어렵기 때문에 학습 데이터 증강(data augmentation)을 수행하기도 한다. 연구자도 학습 데이터 증강을 위하여 전처리된 영상을 일정하게 회전(rotation 및/또는 flip)하여 학습 데이터의 양을 증가시키는 작업을 하였다.In general, because it is difficult to secure large amounts of medical images, learning data augmentation is sometimes performed. To augment learning data, the researcher also worked to increase the amount of learning data by regularly rotating and/or flipping the preprocessed images.

혈관 침범 분류 모델(220)은 췌장 EUS 영상을 입력받아 췌장암이 주변 혈관을 침범하였는지 분류한다. 혈관 침범 분류 모델(220)은 입력 영상의 특징을 추출하여 혈관 침범에 대한 확률값을 산출하는 모델이다. 혈관 침범 분류 모델(220)은 CNN과 같은 모델로 구현될 수 있다. 예컨대, 혈관 침범 분류 모델(220)은 입력 영상의 특징을 추출하는 다수의 컨볼루션 계층들 및 컨볼루션 계층들이 출력하는 특징값을 입력받아 혈관 침범에 대한 확률값을 산출하는 전연결 계층을 포함할 수 있다. 전연결 계층은 소프트맥스 활성 함수를 사용할 수 있다.The vascular invasion classification model 220 receives pancreatic EUS images and classifies whether pancreatic cancer has invaded surrounding blood vessels. The vascular invasion classification model 220 is a model that extracts features of the input image and calculates a probability value for vascular invasion. The vascular invasion classification model 220 may be implemented as a model such as CNN. For example, the vascular invasion classification model 220 may include a plurality of convolutional layers that extract features of the input image and a pre-connected layer that calculates a probability value for vascular invasion by receiving feature values output from the convolutional layers. there is. The fully connected layer can use the softmax activation function.

혈관 침범 분류 모델(220)은 학습 데이터를 이용하여 사전에 학습되어야 한다. 학습 데이터는 췌장 EUS 영상과 해당 영상의 혈관 침범 정보를 포함한다. 혈관 침범 정보는 해당 환자에 대한 임상적 판단에 해당한다. 한편, 학습 데이터는 전술한 바와 같이 일정하게 전처리 될 수 있고, 데이터 증강되어 마련될 수 있다. 나아가, 전이 학습(transfer learning)을 사용하여 다른 종류의 영상을 이용하여 모델을 초기 학습한 후 췌장 EUS 영상들을 이용하여 혈관 침범 분류 모델(220)을 구축할 수도 있다.The vascular invasion classification model 220 must be trained in advance using learning data. Learning data includes pancreatic EUS images and vascular invasion information in the images. Vascular invasion information corresponds to clinical judgment for the patient. Meanwhile, the learning data may be constantly preprocessed as described above and may be prepared by data augmentation. Furthermore, the vascular invasion classification model 220 may be constructed using pancreatic EUS images after initial training of the model using other types of images using transfer learning.

학습된 혈관 침범 분류 모델(220)은 입력되는 췌장 EUS 영상에 대하여 혈관 침범 확률값을 산출한다. 혈관 침범 분류 모델(220)이 출력하는 값은 0~1 사이의 값일 수 있다. 분석장치는 혈관 침범 분류 모델(220)이 출력하는 값을 사용자에게 친숙한 확률 정보로 변환할 수 있다. 분석장치는 췌장 EUS 영상 또는 종양 영역 분할 모델(210)이 산출하는 영상에 혈관 침범에 대한 확률값을 표시할 수 있다. 도 2는 췌장암 영역이 구분된 췌장 EUS 영상에 혈관 침범 확률 75.56%를 표시한 예를 도시한다.The learned vascular invasion classification model 220 calculates a probability value of vascular invasion for the input pancreatic EUS image. The value output by the vascular invasion classification model 220 may be a value between 0 and 1. The analysis device can convert the value output by the vascular invasion classification model 220 into user-friendly probability information. The analysis device can display a probability value for vascular invasion on the pancreatic EUS image or the image calculated by the tumor region segmentation model 210. Figure 2 shows an example in which a probability of vascular invasion of 75.56% is displayed on a pancreatic EUS image in which the pancreatic cancer area is divided.

혈관 영상 생성 모델(230)은 입력되는 췌장 EUS 영상에서 췌장암 주변의 혈관을 재구성하여 생성한다. 혈관 영상 생성 모델(230)은 2D 영상에서 혈관 영역만을 구분할 수 있다. 또한, 혈관 영상 생성 모델(230)은 다수의 췌장 EUS 영상에서 혈관 영역을 구분하고, 구분한 영상을 적층(stacking)하여 혈관 영상을 재구성할 수도 있다. 혈관 영상 생성 모델(230)은 췌장암 영역 주변 전체의 혈관을 재구성하지 않고, 혈관 침범이 발생한 영역의 혈관만을 재구성할 수 있다.The vascular image generation model 230 is created by reconstructing blood vessels around pancreatic cancer from the input pancreatic EUS image. The blood vessel image generation model 230 can distinguish only blood vessel areas in a 2D image. Additionally, the vascular image generation model 230 may distinguish blood vessel regions from multiple pancreatic EUS images and reconstruct the blood vessel image by stacking the divided images. The vascular image generation model 230 may reconstruct only the blood vessels in the area where vascular invasion occurred, without reconstructing the entire blood vessels around the pancreatic cancer area.

혈관 영상 생성 모델(230)은 다양한 유형의 세그멘테이션 모델들 중 어느 하나를 이용하여 구현될 수 있다. 예컨대, 혈관 영상 생성 모델(230)은 U-net과 같은 세그멘테이션 모델로 구현될 수 있다. 연구자는 U-net 기반 세그멘테이션 모델을 이용하여 3차원 혈관 영상을 생성하였다. The blood vessel image generation model 230 may be implemented using any one of various types of segmentation models. For example, the blood vessel image generation model 230 may be implemented as a segmentation model such as U-net. The researcher created a 3D vascular image using a U-net-based segmentation model.

도 3은 혈관 영상 생성 모델의 학습 과정 및 3D 혈관 영상을 생성하는 과정에 대한 예이다. 도 3(A)는 혈관 영상 생성 모델(230)의 학습 과정에 대한 예이다. 학습 데이터는 전술한 것과 유사하게 원본 췌장 EUS 영상을 전처리하고 증강하여 마련될 수 있다. 연구자는 U-net 기반 세그멘테이션 모델을 구축하였다. 연구자는 원본 췌장 EUS 영상에서 초음파 내시경 영역을 분리하고, 혈관 영역을 일정하게 마스킹한 영상(라벨값)을 학습 데이터로 마련하였다. 학습 과정에서 혈관 영상 생성 모델(230)은 입력되는 췌장 EUS 영상에 대하여 혈관 영역을 구분한 영상을 생성하고, 알려진 라벨값과 비교하면서 모델의 파라미터를 갱신하는 과정을 반복한다. Figure 3 is an example of the learning process of a blood vessel image generation model and the process of generating a 3D blood vessel image. Figure 3(A) is an example of the learning process of the blood vessel image generation model 230. Learning data can be prepared by preprocessing and augmenting the original pancreatic EUS image, similar to the above. The researcher built a U-net-based segmentation model. The researcher separated the ultrasound endoscope area from the original pancreatic EUS image and prepared images (label values) with the blood vessel area consistently masked as learning data. During the learning process, the vascular image generation model 230 generates an image dividing the vascular region for the input pancreatic EUS image and repeats the process of updating the model parameters while comparing it with known label values.

도 3(B)는 3D 혈관 영상을 생성하는 예이다. 학습된 혈관 영상 생성 모델(230)은 췌장 EUS 영상을 입력받아 혈관 영역이 분할된 영상을 출력한다. 분석장치는 실제 췌장 EUS 영상에 분할된 영역을 오버레이(overlay)할 수 있다. 이 과정은 하나의 2D 프레임에 대한 처리 과정이다. EUS 장비는 내시경 끝에 장착된 고주파의 초음파 진동자를 이용하여 영상을 생성한다. 이때, 의료진은 내시경을 일정한 방향으로 이동시키면서 연속적인 EUS 영상들을 획득한다. 따라서, 췌장 EUS 영상은 일반적으로 일정 방향의 연속적인 영상들로 구성된다. 혈관 영상 생성 모델(230)은 일정 방향의 연속적인 췌장 EUS 영상들을 하나의 프레임별로 처리하면서 각 영상에 대한 혈관 영역을 분할할 수 있다. 분석장치는 연속적인 췌장 EUS 영상들과 혈관 영역이 표시된 영상을 쌓아가면서 3D 혈관 영상을 재구성할 수 있다. Figure 3(B) is an example of generating a 3D blood vessel image. The learned blood vessel image generation model 230 receives a pancreatic EUS image and outputs an image with segmented blood vessel regions. The analysis device can overlay the divided area on the actual pancreas EUS image. This process is for processing one 2D frame. EUS equipment creates images using a high-frequency ultrasonic oscillator mounted on the end of the endoscope. At this time, the medical staff acquires continuous EUS images while moving the endoscope in a certain direction. Therefore, pancreatic EUS images generally consist of continuous images in a certain direction. The blood vessel image generation model 230 may process continuous pancreatic EUS images in a certain direction for each frame and segment the blood vessel region for each image. The analysis device can reconstruct a 3D blood vessel image by stacking successive pancreatic EUS images and images showing blood vessel areas.

도 2의 종양 영역 분할 모델(210), 혈관 침범 분류 모델(220) 및 혈관 영상 생성 모델(230)은 서로 개별적인 모델이다. 다만, 다음과 같이 하나의 모델에서 획득한 정보를 다른 모델에 전달하여 협력적으로 영상을 분석하거나 처리할 수도 있다.The tumor region segmentation model 210, the vascular invasion classification model 220, and the vascular image generation model 230 in FIG. 2 are separate models. However, the image can be analyzed or processed collaboratively by transferring information obtained from one model to another model as follows.

먼저, 종양 영역 분할 모델(210)은 입력된 췌장 EUS 영상에서 췌장암 영역을 구분한다. 혈관 침범 분류 모델(220)은 입력된 췌장 EUS 영상에서 혈관 침범 확률을 산출한다. 혈관 침범은 췌장암 주변 영역에서 발생할 가능성이 매우 높다. 따라서, 혈관 침범 분류 모델(220)은 종양 영역 분할 모델(210)이 구분한 췌장암 영역 및 주변 영역을 중심으로 혈관이 침범하였는지 판단할 수 있다. 예컨대, 혈관 침범 분류 모델(220)은 췌장 EUS 영상 및 종양 영역 분할 모델(210)이 산출한 췌장암 영역에 대한 정보를 입력받을 수 있다. 혈관 침범 분류 모델(220)은 췌장암 영역에 대한 정보를 처리하는 어텐션(attention) 계층을 포함할 수 있다. 어텐션 계층은 췌장암 영역에 대하여 중요도를 가중하여 혈관 침범 분류 모델(220)이 췌장암 영역 내지 췌장암 영역의 주변 영역을 중심으로 혈관 침범을 분류하게 할 수 있다.First, the tumor region segmentation model 210 classifies the pancreatic cancer region in the input pancreatic EUS image. The vascular invasion classification model 220 calculates the probability of vascular invasion from the input pancreatic EUS image. Vascular invasion is very likely to occur in the area surrounding pancreatic cancer. Accordingly, the vascular invasion classification model 220 can determine whether blood vessels have invaded, focusing on the pancreatic cancer area and surrounding areas classified by the tumor area segmentation model 210. For example, the vascular invasion classification model 220 may receive information on the pancreatic EUS image and the pancreatic cancer area calculated by the tumor area segmentation model 210. The vascular invasion classification model 220 may include an attention layer that processes information about the pancreatic cancer region. The attention layer can weight the importance of the pancreatic cancer area so that the vascular invasion classification model 220 can classify the vascular invasion centered on the pancreatic cancer area or the surrounding area of the pancreatic cancer area.

혈관 영상 생성 모델(230)은 췌장암 주변 혈관을 구분한다. 혈관 영상 생성 모델(230)은 췌장암 영역과 관련 없는 영역의 혈관을 구분할 필요가 없다. 물론, 혈관 영상 생성 모델(230)이 학습 과정에서 췌장암 주변 혈관만을 구분하도록 학습될 수 있다. 나아가, 혈관 영상 생성 모델(230)은 종양 영역 분할 모델(210) 또는 혈관 침범 분류 모델(220)로부터 췌장암 영역 및 췌장암 주변 영역에 대한 정보를 입력받아, 췌장암 주변 영역을 중심으로 혈관을 구분할 수 있다. 예컨대, 혈관 영상 생성 모델(230)은 췌장암 영역에 대한 정보를 입력받은 어텐션 계층을 포함하여 컨텍스트 추출 과정에서 췌장암 영역 및 주변 영역에 대한 정보를 중심으로 혈관 영역의 특징을 추출할 수 있다. 또한, 혈관 영상 생성 모델(230)은 혈관 침범 분류 모델(220)로부터 혈관 침범이 발생한 영상(프레임)에 대한 정보를 입력받을 수 있다. 이 경우, 혈관 영상 생성 모델(230)은 혈관 침범 확률이 높은 영상을 대상으로 혈관을 구분하여 영상을 재구성할 수 있다.The blood vessel image generation model 230 distinguishes blood vessels around pancreatic cancer. The blood vessel image generation model 230 does not need to distinguish between blood vessels in the pancreatic cancer area and unrelated areas. Of course, the blood vessel image generation model 230 may be trained to distinguish only blood vessels surrounding pancreatic cancer during the learning process. Furthermore, the blood vessel image generation model 230 receives information about the pancreatic cancer area and the area around pancreatic cancer from the tumor area segmentation model 210 or the vascular invasion classification model 220, and can classify blood vessels focusing on the area around pancreatic cancer. . For example, the vascular image generation model 230 may include an attention layer that receives information about the pancreatic cancer region and extract features of the vascular region focusing on information about the pancreatic cancer region and surrounding regions during the context extraction process. Additionally, the vascular image generation model 230 may receive information about an image (frame) in which vascular invasion occurs from the vascular invasion classification model 220. In this case, the blood vessel image generation model 230 may classify blood vessels in images with a high probability of blood vessel invasion and reconstruct the image.

도 4는 환자의 췌장 초음파 내시경 영상을 분석하는 과정(300)에 대한 예이다. 도 2에서 설명한 학습 모델들은 사전에 구축되었다고 전제한다. 분석장치는 특정 환자에 대한 췌장 EUS 영상을 입력받는다(310). Figure 4 is an example of a process 300 for analyzing an ultrasound endoscopic image of a patient's pancreas. It is assumed that the learning models described in Figure 2 have been built in advance. The analysis device receives the EUS image of the pancreas for a specific patient (310).

분석장치는 입력된 원본 췌장 EUS 영상에 대하여 일정한 전처리를 할 수도 있다. 이 과정은 학습 데이터를 생성하는 과정에 대응될 수 있다.The analysis device may perform certain preprocessing on the input original pancreatic EUS image. This process may correspond to the process of generating learning data.

분석장치는 세그멘테이션 모델(전술한 종양 영역 분할 모델)에 췌장 EUS 영상을 입력하여 췌장 EUS 영상에서 췌장암 영역을 분할한다(320). 종양 영역 분할 모델은 췌장암 영역이 구분된 췌장 EUS 영상을 출력할 수 있다.The analysis device inputs the pancreatic EUS image into a segmentation model (the tumor region segmentation model described above) to segment the pancreatic cancer region in the pancreatic EUS image (320). The tumor region segmentation model can output a pancreatic EUS image with the pancreatic cancer region separated.

분석장치는 췌장 EUS 영상을 분류 모델(전술한 혈관 침범 분류 모델)에 입력하여 혈관 침범을 분류하고, 혈관 침범의 확률값을 산출할 수 있다(330). The analysis device can classify vascular invasion by inputting the pancreatic EUS image into a classification model (the aforementioned vascular invasion classification model) and calculate the probability value of vascular invasion (330).

분석장치는 혈관 침범 분류 모델의 출력값을 기준으로 현재 췌장암 환자의 혈관 침범 발생 여부를 판단한다(340). 예컨대, 분석장치는 혈관 침범 분류 모델의 출력값이 0에 가까우면 혈관 침범으로 판단하고, 1에 가까우면 혈관 미침범으로 판단할 수 있다. 또는 분석장치는 일정한 임계값과 혈관 침범 분류 모델의 출력값을 비교하여 혈관 침범 여부를 판단할 수도 있다. The analysis device determines whether vascular invasion has occurred in the current pancreatic cancer patient based on the output value of the vascular invasion classification model (340). For example, the analysis device may determine vascular invasion if the output value of the vascular invasion classification model is close to 0, and determine non-invasion of blood vessels if it is close to 1. Alternatively, the analysis device may determine whether there is vascular invasion by comparing a certain threshold value with the output value of the vascular invasion classification model.

분석장치가 현재 췌장암에서 혈관 침범이 없었다고 분류한 경우(340의 NO), 분석장치는 췌장 EUS 영상에 췌장암 영역이 구분된 영상(종양 영역 분할 모델의 출력물)을 표시할 수 있다(350).If the analysis device currently classifies that there is no vascular invasion in the pancreatic cancer (NO in 340), the analysis device can display an image (output of the tumor region segmentation model) in which the pancreatic cancer region is divided on the pancreatic EUS image (350).

분석장치가 현재 췌장암에서 혈관 침범이 있다고 분류한 경우(340의YES), 분석장치는 췌장 EUS 영상을 다른 세그멘테이션 모델(전술한 혈관 영상 생성 모델)에 입력하여 혈관 영역을 구분한다. 분석장치는 다수의 췌장 EUS 영상에 대하여 혈관 영역을 구분하는 과정을 반복하면서 연속된 췌장 EUS 영상에 대하여 구분한 혈관 영역을 적층하여 3D 혈관 영상을 재구성할 수 있다(360).If the analysis device currently classifies that there is vascular invasion in pancreatic cancer (YES in 340), the analysis device inputs the pancreatic EUS image into another segmentation model (the aforementioned vascular image generation model) to classify the vascular region. The analysis device can reconstruct a 3D blood vessel image by repeating the process of classifying blood vessel areas for multiple pancreatic EUS images and stacking the divided blood vessel areas for consecutive pancreatic EUS images (360).

분석장치는 췌장 EUS 영상에 췌장암 영역을 구분하고, 혈관 침범 정보(침범 확률)를 함께 화면에 출력할 수 있다(370). 또는 분석장치는 3D 영상으로 재구성한 췌장암 영역 및 췌장암 주변 혈관 영상을 화면에 출력할 수도 있다(370).The analysis device can distinguish the pancreatic cancer area in the pancreatic EUS image and output vascular invasion information (probability of invasion) on the screen (370). Alternatively, the analysis device may output images of the pancreatic cancer area and blood vessels around the pancreatic cancer reconstructed as a 3D image on the screen (370).

도 5는 췌장암 혈관 침범을 분석하는 분석장치(400)에 대한 예이다. 분석장치(400)는 전술한 분석장치(도 1의 130 및 140)에 해당한다. 분석장치(400)는 물리적으로 다양한 형태로 구현될 수 있다. 예컨대, 분석장치(400)는 PC와 같은 컴퓨터 장치, 네트워크의 서버, 데이터 처리 전용 칩셋 등의 형태를 가질 수 있다.Figure 5 is an example of an analysis device 400 for analyzing vascular invasion of pancreatic cancer. The analysis device 400 corresponds to the above-described analysis devices (130 and 140 in FIG. 1). The analysis device 400 may be physically implemented in various forms. For example, the analysis device 400 may take the form of a computer device such as a PC, a network server, or a chipset dedicated to data processing.

분석장치(400)는 저장장치(410), 메모리(420), 연산장치(430), 인터페이스 장치(440), 통신장치(450) 및 출력장치(460)를 포함할 수 있다.The analysis device 400 may include a storage device 410, a memory 420, an arithmetic device 430, an interface device 440, a communication device 450, and an output device 460.

저장장치(410)는 전술한 학습 모델들을 저장할 수 있다. 학습 모델들은 종양 영역 분할 모델(210), 혈관 침범 분류 모델(220) 및 혈관 영상 생성 모델(230)을 포함한다.The storage device 410 may store the above-described learning models. Learning models include a tumor region segmentation model (210), a vascular invasion classification model (220), and a vascular image generation model (230).

저장장치(410)는 대상자의 췌장 EUS 영상을 저장할 수 있다. 이때 췌장 EUS 영상은 일정 방향으로 연속된 부위에 대한 영상들일 수도 있다.The storage device 410 may store EUS images of the subject's pancreas. At this time, pancreatic EUS images may be images of continuous areas in a certain direction.

저장장치(410)는 영상 처리를 위한 다른 프로그램 내지 코드를 저장할 수 있다. 예컨대, 저장장치(410)는 입력된 췌장 EUS 영상을 일정하게 전처리하는 프로그램을 더 저장할 수 있다. The storage device 410 may store other programs or codes for image processing. For example, the storage device 410 may further store a program that regularly preprocesses the input pancreas EUS image.

저장장치(410)는 췌장 EUS 영상에서 췌장암 영상을 구분한 영상을 저장할 수 있다.The storage device 410 can store images that distinguish pancreatic cancer images from pancreatic EUS images.

저장장치(410)는 췌장 EUS 영상에서 주변 혈관 영역을 재구성한 영상을 저장할 수도 있다.The storage device 410 may store an image reconstructed from a pancreatic EUS image of the surrounding blood vessel area.

메모리(420)는 분석장치(400)가 췌장 EUS 영상에서 췌장암 영역 구분, 혈관 침범 분류 및/또는 혈관 영역 재구성 과정에서 생성되는 데이터 및 정보 등을 저장할 수 있다.The memory 420 may store data and information generated during the process of the analysis device 400 classifying the pancreatic cancer area, classifying vascular invasion, and/or reconstructing the vascular area in the pancreatic EUS image.

인터페이스 장치(440)는 외부로부터 일정한 명령 및 데이터를 입력받는 장치이다. 인터페이스 장치(440)는 물리적으로 연결된 입력 장치 또는 외부 저장장치로부터 분석 대상의 췌장 EUS 영상을 입력받을 수 있다. 인터페이스 장치(440)는 분석 결과(영상, 텍스트 등)를 외부 객체에 전달할 수도 있다.The interface device 440 is a device that receives certain commands and data from the outside. The interface device 440 may receive an EUS image of the pancreas to be analyzed from a physically connected input device or an external storage device. The interface device 440 may transmit analysis results (video, text, etc.) to an external object.

통신장치(450)는 유선 또는 무선 네트워크를 통해 일정한 정보를 수신하고 전송하는 구성을 의미한다. 통신장치(450)는 외부 객체로부터 분석 대상의 췌장 EUS 영상을 수신할 수 있다. 또는 통신장치(450)는 분석 결과(영상, 텍스트 등)를 사용자 단말과 같은 외부 객체에 송신할 수도 있다.The communication device 450 refers to a configuration that receives and transmits certain information through a wired or wireless network. The communication device 450 may receive an EUS image of the pancreas to be analyzed from an external object. Alternatively, the communication device 450 may transmit the analysis results (video, text, etc.) to an external object such as a user terminal.

인터페이스 장치(440) 및 통신장치(450)는 사용자 또는 다른 물리적 객체로부터 일정한 데이터를 주고받는 구성이므로, 포괄적으로 입출력장치라고도 명명할 수 있다. 췌장 EUS 영상을 입력받는 기능에 한정하면 인터페이스 장치(440) 및 통신장치(450)는 입력장치라고 할 수도 있다. Since the interface device 440 and the communication device 450 are components that exchange certain data with a user or other physical object, they can also be collectively referred to as input/output devices. If limited to the function of receiving pancreatic EUS images, the interface device 440 and communication device 450 may be referred to as input devices.

연산 장치(430)는 저장장치(410)에 저장된 학습 모델 내지 프로그램 코드를 이용하여 입력되는 췌장 EUS 영상을 처리할 수 있다.The computing device 430 may process the input pancreatic EUS image using a learning model or program code stored in the storage device 410.

먼저, 연산 장치(430)는 입력된 췌장 EUS 영상에 대한 일정한 전처리를 할 수 있다. 예컨대, 연산 장치(430)는 췌장 EUS 영상에서 초음파 내시경 영상 영역만을 절단(crop)할 수 있다. 이 과정은 모델을 학습할 때 사용한 학습 데이터를 마련하는 과정에 대응된다.First, the computing device 430 may perform certain preprocessing on the input pancreas EUS image. For example, the computing device 430 may crop only the ultrasound endoscopic image area from the pancreatic EUS image. This process corresponds to the process of preparing the learning data used when learning the model.

연산 장치(430)는 췌장 EUS 영상을 종양 영역 분할 모델에 입력하여 췌장암 영역이 구분된 영상을 생성한다. 나아가, 연산 장치(430)는 연속적인 췌장 EUS 영상들을 각각 종양 영역 분할 모델에 입력하여 췌장암 영역을 구분할 수 있다. 이 경우, 연산 장치(430)는 췌장암 영역이 구분된 3D 췌장 EUS 영상을 생성할 수 있다.The computing device 430 inputs the pancreatic EUS image into the tumor region segmentation model to generate an image with the pancreatic cancer region divided. Furthermore, the computing device 430 may input each successive pancreatic EUS image into a tumor region segmentation model to classify the pancreatic cancer region. In this case, the computing device 430 can generate a 3D pancreatic EUS image in which the pancreatic cancer area is divided.

연산 장치(430)는 췌장 EUS 영상을 혈관 침범 분류 모델에 입력하여 혈관 침범 여부를 분류할 수 있다. 연산 장치(430)는 췌장 EUS 영상만을 혈관 침범 분류 모델에 입력하여 혈관 침범 여부를 분류할 수 있다. 또는 연산 장치(430)는 종양 영역 분할 모델이 구분한 췌장암 영역의 정보와 함께 췌장 EUS 영상을 혈관 침범 분류 모델에 입력하여 혈관 침범 여부를 분류할 수 있다. 연산 장치(430)는 혈관 침범 분류 모델이 출력하는 값을 기준으로 혈관 침범의 확률을 결정할 수 있다. 연산 장치(430)는 대상자의 췌장 EUS 영상에 혈관 침범 확률을 표시되게 할 수 있다.The computing device 430 may classify whether there is vascular invasion by inputting the pancreatic EUS image into a vascular invasion classification model. The computing device 430 can classify whether there is vascular invasion by inputting only the pancreatic EUS image into the vascular invasion classification model. Alternatively, the computing device 430 may classify whether there is vascular invasion by inputting the pancreatic EUS image along with information on the pancreatic cancer region classified by the tumor region segmentation model into the vascular invasion classification model. The calculation device 430 may determine the probability of vascular invasion based on the value output by the vascular invasion classification model. The calculation device 430 may display the probability of vascular invasion on the EUS image of the subject's pancreas.

연산 장치(430)는 췌장 EUS 영상을 혈관 영상 생성 모델에 입력하여 췌장암의 주변 혈관 영역을 구분할 수 있다. 이때, 연산 장치(430)는 종양 영역 분할 모델이 출력하는 췌장암 영역 정보 및 췌장 EUS 영상을 혈관 영상 생성 모델에 입력할 수 있다. 혈관 영상 생성 모델은 입력된 영상 전체를 대상으로 하지 않고, 췌장암 주변 영역 나아가 췌장암 주변 중 혈관 침범 확률이 높은 영역을 대상으로 혈관 영역을 구분할 수 있다. 예컨대, 연산 장치(430)는 연속된 췌장 EUS 영상들 중 혈관 침범 분류 모델이 혈관 침범이 발생했다고 판단한 영상을 혈관 영상 생성 모델에 입력하여 혈관 영역을 구분할 수 있다. 연산 장치(430)는 구분한 혈관 영역을 췌장 EUS 영상에 오버레이하여 혈관 영역을 표현할 수 있다. 연산 장치(430)는 일정한 방향으로 연속된 췌장 EUS 영상들을 각각 혈관 영상 생성 모델에 입력하여 췌장암의 주변 혈관 영역을 구분할 수 있다. 연산 장치(430)는 주변 혈관 영역이 구분된 다수의 췌장 EUS 영상들에서 쌓아서 3D 혈관 영상을 재구성할 수 있다.The computing device 430 may input the pancreatic EUS image into a vascular image creation model to classify the surrounding vascular region of pancreatic cancer. At this time, the computing device 430 may input the pancreatic cancer region information and the pancreatic EUS image output from the tumor region segmentation model to the vascular image generation model. The vascular image generation model does not target the entire input image, but can classify the vascular region by targeting the area around pancreatic cancer, and even the area around pancreatic cancer with a high probability of vascular invasion. For example, the computing device 430 may input the image in which the vascular invasion classification model determines that vascular invasion has occurred among consecutive pancreatic EUS images into the vascular image generation model to classify the vascular region. The computing device 430 may express the blood vessel area by overlaying the divided blood vessel area on the pancreatic EUS image. The computing device 430 can input continuous pancreatic EUS images in a certain direction into a vascular image generation model to classify the surrounding vascular region of pancreatic cancer. The computing device 430 can reconstruct a 3D blood vessel image by stacking multiple pancreatic EUS images in which the surrounding blood vessel areas are divided.

연산 장치(430)는 데이터를 처리하고, 일정한 연산을 처리하는 프로세서, AP, 프로그램이 임베디드된 칩과 같은 장치일 수 있다.The computing device 430 may be a device such as a processor that processes data and performs certain operations, an AP, or a chip with an embedded program.

출력장치(460)는 일정한 정보를 출력하는 장치이다. 출력장치(460)는 데이터 처리 과정에 필요한 인터페이스, 분석 결과 등을 출력할 수 있다. 출력장치(460)는 췌장 EUS 영상에서 췌장암 영역을 구분한 영상, 췌장 EUS 영상에 혈관 침범 확률값이 표시된 영상 및/또는 췌장 EUS 영상에서 혈관 영상이 구분된 영상(3D 혈관 재구성 영상)을 출력할 수 있다.The output device 460 is a device that outputs certain information. The output device 460 can output interfaces, analysis results, etc. required for the data processing process. The output device 460 can output an image in which the pancreatic cancer area is divided from the pancreatic EUS image, an image in which the probability value of vascular invasion is displayed in the pancreatic EUS image, and/or an image in which the blood vessel image is separated from the pancreatic EUS image (3D vascular reconstruction image). there is.

또한, 상술한 바와 같은 췌장 EUS 영상을 분석하는 방법, 혈관 침범을 분류하는 방법, 혈관 영상을 재구성하는 방법은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 일시적 또는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.Additionally, the method of analyzing pancreatic EUS images, the method of classifying vascular invasion, and the method of reconstructing vascular images as described above may be implemented as a program (or application) including an executable algorithm that can be executed on a computer. The program may be stored and provided in a temporary or non-transitory computer readable medium.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM (read-only memory), PROM (programmable read only memory), EPROM(Erasable PROM, EPROM) 또는 EEPROM(Electrically EPROM) 또는 플래시 메모리 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.A non-transitory readable medium refers to a medium that stores data semi-permanently and can be read by a device, rather than a medium that stores data for a short period of time, such as registers, caches, and memories. Specifically, the various applications or programs described above include CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM (read-only memory), PROM (programmable read only memory), and EPROM (Erasable PROM, EPROM). Alternatively, it may be stored and provided in a non-transitory readable medium such as EEPROM (Electrically EPROM) or flash memory.

일시적 판독 가능 매체는 스태틱 램(Static RAM，SRAM), 다이내믹 램(Dynamic RAM，DRAM), 싱크로너스 디램 (Synchronous DRAM，SDRAM), 2배속 SDRAM(Double Data Rate SDRAM，DDR SDRAM), 증강형 SDRAM(Enhanced SDRAM，ESDRAM), 동기화 DRAM(Synclink DRAM，SLDRAM) 및 직접 램버스 램(Direct Rambus RAM，DRRAM) 과 같은 다양한 RAM을 의미한다.Temporarily readable media include Static RAM (SRAM), Dynamic RAM (DRAM), Synchronous DRAM (SDRAM), Double Data Rate SDRAM (DDR SDRAM), and Enhanced SDRAM (Enhanced RAM). It refers to various types of RAM, such as SDRAM (ESDRAM), Synchronous DRAM (Synclink DRAM, SLDRAM), and Direct Rambus RAM (DRRAM).

본 실시례 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시례는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.This embodiment and the drawings attached to this specification only clearly show some of the technical ideas included in the above-described technology, and those skilled in the art can easily understand them within the scope of the technical ideas included in the specification and drawings of the above-described technology. It is self-evident that all inferable variations and specific embodiments are included in the scope of rights of the above-mentioned technology.

Claims (8)

분석장치가 대상자의 췌장 초음파 내시경 영상을 입력받는 단계;
상기 분석장치가 상기 췌장 초음파 내시경 영상을 제1 세그멘테이션 모델에 입력하여 췌장암 영역을 구분하는 단계;
상기 분석장치가 상기 췌장 초음파 내시경 영상을 분류 모델에 입력하여 췌장암의 혈관 침범 여부를 판단하는 단계; 및
상기 분석장치가 상기 췌장 초음파 내시경 영상을 제2 세그멘테이션 모델에 입력하여 상기 췌장암 영역의 주변에 위치한 혈관 영역을 구분하는 단계를 포함하는 초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법.A step where the analysis device receives an ultrasound endoscopic image of the subject's pancreas;
The analysis device inputting the pancreatic ultrasound endoscopic image into a first segmentation model to classify a pancreatic cancer area;
The analysis device inputs the pancreatic ultrasound endoscopic image into a classification model to determine whether pancreatic cancer invades blood vessels; and
A deep learning-based vascular invasion classification method for pancreatic cancer using an ultrasound endoscopic image comprising the step of the analysis device inputting the pancreatic ultrasound endoscopic image into a second segmentation model to classify a vascular region located around the pancreatic cancer region. 제1항에 있어서,
상기 분석장치는 상기 분류 모델이 출력하는 값을 기준으로 혈관 침범에 대한 확률값을 결정하고, 상기 췌장 초음파 내시경 영상에 상기 확률값을 표시하는 초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법.According to paragraph 1,
The analysis device determines a probability value for vascular invasion based on the value output by the classification model, and displays the probability value on the pancreatic ultrasound endoscopic image. A deep learning-based vascular invasion classification method for pancreatic cancer using an ultrasound endoscopic image. 제1항에 있어서,
상기 췌장 초음파 내시경 영상은 연속된 다수의 췌장 초음파 내시경 영상들을 포함하고,
상기 분석장치는 상기 다수의 췌장 초음파 내시경 영상들 각각을 상기 제2 세그멘테이션 모델에 입력하여 혈관 영역을 구분하고, 상기 다수의 췌장 초음파 내시경 영상들에 혈관 영역을 표시한 영상을 적층하여 3차원 혈관 영상을 재구성하는 단계를 더 포함하는 초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법.According to paragraph 1,
The pancreatic ultrasound endoscopic image includes a plurality of consecutive pancreatic ultrasound endoscopic images,
The analysis device inputs each of the plurality of pancreatic ultrasound endoscopic images into the second segmentation model to classify blood vessel regions, and stacks images showing blood vessel regions on the plurality of pancreatic ultrasound endoscopic images to create a three-dimensional vascular image. Deep learning-based vascular invasion classification method for pancreatic cancer using endoscopic ultrasound images, further comprising the step of reconstructing. 제1항에 있어서,
상기 분류 모델은 상기 제1 세그멘테이션 모델이 출력하는 췌장암 영역에 대한 정보를 더 입력받고, 상기 췌장암 영역 또는 상기 췌장암 영역의 주변 영역에 중요도를 부가하여 상기 혈관 침범 여부를 판단하는 초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법.According to paragraph 1,
The classification model further receives information about the pancreatic cancer area output by the first segmentation model, and attaches importance to the pancreatic cancer area or surrounding areas of the pancreatic cancer area to determine whether the blood vessel is invaded. Learning-based classification method for vascular invasion in pancreatic cancer. 제1항에 있어서,
상기 제2 세그멘테이션 모델은
상기 제1 세그멘테이션 모델이 출력하는 췌장암 영역에 대한 정보를 더 입력받고, 상기 췌장암 영역 또는 상기 췌장암 영역의 주변 영역에 중요도를 부가하여 상기 혈관 영역을 구분하거나,
상기 분류 모델이 출력하는 값을 기준으로 혈관 침범이 발생한 영상만을 대상으로 상기 혈관 영역을 구분하는 초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법.According to paragraph 1,
The second segmentation model is
Further receive information about the pancreatic cancer area output by the first segmentation model, and classify the blood vessel area by adding importance to the pancreatic cancer area or surrounding areas of the pancreatic cancer area,
A deep learning-based vascular invasion classification method for pancreatic cancer using ultrasound endoscopic images that classifies the vascular region targeting only images in which vascular invasion occurs based on the value output by the classification model. 대상자의 췌장 초음파 내시경 영상을 입력받는 입력장치;
췌장 초음파 내시경 영상에서 췌장암 영역을 구분하는 제1 세그멘테이션 모델, 췌장 초음파 내시경 영상에서 췌장암의 혈관 침범 여부를 분류하는 분류 모델 및 췌장 초음파 내시경 영상에서 혈관 영상을 구분하는 제2 세그멘테이션 모델을 저장하는 저장장치; 및
상기 입력된 췌장 초음파 내시경 영상을 상기 제1 세그멘테이션 모델에 입력하여 췌장암 영역을 구분하고, 상기 입력된 췌장 초음파 내시경 영상을 상기 분류 모델에 입력하여 췌장암의 혈관 침범 여부를 판단하고, 혈관 침범이 발생했다고 판단한 경우 상기 입력된 췌장 초음파 내시경 영상을 상기 제2 세그멘테이션 모델에 입력하여 상기 췌장암 영역의 주변에 위치한 혈관 영역을 구분하는 연산장치를 포함하는 초음파 내시경 영상을 이용하여 췌장암의 혈관 침범을 분류하는 분석 장치.An input device that receives an ultrasound endoscopic image of the patient's pancreas;
A storage device that stores a first segmentation model that classifies pancreatic cancer areas in pancreatic ultrasound endoscopic images, a classification model that classifies vascular invasion of pancreatic cancer in pancreatic ultrasound endoscopic images, and a second segmentation model that classifies blood vessel images in pancreatic ultrasound endoscopic images. ; and
The input pancreatic ultrasound endoscopic image is input to the first segmentation model to classify the pancreatic cancer area, and the input pancreatic ultrasound endoscopic image is input to the classification model to determine whether vascular invasion of pancreatic cancer has occurred. When it is determined, an analysis device for classifying vascular invasion of pancreatic cancer using an ultrasound endoscopic image, including a calculation device that inputs the input pancreatic ultrasound endoscopic image into the second segmentation model to classify vascular regions located around the pancreatic cancer region. . 제6항에 있어서,
상기 연산장치는 상기 분류 모델이 출력하는 값을 기준으로 혈관 침범에 대한 확률값을 결정하고,
상기 췌장암 영역이 구분된 췌장 초음파 내시경 영상에 상기 확률값을 표시하는 출력장치를 더 포함하는 초음파 내시경 영상을 이용하여 췌장암의 혈관 침범을 분류하는 분석 장치.According to clause 6,
The calculation device determines a probability value for vascular invasion based on the value output by the classification model,
An analysis device for classifying vascular invasion of pancreatic cancer using an ultrasound endoscopic image, further comprising an output device for displaying the probability value on the pancreatic ultrasound endoscopic image in which the pancreatic cancer area is divided. 제6항에 있어서,
상기 입력된 췌장 초음파 내시경 영상은 연속된 다수의 췌장 초음파 내시경 영상들을 포함하고,
상기 연산장치는 상기 다수의 췌장 초음파 내시경 영상들 각각을 상기 제2 세그멘테이션 모델에 입력하여 혈관 영역을 구분하고, 상기 다수의 췌장 초음파 내시경 영상들에 혈관 영역을 표시한 영상을 적층하여 3차원 혈관 영상을 재구성하는 초음파 내시경 영상을 이용하여 췌장암의 혈관 침범을 분류하는 분석 장치.
According to clause 6,
The input pancreatic ultrasound endoscopic image includes a plurality of consecutive pancreatic ultrasound endoscopic images,
The computing device inputs each of the plurality of pancreatic ultrasound endoscopic images into the second segmentation model to classify blood vessel regions, and stacks images showing blood vessel regions on the plurality of pancreatic ultrasound endoscopic images to create a three-dimensional blood vessel image. An analysis device that classifies vascular invasion in pancreatic cancer using ultrasound endoscopic images that reconstruct the .
KR1020210143665A 2021-10-26 2021-10-26 Deep learning based vascular invasion classification method for pancreatic cancer using endoscopic ultrasound image and analysis apparatus KR102587670B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210143665A KR102587670B1 (en) 2021-10-26 2021-10-26 Deep learning based vascular invasion classification method for pancreatic cancer using endoscopic ultrasound image and analysis apparatus
PCT/KR2022/007654 WO2023075055A1 (en) 2021-10-26 2022-05-30 Deep learning-based pancreatic cancer vascular invasion classification method and analysis device using endoscopic ultrasound image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210143665A KR102587670B1 (en) 2021-10-26 2021-10-26 Deep learning based vascular invasion classification method for pancreatic cancer using endoscopic ultrasound image and analysis apparatus

Publications (2)

Publication Number Publication Date
KR20230059454A KR20230059454A (en) 2023-05-03
KR102587670B1 true KR102587670B1 (en) 2023-10-10

Family

ID=86160075

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210143665A KR102587670B1 (en) 2021-10-26 2021-10-26 Deep learning based vascular invasion classification method for pancreatic cancer using endoscopic ultrasound image and analysis apparatus

Country Status (2)

Country Link
KR (1) KR102587670B1 (en)
WO (1) WO2023075055A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6663461B2 (en) 2018-08-31 2020-03-11 株式会社アドメテック Endoscopic cancer treatment system
KR102141302B1 (en) 2019-03-04 2020-08-04 이화여자대학교 산학협력단 Object detection method based 0n deep learning regression model and image processing apparatus
KR102163225B1 (en) 2018-08-03 2020-10-08 한국과학기술원 Image segmentation method using artificial neural network and apparatus therefor
KR102186632B1 (en) 2019-01-07 2020-12-02 재단법인대구경북과학기술원 Device for training analysis model of medical image and training method thereof
KR102237198B1 (en) 2020-06-05 2021-04-08 주식회사 딥노이드 Ai-based interpretation service system of medical image

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS648955A (en) * 1986-10-16 1989-01-12 Olympus Optical Co Ultrasonic endoscopic apparatus
US8047993B2 (en) 2004-12-08 2011-11-01 Industrial Technology Research Institute Quantitative non-invasive method for detecting degree of malignancy in tumors and application thereof
JP6955303B2 (en) * 2017-04-12 2021-10-27 富士フイルム株式会社 Medical image processing equipment and methods and programs
KR20190125592A (en) * 2018-04-30 2019-11-07 주식회사 실리콘사피엔스 3D Blood Vessel Construction Method using medical images
KR102182357B1 (en) * 2018-10-25 2020-11-24 고려대학교 산학협력단 Surgical assist device and method for 3D analysis based on liver cancer area in CT image
KR102349515B1 (en) * 2019-08-16 2022-01-10 서울여자대학교 산학협력단 Tumor automatic segmentation based on deep learning in a medical image
KR20210035381A (en) * 2019-09-23 2021-04-01 삼성에스디에스 주식회사 Apparatus and method for medical diagnostic
KR102144672B1 (en) * 2020-01-17 2020-08-14 성균관대학교산학협력단 Artificial intelligence ultrasound-medical-diagnosis apparatus using semantic segmentation and remote medical-diagnosis method using the same
KR20210110435A (en) * 2020-02-28 2021-09-08 주식회사 웨이센 Computer Program for Providing Endoscopic Image Information Analysis Service Based on Image Classification and Segmentation Integrated Learning Model
KR20210109819A (en) * 2020-02-28 2021-09-07 주식회사 웨이센 A program recording medium for providing analyzing services of endoscope video information based on learning algorithms

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102163225B1 (en) 2018-08-03 2020-10-08 한국과학기술원 Image segmentation method using artificial neural network and apparatus therefor
JP6663461B2 (en) 2018-08-31 2020-03-11 株式会社アドメテック Endoscopic cancer treatment system
KR102186632B1 (en) 2019-01-07 2020-12-02 재단법인대구경북과학기술원 Device for training analysis model of medical image and training method thereof
KR102141302B1 (en) 2019-03-04 2020-08-04 이화여자대학교 산학협력단 Object detection method based 0n deep learning regression model and image processing apparatus
KR102237198B1 (en) 2020-06-05 2021-04-08 주식회사 딥노이드 Ai-based interpretation service system of medical image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Semantic Segmentation of Pancreatic Cancer in Endoscopic Ultrasound Images Using Deep Learning Approach. Cancers 2022, 14, 5111

Also Published As

Publication number Publication date
KR20230059454A (en) 2023-05-03
WO2023075055A1 (en) 2023-05-04

Similar Documents

Publication Publication Date Title
Amiri et al. Two-stage ultrasound image segmentation using U-Net and test time augmentation
Munir et al. Cancer diagnosis using deep learning: a bibliographic review
US10482603B1 (en) Medical image segmentation using an integrated edge guidance module and object segmentation network
Ke et al. A neuro-heuristic approach for recognition of lung diseases from X-ray images
Kieu et al. A survey of deep learning for lung disease detection on medical images: state-of-the-art, taxonomy, issues and future directions
Yousefi et al. Mass detection in digital breast tomosynthesis data using convolutional neural networks and multiple instance learning
Aghamohammadi et al. TPCNN: two-path convolutional neural network for tumor and liver segmentation in CT images using a novel encoding approach
US9770172B2 (en) Multimodal segmentation in intravascular images
Navarrete-Welton et al. Current applications of artificial intelligence for intraoperative decision support in surgery
Antczak et al. Stenosis detection with deep convolutional neural networks
Apostolopoulos et al. Classification of lung nodule malignancy in computed tomography imaging utilising generative adversarial networks and semi-supervised transfer learning
Huang et al. AW3M: An auto-weighting and recovery framework for breast cancer diagnosis using multi-modal ultrasound
Torrents-Barrena et al. TTTS-GPS: Patient-specific preoperative planning and simulation platform for twin-to-twin transfusion syndrome fetal surgery
Kuang et al. Unsupervised multi-discriminator generative adversarial network for lung nodule malignancy classification
Sedghi et al. Deep neural maps for unsupervised visualization of high-grade cancer in prostate biopsies
Maity et al. Automatic lung parenchyma segmentation using a deep convolutional neural network from chest X-rays
Wan et al. Hierarchical temporal attention network for thyroid nodule recognition using dynamic CEUS imaging
Ursuleanu et al. Deep learning application for analyzing of constituents and their correlations in the interpretations of medical images
Stoean et al. Deep learning for the detection of frames of interest in fetal heart assessment from first trimester ultrasound
Balaji et al. Coronary artery segmentation from intravascular optical coherence tomography using deep capsules
Rai et al. A comprehensive analysis of recent advancements in cancer detection using machine learning and deep learning models for improved diagnostics
Lu et al. Ultrasonographic pathological grading of prostate cancer using automatic region-based Gleason grading network
WO2021193019A1 (en) Program, information processing method, information processing device, and model generation method
KR102587670B1 (en) Deep learning based vascular invasion classification method for pancreatic cancer using endoscopic ultrasound image and analysis apparatus
Rezaei et al. Thin cap fibroatheroma detection in virtual histology images using geometric and texture features

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant