KR20220012462A - 담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 담낭 용종의 진단에 대한 정보 제공용 디바이스 - Google Patents

담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 담낭 용종의 진단에 대한 정보 제공용 디바이스 Download PDF

Info

Publication number
KR20220012462A
KR20220012462A KR1020200090945A KR20200090945A KR20220012462A KR 20220012462 A KR20220012462 A KR 20220012462A KR 1020200090945 A KR1020200090945 A KR 1020200090945A KR 20200090945 A KR20200090945 A KR 20200090945A KR 20220012462 A KR20220012462 A KR 20220012462A
Authority
KR
South Korea
Prior art keywords
gallbladder
polyp
medical image
diagnosis
ultrasound medical
Prior art date
Application number
KR1020200090945A
Other languages
English (en)
Other versions
KR102485930B1 (ko
Inventor
조재희
장성일
김광기
김영재
김의주
Original Assignee
연세대학교 산학협력단
가천대학교 산학협력단
(의료)길의료재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단, 가천대학교 산학협력단, (의료)길의료재단 filed Critical 연세대학교 산학협력단
Priority to KR1020200090945A priority Critical patent/KR102485930B1/ko
Priority to PCT/KR2021/009346 priority patent/WO2022019616A1/ko
Priority to US18/017,402 priority patent/US20230274421A1/en
Priority to JP2023504125A priority patent/JP2023539718A/ja
Publication of KR20220012462A publication Critical patent/KR20220012462A/ko
Application granted granted Critical
Publication of KR102485930B1 publication Critical patent/KR102485930B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Physiology (AREA)
  • Vascular Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

본 발명은, 프로세서에 의해 구현되는 담낭 용종의 진단에 대한 정보 제공 방법으로서, 개체의 담낭 부위를 포함하는 초음파 의료 영상을 수신하는 단계, 초음파 의료 영상에 기초하여 담낭 용종의 발병 여부를 결정하도록 구성된 제1 평가 모델을 이용하여, 개체의 담낭 용종 발병 여부를 결정하는 단계, 초음파 의료 영상 내에서 담낭 용종이 결정된 경우, 담낭 용종의 특성을분류하도록 구성된 제2 평가 모델에 기초하여, 담낭 용종에 대한 특성을 결정하는 단계를 포함하는, 담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 담낭 용종의 진단에 대한 정보 제공용 디바이스를 제공한다.

Description

담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 담낭 용종의 진단에 대한 정보 제공용 디바이스{METHOD FOR PROVIDING INFORMATION OF DIAGNOSING GALLBLADDER POLYPS AND DEVICE FOR PROVIDING INFORMATION DIAGNOSING GALLBLADDER POLYPS USING THE SAME}
본 발명은, 담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 디바이스에 관한 것으로, 보다 구체적으로는 초음파 의료 영상에 기초하여 담낭 용종을 예측하도록 구성된 방법 및 디바이스에 관한 것이다
담낭 용종 (gallbladder polyps, GB) 은, 담석 (gallbladder stones) 을 제외하고 담낭 내강으로 돌출하는 모든 형태의 종괴, 또는 혹을 의미하며, 다양한 종류와 형태의 병변을 포괄할 수 있다. 이때, 담낭 용종은 비-종양성 용종 (non-neoplastic GB polyps) 과 종양성 용종 (neoplastic GB polyps) 으로 분류될 수 있다.
보다 구체적으로, 비-종양성 용종인 콜레스테롤 용종이 종양성 용종보다 흔하게 발병할 수 있다. 이때, 비-종양성 용종은 크기가 대개 10mm 이하이며 다발성일 수 있다. 한편, 종양성 용종은 양성 종양인 선종과 악성 용종으로 구별될 수 있으며 대개 단일 병변이고 크기가 10mm 이상일 수 있다.
한편, 담낭 용종은 복부 초음파 검사를 통해 진단이 가능할 수 있다. 그러나, 복부 초음파로는 종양성 담낭 용종과 비-종양성 담낭 용종을 구별하는 것에 한계가 있다.
특히, 두 종류의 용종을 구별하는 것은 적절한 치료법을 선택하는 것에 있어서 매우 중요한 문제일 수 있다.
의료 서비스의 향상 등을 위하여 진단의 정확성이 더욱 요구되고 있음에 따라, 담낭 용종을 높은 정확도로 진단하고 분류할 수 있는 새로운 진단 방법의 개발이 요구된다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
전술한 한계를 극복하기 위한 방안으로, 비-종양성 담낭 용종 및 종양성 담낭 용종의 구별을 위한 조영 증강 초음파 (contrast-enhanced ultrasound, CEUS) 의 이용이 적용되었다.
이때, 조영 증강 초음파는, 일반 복부 초음파에 비하여 두 종류의 담낭 용종을 구별하는 능력이 개선되었으나, 크기가 2cm 미만의 용종을 구별하는 것은 여전히 한계가 있는 것으로 나타났다.
한편, 본 발명의 발명자들은, 이러한 한계를 극복하고자, 내시경 선단부에 US 프로브 (ultrasonogram probe) 가 장착되어 고해상도의 의료 영상을 제공하고, 저반향 포커스들 (hypoechoic foci), 저반향 스팟 (hyperechoic spot), 마이크로시스티스 (microcyst) 및 도플러 흐름 (doppler flow) 을 제공하고, 복잡한 스코어링 시스템 (scoring systems) 의 특성을 갖는 내시경 초음파 (endoscopic ultrasound, EUS) 를 담낭 용종 진단에 더욱 적용하고자 하였다.
이때, 본 발명의 발명자들은 내시경 초음파의 특성에 의해 비-종양성 담낭 용종 및 종양성 담낭 용종에 대한 신뢰도 높은 진단이 가능함을 인지할 수 있었다.
더욱이, 본 발명의 발명자들은, 인공지능 알고리즘 기반의 시스템을 도입함으로써 종래의 복부 초음파에 기초한 담낭 용종 진단 시스템이 갖는 한계 및 문제점들을 보완하고자 하였다. 이에, 본 발명의 발명자들은, 의료인의 숙련도에 관계 없이 내시경 초음파 의료 영상에 대한 객관적인 분석이 가능함을 인지할 수 있었다.
보다 구체적으로, 본 발명의 발명자들은 담낭 용종 진단 시스템에 대하여, 내시경 초음파 의료 영상에 기초하여 담낭 용종을 분류하도록 구성된 딥 러닝 모델을 적용하고자 하였다.
특히, 본 발명의 발명자들은, 딥 러닝 모델의 학습에 있어서, 의료 영상 내에 극히 일부 존재하는 작은 용종에 대한 분류의 정확도를 높이기 위한 방안으로, 병변을 포함하는 ROI (region of interest) 를 설정한 후, 이를 크로핑하여 이용하고자 하였다.
이때, 본 발명의 발명자들은 내시경 초음파 의료 영상의 경우, 픽셀 크기에 대한 정보를 갖고 있지 않다는 점을 인지하였고, 이를 해결하기 위한 방안으로 내시경 초음파 의료 영상에 표시된 스케일 바 (scale bar) 를 이용할 수 있음을 인지할 수 있었다.
그 결과, 픽셀당 실제 크기가 추정될 수 있음에 따라, 목표 크기를 갖는 ROI 영상이 획득될 수 있었고, 본 발명의 발명자들은, 담낭 용종 진단 시스템이 의심 병변의 크기 정보를 반영함에 따라 높은 정확도로 담낭 용종을 분류할 수 있음을 확인할 수 있었다.
더욱이, 본 발명의 발명자들은, 상기 딥 러닝 모델에 대하여, 단일의 절차에 의해 담낭 용종을 분류하는 것이 아닌, 다수의 절차에 걸쳐 종양성 용종이 선종 용종인지 선암 용종인지를 분류하도록 구축할 수 있었다.
이에, 본 발명의 발명자들은 담낭 용종 진단에 있어 용종의 서브타입과 같은 세부적인 특징을 제공함에 따라, 담낭 용종의 진단 정확도를 높이는 것을 기대할 수 있었다.
본 발명의 발명자들은, 새로운 용종 진단 시스템을 제공함으로써, 부정확한 영상으로 인한 의료진의 담낭 용종의 진행에 대한 잘못된 해석을 방지하고, 실제 임상 실무에 있어서 의료진의 워크 플로우를 향상시킬 수 있음을 기대할 수 있었다.
이에, 본 발명이 해결하고자 하는 과제는, 수신된 초음파 의료 영상에 대하여, 딥 러닝 알고리즘에 기초한 복수의 평가 모델을 이용하여 병변 여부를 결정하고, 병변을 분류하도록 구성된, 담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 디바이스를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공 방법이 제공된다. 본 정보 제공 방법은, 프로세서에 의해 구현되는 담낭 용종의 진단에 대한 정보 제공 방법으로서, 개체의 담낭 부위를 포함하는 초음파 의료 영상을 수신하는 단계, 초음파 의료 영상에 기초하여 담낭 용종의 발병 여부를 결정하도록 구성된 제1 평가 모델을 이용하여, 개체의 담낭 용종 발병 여부를 결정하는 단계, 초음파 의료 영상 내에서 담낭 용종이 결정된 경우, 담낭 용종의 특성을 분류하도록 구성된 제2 평가 모델에 기초하여, 담낭 용종에 대한 특성을 결정하는 단계를 포함하도록 구성된다.
본 발명의 특징에 따르면, 개체의 담낭 용종 발병 여부를 결정하는 단계는, 초음파 의료 영상에 기초하여 담낭 용종 또는 담낭 결석 (gallbladder stones) 을 분류하도록 더 학습된 상기 제1 평가 모델을 이용하여, 담낭 용종 또는 담낭 결석을 결정하는 단계를 포함할 수 있다.
본 발명의 다른 특징에 따르면, 담낭 용종에 대한 특성을 결정하는 단계는, 담낭 용종 영역에 대하여 비-종양성 담낭 용종 또는 종양성 담낭 용종을 분류하도록 구성된 제2 평가 모델을 이용하여, 비-종양성 담낭 용종 또는 종양성 담낭 용종을 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 담낭 용종에 대한 특성을 결정하는 단계 이후에, 종양성 담낭 용종이 결정된 경우, 종양성 담낭 용종 영역에 대하여 선암성 담낭 용종 또는 선종성 담낭 용종을 분류하도록 구성된 제3 평가 모델을 이용하여, 선암성 담낭 용종 또는 선종성 담낭 용종을 결정하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 정보 제공 방법은, 초음파 의료 영상을 수신하는 단계 이후에, 초음파 의료 영상에 대하여 ROI (region of interest) 를 결정하는 단계, 및 ROI를 크로핑 (cropping) 하는 단계를 더 포함할 수 있다.
이때, 개체의 담낭 용종 발병 여부를 결정하는 단계는, 제1 평가 모델을 이용하여, ROI를 기초로 개체의 담낭 용종 발병 여부를 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 초음파 의료 영상은, 스케일 바 (scale bar) 를 포함하고, 크로핑하는 단계는, 스케일 바에 기초하여 ROI를 미리 결정된 수준으로 크로핑하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 미리 결정된 수준으로 크로핑하는 단계는, 스케일 바에 기초하여 픽셀 당 크기를 산출하는 단계, 픽셀 당 크기에 기초하여, 목표 크기를 결정하는 단계, 및 목표 크기에 기초하여 ROI를 크로핑하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 스케일 바는 미리 결정된 크기를 갖는 눈금을 포함할 수 있다. 이때, 픽셀 당 크기를 산출하는 단계는, 초음파 의료 영상의 스케일 바에서 선택된 두 개의 눈금 각각에 대한 x축의 좌표 값을 결정하는 단계, x축 좌표에 기초하여 픽셀 거리를 산출하는 단계, 및 픽셀 거리 및 미리 결정된 크기에 기초하여 픽셀 당 크기를 산출하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 스케일 바는 미리 결정된 크기를 갖는 눈금을 포함할 수 있다. 이때, 픽셀 당 크기를 산출하는 단계는, 초음파 의료 영상 내에서 스케일 바를 크로핑하는 단계, 연결요소 (connected component) 알고리즘을 이용하여, 크로핑된 스케일 바의 눈금에 기초하여 눈금의 위치를 결정하는 단계, 및 눈금의 위치 및 미리 결정된 크기에 기초하여 픽셀 당 크기를 산출하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 초음파 의료 영상은, 내시경 초음파 (endoscopic ultrasound, EUS) 의료 영상일 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 정보 제공 방법은, 담낭 용종 발병 여부를 결정하는 하는 중에, 제1 평가 모델에 대한 ROI를 초음파 의료 영상에 표시하여 제공하거나, 담낭 용종의 특성을 분류하는 중에, 제2 평가 모델에 대한 ROI를 초음파 의료 영상에 표시하여 제공하는 단계를 더 포함할 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공용 디바이스가 제공된다. 본 정보 제공용 디바이스는, 개체의 담낭 부위를 포함하는 초음파 의료 영상을 수신하도록 구성된 통신부, 및 통신부와 연결된 프로세서를 포함한다. 이때, 프로세서는, 초음파 의료 영상에 기초하여 담낭 용종의 발병 여부를 결정하도록 구성된 제1 평가 모델을 이용하여, 개체의 담낭 용종 발병 여부를 결정하고, 초음파 의료 영상 내에서 담낭 용종이 결정된 경우 담낭 용종의 특성을분류하도록 구성된 제2 평가 모델에 기초하여, 담낭 용종에 대한 특성을 결정하도록 구성된다.
본 발명의 특징에 따르면, 프로세서는, 초음파 의료 영상에 기초하여 담낭 용종 또는 담낭 결석 (gallbladder stones) 을 분류하도록 더 학습된 제1 평가 모델을 이용하여, 담낭 용종 또는 담낭 결석을 결정하도록 구성될 수 있다.
본 발명의 다른 특징에 따르면, 프로세서는, 담낭 용종 영역에 대하여 비-종양성 담낭 용종 또는 종양성 담낭 용종을 분류하도록 구성된 제2 평가 모델을 이용하여, 비-종양성 담낭 용종 또는 종양성 담낭 용종을 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 종양성 담낭 용종이 결정된 경우, 종양성 담낭 용종 영역에 대하여 선암성 담낭 용종 또는 선종성 담낭 용종을 분류하도록 구성된 제3 평가 모델을 이용하여, 선암성 담낭 용종 또는 선종성 담낭 용종을 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 초음파 의료 영상에 대하여 ROI (region of interest) 를 결정하고, ROI를 크로핑 (cropping) 하고, 1 평가 모델을 이용하여, ROI를 기초로 개체의 담낭 용종 발병 여부를 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 초음파 의료 영상은, 스케일 바 (scale bar) 를 포함하고, 프로세서는, 스케일 바에 기초하여 ROI를 미리 결정된 수준으로 크로핑하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 스케일 바에 기초하여 픽셀 당 크기를 산출하고, 픽셀 당 크기에 기초하여, 목표 크기를 결정하고, 목표 크기에 기초하여 ROI를 크로핑하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 스케일 바는 미리 결정된 크기를 갖는 눈금을 포함하고, 프로세서는, 초음파 의료 영상의 스케일 바에서 선택된 두 개의 눈금 각각에 대한 x축의 좌표 값을 결정하고, x축 좌표에 기초하여 픽셀 거리를 산출하고, 픽셀 거리 및 미리 결정된 크기에 기초하여 픽셀 당 크기를 산출하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 스케일 바는 미리 결정된 크기를 갖는 눈금을 포함하고, 프로세서는, 초음파 의료 영상 내에서 스케일 바를 크로핑하고, 연결요소 (connected component) 알고리즘을 이용하여, 크로핑된 스케일 바의 눈금에 기초하여 눈금의 위치를 결정하고, 눈금의 위치 및 미리 결정된 크기에 기초하여 픽셀 당 크기를 산출하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 초음파 의료 영상은, 내시경 초음파 (endoscopic ultrasound, EUS) 의료 영상일 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 담낭 용종 발병 여부를 결정하는 하는 중에, 제1 평가 모델에 대한 ROI를 초음파 의료 영상에 표시하여 제공하거나, 담낭 용종의 특성을 분류하는 중에, 제2 평가 모델에 대한 ROI를 초음파 의료 영상에 표시하여 제공하도록 더 구성될 수 있다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은, 딥 러닝 모델에 기초하여 초음파 의료 영상에 대하여 담낭 용종 여부와 함께 담낭 용종의 특성을 분류하도록 구성된 새로운 담낭 용종 진단 시스템을 제공함으로써 정확한 담낭 용종에 대한 진단 결과를 제공할 수 있다.
이에, 본 발명은 딥 러닝 모델에 기초한 담낭 용종 진단 시스템을 제공함에 따라, 의료인의 숙련도에 관계 없이 내시경 초음파 의료 영상에 대한 객관적인 분석이 가능할 수 있다.
특히, 본 발명은 딥 러닝 모델의 학습에 있어서 병변을 포함하는 ROI (region of interest) 를 설정한 후, ROI를 컷팅한 학습 데이터 세트를 이용함에 따라, 의료 영상 내에 극히 일부 존재하는 작은 용종에 대한 분류의 정확도가 높을 수 있다.
이때, 본 발명은 내시경 초음파 의료 영상에 표시된 스케일 바 (scale bar) 를 이용하도록 구성된 담낭 용종 진단 시스템을 제공함에 따라, 목표 크기를 갖는 ROI 영상이 획득될 수 있고 의심 병변의 크기 정보가 반영될 수 있어, 작은 크기의 담낭 용종을 높은 정확도로 분류할 수 있다.
또한, 본 발명은 단일의 절차에 의해 담낭 용종을 분류하는 것이 아닌, 다수의 절차에 걸쳐 종양성 용종이 양성 종양인지 악성 용종인지를 분류하도록 구성된 딥 러닝 모델을 이용함에 따라, 담낭 용종 진단에 있어 용종의 서브타입과 같은 세부적인 특징이 제공될 수 있다.
이에, 본 발명은 담낭 용종의 진단 정확도를 높일 수 있다.
더욱이 본 발명은 딥 러닝 모델에 기초한 용종 진단 시스템을 제공함으로써, 부정확한 영상으로 인한 의료진의 담낭 용종의 진행에 대한 잘못된 해석을 방지하고, 실제 임상 실무에 있어서 의료진의 워크 플로우를 향상시킬 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1a는 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공용 디바이스에 기초한 담낭 용종 진단 시스템을 예시적으로 도시한 것이다.
도 1b는 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공용 디바이스의 구성을 예시적으로 도시한 것이다.
도 1c는 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공용 디바이스로부터 담낭 용종에 대한 정보를 수신 받아 출력하는 의료진 디바이스의 구성을 예시적으로 도시한 것이다.
도 2a 및 2b는 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.
도 3a 및 3b는 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공 방법에 따른 ROI의 크로핑하는 절차를 예시적으로 도시한 것이다.
도 4는 본 발명의 다양한 실시예에 이용되는 평가 모델의 구조를 예시적으로 도시한 것이다.
도 5a는 본 발명의 다양한 실시예에 이용되는 평가 모델의 학습 및 평가 데이터를 도시한 것이다.
도 5b 내지 5e는 본 발명의 다양한 실시예에 이용되는 평가 모델의 평가 결과를 도시한 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~ 를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 디바이스"라는 표현은, 그 디바이스가 다른 디바이스 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된)프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 디바이스에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.
본 명세서에서 사용되는 용어, "개체"는 담낭 용종을 예측하고자 하는 모든 대상을 의미할 수 있다. 예를 들어, 개체는, 담낭 용종 의심 개체일 수도 있다. 이때, 본 명세서 내에 개시된 개체는, 인간을 제외한 모든 포유 동물일 수 있으나, 이에 제한되는 것은 아니다.
본 명세서에서 사용되는 용어, "초음파 의료 영상"은, 초음파 진단 디바이스로부터 획득된 초음파 의료 영상을 의미할 수 있다. 이때, 초음파 의료 영상은 담낭 영역을 포함하는 의료 영상일 수 있다. 바람직하게, 초음파 의료 영상은 내시경 초음파 (endoscopic ultrasound, EUS) 진단 디바이스로부터 획득된, 담낭을 포함하는 내시경 초음파 의료 영상 일 수 있으나, 이에 제한되는 것은 아니다. 이때, 내시경 초음파 의료 영상의 포맷은 dicom, jpeg, bitmap, png, tiff일 수 있으나, 이에 제한되는 것은 아니다.
한편, 초음파 의료 영상은, 복수 개의 컷으로 구성된 내시경 초음파 동영상일 수 있다. 이때, 내시경 초음파 동영상은 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공 방법에 따라 동영상의 프레임 각각에 대하여 병변이 결정될 수도 있다. 그 결과, 본 발명은 내시경 초음파와 같은 영상 진단 디바이스로부터의 내시경 초음파 의료 영상의 수신과 동시에 병변의 예측을 수행하여 스트리밍 서비스를 제공할 수 있고, 실시간으로 담낭 용종의 진단 정보를 제공할 수도 있다.
본 발명의 일 특징에 따르면, 초음파 의료 영상은, 2차원 영상, 3차원 영상일 수 있다.
본 명세서에서 사용되는 용어, "제1 평가 모델"은 초음파 의료 영상을 입력으로 하여, 담낭 용종의 발병 여부를 출력하도록 구성된 모델일 수 있다.
보다 구체적으로 제1 평가 모델은, 초음파 의료 영상 내의 용종 의심 영역에 대응하는 ROI (region of interest) 를 입력으로 하여, ROI를 담낭 용종인지 또는 담낭 결석인지를 분류하도록 학습된 모델일 수 있다.
이때, 제1 평가 모델에 의해 ROI가 결정되지 않을 경우, 해당 초음파 의료 영상은 정상 개체에 대한 의료 영상일 수 있다. 즉, 제1 평가 모델은, 정상 또는 담낭 용종 또는 담낭 결석을 분류하도록 구성될 수 있다.
한편, 본 명세서에서 사용되는 용어, "ROI"는 담낭 용종 의심 영역, 또는 담낭 용종 영역을 포함하는 영역 또는 평가 모델의 분류 과정에서 결정된 관심 영역을 의미할 수 있다.
이때, ROI는 미리 결정된 크기, 예를 들어 20 x 20mm 또는 196 x 196 픽셀 (pixels) 의 크기로 크로핑되어 제1 평가 모델에 입력될 수 있다. 즉, 제1 평가 모델은, 크로핑된 ROI를 이용함에 따라 매우 작은 크기의 용종을 높은 정확도로 분류할 수 있다.
한편, 미리 결정된 크기는 이에 제한되는 것이 아니며, 검출하고자 하는 용종의 크기, 내시경 초음파 진단 디바이스의 종류에 따라 다양한 범위로 설정될 수 있다.
한편, 담낭 용종은 종양성 담낭 용종 (neoplastic GB polyps) 및 비-종양성 담낭 용종 (non-neoplastic GB polyps) 으로 분류될 수 있다.
본 명세서에서 사용되는 용어, "제2 평가 모델"은, 담낭 용종이 결정된 경우, 초음파 의료 영상을 입력으로 하여, 담낭 용종의 특성을 분류 및 출력하도록 구성된 모델일 수 있다.
보다 구체적으로 제2 평가 모델은, 담낭 용종으로 결정된 ROI 를 입력으로 하여, 담낭 용종이 종양성 담낭 용종인지 또는 비-종양성 담낭 용종인지를 분류하도록 학습된 모델일 수 있다.
이때, 종양성 담낭 용종은, 선종성 담낭 용종 (adenomatous GB polyps) 및 선암성 담낭 용종 (adenocarcinoma GB polyps) 으로 분류될 수 있다.
본 명세서에서 사용되는 용어, "제3 평가 모델"은, 종양성 담낭 용종이 결정된 경우, 초음파 의료 영상을 입력으로 하여, 종양성 담낭 용종의 특성을 분류하도록 구성된 모델일 수 있다.
보다 구체적으로 제3 평가 모델은, 종양성 담낭 용종으로 결정된 ROI 를 입력으로 하여, 선종성 담낭 용종인지 또는 선암성 담낭 용종인지를 분류하도록 학습된 모델일 수 있다.
한편, 선종성 담낭 용종은, 본원 명세서 내에서 아데노마 담낭 용종 (adenoma GB polyps), 양성 담낭 용종, 또는 양성 용종과 상호 교환적으로 이용될 수 있다.
나아가, 선암성 담낭 용종은, 본원 명세서 내에서 샘암종 담낭 용종 (adenocarcinoma GB polyps), 악성 담낭 용종 (malignant GB polyps), 또는 악성 용종과 상호 교환적으로 이용될 수 있다.
한편, 본 발명의 다양한 실시예에 따른 담낭 용종 진단 시스템은, 제1 평가 모델, 제2 평가 모델 및 제3 평가 모델을 순차적으로 이용하여, 최종적으로 종양성 담낭 용종의 특성을 분류하도록 구성될 수 있으나, 이에 제한되는 것은 아니다.
예를 들어, 본 발명의 다양한 실시예에 따른 담낭 용종 진단 시스템에서 단독의 평가 모델, 또는 다양한 조합의 평가 모델이 이용될 수 있다.
즉, 본 발명의 다양한 실시예에 따른 담낭 용종 진단 시스템은, 세 가지 딥 러닝 알고리즘에 기초한 평가 모델을 이용함에 따라, 담낭 용종, 특히 작은 크기의 담낭 용종에 대한 신뢰도 높은 진단 결과를 제공할 수 있다.
특히, 본 발명의 다양한 실시예에 이용되는 평가 모델들은 마지막 레이어의 특징 맵 (feature map) 이 시각화 된 CAM (class activation map) 을 제공하도록 더욱 구성될 수 있다. 이에, 병변 영역으로 의심되는 영역에 대한 확인이 용이할 수 있다.
한편, 본 발명의 다양한 실시예에 따른, 평가 모델들은, Resnet50일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 평가 모델들은 VGG net, R, DenseNet 및, encoder-decoder structure를 갖는 FCN (Fully Convolutional Network), SegNet, DeconvNet, DeepLAB V3+, U-net와 같은 DNN (deep neural network), SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet, Resnet-v2, Resnet50, Resnet101, Inception-v3 중 선택된 적어도 하나의 알고리즘에 기초할 수 있다. 나아가, 상기 평가 모델들은 전술한 알고리즘 중 적어도 두 개의 알고리즘 모델에 기초한 앙상블 모델일 수 도 있다.
이하에서는 도 1a 내지 1c를 참조하여, 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공용 디바이스에 기초한 담낭 용종 진단 시스템을 설명한다.
도 1a는 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공용 디바이스에 기초한 담낭 용종 진단 시스템을 예시적으로 도시한 것이다. 도 1b는 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공용 디바이스의 구성을 예시적으로 도시한 것이다. 도 1c는 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공용 디바이스로부터 담낭 용종에 대한 정보를 수신 받아 출력하는 의료진 디바이스의 구성을 예시적으로 도시한 것이다.
먼저, 도 1a을 참조하면, 담낭 용종 진단 시스템 (1000) 은, 개체에 대한 내시경 초음파 의료 영상을 기초로 담낭 용종과 관련된 정보를 제공하도록 구성된 시스템일 수 있다. 이때, 담낭 용종 진단 시스템 (1000) 은, 내시경 초음파 의료 영상에 기초하여, 개체에 대한 담낭계 질환의 발병 여부를 결정하도록 구성된 담낭 용종의 진단에 대한 정보 제공용 디바이스 (100), 담낭 용종 진단에 대한 정보를 수신하는 의료진 디바이스 (200) 및 내시경 초음파 의료 영상을 제공하는 내시경 초음파 진단 디바이스 (300) 로 구성될 수 있다.
먼저, 담낭 용종의 진단에 대한 정보 제공용 디바이스 (100) 는 내시경 초음파 진단 디바이스 (300) 로부터 제공된 사용자의 내시경 초음파 의료 영상을 기초로 담낭계 질환의 발병 여부를 진단하기 위해 다양한 연산을 수행하는 범용 컴퓨터, 랩탑, 및/또는 데이터 서버 등을 포함할 수 있다. 이때, 의료진 디바이스 (200) 는 담낭 용종에 대한 웹 페이지를 제공하는 웹 서버 (web server) 또는 모바일 웹 사이트를 제공하는 모바일 웹 서버 (mobile web server) 에 액세스하기 위한 디바이스일 수 있으나, 이에 한정되지 않는다.
보다 구체적으로, 담낭 용종의 진단에 대한 정보 제공용 디바이스 (100) 는 내시경 초음파 진단 디바이스 (300) 로부터 내시경 초음파 의료 영상을 수신하고, 수신된 내시경 초음파 의료 영상으로부터 담낭계 질환의 발병 여부와 연관된 정보를 제공할 수 있다. 이때, 내시경 초음파 진단 디바이스 (300) 는, 복수의 평가 모델을 이용할 수 있고, 각각의 모델에 기초하여 단계적인 (stepwise) 평가를 진행할 수 있다.
담낭 용종의 진단에 대한 정보 제공용 디바이스 (100) 는 개체에 대한 담낭계 질환의 발병과 연관된 데이터를 의료진 디바이스 (200) 로 제공할 수 있다.
이와 같이 담낭 용종의 진단에 대한 정보 제공용 디바이스 (100) 로부터 제공되는 데이터는 의료진 디바이스 (200) 에 설치된 웹 브라우저를 통해 웹 페이지로 제공되거나, 어플리케이션, 또는 프로그램 형태로 제공될 수 있다. 다양한 실시예에서 이러한 데이터는 클라이언트-서버 환경에서 플랫폼에 포함되는 형태로 제공될 수 있다.
다음으로, 의료진 디바이스 (200) 는 개체에 대한 담낭계 질환의 발병에 대한 정보 제공을 요청하고 진단 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하는 전자 디바이스로서, 스마트폰, 태블릿 PC (Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함할 수 있다.
의료진 디바이스 (200) 는 담낭 용종의 진단에 대한 정보 제공용 디바이스 (100) 로부터 개체에 대한 담낭계 질환의 발병에 관한 진단 결과를 수신하고, 수신된 결과를 표시부를 통해 표시할 수 있다. 여기서, 진단 결과는, 평가 모델들에 의해 병변을 분류하는 과정에서 예측된 ROI, 병변의 종류 (예를 들어, 정상, 담낭 결석, 담낭 용종, 종양성 담낭 용종, 비-종양성 담낭 용종, 선종성 담낭 용종, 또는 선암성 담낭 용종) 등을 포함할 수 있다.
한편, 위의 실시예들에 제한되지 않고, 개체에 대한 담낭계 질환의 발병에 대한 정보 제공에 대한 모든 단계들은 내시경 초음파 진단 디바이스 (300)에서 수행될 수도 있다.
다음으로, 도 1b를 참조하여, 본 발명의 담낭 용종의 진단에 대한 정보 제공용 디바이스 (100) 의 구성 요소에 대하여 구체적으로 설명한다.
도 1b를 참조하면, 담낭 용종의 진단에 대한 정보 제공용 디바이스 (100) 는 저장부 (110), 통신부 (120) 및 프로세서 (130) 를 포함한다.
먼저, 저장부 (110) 는 개체에 대한 담낭계 질환의 발병 여부를 진단하는 중에 생성된 다양한 데이터를 저장할 수 있다. 예를 들어, 저장부 (110) 는 제1 평가 모델, 제2 평가 모델 및 제3 평가 모델의 분류 과정에서 분류에 기여도가 높거나 용종 의심 영역으로 결정된 ROI를 포함하는 영상을 저장하고, ROI를 기준으로 크로핑된 영상을 저장하도록 구성될 수 있다. 다양한 실시예에서 저장부 (110) 는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
통신부 (120) 는 담낭 용종의 진단에 대한 정보 제공용 디바이스 (100) 가 외부 디바이스와 통신이 가능하도록 연결한다. 통신부 (120) 는 유/무선 통신을 이용하여 의료진 디바이스 (200), 나아가 내시경 초음파 진단 디바이스 (300) 와 연결되어 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부 (120) 는 내시경 초음파 진단 디바이스 (300) 로부터 개체의 내시경 초음파 의료 영상을 수신할 수 있다. 예를 들어, 통신부 (120) 는 내시경 초음파 진단 디바이스 (300) 로부터, 개체 대한 담낭 내시경 초음파 (동)영상을 수신할 수 있다. 나아가, 통신부 (120) 는 의료진 디바이스 (200) 로 진단 결과를 전달할 수 있다.
프로세서 (130) 는 저장부 (110) 및 통신부 (120) 와 동작 가능하게 연결되며, 개체에 대한 내시경 초음파 의료 영상을 분석하기 위한 다양한 명령들을 수행할 수 있다.
구체적으로, 프로세서 (130) 는 통신부 (120) 를 통해 수신된 내시경 초음파 의료 영상에 기초하여 담낭 용종의 발병 여부를 결정하고, 이의 특성을 분류하도록 구성될 수 있다.
이때, 프로세서 (130) 는 내시경 초음파 의료 영상에 기초하여 담낭 용종의 발병 여부를 결정하도록 구성된 제1 평가 모델, 및/또는 초음파 의료 영상 내에서 담낭 용종이 결정된 경우, 담낭 용종의 특성을 분류하도록 구성된 제2 평가 모델, 및/또는 종양성 담낭 용종이 결정된 경우, 종양성 담낭 용종의 특성을 분류하도록 구성된 제3 평가 모델에 기초할 수 있다.
한편, 프로세서 (130) 는, 담낭 용종 진단의 정확도를 높이기 위해, 스케일 바에 기초하여 ROI를 미리 결정된 수준으로 크로핑하도록 구성될 수 있다. 크로핑된 ROI는, 각각의 평가 모델에 입력 가능할 수 있다.
보다 구체적으로, 프로세서 (130) 는, 스케일 바에 기초하여 픽셀 당 크기를 산출하고, 픽셀 당 크기에 기초하여, 목표 크기를 결정하고, 목표 크기에 기초하여 ROI를 크로핑하도록 더 구성될 수 있다. 이에, 프로세서 (130) 는 담낭 용종의 크기 정보를 반영하여 특성을 분류할 수 있다. 더욱이, 프로세서 (130) 는 내시경 초음파 의료 영상 내의 용종에 대한 크기를 결정할 수도 있다.
나아가, 프로세서 (130) 는, 담낭 용종 발병 여부를 결정하는 하는 중에, 제1 평가 모델에 대한 관심 영역을 초음파 의료 영상에 표시하거나, 담낭 용종의 특성을 분류하는 중에, 제2 평가 모델에 대한 관심 영역을 상기 초음파 의료 영상에 표시하도록 더 구성될 수도 있다.
한편, 담낭 용종의 진단에 대한 정보 제공용 디바이스 (100) 는 하드웨어 적으로 설계된 것이 제한되는 것은 아니다. 예를 들어, 담낭 용종의 진단에 대한 정보 제공용 디바이스 (100) 의 프로세서 (130) 는 소프트웨어로 구현될 수 있다. 이에, 담낭 용종에 대한 진단 결과는 상기 소프트웨어가 연결된 내시경 초음파 진단 디바이스 (300) 의 표시부를 통해 표시될 수도 있다.
한편, 도 1c를 함께 참조하면, 의료진 디바이스 (200) 는 통신부 (210), 표시부 (220), 저장부 (230) 및 프로세서 (240) 를 포함한다.
통신부 (210) 는 의료진 디바이스 (200) 가 외부 디바이스와 통신이 가능하도록 두성될 수 있다. 통신부 (210) 는 유/무선 통신을 이용하여 담낭 용종의 진단에 대한 정보 제공용 디바이스 (100) 와 연결되어 담낭 용종의 진단과 연관된 다양한 데이터를 송신할 수 있다. 구체적으로, 통신부 (210) 는 담낭 용종의 진단에 대한 정보 제공용 디바이스 (100) 로부터 개체의 담낭 용종의 진단과 연관된 진단 결과, 예를 들어 개체가 정상 인지를 결정하거나, 담낭 결석, 담낭 용종, 종양성 담낭 용종, 비-종양성 담낭 용종, 선종성 담낭 용종, 또는 선암성 담낭 용종이 발병한 것인지를 평가하고 결정할 수 있다. 한편, 통신부 (210) 는 병변의 예측 과정에서 결정되는 관심 영역 등의 시각적 정보를 수신할 수 있다. 상기 정보들은 내시경 초음파 의료 영상에 대하여 표시되어 제공될 수 있으나, 이에 제한되는 것은 아니다.
표시부 (220) 는 개체의 담낭 용종의 진단과 연관된 진단 결과를 나타내기 위한 다양한 인터페이스 화면을 표시할 수 있다. 예를 들어, 표시부 (220) 는 개체가 정상 인지, 또는 담낭 결석, 담낭 용종, 종양성 담낭 용종, 비-종양성 담낭 용종, 선종성 담낭 용종, 또는 선암성 담낭 용종의 발병 위험도가 있는지를 확률적으로 표시하여 제공할 수 있고, 의심 영역을 내시경 초음파 의료 영상 내에 표시하여 제공할 수도 있다. 더욱이, 표시부 (220) 는 담낭 용종에 대한 크기를 출력할 수도 있다.
다양한 실시예에서 표시부 (220) 는 터치스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치 (touch), 제스처 (gesture), 근접, 드래그 (drag), 스와이프 (swipe) 또는 호버링 (hovering) 입력 등을 수신할 수 있다.
저장부 (230) 는 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 다양한 실시예에서 저장부 (230) 는 플래시 메모리 타입 (flash memory type), 하드디스크 타입 (hard disk type), 멀티미디어 카드 마이크로 타입 (multimedia card micro type), 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램 (Random Access Memory, RAM), SRAM (Static Random Access Memory), 롬 (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
프로세서 (240) 는 통신부 (210), 표시부 (220) 및 저장부 (230) 와 동작 가능하게 연결되며, 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하기 위한 다양한 명령들을 수행할 수 있다.
이하에서는, 도 2a 및 2b, 도 3a 및 3b를 참조하여, 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공 방법을 구체적으로 설명한다. 도 2a 및 2b는 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다. 도 3a 및 3b는 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공 방법에 따른 ROI의 크로핑하는 절차를 예시적으로 도시한 것이다.
먼저, 도 2a를 참조하면, 본 발명의 일 실시예에 따른 담낭 용종 진단의 절차는 다음과 같다. 먼저, 개체에 대한 초음파 의료 영상이 수신된다 (S210). 그 다음, 제1 평가 모델에 의해 초음파 의료 영상에 기초하여 개체의 담낭 용종 발병 여부가 결정된다 (S220). 그 다음, 제2 평가 모델에 의해 담낭 용종에 대한 특성이 결정되고 (S230), 마지막으로 진단 결과가 제공된다 (S240).
보다 구체적으로, 초음파 의료 영상이 수신되는 단계 (S210) 에서 내시경 초음파 의료 영상, 또는 초음파 동영상과 같은 초음파 의료 영상이 수신될 수 있다. 이때, 초음파 의료 영상은 담낭 및 담낭 내 용종 의심 영역을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 초음파 의료 영상이 수신되는 단계 (S210) 에서, 내시경 초음파 진단 디바이스가 구동되어 실시간으로 촬영된 내시경 초음파 의료 영상이 획득될 수 있다.
다음으로, 담낭 용종의 발병 여부가 결정되는 단계 (S220) 에서, 내시경 초음파 의료 영상, 보다 구체적으로 용종 의심 영역이 크로핑된 이미지를 입력으로 하여 정상인지 또는, 담낭 용종 또는 담낭 결석의 발병 여부 출력하도록 구성된 제1 평가 모델이 이용될 수 있다.
본 발명의 특징에 따르면, 담낭 용종 발병 여부를 결정하는 하는 중에, 제1 평가 모델에 대한 관심 영역이 초음파 의료 영상에 표시되어 출력될 수도 있다.
예를 들어, 도 2b를 참조하면, 초음파 의료 영상이 수신되는 단계 (S210) 에 의해 수신된 내시경 초음파 의료 영상 (312) 은, 용종 의심 영역 (3141) 의 ROI를 포함하도록 크로핑된다. 그 결과, 크로핑된 내시경 초음파 의료 영상 (314) 이 획득되고, 크로핑된 내시경 초음파 의료 영상 (314) 은 제1 평가 모델 (320) 에 입력된다. 이때, 제1 평가 모델 (320) 은, 담낭 용종인지 또는 담낭 결석인지를 분류하는 것에 있어서 관심도가 높은 영역인, 관심 영역이 표시된 초음파 의료 영상 (322) 을 제공할 수 있다. 예를 들어, 제1 평가 모델 (320) 에 대한 마지막 레이어의 특징 맵 (feature map) 이 시각화 된 CAM (class activation map) 이 제공될 수 있다. 이에, 담낭 용종 또는 담낭 결석으로 의심되는 병변 영역에 대한 확인이 용이할 수 있다. 담낭 용종의 발병 여부가 결정되는 단계 (S220) 의 결과로 크로핑된 내시경 초음파 의료 영상 (314) 의 용종 의심 영역 (3141) 은, 담낭 결석 (324) 또는 담낭 용종 (326) 으로 분류될 수 있다. 한편, 정상인 개체의 경우, 제1 평가 모델 (320) 에 의해 병변으로 의심 되는 영역인 ROI의 결정이 일어나지 않을 수 있다. 이에, 제1 평가 모델 (320) 은 정상 개체에 대한 판별이 가능할 수 있다.
다시 도 2a를 참조하면, 담낭 용종에 대한 특성이 결정되는 단계 (S230) 에서, 제2 평가 모델에 의해, 담낭 용종이 비-종양성 담낭 용종 또는 종양성 담낭 용종으로 분류될 수 있다.
예를 들어, 도 2b를 다시 참조하면, 담낭 용종의 발병 여부가 결정되는 단계 (S220) 의 결과로 용종 의심 영역 (3141) 이 담낭 용종 (326) 으로 결정된 경우, 크로핑된 내시경 초음파 의료 영상 (314) 은 다시 제2 평가 모델 (330) 에 입력된다. 이때, 제2 평가 모델 (330) 은, 담낭 용종 영역에 대하여 비-종양성 담낭 용종 또는 종양성 담낭 용종을 분류하도록 구성된 모델일 수 있다. 제2 평가 모델 (330) 은, 종양성 담낭 용종인지 또는 비-종양성 담낭 용종인지를 분류하는 과정에서 관심도 또는 기여도가 높은 영역인, 관심 영역이 표시된 초음파 의료 영상 (332) 을 제공하도록 더욱 구성될 수 있다. 예를 들어, 제2 평가 모델 (330) 에 대한 마지막 레이어의 특징 맵이 시각화 된 CAM이 제공될 수 있다. 이에, 종양성 담낭 용종 또는 비-종양성 담낭 용종으로 의심되는 병변 영역에 대한 확인이 용이할 수 있다. 담낭 용종에 대한 특성이 결정되는 단계 (S230) 의 결과로 크로핑된 내시경 초음파 의료 영상 (314) 의 용종 의심 영역 (3141) 은, 비-종양성 담낭 용종 (334) 또는 종양성 담낭 용종 (336) 으로 분류될 수 있다.
본 발명의 다른 특징에 따르면, 담낭 용종에 대한 특성이 결정되는 단계 (S230) 이후에 종양성 담낭 용종이 결정된 경우, 종양성 담낭 용종 영역에 대하여 악성 종양성 담낭 용종 또는 양성 종양성 담낭 용종을 분류하도록 구성된 제3 평가 모델에 의해 악성 종양성 담낭 용종 또는 양성 종양성 담낭 용종이 분류되는 단계가 더욱 수행될 수 있다.
예를 들어, 도 2b를 다시 참조하면, 담낭 용종에 대한 특성이 결정되는 단계 (S230) 의 결과로 용종 의심 영역 (3141) 이 종양성 담낭 용종 (336) 으로 결정된 경우, 크로핑된 내시경 초음파 의료 영상 (314) 은 다시 제3 평가 모델 (340) 에 입력된다. 이때, 제3 평가 모델 (340) 은, 담낭 용종 영역에 대하여 선종성 담낭 용종 또는 선암성 담낭 용종을 분류하도록 구성된 모델일 수 있다. 제3 평가 모델 (340) 은, 선종성 담낭 용종인지 또는 선암성 담낭 용종인지를 분류하는 과정에서 관심도 또는 기여도가 높은 영역인, 관심 영역이 표시된 초음파 의료 영상 (342) 을 제공하도록 더욱 구성될 수 있다. 예를 들어, 제2 평가 모델 (340) 에 대한 마지막 레이어의 특징 맵이 시각화 된 CAM이 제공될 수 있다. 이에, 선종성 담낭 용종 또는 선암성 담낭 용종으로 의심되는 병변 영역에 대한 확인이 용이할 수 있다. 악성 종양성 담낭 용종 또는 양성 종양성 담낭 용종이 분류되는 단계의 결과로 크로핑된 내시경 초음파 의료 영상 (314) 의 용종 의심 영역 (3141) 은, 선종 용종 (344) 또는 선암 용종 (346) 으로 분류될 수 있다.
다시 도 2a를 참조하면, 진단 결과가 제공되는 단계 (S240) 에서, 개체가 정상 인지, 또는 담낭 결석, 담낭 용종, 종양성 담낭 용종, 비-종양성 담낭 용종, 선종성 담낭 용종, 또는 선암성 담낭 용종의 발병 위험도가 있는지가 확률 적으로 제공될 수 있다. 나아가, 의심 영역이 내시경 초음파 의료 영상 내에 표시되어 제공될 수 있고, 담낭 용종에 대한 크기가 표시되어 제공될 수 도 있다.
이상의 다양한 실시예에 따른 담낭 용종의 진단에 대한 정보 제공 방법에 따라, 시각적으로 설명 가능한 담낭 용종 진단 시스템이 제공될 수 있다. 이에, 본 발명은, 상기 담낭 용종 진단 시스템을 제공함에 따라 부정확한 측정으로 인한 의료진의 담낭 용종의 진단에 대한 잘못된 해석을 방지하고, 실제 임상 실무에 있어서 의료진의 워크 플로우를 향상시킬 수 있다. 나아가, 의료진은 평가 결과에 따른 적절한 치료 방법을 빠르게 선택할 수 있어, 본 발명의 담낭 용종 진단 시스템은 조기 치료 및 좋은 치료 예후에 기여할 수 있는 효과가 있다.
한편, 담낭 용종 진단 시스템은 내시경 초음파와 같은 영상 진단 디바이스로부터의 내시경 초음파 의료 영상의 수신과 동시에 병변의 예측을 수행할 수 있다. 즉, 담낭 용종 진단 시스템은 스트리밍 서비스를 제공할 수 있고, 실시간으로 담낭 용종의 진단 정보를 제공할 수 있다.
이하에서는, 도 3a 및 3b를 참조하여, 본 발명의 다양한 실시예에 이용되는, 제1 평가 모델, 제2 평가 모델 및 제3 평가 모델에 이용되는 ROI를 크로핑하는 단계를 구체적으로 설명한다. 도 3a 및 3b는 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공 방법에 따른 ROI의 크로핑하는 절차를 예시적으로 도시한 것이다.
이때, 초음파 의료 영상이 내시경 초음파 의료 영상일 경우, 픽셀의 크기의 확인이 어려움에 따라, 본 발명의 일 실시예에 따르면, 내시경 초음파 의료 영상 내의 눈금을 포함하는 스케일 바에 기초하여 픽셀 당 크기의 확인 및 목표 크기의 설정이 가능하다.
도 3a를 참조하면, ROI의 크로핑을 위해, 먼저 스케일 바에 기초하여 픽셀 당 크기가 산출되고 (S310), 픽셀 당 크기에 기초하여, 목표 크기가 결정되고 (S320), 목표 크기에 기초하여 ROI가 크로핑된다 (S330).
보다 구체적으로, 도 3b를 참조하면, 내시경 초음파 의료 영상 (312) 은에 스케일 바 (352) 가 표시될 수 있다. 이때, 스케일 바 (352) 는 복수의 눈금이 표시되어 있는데, 한 칸의 눈금은 0.5 cm일 수 있다. 이에, 눈금 간 x 축 (가로 축) 의 픽셀 개수를 세어 픽셀 당 실제 크기 (mm) 의 추정이 가능할 수 있다.
본 발명의 특징에 따르면, 스케일 바에 기초하여 픽셀 당 크기가 산출되는 단계 (S310) 에서, 초음파 의료 영상의 스케일 바에서 선택된 두 개의 눈금 각각에 대한 x축의 좌표 값이 결정되고, x축 좌표에 기초하여 눈금 간 픽셀 거리가 산출된다. 그 다음, 픽셀 거리 및 눈금에 대하여 미리 결정된 크기에 기초하여 픽셀 당 크기가 산출될 수 있다.
예를 들어, 내시경 초음파 의료 영상에서 스케일 바 내의 두 개 의 눈금을 차례로 클릭하면, 클릭한 위치의 좌표값 (x축 값, y축 값) 이 획득될 수 있다. 그 다음, x축 값의 차이에 기초하여 두 눈금의 픽셀 거리가 결정될 수 있다. 그 다음, 한 칸의 눈금이 0.5cm인 것과 결정된 픽셀 거리에 기초하여, 픽셀 당 크기가 결정될 수 있다.
즉, 수동 방법에 의해 결정된 두 개의 눈금에 위치에 기초하여 픽셀 당 크기가 결정될 수 있다.
본 발명의 다른 특징에 따르면, 스케일 바에 기초하여 픽셀 당 크기가 산출되는 단계 (S310) 에서, 내시경 초음파 의료 영상 내에서 스케일 바가 크로핑되고, 연결요소 (connected component) 알고리즘에 의해 크로핑된 스케일 바의 눈금에 기초하여 눈금의 위치가 결정된다. 그 다음, 눈금의 위치 및 눈금에 대하여 미리 결정된 크기에 기초하여 픽셀 당 크기가 산출될 수 있다.
예를 들어, 내시경 초음파 의료 영상에서 눈금은 눈금 간 거리만 상이할 뿐, 특정 영역에 위치할 수 있다. 이에, 초음파 의료 영상 내에서 눈금이 위치한 영역의 일부가 크로핑 되고, 특정 화소값 이상의 픽셀들을 대상으로 연결 요소 알고리즘이 적용될 수 있다. 그 결과, 검출된 오브젝트들 중 이의 크기 및 위치 정보에 기초하여 눈금의 위치가 자동으로 결정될 수 있다. 그 다음, 눈금의 위치 및 눈금에 대하여 미리 결정된 크기에 기초하여 픽셀 당 크기가 산출될 수 있다.
즉, 자동 방법에 의해 결정된 두 개의 눈금에 위치에 기초하여 픽셀 당 크기가 결정될 수 있다.
다음으로, 목표 크기가 결정되는 단계 (S320) 에서, ROI의 크기가 결정될 수 있다. 예를 들어, ROI의 크기는 용종의 크기를 반영하여 20 x 20 mm일 수 있다. 즉, 스케일 바에 기초하여 픽셀 당 크기가 산출되는 단계 (S310) 에서, 수동 또는 자동으로 산출된 픽셀 당 실제 크기를 통해, 20 mm에 해당하는 픽셀의 개수가 역으로 산출될 수 있다.
마지막으로, 목표 크기에 기초하여 ROI가 크로핑되는 단계 (S330) 에서, 목표 크기, 예를 들어 20 x 20 mm에 대응하는 영역이 크로핑될 수 있다.
실측 정보에 기초하여 크로핑된 ROI는 제1 평가 모델, 제2 평가 모델, 또는 제3 평가 모델에 입력될 수 있고, 분류에 있어서 의심 병변의 크기 정보가 반영될 수 있다. 나아가, 작은 크기의 용종에 대하여 높은 정확도로 병변의 종류를 분류할 수 있다.
이하에서는, 도 4를 참조하여 본 발명의 다양한 실시예에 적용되는 평가 모델의 구조에 대하여 설명한다. 도 4는 본 발명의 다양한 실시예에 이용되는 평가 모델의 구조를 예시적으로 도시한 것이다.
이때, 본 발명의 다양한 실시예에 이용되는 제1 평가 모델, 제2 평가 모델 및 제3 평가 모델은 Resnet50에 기초할 수 있다. 보다 구체적으로, Resnet50에 기초한 평가 모델들은, 복수의 컨볼루션 (convolution) 레이어, 지역적 최대값을 뽑아 특징으로 사용하는 맥스 풀링 (max pooling) 레이어, 에버리지 풀링 (average pooling) 레이어 및 병변 분류를 위한 FC (Fully Connected) 레이어로 이루어질 수 있다.
보다 구체적으로, 평가 모델들에 초음파 의료 영상이 입력되면, 다층의 신경망 구조에 의해, 각각의 평가 모델은, 담낭 결석 또는 담낭 용종, 종양성 담낭 용종 또는 비-종양성 담낭 용종, 선암 담낭 용종 또는 선종 담낭 용종의 2 클래스로 병변을 분류하도록 구성될 수 있다. 그러나 이에 제한되는 것은 아니며, 제1 평가 모델은 정상을 분류할 수도 있다.
이때, 평가 모델들은 마지막 레이어의 특징 맵 (feature map) 이 시각화 된 CAM (class activation map) 을 제공하도록 더욱 구성될 수 있다. 이에, 병변 영역으로 의심되는 영역에 대한 확인이 용이할 수 있다.
예를 들어, CAM은 평가 모델들에 의해 결정된 관심도가 높은 주요 관심 영역을 포함할 수 있는데, 주요 관심 영역은 정도에 따라 0 내지 1사이의 값을 가지도록 정규화될 수도 있다.
한편, 평가 모델의 훈련을 위한 하이퍼 파라미터는 배치 크기가 40, 에폭이 300, 학습률이 0.0001로 설정될 수 있으나, 파라미터의 값은 이에 제한되는 것이 아니다.
나아가, 평가 모델들은 VGG net, R, DenseNet 및, encoder-decoder structure를 갖는 FCN (Fully Convolutional Network), SegNet, DeconvNet, DeepLAB V3+, U-net와 같은 DNN (deep neural network), SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet, Resnet-v2, Resnet101, Inception-v3 중 선택된 적어도 하나의 알고리즘에 기초할 수 있다. 또한, 상기 평가 모델들은 전술한 알고리즘 중 적어도 두 개의 알고리즘 모델에 기초한 앙상블 모델일 수 도 있다.
평가: 본 발명의 다양한 실시예에 이용되는 제1 평가 모델, 제2 평가 모델 및 제3 평가 모델의 평가
이하에서는, 도 5a 내지 5e를 참조하여, 본 발명의 다양한 실시예에 따른 제1 평가 모델, 제2 평가 모델 및 제3 평가 모델의 학습 데이터와 이들의 평가 결과를 설명한다. 도 5a는 본 발명의 다양한 실시예에 이용되는 평가 모델의 학습 및 평가 데이터를 도시한 것이다. 도 5b 내지 5e는 본 발명의 다양한 실시예에 이용되는 평가 모델의 평가 결과를 도시한 것이다.
이때, 제1 평가 모델은, 용종 의심 영역에 대하여 담낭 용종 및 담낭 결석을 구별하도록 학습되었으나, 이에 제한되는 것이 아니며 '정상'으로의 평가 또한 가능할 수 있다.
먼저, 도 5a를 참조하면, 평가 모델 구축을 위해, 670 명의 환자로부터 획득된 1039 장의 영상이 학습용 데이터 셋으로 이용되었다. 보다 구체적으로, 학습용 데이터 셋은 종양성 담낭 용종을 갖는 개체로부터 획득된 145 장의 내시경 초음파 영상, 비-종양성 담낭 용종을 갖는 개체로부터 획득된 691 장의 내시경 초음파 영상, 및 담낭 결석을 갖는 개체로부터 획득된 203 장의 내시경 초음파 영상으로 이루어진다. 이때, 종양성 담낭 용종 개체는, 선암성 담낭 용종 개체와 선종성 담낭 용종 개체로 이루어질 수 있고, 비-종양성 담낭 용종 개체는 콜레스테롤 담낭 용종 개체 및 선근종증 개체로 이루어질 수 있다.
또한, 평가 모델의 검증을 위해, 83 명의 환자로부터 획득된 83 장의 영상이 검증용 데이터 셋으로 이용되었다. 보다 구체적으로, 검증용 데이터 셋은 종양성 담낭 용종을 갖는 개체로부터 획득된 20 장의 내시경 초음파 영상, 비-종양성 담낭 용종을 갖는 개체로부터 획득된 52 장의 내시경 초음파 영상, 및 담낭 결석을 갖는 개체로부터 획득된 11 장의 내시경 초음파 영상으로 이루어진다. 이때, 종양성 담낭 용종 개체는, 선암성 담낭 용종 개체와 선종성 담낭 용종 개체로 이루어질 수 있고, 비-종양성 담낭 용종 개체는 콜레스테롤 담낭 용종 개체 및 선근종증 개체로 이루어질 수 있다.
도 5b의 평가 결과를 참조하면, 담낭 용종 및 담낭 결석을 분류하도록 학습된 제1 평가 모델은, 분류의 민감도 (sensitivity) 가 96.3 %로, 특이도 (specificity) 가 92.9 %로, 정확도 (accuracy) 가 95.7 %로 나타난다. 더욱이, PPV (positive predictive value) 는 98.4 %로, NPV (negative predictive value) 는 79.5 %로 나타나며, 특히 진단 능력과 연관이 있는 AUC (Area Under Curve) 값은 0.99로 매우 높은 수준으로 나타난다. 이러한 결과는, 제1 평가 모델이 담낭 용종과 담낭 결석을 높은 정확도로 분류하며, 분류 결과가 높은 신뢰도를 갖는 다는 것을 의미할 수 있다.
또한, 담낭 용종에 대하여 비-종양성 담낭 용종 및 종양성 담낭 용종을 분류하도록 학습된 제2 평가 모델은, 분류의 민감도가 77.8 %로, 특이도가 91.6 %로, 정확도가 89.8 %로 나타난다. 더욱이, NPV는 96.5 %로 나타나며, 진단 능력과 연관이 있는 AUC 값은 0.891로 높은 수준으로 나타난다. 이러한 결과는, 제2 평가 모델이 비-종양성 담낭 용종 및 종양성 담낭 용종을 높은 정확도로 분류하며, 분류 결과가 높은 신뢰도를 갖는 다는 것을 의미할 수 있다.
나아가, 종양성 담낭 용종에 대하여 선암성 담낭 용종 및 선종성 담낭 용종을 분류하도록 학습된 제3 평가 모델은, 분류의 민감도가 85.6 %로, 정확도가 82.1 %로 나타난다. 더욱이, PPV는 87.4 %로 나타나며, 진단 능력과 연관이 있는 AUC 값은 0.910로 매우 높은 수준으로 나타난다. 이러한 결과는, 제3 평가 모델이 선암성 담낭 용종 및 선종성 담낭 용종을 높은 정확도로 분류하며, 분류 결과가 높은 신뢰도를 갖는 다는 것을 의미할 수 있다.
다음으로, 도 5c를 참조하면, 다양한 실시예에 따른 담낭 용종 진단 시스템에 이용되는 평가 모델들 각각과 전문가, 중급 및 초급의 의료인에 대한 병변 분류 결과가 비교하여 도시된다.
보다 구체적으로, 제1 평가 모델의 담낭 결석 및 담낭 용종에 대한 분류의 민감도는 98.4 %, 정확도는 84.6 %로, 특히 90.9 %의 민감도를 갖는 전체 의료진에 의한 담낭 결석 및 담낭 용종의 분류 결과보다 높은 것으로 나타난다.
제2 평가 모델의 경우, 비-종양성 담낭 용종 및 종양성 담낭 용종에 대한 분류의 특이도가 77.4 %, 정확도가 74.4 %로, 44.9 %의 특이도와 65.3 %의 정확도를 갖는 전체 의료진에 의한 비-종양성 담낭 용종 및 종양성 담낭 용종의 분류 결과보다 높은 것으로 나타난다. 특히, 제2 평가 모델은, 전문가 수준의 의료인과 비교했을 때 유사한 수준의 분류 정확도를 갖는 것으로 나타난다.
제3 평가 모델의 경우, 종양성 담낭 용종을, 선종성 담낭 용종 및 선암성 담낭 용종에 대한 분류의 민감도가 65.3 %, 특이도가 60.6 %, 정확도가 63.8 %로 나타난다. 이는, 민감도가 61.1 % 특이도가 20.9 %, 정확도가 38.1 %인 전문가 수준의 의료진에 의한 선종성 담낭 용종 및 선암성 담낭 용종에 대한 분류 결과보다 높은 것으로 나타난다. 이러한 결과는, 특히, 종성 담낭 용종 및 선암성 담낭 용종을 분류하는 것에 있어서 제3 평가 모델의 진단 성능이, 전문가 수준의 의료인보다 높다는 것을 의미할 수 있다.
도 5d의 (a)를 더욱 참조하면, 실선의 본 발명의 일 실시예에 따른 제2 평가 모델의 종양성 담낭 용종 및 비-종양성 담낭 용종의 분류에 대한 ROC 커브와 함께, 전문가, 중급 및 초급 의료진에 의한 진단 결과가 도시된다. 보다 구체적으로, 제2 평가 모델은 경험이 상대적으로 부족한 초급의 의료진보다 진단 능력이 유의하게 높은 것으로 나타난다.
도 5d의 (b)를 참조하면, 실선의 본 발명의 일 실시예에 따른 제3 평가 모델의 선종성 담낭 용종 및 선암성 담낭 용종의 분류에 대한 ROC 커브와 함께, 전문가, 중급 및 초급 의료진에 의한 진단 결과가 도시된다. 보다 구체적으로, 제3 평가 모델은 전문가보다 진단 능력이 유의하게 높은 것으로 나타난다.
이상의 결과에 따르면, 복수의 평가 모델에 기초한 담낭 용종 평가 시스템은, 전문가 수준의 의료진과 유사한 수준의 진단 능력을 가질 수 있는 것으로 나타난다.
즉, 딥 러닝 모델에 기초한 담낭 용종 진단 시스템은, 의료인의 숙련도에 관계 없이 내시경 초음파 의료 영상에 대한 객관적인 분석이 가능할 수 있다.
따라서, 본 발명은 딥 러닝 모델에 기초한 용종 진단 시스템을 제공함으로써, 부정확한 영상으로 인한 의료진의 담낭 용종의 진행에 대한 잘못된 해석을 방지하고, 실제 임상 실무에 있어서 의료진의 워크 플로우를 향상시킬 수 있다.
다음으로, 도 5e를 참조하면, 제1 평가 모델, 제2 평가 모델 및 제3 평가 모델의 분류 과정에서 분류에 기여도가 높은 영역을 도시하는 CAM 영상이 도시된다.
보다 구체적으로, 도 5e의 (a)를 참조하면, 본 발명의 다양한 실시예에 이용되는 제1 평가 모델에 의해 담낭 결석으로 결정된 영역에 대한 CAM 분석 결과에 따르면, 특정 영역에 대하여 관심도가 높은 것으로 나타난다. 나아가, 도 5e의 (b)를 참조하면, 본 발명의 다양한 실시예에 이용되는 제1 평가 모델에 의해 담낭 용종으로 결정된 영역에 대한 CAM 분석 결과에 따르면, 특정 용종 영역에 대하여 관심도가 높은 것으로 나타난다. 또한, 도 5e의 (c)를 참조하면, 본 발명의 다양한 실시예에 이용되는 제2 평가 모델에 의해 비-종양성 담낭 용종으로 결정된 영역에 대한 CAM 분석 결과에 따르면, 특정 용종 영역에 대하여 관심도가 높은 것으로 나타난다. 또한, 도 5e의 (d)를 참조하면, 본 발명의 다양한 실시예에 이용되는 제2 평가 모델에 의해 종양성 담낭 용종으로 결정된 영역에 대한 CAM 분석 결과에 따르면, 특정 용종 영역에 대하여 관심도가 높은 것으로 나타난다.
이와 같이 평가 모델들은 마지막 레이어의 특징 맵이 시각화 된 CAM 을 제공하도록 더욱 구성될 수 있어, 의료진은 병변 영역으로 의심되는 영역에 대하여 확인할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 담낭 용종의 진단에 대한 정보 제공용 디바이스
110, 230: 저장부
120, 210: 통신부
130, 240: 프로세서
200: 의료진 디바이스
220: 표시부
300: 내시경 초음파 진단 디바이스
312: 내시경 초음파 의료 영상
314: 크로핑된 내시경 초음파 의료 영상
3141: 용종 의심 영역
320: 제1 평가 모델
322, 332, 334: 관심 영역이 표시된 초음파 의료 영상
324: 담낭 결석
326: 담낭 용종
330: 제2 분류 모델
334: 비-종양성 담낭 용종
336: 종양성 담낭 용종
340: 제3 평가 모델
344: 선종성 담낭 용종
346: 선암성 담낭 용종
352: 스케일 바

Claims (22)

  1. 프로세서에 의해 구현되는 용종 진단에 대한 정보 제공 방법으로,
    개체의 담낭 부위를 포함하는 초음파 의료 영상을 수신하는 단계;
    초음파 의료 영상에 기초하여 담낭 용종의 발병 여부를 결정하도록 구성된 제1 평가 모델을 이용하여, 상기 개체의 담낭 용종 발병 여부를 결정하는 단계;
    상기 초음파 의료 영상 내에서 담낭 용종이 결정된 경우, 담낭 용종의 특성을 분류하도록 구성된 제2 평가 모델에 기초하여, 상기 담낭 용종에 대한 특성을 결정하는 단계를 포함하는, 담낭 용종의 진단에 대한 정보 제공 방법.
  2. 제1항에 있어서,
    상기 개체의 담낭 용종 발병 여부를 결정하는 단계는,
    상기 초음파 의료 영상에 기초하여 담낭 용종 또는 담낭 결석 (gallbladder stones) 을 분류하도록 더 학습된 상기 제1 평가 모델을 이용하여, 담낭 용종 또는 담낭 결석을 결정하는 단계를 포함하는, 담낭 용종의 진단에 대한 정보 제공 방법.
  3. 제2항에 있어서,
    상기 담낭 용종에 대한 특성을 결정하는 단계는,
    담낭 용종 영역에 대하여 비-종양성 담낭 용종 또는 종양성 담낭 용종을 분류하도록 구성된 상기 제2 평가 모델을 이용하여, 비-종양성 담낭 용종 또는 종양성 담낭 용종을 결정하는 단계를 포함하는, 담낭 용종의 진단에 대한 정보 제공 방법.
  4. 제3항에 있어서,
    상기 담낭 용종에 대한 특성을 결정하는 단계 이후에,
    종양성 담낭 용종이 결정된 경우, 종양성 담낭 용종 영역에 대하여 선암성 담낭 용종 또는 선종성 담낭 용종을 분류하도록 구성된 제3 평가 모델을 이용하여, 선암성 담낭 용종 또는 선종성 담낭 용종을 결정하는 단계를 더 포함하는, 담낭 용종의 진단에 대한 정보 제공 방법.
  5. 제1항에 있어서,
    상기 초음파 의료 영상을 수신하는 단계 이후에,
    상기 초음파 의료 영상에 대하여 ROI (region of interest) 를 결정하는 단계, 및
    상기 ROI를 크로핑 (cropping) 하는 단계를 더 포함하고,
    상기 개체의 담낭 용종 발병 여부를 결정하는 단계는,
    상기 1 평가 모델을 이용하여, 상기 ROI를 기초로 개체의 담낭 용종 발병 여부를 결정하는 단계를 포함하는, 담낭 용종의 진단에 대한 정보 제공 방법.
  6. 제5항에 있어서,
    상기 초음파 의료 영상은, 스케일 바 (scale bar) 를 포함하고,
    상기 크로핑하는 단계는,
    상기 스케일 바에 기초하여 상기 ROI를 미리 결정된 수준으로 크로핑하는 단계를 포함하는, 담낭 용종의 진단에 대한 정보 제공 방법.
  7. 제6항에 있어서,
    상기 미리 결정된 수준으로 크로핑하는 단계는,
    상기 스케일 바에 기초하여 픽셀 당 크기를 산출하는 단계;
    상기 픽셀 당 크기에 기초하여, 목표 크기를 결정하는 단계, 및
    상기 목표 크기에 기초하여 상기 ROI를 크로핑하는 단계를 포함하는, 담낭 용종의 진단에 대한 정보 제공 방법.
  8. 제7항에 있어서,
    상기 스케일 바는 미리 결정된 크기를 갖는 눈금을 포함하고,
    상기 픽셀 당 크기를 산출하는 단계는,
    상기 초음파 의료 영상의 스케일 바에서 선택된 두 개의 눈금 각각에 대한 x축의 좌표 값을 결정하는 단계;
    상기 x축 좌표에 기초하여 픽셀 거리를 산출하는 단계, 및
    상기 픽셀 거리 및 상기 미리 결정된 크기에 기초하여 상기 픽셀 당 크기를 산출하는 단계를 포함하는, 담낭 용종의 진단에 대한 정보 제공 방법.
  9. 제7항에 있어서,
    상기 스케일 바는 미리 결정된 크기를 갖는 눈금을 포함하고,
    상기 픽셀 당 크기를 산출하는 단계는,
    상기 초음파 의료 영상 내에서 상기 스케일 바를 크로핑하는 단계;
    연결요소 (connected component) 알고리즘을 이용하여, 크로핑된 스케일 바의 눈금에 기초하여 눈금의 위치를 결정하는 단계, 및
    상기 눈금의 위치 및 상기 미리 결정된 크기에 기초하여 상기 픽셀 당 크기를 산출하는 단계를 포함하는, 담낭 용종의 진단에 대한 정보 제공 방법.
  10. 제1항에 있어서,
    상기 초음파 의료 영상은,
    내시경 초음파 (endoscopic ultrasound, EUS) 의료 영상인, 담낭 용종의 진단에 대한 정보 제공 방법.
  11. 제1항에 있어서,
    담낭 용종 발병 여부를 결정하는 하는 중에, 상기 제1 평가 모델에 대한 관심 영역을 상기 초음파 의료 영상에 표시하여 제공하거나,
    상기 담낭 용종의 특성을 분류하는 중에, 상기 제2 평가 모델에 대한 관심 영역을 상기 초음파 의료 영상에 표시하여 제공하는 단계를 더 포함하는, 담낭 용종의 진단에 대한 정보 제공 방법.
  12. 개체의 담낭 부위를 포함하는 초음파 의료 영상을 수신하도록 구성된 통신부, 및
    상기 통신부와 연결된 프로세서를 포함하고,
    상기 프로세서는,
    초음파 의료 영상에 기초하여 담낭 용종의 발병 여부를 결정하도록 구성된 제1 평가 모델을 이용하여, 상기 개체의 담낭 용종 발병 여부를 결정하고, 상기 초음파 의료 영상 내에서 담낭 용종이 결정된 경우 담낭 용종의 특성을분류하도록 구성된 제2 평가 모델에 기초하여, 상기 담낭 용종에 대한 특성을 결정하도록 구성된, 담낭 용종의 진단에 대한 정보 제공용 디바이스.
  13. 제12항에 있어서,
    상기 프로세서는,
    상기 초음파 의료 영상에 기초하여 담낭 용종 또는 담낭 결석 (gallbladder stones) 을 분류하도록 더 학습된 상기 제1 평가 모델을 이용하여, 담낭 용종 또는 담낭 결석을 결정하도록 구성된, 담낭 용종의 진단에 대한 정보 제공용 디바이스.
  14. 제13항에 있어서,
    상기 프로세서는,
    담낭 용종 영역에 대하여 비-종양성 담낭 용종 또는 종양성 담낭 용종을 분류하도록 구성된 상기 제2 평가 모델을 이용하여, 비-종양성 담낭 용종 또는 종양성 담낭 용종을 결정하도록 더 구성된, 담낭 용종의 진단에 대한 정보 제공용 디바이스.
  15. 제14항에 있어서,
    상기 프로세서는,
    종양성 담낭 용종이 결정된 경우, 종양성 담낭 용종 영역에 대하여 선암성 담낭 용종 또는 선종성 담낭 용종을 분류하도록 구성된 제3 평가 모델을 이용하여, 선암성 담낭 용종 또는 선종성 담낭 용종을 결정하도록 더 구성된, 담낭 용종의 진단에 대한 정보 제공용 디바이스.
  16. 제12항에 있어서,
    상기 프로세서는,
    상기 초음파 의료 영상에 대하여 ROI (region of interest) 를 결정하고, 상기 ROI를 크로핑 (cropping) 하고, 상기 1 평가 모델을 이용하여, 상기 ROI를 기초로 개체의 담낭 용종 발병 여부를 결정하도록 더 구성된, 담낭 용종의 진단에 대한 정보 제공용 디바이스.
  17. 제 16항에 있어서,
    상기 초음파 의료 영상은, 스케일 바 (scale bar) 를 포함하고,
    상기 프로세서는,
    상기 스케일 바에 기초하여 상기 ROI를 미리 결정된 수준으로 크로핑하도록 더 구성된, 담낭 용종의 진단에 대한 정보 제공용 디바이스.
  18. 제17항에 있어서,
    상기 프로세서는,
    상기 스케일 바에 기초하여 픽셀 당 크기를 산출하고, 상기 픽셀 당 크기에 기초하여, 목표 크기를 결정하고, 상기 목표 크기에 기초하여 상기 ROI를 크로핑하도록 더 구성된, 담낭 용종의 진단에 대한 정보 제공용 디바이스.
  19. 제18항에 있어서,
    상기 스케일 바는 미리 결정된 크기를 갖는 눈금을 포함하고,
    상기 프로세서는,
    상기 초음파 의료 영상의 스케일 바에서 선택된 두 개의 눈금 각각에 대한 x축의 좌표 값을 결정하고, 상기 x축 좌표에 기초하여 픽셀 거리를 산출하고, 상기 픽셀 거리 및 상기 미리 결정된 크기에 기초하여 상기 픽셀 당 크기를 산출하도록 더 구성된, 담낭 용종의 진단에 대한 정보 제공용 디바이스.
  20. 제18항에 있어서,
    상기 스케일 바는 미리 결정된 크기를 갖는 눈금을 포함하고,
    상기 프로세서는,
    상기 초음파 의료 영상 내에서 상기 스케일 바를 크로핑하고, 연결요소 (connected component) 알고리즘을 이용하여, 크로핑된 스케일 바의 눈금에 기초하여 눈금의 위치를 결정하고, 상기 눈금의 위치 및 상기 미리 결정된 크기에 기초하여 상기 픽셀 당 크기를 산출하도록 더 구성된, 담낭 용종의 진단에 대한 정보 제공용 디바이스.
  21. 상기 초음파 의료 영상은,
    내시경 초음파 (endoscopic ultrasound, EUS) 의료 영상인, 담낭 용종의 진단에 대한 정보 제공용 디바이스.
  22. 제12항에 있어서,
    상기 프로세서는,
    담낭 용종 발병 여부를 결정하는 하는 중에, 상기 제1 평가 모델에 대한 관심 영역을 상기 초음파 의료 영상에 표시하여 제공하거나,
    상기 담낭 용종의 특성을 분류하는 중에, 상기 제2 평가 모델에 대한 관심 영역을 상기 초음파 의료 영상에 표시하여 제공하도록 더 구성된, 담낭 용종의 진단에 대한 정보 제공용 디바이스.
KR1020200090945A 2020-07-22 2020-07-22 담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 담낭 용종의 진단에 대한 정보 제공용 디바이스 KR102485930B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200090945A KR102485930B1 (ko) 2020-07-22 2020-07-22 담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 담낭 용종의 진단에 대한 정보 제공용 디바이스
PCT/KR2021/009346 WO2022019616A1 (ko) 2020-07-22 2021-07-20 담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 담낭 용종의 진단에 대한 정보 제공용 디바이스
US18/017,402 US20230274421A1 (en) 2020-07-22 2021-07-20 Method for providing information about diagnosis of gallbladder polyp and device for providing information about diagnosis of gallbladder polyp using same
JP2023504125A JP2023539718A (ja) 2020-07-22 2021-07-20 胆嚢ポリープの診断に対する情報提供方法及びそれを用いた胆嚢ポリープの診断に対する情報提供用デバイス

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200090945A KR102485930B1 (ko) 2020-07-22 2020-07-22 담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 담낭 용종의 진단에 대한 정보 제공용 디바이스

Publications (2)

Publication Number Publication Date
KR20220012462A true KR20220012462A (ko) 2022-02-04
KR102485930B1 KR102485930B1 (ko) 2023-01-10

Family

ID=79729629

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200090945A KR102485930B1 (ko) 2020-07-22 2020-07-22 담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 담낭 용종의 진단에 대한 정보 제공용 디바이스

Country Status (4)

Country Link
US (1) US20230274421A1 (ko)
JP (1) JP2023539718A (ko)
KR (1) KR102485930B1 (ko)
WO (1) WO2022019616A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140006466A (ko) * 2012-07-05 2014-01-16 주식회사 유비케어 검진소견 분석 장치 및 방법
KR20160062819A (ko) * 2014-11-25 2016-06-03 재단법인 아산사회복지재단 갑상선암 자동 판별 방법 및 시스템
KR20180070990A (ko) * 2016-12-19 2018-06-27 삼성메디슨 주식회사 초음파 영상장치 및 그 제어방법
US20200069292A1 (en) * 2018-08-31 2020-03-05 The University Of British Columbia Ultrasonic image analysis
KR20200109093A (ko) * 2019-03-12 2020-09-22 삼성메디슨 주식회사 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품
KR20220008424A (ko) * 2020-07-13 2022-01-21 연세대학교 원주산학협력단 일회용 초음파 탐촉자를 구비한 내시경 영상 진단 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140006466A (ko) * 2012-07-05 2014-01-16 주식회사 유비케어 검진소견 분석 장치 및 방법
KR20160062819A (ko) * 2014-11-25 2016-06-03 재단법인 아산사회복지재단 갑상선암 자동 판별 방법 및 시스템
KR20180070990A (ko) * 2016-12-19 2018-06-27 삼성메디슨 주식회사 초음파 영상장치 및 그 제어방법
US20200069292A1 (en) * 2018-08-31 2020-03-05 The University Of British Columbia Ultrasonic image analysis
KR20200109093A (ko) * 2019-03-12 2020-09-22 삼성메디슨 주식회사 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품
KR20220008424A (ko) * 2020-07-13 2022-01-21 연세대학교 원주산학협력단 일회용 초음파 탐촉자를 구비한 내시경 영상 진단 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Deep learning-based decision support system for the diagnosis of neoplastic gallbladder polyps on ultrasonography: Preliminary results", Scientific Report 10, Article number: 7700(2020.5.7.)* *
"Diagnostic performance of endoscopic ultrasound-artificial intelligence using deep learning analysis of gallbladder polypoid lesions", J Gastroenterol Hepatol, 36(12)(2021.8.31.) *
"담낭 용종성 병변에 대한 딥 러닝 분석을 이용한 내시경 초음파-인공 지능의 진단 능력 연구", 대한내과학회 추계학술발표논문집 2020권1호(2020.10.31.) *

Also Published As

Publication number Publication date
JP2023539718A (ja) 2023-09-19
WO2022019616A1 (ko) 2022-01-27
US20230274421A1 (en) 2023-08-31
KR102485930B1 (ko) 2023-01-10

Similar Documents

Publication Publication Date Title
JP7407790B2 (ja) 誘導肝イメージングのための人工ニューラルネットワークを有する超音波システム
JP7357015B2 (ja) 生検予測及び超音波撮像によるガイド並びに関連するデバイス、システム、及び方法
CN109791692B (zh) 使用来自感兴趣区域的不同视角的多个图像进行计算机辅助检测以提高检测准确度的***和方法
US11375984B2 (en) Method and system for managing feature reading and scoring in ultrasound and/or optoacoustic images
US10424411B2 (en) Biopsy-free detection and staging of cancer using a virtual staging score
US20220254023A1 (en) System and Method for Interpretation of Multiple Medical Images Using Deep Learning
US20040101181A1 (en) Automated method and system for computerized image analysis prognosis
KR20200080626A (ko) 병변 진단에 대한 정보 제공 방법 및 이를 이용한 병변 진단에 대한 정보 제공용 디바이스
US20220015728A1 (en) Methods and systems to determine cancer molecular subtypes based on ultrasound and/or optoacoustic (oa/us) features
Park et al. MRI assessment of complete response to preoperative chemoradiation therapy for rectal cancer: 2020 guide for practice from the Korean Society of Abdominal Radiology
US11246527B2 (en) Method and system for managing feature reading and scoring in ultrasound and/or optoacoustice images
JP7461501B2 (ja) 前立腺自動解析システム
US11257210B2 (en) Method and system of performing medical treatment outcome assessment or medical condition diagnostic
US20210077009A1 (en) Predicting response to therapy for adult and pediatric crohn's disease using radiomic features of mesenteric fat regions on baseline magnetic resonance enterography
US20210407637A1 (en) Method to display lesion readings result
WO2020257482A1 (en) Method and system for managing feature reading and scoring in ultrasound and/or optoacoustice images
KR20220039881A (ko) 전문가의 진단 능력 평가 방법, 인공지능 기반의 진단 보조 방법 및 이를 이용한 디바이스
JP2008510565A (ja) 標識された糞便または虚脱結腸領域の存在下で結腸壁を抽出するためのシステムおよび方法
KR101656582B1 (ko) 갑상선암 자동 판별 방법 및 시스템
KR20200060129A (ko) 병변 예측 방법 및 이를 이용한 병변 진단용 디바이스
KR102485930B1 (ko) 담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 담낭 용종의 진단에 대한 정보 제공용 디바이스
KR20230099995A (ko) 자궁 경부암의 진단에 대한 정보 제공 방법 및 이를 이용한 자궁 경부암의 진단에 대한 정보 제공용 디바이스
Kil et al. Deep learning in thyroid ultrasonography to predict tumor recurrence in thyroid cancers
Meng et al. Deep learning segmentation, classification, and risk prediction of complex vascular lesions on intravascular ultrasound images
KR102647251B1 (ko) 하지 정렬 평가 방법 및 이를 이용한 하지 정렬 평가용 디바이스

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant