KR20220095342A - Ct 영상을 이용한 갑상선 암의 림프절 전이 진단 방법 및 진단 시스템 - Google Patents
Ct 영상을 이용한 갑상선 암의 림프절 전이 진단 방법 및 진단 시스템 Download PDFInfo
- Publication number
- KR20220095342A KR20220095342A KR1020200186126A KR20200186126A KR20220095342A KR 20220095342 A KR20220095342 A KR 20220095342A KR 1020200186126 A KR1020200186126 A KR 1020200186126A KR 20200186126 A KR20200186126 A KR 20200186126A KR 20220095342 A KR20220095342 A KR 20220095342A
- Authority
- KR
- South Korea
- Prior art keywords
- lymph node
- image
- thyroid cancer
- node metastasis
- learning
- Prior art date
Links
- 208000024770 Thyroid neoplasm Diseases 0.000 title claims abstract description 119
- 201000002510 thyroid cancer Diseases 0.000 title claims abstract description 119
- 208000007433 Lymphatic Metastasis Diseases 0.000 title claims abstract description 110
- 238000002405 diagnostic procedure Methods 0.000 title description 5
- 238000013135 deep learning Methods 0.000 claims abstract description 83
- 238000000034 method Methods 0.000 claims abstract description 66
- 210000001165 lymph node Anatomy 0.000 claims abstract description 48
- 230000003902 lesion Effects 0.000 claims abstract description 43
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 34
- 230000003190 augmentative effect Effects 0.000 claims abstract description 31
- 210000001685 thyroid gland Anatomy 0.000 claims abstract description 11
- 238000003745 diagnosis Methods 0.000 claims description 57
- 230000009466 transformation Effects 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 9
- 230000003416 augmentation Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 8
- 238000012805 post-processing Methods 0.000 claims description 8
- 238000005096 rolling process Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000002845 discoloration Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 230000036961 partial effect Effects 0.000 claims description 6
- 238000009966 trimming Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000000873 masking effect Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000002591 computed tomography Methods 0.000 description 53
- 238000012549 training Methods 0.000 description 14
- 238000004195 computer-aided diagnosis Methods 0.000 description 12
- 239000008186 active pharmaceutical agent Substances 0.000 description 9
- 230000035945 sensitivity Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 230000001394 metastastic effect Effects 0.000 description 5
- 206010061289 metastatic neoplasm Diseases 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 206010027476 Metastases Diseases 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 4
- 238000002224 dissection Methods 0.000 description 4
- 230000009401 metastasis Effects 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- XMBWDFGMSWQBCA-RNFDNDRNSA-M iodine-131(1-) Chemical compound [131I-] XMBWDFGMSWQBCA-RNFDNDRNSA-M 0.000 description 2
- 230000003211 malignant effect Effects 0.000 description 2
- 230000002980 postoperative effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 238000011269 treatment regimen Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000001347 McNemar's test Methods 0.000 description 1
- 206010027459 Metastases to lymph nodes Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000010220 Pearson correlation analysis Methods 0.000 description 1
- 238000000692 Student's t-test Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/12—Arrangements for detecting or locating foreign bodies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G06N3/0427—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Physiology (AREA)
- Quality & Reliability (AREA)
- Pulmonology (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
본원은 대상체의 갑상선을 촬영한 CT 영상을 획득하는 단계, 상기 CT 영상으로부터 병변을 추출하여 크롭(crop) 이미지를 생성하는 단계, 상기 크롭 이미지를 증강(augmentation)시키는 단계, 컨볼루션 신경망(convolutional neural network, CNN)을 이용하여 상기 증강된 이미지를 학습하여 학습정보를 생성하는 단계 및 상기 학습정보에 기초하여 갑상선 암의 림프절 전이 여부를 진단하는 단계를 포함하는 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법을 제공한다.
Description
본원은 CT 영상을 이용한 갑상선 암의 림프절 전이 진단 방법 및 진단 시스템에 관한 것이다.
갑상선 암 발병률은 최근 수십 년 동안 빠르게 증가하고 있다. 갑상선 절제술의 수술 계획 수립 및 수술 성공 여부에서 림프절 전이의 진단이 가장 중요하다고 알려져 있다. 림프절 전이(Lymph node Metastases)는 갑상선 암의 주요 예후 인자(prognostic factors) 중 하나로써, 60% 내지 70% 의 환자에서 보고되고 있으며 국소 재발의 중요한 위험 인자이다.
따라서, 현재 갑상선 절제술 전 초음파 외에 컴퓨터 단층 촬영(Computed Tomography, CT)이 권장되고 있다. 그러나, CT 영상으로 갑상선 암 환자의 경부 림프절 전이를 진단하는 것은 낮은 민감도와 특이도를 보이는 문제점이 있는 실정이다.
갑상선 절제술에서 진단 부족으로 인하여 절개 범위를 축소하는 경우 재발률이 높아질 수 있으며, 과다하게 절개하는 경우 수술 합병증을 증가시키고 수술 후 삶의 질을 저하시키는 문제점이 있다. 따라서, 수술 전에 림프절 절개 정도를 정확하게 결정하는 것은 매우 중요하며, 관련 연구의 필요성이 대두되고 있다.
이와 관련하여 최근 의료 영상의 정확하고 일관된 위해서 컴퓨터 보조 진단(computer aided diagnosis, CAD) 시스템, 딥러닝(deeplearning) 알고리즘 등을 활용하여 복잡한 이미징 및 해부학적 영상을 분석하여 진단에 활용하고자 하는 시도들이 계속되고 있다. 그러나, CT 영상에서 림프절 전이 및 잔존 조직 영역은 일반적으로 노이즈 인공물질(noise artifacts)의 영향을 받고 다른 영역과 중첩될 수 있는 문제가 있으며, 인접한 조직으로부터 식별이 불가능한 전이 케이스가 있어 CT 영상을 곧바로 딥러닝 알고리즘에 활용하는 것에는 한계점이 있는 실정이다.
본원의 배경이 되는 기술인 대한민국 공개특허 제 10-2020-0087427 호는 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 방법에 관한 것으로서, 구체적으로 방사성요오드 평면 영상으로부터 다차원 마스크 이미지가 생성되는 전처리 단계, 전처리된 방사성요오드 평면 영상에서 각 픽셀 별 잔여 조직(Remnant tissue) 또는 림프절 전이(Lymph Node metastasis)의 가능도(likelihood)가 계산되는 단계, 전처리된 방사성요오드 평면 영상 및 계산된 가능도에 대하여 신경망(Neural Network) 학습 모델이 적용되어 학습이 수행되는 단계 및 신경망 학습의 결과에 기초하여 갑상선 암의 림프절 전이 여부가 진단되는 단계가 포함되는 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 방법에 관한 것이다. 그러나, 상기 특허는 CT 영상을 활용하여 갑상선 암의 림프절 전이를 진단하는 방법에 대해서는 언급하지 않고 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법을 제공하는 것을 목적으로 한다.
또한, 본원은 딥러닝 기반의 갑상선 암의 림프절 전이 진단 시스템을 제공하는 것을 목적으로 한다.
또한, 본원은 상기 진단 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 제공하는 것을 목적으로 한다.
또한, 본원은 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템을 제공하는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 제 1 측면은, 대상체의 갑상선을 촬영한 CT 영상을 획득하는 단계, 상기 CT 영상으로부터 병변을 추출하여 크롭(crop) 이미지를 생성하는 단계, 상기 크롭 이미지를 증강(augmentation)시키는 단계, 컨볼루션 신경망(convolutional neural network, CNN)을 이용하여 상기 증강된 이미지를 학습하여 학습정보를 생성하는 단계 및 상기 학습정보에 기초하여 갑상선 암의 림프절 전이 여부를 진단하는 단계를 포함하는 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법을 제공한다.
본원의 일 구현예에 따르면, 상기 CT 영상은 갑상선 절제술이 수행되기 전 환자에게서 획득되는 것일 수 있으나, 이에 제한되는 것은 아니다.
본원의 일 구현예에 따르면, 상기 크롭 이미지를 생성하는 단계는 Segmentation 알고리즘 또는 Object Detection 알고리즘을 이용하여 상기 CT 영상으로부터 경부 림프절의 병변 영역을 추천하는 단계 및 상기 추천된 병변 영역의 위치 정보를 고려하여 마스킹을 수행하고, 마스킹이 완료된 이미지에 대하여 크롭을 수행하는 단계를 포함하는 것일 수 있으나, 이에 제한되는 것은 아니다.
본원의 일 구현예에 따르면, 상기 이미지를 증강시키는 단계는 잘라내기(crop), 회전(rotate), 뒤집기(flip), 크기 수정(rescale), 확대(zooming), 제로 필링(zero filling), 롤링(rolling), 색 이탈(color jittering), 노이즈 추가(Noise Addition), 콘트라스트 조정, 밝기 조정(감마 변환), smoothing(평균화 필터), 스케일링, 반전(좌우 / 상하), 이동(수평 / 수직), 부분 마스크(Cut out 및 Random Erasing), 트리밍 (Random Crop), 변형, 변색, 배경 교체, 가우스 변환(Gaussian transformation), 전단(shear), 아핀(affine) 및 이들의 조합들로 이루어진 군으로부터 선택되는 것을 수행하는 것일 수 있으나, 이에 제한되는 것은 아니다.
본원의 일 구현예에 따르면, 상기 방법은 히트맵을 생성하는 단계 및 상기 히트맵을 이용하여 갑상선 암의 림프절 전이 여부가 진단되는 단계에서 잘못 판단된 영역을 제거하는 후처리 단계를 추가 포함하는 것일 수 있으나, 이에 제한되는 것은 아니다.
본원의 제 2 측면은, 대상체의 갑상선을 촬영한 CT 영상을 획득하는 획득부, 상기 CT 영상으로부터 병변을 추출하여 크롭(crop) 이미지를 생성하는 전처리부, 상기 크롭 이미지를 증강(augmentation)시키는 증강부, 컨볼루션 신경망(convolutional neural network, CNN)을 이용하여 상기 증강된 이미지를 학습하여 학습정보를 생성하는 학습부 및 상기 학습정보에 기초하여 갑상선 암의 림프절 전이 여부를 진단하는 진단 예측부를 포함하는 딥러닝 기반의 갑상선 암의 림프절 전이 진단 시스템을 제공한다.
본원의 일 구현예에 따르면, 상기 획득부는 갑상선 절제술이 수행되기 전 환자에게서 상기 CT 영상을 획득하는 것일 수 있으나, 이에 제한되는 것은 아니다.
본원의 일 구현예에 따르면, 상기 전처리부는 Segmentation 알고리즘 또는 Object Detection 알고리즘을 이용하여 상기 CT 영상으로부터 경부 림프절의 병변 영역을 추출하고, 상기 추출된 병변 영역에 대하여 이미지 크롭을 수행하여 상기 크롭 이미지를 생성하는 것일 수 있으나, 이에 제한되는 것은 아니다.
본원의 일 구현예에 따르면, 상기 증강부는 잘라내기(crop), 회전(rotate), 뒤집기(flip), 크기 수정(rescale), 확대(zooming), 제로 필링(zero filling), 롤링(rolling), 색 이탈(color jittering), 노이즈 추가(Noise Addition), 콘트라스트 조정, 밝기 조정(감마 변환), smoothing(평균화 필터), 스케일링, 반전(좌우 / 상하), 이동(수평 / 수직), 부분 마스크(Cut out 및 Random Erasing), 트리밍 (Random Crop), 변형, 변색, 배경 교체, 가우스 변환(Gaussian transformation), 전단(shear), 아핀(affine) 및 이들의 조합들로 이루어진 군으로부터 선택되는 것을 수행하여 상기 이미지를 증강시키는 것일 수 있으나, 이에 제한되는 것은 아니다.
본원의 일 구현예에 따르면, 히트맵을 생성하는 생성부 및 상기 히트맵을 수신하여 상기 갑상선 암의 림프절 전이 여부가 진단되는 단계에서 잘못 판단된 영역을 제거하는 후처리부를 추가 포함하는 것일 수 있으나, 이에 제한되는 것은 아니다.
본원의 제 3 측면은, 본원의 제 1 측면에 따른 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 제공한다.
본원의 제 4 측면은, 학습할 대상체의 갑상선을 촬영한 CT 영상 데이터 세트를 획득하여, 상기 CT 영상 데이터 세트로부터 병변을 추출하여 크롭(crop) 이미지 데이터 세트를 생성하고, 상기 크롭 이미지 데이터 세트를 증강(augmentation)시켜 컨볼루션 신경망(convolutional neural network, CNN)을 이용하여 상기 증강된 이미지 데이터 세트를 학습하여 학습정보를 생성하고, 상기 학습정보에 기초하여 갑상선 암의 림프절 전이 여부를 진단하며, 상기 진단 정보 데이터 세트를 수신하여 저장 처리하기 위한 딥러닝 기반의 자동 학습부, 사용자로부터 갑상선 암의 림프절 전이 여부를 진단하기 위한 CT 영상을 수신하여 상기 수신된 CT 영상으로부터 병변을 추출하여 크롭 이미지를 생성하고, 상기 크롭 이미지를 컨볼루션 신경망을 이용하여 학습하여 학습정보를 생성하고, 상기 학습정보에 기초하여 갑상선 암의 림프절 전이 여부를 진단하며, 상기 진단 결과값을 해당 사용자 단말기로 전송하기 위한 딥러닝 기반의 갑상선 암의 림프절 전이 진단용 API 엔진 및 상기 API 엔진으로부터 상기 진단 결과값을 획득하여 실시간으로 갑상선 암의 림프절 전이 진단 결과를 화면에 출력시키는 사용자 단말기를 포함하는 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템을 제공한다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 종래 CT 영상의 경우 림프절 전이 및 잔존 조직 영역은 일반적으로 노이즈 인공물질(noise artifacts)의 영향을 받고 다른 영역과 중첩될 수 있는 문제점 및 인접한 조직으로부터 식별이 불가능한 전이 케이스가 있는 문제점이 있어 CT 영상을 곧바로 딥러닝 알고리즘에 활용하기 어려운 한계점이 있었으나, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 CT 영상으로부터 경부 림프절의 병변 영역을 추출하여, 상기 추출된 병변 영역에 대한 크롭 이미지를 학습시킴으로써 높은 민감도, 특이도 및 정확도를 가지는 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법을 제공할 수 있다.
또한, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 림프절 전이 여부를 신뢰성 있게 예측할 수 있으므로, 갑상선 절제술의 수술 범위 등 치료 전략을 수립하는데 매우 유용하게 활용될 수 있다.
또한, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 림프절 절제술의 적절한 수술 범위에 대한 근거자료를 제공함으로써, 진단 부족으로 인하여 발생하는 재발률 및 과다 절개로 인하여 발생하는 수술 후 이환률을 감소시켜 치료 효율을 높일 수 있는 장점이 있다.
또한, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 진단의 신뢰수준(confidence levels)을 높일 수 있으므로 의사에게 진단에 대한 확신을 갖도록 돕는 훈련 도구로서 임상적 유용성을 제공할 수 있다.
또한, 종래의 갑상선 암의 림프절 전이를 진단하기 위한 방법들은 의사의 숙련도, 경험 유무 등에 좌우되어 객관적이고 일관적인 진단 결과를 제공할 수 없는 한계점이 있었으나, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 딥러닝을 활용함으로써, 신속하고 간편하게 갑상선 암의 림프절 전이를 객관적이고 일관적으로 예측할 수 있는 장점이 있다.
또한, 종래의 딥러닝을 이용한 진단 방법의 경우, 입력한 입력값과 딥러닝에서 예측한 결과값 간의 내부 관계를 설명하기는 어려워 딥러닝의 진단 정확도를 평가하기 어려운 문제점이 있었으나, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 히트맵을 생성하여 제공하여 딥러닝 모델이 CT 영상의 어느 부분에 초점을 맞추고 있는지 추론할 수 있으므로, 잘못 판단된 영역을 제거함으로써, 특이도 및 민감성을 높인 진단 방법을 제공할 수 있다.
또한, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 시스템은 히트맵을 통하여 잘못 판단된 영역을 제거하는 후처리 단계를 수행함으로써 잘못된 결과에 대한 보고서를 통합하여 CAD 시스템의 성능을 업그레이드할 수 있는 확장성을 가지는 진단 시스템을 제공할 수 있다.
또한, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템은 API 엔진을 활용하여 갑상선 암의 림프절 전이 여부를 실시간으로 사용자 단말기로 제공함으로써, 전문 지식 없이도 사용자가 간편하게 진단 여부 확인할 수 있는 플랫폼시스템을 제공할 수 있다.
또한, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템은 사용자에게서 입력 받은 CT 영상을 기반으로 자동으로 크롭 이미지를 생성함으로써, 전문 지식이 부족한 사용자가 병변 부위를 정확히 알지 못하더라도 림프절 전이 여부를 알 수 있어, 사용자의 편의성을 증대시킨 플랫폼시스템을 제공할 수 있다.
또한, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템은 API 엔진을 활용함으로써 다양한 사용자에게서 제공받은 새로운 이미지들을 지속적으로 학습할 수 있으므로, 진단 정확성 및 진단 속도를 지속적으로 향상시킬 수 있다.
또한, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템은 다양한 사용자에게 공급되어 갑상선 암의 림프절 전이 진단 관련 서비스를 제공할 수 있도록 함으로써, 다양한 응용 서비스를 개발할 수 있는 플랫폼으로서 유용하게 활용될 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1 은 본원의 일 구현예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법을 나타낸 순서도이다.
도 2 는 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법의 흐름도이다.
도 3 은 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템을 나타낸 이미지이다.
도 4 는 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템의 흐름도이다.
도 5 는 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법의 히트맵을 나타낸 그래프이다.
도 6 은 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법의 CAD 모델의 진단 성능을 평가한 결과를 나타낸 표이다.
도 7 은 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법의 CAD 모델의 수신기 작동 특성 곡선을 나타낸 그래프이다.
도 8 은 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법의 사용 전후 신뢰수준(confidence levels) 변화에 대한 Sankey 플롯을 나타낸 그래프이다.
도 2 는 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법의 흐름도이다.
도 3 은 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템을 나타낸 이미지이다.
도 4 는 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템의 흐름도이다.
도 5 는 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법의 히트맵을 나타낸 그래프이다.
도 6 은 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법의 CAD 모델의 진단 성능을 평가한 결과를 나타낸 표이다.
도 7 은 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법의 CAD 모델의 수신기 작동 특성 곡선을 나타낸 그래프이다.
도 8 은 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법의 사용 전후 신뢰수준(confidence levels) 변화에 대한 Sankey 플롯을 나타낸 그래프이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본원의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 또한, 본원 명세서 전체에서, "~ 하는 단계" 또는 "~의 단계"는 "~를 위한 단계"를 의미하지 않는다.
본원 명세서 전체에서, 마쿠시 형식의 표현에 포함된 "이들의 조합"의 용어는 마쿠시 형식의 표현에 기재된 구성 요소들로 이루어진 군에서 선택되는 하나 이상의 혼합 또는 조합을 의미하는 것으로서, 상기 구성 요소들로 이루어진 군에서 선택되는 하나 이상을 포함하는 것을 의미한다.
본원 명세서 전체에서, "A 및/또는 B" 의 기재는, "A, B, 또는, A 및 B" 를 의미한다.
이하, 본원의 CT 영상을 이용한 갑상선 암의 림프절 전이 진단 방법 및 진단 시스템에 대하여 구현예 및 실시예와 도면을 참조하여 구체적으로 설명하도록 한다. 그러나, 본원이 이러한 구현예 및 실시예와 도면에 제한되는 것은 아니다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 제 1 측면은, 대상체의 갑상선을 촬영한 CT 영상을 획득하는 단계, 상기 CT 영상으로부터 병변을 추출하여 크롭(crop) 이미지를 생성하는 단계, 상기 크롭 이미지를 증강(augmentation)시키는 단계, 컨볼루션 신경망(convolutional neural network, CNN)을 이용하여 상기 증강된 이미지를 학습하여 학습정보를 생성하는 단계 및 상기 학습정보에 기초하여 갑상선 암의 림프절 전이 여부를 진단하는 단계를 포함하는 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법을 제공한다.
도 1 은 본원의 일 구현예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법을 나타낸 순서도이고, 도 2 는 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법의 흐름도이다.
딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법을 수행하기 위해, 먼저 대상체의 갑상선을 촬영한 CT 영상을 획득하는 단계를 수행한다(S100).
본원의 일 구현예에 따르면, 상기 CT 영상은 갑상선 절제술이 수행되기 전 환자에게서 획득되는 것일 수 있으나, 이에 제한되는 것은 아니다.
갑상선 절제술에서 진단 부족으로 인하여 절개 범위를 축소하는 경우 재발률이 높아질 수 있으며, 과다하게 절개하는 경우 수술 합병증을 증가시키고 수술 후 삶의 질을 저하시키는 문제점이 있다. 따라서, 수술 전에 림프절 절개 정도를 정확하게 결정하는 것은 매우 중요하다.
본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 림프절 전이 여부를 신뢰성 있게 예측할 수 있으므로, 갑상선 절제술의 수술 범위 등 치료 전략을 수립하는데 매우 유용하게 활용될 수 있다.
또한, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 림프절 절제술의 적절한 수술 범위에 대한 근거자료를 제공함으로써, 진단 부족으로 인하여 발생하는 재발률 및 과다 절개로 인하여 발생하는 수술 후 이환률을 감소시켜 치료 효율을 높일 수 있는 장점이 있다.
또한, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 진단의 신뢰수준(confidence levels)을 높일 수 있으므로 의사에게 진단에 대한 확신을 갖도록 돕는 훈련 도구로서 임상적 유용성을 제공할 수 있다.
또한, 종래의 갑상선 암의 림프절 전이를 진단하기 위한 방법들은 의사의 숙련도, 경험 유무 등에 좌우되어 객관적이고 일관적인 진단 결과를 제공할 수 없는 한계점이 있었으나, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 딥러닝을 활용함으로써, 신속하고 간편하게 갑상선 암의 림프절 전이를 객관적이고 일관적으로 예측할 수 있는 장점이 있다.
이어서, 상기 CT 영상으로부터 병변을 추출하여 크롭(crop) 이미지를 생성하는 단계를 수행한다(S200).
종래 CT 영상의 경우 림프절 전이 및 잔존 조직 영역은 일반적으로 노이즈 인공물질(noise artifacts)의 영향을 받고 다른 영역과 중첩될 수 있는 문제점 및 인접한 조직으로부터 식별이 불가능한 전이 케이스가 있는 문제점이 있어 CT 영상을 곧바로 딥러닝 알고리즘에 활용하기 어려운 한계점이 있었으나, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 CT 영상으로부터 경부 림프절의 병변 영역을 추출하여, 상기 추출된 병변 영역에 대한 크롭 이미지를 학습시킴으로써 높은 민감도, 특이도 및 정확도를 가지는 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법을 제공할 수 있다.
본원의 일 구현예에 따르면, 상기 크롭 이미지를 생성하는 단계는 Segmentation 알고리즘 또는 Object Detection 알고리즘을 이용하여 상기 CT 영상으로부터 경부 림프절의 병변 영역을 추천하는 단계 및 상기 추천된 병변 영역의 위치 정보를 고려하여 마스킹을 수행하고, 마스킹이 완료된 이미지에 대하여 크롭을 수행하는 단계를 포함하는 것일 수 있으나, 이에 제한되는 것은 아니다.
예를 들어, 상기 Segmentation 알고리즘 또는 Object Detection 알고리즘뿐만 아니라, 다양한 영상 처리 예를 들어, 가우시안 필터, 아핀변환(Affine transformation), Contrast 조절 등을 수행하여 예상 경부 림프절의 병변 영역의 위치를 추천할 수 있다.
상기 인공지능 알고리즘을 적용하여 예상 경부 림프절의 병변 영역의 위치를 추천할 수 있다. 예상 경부 림프절의 병변 영역은 병변의 경계를 사각형 형상으로 2차원 정의한 것일 수 있다. 즉, 경부 림프절의 병변으로 예측되는 위치에 예상 경부 림프절의 병변 영역을 사각형 형태로 표시하여 병변의 위치를 추천할 수 있다. 예상 병변이 복수개 존재하는 경우, 그에 대응하는 예상 병변 영역을 복수개 추천할 수 있다.
이어서, 상기 추천된 병변 영역의 위치 정보(예들 들어, x, y 좌표 위치, 가로길이, 세로길이) 및 상기 CT 영상을 고려하여 마스킹을 수행하고, 마스킹이 완료된 이미지에 대하여 크롭을 수행하는 단계를 포함하는 것일 수 있으나, 이에 제한되는 것은 아니다.
이어서, 상기 크롭 이미지를 증강(augmentation)시키는 단계를 수행한다(S300).
훈련 데이터는 전이성 림프절 이미지보다 양성 림프절 수가 많기 때문에 두 라벨의 비율이 비슷하도록 데이터를 증강(augmentation)시켜, 모델의 과적합을 방지하고 모델 성능을 향상시킬 수 있다. 즉, 상기 크롭 이미지를 증강시킴으로써, 제한된 학습 데이터 세트를 기반으로 학습 이미지의 양을 효과적으로 증가시키는 것이다.
본원의 일 구현예에 따르면, 상기 이미지를 증강시키는 단계는 잘라내기(crop), 회전(rotate), 뒤집기(flip), 크기 수정(rescale), 확대(zooming), 제로 필링(zero filling), 롤링(rolling), 색 이탈(color jittering), 노이즈 추가(Noise Addition), 콘트라스트 조정, 밝기 조정(감마 변환), smoothing(평균화 필터), 스케일링, 반전(좌우 / 상하), 이동(수평 / 수직), 부분 마스크(Cut out 및 Random Erasing), 트리밍 (Random Crop), 변형, 변색, 배경 교체, 가우스 변환(Gaussian transformation), 전단(shear), 아핀(affine) 및 이들의 조합들로 이루어진 군으로부터 선택되는 것을 수행하는 것일 수 있으나, 이에 제한되는 것은 아니다.
예를 들어, 상기 이미지를 증강시키는 단계는 영상 각도를 약 ±20º 이내로 무작위로 설정하고, 림프절 주변 부위의 크기를 약 20% 까지 무작위로 변경하며, 영상을 림프절 자체를 포함하면서 수평 및 수직으로 무작위로 뒤집는 것을 수행하는 것일 수 있으나, 이에 제한되는 것은 아니다.
이어서, 컨볼루션 신경망(convolutional neural network, CNN)을 이용하여 상기 증강된 이미지를 학습하여 학습정보를 생성하는 단계를 수행한다(S400).
예를 들어, 상기 컨볼루션 신경망은 VGG16, VGG19, Xception, InceptionV3, InceptionResNetV2, DenseNet121, DenseNet169, ResNet, EfficientNet, MobileNet 및 이들의 조합들로 이루어진 군으로부터 선택되는 모델인 것일 수 있으나, 이에 제한되는 것은 아니다.
이어서, 상기 학습정보에 기초하여 갑상선 암의 림프절 전이 여부를 진단하는 단계를 수행한다(S500).
본원의 일 구현예에 따르면, 상기 방법은 히트맵을 생성하는 단계 및 상기 히트맵을 이용하여 갑상선 암의 림프절 전이 여부가 진단되는 단계에서 잘못 판단된 영역을 제거하는 후처리 단계를 추가 포함하는 것일 수 있으나, 이에 제한되는 것은 아니다.
종래의 딥러닝을 이용한 진단 방법의 경우, 입력한 입력값과 딥러닝에서 예측한 결과값 간의 내부 관계를 설명하기는 어려워 딥러닝의 진단 정확도를 평가하기 어려운 문제점이 있었으나, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 히트맵을 생성하여 제공하여 딥러닝 모델이 CT 영상의 어느 부분에 초점을 맞추고 있는지 추론할 수 있으므로, 잘못 판단된 영역을 제거함으로써, 특이도 및 민감성을 높인 진단 방법을 제공할 수 있다.
구체적으로, 상기 히트맵은 양성과 전이성 림프절을 구별하기 위해 CNN 모델이 초점을 맞춘 위치를 보여줄 수 있다. 이는 악성 종양의 비정상적인 특성이 CNN 에 의해 학습되어 갑상선 암의 림프절 전이 진단의 기초로 사용되었음을 시사하는 것이다.
상기 생성된 히트맵은 원본 CT 영상 이미지에 중첩되어 실제 림프절의 위치와 상기 CNN 모델이 전이 진단에 사용한 영역을 비교할 수 있기 때문에, 사용자는 이를 비교하여 딥러닝 모델이 잘못 판단한 영역을 제거할 수 있으므로 특이도 및 민감성을 더욱 높일 수 있는 장점이 있다.
본원의 제 2 측면은, 대상체의 갑상선을 촬영한 CT 영상을 획득하는 획득부, 상기 CT 영상으로부터 병변을 추출하여 크롭(crop) 이미지를 생성하는 전처리부, 상기 크롭 이미지를 증강(augmentation)시키는 증강부, 컨볼루션 신경망(convolutional neural network, CNN)을 이용하여 상기 증강된 이미지를 학습하여 학습정보를 생성하는 학습부 및 상기 학습정보에 기초하여 갑상선 암의 림프절 전이 여부를 진단하는 진단 예측부를 포함하는 딥러닝 기반의 갑상선 암의 림프절 전이 진단 시스템을 제공한다.
본원의 제 2 측면의 상기 딥러닝 기반의 갑상선 암의 림프절 전이 진단 시스템에 대하여, 본원의 제 1 측면과 중복되는 부분들에 대해서는 상세한 설명을 생략하였으나, 그 설명이 생략되었더라도 본원의 제 1 측면에 기재된 내용은 본원의 제 2 측면에 동일하게 적용될 수 있다.
본원의 일 구현예에 따르면, 상기 획득부는 갑상선 절제술이 수행되기 전 환자에게서 상기 CT 영상을 획득하는 것일 수 있으나, 이에 제한되는 것은 아니다.
본원의 일 구현예에 따르면, 상기 전처리부는 Segmentation 알고리즘 또는 Object Detection 알고리즘을 이용하여 상기 CT 영상으로부터 경부 림프절의 병변 영역을 추출하고, 상기 추출된 병변 영역에 대하여 이미지 크롭을 수행하여 상기 크롭 이미지를 생성하는 것일 수 있으나, 이에 제한되는 것은 아니다.
본원의 일 구현예에 따르면, 상기 증강부는 잘라내기(crop), 회전(rotate), 뒤집기(flip), 크기 수정(rescale), 확대(zooming), 제로 필링(zero filling), 롤링(rolling), 색 이탈(color jittering), 노이즈 추가(Noise Addition), 콘트라스트 조정, 밝기 조정(감마 변환), smoothing(평균화 필터), 스케일링, 반전(좌우 / 상하), 이동(수평 / 수직), 부분 마스크(Cut out 및 Random Erasing), 트리밍 (Random Crop), 변형, 변색, 배경 교체, 가우스 변환(Gaussian transformation), 전단(shear), 아핀(affine) 및 이들의 조합들로 이루어진 군으로부터 선택되는 것을 수행하여 상기 이미지를 증강시키는 것일 수 있으나, 이에 제한되는 것은 아니다.
본원의 일 구현예에 따르면, 히트맵을 생성하는 생성부 및 상기 히트맵을 수신하여 상기 갑상선 암의 림프절 전이 여부가 진단되는 단계에서 잘못 판단된 영역을 제거하는 후처리부를 추가 포함하는 것일 수 있으나, 이에 제한되는 것은 아니다.
본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 시스템은 히트맵을 통하여 잘못 판단된 영역을 제거하는 후처리 단계를 수행함으로써 잘못된 결과에 대한 보고서를 통합하여 CAD 시스템의 성능을 업그레이드할 수 있는 확장성을 가지는 진단 시스템을 제공할 수 있다.
본원의 제 3 측면은, 본원의 제 1 측면에 따른 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 제공한다.
본원의 제 3 측면의 상기 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체에 대하여, 본원의 제 1 측면 및 제 2 측면과 중복되는 부분들에 대해서는 상세한 설명을 생략하였으나, 그 설명이 생략되었더라도 본원의 제 1 측면 및 제 2 측면에 기재된 내용은 본원의 제 3 측면에 동일하게 적용될 수 있다.
본원의 제 4 측면은, 학습할 대상체의 갑상선을 촬영한 CT 영상 데이터 세트를 획득하여, 상기 CT 영상 데이터 세트로부터 병변을 추출하여 크롭(crop) 이미지 데이터 세트를 생성하고, 상기 크롭 이미지 데이터 세트를 증강(augmentation)시켜 컨볼루션 신경망(convolutional neural network, CNN)을 이용하여 상기 증강된 이미지 데이터 세트를 학습하여 학습정보를 생성하고, 상기 학습정보에 기초하여 갑상선 암의 림프절 전이 여부를 진단하며, 상기 진단 정보 데이터 세트를 수신하여 저장 처리하기 위한 딥러닝 기반의 자동 학습부, 사용자로부터 갑상선 암의 림프절 전이 여부를 진단하기 위한 CT 영상을 수신하여 상기 수신된 CT 영상으로부터 병변을 추출하여 크롭 이미지를 생성하고, 상기 크롭 이미지를 컨볼루션 신경망을 이용하여 학습하여 학습정보를 생성하고, 상기 학습정보에 기초하여 갑상선 암의 림프절 전이 여부를 진단하며, 상기 진단 결과값을 해당 사용자 단말기로 전송하기 위한 딥러닝 기반의 갑상선 암의 림프절 전이 진단용 API 엔진 및 상기 API 엔진으로부터 상기 진단 결과값을 획득하여 실시간으로 갑상선 암의 림프절 전이 진단 결과를 화면에 출력시키는 사용자 단말기를 포함하는 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템을 제공한다.
본원의 제 4 측면의 상기 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템에 대하여, 본원의 제 1 측면 내지 제 3 측면과 중복되는 부분들에 대해서는 상세한 설명을 생략하였으나, 그 설명이 생략되었더라도 본원의 제 1 측면 내지 제 3 측면에 기재된 내용은 본원의 제 4 측면에 동일하게 적용될 수 있다.
도 3 은 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템을 나타낸 이미지이고, 도 4 는 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템의 흐름도이다.
본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템은 사용자에게서 입력 받은 CT 영상을 기반으로 자동으로 크롭 이미지를 생성함으로써, 전문 지식이 부족한 사용자가 병변 부위를 정확히 알지 못하더라도 림프절 전이 여부를 알 수 있어, 사용자의 편의성을 증대시킨 플랫폼시스템을 제공할 수 있다.
또한, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템은 API 엔진을 활용함으로써 다양한 사용자에게서 제공받은 새로운 이미지들을 지속적으로 학습할 수 있으므로, 진단 정확성 및 진단 속도를 지속적으로 향상시킬 수 있다.
또한, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템은 다양한 사용자에게 공급되어 갑상선 암의 림프절 전이 진단 관련 서비스를 제공할 수 있도록 함으로써, 다양한 응용 서비스를 개발할 수 있는 플랫폼으로서 유용하게 활용될 수 있다.
이하 실시예를 통하여 본 발명을 더욱 상세하게 설명하고자 하나, 하기의 실시예는 단지 설명의 목적을 위한 것이며 본원의 범위를 한정하고자 하는 것은 아니다.
[실시예 1] CT 영상의 획득
프로토콜은 대한민국 수원 소재 아주 대학교 의료원 기관 심의위원회 윤리위원회의 승인을 받았으며, 2018 년 1 월과 8 월 사이에 수술 계획을 위해 CT를 시행 한 갑상선암 환자 698 명으로부터 양성(n = 3606) 및 악성(n = 232) 림프절 (> 8 mm 내지 10 mm)의 총 3838 개의 축 방향 CT 영상을 수집하였다.
모든 CT 이미지는 64 채널 내지 128 채널 다중 검출기 CT 스캐너(SOMATOM Definition Flash, Siemens Healthineers, Brilliance, Philips Healthcare, Aquilion One GENESIS, Canon Medical Systems)를 사용하여 획득하였다. CT 이미지는 0.5 mm 내지 0.6 mm 로 얻어졌으며 각 공급 업체의 CT 스캐너와 관련된 반복적 재구성 알고리즘을 사용하여 512 × 512 매트릭스에서 2.0 mm마다 축 이미지로 재구성되었다.
[실시예 2] 크롭(crop) 이미지 생성
Segmentation 알고리즘 또는 Object Detection 알고리즘을 이용하여 크롭 이미지를 생성하였다.
[실시예 3] 갑상선 암의 림프절 전이 진단
훈련 데이터는 전이성 림프절 이미지보다 양성 림프절 수가 많기 때문에 두 라벨의 비율이 비슷하도록 상기 실시예 2 에서 얻은 크롭 이미지를 증강(augmentation) 시켰다.
구체적으로, 모델의 과적합을 방지하고 모델 성능을 향상시키기 위하여 CT 영상을 보강하기 위해 영상 각도를 ±20º 이내로 무작위로 설정하고, 림프절 주변 부위의 크기를 최대 20% 까지 무작위로 변경하였으며, 영상을 림프절 자체를 포함하면서 수평 및 수직으로 무작위로 뒤집었다.
이어서, 표준 편차를 나누어 증강 영상을 읽는 동안 특징별 표준 편차 정규화를 적용하였다. 그 후, 모든 증강 훈련 데이터 세트는 거리 척도를 표준화하기 위해 224 x 224 픽셀로 크기가 조정되었으며 이미지를 VGG16, VGG19, Xception, InceptionV3, InceptionResNetV2, DenseNet121, DenseNet169, ResNet, EfficientNet, MobileNet 의 8 개의 CNN 모델에 입력시킨 후, 학습시켰다.
구체적으로, 모든 교육 세션은 텐서 흐름 머신 러닝 백엔드와 함께 딥러닝 패키지 Keras (http://keras.io/)를 사용하여 수행되었다. 배치 크기는 30 으로 설정되고 학습률은 0.005 로 설정되었다. 범주형 교차 엔트로피를 최적화하기 위해 모멘텀을 0.9 로 설정하고 가중치 감소를 0.00005 로 설정한 ADAM 옵티 마이저를 사용하였다. CNN 네트워크에는 많은 수의 매개 변수가 있기 때문에 검증 세트의 정확도가 감소할 때까지 훈련 데이터 학습이 계속되었다.
8 개의 딥러닝 알고리즘이 동일한 훈련 샘플에서 훈련되었고, 모델 가중치 값은 각 세대(전체 데이터 세트를 통한 반복)에 대해 생성되었다. 정확도와 교차 엔트로피가 더 이상 개선되지 않았기 때문에 훈련은 100 epoch 후에 중단되었다.
[실시예 4] 히트맵 생성
도 5 는 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법의 히트맵을 나타낸 그래프이다.
구체적으로, 연결된 계층을 GAP (global average pooling) 계층으로 대체하는 CAM (class activation mapping) 방법을 사용하였다. 이는, 위치 정보 없이도 이미지 레벨 주석을 사용하여 라벨을 예측하기 위해 대부분의 대표적인 지역에서 캡처하는데 효율적인 방법이다.
구체적으로, CAM 방법을 통하여 위치 정보를 사용하지 않고 단일 모델에서 데이터를 동시에 분류하고 지역화하는 모델을 생성하여 예측된 레이블이 히트맵에 표시된 초점 영역과 연결되도록 하였다. 따라서 GAP 계층은 활성화에 모델 세부 기능이 포함되어 있으므로 백본 모델의 마지막 컨볼루션 계층에 적용되었다.
추가 임상 검토를 위해 관심 영역을 평가하기 위해 테스트 데이터 세트에서 CAM 에 의해 생성된 활성화 맵(activation map)을 적용하였다. 레이어 드롭 아웃은 각 훈련 반복에서 과적합을 방지하기 위해 완전히 연결된 레이어에서 뉴런을 제거하는 방법이다.
구체적으로, 최종 소프트 맥스 활성화 레이어가 있는 두 개의 완전히 연결된 레이어 사이에 기본 모델 이후에 두 개의 드롭 아웃 레이어를 설정하였다.
이어서, CNN 모델이 어떻게 예측 결과에 도달하는지 이해하기 위해 VGG 모델이 GAP 방법과 함께 사용되었다. 기존의 완전 연결 레이어를 채택하고 마지막 컨볼루션 레이어를 평탄화하는 대신 GAP 방법을 사용하여 마지막 컨볼루션 레이어에서 각 레이블의 특성 맵의 공간 평균을 직접 입력하였다. 따라서 림프절의 악성 종양과 관련된 히트맵을 그릴 수 있었다. 이는 기능맵의 공간 평균에 대한 가중 합계이다.
이를 통하여, 붉은색 영역으로 전이성 림프절을 구별하기 위해 CNN 모델이 초점을 맞춘 위치를 확인할 수 있었다. 악성 종양의 비정상적인 특성이 CNN 에 의해 학습되어 갑상선 암의 림프절 전이 진단의 기초로 사용되었음을 확인할 수 있었다.
이는 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 히트맵을 생성하여 제공하여 딥러닝 모델이 CT 영상의 어느 부분에 초점을 맞추고 있는지 추론할 수 있으므로, 잘못 판단된 영역을 제거함으로써, 특이도 및 민감성을 높인 진단 방법을 제공할 수 있음을 시사하는 것이다.
[실시예 5] 갑상선 암의 림프절 전이 진단 플랫폼시스템 구축
본원에 따른 갑상선 암의 림프절 전이 진단 플랫폼시스템은 Vue 를 사용하여 구축되었다. Node.js 프레임 워크 및 서버 통신은 RESTful 응용 프로그램 인터페이스를 사용하여 개발되었다. 백엔드는 내장 개발 서버가 포함 된 FLASK 마이크로 프레임 워크를 사용하여 Python 으로 빌드되었다.
[실험예 1]
도 6 은 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법의 CAD 모델의 진단 성능을 평가한 결과를 나타낸 표이며, 도 7 은 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법의 CAD 모델의 수신기 작동 특성 곡선을 나타낸 그래프이다.
구체적으로, 각 알고리즘에 대한 검증 세트에서 수술 전 CT 이미지를 기반으로 양성과 전이성 림프절을 구별하는데 가장 정확한 모델을 평가하였다. 8 개 알고리즘의 성능은 검증 데이터 세트의 수신기 작동 특성 곡선 하 영역(AUROC)과 민감도, 특이성, 양의 예측 값(PPV), 음의 예측 값(NPV) 및 정확도로 측정되었다. 매개 변수는 McNemar 의 테스트를 사용하여 비교되었다. 수신기 작동 특성 곡선 그림 및 결과 분석은 Rstatistical 소프트웨어의 pROC 패키지(https://cran.r-project.org/web/packages/pROC)를 사용하여 수행되었다. AUROC 는 95% 신뢰 구간으로 계산되었다.
이를 통하여, 8 가지 딥러닝 알고리즘의 수신기 작동 특성 곡선 하 면적(AUROC)은 0.846(범위 0.784 내지 0.884) 임을 확인할 수 있었다. 가장 성능이 좋은 모델은 AUROC 가 0.884 인 Xception 임을 확인할 수 있었으며, Xception 의 진단 정확도, 민감도, 특이도, 양성 예측값, 음성 예측값은 각각 82.8%, 80.2%, 83.0%, 83.0%, 80.2% 임을 확인할 수 있었다.
이는 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 CT 영상으로부터 경부 림프절의 병변 영역을 추출하여, 상기 추출된 병변 영역에 대한 크롭 이미지를 학습시킴으로써 높은 민감도, 특이도 및 정확도를 가지는 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법을 제공할 수 있음을 시사하는 것이다.
[실험예 2]
도 8 은 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법의 사용 전후 신뢰수준(confidence levels) 변화에 대한 Sankey 플롯을 나타낸 그래프이다.
구체적으로, CAD 시스템 정보 제공 전후 6 명의 교육생에 의한 진단 변화를 평가하기 위해 Pearson 상관 관계 분석을 사용하였다. CAD 정보 공개 전후의 신뢰 수준은 쌍을 이룬 Student t 테스트를 사용하여 비교되었다.
이를 통하여, CAD 시스템 지원으로 모든 교육생의 갑상선 암의 림프절 전이 진단 신뢰 수준이 검토자 1 의 경우 4.51 에서 4.63(p = 0.002), 검토자 2 의 경우 4.22 에서 4.52(p <0.001), 검토자 3 의 경우 3.62 에서 4.14(p <0.001), 검토자 4 의 경우 4.26 에서 4.62(p <0.001), 검토자 5 의 경우 3.00 에서 3.76 (p <0.001), 검토자 6 의 경우 3.77 에서 4.14 (p <0.001) 로 증가하였음을 확인할 수 있었다. 전체 진단 신뢰 수준은 양성 및 악성 림프절 분석 모두에 대한 CAD 지원으로 3.90에서 4.30으로 크게 증가하였음을 확인할 수 있었다(p <0.001).
이는 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 진단의 신뢰수준(confidence levels)을 높일 수 있으므로 의사에게 진단에 대한 확신을 갖도록 돕는 훈련 도구로서 임상적 유용성을 제공할 수 있음을 시사하는 것이다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
Claims (12)
- 대상체의 갑상선을 촬영한 CT 영상을 획득하는 단계;
상기 CT 영상으로부터 병변을 추출하여 크롭(crop) 이미지를 생성하는 단계;
상기 크롭 이미지를 증강(augmentation)시키는 단계;
컨볼루션 신경망(convolutional neural network, CNN)을 이용하여 상기 증강된 이미지를 학습하여 학습정보를 생성하는 단계; 및
상기 학습정보에 기초하여 갑상선 암의 림프절 전이 여부를 진단하는 단계;
를 포함하는 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법.
- 제 1 항에 있어서,
상기 CT 영상은 갑상선 절제술이 수행되기 전 환자에게서 획득되는 것인, 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법.
- 제 1 항에 있어서,
상기 크롭 이미지를 생성하는 단계는 Segmentation 알고리즘 또는 Object Detection 알고리즘을 이용하여 상기 CT 영상으로부터 경부 림프절의 병변 영역을 추천하는 단계; 및
상기 추천된 병변 영역의 위치 정보를 고려하여 마스킹을 수행하고, 마스킹이 완료된 이미지에 대하여 크롭을 수행하는 단계;
를 포함하는 것인, 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법.
- 제 1 항에 있어서,
상기 이미지를 증강시키는 단계는 잘라내기(crop), 회전(rotate), 뒤집기(flip), 크기 수정(rescale), 확대(zooming), 제로 필링(zero filling), 롤링(rolling), 색 이탈(color jittering), 노이즈 추가(Noise Addition), 콘트라스트 조정, 밝기 조정(감마 변환), smoothing(평균화 필터), 스케일링, 반전(좌우 / 상하), 이동(수평 / 수직), 부분 마스크(Cut out 및 Random Erasing), 트리밍 (Random Crop), 변형, 변색, 배경 교체, 가우스 변환(Gaussian transformation), 전단(shear), 아핀(affine) 및 이들의 조합들로 이루어진 군으로부터 선택되는 것을 수행하는 것인, 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법.
- 제 1 항에 있어서,
상기 방법은 히트맵을 생성하는 단계; 및
상기 히트맵을 이용하여 갑상선 암의 림프절 전이 여부가 진단되는 단계에서 잘못 판단된 영역을 제거하는 후처리 단계;
를 추가 포함하는 것인, 딥러닝 기반의갑상선 암의 림프절 전이 진단 방법.
- 대상체의 갑상선을 촬영한 CT 영상을 획득하는 획득부;
상기 CT 영상으로부터 병변을 추출하여 크롭(crop) 이미지를 생성하는 전처리부;
상기 크롭 이미지를 증강(augmentation)시키는 증강부;
컨볼루션 신경망(convolutional neural network, CNN)을 이용하여 상기 증강된 이미지를 학습하여 학습정보를 생성하는 학습부; 및
상기 학습정보에 기초하여 갑상선 암의 림프절 전이 여부를 진단하는 진단 예측부;
를 포함하는 딥러닝 기반의 갑상선 암의 림프절 전이 진단 시스템.
- 제 6 항에 있어서,
상기 획득부는 갑상선 절제술이 수행되기 전 환자에게서 상기 CT 영상을 획득하는 것인, 딥러닝 기반의 갑상선 암의 림프절 전이 진단 시스템.
- 제 6 항에 있어서,
상기 전처리부는 Segmentation 알고리즘 또는 Object Detection 알고리즘을 이용하여 상기 CT 영상으로부터 경부 림프절의 병변 영역을 추출하고, 상기 추출된 병변 영역에 대하여 이미지 크롭을 수행하여 상기 크롭 이미지를 생성하는 것인, 딥러닝 기반의 갑상선 암의 림프절 전이 진단 시스템.
- 제 6 항에 있어서,
상기 증강부는 잘라내기(crop), 회전(rotate), 뒤집기(flip), 크기 수정(rescale), 확대(zooming), 제로 필링(zero filling), 롤링(rolling), 색 이탈(color jittering), 노이즈 추가(Noise Addition), 콘트라스트 조정, 밝기 조정(감마 변환), smoothing(평균화 필터), 스케일링, 반전(좌우 / 상하), 이동(수평 / 수직), 부분 마스크(Cut out 및 Random Erasing), 트리밍 (Random Crop), 변형, 변색, 배경 교체, 가우스 변환(Gaussian transformation), 전단(shear), 아핀(affine) 및 이들의 조합들로 이루어진 군으로부터 선택되는 것을 수행하여 상기 이미지를 증강시키는 것인, 딥러닝 기반의 갑상선 암의 림프절 전이 진단 시스템.
- 제 6 항에 있어서,
히트맵을 생성하는 생성부; 및
상기 히트맵을 수신하여 상기 갑상선 암의 림프절 전이 여부가 진단되는 단계에서 잘못 판단된 영역을 제거하는 후처리부;
를 추가 포함하는 것인, 딥러닝 기반의 갑상선 암의 림프절 전이 진단 시스템.
- 제 1 항 내지 제 5 항 중 어느 한 항에 따른 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
- 학습할 대상체의 갑상선을 촬영한 CT 영상 데이터 세트를 획득하여, 상기 CT 영상 데이터 세트로부터 병변을 추출하여 크롭(crop) 이미지 데이터 세트를 생성하고, 상기 크롭 이미지 데이터 세트를 증강(augmentation)시켜 컨볼루션 신경망(convolutional neural network, CNN)을 이용하여 상기 증강된 이미지 데이터 세트를 학습하여 학습정보를 생성하고, 상기 학습정보에 기초하여 갑상선 암의 림프절 전이 여부를 진단하며, 상기 진단 정보 데이터 세트를 수신하여 저장 처리하기 위한 딥러닝 기반의 자동 학습부;
사용자로부터 갑상선 암의 림프절 전이 여부를 진단하기 위한 CT 영상을 수신하여 상기 수신된 CT 영상으로부터 병변을 추출하여 크롭 이미지를 생성하고, 상기 크롭 이미지를 컨볼루션 신경망을 이용하여 학습하여 학습정보를 생성하고, 상기 학습정보에 기초하여 갑상선 암의 림프절 전이 여부를 진단하며, 상기 진단 결과값을 해당 사용자 단말기로 전송하기 위한 딥러닝 기반의 갑상선 암의 림프절 전이 진단용 API 엔진; 및
상기 API 엔진으로부터 상기 진단 결과값을 획득하여 실시간으로 갑상선 암의 림프절 전이 진단 결과를 화면에 출력시키는 사용자 단말기;
를 포함하는 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200186126A KR20220095342A (ko) | 2020-12-29 | 2020-12-29 | Ct 영상을 이용한 갑상선 암의 림프절 전이 진단 방법 및 진단 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200186126A KR20220095342A (ko) | 2020-12-29 | 2020-12-29 | Ct 영상을 이용한 갑상선 암의 림프절 전이 진단 방법 및 진단 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220095342A true KR20220095342A (ko) | 2022-07-07 |
Family
ID=82397703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200186126A KR20220095342A (ko) | 2020-12-29 | 2020-12-29 | Ct 영상을 이용한 갑상선 암의 림프절 전이 진단 방법 및 진단 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20220095342A (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115393356A (zh) * | 2022-10-27 | 2022-11-25 | 武汉楚精灵医疗科技有限公司 | 目标部位异常形态识别方法、装置及计算机可读存储介质 |
| CN117114627A (zh) * | 2023-10-18 | 2023-11-24 | 日照市自然资源和规划局 | 土地资源管理*** |
| CN117454940A (zh) * | 2023-12-21 | 2024-01-26 | 天津市肿瘤医院（天津医科大学肿瘤医院） | 训练方法和用于预测甲状腺结节转移情况的图像处理方法 |
| KR20240018341A (ko) | 2022-08-02 | 2024-02-13 | 서울대학교병원 | 신경망을 이용하여 ct 없이 정량적 갑상선 spect를 가능하게 하는 장치 및 방법 |
| KR20240083819A (ko) | 2022-12-05 | 2024-06-12 | 가톨릭대학교 산학협력단 | 앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치 및 그의 학습 방법 |
-
2020
- 2020-12-29 KR KR1020200186126A patent/KR20220095342A/ko not_active Application Discontinuation
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240018341A (ko) | 2022-08-02 | 2024-02-13 | 서울대학교병원 | 신경망을 이용하여 ct 없이 정량적 갑상선 spect를 가능하게 하는 장치 및 방법 |
| CN115393356A (zh) * | 2022-10-27 | 2022-11-25 | 武汉楚精灵医疗科技有限公司 | 目标部位异常形态识别方法、装置及计算机可读存储介质 |
| CN115393356B (zh) * | 2022-10-27 | 2023-02-03 | 武汉楚精灵医疗科技有限公司 | 目标部位异常形态识别方法、装置及计算机可读存储介质 |
| KR20240083819A (ko) | 2022-12-05 | 2024-06-12 | 가톨릭대학교 산학협력단 | 앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치 및 그의 학습 방법 |
| CN117114627A (zh) * | 2023-10-18 | 2023-11-24 | 日照市自然资源和规划局 | 土地资源管理*** |
| CN117454940A (zh) * | 2023-12-21 | 2024-01-26 | 天津市肿瘤医院（天津医科大学肿瘤医院） | 训练方法和用于预测甲状腺结节转移情况的图像处理方法 |
| CN117454940B (zh) * | 2023-12-21 | 2024-04-09 | 天津市肿瘤医院（天津医科大学肿瘤医院） | 训练方法和用于预测甲状腺结节转移情况的图像处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11610308B2 (en) | Localization and classification of abnormalities in medical images | |
| KR20220095342A (ko) | Ct 영상을 이용한 갑상선 암의 림프절 전이 진단 방법 및 진단 시스템 | |
| CN110621231B (zh) | 用于分层次多级特征图像合成和表示的***以及方法 | |
| KR101740464B1 (ko) | 뇌졸중 진단 및 예후 예측 방법 및 시스템 | |
| Hu et al. | Label-free liver tumor segmentation | |
| CN111539930A (zh) | 基于深度学习的动态超声乳腺结节实时分割与识别的方法 | |
| WO2021021329A1 (en) | System and method for interpretation of multiple medical images using deep learning | |
| JP2023540910A (ja) | 病変検出のための共同訓練を伴う接続機械学習モデル | |
| Davletshina et al. | Unsupervised anomaly detection for X-ray images | |
| US20230162353A1 (en) | Multistream fusion encoder for prostate lesion segmentation and classification | |
| Lustermans et al. | Optimized automated cardiac MR scar quantification with GAN‐based data augmentation | |
| Lu et al. | PKRT-Net: prior knowledge-based relation transformer network for optic cup and disc segmentation | |
| Midya et al. | Computerized diagnosis of liver tumors from CT scans using a deep neural network approach | |
| AU2021100684A4 (en) | DEPCADDX - A MATLAB App for Caries Detection and Diagnosis from Dental X-rays | |
| Zaev et al. | Segmentation of prostate cancer on TRUS images using ML | |
| Zhu et al. | A multi-task two-path deep learning system for predicting the invasiveness of craniopharyngioma | |
| JP2006334140A (ja) | 異常陰影候補の表示方法及び医用画像処理システム | |
| JP2024507290A (ja) | 弱教師あり深層学習人工知能を利用した***超音波診断の方法及びシステム｛Ｍｅｔｈｏｄ ａｎｄ ｓｙｓｔｅｍ ｆｏｒ ｂｒｅａｓｔ ｕｌｔｒａｓｏｎｉｃ ｉｍａｇｅ ｄｉａｇｎｏｓｉｓ ｕｓｉｎｇ ｗｅａｋｌｙ－ｓｕｐｅｒｖｉｓｅｄ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ｝ | |
| Van Do et al. | Segmentation of hard exudate lesions in color fundus image using two-stage CNN-based methods | |
| Lensink et al. | Segmentation of pulmonary opacification in chest ct scans of covid-19 patients | |
| Keshavamurthy et al. | Weakly supervised pneumonia localization in chest X‐rays using generative adversarial networks | |
| Diez et al. | Deep reinforcement learning and convolutional autoencoders for anomaly detection of congenital inner ear malformations in clinical CT images | |
| KR102595106B1 (ko) | 천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 방법 및 시스템 | |
| US20240108299A1 (en) | Artifact-driven data synthesis in computed tomography | |
| US20240095907A1 (en) | Deep learning based systems and methods for detecting breast diseases |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |