KR102466792B1 - 인공지능기반 황반 변성 악화 예측 장치 및 방법 - Google Patents

인공지능기반 황반 변성 악화 예측 장치 및 방법 Download PDF

Info

Publication number
KR102466792B1
KR102466792B1 KR1020200069350A KR20200069350A KR102466792B1 KR 102466792 B1 KR102466792 B1 KR 102466792B1 KR 1020200069350 A KR1020200069350 A KR 1020200069350A KR 20200069350 A KR20200069350 A KR 20200069350A KR 102466792 B1 KR102466792 B1 KR 102466792B1
Authority
KR
South Korea
Prior art keywords
macular degeneration
image
fundus
drusen
fundus image
Prior art date
Application number
KR1020200069350A
Other languages
English (en)
Other versions
KR102466792B9 (ko
KR20210153166A (ko
Inventor
신지태
송수정
트란 민 팜
안상일
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020200069350A priority Critical patent/KR102466792B1/ko
Publication of KR20210153166A publication Critical patent/KR20210153166A/ko
Application granted granted Critical
Publication of KR102466792B1 publication Critical patent/KR102466792B1/ko
Publication of KR102466792B9 publication Critical patent/KR102466792B9/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Primary Health Care (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Physiology (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Ophthalmology & Optometry (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Human Resources & Organizations (AREA)
  • Radiology & Medical Imaging (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)

Abstract

인공지능기반 황반 변성 악화 예측 장치에 관한 것이며, 인공지능기반 황반 변성 악화 예측 장치는, 복수의 황반 변성 안저 데이터 셋을 포함하는 데이터 베이스, 상기 복수의 황반 변성 안저 데이터 셋에 포함된 황반 변성 안저 이미지의 전처리를 수행하는 데이터 전처리부, 황반 변성 안저 이미지에 대응하는 드루젠 영역 지도 (Drusen segmentation mask)를 이용하여 인공지능 기반 드루젠 영상 학습 모델을 구축하고, 전처리된 상기 황반 변성 안저 이미지를 상기 드루젠 영상 학습 모델에 적용하여 전처리된 상기 황반 변성 안저 이미지와 연계된 드루젠 영역 지도를 생성하는 드루젠 영상 분할부 및 상기 황반 변성 안저 이미지 및 상기 드루젠 영상 분할부에서 상기 황반 변성 안저 이미지를 이용하여 생성한 드루젠 영역 지도를 인공지능 신경망에 적용하여 미래 황반 변성 안저 이미지를 생성하고, 생성된 상기 미래 황반 변성 안저 이미지를 복수의 인공지능 신경망에 적용하여 진위여부를 판별하는 예측 이미지 생성부를 포함할 수 있다.

Description

인공지능기반 황반 변성 악화 예측 장치 및 방법{ARTIFICIAL INTELLIGENCE BASED MACULAR DEGENERATION DISEASE DETERIORATION PREDICTION DEVICES AND METHODS}
본원은 인공지능기반 황반 변성 악화 예측 장치 및 방법에 관한 것이다.
나이 관련 황반 변성은 현재 세계에서 실명의 가장 흔한 원인 중의 하나로 한국에서도 실명 원인 1-2 등에 해당하는 중요한 질환이다. 그러나 모든 황반 변성 환자들이 실명에 이르는 것은 아니고 대부분의 환자들은 초기 황반 변성 환자들로 증상 없이 지내다가 많이 악화 된 이후 병원을 찾고 치료를 시작하는 경우가 대부분이다.
다행히 최근 치료 약제들의 개발로 초기 황반 변성 환자들에서 고위험군 환자들의 악화시기를 적절히 발견하고 조기 치료한다면 시력 예후에 유리한 것으로 알려져 있다. 이에 많은 의사들이 황반 변성 환자들에서 악화 인자들이나 악화 위험을 예측하려는 연구들을 진행 해왔었다.
그러나 기존 나이 관련 황반 변성 악화 예측 모델들은 황반 변성 환자들에서 단순히 수치상 일정 기간 내 악화될 확률이 몇 %이다 (예를 들어, 5년 내 황반 변성이 악화될 확률이 정상인 사람에 비해 %이다) 라는 제시만 가능하였다. 이는 같은 진단명을 가진 (초기 나이 관련 황반 변성) 환자들이라도 각 개인들이 가지고 있는 안저 소견(예를 들어, 드루젠(drusen) 위치, 크기, 수) 에 따라 악화될 위험도가 다른데도 불구하고 일괄적인 악화 위험 예측치만 제시하여 실제 임상 진료시 환자들에게 이 수치 그대로 적용하기는 힘들었다. 일괄적인 위험도를 바탕으로 황반 변성 환자들의 외래 검사 시기나 설명에 적용하게 되면 위험도가 낮은 환자들에서는 과잉 진료의 위험이 있고, 위험도가 높은 환자들에서는 진단이 늦어 질 수 있다는 위험이 있었다.
그래서 현재까지는 진료 의사 개인의 진료 경험에 의존하여 진료시기를 결정해 오고 있다. 이 또한 예측 정확도가 떨어져 각 개인 환자들의 안저 소견에 기초한 위험도를 바탕으로 하는 환자 맞춤형 황반 변성 악화 예측 알고리즘 개발이 절실하다.
본원의 배경이 되는 기술은 한국공개특허공보 제10-2020-0005407호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 단순 수치가 아닌 환자의 현재 황반 변성 안저 영상(이미지)을 기초로 미래 황반 변성 안저 영상(이미지)을 생성함으로써, 황반 변성에 따른 환자의 드루젠 영역의 변화를 예측할 수 있는 인공지능기반 황반 변성 악화 예측 장치 및 방법을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 인공지능기반 황반 변성 악화 예측 장치는, 복수의 황반 변성 안저 데이터 셋을 포함하는 데이터 베이스, 상기 복수의 황반 변성 안저 데이터 셋에 포함된 황반 변성 안저 이미지의 전처리를 수행하는 데이터 전처리부, 황반 변성 안저 이미지에 대응하는 드루젠 영역 지도(Drusen segmentation mask)를 이용하여 인공지능 기반 드루젠 영상 학습 모델을 구축하고, 전처리된 상기 황반 변성 안저 이미지를 상기 드루젠 영상 학습 모델에 적용하여 전처리된 상기 황반 변성 안저 이미지와 연계된 드루젠 영역 지도를 생성하는 드루젠 영상 분할부 및 상기 황반 변성 안저 이미지 및 상기 황반 변성 안저 이미지와 연계된 드루젠 영역 지도를 인공지능 신경망에 적용하여 미래 황반 변성 안저 이미지를 생성하고, 생성된 상기 미래 황반 변성 안저 이미지를 복수의 인공지능 신경망에 적용하여 진위여부를 판별하는 예측 이미지 생성부를 포함할 수 있다.
또한, 상기 예측 이미지 생성부는, 전처리된 상기 황반 변성 안저 이미지와 상기 드루젠 영상 분할부에서 상기 황반 변성 안저 이미지를 이용하여 생성된 드루젠 영역 지도 및 시간 간격 정보를 제1 인공지능 신경망에 적용하여 구축된 생성 모델을 포함하되, 상기 생성 모델은, 미래 황반 변성 안저 이미지 및 상기 미래 황반 변성 안저 이미지와 연계된 미래 드루젠 영역지도를 생성할 수 있다.
또한, 상기 제1 인공지능 신경망은 Resnet block일 수 있다.
또한, 상기 예측 이미지 생성부는, 실제 황반 변성 안저 이미지 및 실제 드루젠 영역지도와 상기 생성 모델에서 생성된 상기 미래 황반 변성 안저 이미지 및 상기 미래 드루젠 영역지도를 구분하기 위한 제1 판별 모델을 포함하되, 상기 제1 판별 모델은, 전처리된 상기 황반 변성 안저 이미지와 상기 드루젠 영상 분할부에서 상기 황반 변성 안저 이미지를 이용하여 생성된 드루젠 영역 지도를 제2 인공지능 신경망에 적용하여 구축된 것일 수 있다.
또한, 상기 제1 판별 모델은, 실제 황반 변성 안저 이미지 및 상기 드루젠 영상 분할부에서 상기 실제 황반 변성 안저 이미지를 이용하여 생성된 실제 드루젠 영역지도를 진짜 데이터 쌍으로 판별하고, 상기 생성 모델에서 생성된 상기 미래 황반 변성 안저 이미지 및 상기 미래 드루젠 영역지도를 가짜 데이터 쌍으로 판별할 수 있다.
또한, 상기 예측 이미지 생성부는, 실제 미래 황반 변성 안저 이미지와 상기 생성 모델에서 생성된 상기 미래 황반 변성 안저 이미지를 구별하는 제2 판별 모델을 더 포함하되, 상기 제2 판별 모델은, 상기 생성 모델의 입력 값인 상기 황반 변성 안저 이미지 및 상기 시간 간격 정보와 상기 생성 모델에서 생성된 상기 미래 황반 변성 안저 이미지를 제3 인공지능 신경망에 적용하여 구축할 수 있다.
또한, 상기 제2 판별 모델은, 전처리된 상기 황반 변성 안저 이미지와 실제 황반 변성 안저 이미지 및 시간 정보를 진짜 데이터 쌍으로 판별하고, 전처리된 상기 황반 변성 안저 이미지와 상기 생성 모델에서 생성된 상기 미래 황반 변성 안저 이미지 및 시간 정보를 가짜 데이터 쌍으로 판별할 수 있다.
또한, 상기 데이터 전처리부는, 상기 복수의 황반 변성 안저 데이터 셋에 포함된 복수의 황반 변성 안저 이미지를 시신경 유두 검출 모델에 적용하여 시신경 유두 좌표를 획득할 수 있다.
또한, 상기 시신경 유두 검출 모델은, 상기 황반 변성 안저 이미지에서 황반부를 추출하기 위해 시신경 유두 검출이 가능하도록 학습된 DiscSeg모델일 수 있다.
또한, 상기 드루젠 영상 학습 모델은 U-Net기반으로 구축된 것일 수 있다.
또한, 인공지능기반 황반 변성 악화 예측 장치는, 상기 예측 이미지 생성부에서 생성된 상기 미래 황반 변성 안저 이미지를 기반으로 환자의 황반 변성 악화를 예측하는 예측부를 더 포함할 수 있다.
본원의 일 실시예에 따르면, 인공지능기반 황반 변성 악화 예측 방법은, 복수의 황반 변성 안저 데이터 셋을 수집하는 단계, 상기 복수의 황반 변성 안저 데이터 셋에 포함된 황반 변성 안저 이미지의 전처리를 수행하는 단계, 황반 변성 안저 이미지에 대응하는 드루젠 영역 지도 (Drusen segmentation mask)를 이용하여 인공지능 기반 드루젠 영상 학습 모델을 구축하는 단계, 전처리된 상기 황반 변성 안저 이미지를 상기 드루젠 영상 학습 모델에 적용하여 전처리된 상기 황반 변성 안저 이미지와 연계된 드루젠 영역 지도를 생성하는 단계, 상기 황반 변성 안저 이미지 및 상기 드루젠 영상 분할부에서 상기 황반 변성 안저 이미지를 이용하여 생성한 드루젠 영역 지도를 인공지능 신경망에 적용하여 미래 황반 변성 안저 이미지를 생성하는 단계 및 생성된 상기 미래 황반 변성 안저 이미지를 복수의 인공지능 신경망에 적용하여 진위여부를 판별하는 단계를 포함할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 환자의 미래 안저 영상을 생성함으로써, 의사가 환자의 미래 예측 안저 이미지 내 드루젠 영역을 시각적으로 확인할 수 있기 때문에 현재 안저 이미지와 비교를 통해 드루젠 영역의 변화를 예측할 수 있으며, 이를 통해 의사가 장기적 환자 치료를 고려하여 계획을 세울 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 같은 초기 황반 변성 환자들도 개인별로 악화 위험도가 다르기 때문에 위 발명을 사용하여 환자의 예상 악화 안저 소견을 확인 후, 악화 위험도가 낮은 환자에게서는 검사 간격을 길게 하고, 위험도가 높은 환자들에서는 검사 시기를 짧게 하여 모든 초기 황반 변성 환자들에서 적절한 질료가 이루어지게 할 수 있다.
이는 황반 변성 질환이 있는 환자들에서 실명 예방과 더불어 의료비 절감이라는 사회적 공공 이익에도 기여할 것으로 기대된다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 인공지능기반 황반 변성 악화 예측 장치의 개략적인 블록도이다.
도 2는 본원의 일 실시예에 따른 인공지능기반 황반 변성 악화 예측 장치의 학습에 사용되는 황반 변성 안저 이미지이다.
도 3은 본원의 일 실시예에 따른 인공지능기반 황반 변성 악화 예측 장치의 전처리부에서 수행되는 DiscSeg모델을 이용한 시신경 유두 검출 결과 및 관심 영역 추출을 설명하기 위한 도면이다.
도 4는 본원의 일 실시예에 따른 동일한 환자의 다른 시간대 안저 영상 비교 및 Dense Optical Flow Information 기반의 영상 정합 적용 후 안저 영상이다.
도 5는 본원의 일 실시예에 따른 안저 영상(Fundus image)에 대해 드루젠 영역(Drusen segmentation mask)을 표시하여 획득된 정답 드루젠 영역 지도(label)쌍이다.
도 6은 본원의 일 실시예에 따른 인공지능기반 황반 변성 악화 예측 장치의 드루젠 영상 학습 모델을 이용한 드루젠 영역 지도 생성결과이다.
도 7은 본원의 일 실시예에 따른 인공지능기반 황반 변성 악화 예측 장치의 예측 이미지 생성부의 개략적인 구성도이다.
도 8은 본원의 일 실시예에 따른 예측 이미지 생성부의 생성 모델의 구조를 개략적으로 나타낸 도면이다.
도 9는 본원의 일 실시예에 따른 예측 이미지 생성부의 생성 모델에 사용되는 Resent block의 구조를 개략적으로 나타낸 도면이다.
도 10은 본원의 일 실시예에 따른 예측 이미지 생성부의 제1판별 모델 구조를 개략적으로 나타낸 도면이다.
도 11은 본원의 일 실시예에 따른 예측 이미지 생성부의 제2판별 모델 구조를 개략적으로 나타낸 도면이다.
도 12는 본원의 일 실시예에 따른 인공지능기반 황반 변성 악화 예측 방법에 대한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본원은 현재 초기 나이 관련 황반 변성(이하 황반 변성) 질환을 앓고 있는 환자의 안저 이미지를 기반으로 인공지능 기술을 이용하여 이 환자의 미래 안저 영상을 생성할 수 있는 인공지능기반 황반 변성 악화 예측 장치 및 방법에 관한 것이다.
본원은 황반 변성 정보(드루젠 영역지도)를 사용함으로써 생성된 미래 황반 변성 이미지 이미지와 실제 정답 황반 변성 이미지 이미지에서 나타나는 황반 변성 부분 유사도 상승을 기대할 수 있다.
이하에서는 본원의 일 실시예에 따른 인공지능기반 황반 변성 악화 예측 장치를 설명의 편의상 황반 변성 악화 예측 장치라 하기로 한다.
참고로, 황반변성(macular degeneration)은 황반이 노화, 유전적인 요인, 독성, 염증 등에 의해 기능이 떨어지면서 시력이 감소되고, 심할 경우 시력을 완전히 잃기도 하는 질환이다. 눈의 안쪽 망막의 중심부에 위치한 신경조직을 황반이라고 하는데, 시세포의 대부분이 이곳에 모여 있고 물체의 상이 맺히는 곳도 황반의 중심이므로 시력에 대단히 중요한 역할을 담당하고 있다. 시력이란 대상의 존재와 형태를 인식하는 능력을 말하는데, 물체의 상이 황반의 중심에 맺어질 때 가장 예민하고 (중심시력), 망막 주변으로 갈수록 저하된다(주변시력). 우리가 책을 보거나 어떤 물체를 볼 때는 망막의 중심부인 황반부를 통해서 보게 되는 것으로, 일반적으로 중심시력을 시력이라고 말하며, 이러한 황반이 노화, 유전적인 요인, 독성, 염증 등에 의해 기능이 떨어지면서 시력이 감소되고, 심할 경우 시력을 완전히 잃기도 하는 질환이 바로 연령관련 황반변성이다. 이러한 황반이 주로 노화에 의해 기능이 떨어지면서 시력이 감소되고, 심할 경우 시력을 완전히 잃기도 하는 질환이 바로 연령관련 황반변성이다.
도 1은 본원의 일 실시예에 따른 인공지능기반 황반 변성 악화 예측 장치의 개략적인 블록도이다.
본원의 일 실시예에 따르면, 황반 변성 악화 예측 장치(1)는 환자들의 시간별 안저 이미지들로 구성된 황반 변성 안저 영상(이미지)을 수집하여 저장할 수 있다. 또한, 황반 변성 악화 예측 장치(1)는 황반부를 추출하기 위해 영상 내 시신경 유두 좌표를 획득하고, 획득된 시신경 유두 좌표를 기준으로 안저 영상에서 관심영역인 황반부를 직사각형 모양으로 추출할 수 있다. 또한, 황반 변성 악화 예측 장치(1)는 황반 변성 진행 예측을 위해 황반 변성 안저 이미지로부터 황반 변성의 대표적인 증상인 드루젠(Drusen) 영역을 추출할 수 있도록 수집한 황반 변성 안저 영상(이미지) 중 학습 이미지(영상)와 해당 이미지(영상)의 드루젠 영역 지도 (Drusen segmentation mask)를 사용하여 인공지능 기반 학습 모델을 구축할 수 있다. 또한, 황반 변성 악화 예측 장치(1) 인공지능 기반 학습 모델을 통해 현재 환자의 안저 이미지로부터 드루젠(Drusen)영역을 추출할 수 있다. 또한, 황반 변성 악화 예측 장치(1)는 황반 변성 질병에 대한 인공지능 기반 미래 황반 변성 악화 예측 모델을 통해 미래의 황반 변성 안저 이미지를 생성할 수 있다. 또한, 황반 변성 악화 예측 장치(1)는 생성된 미래의 황반 변성 안저 이미지의 진위여부를 판별할 수 있다.
도 1을 참조하면, 황반 변성 악화 예측 장치(1)는 데이터베이스(10), 데이터 전처리부(20), 드루젠 영상 분할부(30), 예측 이미지 생성부(40) 및 예측부(50)를 포함할 수 있다. 다만, 황반 변성 악화 예측 장치(1)의 구성이 이에 한정되는 것은 아니다. 예를 들어, 황반 변성 악화 예측 장치(1)는 외부 서버(미도시) 및 안저 영상 획득 장치(미도시)로부터 황반 변성 안저 이미지를 수집하기 위한 수집부(미도시)를 더 포함할 수 있다. 일예로, 외부 서버(미도시)는 병원 서버일 수 있으며, 병원 서버는 병원에 방문한 복수의 환자의 인적 사항 정보, 진료 정보 등을 보유하고 통합 관리하기 위해 병원 측이 보유하는 서버 또는 단말일 수 있다.
본원의 일 실시예에 따르면, 데이터베이스(10)는 복수의 황반 변성 안저 데이터 셋을 포함할 수 있다. 복수의 황반 변성 안저 데이터 셋은 실제 환자의 황반 변성 안저 이미지, 환자 번호, 성별, 황반 변성 안저 이미지가 획득된 날짜가 포함된 자료일 수 있다. 데이터 셋(Data Set)은 특정한 작업을 위하여 지리적 자료를 확인 가능하게 서로 관련된 자료를 모아 놓은 것으로 자료 원(Source)으로 여러 형식(Format)으로 된 자료를 포함할 수 있다. 또한, 데이터베이스(10)는 제1환자로부터 획득된 황반 변성 안저 이미지를 환자 번호, 성별, 획득 날짜와 연계하여 저장할 수 있다. 데이터베이스(10)는 시계열적으로 수집된 복수의 환자 각각으로부터 수집된 황반 변성 안저 이미지를 저장할 수 있다.
도 2는 본원의 일 실시예에 따른 인공지능기반 황반 변성 악화 예측 장치의 학습에 사용되는 황반 변성 안저 이미지이다.
예시적으로, 도 2를 참조하면, 데이터베이스(10)는 동일한 환자의 황반 변성 안저 이미지 관련 시계열 데이터를 포함할 수 있다. 예를 들어, 시계열 데이터는, 영상 획득 날짜가 다른 최소 1년의 시간차에 대한 동일한 환자의 안저 이미지를 포함할 수 있다. 데이터베이스(10)는 실제 환자의 황반 변성 안저 이미지 8,196장을 포함할 수 있다. 복수의 실제 환자의 황반 변성 안저 이미지는 예측 이미지 생성부에서 진짜 입력 혹은 미래 황반 변성 안저 이미지로 사용될 수 있다.
한편, 데이터베이스(10)는 수집부(미도시)로부터 수집된 데이터를 저장하기 위한 공간일 수 있다. 수집부(미도시)는 안과용 안저 촬영 장치로부터 촬영된 환자의 안저 이미지를 수집하고, 데이터베이스(10)는 수집부(미도시)에서 수집된 환자의 안저 이미지를 저장할 수 있다. 또한, 수집부(미도시)는 안과 서버 또는 안과 단말로부터 안저 이미지를 수집할 수 있다.
도 3은 본원의 일 실시예에 따른 인공지능기반 황반 변성 악화 예측 장치의 전처리부에서 수행되는 DiscSeg모델을 이용한 시신경 유두 검출 결과 및 관심 영역 추출을 설명하기 위한 도면이다.
본원의 일 실시예에 따르면, 데이터 전처리부(20)는 복수의 황반 변성 안저 데이터 셋에 포함된 황반 변성 안저 이미지의 전처리를 수행할 수 있다. 데이터 전처리부(20)는 황반 변성 안저 이미지가 인공지능 기반의 학습 모델에 적용 가능하도록 전처리를 수행할 수 있다. 데이터 전처리부(20)는 복수의 황반 변성 안저 이미지에서 황반 변성 검출에 필요한 이미지만을 검출하기 위한 전처리를 수행할 수 있다. 일예로, 데이터 전처리부(20)는 미리 설정된 사이즈로 황반 변성 안저 이미지를 자르는 전처리를 수행할 수 있다.
예시적으로, 도 3의 (a)를 참조하면, 복수의 황반 변성 안저 이미지에서 황반부를 추출하기 위해 시신경 유두 좌표를 획득할 수 있다. 시신경 유두는 황반에서 코 쪽으로 3 내지 4mm 떨어진 곳에 위치할 수 있다. 시신경 유두 안쪽에 움푹 패인 안배(optic cup)가 있으며, 안배의 모양의 녹내장 등 일부 망막 질환 진단에 사용된다.
또한, 데이터 전처리부(20)는 복수의 황반 변성 안저 데이터 셋에 포함된 복수의 황반 변성 안저 이미지를 시신경 유두 검출 모델에 적용하여 시신경 유두 좌표를 획득할 수 있다. 여기서, 시신경 유두 검출 모델은, 황반 변성 안저 이미지에서 황반부를 추출하기 위해 시신경 유두 검출이 가능하도록 학습된 DiscSeg모델일 수 있다. 예시적으로, 일반적으로 황반 변성의 대표적인 소견들은 망막 안저 이미지에서도 황반부에 나타난다. 데이터 전처리부(20)는 황반부를 추출하기 위해 황반 변성 안저 이미지 내 시신경 유두 좌표를 획득할 수 있다. 데이터 전처리부(20)는 황반부를 추출하기 위해 우선적으로 시신경 유두 검출이 가능하도록 학습된 DiscSeg모델을 시신경 유두 검출 모델로 사용하여 영상 내 시신경 유두 좌표 획득할 수 있다.
일예로, 도 3의 (b)를 참조하면, 데이터 전처리부(20)는 시신경 유두 좌표를 기준으로 안저 영상에서 관심영역인 황반부를 직사각형 모양으로 추출할 수 있다. 데이터 전처리부(20)는 획득된 시신경 유두 좌표를 기준으로 미리 설정된 크기의 직사각형 모양으로 안저 영상에서 관심 영역인 황반부가 포함되도록 이미지를 추출하는 전처리를 수행할 수 있다.
도 4는 본원의 일 실시예에 따른 동일한 환자의 다른 시간대 안저 영상 비교 및 Dense Optical Flow Information 기반의 영상 정합 적용 후 안저 영상이다.
도 4를 참조하면, 데이터 전처리부(20)는 일반적으로 촬영 각도 차이나 다른 촬영 장비로 인해 발생하는 동일한 환자의 시계열 안저 영상 간의 차이를 줄이기 위해 Dense Optical Flow Information(고밀도 광학 흐름 정보) 기반의 영상 정합(Image Registration)을 적용하는 전처리를 수행할 수 있다. 참고로, 영상 정합(Image Registration)은 서로 다른 영상을 변형하여 하나의 좌표계에 나타내는 처리기법으로, 영상 정합을 통해 서로 다른 측정 방식을 통해 얻은 영상이 어떻게 대응되는지 알 수 있다. 도 4에 도시된 Image I1은 제1환자로부터 제1시간에 획득된 안저 영상일 수 있다. 또한, Image I2는 제1환자로부터 제2시간에 획득된 안저 영상일 수 있다. 제1시간은 제2시간보다 이전 시간을 의미할 수 있다.
본원의 다른 일 실시예에 따르면, 데이터 전처리부(20)는 인공지능 신경망에 적용 가능하도록 복수의 황반 변성 안저 데이터 셋에 포함된 황반 변성 안저 이미지의 전처리를 수행할 수 있다. 일예로, 데이터 전처리부(20)는 자르기(crop) 단계를 수행할 수 있다. 자르기(crop) 단계는 황반 변성 안저 이미지에서 시신경 유두 좌표를 획득하고, 시신경 유두 좌표를 기준으로 관심영역인 황반부를 직사각형 모양으로 추출하기 위한 단계일 수 있다. 일예로, 데이터 전처리부(20)는 임의로 지정한 픽셀 크기(예를 들어, 299 x 299 픽셀, 244 x 244 픽셀)를 설정하여 황반 변성 안저 이미지를 자를 수 있다.
또한, 색상 조정(color adjustment) 단계를 수행할 수 있다. 예를 들어, 색상 조정 단계에서 데이터 전처리부(20)는 전체 데이터 세트의 평균 RGB 값으로 평균 감산 방법을 사용하여 추출된 색상을 기반으로 이미지의 색상 조정을 수행할 수 있다. 또한, 데이터 전처리부(20)는 랜덤하게 황반 변성 안저 이미지의 색상을 조정할 수 있다.
도 5는 본원의 일 실시예에 따른 안저 영상(Fundus image)에 대해 드루젠 영역(Drusen segmentation mask)을 표시하여 획득된 정답 드루젠 영역 지도(label) 쌍이고, 도 6은 본원의 일 실시예에 따른 인공지능기반 황반 변성 악화 예측 장치의 드루젠 영상 학습 모델을 이용한 드루젠 영역 지도 생성결과이다.
본원의 일 실시예에 따르면, 드루젠 영상 분할부(30)는 황반 변성 안저 이미지에 대응하는 드루젠 영역 지도(Drusen segmentation mask)를 이용하여 인공지능 기반 드루젠 영상 학습 모델을 구축할 수 있다. 드루젠 영상 분할부(30)는 황반 변성 안저 이미지에서 황반 변성 질환의 대표 증상 드루젠을 확인하기 위한 드루젠 영역 지도를 생성할 수 있다. 드루젠 영상 분할부(30)는 황반 변성 진행 예측을 위해 황반 변성 안저 이미지로부터 황반 변성의 대표적인 증상인 드루젠(Drusen) 영역을 추출할 수 있도록 수집한 황반 변성 안저 영상(이미지) 중 일부(예를 들어, 159장)의 영상과 해당 영상의 드루젠 영역 지도(Drusen segmentation mask)를 사용하여 드루젠 영상 학습 모델을 구축할 수 있다.
또한, 드루젠 영상 분할부(30)는 안과 의사가 학습용 황반 변성 안저 이미지를 기반으로 드루젠 영역 지도를 생성한 학습용 드루젠 영역 지도를 이용하여 인공지능 기반 드루젠 영상 학습 모델을 구축할 수 있다. 여기서, 드루젠 영상 학습 모델은 U-net 기반으로 구축된 모델일 수 있다. U-Net은 생의학적 이미지 분할을 위해 개발된 컨볼루션 신경망일 수 있다.
예시적으로 도 5를 참조하면, 도 5의 (a)는 데이터베이스(10)에 포함된 복수의 황반 변성 안저 이미지를 데이터 전처리부(20)에 적용하여 시신경 유두 좌표를 기준으로 안저 이미지(영상)에서 관심영역인 황반부를 직사각형 모양으로 추출한 것일 수 있다. 도 5의 (b)는 전처리된 황반 변성 안저 이미지를 드루젠 영상 학습 모델에 적용하여 드루젠 영역 지도를 표시한 것일 수 있다.
예를 들어, 드루젠 영상 분할부(30)는 데이터베이스(10)에 포함된 복수의 황반 변성 안저 이미지 중 인공지능 기반 드루젠 영상 학습 모델을 구축하기 위한 학습용 황반 변성 안저 이미지를 추출할 수 있다. 추출된 학습용 황반 변성 안저 이미지에는 학습용 황반 변성 안저 이미지에 대응하는 드루젠 영역 지도가 포함되어 있을 수 있다.
또한, 드루젠 영상 분할부(30)는 전처리된 황반 변성 안저 이미지를 드루젠 영상 학습 모델에 적용하여 전처리된 황반 변성 안저 이미지와 연계된 드루젠 영역 지도를 생성할 수 있다. 드루젠 영상 분할부(30)는 학습에 사용되지 않은 황반 변성 안저 이미지로부터 드루젠 영역 지도를 생성할 수 있다. 달리 말해, 드루젠 영상 분할부(30)는 인공지능 기반 드루젠 영상 학습 모델 구축 시 사용되지 않은 황반 변성 안저 이미지를 드루젠 영상 학습 모델에 적용하고, 황반 변성 안저 이미지와 연계된 드루젠 영역 지도를 생성할 수 있다.
예를 들어, 데이터베이스(10)는 총 8,196의 황반 변성 안저 이미지를 포함할 수 있다. 드루젠 영상 분할부(30)는 데이터베이스(10)에 포함된 황반 변성 안저 이미지 중 일부의 황반 변성 안저 이미지를 드루젠 영상 학습 모델을 구축하기 위한 학습용 황반 변성 안저 이미지로 추출할 수 있다. 이때, 추출된 학습용 황반 변성 안저 이미지는 드루젠 영역 지도를 포함할 수 있다. 드루젠 영상 분할부(30)는 학습용 황반 변성 안저 이미지와 연계된 학습용 드루젠 영역 지도를 이용하여 드루젠 영상 학습 모델을 구축할 수 있다. 드루젠 영상 분할부(30)는 드루젠 영역 지도 생성이 가능한 인공지능 드루젠 이미지 분할부를 이용하여 학습에 사용되지 않은 수집된 나머지 8,037장의 황반 변성 안저 이미지로부터 드루젠 영역 지도 추출할 수 있다. 참고로, 총 8,196 장의 드루젠 영역 지도는 예측 이미지 생성부에서 생성 모델 1개와 판별 모델 2개에서 진짜 입력 혹은 미래 데이터로 사용될 수 있다.
한편, 도 5와 같이 드루젠 영상 분할부(30)는 전처리된 황반 변성 안저 이미지와 전처리된 황반 변성 안저 이미지를 드루젠 영상 학습 모델에 적용하여 도출된 드루젠 영역 지도를 연계하여 생성활 수 있다.
도 6을 참조하면, 드루젠 영상 분할부(30)는 전처리된 황반 변성 안저 이미지를 드루젠 영상 학습 모델에 적용하여 드루젠 영역이 표시된 드루젠 영역 지도를 생성할 수 있다. 드루젠 영상 분할부(30)에서 황반 변성 정보(드루젠 영역지도)를 도출함으로써 추후 생성될 미래 황반 변성 이미지 이미지와 실제 정답 황반 변성 이미지에서 나타나는 황반 변성 부분 유사도의 상승 효과를 기대할 수 있다.
본원의 일 실시예에 따르면, 예측 이미지 생성부(40)는 황반 변성 안저 이미지 및 상기 드루젠 영상 분할부에서 상기 황반 변성 안저 이미지를 이용하여 생성한 드루젠 영역 지도를 인공지능 신경망에 적용하여 미래 황반 변성 안저 이미지를 생성할 수 있다. 또한, 예측 이미지 생성부(40)는 생성된 미래 황반 변성 안저 이미지를 복수의 인공지능 신경망에 적용하여 진위여부를 판별할 수 있다. 달리 말해, 예측 이미지 생성부(40)는 1개의 미래 황반 변성 안저 영상(이미지) 생성 모델과 2개의 미래 황반 변성 안저 영상(이미지) 판별 모델을 포함할 수 있다.
도 7은 본원의 일 실시예에 따른 인공지능기반 황반 변성 악화 예측 장치의 예측 이미지 생성부의 개략적인 구성도이다. 도 8은 본원의 일 실시예에 따른 예측 이미지 생성부의 생성 모델의 구조를 개략적으로 나타낸 도면이다.
본원의 일 실시예에 따르면, 예측 이미지 생성부(40)는 Generative Adversarial Network(GAN) 인공신경망을 적용하여 생성된 미래 황반 변성 안저 이미지를 판별할 수 있다. GAN은 두 개의 인공신경망이 서로 경장하며 학습이 진행된다. 이러한 두 개의 인공신경망을 generator와 discriminator라고 하며, 각각은 서로 다른 목적을 가지고 학습된다. Generator는 주어진 데이터를 보고 최대한 주어진 데이터와 비슷한 가짜 데이터를 생성한다. Discriminator는 진짜 데이터와 generator가 만든 가짜 데이터가 입력되었을 때, 어떤 것이 진짜 데이터인지를 판별한다.
또한, Generator는 discriminator를 속이기 위한 가짜 데이터를 만들고, discriminator는 진짜와 가짜 데이터를 구분한다. 이 과정을 계속하여 반복되면 discriminator는 점점 진짜와 가짜 데이터를 잘 구분하게 될 것이고, 이에 따라 generator는 더욱 진짜 같은 가짜를 만들게 될 것이다. 따라서, 이러한 generator와 discriminator의 경쟁을 통해 두 모델의 성능이 모두 향상되는 결과를 얻을 수 있다.
예측 이미지 생성부(40)는 생성 모델(41), 제1판별모델(42) 및 제2판별모델(43)을 포함할 수 있다. 예시적으로 도 7을 참조하면, 주어진 데이터와 비슷한 가짜 데이터를 생성하는 Generator는 생성 모델(41)일 수 있다. 또한, 진짜 데이터와 가짜 이미지를 구분하기 위한 Discriminator1은 제1판별모델(42)이고, Discriminator2는 제2판별모델(43)일 수 있다.
한편, 예측 이미지 생성부(40)는 미래 시간 정보를 미래 황반 변성 악화 예측 모델에 사용함으로써 미래 황반 변성 악화 예측 모델은 원하는 시간대의 미래 황반 변성 예측 영상 이미지를 생성할 수 있다. 미래 황반 변성 악화 예측 모델은 생성 모델(41), 제1판별모델(42) 및 제2판별모델(43)을 포함하는 인공지능 신경망 모델을 의미할 수 있다.
이하, 도 8 내지 도 11을 통해 생성 모델(41), 제1판별모델(42) 및 제2판별모델(43)에 대해 자세히 설명하고자 한다.
본원의 일 실시예에 따르면, 생성 모델(41)은 전처리된 황반 변성 안저 이미지와 드루젠 영상 분할부에서 전처리된 황반 변성 안저 이미지를 이용하여 생성된 드루젠 영역 지도 및 시간 간격 정보를 제1 인공지능 신경망에 적용하여 구축된 모델일 수 있다. 또한, 생성 모델(41)은 미래 황반 변성 안저 이미지 및 미래 황반 변성 안저 이미지와 연계된 미래 드루젠 영역지도를 생성할 수 있다. 여기서, 제1 인공지능 신경망은 Resnet block일 수 있다. 달리 말해, 생성 모델(41)은 미래 황반 변성 안저 이미지와 미래 드루젠 영역지도의 생성을 목적으로 한다. 즉, 생성 모델(41)은 ResNet 모델을 기반이며 입력 값으로 황반 변성 안저 영상(이미지), 안저 영상의 드루젠 영역지도, 시간 정보를 사용하며, 예측된 미래 안저 영상과 예측된 드루젠 영역 지도를 생성한다.
예시적으로 도 7을 참조하면, 생성 모델(41)은 황반 변성 안저 영상(이미지), 드루젠 영역 지도 및 시간 간격 정보를 입력 값으로 사용하여 특정 시간이 지난 후의 가짜 미래 황반 변성 안저 영상(이미지)과 가짜 미래 황반 변성 안저 영상(이미지)의 드루젠 영역 지도를 생성할 수 있다. 생성 모델(41)은 제1판별 모델(42)과 제2판별 모델(43)을 속이기 위해 생성 모델(41)의 입력 값으로 사용된 시간이 지난 동일한 환자의 수집된 황반 변성 안저 영상(이미지)과 최대한 비슷한 가짜 미래 황반 변성 안저 영상(이미지)과 가짜 드루젠 영역지도를 생성할 수 있다.
또한, 도 8을 참조하면, 제1 인공지능 신경망은 128x128x3 크기의 황반 변성 안저 이미지와 같은 크기의 해당 안저 이미지의 드루젠 영역 지도 및 시간 간격 정보를 결합(concatenate)하여 생성 모델의 입력 값으로 사용하여 구축된 모델일 수 있다. 제1 인공지능 신경망에 사용된 시간 정보는 특정 시간 후의 미래 황반 변성 안저 이미지를 생성하기 위한 조건일 수 있다. 생성 모델(41)은 황반 변성 안저 영상(이미지), 드루젠 영역 지도 및 시간 간격 정보를 제1 인공지능 신경망에 적용하여 미래 황반 변성 안저 이미지 및 미래 황반 변성 안저 이미지와 연계된 미래 드루젠 영역지도를 생성할 수 있다.
도 9는 본원의 일 실시예에 따른 예측 이미지 생성부의 생성 모델에 사용되는 Resent block의 구조를 개략적으로 나타낸 도면이다. Resent block은 image-to-image 변환 연구에서 주로 사용되는 모델일 수 있다.
도 10은 본원의 일 실시예에 따른 예측 이미지 생성부의 제1판별 모델 구조를 개략적으로 나타낸 도면이다.
본원의 일 실시예에 따르면, 제1판별 모델(42)은 전처리된 황반 변성 안저 이미지와 드루젠 영상 분할부에서 황반 변성 안저 이미지를 이용하여 생성된 드루젠 영역 지도를 제2 인공지능 신경망에 적용하여 구축된 모델일 수 있다. 제2 인공지능 신경망은 황반 변성 안저 이미지 및 황반 변성 안저 이미지와 연계된 드루젠 영역 지도를 입력 값으로 하여 제1판별 모델을 구축할 수 있다.
또한, 제1판별 모델(42)은 실제 황반 변성 안저 이미지 및 실제 드루젠 영역지도와 생성 모델에서 생성된 미래 황반 변성 안저 이미지 및 미래 드루젠 영역지도를 구분할 수 있다. 달리 말해, 제1판별 모델(42)은 실제 황반 변성 안저 이미지 및 실제 드루젠 영역지도와 생성된 황반 변성 안저 이미지 및 생성된 드루젠 영역지도를 구분을 목적으로 한다.
또한, 제1판별 모델(42)은 실제 황반 변성 안저 이미지 및 드루젠 영상 분할부(30)에서 실제 황반 변성 안저 이미지를 이용하여 생성된 실제 드루젠 영역지도를 진짜 데이터 쌍으로 판별할 수 있다. 달리 말해, 제1판별 모델(42)은 실제 미래 데이터 쌍 즉, 생성 모델(41)의 입력 값으로 사용된 시계열적으로 수집된 제1환자의 황반 변성 안저 이미지(실제 미래 안저 이미지)와 제1환자의 황반 변성 안저 이미지(실제 미래 안저 이미지)를 드루젠 영상 분할부(30)에 적용하여 생성된 제1환자의 황반 변성 안저 이미지(실제 미래 안저 이미지)와 연계된 드루젠 영역지도(실제 드루젠 영역지도)를 1로 구분하여 진짜 데이터 쌍으로 판별할 수 있다.
또한, 제1판별 모델(42)은 생성 모델에서 생성된 미래 황반 변성 안저 이미지 및 미래 드루젠 영역지도를 가짜 데이터 쌍으로 판별할 수 있다. 생성된 데이터 쌍 즉, 생성 모델(41)로부터 생성된 미래 황반 변성 안저 이미지(가짜 미래 안저 이미지)와 미래 드루젠 영역지도(가짜 미래 드루젠 영역 지도))을 0으로 구분하여 가짜 데이터 쌍으로 판별할 수 있다.
도 10을 참조하면, 제1판별 모델(42)은 6개의 Convolution Layer 은 4x4 kernel을 각각 32개, 64개, 128개 256개, 256개를 가지고 있으며 stride 는 2를 사용하여 최종적으로 1x1 kernel 256개로부터 입력 값이 진짜인지 가짜인지 판별할 수 있다.
도 11은 본원의 일 실시예에 따른 예측 이미지 생성부의 제2판별 모델 구조를 개략적으로 나타낸 도면이다.
본원의 일 실시예에 따르면, 제2판별 모델(43)은 생성 모델의 입력 값인 황반 변성 안저 이미지 및 시간 간격 정보와 생성 모델에서 생성된 미래 황반 변성 안저 이미지를 제3 인공지능 신경망에 적용하여 구축된 모델일 수 있다. 달리 말해, 제2판별 모델(43)은 제3 인공지능 신경망에 생성 모델(41)에서 사용된 황반 변성 안저 이미지와 실제 및 생성된 미래 황반 변성 안저 이미지, 생성 모델(41)에서 사용된 시간 정보를 입력 값으로 하여 구축된 판별 모델일 수 있다.
또한, 제2판별 모델(43)은 실제 미래 황반 변성 안저 이미지와 생성 모델에서 생성된 미래 황반 변성 안저 이미지를 구별할 수 있다. 제2판별 모델(43)은 시간을 고려하여 특정 시간의 실제 미래 안저 이미지와 생성된 미래 안저 이미지를 구별하는 목적으로 사용될 수 있다.
또한, 제2판별 모델(43)은 전처리된 황반 변성 안저 이미지와 실제 황반 변성 안저 이미지 및 시간 정보를 진짜 데이터 쌍으로 판별할 수 있다. 달리 말해, 제2판별 모델(43)은 생성 모델(41)에서 입력 값으로 사용된 황반 변성 안저 이미지와 실제 미래 황반 변성 안저 이미지 및 시간 정보를 1로 구분하여 진짜 데이터 쌍으로 판별할 수 있다.
또한, 제2판별 모델(43)은 전처리된 황반 변성 안저 이미지와 생성 모델에서 생성된 미래 황반 변성 안저 이미지 및 시간 정보를 가짜 데이터 쌍으로 판별할 수 있다. 달리 말해, 제2판별 모델(43)은 생성 모델(41)에서 사용된 황반 변성 안저 이미지와 생성 모델(41)에서 생성된 미래 황반 변성 안저 이미지 및 시간 정보를 0으로 가짜 데이터 쌍으로 판별할 수 있다.
도 11을 참조하면, 제2판별 모델(43)은 현재 황반 변성 안저 영상과 미래 진짜 혹은 생성된 황반 변성 안저 영상, 시간 정보를 입력 값으로 사용하여 입력 값으로 사용된 데이터 쌍이 진짜인지 가짜인지 판별할 수 있다. 제2판별 모델(43)은 제1판별 모델(42)에서 시간 정보를 입력 값으로 받아 사용할 수 있도록 2개의 Convolution Layer를 추가하였다.
본원의 일 실시예에 따르면, 예측부(50)는 예측 이미지 생성부(40)에서 생성된 미래 황반 변성 안저 이미지를 기반으로 환자의 황반 변성 악화를 예측할 수 있다. 예측부(50)는 예측 이미지 생성부(40)로부터 미리 정해진 시간 단위별로 생성된 미래 황반 변성 예측 이미지를 제공받을 수 있다. 예를 들어, 미리 정해진 시간 단위는 1년 단위일 수 있으나, 이에 한정되는 것은 아니다. 예측부(50)는 환자의 현재 안저 이미지로부터 건성 황반변성 또는 습성 황반 변성을 예측할 수 있다. 또한, 예측부(50)는 건성 황반 변성의 환자의 경우, 미래 황반 변성 안저 이미지를 고려하여, 습성 황반 변성으로 발전하는 시기를 예측할 수 있다.
한편, 예측부(50)는 미래 황반 변성 안저 이미지 및 미래 황반 변성 안저 이미지와 연계된 드루젠 영상 지도에 기반하여 드루젠(drusen)의 위치, 크기 및 개수 중 적어도 어느 하나를 고려하여 환자의 황반 변성 악화를 예측할 수 있다.
본원의 일 실시예에 따르면, 황반 변성 악화 예측 장치(1)는 제1환자로부터 현재 황반 변성 안저 이미지를 획득할 수 있다. 황반 변성 악화 예측 장치(1)는 획득된 현재 황반 변성 안저 이미지에 대한 전처리를 수행할 수 있다. 또한, 황반 변성 악화 예측 장치(1)는 전처리된 황반 변성 안저 이미지를 드루젠 영상 학습 모델에 적용하여 제1환자의 황반 변성 안저 이미지와 연계된 드루젠 영역 지도를 생성할 수 있다. 또한, 황반 변성 악화 예측 장치(1)는 제1환자의 황반 변성 안저 이미지 및 제1환자의 황반 변성 안저 이미지와 연계된 드루젠 영역 지도를 인공지능 신경망에 적용하여 미래 황반 변성 안저 이미지를 생성할 수 있다. 또한, 황반 변성 악화 예측 장치(1)는 생성된 미래 황반 변성 안저 이미지를 이용하여 환자의 황반 변성 악화를 예측할 수 있다. 본원의 다른 일 실시예에 따르면, 황반 변성 악화 예측 장치(1)는 의사 단말(미도시)로 황반 변성 악화 예측 관리 메뉴를 제공할 수 있다. 예를 들어, 황반 변성 악화 예측 장치(1)가 제공하는 어플리케이션 프로그램을 의사 단말(미도시)이 다운로드하여 설치하고, 설치된 어플리케이션을 통해 황반 변성 악화 예측 관리 메뉴가 제공될 수 있다. 또한, 황반 변성 악화 예측 장치(1)는 환자 단말(미도시)로 황반 변성 악화 예측 확인 메뉴를 제공할 수 있다. 예를 들어, 황반 변성 악화 예측 장치(1)가 제공하는 어플리케이션 프로그램을 환자 단말(미도시)이 다운로드하여 설치하고, 설치된 어플리케이션을 통해 황반 변성 악화 예측 확인 메뉴가 제공될 수 있다.
예시적으로, 황반 변성 악화 예측 관리 메뉴는, 환자 개인별로 수집된 안과용 안저 촬영 장치로부터 촬영된 환자의 안저 이미지를 포함할 수 있다. 또한, 환자 각각에 대하여 황반 변성 악화 예측 장치(1)를 통해 생성된 미래 황반 변성 안저 이미지를 포함할 수 있다. 의사는 의사 단말(미도시)로 제공된 황반 변성 악화 예측 관리 메뉴를 기반으로, 환자 개인의 치료를 위한 계획을 세우고, 환자에게 적절한 진료를 계획할 수 있다.
또한, 황반 변성 악화 예측 확인 메뉴는, 환자 단말(미도시)을 사용하는 환자의 안저 이미지를 포함할 수 있다. 또한, 환자 단말(미도시)을 사용하는 환자에 대하여 황반 변성 악화 예측 장치(1)를 통해 생성된 미래 황반 변성 안저 이미지를 포함할 수 있다. 또한, 황반 변성 악화 예측 확인 메뉴는, 의사 단말(미도시)을 통해 제공받은 의사의 진단 결과 및 생활 속 습관을 통한 예방 방법 등을 포함할 수 있다.
황반 변성 악화 예측 장치(1)는 의사 단말(미도시) 및 환자 단말(미도시)과 데이터, 콘텐츠, 각종 통신 신호를 네트워크를 통해 송수신하고, 데이터 저장 및 처리의 기능을 가지는 모든 종류의 서버, 단말, 또는 디바이스를 포함할 수 있다.
의사 단말(미도시) 및 환자 단말(미도시)은 네트워크를 통해 황반 변성 악화 예측 장치(1)와 연동되는 디바이스로서, 예를 들면, 스마트폰(Smartphone), 스마트패드(Smart Pad), 태블릿 PC, 웨어러블 디바이스 등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 같은 모든 종류의 무선 통신 장치 및 데스크탑 컴퓨터, 스마트 TV와 같은 고정용 단말기일 수도 있다.
황반 변성 악화 예측 장치(1)는 의사 단말(미도시) 및 환자 단말(미도시)간의 정보 공유를 위한 네트워크의 일 예로는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 유무선 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, Wifi 네트워크, NFC(Near Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함될 수 있으며, 이에 한정된 것은 아니다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도12는 본원의 일 실시예에 따른 인공지능기반 황반 변성 악화 예측 방법에 대한 동작 흐름도이다.
도 12에 도시된 인공지능기반 황반 변성 악화 예측 방법은 앞서 설명된 인공지능기반 황반 변성 악화 예측 장치(1)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 인공지능기반 황반 변성 악화 예측 장치(1)에 대하여 설명된 내용은 인공지능기반 황반 변성 악화 예측 방법에 대한 설명에도 동일하게 적용될 수 있다.
단계 S101에서 인공지능기반 황반 변성 악화 예측 장치(1)는 복수의 황반 변성 안저 데이터 셋을 수집할 수 있다.
단계 S102에서 인공지능기반 황반 변성 악화 예측 장치(1)는 복수의 황반 변성 안저 데이터 셋에 포함된 황반 변성 안저 이미지의 전처리를 수행할 수 있다.
단계 S103에서 인공지능기반 황반 변성 악화 예측 장치(1)는 황반 변성 안저 이미지에 대응하는 드루젠 영역 지도 (Drusen segmentation mask)를 이용하여 인공지능 기반 드루젠 영상 학습 모델을 구축할 수 있다.
단계 S104에서 인공지능기반 황반 변성 악화 예측 장치(1)는 전처리된 황반 변성 안저 이미지를 드루젠 영상 학습 모델에 적용하여 전처리된 황반 변성 안저 이미지와 연계된 드루젠 영역 지도를 생성할 수 있다.
단계 S105에서 인공지능기반 황반 변성 악화 예측 장치(1)는 상기 황반 변성 안저 이미지 및 상기 드루젠 영상 분할부에서 상기 황반 변성 안저 이미지를 이용하여 생성한 드루젠 영역 지도를 인공지능 신경망에 적용하여 미래의 황반 변성 안저 이미지를 생성할 수 있다.
단계 S106에서 인공지능기반 황반 변성 악화 예측 장치(1)는 생성된 미래의 황반 변성 안저 이미지를 복수의 인공지능 신경망에 적용하여 진위여부를 판별할 수 있다.
상술한 설명에서, 단계 S101 내지 S106은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시 예에 따른 인공지능기반 황반 변성 악화 예측 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 인공지능기반 황반 변성 악화 예측 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
1: 인공지능기반 황반 변성 악화 예측 장치
10: 데이터베이스
20: 데이터 전처리부
30: 드루젠 영상 분할부
40: 예측 이미지 생성부
41: 생성 모델
42: 제1 판별모델
43: 제2 판별모델
44: 예측부

Claims (12)

  1. 인공지능기반 황반 변성 악화 예측 장치에 있어서,
    복수의 황반 변성 안저 데이터 셋을 포함하는 데이터 베이스;
    상기 복수의 황반 변성 안저 데이터 셋에 포함된 황반 변성 안저 이미지의 전처리를 수행하는 데이터 전처리부;
    황반 변성 안저 이미지에 대응하는 드루젠 영역 지도 (Drusen segmentation mask)를 이용하여 인공지능 기반 드루젠 영상 학습 모델을 구축하고, 전처리된 상기 황반 변성 안저 이미지를 상기 드루젠 영상 학습 모델에 적용하여 전처리된 상기 황반 변성 안저 이미지와 연계된 드루젠 영역 지도를 생성하는 드루젠 영상 분할부; 및
    상기 황반 변성 안저 이미지 및 상기 드루젠 영상 분할부에서 상기 황반 변성 안저 이미지를 이용하여 생성한 드루젠 영역 지도를 인공지능 신경망에 적용하여 미래 황반 변성 안저 이미지를 생성하고, 생성된 상기 미래 황반 변성 안저 이미지를 복수의 인공지능 신경망에 적용하여 진위여부를 판별하는 예측 이미지 생성부,
    를 포함하는, 인공지능기반 황반 변성 악화 예측 장치.
  2. 제1항에 있어서,
    상기 예측 이미지 생성부는,
    전처리된 상기 황반 변성 안저 이미지와 상기 드루젠 영상 분할부에서 상기 황반 변성 안저 이미지를 이용하여 생성된 드루젠 영역 지도 및 시간 간격 정보를 제1 인공지능 신경망에 적용하여 구축된 생성 모델을 포함하되,
    상기 생성 모델은,
    미래 황반 변성 안저 이미지 및 상기 미래 황반 변성 안저 이미지와 연계된 미래 드루젠 영역지도를 생성하는 것인, 인공지능기반 황반 변성 악화 예측 장치.
  3. 제2항에 있어서,
    상기 제1 인공지능 신경망은 Resnet block인 것인, 인공지능기반 황반 변성 악화 예측 장치.
  4. 제2항에 있어서,
    상기 예측 이미지 생성부는,
    실제 황반 변성 안저 이미지 및 실제 드루젠 영역지도와 상기 생성 모델에서 생성된 상기 미래 황반 변성 안저 이미지 및 상기 미래 드루젠 영역지도를 구분하기 위한 제1 판별 모델을 포함하되,
    상기 제1 판별 모델은,
    전처리된 상기 황반 변성 안저 이미지와 상기 드루젠 영상 분할부에서 상기 황반 변성 안저 이미지를 이용하여 생성된 드루젠 영역 지도를 제2 인공지능 신경망에 적용하여 구축된 것인, 인공지능기반 황반 변성 악화 예측 장치.
  5. 제4항에 있어서,
    상기 제1 판별 모델은,
    실제 황반 변성 안저 이미지 및 상기 드루젠 영상 분할부에서 상기 실제 황반 변성 안저 이미지를 이용하여 생성된 실제 드루젠 영역지도를 진짜 데이터 쌍으로 판별하고,
    상기 생성 모델에서 생성된 상기 미래 황반 변성 안저 이미지 및 상기 미래 드루젠 영역지도를 가짜 데이터 쌍으로 판별하는 것인, 인공지능기반 황반 변성 악화 예측 장치.
  6. 제2항에 있어서,
    상기 예측 이미지 생성부는,
    실제 미래 황반 변성 안저 이미지와 상기 생성 모델에서 생성된 상기 미래 황반 변성 안저 이미지를 구별하는 제2 판별 모델을 더 포함하되,
    상기 제2 판별 모델은,
    상기 생성 모델의 입력 값인 상기 황반 변성 안저 이미지 및 상기 시간 간격 정보와 상기 생성 모델에서 생성된 상기 미래 황반 변성 안저 이미지를 제3 인공지능 신경망에 적용하여 구축된 것인, 인공지능기반 황반 변성 악화 예측 장치.
  7. 제6항에 있어서,
    상기 제2 판별 모델은,
    전처리된 상기 황반 변성 안저 이미지와 실제 황반 변성 안저 이미지 및 시간 정보를 진짜 데이터 쌍으로 판별하고,
    전처리된 상기 황반 변성 안저 이미지와 상기 생성 모델에서 생성된 상기 미래 황반 변성 안저 이미지 및 시간 정보를 가짜 데이터 쌍으로 판별하는 것인, 인공지능기반 황반 변성 악화 예측 장치.
  8. 제1항에 있어서,
    상기 데이터 전처리부는,
    상기 복수의 황반 변성 안저 데이터 셋에 포함된 복수의 황반 변성 안저 이미지를 시신경 유두 검출 모델에 적용하여 시신경 유두 좌표를 획득하는 것인, 인공지능기반 황반 변성 악화 예측 장치.
  9. 제8항에 있어서,
    상기 시신경 유두 검출 모델은,
    상기 황반 변성 안저 이미지에서 황반부를 추출하기 위해 시신경 유두 검출이 가능하도록 학습된 DiscSeg모델인 것인, 인공지능기반 황반 변성 악화 예측 장치.
  10. 제1항에 있어서,
    상기 드루젠 영상 학습 모델은 U-Net기반으로 구축된 것인, 인공지능기반 황반 변성 악화 예측 장치.
  11. 제1항에 있어서,
    상기 예측 이미지 생성부에서 생성된 상기 미래 황반 변성 안저 이미지를 기반으로 환자의 황반 변성 악화를 예측하는 예측부를 더 포함하는 것인, 인공지능기반 황반 변성 악화 예측 장치.
  12. 인공지능기반 황반 변성 악화 예측 방법에 있어서,
    복수의 황반 변성 안저 데이터 셋을 수집하는 단계;
    상기 복수의 황반 변성 안저 데이터 셋에 포함된 황반 변성 안저 이미지의 전처리를 수행하는 단계;
    황반 변성 안저 이미지에 대응하는 드루젠 영역 지도 (Drusen segmentation mask)를 이용하여 인공지능 기반 드루젠 영상 학습 모델을 구축하는 단계;
    전처리된 상기 황반 변성 안저 이미지를 상기 드루젠 영상 학습 모델에 적용하여 전처리된 상기 황반 변성 안저 이미지와 연계된 드루젠 영역 지도를 생성하는 단계;
    상기 황반 변성 안저 이미지 및 상기 드루젠 영상 분할부에서 상기 황반 변성 안저 이미지를 이용하여 생성한 드루젠 영역 지도를 인공지능 신경망에 적용하여 미래 황반 변성 안저 이미지를 생성하는 단계; 및
    생성된 상기 미래 황반 변성 안저 이미지를 복수의 인공지능 신경망에 적용하여 진위여부를 판별하는 단계,
    를 포함하는, 인공지능기반 황반 변성 악화 예측 방법.
KR1020200069350A 2020-06-09 2020-06-09 인공지능기반 황반 변성 악화 예측 장치 및 방법 KR102466792B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200069350A KR102466792B1 (ko) 2020-06-09 2020-06-09 인공지능기반 황반 변성 악화 예측 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200069350A KR102466792B1 (ko) 2020-06-09 2020-06-09 인공지능기반 황반 변성 악화 예측 장치 및 방법

Publications (3)

Publication Number Publication Date
KR20210153166A KR20210153166A (ko) 2021-12-17
KR102466792B1 true KR102466792B1 (ko) 2022-11-14
KR102466792B9 KR102466792B9 (ko) 2023-02-23

Family

ID=79033692

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200069350A KR102466792B1 (ko) 2020-06-09 2020-06-09 인공지능기반 황반 변성 악화 예측 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102466792B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101848321B1 (ko) 2017-10-27 2018-04-20 주식회사 뷰노 피검체에 대한 안저 영상의 판독을 지원하는 방법 및 이를 이용한 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200005405A (ko) * 2018-07-06 2020-01-15 연세대학교 산학협력단 진단 보조 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101848321B1 (ko) 2017-10-27 2018-04-20 주식회사 뷰노 피검체에 대한 안저 영상의 판독을 지원하는 방법 및 이를 이용한 장치

Also Published As

Publication number Publication date
KR102466792B9 (ko) 2023-02-23
KR20210153166A (ko) 2021-12-17

Similar Documents

Publication Publication Date Title
Shanthi et al. Modified Alexnet architecture for classification of diabetic retinopathy images
US11967074B2 (en) Method and system for computer-aided triage
Li et al. Computer‐assisted diagnosis for diabetic retinopathy based on fundus images using deep convolutional neural network
EP3373798B1 (en) Method and system for classifying optic nerve head
AU2014271202B2 (en) A system and method for remote medical diagnosis
Ju et al. Leveraging regular fundus images for training UWF fundus diagnosis models via adversarial learning and pseudo-labeling
US20200334811A1 (en) Method and system for computer-aided triage
CN111222361A (zh) 一种高血压视网膜血管改变特征数据分析的方法和***
US20210391056A1 (en) Health big data service method and system based on remote fundus screening
US20230360143A1 (en) Using images and voice recordings to facilitate underwriting life insurance
US11756691B2 (en) Brain health comparison system
Uppamma et al. Deep learning and medical image processing techniques for diabetic retinopathy: a survey of applications, challenges, and future trends
WO2020190648A1 (en) Method and system for measuring pupillary light reflex with a mobile phone
Giancardo Automated fundus images analysis techniques to screen retinal diseases in diabetic patients
KR102466792B1 (ko) 인공지능기반 황반 변성 악화 예측 장치 및 방법
CN111325631B (zh) 一种基于眼底图像的健康保险控费的方法和***
Alotaibi et al. Detection of ischemic stroke tissue fate from the MRI images using a deep learning approach
Balaramesh et al. Sustainable diabetic retinopathy diagnosis system using iot
Manikandakumar Smart Cataract Detector: An Image Processing-Based Mobile Application for Cataract Detection
Sowmya et al. Dimensionality Reduction and Feature Matching in Functional MRI Imaging Data
Monisha et al. Automatic Detection of Maculopathy Using Deep Learning
WO2023199088A1 (en) Determination of cardiac functional indices
KR20240077415A (ko) 당뇨망막병증 분류 장치 및 방법
Meriaudeau et al. Computer aided design for diabetic retinopathy
Karnowski et al. Automating the diagnosis, stratification, and management of diabetic retinopathy using content-based image retrieval in an ocular telehealth network

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]