KR20230131068A - 흉부 방사선 영상을 이용하는 폐질환 환자의 생존 정보 예측 시스템 및 생존 정보 예측 방법 - Google Patents

흉부 방사선 영상을 이용하는 폐질환 환자의 생존 정보 예측 시스템 및 생존 정보 예측 방법 Download PDF

Info

Publication number
KR20230131068A
KR20230131068A KR1020220091063A KR20220091063A KR20230131068A KR 20230131068 A KR20230131068 A KR 20230131068A KR 1020220091063 A KR1020220091063 A KR 1020220091063A KR 20220091063 A KR20220091063 A KR 20220091063A KR 20230131068 A KR20230131068 A KR 20230131068A
Authority
KR
South Korea
Prior art keywords
survival
information
dlsp
cxr
days
Prior art date
Application number
KR1020220091063A
Other languages
English (en)
Inventor
남주강
박창민
이창훈
강혜린
Original Assignee
서울대학교병원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교병원 filed Critical 서울대학교병원
Publication of KR20230131068A publication Critical patent/KR20230131068A/ko

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Computational Linguistics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명의 일실시예에 따른 흉부 방사선 (CXR) 영상에 기반하여 폐질환 환자의 생존 정보를 예측하여 후속 치료 계획을 지원하는 생존 정보 예측 시스템은, 과거 폐질환 환자들의 흉부 방사선 (CXR) 영상과 상기 환자들의 생존 기간 및 현재 생존 여부를 포함하는 생존 정보를 저장하는 정보 저장부; 상기 흉부 방사선 영상 및 상기 생존 정보를 학습 데이터로 사용하여 합성곱 신경망(Convolutional neural networks, CNN)을 학습시킴으로서 생존 예측 모델(DLSPCXR)을 생성하는 학습 모델 생성부; 대상 환자의 흉부 방사선 영상을 획득하여 수집하는 정보 수집부; 및 상기 생존 예측 모델(DLSPCXR)을 이용하여, 상기 정보 수집부로부터 입력된 대상 환자의 흉부 방사선 영상으로부터 예측되는 생존 정보를 출력하는 생존 정보 예측부를 포함할 수 있다.
이러한 구성에 따르면, 상대적으로 적은 피폭량과 경제적인 비용으로 자주 사용가능한 X-ray와 같은 흉부 방사선 영상으로부터 폐질환에 따른 환자의 생존 예측 정보를 높은 정확성과 경제성으로 도출할 수 있다.

Description

흉부 방사선 영상을 이용하는 폐질환 환자의 생존 정보 예측 시스템 및 생존 정보 예측 방법{SURVIVAL INFORMATION PREDICTION SYSTEM FOR LUNG DISEASE PATIENT USING CHEST RADIOGRAPHIC IMAGE AND SURVIVAL INFORMATION PREDICTION METHOD}
본 발명은 흉부 방사선 영상을 이용하는 생존 정보 예측 시스템 및 생존 정보 예측 방법에 관한 것으로, 더욱 상세하게는 흉부 방사선 영상을 이용하여 폐질환 환자의 생존 확률 또는 생존 기간 등의 생존 정보를 예측하는 딥러닝 기반의 생존 정보 예측 시스템 및 생존 정보 예측 방법에 관한 것이다.
폐질환은 인간의 건강에 있어서 주요한 사망 원인 중 하나로서, 그 중 특히 만성 폐쇄성 폐질환(Chronic Obstructive Pulmonary Disease, COPD)는 전세계적으로 4번째 사망원인이다. 또한 COPD는 장기간의 추적 관찰이 필요한 만성 질환으로 환자의 기대수명을 예측하는 것이 추적 관찰 및 치료 계획을 결정하는 데 중요한 요인이 된다.
종래에는 환자의 연령(Y), 증상, 급성 악화 이력, 체질량 지수(BMI), 동반 질환, 운동 능력, 1초 내 강제 호기량(FEV1)을 포함하는 폐기능검사 결과 등 폐질환과 연관된 다양한 임상과 관련된 예후 매개변수들을 통해 이러한 환자의 기대수명 등의 생존 정보를 예측하는 방법에 제안된 바 있으며, BODE, ADO, COPD 관련 사망률(morbidity) 검사, CPIS 및 GOLD 지수를 포함하는 여러 임상 매개변수를 통합하는 임상 지표가 제안된 바도 있다. 또한, 일부 보고서에서는 생존 정보 예측을 위해 발견 부위 영상의 정량화가 가능한 컴퓨터 단층 촬영(Computerized Tomography, CT)의 잠재적 가능성을 제안한 바도 있다.
유럽 특허 제2137672호에서는 의료 진단 또는 예후를 조력하기 위해 의료영상 데이터를 분석하는 방법에 대하여 개시하고 있다. 여기에서는 CT 이미지로부터 의학적 상태에 관련된 의료 영상의 특징을 나타내는 진단 지시기 또는 예후 표시기로서 바이오 마커를 사용하며, 환자의 조건을 진단하거나 예상하기 위해 바이오마커를 임계값과 비교하거나, 의료영상으로부터 도출해 낸 조직 변수의 비율을 포함할 수 있도록 하고 있다. 특히 폐의 CT 이미지로부터 바이오마커를 사용하여 폐 암종에서 폐 노듈의 그래딩 층 또는 스테이징을 나타내어 종양 물질의 대사를 예상하거나 폐의 장애를 검출하는 것이 개시되어 있다. 그러나, 이러한 바이오마커는 CT가 영상의 정량화가 가능하다는 점에서 사용가능한 것이며, 영상의 정량화가 어려운 X-ray와 같은 방사선 영상에서는 사용하기 어렵다. 게다가 CT는 환자에 대한 방사선 피폭량이 높고 접근성이 떨어지며 비용이 높은 단점이 있어 매 추적관찰마다 촬영하는 것을 불가능하다. 상대적으로 적은 피폭량과 경제적인 비용으로 자주 사용가능한 X-ray와 같은 방사선 영상으로부터 폐질환에 따른 환자의 생존 예측 정보를 도출하는 방법은 제안된 바 없다.
그러나, X-ray와 같은 흉부 방사선 영상(CXR)에서는 체적이나 감쇠의 객관적인 정량화가 어렵기 때문에 생존 예측 변수로 사용하기에는 폐질환, 특히 COPD의 질병 상태를 반영하는 특징을 추출하는 것에 어려움이 있다.
(특허문헌1) 유럽특허 등록특허공보 제2137672호
본 발명의 이상과 같은 문제점을 해결하기 위한 것으로서, 본 발명이 이루고자 하는 과제는 흉부 방사선 영상을 이용하여 폐질환의 환자의 생존 정보를 높은 정확성, 경제성, 및 효율성으로 예측하여 후속 치료 계획을 원활히 지원하는 딥러닝 기반 생존 정보 예측 시스템 및 생존 정보 예측 방법을 제공하는 것이다.
본 발명이 이루고자 하는 과제는 흉부 방사선 영상과 연령(Y), 체질량 지수(BMI), 및 1초동안 강제 호기량(FEV1)을 포함하는 임상 정보를 결합하여 이용하여 폐질환의 환자의 생존 정보를 높은 정확성, 경제성, 및 효율성으로 예측하여 후속 치료 계획을 지원하는 원활히 지원하는 딥러닝 기반 생존 정보 예측 시스템 및 생존 정보 예측 방법을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위하여, 본 발명의 일실시예에 따른 흉부 방사선 (CXR) 영상에 기반하여 폐질환 환자의 생존 정보를 예측하는 생존 정보 예측 시스템에 있어서, 과거 폐질환 환자들의 흉부 방사선 (CXR) 영상과 상기 환자들의 생존 기간 및 현재 생존 여부를 포함하는 생존 정보를 저장하는 정보 저장부; 상기 흉부 방사선 영상 및 상기 생존 정보를 학습 데이터로 사용하여 합성곱 신경망(Convolutional neural networks, CNN)을 학습시킴으로서 생존 예측 모델(DLSPCXR)을 생성하는 학습 모델 생성부; 대상 환자의 흉부 방사선 영상을 획득하여 수집하는 정보 수집부; 및 상기 생존 예측 모델(DLSPCXR)을 이용하여, 상기 정보 수집부로부터 입력된 대상 환자의 흉부 방사선 영상으로부터 예측되는 생존 정보를 출력하는 생존 정보 예측부를 포함할 수 있다.
본 발명의 일실시예에 있어서, 상기 정보 저장부에서 상기 과거 폐질환 환자들의 연령(Y), 체질량 지수(BMI), 및 1초동안 강제 호기량(FEV1)을 포함하는 임상 정보를 더 저장하고, 상기 정보 수집부는 상기 대상 환자의 연령(Y), 체질량 지수(BMI), 및 1초동안 강제 호기량(FEV1)을 포함하는 임상 정보를 더 수집하며,
상기 생존 정보 예측 시스템은, 상기 생존 예측 모델(DLSPCXR)에 상기 과거 폐질환 환자들의 임상 정보에 기반한 생존 예측 통계 모델을 더 결합하여 통합 생존 예측 모델(DLSPinteg)을 생성하는 통합 생존 예측 모델 생성부를 더 포함하고,
상기 생존 정보 예측부는 상기 통합 생존 예측 모델(DLSPinteg)을 사용하여 상기 수집부로부터 입력된 상기 대상 환자의 흉부 방사선 영상 및 임상 정보로부터 예측되는 생존 정보를 출력할 수 있다.
본 발명의 일실시예에 있어서, 상기 학습 모델 생성부는, 상기 학습 전에 상기 저장된 흉부 방사선 영상을 정규화하고 미리정해진 픽셀 크기로 조정하는 것을 포함하는 데이터 전처리를 수행하는 데이터 전처리부를 더 포함할 수 있다.
본 발명의 일실시예에 있어서, 상기 통합 생존 예측 모델(DLSPinteg)의 생존 정보 출력 데이터(Sinteg)는 이하의 식(1)에 따를 수 있다.
S integ = 0.063 × Y - 0.074 × BMI (kg/m2) - 0.010 × FEV1 (%) - 0.037 × DLSP CXR (%) -------- 식(1)
본 발명의 일실시예에 있어서, 상기 합성곱 신경망(CNN)에 기초한 생존 예측 모델(DLSPCXR)의 최종 출력 레이어는, 환자의 추후 생존 가능성에 대하여 (1) 0일 이상 600일 이하, (2) 600일 초과 1200일 이하, (3) 1200일 초과 1800일 이하, (4) 1800일 초과 2400일 이하, (5) 2400일 초과 3000일 이하, 및 (6) 3000일 초과 3600일 이하의6개 클래스로 구성될 수 있다.
본 발명의 일실시예에 있어서, 상기 생존 예측 모델(DLSPCXR)로부터 출력되는 생존 정보는 5년 생존 확률을 포함할 수 있으며, 상기 5년 생존 확률 정보는 상기 클래스 (1) 내지 (3) 각각의 결과들의 곱으로 정의될 수 있다.
본 발명의 일실시예에 있어서, 상기 폐질환은 만성 폐쇄성 폐질환(Chronic Obstructive Pulmonary Disease: COPD)일 수 있다.
상기 기술적 과제를 달성하기 위하여, 본 발명의 다른 실시예에 따른 흉부 방사선 영상에 기반하여 폐질환 환자의 생존 정보를 예측하는 생존 정보 예측 방법은, 과거 폐질환 환자들의 흉부 방사선 (CXR) 영상, 및 상기 환자들의 생존 기간, 현재 생존 여부를 포함하는 생존 정보를 저장하는 정보 저장 단계; 상기 흉부 방사선 영상 및 상기 생존 정보를 학습 데이터로 사용하여 합성곱 신경망(Convolutional neural networks, CNN)을 학습시킴으로서 생존 예측 모델(DLSPCXR)을 생성하는 학습 모델 생성 단계; 대상 환자의 흉부 방사선 영상을 수집하는 정보 수집 단계; 및 상기 생존 예측 모델을 이용하여, 상기 수집부로부터 입력된 대상 환자의 흉부 방사선 영상으로부터 예측되는 생존 정보를 출력하는 생존 정보 예측 단계를 포함할 수 있다.
본 발명의 일실시예에 있어서, 상기 정보 저장 단계에서 상기 과거 폐질환 환자들의 연령(Y), 체질량 지수(BMI), 및 1초동안 강제 호기량(FEV1)을 포함하는 임상 정보를 더 포함하여 저장하고, 상기 정보 수집 단계에서 상기 대상 환자의 연령(Y), 체질량 지수(BMI), 및 1초동안 강제 호기량(FEV1)을 포함하는 임상 정보를 더 수집하며, 상기 생존 정보 예측 방법은, 상기 생존 예측 모델(DLSPCXR)에 상기 과거 폐질환 환자들의 임상 정보에 기반한 생존 예측 통계 모델을 더 결합하여 통합 생존 예측 모델(DLSPinteg)을 생성하는 통합 생존 예측 모델 생성 단계를 더 포함하고, 상기 생존 정보 예측 단계에서 상기 통합 생존 예측 모델(DLSPinteg)을 사용하여 상기 수집되어 입력된 상기 대상 환자의 흉부 방사선 영상 및 임상 정보로부터 예측되는 생존 정보를 출력할 수 있다.
본 발명의 일실시예에 있어서, 상기 학습 모델 생성 단계는, 상기 학습 전에 상기 저장된 흉부 방사선 영상을 정규화하고 미리정해진 픽셀 크기로 조정하는 것을 포함하는 데이터 전처리를 수행하는 데이터 전처리 단계를 더 포함할 수 있다.
본 발명의 일실시예에 있어서, 상기 통합 생존 예측 모델(DLSPinteg)의 생존 정보 출력 데이터(S)는 이하의 식(1)에 따를 수 있다.
S integ = 0.063 ×Y - 0.074 × BMI (kg/m2) - 0.010 ×FEV1 (%) - 0.037 × DLSP CXR (%) -------- 식(1)
본 발명의 일실시예에 있어서, 상기 합성곱 신경망(CNN)에 기초한 생존 예측 모델(DLSPCXR)의 최종 출력 레이어는, 환자의 추후 생존 가능성에 대하여 (1) 0일 이상 600일 이하, (2) 600일 초과 1200일 이하, (3) 1200일 초과 1800일 이하, (4) 1800일 초과 2400일 이하, (5) 2400일 초과 3000일 이하, 및 (6) 3000일 초과 3600일 이하의6개 클래스로 구성될 수 있다.
본 발명의 일실시예에 있어서, 상기 생존 예측 모델(DLSPCXR)로부터 출력되는 생존 정보는 5년 생존 확률을 포함할 수 있으며, 상기 5년 생존 확률 정보는 상기 클래스 (1) 내지 (3) 각각의 결과들의 곱으로 정의될 수 있다.
본 발명의 일실시예에 있어서, 상기 폐질환은 만성 폐쇄성 폐질환(Chronic Obstructive Pulmonary Disease: COPD)일 수 있다.
상기 기술적 과제를 달성하기 위하여, 본 발명의 다른 실시예에 따른 비일시적인 컴퓨터 판독가능한 저장 매체는 상기 생존 정보 예측 방법을 컴퓨팅 장치에 의해 수행하도록 하는 명령어들이 저장될 수 있다.
본 발명의 실시예에 따르면, 흉부 엑스레이(Chest X-ray, CXR)와 같은 흉부 방사선 영상을 이용하여 폐질환, 그 중 특히 COPD를 가진 환자의 생존 정보를 높은 정확성, 경제성, 및 효율성으로 예측하여 후속 치료 계획을 원활히 지원하는 딥러닝 기반 생존 정보 예측 시스템 및 생존 정보 예측 방법을 제공할 수 있다.
본 발명의 실시예에 따르면, 흉부 엑스레이(Chest X-ray, CXR)와 같은 흉부 방사선 영상과 연령(Y), 체질량 지수(BMI), 및 1초동안 강제 호기량(FEV1)을 포함하는 임상 정보를 결합하여 이용하여 폐질환, 그 중 특히 COPD를 가진 환자의 생존 정보를 높은 정확성, 경제성, 및 효율성으로 예측하여 후속 치료 계획을 지원하는 원활히 지원하는 딥러닝 기반 생존 정보 예측 시스템 및 생존 정보 예측 방법을 제공할 수 있다. 본 발명은 단기 (예컨대, 600일 등) 및 장기 (예컨대, 3600일 등) 생존정보 예측이 모두 가능하며 이를 통해 약제의 증량, 추적검사 시기의 등 치료 방향 설정이 도움을 줄 수 있다. 또한 실제 COPD 등 만성 폐질환 환자의 생존 정보와 관련된 인자들은 환자의 급성 악화 등 다른 예후 지표와도 연관성이 높은 것으로 알려져 있으며, 본 발명 또한 환자의 급성 악화 등 다른 예후 지표를 예측하는 데에도 유용할 개연성이 크다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른, 폐질환 환자의 흉부 방사선 영상을 이용하는 딥러닝 기반 생체 정보 예측 시스템의 개략적인 구성을 나타내는 블록도를 도시한다.
도 2는 본 발명의 일 실시예에 따른, 폐질환 환자의 흉부 방사선 영상을 이용하는 딥러닝 기반 생존 정보 예측 방법의 흐름도를 도시한다.
도 3은 본 발명의 일 실시예에 따른, 폐질환 환자의 흉부 방사선 영상과 임상 정보를 이용하는 딥러닝 기반 생존 정보 예측 방법의 흐름도를 도시한다.
도 4는 본 발명의 일 실시예에 따른, 폐질환 환자의 딥러닝 기반 생존 예측 모델의 아키텍처를 도시한다.
도 5는 본 발명의 일 실시예에 따른, 외부테스트에서 흉부 방사선 영상을 이용하는 CNN기반 생존 예측 모델(DLSPCXR)에서 생성된 흉부 방사선 사진 및 해당 그래디언트-클래스(gradient-class) 활성화 맵의 일실시예를 도시한다.
도 6은 기관 A, 기관 B, 기관 C 3개의 그룹의 만성 폐쇄성 폐질환(COPD) 환자에 대하여 본 발명의 일 실시예에 따른 딥러닝 기반 생존 예측 모델(DLSP)의 판별 성능을 나타내는 그래프를 도시한다.
도 7은 본 발명의 일 실시예에 따른, 10개의 변위치(quantile) 에 대해 표시된 3개의 외부 테스트 데이터 세트 코호트에 대한 생존 예측 모델(DLXPCXR)의 보정 플롯을 도시한다.
도 8은 본 발명의 일 실시예에 따른, (a) 통합 생존 예측 모델(DLSPinteg)과 (b) 기관 C 코호트에서의 5년 생존율을 예측하기 위한 4개(BODE, ADO, CAT, 및 St. Georgye's respiratory Questionaire(SGRQ))의 임상 지표들의 수신기 동작 곡선들 아래의 시간-종속적 영역(TD-AUCs: Time-dependent area under the curves)을 도시한다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하에서는 도면을 참조하여 본 발명의 실시예들에 대하여 설명한다.
도 1은 본 발명의 일 실시예에 따른, 폐질환 환자의 흉부 방사선 영상을 이용하는 기반하여 폐질환 환자의 생존 정보를 예측하여 후속 치료 등을 결정하거나 이를 지원하기 위한 딥러닝 기반 생존 정보 예측 시스템(100)의 개략적인 구성을 나타내는 블록도를 도시한다. 도 1을 참조하면, 상기 딥러닝 기반 생존 정보 예측 시스템(100)은, 정보 저장부(110), 학습 모델 생성부(120), 정보 수집부(130), 생존 정보 예측부(150)를 포함할 수 있으며, 다른 실시예에서는 통합 예측 모델 생성부(140)을 더 포함할 수도 있다. 또한, 상기 생존 정보 예측 시스템(100)은 상기 정보 저장부(110) 학습 모델 생성부(120), 정보 수집부(130), 생존 정보 예측부(150), 통합 예측 모델 생성부(140)를 통합적으로 제어하는 제어부(160)를 추가로 포함할 수도 있다. 상기 폐질환은 만성 폐쇄성 폐질환(Chronic Obstructive Pulmonary Disease: COPD)일 수 있으나 이제 제한되지는 않는다
상기 정보 저장부(110)는, 서버 또는 외부 기관으로부터 수신한 과거 폐질환 환자들의 흉부 방사선 (CXR) 영상과 상기 환자들의 생존 기간 및 현재 생존 여부 등을 포함하는 생존 정보를 저장할 수 있다. 상기 정보 저장부(110)는 상기 과거 폐질환 환자들의 연령(Y), 체질량 지수(BMI), 및 1초동안 강제 호기량(FEV1) 등을 포함하는 임상 정보를 더 저장할 수 있다.
상기 학습 모델 생성부(120)는, 상기 흉부 방사선 영상 및 상기 생존 정보를 학습 데이터로 사용하여 합성곱 신경망(Convolutional neural networks, CNN)을 학습시킴으로서 생존 예측 모델(DLSPCXR)을 생성할 수 있다. 상기 합성곱 신경망에는 퍼셉트론 분류기를 사용할 수 있으나 이에 제한되지는 않는다. 상기 합성곱 신경망(CNN)에 기초한 생존 예측 모델(DLSPCXR)의 최종 출력 레이어는, 환자의 추후 생존 가능성에 대하여 (1) 0일 이상 600일 이하, (2) 600일 초과 1200일 이하, (3) 1200일 초과 1800일 이하, (4) 1800일 초과 2400일 이하, (5) 2400일 초과 3000일 이하, (6) 3000일 초과 3600일 이하의6개 클래스로 구성될 수도 있다.
상기 학습 모델 생성부(120)는, 상기 학습 전에 상기 저장된 흉부 방사선 영상을 정규화하고 미리정해진 픽셀 크기로 조정하는 것을 포함하는 데이터 전처리를 수행하는 데이터 전처리부를 더 포함할 수 있다. 그러나 이러한 데이터 전처리부는 상기 학습 모델 생성부(120) 내에 대신에 상기 정보 저장부(110) 내에 포함되어 정보 저장 전에 데이터 전처리가 수행되어 정보가 저장되거나, 정보 저장 후에 학습시 학습데이터로 사용할 때 데이터 전처리가 수행될 수도 있다. 상기 미리정해진 픽셀 크기는 224 x 224 일 수 있으나 이에 제한되지는 않는다.
상기 정보 수집부(130)는 생존 정보 예측이 필요한 대상 환자의 흉부 방사선 영상을 획득하여 수집할 수 있다. 이러한 수집은 생존 정보 예측 시스템(100)에 연결되거나 통합된 방사선 영상 획득기 및/또는 별도의 수집 플랫폼에 의해 이루어질 수도 있고, 외부 저장 장치 또는 서버로부터 수신함으로서 이루어 질 수도 있다. 상기 정보 수집부(130)ss 상기 대상 환자의 연령(Y), 체질량 지수(BMI), 및 1초동안 강제 호기량(FEV1)을 포함하는 임상 정보를 더 수집할 수 있으며, 동반 질환(당뇨병, 고혈압 및 관상동맥 질환 등)을 포함한 폐활량 측정 결과를 더 수집할 수도 있다.
상기 생존 정보 예측부(150)는, 상기 생존 예측 모델(DLSPCXR)을 이용하여, 상기 정보 수집부(130)로부터 입력된 대상 환자의 흉부 방사선 영상으로부터 예측되는 생존 정보를 출력할 수 있다. 상기 생존 예측 모델(DLSPCXR)로부터 출력되는 생존 정보는 5년 생존 확률을 포함할 수 있으며, 상기 5년 생존 확률 정보는 상기 클래스 (1) 내지 (3) 각각의 결과들의 곱으로 정의될 수 있으나, 이에 제한되지는 않는다.
상기 통합 생존 예측 모델 생성부(140)는, 상기 생존 예측 모델(DLSPCXR)에 상기 과거 폐질환 환자들의 임상 정보에 기반한 생존 예측 통계 모델을 더 결합하여 통합 생존 예측 모델(DLSPinteg)을 생성할 수 있다. 상기 생존 예측 모델(DLSPCXR)에 상기 과거 폐질환 환자들의 임상 정보에 기반한 생존 예측 통계 모델을 더 결합시, 다층 퍼셉트론 분류기(MLP classifier) 모델과 Cox 회귀법(Cox regression) 모델올 사용될 수도 있으나 이에 제한되지는 않는다. 통합 생존 예측 모델(DLSPinteg)을 생성시 Cox 회귀법을 사용하는 것이 다층 퍼셉트론 분류기 보다 상대적으로 더 높은 성능을 나타낸다.
상기 생존 예측 모델(DLSPCXR)에 상기 과거 폐질환 환자들의 임상 정보에 기반한 생존 예측 통계 모델을 더 결합시, 상기 생존 정보 예측부(150)는 통합 생존 예측 모델(DLSPinteg)을 사용하여 상기 정보 수집부(130)로부터 입력된 상기 대상 환자의 흉부 방사선 영상 및 임상 정보로부터 예측되는 생존 정보를 출력할 수 있다. 이 때 생존 정보 출력 데이터(Sinteg)는 다음과 같은 식(1)에 따라 이루어질 수 있으나, 이에 제한되는 것은 아니다.
S integ = 0.063 ×Y - 0.074 × BMI (kg/m2) - 0.010 ×FEV1 (%) - 0.037 × DLSP CXR (%) -------- 식(1)
도 2는 본 발명의 일 실시예에 따른, 폐질환 환자의 흉부 방사선 영상을 이용하여 폐질환 환자의 생존 정보를 예측하여 후속 치료 등을 결정하거나 이를 지원하기 위한 딥러닝 기반 생존 정보 예측 방법의 흐름도를 도시한다. 이러한 딥러닝 기반 생존 정보 예측 방법은 본 발명의 일실시예에 따르면 상기 도 1에서 도시된 딥러닝 기반 생존 정보 예측 시스템(100)에 의해 수행될 수 있으나 이에 제한되지는 않는다. 또한, 상기 폐질환은 만성 폐쇄성 폐질환(Chronic Obstructive Pulmonary Disease: COPD)일 수 있으나, 이에 제한되지는 않는다.
도 2를 참조하면, 상기 딥러닝 기반 생존 정보 예측 방법(200)은, 우선 정보 저장 단계(S210)에서 과거 폐질환 환자들의 흉부 방사선 (CXR) 영상, 및 상기 환자들의 생존 기간, 현재 생존 여부를 포함하는 생존 정보를 저장하며, 학습 모델 생성 단계(220)에서 상기 흉부 방사선 영상 및 상기 생존 정보를 학습 데이터로 사용하여 합성곱 신경망(Convolutional neural networks, CNN)을 학습시킴으로서 생존 예측 모델(DLSPCXR)을 생성한다. 그 후, 정보 수집 단계(S230)에서 생존 정보의 예측이 필요한 대상 환자의 흉부 방사선 영상을 획득하여 수집하고 난 후, 생존 정보 예측 단계(S240)에서 상기 생존 예측 모델(DLSPCXR)을 이용하여 상기 수집부로부터 입력된 대상 환자의 흉부 방사선 영상으로부터 예측되는 생존 정보를 출력한다.
상기 학습 모델 생성 단계(S220)에서는, 상기 학습 전에 상기 저장된 흉부 방사선 영상을 정규화하고 미리정해진 픽셀 크기로 조정하는 것을 포함하는 데이터 전처리를 수행하는 데이터 전처리 단계를 더 포함할 수도 있다.
상기 합성곱 신경망(CNN)에 기초한 생존 예측 모델(DLSPCXR)의 최종 출력 레이어는, 환자의 추후 생존 가능성에 대하여 (1) 0일 이상 600일 이하, (2) 600일 초과 1200일 이하, (3) 1200일 초과 1800일 이하, (4) 1800일 초과 2400일 이하, (5) 2400일 초과 3000일 이하, (6) 3000일 초과 3600일 이하의6개 클래스로 구성될 수 있으나, 이에 제한되는 것은 아니다. 또한, 상기 생존 예측 모델(DLSPCXR)로부터 출력되는 생존 정보는 5년 생존 확률을 포함할 수 있으며, 상기 5년 생존 확률 정보는 상기 클래스 (1) 내지 (3) 각각의 결과들의 곱으로 정의될 수 있으나, 이에 제한되는 것은 아니다.
도 3은 본 발명의 일 실시예에 따른, 폐질환 환자의 흉부 방사선 영상과 임상 정보를 이용하는 딥러닝 기반 생존 정보 예측 방법(300)의 흐름도를 도시한다.
도 3을 참조하면, 상기 딥러닝 기반 생존 정보 예측 방법(300)은, 우선 정보 저장 단계(S310)에서 과거 폐질환 환자들의 흉부 방사선 (CXR) 영상, 상기 환자들의 생존 기간 및 현재 생존 여부를 포함하는 생존 정보, 및 상기 과거 폐질환 환자들의 연령(Y), 체질량 지수(BMI), 및 1초동안 강제 호기량(FEV1)을 포함하는 임상 정보를 저장한다. 그리고 학습 모델 생성 단계(320)에서 상기 흉부 방사선 영상 및 상기 생존 정보를 학습 데이터로 사용하여 합성곱 신경망(Convolutional neural networks, CNN)을 학습시킴으로서 생존 예측 모델(DLSPCXR)을 생성한다. 그 후, 통합 생존 예측 모델 생성 단계(S330)에서, 상기 생존 예측 모델(DLSPCXR)에 상기 과거 폐질환 환자들의 임상 정보에 기반한 생존 예측 통계 모델을 더 결합하여 통합 생존 예측 모델(DLSPinteg)을 생성한다. 정보 수집 단계(S340)에서는, 생존 정보의 예측이 필요한 대상 환자의 흉부 방사선 영상과 상기 대상 환자의 연령(Y), 체질량 지수(BMI), 및 1초동안 강제 호기량(FEV1)을 포함하는 임상 정보를 획득하여 수집한다. 그 후, 상기 생존 정보 예측 단계(S350)에서 상기 통합 생존 예측 모델(DLSPinteg)을 사용하여 상기 수집되어 입력된 상기 대상 환자의 흉부 방사선 영상 및 임상 정보로부터 예측되는 생존 정보를 출력한다. 이 때 생존 정보 출력 데이터(Sinteg)는 다음과 같은 식(1)에 따라 이루어질 수 있으나, 이에 제한되는 것은 아니며, 사용되는 환자군의 특성에 따라 보정될 수 있다.
S integ = 0.063 × Y - 0.074 ×BMI (kg/m2) - 0.010 ×FEV1 (%) - 0.037 × DLSP CXR (%) -------- 식(1)
이하에서는 도 1에서 도시된 생존 정보 예측 시스템에 사용될 수 있는 본 발명의 일실시예에 따른 통합 생존 예측 모델(DLSPinteg)의 예시를 나타낸다.
도 4는 본 발명의 일 실시예에 따른, 폐질환 환자의 딥러닝 기반 생존 예측 모델(DLSP)의 예시적인 아키텍처를 도시한다. 도 4의 (A)에서 볼 수 있듯이, 생존 예측 모델(DLSPCXR)은 DenseNet-169 백본을 사용하여 흉부 방사선 사진에서 특정 간격 동안 환자의 생존 확률을 예측하도록 훈련될 수 있으며, Nnet을 적용하여 최종 조밀층이 수정될 수 있다. 도 4의 (B)에서 볼 수 있듯이, 이후 흉부 방사선 사진과 임상 정보를 모두 이용하여 환자의 생존 확률을 예측하는 통합 생존 예측 모델(DLSPinteg)을 생성할 수 있다. 생존 예측 모델(DLSPCXR)과 다른 임상 정보를 통합하는데 두 가지 방법이 시도되었다. 먼저 생존 예측 모델(DLSPCXR)의 GAP(Global Average Pooling) 계층 출력과 임상 요인으로 구성된 다층 퍼셉트론 분류기(MLP Classifier)가 훈련되고, 두 개의 조밀한 레이어가 추가되었고 후자의 레이어는 Nnet을 적용하여 수정되었다. 둘째, DLSPCXR 출력과 임상 요인의 처음 세 구간의 곱을 사용하여 Cox 비례 위험 모델(Cox regression)을 사용했다.
흉부 방사선 영상과 임상 정보를 통합하기 위해 검증 데이터 세트(n = 435)에서 두 가지 모델을 개발하고 내부 테스트 데이터 세트의 결과를 기반으로 최종 모델을 선택했다 (도 4의 (B) 참조). 먼저 다층 퍼셉트론 분류기는 생존 예측 모델(DLSPCXR)의 글로벌 평균 풀링 레이어를 다른 임상 요인과 병렬 방식으로 병합하는 레이어에서 생존을 예측하도록 훈련되었다. 둘째, DLSPCXR 및 기타 임상 요인의 출력에서 다변량 비례 위험을 기반으로 하는 Cox 회귀 모델을 파생했다. 여기에서는 독립적인 예측 요인만 단계적으로 포함되었다.
생존 예측 모델(DLSPCXR) 과 임상 정보를 통합하여 통합 생존 예측 모델(DLSPinteg)을 생성시 알려진 예후인자 중 평가가 용이한 임상인자만을 선별하고 COPD 특이적인 검사 결과나 병력(6분 보행검사, 급성 악화 병력, 호흡곤란 척도, 폐활량 측정 결과)은 제외되었다. 연령, BMI, FEV1, 당뇨병, 고혈압, 관상동맥질환의 동반질환이 최종적으로 통합 생존 예측 모델(DLSPinteg)의 잠재적 입력으로 선택될 수 있었다.
본 발명의 일실시예에서 생존 예측 모델(DLSPCXR)을 생성하기 위해 예시적으로 다음4가지의 합성곱 신경망(CNN) 기법을 적용하였다: DensNet-169, ResNet-50, ResNet-152, 및 Inception-v3. 모든 이미지들은 해당 CNN에 맞도록 적절한 픽셀 데이터 크기(예컨대, 224 x 224)로 조정되었다
표 1은 내부테스트 데이터셋에 다양한 합성곱 신경망들을 사용하는 생존 예측용 생존 예측 모델(DLSPCXR)의 판별 성능을 나타낸다.
Neural network Time-dependent area under the ROC curve Harrell's c-index
DenseNet-169 0.79 0.75
ResNet-50 0.66 0.66
ResNet-152 0.64 0.65
Inception-v3 0.66 0.66
각 CNN에 대해 글로벌 평균 풀링 레이어(global average pooling layer) 뒤에 있는 레이어는 음의 로그 가능성 손실 함수(negative log-likelihood loss function)와 통합된 비례 위험(incorporated nonproportional hazards)을 채택한 고밀도 레이어들로 대체되었다 (Nnet-survival 모델; http://github.com/MGensheimer/nnet-survival). 최종 출력 레이어는 0일이상 600 일이하, 600일초과 1,200일이하, 1,200일초과 1,800일이하, 1,800일초과 2,400일 이하, 2,400일초과 3,000일이하, 및 3,000일초과 3,600일이하의 시간 간격 동안 생존 가능성을 나타내는 6개의 생존 구간 클래스로 구성되었다. 각각의 학습에 대해 20-100의 epoch와 0.01-0.0001의 학습률을 시도하고 검증 데이터 세트에서 가장 좋은 설정을 선택했다. 본 발명의 일실시예에서 각각의 합성곱 신경망(CNN)의 최종 출력은 5년 생존 확률(약 1,800일), 즉 처음 3개 클래스의 결과의 곱으로 정의되었다. 내부테스트에서 DenseNet-169는 4개의 훈련된 네트워크 중 가장 높은 TD-AUC(0.79)와 Harrell의 일치도 지수(0.75)를 보여 생존 예측 모델(DLSPCXR)에 적용되었다.
내부 테스트
생존 예측 모델(DLSPCXR)의 성능은 5년 생존에 대한 수신기 동작 특성 곡선 아래의 시간-종속적인 영역(TD-AUC) 및 Harrell의 일치 지수(concordance-index: c-index)를 사용하여 내부 테스트 데이터셋 (n=315)에 대하여 다른 임상 파라미터들과 비교 평가되었다.
외부 테스트
3개의 독립적인 코호트를 수집하여 생존 예측 모델(DLSPCXR)의 성능을 외부적으로 테스트했다. COPD 진단 기준(기관지 확장제 후 FEV1/FVC 비율 < 0.7)을 충족하고 흉부 X-ray 및 폐활량 측정이 모두 1개월 이내에 기관지 확장제 반응을 보이는 환자가 포함되었다. 생존 정보가 없거나 폐암, 결핵파괴폐, 간질성폐질환, 기관지확장증으로 사전 진단된 사람은 제외했다. 개발 코호트와 동일한 방법을 사용하여 임상 매개변수, 폐활량 측정 결과, 및 사망률 데이터를 수집했다.
3개의 외부 테스트 집단은 첫 번째 코호트는 기관 A에서 수집한 시간적으로 독립적인 코호트으로서 394명(평균 연령, 68 ± 9세, 304명[77.2%])을 포함하고. 두 번째 코호트는 기관 B에서 416명(평균 연령, 71 ± 8세, 385명 남성[92.5%])으로 구성되어 수집되었다. 세 번째 코호트는 C기관에서 337명(67 ± 8, 323명의 남성[95.8%])로 구성되어 수집되었다. 추적관찰 기간 중앙값은 기관 A, B, C에서 각각 9.6년, 7.3년, 6.9년이었고, 5년 생존율은 기관의 경우 기관 A, B, C에서 각각 75.4%(297/394), 75.5%(314/419), 71.8%(242/337)였다
생존 예측 모델(DLSPCXR), 통합 생존 예측 모델(DLSPinteg) 및 기타 임상 정보 및 지표의 식별 성능은 5년 시점의 TD-AUC와 각 코호트의 사망까지의 기간을 평가하는 Harrell의 일치 지표를 사용하여 평가되었다. Nnet은 시간 종속적 손실 함수를 사용하므로 생존 예측 모델(DLSPCXR)의 식별 성능을 평가하기 위한 기준으로 TD-AUC를 선택했다. TD-AUC의 쌍별 비교를 위해 시간 종속 수신기 작동 특성 곡선 분석을 수행했다. 내부 테스트 데이터 세트의 Youden 지수 J에 따른 최적 임계값을 사용하여 생존 예측 모델(DLSPCXR)로 분류된 고위험군 및 저위험군 그룹에 대해 각각 Kaplan-Meier 방법을 사용하여 생존 곡선을 시각화했다. 역치를 사용하여 생존 예측 모델(DLSPCXR) 및 FEV1(%)의 양성 및 음성 예측 값을 계산했다. 생존 예측 모델(DLSPCXR)의 보정 성능은 10개 변위치 수에 대한 보정 플롯과 적합도 통계(Hosmer-Lemeshow 테스트)를 사용하여 평가되었다. Cox 비례 위험 분석을 사용하여 평가된 FEV1(%)로 조정된 생존 예측 모델(DLSPCXR)의 위험 비율, 다중공선성을 확인하기 위해 다중회귀분석을 통해 생존 예측 모델(DLSPCXR)와 FEV1 사이의 분산 인플레이션 인자를 평가하였다.
도 5는 본 발명의 일 실시예에 따른, 외부테스트에서 흉부 방사선 영상을 이용하는 딥러닝 기반 생존 예측 모델(DLSPCXR)에서 생성된 흉부 방사선 사진 및 해당 그래디언트-클래스(gradient-class) 활성화 맵의 일실시예를 도시한다. 도 5를 참조하면, 그래디언트-클래스 활성화 맵에서 파란색으로 표시된 병변은 해당 영역이 환자의 높은 생존 확률과 연관될 수 있는 반면에, 빨간색으로 표시된 병변은 낮은 생존 확률과 연관된다. 도 5의 (A) 및 (B)의 환자에서 생존 예측 모델(DLSPCXR)은 85.2%의 5년 생존 확률을 산출하는 깨끗한 폐장에 초점을 맞췄다. 도 5의 (C) 및 (D)의 환자에서 흉부 방사선 영상(CXR)은 과팽창된 폐와 상부 폐 섬유증을 보였으며, DLSPCXR은 양쪽 폐에서 낮은 구배 활성화를 보여 5년 생존 확률이 29.1% 을 나타내었고, 환자는 844일 만에 사망했다. 도 5의 (E) 및 (F)의 환자에서 흉부 방사선 영상(CXR)은 과팽창 없이 깨끗한 폐를 보였고, 생존 예측 모델(DLSPCXR)은 높은 구배 활성화를 가진 깨끗한 폐에 초점을 맞추었고 5년 생존에 대해 80.1% 확률을 제공했으며. 환자는 1223일 후에 사망했다.
도 6은 기관 A, 기관 B, 기관 C 3개의 코호트의 만성 폐쇄성 폐질환(COPD) 환자에 대하여 본 발명의 일 실시예에 따른 딥러닝 기반 생존 예측 모델(DLSPCXR), 통합 생존 예측 모델(DLSPinteg) 및 임상 요소 FEV1(%)의 판별 성능의 비교를 나타내는 그래프를 도시한다. FEV1은 일상적인 임상 실습에서 COPD에 대한 몇 안 되는 편리하고 신뢰할 수 있는 예후 매개변수 중 하나이다.
도 6을 참조하면, (A)는 3개의 외부 테스트 코호트에서 환자의 5년 생존을 예측하기 위한 생존 예측 모델(DLSPCXR), 통합 생존 예측 모델(DLSPinteg) 및 FEV1(%)의 수신기 동작 곡선 아래 시간-종속적 영역을 나타낸다. 여기에서 생존 예측 모델(DLSPCXR)은 기관 A(P = .004) 및 기관 B(P = .01) 데이터 세트에서 FEV1(%)보다 높은 성능을 보였고, 통합 생존 예측 모델(DLSPinteg)은 모든 데이터 세트에서 FEV1(%)보다 높은 성능을 보였다(P < 01). (B)는 내부테스트 데이터 세트 상에서 Youden 지수 J를 따르는 최적 임계값 (48.3%)을 사용하여 나누어진 생존 예측 모델(DLSPCXR)로 분류된 고위험군 및 저위험군 그룹에 따른 전체 생존의 Kaplan-Meier 추정치들을 나타낸다. FEV1(%)로 조정된 생존 예측 모델(DLSPCXR)의 위험 비율이 표시되었다.
결과적으로, 본 발명의 일실시예에 따른 흉부 방사선 사진(CXR)에서 만성 폐쇄성 폐질환(COPD) 환자의 5년 생존을 성공적으로 예측되었다. 생존 예측 모델(DLSPCXR)은 3개의 외부 테스트 데이터 세트에 대하여 (0.73 대 0.63 [P = .004], 0.67 대 0.60 [P = .01], 0.76 대 0.77 [P = .91]로 나타났다. 또한 생존 예측 모델(DLSPCXR)은 3개의 외부 코호트 모두에서 FEV1(%)로 조정되었을 때 유의미한 생존 예측인자로 나타났다. 임상 정보, 즉 연령, 체질량 지수(BMI), 및 FEV1(%)가 생존 예측 모델(DLSPCXR) 과 통합되어 통합 생존 예측 모델(DLSPinteg)으로 구현되었을 때에 5년 생존을 예측하는 3가지 외부테스트 데이터 세트에 대해 약0.76, 약0.72 및 약0.83의 TD-AUC를 달성했다.
표 2는 환자의 5년 생존율을 예측하는 데 있어서 생존 예측 모델(DLSPCXR), 통합 생존 예측 모델(DLSPinteg) 및 임상정보 FEV1(%)의 양의 예측 값 및 음의 예측 값을 나타낸다.
기관 A 기관 B 기관 C
5년 생존율 75.4% (297/394) 75.5% (314/416) 71.8% (242/337)
DLSPinteg PPV 84.0% (247/294) 88.8% (159/179) 91.2% (104/114)
NPV 50% (50/100) 34.6%% (82/237) 38.1% (85/223)
DLSP CXR PPV 79.5% (275/346) 82.3% (209/254) 86.8% (92/106)
NPV 54.2% (26/48) 35.2% (57/162) 35.1% (81/231)
FEV1% PPV 80.5% (169/210) 79.4% (77/97) 83.3% (30/36)
NPV 30.4% (56/184) 25.7% (82/319) 29.6% (89/301)
이하의 표 3은 내부 테스트 데이터셋 상에서 COPD를 가진 환자들의 진단을 예측하는 데 있어서 생존 예측 모델(DLSPCXR), 통합 생존 예측 모델(DLSPinteg) 및 다른 임상 요소들의 판별 성능을 나타낸 표이다.
변수 TD-AUC Harrell's c-index
A. Single predictors
DLSPCXR 0.79 (0.76, 0.82)* 0.75 (0.71, 0.81)*
FEV1% 0.69 (0.65, 0.73) 0.64 (0.58, 0.71)
Age 0.63 (0.59, 0.68) 0.64 (0.57, 0.70)
BMI 0.61 (0.57, 0.65) 0.60 (0.54, 0.67)
B. Integrated predictor
DLSPinteg
Cox regression (DLSPCXR, age, BMI, FEV1% included) 0.81 (0.78, 0.84)* 0.77 (0.72, 0.82)*
MLP classifier 0.80 (0.78, 0.82)* 0.75 (0.72, 0.77)*
이하의 표 4는 기관 C 코호트로부터 환자들의 서브셋을 사용하여 평가된 다른 COPD 특정 임상 지표들과 통합 생존 예측 모델(DLSPinteg)의 판별 성능을 비교한 표를 나타낸다.
임상 지수 TD-AUC * TD-AUC of DLSP integ P-values??
BODE (n= 121) 0.80 (0.74-0.86) 0.87 (0.82-0.91) .34
ADO (n= 129) 0.890 (0.85-0.93) 0.86 (0.82-0.90) .51
CAT (n= 73) 0.550 (0.44-0.66) 0.93 (0.89-0.97) <.001
SGRQ (n= 123) 0.70 (0.63-0.78) 0.86 (0.81-0.90) .09
6-minute walk test (n= 240) 0.63 (0.0.59-0.68) 0.83 (0.80-0.86) <.001
mMRC dyspnea scale (n= 129) 0.80 (0.73-0.87) 0.86 (0.82-0.90) <.001
표 4에 따르면, COPD 환자. 통합 생존 예측 모델(DLSPinteg)은 BODE(약0.87 대 0.80, P = .34), ADO(약 0.86 대 0.89, P = .51) 및 SGRQ(약 0.86 대 0.70, P = .09)와 비교하여 TD-AUC에서 유의미한 차이를 보이지 않았으며, CAT보다 더 높은 TD-AUC를 보였다(0.93 대 0.55; P < .001). 결과적으로 생존 예측 모델(DLSPCXR)은 흉부 방사선 영상에서 중요한 특징을 성공적으로 도출하고, 이를 환자의 예후와 관련된 수치 값으로 정량화했음을 알 수 있다.
도 7은 본 발명의 일 실시예에 따른, 10개의 변위치(quantile)에 대해 표시된 3개의 외부 테스트 데이터 세트 코호트에 대한 생존 예측 모델(DLXPCXR)의 보정 플롯을 도시한다. P 값은 Hosmer-Lemeshow 테스트에서 파생되었으며 통계적 유의성(P < .05)은 보정 불량을 나타낸다.
도 8은 본 발명의 일 실시예에 따른, (a) 통합 생존 예측 모델(DLSPinteg)과 (b) 기관 C 코호트에서의 5년 생존율을 예측하기 위한 4개(BODE, ADO, CAT, 및 St. Georgye's respiratory Questionaire(SGRQ))의 임상 지표들의 수신기 동작 곡선들 아래의 시간-종속적 영역(TD-AUCs: Time-dependent area under the curves)을 도시한다.
통합 생존 예측 모델(DLSPinteg)은 TD-AUC에서 BODE 지수(TD-AUC, 0.87 vs. 0.80, P= .34), ADO(0.86 vs. 0.89, P= .51), SGRQ 점수(0.86 vs. 0.70; P = .09), CAT 점수보다 더 높은 TD-AUC를 나타내었고 (0.93 대 0.55, P < .001), 따라서 임상 지표로부터 생존 정보를 도출하는 것보다 높은 정확성을 나타낸다는 것을 알 수 있다.
이상에서 설명된 생존 정보 예측 시스템 및 생존 정보 예측 방법은 하드웨어 구성 요소, 소프트웨어 구성 요소, 및/또는 하드웨어 구성 요소 및 소프트웨어 구성 요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 시스템, 장치, 방법 및 구성 요소는, 예를 들어, 프로세서, 콘트롤러, 중앙 처리 장치(Central Processing Unit; CPU), 그래픽 프로세싱 유닛(Graphics Processing Unit; GPU), ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 주문형 집적 회로(Application Specific Integrated Circuits; ASICS), 서버, 또는 명령(instruction)을 실행하고 응답할 수 있는 기타 다른 어떠한 컴퓨팅 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
본 발명의 실시예에 따른 생존 정보 예측 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 상기 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성 요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성 요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 생존 정보 예측 시스템
110: 정보 저장부
120: 학습 모델 생성부
130: 정보 수집부
140: 통합 예측 모델 생성부
150: 생존 정보 예측부

Claims (15)

  1. 흉부 방사선 (CXR) 영상에 기반하여 폐질환 환자의 생존 정보를 예측하는 생존 정보 예측 시스템에 있어서,
    과거 폐질환 환자들의 흉부 방사선 (CXR) 영상과 상기 환자들의 생존 기간 및 현재 생존 여부를 포함하는 생존 정보를 저장하는 정보 저장부;
    상기 흉부 방사선 영상 및 상기 생존 정보를 학습 데이터로 사용하여 합성곱 신경망(Convolutional neural networks, CNN)을 학습시킴으로서 생존 예측 모델(DLSPCXR)을 생성하는 학습 모델 생성부;
    대상 환자의 흉부 방사선 영상을 획득하여 수집하는 정보 수집부; 및
    상기 생존 예측 모델(DLSPCXR)을 이용하여, 상기 정보 수집부로부터 입력된 대상 환자의 흉부 방사선 영상으로부터 예측되는 생존 정보를 출력하는 생존 정보 예측부를 포함하는, 생존 정보 예측 시스템.
  2. 제1항에 있어서,
    상기 정보 저장부에서 상기 과거 폐질환 환자들의 연령(Y), 체질량 지수(BMI), 및 1초동안 강제 호기량(FEV1)을 포함하는 임상 정보를 더 저장하고,
    상기 정보 수집부는 상기 대상 환자의 연령(Y), 체질량 지수(BMI), 및 1초동안 강제 호기량(FEV1)을 포함하는 임상 정보를 더 수집하며,
    상기 생존 정보 예측 시스템은, 상기 생존 예측 모델(DLSPCXR)에 상기 과거 폐질환 환자들의 임상 정보에 기반한 생존 예측 통계 모델을 더 결합하여 통합 생존 예측 모델(DLSPinteg)을 생성하는 통합 생존 예측 모델 생성부를 더 포함하고,
    상기 생존 정보 예측부는 상기 통합 생존 예측 모델(DLSPinteg)을 사용하여 상기 수집부로부터 입력된 상기 대상 환자의 흉부 방사선 영상 및 임상 정보로부터 예측되는 생존 정보를 출력하는 것을 특징으로 하는, 생존 정보 예측 시스템.
  3. 제1항 또는 제2항에 있어서,
    상기 학습 모델 생성부는, 상기 학습 전에 상기 저장된 흉부 방사선 영상을 정규화하고 미리정해진 픽셀 크기로 조정하는 것을 포함하는 데이터 전처리를 수행하는 데이터 전처리부를 더 포함하는 것을 특징으로 하는, 생존 정보 예측 시스템.
  4. 제2항에 있어서,
    상기 통합 생존 예측 모델(DLSPinteg)의 생존 정보 출력 데이터(Sinteg)는 이하의 식(1)에 따르는 것을 특징으로 하는, 생존 정보 예측 시스템.
    S integ = 0.063 × Y - 0.074 ×BMI (kg/m2) - 0.010 ×FEV1 (%) - 0.037 × DLSP CXR (%) -------- 식(1)
  5. 제1항 또는 제2항에 있어서,
    상기 합성곱 신경망(CNN)에 기초한 생존 예측 모델(DLSPCXR)의 최종 출력 레이어는, 환자의 추후 생존 가능성에 대하여 (1) 0일 이상 600일 이하, (2) 600일 초과 1200일 이하, (3) 1200일 초과 1800일 이하, (4) 1800일 초과 2400일 이하, (5) 2400일 초과 3000일 이하, 및 (6) 3000일 초과 3600일 이하의6개 클래스로 구성되는 것을 특징으로 하는, 생존 정보 예측 시스템.
  6. 제1항 또는 제2항에 있어서,
    상기 생존 예측 모델(DLSPCXR)로부터 출력되는 생존 정보는 5년 생존 확률을 포함할 수 있으며, 상기 5년 생존 확률 정보는 상기 클래스 (1) 내지 (3) 각각의 결과들의 곱으로 정의되는 것을 특징으로 하는, 생존 정보 예측 시스템.
  7. 제1항 또는 제2항에 있어서,
    상기 폐질환은 만성 폐쇄성 폐질환(Chronic Obstructive Pulmonary Disease: COPD)인 것을 특징으로 하는, 생존 정보 예측 시스템.
  8. 흉부 방사선 영상에 기반하여 폐질환 환자의 생존 정보를 예측하는 생존 정보 예측 방법에 있어서,
    과거 폐질환 환자들의 흉부 방사선 (CXR) 영상, 및 상기 환자들의 생존 기간, 현재 생존 여부를 포함하는 생존 정보를 저장하는 정보 저장 단계;
    상기 흉부 방사선 영상 및 상기 생존 정보를 학습 데이터로 사용하여 합성곱 신경망(Convolutional neural networks, CNN)을 학습시킴으로서 생존 예측 모델(DLSPCXR)을 생성하는 학습 모델 생성 단계
    대상 환자의 흉부 방사선 영상을 수집하는 정보 수집 단계; 및
    상기 생존 예측 모델을 이용하여, 상기 수집부로부터 입력된 대상 환자의 흉부 방사선 영상으로부터 예측되는 생존 정보를 출력하는 생존 정보 예측 단계를 포함하는, 생존 정보 예측 방법.
  9. 제8항에 있어서,
    상기 정보 저장 단계에서 상기 과거 폐질환 환자들의 연령(Y), 체질량 지수(BMI), 및 1초동안 강제 호기량(FEV1)을 포함하는 임상 정보를 더 포함하여 저장하고,
    상기 정보 수집 단계에서 상기 대상 환자의 연령(Y), 체질량 지수(BMI), 및 1초동안 강제 호기량(FEV1)을 포함하는 임상 정보를 더 수집하며,
    상기 생존 정보 예측 방법은, 상기 생존 예측 모델(DLSPCXR)에 상기 과거 폐질환 환자들의 임상 정보에 기반한 생존 예측 통계 모델을 더 결합하여 통합 생존 예측 모델(DLSPinteg)을 생성하는 통합 생존 예측 모델 생성 단계를 더 포함하고,
    상기 생존 정보 예측 단계에서 상기 통합 생존 예측 모델(DLSPinteg)을 사용하여 상기 수집되어 입력된 상기 대상 환자의 흉부 방사선 영상 및 임상 정보로부터 예측되는 생존 정보를 출력하는 것을 특징으로 하는, 생존 정보 예측 방법.
  10. 제8항 또는 제9항에 있어서,
    상기 학습 모델 생성 단계는, 상기 학습 전에 상기 저장된 흉부 방사선 영상을 정규화하고 미리정해진 픽셀 크기로 조정하는 것을 포함하는 데이터 전처리를 수행하는 데이터 전처리 단계를 더 포함하는 것을 특징으로 하는, 생존 정보 예측 방법.
  11. 제9항에 있어서,
    상기 통합 생존 예측 모델(DLSPinteg)의 생존 정보 출력 데이터(S)는 이하의 식(1)에 따르는 것을 특징으로 하는, 생존 정보 예측 방법.
    S integ = 0.063 × Y - 0.074 ×BMI (kg/m2) - 0.010 × FEV1 (%) - 0.037 × DLSP CXR (%) -------- 식(1)
  12. 제8항 또는 제9항에 있어서,
    상기 합성곱 신경망(CNN)에 기초한 생존 예측 모델(DLSPCXR)의 최종 출력 레이어는, 환자의 추후 생존 가능성에 대하여 (1) 0일 이상 600일 이하, (2) 600일 초과 1200일 이하, (3) 1200일 초과 1800일 이하, (4) 1800일 초과 2400일 이하, (5) 2400일 초과 3000일 이하, 및 (6) 3000일 초과 3600일 이하의6개 클래스로 구성되는 것을 특징으로 하는, 생존 정보 예측 방법.
  13. 제8항 또는 제9항에 있어서,
    상기 생존 예측 모델(DLSPCXR)로부터 출력되는 생존 정보는 5년 생존 확률을 포함할 수 있으며, 상기 5년 생존 확률 정보는 상기 클래스 (1) 내지 (3) 각각의 결과들의 곱으로 정의되는 것을 특징으로 하는, 생존 정보 예측 방법.
  14. 제8항 또는 제9항에 있어서,
    상기 폐질환은 만성 폐쇄성 폐질환(Chronic Obstructive Pulmonary Disease: COPD)인 것을 특징으로 하는, 생존 정보 예측 방법.
  15. 제8항 또는 제9항에 따른 방법을 컴퓨팅 장치에 의해 수행하도록 하는 명령어들이 저장된 비일시적인 컴퓨터 판독 가능한 저장 매체.

KR1020220091063A 2022-03-04 2022-07-22 흉부 방사선 영상을 이용하는 폐질환 환자의 생존 정보 예측 시스템 및 생존 정보 예측 방법 KR20230131068A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220028294 2022-03-04
KR20220028294 2022-03-04

Publications (1)

Publication Number Publication Date
KR20230131068A true KR20230131068A (ko) 2023-09-12

Family

ID=88020150

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220091063A KR20230131068A (ko) 2022-03-04 2022-07-22 흉부 방사선 영상을 이용하는 폐질환 환자의 생존 정보 예측 시스템 및 생존 정보 예측 방법

Country Status (1)

Country Link
KR (1) KR20230131068A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102137672B1 (ko) 2013-02-05 2020-07-24 에스케이 실트론 씨에스에스 엘엘씨 낮은 전위 밀도를 가진 결정으로부터 절단된 SiC 결정 및 웨이퍼

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102137672B1 (ko) 2013-02-05 2020-07-24 에스케이 실트론 씨에스에스 엘엘씨 낮은 전위 밀도를 가진 결정으로부터 절단된 SiC 결정 및 웨이퍼

Similar Documents

Publication Publication Date Title
von Knebel Doeberitz et al. Coronary CT angiography–derived plaque quantification with artificial intelligence CT fractional flow reserve for the identification of lesion-specific ischemia
US10176896B2 (en) Coronary computed tomography clinical decision support system
van Hamersvelt et al. Deep learning analysis of left ventricular myocardium in CT angiographic intermediate-degree coronary stenosis improves the diagnostic accuracy for identification of functionally significant stenosis
US20180315505A1 (en) Optimization of clinical decision making
Çorbacıoğlu et al. Whole body computed tomography in multi trauma patients: Review of the current literature
US10522253B2 (en) Machine-learnt prediction of uncertainty or sensitivity for hemodynamic quantification in medical imaging
Stuckey et al. Cardiac Phase Space Tomography: A novel method of assessing coronary artery disease utilizing machine learning
BR112021005124A2 (pt) assinatura radiômica de uma região perivascular
CN113571183B (zh) Covid-19患者管理的风险预测
Zhang et al. COPD identification and grading based on deep learning of lung parenchyma and bronchial wall in chest CT images
Suh et al. Accuracy of CT for selecting candidates for coronary artery bypass graft surgery: combination with the SYNTAX score
US20090136111A1 (en) System and method of diagnosing a medical condition
Van Hamersvelt et al. Diagnostic performance of on-site coronary CT angiography–derived fractional flow reserve based on patient-specific lumped parameter models
Ebrahimian et al. Artificial intelligence has similar performance to subjective assessment of emphysema severity on chest CT
EP3477551B1 (en) Machine-learnt prediction of uncertainty or sensitivity for hemodynamic quantification in medical imaging
Mackie et al. Quantitative bone imaging biomarkers and joint space analysis of the articular Fossa in temporomandibular joint osteoarthritis using artificial intelligence models
US20200342964A1 (en) Medical information processing apparatus, ordering system and method
US11610686B1 (en) Systems and methods for rapid risk assessment of chest pain, reducing patient wait time and improving workflow in the emergency department
Ebrahimian et al. Predictive values of AI-based triage model in suboptimal CT pulmonary angiography
KR20230131068A (ko) 흉부 방사선 영상을 이용하는 폐질환 환자의 생존 정보 예측 시스템 및 생존 정보 예측 방법
Hanaoka et al. Reliability of dynamic perfusion digital radiography as an alternative to pulmonary perfusion scintigraphy in predicting postoperative lung function and complications
Lee et al. Accuracy of computed tomography for selecting the revascularization method based on SYNTAX score II
Ajmera et al. Deep-learning-based automatic detection of pulmonary nodules from chest radiographs
JP5348998B2 (ja) 画像検索装置及びその方法
Calandriello et al. Quantitative CT analysis in ILD and the use of artificial intelligence on imaging of ILD