KR102543013B1 - 전문가의 진단 능력 평가 방법, 인공지능 기반의 진단 보조 방법 및 이를 이용한 디바이스 - Google Patents

전문가의 진단 능력 평가 방법, 인공지능 기반의 진단 보조 방법 및 이를 이용한 디바이스 Download PDF

Info

Publication number
KR102543013B1
KR102543013B1 KR1020200121396A KR20200121396A KR102543013B1 KR 102543013 B1 KR102543013 B1 KR 102543013B1 KR 1020200121396 A KR1020200121396 A KR 1020200121396A KR 20200121396 A KR20200121396 A KR 20200121396A KR 102543013 B1 KR102543013 B1 KR 102543013B1
Authority
KR
South Korea
Prior art keywords
classification
machine learning
disease
learning model
medical staff
Prior art date
Application number
KR1020200121396A
Other languages
English (en)
Other versions
KR20220039881A (ko
Inventor
박해정
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020200121396A priority Critical patent/KR102543013B1/ko
Publication of KR20220039881A publication Critical patent/KR20220039881A/ko
Application granted granted Critical
Publication of KR102543013B1 publication Critical patent/KR102543013B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은, 프로세서에 의해 구현되는 진단 보조 방법으로서, 개체에 대한 의료 자료를 수신하는 단계, 의료 자료를 입력으로 하여 진단 평가 결과를 출력하도록 구성된 기계학습모델을 이용하여, 의료 자료에 기초하여 진단 평가 결과를 결정하는 단계, 의료 자료에 대하여 의료진으로부터 결정된 진단 평가 결과를 입력 받는 단계, 개별 기계학습모델에 대하여 진단 평가 결과를 기초로 제1 분류 확률을 결정하는 단계, 의료진으로부터 결정된 진단 평가 결과를 기초로 제2 진단 분류 확률을 결정하는 단계, 및 제1 분류 확률 및 제2 분류 확률에 기초하여, 개체에 대한 제3 분류 확률을 결정하는 단계를 포함하는, 진단 보조 방법 및 이를 이용한 진단 보조용 디바이스, 나아가 기계학습모델 최적화하는 방법을 제공한다.

Description

전문가의 진단 능력 평가 방법, 인공지능 기반의 진단 보조 방법 및 이를 이용한 디바이스{METHOD FOR EVALUATING DIAGNOSTIC ABLILITY OF AN EXPERT, ARTIFICIAL INTELLIGENCE BASED METHOD FOR ASSISTING DIAGNOSIS AND DEVICE USING THE SAME}
본 발명은, 전문가의 진단 능력 평가 방법, 인공지능 기반의 진단 보조 방법 및 진단 보조용 디바이스에 관한 것으로, 보다 구체적으로는 인간 전문가에게 최적의 자동 진단 결과를 제시하는 기계학습모델-인간 협동 진단 보조 시스템에 관한 것이다.
의료기관에서 의료 자료를 이용하여 질병의 진단, 치료계획 수립, 또는 치료경과 평가 등을 수행하고자 할 경우 병변의 크기나 범위, 기능 등을 정량적으로 측정해야 할 경우가 빈번히 발생한다.
한편, 의료 자료는 의료인에 따라 다른 임상 결과를 부여할 수 있으므로, 평가자의 실수로 영상 내에 존재하는 병변을 인지하지 못하는 경우가 적지 않게 발생할 수 있다.
특히, 의료 자료를 이용하여 질병의 초기 진단을 하는 경우, 의료 자료에서 병변을 검출함으로써 질병의 유무와 진행 정도가 파악되게 된다. 이때, 다수의 환자로부터 얻어지는 다량의 의료 자료로부터 병변을 검출하는 과정에서, 의료인의 숙련도 또는 피로도에 따라 정확도의 차이가 있을 수 있어, 병변의 존재를 간과하는 일이 발생할 수도 있다.
이에, 의료 자료에 기초한 진단을 위해, 높은 정확도로 의료 자료를 평가하는 새로운 진단 보조 시스템의 개발이 요구되고 있는 실정이다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
전술한 문제를 해결하기 위한 방안으로, 컴퓨터 보조 진단 (Computer Aided Diagnosis, CAD) 시스템과 같이 영상 분석 시스템이 등장하게 되었다. 이때, 컴퓨터 보조 진단 시스템은, 컴퓨터에 의해 의료 자료를 사전에 분석하거나 판별하여 병변 유무와 위치 또는 병변의 변화 등을 의료진에게 제공하는 기술일 수 있다.
컴퓨터 보조 진단 시스템은, 의료 자료 내에서 병변의 존재 여부를 판별하고 병변의 위치를 찾아서 표시할 뿐만 아니라, 병변을 자동적, 또는 반자동적으로 분할하고 그 크기를 계산함으로써, 수동 측정에 의한 정확도의 한계를 극복할 수 있을 것으로 기대되었다.
그러나, 컴퓨터 보조 진단 시스템은 고가의 장비로서 공급의 한계가 있으며, 네트워크를 통해 다수의 사용자가 공유하게 되어 이용 시 번거로움이 수반될 수 있다. 또한 컴퓨터 보조 진단 시스템을 사용하기 위해서, 의료진은 PACS (Picture Archiving and Communication System) 로부터 영상 데이터를 다운로드 받은 후 CAD (Computer Aided Diagnosis) 시스템으로 복사하고, CAD 시스템에서 이를 다시 입력해야만 한다. 그 다음, 메뉴를 조작하여 목표 기능을 수행해야 하고, 수행이 완료될 때까지 기다린 후 그 결과를 조회하여, 다시 PACS에 그 결과를 입력해야 하는 매우 복잡한 절차가 수행될 수 있다.
이러한 번거로움 때문에 컴퓨터 보조 진단 시스템은 실제 진료 현장에서 적용되기 어려울 수 있다.
특히, 컴퓨터 보조 진단 시스템의 결과만으로 진단 결과를 확정하는 것이 어려움에 따라, 보다 향상된 의료 서비스를 제공할 수 있는 기술이 개발 되었음에도 실제 환자 진료에 활용하지 못하는 어려움이 있을 수 있다.
본 발명의 발명자들은, 인간 진단력 평가에 기반한 새로운 진단 보조 시스템이 종래의 진단 보조 시스템이 갖는 한계 및 문제점을 보완할 것을 기대할 수 있었다.
특히, 본 발명의 발명자들은, 기계 학습 모델 및 의료진 각각의 진단 능력에 따른 가중치를 설정하여 최종 기계학습모델을 구축하고, 실제 의료 자료에 기초한 진단을 수행할 경우 기 추정된 가중치를 반영함으로써, 진단의 정확도가 향상될 수 있음을 기대할 수 있었다.
보다 구체적으로, 본 발명의 발명자들은, 다양한 형태의 의료 자료에 대하여, 전문가와 인공 지능 기반 예측 모델이 동일한 측정 자료를 판독하고 진단 결정을 내리도록 구성된, 전문가-기계학습모델 합동의 진단 보조 시스템을 제공하고자 하였다. 예를 들어, 전문가-기계학습모델 합동의 진단 보조 시스템은, 심전도를 기반으로 심장 질환을 판단하거나, 뇌파 신호를 기반으로 뇌질환을 판단하거나, 인지 행동 자료를 기반으로 신경정신 질환을 판단해야 하는 경우, 각각의 의료 자료 기반으로 훈련된 예측 모델을 이용하여, 의료진의 판단 결과에 기초하여 최종 진단 결정을 하도록 구성될 수 있다.
더욱이, 본 발명의 발명자들은, 의료진의 진단 능력에 따라 최적화된 최종 기계학습모델을 제공함으로써, 사전 학습된 기계학습모델을 바로 이용하는 것보다 질환의 진단의 정확도가 향상될 수 있음을 기대할 수 있었다.
이때, 본 발명의 발명자들은, 진단 보조 시스템에 대하여, 이미 훈련된 기계학습모델 및 의료진의 진단 능력에 따라 추정된 가중치를 이용하여 새로운 데이터가 들어올 때 의료진의 분류 결과와 기계학습모델의 분류 결과에 가중치를 반영하도록 설계하였다. 그 다음, 최대값을 만들어 내는 클래스 (질환) 가 해당 데이터의 범주로 최종 판단되도록 설계할 수 있었다.
나아가, 본 발명의 발명자들은, 진단 보조 시스템에 대하여, 기계학습모델에 기초한 최종 평가 결과를 제시하는 경우, 분류 결과와 함께 의료진의 진단 능력에 비한 상대적 신뢰도를 산출하여 출력하도록 설계할 수 있었다.
따라서, 본 발명이 해결하고자 하는 과제는, 평가용 의료 자료의 평가 결과에 대한 이미 훈련된 기계학습모델 및 의료진의 각 클래스 별 분류 가중치를 각각 결정하고, 새로운 의료 자료가 입력될 경우 기계학습모델 및 의료진의 평가 결과에 결정된 가중치를 반영하여 최종 클래스를 분류 및 제공하도록 구성된, 진단 보조 방법 및 이를 이용한 디바이스를 제공하는 것이다.
본 발명의 해결하고자 하는 다른 과제는, 평가용 의료 자료에 대한 기계학습모델의 평가 결과 및 의료진의 평가 결과에 기초하여 가중치를 설정하고, 이를 기초로 최종 평가를 최적화하는 방법을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 진단 보조 방법이 제공된다. 본 방법은, 프로세서에 의해 구현되는 진단 보조 방법으로서, 개체에 대한 의료 자료를 수신하는 단계, 의료 자료를 입력으로 하여 진단 평가 결과를 출력하도록 구성된 개별 기계학습모델을 이용하여, 의료 자료에 기초하여 진단 평가 결과를 결정하는 단계, 의료 자료에 대하여 의료진으로부터 결정된 진단 평가 결과를 입력 받는 단계, 개별 기계학습모델에 대하여 미리 부여된 가중치 및 개별 기계학습모델의 진단 평가 결과를 기초로, 제1 분류 확률을 결정하는 단계, 의료진에 대하여 미리 부여된 가중치 및 의료진으로부터 결정된 진단 평가 결과를 기초로, 제2 분류 확률을 결정하는 단계, 및 제1 분류 확률 및 제2 분류 확률에 기초하여, 개체에 대한 제3 분류 확률을 결정하는 단계를 포함한다. 제 1단계와 제 2 단계는 생략하고 제 3 단계에서 의료진의 평가 결과와 개별 기계학습모델의 결과들에 이미 할당된 가중치를 적용하여 최종 평가 결과를 결정할 수 있다.
본 발명의 특징에 따르면, 미리 부여된 가중치는, 복수의 질환 중 적어도 하나의 질환에 대하여 부여된 가중치일 수 있다. 이때, 미리 부여된 가중치는, 적어도 하나의 질환이 정답 질환으로 라벨링된 평가용 의료 자료를 수신하는 단계, 평가용 의료 자료에 대한 진단 평가 결과를 결정하는 단계, 평가용 의료 자료에 대한 의료진의 진단 평가 결과를 입력 받는 단계, 정답 질환, 평가용 의료 자료에 대한 개별 기계학습모델의 진단 평가 결과 및 평가용 의료 자료에 대한 의료진의 진단 평가 결과에 기초하여, 의료진 및 기계학습모델 각각의 분류 정확도를 결정하는 단계, 및 각각의 분류 정확도에 기초하여, 기계학습모델 및 의료진 각각에 대한 적어도 하나의 질환의 분류 가중치를 결정하는 단계를 통해 결정될 수 있다.
본 발명의 다른 특징에 따르면, 평가용 의료 자료에 대한 진단 평가 결과를 결정하는 단계는, 기계학습모델을 이용하여, 평가용 의료 자료에 기초하여, 상기 적어도 하나의 질환의 분류 확률을 결정하거나 입력을 받는 단계를 포함할 수 있다. 나아가, 평가용 의료 자료에 대한 의료진의 진단 평가 결과를 입력 받는 단계는, 의료진으로부터 선택된 질환의 분류에 대한 자신의 분류 신뢰도를 입력 받는 단계, 분류 신뢰도에 기초하여, 의료진으로부터 선택된 질환의 분류 확률을 결정하는 단계, 및 의료진으로부터 선택된 질환의 분류 확률을 입력 받는 단계를 포함할 수 있다. 또한, 의료진 및 기계학습모델 각각의 분류 정확도를 결정하는 단계는, 정답 질환, 기계학습모델에 대한 적어도 하나의 질환의 분류 확률 및 의료진으로부터 선택된 질환의 분류 확률에 기초하여, 의료진 및 상기 기계학습모델 각각의 분류 정확도를 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 적어도 하나의 질환 분류 가중치를 결정하는 단계는, 합산된 질환 분류 확률을 정답 질환으로 분류할 수 있도록, 기계학습모델에 대한 적어도 하나의 질환의 분류 확률 및 의료진으로부터 선택된 질환의 분류 확률을 합산하는 단계, 및 합산된 질환 분류 확률이 정답과 오차가 최소가 되거나 상호 정보량이 최대값이 되는 가중치를 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 의료진으로부터 선택된 질환의 분류에 대한 분류 신뢰도를 입력 받는 단계 이후에, 본 방법은, 의료진으로부터 선택된 질환의 분류에 대한 분류 신뢰도에 기초하여, 복수의 질환 중 나머지 질환에 대한 신뢰도를 결정하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 진단 평가 결과 각각은, 개별 기계학습모델 및 의료진 각각으로부터 결정된 복수의 질환 각각에 대한 분류 확률을 포함하고, 제1 분류 확률은, 가중치가 부가된 기계학습모델에 의해 결정된 복수의 질환 각각에 대한 분류 확률을 포함할 수 있다. 또한, 제2 분류 확률은, 가중치가 부가된 의료진에 의해 결정된 복수의 질환 각각에 대한 분류 확률을 포함할 수 있다. 이때, 제3 분류 확률을 결정하는 단계는, 가중치가 부가된 기계학습모델에 의해 결정된 복수의 질환 각각에 대한 분류 확률 및 가중치가 부가된 의료진에 의해 결정된 복수의 질환 각각에 대한 분류 확률 중, 최대값을 갖는 질환으로 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 제3 분류 확률을 결정하는 단계는, 제1 분류 확률을 기초로, 상기 제3 분류 확률을 결정하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 제3 분류 확률을 결정하는 단계 이후에, 제1 분류 확률 및 제2 분류 확률에 기초하여, 의료진에 대한 상대적 신뢰도를 산출하는 단계, 및 상대적 신뢰도를 제공하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 기계학습모델은 복수 개이고, 미리 부여된 가중치는, 복수의 질환 각각에 대하여 부여된 가중치이고, 상기 방법은, 복수의 기계학습모델을 이용하여, 의료 자료에 기초하여 진단 평가 결과를 결정하는 단계, 복수의 기계학습모델 각각에 대한 가중치가 가해진 제1 분류 확률을 획득하도록, 복수의 기계학습모델 각각에 대한 진단 평가 결과에 복수의 기계학습모델 각각에 대하여 부여된 가중치를 각각 부여하는 단계, 복수의 질환 별로 합산 진단 평가 결과를 획득하도록, 복수의 기계학습모델 각각에 대한 가중치가 가해진 제1 분류 확률을 합산하는 단계, 및 복수의 질환 중 최대값의 합산 진단 평가 결과를 갖는 질환을, 개체에 대한 발병 위험도가 높은 질환으로 결정하는 단계를 더 포함할 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 기계학습모델의 가중치 최적화 방법이 제공된다.
상기 최적화 방법은, 평가용 의료 자료를 수신하는 단계, 의료 자료를 입력으로 하여 진단 평가 결과를 출력하도록 구성된 개별 기계학습모델을, 평가용 의료 자료를 이용하여 학습시키는 단계, 평가용 의료 자료에 대한 의료진의 진단 특성을 평가하는 단계, 평가용 의료 자료에 대한 개별 기계학습모델의 학습 결과 및 의료진의 진단 특성에 기초하여, 개별 기계학습모델 및 상기 의료진 각각에 대한 질환 분류 가중치를 결정하는 단계, 및 각각에 대한 질환 분류 가중치에 기초하여, 하나나 적은 수의 기계학습모델을 최적화하는 단계를 포함한다. 이 과정은 개인 의료진과 별개로 이미 수행될 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 또 다른 실시예에 따른 진단 보조 방법이 제공된다.
상기 진단 보조 방법은, 평가용 의료 자료를 수신하는 단계, 의료 자료를 입력으로 하여 진단 평가 결과를 출력하도록 구성된 기계학습모델을, 평가용 의료 자료를 이용하여 학습시키는 단계, 평가용 의료 자료에 대한 의료진의 진단 특성을 평가하는 단계, 평가용 의료 자료에 대한 기계학습모델의 학습 결과 및 의료진의 진단 특성에 기초하여, 기계학습모델 및 의료진 각각에 대한 질환 분류 가중치를 결정하는 단계, 각각에 대한 질환 분류 가중치에 기초하여, 기계학습모델을 핏팅하는 단계, 개체에 대한 추가 의료 자료를 수신하는 단계, 기계학습모델을 이용하여, 추가 의료 자료에 기초하여 진단 평가 결과를 결정하는 단계, 추가 의료 자료에 대하여 의료진으로부터 결정된 진단 평가 결과를 입력 받는 단계, 상기 기계학습모델에 대하여 미리 부여된 가중치 및 기계학습모델의 진단 평가 결과를 기초로, 제1 분류 확률을 결정하는 단계, 의료진에 대하여 미리 부여된 가중치 및 의료진으로부터 결정된 진단 평가 결과를 기초로, 제2 분류 확률을 결정하는 단계, 및 제1 분류 확률 및 제2 분류 확률에 기초하여, 제3 분류 확률을 결정하는 단계를 포함한다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 또 다른 실시예에 따른 진단 보조용 디바이스가 제공된다.
상기 디바이스는, 개체에 대한 의료 자료를 수신하도록 구성된 통신부, 및 통신부와 통신하도록 구성된 프로세서를 포함한다.
이때, 프로세서는,
의료 자료를 입력으로 하여 진단 평가 결과를 출력하도록 구성된 기계학습모델을 이용하여, 의료 자료에 기초하여 진단 평가 결과를 결정하고, 의료 자료에 대하여 의료진으로부터 결정된 진단 평가 결과를 입력 받고, 기계학습모델에 대하여 미리 부여된 가중치 및 기계학습모델의 진단 평가 결과를 기초로, 제1 분류 확률을 결정하고, 의료진에 대하여 미리 부여된 가중치 및 의료진으로부터 결정된 진단 평가 결과를 기초로, 제2 분류 확률을 결정하고, 제1 분류 확률 및 제2 분류 확률에 기초하여, 개체에 대한 제3 분류 확률을 결정하도록 구성된다.
본 발명의 특징에 따르면, 미리 부여된 가중치는, 복수의 질환 중 적어도 하나의 질환에 부여된 가중치이고, 통신부는, 적어도 하나의 질환이 정답 질환으로 라벨링된 평가용 의료 자료를 수신하도록 더 구성될 수 있다. 이때, 프로세서는, 기계학습모델을 이용하여, 평가용 의료 자료에 대한 진단 평가 결과를 결정하고, 평가용 의료 자료에 대한 상기 의료진의 진단 평가 결과를 입력 받고, 정답 질환, 평가용 의료 자료에 대한 기계학습모델의 진단 평가 결과 및 평가용 의료 자료에 대한 의료진의 진단 평가 결과에 기초하여, 의료진 및 기계학습모델 각각의 분류 정확도를 결정하고, 각각의 분류 정확도에 기초하여, 기계학습모델 및 상기 의료진 각각에 대한 적어도 하나의 질환의 분류 가중치를 결정하도록 더 구성될 수 있다.
본 발명의 특징에 따르면, 프로세서는, 기계학습모델을 이용하여, 평가용 의료 자료에 기초하여, 기계학습모델에 대한 상기 적어도 하나의 질환의 분류 확률을 결정하고, 의료진으로부터 선택된 질환의 분류에 대한 분류 신뢰도를 입력 받고, 분류 신뢰도에 기초하여, 의료진으로부터 선택된 질환의 분류 확률을 결정하고, 의료진으로부터 선택된 질환의 분류 확률을 입력 받고, 정답 질환, 기계학습모델에 대한 적어도 하나의 질환의 분류 확률 및 의료진으로부터 선택된 질환의 분류 확률에 기초하여, 의료진 및 기계학습모델 각각의 분류 정확도를 결정하도록 더 구성될 수 있다.
본 발명의 다른 특징에 따르면, 프로세서는, 합산된 질환 분류 확률을 획득하도록, 기계학습모델에 대한 적어도 하나의 질환의 분류 확률 및 의료진으로부터 선택된 질환의 분류 확률을 합산하고, 합산된 질환 분류 확률이 최대값이 되는 가중치를 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 의료진으로부터 선택된 질환의 분류에 대한 분류 신뢰도에 기초하여, 복수의 질환 중 나머지 질환에 대한 신뢰도를 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 진단 평가 결과 각각은, 기계학습모델 및 상기 의료진으로부터 각각으로부터 결정된 복수의 질환 각각에 대한 분류 확률을 포함하고, 제1 분류 확률은, 가중치가 부가된 상기 기계학습모델에 의해 결정된 복수의 질환에 대한 분류 확률을 포함하고, 제2 분류 확률은, 가중치가 부가된 상기 의료진에 의해 결정된 복수의 질환에 대한 분류 확률을 포함할 수 있다. 이때, 프로세서는, 가중치가 부가된 기계학습모델에 의해 결정된 복수의 질환 각각에 대한 분류 확률 및 가중치가 부가된 상기 의료진에 의해 결정된 복수의 질환 각각에 대한 분류 확률 중, 최대값을 갖는 질환에 대한 발병 위험도가 높은 것으로 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 제1 분류 확률을 기초로, 제3 분류 확률을 결정하도록 더 구성될 수 있다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은, 의료진의 진단 능력과 함께 인공지능 알고리즘 기반의 기계학습모델의 진단 능력을 반영한 앙상블 분류기 기반의 진단 보조 시스템을 제공함으로써, 종래의 진단 보조 시스템이 갖는 한계 및 문제점을 보완할 수 있다.
특히, 본 발명은, 인간 진단력 평가에 기반한 기계학습모델-인간 협동이 가능한 진단 보조 시스템을 제공함으로써, 기계학습모델의 진단 능력이 전문가의 능력에 준하거나 그 이상인 경우에도 100 % 신뢰할 수 없는 종래의 진단 보조 시스템이 갖는 한계 및 문제점을 극복할 수 있다. 특히 진단에 대한 책임 문제에 대해서 의료진이 갖도록 할 수 있다.
또한, 본 발명은, 기계학습모델 및 의료진 각각의 진단 능력에 따른 가중치를 설정하여 기계학습모델을 구축하고, 실제 의료 자료에 기초한 진단을 수행할 경우 가중치를 반영하도록 구성된 진단 보조 시스템을 제공함으로써, 정확도 및 신뢰도가 향상된 진단 결과를 제공할 수 있다.
또한, 본 발명은 기계학습모델에 기초한 평가 결과를 제시하는 경우, 분류 결과와 함께 의료진의 진단 능력에 비한 상대적 신뢰도를 산출하여 출력하도록 설계된 진단 보조 시스템을 제공할 수 있다. 이에, 의료진은 스스로 취약한 진단 범위를 용이하게 인지할 수 있다. 또한, 기계학습모델이 낮은 정확도로 판별하지만 의료진이 기계학습모델보다 정확하게 판별할 수 있는 질환에 대한 발병도 보다 높은 정확도로 판단될 수 있다.
즉, 본 발명은 의료진의 취약점을 미리 판단하고 기계학습모델의 판단 결과에 대한 가중치를 주어 강조할 부분은 강조하여 진단 결과를 제시하고, 그렇지 않은 부분은 상대적으로 낮은 신뢰도로 진단 결과를 제시할 수 있다.
나아가, 본 발명은, 평가용 의료 자료에 대한 평가 결과에 기초하여 기계학습모델 및 의료진에 대한 분류 가중치를 설정하고, 이를 기초로 의료진 개인에 대한 실력에 따라 최적의 진단 성능 갖는 기계학습모델을 제공할 수 있다.
즉, 학습 데이터 셋에 의해 사전 학습된 기계학습모델은, 이를 이용하는 의료진의 능력에 기반한 상대적 가중치로 의료진에게 분류 결과물을 제시할 수 있어, 그렇지 않은 기계학습모델보다 의료진을 유도할 수 있어 보다 신뢰도 높은 진단 결과를 제공할 수 있다.
이러한 개인 실력에 따라 상대적 가중치에 근거한 분류 결과 제시 과정에 대한 본 발명은, 의료진의 실력 향상을 위한 교육 효과를 제공할 수도 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1a는 본 발명의 일 실시예에 따른 진단 보조용 디바이스에 기초한 진단 보조 시스템을 예시적으로 도시한 것이다.
도 1b는 본 발명의 일 실시예에 따른 진단 보조용 디바이스의 구성을 예시적으로 도시한 것이다.
도 1c는 본 발명의 일 실시예에 따른 진단 보조용 디바이스로부터 질환에 대한 정보를 수신 받아 출력하는 의료진 디바이스의 구성을 예시적으로 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 진단 보조 방법의 절차를 도시한 것이다.
도 3a 및 3b는 본 발명의 일 실시예에 따른 진단 보조 방법에 따라 질환에 대한 진단 평가 결과를 결정하는 절차를 예시적으로 도시한 것이다.
도 4 및 5는 본 발명의 다른 실시예에 따른 진단 보조 방법에서 가중치가 결정되는 절차를 예시적으로 도시한 것이다.
도 6a 내지 6b는 본 발명의 일 실시예에 따른 진단 보조 방법에 따른, 평가 결과를 도시한 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~ 를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 디바이스"라는 표현은, 그 디바이스가 다른 디바이스 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된)프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 디바이스에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.
본 명세서에서 사용되는 용어, "개체"는 질환을 예측하고자 하는 모든 대상을 의미할 수 있다. 이때, 개체는, 특정 질환 의심 개체일 수도 있다. 예를 들어, 췌장암, 비뇨기암, 방광암, 결장직장암, 결장암, 유방암, 전립선암, 신장암, 간세포암, 갑상선암, 담낭암, 폐암, 비-소세포 폐암, 소-세포 폐암, 난소암, 자궁경부암, 위암, 자궁내막암, 식도암, 두경부암, 흑색종, 신경내분비암, CNS 암, 뇌 종양, 신경아교종, 역형성 희소돌기아교세포종, 성인 다형성 아교모세포종, 성인 역형성 별아교세포종, 골암, 연조직 육종, 망막모세포종, 신경모세포종, 복막 삼출, 악성 흉막 삼출, 중피종, 윌름스 종양, 영양막 신생물, 혈관주위세포종, 카포시 육종, 점액성 암종, 원형 세포 암종, 편평 세포 암종, 식도 편평 세포 암종, 구강 암종, 부신 피질의 암 및 ACTH-생성 종양, 귀 질환 등의 질환 의심 개체일 수 있으나, 이에 제한되는 것은 아니다.
바람직하게, 본원 명세서 내에 개시된 질환은, CT, X-레이, MRI, F-MRI, 초음파, 내시경 및 초음파 내시경, 나아가 심전도, 뇌파 신호 등의 의료 자료 제공 디바이스로부터 획득된 의료 자료에 의해 진단 가능한 질환을 아우를 수 있다.
한편, 본 명세서 내에 개시된 개체는, 인간을 제외한 모든 포유 동물일 수 있으나, 이에 제한되지 않고 인간을 포함할 수 있다.
본 명세서에서 사용되는 용어, "의료 자료"은, 영상 진단 디바이스로부터 획득된 데이터로서, 질환에 대한 진단 결정이 가능한 모든 의료 자료를 포함할 수 있다. 예를 들어, 의료 자료는, 병변 의심 부위에 대한 CT 영상, X-레이 영상, MRI 영상, F-MRI 영상, 초음파 영상, 내시경 영상 및 초음파 내시경 영상을 포함할 수 있으나, 이에 제한되는 것은 아니다.
한편, 의료 자료는 복수의 프레임으로 이루어진 의료용 동영상으로 제공될 수 있다. 본 발명의 일 실시예에 따른 진단 보조 방법에 따라 의료용 동영상의 프레임 각각에 대하여 진단 평가 결과가 결정될 수도 있다. 그 결과, 본 발명은 영상 진단 디바이스로부터의 의료 영상의 수신과 동시에 병변의 예측을 수행하여 스트리밍 서비스를 제공할 수 있고, 실시간으로 질환의 진단 정보를 제공할 수 있다. 이때, 의료 영상은, 2차원 영상, 3차원 영상일 수도 있다.
본 명세서에서 사용되는 용어, "기계학습모델"은 의료 자료를 입력으로 하여 질환과 연관된 평가 결과를 출력하도록 구성된 모델일 수 있다.
보다 구체적으로 기계학습모델은, 의료 자료가 입력된 경우, 해당 자료를 특정 질환에 대응하는 클래스로 분류하도록 학습된 모델일 수 있다. 이때, 기계학습모델은 질환의 발병 위험도를 확률적으로 산출한 후 이를 기초로 특정 클래스로 분류하도록 구성될 수 있다.
특히, 본 발명의 다양한 실시예에 따른 진단 보조 시스템에서, 기계학습모델 및 의료진의 평가 결과에 기초하여 발병 위험도가 높은 질환에 대한 의사 결정이 진행될 수 있다.
예를 들어, 전문가-예측 모델 합동의 진단 보조 시스템은, 심전도를 기반으로 심장 질환을 판단하거나, 뇌파 신호를 기반으로 뇌질환을 판단하거나, 인지 행동 자료를 기반으로 신경정신 질환을 판단해야 하는 경우, 각각의 의료 자료 기반으로 학습된 예측 모델과 의료진의 판단 결과에 기초하여 최종 진단 결정을 하도록 구성될 수 있다.
이때, "진단 평가 결과"는 질환의 발병 위험과 연관된 척도를 의미할 수 있으며, 특정 질환이 발병될 확률, 나아가 특정 질환에 대응하는 클래스에 속할 확률, 나아가 분류에 대한 신뢰도를 포함할 수 있다. 더욱이, 진단 평가 결과는, 확률 벡터로 존재할 수 있다.
한편, 본원 명세서 내에서 "진단 평가 결과"는, "진단 특성", 나아가 “분류 확률”과 상호 교환적으로 사용될 수 있다.
한편, "제1 분류 확률"는, 기계학습모델에 대하여 미리 부여된 가중치가 반영된, 기계학습모델의 질환 분류 확률을 의미할 수 있다.
나아가, "제2 분류 확률"는, 의료진에 대하여 미리 부여된 가중치가 반영된, 의료진의 질환 분류 확률을 의미할 수 있다.
이때, 질환 분류 확률은, 평가 자료에 대한 의료진의 평가 결과 및 선택에 대한 신뢰도에 기초하여 산출될 수 있다.
또한, "제3 분류 확률"는 기계학습모델 및 의료진의 분류 결과에 대하여 가중치가 반영된 최종 분류 확률을 의미할 수 있다. 이때, 제3 분류 확률은 의심 질환에 대하여 산출된 분류 확률, 의심 질환에 대응하는 클래스로 분류될 확률, 나아가 상, 중 또는 하의 특정 질환에 대한 발병 위험도를 포함할 수 있다.
한편, 기계학습모델은, 목표 질환에 따라 준비된 학습 데이터 셋 (set) 에 기초하여 질환을 분류하도록 사전 학습된 모델일 수 있다. 이때, 기계학습모델은, 질환을 높은 신뢰도로 분류하도록, 의료진의 진단 능력에 기초하여 상대적인 가중치를 할당함으로 추가로 최적화될 수 있다. 보다 구체적으로, 의료진은 개개인마다 진단 능력의 차이가 있을 수 있어, 기계학습모델의 최적화 시, 의료진의 진단 능력이 반영될 경우, 기계학습모델의 진단 성능이 보다 향상될 수 있다.
이때, 본 발명의 기계학습모델은 CNN (Convolutional Neural Network) 기반의 VGG net, R, DenseNet 및, encoder-decoder structure를 갖는 FCN (Fully Convolutional Network), SegNet, DeconvNet, DeepLAB V3+, U-net와 같은 DNN (deep neural network), SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet, Resnet50, Resnet101, Inception-v3 중 선택된 적어도 두 개의 모델이 앙상블을 이루는 모델일 수도 있다. 하지만 딥러닝 기반 모델에 국한되지 않고 진단 결과를 제공하는 어떤 모델일 수 있다.
본 명세서에서 사용되는 용어, "의료진"은 기계학습모델을 이용하는 사용자를 의미할 수 있다. 본원 명세서에서 의료진은 “전문가”와 상호 교환적으로 이용될 수 있다.
본 명세서에서 사용되는 용어, "가중치"는 기계학습모델 또는 의료진이 질환을 분류 (평가) 하는 것에 대한 가중치를 의미할 수 있다. 예를 들어, 의료진이 기계학습모델보다 A 질환을 분류하는 능력이 기계학습모델보다 뛰어날 경우, A 질환을 분류하는 것에 대하여 1 초과의 가중치가 적용될 수 있다. 나아가, 기계학습모델이 B 질환을 분류하는 것에 대한 정확도가 의료진보다 낮을 경우, 기계학습모델이 B 질환을 분류하는 것에 대하여 1 미만의 가중치가 적용될 수 있다.
한편, 본원 명세서 내에서 가중치는, 분류 가중치, 질환 분류 가중치와 동일한 의미로 이용될 수 있다.
즉, 기계학습모델과 의료진으로 구성된 분류기 각각에 대하여, 클래스 별로 최적의 진단 성능을 제공하는 가중치가 설정될 수 있다.
보다 구체적으로, 의료진에 대한 진단 능력을 위해 정답이 결정된 평가용 의료 자료에 대한 의료진의 분류 결과가 획득되고, 동일한 평가용 의료 자료에 대한 기계학습모델의 분류 확률값 (예를 들어, 진단 평가 결과) 이 획득한다. 그 다음, 모델에 의한 분류 확률값과 의료진의 결과 값을 합하여 정답 질환을 가장 잘 맞추는 가중치가 추정될 수 있다.
이하에서는 도 1a 내지 1c를 참조하여, 본 발명의 일 실시예에 따른 진단 보조용 디바이스에 기초한 진단 보조 시스템을 설명한다.
도 1a는 본 발명의 일 실시예에 따른 진단 보조용 디바이스에 기초한 진단 보조 시스템을 예시적으로 도시한 것이다. 도 1b는 본 발명의 일 실시예에 따른 진단 보조용 디바이스의 구성을 예시적으로 도시한 것이다. 도 1c는 본 발명의 일 실시예에 따른 진단 보조용 디바이스로부터 질환에 대한 정보를 수신 받아 출력하는 의료진 디바이스의 구성을 예시적으로 도시한 것이다.
먼저, 도 1a을 참조하면, 진단 보조 시스템 (1000) 은, 개체에 대한 의료 자료를 기초로 질환과 관련된 정보를 제공하도록 구성된 시스템일 수 있다. 이때, 진단 보조 시스템 (1000) 은, 귀 내시경 의료 자료와 같은 의료 자료에 기초하여, 개체에 대한 질환의 발병 위험도를 결정하도록 구성된 진단 보조용 디바이스 (100), 의료 자료 평가에 대한 정보를 수신하는 의료진 디바이스 (200) 및 의료 자료를 제공하는 의료 자료 제공 디바이스 (300) 로 구성될 수 있다.
먼저, 진단 보조용 디바이스 (100) 는 의료 자료 제공 디바이스 (300) 로부터 제공된 사용자의 의료 자료를 기초로 질환의 발병 위험도를 평가하기 위해 다양한 연산을 수행하는 범용 컴퓨터, 랩탑, 및/또는 데이터 서버 등을 포함할 수 있다. 이때, 의료진 디바이스 (200) 는 질환에 대한 웹 페이지를 제공하는 웹 서버 (web server) 또는 모바일 웹 사이트를 제공하는 모바일 웹 서버 (mobile web server) 에 액세스하기 위한 디바이스일 수 있으나, 이에 한정되지 않는다.
구체적으로, 진단 보조용 디바이스 (100) 는 의료 자료 제공 디바이스 (300) 로부터 의료 자료를 수신하고, 수신된 의료 자료로부터 발병 위험도가 높은 질환을 분류하고, 질환의 발병 위험도와 연관된 정보를 제공할 수 있다. 이때, 의료 자료 제공 디바이스 (300) 는, 하나의 개체 대한 다양한 영상 정보를 제공하도록, 동영상 또는 동영상 내의 프레임을 제공할 수도 있다. 나아가, 진단 보조용 디바이스 (100) 는 동영상 내 프레임에 기초하여, 질환의 발병 위험도와 연관된 정보를 제공할 수 있다.
진단 보조용 디바이스 (100) 는 개체에 대한 질환의 발병과 연관된 데이터를 의료진 디바이스 (200) 로 제공할 수 있다.
이와 같이 진단 보조용 디바이스 (100) 로부터 제공되는 데이터는 의료진 디바이스 (200) 에 설치된 웹 브라우저를 통해 웹 페이지로 제공되거나, 어플리케이션, 또는 프로그램 형태로 제공될 수 있다. 다양한 실시예에서 이러한 데이터는 클라이언트-서버 환경에서 플랫폼에 포함되는 형태로 제공될 수 있다.
다음으로, 의료진 디바이스 (200) 는 개체에 대한 질환의 발병에 대한 정보 제공을 요청하고 평가 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하는 전자 디바이스로서, 스마트폰, 태블릿 PC (Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함할 수 있다.
의료진 디바이스 (200) 는 진단 보조용 디바이스 (100) 로부터 개체에 대한 질환의 발병에 관한 평가 결과를 수신하고, 수신된 결과를 표시부를 통해 표시할 수 있다. 여기서, 평가 결과는, 발병 위험도가 높은 것으로 분류된 질환명, 질환의 발병 위험도, 나아가 질환의 발병율 등을 포함할 수 있다.
다음으로, 도 1b를 참조하여, 본 발명의 진단 보조용 디바이스 (100) 의 구성 요소에 대하여 구체적으로 설명한다.
도 1b를 참조하면, 진단 보조용 디바이스 (100) 는 저장부 (110), 통신부 (120) 및 프로세서 (130) 를 포함한다.
먼저, 저장부 (110) 는 개체에 대한 질환의 발병 위험도를 평가하는 중에 생성된 다양한 데이터를 저장할 수 있다. 예를 들어, 저장부 (110) 는 기계학습모델에 의해 발병 위험도가 높은 것으로 분류된 질환명, 질환의 발병 위험도, 나아가 질환의 발병율 등을 저장하도록 구성될 수 있다. 다양한 실시예에서 저장부 (110) 는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
통신부 (120) 는 진단 보조용 디바이스 (100) 가 외부 디바이스와 통신이 가능하도록 연결한다. 통신부 (120) 는 유/무선 통신을 이용하여 의료진 디바이스 (200), 나아가 의료 자료 제공 디바이스 (300) 와 연결되어 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부 (120) 는 의료 자료 제공 디바이스 (300) 로부터 개체의 의료 자료를 수신할 수 있다. 또한, 통신부 (120) 는 의료 자료에 대한 의료진의 평가 결과를 입력받거나 의료진 디바이스 (200) 를 통해 수신받을 수 있다. 또한, 통신부 (120) 는 의료진 디바이스 (200) 로 평가 결과를 전달할 수 있다.
프로세서 (130) 는 저장부 (110) 및 통신부 (120) 와 동작 가능하게 연결되며, 개체에 대한 의료 자료를 분석하기 위한 다양한 명령들을 수행할 수 있다.
이때, 프로세서 (130) 는 의료 자료에 기초하여 특정 질환에 대응하는 클래스로 분류하도록 구성된 기계학습모델, 나아가 의료진의 평가 결과에 기초하도록 구성될 수 있다.
나아가, 프로세서 (130) 는, 복수의 기계학습모델과 의료진의 진단 능력에 기초하여 앙상블 진단을 내릴 수 있어, 질환에 대한 정확도 및 신뢰도 높은 평가 결과를 제공할 수 있다.
한편, 진단 보조용 디바이스 (100) 는 하드웨어 적으로 설계된 것이 제한되는 것은 아니다. 예를 들어, 진단 보조용 디바이스 (100) 의 프로세서 (130) 는 소프트웨어로 구현될 수 있다. 이에, 질환에 대한 평가 결과는 상기 소프트웨어가 연결된 의료 자료 제공 디바이스 (300) 의 표시부를 통해 표시될 수도 있다.
한편, 도 1c를 함께 참조하면, 의료진 디바이스 (200) 는 통신부 (210), 표시부 (220), 저장부 (230) 및 프로세서 (240) 를 포함한다.
통신부 (210) 는 의료진 디바이스 (200) 가 외부 디바이스와 통신이 가능하도록 연결한다. 통신부 (210) 는 유/무선 통신을 이용하여 진단 보조용 디바이스 (100) 와 연결되어 질환의 진단과 연관된 다양한 데이터를 송신할 수 있다. 구체적으로, 통신부 (210) 는 진단 보조용 디바이스 (100) 로부터 개체의 질환의 진단과 연관된 평가 결과, 예를 들어 기계학습모델에 의해 발병 위험도가 높은 것으로 분류된 질환명, 질환의 발병 위험도, 나아가 질환의 분류 정확도 확률을 수신할 수 있다. 상기 정보들은 의료 자료에 대하여 표시되어 제공될 수 있으나, 이에 제한되는 것은 아니다.
표시부 (220) 는 개체의 질환의 진단과 연관된 평가 결과를 나타내기 위한 다양한 인터페이스 화면을 표시할 수 있다.
다양한 실시예에서 표시부 (220) 는 터치스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치 (touch), 제스처 (gesture), 근접, 드래그 (drag), 스와이프 (swipe) 또는 호버링 (hovering) 입력 등을 수행할 수 있다. 예를 들어, 의료진은 터치스크린의 표시부 (220) 를 통해, 의료 자료에 대한 평가 결과를 입력할 수 있다.
저장부 (230) 는 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 다양한 실시예에서 저장부 (230) 는 플래시 메모리 타입 (flash memory type), 하드디스크 타입 (hard disk type), 멀티미디어 카드 마이크로 타입 (multimedia card micro type), 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램 (Random Access Memory, RAM), SRAM (Static Random Access Memory), 롬 (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
프로세서 (240) 는 통신부 (210), 표시부 (220) 및 저장부 (230) 와 동작 가능하게 연결되며, 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하기 위한 다양한 명령들을 수행할 수 있다.
이하에서는, 도 2, 도 3a 및 도 3d를 참조하여, 본 발명의 일 실시예에 따른 진단 보조 방법을 구체적으로 설명한다. 도 2는 본 발명의 일 실시예에 따른 진단 보조 방법의 절차를 도시한 것이다. 도 3a 및 3b는 본 발명의 일 실시예에 따른 진단 보조 방법에 따라 진단 평가 결과를 결정하는 절차를 예시적으로 도시한 것이다.
먼저, 도 2를 참조하면, 본 발명의 일 실시예에 따른 질환 평가의 절차는 다음과 같다. 먼저, 개체에 대한 의료 자료가 수신된다 (S210). 그 다음, 개별 기계학습모델에 의해 의료 자료에 대한 진단 평가 결과가 결정된다 (S220). 다음으로, 의료 자료에 대하여 의료진으로부터 결정된 진단 평가 결과가 입력된다 (S230). 다음, 기계학습모델에 대하여 미리 부여된 가중치 및 기계학습모델의 진단 평가 결과에 기초하여 제1 분류 확률이 결정되고 (S240), 의료진에 대하여 미리 부여된 가중치 및 의료진으로부터 결정된 진단 평가 결과에 기초하여 제2 분류 확률이 결정된다 (S250). 마지막으로, 제1 분류 확률 및 제2 분류 확률에 기초하여, 개체에 대한 제3 분류 확률이 결정되고 (S260), 그 결과가 제공된다 (S270). 도 2에서의 단계의 순서는 예시적이며, 개별 기계학습모델을 이용한 진단 평가 결과 및 미리 부여된 가중치로 제1 분류 확률을 결정하는 단계와 의료진으로부터 결정된 진단 평가 결과 및 미리 부여된 가중치로 제2 분류 확률을 결정하는 단계는 병렬로 진행되거나 각각 독립적으로 진행될 수 있다.
보다 구체적으로, 의료 자료가 수신되는 단계 (S210) 에서 개체의 의심 질환과 연관된 다양한 의료 자료가 수신될 수 있다.
본 발명의 일 실시예에 따르면, 의료 자료가 수신되는 단계 (S210) 에서, 의료 자료 제공 디바이스가 구동되어 실시간으로 의료 자료가 획득될 수 있다.
다음으로, 진단 평가 결과가 결정되는 단계 (S220) 에서, 의료 자료가 기계학습모델에 입력되어, 특정 질환에 대한 발병 위험도가 결정될 수 있다.
본 발명의 특징에 따르면, 진단 평가 결과가 결정되는 단계 (S220) 에서, 특정 질환에 대한 발병 위험도가 확률적으로 결정될 수 있다. 즉, 진단 평가 결과가 결정되는 단계 (S220) 에서, 의료 자료가 특정 질환에 대응하는 클래스에 속할 확률이 기계학습모델에 의해 산출될 수 있다.
다음으로, 진단 평가 결과가 입력되는 단계 (S230) 에서, 의료진에 대한 의료 자료에 대한 분류 결과가 입력될 수 있다.
이때, 분류 결과는, 의료 자료에 대한 특정 질환 여부에 따른 이진수, 특정 질환에 대응하는 클래스에 속할 확률, 분류에 대한 신뢰도, 나아가 확률 벡터 등을 포함할 수 있다.
한편, 전술한 바와 같이 진단 평가 결과가 결정되는 단계 (S220) 및 진단 평가 결과가 입력되는 단계 (S230) 의 순서는 전술한 것에 제한되는 것이 아니며, 동시에 수행될 수도 있다.
다음으로, 제1 분류 확률이 결정되는 단계 (S240) 에서 기계학습모델에 대하여 미리 부여된 가중치 및 기계학습모델의 진단 평가 결과에 기초하여 제1 분류 확률이 결정되고, 제2 분류 확률이 결정되는 단계 (S250) 에서 의료진에 대하여 미리 부여된 가중치 및 기계학습모델의 진단 평가 결과에 기초하여 제2 분류 확률이 결정된다.
본 발명의 특징에 따르면, 제1 분류 확률이 결정되는 단계 (S240) 에서 기계학습모델에 대하여 미리 결정된 가중치가 곱해진 복수의 질환에 대한 분류확률이 산출된다. 그 다음, 제2 분류 확률이 결정되는 단계 (S250) 에서 의료진에 대하여 미리 결정된 가중치가 곱해진 복수의 질환에 대한 분류 확률이 산출될 수 있다.
본 발명의 다른 특징에 따르면, 제1 분류 확률이 결정되는 단계 (S240) 에서, 복수의 기계학습모델 각각에 대한 진단 평가 결과에 복수의 기계학습모델 각각에 대하여 부여된 가중치가 각각 부여될 수 있다. 그 결과, 복수의 기계학습모델 각각에 대한 가중치가 가해진 제1 분류 확률이 획득될 수 있다. 가중치에 대해서는 예를 들어 도 4를 참조하여 후술한다.
한편, 제2 분류 확률이 결정되는 단계 (S250) 에서 제2 분류 확률은, 평가 자료에 대한 의료진의 진단 평가 결과 및 그에 대한 신뢰도에 기초하여 결정될 수도 있다.
다음으로, 제3 분류 확률이 결정되는 단계 (S260) 에서, 제1 분류 확률 및 제2 분류 확률에 기초하여, 개체에 대한 제3 분류 확률이 결정될 수 있다.
본 발명의 특징에 따르면, 제3 분류 확률이 결정되는 단계 (S260) 에서, 기계학습모델에 의해 결정된 복수의 질환에 대한 분류 확률 및 의료진에 의해 결정된 복수의 질환에 대한 분류 확률 중, 최대 확률을 갖는 질환에 대한 발병 위험도가 높은 것으로 결정될 수 있다. 이때, 제3 분류 확률은, 가중치 합이 최대가 되는 의심 질환에 대하여 산출된 분류 확률값, 의심 질환에 대응하는 클래스로 분류될 확률을 포함할 수 있다.
예를 들어, 도 3a를 함께 참조하면, 진단 평가 결과가 결정되는 단계 (S220) 에서, 입력된 의료 자료 (312) 에 대한 제1 기계학습모델 (320) 및 제2 기계학습모델 (330) 의 분류 확률 (322 및 332) 이 결정될 수 있다. 이때 의료 자료 (312) 는 의료 영상일 수 있으나, 이에 제한되는 것은 아니다. 이때, 진단 평가 결과가 입력되는 단계 (S230) 에서, 의료 자료 (312) 에 대한 의료진 (340) 의 분류 결과 (342) 가 입력될 수 있다. 이때, 의료진 (340) 이 특정 질환으로 분류하는 것에 대한 신뢰도 (또는, 확실성) 가 더욱 입력될 수 있다. 그 다음, 제1 분류 확률이 결정되는 단계 (S240) 에서, 분류 확률 (322 및 332) 에 대하여, 1 기계학습모델 (320) 및 제2 기계학습모델 (330) 의 각각에 대하여 미리 결정된 질환 분류 가중치가 반영될 수 있다. 또한, 제2 분류 확률이 결정되는 단계 (S250) 에서 의료진 (340) 의 분류 결과 (342) 및 신뢰도에 기초하여 분류 확률이 결정되고, 의료진에 대하여 미리 결정된 분류 가중치가 반영될 수 있다. 이때, 가중치가 분류 확률 (322, 332) 및 분류 결과 (342) 에 반영될 때, 비선형 함수가 이용될 수 있다. 마지막으로, 제3 분류 확률이 결정되는 단계 (S260) 에서, 기계학습모델들 (320 및 330) 의 분류 가중치가 반영된 제1 분류 확률 및 의료진 (340) 의 분류 가중치가 반영된 제2 분류 확률 중, 최대 값의 발병 위험도를 갖는 질환의 분류 확률 (352) 이 최종 결정될 수 있다. 보다 구체적으로, 복수의 질환에 대한 분류 확률 중, 최대 확률을 갖는 질환에 대한 발병 위험도가 높은 것으로 결정될 수 있다.
다시 도 2를 참조하면, 본 발명의 또 다른 특징에 따르면, 제3 분류 확률이 결정되는 단계 (S260) 에서, 제1 분류 확률을 기초로, 제3 분류 확률이 결정될 수 있다. 즉, 의료진에 대한 평가 결과 없이 기계학습모델에 대한 판독 결과가 제공될 수 있다.
이때, 제3 분류 확률이 결정되는 단계 (S260) 이후에, 의료진에 대한 상대적 신뢰도가 더욱 산출될 수 있다.
예를 들어, 도 3b를 함께 참조하면, 입력된 의료 자료 (312) 에 대한 제1 기계학습모델 (320) 및 제2 기계학습모델 (330) 의 분류 확률 (322 및 332) 가 결정될 수 있다. 그 다음, 분류 확률 (322 및 332) 에 대하여, 1 기계학습모델 (320) 및 제2 기계학습모델 (330) 의 각각에 대하여 미리 결정된 질환 분류 가중치가 반영될 수 있다. 그 다음, 기계학습모델들 (320 및 330) 의 분류 가중치가 반영된 제1 분류 확률이 질환 별로 합산된 후, 최대 값의 발병 위험도를 갖는 질환의 분류 확률 (352) 및 질환이 최종 결정될 수 있다. 보다 구체적으로, 복수의 질환에 대한 분류 확률 중, 최대 확률을 갖는 질환에 대한 발병 위험도가 높은 것으로 결정될 수 있다. 이때, 의료진에 비한 기계학습모델 (320 및 330) 의 상대적 신뢰도가 더욱 산출될 수 있다. 즉, 의료진은, 상대적 신뢰도 및 분류 확률 (352) 에 기초하여 개체에 대한 발병 질환을 최종 판별할 수 있다.
다시 도 2를 참조하면, 마지막으로 분류 결과가 제공된다 (S270).
이때, 분류 결과가 제공되는 단계 (S270) 에서, 개체의 질환의 진단과 연관된 평가 결과, 예를 들어 제1 분류 확률, 제2 분류 확률, 및 제3 발병 위험도, 나아가, 기계학습모델에 의해 발병 위험도가 높은 것으로 분류된 질환 명, 나아가 질환의 분류 확률 등이 제공될 수 있다.
이상의 다양한 실시예에 따른 진단 보조 방법에 따라, 질환 진단의 정확도가 향상된 진단 보조 시스템이 제공될 수 있다. 이에, 본 발명은, 상기 진단 보조 시스템을 제공함에 따라 부정확한 측정으로 인한 의료진의 질환의 진단에 대한 잘못된 해석을 방지하고, 실제 임상 실무에 있어서 의료진의 워크 플로우를 향상시킬 수 있다. 또한, 기계학습모델이 낮은 정확도로 판별하지만 의료진이 기계학습모델보다 정확하게 판별할 수 있는 질환에 대한 발병도 보다 높은 정확도로 판단될 수 있다.
이하에서는, 도 4 및 도 5를 참조하여, 의료진 및 기계학습모델에 대한 가중치를 결정하는 절차에 대하여 구체적으로 설명한다.
도 4 및 5는 본 발명의 다른 실시예에 따른 진단 보조 방법에서 가중치가 결정되는 절차를 예시적으로 도시한 것이다.
먼저, 도 4를 참조하면, 평가용 의료 자료가 수신되고 (S410), 평가용 의료 자료를 기초로 기계학습모델을 학습시킨다 (S420). 그 다음, 전문가의 진단 특성이 평가되고 (S430), 질환 분류 가중치가 결정된다 (S440).
예를 들어, 도 5를 참조하면, 평가용 의료 자료가 수신되는 단계 (S410) 로부터 수신된 n 개의 폐 종양 또는 폐 결핵에 대한 복수의 평가용 의료 자료 (412) 는, 기계학습모델을 학습시키는 단계 (S420) 에서 제1 기계학습모델 (320) 및 제2 기계학습모델 (330) 에 각각 입력된다. 이때, 복수의 평가용 의료 자료 (412) 은 미리 결정된 질환에 대하여 라벨링된 영상일 수 있다. 이의 결과로 각각에 대한 제1 기계학습모델 (320) 및 제2 기계학습모델 (330) 의 평가가 이루어 지고, 분류 확률 (422 및 432) 가 결정될 수 있다.
그 다음, 전문가의 분류 특성을 평가하는 단계 (S430) 가 수행된다.
본 발명의 특징에 따르면, 인간 전문가의 분류 특성을 평가하는 단계 (S430) 에서, 복수의 (C개의 클래스를 정답으로 하는 N개의 자료에 대해 정답이 있는) 평가용 의료 자료 (412) (
Figure 112020099974004-pat00001
) 에 대해 의료진
Figure 112020099974004-pat00002
(340) 는 각 평가용 의료 자료 (412) 를 평가하고, 그 결과 해당 의료진의 분류 행렬 (
Figure 112020099974004-pat00003
) 을 산출할 수 있다. 동일 평가용 자료 (
Figure 112020099974004-pat00004
) 에 대해 각 기계모델 Mj가 N개의 각 자료를 C개의 클래스 중 특정 질환 클래스로 진단한 확률로 구성된 분류 확률 행렬 (
Figure 112020099974004-pat00005
) 이 산출될 수 있다.
보다 구체적으로, 의료진 (340) 은 복수의 전문가 평가용 의료 자료 (412) (
Figure 112020099974004-pat00006
) 를 특정 질환에 대응하는 클래스 (C), 예를 들어 '폐 종양' 또는, '폐 결핵'으로 분류한다. 즉, 의료진 (340) 은 복수의 전문가 평가용 의료 (412) 각각에 대하여 특정 질환인지를 평가한다. 그 다음, 의료진의 분류 결과 (442) 에 따라 의료진의 각 클래스에 대한 분류 신뢰도 (또는, 확실성) (443) 가 결정될 수 있다.
이때, 의료진의 각 클래스에 대한 분류 신뢰도 (Pc) (443) 는 분류 값에 대한 분류 행렬 (
Figure 112020099974004-pat00007
) 에 의해 결정될 수도 있다. 보다 구체적으로, 의료진의 분류 결과 (442) 인 분류 행렬은 각 클래스에 대한 신뢰도 (443) 를 나타내는 조건 확률 벡터로서 변환될 수 있다. 이때, 해당 클래스 c 가 선택되었을 때 원래는 다른 클래스에 속한 것을 잘못 판단하여 선택될 확률을 고려하여, 의료진 (340) 의 평가 결과인 분류 행렬로부터 추출된 오차 행렬 (confusion matrix) 을 통해 조건부 확률 벡터
Figure 112020099974004-pat00008
가 결정될 수 있다. 그 결과, 분류된 질환 클래스 이외의 다른 질환에서 개연적인 확률값이 그 의료진의 특성에 따라 각 분류 결과물에 할당되고, 복수의 질환 (모든 클래스) 에 대한 개별 신뢰도가 부여될 수 있으며, 이에 기초하여 분류된 질환에 대한 확률 벡터가 결정될 수 있다. 또한, 다양한 실시 예에서, 평가용 의료 자료 (412) 각각에 대한 신뢰도가 결정될 수 있다. 예를 들어, 기계학습모델이 특정 질환에 대해서 오류 또는 오판 가능성이 높으나, 의료진이 해당 질환에 대해서 더 높은 확률로 평가할 수 있는 경우, 해당 평가용 의료 자료 (412) 와 유사한 의료 자료에 대해서 신뢰도를 더 높게 설정할 수 있다.
마지막으로, 질환 분류 가중치가 결정되는 단계 (S440) 에서, 현재 판독한 클래스에 해당하는 그 개인의 조건부 분류 확률 (신뢰도) (
Figure 112020099974004-pat00009
) 과 기계학습모델의 평가 신뢰도인 분류 확률 행렬
Figure 112020099974004-pat00010
(보다 구체적으로, 기계학습모델의 소프트맥스 (soft max) 레이어) 에서 나온 각 클래스 별 분류 확률을 가중치 합하여 정답을 최적으로 맞추기 위해 개인별 최적의 가중치를 결정한다.
이때, 기계학습모델 (320 및 330) 의 분류 확률 (422, 432) 및 과 의료진의 (340) 분류 결과 (442) 내의 질환별 (클래스별) 확률값을 가중하여 평가용 의료 자료의 라벨 (
Figure 112020099974004-pat00011
) 을 높은 확률로 맞추는 최적 가중치 (
Figure 112020099974004-pat00012
) 가 결정될 수 있다. 즉, 질환 분류 가중치가 결정되는 단계 (S440) 의 결과로, 기계학습모델 (320 및 330) 과 의료진 (340) 의 복수의 질환, 예를 들어 폐 종양 또는 폐 결핵으로 질환을 분류하는 것에 대한 분류 가중치 (424, 434, 444) 가 각각 결정될 수 있다.
이때, 가중치를 분류 확률에 적용하는 방식은 다음 수학식 1의 선형 함수 모델이 이용될 수 있다.
[수학식 1]
Figure 112020099974004-pat00013
여기서,
Figure 112020099974004-pat00014
는 의료진을 의미하고, Mi=1:m은 m개의 기계학습모델에 대응할 수 있다.
즉, 전술한 방법에 의해 추정된 가중치는, 새로운 의료 자료에 대한 의료진과 이미 훈련된 기계 모델의 각각의 평가 결과들에 적용될 수 있고, 이에 신뢰도 높은 최종 평가 결과가 제공될 수 있다.
이때, 기계학습모델 및 의료진에 대하여 결정된 가중치는, 기계학습모델을 이용하는 의료진의 실력에 따른 최적의 진단 능력을 가질 수 있다.
한편, 가중치의 결정은 이에 제한되는 것이 아니며, 복수의 모델에 대한 분류 결과에 기초하여 각 모델들의 복수의 질환을 분류하는 것에 대한 진단의 정확도를 평가하고, 복수의 모델 각각에 대한 진단 능력에 기초하여 복수의 질환 분류의 가중치가 결정될 수도 있다.
평가: 본 발명의 다양한 실시예에 따른 진단 보조 시스템의 평가
이하에서는, 도 6a 및 6b를 참조하여 본 발명의 다양한 실시예에 따른 진단 보조 시스템의 성능을 설명한다.
도 6a 내지 6b는 본 발명의 일 실시예에 따른 진단 보조 방법에 따른, 평가 결과를 도시한 것이다.
먼저, 도 6a의 (a)를 참조하면, 6 클래스의 질환에 대한 9 명의 분야 전문가와 4 명의 일반 전문가로 이루어진 의료진의 분류 결과가 도시된다. 이때, 단순 앙상블 평균 값을 이용한 6 클래스의 질환에 대한 분류 정확율은 0.78 내지 0.83 사이로 나타나며, 특히 일반 전문가의 경우 평균 분류 정확율이 분야 전문가보다 낮은 것으로 나타난다.
이와 대조적으로, 도 6a의 (b)를 참조하면, 의료진 개개인의 실력을 반영한, 의료진 맞춤형의 진단 보조 방법을 적용할 경우, 클래스 분류의 정확도가 단순 앙상블 방법 (도 6a의 (a)) 에 비하여 향상된 것으로 나타난다.
특히, 도 6b의 증가된 분류 정확율을 함께 참조할 경우, 단순 앙상블 방법에 따른 분류에서 분류 정확율이 낮았던 일반 전문가의 분류 정확도가, 본 발명의 다양한 실시예에 따른 진단 보조 방법에 따른 분류에서 현저하게 높아진 것으로 나타난다.
또한, 의료진의 평가에 사용된 샘플 수가 증가할 수록, 분류 정확도 상승률이 높아진 것으로 나타난다.
이상의 결과는, 기계학습모델 및 의료진 각각의 진단 능력에 따른 가중치가 설정된 기계학습모델 기반의 진단 보조 시스템에 의해, 질환 진단의 정확도 및 신뢰도가 향상된 것을 의미할 수 있다.
이에, 본 발명은, 인간 진단력 평가에 기반한 기계학습모델-인간 협동이 가능한 진단 보조 시스템을 제공함으로써, 기계학습모델의 진단 능력이 전문가의 능력에 준하거나 그 이상인 경우에도 100 % 신뢰할 수 없는 종래의 진단 보조 시스템이 갖는 한계 및 문제점을 극복할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 진단 보조용 디바이스
110, 230: 저장부
120, 210: 통신부
130, 240: 프로세서
200: 의료진 디바이스
220: 표시부
300: 의료 자료 제공 디바이스
312: 의료 자료
320: 제1 기계학습모델
330: 제2 기계학습모델
322, 332, 352, 422, 432: 분류 확률
342, 442: 분류 결과
340: 의료진
412: 평가용 의료 자료
443: 분류 신뢰도
424, 434, 444: 분류 가중치

Claims (18)

  1. 프로세서에 의해 구현되는 진단 보조 방법으로서,
    개체에 대한 의료 자료를 수신하는 단계;
    의료 자료를 입력으로 하여 진단 평가 결과를 출력하도록 구성된 기계학습모델을 이용하여, 상기 의료 자료에 기초하여 진단 평가 결과를 결정하는 단계;
    상기 의료 자료에 대하여 의료진으로부터 결정된 진단 평가 결과를 입력 받는 단계;
    상기 기계학습모델에 대하여 미리 부여된 가중치 및 상기 기계학습모델의 진단 평가 결과를 기초로, 제1 분류 확률을 결정하는 단계;
    상기 의료진에 대하여 미리 부여된 가중치 및 상기 의료진으로부터 결정된 진단 평가 결과를 기초로, 제2 분류 확률을 결정하는 단계, 및
    상기 제1 분류 확률 및 제2 분류 확률 중 최대 값의 발병 위험도를 갖는 질환의 분류 확률을 상기 개체에 대한 제3 분류 확률로 결정하는 단계를 포함하는, 진단 보조 방법.
  2. 제1항에 있어서,
    상기 미리 부여된 가중치는,
    복수의 질환 중 적어도 하나의 질환에 부여된 가중치이고,
    상기 적어도 하나의 질환이 정답 질환으로 라벨링된 평가용 의료 자료를 수신하는 단계;
    상기 기계학습모델을 이용하여, 상기 평가용 의료 자료에 대한 진단 평가 결과를 결정하는 단계;
    상기 평가용 의료 자료에 대한 상기 의료진의 진단 평가 결과를 입력 받는 단계;
    상기 정답 질환, 상기 평가용 의료 자료에 대한 상기 기계학습모델의 진단 평가 결과 및 상기 평가용 의료 자료에 대한 상기 의료진의 진단 평가 결과에 기초하여, 상기 의료진 및 상기 기계학습모델 각각의 분류 정확도를 결정하는 단계, 및
    상기 각각의 분류 정확도에 기초하여, 상기 기계학습모델 및 상기 의료진 각각에 대한 상기 적어도 하나의 질환의 분류 가중치를 결정하는 단계를 통해 결정되는, 진단 보조 방법.
  3. 제2항에 있어서,
    상기 평가용 의료 자료에 대한 진단 평가 결과를 결정하는 단계는,
    상기 기계학습모델을 이용하여, 상기 평가용 의료 자료에 기초하여, 상기 기계학습모델에 대한 상기 적어도 하나의 질환의 분류 확률을 결정하는 단계를 포함하고,
    상기 평가용 의료 자료에 대한 상기 의료진의 분류 정확도를 결정하는 단계는,
    상기 의료진으로부터 선택된 질환의 분류에 대한 평가 결과를 입력 받는 단계;
    상기 의료진으로부터 선택된 질환의 평가 신뢰도를 입력 받는 단계, 및
    상기 의료진으로부터 선택된 질환의 분류 확률을 도출 하는 단계를 포함하고,
    상기 의료진 및 상기 기계학습모델 각각의 분류 정확도를 결정하는 단계는,
    상기 정답 질환, 상기 기계학습모델에 대한 상기 적어도 하나의 질환의 분류 확률 및 상기 의료진으로부터 선택된 질환의 분류 확률에 기초하여, 상기 의료진 및 상기 기계학습모델 각각의 분류 정확도를 결정하는 단계를 포함하는, 진단 보조 방법.
  4. 제3항에 있어서,
    상기 적어도 하나의 질환 분류 가중치를 결정하는 단계는,
    합산된 질환 분류 확률을 획득하도록, 상기 기계학습모델에 대한 상기 적어도 하나의 질환의 분류 확률 및 상기 의료진으로부터 선택된 질환의 분류 확률을 합산하는 단계, 및
    합산된 질환 분류 확률이 최대값이 되는 가중치를 결정하는 단계를 포함하는, 진단 보조 방법.
  5. 제3항에 있어서,
    상기 의료진으로부터 선택된 질환의 분류에 대한 분류 신뢰도를 입력 받는 단계 이후에,
    상기 의료진으로부터 선택된 질환의 분류에 대한 분류 신뢰도에 기초하여, 상기 복수의 질환 중 나머지 질환에 대한 신뢰도를 결정하는 단계를 더 포함하는, 진단 보조 방법.
  6. 제1항에 있어서,
    상기 진단 평가 결과 각각은, 상기 기계학습모델 및 상기 의료진으로부터 각각으로부터 결정된 복수의 질환 각각에 대한 분류 확률을 포함하고,
    상기 제1 분류 확률은, 가중치가 부가된 상기 기계학습모델에 의해 결정된 복수의 질환 각각에 대한 분류 확률을 포함하고,
    상기 제2 분류 확률은, 가중치가 부가된 상기 의료진에 의해 결정된 복수의 질환 각각에 대한 분류 확률을 포함하고,
    상기 제3 분류 확률을 결정하는 단계는,
    상기 가중치가 부가된 상기 기계학습모델에 의해 결정된 복수의 질환 각각에 대한 분류 확률 및 상기 가중치가 부가된 상기 의료진에 의해 결정된 복수의 질환 각각에 대한 분류 확률 중, 최대값을 갖는 질환에 대한 발병 위험도가 높은 것으로 결정하는 단계를 포함하는, 진단 보조 방법.
  7. 삭제
  8. 제1항에 있어서,
    상기 제3 분류 확률을 결정하는 단계 이후에,
    상기 제1 분류 확률 및 제2 분류 확률에 기초하여, 상기 의료진에 대한 상대적 신뢰도를 산출하는 단계, 및
    상기 상대적 신뢰도를 제공하는 단계를 더 포함하는, 진단 보조 방법.
  9. 제1항에 있어서,
    상기 기계학습모델은 복수 개이고,
    상기 미리 부여된 가중치는,
    복수의 질환 각각에 대하여 부여된 가중치이고,
    복수의 기계학습모델을 이용하여, 상기 의료 자료에 기초하여 진단 평가 결과를 결정하는 단계;
    상기 복수의 기계학습모델 각각에 대한 가중치가 가해진 제1 분류 확률을 획득하도록, 상기 복수의 기계학습모델 각각에 대한 진단 평가 결과에 복수의 기계학습모델 각각에 대하여 부여된 가중치를 각각 부여하는 단계;
    상기 복수의 질환 별로 합산 진단 평가 결과를 획득하도록, 상기 복수의 기계학습모델 각각에 대한 가중치가 가해진 제1 분류 확률을 합산하는 단계, 및
    상기 복수의 질환 중 최대값의 합산 진단 평가 결과를 갖는 질환을, 상기 개체에 대한 발병 위험도가 높은 질환으로 결정하는 단계를 더 포함하는, 진단 보조 방법.
  10. 프로세서에 의해 구현되는 기계학습모델의 최적화 방법으로서,
    평가용 의료 자료를 수신하는 단계;
    의료 자료를 입력으로 하여 진단 평가 결과를 출력하도록 구성된 기계학습모델을, 상기 평가용 의료 자료를 이용하여 학습시키는 단계;
    상기 평가용 의료 자료에 대한 의료진의 진단 특성을 평가하는 단계;
    상기 평가용 의료 자료에 대한 상기 기계학습모델의 학습 결과 및 상기 의료진의 진단 특성에 기초하여, 상기 기계학습모델 및 상기 의료진 각각에 대한 질환 분류 가중치를 결정하는 단계, 및
    상기 각각에 대한 질환 분류 가중치에 기초하여, 상기 기계학습모델을 최적화하는 단계를 포함하는, 기계학습모델의 최적화 방법.
  11. 프로세서에 의해 구현되는 진단 보조 방법으로서,
    평가용 의료 자료를 수신하는 단계;
    의료 자료를 입력으로 하여 진단 평가 결과를 출력하도록 구성된 기계학습모델을, 상기 평가용 의료 자료를 이용하여 학습시키는 단계;
    상기 평가용 의료 자료에 대한 의료진의 진단 특성을 평가하는 단계;
    상기 평가용 의료 자료에 대한 상기 기계학습모델의 학습 결과 및 상기 의료진의 진단 특성에 기초하여, 상기 기계학습모델 및 상기 의료진 각각에 대한 질환 분류 가중치를 결정하는 단계;
    상기 각각에 대한 질환 분류 가중치에 기초하여, 상기 기계학습모델을 최적화하는 단계;
    개체에 대한 실제 평가해야 할 의료 자료를 수신하는 단계;
    상기 기계학습모델을 이용하여, 추가 의료 자료에 기초하여 진단 평가 결과를 결정하는 단계;
    상기 추가 의료 자료에 대하여 의료진으로부터 결정된 진단 평가 결과를 입력 받는 단계;
    상기 기계학습모델에 대하여 미리 부여된 가중치 및 상기 기계학습모델의 진단 평가 결과를 기초로, 제1 분류 확률을 결정하는 단계;
    상기 의료진에 대하여 미리 부여된 가중치 및 상기 의료진으로부터 결정된 진단 평가 결과를 기초로, 제2 분류 확률을 결정하는 단계, 및
    상기 제1 분류 확률 및 제2 분류 확률 중 최대 값의 발병 위험도를 갖는 질환의 분류 확률을 제3 분류 확률로 결정하는 단계를 포함하는, 진단 보조 방법.
  12. 개체에 대한 의료 자료를 수신하도록 구성된 통신부, 및
    상기 통신부와 통신하도록 구성된 프로세서를 포함하고,
    상기 프로세서는,
    의료 자료를 입력으로 하여 진단 평가 결과를 출력하도록 구성된 기계학습모델을 이용하여, 상기 의료 자료에 기초하여 진단 평가 결과를 결정하고,
    상기 의료 자료에 대하여 의료진으로부터 결정된 진단 평가 결과를 입력 받고,
    상기 기계학습모델에 대하여 미리 부여된 가중치 및 상기 기계학습모델의 진단 평가 결과를 기초로, 제1 분류 확률을 결정하고,
    상기 의료진에 대하여 미리 부여된 가중치 및 상기 의료진으로부터 결정된 진단 평가 결과를 기초로, 제2 분류 확률을 결정하고,
    상기 제1 분류 확률 및 제2 분류 확률 중 최대 값의 발병 위험도를 갖는 질환의 분류 확률을 상기 개체에 대한 제3 분류 확률로 결정하도록 구성된, 진단 보조용 디바이스.
  13. 제12항에 있어서,
    상기 미리 부여된 가중치는,
    복수의 질환 중 적어도 하나의 질환에 부여된 가중치이고,
    상기 통신부는,
    상기 적어도 하나의 질환이 정답 질환으로 라벨링된 평가용 의료 자료를 수신하도록 더 구성되고,
    상기 프로세서는,
    상기 기계학습모델을 이용하여, 상기 평가용 의료 자료에 대한 진단 평가 결과를 결정하고,
    상기 평가용 의료 자료에 대한 상기 의료진의 진단 평가 결과를 입력 받고,
    상기 정답 질환, 상기 평가용 의료 자료에 대한 상기 기계학습모델의 진단 평가 결과 및 상기 평가용 의료 자료에 대한 상기 의료진의 진단 평가 결과에 기초하여, 상기 의료진 및 상기 기계학습모델 각각의 분류 정확도를 결정하고,
    상기 각각의 분류 정확도에 기초하여, 상기 기계학습모델 및 상기 의료진 각각에 대한 상기 적어도 하나의 질환의 분류 가중치를 결정하도록 더 구성된, 진단 보조용 디바이스.
  14. 제13항에 있어서,
    상기 프로세서는,
    상기 기계학습모델을 이용하여, 상기 평가용 의료 자료에 기초하여, 상기 기계학습모델에 대한 상기 적어도 하나의 질환의 분류 확률을 결정하고,
    상기 의료진으로부터 선택된 질환의 분류에 대한 분류 신뢰도를 입력 받고,
    상기 분류 신뢰도에 기초하여, 상기 의료진으로부터 선택된 질환의 분류 확률을 결정하고,
    상기 의료진으로부터 선택된 질환의 분류 확률을 입력 받고,
    상기 정답 질환, 상기 기계학습모델에 대한 상기 적어도 하나의 질환의 분류 확률 및 상기 의료진으로부터 선택된 질환의 분류 확률에 기초하여, 상기 의료진 및 상기 기계학습모델 각각의 분류 정확도를 결정하도록 더 구성된, 진단 보조용 디바이스.
  15. 제14항에 있어서,
    상기 프로세서는,
    합산된 질환 분류 확률을 획득하도록, 상기 기계학습모델에 대한 상기 적어도 하나의 질환의 분류 확률 및 상기 의료진으로부터 선택된 질환의 분류 확률을 합산하고,
    합산된 질환 분류 확률을 근거로 정답에 대한 정확도를 최대로 하는 가중치를 결정하도록 더 구성된, 진단 보조용 디바이스.
  16. 제14항에 있어서,
    상기 프로세서는,
    상기 의료진으로부터 선택된 질환의 분류에 대한 분류 신뢰도에 기초하여, 상기 복수의 질환 중 나머지 질환에 대한 신뢰도를 결정하도록 더 구성된 진단 보조용 디바이스.
  17. 제12항에 있어서,
    상기 진단 평가 결과 각각은, 상기 기계학습모델 및 상기 의료진으로부터 각각으로부터 결정된 복수의 질환 각각에 대한 분류 확률을 포함하고,
    상기 제1 분류 확률은, 가중치가 부가된 상기 기계학습모델에 의해 결정된 복수의 질환에 대한 분류 확률을 포함하고,
    상기 제2 분류 확률은, 가중치가 부가된 상기 의료진에 의해 결정된 복수의 질환에 대한 분류 확률을 포함하고,
    상기 프로세서는,
    상기 가중치가 부가된 상기 기계학습모델에 의해 결정된 복수의 질환 각각에 대한 분류 확률 및 상기 가중치가 부가된 상기 의료진에 의해 결정된 복수의 질환 각각에 대한 분류 확률 중, 확률이 최대값을 갖는 질환에 대한 발병 가능성이 높은 것으로 결정하도록 더 구성된, 진단 보조용 디바이스.
  18. 삭제
KR1020200121396A 2020-09-21 2020-09-21 전문가의 진단 능력 평가 방법, 인공지능 기반의 진단 보조 방법 및 이를 이용한 디바이스 KR102543013B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200121396A KR102543013B1 (ko) 2020-09-21 2020-09-21 전문가의 진단 능력 평가 방법, 인공지능 기반의 진단 보조 방법 및 이를 이용한 디바이스

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200121396A KR102543013B1 (ko) 2020-09-21 2020-09-21 전문가의 진단 능력 평가 방법, 인공지능 기반의 진단 보조 방법 및 이를 이용한 디바이스

Publications (2)

Publication Number Publication Date
KR20220039881A KR20220039881A (ko) 2022-03-30
KR102543013B1 true KR102543013B1 (ko) 2023-06-13

Family

ID=80948009

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200121396A KR102543013B1 (ko) 2020-09-21 2020-09-21 전문가의 진단 능력 평가 방법, 인공지능 기반의 진단 보조 방법 및 이를 이용한 디바이스

Country Status (1)

Country Link
KR (1) KR102543013B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024005348A1 (ko) * 2022-06-28 2024-01-04 주식회사 메디컬에이아이 심전도 판독 서비스를 제공하는 시스템 및 그 방법
KR20240034573A (ko) * 2022-09-07 2024-03-14 연세대학교 산학협력단 알고리즘을 이용한 전이성 또는 다발성 원발성 폐암의 분류 방법 및 그 장치
CN116310483A (zh) * 2022-12-06 2023-06-23 河北玖嘉医药科技有限公司 基于MobileNetV2网络的肺癌病理识别分类方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101811028B1 (ko) 2017-08-25 2017-12-20 (주)제이엘케이인스펙션 인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템
KR101929752B1 (ko) 2018-05-30 2018-12-17 (주)제이엘케이인스펙션 인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템
KR102140402B1 (ko) 2019-09-05 2020-08-03 주식회사 루닛 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102243830B1 (ko) * 2018-02-22 2021-04-23 고려대학교 산학협력단 통합 의료 진단 서비스 제공 시스템 및 그 방법
KR102289277B1 (ko) * 2018-12-21 2021-08-13 주식회사 인피니트헬스케어 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101811028B1 (ko) 2017-08-25 2017-12-20 (주)제이엘케이인스펙션 인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템
KR101929752B1 (ko) 2018-05-30 2018-12-17 (주)제이엘케이인스펙션 인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템
KR102140402B1 (ko) 2019-09-05 2020-08-03 주식회사 루닛 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치

Also Published As

Publication number Publication date
KR20220039881A (ko) 2022-03-30

Similar Documents

Publication Publication Date Title
KR101884609B1 (ko) 모듈화된 강화학습을 통한 질병 진단 시스템
Rubin Artificial intelligence in imaging: the radiologist’s role
US10984905B2 (en) Artificial intelligence for physiological quantification in medical imaging
KR102543013B1 (ko) 전문가의 진단 능력 평가 방법, 인공지능 기반의 진단 보조 방법 및 이를 이용한 디바이스
KR102289277B1 (ko) 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법
KR102140402B1 (ko) 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
US7640051B2 (en) Systems and methods for automated diagnosis and decision support for breast imaging
US11915822B2 (en) Medical image reading assistant apparatus and method for adjusting threshold of diagnostic assistant information based on follow-up examination
KR102629045B1 (ko) 의료용 인공 신경망 기반 사용자 선호 스타일을 제공하는 의료 영상 판독 지원 장치 및 방법
JP7320856B2 (ja) 生体画像診断システム、生体画像診断方法、及びこれを行うための端末
US20230057653A1 (en) Method and system and apparatus for quantifying uncertainty for medical image assessment
Babarenda Gamage et al. An automated computational biomechanics workflow for improving breast cancer diagnosis and treatment
KR102261408B1 (ko) 의료영상을 이용한 질환정보 제공 방법
Khazaal et al. Predicting Coronary Artery Disease Utilizing Support Vector Machines: Optimizing Predictive Model
CN108352187A (zh) 用于生成正确放射推荐的***和方法
Liang et al. Human-centered ai for medical imaging
KR102480134B1 (ko) 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
RU2740219C2 (ru) Движок для контекстно-зависимых медицинских рекомендаций
KR102360615B1 (ko) 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법
KR20220136226A (ko) 인공지능 모델을 이용한 의학적 예측 제공 방법 및 장치
KR102213924B1 (ko) 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
KR20210014893A (ko) 의료용 인공 신경망 기반 행잉 프로토콜을 제공하는 의료 영상 판독 지원 장치 및 방법
KR102507315B1 (ko) 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
EP4246526A1 (en) System and method for providing enhancing or contrast agent advisability indicator
US20230386022A1 (en) Dynamic multimodal segmentation selection and fusion

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant