KR20200077852A - 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법 - Google Patents
복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법 Download PDFInfo
- Publication number
- KR20200077852A KR20200077852A KR1020180167136A KR20180167136A KR20200077852A KR 20200077852 A KR20200077852 A KR 20200077852A KR 1020180167136 A KR1020180167136 A KR 1020180167136A KR 20180167136 A KR20180167136 A KR 20180167136A KR 20200077852 A KR20200077852 A KR 20200077852A
- Authority
- KR
- South Korea
- Prior art keywords
- reading
- medical image
- read
- algorithms
- result
- Prior art date
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 211
- 238000011156 evaluation Methods 0.000 title claims abstract description 110
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003745 diagnosis Methods 0.000 title abstract description 33
- 230000006870 function Effects 0.000 claims abstract description 13
- 239000000284 extract Substances 0.000 claims abstract description 5
- 230000003902 lesion Effects 0.000 claims description 41
- 238000013528 artificial neural network Methods 0.000 claims description 26
- 238000013473 artificial intelligence Methods 0.000 claims description 20
- 210000000056 organ Anatomy 0.000 claims description 14
- 238000003709 image segmentation Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 12
- 238000013135 deep learning Methods 0.000 description 8
- 238000001574 biopsy Methods 0.000 description 5
- 206010028980 Neoplasm Diseases 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 235000000332 black box Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
- G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Quality & Reliability (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Tourism & Hospitality (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Child & Adolescent Psychology (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
자동화된 시스템에 의하여 의료 영상 판독을 지원하는 장치 및 방법이 개시된다. 컴퓨팅 시스템은 메모리 또는 데이터베이스에 의료 영상에 대한 판독 기능을 가지는 복수의 의료 영상 판독 알고리듬들을 저장하고, 프로세서는 상기 의료 영상을 분석하여 상기 의료 영상에 대한 판독 요건을 추출하고, 상기 판독 요건에 기반하여, 상기 복수의 의료 영상 판독 알고리듬들 중 상기 의료 영상에 대한 판독을 실행할 복수의 판독 적용 알고리듬들을 선택하고, 상기 복수의 판독 적용 알고리듬들은 적어도 제1 판독 알고리듬과 제2 판독 알고리듬을 포함하고, 상기 복수의 판독 적용 알고리듬들 각각이 상기 의료 영상에 적용되어 상기 의료 영상에 대한 복수의 판독 결과들이 생성되고, 상기 복수의 판독 결과들은 적어도 상기 제1 판독 알고리듬에 기반한 제1 판독 결과 및 상기 제2 판독 알고리듬에 기반한 제2 판독 결과를 포함하고, 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 평가 스코어를 생성한다.
Description
본 발명은 자동화된 시스템에 의하여 의료 영상 판독을 지원하는 장치 및 방법에 관한 것이다. 구체적으로는 인공지능 기반의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하고, 평가 스코어에 기반하여 의료 영상 판독을 지원하는 방법 및 그 방법이 적용되는 장치에 관한 것이다.
본 발명은 과학기술정보통신부 및 정보통신기술진흥센터의 SW컴퓨팅산업원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2018-0-00861, 과제명: 의료데이터분석 지능형 SW 기술개발].
영상 내 객체를 분할(segmentation) 또는 검출(detection)하고, 영상 내 객체를 분류(classify)하는 기술은 영상 처리에서 다양한 용도로 활용된다. 의료 영상에서는 영상의 밝기 값 또는 강도 값(intensity)에 기반하여 영상 내 객체를 분할, 검출, 분류하고 이때 객체는 인체의 장기(organ), 병변(lesion)일 수 있다.
영상 처리 과정을 자동화하는 데 있어서 최근 인공 신경망으로서 딥러닝, 컨볼루션 신경망(CNN, Convolutional Neural Network)의 도입은 영상 처리 자동화 프로세스의 성능을 비약적으로 향상시켰다.
그러나 한편으로 딥러닝, CNN 등의 최근의 인공 신경망은 내부가 블랙박스에 가까워, 도출되는 결과가 우수하더라도 사용자가 이를 전적으로 수용하고 채택하는 데에 거부감이 있다. 특히 인공 신경망에 대한 거부감은 인간의 생명을 다루는 분야인 의료 영상 분야에서는 더욱 중요하게 부각된다.
설명 가능한 인공지능(explainable artificial intelligence, X-AI)에 대한 연구가 미국국방고등연구기획국(DARPA) 등에서 시도되고 있다 (https://www.darpa.mil/program/explainable-artificial-intelligence). 다만 아직까지 가시적인 성과는 드러나지 않고 있는 상황이다.
의료 분야에서 복잡한 형태의 병변을 분할/검출하고, 분류/진단하기 위한 기술로서 복수의 분할 알고리듬들을 선택적으로 적용하는 기술이 국제공개특허 WO 2018/015414 "METHOD AND SYSTEM FOR ARTIFICIAL INTELLIGENCE BASED MEDICAL IMAGE SEGMENTATION" 등이 소개된 바 있다.
상기 선행문헌에서는 영상 분할의 최종 결과물을 얻기 위하여 pre-trained 분할 알고리듬들을 비교하고 적어도 어느 하나를 선택하는 기법이 적용된다.
그러나 상기 선행문헌에서도 분할 알고리듬들을 선택적으로 적용하는 기준이 무엇인지에 대한 설명적 정보(descriptive information, explanation)를 도출할 수 없어 임상의(clinician)이 이러한 분할 기법이 임상적으로 어느 정도 유용한 지에 대한 신뢰를 높이기 어렵다는 문제가 있다.
의료 영상의 판독 과정에서도 전적으로 블랙박스처럼 실행되는 인공지능 판독 시스템이 결과를 도출하는 과정을 임상적으로 신뢰할 수 없다는 유사한 문제점이 여전히 존재한다.
최근 딥러닝 기반의 인공지능 기법을 적용하여 영상 분할, 영상 내 객체의 검출, 및 분류 기법의 성능을 향상하고자 하는 노력이 계속되고 있다. 그러나 딥러닝 기반 인공지능의 경우, 그 동작으로부터 제공되는 결과물이 우연히 높은 성능을 보이는 것인지, 그 임무(task)에 적절한 판단 과정을 거친 것인 지를 사용자가 알 수 없는 블랙박스(black-box)라는 점이 활용 가능성을 제한하고 있다.
반면 설명이 용이한 룰-베이스드(rule-based) 방식의 훈련 또는 학습으로는 딥러닝 만큼의 성과가 얻어지지 못하는 점에서 사용이 제한되고 있다. 따라서 향상된 성능을 가지면서도 설명적 정보(descriptive information, explanation)를 제공할 수 있는 딥러닝 기반 인공지능에 대한 연구가 활발하다. 인공 신경망을 이용한 영상 처리를 실제로 응용하는 데 있어서, 특히 의료 영상 분야에서는 진단 및 분류의 근거에 대한 설명적 정보가 필요한데 종래 기술로는 아직까지 설명적 정보를 도출하지 못하는 상황이다.
상기 언급된 선행문헌 WO 2018/015414에서도 어떤 요소가 최종적인 분할 segmentation 성능을 향상하는 데에 영향을 미치는 지에 대한 설명적 정보(descriptive information, explanation)를 도출할 수 없고, 분할 과정에서 임상의(clinician)가 임상적으로 유의미한 피드백을 제공하더라도, 이 피드백이 실제로 딥러닝 시스템에 적절히 적용되었는지 확인할 수 있는 방법이 없다.
본 발명의 목적은 사용자가 의료 영상을 판독하는 과정에서 복수의 의료 영상 판독 알고리듬들에 대한 신뢰도 및 정확도를 포함하는 평가 스코어를 제공함으로써, 사용자에 의한 의료 영상 판독 결과의 정확도를 높이는 것이다.
본 발명의 목적은 사용자가 인공지능 의료 영상 판독 알고리듬들을 사용하여 최종적인 판독 결과를 도출하는 과정에 추천 정보를 설명적 정보(descriptive information)로서 제공하고, 사용자가 의료 영상 판독 알고리듬들에 대한 임상적 유용성을 정량화된 정보로서 제공하는 것이다.
본 발명은 상기의 종래기술의 문제점을 해결하기 위한 수단으로 도출된 것으로서, 본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치는 컴퓨팅 시스템을 포함하며 상기 컴퓨팅 시스템은 프로세서를 포함하고, 상기 컴퓨팅 시스템은 메모리 또는 데이터베이스에 의료 영상에 대한 판독 기능을 가지는 복수의 의료 영상 판독 알고리듬들을 저장한다.
이때 프로세서는 상기 의료 영상을 분석하여 상기 의료 영상에 대한 판독 요건을 추출한다. 또한 프로세서는 상기 판독 요건에 기반하여, 상기 복수의 의료 영상 판독 알고리듬들 중 상기 의료 영상에 대한 판독을 실행할 복수의 판독 적용 알고리듬들을 선택하고, 이때 상기 복수의 판독 적용 알고리듬들은 적어도 제1 판독 알고리듬과 제2 판독 알고리듬을 포함한다. 프로세서는 상기 복수의 판독 적용 알고리듬들 각각이 상기 의료 영상에 적용되어 상기 의료 영상에 대한 복수의 판독 결과들이 생성되면, 상기 의료 영상에 대한 상기 복수의 판독 결과들을 상기 복수의 판독 적용 알고리듬들 각각과 연계하여 상기 컴퓨팅 시스템 내의 상기 메모리 또는 상기 데이터베이스에 저장하고, 이때 상기 복수의 판독 결과들은 적어도 상기 제1 판독 알고리듬에 기반한 제1 판독 결과 및 상기 제2 판독 알고리듬에 기반한 제2 판독 결과를 포함한다. 프로세서는 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 평가 스코어를 생성한다.
이 때 프로세서는 상기 복수의 판독 적용 알고리듬들 각각에 대한 평가 스코어 및 상기 복수의 판독 결과들을 포함하는 디스플레이 정보를 생성하고, 상기 복수의 판독 적용 알고리듬들 중 적어도 하나 이상에 대한 사용자의 선택이 가능한 사용자 메뉴를 제공할 수 있다.
이 때 프로세서는 상기 의료 영상 내의 병변 의심 위치에 대한 상기 제1 판독 결과 및 상기 제2 판독 결과 각각을 비교 가능하도록 표시하는 디스플레이 정보를 생성하고, 상기 의료 영상 내의 상기 병변 의심 위치에 대한 상기 제1 판독 결과에 기반한 제1 판독문, 및 상기 제2 판독 결과에 기반한 제2 판독문을 생성할 수 있다.
이 때 프로세서는 상기 제1 판독 결과와 연관되는 상기 의료 영상 내의 병변 의심 위치들에 관한 정보를 포함하는 제1 판독 근거 영상 정보 및 상기 제2 판독 결과와 연관되는 상기 의료 영상 내의 병변 의심 위치들에 관한 정보를 포함하는 제2 판독 근거 영상 정보를 생성하고, 상기 제1 판독 근거 영상 정보 및 상기 제1 판독 결과에 기반한 제1 판독문, 및 상기 제2 판독 근거 영상 정보 및 상기 제2 판독 결과에 기반한 제2 판독문을 생성할 수 있다.
이 때 프로세서는 상기 평가 스코어에 기반하여 상기 복수의 판독 결과들 중 상기 제1 판독 결과와 상기 제2 판독 결과를 추천 판독 결과로서 선택하는 추천 판독 선택 모듈; 및 상기 제1 판독 알고리듬에 대한 평가 스코어, 상기 제1 판독 결과, 상기 제2 판독 알고리듬에 대한 평가 스코어, 및 상기 제2 판독 결과를 포함하는 디스플레이 정보를 생성할 수 있다.
이 때 프로세서는 상기 복수의 판독 결과들 및 상기 복수의 판독 결과들에 대한 사용자의 피드백에 기반하여 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 신뢰도 점수, 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 정확도 점수, 및 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 상기 사용자의 평가 신뢰도 점수를 하위 평가 항목으로 생성하고, 상기 하위 평가 항목에 기반하여 상기 평가 스코어를 생성할 수 있다.
이 때 프로세서는 상기 하위 평가 항목인 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 신뢰도 점수, 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 정확도 점수, 및 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 상기 사용자의 평가 신뢰도 점수 각각에 대하여 가중치를 부여하고, 상기 복수의 판독 결과들 및 상기 복수의 판독 결과들에 대한 사용자의 피드백에 기반하여 목표 요건에 따라 상기 하위 평가 항목 각각의 가중치가 조정되도록 상기 하위 평가 항목 각각의 가중치를 업데이트할 수 있다.
이 때 프로세서는 상기 의료 영상에 대한 영상 분할 결과, 상기 의료 영상에 대한 임상적 요구사항, 및 상기 의료 영상의 피검자의 정보에 기반하여 상기 의료 영상에 대한 상기 판독 요건을 추출하고, 알고리듬 선택 모듈은 상기 판독 요건에 대한 적합도, 또는 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 평가 스코어 중 적어도 하나 이상에 기반하여 상기 의료 영상에 대한 판독을 실행할 복수의 판독 적용 알고리듬들을 선택할 수 있다.
이 때 프로세서는 상기 의료 영상에 대한 영상 분할 결과, 및 상기 의료 영상에 대한 영상 처리 결과에 기반하여 상기 판독 요건 별로 장기(organ)의 종류, 병변의 위치, 상기 장기와 상기 병변 간의 상대적 위치 정보를 포함하는 판독 요건 별 세부 평가 항목을 생성하고, 상기 판독 요건 별 세부 평가 항목 각각에 대하여 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 평가 스코어를 생성할 수 있다.
이 때 프로세서는 상기 복수의 판독 결과들 및 상기 복수의 판독 결과들에 대한 사용자의 피드백에 기반하여 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 신뢰도 점수, 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 정확도 점수, 및 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 상기 사용자의 평가 신뢰도 점수를 하위 평가 항목으로 생성하고, 상기 알고리듬 선택 모듈은 상기 판독 요건 별 세부 평가 항목과 상기 하위 평가 항목 각각 간의 연관성에 기반하여 상기 복수의 판독 적용 알고리듬들을 선택할 수 있다.
이 때 상기 복수의 의료 영상 판독 알고리듬들은 인공 신경망을 이용하는 인공 지능 알고리듬들이고, 프로세서는 상기 판독 요건 각각에 따른 상기 평가 스코어를 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 설명적 정보(descriptive information)로서 생성할 수 있다.
본 발명의 다른 일 실시예에 의한 의료 영상 판독 지원 방법은, 의료 영상에 대한 판독을 지원하는 컴퓨팅 시스템 내의 프로세서에 의하여 실행되며, 상기 프로세서에 로드되는 프로그램 인스트럭션에 기반하여 실행된다.
의료 영상 판독 지원 방법은 의료 영상을 입력받는 단계; 상기 의료 영상을 분석하여 상기 의료 영상에 대한 판독 요건을 추출하는 단계; 상기 판독 요건에 기반하여, 상기 컴퓨팅 시스템 내의 메모리 또는 데이터베이스에 저장되며 의료 영상에 대한 판독 기능을 가지는 복수의 의료 영상 판독 알고리듬들 중 상기 의료 영상에 대한 판독을 실행할 복수의 판독 적용 알고리듬들을 - 상기 복수의 판독 적용 알고리듬들은 적어도 제1 판독 알고리듬과 제2 판독 알고리듬을 포함함 - 선택하는 단계; 상기 복수의 판독 적용 알고리듬들 각각이 상기 의료 영상에 적용되어 상기 의료 영상에 대한 복수의 판독 결과들이 - 상기 복수의 판독 결과들은 적어도 상기 제1 판독 알고리듬에 기반한 제1 판독 결과 및 상기 제2 판독 알고리듬에 기반한 제2 판독 결과를 포함함 - 생성되면, 상기 의료 영상에 대한 상기 복수의 판독 결과들을 상기 복수의 판독 적용 알고리듬들 각각과 연계하여 상기 컴퓨팅 시스템 내의 상기 메모리 또는 상기 데이터베이스에 저장하는 단계; 및 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 평가 스코어를 생성하는 단계를 포함한다.
본 발명에 따르면 사용자가 의료 영상을 판독하는 과정에서 해당 영상에 적용 가능한 다수의 인공지능 의료 영상 판독 알고리듬들이 분석한 다수의 추천 판독 결과들과 자신의 판독 결과를 비교함으로써 사용자의 영상에 대한 판독결과에 대한 정확도를 높일 수 있다.
본 발명에 따르면 다수의 인공지능 의료 영상 판독 알고리듬들을 통해 사용자가 확인하지 못했던 부분들에 대한 다수의 추천 판독을 서로 비교해 조회할 수도 있다. 사용자는 해당 시스템을 통해 본인의 판독과 다수의 판독을 비교 검증함으로써, 정확한 판독이 이루어지게 되고 판독의 신뢰도를 높일 수 있다.
또한 추천판독시스템에서 다수의 추천판독에 대한 근거 영상들을 조회함으로써 다수의 추천 인공지능 의료 영상 판독 알고리듬 중에서 사용자의 판독결과와 유사한 추천판독에 대한 정확도/신뢰도를 평가할 수 있으며 사용자의 판독 능력향상에도 도움을 줄 수 있다.
사용자의 추천 인공지능 알고리즘에 대한 평가는 추천판독 시스템 내부평가시스템의 과금 체계와도 연계될 수 있다.
본 발명에 따르면 추천 판독 시스템 내부의 인공지능 의료 영상 판독 알고리듬들에 대한 평가 스코어를 설명적 정보로서 제공할 수 있으며, 최종적인 판독 결과를 생성하는 과정에서 사용자는 각 의료 영상 판독 알고리듬들의 임상적 유용성에 대한 정보를 얻을 수 있고, 임상적 유용성에 대한 정보를 본 발명의 추천 판독 시스템으로 피드백할 수도 있다.
본 발명에 의하여 제공되는 설명적 정보는 다시 인공 신경망에 기반한 의료 영상 판독 알고리듬들의 판독 성능을 향상하는 데에 유용하게 사용될 수도 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치(시스템)을 포함하는 워크플로우 전체를 도시하는 개념도이다.
도 2는 본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치(시스템)에 의하여 실행되는 의료 영상 판독 지원 방법을 도시하는 동작 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치(시스템)에 의하여 실행되는 의료 영상 판독 지원 방법을 도시하는 동작 흐름도이다.
상기 목적 외에 본 발명의 다른 목적 및 특징들은 첨부 도면을 참조한 실시예에 대한 설명을 통하여 명백히 드러나게 될 것이다.
본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
최근 급속히 발전한 딥러닝/CNN 기반 인공 신경망 기술은 영상 분야에 적용할 경우, 인간의 육안으로 구분하기 어려운 시각적 요소를 구분하는 용도로 고려되고 있다. 이러한 기술의 적용 분야는 보안, 의료 영상, 비파괴 검사 등 다양한 분야로 확대될 가능성이 기대되고 있다.
예를 들어 의료 영상 분야에서, 암 조직 중 생검(biopsy) 상태에서 즉시 암으로 판정되지 않고, 병리학적(pathology) 관점에서 추적 모니터링된 이후에 비로소 암인지 여부가 판정되는 경우가 있다. 인간의 육안으로는 의료 영상에서 해당 세포가 암인지 여부를 확진하기 어려우나, 인공 신경망 기술을 적용할 경우 인간의 육안으로 관찰하는 것보다 더 정확한 예측 결과를 얻을 수 있을 것이라는 기대가 있다.
그러나 인공 신경망 기술이 일부 연구에서 인간의 육안보다 우수한 예측/분류/판독(진단) 결과를 얻을 수 있다 해도, 인공 신경망 기술의 적용으로 인하여 얻어진 예측/분류/판독(진단) 결과에 대한 설명적 정보가 부족하여 의료 현장에서 이를 수용하고 채택하기는 어려운 점이 문제로 대두된다.
본 발명은 인공 신경망 기술을 적용하여 인간의 육안으로 분류하기 어려운 영상 내 객체를 분류/예측하는 성능을 향상시키고자 하는 의도에서 도출되었다. 또한 인공 신경망 기술의 분류/예측 성능을 향상시키기 위해서라도 인공 신경망 기술의 분류/예측 과정에 기반한 최종 판독 결과의 생성까지 도달하는 내부 동작에 대한 설명적 정보를 얻는 것은 대단히 중요하다.
본 발명은 인공 신경망에 기반한 복수의 의료 영상 판독 알고리듬들의 각각의 성능 지표 및 임상적 유용성을 정량화된 지표로서 제시할 수 있다. 이로 인하여 인공 신경망의 분류/예측 과정에 기반한 최종 판독 결과가 도출되는 과정에 대한 설명적 정보를 제공할 수 있으며, 인공 신경망의 분류/예측/판독(지원) 결과를 인간 사용자가 채택할 것인지에 대한 레퍼런스를 제공할 수 있다.
종래 기술의 인공 신경망을 의료 영상의 판독/진단에 적용하였을 때, 주어진 임무(task)에만 과적합(overfit)되어 통계적 정확도는 높으나, 몇몇 임상적으로 중요한 진단 포인트에서는 정확도가 낮은 경우가 있다. 적지 않은 종래 기술의 인공 신경망이 이러한 상황에 놓여 있으며, 이로 인하여 임상의들이 인공 신경망이 적용된 의료 영상의 판독/진단 결과에 대하여 신뢰하기 어려운 상황이 빈번하게 발생한다. 이러한 위험성은 널리 알려진 인공 신경망인 IBM의 Watson 솔루션이, 학습된 데이터에 포함된 환자의 인종 정보 등에 과적합되어 새로운 인종의 환자들의 데이터셋에서는 정확도가 현저하게 저하되는 등의 문제점을 노출하고 있다는 데에서 더욱 명백하다.
따라서 인공 신경망의 우수한 판독/진단 잠재능력을 최대한 활용하되, 임상의들이 이러한 판독/진단 결과를 수용할 지 여부에 대한 정량화된 지표를 제공하고, 임상의들이 이러한 정량화된 지표를 생성하는 데에 직접적인 피드백을 제공할 수 있는 경로를 확보하는 것은 대단히 중요하다.
이하에서는, 본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치 및 방법을 도 1 내지 도 2를 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치(시스템)을 포함하는 워크플로우 전체를 도시하는 개념도이다. 도 1의 일부 시퀀스(S110, S120, S130)는 종래 기술에 속할 수 있으나 본 발명의 구성의 일부로서 본 발명에 통합된다.
도 2는 본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치(시스템)에 의하여 실행되는 의료 영상 판독 지원 방법을 도시하는 동작 흐름도이다.
도 1을 참조하면, 영상 진단 장치(모달리티)에서 획득된(S110) 의료 영상이 의료진의 판독용 컴퓨팅 단말로 전달되고, 본 발명의 컴퓨팅 시스템(100)으로 전달된다(S140). 영상 진단 장치는 예를 들어 CT, MRI, 초음파 진단 장치와 같이 인체의 해부학적 구조 또는 인체의 장기(organ) 내의 병변의 흔적을 탐색할 수 있는 모달리티를 의미하며, 특정한 종류의 장치로 한정되지 않는다.
본 발명의 의료 영상 판독 지원 장치는 컴퓨팅 시스템(100)을 포함하여 구성되며, 본 발명의 의료 영상 판독 지원 방법은 컴퓨팅 시스템(100)에 의하여 실행된다. 컴퓨팅 시스템(100)은 메모리 또는 데이터베이스를 포함하고, 프로세서를 포함한다. 본 발명의 의료 영상 판독 지원 방법은 메모리 또는 데이터베이스에 저장된 프로그램 인스트럭션이 프로세서에 의하여 호출되고 프로세서에 로드된 후, 프로세서에 의하여 실행되는 형태로 구현될 수 있다.
도 1과 도 2를 참조하면, 컴퓨팅 시스템(100)에서는 입력된 의료 영상을 분석하여(S210) 의료 영상의 판독에 적용할 복수의 판독 적용 알고리듬을 선택한다(S220).
컴퓨팅 시스템(100)은 복수의 판독 적용 알고리듬 각각에 대해서 평가 스코어로서 I-Score(170)를 생성한다(S160, S240). 컴퓨팅 시스템(100)은 하나의 검사(exam) 또는 하나 이상의 영상에 대한 다수의 추천 판독 결과를 한꺼번에 생성할 수 있다.
컴퓨팅 시스템(100)은 메모리 또는 데이터베이스에 의료 영상에 대한 판독 기능을 가지는 복수의 의료 영상 판독 알고리듬들을 저장할 수 있다. 컴퓨팅 시스템(100)의 프로세서는 의료 영상을 분석하여(S210) 의료 영상에 대한 판독 요건을 추출한다. 프로세서는 판독 요건에 기반하여 복수의 의료 영상 판독 알고리듬들 중 의료 영상에 대한 판독을 실행할 복수의 판독 적용 알고리듬들을 선택한다(S220).
복수의 판독 적용 알고리듬들 각각이 의료 영상에 적용되어 의료 영상에 대한 복수의 판독 결과들이 생성되면, 컴퓨팅 시스템(100)의 프로세서는 의료 영상에 대한 복수의 판독 결과들을 복수의 판독 적용 알고리듬들 각각과 연계하여 컴퓨팅 시스템(100) 내의 메모리 또는 데이터베이스에 저장한다. 이때 설명의 편의상 예를 들어 복수의 판독 적용 알고리듬들이 제1 판독 알고리듬과 제2 판독 알고리듬을 포함하는 경우, 제1 판독 알고리듬에 기반한 제1 판독 결과 및 제2 판독 알고리듬에 기반한 제2 판독 결과가 도출된다고 가정한다.
컴퓨팅 시스템(100)의 프로세서는 복수의 판독 적용 알고리듬 각각에 대해서 평가 스코어로서 I-Score(170)를 생성한다(S160, S240).
종래 기술의 의료진의 판독용 컴퓨팅 단말에서는 인공지능 알고리듬이 적용된(S120) 결과를 이용하여 판독 결과가 생성된다(S130). 이때 판독 결과를 생성하는 과정(S130)에서는 의료진의 코멘트가 추가될 수 있다.
본 발명이 적용된 의료 영상 판독 지원 장치/시스템에서는 평가 스코어인 I-Score(170)가 컴퓨팅 시스템(100)으로부터 의료진의 판독용 컴퓨팅 단말로 전달된다(S180). 판독 결과(S130)의 생성에 평가 스코어인 I-Score(170)가 반영되어 최종 판독문이 생성될 수 있다. 본 발명의 일 실시예에 따라서는, 컴퓨팅 시스템(100)은 평가 스코어인 I-Score(170)와 함께 판독문을 생성하여 의료진의 컴퓨팅 시스템으로 전달할(S180) 수 있는데, 이때 컴퓨팅 시스템(100)에서 생성되는 판독문은 평가 스코어인 I-Score(170)가 높은 판독 적용 알고리듬들에 기반한 판독 결과들을 이용하여 작성될 수 있다.
컴퓨팅 시스템(100)은 다수의 추천 판독 결과들을 한꺼번에 표시하고, 사용자의 추가적인 동작 없이 다수의 추천 판독 결과들을 생성하고 이를 확인/표시할 수 있는 사용자 인터페이스를 제공할 수 있다. 컴퓨팅 시스템(100)의 프로세서는 복수의 판독 적용 알고리듬들 각각에 대한 평가 스코어 및 복수의 판독 결과들을 포함하는 디스플레이 정보를 생성하고, 복수의 판독 적용 알고리듬들 중 적어도 하나 이상에 대한 사용자의 선택이 가능한 사용자 메뉴를 제공할 수 있다.
컴퓨팅 시스템(100)은 다수의 추천판독결과 조회 시 하나의 검사(exam) 또는 하나 이상의 영상에 대한 의심 부위 등을 서로 비교하여 표시하거나 판독문을 제시해 줄 수 있는 시스템 또는 인터페이스를 제공한다. 컴퓨팅 시스템(100)의 프로세서는 의료 영상 내의 병변 의심 위치에 대한 제1 판독 결과 및 제2 판독 결과 각각을 비교 가능하도록 표시하고, 의료 영상 내의 상기 병변 의심 위치에 대한 제1 판독 결과에 기반한 제1 판독문, 및 제2 판독 결과에 기반한 제2 판독문을 생성할 수 있다. 즉, 동일한 의료 영상에 대해서도 서로 다른 판독 적용 알고리듬이 적용되어 서로 다른 판독 결과가 도출되었을 때, 이들 복수의 판독 결과들을 서로 비교할 수 있도록 디스플레이하며, 사용자는 제1 판독 결과 또는 제2 판독 결과 중 어느 하나를 선택하여 최종 판독 결과로 생성할 수 있다. 이때 제1 판독 결과 또는 제2 판독 결과가 제시한 병변 의심 위치 각각에 대하여 사용자가 판독 결과를 수용할 지 여부를 결정할 수 있는 사용자 인터페이스가 제공되고, 병변 진단 결과마다 제1 판독 결과와 제2 판독 결과 간의 정확도가 비교될 수 있다. 복수의 자동 판독 결과들의 각 병변 진단 결과에 대한 사용자의 최종 수용 여부는 피드백 정보로서 컴퓨팅 시스템(100)에 다시 전달되어 평가 스코어를 구성하는 하위 정보로서 활용될 수 있다.
컴퓨팅 시스템(100)은 다수의 추천판독결과에 해당하는 근거 영상이나 판독문 등을 서로 비교하여 표시해주는 사용자 인터페이스를 제공할 수 있다. 컴퓨팅 시스템(100)의 프로세서는 제1 판독 결과와 연관되는 의료 영상 내의 병변 의심 위치들에 관한 정보를 포함하는 제1 판독 근거 영상 정보 및 제2 판독 결과와 연관되는 의료 영상 내의 병변 의심 위치들에 관한 정보를 포함하는 제2 판독 근거 영상 정보를 생성하고, 상기 제1 판독 근거 영상 정보 및 상기 제1 판독 결과에 기반한 제1 판독문, 및 상기 제2 판독 근거 영상 정보 및 상기 제2 판독 결과에 기반한 제2 판독문을 생성할 수 있다. 동일한 의료 영상 내의 병변 의심 위치에 대하여 제1 판독 결과와 제2 판독 결과가 서로 다를 때, 사용자는 제1 판독 결과의 제1 판독 근거 영상 정보와 제2 판독 결과의 제2 판독 근거 영상 정보를 호출하여 상호 비교할 수 있다. 근거가 되는 의료 영상의 원본은 동일하겠지만 각 판독 적용 알고리듬이 병변으로 진단한 영역은 서로 다른 경우이므로 이 경우 판독 적용 알고리듬이 의료 영상의 원본에서 병변 진단의 근거로 참고한 영역은 서로 다를 수 있다. 예를 들어 판독 적용 알고리듬들이 객체 검출(object detection)과 같은 기능을 수행한다면 판독 근거 영상 정보는 특정 객체를 포함하는 박스 또는 특정 객체에 대한 외곽선 정보로서 나타내어질 수 있다. 또한 판독 적용 알고리듬들이 어느 정도의 확률로서 해당 객체를 검출하였는지에 대한 정보가 판독 근거 영상 정보에 포함되어 판독 근거 영상 정보로서 생성될 수 있다.
컴퓨팅 시스템(100)은 내부적으로 계산한 평가 스코어인 I-Score(170)를 이용하여 추천 판독 결과를 선택할 수 있고, 평가 스코어가 함께 표시되므로 판독의(radiologist)는 해당 추천판독(예를 들어 판독의의 판독 결과와 일치하는 추천 판독 알고리듬)에 대한 판독신뢰도 등을 평가/확인할 수 있는 사용자 인터페이스를 제공할 수 있다. 컴퓨팅 시스템(100)의 프로세서는 평가 스코어에 기반하여 복수의 판독 결과들 중 제1 판독 결과와 제2 판독 결과를 추천 판독 결과로서 선택할 수 있다. 프로세서는 제1 판독 알고리듬에 대한 평가 스코어, 제1 판독 결과, 제2 판독 알고리듬에 대한 평가 스코어, 및 제2 판독 결과를 포함하는 디스플레이 정보를 생성할 수 있다.
컴퓨팅 시스템(100)은 판독 알고리듬의 신뢰도 점수, 판독 알고리듬의 정확도 점수, 및 피드백을 제공한 판독의의 평가 신뢰도 점수에 기반하여 평가 스코어를 생성할 수 있다. 프로세서는 복수의 판독 결과들 및 복수의 판독 결과들에 대한 사용자의 피드백에 기반하여 복수의 의료 영상 판독 알고리듬들 각각에 대한 신뢰도 점수, 복수의 의료 영상 판독 알고리듬들 각각에 대한 정확도 점수, 및 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 상기 사용자의 평가 신뢰도 점수를 하위 평가 항목으로 생성하고, 상기 하위 평가 항목에 기반하여 상기 평가 스코어를 생성할 수 있다.
예를 들어 평가 스코어의 생성 기준은 다음과 같이 구현될 수 있다.
[수학식 1]
I-Score = a x (AI 알고리듬의 신뢰도 점수) + b x (AI 알고리듬의 정확도 점수) + c x (AI 알고리듬에 대한 판독의의 평가 신뢰도 점수)
알고리듬의 신뢰도 점수는 판독의가 각 알고리듬에 대하여 부여할 수 있다. 즉, 제1 판독 결과와 제2 판독 결과 중 제1 판독 결과가 더 정확하다고 판단되면 제1 판독 결과에 대하여 높은 신뢰도 점수가 부여될 수 있다.
알고리듬의 정확도 점수는 별도의 부여 과정 없이, 판독의가 각 알고리듬의 판독 결과를 수용하는 정도에 의하여 결정될 수 있다. 예를 들어 제1 판독 결과가 10개의 병변 의심 위치를 제시하였는데 판독의가 9개의 병변 의심 위치를 승인하였다면 정확도 점수는 90/100 으로 주어질 수 있다.
알고리듬의 정확도 점수가 부여되는 또 다른 실시예로는, 생검(biopsy) 등에 의하여 정확한 결과가 드러나는 경우를 가정할 수 있다. 이 때에는 생검에 의한 정확한 결과와 비교하여 각 판독 알고리듬의 판독 결과의 정확도가 드러날 수 있다. 사용자가 생검에 의하여 정확한 결과를 컴퓨팅 시스템(100)에 입력하면, 컴퓨팅 시스템(100)은 각 판독 결과를 생검에 의한 정확한 결과(레퍼런스)와 비교하여 각 판독 알고리듬의 정확도 점수를 산출할 수 있다.
판독의의 평가 신뢰도 점수는, 판독의의 평가에 대한 신뢰도 점수로서 제공될 수 있다. 즉, 판독의가 해당 임상 분야에서 오랜 경력을 쌓은 전문가이면 그만큼 높은 평가 신뢰도 점수가 부여된다. 판독의의 경력연차, 판독의의 전공, 판독의의 전공의 여부, 해당 임상 분야에서의 경험 등이 고려되어 평가 신뢰도 점수가 산출될 수 있다.
컴퓨팅 시스템(100)은 내부의 인공지능 알고리듬에 의해 평가 스코어 산출 기준을 지속적으로 학습하며 내부 정해진 일정에 따라 업데이트할 수 있다. 프로세서는 하위 평가 항목인 복수의 의료 영상 판독 알고리듬들 각각에 대한 신뢰도 점수, 복수의 의료 영상 판독 알고리듬들 각각에 대한 정확도 점수, 및 복수의 의료 영상 판독 알고리듬들 각각에 대한 상기 사용자의 평가 신뢰도 점수 각각에 대하여 가중치를 부여하고, 복수의 판독 결과들 및 복수의 판독 결과들에 대한 사용자의 피드백에 기반하여 목표 요건에 따라 하위 평가 항목 각각의 가중치가 조정되도록 상기 하위 평가 항목 각각의 가중치를 업데이트할 수 있다.
목표 요건의 예시로는 각 알고리듬들에 대한 사용자의 신뢰도와 정확도의 상관관계가 일치하는 방향으로 조정하는 경우를 들 수 있다. 예를 들어, 동일한 정확도 점수를 가지는 제1 판독 알고리듬과 제2 판독 알고리듬에 대한 판독의의 신뢰도 점수가 상이할 수가 있다. 이때 판독의의 평가의 일반적인 오차를 제거한 후에도 일정한 경향으로 신뢰도 점수가 상이한 경우 제1 판독 알고리듬과 제2 판독 알고리듬에 대한 판독의들의 신뢰도는 상이한 것으로 인정할 수 있다. 예를 들어 제1 판독 알고리듬과 제2 판독 알고리듬이 전체 10개의 병변 의심 위치 중 9개의 위치에서 정확한 판독 결과를 생성하여 정확도 점수는 90/100 이 되었지만 중증도의 병변을 제1 판독 알고리듬만 정확하게 판독하고 제2 판독 알고리듬은 정확히 판독하지 못하였다면 판독의의 신뢰도가 상이한 이유가 설명될 것이다. 정확도와 신뢰도의 상관관계가 일치하도록 조정하는 수단으로는 각 하위 항목 별 가중치를 조정하거나, 정확도를 판정하는 대상 병변의 선별 기준을 세분화하는 수단이 있을 수 있다. 이 경우 진단된 병변의 경도/중증도, 병변의 의료 영상의 중심으로부터의 위치, 병변의 식별 난이도(뼈, 장기, 혈관이 복잡하게 혼재되어 있는 영역에서는 난이도가 높음) 등의 기준으로 병변을 구분하고, 각 영역에서 병변의 진단 정확도에 다른 가중치를 부여하는 방법이 있을 수 있다.
컴퓨팅 시스템(100)은 영상에 따라 적용 가능한 다수의 인공지능 알고리듬을 내부적으로 자동으로 할당할 수 있는 기능을 포함할 수 있다. 컴퓨팅 시스템(100)은 영상에 적용 가능한 인공지능 알고리듬을 판단하기 위해 추천 판독시스템 내부에 별도 영상 분류 인공지능 알고리듬에 의해 하나의 검사 또는 하나 이상의 영상을 분류한 후 다수의 인공지능 알고리듬을 적용할 수 있다.
프로세서는 의료 영상에 대한 영상 분할 결과, 의료 영상에 대한 임상적 요구사항, 및 의료 영상의 피검자의 정보에 기반하여 의료 영상에 대한 상기 판독 요건을 추출할 수 있다. 프로세서는 판독 요건에 대한 적합도, 또는 복수의 의료 영상 판독 알고리듬들 각각에 대한 평가 스코어 중 적어도 하나 이상에 기반하여 의료 영상에 대한 판독을 실행할 복수의 판독 적용 알고리듬들을 선택할 수 있다. 즉, 임상의(clinician)로부터 판독의(radiologist)에 전달되는 의료 영상 획득의 요청, 요청에 수반되는 의심 질환의 내용, 임상의가 속한 부서, 의료 영상으로 촬영되는 부위(body part), 장기(organ) 등의 정보가 임상적 요구사항으로서 고려될 수 있다. 또한 각 인공지능 알고리듬이 규정하고 있는 진단의 목적, 진단의 대상에 대한 정보도 판독 적용 알고리듬을 선택할 때 고려되며, 의료 영상의 피검자의 성별, 연령, 질환의 중증도 등도 함께 고려될 수 있다.
컴퓨팅 시스템(100)은 영상 분석 기능과 평가 스코어 생성 기능을 연계, 같은 부위에 대한 같은 진단 목적(판독 요건)이라 하더라도 이를 세부적으로 세분화하여 추천 항목을 세분화할 수 있다. 예를 들어 특정 장기의 중심부의 진단에 강한 알고리듬, 특정 장기의 주변부의 진단에 강한 알고리듬, 뼈, 장기, 및 혈관이 복잡하게 혼재된 영역에 강한 알고리듬 등을 세분화하여 추천 가능한 시스템을 제공할 수 있다. 이러한 기능은 별도의 AI 알고리듬을 통하여 구현될 수도 있다.
프로세서는 의료 영상에 대한 영상 분할 결과, 및 의료 영상에 대한 영상 처리 결과에 기반하여 판독 요건 별로 장기(organ)의 종류, 병변의 위치, 장기와 병변 간의 상대적 위치 정보를 포함하는 판독 요건 별 세부 평가 항목을 생성하고, 판독 요건 별 세부 평가 항목 각각에 대하여 복수의 의료 영상 판독 알고리듬들 각각에 대한 평가 스코어를 생성할 수 있다.
컴퓨팅 시스템(100)은 영상 분석 결과를 기반으로 평가 스코어를 생성하는 기준 항목을 세분화할 수 있다. 예를 들어 전반적인 정확도가 높으면서도 신뢰도가 낮은 알고리듬은 전반적인 정확도는 높지만 특정 항목에 대한 정확도가 낮을 수 있다. 이 때에는 컴퓨팅 시스템(100)은 신뢰도에 주요한 영향을 미치는 판독 항목을 구체적으로 선별할 수도 있는데, 영상 분석 결과를 이용하여 평가 스코어를 생성하는 기준 항목을 고도화하고 세분화할 수 있다.
프로세서는 복수의 판독 결과들 및 복수의 판독 결과들에 대한 사용자의 피드백에 기반하여 복수의 의료 영상 판독 알고리듬들 각각에 대한 신뢰도 점수, 복수의 의료 영상 판독 알고리듬들 각각에 대한 정확도 점수, 및 복수의 의료 영상 판독 알고리듬들 각각에 대한 사용자의 평가 신뢰도 점수를 하위 평가 항목으로 생성할 수 있다. 프로세서는 판독 요건 별 세부 평가 항목과 하위 평가 항목 각각 간의 연관성에 기반하여 복수의 판독 적용 알고리듬들을 선택할 수 있다.
본 발명의 일 실시예에 따라서는 복수의 의료 영상 판독 알고리듬들이 인공 신경망을 이용한 것일 수 있다. 이때 평가 스코어 및 하위 평가 항목들을 각 판독 알고리듬에 대한 설명적 정보(descriptive information)로서 생성하고, 컴퓨팅 시스템(100)이 평가 스코어 및 하위 평가 항목들을 판독 알고리듬들의 생성 주체에게 피드백하여 판독 알고리듬의 개선에 이용되도록 정보를 제공할 수도 있다. 이 때 인공 신경망이 최근 연구되고 있는 관련성 스코어(relevance score) 및 신뢰도 레벨(confidence level) 등을 이용하는 인공 신경망인 경우, 평가 스코어 및 하위 평가 항목들을 인공 신경망의 relevance score 또는 confidence level 등과 연계하여 통계 분석이 이루어져 판독 알고리듬의 개선에 평가 스코어 및 하위 평가 항목들이 영향을 미칠 수 있다.
본 발명의 일 실시예에서는 적용 가능한 알고리듬이 컴퓨팅 시스템(100)에 의하여 선택된 후, 선택된 판독 적용 알고리듬들에 대한 정보가 의료진의 판독용 컴퓨팅 단말로 전달되고(S145), 의료진의 판독용 컴퓨팅 단말에서 의료 영상에 대한 인공지능 알고리듬(판독 적용 알고리듬들)이 실제로 적용될 수 있다(S120).
이때 복수의 판독 적용 알고리듬들이 실제로 적용되어 도출된 복수의 판독 결과들은 컴퓨팅 시스템(100)으로 전달되고(S150), 컴퓨팅 시스템(100)은 복수의 판독 결과들 각각을 복수의 판독 적용 알고리듬들 각각과 연계되어 컴퓨팅 시스템(100) 내의 메모리 또는 데이터베이스에 저장할 수 있다. 이때 의료진의 판독용 컴퓨팅 단말에서 의료진이 복수의 판독 결과들 또는 복수의 판독 적용 알고리듬들에 대하여 입력한 피드백 지표를 컴퓨팅 시스템으로 함께 피드백할 수 있다(S150). 피드백 지표는 평가 대상 각각, 즉, 복수의 판독 결과들 또는 복수의 판독 적용 알고리듬들 각각과 연계되어 컴퓨팅 시스템(100) 내의 메모리 또는 데이터베이스에 저장할 수 있다.
이러한 본 발명의 일 실시예는 종래 기술의 의료 영상 판독 시퀀스(S110, S120, S130)를 최대한 변형하지 않으면서 본 발명에 의하여 얻을 수 있는 이점을 제공하고자 설계된 실시예이다.
본 발명의 또 다른 일 실시예에서는 컴퓨팅 시스템(100)이 복수의 판독 적용 알고리듬들을 선택하고, 복수의 판독 적용 알고리듬들 각각을 의료 영상에 적용하여 복수의 판독 결과들을 생성하는 과정을 스스로 실행할 수 있다. 이 경우 컴퓨팅 시스템(100)은 선택된 판독 적용 알고리듬들에 대한 정보뿐만 아니라 판독 적용 알고리듬들에 기반한 복수의 판독 결과들을 의료진의 판독용 컴퓨팅 단말로 전달하고(S145), 의료진의 판독용 컴퓨팅 단말에서는 의료 영상에 대한 인공지능 알고리듬(판독 적용 알고리듬들)이 적용된 결과가 디스플레이될 수 있다(S120).
이때의 본 발명의 일 실시예는 의료진의 판독용 컴퓨팅 단말의 컴퓨팅 파워가 크지 않은 경우, 예를 들어 모바일 디바이스이거나 구형의 컴퓨팅 시스템일 때에도 본 발명에 의하여 얻을 수 있는 이점을 제공할 수 있다. 이때의 본 발명의 일 실시예는 의료 영상에 대한 인공지능 알고리듬을 적용하는 주체가 컴퓨팅 시스템(100)이고, 컴퓨팅 시스템(100)은 일종의 서버(server)로서 기능하며, 의료진의 판독용 컴퓨팅 단말은 씬 클라이언트(thin-client) 컨셉으로 동작할 수도 있다. 이 때의 본 발명의 일 실시예에서는 의료진의 판독용 컴퓨팅 단말에서 의료진이 복수의 판독 결과들 또는 복수의 판독 적용 알고리듬들에 대하여 입력한 피드백 지표를 컴퓨팅 시스템으로 피드백할 수 있다(S150). 피드백 지표는 평가 대상 각각, 즉, 복수의 판독 결과들 또는 복수의 판독 적용 알고리듬들 각각과 연계되어 컴퓨팅 시스템(100) 내의 메모리 또는 데이터베이스에 저장할 수 있다.
이상에서 설명한 바와 같이, 본 발명의 일 실시예에서 선택된 알고리듬이 적용되는 단계(S230)는 임상의의 판독 시스템에서 실행되어(S120) 복수의 판독 결과들이 컴퓨팅 시스템(100)으로 전달될 수도 있고(S150), 본 발명의 다른 일 실시예에서는 선택된 알고리듬이 적용되는 단계(S230)가 컴퓨팅 시스템(100) 내에서 전적으로 실행된 후, 임상의의 판독 시스템에서 그 결과가 디스플레이될 수도 있다(S145, S120).
본 발명의 일 실시예에 따른 의료 영상의 판독을 지원하는 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 본 발명의 실시예와 도면에 소개된 길이, 높이, 크기, 폭 등은 이해를 돕기 위해 과장된 것일 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
100: 추천 판독을 지원하는 컴퓨팅 시스템
170: 평가 스코어(I-Score)
170: 평가 스코어(I-Score)
Claims (17)
- 의료 영상에 대한 판독을 지원하는 판독 지원 장치로서, 상기 판독 지원 장치는 컴퓨팅 시스템을 포함하며 상기 컴퓨팅 시스템은 프로세서를 포함하고,
상기 컴퓨팅 시스템은 메모리 또는 데이터베이스에 의료 영상에 대한 판독 기능을 가지는 복수의 의료 영상 판독 알고리듬들을 저장하고,
상기 프로세서는
상기 의료 영상을 분석하여 상기 의료 영상에 대한 판독 요건을 추출하고,
상기 판독 요건에 기반하여, 상기 복수의 의료 영상 판독 알고리듬들 중 상기 의료 영상에 대한 판독을 실행할 복수의 판독 적용 알고리듬들을 선택하고, 상기 복수의 판독 적용 알고리듬들은 적어도 제1 판독 알고리듬과 제2 판독 알고리듬을 포함하고,
상기 복수의 판독 적용 알고리듬들 각각이 상기 의료 영상에 적용되어 상기 의료 영상에 대한 복수의 판독 결과들이 생성되면, 상기 의료 영상에 대한 상기 복수의 판독 결과들을 상기 복수의 판독 적용 알고리듬들 각각과 연계하여 상기 컴퓨팅 시스템 내의 상기 메모리 또는 상기 데이터베이스에 저장하고, 상기 복수의 판독 결과들은 적어도 상기 제1 판독 알고리듬에 기반한 제1 판독 결과 및 상기 제2 판독 알고리듬에 기반한 제2 판독 결과를 포함하고,
상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치. - 제1항에 있어서,
상기 프로세서는
상기 복수의 판독 적용 알고리듬들 각각에 대한 평가 스코어 및 상기 복수의 판독 결과들을 포함하는 디스플레이 정보를 생성하고,
상기 복수의 판독 적용 알고리듬들 중 적어도 하나 이상에 대한 사용자의 선택이 가능한 사용자 메뉴를 제공하는 의료 영상 판독 지원 장치. - 제1항에 있어서,
상기 프로세서는
상기 의료 영상 내의 병변 의심 위치에 대한 상기 제1 판독 결과 및 상기 제2 판독 결과 각각을 비교 가능하도록 표시하고,
상기 의료 영상 내의 상기 병변 의심 위치에 대한 상기 제1 판독 결과에 기반한 제1 판독문, 및 상기 제2 판독 결과에 기반한 제2 판독문을 생성하는 의료 영상 판독 지원 장치. - 제1항에 있어서,
상기 프로세서는
상기 제1 판독 결과와 연관되는 상기 의료 영상 내의 병변 의심 위치들에 관한 정보를 포함하는 제1 판독 근거 영상 정보 및 상기 제2 판독 결과와 연관되는 상기 의료 영상 내의 병변 의심 위치들에 관한 정보를 포함하는 제2 판독 근거 영상 정보를 생성하고,
상기 제1 판독 근거 영상 정보 및 상기 제1 판독 결과에 기반한 제1 판독문, 및 상기 제2 판독 근거 영상 정보 및 상기 제2 판독 결과에 기반한 제2 판독문을 생성하는 의료 영상 판독 지원 장치. - 제1항에 있어서,
상기 프로세서는
상기 평가 스코어에 기반하여 상기 복수의 판독 결과들 중 상기 제1 판독 결과와 상기 제2 판독 결과를 추천 판독 결과로서 선택하고,
상기 제1 판독 알고리듬에 대한 평가 스코어, 상기 제1 판독 결과, 상기 제2 판독 알고리듬에 대한 평가 스코어, 및 상기 제2 판독 결과를 포함하는 디스플레이 정보를 생성하는 의료 영상 판독 지원 장치. - 제1항에 있어서,
상기 프로세서는
상기 복수의 판독 결과들 및 상기 복수의 판독 결과들에 대한 사용자의 피드백에 기반하여 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 신뢰도 점수, 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 정확도 점수, 및 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 상기 사용자의 평가 신뢰도 점수를 하위 평가 항목으로 생성하고,
상기 하위 평가 항목에 기반하여 상기 평가 스코어를 생성하는 의료 영상 판독 지원 장치. - 제6항에 있어서,
상기 프로세서는
상기 하위 평가 항목인 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 신뢰도 점수, 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 정확도 점수, 및 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 상기 사용자의 평가 신뢰도 점수 각각에 대하여 가중치를 부여하고,
상기 복수의 판독 결과들 및 상기 복수의 판독 결과들에 대한 사용자의 피드백에 기반하여 목표 요건에 따라 상기 하위 평가 항목 각각의 가중치가 조정되도록 상기 하위 평가 항목 각각의 가중치를 업데이트하는 의료 영상 판독 지원 장치. - 제1항에 있어서,
상기 프로세서는 상기 의료 영상에 대한 영상 분할 결과, 상기 의료 영상에 대한 임상적 요구사항, 및 상기 의료 영상의 피검자의 정보에 기반하여 상기 의료 영상에 대한 상기 판독 요건을 추출하고,
상기 프로세서는 상기 판독 요건에 대한 적합도, 또는 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 평가 스코어 중 적어도 하나 이상에 기반하여 상기 의료 영상에 대한 판독을 실행할 상기 복수의 판독 적용 알고리듬들을 선택하는 의료 영상 판독 지원 장치. - 제1항에 있어서,
상기 프로세서는 상기 의료 영상에 대한 영상 분할 결과, 및 상기 의료 영상에 대한 영상 처리 결과에 기반하여 상기 판독 요건 별로 장기(organ)의 종류, 병변의 위치, 상기 장기와 상기 병변 간의 상대적 위치 정보를 포함하는 판독 요건 별 세부 평가 항목을 생성하고, 상기 판독 요건 별 세부 평가 항목 각각에 대하여 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치. - 제9항에 있어서,
상기 프로세서는 상기 복수의 판독 결과들 및 상기 복수의 판독 결과들에 대한 사용자의 피드백에 기반하여 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 신뢰도 점수, 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 정확도 점수, 및 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 상기 사용자의 평가 신뢰도 점수를 하위 평가 항목으로 생성하고,
상기 프로세서는 상기 판독 요건 별 세부 평가 항목과 상기 하위 평가 항목 각각 간의 연관성에 기반하여 상기 복수의 판독 적용 알고리듬들을 선택하는 의료 영상 판독 지원 장치. - 제1항에 있어서,
상기 복수의 의료 영상 판독 알고리듬들은 인공 신경망을 이용하는 인공 지능 알고리듬들이고,
상기 프로세서는 상기 판독 요건 각각에 따른 상기 평가 스코어를 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 설명적 정보(descriptive information)로서 생성하는 의료 영상 판독 지원 장치. - 의료 영상에 대한 판독을 지원하는 컴퓨팅 시스템 내의 프로세서에 의하여 실행되며, 상기 프로세서에 로드되는 프로그램 인스트럭션에 기반하여 실행되는 의료 영상 판독 지원 방법으로서,
의료 영상을 입력받는 단계;
상기 의료 영상을 분석하여 상기 의료 영상에 대한 판독 요건을 추출하는 단계;
상기 판독 요건에 기반하여, 상기 컴퓨팅 시스템 내의 메모리 또는 데이터베이스에 저장되며 의료 영상에 대한 판독 기능을 가지는 복수의 의료 영상 판독 알고리듬들 중 상기 의료 영상에 대한 판독을 실행할 복수의 판독 적용 알고리듬들을 - 상기 복수의 판독 적용 알고리듬들은 적어도 제1 판독 알고리듬과 제2 판독 알고리듬을 포함함 - 선택하는 단계;
상기 복수의 판독 적용 알고리듬들 각각이 상기 의료 영상에 적용되어 상기 의료 영상에 대한 복수의 판독 결과들이 - 상기 복수의 판독 결과들은 적어도 상기 제1 판독 알고리듬에 기반한 제1 판독 결과 및 상기 제2 판독 알고리듬에 기반한 제2 판독 결과를 포함함 - 생성되면, 상기 의료 영상에 대한 상기 복수의 판독 결과들을 상기 복수의 판독 적용 알고리듬들 각각과 연계하여 상기 컴퓨팅 시스템 내의 상기 메모리 또는 상기 데이터베이스에 저장하는 단계; 및
상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 평가 스코어를 생성하는 단계;
를 포함하는 의료 영상 판독 지원 방법. - 제12항에 있어서,
상기 복수의 판독 적용 알고리듬들 각각에 대한 평가 스코어 및 상기 복수의 판독 결과들을 포함하는 디스플레이 정보를 생성하는 단계; 및
상기 복수의 판독 적용 알고리듬들 중 적어도 하나 이상에 대한 사용자의 선택이 가능한 사용자 메뉴를 제공하는 단계;
를 더 포함하는 의료 영상 판독 지원 방법. - 제12항에 있어서,
상기 의료 영상 내의 병변 의심 위치에 대한 상기 제1 판독 결과 및 상기 제2 판독 결과 각각을 비교 가능하도록 표시하는 디스플레이 정보를 생성하는 단계; 및
상기 의료 영상 내의 상기 병변 의심 위치에 대한 상기 제1 판독 결과에 기반한 제1 판독문, 및 상기 제2 판독 결과에 기반한 제2 판독문을 생성하는 단계;
를 더 포함하는 의료 영상 판독 지원 방법. - 제12항에 있어서,
상기 제1 판독 결과와 연관되는 상기 의료 영상 내의 병변 의심 위치들에 관한 정보를 포함하는 제1 판독 근거 영상 정보 및 상기 제2 판독 결과와 연관되는 상기 의료 영상 내의 병변 의심 위치들에 관한 정보를 포함하는 제2 판독 근거 영상 정보를 생성하는 단계; 및
상기 제1 판독 근거 영상 정보 및 상기 제1 판독 결과에 기반한 제1 판독문, 및 상기 제2 판독 근거 영상 정보 및 상기 제2 판독 결과에 기반한 제2 판독문을 생성하는 단계;
를 더 포함하는 의료 영상 판독 지원 방법. - 제12항에 있어서,
상기 평가 스코어에 기반하여 상기 복수의 판독 결과들 중 상기 제1 판독 결과와 상기 제2 판독 결과를 추천 판독 결과로서 선택하는 단계; 및
상기 제1 판독 알고리듬에 대한 평가 스코어, 상기 제1 판독 결과, 상기 제2 판독 알고리듬에 대한 평가 스코어, 및 상기 제2 판독 결과를 포함하는 디스플레이 정보를 생성하는 단계;
를 더 포함하는 의료 영상 판독 지원 방법. - 제12항에 있어서,
상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 평가 스코어를 생성하는 단계는,
상기 복수의 판독 결과들 및 상기 복수의 판독 결과들에 대한 사용자의 피드백에 기반하여 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 신뢰도 점수, 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 정확도 점수, 및 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 상기 사용자의 평가 신뢰도 점수를 하위 평가 항목으로 생성하는 단계; 및
상기 하위 평가 항목에 기반하여 상기 평가 스코어를 생성하는 단계;
를 포함하는 의료 영상 판독 지원 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180167136A KR102289277B1 (ko) | 2018-12-21 | 2018-12-21 | 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법 |
| US16/714,141 US11107215B2 (en) | 2018-12-21 | 2019-12-13 | Medical image diagnosis assistant apparatus and method for generating evaluation scores for plurality of medical image diagnosis algorithms |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180167136A KR102289277B1 (ko) | 2018-12-21 | 2018-12-21 | 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200077852A true KR20200077852A (ko) | 2020-07-01 |
| KR102289277B1 KR102289277B1 (ko) | 2021-08-13 |
Family
ID=71097727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180167136A KR102289277B1 (ko) | 2018-12-21 | 2018-12-21 | 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11107215B2 (ko) |
| KR (1) | KR102289277B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220039881A (ko) * | 2020-09-21 | 2022-03-30 | 연세대학교 산학협력단 | 전문가의 진단 능력 평가 방법, 인공지능 기반의 진단 보조 방법 및 이를 이용한 디바이스 |
| US11657921B2 (en) | 2019-09-18 | 2023-05-23 | Tempus Labs, Inc. | Artificial intelligence based cardiac event predictor systems and methods |
| US11869668B2 (en) * | 2021-05-28 | 2024-01-09 | Tempus Labs, Inc. | Artificial intelligence based cardiac event predictor systems and methods |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7203000B2 (ja) * | 2019-11-12 | 2023-01-12 | Hoya株式会社 | プログラム、情報処理方法及び情報処理装置 |
| US11911200B1 (en) * | 2020-08-25 | 2024-02-27 | Amazon Technologies, Inc. | Contextual image cropping and report generation |
| CN112488493B (zh) * | 2020-11-27 | 2023-06-23 | 西安电子科技大学 | 融合位置信息的医学影像医师病灶识别能力评估方法、***及计算机可读介质 |
| CN112686891B (zh) * | 2021-03-09 | 2022-05-13 | 数坤(北京)网络科技股份有限公司 | 一种影像处理的方法、装置及计算机可读介质 |
| US12004891B1 (en) | 2021-03-30 | 2024-06-11 | Amazon Technologies, Inc. | Methods and systems for detection of errors in medical reports |
| US20220335254A1 (en) * | 2021-04-16 | 2022-10-20 | Baker Hughes Holdings Llc | Computer vision inferencing for non-destructive testing |
| EP4356837A1 (en) * | 2021-06-17 | 2024-04-24 | FUJIFILM Corporation | Medical image diagnosis system, medical image diagnosis system evaluation method, and program |
| CN116091963B (zh) * | 2022-12-22 | 2024-05-17 | 广州奥咨达医疗器械技术股份有限公司 | 临床试验机构质量评估方法、装置、电子设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140042531A (ko) * | 2012-09-28 | 2014-04-07 | 삼성전자주식회사 | 카테고리별 진단 모델을 이용한 병변 진단 장치 및 방법 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4057215A1 (en) * | 2013-10-22 | 2022-09-14 | Eyenuk, Inc. | Systems and methods for automated analysis of retinal images |
| RU2687760C2 (ru) * | 2014-05-12 | 2019-05-16 | Конинклейке Филипс Н.В. | Способ и система компьютерной стратификации пациентов на основе сложности случаев заболеваний |
| US9846938B2 (en) * | 2015-06-01 | 2017-12-19 | Virtual Radiologic Corporation | Medical evaluation machine learning workflows and processes |
| US20160364527A1 (en) * | 2015-06-12 | 2016-12-15 | Merge Healthcare Incorporated | Methods and Systems for Automatically Analyzing Clinical Images and Determining when Additional Imaging May Aid a Diagnosis |
| US9536054B1 (en) * | 2016-01-07 | 2017-01-03 | ClearView Diagnostics Inc. | Method and means of CAD system personalization to provide a confidence level indicator for CAD system recommendations |
| US9779492B1 (en) * | 2016-03-15 | 2017-10-03 | International Business Machines Corporation | Retinal image quality assessment, error identification and automatic quality correction |
| EP3432784B1 (en) | 2016-03-24 | 2020-09-23 | The Regents of The University of California | Deep-learning-based cancer classification using a hierarchical classification framework |
| US10210613B2 (en) | 2016-05-12 | 2019-02-19 | Siemens Healthcare Gmbh | Multiple landmark detection in medical images based on hierarchical feature learning and end-to-end training |
| EP3488381B1 (en) | 2016-07-21 | 2024-02-28 | Siemens Healthineers AG | Method and system for artificial intelligence based medical image segmentation |
| EP3497603A4 (en) | 2016-08-11 | 2020-04-08 | Koios Medical, Inc. | METHOD AND MEANS FOR PERSONALIZING A CAD SYSTEM FOR PROVIDING A CONFIDENCE LEVEL INDICATOR FOR CAD SYSTEM RECOMMENDATIONS |
| GB2554641A (en) | 2016-09-29 | 2018-04-11 | King S College London | Image processing |
| KR101818074B1 (ko) | 2017-07-20 | 2018-01-12 | (주)제이엘케이인스펙션 | 인공지능 기반 의료용 자동 진단 보조 방법 및 그 시스템 |
| KR101811028B1 (ko) | 2017-08-25 | 2017-12-20 | (주)제이엘케이인스펙션 | 인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템 |
| US10521705B2 (en) * | 2017-11-14 | 2019-12-31 | Adobe Inc. | Automatically selecting images using multicontext aware ratings |
| US20190295440A1 (en) * | 2018-03-23 | 2019-09-26 | Nutrino Health Ltd. | Systems and methods for food analysis, personalized recommendations and health management |
| KR101929752B1 (ko) | 2018-05-30 | 2018-12-17 | (주)제이엘케이인스펙션 | 인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템 |
-
2018
- 2018-12-21 KR KR1020180167136A patent/KR102289277B1/ko active IP Right Grant
-
2019
- 2019-12-13 US US16/714,141 patent/US11107215B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140042531A (ko) * | 2012-09-28 | 2014-04-07 | 삼성전자주식회사 | 카테고리별 진단 모델을 이용한 병변 진단 장치 및 방법 |
Non-Patent Citations (2)
| Title |
|---|
| 국제공개특허 WO 2018/015414 "METHOD AND SYSTEM FOR ARTIFICIAL INTELLIGENCE BASED MEDICAL IMAGE SEGMENTATION" (2018년 1월 25일) |
| 한국산업기술평가관리원, PD ISSUE REPORT 제18-3권 (2018.03.)* * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11657921B2 (en) | 2019-09-18 | 2023-05-23 | Tempus Labs, Inc. | Artificial intelligence based cardiac event predictor systems and methods |
| KR20220039881A (ko) * | 2020-09-21 | 2022-03-30 | 연세대학교 산학협력단 | 전문가의 진단 능력 평가 방법, 인공지능 기반의 진단 보조 방법 및 이를 이용한 디바이스 |
| US11869668B2 (en) * | 2021-05-28 | 2024-01-09 | Tempus Labs, Inc. | Artificial intelligence based cardiac event predictor systems and methods |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200202523A1 (en) | 2020-06-25 |
| KR102289277B1 (ko) | 2021-08-13 |
| US11107215B2 (en) | 2021-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102289277B1 (ko) | 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법 | |
| Reyes et al. | On the interpretability of artificial intelligence in radiology: challenges and opportunities | |
| CN101742961B (zh) | 诊断支持设备及*** | |
| US8934695B2 (en) | Similar case searching apparatus and similar case searching method | |
| US20160321414A1 (en) | Diagnostic Test Planning | |
| EP2812828B1 (en) | Interactive optimization of scan databases for statistical testing | |
| US11715198B2 (en) | Medical use artificial neural network-based medical image analysis apparatus and method for evaluating analysis results of medical use artificial neural network | |
| US11915822B2 (en) | Medical image reading assistant apparatus and method for adjusting threshold of diagnostic assistant information based on follow-up examination | |
| Brugnara et al. | Automated volumetric assessment with artificial neural networks might enable a more accurate assessment of disease burden in patients with multiple sclerosis | |
| US10130323B2 (en) | Method and apparatus for planning computer-aided diagnosis | |
| US11471096B2 (en) | Automatic computerized joint segmentation and inflammation quantification in MRI | |
| KR102531400B1 (ko) | 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법 | |
| CN109791804A (zh) | 对cad***个性化以提供cad***推荐的置信水平指示的方法和部件 | |
| Hussain et al. | Deep learning-based diagnosis of disc degenerative diseases using MRI: a comprehensive review | |
| EP4002387A1 (en) | Cad device and method for analysing medical images | |
| CN112367905A (zh) | 基于脉管化模式的诊断、预测、确定预后、监测或分期疾病的方法 | |
| US10957038B2 (en) | Machine learning to determine clinical change from prior images | |
| Saeed et al. | MGMT promoter methylation status prediction using MRI scans? An extensive experimental evaluation of deep learning models | |
| KR102536369B1 (ko) | 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법 | |
| KR102360615B1 (ko) | 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법 | |
| EP4002382A1 (en) | Using unstructured temporal medical data for disease prediction | |
| US20210035687A1 (en) | Medical image reading assistant apparatus and method providing hanging protocols based on medical use artificial neural network | |
| US20210313047A1 (en) | Processing medical images | |
| Hill | AI in imaging: the regulatory landscape | |
| Bhushan | Liver cancer detection using hybrid approach-based convolutional neural network (HABCNN) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |