KR101941209B1 - 인공지능 기반 독립형 자동 질환 진단 시스템 및 방법 - Google Patents
인공지능 기반 독립형 자동 질환 진단 시스템 및 방법 Download PDFInfo
- Publication number
- KR101941209B1 KR101941209B1 KR1020170119579A KR20170119579A KR101941209B1 KR 101941209 B1 KR101941209 B1 KR 101941209B1 KR 1020170119579 A KR1020170119579 A KR 1020170119579A KR 20170119579 A KR20170119579 A KR 20170119579A KR 101941209 B1 KR101941209 B1 KR 101941209B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- analysis target
- diagnosis
- terminal
- target image
- Prior art date
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 70
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000012216 screening Methods 0.000 title description 4
- 238000013473 artificial intelligence Methods 0.000 title description 2
- 238000003745 diagnosis Methods 0.000 claims abstract description 102
- 238000003384 imaging method Methods 0.000 claims abstract description 27
- 238000013145 classification model Methods 0.000 claims abstract description 17
- 238000004458 analytical method Methods 0.000 claims description 66
- 230000003211 malignant effect Effects 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000011976 chest X-ray Methods 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims 1
- 230000009466 transformation Effects 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000002306 biochemical method Methods 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G06K9/6267—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/22—Cropping
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Databases & Information Systems (AREA)
- Optics & Photonics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Quality & Reliability (AREA)
- High Energy & Nuclear Physics (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 일 실시 예에 따른 자동 질환 진단 시스템은 엑스레이 감지 장치로부터 영상을 수신하고, 영상을 무손실 영상 파일 형식의 변환 영상으로 변환하는 단말 및 변환 영상에 대해서 딥 이미징 처리를 수행하여 분석 대상 영상을 생성하고, 분석 대상 영상에 대해 사전 학습된 이미지 분류 모델을 적용하여 분석 대상 영상을 양성 영상 또는 악성 영상으로 분류하는 질환 진단 장치를 포함하되, 질환 진단 장치는 분석 대상 영상에 대한 분류 결과에 따른 진단 정보를 포함하는 진단 결과를 단말로 전송하고, 단말은 진단 결과를 표시하는 것을 특징으로 한다.
Description
본 발명은 자동 질환 진단 장치에 관한 것으로, 보다 구체적으로는 인공지능을 통해 엑스레이 사진에 대한 질환을 자동으로 진단하는 기술에 관한 것이다.
엑스레이(X-Ray)는 기초 의료 진단 방법으로 오랫동안 여러 진단에 이용되어 왔다. 그러나 엑스레이는 3차원 물체를 2차원 영상에 기반하여 판단해야 하는 어려움과 해상도 등의 문제로 인해 정확한 판독이 용의하지 않다는 문제점을 가지고 있다. 이에 따라 좀더 정확한 진단을 위해서는 CT(Computer tomography) 나 MRI(Nuclear Magnetic Resonance Computed Tomography)와 같은 3차원 영상 장비나 기타 생화학적인 방법이 사용되어 왔다.
하지만 3차원 영상 장비나 기타 생화학적인 방법은 높은 장비 가격과 유지 비용 등으로 인해, 개발 도상국 등에서 일반 대중을 대상으로 한 전염병 검진 등에 널리 사용하기는 어렵다. 따라서 최근 국제보건기구 (WHO) 등은 엑스레이를 초기 검진 (Screening) 수단으로 사용하는 방법을 적극적으로 권장하고 있다. 하지만 엑스레이 영상의 정밀도 부족과 영상 해석에 필요한 훈련된 의료진의 절대적 부족은 개발 도상국의 전염병 초기 검진 (Screening) 에 사용되기 이전에 해결되어야 할 중요한 과제이다.
의료 영상을 분석하여 진단하는 시스템이 개발되고 있으나, 해당 시스템은 대형 컴퓨터 시스템이 요구되는 형태이기 때문에 환경이 열악한 개발 도상국 등에서는 활용되기에는 어려운 점이 있다. 예를 들어, 개발 도상국의 경우, 인터넷 속도의 문제가 있어서, 기존 대형 시스템을 이용한 진단 시스템에 접속하여 실시간으로 진단하는 것이 불가한 점이 있다.
본 발명에 대한 선행기술문헌으로는 특허등록공보 10-1628276호가 있다.
본 발명이 해결하고자 하는 일 기술적 과제는 사전 학습된 디지털 X-ray 영상 이미지의 분류 및 검출 모델을 내장하여 의료현장에서 촬영한 X-ray 방사선 영상이미지에 대한 질환 보유 유무를 인터넷 망에 접속하지 않고도 실시간으로 자동 진단하는 자동 질환 진단 시스템 및 방법을 제공하는 것이다.
본 발명의 일 측면에 따르면, 엑스레이 감지 장치로부터 영상을 수신하고, 상기 영상을 무손실 영상 파일 형식의 변환 영상으로 변환하는 단말; 및 상기 변환 영상에 대해서 딥 이미징 처리를 수행하여 분석 대상 영상을 생성하고, 상기 분석 대상 영상에 대해 사전 학습된 이미지 분류 모델을 적용하여 상기 분석 대상 영상을 양성 영상 또는 악성 영상으로 분류하는 질환 진단 장치;를 포함하되, 상기 서버는 상기 분석 대상 영상에 대한 분류 결과에 따른 진단 정보를 포함하는 진단 결과를 상기 단말로 전송하고, 상기 단말은 상기 진단 결과를 표시하는 것을 특징으로 하는 자동 질환 진단 시스템이 제공된다.
상기 단말과 상기 질환 진단 장치는 내부망을 통해 연결될 수 있다.
상기 질환 진단 장치는, 상기 분석 대상 영상이 악성 영상인 경우, 상기 분석 대상 영상에 대해 사전 학습된 이미지 검출 모델을 적용하여 상기 분석 대상 영상 중 질환 부위를 강조하여 나타낸 진단 영상을 생성하고, 상기 진단 영상 및 상기 진단 정보를 포함하는 상기 진단 결과를 생성할 수 있다.
상기 이미지 분류 모델 및 상기 이미지 검출 모델은 양성 및 악성 중 하나 이상의 흉부 X-ray 빅데이터 영상에 대한 데이터셋(Dataset)에 대해 딥 컨벌루션 신경망 기반의 학습, 검증 및 시험을 거쳐 생성된 상기 분석 대상 영상을 상기 양성 영상 또는 상기 악성 영상으로 분류하는 신경망 모델일 수 있다.
본 발명의 다른 측면에 따르면, 단말로부터 변환 영상을 수신하는 통신부; 상기 변환 영상에 대한 딥 이미징 처리를 수행하여 분석 대상 영상을 생성하는 딥 이미징 처리부; 및 상기 분석 대상 영상에 대해 사전 학습된 이미지 분류 모델을 적용하여 상기 분석 대상 영상을 양성 영상 또는 악성 영상으로 분류하고, 상기 분석 대상 영상에 대한 분류 결과에 따른 진단 정보를 포함하는 진단 결과를 생성하는 진단부;를 포함하되, 상기 통신부는 상기 진단 결과를 상기 단말로 전송하는 것을 특징으로 하는 질환 진단 장치가 제공된다.
상기 단말과 상기 통신부는 내부망을 통해 연결될 수 있다.
상기 진단부는, 상기 분석 대상 영상이 악성 영상인 경우, 상기 분석 대상 영상에 대해 사전 학습된 이미지 검출 모델을 적용하여 상기 분석 대상 영상 중 질환 부위를 강조하여 나타낸 진단 영상을 생성하고, 상기 진단 영상 및 상기 진단 정보를 포함하는 상기 진단 결과를 생성할 수 있다.
상기 딥 이미징 처리는, 상기 변환 영상에 흔들림 보상, 노이즈 제거 및 노출 보정을 적용하고, 머신 러닝 방식으로 학습된 이미지 검출 모델을 이용하여 변환 영상 중 지정된 부위를 크롭(crop)한 분석 대상 영상을 생성하는 과정일 수 있다.
본 발명의 다른 측면에 따르면, 질환 진단 장치가 자동으로 질환을 진단하는 방법에 있어서, 단말로부터 변환 영상을 수신하는 단계; 상기 변환 영상에 대한 딥 이미징 처리를 수행하여 분석 대상 영상을 생성하는 단계; 상기 분석 대상 영상에 대해 사전 학습된 이미지 분류 모델을 적용하여 상기 분석 대상 영상을 양성 영상 또는 악성 영상을 분류하고, 상기 분석 대상 영상에 대한 분류 결과에 따른 진단 정보를 포함하는 진단 결과를 생성하는 단계; 및 상기 통신부는 상기 진단 결과를 상기 단말로 전송하는 단계를 포함하는 자동 질환 진단 방법이 제공된다.
단말로부터 변환 영상을 수신하는 단계는, 내부망을 통해 상기 단말로부터 상기 변환 영상을 수신하는 단계일 수 있다.
상기 자동 질환 진단 방법은 상기 분석 대상 영상이 악성 영상인 경우, 상기 분석 대상 영상에 대해 사전 학습된 이미지 검출 모델을 적용하여 상기 분석 대상 영상 중 질환 부위를 강조하여 나타낸 진단 영상을 생성하는 단계; 및 상기 진단 결과에 상기 진단 영상을 삽입하는 단계를 더 포함할 수 있다.
상기 딥 이미징 처리는, 상기 변환 영상에 흔들림 보상, 노이즈 제거 및 노출 보정을 적용하고, 머신 러닝 방식으로 학습된 이미지 검출 모델을 이용하여 변환 영상 중 지정된 부위를 크롭(crop)한 분석 대상 영상을 생성하는 과정일 수 있다.
상술한 바와 같이 본 발명의 일 실시 예에 따르면, 소형의 시스템으로 엑스레이 이미지에 대한 질환 진단을 자동으로 수행할 수 있다.
또한, 본 발명의 일 실시 예에 따르면, 엑스레이 이미지에 대한 질환 진단을 소규모의 인원으로 빠르게 진행할 수 있다.
또한, 본 발명의 일 실시 예에 따르면, 이동 가능한 자동 질환 진단 시스템을 제공할 수 있다.
또한, 본 발명의 일 실시 예에 따르면, 인터넷이 느리거나 문제가 발생하는 열악한 환경에서 인터넷 망에 연결된 원격의 서버를 의지하지 않으면서 독립적으로 질환을 진단할 수 있다.
또한, 본 발명의 일 실시 예에 따르면, 복수개의 모델을 적용하여 다양한 질병에 대한 진단을 수행할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 자동 질환 진단 시스템을 예시한 도면.
도 2는 본 발명의 일 실시 예에 따른 자동 질환 진단 시스템의 단말을 예시한 도면.
도 3은 본 발명의 일 실시 예에 따른 자동 질환 진단 시스템의 질환 진단 장치를 예시한 도면.
도 4는 본 발명의 일 실시 예에 따른 자동 질환 진단 시스템이 동작하는 과정을 예시한 흐름도.
도 5는 본 발명의 일 실시 예에 따른 자동 질환 진단 시스템의 단말이 표시하는 악성 영상 및 양성 영상에 대한 진단 결과를 표시한 도면.
도 2는 본 발명의 일 실시 예에 따른 자동 질환 진단 시스템의 단말을 예시한 도면.
도 3은 본 발명의 일 실시 예에 따른 자동 질환 진단 시스템의 질환 진단 장치를 예시한 도면.
도 4는 본 발명의 일 실시 예에 따른 자동 질환 진단 시스템이 동작하는 과정을 예시한 흐름도.
도 5는 본 발명의 일 실시 예에 따른 자동 질환 진단 시스템의 단말이 표시하는 악성 영상 및 양성 영상에 대한 진단 결과를 표시한 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
또한, 본 명세서에서, 일 구성요소가 다른 구성요소로 신호를 “전송한다”로 언급된 때에는, 일 구성요소가 다른 구성요소와 직접 연결되어 신호를 전송할 수 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 신호를 전송할 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 자동 질환 진단 시스템을 예시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 자동 질환 진단 시스템은 엑스레이 투사 장치(110), 엑스레이 감지 장치(120), 단말(130) 및 질환 진단 장치(140)를 포함한다.
엑스레이 투사 장치(110)는 엑스레이 감지 장치(120)로 엑스레이(x-ray)를 투사한다. 엑스레이 투사 장치(110)는 단말(130)로부터 촬영 요청을 수신하는 경우, 엑스레이를 엑스레이 감지 장치(120)로 투사할 수 있다.
엑스레이 감지 장치(120)는 엑스레이 투사 장치(110)가 투사한 엑스레이를 감지하여 영상을 생성한다. 엑스레이 감지 장치(120)는 생성한 영상을 단말(130)로 전송한다.
단말(130)은 엑스레이 투사 장치(110)및 엑스레이 감지 장치(120)의 초기화 및 동작을 제어하고, 엑스레이 감지 장치(120)로부터 수신한 영상을 질환 진단을 위해 무손실 영상 파일 형식의 변환 영상으로 변환한다. 예를 들어, 단말(130)은 엑스레이 감지 장치(120)로부터 영상을 수신하는 경우, PNG, BMP 등의 무손실 영상 파일의 형식인 변환 영상을 생성하여 질환 진단 장치(140)로 전송할 수 있다.
또한, 단말(130)은 질환 진단 장치(140)로부터 진단 결과를 수신하고, 해당 진단 결과를 표시한다.
질환 진단 장치(140)는 단말(130)로부터 변환 영상을 수신하는 하는 경우, 변환 영상이 질환에 대한 양성 또는 악성인 경우의 영상인지 분류한다. 질환 진단 장치(140)는 변환 영상이 악성에 해당하는 영상인 경우, 변환 영상의 질환이 의심되는 영역을 강조한 영상(이하, 진단 영상이라 지칭)을 생성한다. 질환 진단 장치(140)는 진단 영상과 진단 정보(양성 또는 악성으로 분류한 분류 결과 및 분류 정확도) 중 하나 이상을 포함하는 진단 결과를 생성하여 단말(130)로 전송한다.
상술한, 엑스레이 투사 장치(110), 엑스레이 감지 장치(120), 단말(130) 및 질환 진단 장치(140)는 서로 기가비트 이더넷(Gigabit Ethernet)과 같은 내부 망으로 연결되어 데이터를 송수신할 수 있다.
이하, 상술한 자동 질환 진단 시스템의 단말(130) 및 질환 진단 장치(140)의 상세한 구성을 설명하도록 한다.
도 2는 본 발명의 일 실시 예에 따른 자동 질환 진단 시스템의 단말을 예시한 도면이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 단말(130)은 영상 변환부(210), 제어부(220), 표시부(230) 및 통신부(240)를 포함한다.
영상 변환부(210)는 통신부(240)를 통해 엑스레이 감지 장치(120)로부터 RAW Format File 또는 DICOM File 등의 형식으로 생성된 영상을 수신하는 경우, 영상을 PNG, BMP 등의 무손실 영상 파일의 형식인 변환 영상을 생성하고, 변환 영상을 통신부(240)를 통해 질환 진단 장치(140)로 전송한다.
제어부(220)는 엑스레이 투사 장치(110) 및 엑스레이 감지 장치(120)의 초기화 및 촬영 동작을 수행하도록 제어하는 제어 신호를 생성하여 통신부(240)를 통해 엑스레이 투사 장치(110) 및 엑스레이 감지 장치(120)로 전송한다.
표시부(230)는 통신부(240)를 통해 질환 진단 장치(140)로부터 진단 결과를 수신하는 경우, 진단 결과를 표시한다. 표시부(230)는 모니터 등의 진단 결과를 표시하는 디스플레이 장치를 포함할 수 있다.
통신부(240)는 내부망을 통해 엑스레이 투사 장치(110), 엑스레이 감지 장치(120), 질환 진단 장치(140)와 연결되어 데이터를 송수신한다.
도 3은 본 발명의 일 실시 예에 따른 자동 질환 진단 시스템의 질환 진단 장치를 예시한 도면이다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 질환 진단 장치(140)는 딥 이미징 처리부(310), 진단부(320) 및 통신부(330)를 포함한다.
딥 이미징 처리부(310)는 통신부(330)를 통해 단말(130)로부터 변환 영상을 수신하고, 자동 질환 진단에 적합하도록 변환 영상에 딥 이미징 처리를 하여 분석 대상 영상를 생성한다. 이 때, 딥 이미징 처리는 변환 영상에 Sharpening Filter 등을 이용한 흔들림 보상을 적용하고, 메디안(Median) 필터링 등의 노이즈 제거를 적용하고, 어댑티브 히스토그램 이퀄라이제이션(Adaptive Histogram Equalization) 등의 노출 보정을 적용하고, 머신 러닝 방식으로 학습된 이미지 검출 모델을 이용하여 변환 영상 중 지정된 부위를 크롭(crop)한 분석 대상 영상을 생성하는 과정을 의미한다. 딥 이미징 처리부(310)는 분석 대상 영상을 진단부(320)로 전송한다. 이 때, 딥 이미징 처리부(310)가 수행하는 딥 이미징 처리 과정은 사전 학습된 이미지 분류 모델 및 이미지 검출 모델 별로 미리 설정될 수 있다.
진단부(320)는 분석 대상 영상을 심층 컨벌루션 신경망 (Deep Convolution Neutral Network) 기반의 사전 학습된 이미지 분류 모델 (Pre-trained Image Classification Model)에 적용하여 분석 대상 영상을 양성 영상 또는 악성 영상으로 분류한다. 이 때, 양성 영상은 분석 대상 영상의 환자가 양성으로 판단될 경우 분류되는 클러스터의 영상이고, 악성 영상은 분석 대상 영상의 환자가 악성으로 판단될 경우, 분류되는 클러스터의 영상이다. 진단부(320)는 분석 대상 영상이 악성 영상으로 분류되는 경우, 분석 대상 영상에 대해 심층 컨벌루션 신경망 기반의 사전 학습된 질환 이미지 검출 모델 (Pre-trained Image Detection Model)을 적용하여 분석 대상 영상 중 질환이 의심되는 영역을 검출하고, 질환이 의심되는 영역을 사각형이나 히트맵으로 표시하는 등의 강조한 진단 영상을 생성한다. 또한, 진단부(320)는 분석 대상 영상의 분류 결과 및 분류 정확도를 나타내는 진단 정보를 생성한다. 진단부(320)는 진단 영상과 진단 정보 중 하나 이상을 포함하는 진단 결과를 생성하여 통신부(330)를 통해 단말(130)로 전송한다.
이 때, 심층 컨볼루션 신경망은 GoogleNet, AlexNet, LeNet 등의 신경망일 수 있고, 사전 학습된 이미지 분류 모델은 양성 및 악성인 흉부 X-ray 빅데이터 영상에 대한 데이터셋(Dataset)에 대해 딥 컨벌루션 신경망 기반의 Tensorflow, Caffe, Keras, Theano, Torch 등등의 라이브러리 및 알고리즘을 이용하여 학습, 검증 및 시험을 거쳐 생성된 분석 대상 영상을 양성 영상 또는 악성 영상으로 분류하는 신경망 모델일 수 있다. 또한, 사전 학습된 이미지 검출 모델은 악성인 흉부 X-ray 빅데이터 영상에 대한 데이터셋(Dataset)에서 질환 부위를 검출하기 위한 학습, 검증 및 시험을 거쳐 생성된 신경망 모델일 수 있다. 따라서, 이미지 분류 모델 및 이미지 검출 모델은 인간의 인지 한계에 필적하거나 넘어서는 정확도, 민감도, 특이도를 제공할 수 있다. 또한, 이미지 분류 모델 및 이미지 검출 모델의 학습, 검증 및 시험에 사용되는 데이터셋에 포함된 영상의 질환에 따라 진단되는 질환은 변경될 수 있다. 즉, 진단부(320)는 질환별 이미지 분류 모델 및 이미지 검출 모델을 포함할 수 있고, 각 모델에 대한 진단을 수행하여 복수의 질환에 대한 진단을 수행할 수 있다.
통신부(330)는 내부망을 통해 엑스레이 단말(130)과 연결되어 데이터를 송수신한다.
따라서, 본 발명의 일 실시 예에 따른 질환 진단 장치(140)는 심층 컨볼루션 신경망을 이용하는 사전 학습된 이미지 분류 모델 및 이미지 검출 모델을 이용하기 때문에 각 모델을 학습, 검증 및 시험을 수행하지 않더라도 분석 대상 영상에 대한 질환 부위를 빠르게 검출할 수 있다. 또한, 질환 진단 장치(140)는 인터넷 등의 인프라가 열악환 환경에서 타 시스템의 연동 없이 독립적으로 분석 대상 영상에 대한 질환을 실시간으로 진단할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 자동 질환 진단 시스템이 동작하는 과정을 예시한 흐름도이고, 도 5는 본 발명의 일 실시 예에 따른 자동 질환 진단 시스템의 단말이 표시하는 악성 영상 및 양성 영상에 대한 진단 결과를 표시한 도면이다.
도 4를 참조하면, 단계 405에서 단말(130)은 엑스레이 투사 장치(110) 및 엑스레이 감지 장치(120)의 초기화를 수행한다. 예를 들어, 단말(130)은 엑스레이 투사 장치(110) 및 엑스레이 감지 장치(120)로 초기화를 요청하는 초기화 요청 신호를 전송하고, 엑스레이 투사 장치(110) 및 엑스레이 감지 장치(120)는 초기화 요청 신호에 따라 재시동 등의 초기화 과정을 수행한다.
단계 410에서 단말(130)은 엑스레이 투사 장치(110)로 촬영 요청을 전송한다. 예를 들어, 환자가 지정된 위치로 이동하는 경우, 관리자가 단말(130)로 촬영을 요청하는 입력을 할 수 있고, 단말(130)은 해당 입력에 따라 촬영 요청을 엑스레이 투사 장치(110)로 전송할 수 있다.
단계 415에서 엑스레이 투사 장치(110)는 엑스레이를 엑스레이 감지 장치(120)로 투사한다.
단계 420에서 엑스레이 감지 장치(120)는 엑스레이를 감지하여 영상을 생성한다. 이 때 영상은 RAW Format File 또는 DICOM File 등의 형식으로 생성된 영상일 수 있다.
단계 425에서 엑스레이 감지 장치(120)는 영상을 단말(130)로 전송한다.
단계 430에서 단말(130)은 영상을 무손실 영상 파일의 형식인 변환 영상으로 변환한다.
단계 435에서 단말(130) 변환 영상을 질환 진단 장치(140)로 전송한다.
단계 440에서 질환 진단 장치(140)는 변환 영상에 대해 딥 이미징 처리를 수행하여 분석 대상 영상을 생성한다.
단계 445에서 질환 진단 장치(140)는 사전 학습된 이미지 분류 모델에 분석 대상 영상을 적용하여 분석 대상 영상을 양성 영상 또는 악성 영상으로 분류한다.
단계 450에서 질환 진단 장치(140)는 분석 대상 영상이 악성 영상인 경우, 사전 학습된 이미지 검출 모델에 분석 대상 영상을 적용하여 분석 대상 영상 중 질환 부위를 검출한다. 질환 진단 장치(140)는 분석 대상 영상 중 질환 부위를 강조하여 나타낸 진단 영상을 생성한다.
단계 455에서 질환 진단 장치(140)는 진단 영상과 진단 정보 중 하나 이상을 포함하는 진단 결과를 생성한다. 예를 들어, 질환 진단 장치(140)는 분석 대상 영상이 악성 영상인 경우, 진단 영상 및 진단 정보를 포함하는 진단 결과를 생성할 수 있다. 또는 질환 진단 장치(140)는 분석 대상 영상이 양성 영상인 경우, 진단 정보를 포함하는 진단 결과를 생성할 수 있다.
단계 460에서 질환 진단 장치(140)는 진단 결과를 단말(130)로 전송한다.
단계 465에서 단말(130)은 진단 결과를 표시한다. 예를 들어, 단말(130)은 도 5의 510과 같이 분석 대상 영상이 양성 영상인 경우, 분석 대상 영상과 진단 정보를 표시할 수 있다. 또는 단말(130)은 분석 대상 영상이 악성 영상인 경우, 도 5의 520과 같이 질환 부위가 사각형으로 강조된 진단 영상과 진단 정보를 표시할 수 있다.
이상, 본 발명을 바람직한 실시 예를 사용하여 상세히 설명하였으나, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 첨부된 특허청구범위에 의하여 해석되어야 할 것이다. 또한, 이 기술분야에서 통상의 지식을 습득한 자라면, 본 발명의 범위에서 벗어나지 않으면서도 많은 수정과 변형이 가능함을 이해하여야 할 것이다.
Claims (12)
- 엑스레이 감지 장치로부터 영상을 수신하고, 상기 영상을 무손실 영상 파일 형식의 변환 영상으로 변환하는 단말; 및
상기 변환 영상에 대해서 딥 이미징 처리를 수행하여 분석 대상 영상을 생성하고, 상기 분석 대상 영상에 대해 사전 학습된 이미지 분류 모델을 적용하여 상기 분석 대상 영상을 양성 영상 또는 악성 영상으로 분류하는 질환 진단 장치;를 포함하되,
상기 질환 진단 장치는 상기 분석 대상 영상에 대한 분류 결과에 따른 진단 정보를 포함하는 진단 결과를 상기 단말로 전송하고, 상기 분석 대상 영상이 악성 영상인 경우, 상기 분석 대상 영상에 대해 사전 학습된 이미지 검출 모델을 적용하여 상기 분석 대상 영상 중 질환 부위를 강조하여 나타낸 진단 영상을 생성하고, 상기 진단 영상 및 상기 진단 정보를 포함하는 상기 진단 결과를 생성하며, 인터넷을 이용하여 타 시스템과 연동하지 않고 독립적으로 상기 분석 대상 영상에 대한 질환을 실시간으로 진단할 수 있고,
상기 단말은 상기 진단 결과를 표시하며,
상기 딥 이미징 처리는 상기 변환 영상에 샤프닝 필터(sharpening filter), 메디안 필터(median filter) 순으로 필터를 먼저 적용하여 흔들림 보상 및 노이즈 제거를 한 뒤, 어댑티브 히스토그램 이퀄라이제이션(adaptive histogram equalization)을 이용하여 노출 보정을 하고, 머신 러닝 방식으로 학습된 이미지 검출 모델을 이용하여 변환 영상 중 지정된 부위를 크롭(crop)한 분석 대상 영상을 생성하는 과정인 것을 특징으로 하는 자동 질환 진단 시스템.
- 제1 항에 있어서,
상기 단말과 상기 질환 진단 장치는 내부망을 통해 연결되는 것을 특징으로 하는 자동 질환 진단 시스템.
- 삭제
- 제1 항에 있어서,
상기 이미지 분류 모델 및 상기 이미지 검출 모델은 양성 및 악성 중 하나 이상의 흉부 X-ray 빅데이터 영상에 대한 데이터셋(Dataset)에 대해 딥 컨벌루션 신경망 기반의 학습, 검증 및 시험을 거쳐 생성된 상기 분석 대상 영상을 상기 양성 영상 또는 상기 악성 영상으로 분류하는 신경망 모델인 것을 특징으로 하는 자동 질환 진단 시스템.
- 단말로부터 변환 영상을 수신하는 통신부;
상기 변환 영상에 대한 딥 이미징 처리를 수행하여 분석 대상 영상을 생성하는 딥 이미징 처리부; 및
상기 분석 대상 영상에 대해 사전 학습된 이미지 분류 모델을 적용하여 상기 분석 대상 영상을 양성 영상 또는 악성 영상으로 분류하고, 상기 분석 대상 영상이 악성 영상인 경우, 상기 분석 대상 영상에 대해 사전 학습된 이미지 검출 모델을 적용하여 상기 분석 대상 영상 중 질환 부위를 강조하여 나타낸 진단 영상을 생성하고, 상기 진단 영상 및 진단 정보를 포함하는 진단 결과를 생성하는 진단부;를 포함하되,
상기 통신부는 상기 진단 결과를 상기 단말로 전송하고,
상기 진단부는 인터넷을 이용하여 타 시스템과 연동하지 않고 독립적으로 상기 분석 대상 영상에 대한 질환을 실시간으로 진단할 수 있으며,
상기 딥 이미징 처리는 상기 변환 영상에 샤프닝 필터(sharpening filter), 메디안 필터(median filter) 순으로 필터를 먼저 적용하여 흔들림 보상 및 노이즈 제거를 한 뒤, 어댑티브 히스토그램 이퀄라이제이션(adaptive histogram qualization)을 이용하여 노출 보정을 하고, 머신 러닝 방식으로 학습된 이미지 검출 모델을 이용하여 변환 영상 중 지정된 부위를 크롭(crop)한 분석 대상 영상을 생성하는 과정인 것을 특징으로 하는 질환 진단 장치.
- 제5 항에 있어서,
상기 단말과 상기 통신부는 내부망을 통해 연결되는 것을 특징으로 하는 질환 진단 장치.
- 삭제
- 삭제
- 질환 진단 장치가 자동으로 질환을 진단하는 방법에 있어서,
통신부가 단말로부터 변환 영상을 수신하는 단계;
딥 이미징 처리부가 상기 변환 영상에 대한 딥 이미징 처리를 수행하여 분석 대상 영상을 생성하는 단계;
진단부가 인터넷을 이용하여 타 시스템과 연동하지 않고 실시간에 따라 독립적으로 상기 분석 대상 영상에 대해 사전 학습된 이미지 분류 모델을 적용하여 상기 분석 대상 영상을 양성 영상 또는 악성 영상으로 분류하고, 상기 분석 대상 영상이 악성 영상인 경우, 상기 분석 대상 영상에 대해 사전 학습된 이미지 검출 모델을 적용하여 상기 분석 대상 영상 중 질환 부위를 강조하여 나타낸 진단 영상을 생성하는 단계;
진단부가 진단 영상에 따라 진단 정보를 포함하는 진단 결과를 생성하는 단계; 및
상기 통신부는 상기 진단 결과를 상기 단말로 전송하는 단계를 포함하며,
상기 딥 이미징 처리는 상기 변환 영상에 샤프닝 필터(sharpening filter), 메디안 필터(median filter) 순으로 필터를 먼저 적용하여 흔들림 보상 및 노이즈 제거를 한 뒤, 어댑티브 히스토그램 이퀄라이제이션(adaptive histogram equalization)을 이용하여 노출 보정을 하고, 머신 러닝 방식으로 학습된 이미지 검출 모델을 이용하여 변환 영상 중 지정된 부위를 크롭(crop0)한 분석 대상 영상을 생성하는 과정인 자동 질환 진단 방법.
- 제9 항에 있어서,
단말로부터 변환 영상을 수신하는 단계는,
내부망을 통해 상기 단말로부터 상기 변환 영상을 수신하는 단계인 것을 특징으로 하는 자동 질환 진단 방법.
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170119579A KR101941209B1 (ko) | 2017-09-18 | 2017-09-18 | 인공지능 기반 독립형 자동 질환 진단 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170119579A KR101941209B1 (ko) | 2017-09-18 | 2017-09-18 | 인공지능 기반 독립형 자동 질환 진단 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101941209B1 true KR101941209B1 (ko) | 2019-04-12 |
Family
ID=66167668
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170119579A KR101941209B1 (ko) | 2017-09-18 | 2017-09-18 | 인공지능 기반 독립형 자동 질환 진단 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101941209B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102103280B1 (ko) * | 2019-06-20 | 2020-06-01 | 주식회사 딥노이드 | 딥러닝 기반의 대장 질환 보조 진단 방법 |
| WO2022055186A1 (ko) | 2020-09-14 | 2022-03-17 | 주식회사 뷰노 | 의료 영상에서 이상 소견 탐지 및 판독문 생성 방법 |
| KR20220147756A (ko) * | 2021-04-27 | 2022-11-04 | (주)에프에이솔루션 | 영상을 분석하는 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140070060A (ko) * | 2012-11-30 | 2014-06-10 | 삼성전자주식회사 | Ｍｒｉ 다변수 영상의 획득 장치 및 방법 |
| WO2014167901A1 (ja) * | 2013-04-08 | 2014-10-16 | コニカミノルタ株式会社 | 診断提供用医用画像システム及び一般撮影用の診断提供用医用画像システムにタルボ撮影装置系を導入する方法 |
| KR20160012758A (ko) * | 2014-07-25 | 2016-02-03 | 삼성전자주식회사 | 영상 진단 보조 장치 및 방법 |
-
2017
- 2017-09-18 KR KR1020170119579A patent/KR101941209B1/ko active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140070060A (ko) * | 2012-11-30 | 2014-06-10 | 삼성전자주식회사 | Ｍｒｉ 다변수 영상의 획득 장치 및 방법 |
| WO2014167901A1 (ja) * | 2013-04-08 | 2014-10-16 | コニカミノルタ株式会社 | 診断提供用医用画像システム及び一般撮影用の診断提供用医用画像システムにタルボ撮影装置系を導入する方法 |
| KR20160012758A (ko) * | 2014-07-25 | 2016-02-03 | 삼성전자주식회사 | 영상 진단 보조 장치 및 방법 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102103280B1 (ko) * | 2019-06-20 | 2020-06-01 | 주식회사 딥노이드 | 딥러닝 기반의 대장 질환 보조 진단 방법 |
| WO2022055186A1 (ko) | 2020-09-14 | 2022-03-17 | 주식회사 뷰노 | 의료 영상에서 이상 소견 탐지 및 판독문 생성 방법 |
| KR20220147756A (ko) * | 2021-04-27 | 2022-11-04 | (주)에프에이솔루션 | 영상을 분석하는 방법 |
| KR102568310B1 (ko) * | 2021-04-27 | 2023-08-21 | (주)에프에이솔루션 | 영상을 분석하는 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110889005B (zh) | 搜索医学参考图像 | |
| JP5685133B2 (ja) | 画像処理装置、画像処理装置の制御方法、およびプログラム | |
| US20200226752A1 (en) | Apparatus and method for processing medical image | |
| KR20190105210A (ko) | 통합 의료 진단 서비스 제공 시스템 및 그 방법 | |
| JP5026939B2 (ja) | 画像処理装置およびそのプログラム | |
| JP4584553B2 (ja) | 空間的に一致した画像において時間変化を表示する改良型方法 | |
| KR101941209B1 (ko) | 인공지능 기반 독립형 자동 질환 진단 시스템 및 방법 | |
| CN104093354A (zh) | 用于评估医学图像的方法和设备 | |
| CN102274038B (zh) | 放射线图像区域提取装置、放射线图像区域提取方法以及放射线摄影装置 | |
| JP7449077B2 (ja) | 医用撮像における特徴識別 | |
| KR20160107528A (ko) | 컴퓨터 보조 진단을 위한 신뢰도 제공 장치 및 방법 | |
| KR101919847B1 (ko) | 동일 피사체에 대하여 시간 간격을 두고 촬영된 영상 간에 동일 관심구역을 자동으로 검출하는 방법 및 이를 이용한 장치 | |
| US9087373B2 (en) | Computer-aided diagnosis method and computer-aided diagnosis apparatus therefor | |
| JP6915969B2 (ja) | 医用画像処理装置、医用画像処理方法および超音波診断装置 | |
| CN111226287B (zh) | 用于分析医学成像数据集的方法、***、程序产品和介质 | |
| KR20200116278A (ko) | 치과 영상으로부터 피검체의 성별 및 연령을 판정하는 방법 및 이를 이용한 장치 | |
| EP3279860A1 (en) | Device for extracting three-dimensional information from x-ray images of an object, method for calibrating said device, and method for generating said x-ray images | |
| JP4691732B1 (ja) | 組織抽出システム | |
| CN111192679B (zh) | 一种影像数据异常的处理方法、装置及存储介质 | |
| JP2021137344A (ja) | 医療用画像処理装置、医療用画像処理装置の制御方法、及びプログラム | |
| JP2007330419A (ja) | 画像表示装置および方法並びにプログラム | |
| JP2006239270A (ja) | 異常陰影検出装置、異常陰影検出方法およびそのプログラム | |
| KR20150009915A (ko) | 의료 영상 지식 서비스 제공 장치, 영상 처리 장치 및 방법 | |
| KR102672531B1 (ko) | 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법 및 장치 | |
| CN110709888B (zh) | 信息处理装置和用于控制信息处理装置的方法 |