KR101929412B1 - 영상 데이터베이스 기반 2차원 x-선 영상 및 3차원 ct 영상의 실시간 정합 방법 및 그 장치 - Google Patents
영상 데이터베이스 기반 2차원 x-선 영상 및 3차원 ct 영상의 실시간 정합 방법 및 그 장치 Download PDFInfo
- Publication number
- KR101929412B1 KR101929412B1 KR1020170025971A KR20170025971A KR101929412B1 KR 101929412 B1 KR101929412 B1 KR 101929412B1 KR 1020170025971 A KR1020170025971 A KR 1020170025971A KR 20170025971 A KR20170025971 A KR 20170025971A KR 101929412 B1 KR101929412 B1 KR 101929412B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- dimensional
- matching
- ray
- database
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 210000004204 blood vessel Anatomy 0.000 claims description 44
- 238000012545 processing Methods 0.000 claims description 41
- 238000013528 artificial neural network Methods 0.000 claims description 33
- 238000010801 machine learning Methods 0.000 claims description 11
- 239000002131 composite material Substances 0.000 claims description 9
- 230000006403 short-term memory Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 4
- 210000004351 coronary vessel Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 208000029078 coronary artery disease Diseases 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000002526 effect on cardiovascular system Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 208000019553 vascular disease Diseases 0.000 description 2
- 208000006545 Chronic Obstructive Pulmonary Disease Diseases 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/503—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- High Energy & Nuclear Physics (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Vascular Medicine (AREA)
- Pulmonology (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Cardiology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
의료영상 데이터베이스에 기초하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하기 위한 방법이 제시된다. 상기 방법은 2차원 X-선 영상 및 3차원 CT 영상의 데이터베이스(DB; database)를 구축하는 단계; 상기 구축된 데이터베이스의 2차원 X-선 영상 및 3차원 CT 영상을 각각 영역 분할하는 단계; 상기 영역 분할된 2차원 X-선 영상 및 3차원 CT 영상을 이용하여 정합 예측 모델(registration prediction model)을 생성하는 단계; 및 상기 생성된 정합 예측 모델을 이용하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하는 단계를 포함할 수 있다.
Description
본 발명은 2차원 X-선 영상과 3차원 CT 영상의 실시간 정합 방법 및 그 장치에 관한 발명으로서, 보다 구체적으로는 2차원 X-선 영상과 3차원 CT 영상의 데이터베이스를 구축하고, 이 데이터베이스를 기반으로 하여 2차원 X-선 영상 및 3차원 CT 영상을 각각 영역 분할하여 기계 학습(machine training) 시킴으로써 정합 예측 모델을 생성하는 이종 영상 간의 실시간 영상 정합 방법, 및 그 장치에 관한 발명이다.
심·혈관질환에 대한 중재 치료 기술 및 그 관련 기구가 빠른 속도로 개발됨에 따라, 종래에는 치료가 불가능하다고 판단되었던 심·혈관질환에 대한 시술적 치료가 적극적으로 시도되고 있다. 예컨대, 만성폐색병변이나 복합성 관상동맥 질환 또는 구조적 심장질환의 영역까지 중재 시술 치료의 영역은 지속적으로 확대되고 있다.
하지만, 이처럼 중재 시술의 적용 영역이 확대되고 시술의 난이도가 증가함에 따라 불가피하게 관련 합병증 역시 급격하게 증가하고 있다. 이와 같은 이유는 시술 부위를 실시간으로 관찰할 수 없는 상태에서 과거 영상을 참조하여 시술을 시행하기 때문에 부적절한 위치에 시술을 시행하거나, 혈관 내로 인공 삽입물을 이동시키는 도중에 정상 혈관에 상처를 유발하기도 한다.
이와 같은 기술적 한계로 인한 불가피한 합병증을 최소화하기 위해 시술 현장에서 정확한 시술의 유도를 위한 이종 영상 간 정합 기술이 개발되고 있지만, 현재의 기술은 시술 전에 촬영된 CT 관상동맥 조영 영상을 이용하여 별도로 정지 영상 간의 정합을 시행하는 수준에 머물러 있는 실정이다. 이러한 정지 영상 간의 정합은 실제 호흡운동 및 심박으로 인한 혈관의 움직임을 반영하지 못하는 단순한 영상 간의 정합에 불과하기 때문에, 실제 의료 현장에서의 시술 유도는 여전히 매우 어렵다는 문제점이 있다.
부언하면, 2차원(2D) X-선 영상과 3차원(3D) CT 영상의 정합 영상은 심혈관 치료 및 중재 시술 유도에 큰 도움을 줄 수 있다. 단일 2D X-선 영상은 시술 시에 실시간으로 혈관을 조영하여 병변의 확인이나 카테터(catheter)의 위치를 정확하게 파악할 수 있다는 장점이 있지만, 2D 영상의 한계로 인해 막힌 혈관이 존재하거나 영상의 뷰 각도에 따라 혈관이 중첩되는 등의 제약들로 시술을 어렵게 만든다.
게다가, 단일 2D X-선 영상의 경우 혈관의 특성이나 혈관에 발생한 병변의 특성 등을 확인할 수 없기 때문에 3차원 구조를 가지며 혈관 내부의 특성을 고려할 수 있는 CT 영상이 필요로 한다. 최근 CT의 3차원 구조적 특징과 혈관 조직의 특성을 구분할 수 있는 장점과 X-선의 실시간 시술 촬영이 가능한 장점을 두 영상의 정합 기술을 통해서 시술에 도움을 주고자 하는 연구가 활발하게 진행되고 있다.
현재 세계 최고 수준의 영상 정합 성능은 지멘스사(Siemens)가 초당 0.3회의 영상 프레임을 보유하고, 에라스무스 메디컬 센터(Erasmus Medical Center)가 초당 0.8회의 영상 프레임을 보유하고 있지만, 이들 기업/단체에 의한 기술 성능은 실시간 시술 유도를 시행함에 있어 높은 지연(delay)으로 인해 시술 유도에 큰 도움을 주기가 어렵다는 제한이 있다.
참고로, 이러한 높은 지연은 영상 모달리티(modality) 간 정합 시에 사용되는 알고리즘의 연산량의 부하가 높기 때문에 발생하며, 또한 심장 박동 주기 내의 영상이 최소한 10 페이즈(phase) 이상 되기 때문에 연산량은 더욱 증가한다. 이러한 이유로 기존 업체들은 정합의 정확도와 연산 속도 간의 트레이드 오프(trade off)를 적정 수준으로 유지하도록 설계된 영상 정합 장치를 개발하여 출시하고는 있지만, 실제 임상에서 사용할 수 있는 정도에는 미치지 못하는 수준에 불과하다.
본 발명은 상기한 문제점들을 해결하고자 안출된 것으로서, 본 발명은 지연 없이 실시간으로 2D X-선 영상과 3D CT 영상을 정합할 수 있는 방법 및 그 장치를 제공하는 것을 목적으로 한다.
상기한 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 의료영상 데이터베이스에 기초하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하기 위한 방법은, 2차원 X-선 영상 및 3차원 CT 영상의 데이터베이스(DB; database)를 구축하는 단계; 상기 구축된 데이터베이스의 2차원 X-선 영상 및 3차원 CT 영상을 각각 영역 분할하는 단계; 상기 영역 분할된 2차원 X-선 영상 및 3차원 CT 영상을 이용하여 정합 예측 모델(registration prediction model)을 생성하는 단계; 및 상기 생성된 정합 예측 모델을 이용하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하는 단계를 포함할 수 있다.
여기서, 상기 생성된 정합 예측 모델을 이용하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하는 단계는, 비강체(non-rigid) 정합을 이용하는 단계를 포함할 수 있다.
또한, 상기 영역 분할된 2차원 X-선 영상 및 3차원 CT 영상을 이용하여 정합 예측 모델(registration prediction model)을 생성하는 단계는, 2차원 X-선 영상 및 3차원 CT 영상으로부터 합성곱 신경망(CNN)을 이용하여 혈관 영상을 각각 추출하는 단계; 상기 추출된 혈관 영상 각각을 순환 신경망(RNN)을 이용하여 기계 학습(machine training)시키는 단계; 및 상기 기계 학습된 혈관 영상들에 기초하여 정합 예측 모델을 구축하는 단계를 포함할 수 있다.
또한, 상기 추출된 혈관 영상 각각을 순환 신경망(RNN)을 이용하여 기계 학습시키는 단계는, 상기 추출된 혈관 영상 각각에 대해 LSTM(Long Short Term Memory)을 적용하는 단계; 및 상기 LSTM이 적용된 혈관 영상 각각에 예측 가중치(predicted weight)를 부여하는 단계를 포함할 수 있다.
추가하여, 본 발명의 다른 실시예에 따른 영상 처리 장치는, 심장의 2D X-선 영상 및 3D CT 영상을 수신하도록 구성되는 영상 수신부와, 상기 영상 수신부에서 수신된 심장 영상을 처리하도록 구성되는 영상 처리부와, 상기 영상 처리부에서 정합 처리된 2D X-선 영상 및 3D CT 영상을 디스플레이하도록 구성되는 디스플레이부와, 그리고 상기 영상 수신부, 상기 영상 처리부 및 상기 디스플레이부를 제어하도록 구성되는 제어부를 포함하고, 상기 영상 처리부는, 2차원 X-선 영상 및 3차원 CT 영상의 데이터베이스를 구축하도록 구성되는 데이터베이스 구축유닛; 상기 구축된 데이터베이스의 2차원 X-선 영상 및 3차원 CT 영상을 각각 영역 분할하도록 구성되는 영역분할유닛; 상기 영역 분할된 2차원 X-선 영상 및 3차원 CT 영상을 이용하여 정합 예측 모델을 생성하도록 구성되는 정합예측모델 생성유닛; 및 상기 생성된 정합 예측 모델을 이용하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하도록 구성되는 영상정합유닛을 포함할 수 있다.
여기서, 상기 영상정합유닛은, 비강체 정합을 이용하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하도록 구성될 수 있다.
또한, 상기 정합예측모델 생성유닛은, 2차원 X-선 영상 및 3차원 CT 영상으로부터 합성곱 신경망(CNN)을 이용하여 혈관 영상을 각각 추출하도록 구성되는 혈관영상 추출유닛; 상기 추출된 혈관 영상 각각을 순환 신경망(RNN)을 이용하여 기계 학습시키도록 구성되는 기계학습유닛; 및 상기 기계 학습된 혈관 영상들에 기초하여 정합 예측 모델을 구축하도록 구성되는 정합예측모델 구축유닛을 포함할 수 있다.
또한, 상기 기계학습유닛은, 상기 추출된 혈관 영상 각각에 대해 LSTM(Long Short Term Memory)을 적용하고, 그리고 상기 LSTM이 적용된 혈관 영상 각각에 예측 가중치(predicted weight)를 부여하도록 구성될 수 있다.
본 발명의 일 실시예에 따른 의료영상 데이터베이스에 기초하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하기 위한 방법 및 그 영상 처리 장치에 의하면, 2차원 X-선 영상과 3차원 CT 영상을 지연 없이 실시간으로 정합하는 것이 가능하게 된다.
또한, 본 발명의 일 실시예에 따른 의료영상 데이터베이스에 기초하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하기 위한 방법 및 그 영상 처리 장치에 의하면, 2차원 X-선 영상과 3차원 CT 영상의 실시간 정합을 구현함으로써 환자의 상태에 따른 정밀 치료를 가능하게 한다.
또한, 본 발명의 일 실시예에 따른 의료영상 데이터베이스에 기초하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하기 위한 방법 및 그 영상 처리 장치에 의하면, 빅데이터 의료 영상을 기반으로 하므로 강인성을 확보할 수 있고 순환 신경망(RNN) 기반의 합성곱 신경망(CNN)을 통해 정확한 정합 예측 모델을 확보함으로써 기술의 정확도를 향상시킬 수 있다.
도 1은 종래 기술에 따른 2D X-선 영상 및 3D CT 영상의 정합을 설명하기 위한 예시도이다.
도 2a는 본 발명의 일 실시예에 따른 영상 데이터베이스 기반 2차원 X-선 영상 및 3차원 CT 영상의 실시간 정합 방법을 설명하기 위한 흐름도이고, 도 2b는 도 2a의 S230의 세부 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 정합 메커니즘을 설명하기 위한 개략도이다.
도 4는 본 발명의 일 실시예에 따라 구축된 데이터베이스의 2차원 X-선 영상 및 3차원 CT 영상을 영역 분할하는 방법을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따라 순환 신경망(RNN) 기반의 합성곱 신경망(CNN)을 통해 정합 예측 모델을 생성하는 플로우를 설명하기 위한 예시도이다.
도 6a는 본 발명의 일 실시예에 따른 영상 데이터베이스 기반 2차원 X-선 영상 및 3차원 CT 영상의 실시간 정합 방법을 구현하도록 구성되는 영상 처리 장치(600)의 블록도이고, 도 6b는 도 6a의 정합예측모델 생성유닛(633)의 세부 블록도이다.
도 2a는 본 발명의 일 실시예에 따른 영상 데이터베이스 기반 2차원 X-선 영상 및 3차원 CT 영상의 실시간 정합 방법을 설명하기 위한 흐름도이고, 도 2b는 도 2a의 S230의 세부 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 정합 메커니즘을 설명하기 위한 개략도이다.
도 4는 본 발명의 일 실시예에 따라 구축된 데이터베이스의 2차원 X-선 영상 및 3차원 CT 영상을 영역 분할하는 방법을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따라 순환 신경망(RNN) 기반의 합성곱 신경망(CNN)을 통해 정합 예측 모델을 생성하는 플로우를 설명하기 위한 예시도이다.
도 6a는 본 발명의 일 실시예에 따른 영상 데이터베이스 기반 2차원 X-선 영상 및 3차원 CT 영상의 실시간 정합 방법을 구현하도록 구성되는 영상 처리 장치(600)의 블록도이고, 도 6b는 도 6a의 정합예측모델 생성유닛(633)의 세부 블록도이다.
이하 본 발명의 바람직한 실시예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다. 이하의 설명에서 구체적인 특정 사항들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해 제공된 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 본 발명이 속하는 기술 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 본 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 명세서의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
도 1은 종래 기술에 따른 2D X-선 영상 및 3D CT 영상의 정합을 설명하기 위한 예시도이다. 참고로, 기존에는 2D X-선 영상 및 3D CT 영상을 정합하는 다양한 방식들이 존재하고, 도 1에서는 입체표지(10)를 이용한 영상 정합 방식을 예시적으로 도시한다.
도 1의 (a)는 2D X-선 영상을 도시하고, 도 1의 (b)는 3D CT 영상을 도시하며, 도 1의 (c)는 입체표지(10)에 의한 두 영상의 정합 화면을 예시적으로 도시한다.
도시된 바와 같이, 도 1의 (a)에 도시된 입체표지(10)와 도 1의 (b)에 도시된 입체표지(10) 간의 영상 정합이 실시되고, 그에 따라 도 1의 (c)에 도시된 바와 같이 두 영상의 입체표지(10)의 정합의 결과로서 두 영상에서 심장 관상동맥의 정합이 수행되었음을 알 수 있다.
이러한 방사선 불투과성 입체표지(10)를 이용한 종래의 정합 방식은 호흡 또는 환자의 움직임 등 모든 외부 환경에 빠르게 반응할 수 있다는 장점이 있으나, 상기 언급한 지연(delay) 문제가 여전히 해소되지 않는다.
이러한 종래 영상 정합 방식의 문제점들을 해결하고자, 이하에서 본 출원의 발명자들은 지연 없이 실시간으로 2D X-선 영상과 3D CT 영상을 정합할 수 있는 방법 및 그 장치를 제공하고자 하며, 그러한 방법 및 장치에 대한 구체적인 설명을 이하에서 기술하기로 한다.
도 2a는 본 발명의 일 실시예에 따른 영상 데이터베이스 기반 2차원 X-선 영상 및 3차원 CT 영상의 실시간 정합 방법을 설명하기 위한 흐름도이고, 도 2b는 도 2a의 S230의 세부 흐름도이다. 참고로, 이하의 설명에서는 본 발명의 용이한 이해를 위해 심장 영상(특히, 심장의 관상동맥 영상)을 예시로 설명하지만, 심장 이외의 다른 영상들에도 본 발명의 실시예들이 동일한 방식으로 적용될 수 있음은 명백할 것이다.
도 2a에 도시된 바와 같이, 본 발명의 일 실시예에 따른 의료영상 데이터베이스에 기초하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하기 위한 방법은, 2차원 X-선 영상 및 3차원 CT 영상의 데이터베이스(DB; database)를 구축하는 단계(S210)와; 상기 구축된 데이터베이스의 2차원 X-선 영상 및 3차원 CT 영상을 각각 영역 분할하는 단계(S220)와; 상기 영역 분할된 2차원 X-선 영상 및 3차원 CT 영상을 이용하여 정합 예측 모델(registration prediction model)을 생성하는 단계(S230)와; 그리고 상기 생성된 정합 예측 모델을 이용하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하는 단계(S240)를 포함할 수 있다.
참고로, 도 2a에 도시되는 일련의 단계들(S210 내지 S240)은 본 발명의 일 실시예에 따른 의료영상 데이터베이스에 기초하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하기 위한 방법을 설명하기 위한 예들에 해당하고, 그러므로 도 2a에 도시되지 않은 추가의 단계들이 부가적으로 수행될 수도 있음은 명백할 것이다.
S210은 2차원 X-선 영상 및 3차원 CT 영상의 데이터베이스(DB; database)를 구축하는 단계에 해당한다. 예컨대, 사람의 심장에 대한 2차원 영상은 X-선 영상 장치를 이용하여 획득될 수 있고, 마찬가지로 사람의 심장에 대한 3차원 영상은 CT 영상 장치를 이용하여 획득될 수 있다.
참고로, 본 명세서 전체에서 2차원 영상에 대해 X-선 영상을 그리고 3차원 영상에 대해 CT 영상을 기술하지만, 이는 본 발명의 용이한 이해를 위한 일 예에 불과할 뿐, 따라서 2차원 및 3차원 영상의 획득이 가능한 임의의 장비/장치에 의해 확보 가능한 임의의 2차원 및 2차원 영상 또한 본 발명에 마찬가지로 적용될 수 있음은 명백할 것이다.
본 발명의 일 실시예에 따른 데이터베이스(DB)는 계층형 데이터베이스, 네트워크형 데이터베이스, 관계형 데이터베이스, NoSQL 데이터베이스 등 임의의 타입의 데이터베이스를 포함할 수 있다.
이러한 2차원 X-선 영상 및 3차원 CT 영상의 데이터베이스 구축은 후술할 빅데이터(Big Data) 기반의 정합 예측 모델 생성의 기초가 되며, 따라서 2차원 X-선 영상 및 3차원 CT 영상의 데이터베이스 구축은 본 발명의 일 실시예에 따른 정합 방법을 구현함에 있어 중요한 토대가 된다.
참고로, 이러한 데이터베이스의 구축은 개인별로, 연령별로, 성별로, 등 다양한 실시예들에 따라 다양한 방식으로 수행될 수 있다.
S210에서 2차원 X-선 영상 및 3차원 CT 영상의 데이터베이스가 구축되면, 상기 구축된 데이터베이스의 2차원 X-선 영상 및 3차원 CT 영상을 각각 영역 분할하는 단계(S220)가 수행될 수 있다. 예컨대, S220은 심장의 한 주기 영상을 소정의 개수로(예컨대, 10개) 영역 분할하는 단계를 포함할 수 있다.
참고로, 이러한 영상의 영역 분할은 소위 '샘플링(sampling)'으로 지칭될 수도 있으며, 영상 영역 분할의 개수는 본 발명의 다양한 실시예들에 따라 가변될 수 있음은 명백할 것이다.
2차원 X-선 영상 및 3차원 CT 영상의 영역 분할 단계(S220)는 후술할 정합 예측 모델 생성 단계(S230)의 기반이 되는 분할 영상을 생성한다는 점에서 중요한 단계에 해당하며, 2차원 X-선 영상 및 3차원 CT 영상의 영역 분할에 대한 구체적인 설명은 이하의 도 4에서 보다 상세하게 기술하기로 한다.
S220에서 2차원 X-선 영상 및 3차원 CT 영상이 영역 분할되면, 상기 영역 분할된 2차원 X-선 영상 및 3차원 CT 영상을 이용하여 정합 예측 모델(registration prediction model)을 생성하는 단계(S230)가 수행될 수 있다.
S230은 영역 분할된 2차원 X-선 영상 및 3차원 CT 영상을 이용하여, 빅데이터 기반으로 기계 학습(machine training) 시킴으로써 정합 예측 모델을 구축하는 것을 특징으로 한다. 보다 구체적으로, 도 2b에 도시된 바와 같이, 본 발명의 일 실시예에 따른 정합 예측 모델 생성 단계(S230)는, 2차원 X-선 영상 및 3차원 CT 영상으로부터 합성곱 신경망(CNN)을 이용하여 혈관 영상을 각각 추출하는 단계(S231); 상기 추출된 혈관 영상 각각을 순환 신경망(RNN)을 이용하여 기계 학습시키는 단계(S232); 및 상기 기계 학습된 혈관 영상들에 기초하여 정합 예측 모델을 구축하는 단계(S233)를 포함할 수 있다.
이와 같이, 순환 신경망(RNN) 기반의 합성곱 신경망(CNN)을 이용한 기계 학습을 통해 정합 예측 모델을 구축함으로써 정확한 예측 모델의 확보 및 시술 정확도의 향상이 가능하게 되며, 정합 예측 모델 생성에 관한 보다 구체적인 설명은 이하의 도 5에서 보다 상술하기로 한다.
S230에서 기계 학습에 의한 정합 예측 모델이 생성되면, 상기 생성된 정합 예측 모델에 기초하여 2차원 X-선 영상 및 3차원 CT 영상의 실시간 정합 단계(S240)가 수행될 수 있다.
여기서, 도 2a 및 도 2b에 도시된 본원 발명의 일 실시예에 따른 의료영상 데이터베이스에 기초하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하기 위한 방법을 구성하는 일련의 단계들(S210 내지 S240)은 컴퓨터에서 실행될 수 있는 프로그램으로서 작성가능하고, 예컨대 컴퓨터는 영상 처리 장치(image processing apparatus/device)로서 구현될 수 있으며, 컴퓨터 판독가능한 기록매체를 이용하여 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
일반적으로, 의료 영상 처리의 분야에서, CT 영상, MRI 영상, X-선 영상 등을 처리하는 것은 영상을 조작하고, 영상을 분석하며, 영상을 인식하고, 연상을 통신하는 등의 동작을 수반하여, 이러한 일련의 영상 처리의 동작들은 영상 처리 장치에 의해서 수행될 수 있다. 또한, 이러한 일련의 과정들(단계들)은 저장 매체 또는 기록 매체 등에 미리 프로그래밍되어, 소정의 장치(예컨대, 영상 처리 장치)에 의해서 구현될 경우 소정의 목적을 달성하도록 실행된다.
도 2a 및 도 2b에 도시된 본원 발명의 일 실시예에 따른 의료영상 데이터베이스에 기초하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하기 위한 방법을 구성하는 일련의 단계들(S210 내지 S240)은 또한 영상 처리 장치를 구성하는 하드웨어와 소프트웨어의 결합을 이용한 구체적인 수단에 의해서 수행되고, 본원 발명의 방법 단계들을 수행하도록 구성되는 영상 처리 장치의 구체적인 구성 및 설명은 이하의 도 6a 및 도 6b에서 보다 상술하기로 한다.
도 3은 본 발명의 일 실시예에 따른 정합 메커니즘을 설명하기 위한 개략도이다.
도 3의 (a)는 2차원 X-선 영상(31)에 3차원 CT 영상(32)의 예측 모델을 생성하는 개념도를 도시하고, 도 3의 (b)는 확보된 예측 모델을 기반으로 하여 비강체정합을 실시하는 개념도를 도시한다.
또한, 도 3의 (c)는 실시간 예측 데이터에 기초하여 비강체 정합된 영상을 예시적으로 도시한다. 도 3의 (c)에 도시된 바와 같이, 2차원 X-선 영상(31)에 3차원 CT 영상(32)의 비강체 정합이 수행된다.
이와 관련하여, 본 발명의 추가의 실시예에 따르면, 생성된 정합 예측 모델을 이용하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하는 단계(S240)는, 비강체 정합(non-rigid registration)을 이용하는 단계를 포함할 수 있다. 참고로, 비강체 정합의 구체적인 설명은 당업계에 공지된 바와 실질상 동일하므로 본 단락에서는 이를 생략하기로 한다.
도 4는 본 발명의 일 실시예에 따라 구축된 데이터베이스의 2차원 X-선 영상 및 3차원 CT 영상을 영역 분할하는 방법을 설명하기 위한 예시도이다.
본 발명의 일 실시예에 따른 영상 정합 방법은 구축된 데이터베이스의 2차원 X-선 영상 및 3차원 CT 영상을 각각 영역 분할하는 단계(S220)를 포함하는데, 이러한 영상 영역 분할 단계(S220)의 개념도가 도 4에 도시된다.
도 4에서는 심장의 한 주기를 10 페이즈/프레임(phase/frame)으로 영역 분할하는 예를 도시하였지만, 영상 영역 분할의 개수가 다양한 실시예들에 따라 가변될 수 있음은 명백할 것이다.
도 4의 상부 측에는 2차원 X-선 영상을 도시하고, 도 4의 하부 측에는 3차원 CT 영상을 도시하며, 도 4의 중간부에는 심장의 한 주기를 10 분할하여 도시하였다. 또한, 본 발명에 따른 실시예들의 용이한 이해를 위해, 10 분할된 영상 영역에 각각 0%, 10%, 20%, 30%, 40%, 50%, 60%, 70%, 80%, 90%를 각각 표시하였다.
이와 같이 영역 분할된 2차원 X-선 영상과 3차원 CT 영상은 정합 예측 모델을 생성하기 위한 소스(source)가 되며, 그에 대한 구체적인 설명은 다음과 같다.
도 5는 본 발명의 일 실시예에 따라 순환 신경망(RNN) 기반의 합성곱 신경망(CNN)을 통해 정합 예측 모델을 생성하는 플로우를 설명하기 위한 예시도이다.
참고로, 도 4에서 각각의 영상(2차원 X-선 영상 및 3차원 CT 영상)을 10 분할하는 것으로 예시하였으며, 그러므로 도 5에서도 동일한 예를 적용하면서 기술하기로 한다.
도 5에 도시된 바와 같이, 2차원 X-선 영상과 3차원 CT 영상의 분할 영상 0% 내지 90%로부터 합성곱 신경망(CNN; 51)을 이용하여 심장 혈관 영상만이 추출될 수 있다.
합성곱 신경망(CNN; Convolutional Neural Network)은 하나 또는 여러 개의 합성곱 레이어와 그 위에 올려진 일반적인 인공 신경망 레이어들로 이루어져 합성곱 레이어에서 전처리를 수행하는 구조를 갖는 신경망에 해당하며, 적용 예에 따라 컨볼루션 신경망, 회선 신경망, 뇌회로망 등으로 지칭될 수도 있다.
도 4에서 영역 분할된 각각의 2차원 X-선 영상 및 3차원 CT 영상에 합성곱 신경망(CNN)의 딥러닝 기술을 이용하여 기계 학습을 수행하면, 2차원 X-선 영상으로부터 그리고 3차원 CT 영상으로부터 각각 심장의 혈관 영상만이 추출될 수 있다.
참고로, 본 발명의 실시예들에는 합성곱 신경망(CNN)의 특징이 실질상 그대로 적용되므로, 본 단락에서는 합성곱 신경망(CNN)의 보다 상세한 설명은 생략하기로 한다.
2차원 X-선 영상 및 3차원 CT 영상으로부터 합성곱 신경망(CNN)을 이용하여 혈관 영상이 추출되면, 상기 추출된 혈관 영상 각각을 순환 신경망(RNN; 52)을 이용하여 기계 학습(machine training) 시킬 수 있다. 예컨대, 도 5에 도시된 바와 같이, 순환 신경망(RNN)을 이용한 기계 학습은, 추출된 혈관 영상 각각에 대해 LSTM(Long Short Term Memory)(53)을 적용하는 단계와, 상기 LSTM이 적용된 혈관 영상 각각에 예측 가중치(predicted weight)(54)를 부여하는 단계를 포함할 수 있다.
참고로, 순환 신경망(RNN; Recurrent Neural Network)은 현재의 데이터와 과거의 데이터를 동시에 고려하는 딥 러닝 기법으로서, 순환 신경망(RNN)은 인공 신경망을 구성하는 유닛 사이의 연결이 방향성 사이클(directed cycle)을 구성하는 신경망을 나타낸다.
참고로, 순환 신경망(RNN)은 임의의 입력을 처리하기 위해서 신경망 내부의 메모리를 활용할 수 있고, 이러한 특징에 의해 순환 신경망(RNN)은 필기체 인식 등의 분야에서 활용되며 높은 인식률을 갖는 장점이 있다.
순환 신경망(RNN)을 구성할 수 있는 구조에는 다양한 방식이 사용될 수 있는데, 예컨대 완전순환망(Fully Recurrent Network), 홉필드망(Hopfield Network), 엘만망(Elman Network), ESN(Echo state network), LSTM(Long short term memory network), 양방향(Bi-directional) RNN, CTRNN(Continuous-time RNN), 계층적 RNN, 2차 RNN 등이 대표적인 예이다. 또한, 순환 신경망(RNN)을 학습시키기 위한 방법으로서, 경사 하강법, Hessian Free Optimization, Global Optimization Method 등의 방식이 사용될 수 있다.
도 5에 도시된 바와 같이, 본 발명의 실시예에 따른 기계 학습은 여러 순환 신경망(RNN) 방식들 중에서 LSTM(장단기 기억)에 의해 구현됨을 예시한다. LSTM의 경우 장기 의존성(long-term dependencies)을 학습할 수 있는 특별한 종류의 순환 신경망(RNN)에 해당하며, LSTM(53)이 적용된 각각의 혈관 영상에 예측 가중치(54)가 부여될 수 있다.
그러므로, 특정 시간(예컨대, t)의 영상은 순환 신경망(RNN) 기반의 합성곱 신경망(CNN)을 이용하여 기계 학습됨으로써, 상기 특정 시간 전(예컨대, t-1)/후(예컨대, t+1) 시간의 영상에 대한 정보를 예측 가중치의 비율만큼 또한 포함할 수 있으며, 이는 종래 방식의 영상 정합 방식이 특정 시간에 대한 영상 정보만을 포함하는 것과는 명백하게 대비된다.
도 6a는 본 발명의 일 실시예에 따른 영상 데이터베이스 기반 2차원 X-선 영상 및 3차원 CT 영상의 실시간 정합 방법을 구현하도록 구성되는 영상 처리 장치(600)의 블록도이고, 도 6b는 도 6a의 정합예측모델 생성유닛(633)의 세부 블록도이다.
참고로, 도 2a 및 도 2b에 도시된 본원 발명의 일 실시예에 따른 의료영상 데이터베이스에 기초하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하기 위한 방법을 구성하는 일련의 단계들(S210 내지 S240)은 컴퓨터에서 실행될 수 있는 프로그램으로서 작성가능하고, 예컨대 컴퓨터는 영상 처리 장치로서 구현될 수 있으며, 컴퓨터 판독가능한 기록매체를 이용해 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있으며, 도 6a는 본 발명의 일 실시예에 따른 영상 데이터베이스 기반 2차원 X-선 영상 및 3차원 CT 영상의 실시간 정합 방법을 구현하도록 구성되는 영상 처리 장치(600)의 블록도를 도시한다.
도 6a에 도시된 바와 같이, 본원 발명의 일 실시예에 따른 영상 처리 장치(600)는 제어부(610)와, 영상수신부(620)와, 영상처리부(630)와, 그리고 디스플레이부(640)를 포함할 수 있다.
참고로, 도 6a에 도시된 블록도의 영상 처리 장치(600)의 각 엘리먼트들은 본원 발명의 용이한 이해를 위한 일 예에 불과할 뿐, 도 6a에 도시된 엘리먼트 이외의 엘리먼트가 영상 처리 장치(600)에 추가적으로 포함될 수 있음은 명백할 것이다.
영상수신부(620)는 2차원 X-선 영상 및 3차원 CT 영상을 수신하도록 구성될 수 있다. 예컨대, S210에서 2차원 X-선 영상과 3차원 CT 영상의 데이터베이스를 구축하기 위해서는 이들 영상을 수신해야 하는데, 상기 영상수신부(620)를 통해 해당 영상들을 수신하는 것이 가능하다.
영상처리부(630)는 영상수신부(620)를 통해 수신된 심장 영상을 처리하도록 구성될 수 있다. 보다 구체적으로, 도 6a에 도시된 바와 같이, 본원 발명의 일 실시예에 따른 영상처리부(630)는 데이터베이스 구축유닛(631), 영역분할유닛(632), 정합예측모델 생성유닛(633) 및 영상정합유닛(634)을 포함할 수 있다.
상기 데이터베이스 구축유닛(631)은 2차원 X-선 영상 및 3차원 CT 영상의 데이터베이스를 구축하도록 구성될 수 있다. 또한, 상기 영역분할유닛(632)은 상기 구축된 데이터베이스의 2차원 X-선 영상 및 3차원 CT 영상을 각각 영역 분할하도록 구성될 수 있다. 또한, 상기 정합예측모델 생성유닛(633)은 상기 영역 분할된 2차원 X-선 영상 및 3차원 CT 영상을 이용하여 정합 예측 모델을 생성하도록 구성될 수 있다. 또한, 상기 영상정합유닛(634)은 상기 생성된 정합 예측 모델을 이용하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하도록 구성될 수 있다.
이와 관련하여, 상기 정합예측모델 생성유닛(633)은, 도 6b에 도시된 바와 같이, 2차원 X-선 영상 및 3차원 CT 영상으로부터 합성곱 신경망(CNN)을 이용하여 혈관 영상을 각각 추출하도록 구성되는 혈관영상 추출유닛(633a); 상기 추출된 혈관 영상 각각을 순환 신경망(RNN)을 이용하여 기계 학습시키도록 구성되는 기계학습유닛(633b); 및 상기 기계 학습된 혈관 영상들에 기초하여 정합 예측 모델을 구축하도록 구성되는 정합예측모델 구축유닛(633c)으로 구성될 수 있다.
영상처리부(630)의 각각의 유닛들(631, 632, 633, 634)의 구체적인 동작 및 설명은 도 2 내지 도 5와 관련하여 설명한 바와 실질상 동일하므로 본 단락에서는 중복적인 설명은 생략하도록 한다.
여기서, 상기 영상정합유닛(634)에 의해 X-선 영상과 CT 영상이 정합되면, 정합된 영상이 디스플레이부(640)로 전달되어 상기 디스플레이부(640)에 의해서 정합 영상이 디스플레이될 수 있다. 즉, 상기 디스플레이부(640)는 정합된 2D X-선 영상 및 3D CT 영상을 출력하도록 구성될 수 있다.
또한, 상기 제어부(610)는 영상수신부(620), 영상처리부(630) 및 디스플레이부(640)를 총괄적으로 제어하도록 구성될 수 있다. 예컨대, 상기 제어부(610)는 단일의 제어기(controller)로서 구현될 수 있거나, 또는 복수의 마이크로제어기(micro-controller)로서 구현될 수도 있다.
그러므로, 본 발명의 일 실시예에 따른 의료영상 데이터베이스에 기초하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하기 위한 방법 및 그 영상 처리 장치에 의하면, 2차원 X-선 영상과 3차원 CT 영상을 지연 없이 실시간으로 정합하는 것이 가능하게 된다.
또한, 본 발명의 일 실시예에 따른 의료영상 데이터베이스에 기초하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하기 위한 방법 및 그 영상 처리 장치에 의하면, 2차원 X-선 영상과 3차원 CT 영상의 실시간 정합을 구현함으로써 환자의 상태에 따른 정밀 치료를 가능하게 한다.
또한, 본 발명의 일 실시예에 따른 의료영상 데이터베이스에 기초하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하기 위한 방법 및 그 영상 처리 장치에 의하면, 빅데이터 의료 영상을 기반으로 하므로 강인성을 확보할 수 있고 순환 신경망(RNN) 기반의 합성곱 신경망(CNN)을 통해 정확한 정합 예측 모델을 확보함으로써 기술의 정확도를 향상시킬 수 있다.
상술한 본 발명의 일 실시 예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 판독 가능한 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
31: 2차원 X-선 영상 32: 3차원 CT 영상
51: 합성곱 신경망 52:순환 신경망
53: LSTM 54: 예측 가중치
600: 영상 처리 장치 610: 제어부
620: 영상 수신부 630: 영상 처리부
631: 데이터베이스 구축유닛 632: 영역분할유닛
633: 정합예측모델 생성유닛 633a: 혈관영상 추출유닛
633b: 기계학습유닛 633c: 정합예측모델 구축유닛
634: 영상정합유닛 640: 디스플레이부
51: 합성곱 신경망 52:순환 신경망
53: LSTM 54: 예측 가중치
600: 영상 처리 장치 610: 제어부
620: 영상 수신부 630: 영상 처리부
631: 데이터베이스 구축유닛 632: 영역분할유닛
633: 정합예측모델 생성유닛 633a: 혈관영상 추출유닛
633b: 기계학습유닛 633c: 정합예측모델 구축유닛
634: 영상정합유닛 640: 디스플레이부
Claims (8)
- 영상 처리 장치에 의해 수행되는 의료영상 데이터베이스에 기초하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하기 위한 방법으로서,
2차원 X-선 영상 및 3차원 CT 영상의 데이터베이스(DB; database)를 구축하는 단계;
상기 구축된 데이터베이스의 2차원 X-선 영상 및 3차원 CT 영상을 각각 영역 분할하는 단계;
상기 영역 분할된 2차원 X-선 영상 및 3차원 CT 영상을 이용하여 정합 예측 모델(registration prediction model)을 생성하는 단계; 및
상기 생성된 정합 예측 모델을 이용하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하는 단계
를 포함하는,
의료영상 데이터베이스에 기초하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하기 위한 방법. - 제 1 항에 있어서,
상기 생성된 정합 예측 모델을 이용하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하는 단계는, 비강체(non-rigid) 정합을 이용하는 단계를 포함하는,
의료영상 데이터베이스에 기초하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하기 위한 방법. - 제 2 항에 있어서,
상기 영역 분할된 2차원 X-선 영상 및 3차원 CT 영상을 이용하여 정합 예측 모델(registration prediction model)을 생성하는 단계는,
2차원 X-선 영상 및 3차원 CT 영상으로부터 합성곱 신경망(CNN)을 이용하여 혈관 영상을 각각 추출하는 단계;
상기 추출된 혈관 영상 각각을 순환 신경망(RNN)을 이용하여 기계 학습(machine training)시키는 단계; 및
상기 기계 학습된 혈관 영상들에 기초하여 정합 예측 모델을 구축하는 단계
를 포함하는,
의료영상 데이터베이스에 기초하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하기 위한 방법. - 제 3 항에 있어서,
상기 추출된 혈관 영상 각각을 순환 신경망(RNN)을 이용하여 기계 학습시키는 단계는,
상기 추출된 혈관 영상 각각에 대해 LSTM(Long Short Term Memory)을 적용하는 단계; 및
상기 LSTM이 적용된 혈관 영상 각각에 예측 가중치(predicted weight)를 부여하는 단계
를 포함하는,
의료영상 데이터베이스에 기초하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하기 위한 방법. - 제 1 항 내지 제 4 항 중 어느 한 항에 따른 방법을 수행하도록 구성되는 영상 처리 장치로서,
심장의 2D X-선 영상 및 3D CT 영상을 수신하도록 구성되는 영상 수신부와,
상기 영상 수신부에서 수신된 심장 영상을 처리하도록 구성되는 영상 처리부와,
상기 영상 처리부에서 정합 처리된 2D X-선 영상 및 3D CT 영상을 디스플레이하도록 구성되는 디스플레이부와, 그리고
상기 영상 수신부, 상기 영상 처리부 및 상기 디스플레이부를 제어하도록 구성되는 제어부
를 포함하고,
상기 영상 처리부는,
2차원 X-선 영상 및 3차원 CT 영상의 데이터베이스를 구축하도록 구성되는 데이터베이스 구축유닛;
상기 구축된 데이터베이스의 2차원 X-선 영상 및 3차원 CT 영상을 각각 영역 분할하도록 구성되는 영역분할유닛;
상기 영역 분할된 2차원 X-선 영상 및 3차원 CT 영상을 이용하여 정합 예측 모델을 생성하도록 구성되는 정합예측모델 생성유닛; 및
상기 생성된 정합 예측 모델을 이용하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하도록 구성되는 영상정합유닛
을 포함하는,
영상 처리 장치. - 제 5 항에 있어서,
상기 영상정합유닛은, 비강체 정합을 이용하여 2차원 X-선 영상 및 3차원 CT 영상을 실시간으로 정합하도록 구성되는,
영상 처리 장치. - 제 6 항에 있어서,
상기 정합예측모델 생성유닛은,
2차원 X-선 영상 및 3차원 CT 영상으로부터 합성곱 신경망(CNN)을 이용하여 혈관 영상을 각각 추출하도록 구성되는 혈관영상 추출유닛;
상기 추출된 혈관 영상 각각을 순환 신경망(RNN)을 이용하여 기계 학습시키도록 구성되는 기계학습유닛; 및
상기 기계 학습된 혈관 영상들에 기초하여 정합 예측 모델을 구축하도록 구성되는 정합예측모델 구축유닛
을 포함하는,
영상 처리 장치. - 제 7 항에 있어서,
상기 기계학습유닛은,
상기 추출된 혈관 영상 각각에 대해 LSTM(Long Short Term Memory)을 적용하고, 그리고 상기 LSTM이 적용된 혈관 영상 각각에 예측 가중치(predicted weight)를 부여하도록 구성되는,
영상 처리 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170025971A KR101929412B1 (ko) | 2017-02-28 | 2017-02-28 | 영상 데이터베이스 기반 2차원 x-선 영상 및 3차원 ct 영상의 실시간 정합 방법 및 그 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170025971A KR101929412B1 (ko) | 2017-02-28 | 2017-02-28 | 영상 데이터베이스 기반 2차원 x-선 영상 및 3차원 ct 영상의 실시간 정합 방법 및 그 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180099039A KR20180099039A (ko) | 2018-09-05 |
| KR101929412B1 true KR101929412B1 (ko) | 2018-12-14 |
Family
ID=63594352
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170025971A KR101929412B1 (ko) | 2017-02-28 | 2017-02-28 | 영상 데이터베이스 기반 2차원 x-선 영상 및 3차원 ct 영상의 실시간 정합 방법 및 그 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101929412B1 (ko) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102039146B1 (ko) * | 2019-03-21 | 2019-10-31 | 주식회사 루닛 | 멀티 도메인 앙상블 학습 방법 및 그 장치 |
| US11557038B2 (en) | 2019-10-17 | 2023-01-17 | Electronics And Telecommunications Research Institute | Apparatus and method for x-ray data generation |
| KR102372046B1 (ko) * | 2020-03-12 | 2022-03-11 | 숭실대학교 산학협력단 | 인공지능 기술을 이용한 혈관 구조 추출 방법, 이를 수행하기 위한 기록 매체 및 장치 |
| KR102450409B1 (ko) * | 2020-10-28 | 2022-10-05 | 주식회사 뷰노 | 의료 영상 기반의 세그먼테이션 방법 |
| KR102639985B1 (ko) * | 2021-02-24 | 2024-02-27 | 서울대학교병원 | 혈액을 전달하는 신체 구성요소를 분할하는 방법 및 장치 |
| KR102383753B1 (ko) * | 2021-06-10 | 2022-04-08 | 메디컬아이피 주식회사 | 의료영상 정합 방법 및 그 장치 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100086182A1 (en) | 2008-10-07 | 2010-04-08 | Hui Luo | Diagnostic image processing with automatic self image quality validation |
| US20150289848A1 (en) | 2014-04-14 | 2015-10-15 | Korea Advanced Institute Of Science And Technology | Method and apparatus for registration of medical images |
| KR101652641B1 (ko) | 2015-06-05 | 2016-09-12 | 숭실대학교산학협력단 | Ecg 신호를 이용한 영상 정합 장치 및 그 방법 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101485900B1 (ko) | 2013-04-02 | 2015-01-26 | 연세대학교 산학협력단 | 방사선 불투과성 반구형 입체 표지를 기반으로 하는 ct 혈관 조영 영상과 x-선 혈관 조영 영상 간의 정합 방법 |
-
2017
- 2017-02-28 KR KR1020170025971A patent/KR101929412B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100086182A1 (en) | 2008-10-07 | 2010-04-08 | Hui Luo | Diagnostic image processing with automatic self image quality validation |
| US20150289848A1 (en) | 2014-04-14 | 2015-10-15 | Korea Advanced Institute Of Science And Technology | Method and apparatus for registration of medical images |
| KR101652641B1 (ko) | 2015-06-05 | 2016-09-12 | 숭실대학교산학협력단 | Ecg 신호를 이용한 영상 정합 장치 및 그 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180099039A (ko) | 2018-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101929412B1 (ko) | 영상 데이터베이스 기반 2차원 x-선 영상 및 3차원 ct 영상의 실시간 정합 방법 및 그 장치 | |
| US11847781B2 (en) | Systems and methods for medical acquisition processing and machine learning for anatomical assessment | |
| CN111724904B (zh) | 用于针对医学扫描的患者建模的多任务渐进式网络 | |
| Khan et al. | Deep neural architectures for medical image semantic segmentation | |
| US10997466B2 (en) | Method and system for image segmentation and identification | |
| JP6657132B2 (ja) | 画像分類装置、方法およびプログラム | |
| Liang et al. | United snakes | |
| US10803354B2 (en) | Cross-modality image synthesis | |
| EP3611699A1 (en) | Image segmentation using deep learning techniques | |
| US10685438B2 (en) | Automated measurement based on deep learning | |
| CN107787203B (zh) | 图像配准 | |
| US20200242744A1 (en) | Forecasting Images for Image Processing | |
| KR102352841B1 (ko) | 혈관 지도 구축 장치, 방법 및 상기 방법을 실행하기 위한 컴퓨터 프로그램 | |
| US10390888B2 (en) | Intravascular catheter for modeling blood vessels | |
| Kim et al. | Automatic segmentation of the left ventricle in echocardiographic images using convolutional neural networks | |
| US20180310830A1 (en) | Intravascular catheter including markers | |
| US11200671B2 (en) | Reference image guided object detection in medical image processing | |
| US8781188B2 (en) | Method and device for displaying changes in medical image data | |
| AU2019204365B1 (en) | Method and System for Image Segmentation and Identification | |
| EP3896658A1 (en) | Creating a synthetic medical image | |
| Amor | Bone segmentation and extrapolation in Cone-Beam Computed Tomography | |
| Rodríguez Prado | Automatic cardiac segmentation by fusing deep learning models | |
| Ta | Multi-Task Learning for Cardiac Motion Analysis and Segmentation in Echocardiography | |
| WO2024064997A1 (en) | System and method for coronary vascular diagnosis and prognosis with a biomechanical stress profiling index | |
| CN114359207A (zh) | 颅内血管分割方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |