KR102278893B1 - 의료영상처리장치 및 이를 이용한 의료영상정합방법 - Google Patents

의료영상처리장치 및 이를 이용한 의료영상정합방법 Download PDF

Info

Publication number
KR102278893B1
KR102278893B1 KR1020140168051A KR20140168051A KR102278893B1 KR 102278893 B1 KR102278893 B1 KR 102278893B1 KR 1020140168051 A KR1020140168051 A KR 1020140168051A KR 20140168051 A KR20140168051 A KR 20140168051A KR 102278893 B1 KR102278893 B1 KR 102278893B1
Authority
KR
South Korea
Prior art keywords
medical image
reference point
image
medical
estimating
Prior art date
Application number
KR1020140168051A
Other languages
English (en)
Other versions
KR20160064442A (ko
Inventor
정자연
방원철
류지원
오영택
장정우
김정배
이경준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140168051A priority Critical patent/KR102278893B1/ko
Priority to US14/823,059 priority patent/US9990725B2/en
Publication of KR20160064442A publication Critical patent/KR20160064442A/ko
Application granted granted Critical
Publication of KR102278893B1 publication Critical patent/KR102278893B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S128/00Surgery
    • Y10S128/916Ultrasound 3-D imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Quality & Reliability (AREA)

Abstract

개시된 실시예는 정합하고자 하는 복수의 의료영상 중 정합 기준점이 나타나 있지 않은 의료영상에서 가상 기준점을 추정하여 의료영상을 정합하는 의료영상처리장치 및 의료영상정합방법을 제공한다. 일 실시예에 따른 의료영상정합방법은 제1의료영상과 제2의료영상에 정합을 위한 기준점이 존재하는지 결정하는 단계; 상기 기준점이 존재하지 않는 의료영상에서 대상체의 해부학적 정보를 이용하여 상기 기준점에 대응하는 가상 기준점을 추정하는 단계; 및 상기 추정된 가상 기준점을 이용하여 상기 제1의료영상과 제2의료영상을 정합하는 단계;를 포함한다.

Description

의료영상처리장치 및 이를 이용한 의료영상정합방법{MEDICAL IMAGE PROCESSING APPARATUS AND MEDICAL IMAGE REGISTRATION METHOD USING THE SAME }
의료영상을 정합하는 의료영상처리장치 및 이를 이용한 의료영상정합방법에 관한 것이다.
의료 기구의 미세한 조작이 가능해 짐에 따라서, 시술 부위를 노출시키기 위한 절개를 하지 않고도 피부에 작은 구멍을 만든 뒤 혈관 혹은 기타 원하는 신체 부위에 직접 카테터나 의료용 바늘을 넣고 의료 영상 장비로 몸속을 관찰하면서 치료하는 방법이 개발되고 있다.
시술자는 장기나 병변의 위치를 영상을 통해 파악하고,시술을 하는 동안 환자의 호흡이나 움직임에 의한 변화를 파악해야 한다. 따라서 시술자는 실시간 영상을 토대로 호흡이나 움직임을 정확하고 빠르게 파악하여 시술을 시행해야 하는데, 이 때 초음파 실시간 영상에서 장기와 병변의 형상을 육안으로 파악하기 쉽지 않다.
개시된 실시예는 정합하고자 하는 복수의 의료영상 중 정합 기준점이 나타나 있지 않은 의료영상에서 가상 기준점을 추정하여 의료영상을 정합하는 의료영상처리장치 및 의료영상정합방법을 제공한다.
일 실시예에 따른 의료영상정합방법은 제1의료영상과 제2의료영상에 정합을 위한 기준점이 존재하는지 결정하는 단계; 상기 기준점이 존재하지 않는 의료영상에서 대상체의 해부학적 정보를 이용하여 상기 기준점에 대응하는 가상 기준점을 추정하는 단계; 및 상기 추정된 가상 기준점을 이용하여 상기 제1의료영상과 제2의료영상을 정합하는 단계;를 포함한다.
또한, 상기 가상 기준점을 추정하는 단계는, 상기 제1의료영상과 제2의료영상에 정합을 위한 기준점이 존재하지 않는 경우, 상기 제1의료영상과 제2의료영상에서 상기 기준점과 관련된 주변조직을 결정하는 단계; 상기 제1의료영상과 제2의료영상에서, 상기 결정된 주변조직과 상기 기준점 간의 해부학적 구조에 기초하여 상기 주변조직으로부터 상기 기준점에 대응하는 가상 기준점을 각각 추정하는 단계;를 포함한다.
또한, 상기 가상 기준점을 추정하는 단계는, 상기 제1의료영상과 제2의료영상에 정합을 위한 기준점이 존재하지 않는 경우, 상기 제1의료영상과 제2의료영상에서 상기 기준점과 관련된 주변조직을 결정하는 단계; 상기 제1의료영상과 제2의료영상에서, 미리 학습된 상기 주변조직에 대한 형상정보 또는 상기 주변조직과 상기 기준점 간의 기하학적 정보를 이용하여 상기 가상 기준점을 각각 추정하는 단계;를 포함한다.
또한, 상기 제1의료영상과 제2의료영상을 정합하는 단계는, 상기 추정된 제1의료영상과 제2의료영상의 가상 기준점을 이용하여 상기 제1의료영상과 제2의료영상을 정합하는 것을 포함한다.
또한, 상기 가상 기준점을 추정하는 단계는, 상기 제1의료영상과 제2의료영상 중 제1의료영상에만 정합을 위한 기준점이 존재하는 경우, 상기 기준점이 존재하지 않는 제2의료영상에서 상기 기준점과 관련된 주변조직을 결정하는 단계; 상기 결정된 주변조직과 상기 기준점 간의 해부학적 구조에 기초하여 상기 주변조직으로부터 상기 기준점에 대응하는 가상 기준점을 추정하는 단계;를 포함한다.
또한, 상기 가상 기준점을 추정하는 단계는, 상기 제1의료영상과 제2의료영상 중 제1의료영상에만 정합을 위한 기준점이 존재하는 경우, 상기 기준점이 존재하지 않는 제2의료영상에서 상기 기준점과 관련된 주변조직을 결정하는 단계; 미리 학습된 상기 결정된 주변조직에 대한 형상정보 또는 상기 주변조직과 상기 기준점 간의 기하학적 정보를 이용하여 상기 가상 기준점을 추정하는 단계;를 포함한다.
또한, 상기 제1의료영상과 제2의료영상을 정합하는 단계는, 상기 제1의료영상의 기준점과 상기 제2의료영상의 추정된 가상 기준점을 이용하여 상기 제1의료영상과 제2의료영상을 정합하는 것을 포함한다.
일 실시예에 따른 의료영상처리장치는 제1의료영상장치 및 제2의료영상장치로부터 대상체에 대한 제1의료영상 및 제2의료영상을 수신하는 통신부; 및 제1의료영상과 제2의료영상 중 정합을 위한 기준점이 나타나 있지 않은 의료영상에서 대상체의 해부학적 정보를 이용하여 상기 기준점에 대응하는 가상 기준점을 추정하고, 상기 가상 기준점을 이용하여 상기 제1의료영상과 제2의료영상을 정합하는 영상처리부;를 포함한다.
또한, 상기 영상처리부는 상기 제1의료영상에만 기준점이 존재하면, 상기 제2의료영상에서 대상체의 해부학적 정보를 이용하여 상기 기준점에 대응하는 가상 기준점을 추정하고 상기 제1의료영상의 기준점과 제2의료영상의 가상 기준점을 이용하여 상기 제1의료영상과 제2의료영상을 정합한다.
또한, 상기 영상처리부는 상기 제2의료영상에서 상기 기준점과 관련된 주변조직을 결정하고, 상기 결정된 주변조직과 상기 기준점 간의 해부학적 구조에 기초하여 상기 주변조직으로부터 상기 기준점에 대응하는 상기 가상 기준점을 추정한다.
또한, 상기 영상처리부는 상기 결정된 주변조직과 상기 기준점 간의 해부학적 관계에 기초하여 상기 주변조직과 상기 기준점 사이의 기하학적 구조를 결정하고, 상기 결정된 기하학적 구조를 이용하여 상기 기준점에 대응하는 상기 가상 기준점을 추정한다.
또한, 상기 영상처리부는 미리 학습된 상기 주변조직에 대한 형상정보 또는 상기 주변조직과 상기 기준점 간의 기하학적 정보를 이용하여 상기 기준점에 대응하는 상기 가상 기준점을 추정한다.
또한, 상기 영상처리부는 상기 제1의료영상과 제2의료영상에 기준점이 존재하지 않으면, 상기 제1의료영상과 제2의료영상에서 대상체의 해부학적 정보를 이용하여 상기 기준점에 대응하는 가상 기준점을 각각 추정하고 상기 추정된 각각의 가상 기준점을 이용하여 상기 제1의료영상과 제2의료영상을 정합한다.
또한, 상기 영상처리부는 상기 제1의료영상과 제2의료영상에서 상기 기준점과 관련된 주변조직을 결정하고, 상기 결정된 주변조직과 상기 기준점 간의 해부학적 관계에 기초하여 상기 주변조직으로부터 상기 기준점에 대응하는 상기 제1의료영상과 제2의료영상의 가상 기준점을 추정한다.
또한, 상기 영상처리부는 상기 결정된 주변조직과 상기 기준점 간의 해부학적 관계에 기초하여 상기 주변조직과 상기 기준점 사이의 기하학적 구조를 결정하고, 상기 결정된 기하학적 구조를 이용하여 상기 기준점에 대응하는 상기 제1의료영상과 제2의료영상의 가상 기준점을 추정한다.
또한, 상기 영상처리부는 미리 학습된 상기 결정된 주변조직에 대한 형상정보 또는 상기 주변조직과 상기 기준점 간의 기하학적 정보를 이용하여 상기 기준점에 대응하는 상기 제1의료영상과 제2의료영상의 가상 기준점을 추정한다.
또한, 상기 정합된 제1의료영상과 제2의료영상을 표시하는 디스플레이부;를 더 포함한다.
일 실시예에 따른 의료영상정합방법은 제1의료영상에서 기준점을 결정하는 단계; 상기 기준점이 나타나 있지 않은 제2의료영상에서 대상체의 해부학적 정보를 이용하여 상기 기준점에 대응하는 가상 기준점을 추정하는 단계; 및 상기 기준점과 가상 기준점을 이용하여 상기 제1의료영상과 제2의료영상을 정합하는 단계;를 포함한다.
또한, 상기 가상 기준점을 추정하는 단계는, 상기 기준점과 관련된 주변조직을 결정하는 단계; 및 상기 결정된 주변조직과 상기 기준점 간의 해부학적 구조에 기초하여 상기 주변조직으로부터 상기 기준점에 대응하는 상기 가상 기준점을 추정하는 단계;를 포함한다.
또한, 상기 주변조직으로부터 상기 기준점에 대응하는 상기 가상 기준점을 추정하는 단계는, 상기 결정된 주변조직과 상기 기준점 간의 해부학적 관계에 기초하여 상기 주변조직과 상기 기준점 사이의 기하학적 구조를 결정하고; 상기 결정된 기하학적 구조를 이용하여 상기 기준점에 대응하는 상기 가상 기준점을 추정하는 단계;를 포함한다.
또한, 상기 주변조직으로부터 상기 기준점에 대응하는 상기 가상 기준점을 추정하는 단계는, 미리 학습된 상기 주변조직에 대한 형상정보 또는 상기 주변조직과 상기 기준점 간의 기하학적 정보를 이용하여 상기 가상 기준점을 추정하는 단계;를 포함한다.
복수 개의 의료 영상 중 어느 하나에 정합을 위한 기준점이 존재하지 않아도 의료영상을 정합할 수 있다.
도 1은 일 실시예에 따른 의료 영상 처리 시스템을 도시한 도면이다.
도 2는 일 실시예에 따른 의료영상처리장치의 구성을 나타낸 블럭도이다.
도 3a 내지 도 3c은 기준점이 나타나있지 않은 제2의료영상에서 해부학적 구조를 이용하여 가상 기준점을 추정하는 것을 나타낸 도면이다.
도 4a 내지 도 4c은 기준점이 나타나있지 않은 다른 제2의료영상에서 해부학적 구조를 이용하여 가상 기준점을 추정하는 것을 나타낸 도면이다.
도 5a 및 도 5b는 배꼽과 간 사이의 기하학적 정보를 이용하여 기준점인 배꼽이 나타나있지 않은 의료영상에서 가상 기준점을 추정하는 것을 나타낸 도면이다.
도 6a 및 도 6b는 명치와 간 사이의 기하학적 정보를 이용하여 기준점인 명치가 나타나있지 않은 의료영상에서 가상 기준점을 추정하는 것을 나타낸 도면이다.
이하 첨부된 도면을 참조하여 본 발명의 개시된 실시예에 대해 구체적으로 설명한다.
도 1은 일 실시예에 따른 의료 영상 처리 시스템을 도시한 도면이다.
도 1을 참조하면 영상 처리 시스템(100)은 제1의료장치(110), 제2의료 장치(120), 검출 장치(130), 의료영상처리장치(140) 및 디스플레이부(150)를 포함한다.
일 실시예에 따르면, 제1의료장치는 환자에 대한 중재적 의료 시술 과정에서 영상을 생성하는 장치일 수 있다. 제1의료장치는 초음파 영상 장치 또는 OCT(optical coherence tomography) 등의 의료 장치일 수 있으며 또한, CT(computed tomography) 영상 장치, MR(magnetic resonance) 영상 장치, 엑스선(X-ray) 영상 장치, SPECT(single photon emission computed tomography) 영상장치, PET(positron emission tomography) 영상장치, C-arm 영상장치 중 어느 하나일 수 있다.
제2의료장치는 OCT(optical coherence tomography), CT(computed tomography) 영상 장치, MR(magnetic resonance) 영상 장치, SPECT(single photon emission computed tomography) 영상장치, PET(positron emission tomography) 영상장치, C-arm 영상장치 중 어느 하나일 수 있다. 개시된 실시예에 따른 제1의료장치와 제2의료장치는 서로 다른 의료장치일 수 있다. 예를 들면, 제1의료장치는 초음파 영상장치이고, 제2의료장치는 CT영상장치일 수 있다. 이하 초음파 영상장치를 제1의료장치의 일 예로, CT영상장치를 제2의료장치의 일 예로 들어 설명한다.
초음파 영상장치는 초음파 프로브(111)를 이용하여 초음파를 대상체에 조사하고, 반사되는 초음파를 검출함으로써 초음파 영상을 생성한다. 초음파 프로브는 초음파를 생성하는 트랜스듀서를 포함한다. 트랜스듀서는 1차원 또는 2차원 어레이 형태로 마련될 수 있다.
트랜스듀서 어레이는 트랜스듀서 어레이에 인가되는 펄스 신호 또는 교류 전류에 의해 진동하면서 초음파를 생성한다. 생성된 초음파는 대상체 내부의 목표 부위로 송신된다. 트랜스듀서 어레이에서 발생된 초음파는 대상체 내부의 목표 부위에서 반사되어 다시 트랜스듀서 어레이로 돌아온다. 트랜스듀서 어레이는 목표 부위에서 반사되어 돌아오는 에코 초음파를 수신한다. 에코 초음파가 트랜스듀서 어레이에 도달하면 트랜스듀서 어레이는 에코 초음파의 주파수에 상응하는 소정의 주파수로 진동하면서, 트랜스듀서 어레이의 진동 주파수에 상응하는 주파수의 교류 전류를 출력한다. 이에 따라 트랜스듀서 어레이는 수신한 에코 초음파를 소정의 전기적 신호로 변환할 수 있게 된다. 트랜스듀서 어레이를 구성하는 엘리먼트는 압전 진동자나 박막을 포함할 수 있다. 압전 진동자나 박막은 전원으로부터 교류 전류가 인가되면, 인가되는 교류 전류에 따라 소정의 주파수로 진동하고, 진동하는 주파수에 따라 소정 주파수의 초음파를 생성한다. 반대로 압전 진동자나 박막은 소정 주파수의 에코 초음파가 압전 진동자나 박막에 도달하면, 에코 초음파에 따라 진동하여, 진동 주파수에 대응하는 주파수의 교류 전류를 출력한다. 초음파 트랜스듀서는 자성체의 자왜효과를 이용하는 자왜 초음파 트랜스듀서(Magnetostrictive Ultrasonic Transducer), 압전 물질의 압전 효과를 이용한 압전 초음파 트랜스듀서(Piezoelectric Ultrasonic Transducer) 및 미세 가공된 수백 또는 수천 개의 박막의 진동을 이용하여 초음파를 송수신하는 정전용량형 미세가공 초음파 트랜스듀서(Capacitive Micromachined Ultrasonic Transducer; cMUT) 중 어느 하나로 구현될 수 있다. 또한 이외에 전기적 신호에 따라 초음파를 생성하거나 또는 초음파에 따라 전기적 신호를 생성할 수 있는 다른 종류의 트랜스듀서들 역시 초음파 트랜스듀서의 일례가 될 수 있다.
초음파 영상장치는 트랜스듀서 어레이에서 생성된 초음파 신호를 집속하여 대상체 내부의 목표부위에 대한 초음파 영상신호를 생성한다. 초음파 영상장치는 생성된 초음파 영상신호를 B-모드나 도플러 모드 등의 진단 모드에 따른 초음파 영상 정보로 변환하고 변환된 초음파 영상 정보를 디스플레이부에 표시하기 위한 일반 비디오 신호로 변환한다. 초음파 영상장치는 3차원 영상을 표시하기 위해 비디오 신호를 기초로 볼륨 렌더링(volume rendering)을 수행하고, 렌더링된 영상 정보를 보정하여 최종적인 결과 영상을 생성한 후 생성된 결과 영상을 초음파 영상장치의 디스플레이부로 전송할 수도 있다. 전술한 초음파 영상 장치는 대상체의 관심 볼륨에 대하여 실시간으로 제1 의료 영상을 제공할 수 있다. 다시 말해 제1의료영상은 대상체의 신체 활동에 따른 장기의 변형과 변위가 발생되면, 실시간으로 이러한 변화를 나타낼 수 있다. 그러나, 제1 의료 영상에 나타나는 장기와 병변은 CT영상이나 MR영상에 비해 명확하지 않은 경우가 있고 이로 인해, 장기의 변형과 변위를 제1 의료 영상만으로 파악하는데 어려움이 있다.
한편, 제2의료장치는 대상체의 관심 볼륨(VOI: Volume of Interest)에 대한 제2의료영상을 생성할 수 있고, 제2의료영상은 의료 시술 이전에 미리 촬영되어 저장될 수 있다. 제2의료장치에서 생성한 CT 영상의 경우 장기의 위치나 병변의 위치가 명확하게 구별이 되는 장점이 있다. 하지만 CT(computed tomography)영상이나 MR(magnetic resonance)영상은 시술하는 동안 환자가 호흡을 하거나 뒤척일 때 장기가 변형되거나 위치가 변할 수 있는데, 이러한 환자의 움직임에 따른 장기의 변형과 변위를 영상에 실시간으로 반영할 수 없다.
전술한 것처럼, 초음파 영상은 실시간으로 획득될 수 있으나 CT 영상 또는 MR영상에 비해 장기와 병변을 명확히 나타내지 못하는 문제가 있고, CT 영상 또는 MR영상은 초음파 영상에 비해 장기와 병변을 명확히 나타낼 수 있지만, 의료 시술 중 실시간으로 획득될 수 없기 때문에, 의료 시술 중 발생되는 환자의 호흡과 움직임이 반영되지 않는 단점이 있다. 이에, 개시된 실시예는 각 영상들의 장점을 반영하기 위해 서로 다른 모달리티에서 획득한 영상을 정합하는 방법을 제공하고자 한다. 더 나아가, 개시된 실시예는 정합 대상 영상에 정합 기준점이 나타나있지 않은 경우, 가상의 정합 기준점을 추정하여 영상을 정합하는 방법을 제공한다. 이하 개시된 실시예에 따른 의료영상의 정합방법에 대해 구체적으로 설명한다.
제1의료장치 또는 제2의료장치에서 획득된 의료영상들은 2차원 단면 영상들일 수 있고, 2차원 단면 영상들로부터 생성된 3차원 볼륨영상일 수 있다. 예를 들어, 초음파 영상장치는 2차원 단면 영상을 획득할 수도 있고, 초음파 프로브의 핸드 스윕(Hand Sweep)이나 와블링(Wabbling), 또는 2D 어레이 방식의 프로브를 이용하여 3차원 영상을 획득할 수도 있다.
그리고, CT영상장치나 MR영상장치는 단면의 위치(location) 또는 방향(orientation)을 변화시키면서, 다수의 단면 영상을 획득할 수 있고, 이와 같은 단면 영상들이 축적되면 환자 신체의 특정 부위에 대한 3차원 볼륨 영상을 획득할 수 있다. 이와 같이 단면 영상들을 축적하여 3차원 볼륨 영상을 생성하는 방식을 MPR(Multiplanar reconstruction) 방식이라고 한다. 제2의료영상은 환자의 관심장기에 대한 대조도를 향상시키기 위하여, 조영 증강된 영상일 수 있다. 이하에서는 설명의 편의를 위해 제1 의료 영상은 2차원 영상이고, 제2의료영상은 3차원 영상인 것으로 가정한다.
검출 장치(130)는 제1의료영상과 제2의료영상을 정합할 때 정합 기준점으로 사용될 수 있는 대상체의 기준위치를 검출할 수 있다. 검출장치는 프로브의 위치 및 방향 중 적어도 하나를 검출하여 기준위치를 검출할 수 있고, 프로브의 움직임도 검출할 수 있다. 예를 들어, 대상체의 복부를 스캔하고자 하는 경우에는 복부를 스캔할 수 있는 위치, 예를 들면 명치를 대상체의 기준 위치로 설정할 수 있다. 이런 기준위치는 제1의료영상을 제2의료영상과 정합할 때, 정합 기준점으로 활용될 수 있다. 검출 장치(130)는 예를 들면, 자기장 발생기(131)와 자기장의 변화를 감지하는 센서(132)를 포함할 수 있다. 자기장 발생기(131)는 제1의료장치의 특정 위치에 고정될 수 있고, 센서(132)는 프로브상에 배치될 수 있다. 검출 장치(130)는 센서(132)와 자기장 발생기(131)의 상대적인 위치 관계로부터 프로브의 위치 및 방향 중 적어도 하나를 검출할 수 있다. 검출 장치(130)는 전술한 자기장 발생기 및 센서 외에도, 프로브의 위치 및 방향 중 적어도 하나를 검출하기 위한 광 센서, 가속도계 센서, 기울기 센서 등을 포함할 수 있다. 검출 장치(130)는 프로브의 위치 및 방향 중 적어도 하나를 검출 장치(130)의 좌표계에서의 좌표 정보로 산출할 수 있다. 이렇게 검출된 프로브의 기준 위치에 대한 좌표 정보는 의료영상처리장치로 전송되어 영상 정합을 위한 기준점으로 사용될 수 있다.
한편, 제1의료장치와 제2의료 장치는 각각 제1의료 영상과 제2의료영상을 생성하여 의료영상처리장치에 제공한다. 도 2는 일 실시예에 따른 의료영상처리장치의 구성을 나타낸 블럭도이다.
도 2에 도시된 것처럼, 의료영상처리장치는 통신부(160), 입력부(170), 저장부(180), 제어부(190), 영상처리부(200)를 포함할 수 있다. 다만, 도시된 구성요소들이 모두 필수 구성요소들은 아니며, 도시된 구성요소들 이외에 다른 범용적인 구성요소들이 더 포함될 수도 있다.
통신부는 제1의료장치 및 제2의료 장치로부터 각각 제 1의료 영상과 제2의료 영상을 수신하고, 검출 장치(130)로부터 프로브의 위치 및 방향 정보 중 적어도 어느 하나를 수신할 수 있다. 통신부는 획득한 제2의료 영상을 저장부에 저장할 수 있다. 통신부는 다양한 유/무선 통신 프로토콜에 따라 다른 장치와 데이터를 통신할 수 있으나, 바람직하게는 의료용 디지털 영상 및 통신(DICOM, Digital Imaging and Communications in Medicine) 표준에 따라 데이터 통신할 수 있다.
저장부는 미리 입력된 데이터 및 일 실시예에 따라 영상 처리를 수행하면서 산출되는 데이터를 저장할 수 있다. 저장부는 통신부가 수신한 제 1의료 영상 및 제2의료 영상을 저장할 수 있으며, 대상체에 대해서 제2의료장치가 생성한 2차원 단면 영상 및 3차원 영상을 저장할 수 있다. 또한, 대상체에 위치하는 프로브의 기준 위치 정보를 좌표값으로 저장할 수 있으며, 세그멘테이션을 하기 위한 해부학적 개체들의 해부학적 정보, 위치 정보 및 밝기 정보등을 저장할 수 있다. 이러한 저장부는 롬(Read Only Memory: ROM), 피롬(Programmable Read Only Memory: PROM), 이피롬(Erasable Programmable Read Only Memory: EPROM), 플래시 메모리와 같은 비휘발성 메모리 소자, 또는 램(Random Access Memory: RAM)과 같은 휘발성 메모리 소자, 또는 하드 디스크, 광 디스크와 같은 저장 장치로 구현될 수 있다.
입력부는 사용자로부터 의료영상처리장치를 조작하기 위한 입력을 받도록 마련된 버튼, 키 패드, 스위치, 다이얼 또는 터치 인터페이스를 포함할 수 있다. 입력부는 영상을 디스플레이 하기 위한 디스플레이 패널을 포함할 수 있으며, 터치스크린으로 구현될 수 있다.
제어부는 의료영상처리장치의 동작을 전반적으로 제어한다. 예를 들어, 제어부는 입력부를 통해 입력된 사용자 명령이나 통신부를 통해 수신한 데이터, 저장부에 저장된 프로그램을 이용하여 영상처리부가 영상을 생성하고 정합할 수 있도록 제어할 수 있다. 또한, 영상처리부에서 처리한 영상이 디스플레이부(150)에 표시되도록 제어할 수도 있다.
한편, 검출장치에서 프로브의 기준 위치를 검출하면, 영상처리부는 프로브의 기준 위치에 대응하는 제2의료영상의 대응 위치를 추출할 수 있다. 대응 위치는 제 1의료 영상에 표시되는 기준위치 즉, 기준점에 대응되는 제2의료 영상에서의 위치이다. 영상처리부는 제1의료영상의 기준점과 이에 대응되는 제2의료영상의 기준점을 이용하여 제1의료영상과 제2의료영상을 정합한다.
이를 위해 우선 영상처리부는 제1의료영상과 정합될 제2의료영상을 결정한다. 다시 말해, 영상처리부는 제2의료 영상에서 제1의료영상과 정합될 단면 영상을 결정한다. 전술한 것처럼, 제2의료 장치에서 획득된 제2의료영상은 2차원 단면 영상일 수도 있고, 2차원 단면 영상들이 축적되어 생성된 3차원 영상일 수도 있다. 따라서, 영상처리부는 미리 촬영된 2차원 단면 영상들 중에서 미리 지정된 단면 영상을 추출할 수도 있고, 3차원 영상으로부터 미리 지정된 단면 영상을 추출할 수도 있다.
보다 구체적으로 영상처리부는 검출 장치(130)가 검출한 프로브의 기준 위치에 대한 좌표 정보를 이용하여 제2의료영상으로부터 미리 지정된 단면 영상을 추출할 수 있다. 다시 말해 영상처리부는 제2의료 영상 장치가 촬영한 2차원 단면 영상들의 데이터로부터, 프로브의 기준 위치에 대한 좌표정보를 포함하는 단면 영상을 추출할 수 있다.
제2의료영상으로부터 단면 영상이 추출되면, 영상처리부는 추출된 단면 영상에서 나타나는 해부학적 개체들을 세그멘테이션(segmentation) 한다. 세그멘테이션이란, 영상 처리의 한 종류로서 각각의 해부학적 개체들을 배경의 영상과 분리해 내는 것을 말한다. 영상 분리부(220)는 그래프 컷(graph cut) 기법 또는 가우시안 믹스쳐 모델(GMM) 기법을 사용하여 세그멘테이션을 수행하여, 기준점을 추출할 수 있는 정보를 획득할 수 있다.
영상처리부는 세그멘테이션 정보를 이용하여, 제1의료영상의 기준점에 대응되는 기준점을 제2의료 영상으로부터 추출한다. 영상처리부는 제 1의료 영상의 기준점과, 제2의료 영상의 기준점을 이용하여 제1의료영상과 제2의료영상을 정합한다.
제2의료영상에 제1의료영상의 기준점에 대응하는 기준점이 존재하면, 전술한 것처럼, 제1의료영상과 제2의료영상을 각 영상의 기준점을 이용하여 정합하면 되지만, 제2의료영상에 제1의료영상의 기준점에 대응하는 위치가 나타나 있지 않으면 기준점을 이용한 정합을 수행할 수 없다.
도 3a 내지 도 3c은 기준점이 나타나있지 않은 제2의료영상에서 해부학적 구조를 이용하여 가상 기준점을 추정하는 것을 나타낸 도면이다. 본 실시예에서 제1의료영상과 제2의료영상(I2)의 정합을 위한 제1의료영상의 기준점(P)은 명치이다. 도 3a에는 제2의료영상인 복부 CT영상이 촬영된 대상체 영역의 뼈의 구조가 도시되어 있는데, 도 3a에 도시된 촬영영역에는 제1의료영상의 기준점에 대응하는 명치가 포함되어 있지 않다. 그리고, 도 3a에 도시된 촬영영역을 촬영한, coronal view의 실제 복부 CT영상(도 3b)에도 명치가 나타나 있지 않다. 전술한 것처럼, 정합 기준점이 제2의료영상에 나타나 있지 않은 것이다. 개시된 실시예는 도 3b에 도시된 것처럼 정합 대상 의료영상 중 적어도 하나에 정합을 위한 기준점이 나타나 있지 않은 경우, 기준점 주변의 해부학적 구조를 이용하여 가상 기준점을 추정하고 제1의료영상의 기준점과 제2의료영상의 가상 기준점을 이용하여 제1의료영상과 제2의료영상을 정합하는 방법을 제공한다. 이하 기준점이 나타나 있지 않은 의료영상에서 가상 기준점을 추정하는 방법에 대해 보다 구체적으로 설명한다.
도 3a를 보면, 흉골체부(a)와 검상돌기(b)의 연결점으로 정의할 수 있는 명치는 흉골체부와 연결되어 있는 7번 내지 9번의 좌우 갈비(r) 및 갈비연골(rc)의 교차점으로 볼 수 있다. 도 3(b)에 명치가 나타나 있지 않으나, 흉골체부와 연결되어 있는 좌우 갈비 및 갈비연골을 이용하면 명치의 위치를 추정할 수 있다.
먼저 영상처리부는 기준점이 존재하지 않는 의료영상에서 기준점을 추정하기 위한 주변조직을 결정하고, 결정된 주변조직과 기준점 간의 해부학적 구조에 기초하여 주변조직으로부터 기준점에 대응하는 가상 기준점을 추정한다. 도 3a 내지 도 3b를 참조로 설명하면, 영상처리부는 제1의료영상의 기준점 즉, 명치가 나타나있지 않은 제2의료영상에서 명치를 추정하기 위해, 흉골체부와 연결되어 있는 7번 내지 9번의 좌우 갈비 및 갈비연골의 교차점이 명치에 대응한다는 갈비와 명치 사이의 해부학적 구조를 이용한다. 영상처리부는 먼저 제2의료영상에서 갈비 및 갈비연골을 추출하고, 추출된 갈비 및 갈비연골에 적합한 곡선을 피팅(fitting)한다. 이 때 좌우 갈비 및 갈비연골에 피팅되는 곡선은 여러 트레이닝 영상들을 통해 미리 결정될 수 있다. 예를 들면, 영상처리부는 3차 보간(cubic spline)이나 2차 곡선을 이용하여 갈비 및 갈비연골에 적절한 곡선을 피팅한다. 도 3c에는 좌우 갈비 및 갈비연골에 피팅된 곡선(FT)이 도시되어 있다. 영상처리부는 갈비 및 갈비연골에 피팅된 곡선이 생성되면 좌우 갈비 및 갈비연골의 피팅 곡선의 연장선이 교차하는 점을 결정하고, 그 교차점을 명치가 존재하는 위치 즉, 가상 기준점(VP)으로 추정한다. 이렇게 제2의료영상에서 가상 기준점이 추정되면, 영상처리부는 제1의료영상의 기준점과 제2의료영상의 추정된 가장 기준점을 이용하여 제1의료영상과 제2의료영상을 정합한다.
도 4a 내지 도 4c은 기준점이 나타나있지 않은 다른 제2의료영상에서 해부학적 구조를 이용하여 가상 기준점을 추정하는 것을 나타낸 도면이다. 본 실시예에서 제1의료영상과 제2의료영상의 정합을 위한 제1의료영상의 기준점은 대동맥(aorta, AO)에서 상정간막동맥(Superior Mesenteric Artery, SMA)과 복강동맥(Celiax Artery, CA)이 분기되어 나오는 분기점이다. 도 4a에는 제2의료영상인 복부 CT영상이 촬영된 대상체 영역의 혈관의 구조가 coronal view로 도시되어 있는데, 도 4a에 도시된 촬영영역에는 제1의료영상의 기준점인 상정간막동맥과 복강동맥의 분기점이 포함되어 있지 않다. 그리고, 도 4a에 도시된 촬영영역을 촬영한 sagittal view의 실제 복부 CT영상(도 4b)에도 상기 분기점이 포함되어 있지 않다. 전술한 것처럼, 정합 기준점이 제2의료영상에 나타나 있지 않은 것이다.
제1의료영상의 기준점인 상정간막동맥과 복강동맥의 분기점이 도 4b에 나타나 있지 않으나, 도 4b에 나타나 있는 상정간막동맥과 복강동맥을 이용하면 상기 분기점의 위치를 추정할 수 있다.
먼저 영상처리부는 전술한 것처럼 기준점이 존재하지 않는 의료영상에서 기준점을 추정하기 위한 주변조직을 결정하고, 결정된 주변조직과 기준점 간의 해부학적 구조에 기초하여 주변조직으로부터 기준점에 대응하는 가상 기준점을 추정한다. 도 4a 내지 도 4c를 참조하여 설명하면, 영상처리부는 제1의료영상의 기준점 즉, 상정간막동맥과 복강동맥의 분기점이 나타나있지 않은 제2의료영상에서 상기 분기점을 추정하기 위해, 대동맥과 상정간막동맥 및 복강동맥 사이의 해부학적 구조를 이용한다. 영상처리부는 먼저 제2의료영상에서 상정간막동맥과 복강동맥을 추출하고, 추출된 상정간막동맥과 복강동맥에 적합한 곡선을 피팅(fitting)한다. 이 때 상정간막동맥과 복강동맥에 피팅되는 곡선은 여러 트레이닝 영상들을 통해 미리 결정될 수 있다. 예를 들면, 영상처리부는 3차 보간(cubic spline)이나 2차 곡선을 이용하여 상정간막동맥과 복강동맥에 적절한 곡선을 피팅한다. 도 4c에는 상정간막동맥과 복강동맥에 피팅된 곡선이 도시되어 있다. 영상처리부는 상정간막동맥과 복강동맥에 피팅된 곡선이 생성되면 상정간막동맥과 복강동맥의 피팅 곡선의 연장선이 교차하는 점을 결정하고, 그 교차점을 상정간막동맥과 복강동맥의 분기점이 존재하는 위치 즉, 가상 기준점으로 추정한다. 이렇게 제2의료영상에서 가상 기준점이 추정되면, 영상처리부는 제1의료영상의 기준점과 제2의료영상의 추정된 가장 기준점을 이용하여 제1의료영상과 제2의료영상을 정합한다. 개시된 실시예는 도 3a 내지 도 4c에 도시된 것처럼, 제2의료영상에 나타나 있지 않은 기준점을 추정하기 위해 기준점과 그와 관련된 주변조직의 해부학적 구조를 이용한다.
또 다른 실시예는 제2의료영상에 나타나 있지 않은 기준점을 추정하기 위해 미리 학습된 기준점과 그 주변 조직 간의 거리나 방향과 같은 기하학적 정보를 이용한다. 이하 도 5a 내지 도 6b를 참조하여 이에 대해 구체적으로 설명한다.
도 5a 및 도 5b는 배꼽과 간 사이의 기하학적 정보를 이용하여 기준점인 배꼽이 나타나있지 않은 의료영상에서 가상 기준점을 추정하는 것을 나타낸 도면이고, 도 6a 및 도 6b는 명치와 간 사이의 기하학적 정보를 이용하여 기준점인 명치가 나타나있지 않은 의료영상에서 가상 기준점을 추정하는 것을 나타낸 도면이다.
도 5a는 간과 배꼽이 모두 나타나있는 sagittal view의 여러 CT영상이 도시되어 있는데, 도 5a에 도시된 것처럼, 의료영상처리장치는 간의 inferior tip(IT)과 배꼽에 대응되는 위치 사이의 상대적인 거리와 방향을 미리 학습하고, 이렇게 학습된 정보를 저장부에 저장할 수 있다.
도 5b에 도시된 제2의료영상인 sagittal view의 복부CT영상에는 기준점에 해당하는 배꼽이 나타나있지 않은데, 영상처리부는 미리 학습된 간의 inferior tip과 배꼽 사이의 기하학적 관계를 이용하여 배꼽의 위치를 추정하기 위해, 우선 간의 inferior tip을 제2의료영상에서 추출한다. 영상처리부는 간의 inferior tip이 추출되면 미리 학습되어 저장된 간의 inferior tip과 배꼽 사이의 상대적이 거리와 방향 정보를 이용하여 추출된 간의 inferior tip에 대한 배꼽의 상대적인 위치를 추정하고, 추정된 위치를 가상 기준점으로 결정한다.
도 6a는 간과 명치가 모두 나타나있는 sagittal view의 여러 CT영상이 도시되어 있는데, 도 6a에 도시된 것처럼, 의료영상처리장치는 간의 superior tip(ST)과 명치에 대응되는 위치 사이의 상대적인 거리와 방향을 미리 학습하고, 이렇게 학습된 정보를 저장부에 저장할 수 있다.
도 6b에 도시된 제2의료영상인 sagittal view의 복부CT영상에는 기준점에 해당하는 명치가 나타나있지 않은데, 영상처리부는 미리 학습된 간의 superior tip과 명치 사이의 기하학적 관계를 이용하여 명치의 위치를 추정하기 위해, 우선 간의 superior tip을 제2의료영상에서 추출한다. 영상처리부는 간의 superior tip이 추출되면 미리 학습되어 저장된 간의 superior tip과 명치 사이의 상대적이 거리와 방향 정보를 이용하여 추출된 간의 superior tip에 대한 명치의 상대적인 위치를 추정하고, 추정된 위치를 가상 기준점으로 결정한다. 도 5a 내지 도 6b를 참조하여 설명한 것처럼, 의료영상처리장치는 미리 학습된 기준점과 그 주변 조직 사이의 기하학적 관계를 이용하여 기준점이 나타나있지 않은 의료영상에서 가상기준점을 추정할 수 있다. 영상처리부는 제1의료영상의 기준점과 제2의료영상의 추정된 가상 기준점을 이용하여 제1의료영상과 제2의료영상을 정합한다.
도 3 내지 도 6을 참조하여, 정합 대상 의료영상 중 어느 하나에 기준점이 나타나 있지 않은 경우, 가상 기준점을 추정하는 방법을 설명하였으나, 정합 기준점이 정합 대상인 제1의료영상과 제2의료영상에 모두 나타나있지 않은 경우, 전술한 방법을 이용하여 제1의료영상과 제2의료영상에서 각각 가상 기준점을 추정하고 추정된 가상 기준점을 이용하여 제1의료영상과 제2의료영상을 정합할 수도 있다.
영상처리부에서 전술한 방법을 이용하여 제1 의료 영상과 제2의료영상으로부터 추출한 단면 영상을 정합하면, 디스플레이부는 영상처리부에서 정합된 영상을 표시한다. 디스플레이부에 표시되는 정합된 영상은 제1 의료 영상과 제2의료영상이 융합된 영상(fusion image)이거나, 같은 관측시점에서의 제1 의료 영상과 제2의료영상을 나란하게 배치한 영상일 수도 있다.
도 7은 개시된 실시예에 따른 의료영상정합방법을 나타낸 순서도이다.
도 7을 참조하면, 의료영상처리장치는 제1의료영상에서 기준점을 결정하고(900), 제2의료영상에 제1의료영상의 기준점에 대응하는 기준점이 존재하는지 결정한다(910). 제2의료영상에 기준점이 존재하면 의료영상처리장치는 기준점을 이용하여 제1의료영상과 제2의료영상을 정합한다(920).
제1의료영상의 기준점은 사용자가 지정할 수도 있고, 검출장치에서 검출한 초음파 프로브의 기준위치를 의료영상처리장치에서 기준점으로 결정할 수도 있다. 보다 구체적으로 설명하면, 검출 장치는 프로브의 위치 및 방향 중 적어도 하나를 검출하여 제 1의료 영상에 나타날 수 있는 대상체의 기준 위치를 검출할 수 있고, 프로브의 움직임도 검출할 수 있다. 예를 들어, 대상체의 복부를 스캔하고자 하는 경우에는 복부를 스캔할 수 있는 위치, 예를 들면 명치를 대상체의 기준 위치로 설정할 수 있다. 이런 기준위치는 제1의료영상을 제2의료영상과 정합할 때, 정합 기준점으로 활용될 수 있다. 검출 장치(130)는 예를 들면, 자기장 발생기(131)와 자기장의 변화를 감지하는 센서(132)를 포함할 수 있다. 자기장 발생기(131)는 제1의료장치의 특정 위치에 고정될 수 있고, 센서(132)는 프로브상에 배치될 수 있다. 검출 장치(130)는 센서(132)와 자기장 발생기(131)의 상대적인 위치 관계로부터 프로브의 위치 및 방향 중 적어도 하나를 검출할 수 있다. 검출 장치(130)는 전술한 자기장 발생기 및 센서 외에도, 프로브의 위치 및 방향 중 적어도 하나를 검출하기 위한 광 센서, 가속도계 센서, 기울기 센서 등을 포함할 수 있다. 검출 장치(130)는 프로브의 위치 및 방향 중 적어도 하나를 검출 장치(130)의 좌표계에서의 좌표 정보로 산출할 수 있다. 이렇게 검출된 프로브의 기준 위치에 대한 좌표 정보는 의료영상처리장치로 전송되어 영상 정합을 위한 기준점으로 사용될 수 있다.
의료영상처리장치는 제2의료영상에 제1의료영상의 기준점에 대응하는 부분이 존재하는지 결정하고, 기준점이 존재하면 그 기준점을 이용하여 제1의료영상과 제2의료영상을 정합한다. 이를 위해 우선 영상처리부는 제1의료영상과 정합될 제2의료영상을 결정한다. 다시 말해, 영상처리부는 제2의료 영상에서 제1의료영상과 정합될 단면 영상을 결정한다. 전술한 것처럼, 제2의료 장치에서 획득된 제2의료영상은 2차원 단면 영상일 수도 있고, 2차원 단면 영상들이 축적되어 생성된 3차원 영상일 수도 있다. 따라서, 영상처리부는 미리 촬영된 2차원 단면 영상들 중에서 미리 지정된 단면 영상을 추출할 수도 있고, 3차원 영상으로부터 미리 지정된 단면 영상을 추출할 수도 있다. 보다 구체적으로 영상처리부는 검출 장치(130)가 검출한 프로브의 기준 위치에 대한 좌표 정보를 이용하여 제2의료영상으로부터 미리 지정된 단면 영상을 추출할 수 있다. 다시 말해 영상처리부는 제2의료 영상 장치가 촬영한 2차원 단면 영상들의 데이터로부터, 프로브의 기준 위치에 대한 좌표정보를 포함하는 단면 영상을 추출할 수 있다. 제2의료영상으로부터 단면 영상이 추출되면, 영상처리부는 추출된 단면 영상에서 나타나는 해부학적 개체들을 세그멘테이션(segmentation) 한다. 세그멘테이션이란, 영상 처리의 한 종류로서 각각의 해부학적 개체들을 배경의 영상과 분리해 내는 것을 말한다. 영상 분리부(220)는 그래프 컷(graph cut) 기법 또는 가우시안 믹스쳐 모델(GMM) 기법을 사용하여 세그멘테이션을 수행하여, 기준점을 추출할 수 있는 정보를 획득할 수 있다. 영상처리부는 세그멘테이션 정보를 이용하여, 제1의료영상의 기준점에 대응되는 기준점을 제2의료 영상으로부터 추출한다. 영상처리부는 제 1의료 영상의 기준점과, 제2의료 영상의 기준점을 이용하여 제1의료영상과 제2의료영상을 정합한다. 제2의료영상에 제1의료영상의 기준점에 대응하는 기준점이 존재하면, 전술한 것처럼, 제1의료영상과 제2의료영상을 각 영상의 기준점을 이용하여 정합하면 되지만, 제2의료영상에 제1의료영상의 기준점에 대응하는 해부학적 위치가 나타나 있지 않으면 기준점을 이용한 정합을 수행할 수 없다.
의료영상처리장치는 제2의료영상에 기준점이 존재하지 않으면, 제2의료영상에서 가상 기준점을 추정하고(930), 제1의료영상의 기준점과 제2의료영상의 추정된 가상 기준점을 이용하여 제1의료영상과 제2의료영상을 정합한다(940).
제2의료영상에 제1의료영상의 기준점에 대응하는 부분이 존재하지 않으면, 의료영상처리장치는 기준점과 관련된 주변 조직을 이용하여 제2의료영상에거 가상 기준점을 추정한다.
예를 들어, 제1의료영상에서 결정된 기준점이 명치라고 할 때, 제1의료영상과 정합될 단면 영상으로 제2의료영상에서 선택된 도 3b의 복부 CT영상에는 명치가 나타나있지 않다. 도 3a를 참조하면, 흉골체부와 검상돌기의 연결점으로 정의할 수 있는 명치는 흉골체부와 연결되어 있는 7번 내지 9번의 좌우 갈비 및 갈비연골의 교차점으로 볼 수 있다. 도 3b에 명치가 나타나 있지 않으나, 흉골체부와 연결되어 있는 좌우 갈비 및 갈비연골을 이용하면 명치의 위치를 추정할 수 있다. 영상처리부는 제1의료영상의 기준점 즉, 명치가 나타나있지 않은 제2의료영상에서 명치를 추정하기 위해, 흉골체부와 연결되어 있는 7번 내지 9번의 좌우 갈비 및 갈비연골의 교차점이 명치에 대응한다는 갈비와 명치 사이의 해부학적 구조를 이용한다. 영상처리부는 먼저 제2의료영상에서 갈비 및 갈비연골을 추출하고, 추출된 갈비 및 갈비연골에 적합한 곡선을 피팅(fitting)한다. 이 때 좌우 갈비 및 갈비연골에 피팅되는 곡선은 여러 트레이닝 영상들을 통해 미리 결정될 수 있다. 예를 들면, 영상처리부는 3차 보간(cubic spline)이나 2차 곡선을 이용하여 갈비 및 갈비연골에 적절한 곡선을 피팅한다. 도 3c에는 좌우 갈비 및 갈비연골에 피팅된 곡선이 도시되어 있다. 영상처리부는 갈비 및 갈비연골에 피팅된 곡선이 생성되면 좌우 갈비 및 갈비연골의 피팅 곡선의 연장선이 교차하는 점을 결정하고, 그 교차점을 명치가 존재하는 위치 즉, 가상 기준점으로 추정한다. 이렇게 제2의료영상에서 가상 기준점이 추정되면, 영상처리부는 제1의료영상의 기준점과 제2의료영상의 추정된 가장 기준점을 이용하여 제1의료영상과 제2의료영상을 정합한다.
또는, 제2의료영상에 제1의료영상의 기준점에 대응하는 부분이 존재하지 않으면, 의료영상처리장치는 미리 학습된 기준점과 주변 조직 간의 기하학적 정보를 이용하여 가상 기준점을 추정한다.
예를 들어, 제1의료영상에서 결정된 기준점이 명치라고 할 때, 제1의료영상과 정합될 단면 영상으로 제2의료영상에서 선택된 도 6b의 복부 CT영상에는 명치가 나타나있지 않다. 도 6a는 간과 명치가 모두 나타나있는 sagittal view의 여러 CT영상이 도시되어 있는데, 도 6a에 도시된 것처럼, 의료영상처리장치는 간의 superior tip과 명치에 대응되는 위치 사이의 상대적인 거리와 방향을 미리 학습하고, 이렇게 학습된 정보를 저장부에 저장할 수 있다. 도 6b에 도시된 제2의료영상인 sagittal view의 복부CT영상에는 기준점에 해당하는 명치가 나타나있지 않은데, 영상처리부는 미리 학습된 간의 superior tip과 명치 사이의 기하학적 관계를 이용하여 명치의 위치를 추정하기 위해, 우선 간의 superior tip을 제2의료영상에서 추출한다. 영상처리부는 간의 superior tip이 추출되면 미리 학습되어 저장된 간의 superior tip과 명치 사이의 상대적이 거리와 방향 정보를 이용하여 추출된 간의 superior tip에 대한 명치의 상대적인 위치를 추정하고, 추정된 위치를 가상 기준점으로 결정한다. 이렇게 제2의료영상에서 가상 기준점이 추정되면, 영상처리부는 제1의료영상의 기준점과 제2의료영상의 추정된 가장 기준점을 이용하여 제1의료영상과 제2의료영상을 정합한다. 개시된 실시예는 제1의료영상에 기준점이 존재하고 제2의료영상에 기준점이 존재하지 않는 경우를 가정하여 설명하고 있으나, 제1의료영상에도 기준점이 존재하지 않을 수 있고, 이 경우 제1의료영상과 제2의료영상 모두에서 전술한 방법을 이용하여 가상 기준점을 추정할 수 있고, 그렇게 추정된 가상 기준점을 이용하여 제1의료영상과 제2의료영상을 정합할 수 있을 것이다.
제1의료영상과 제2의료영상이 정합되면, 디스플레이부는 정합된 제1의료영상과 제2의료영상을 표시한다(950).
영상처리부에서 전술한 방법을 이용하여 제1 의료 영상과 제2의료영상으로부터 추출한 단면 영상을 정합하면, 디스플레이부는 영상처리부에서 정합된 영상을 표시한다. 디스플레이부에 표시되는 정합된 영상은 제1 의료 영상과 제2의료영상이 융합된 영상(fusion image)이거나, 같은 관측시점에서의 제1 의료 영상과 제2의료영상을 나란하게 배치한 영상일 수도 있다.
100 : 영상 처리 시스템 110 : 제1의료장치
120 : 제2의료 장치 130 : 검출 장치
140 : 의료영상처리장치 150 : 디스플레이부
160 : 통신부 170 : 입력부
180 : 저장부 190 : 제어부
200 : 영상처리부

Claims (21)

  1. 제1의료영상과 제2의료영상에 정합을 위한 기준점이 존재하는지 결정하는 단계;
    상기 기준점이 존재하지 않는 의료영상에서 대상체의 해부학적 정보를 이용하여 상기 기준점에 대응하는 가상 기준점을 추정하는 단계; 및
    상기 추정된 가상 기준점을 이용하여 상기 제1의료영상과 제2의료영상을 정합하는 단계;를 포함하는 의료영상정합방법.
  2. 제1항에 있어서,
    상기 가상 기준점을 추정하는 단계는,
    상기 제1의료영상과 제2의료영상에 정합을 위한 기준점이 존재하지 않는 경우, 상기 제1의료영상과 제2의료영상에서 상기 기준점과 관련된 주변조직을 결정하는 단계;
    상기 제1의료영상과 제2의료영상에서, 상기 결정된 주변조직과 상기 기준점 간의 해부학적 구조에 기초하여 상기 주변조직으로부터 상기 기준점에 대응하는 가상 기준점을 각각 추정하는 단계;를 포함하는 의료영상정합방법
  3. 제1항에 있어서,
    상기 가상 기준점을 추정하는 단계는,
    상기 제1의료영상과 제2의료영상에 정합을 위한 기준점이 존재하지 않는 경우, 상기 제1의료영상과 제2의료영상에서 상기 기준점과 관련된 주변조직을 결정하는 단계;
    상기 제1의료영상과 제2의료영상에서, 미리 학습된 상기 주변조직에 대한 형상정보 또는 상기 주변조직과 상기 기준점 간의 기하학적 정보를 이용하여 상기 가상 기준점을 각각 추정하는 단계;를 포함하는 의료영상정합방법.
  4. 제2항 및 제3항 중 어느 한 항에 있어서,
    상기 제1의료영상과 제2의료영상을 정합하는 단계는,
    상기 추정된 제1의료영상과 제2의료영상의 가상 기준점을 이용하여 상기 제1의료영상과 제2의료영상을 정합하는 것을 포함하는 의료영상정합방법.
  5. 제1항에 있어서,
    상기 가상 기준점을 추정하는 단계는,
    상기 제1의료영상과 제2의료영상 중 제1의료영상에만 정합을 위한 기준점이 존재하는 경우, 상기 기준점이 존재하지 않는 제2의료영상에서 상기 기준점과 관련된 주변조직을 결정하는 단계;
    상기 결정된 주변조직과 상기 기준점 간의 해부학적 구조에 기초하여 상기 주변조직으로부터 상기 기준점에 대응하는 가상 기준점을 추정하는 단계;를 포함하는 의료영상정합방법
  6. 제1항에 있어서,
    상기 가상 기준점을 추정하는 단계는,
    상기 제1의료영상과 제2의료영상 중 제1의료영상에만 정합을 위한 기준점이 존재하는 경우, 상기 기준점이 존재하지 않는 제2의료영상에서 상기 기준점과 관련된 주변조직을 결정하는 단계;
    미리 학습된 상기 결정된 주변조직에 대한 형상정보 또는 상기 주변조직과 상기 기준점 간의 기하학적 정보를 이용하여 상기 가상 기준점을 추정하는 단계;를 포함하는 의료영상정합방법.
  7. 제5항 및 제6항 중 어느 한 항에 있어서,
    상기 제1의료영상과 제2의료영상을 정합하는 단계는,
    상기 제1의료영상의 기준점과 상기 제2의료영상의 추정된 가상 기준점을 이용하여 상기 제1의료영상과 제2의료영상을 정합하는 것을 포함하는 의료영상정합방법.
  8. 제1의료영상장치 및 제2의료영상장치로부터 대상체에 대한 제1의료영상 및 제2의료영상을 수신하는 통신부; 및
    제1의료영상과 제2의료영상 중 정합을 위한 기준점이 나타나 있지 않은 의료영상에서 대상체의 해부학적 정보를 이용하여 상기 기준점에 대응하는 가상 기준점을 추정하고, 상기 가상 기준점을 이용하여 상기 제1의료영상과 제2의료영상을 정합하는 영상처리부;를 포함하는 의료영상처리장치.
  9. 제8항에 있어서,
    상기 영상처리부는 상기 제1의료영상에만 기준점이 존재하면, 상기 제2의료영상에서 대상체의 해부학적 정보를 이용하여 상기 기준점에 대응하는 가상 기준점을 추정하고 상기 제1의료영상의 기준점과 제2의료영상의 가상 기준점을 이용하여 상기 제1의료영상과 제2의료영상을 정합하는 의료영상처리장치.
  10. 제9항에 있어서,
    상기 영상처리부는 상기 제2의료영상에서 상기 기준점과 관련된 주변조직을 결정하고, 상기 결정된 주변조직과 상기 기준점 간의 해부학적 구조에 기초하여 상기 주변조직으로부터 상기 기준점에 대응하는 상기 가상 기준점을 추정하는 의료영상처리장치.
  11. 제10항에 있어서,
    상기 영상처리부는 상기 결정된 주변조직과 상기 기준점 간의 해부학적 관계에 기초하여 상기 주변조직과 상기 기준점 사이의 기하학적 구조를 결정하고, 상기 결정된 기하학적 구조를 이용하여 상기 기준점에 대응하는 상기 가상 기준점을 추정하는 의료영상처리장치.
  12. 제10항에 있어서,
    상기 영상처리부는 미리 학습된 상기 주변조직에 대한 형상정보 또는 상기 주변조직과 상기 기준점 간의 기하학적 정보를 이용하여 상기 기준점에 대응하는 상기 가상 기준점을 추정하는 의료영상처리장치.
  13. 제8항에 있어서,
    상기 영상처리부는 상기 제1의료영상과 제2의료영상에 기준점이 존재하지 않으면, 상기 제1의료영상과 제2의료영상에서 대상체의 해부학적 정보를 이용하여 상기 기준점에 대응하는 가상 기준점을 각각 추정하고 상기 추정된 각각의 가상 기준점을 이용하여 상기 제1의료영상과 제2의료영상을 정합하는 의료영상처리장치.
  14. 제13항에 있어서,
    상기 영상처리부는 상기 제1의료영상과 제2의료영상에서 상기 기준점과 관련된 주변조직을 결정하고, 상기 결정된 주변조직과 상기 기준점 간의 해부학적 관계에 기초하여 상기 주변조직으로부터 상기 기준점에 대응하는 상기 제1의료영상과 제2의료영상의 가상 기준점을 추정하는 의료영상처리장치.
  15. 제14항에 있어서,
    상기 영상처리부는 상기 결정된 주변조직과 상기 기준점 간의 해부학적 관계에 기초하여 상기 주변조직과 상기 기준점 사이의 기하학적 구조를 결정하고, 상기 결정된 기하학적 구조를 이용하여 상기 기준점에 대응하는 상기 제1의료영상과 제2의료영상의 가상 기준점을 추정하는 의료영상처리장치.
  16. 제14항에 있어서,
    상기 영상처리부는 미리 학습된 상기 결정된 주변조직에 대한 형상정보 또는 상기 주변조직과 상기 기준점 간의 기하학적 정보를 이용하여 상기 기준점에 대응하는 상기 제1의료영상과 제2의료영상의 가상 기준점을 추정하는 의료영상처리장치.
  17. 제8항에 있어서,
    상기 정합된 제1의료영상과 제2의료영상을 표시하는 디스플레이부;를 더 포함하는 의료영상처리장치
  18. 제1의료영상에서 기준점을 결정하는 단계;
    상기 기준점이 나타나 있지 않은 제2의료영상에서 대상체의 해부학적 정보를 이용하여 상기 기준점에 대응하는 가상 기준점을 추정하는 단계; 및
    상기 기준점과 가상 기준점을 이용하여 상기 제1의료영상과 제2의료영상을 정합하는 단계;를 포함하는 의료영상정합방법
  19. 제18항에 있어서,
    상기 가상 기준점을 추정하는 단계는,
    상기 기준점과 관련된 주변조직을 결정하는 단계; 및
    상기 결정된 주변조직과 상기 기준점 간의 해부학적 구조에 기초하여 상기 주변조직으로부터 상기 기준점에 대응하는 상기 가상 기준점을 추정하는 단계;를 포함하는 의료영상정합방법
  20. 제19항에 있어서,
    상기 주변조직으로부터 상기 기준점에 대응하는 상기 가상 기준점을 추정하는 단계는,
    상기 결정된 주변조직과 상기 기준점 간의 해부학적 관계에 기초하여 상기 주변조직과 상기 기준점 사이의 기하학적 구조를 결정하고;
    상기 결정된 기하학적 구조를 이용하여 상기 기준점에 대응하는 상기 가상 기준점을 추정하는 단계;를 포함하는 의료영상정합방법.
  21. 제19항에 있어서,
    상기 주변조직으로부터 상기 기준점에 대응하는 상기 가상 기준점을 추정하는 단계는,
    미리 학습된 상기 주변조직에 대한 형상정보 또는 상기 주변조직과 상기 기준점 간의 기하학적 정보를 이용하여 상기 가상 기준점을 추정하는 단계;를 포함하는 의료영상정합방법.
KR1020140168051A 2014-11-28 2014-11-28 의료영상처리장치 및 이를 이용한 의료영상정합방법 KR102278893B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140168051A KR102278893B1 (ko) 2014-11-28 2014-11-28 의료영상처리장치 및 이를 이용한 의료영상정합방법
US14/823,059 US9990725B2 (en) 2014-11-28 2015-08-11 Medical image processing apparatus and medical image registration method using virtual reference point for registering images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140168051A KR102278893B1 (ko) 2014-11-28 2014-11-28 의료영상처리장치 및 이를 이용한 의료영상정합방법

Publications (2)

Publication Number Publication Date
KR20160064442A KR20160064442A (ko) 2016-06-08
KR102278893B1 true KR102278893B1 (ko) 2021-07-19

Family

ID=56079475

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140168051A KR102278893B1 (ko) 2014-11-28 2014-11-28 의료영상처리장치 및 이를 이용한 의료영상정합방법

Country Status (2)

Country Link
US (1) US9990725B2 (ko)
KR (1) KR102278893B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102278893B1 (ko) * 2014-11-28 2021-07-19 삼성전자주식회사 의료영상처리장치 및 이를 이용한 의료영상정합방법
CN108090900B (zh) * 2017-12-28 2021-12-28 中科微光医疗研究中心(西安)有限公司 一种基于ivoct图像的分叉血管自动识别方法
KR20200132144A (ko) * 2019-05-15 2020-11-25 삼성메디슨 주식회사 초음파 영상 장치 및 그 표시 방법
KR20210105721A (ko) 2020-02-19 2021-08-27 주식회사 삼우인터네셔널 의료 영상 처리 시스템 및 이를 이용한 의료 영상 처리 방법
KR20220026235A (ko) * 2020-08-25 2022-03-04 모니터코퍼레이션 주식회사 의료영상 간 분석데이터 매칭시스템 및 방법, 화면을 갖는 전자 장치의 그래픽 사용자 인터페이스
CN117036878B (zh) * 2023-07-19 2024-03-26 北京透彻未来科技有限公司 一种人工智能预测图像与数字病理图像融合的方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100099981A1 (en) 2008-10-21 2010-04-22 Fishel Robert S Trans-Septal Catheterization Device And Method
JP2011031045A (ja) 2009-08-03 2011-02-17 Medison Co Ltd 2次元超音波映像に対応する2次元ct映像を提供するシステムおよび方法
JP2013031660A (ja) 2011-08-02 2013-02-14 Samsung Electronics Co Ltd 医療映像処理方法及び装置、映像誘導を利用したロボット手術システム
JP2013141602A (ja) 2012-01-10 2013-07-22 Toshiba Corp 医用画像処理システム、医用画像処理装置、及び医用画像処理方法
US20140212014A1 (en) 2013-01-29 2014-07-31 Samsung Electronics Co., Ltd. Method and apparatus for medical image registration
US20150209015A1 (en) 2014-01-24 2015-07-30 Samsung Electronics Co., Ltd. Method and apparatus for registering medical images

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102094502B1 (ko) * 2013-02-21 2020-03-30 삼성전자주식회사 의료 영상들의 정합 방법 및 장치
KR102278893B1 (ko) * 2014-11-28 2021-07-19 삼성전자주식회사 의료영상처리장치 및 이를 이용한 의료영상정합방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100099981A1 (en) 2008-10-21 2010-04-22 Fishel Robert S Trans-Septal Catheterization Device And Method
JP2011031045A (ja) 2009-08-03 2011-02-17 Medison Co Ltd 2次元超音波映像に対応する2次元ct映像を提供するシステムおよび方法
JP2013031660A (ja) 2011-08-02 2013-02-14 Samsung Electronics Co Ltd 医療映像処理方法及び装置、映像誘導を利用したロボット手術システム
JP2013141602A (ja) 2012-01-10 2013-07-22 Toshiba Corp 医用画像処理システム、医用画像処理装置、及び医用画像処理方法
US20140212014A1 (en) 2013-01-29 2014-07-31 Samsung Electronics Co., Ltd. Method and apparatus for medical image registration
US20150209015A1 (en) 2014-01-24 2015-07-30 Samsung Electronics Co., Ltd. Method and apparatus for registering medical images

Also Published As

Publication number Publication date
US9990725B2 (en) 2018-06-05
US20160155222A1 (en) 2016-06-02
KR20160064442A (ko) 2016-06-08

Similar Documents

Publication Publication Date Title
KR102278893B1 (ko) 의료영상처리장치 및 이를 이용한 의료영상정합방법
JP5284123B2 (ja) 超音波診断装置および位置情報取得プログラム
RU2667617C2 (ru) Система и способ эластографических измерений
US20170095226A1 (en) Ultrasonic diagnostic apparatus and medical image diagnostic apparatus
JP6873647B2 (ja) 超音波診断装置および超音波診断支援プログラム
CN109310399B (zh) 医学超声图像处理设备
US9489921B2 (en) Method and apparatus for displaying plurality of different images of object
US10991069B2 (en) Method and apparatus for registration of medical images
WO2016041855A1 (en) Ultrasound imaging apparatus
JP5897674B2 (ja) 超音波診断装置、画像処理装置及び画像処理プログラム
JP2011172918A (ja) 超音波診断装置、医用画像診断装置、超音波画像処理装置、医用画像処理装置、超音波診断システム及び医用画像診断システム
JP7010948B2 (ja) 胎児超音波撮像
KR102273020B1 (ko) 의료 영상 정합 방법 및 그 장치
KR20170007209A (ko) 의료 영상 장치 및 그 동작 방법
JP2023014321A (ja) 超音波診断装置、及び制御プログラム
KR20140126815A (ko) 호흡 주기 동안 체내 장기의 변화를 추적하는 방법, 장치 및 시스템.
JP2011177495A (ja) 超音波診断装置及び医用画像処理装置
JP6720001B2 (ja) 超音波診断装置、及び医用画像処理装置
KR20170086311A (ko) 의료 영상 장치 및 그 동작방법
JP2014064913A (ja) 超音波診断装置、医用画像処理装置及び画像処理プログラム
JP2022545219A (ja) 超音波ガイダンスダイナミックモード切り替え
KR102289393B1 (ko) 영상 장치 및 그 제어방법
JP6305773B2 (ja) 超音波診断装置、画像処理装置及びプログラム
JP6863774B2 (ja) 超音波診断装置、画像処理装置及び画像処理プログラム
JP2019093123A (ja) 医用画像診断装置及び医用画像処理装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant