KR20160054360A - 영상 장치 및 영상화 방법 - Google Patents

영상 장치 및 영상화 방법 Download PDF

Info

Publication number
KR20160054360A
KR20160054360A KR1020140153923A KR20140153923A KR20160054360A KR 20160054360 A KR20160054360 A KR 20160054360A KR 1020140153923 A KR1020140153923 A KR 1020140153923A KR 20140153923 A KR20140153923 A KR 20140153923A KR 20160054360 A KR20160054360 A KR 20160054360A
Authority
KR
South Korea
Prior art keywords
volume data
voxel
displacement vector
value
voxels
Prior art date
Application number
KR1020140153923A
Other languages
English (en)
Inventor
김윤태
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140153923A priority Critical patent/KR20160054360A/ko
Priority to EP15193376.9A priority patent/EP3018628B1/en
Priority to US14/934,484 priority patent/US9996967B2/en
Publication of KR20160054360A publication Critical patent/KR20160054360A/ko
Priority to US15/974,850 priority patent/US10282893B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20072Graph-based image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Image Generation (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

시간의 흐름에 따라 획득된 복수의 볼륨 데이터로부터 중간 볼륨 데이터를 생성함으로써, 고속의 볼륨 레이트를 구현할 수 있는 영상 처리 장치, 이를 포함하는 의료 영상 장치, 초음파 영상 장치, 영상 처리 방법 및 의료 영상 생성 방법을 제공한다.
일 실시예에 따른 영상 처리 장치는, 시간차를 두고 획득된 기준 볼륨 데이터와 타겟 볼륨 데이터 사이에 서로 대응되는 복셀을 검출하고, 상기 대응되는 복셀 사이의 변위 벡터를 생성하는 변위벡터 생성부; 및 상기 생성된 변위 벡터를 이용하여 상기 기준 볼륨 데이터와 상기 타겟 볼륨 데이터 사이의 적어도 하나의 중간 볼륨 데이터를 생성하는 중간 볼륨 데이터 생성부;를 포함한다.

Description

영상 장치 및 영상화 방법 {IMAGING APPARATUS AND IMAGING METHOD }
고속의 볼륨 레이트로 3차원 동영상을 생성하기 위해 사용되는 영상 장치 및 영상화 방법에 관한 것이다.
초음파 진단 장치, 컴퓨터 단층 촬영(CT) 장치, 양전자 단층 촬영(PET) 장치, 토모신세시스(Tomosynthesis) 장치 및 자기 공명 영상(MRI) 장치와 같은 의료 영상 장치는 대상체에 초음파 또는 방사선을 조사하거나 자기장을 가하여 비침습적으로 대상체의 내부를 영상화하는 장치이다.
이런 의료 영상 장치들은 대상체의 2차원 단면 영상과 함께 3차원 볼륨 데이터를 생성하여 사용자로 하여금 대상체 내부의 형태적 특성을 파악할 수 있도록 하므로, 진단 분야에서 유용하게 사용될 수 있다.
시간의 흐름에 따라 획득된 복수의 볼륨 데이터로부터 중간 볼륨 데이터를 생성함으로써, 고속의 볼륨 레이트를 구현할 수 있는 영상 처리 장치, 이를 포함하는 의료 영상 장치, 초음파 영상 장치, 영상 처리 방법 및 의료 영상 생성 방법을 제공한다.
일 실시예에 따른 영상 처리 장치는, 시간차를 두고 획득된 기준 볼륨 데이터와 타겟 볼륨 데이터 사이에 서로 대응되는 복셀을 검출하고, 상기 대응되는 복셀 사이의 변위 벡터를 생성하는 변위벡터 생성부; 및 상기 생성된 변위 벡터를 이용하여 상기 기준 볼륨 데이터와 상기 타겟 볼륨 데이터 사이의 적어도 하나의 중간 볼륨 데이터를 생성하는 중간 볼륨 데이터 생성부;를 포함한다.
상기 변위벡터 생성부는, 상기 기준 볼륨 데이터 내의 서로 인접한 복수의 복셀들의 복셀값을 이용하여 상기 타겟 볼륨 데이터의 대응되는 복셀을 검출할 수 있다.
상기 변위벡터 생성부는, 상기 대응되는 복셀을 검출하기 위해, 상기 기준 볼륨 데이터의 복셀과 상기 타겟 볼륨 데이터의 복셀 사이의 유사도 측정을 이용하여 비용(cost) 값을 계산할 수 있다.
상기 변위벡터 생성부는, 상기 계산된 비용값을 이용하여 상기 기준 볼륨 데이터 내에 인접한 복수의 복셀 사이에 확산되는 복수의 메시지값을 계산할 수 있다.
상기 변위벡터 생성부는, 상기 기준 볼륨 데이터 내에 인접한 복셀들 사이의 그래디언트(gradient)를 계산하고, 상기 계산된 그래디언트에 기초하여 상기 확산되는 메시지값에 적용될 가중치를 결정할 수 있다.
상기 변위벡터 생성부는, 상기 비용값과 상기 메시지값을 이용하여 상기 기준 볼륨 데이터의 복셀과 상기 타겟 볼륨 데이터의 복셀 사이의 신뢰(belief)값을 계산할 수 있다.
상기 변위벡터 생성부는, 상기 타겟 볼륨 데이터의 복셀 중에서 상기 계산된 신뢰값이 가장 작은 복셀을 상기 기준 볼륨 데이터의 복셀과 대응되는 복셀로 결정할 수 있다.
상기 변위벡터 생성부는, 상기 기준 볼륨 데이터로부터 상기 타겟 볼륨 데이터로 향하는 제1변위벡터와 상기 타겟 볼륨 데이터로부터 상기 기준 볼륨 데이터로 향하는 제2변위벡터를 생성할 수 있다.
상기 변위벡터 생성부는, 상기 기준 볼륨 데이터와 시간적으로 인접한 중간 볼륨 데이터는 상기 제1변위벡터를 이용하여 생성하고, 상기 타겟 볼륨 데이터와 시간적으로 인접한 중간 볼륨 데이터는 상기 제2변위벡터를 이용하여 생성할 수 있다.
상기 변위벡터 생성부는, 상기 기준 볼륨 데이터의 하나의 복셀에 대응되는 복셀을 검출하기 위해, 상기 타겟 볼륨 데이터의 미리 설정된 검색 범위에 포함되는 복수의 복셀들에 대해 상기 신뢰값을 계산할 수 있다.
상기 변위벡터 생성부는, 상기 기준 볼륨 데이터의 미리 설정된 검출 범위에 포함되는 적어도 하나의 복셀에 대해 그와 대응되는 타겟 볼륨 데이터의 복셀을 검출할 수 있다.
상기 검색 범위 또는 상기 검출 범위는, 대상체의 움직임 특성에 따라 결정될 수 있다.
상기 검색 범위 또는 검출 범위는, 상기 대상체의 움직임이 클수록 크게 결정되고, 상기 대상체의 움직임이 작을수록 작게 결정될 수 있다.
상기 변위벡터 생성부는, 상기 기준 볼륨 데이터에 대해 계산된 비용값을 데시메이션(decimation)하여 비용값을 복셀값으로 갖는 피라미드 구조의 복수의 볼륨 데이터를 생성할 수 있다.
상기 변위벡터 생성부는, 상기 피라미드 구조의 복수의 볼륨 데이터 중 최상위 레벨의 볼륨 데이터부터 메시지값을 계산하고, 최하위 레벨의 볼륨 데이터의 메시지값을 상기 신뢰값을 계산할 때 이용할 수 있다.
일 실시예에 따른 의료 영상 장치는, 시간차를 두고 기준 볼륨 데이터와 타겟 볼륨 데이터를 획득하는 볼륨 데이터 획득부; 상기 기준 볼륨 데이터와 상기 타겟 볼륨 데이터 사이에 서로 대응되는 복셀을 검출하고, 상기 대응되는 복셀 사이의 변위 벡터를 생성하는 변위벡터 생성부; 및 상기 변위 벡터를 이용하여 상기 기준 볼륨 데이터와 상기 타겟 볼륨 데이터 사이의 적어도 하나의 중간 볼륨 데이터를 생성하는 중간 볼륨데이터 생성부를 포함한다.
상기 의료 영상 장치는, 상기 기준 볼륨 데이터, 상기 중간 볼륨 데이터 및 상기 타겟 볼륨 데이터를 각각 렌더링하여 복수의 프레임 영상을 생성하는 볼륨 렌더링부; 및 상기 생성된 복수의 프레임 영상을 시간 순서에 따라 연속적으로 디스플레이하는 디스플레이부;를 더 포함할 수 있다.
일 실시예에 따른 초음파 영상 장치는, 고도 방향(elevational direction)을 따라 초음파 영상 신호를 시간차를 두고 복수 회 획득하는 초음파 프로브; 상기 시간차를 두고 복수 회 획득된 초음파 영상 신호를 이용하여 기준 볼륨 데이터와 타겟 볼륨 데이터를 생성하는 볼륨 데이터 생성부; 상기 기준 볼륨 데이터와 상기 타겟 볼륨 데이터 사이에 서로 대응되는 복셀을 검출하고, 상기 대응되는 복셀 사이의 변위 벡터를 생성하는 변위벡터 생성부; 및 상기 생성된 변위 벡터를 이용하여 상기 기준 볼륨 데이터와 상기 타겟 볼륨 데이터 사이의 적어도 하나의 중간 볼륨 데이터를 생성하는 중간 볼륨 데이터 생성부;를 포함한다.
일 실시예에 영상 처리 방법은, 시간차를 두고 획득된 기준 볼륨 데이터와 타겟 볼륨 데이터 사이에 서로 대응되는 복셀을 검출하는 단계; 상기 대응되는 복셀 사이의 변위 벡터를 생성하는 단계; 및 상기 생성된 변위 벡터를 이용하여 상기 기준 볼륨 데이터와 상기 타겟 볼륨 데이터 사이의 적어도 하나의 중간 볼륨 데이터를 생성하는 단계;를 포함한다.
일 실시예에 따른 의료 영상 생성 방법은, 시간차를 두고 기준 볼륨 데이터와 타겟 볼륨 데이터를 획득하는 단계; 상기 기준 볼륨 데이터와 상기 타겟 볼륨 데이터 사이에 서로 대응되는 복셀을 검출하는 단계; 상기 대응되는 복셀 사이의 변위 벡터를 생성하는 단계; 및 상기 생성된 변위 벡터를 이용하여 상기 기준 볼륨 데이터와 상기 타겟 볼륨 데이터 사이의 적어도 하나의 중간 볼륨 데이터를 생성하는 단계;를 포함한다.
일 측면에 따른 영상 장치 및 영상화 방법에 의하면, 시간의 흐름에 따라 획득된 복수의 볼륨 데이터로부터 중간 볼륨 데이터를 생성함으로써, 고속의 볼륨 레이트를 구현할 수 있다.
도 1은 일 실시예에 따른 영상 처리 장치에 입력되는 볼륨 데이터를 나타낸 도면이다.
도 2는 일 실시예에 따른 영상 처리 장치의 제어 블록도이다.
도 3은 일 실시예에 따른 영상 처리 장치에 의해 생성되는 중간 볼륨 데이터를 나타낸 도면이다.
도 4는 변위벡터 생성부를 구성하는 각 구성 요소들을 나타낸 제어 블록도이다.
도 5는 메시지 계산부에서 메시지 값을 확산하는 과정을 나타낸 도면이다.
도 6은 인접한 복셀 값을 고려하는 경우에 얻을 수 있는 효과를 설명하기 위한 도면이다.
도 7은 메시지 값에 적용되는 가중치의 크기를 나타낸 그래프이다.
도 8은 신뢰 값을 계산하기 위해 메시지 값을 확산하는 과정을 나타낸 도면이다.
도 9는 피라미드 영상 구조를 이용하여 신뢰 값을 계산하는 과정을 나타낸 도면이다.
도 10은 타겟 볼륨 데이터에서 기준 복셀의 대응점 후보가 되는 검색 범위를 나타내는 도면이다.
도 11은 기준 볼륨 데이터에서 대응점 검출 대상이 되는 기준 복셀의 범위를 나타내는 도면이다.
도 12는 기준 복셀과 대응점 사이의 변위 벡터를 나타내는 도면이다.
도 13및 도 14는 중간 볼륨 데이터의 생성 과정을 나타낸 도면이다.
도 15는 연속적인 볼륨 데이터의 입력에 대응하여 중간 볼륨 데이터를 생성하는 동작을 나타내는 도면이다.
도 16은 볼륨 렌더링부를 더 포함하는 영상 처리 장치의 제어 블록도이다.
도 17은 일 실시예에 따른 의료 영상 장치의 제어 블록도이다.
도 18은 의료 영상 장치가 컴퓨터 단층 영상 장치인 경우의 외관도이다.
도 19 및 도 20은 의료 영상 장치가 토모신세시스인 경우의 외관도이다.
도 21은 의료 영상 장치가 자기 공명 영상 장치인 경우의 외관도이다.
도 22는 의료 영상 장치가 초음파 영상 장치인 경우의 외관도이다.
도 23은 일 실시예에 따른 초음파 영상 장치의 제어 블록도이다.
도 24는 일 실시예에 따른 초음파 영상 장치에 사용되는 초음파 프로브의 외관도이다.
도 25는 일 실시예에 따른 초음파 영상 장치에서 볼륨 데이터를 생성하는 과정을 나타낸 도면이다.
도 26은 일 실시예에 따른 영상 처리 방법에 관한 순서도이다.
도 27은 일 실시예에 따른 영상 처리 방법을 구체적으로 나타낸 순서도이다.
도 28은 기준 복셀에 대응되는 타겟 복셀을 검출하는 과정을 나타낸 순서도이다.
도 29는 일 실시예에 따른 의료 영상 생성 방법의 순서도이다.
이하 첨부된 도면을 참조하여 일 측면에 따른 영상 장치 및 영상화 방법의 실시예를 상세하게 설명하도록 한다.
도 1은 일 실시예에 따른 영상 처리 장치에 입력되는 볼륨 데이터를 나타낸 도면이다.
의료 영상 분야 등 다양한 이미징 분야에서 대상체의 3차원 볼륨을 이미징하기 위한 볼륨 데이터를 획득할 수 있다. 예를 들어, 대상체의 종축 방향을 따라 복수의 횡단면 영상을 획득하고, 획득된 횡단면 영상들을 보간하는 등의 방법으로 대상체의 볼륨을 복원할 수 있고, 복원된 대상체의 볼륨은 볼륨 데이터로 표현되며, 볼륨 데이터는 도 1에 도시된 바와 같이 3차원으로 배열된 복수의 복셀(voxel)로 이루어질 수 있다.
도 1에 도시된 바와 같이 시간의 흐름에 따라 복수의 볼륨 데이터(V1, V2, V3, V4??)를 획득할 수 있고, 볼륨 데이터가 획득되는 시점인 t1, t2, t3, t4 사이에는 시차가 존재한다. 볼륨 데이터를 획득하는 기기의 성능에 따라 볼륨 데이터 획득 시점들 사이의 시차는 클 수도 있고, 작을 수도 있는바, 시차가 커지면 시간의 흐름에 따라 획득된 볼륨 데이터들을 렌더링하여 연속적으로 디스플레이하더라도, 대상체의 자연스러운 움직임을 표현하기 어렵다.
일 실시예에 따른 영상 처리 장치는 입력된 볼륨 데이터 사이에 적어도 하나의 중간 볼륨 데이터를 생성하여 고속의 볼륨 레이트(volume rate)를 구현함으로써 대상체의 자연스러운 움직임을 표현할 수 있다.
도 2는 일 실시예에 따른 영상 처리 장치의 제어 블록도이고, 도 3은 일 실시예에 따른 영상 처리 장치에 의해 생성되는 중간 볼륨 데이터를 나타낸 도면이다.
도 2를 참조하면, 일 실시예에 따른 영상 처리 장치(100)는 입력된 복수의 볼륨 데이터(V1, V2, V3, V4, ...)를 이용하여 변위 벡터를 생성하는 변위 벡터 생성부(110) 및 입력된 볼륨 데이터와 변위 벡터를 이용하여 중간 볼륨 데이터를 생성하는 중간 볼륨 데이터 생성부(120)를 포함할 수 있다.
변위 벡터 생성부(110)는 입력된 복수의 볼륨 데이터 중 연속적으로 획득된 두 개의 볼륨 데이터를 한 쌍으로 이용하여 중간 볼륨 데이터를 획득할 수 있다. 한 쌍의 볼륨 데이터는 시간적으로 전후 관계에 있는 두 볼륨 데이터를 포함한다. 예를 들어, 도 3에 도시된 바와 같이, 입력된 볼륨 데이터 중 두 개의 볼륨 데이터(V1, V2)를 이용하여 변위 벡터를 생성할 수 있고, 중간 볼륨 데이터 생성부(120)는 생성된 변위 벡터를 이용하여 두 개의 볼륨 데이터(V1, V2) 사이의 중간 볼륨 데이터(V1 1-2, V2 1-2, V3 1-2)를 생성할 수 있다.
구체적으로, 변위 벡터는 제1볼륨 데이터(V1)에서 제2볼륨 데이터(V2)로의 변위 또는 제2볼륨 데이터(V2)에서 제1볼륨 데이터(V1)로의 변위를 나타낼 수 있으며, 생성할 중간 볼륨 데이터의 개수(도 3의 예시에서는 3개)에 따라 가중치가 가해진 변위를 제1볼륨 데이터(V1) 또는 제2볼륨 데이터(V2)에 적용하여 복수의 중간 볼륨 데이터를 생성할 수 있다. 여기서, 제1볼륨 데이터와 제2볼륨 데이터는 상호 간의 획득 순서를 나타내기 위해 "제1" 및 "제2"의 표현이 사용된 것이고, 제1볼륨 데이터의 획득 이전이나 제2볼륨 데이터의 획득 이후에 다른 볼륨 데이터들이 획득되었는지 여부에 대해서는 제한이 없다. 생성된 중간 볼륨 데이터들(V1 1-2, V2 1-2, V3 1-2)은 t1과 t2 사이의 시점인 t1 1-2, t2 1-2, t3 1-2 에 각각 획득된 것으로 추정할 수 있고, 이로써 실제로는 저속의 볼륨 레이트로 볼륨 데이터를 획득했더라도 고속의 볼륨 레이트로 볼륨 데이터를 획득한 것과 같은 결과를 얻을 수 있다.
한편, 영상 처리 장치(100)를 구성하는 변위 벡터 생성부(110)와 중간 볼륨 데이터 생성부(120)는 CPU(Central Processor Unit) 또는 GPU(graphics processing unit)와 같은 프로세서에 의해 구현될 수 있고, 각각 독립적인 프로세서에 의해 구현되거나 하나의 프로세서에 의해 구현될 수 있다. 다시 말해, 영상 처리 장치(100)의 구성 요소들은 물리적으로 분리되었는지 여부에 따라 구분된 것이 아니라, 그들이 수행하는 동작에 따라 구분된 것이므로 프로세서를 독립적으로 사용하는지 여부에 대해서는 제한을 두지 않는다.
이하, 변위 벡터 생성부(110)가 변위 벡터를 생성하는 동작을 구체적으로 설명하도록 한다.
변위 벡터는 제1볼륨 데이터와 제2볼륨 데이터 사이의 모션(motion)에 관한 정보를 나타낸다. 변위 벡터 생성부(110)는 이변위 벡터를 생성하기 위해 먼저 제1볼륨 데이터와 제2볼륨 데이터 사이의 대응점을 검출한다. 구체적으로, 제1볼륨 데이터에 포함되는 어떤 복셀이 △t(=t2-t1)만큼의 시간이 경과한 후에 제2볼륨 데이터 내의 어디에 위치하는지 또는 제2볼륨 데이터에 포함되는 어떤 복셀이 △t(=t2-t1)만큼 시간 전에는 제1볼륨 데이터 내의 어디에 위치했는지를 판단한다. 후술하는 바와 같이, 변위 벡터 생성부(110)는 제1볼륨 데이터의 모든 복셀 또는 제2볼륨 데이터의 모든 복셀에 대해 그와 대응되는 제2볼륨 데이터의 복셀 또는 제1볼륨 데이터의 복셀을 검출할 수도 있고, 일부 영역에 대해서만 검출할 수도 있다. 어느 경우에 있어서도, 변위 벡터 생성부(110)는 복셀 단위로 대응점을 검출하기 때문에 대상체의 모션을 정확하게 나타내는 변위 벡터를 생성할 수 있게 된다.
변위 벡터 생성부(110)가 시간차를 두고 획득된 두 볼륨 데이터 사이의 대응점을 검출하기 위해 다양한 알고리즘이 적용될 수 있다. 일 예로서, 대응점 검출 대상인 복셀뿐만 아니라 그와 인접한 복셀들의 복셀 값까지 고려하여 대응점을 검출하는 신뢰 확산(Belief propagation) 알고리즘을 적용할 수 있다. 이하, 신뢰 확산 알고리즘이 적용되는 경우를 예로 들어, 변위 벡터 생성부(110)의 동작을 구체적으로 설명하도록 한다.
도 4는 변위 벡터 생성부를 구성하는 각 구성 요소들을 나타낸 제어 블록도이다.
전술한 바와 같이, 변위 벡터 생성부(110)가 신뢰 확산 알고리즘을 적용하여 두 볼륨 데이터 사이의 대응점을 검출하는 경우에는, 제1볼륨 데이터와 제2볼륨 데이터 사이의 비용(cost) 값을 계산하는 비용 계산부(111), 계산된 비용 값에 대해서 인접한 복셀에 메시지 값을 확산하는 메시지 계산부(112), 비용 값과 메시지 값을 이용하여 신뢰(Belief) 값을 계산하는 신뢰 값 계산부(113) 및 신뢰 값이 최소가 되는 복셀을 대응점으로 결정하고 변위 벡터를 계산하는 변위 벡터 계산부(114)를 포함할 수 있다.
두 볼륨 데이터 사이의 대응점을 검출하기에 앞서, 기준(reference)이 되는 데이터와 타겟(target)이 되는 데이터를 설정할 수 있다. 여기서, 기준과 타겟은 변위 벡터의 방향을 결정하는데 사용되는 것으로서, 기본적으로 변위 벡터는 기준 볼륨 데이터로부터 타겟 볼륨 데이터로의 이동량과 이동 방향을 나타낸다. 다만, 후술하는 양방향(bidirectional) 변위 벡터 계산 시에는, 타겟 볼륨 데이터로부터 기준 볼륨 데이터로 향하는 변위 벡터를 계산할 수 있다. 먼저 획득된 볼륨 데이터를 기준 볼륨 데이터로 할 수도 있고, 타겟 볼륨 데이터로 할 수도 있는바, 실시예에서는 먼저 획득된 볼륨 데이터와 나중에 획득된 볼륨 데이터 중 어느 볼륨 데이터를 기준으로 할 지에 관한 제한을 두지 않는다.
비용 계산부(111)는 기준 볼륨 데이터와 타겟 볼륨 데이터 사이의 유사도 측정(Similarity Measure)을 통해 비용 값을 계산한다. 비용 값의 계산은 복셀 단위로 수행되며, 비용 값의 계산뿐만 아니라 후술할 메시지 값의 계산 및 신뢰 값의 계산 역시 복셀 단위로 수행된다.
비용 값을 계산하기 위해 비용 함수(Cost Function)를 사용할 수 있다. 비용 함수는 그 종류에 따라 두 복셀 값 사이의 차이 값을 찾는 최소 비용 함수와, 두 복셀 값 사이의 정규화된 상호 연관성을 찾는 최대 비용 함수로 나뉠 수 있다. 최소 비용 함수의 계산 결과 값은 오차 또는 비용을 의미하며, 그 결과 값이 작을수록 대응되는 위치일 가능성이 높아지는 반면, 최대 비용 함수는 그 결과 값이 클수록 대응되는 위치일 가능성이 높아진다. 최소 비용 함수의 예로, SSD(Sum of Squared Difference), SAD(Sum of Absolute Difference), MAD(Mean of Absolute Difference) 등을 사용할 수 있고, 최대 비용 함수의 예로, NSSD(Normalized Sum of Squared Difference), NC(Normalized Correlation), NCC(Normalized Cross Correlation) 등을 사용할 수 있다.
영상 처리 장치(100)의 실시예에서는 사용되는 비용 함수의 종류에 제한을 두지 않는바, 상기 예로 든 비용 함수 외에 다른 비용 함수도 사용될 수 있음은 물론이다. 다만, 이하 실시예에서는 최소 비용 함수를 사용하는 것으로 하여 설명한다.
일 예로, 비용 계산부(111)는 아래 [수학식 1]에 따라 비용 값을 계산할 수 있다.
[수학식 1]
Figure pat00001

여기서, C(i, j, k)는 기준 볼륨 데이터를 구성하는 복셀 중에서 x축, y축, z축으로 이루어지는 3차원 공간 상의 좌표 (i, j, k)에 위치하는 복셀의 비용 값이고, Vtgt.(i', j', k')는 타겟 볼륨 데이터를 구성하는 복셀 중에서 좌표 (i', j', k')에 위치하는 복셀의 복셀 값이며, Vref.(i, j, k)는 기준 볼륨 데이터를 구성하는 복셀 중에서 좌표 (i, j, k)에 위치하는 복셀의 복셀 값이다. i, j, k는 각각 1 이상의 정수이며, i', j', k'와 동일한 값을 가질 수도 있고, 상이한 값을 가질 수도 있다. 이하 설명의 편의를 위하여, 기준 볼륨 데이터에 포함되는 복셀을 기준 복셀이라 하고, 타겟 볼륨 데이터에 포함되는 복셀을 타겟 복셀이라 하기로 한다.
메시지 계산부(112)는 대응점 검출 대상인 기준 복셀의 복셀 값 Vref.(i, j, k)뿐만 아니라 그와 인접한 복셀들의 복셀 값까지 고려하기 위해, 계산된 비용 값에 대해 인접한 복셀들에 메시지 값을 확산할 수 있다.
도 5는 메시지 계산부에서 메시지 값을 확산하는 과정을 나타낸 도면이고, 도 6은 인접한 복셀 값을 고려하는 경우에 얻을 수 있는 효과를 설명하기 위한 도면이며, 도 7은 메시지 값에 적용되는 가중치의 크기를 나타낸 그래프이고, 도 8은 신뢰 값을 계산하기 위해 메시지 값을 확산하는 과정을 나타낸 도면이다.
볼륨 데이터를 마르코프 랜덤 필드(Markov random field)로 모델링하면, 볼륨 데이터를 구성하는 각각의 복셀들을 노드(node)로 표현할 수 있는바, 도 5에 도시된 바와 같이, 어느 하나의 기준 복셀을 노드 p로 나타내면, 노드 p에 대응되는 기준 복셀의 좌우에 위치하는 복셀들은 각각 노드 t, 노드 q로 표현할 수 있으며, 전후에 위치하는 복셀들은 각각 노드 u, 노드 v로 표현할 수 있고, 상하에 위치하는 복셀들은 각각 노드 s, 노드 r로 표현할 수 있다.
예를 들어, 노드 p에서 노드 q로 보내는 메시지 값은 아래 [수학식 2]에 따라 계산될 수 있다.
[수학식 2]
Figure pat00002

여기서, Vpq(xp, xq)는 노드 p와 노드 q 사이의 연속성 항을 의미하여, 아래 [수학식 3]과 같이 표현할 수 있다.
[수학식 3]
Figure pat00003
여기서, xp는 노드 p에서의 복셀 값이고, xq는 노드 q에서의 복셀 값이다. s는 노드 p와 노드 q의 복셀 값의 차이에 대한 절대 값에 적용하기 위한 가중치이고, d는 연속성 항을 결정하기 위한 임계(threshold) 값을 나타낸다. Cp(xp)는 노드 p에서의 비용 값이고, mnp(xp)는 노드 n에서(n은 변수) 노드 p로 보내는 메시지 값을 나타내며, n∈{r, s, t, u, v} 이다.
상기 [수학식 2]와 도 5를 함께 참조하면, 노드 p에서 노드 q로 보내는 메시지 값을 계산하기 위해, 노드 r, 노드 s, 노드 t, 노드 u, 노드 v 에서 각각 노드 p로 보내는 메시지 값 mrp(xp), msp(xp), mtp(xp), mup(xp), mvp(xp)을 계산하며, 이를 통해 인접한 복셀들 사이에 메시지 값이 확산될 수 있다. 예를 들어, 대응되는 타겟 복셀을 검출하려는 기준 복셀이 도 6에 도시된 바와 같이 태아의 손에 포함되는 경우에, 해당 기준 복셀과 인접한 기준 복셀들은 서로 유사한 복셀 값을 갖는 것으로 추정할 수 있다. 따라서, 타겟 복셀이 대응점 검출 대상인 기준 복셀 및 그와 인접한 기준 복셀들과도 유사한 복셀 값을 가지면 해당 기준 복셀의 대응점이 될 확률이 높아지게 된다. 따라서, 메시지 값의 확산을 통해 대응점 검출의 정확도가 높아질 수 있다.
다만, 기준 복셀이 손의 에지(edge)에 위치하는 경우에는 해당 기준 복셀과 인접한 복셀들이 유사한 복셀 값을 갖는 것으로 보기 어렵다. 따라서, 신뢰값 계산부(113)는 텍스쳐(texture) 분석을 통해 각 노드에서의 기울기(gradient) 값을 계산하고, 계산된 기울기 값에 따라 적절한 가중치를 메시지 값에 적용할 수 있다. 도 7에 도시된 바와 같이, 기울기 값이 큰 경우에는 에지(edge) 영역으로 추정할 수 있으므로 가중치를 작게 적용하고, 기울기 값이 작은 경우에는 평탄 영역으로 추정할 수 있으므로 가중치를 크게 적용할 수 있다. 노드 사이의 기울기 값에 따라 메시지 값에 대한 가중치를 다르게 적용하게 되면, 에지 영역과 평탄 영역에서 메시지 값의 가중치가 달라지므로 이후에 계산되는 신뢰 값의 정확도가 향상된다. 다만, 메시지 값에 가중치를 적용하는 것은 대응점 검출의 정확도를 높이기 위한 일 예시로서, 영상 처리 장치의 메시지 값에 반드시 가중치를 적용하여야 하는 것은 아니다.
신뢰값 계산부(113)는 계산된 비용 값과, 메시지 값 또는 가중치가 적용된 메시지 값을 이용하여 기준 복셀과 타겟 복셀 사이의 신뢰 값을 계산할 수 있다. 예를 들어, 대응점 검출 대상인 기준 복셀이 노드 p에 대응되는 경우에는, 도 8에 도시된 바와 같이, 노드 p 주변에 인접한 다른 노드들로부터 노드 p로 보내지는 메시지 값을 모두 합산한다. 따라서, 노드 p에서의 신뢰 값은 아래 [수학식 4]에 따라 계산될 수 있다.
[수학식 4]
Figure pat00004

여기서, bp는 노드 p에서의 신뢰 값을 나타내고, ε = {q, r, s, t, u, v}는 인접 노드들의 위치를 나타낸다. Cp(xp)는 노드 p의 비용 값을 나타내고, mnp(xp)는 노드 n에서 노드 p로 보내는 메시지 값을 나타내는바, 이 때 메시지 값은 전술한 바와 같이 가중치가 적용된 메시지 값일 수도 있고 적용되지 않은 메시지 값일 수도 있다. 한편, 노드 p의 비용 값을 계산함에 있어 최대 비용 함수가 사용된 경우에는 계산된 비용 값을 inverse하여 신뢰 값의 계산에 적용할 수 있다.
도 9는 피라미드 영상 구조를 이용하여 신뢰 값을 계산하는 과정을 나타낸 도면이다.
일 예시에 따르면, 신뢰값 계산부(113)가 신뢰값을 계산함에 있어서, coarse-to-fine pyramid영상 기반 신뢰 확산 알고리즘을 적용할 수 있다. 원본 볼륨 데이터에서 계산된 비용값을 decimation하여 복셀값 대신 비용값을 갖는 피라미드 영상을 단계적으로 생성한다. 당해 예시에서는 단계적으로 줄어드는 4개의 피라미드 영상을 생성하였다. 그리고, 최상위 레벨(L4)부터 비용값을 이용하여 메시지값을 계산하고, 최하위 레벨(L1)의 메시지값을 최종 신뢰값을 계산할 때 사용할 수 있다. coarse-to-fine pyramid영상 구조를 이용하여 신뢰값을 계산하면, 잡음 등에 의해 생기는 오류에 대해서 안정적인 대응점 위치 계산이 가능하게 된다.
변위벡터 계산부(114)는 계산된 신뢰 값을 이용하여 기준 복셀에 대응되는 타겟 복셀을 검출할 수 있다. 계산된 신뢰 값 중에서 가장 작은 신뢰 값을 갖는 복셀을 타겟 복셀로 검출할 수 있는바, 이하 도면을 참조하여 구체적으로 설명하도록 한다.
도 10은 타겟 볼륨 데이터에서 기준 복셀의 대응점 후보가 되는 검색 범위를 나타내는 도면이고, 도 11은 기준 볼륨 데이터에서 대응점 검출 대상이 되는 기준 복셀의 범위를 나타내는 도면이며, 도 12는 기준 복셀과 대응점 사이의 변위 벡터를 나타내는 도면이다.
지금까지 설명한 대응점 검출 과정을 참조하면, 기준 볼륨 데이터(Vref) 내의 하나의 기준 복셀(vref)과 타겟 볼륨 데이터(Vtgt) 내의 하나의 타겟 복셀(vtgt) 사이의 신뢰 값을 계산할 수 있다. 이 때, 신뢰 값의 계산을 하나의 기준 복셀과 복수의 타겟 복셀에 대해 수행하고, 기준 복셀과의 사이에서 계산된 신뢰 값이 가장 작은 타겟 복셀을 기준 복셀의 대응점으로 검출할 수 있다.
모든 타겟 복셀에 대해 신뢰 값을 계산하는 것도 가능하나, 연산량의 감소를 위해, 도 10에 도시된 바와 같이, 타겟 볼륨 데이터(Vtgt) 내에 미리 설정된 검색 범위(R)에 포함되는 타겟 복셀(vtgt)에 대해서만 신뢰 값을 계산하는 것도 가능하다. 이 때, 검색 범위(R)는 대응점 검출 대상인 기준 복셀(vref)과 동일한 좌표를 갖는 위치를 중심으로 일정 크기를 갖도록 설정될 수 있고, 일 예로, 대상체의 움직임 특성에 기초하여 그 크기가 설정될 수 있다. 대상체가 움직임이 큰 특성을 갖는 경우에는 검색 범위(R)를 넓게 설정하고, 대상체가 움직임이 작은 특성을 갖는 경우에는 검색 범위(R)를 작게 설정할 수 있다. 또한, 타겟 볼륨 데이터(Vtgt)의 검색 범위(R)는 기준 복셀에 따라 다르게 설정될 수도 있고, 동일하게 설정될 수도 있다. 예를 들어, 대응점 검출 대상인 기준 복셀이 대상체의 움직임이 큰 영역에 위치하는 경우에는 검색 범위(R)를 크게 설정하고, 움직임이 작은 영역에 위치하는 경우에는 검색 범위(R)를 작게 설정할 수 있다.
기준 볼륨 데이터(Vref)가 N개(N은 1 이상의 정수)의 기준 복셀로 이루어지고, 타겟 볼륨 데이터(Vtgt)의 검색 범위(R)가 m개(m은 1 이상의 정수)의 타겟 복셀로 이루어지는 경우에는, 하나의 기준 복셀에 대한 대응점 후보 타겟 복셀이 m개가 된다. 따라서, 신뢰값 계산부(113)는 하나의 기준 복셀의 대응점을 찾기 위해 m개의 신뢰 값을 계산하고, m개의 신뢰 값 중에서 가장 작은 신뢰 값이 계산된 타겟 복셀이 해당 기준 복셀의 대응점이 될 수 있다. 기준 볼륨 데이터 내의 모든 기준 복셀에 대해 그와 대응되는 대응점을 검출하고, 모든 기준 복셀이 동일한 크기의 검색 범위를 갖는 경우에는, 총 Nxm 개의 신뢰 값을 계산하게 된다.
연산량의 감소를 위해, 도 11에 도시된 바와 같이, 기준 볼륨 데이터(Vref)의 일부 기준 복셀에 대해서만 대응점 검출을 수행하는 것도 가능하다. 예를 들어, 기준 볼륨 데이터를 복수의 블록으로 분할하고, 각각의 블록을 대표하는 기준 복셀에 대해서만 대응점을 검출하는 것도 가능하다. 도 11의 예시에서는, 기준 볼륨 데이터(Vref)를 3x3x3 의 블록으로 분할하였는바, 각각의 블록에서 대표 기준 복셀을 선택하고, 선택된 대표 기준 복셀에 대응되는 대응점을 타겟 볼륨 데이터의 검색 범위(R)에서 검출한다. 또한, 타겟 볼륨 데이터(Vtgt)의 검색 범위(R)를 기준 볼륨 데이터(Vref)의 블록과 동일하게 설정할 수 있다. 예를 들어, (3, 3, 3) 위치의 블록 B3,3,3에 대한 대표 기준 복셀 vr_3,3,3의 대응점을 타겟 볼륨 데이터(Vtgt)의 검색 범위(R3,3,3) 내에서 검출할 수 있고, 나머지 블록들에 대해서도 대표 기준 복셀의 대응점을 타겟 볼륨 데이터(Vtgt)의 대응되는 검색 범위(R) 내에서 검출할 수 있다.
기준 볼륨 데이터(Vref) 중에서 대응점 검출 대상이 되는 기준 복셀의 개수(검출 범위의 크기와 대응) 또는 기준 볼륨 데이터(Vref)의 블록의 크기 역시 대상체의 특성에 기초하여 설정될 수 있다. 대상체가 움직임이 큰 특성을 갖는 경우에는 기준 복셀의 개수를 많게 설정하거나 블록의 크기를 작게 설정할 수 있고, 대상체가 움직임이 작은 특성을 갖는 경우에는 기준 복셀의 개수를 적게 설정하거나 블록의 크기를 크게 설정할 수 있다.
또한, 영역 별로 블록의 크기나 대응점 검출 대상이 되는 기준 복셀의 개수를 다르게 설정하는 것도 가능하다. 예를 들어, 대상체가 태아이고 입력되는 볼륨 데이터가 초음파 영상 데이터인 경우에는, 태아의 머리 또는 몸통에 대응되는 영역은 움직임이 크지 않을 것으로 예측하여 블록의 크기를 크게 설정하거나 대응점 검출 대상이 되는 기준 복셀의 개수를 작게 설정할 수 있고, 태아의 손이나 발에 대응되는 영역은 움직임이 상대적으로 클 것으로 예측하여 블록의 크기를 작게 설정하거나 대응점 검출 대상이 되는 기준 복셀의 개수를 크게 설정할 수 있다.
그러나, 이러한 예시외에도 다양한 기준에 따라 대응점 검출 대상이 되는 기준 복셀의 개수나 블록의 크기를 설정할 수 있다.
도 12에 도시된 바와 같이, 변위벡터 계산부(114)는 기준 복셀(vref)과 그 대응점인 타겟 복셀(vtgt) 사이의 변위 벡터
Figure pat00005
를 계산한다. 변위 벡터
Figure pat00006
는 기준 복셀(vref)로부터 타겟 복셀(vtgt)까지의 이동량과 이동 방향을 나타내는바,
Figure pat00007
로 나타낼 수 있다. 상기 변위 벡터는 기준 볼륨 데이터가 제1볼륨 데이터이고, 타겟 볼륨 데이터가 제2볼륨 데이터인 경우에 적용될 수 있다.
변위 벡터가 계산되었으면, 중간 볼륨 데이터 생성부(120)는 계산된 변위 벡터를 이용하여 중간 볼륨 데이터를 생성한다. x, y, z 축의 각 방향으로 변위 벡터 성분에 가중치 α를 곱하는바, 가중치 α는 0과 1 사이의 값을 가지며, 생성될 중간 볼륨 데이터의 개수에 따라 그 값이 달라질 수 있다.
구체적으로, 중간 볼륨 데이터 생성부(120)는 아래 [수학식 5] 및 [수학식 6]에 따라 중간 볼륨 데이터를 생성할 수 있다.
[수학식 5]
Figure pat00008

[수학식 6]
Figure pat00009

여기서, w는 생성될 중간 볼륨 데이터의 순서를 나타내는 인덱스(index)이며, W는 생성될 중간 볼륨 데이터의 총 개수를 나타낸다.
도 13및 도 14는 중간 볼륨 데이터의 생성 과정을 나타낸 도면이다.
예를 들어, 중간 볼륨 데이터를 3개 생성하는 경우에는(W=3), 중간 볼륨 데이터의 순서에 따라 가중치 α는 1/4, 2/4, 3/4의 값을 갖고, 제1볼륨 데이터의 획득 시점과 가까운 시점에 획득된 것으로 추정되는 중간 볼륨 데이터가 낮은 순서를 갖게 된다.
도 13에 도시된 바와 같이, 제1볼륨 데이터와 제2볼륨 데이터를 이용하여 생성된 변위 벡터는 볼륨 변위(Vd)로 나타낼 수 있고, 중간 볼륨 데이터는 상기 [수학식 5]에 따라 제1볼륨 데이터와 가중치 α가 적용된 변위 벡터
Figure pat00010
를 이용하여 생성될 수 있다. 이 때, 제1볼륨 데이터와 제2볼륨 데이터 사이의 첫 번째 볼륨 데이터 V1 1-2 는 가중치 1/4를 적용하고, 두 번째 볼륨 데이터 V2 1-2 는 가중치 2/4를 적용하고, V3 1-2 는 가중치 3/4를 적용할 수 있다.
또는, 양방향(bidirectional) 변위 벡터를 이용하여 중간 볼륨 데이터를 생성하는 것도 가능하다. 이 경우에는, 변위벡터 생성부(110)에서 양방향으로 변위 벡터를 생성할 수 있는바, 변위 벡터의 방향을 바꾸어 두 개를 생성할 수 있다. 구체적으로, 제1볼륨 데이터로부터 제2볼륨 데이터로 향하는 변위 벡터
Figure pat00011
를 생성하고, 제2볼륨 데이터로부터 제1볼륨 데이터로 향하는 변위 벡터
Figure pat00012
를 생성할 수 있다.
양방향 변위 벡터를 이용하여 중간 볼륨 데이터를 생성하는 경우에는 아래 [수학식 7]이 적용될 수 있다.
[수학식 7]
Figure pat00013
, w ≤ W/2
Figure pat00014
, w > W/2
한편, 중간 볼륨 데이터의 총 개수 W가 홀수인 경우에는 상기 [수학식 7]에서의 등호의 위치가 바뀌는 것도 무방하다. 다시 말해, 변위 벡터
Figure pat00015
가 적용되는 인덱스의 범위를 w < W/2 로 하고, 변위 벡터
Figure pat00016
가 적용되는 인덱스의 범위를 w ≥ W/2로 하는 것도 가능하다.
상기 [수학식 7]에 따르면, 생성될 중간 볼륨 데이터와 시간적으로 가까운 입력 볼륨 데이터를 사용하여 중간 볼륨 데이터를 생성한다.
도 14에 도시된 바와 같이, 변위 벡터
Figure pat00017
는 볼륨 변위 Vd (1,2) 로 나타낼 수 있고, 변위 벡터
Figure pat00018
는 볼륨 변위 Vd (2,1) 로 나타낼 수 있다. 그리고, 중간 볼륨 데이터를 4개 생성하는 경우(w=4)를 예로 들면, 인덱스가 w=1인 중간 볼륨 데이터 V1 1 -2는 제1볼륨 데이터 V1와 가중치 1/5가 적용된 변위 벡터
Figure pat00019
를 이용하여 생성하고, 인덱스가 w=2인 중간 볼륨 데이터 V2 1-2는 제1볼륨 데이터 V1와 가중치 2/5가 적용된
Figure pat00020
를 이용하여 생성할 수 있다. 인덱스가 w=3인 중간 볼륨 데이터 V3 1 -2는 제2볼륨 데이터 V2와 가중치 3/5이 적용된 변위 벡터
Figure pat00021
를 이용하여 생성하고, 인덱스가 w=4인 중간 볼륨 데이터 V4 1 -2는 제2볼륨 데이터 V2와 가중치 4/5가 적용된 변위 벡터
Figure pat00022
를 이용하여 생성할 수 있다.
상기 [수학식 5] 또는 [수학식 7]에 따른 계산은 중간 볼륨 데이터를 구성하는 모든 복셀에 대해 수행될 수 있다. 기준 볼륨 데이터를 구성하는 모든 기준 복셀에 대해 변위 벡터를 계산한 경우에는, 모든 기준 복셀에 대해 상기 [수학식 5] 또는 [수학식 7]을 적용하여 중간 볼륨 데이터를 구성하는 모든 복셀의 복셀값을 계산할 수 있다. 기준 볼륨 데이터를 구성하는 기준 복셀 중 일부 기준 복셀에 대해서만 변위 벡터를 계산한 경우에는, 변위 벡터가 계산된 기준 복셀과 나머지 기준 복셀들 사이의 관계를 이용하여 나머지 기준 복셀들에 대해서도 상기 [수학식 5] 또는 [수학식 7]을 적용할 수 있다. 예를 들어, 기준 볼륨 데이터를 복수의 블록으로 나누어 대응점 검출을 수행한 경우에는, 대표 기준 복셀에 대해 계산된 변위 벡터를 같은 블록 내에 속하는 다른 기준 복셀들에 대해서도 동일하게 적용할 수 있다.
도 15는 연속적인 볼륨 데이터의 입력에 대응하여 중간 볼륨 데이터를 생성하는 동작을 나타내는 도면이다.
도 15에 도시된 바와 같이, 제1볼륨 데이터 V1와 제2볼륨 데이터 V2를 이용하여 중간 볼륨 데이터 V1 1-2, V2 1-2, V3 1-2를 생성하고, 제2볼륨 데이터 V2와 제3볼륨 데이터 V3를 이용하여 중간 볼륨 데이터 V1 2-3, V2 2-3, V3 2-3를 생성하고, 제3볼륨 데이터 V3와 제4볼륨 데이터 V4를 이용하여 중간 볼륨 데이터 V1 3-4, V2 3-4, V3 3-4를 생성하고, 제4볼륨 데이터 V4와 제5볼륨 데이터 V5를 이용하여 중간 볼륨 데이터 V1 4-5, V2 4-5, V3 4-5를 생성하고, 제5볼륨 데이터 V5와 제6볼륨 데이터 V6를 이용하여 중간 볼륨 데이터 V1 5-6, V2 5-6, V3 5-6를 생성할 수 있다.
중간 볼륨 데이터의 생성은 실시간으로 이루어질 수도 있고, 볼륨 데이터의 입력이 모두 완료된 이후에 이루어지는 것도 가능하다. 전자의 경우에, 볼륨 데이터가 입력되면 입력된 현재의 볼륨 데이터와 이전의 볼륨 데이터를 이용하여 중간 볼륨 데이터를 생성할 수 있다. 상기 도 15의 예시에 적용하면, 제1볼륨 데이터가 입력된 뒤에 제2볼륨 데이터가 입력되면 제2볼륨 데이터와 제1볼륨 데이터를 이용하여 중간 볼륨 데이터 V1 1-2, V2 1-2, V3 1-2를 생성하고, 제3볼륨 볼륨 데이터가 입력되면 제3볼륨 데이터 V3와 제2볼륨 데이터 V2를 이용하여 중간 볼륨 데이터 V1 2-3, V2 2-3, V3 2-3를 생성할 수 있다. 이 때, 현재 볼륨 데이터를 기준 볼륨 데이터로 할 수도 있고, 이전 볼륨 데이터를 기준 볼륨 데이터로 할 수도 있다. 영상 처리 장치는 이전 볼륨 데이터와 현재 볼륨 데이터 중 어느 볼륨 데이터를 기준 볼륨 데이터로 하는지에 대해서는 제한을 두지 않는다. 또한, 전술한 바와 같이, 변위벡터 생성부에서 양방향 변위 벡터를 생성하는 경우에는, 현재 볼륨 데이터가 기준 볼륨 데이터가 되기도 하고, 이전 볼륨 데이터가 기준 볼륨 데이터가 되기도 한다.
중간 볼륨 데이터를 실시간을 생성하고 입력된 볼륨 데이터와 생성된 중간 볼륨 데이터를 시간 순서에 따라 실시간으로 디스플레이하면 고속의 볼륨 레이트에 따라 획득된 것과 같은 3차원 동영상 다시 말해, 4차원 영상을 사용자에게 제공할 수 있다.
도 16은 볼륨 렌더링부를 더 포함하는 영상 처리 장치의 제어 블록도이다.
도 16을 참조하면, 일 실시예에 따른 영상 처리 장치(100)는 입력된 볼륨 데이터 및 생성된 중간 볼륨 데이터를 렌더링하여 복수의 프레임 영상을 생성하는 볼륨 렌더링부(130)를 더 포함할 수 있다.
볼륨 렌더링이란 3차원의 볼륨 데이터를 가시화하는 작업으로서, 볼륨 렌더링의 방식은 크게 표면 렌더링(surface rendering) 방식과 직접 렌더링(direct rendering) 방식으로 나뉠 수 있다. 표면 렌더링 방식은 볼륨 데이터로부터 사용자가 설정한 스칼라 값과 공간적인 변화량을 기반으로 표면 정보를 추정한다. 그리고, 이를 다각형이나 곡면 패치(patch) 등의 기하학적 요소로 바꾸어 가시화한다. 대표적인 표면 렌더링 방식에는 마칭 큐브(marching cubes) 알고리즘이 있다.
직접 렌더링 방식은 표면을 기하학적 요소로 바꾸는 중간 단계 없이 볼륨 데이터를 직접 가시화하는 방식이다. 직접 렌더링 방식은 볼륨 데이터를 탐색하는 방식에 따라 영상 순서(image-order) 알고리즘과 객체 순서(object-order) 알고리즘으로 나뉠 수 있다. 객체 순서 알고리즘은 볼륨 데이터를 저장 순서에 따라 탐색하여 각 복셀을 그에 대응되는 픽셀에 합성하는 방식으로서, 대표적인 예로서 스플래팅(splatting) 방식이 있다. 영상 순서 알고리즘은 영상의 스캔 라인 순서대로 각 픽셀 값을 결정해 나가는 방식으로서, 각각의 픽셀로부터 출발한 광선을 따라 볼륨 데이터에 대응되는 픽셀 값을 차례로 결정해 나가는 방식이다. 영상 순서 알고리즘의 대표적인 방식으로 레이 캐스팅(ray casting)과 레이 트레이싱(ray tracing)이 있다.
레이 캐스팅은 영상 평면을 구성하는 각 픽셀로부터 광선을 조사하여 광선 위의 각 샘플점에서의 색상과 불투명도 값(opacity)을 구하고, 이들을 합성함으로써 해당 픽셀의 값을 결정하는 방식이다. 광선의 조사 방법 즉, 투영 방법은 평행 투영(parallel projection)과 투시 투영(perspective projection)이 있다. 레이 트레이싱은 뷰어의 눈에 들어오는 광선의 경로를 일일이 추적하는 방식으로서, 광선이 대상체의 볼륨과 만나는 교점만을 찾는 레이 캐스팅과 달리 조사된 광선의 경로를 추적하여 광선의 반사, 굴절과 같은 현상까지도 반영할 수 있다. 레이 트레이싱은 순방향 레이 트레이싱과 역방향 레이 트레이싱으로 나뉠 수 있다. 순방향 레이 트레이싱은 가상의 광원에서 조사된 광선이 대상체에 닿아 반사, 산란, 투과되는 현상을 모델링하여 최종적으로 뷰어의 눈에 들어오는 광선을 찾는 기법이고, 역방향 레이 트레이싱은 뷰어의 눈에 들어오는 광선의 경로를 역방향으로 추적하는 기법이다.
또한, 볼륨 렌더링부(130)는 프레임 영상이 디스플레이될 디스플레이부의 종류에 따라 여러 시점에서 볼륨 데이터를 렌더링하여, 뷰어가 입체감을 느낄 수 있는 스테레오 영상을 생성할 수도 있다. 예를 들어, 좌시점과 우시점에서 각각 렌더링하고 좌시점에서 렌더링된 영상과 우시점에서 렌더링된 영상을 적절하게 합성하면 입체감을 표현하는 스테레오 영상이 생성될 수 있다. 이러한 렌더링 방식 외에 다른 렌더링 방식도 볼륨 렌더링부(130)가 수행할 수 있음은 물론이다.
전술한 영상 처리 장치 및 방법은 일반 영상 분야에 적용될 수 있음은 물론이고, 의료 영상 분야에도 유용하게 적용될 수 있다. 이하, 앞서 설명한 영상 처리 장치 및 방법을 포함하는 의료 영상 장치의 실시예를 구체적으로 설명하도록 한다.
도 17은 일 실시예에 따른 의료 영상 장치의 제어 블록도이다.
도 17을 참조하면, 의료 영상 장치(10)는 볼륨 데이터를 획득하는 볼륨 데이터 획득부(200), 볼륨 데이터 획득부(200)로부터 볼륨 데이터가 입력되면 전술한 바와 같이 중간 볼륨 데이터를 생성하고 볼륨 렌더링을 수행하여 3차원 동영상을 가시화하는 영상 처리 장치(100), 의료 영상 장치(10)의 제어에 관한 사용자의 명령을 입력받는 입력부(310) 및 3차원 동영상을 디스플레이하는 디스플레이부(320)를 포함한다.
볼륨 데이터 획득부(200)는 대상체에 방사선, 초음파 또는 자기장을 가하여 대상체에 대한 영상 데이터를 획득하는 스캐너(210) 및 획득된 영상 데이터를 이용하여 3차원 볼륨을 복원하는 볼륨 데이터 생성부(220)를 포함할 수 있다. 일 예로, 스캐너(210)에서 획득하는 영상 데이터는 복수의 2차원 영상 데이터일 수 있고, 볼륨 데이터 생성부(220)는 복수의 2차원 영상 데이터로부터 3차원 볼륨을 복원할 수 있다.
구체적인 예로서, 볼륨 데이터 생성부(220)는 스캐너(210)에서 획득한 영상 데이터를 재구성하여 대상체(5)의 단층 영상을 생성할 수 있다. 단층 영상은 대상체의 단면을 나타내는 영상으로서, 투영 데이터를 재구성하는 방법으로는 반복(iterative) 방법, 직접 푸리에(direct fourier) 방법, 역투영법(back projection), 여과 중첩 재구성법(filtered back-projection) 등이 있다.
반복 방법은 투영 데이터를 연속적으로 보정하여 대상체의 원래 구조에 근접한 데이터가 얻어질 때까지 보정하는 방법이고, 역투영법은 복수의 시점에서 얻은 투영 데이터들을 한 화면에 되돌려 놓는 방법이며, 직접 푸리에 변환법은 투영 데이터를 공간 영역에서 주파수 영역으로 변환하는 방법이다. 여과 중첩 재구성법은 투영 데이터의 중심 부위 주변으로 형성되는 흐림을 상쇄시키기 위하여 여과 처리를 한 후에 역투영을 하는 방법이다. 예를 들어, 재구성된 단층 영상이 x축, y축, z축으로 정의되는 3차원 공간 상에서 xy 평면 상의 영상인 경우에는, z축 방향을 따라 서로 다른 위치에서 영상 데이터가 획득될 수 있고, z축 방향을 따라 복수의 단층 영상을 재구성할 수 있다. 그리고, z축 방향으로 복수의 단층 영상을 축적하여 대상체의 3차원 볼륨을 복원할 수 있다.
이하, 의료 영상 장치(10)의 구체적인 예시에 따른 외관을 참조하여 그 동작을 상세하게 설명하도록 한다.
도 18은 의료 영상 장치가 컴퓨터 단층 영상 장치인 경우의 외관도이고, 도 19 및 도 20은 의료 영상 장치가 토모신세시스인 경우의 외관도이며, 도 21은 의료 영상 장치가 자기 공명 영상 장치인 경우의 외관도이고, 도 22는 의료 영상 장치가 초음파 영상 장치인 경우의 외관도이다.
의료 영상 장치(10)가 컴퓨터 단층 영상 장치(CT: Computed Tomography)인 경우에는, 도 18에 도시된 바와 같이, 대상체(5)에 엑스선을 조사하는 엑스선 소스(211)와 대상체(5)를 투과한 엑스선을 검출하는 검출기 모듈(212)을 포함할 수 있다. 대상체(5)가 위치하는 환자 테이블(13)이 보어(15) 내부로 이송되면 엑스선 소스(211)와 검출기 모듈(212)이 서로 마주본 상태에서 보어(15)의 주위를 360도의 각도로 회전하면서 대상체(5)를 스캔하여 투영 데이터를 획득한다.
입력부(310)와 디스플레이부(320)는 워크 스테이션(300)에 마련될 수 있다. 워크 스테이션(300)은 입력부(310)와 디스플레이부(320)와 같은 사용자 인터페이스를 제공하고, 스캐너(210)에서 획득한 영상 데이터를 이용하여 디스플레이부(320)를 통해 가시화될 영상을 생성할 수 있다. 따라서, 도면에 도시되지는 않았으나, 볼륨 데이터 생성부(220)와 영상 처리 장치(100)도 워크 스테이션(300)에 마련될 수 있다. 한편, 볼륨 데이터 생성부(220) 역시, CPU(Central Processor Unit)와 같은 프로세서에 의해 구현될 수 있고, 영상 처리 장치(100)와 물리적으로 독립되어 구현되는 것도 가능하고, 영상 처리 장치(100)를 구현하는 프로세서를 일부 또는 전부 공유하는 것도 가능하다. 입력부(310)는 마우스, 키보드, 트랙볼, 터치 패널을 포함하는 입력 장치로 구현될 수 있고, 디스플레이부(320)는 LCD(Liquid Crystal Display), LED(Light Emitting Diode), OLED(Organic Light Emitting Diode), PDP(Plasma Display Panel), CRT(Cathode Ray Tube)를 포함하는 디스플레이 장치로 구현될 수 있다.
사용자는 입력부(310)를 통해 영상 처리 장치(100)의 동작에 관한 제어 명령, 예를 들어, 양방향 변위 벡터의 생성 여부, 생성될 중간 볼륨 데이터의 개수, 모든 기준 복셀의 대응점을 검출할 것인지 여부, 타겟 볼륨 데이터의 검색 범위의 크기 등에 관한 명령을 입력 받을 수 있다. 다만, 이는 적용될 수 있는 예시에 불과하고, 전술한 입력들 중 일부 또는 전부는 영상 처리 장치(100) 내에서 자동으로 설정하는 것도 가능하다.
또한, 입력부(310)를 통해 스캔에 관한 제어 명령을 입력 받는 것도 가능하다. 예를 들어, 관전압, 관전류, 타겟 물질, 노출 시간, 슬라이드 수 등과 같은 촬영 파라미터의 설정 또는 환자 테이블(13)의 이동에 관한 명령을 입력 받을 수 있다. 다만, 이 역시 적용될 수 있는 예시에 불과하며, 전술한 입력들 중 일부 또는 전부는 의료 영상 장치(10) 내에서 자동으로 설정하는 것도 가능하다. 예를 들어, 의료 영상 장치(10)에는 AEC(Auto Exposure Cotroller)가 구비되어 관전압, 관전류, 타겟 물질, 노출 시간 등과 같은 촬영 파라미터를 자동으로 설정할 수 있다.
디스플레이부(320)는 영상을 2차원적으로 디스플레이할 수도 있고, 3차원적으로 디스플레이할 수도 있다. 여기서, 2차원적으로 디스플레이한다는 것은 대상체의 볼륨을 렌더링하여 디스플레이함으로써 대상체의 내부 구조에 관한 3차원 정보를 제공하지만 디스플레이부(320)를 바라보는 사용자가 입체감을 느끼지는 못하는 경우를 의미하고, 3차원적으로 디스플레이한다는 것은 대상체의 볼륨을 여러 시점에서 각각 렌더링하여 사용자가 입체감을 느낄 수 있는 스테레오 영상으로 디스플레이하는 경우를 의미한다.
예를 들어, 디스플레이부(320)가 스테레오스코픽(stereoscopic) 방식으로 구현되는 경우에는 뷰어가 특수 안경을 착용함으로써 디스플레이부(320)에 표시되는 영상을 입체적으로 볼 수 있다. 구체적으로, 스테레오스코픽 방식은 편광 글래스 방식과 셔터 글래스 방식으로 나뉠 수 있다. 전자의 경우, 디스플레이부(320)를 구성하는 주사선을 짝수선과 홀수선으로 나눈 뒤 각각의 주사선에 좌시점에서 렌더링된 영상과 우시점에서 렌더링된 영상이 표시되도록 한다. 디스플레이부(320)의 전면에는 두 영상을 분리하여 출력할 수 있는 편광 필터가 부착되며, 특수 안경에는 서로 다른 편광판이 좌측의 렌즈와 우측의 렌즈에 각각 장착되는바, 좌시점 영상은 좌측의 렌즈를 통해서만 보이고, 우시점 영상은 우측의 렌즈를 통해서만 보인다. 셔터 글래스 방식을 적용하는 경우에는 디스플레이부(320)가 좌시점에서 렌더링된 영상과 우시점에서 렌더링된 영상을 교대로 표시한다. 이 때, 특수 안경에 장착된 셔터는 디스플레이부(320)와 선택적으로 개폐될 수 있다.
한편, 디스플레이부(320)는 특수 안경을 사용하지 않는 오토스테레오스코픽(autostereoscopic) 방식을 채용하는 것도 가능하다. 오토스테레오스코픽 방식에는 다시점(multi-view) 방식, 부피 표현(volumetric) 방식 및 직접 영상(Integral Image) 방식 등이 있다.이를 위해, 볼륨 렌더링부(130)에서는 3차원 볼륨 데이터를 여러 시점에서 렌더링하여 다시점 입체 영상을 생성하는바, 각각의 시점에 대응되는 영상을 합성하는 기술을 위빙(weaving)이라고도 한다. 다시점 입체 영상은 디스플레이부(320)로 출력되고, 디스플레이부(320)는 다시점 입체 영상을 입체적으로 표시한다. 이 경우, 디스플레이부(320)는 렌티큘러 렌즈(lenticular lens)나 패럴렉스 배리어(parallax barrier)를 구비할 수 있다. 렌티큘러 렌즈는 빛을 모아 좌우 영상을 분리하고 패럴렉스 배리어는 빛을 차단하여 좌우 영상을 분리함으로써 뷰어가 특수 안경을 쓰지 않고서도 입체감을 느끼도록 할 수 있다.
한편, 의료 영상 장치(10)는 양전자 단층 촬영 장치로 구현되는 것도 가능하다. 이 경우, 양전자를 방출하는 방사성 동위원소를 결합한 의약품을 생체 내에 주입한 후 이를 추적함으로써 체내 분포를 파악한다. 이 경우에도 의료 영상 장치(10)의 외관은 도 18에 도시된 컴퓨터 단층 촬영 장치와 유사하다. 방출된 양전자는 생체 내에서 주위에 있는 전자와 결합하여 소멸되고, 양전자가 소멸하면서 서로 정반대의 방향으로 감마선이 방출된다. 방출된 감마선은 생체 조직을 투과하는바, 스캐너(210)는 생체 조직을 투과한 감마선을 검출하는 방사선 검출기 모듈을 포함한다. 감마선이 어느 방향으로 방출될지 예측할 수 없으므로, 양전자 단층 촬영에서의 방사선 검출기 모듈은 복수의 검출기가 대상체를 둘러싸는 원형의 링 모양으로 배열된 형태를 갖는다.
의료 영상 장치가 토모신세시스(Tomothynsesis)인 경우에는, 도 19또는 도 20에 도시된 바와 같은 외관을 가질 수 있다. 토모신세시스는 유방을 서로 다른 복수의 시점(view)에서 스캔하여 유방의 단층 영상을 얻을 수 있는 의료 영상 장치를 의미한다.
도 19 및 도 20을 참조하면, 스캐너(210)는 유방(5)에 엑스선을 조사하는 엑스선 소스(211)와 유방(5)를 투과한 엑스선을 검출하는 검출기 모듈(212)을 포함한다. 엑스선 조사 방향으로 겹쳐진 조직들을 펼쳐주고 유방의 두께를 감소시켜 더 선명하고 정확한 영상을 얻기 위해, 상하 방향으로 이동 가능한 압착 패들(214c)이 유방(5)을 일정 두께로 압착할 수 있다. 유방(5)이 압착되는 두께는 디폴트(default) 값으로 미리 저장되어 있을 수도 있고, 사용자가 입력부(320)를 통해 원하는 두께를 입력하거나 압착 패들(214c)의 이동을 수동으로(manual) 제어할 수도 있다.
엑스선 소스(211)와 검출기 모듈(212)을 연결하는 제1암(214a) 또는 제2암(214b)은 축(214d)을 통해 본체(213)와 연결될 수 있고, 서로 다른 복수의 시점에서 유방(5)을 스캔하기 위한 일 예로, 도 19에 도시된 바와 같이 엑스선 소스(211)가 연결된 제1암(214a)이 축(214d)을 중심으로 일정 각도로 회전하면서 유방(5)에 엑스선을 조사할 수 있다. 이 때, 검출기 모듈(212)은 고정되고 엑스선 소스(211)만 회전한다. 또는, 도 20에 도시된 바와 같이 엑스선 소스(211)와 검출 모듈(212)이 모두 제1암(214a)에 연결된 일체형 구조를 갖는 경우에는 제1암(214a)이 회전축(214d)을 중심으로 회전할 때에 엑스선 소스(211)와 검출기 모듈(212)이 함께 회전할 수 있다.
워크 스테이션(300), 입력부(310) 및 디스플레이부(320)에 관한 설명은 상기 도 18에서 설명한 바와 같으므로, 여기서는 생략하도록 한다.
의료 영상 장치가 자기 공명 영상 장치인 경우에는, 도 21에 도시된 바와 같이, 스캐너(210)는 보어(15) 내부에 정자장(static field)을 형성하는 정자장 코일(213), 정자장에 경사(gradient)를 발생시켜 경사자장(gradient field)을 형성하는 경사 코일(214) 및 RF 펄스를 인가하여 원자핵을 여기시키고 여기된 원자핵으로부터 에코 신호를 수신하는 RF 코일(215)을 포함한다.
보어(15)에 대상체(5)가 위치하는 환자 테이블(13)이 이송되면 대상체(5)에 정자장, 경사자장 및 RF 펄스가 인가되어 대상체(5)를 구성하는 원자핵이 여기되고, 그로부터 에코 신호가 발생된다. RF 코일(215)은 에코 신호를 수신하여 볼륨 데이터 생성부(220)로 전송한다. 한편, 도면에 도시하지는 않았으나, 워크 스테이션(300)에는 정자장의 세기 및 방향을 제어하고, 펄스 시퀀스를 설계하여 그에 따라 경사 코일(213)과 RF 코일(215)을 제어하는 제어기가 구비될 수 있고, 입력부(310)는 이와 관련된 사용자의 제어 명령, 환자 테이블(13)의 이송에 관한 명령 또는 영상 처리 장치(100)의 동작에 관한 제어 명령을 입력 받을 수 있다.
볼륨 데이터 생성부(220)는 RF 코일(215)이 수신한 자기 공명 신호를 증폭하는 전치 증폭기(preamplifier), 전치 증폭기로부터의 자기 공명 신호를 전송 받아 위상 검출하는 위상 검출기, 위상 검출에 의해 획득된 아날로그 신호를 디지털 신호로 변환하는 A/D 컨버터를 포함할 수 있다. 추가로, 볼륨 데이터 생성부(220)는 디지털 변환된 자기 공명 신호를 저장하는 메모리를 더 포함할 수 있고, 메모리에는 2차원 푸리에(Fourier) 공간을 구성하는 데이터 공간이 형성되며 스캔 완료된 전체 데이터의 저장이 완료되면 볼륨 데이터 생성부(220)는 2차원 푸리에 공간 내의 데이터를 2차원 역 푸리에 변환하여 대상체에 대한 2차원 단층 영상을 재구성하고, 재구성된 단층 영상이 대상체의 횡단면을 나타내는 경우에는, 종축을 따라 서로 다른 위치에서 획득된 복수의 단층 영상을 축적하여 대상체의 3차원 볼륨을 복원하여 볼륨 데이터를 생성할 수 있다. 생성된 볼륨 데이터는 영상 처리 장치(100)로 입력된다.
의료 영상 장치가 초음파 영상 장치인 경우에는, 도 22에 도시된 바와 같이, 스캐너(210)가 초음파 프로브로 구현될 수 있다. 초음파 프로브(210)는 케이블(15)을 통해 초음파 영상 장치(10)의 본체(302)와 연결될 수 있고, 케이블(15)의 일 단에는 본체(302)의 슬롯(307)에 결합 또는 분리가 가능한 커넥터(16)가 마련될 수 있다. 초음프 프로브(210)는 케이블(15)을 통해 초음파 프로브(210)의 제어에 필요한 각종 신호를 입력 받거나, 초음파 프로브(210)가 수신한 초음파 에코 신호에 대응되는 아날로그 신호 또는 디지털 신호를 본체(302)로 전달할 수 있다. 초음파 프로브가 이에 한정되는 것은 아니며, 무선 프로브(wireless probe)로 구현되어 초음파 프로브와 본체(302) 사이에 형성된 네트워크를 통해 신호를 주고 받는 것도 가능하다.
초음파 영상 장치(10)는 대상체의 피폭 없이 그 내부를 영상화할 수 있으며, 다른 의료 영상 장치들에 비하여 소형으로 저렴하게 구현될 수 있고, 실시간 이미징이 가능하다는 이점이 있다. 따라서, 영상 처리 장치(100)를 이용하여 획득된 3차원 동영상을 실시간으로 디스플레이할 수 있는바, 이하 초음파 영상 장치(10)의 실시예를 구체적으로 설명하도록 한다.
도 23은 일 실시예에 따른 초음파 영상 장치의 제어 블록도이고, 도 24는 일 실시예에 따른 초음파 영상 장치에 사용되는 초음파 프로브의 외관도이며, 도 25는 일 실시예에 따른 초음파 영상 장치에서 볼륨 데이터를 생성하는 과정을 나타낸 도면이다.
도 23을 참조하면, 초음파 프로브(210)는 초음파 신호와 전기 신호를 상호 변환하는 트랜스듀서 모듈(211), 송신 신호를 생성하여 트랜스듀서 모듈(211)에 송신하는 송신부(212) 및 트랜스듀서 모듈(211)로부터 초음파 에코 신호가 변환된 전기 신호를 수신하여 증폭 및 집속을 수행하는 수신부(213)를 포함할 수 있다.
트랜스듀서 모듈(211)은 송신부(211)로부터 수신한 송신 신호를 초음파 신호로 변환하여 대상체에 조사하고, 대상체에 반사되어 돌아오는 초음파 에코 신호를 전기 신호로 변환한다. 이를 위해, 트랜스듀서 모듈(211)은 자성체의 자왜효과를 이용하는 자왜 초음파 트랜스듀서(Magnetostrictive Ultrasonic Transducer), 압전 물질의 압전 효과를 이용한 압전 초음파 트랜스듀서(Piezoelectric Ultrasonic Transducer) 및 압전형 미세가공 초음파 트랜스듀서(piezoelectric micromachined ultrasonic transducer, pMUT)를 포함할 수 있으며, 미세 가공된 수백 또는 수천 개의 박막의 진동을 이용하여 초음파를 송수신하는 정전용량형 미세가공 초음파 트랜스듀서(Capacitive Micromachined Ultrasonic Transducer, 이하 cMUT으로 약칭한다)를 포함하는 것도 가능하다.
도 24를 참조하면, 트랜스듀서 모듈이 복수의 트랜스듀서 엘리먼트(transducer element)의 배열로 이루어질 수 있으며, 3차원 초음파 영상을 얻기 위해 2차원 배열로 이루어질 수 있다. 다만, 트랜스듀서 모듈이 반드시 2차원 배열에 한정되는 것은 아니며, 1차원 배열을 사용하여 기계적으로 스티어링(steering) 해주는 것도 가능하다.
다시 도 23을 참조하면, 송신부(212)는 각각의 트랜스듀서 엘리먼트에 전달되는 송신 신호에 적절한 시간 지연(time delay)을 주어 초음파 빔을 집속시키는 송신 빔포머와 송신 신호를 펄스 형태로 생성하여 트랜스듀서 모듈(211)에 전달하는 펄서를 포함할 수 있다.
수신부(213)는 트랜스듀서 모듈(211)로부터 전달된 수신 신호를 증폭하는 증폭기 및 수신 신호에 적절한 시간 지연을 주어 집속시키는 수신 빔포머를 포함할 수 있다. 수신 빔포머의 빔포밍 대상이 아날로그 신호인 경우에는 수신 빔포머가 아날로그 빔포머로 구현되고, 디지털 신호인 경우에는 수신 빔포머가 디지털 빔포머로 구현된다. 후자의 경우에는 수신부(213)에 아날로그-디지털 컨버터가 더 포함될 수 있다. 전자의 경우에도 수신부(213)에 아날로그-디지털 컨버터가 더 포함될 수 있으나, 수신부(213)에 포함되지 않고 백-엔드(back-end)에 해당하는 볼륨 데이터 생성부(220)에 포함되는 것도 가능하다.
초음파 프로브(210)로부터 볼륨 데이터 생성부(220)로 초음파 에코 신호에 대응되는 초음파 영상 신호가 디지털 또는 아날로그 형태로 입력되면 볼륨 데이터 생성부(220)는 입력된 초음파 영상 신호에 신호 처리를 수행하여 초음파 영상 데이터를 생성할 수 있다. 볼륨 데이터 생성부(220)는, 집속된 디지털 초음파 영상 신호에 기초하여 초음파 에코 신호의 크기를 검출하는 포락선 검파 처리를 수행하여 초음파 영상 데이터를 생성할 수 있다. 구체적으로, 각 스캔 라인 상에 존재하는 다수의 집속점의 위치 정보 및 각 집속점에서 획득되는 데이터에 기초하여 초음파 영상 데이터를 형성할 수 있다. 여기서, 초음파 영상 데이터는 각 점의 X-Y 좌표계 상의 좌표, 수직 스캔 라인에 대한 각 스캔 라인의 각도 정보 및 각 집속점에서 획득되는 데이터 등을 포함할 수 있다.
생성되는 초음파 영상 데이터는 도 25의 좌측에 도시된 바와 같이, 대상체의 내부를 영상화한 2차원 영상을 구성할 수 있다. 2차원 영상은 축방향(axial direction)과 측방향(lateral direction)에 의해 정의될 수 있고, 1차원 배열의 초음파 프로브를 이용한 기계적 스티어링 또는 2차원 배열의 초음파 프로브(210)를 이용한 전기적 스티어링에 의해 고도 방향(elevational direction)을 따라 획득된 수신 신호들을 이용하여 복수의 2차원 영상을 생성할 수 있다. 그리고, 볼륨 데이터 생성부(220)는 복수의 2차원 영상을 축적하여 도 25의 우측에 도시된 바와 같은 3차원 볼륨 데이터 V를 복원할 수 있다. 복수의 2차원 영상을 축적함에 있어서, 데이터 보간(data interpolation) 기법을 사용할 수 있다. 일 예로, 초음파 영상 장치(10)를 이용하여 산모의 복중에 위치하는 태아의 3차원 동영상을 디스플레이부(320)를 통해 실시간으로 디스플레이할 수 있다. 영상 처리 장치(100)가 실제 획득된 볼륨 데이터들을 이용하여 중간 볼륨 데이터를 생성하므로, 고속의 볼륨 레이트를 구현할 수 있고, 태아의 움직임이나 태아의 심장 박동 등을 자연스럽게 표현할 수 있다.
이하 일 실시예에 따른 영상 처리 방법에 관한 실시예를 설명하도록 한다.
전술한 영상 처리 장치들이 일 실시예에 따른 영상 처리 방법을 수행할 수 있다. 따라서, 전술한 영상 처리 장치들에 관한 설명은 후술할 영상 처리 방법에도 적용될 수 있음은 물론이다.
도 26은 일 실시예에 따른 영상 처리 방법에 관한 순서도이다.
도 26을 참조하면, 기준 볼륨 데이터와 타겟 볼륨 데이터 사이에 서로 대응되는 복셀을 검출한다(410). 기준 볼륨 데이터와 타겟 볼륨 데이터는 시간차를 두고 획득된 볼륨 데이터로서, 기준 볼륨 데이터가 먼저 획득된 것일 수도 있고, 타겟 볼륨 데이터가 먼저 획득된 것일 수도 있다. 어느 볼륨 데이터를 기준으로 할 것인지는 임의로 설정 가능하다. 대응되는 복셀을 검출함에 있어서, 검출 대상인 기준 복셀뿐만 아니라, 그와 인접한 복셀들까지 함께 고려함으로써 검출의 정확도를 향상시킬 수 있고, 이를 위해 주변의 노드로 메시지 값을 확산하는 신뢰 확산 알고리즘을 적용할 수 있다.
대응되는 복셀 사이의 변위 벡터를 계산한다(420). 변위 벡터는 복셀의 이동량과 이동 방향에 관한 정보를 포함하는바, 기준 복셀이 그에 대응되는 타겟 복셀의 위치까지 이동하는 동안의 이동량과 이동 방향을 나타낼 수 있으며, x축 성분, y축 성분 및 z축 성분을 포함할 수 있다. 한편, 변위 벡터는 기준 볼륨 데이터를 구성하는 모든 기준 복셀에 대해 계산될 수도 있고, 일부 기준 복셀에 대해 계산될 수도 있다. 대응 복셀의 검출이 모든 기준 복셀에 대해 이루어진 경우에는 모든 기준 복셀에 대해 변위 벡터를 계산하고, 대응 복셀의 검출이 일부 기준 복셀에 대해 이루어진 경우에는 일부 기준 복셀에 대해 변위 벡터를 계산한다. 변위 벡터가 계산되는 기준 복셀의 개수는 전술한 바와 같이 대상체의 움직임 특성 또는 영상 특성에 따라 결정될 수 있다.
계산된 변위 벡터를 이용하여 기준 볼륨 데이터와 타겟 볼륨 데이터 사이의 적어도 하나의 중간 볼륨 데이터를 생성한다(430). 중간 볼륨 데이터는 기준 볼륨 데이터와 가중치가 가해진 변위 벡터를 이용하여 생성할 수 있다.
기준 볼륨 데이터와 타겟 볼륨 데이터 사이에 생성할 중간 볼륨 데이터의 개수는 default로 설정되어 있거나, 영상 처리 장치가 자동으로 설정하거나, 사용자가 입력부를 통해 입력할 수 있다.
도 27은 일 실시예에 따른 영상 처리 방법을 구체적으로 나타낸 순서도이다.
대응되는 타겟 복셀을 검출하는 기준 복셀의 개수가 N(N은 1 이상의 정수)인 경우의 실시예를 구체적으로 설명한다. N은 대상체의 움직임 특성이나 영상 특성에 따라 기준 볼륨 데이터를 구성하는 전체 기준 복셀의 개수와 동일할 수도 있고, 그보다 작을 수도 있다.
도 27을 참조하면, N개의 기준 복셀 중 첫 번째 복셀부터 대응 복셀 검출 및 변위 벡터의 계산을 수행한다(501). 구체적으로, 타겟 볼륨 데이터의 검색 범위에서 기준 볼륨 데이터의 첫 번째 기준 복셀에 대응되는 타겟 복셀을 검출한다(510). 타겟 복셀의 검출에 관한 설명은 상기 도 26의 순서도에서 설명한 바와 같다.
대응되는 기준 복셀과 타겟 복셀 사이의 변위 벡터를 계산하고(520), N개의 복셀에 대해 변위 벡터의 계산이 완료되지 않았으면(530의 아니오), 그 다음 기준 복셀에 대해(502) 대응되는 타겟 복셀을 검출하고, 변위 벡터를 계산한다. 순서도의 특성 상 대응 복셀의 검출이 순차적으로 이루어지는 것으로 설명하였으나, 영상 처리 방법의 실시예가 이에 한정되는 것은 아니고, 영상 처리 장치를 구현하는 프로세서의 종류나 특성에 따라 대응 복셀의 검출이 동시에 이루어지는 것도 가능하다. N개의 복셀에 대해 변위 벡터의 계산이 완료되었으면(530의 예), 계산된 변위 벡터를 이용하여 기준 볼륨 데이터와 타겟 볼륨 데이터 사이의 적어도 하나의 중간 볼륨 데이터를 생성할 수 있다(540). 중간 볼륨 데이터의 생성에 관한 설명 역시 상기 도 26의 순서도에서 설명한 바와 같다.
도 28은 기준 복셀에 대응되는 타겟 복셀을 검출하는 과정을 나타낸 순서도이다.
전술한 바와 같이, 대응 복셀을 검출함에 있어서 인접한 복셀들의 복셀값까지 고려하기 위해 신뢰 확산 알고리즘을 사용할 수 있는바, 당해 예시에서는 신뢰 확산 알고리즘을 사용하여 대응 복셀을 검출하는 과정을 구체적으로 설명한다.
먼저, 기준 볼륨 데이터의 기준 복셀과 타겟 볼륨 데이터의 타겟 복셀 사이에 비용 값을 계산한다(511). 비용 값을 계산하기 위해 비용 함수가 사용될 수 있으며, 최소 비용 함수 도는 최대 비용 함수 중 어느 것을 사용해도 무방하다. 일 예로, 상기 [수학식 1]에 따라 최소 비용 함수 중 SAD를 사용하여 비용 값을 계산할 수 있다.
그리고, 계산된 비용 값에 대해 인접 복셀에 메시지 값을 확산한다(512). 볼륨 데이터를 마르코프 랜덤 필드(Markov random field)로 모델링하면, 볼륨 데이터를 구성하는 각각의 복셀들의 위치를 노드(node)로 표현할 수 있는바, 대응 복셀의 검출 대상인 기준 복셀의 위치를 나타내는 노드를 중심으로 상기 [수학식 2]에 따라 그와 인접한 노드들의 메시지 값을 계산하고 상호 간에 확산할 수 있다. 예를 들어, 노드 p와 인접한 노드들은 서로 유사한 복셀 값을 갖는 것으로 추정할 수 있다. 따라서, 타겟 복셀이 기준 복셀 및 기준 복셀과 인접한 복셀들과도 유사한 복셀 값을 가지면 기준 복셀의 대응점이 될 확률이 높아지게 된다. 따라서, 메시지 값의 확산을 통해 대응점 검출의 정확도가 높아질 수 있다.
텍스쳐 분석을 통한 메시지 값의 가중치를 결정한다(513). 예를 들어, 노드 p가 에지(edge)에 위치하는 경우에는 노드 p와 인접한 노드들이 서로 유사한 복셀 값을 갖는 것으로 보기 어렵다. 따라서, 텍스쳐 분석을 통해 각 노드에서의 기울기(gradient) 값을 계산하고, 계산된 기울기 값에 따라 적절한 가중치를 메시지 값에 적용할 수 있다. 도 7에 도시된 바와 같이, 기울기 값이 큰 경우에는 에지(edge) 영역으로 추정할 수 있으므로 가중치를 작게 적용하고, 기울기 값이 작은 경우에는 평탄 영역으로 추정할 수 있으므로 가중치를 크게 적용할 수 있다. 노드 사이의 기울기 값에 따라 메시지 값에 대한 가중치를 다르게 적용하게 되면, 에지 영역과 평탄 영역에서 메시지 값의 가중치가 달라지므로 이후에 계산되는 신뢰 값의 정확도가 향상될 수 있다. 다만, 메시지 값에 가중치를 적용하는 것은 대응점 검출의 정확도를 높이기 위한 일 예시로서, 메시지 값에 가중치를 적용하지 않는 방법도 가능하다.
비용 값과 메시지 값을 이용하여 신뢰 값을 계산한다(514). 구체적으로, 상기 511 단계에서 계산된 비용 값과 메시지 값 또는 가중치가 적용된 메시지 값을 이용하여 상기 [수학식 4]에 따라 노드 p에서의 신뢰 값을 계산할 수 있다. 비용 값을 계산함에 있어 최대 비용 함수가 사용된 경우에는 계산된 비용 값을 inverse하여 신뢰 값의 계산에 적용할 수 있다. 타겟 볼륨 데이터의 검색 범위 내의 모든 타겟 복셀에 대해 상기 511 단계부터 상기 514단계까지 완료되면(515의 예), 신뢰 값이 최소가 되는 타겟 복셀이 기준 복셀에 대응되는 복셀로 결정된다(516). 반면, 타겟 볼륨 데이터의 검색 범위 내의 모든 타겟 복셀에 대해 상기 511 단계부터 상기 514단계까지 완료되지 않았으면(515의 아니오), 검색 범위 내의 모든 타겟 복셀에 대해 완료될 때까지 상기 511 단계부터 상기 514단계까지 반복하여 수행한다.
타겟 볼륨 데이터의 검색 범위의 크기는 대상체의 움직임 특성 또는 영상의 특성에 따라 설정될 수 있는바, 대상체가 움직임이 큰 특성을 갖는 경우에는 검색 범위의 크기를 크게 할 수 있고, 대상체가 움직임이 작은 특성을 갖는 경우에는 검색 범위를 크기를 작게 할 수 있다. 또한, 대상체를 구성하는 영역 별로 움직임의 특성이 다른 경우에는 기준 복셀의 위치에 따라 검색 범위의 크기도 다르게 설정할 수 있다.
이하 의료 영상 생성 방법의 실시예를 설명하도록 한다.
전술한 의료 영상 장치들이 일 실시예에 따른 의료 영상 생성 방법을 수행할 수 있다. 따라서, 전술한 의료 영상 장치들에 관한 설명이 후술할 의료 영상 생성 방법에 적용될 수 있음은 물론이다.
도 29는 일 실시예에 따른 의료 영상 생성 방법의 순서도이다.
도 29를 참조하면, 시간차를 두고 기준 볼륨 데이터와 타겟 볼륨 데이터를 획득한다(610). 기준 볼륨 데이터와 타겟 볼륨 데이터는 동일한 대상체에 관한 것으로서, 획득 시간에만 차이가 있어 대상체의 움직임을 나타낸다. 기준과 타겟은 후술하는 변위 벡터를 계산하는데 있어서 어느 볼륨 데이터를 기준으로 할 것인지에 관한 것으로, 먼저 획득된 볼륨 데이터를 기준 볼륨 데이터로 하는 것도 가능하고 나중에 획득된 볼륨 데이터를 기준 볼륨 데이터로 하는 것도 가능하다. 볼륨 데이터의 획득 방법은 의료 영상 생성 방법을 수행하는데 사용되는 의료 영상 장치의 종류에 따라 달라진다. 전술한 바와 같이 초음파 영상 촬영, 컴퓨터 단층 촬영, 토모신세시스, 자기 공명 촬영 등을 이용하여 볼륨 데이터를 획득할 수 있다.
기준 볼륨 데이터와 타겟 볼륨 데이터 사이에 서로 대응되는 복셀을 검출하고(620), 대응되는 복셀 사이의 변위 벡터를 계산한다(630). 그리고, 계산된 변위 벡터 이용하여 기준 볼륨 데이터와 타겟 볼륨 데이터 사이의 적어도 하나의 중간 볼륨 데이터를 생성한다(640). 대응되는 복셀의 검출(620)에서부터 중간 볼륨 데이터의 생성(640)까지의 과정에 관한 설명은 상기 도 26 내지 도 28에서 설명한 바와 같으므로, 여기서는 구체적인 설명을 생략하도록 한다.
타겟 볼륨 데이터, 중간 볼륨 데이터 및 기준 볼륨 데이터를 렌더링한다(650). 영상이 디스플레이될 디스플레이부가 영상을 3차원적으로 디스플레이할 수 있는 경우에는, 볼륨 데이터들을 좌시점 및 우시점에서 렌더링하는 것도 가능하다. 렌더링에 관한 구체적인 설명은 앞서 영상 처리 장치의 실시예에서 설명한 바와 같다. 렌더링된 타겟 볼륨 데이터, 중간 볼륨 데이터 및 기준 볼륨 데이터를 시간 순서대로 디스플레이한다(660).
이로써, 대상체의 3차원 구조뿐만 아니라, 그 움직임까지 나타내는 3차원 동영상을 디스플레이할 수 있다. 타겟 볼륨 데이터와 기준 볼륨 데이터가 입력되는대로 중간 볼륨 데이터를 생성하여 실시간으로 디스플레이할 수도 있고, 전체 볼륨 데이터가 모두 획득된 이후에 중간 볼륨 데이터를 생성하여 디스플레이할 수도 있다.
중간 볼륨 데이터의 생성에 의해 스캐너에서의 볼륨 레이트보다 고속의 볼륨 레이트로 영상을 디스플레이할 수 있다. 예를 들어, 한 쌍의 기준 볼륨 데이터와 타겟 볼륨 데이터마다 2개의 중간 볼륨 데이터를 생성하는 경우에는 스캐너의 볼륨 레이트보다 2배 빠른 볼륨 레이트로 영상을 디스플레이할 수 있다.
지금까지 상술한 영상 처리 장치, 이를 포함하는 의료 영상 장치, 초음파 영상 장치, 영상 처리 방법 및 의료 영상 생성 방법에 의하면, 시간의 흐름에 따라 획득된 복수의 3차원 볼륨 데이터로부터 중간 볼륨 데이터를 생성함으로써, 고속의 볼륨 레이트를 구현할 수 있다. 실제로 볼륨 데이터를 획득할 때 적용된 볼륨 레이트보다 더 빠른 볼륨 레이트로 볼륨 데이터를 획득한 것과 같은 효과를 얻을 수 있으며, 이로 인해 대상체의 움직임을 더 자연스럽게 표현할 수 있다.
또한, 중간 볼륨 데이터를 생성하기 위해 기준 볼륨 데이터와 타겟 볼륨 데이터 사이의 대응점을 검출하는 과정에서, 인접한 복셀들의 복셀 값까지 함께 고려하므로 대응점 검출의 정확도가 향상될 수 있다.
100 : 영상 처리 장치
110 : 변위벡터 생성부
111 : 비용 계산부
112 : 메시지 계산부
113 : 신뢰값 계산부
114 : 변위벡터 계산부
120 : 중간 볼륨데이터 생성부
130 : 볼륨 렌더링부
10 : 의료 영상 장치

Claims (37)

  1. 시간차를 두고 획득된 기준 볼륨 데이터와 타겟 볼륨 데이터 사이에 서로 대응되는 복셀을 검출하고, 상기 대응되는 복셀 사이의 변위 벡터를 생성하는 변위벡터 생성부; 및
    상기 생성된 변위 벡터를 이용하여 상기 기준 볼륨 데이터와 상기 타겟 볼륨 데이터 사이의 적어도 하나의 중간 볼륨 데이터를 생성하는 중간 볼륨 데이터 생성부;를 포함하는 영상 처리 장치.
  2. 제 1 항에 있어서,
    상기 변위벡터 생성부는,
    상기 기준 볼륨 데이터 내의 서로 인접한 복수의 복셀들의 복셀값을 이용하여 상기 타겟 볼륨 데이터의 대응되는 복셀을 검출하는 영상 처리 장치.
  3. 제 2 항에 있어서,
    상기 변위벡터 생성부는,
    상기 대응되는 복셀을 검출하기 위해, 상기 기준 볼륨 데이터의 복셀과 상기 타겟 볼륨 데이터의 복셀 사이의 유사도 측정을 이용하여 비용(cost) 값을 계산하는 영상 처리 장치.
  4. 제 3 항에 있어서,
    상기 변위벡터 생성부는,
    상기 계산된 비용값을 이용하여 상기 기준 볼륨 데이터 내에 인접한 복수의 복셀 사이에 확산되는 복수의 메시지값을 계산하는 영상 처리 장치.
  5. 제 4 항에 있어서,
    상기 변위벡터 생성부는,
    상기 기준 볼륨 데이터 내에 인접한 복셀들 사이의 그래디언트(gradient)를 계산하고, 상기 계산된 그래디언트에 기초하여 상기 확산되는 메시지값에 적용될 가중치를 결정하는 영상 처리 장치.
  6. 제 4 항에 있어서,
    상기 변위벡터 생성부는,
    상기 비용값과 상기 메시지값을 이용하여 상기 기준 볼륨 데이터의 복셀과 상기 타겟 볼륨 데이터의 복셀 사이의 신뢰(belief)값을 계산하는 영상 처리 장치.
  7. 제 6 항에 있어서,
    상기 변위벡터 생성부는,
    상기 타겟 볼륨 데이터의 복셀 중에서 상기 계산된 신뢰값이 가장 작은 복셀을 상기 기준 볼륨 데이터의 복셀과 대응되는 복셀로 결정하는 영상 처리 장치.
  8. 제 1 항에 있어서,
    상기 중간 볼륨데이터 생성부는,
    상기 기준 볼륨 데이터와 상기 변위 벡터를 이용하여 상기 중간 볼륨 데이터를 생성하는 영상 처리 장치.
  9. 제 8 항에 있어서,
    상기 중간 볼륨데이터 생성부는,
    상기 기준 볼륨 데이터와 상기 타겟 볼륨 데이터 사이에 생성될 중간 볼륨 데이터의 개수 및 그 순서에 따라 가중치가 적용된 변위 벡터를 이용하여 상기 중간 볼륨 데이터를 생성하는 영상 처리 장치.
  10. 제 1 항에 있어서,
    상기 변위벡터 생성부는,
    상기 기준 볼륨 데이터로부터 상기 타겟 볼륨 데이터로 향하는 제1변위벡터를 생성하고, 상기 타겟 볼륨 데이터로부터 상기 타겟 볼륨 데이터로 향하는 제2변위벡터를 생성하는 영상 처리 장치.
  11. 제 10 항에 있어서,
    상기 변위벡터 생성부는,
    상기 기준 볼륨 데이터와 시간적으로 인접한 중간 볼륨 데이터는 상기 제1변위벡터를 이용하여 생성하고, 상기 타겟 볼륨 데이터와 시간적으로 인접한 중간 볼륨 데이터는 상기 제2변위벡터를 이용하여 생성하는 영상 처리 장치.
  12. 제 7 항에 있어서,
    상기 변위벡터 생성부는,
    상기 기준 볼륨 데이터의 하나의 복셀에 대응되는 복셀을 검출하기 위해, 상기 타겟 볼륨 데이터의 미리 설정된 검색 범위에 포함되는 복수의 복셀들에 대해 상기 신뢰값을 계산하는 영상 처리 장치.
  13. 제 12 항에 있어서,
    상기 변위벡터 생성부는,
    상기 기준 볼륨 데이터의 미리 설정된 검출 범위에 포함되는 적어도 하나의 복셀에 대해 그와 대응되는 타겟 볼륨 데이터의 복셀을 검출하는 영상 처리 장치.
  14. 제 13 항에 있어서,
    상기 검색 범위 또는 상기 검출 범위는,
    대상체의 움직임 특성에 따라 결정되는 영상 처리 장치.
  15. 제 14항에 있어서,
    상기 검색 범위 또는 검출 범위는,
    상기 대상체의 움직임이 클수록 크게 결정되고, 상기 대상체의 움직임이 작을수록 작게 결정되는 영상 처리 장치.
  16. 제 7 항에 있어서,
    상기 변위벡터 생성부는,
    상기 기준 볼륨 데이터에 대해 계산된 비용값을 데시메이션(decimation)하여 비용값을 복셀값으로 갖는 피라미드 구조의 복수의 볼륨 데이터를 생성하는 영상 처리 장치.
  17. 제 16 항에 있어서,
    상기 변위벡터 생성부는,
    상기 피라미드 구조의 복수의 볼륨 데이터 중 최상위 레벨의 볼륨 데이터부터 메시지값을 계산하고, 최하위 레벨의 볼륨 데이터의 메시지값을 상기 신뢰값을 계산할 때 이용하는 영상 처리 장치.
  18. 시간차를 두고 기준 볼륨 데이터와 타겟 볼륨 데이터를 획득하는 볼륨 데이터 획득부;
    상기 기준 볼륨 데이터와 상기 타겟 볼륨 데이터 사이에 서로 대응되는 복셀을 검출하고, 상기 대응되는 복셀 사이의 변위 벡터를 생성하는 변위벡터 생성부; 및
    상기 변위 벡터를 이용하여 상기 기준 볼륨 데이터와 상기 타겟 볼륨 데이터 사이의 적어도 하나의 중간 볼륨 데이터를 생성하는 중간 볼륨데이터 생성부;를 포함하는 의료 영상 장치.
  19. 제 18 항에 있어서,
    상기 기준 볼륨 데이터와 타겟 볼륨 데이터는 초음파 영상으로부터 획득된 의료 영상 장치.
  20. 제 18 항에 있어서,
    상기 변위벡터 생성부는,
    상기 기준 볼륨 데이터 내의 서로 인접한 복수의 복셀들의 복셀값을 이용하여 상기 타겟 볼륨 데이터의 대응되는 복셀을 검출하는 의료 영상 장치.
  21. 제 20항에 있어서,
    상기 변위벡터 생성부는,
    상기 대응되는 복셀을 검출하기 위해, 상기 기준 볼륨 데이터의 복셀과 상기 타겟 볼륨 데이터의 복셀 사이의 유사도 측정을 이용하여 비용(cost) 값을 계산하고, 상기 계산된 비용값을 이용하여 상기 기준 볼륨 데이터 내에 인접한 복수의 복셀 사이에 확산되는 복수의 메시지값을 계산하는 의료 영상 장치.
  22. 제 21 항에 있어서,
    상기 변위벡터 생성부는,
    상기 기준 볼륨 데이터 내에 인접한 복셀들 사이의 그래디언트(gradient)를 계산하고, 상기 계산된 그래디언트에 기초하여 상기 확산되는 메시지값에 적용될 가중치를 결정하는 의료 영상 장치.
  23. 제 21 항에 있어서,
    상기 변위벡터 생성부는,
    상기 비용값과 상기 메시지값을 이용하여 상기 기준 볼륨 데이터의 복셀과 상기 타겟 볼륨 데이터의 복셀 사이의 신뢰(belief)값을 계산하고, 상기 타겟 볼륨 데이터의 복셀 중에서 상기 계산된 신뢰값이 가장 작은 복셀을 상기 기준 볼륨 데이터의 복셀과 대응되는 복셀로 결정하는 의료 영상 장치.
  24. 제 18 항에 있어서,
    상기 기준 볼륨 데이터, 상기 중간 볼륨 데이터 및 상기 타겟 볼륨 데이터를 각각 렌더링하여 복수의 프레임 영상을 생성하는 볼륨 렌더링부; 및
    상기 생성된 복수의 프레임 영상을 시간 순서에 따라 연속적으로 디스플레이하는 디스플레이부;를 더 포함하는 의료 영상 장치.
  25. 시간차를 두고 획득된 기준 볼륨 데이터와 타겟 볼륨 데이터 사이에 서로 대응되는 복셀을 검출하는 단계;
    상기 대응되는 복셀 사이의 변위 벡터를 생성하는 단계; 및
    상기 생성된 변위 벡터를 이용하여 상기 기준 볼륨 데이터와 상기 타겟 볼륨 데이터 사이의 적어도 하나의 중간 볼륨 데이터를 생성하는 단계;를 포함하는 영상 처리 방법.
  26. 제 25 항에 있어서,
    상기 기준 볼륨 데이터와 상기 타겟 볼륨 데이터는, 의료 영상으로부터 획득되는 영상 처리 방법.
  27. 제 26 항에 있어서,
    상기 의료 영상은, 초음파 영상인 영상 처리 방법.
  28. 제 25 항에 있어서,
    상기 대응되는 복셀을 검출하는 단계는,
    상기 기준 볼륨 데이터 내의 서로 인접한 복수의 복셀들의 복셀값을 이용하여 상기 타겟 볼륨 데이터의 대응되는 복셀을 검출하는 단계를 포함하는 영상 처리 방법.
  29. 제 28 항에 있어서,
    상기 대응되는 복셀을 검출하는 단계는,
    상기 기준 볼륨 데이터의 복셀과 상기 타겟 볼륨 데이터의 복셀 사이의 유사도 측정을 이용하여 비용(cost) 값을 계산하는 단계;
    상기 계산된 비용값을 이용하여 상기 기준 볼륨 데이터 내에 인접한 복수의 복셀 사이에 확산되는 복수의 메시지값을 계산하는 단계; 및
    상기 비용값과 상기 메시지값을 이용하여 상기 기준 볼륨 데이터의 복셀과 상기 타겟 볼륨 데이터의 복셀 사이의 신뢰(belief)값을 계산하는 단계;를 더 포함하는 영상 처리 방법.
  30. 제 29 항에 있어서,
    상기 신뢰값을 계산하는 단계는,
    상기 기준 볼륨 데이터 내에 인접한 복셀들 사이의 그래디언트(gradient)를 계산하고, 상기 계산된 그래디언트에 기초하여 상기 확산되는 메시지값에 적용될 가중치를 결정하는 단계를 더 포함하는 영상 처리 방법.
  31. 제 29 항에 있어서,
    상기 대응되는 복셀을 검출하는 단계는,
    상기 타겟 볼륨 데이터의 복셀 중에서 상기 계산된 신뢰값이 가장 작은 복셀을 상기 기준 볼륨 데이터의 복셀과 대응되는 복셀로 결정하는 단계를 더 포함하는 영상 처리 방법.
  32. 제 25 항에 있어서,
    상기 중간 볼륨 데이터를 생성하는 단계는,
    상기 기준 볼륨 데이터와 상기 변위 벡터를 이용하여 상기 중간 볼륨 데이터를 생성하는 단계를 포함하는 영상 처리 방법.
  33. 제 32 항에 있어서,
    상기 중간 볼륨데이터를 생성하는 단계는,
    상기 기준 볼륨 데이터와 상기 타겟 볼륨 데이터 사이에 생성될 중간 볼륨 데이터의 개수 및 그 순서에 따라 가중치가 적용된 변위 벡터를 이용하여 상기 중간 볼륨 데이터를 생성하는 단계를 포함하는 영상 처리 방법.
  34. 제 25 항에 있어서,
    상기 변위 벡터를 생성하는 단계는,
    상기 기준 볼륨 데이터로부터 상기 타겟 볼륨 데이터로 향하는 제1변위벡터와 상기 타겟 볼륨 데이터로부터 상기 기준 볼륨 데이터로 향하는 제2변위벡터를 생성하는 단계를 포함하는 영상 처리 방법.
  35. 제 34 항에 있어서,
    상기 중간 볼륨데이터를 생성하는 단계는,
    상기 기준 볼륨 데이터와 시간적으로 인접한 중간 볼륨 데이터는 상기 제1변위벡터를 이용하여 생성하고, 상기 타겟 볼륨 데이터와 시간적으로 인접한 중간 볼륨 데이터는 상기 제2변위벡터를 이용하여 생성하는 단계를 포함하는 영상 처리 방법.
  36. 제 31 항에 있어서,
    상기 대응되는 복셀을 검출하는 단계는,
    상기 기준 볼륨 데이터의 하나의 복셀에 대응되는 복셀을 검출하기 위해, 상기 타겟 볼륨 데이터의 검색 범위에 포함되는 복수의 복셀들에 대해 상기 신뢰값을 계산하는 단계를 포함하는 영상 처리 방법.
  37. 제 31 항에 있어서,
    상기 대응되는 복셀을 검출하는 단계는,
    상기 기준 볼륨 데이터의 검출 범위에 포함되는 적어도 하나의 복셀에 대해 그와 대응되는 타겟 볼륨 데이터의 복셀을 검출하는 영상 처리 방법.
KR1020140153923A 2014-11-06 2014-11-06 영상 장치 및 영상화 방법 KR20160054360A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020140153923A KR20160054360A (ko) 2014-11-06 2014-11-06 영상 장치 및 영상화 방법
EP15193376.9A EP3018628B1 (en) 2014-11-06 2015-11-06 Imaging apparatus and imaging method
US14/934,484 US9996967B2 (en) 2014-11-06 2015-11-06 Imaging apparatus and imaging method
US15/974,850 US10282893B2 (en) 2014-11-06 2018-05-09 Imaging apparatus and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140153923A KR20160054360A (ko) 2014-11-06 2014-11-06 영상 장치 및 영상화 방법

Publications (1)

Publication Number Publication Date
KR20160054360A true KR20160054360A (ko) 2016-05-16

Family

ID=54608275

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140153923A KR20160054360A (ko) 2014-11-06 2014-11-06 영상 장치 및 영상화 방법

Country Status (3)

Country Link
US (2) US9996967B2 (ko)
EP (1) EP3018628B1 (ko)
KR (1) KR20160054360A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10852381B2 (en) * 2016-03-14 2020-12-01 Koninklijke Philips N.V. Susceptibility mapping of a moving object
JP6777511B2 (ja) * 2016-11-22 2020-10-28 株式会社日立製作所 超音波撮像装置
WO2019045144A1 (ko) 2017-08-31 2019-03-07 (주)레벨소프트 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
US11398072B1 (en) * 2019-12-16 2022-07-26 Siemens Healthcare Gmbh Method of obtaining a set of values for a respective set of parameters for use in a physically based path tracing process and a method of rendering using a physically based path tracing process

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1251148C (zh) * 2001-06-05 2006-04-12 索尼公司 图像处理设备
US7454038B1 (en) 2004-11-18 2008-11-18 Adobe Systems Incorporated Using directional weighting functions while computing optical flow through belief propagation
US7606420B1 (en) * 2005-10-31 2009-10-20 Adobe Systems, Incorporated Method and apparatus for improving the speed of belief propagation
US20110081061A1 (en) * 2009-10-02 2011-04-07 Harris Corporation Medical image analysis system for anatomical images subject to deformation and related methods
US8452126B2 (en) * 2011-06-17 2013-05-28 General Electric Company Method for automatic mismatch correction of image volumes
KR101932721B1 (ko) 2012-09-07 2018-12-26 삼성전자주식회사 의료 영상들의 정합 방법 및 장치
US20140071125A1 (en) * 2012-09-11 2014-03-13 The Johns Hopkins University Patient-Specific Segmentation, Analysis, and Modeling from 3-Dimensional Ultrasound Image Data
US10390796B2 (en) * 2013-12-04 2019-08-27 Siemens Medical Solutions Usa, Inc. Motion correction in three-dimensional elasticity ultrasound imaging

Also Published As

Publication number Publication date
US20160133042A1 (en) 2016-05-12
EP3018628A2 (en) 2016-05-11
US20180260999A1 (en) 2018-09-13
US9996967B2 (en) 2018-06-12
EP3018628B1 (en) 2020-01-01
US10282893B2 (en) 2019-05-07
EP3018628A3 (en) 2016-10-05

Similar Documents

Publication Publication Date Title
JP6242569B2 (ja) 医用画像表示装置及びx線診断装置
US11883214B2 (en) Methods and systems for high performance and versatile molecular imaging
US10282893B2 (en) Imaging apparatus and imaging method
JP6182045B2 (ja) 画像処理装置およびその方法
JP7150800B2 (ja) 医用4dイメージングにおける動き適応型可視化
JP6833533B2 (ja) 超音波診断装置および超音波診断支援プログラム
KR20150145106A (ko) 의료 영상 정합 방법 및 그 장치
CN104822323A (zh) 超声和x射线模态的整合
US9589387B2 (en) Image processing apparatus and image processing method
KR102218308B1 (ko) 초음파 영상 처리 장치 및 방법
US20160026894A1 (en) Ultrasound Computed Tomography
EP3017428B1 (en) Ultrasonic imaging apparatus and control method thereof
JP7275261B2 (ja) 3次元超音波画像生成装置、方法、及びプログラム
JP6461257B2 (ja) 画像処理装置およびその方法
KR20160004237A (ko) 3차원 마커를 제공하는 의료 시스템, 의료 영상 장치 및 방법
KR20140122991A (ko) 의료 영상 장치 및 그 제어 방법
JP6063154B2 (ja) 超音波診断装置
WO2023166159A1 (en) Method and system for transcranial ultrasound imaging (tui)
Dautraix et al. A stereoscopic display of 3D ultrasonic data: The stereoechography
Nariman A Three Dimensional Reconstruction Algorithm for Rotationally Scanned Objects

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application