KR20190123857A - 영상정합방법 및 영상정합장치 - Google Patents

영상정합방법 및 영상정합장치 Download PDF

Info

Publication number
KR20190123857A
KR20190123857A KR1020180047685A KR20180047685A KR20190123857A KR 20190123857 A KR20190123857 A KR 20190123857A KR 1020180047685 A KR1020180047685 A KR 1020180047685A KR 20180047685 A KR20180047685 A KR 20180047685A KR 20190123857 A KR20190123857 A KR 20190123857A
Authority
KR
South Korea
Prior art keywords
image
phantom
coordinates
dimensional
patient
Prior art date
Application number
KR1020180047685A
Other languages
English (en)
Other versions
KR102042762B1 (ko
Inventor
전상서
홍재성
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020180047685A priority Critical patent/KR102042762B1/ko
Publication of KR20190123857A publication Critical patent/KR20190123857A/ko
Application granted granted Critical
Publication of KR102042762B1 publication Critical patent/KR102042762B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 출원은 영상정합방법 및 영상정합장치에 관한 것으로서, 본 발명의 일 실시예에 의한 영상정합방법은, 엑스선 촬영장치에 부착된 카메라 마커(CM: Camera Marker)를 기준으로 하는 팬텀(Phantom)의 CM 기준 3차원 팬텀 좌표(CMρ13D)와, 상기 엑스선 촬영장치로 촬영한 상기 팬텀의 2차원 팬텀 엑스선 영상에 포함된 상기 팬텀의 2차원 팬텀 좌표(XIρ12D)를 비교하여, 상기 엑스선 촬영장치의 투영 변환 파라미터(XI CMT)를 산출하는 투영 변환 파라미터 산출 단계; 환자의 3차원 입체 영상에 상기 투영 변환 파라미터(XI CMT)를 적용하여, 상기 3차원 입체 영상을 2차원 엑스선 영상(XI)의 좌표계에 따른 2차원 입체 영상으로 변환하는 변환단계; 및 상기 2차원 입체 영상에 대응하는 2차원 입체 좌표에 따라, 상기 2차원 입체 영상을 환자의 2차원 환자 엑스선 영상에 중첩시켜, 정합영상을 생성하는 정합단계를 포함할 수 있다.

Description

영상정합방법 및 영상정합장치 {Apparatus for image overlay and method for the same}
본 출원은 영상정합방법 및 영상정합장치에 관한 것으로서, 2차원 엑스선 영상과 3차원 입체 영상을 정확하게 정합시킬 수 있는 영상정합방법 및 이를 이용하는 영상정합장치에 관한 것이다.
일반적으로, 혈관 중재 시술은 별도의 외과적 절개 없이 엑스선(Xray) 영상 장치를 이용하여 획득된 투시 영상을 기반으로 혈관 내 병변에 바늘이나 카테터를 경피적으로 삽입하여 약물 치료를 하고 아울러 스텐트 삽입을 시행하는 시술 방법을 가리킨다. 부연하면, 엑스선 이미지 장치는 대상체 내부 구조를 용이하게 파악할 수 있기 때문에 의료 분야 등에서 인체 내부의 병변과 같은 이상을 검출하거나 물체나 부품의 내부 구조를 파악하기 위해서 사용된다.
종래의 혈관 중재 시술의 경우, 깊이 정보가 결여된 2차원의 엑스선 영상만 참고하기 때문에 혈관의 3차원 형상 구조 및 수술 도구의 위치 파악이 쉽지 않으며, 가령 카테터가 잘못된 경로로 전진할 경우 혈관 천공이 발생될 위험성도 존재한다. 또한, 혈관 폐색으로 인해 조영제가 도달하지 못하여 엑스선 영상에 가시화되지 못하는 영역의 경우 카테터의 진행 방향을 결정하기가 매우 어려워지며 이로 인해 시술의 정확성 및 안정성이 시술자의 경험 또는 숙련도에 크게 의존하는 경향이 있게 된다.
본 출원은, 2차원 엑스선 영상과 3차원 입체 영상을 정확하게 정합시킬 수 있는 영상정합장치 및 영상정합방법을 제공하고자 한다.
본 출원은, 엑스선 촬영장치를 이용하는 의료 분야 이외에, 범용 카메라 기반의 2차원 영상과 3차원 영상 정합 등에 활용할 수 있는 영상정합장치 및 영상정합방법을 제공하고자 한다.
본 발명의 일 실시예에 의한 영상정합방법은, 2차원 엑스선 영상(XI: X-ray Image)과 3차원 입체 영상을 정합하는 영상정합방법에 관한 것으로서, 엑스선 촬영장치에 부착된 카메라 마커(CM: Camera Marker)를 기준으로 하는 팬텀(Phantom)의 CM 기준 3차원 팬텀 좌표(CMρ13D)와, 상기 엑스선 촬영장치로 촬영한 상기 팬텀의 2차원 팬텀 엑스선 영상에 포함된 상기 팬텀의 2차원 팬텀 좌표(XIρ12D)를 비교하여, 상기 엑스선 촬영장치의 투영 변환 파라미터(XI CM T)를 산출하는 투영 변환 파라미터 산출 단계; 환자의 3차원 입체 영상에 상기 투영 변환 파라미터(XI CM T)를 적용하여, 상기 3차원 입체 영상을 2차원 엑스선 영상(XI)의 좌표계에 따른 2차원 입체 영상으로 변환하는 변환단계; 및 상기 2차원 입체 영상에 대응하는 2차원 입체 좌표에 따라, 상기 2차원 입체 영상을 환자의 2차원 환자 엑스선 영상에 중첩시켜, 정합영상을 생성하는 정합단계를 포함할 수 있다.
여기서, 상기 투영 변환 파라미터 산출 단계는, 상기 팬텀의 3차원 설계정보를 이용하여, 상기 팬텀을 상기 팬텀에 부착된 환자 마커(PM: Patient Marker)를 기준으로 하는 PM 기준 3차원 팬텀 좌표(PMρ13D)로 표시하는 단계; 상기 카메라 마커 및 환자 마커의 위치를 추적하는 위치추적기를 이용하여, 상기 PM 기준 3차원 팬텀 좌표(PMρ13D)를 상기 카메라 마커(CM)을 기준으로 하는 CM 기준 3차원 팬텀 좌표로 변환하는 단계; 및 상기 CM 기준 3차원 팬텀 좌표(CMρ13D)와 상기 2차원 팬텀 좌표(XIρ12D)에 DLT(Direct Linear Transform)를 적용하여, 상기 투영 변환 파라미터(XI CM T)를 산출하는 단계를 포함할 수 있다.
여기서 상기 CM 기준 3차원 팬텀 좌표로 변환하는 단계는, 상기 CM 기준 3차원 팬텀 좌표(CMρ13D)를,
Figure pat00001
를 이용하여 계산하며, O는 상기 위치추적기의 위치이고, O CMT는 상기 위치추적기의 위치를 기준으로 하는 좌표계에서 상기 카메라 마커(CM)를 기준으로 하는 좌표계로의 좌표변환을 위한 제1 변환 파라미터, O PMT는 상기 위치추적기의 위치를 기준으로 하는 좌표계에서 상기 환자 마커(PM)를 기준으로 하는 좌표계로의 좌표변환을 위한 제2 변환 파라미터이고, PMρ13D는 상기 환자 마커를 기준으로 하는 PM 기준 3차원 팬텀 좌표일 수 있다.
여기서 상기 변환단계는, 상기 3차원 입체 영상의 원본 3차원 입체 좌표(Pat(CT)ρ23D)를, 상기 환자에 부착된 환자 마커(PM: Patient Marker)를 기준으로 하는 PM 기준 3차원 입체 좌표(PMρ23D)로 변환하는 단계; 및 상기 카메라 마커 및 환자 마커의 위치를 추적하는 위치추적기를 이용하여, 상기 PM 기준 3차원 입체 좌표를 상기 CM 기준 3차원 입체 좌표로 변환하고, 상기 CM 기준 3차원 입체 좌표에 상기 투영 변환 파라미터를 적용하여, 상기 2차원 입체 영상으로 변환하는 단계를 포함할 수 있다.
여기서 상기 PM 기준 3차원 입체 좌표(PMρ23D)로 변환하는 단계는, 환자의 환부에 삽입된 프로브(probe)의 위치를 위치추적기로 추적하여 상기 환자 마커(PM)를 기준으로 하는 상기 프로브의 위치를 판별하고, 상기 환부의 특징점에 위치한 상기 프로브의 위치와, 상기 원본 3차원 입체 좌표(Pat(CT)ρ23D)에 나타난 특징점의 위치를 비교하여, 상기 원본 3차원 입체 좌표(Pat(CT)ρ23D)를 상기 PM 기준 3차원 입체 좌표(PMρ23D)로 변환할 수 있다.
여기서 상기 2차원 입체 영상으로 변환하는 단계는,
Figure pat00002
를 이용하여 상기 2차원 입체 좌표를 생성하며, O는 상기 환자 마커 및 카메라 마커의 위치를 추적하는 위치추적기의 위치이고, XI CMT는 투영 변환 파라미터, O CMT는 상기 위치추적기의 위치를 기준으로 하는 좌표계에서 상기 카메라 마커(CM)를 기준으로 하는 좌표계로의 좌표변환을 위한 제1 변환 파라미터, O PMT는 상기 위치추적기의 위치를 기준으로 하는 좌표계에서 상기 환자 마커(PM)를 기준으로 하는 좌표계로의 좌표변환을 위한 제2 변환 파라미터이며, PMρ23D 는 상기 PM 기준 3차원 입체 좌표일 수 있다.
본 발명의 일 실시예에 의하면, 하드웨어와 결합되어 상술한 영상정합방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램이 존재할 수 있다.
본 발명의 일 실시예에 의한 영상정합장치는, 2차원 엑스선 영상과 3차원 입체 영상을 정합하는 영상정합장치에 관한 것으로서, 엑스선 촬영장치에 부착된 카메라 마커(CM: Camera Marker)를 기준으로 하는 팬텀(Phantom)의 CM 기준 3차원 팬텀 좌표(CMρ13D)와, 상기 엑스선 촬영장치로 촬영한 상기 팬텀의 2차원 팬텀 엑스선 영상(XI: X-ray Image)에 포함된 상기 팬텀의 2차원 팬텀 좌표(XIρ12D)를 비교하여, 상기 엑스선 촬영장치의 투영 변환 파라미터(XI CMT)를 산출하는 투영 변환 파라미터 산출부; 환자의 3차원 입체 영상에 상기 투영 변환 파라미터(XI CMT)를 적용하여, 상기 3차원 입체 영상을 2차원 엑스선 영상(XI)의 좌표계에 따른 2차원 입체 영상으로 변환하는 변환부; 및 상기 2차원 입체 영상에 대응하는 2차원 입체 좌표에 따라, 상기 2차원 입체 영상을 환자의 2차원 환자 엑스선 영상에 중첩시켜, 정합영상을 생성하는 정합부를 포함할 수 있다.
여기서 상기 투영 변환 파라미터 산출부는, 상기 팬텀의 3차원 설계정보를 이용하여, 상기 팬텀을 상기 팬텀에 부착된 환자 마커(PM: Patient Marker)를 기준으로 하는 PM 기준 3차원 팬텀 좌표(PMρ3D)로 표시하고, 상기 카메라 마커 및 환자 마커의 위치를 추적하는 위치추적기를 이용하여, 상기 PM 기준 3차원 팬텀 좌표(PMρ13D)를 상기 카메라 마커(CM)을 기준으로 하는 CM 기준 3차원 팬텀 좌표로 변환하며, 상기 CM 기준 3차원 팬텀 좌표(CMρ13D)와 상기 2차원 팬텀 좌표(XIρ12D)에 DLT(Direct Linear Transform)를 적용하여, 상기 투영 변환 파라미터(XI CMT)를 산출할 수 있다.
여기서 상기 투영 변환 파라미터 산출부는, 상기 CM 기준 3차원 팬텀 좌표(CMρ13D)를,
Figure pat00003
를 이용하여 계산하며, O는 상기 위치추적기의 위치이며, O CMT는 상기 위치추적기의 위치를 기준으로 하는 좌표계에서 상기 카메라 마커(CM)를 기준으로 하는 좌표계로의 좌표변환을 위한 제1 변환 파라미터, O PMT는 상기 위치추적기의 위치를 기준으로 하는 좌표계에서 상기 환자 마커(PM)를 기준으로 하는 좌표계로의 좌표변환을 위한 제2 변환 파라미터이고, PMρ13D는 상기 환자 마커를 기준으로 하는 PM 기준 3차원 팬텀 좌표일 수 있다.
여기서 상기 변환부는, 상기 3차원 입체 영상의 원본 3차원 입체 좌표(Pat(CT)ρ23D)를, 상기 환자에 부착된 환자 마커(PM: Patient Marker)를 기준으로 하는 PM 기준 3차원 입체 좌표(PMρ23D)로 변환하고, 상기 카메라 마커 및 환자 마커의 위치를 추적하는 위치추적기를 이용하여, 상기 PM 기준 3차원 입체 좌표를 상기 CM 기준 3차원 입체 좌표로 변환하고, 상기 CM 기준 3차원 입체 좌표에 상기 투영 변환 파라미터를 적용하여, 상기 2차원 입체 영상으로 변환할 수 있다.
여기서 상기 변환부는, 환자의 환부에 삽입된 프로브의 위치를 위치추적기로 추적하여 상기 환자 마커를 기준으로 하는 상기 프로브의 위치를 판별하고, 상기 환부의 특징점에 위치한 상기 프로브의 위치와, 상기 원본 3차원 입체 좌표(Pat(CT)ρ23D)에 나타난 특징점의 위치를 비교하여, 상기 원본 3차원 입체 좌표(Pat(CT)ρ23D)를 상기 PM 기준 3차원 입체 좌표(PMρ3D)로 변환할 수 있다.
여기서 상기 변환부는,
Figure pat00004
를 이용하여 상기 2차원 입체 좌표를 생성하며, O는 상기 환자 마커 및 카메라 마커의 위치를 추적하는 위치추적기의 위치이고, XI CMT는 투영 변환 파라미터, O CMT는 상기 위치추적기의 위치를 기준으로 하는 좌표계에서 상기 카메라 마커(CM)를 기준으로 하는 좌표계로의 좌표변환을 위한 제1 변환 파라미터, O PMT는 상기 위치추적기의 위치를 기준으로 하는 좌표계에서 상기 환자 마커(PM)를 기준으로 하는 좌표계로의 좌표변환을 위한 제2 변환 파라미터이고, PMρ23D 는 상기 PM 기준 3차원 입체 좌표일 수 있다.
본 발명의 다른 실시예에 의한 영상정합장치는, 프로세서; 및 상기 프로세서에 커플링된 메모리를 포함하는 것으로서, 상기 메모리는 상기 프로세서에 의하여 실행되도록 구성되는 하나 이상의 모듈을 포함하고, 상기 하나 이상의 모듈은, 엑스선 촬영장치에 부착된 카메라 마커(CM: Camera Marker)를 기준으로 하는 팬텀(Phantom)의 CM 기준 3차원 팬텀 좌표(CMρ13D)와, 상기 엑스선 촬영장치로 촬영한 상기 팬텀의 2차원 팬텀 엑스선 영상에 포함된 상기 팬텀의 2차원 팬텀 좌표(XIρ12D)를 비교하여, 상기 엑스선 촬영장치의 투영 변환 파라미터(XI CMT)를 산출하고; 환자의 3차원 입체 영상에 상기 투영 변환 파라미터(XI CMT)를 적용하여, 상기 3차원 입체 영상을 2차원 엑스선 영상(XI)의 좌표계에 따른 2차원 입체 영상으로 변환하며; 상기 2차원 입체 영상에 대응하는 2차원 입체 좌표에 따라, 상기 2차원 입체 영상을 환자의 2차원 환자 엑스선 영상에 중첩시켜, 정합영상을 생성할 수 있다.
덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 의한 영상정합방법 및 영상정합장치에 의하면, 2차원 엑스선 영상과 3차원 입체 영상을 정확하게 정합시킬 수 있다.
본 발명의 일 실시예에 의한 영상정합방법 및 영상정합장치에 의하면, 엑스선 촬영 장치의 이미징 파라미터나 핸드-아이(hand-eye) 변환 파라미터를 계산하지 않고, 엑스선 촬영장치에 부착된 카메라 마커의 좌표계를 기준으로 투영 변환 파라미터를 계산하므로, 고정밀의 영상 정합을 구현하는 것이 가능하다.
본 발명의 일 실시예에 의한 영상정합방법 및 영상정합장치에 의하면, 활관 중재 시술 등의 시술의 정확도를 증가시키고, 장시간 시술에 따른 환자나 의료진에 가해지는 부하를 감소시킬 수 있다.
본 발명의 일 실시예에 따른 영상정합방법 및 영상정합장치가 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도1은 본 발명의 일 실시예에 의한 영상정합시스템을 나타내는 개략도이다.
도2는 본 발명의 일 실시예에 의한 영상정합장치를 나타내는 블록도이다.
도3은 본 발명의 일 실시예에 의한 2차원 엑스선 영상과 3차원 입체 영상의 영상정합을 나타내는 개략도이다.
도4 및 도5는 본 발명의 일 실시예에 의한 투영 변환 파라미터 산출을 나타내는 개략도이다.
도6은 본 발명의 일 실시예에 의한 3차원 입체 영상의 좌표계 변환을 나타내는 개략도이다.
도7은 본 발명의 일 실시예에 의한 3차원 입체 영상의 2차원 입체 영상으로의 변환을 나타내는 개략도이다.
도8은 본 발명의 다른 실시예에 의한 영상정합장치를 나타내는 블록도이다.
도9는 본 발명의 일 실시예에 의한 영상정합방법을 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "~부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
도1은 본 발명의 일 실시예에 의한 영상정합시스템을 나타내는 개략도이다.
도1을 참조하면, 본 발명의 일 실시예에 의한 영상정합시스템은, 영상정합장치(100), 3차원 입체 촬영장치(200), 엑스선 촬영장치(300) 및 위치추적기(400)를 포함할 수 있다.
이하, 도1을 참조하여 본 발명의 일 실시예에 의한 영상정합시스템을 설명한다.
영상정합장치(100)는, 3차원 입체 촬영장치(200)로부터 수신하는 환자(1)의 3차원 입체 영상과, 엑스선 촬영장치(300)로부터 수신하는 환자(1)의 2차원 엑스선 영상을 정합하여 정합영상을 생성할 수 있다.
영상정합장치(100)는, 도3(a) 및 도3(b)에 도시한 바와 같이, 수술하고자 하는 혈관에 대한 3차원 입체 영상과, 동일한 혈관에 대한 2차원 엑스선 영상을 입력받을 수 있다. 이후, 입력받은 영상들에 대한 정합을 수행하여, 도3(c)와 같이 정합영상을 생성할 수 있다. 즉, 영상정합장치(100)는 2차원 엑스선 영상 내에 수술 대상인 혈관에 대한 입체적인 형상이 표시된 정합영상을 생성할 수 있으며, 의료진은 수술시 정합영상을 활용할 수 있다. 여기서는, 혈관 중재 수술 등에 적용하는 것을 예시하였으나, 이외에도 다양한 수술이나 시술 등에 적용될 수 있다.
3차원 입체 촬영장치(200)는 환자(1)의 환부 등을 입체 영상으로 촬영하는 장치로, 컴퓨터 단층 촬영 장치(CT: Computer Tomographic) 또는 자기 공명 영상 촬영 장치(MRI: Magnetic Resonance Imagin)일 수 있다. 다만, 이에 한정되는 것은 아니며, 환자(1)의 환부에 대한 3차원의 입체 영상을 생성할 수 있는 것이면 어떠한 장치도 해당될 수 있다.
환자(1)에 대한 3차원 입체 영상은, 시술이나 수술 이전에 3차원 입체 촬영장치(200)를 이용하여 미리 생성할 수 있으며, 촬영된 3차원 입체 영상은 영상정합장치(100)로 제공될 수 있다. 도1에서는, 3차원 입체 촬영장치(200)가 직접 3차원 입체 영상을 영상정합장치(100)로 제공하는 것으로 도시되어 있으나, 실시예에 따라서는 별도의 서버 등을 통하여 영상정합장치(100)로 3차원 입체 영상을 제공하는 것도 가능하다. 예를들어, 환자(1)가 다른 병원이나 기관 등에서 3차원 입체 영상을 촬영한 경우에는, 해당 병원이나 기관 등의 서버로부터 3차원 입체 영상을 제공받을 수 있다.
엑스선 촬영장치(300)는 환자(1)의 환부 등에 엑스선을 조사하여, 2차원의 엑스선 영상을 생성할 수 있다. 도1에 도시한 바와 같이 엑스선 촬영장치(300)는 엑스선 소스(310)와 디텍터(350)를 포함할 수 있으며, 엑스선 소스(310)에서 방출된 엑스선은 환자(1)를 투과하여 디텍터(350) 상에 엑스선 영상을 생성할 수 있다. 실시예에 따라서는 엑스선 촬영장치(300)를 C 암(C-arm) 타입으로 구비할 수 있으며, 엑스선 촬영장치(300)의 이미징 영역, 즉 엑스선 소스(310)와 디텍터(350) 사이에 환자(1)가 위치할 수 있다. 여기서, 엑스선 촬영장치(300)의 이미징 영역에서 환자(1)에 대한 수술 또는 시술 등을 수행될 수 있으며, 수술 또는 시술 중에 환자(1)에 대한 2차원 엑스선 영상을 촬영할 수 있다. 엑스선 소스(310)는 이동 가능하며, 다양한 각도나 위치에서 환자(1)에 대한 엑스선 촬영을 수행할 수 있다.
위치추적기(400)는 환자(1) 또는 팬텀(p)의 위치와, 엑스선 촬영장치(300)의 위치를 감지하여 위치정보를 생성할 수 있으며, 생성한 위치정보를 영상정합장치(100)로 제공할 수 있다. 구체적으로, 환자 또는 팬텀에는 환자 마커(PM: Patient Marker)가 부착되고, 엑스선 소스(310)에는 카메라 마커(CM: Camera Marker)가 부착될 수 있다. 여기서, 환자 마커(PM), 카메라 마커(CM)는 적외선 통신, 블루투스, 비콘 등 근거리 무선 통신을 통하여 위치추적기(400)와 통신을 수행하는 것일 수 있다. 따라서, 위치추적기(400)는 위치추적기(400)의 위치(O)를 기준으로 각각의 환자 마커(PM)와 카메라 마커(CM)의 좌표를 생성하여 위치정보로 제공할 수 있다.
일반적으로, 혈관 중재 시술 등의 경우, 환자(1)의 혈관이나 수술도구, 카테터(catheter) 등의 위치와 형상 등을 수술 과정 중에 지속적으로 확인할 필요가 있으므로, 수술 중에 환자(1)에 대한 엑스선 촬영을 반복하여 수행할 수 있다. 다만, 이 경우 환자(1)나 의료진에게 가해지는 엑스선의 피폭량이 상당하므로, 엑스선의 촬영 횟수를 줄일 필요가 있다. 이를 위하여, 영상정합장치(100)를 이용하여 환자(1)의 3차원 입체 영상과 2차원 엑스선 영상을 정합할 수 있으며, 의료진에게 환부에 대한 정확한 3차원 구조 등을 제공할 수 있다.
다만, 의료진에게 환부의 정확한 3차원 구조를 제공하기 위해서는, 2차원 엑스선 영상과 3차원 입체 영상 사이의 정합의 정확도를 향상시킬 필요가 있다.
기존에는, 엑스선 촬영장치(300)의 기준좌표를 기준으로 캘리브레이션(calibration)을 수행하여, 엑스선 촬영장치(300)의 이미징 파라미터와 핸드-아이(Hand-eye) 파라미터를 계산하고, 이를 이용하여 정합영상을 생성하였다. 그러나, 이미징 파라미터와 핸드-아이 변환 파라미터를 계산하는 과정에서 오차가 발생할 수 있으며, 정합영상 생성과정에서 오차들이 누적되므로, 생성된 정합영상의 정확도가 저하되는 등의 문제가 존재하였다.
반면에, 본 발명의 일 실시예에 의한 영상정합장치(100)는, 기존의 이미징 파라미터나 핸드-아이 변환 파라미터를 계산하지 않으며, 카메라 마커(CM: Camera Marker)를 기준으로 투영 변환 파라미터를 계산하므로, 고정밀의 영상 정합을 구현하는 것이 가능하다. 이하, 본 발명의 일 실시예에 의한 영상정합장치(100)를 설명한다.
도2는 본 발명의 일 실시예에 의한 영상정합장치(100)를 나타내는 블록도이다. 도2를 참조하면 본 발명의 일 실시예에 의한 영상정합장치(100)는 투영 변환 파라미터 산출부(110), 변환부(120) 및 정합부(130)를 포함할 수 있다.
투영 변환 파라미터 산출부(110)는, 도4 및 도5에 도시한 바와 같이, 엑스선 촬영 장치(300)가 3차원의 입체 형상을 2차원 엑스선 영상 내에 표시하는 특성을 나타내는 투영 변환 파라미터를 산출할 수 있다. 구체적으로, 투영 변환 파라미터 산출부(110)에는 팬텀(p)의 3차원 팬텀 좌표와, 팬텀(p)을 엑스선 촬영 장치(300)로 촬영한 2차원 팬텀 엑스선 영상(XI)이 입력될 수 있다. 이후, 투영 변환 파라미터 산출부(110)는 2차원 팬텀 엑스선 영상(XI)에 포함된 팬텀의 2차원 팬텀 좌표와, 팬텀의 3차원 팬텀 좌표를 비교하여, 엑스선 촬영장치(300)의 투영 변환 파라미터(XI CMT)를 산출할 수 있다.
여기서, 팬텀(p)은 엑스선 촬영 장치(300)의 투영 변환 파라미터를 산출하기 위해 제작되는 입체 형상으로, 도4에 도시한 바와 같이, 정육면체에 쇠구슬 등으로 표시되는 특징점이 포함될 수 있다. 팬텀(p)의 3차원 설계 정보는 미리 설정되어 있을 수 있으며, 3차원 설계 정보에는 팬텀(p)의 크기, 형상, 팬텀(p)에 포함된 각각의 특징점들에 대한 좌표 정보 등이 포함될 수 있다. 3차원 설계정보에 저장되는 좌표 정보 등은 팬텀(p)의 좌표계를 기준으로 설정될 수 있다.
한편, 투영 변환 파라미터(XI CMT)는 카메라 마커(CM)를 기준으로 하므로, 투영 변환 파라미터 산출부(110)에서는 팬텀(p)의 3차원 설계정보에 설정된 3차원 팬텀 좌표를 카메라 마커(CM)를 기준으로 하는 CM 기준 3차원 팬텀 좌표(CMρ13D)로 변환할 수 있다. 구체적으로, 투영 변환 파라미터 산출부(110)는 먼저 팬텀(p)을 팬텀(p)에 부착되는 환자 마커(PM)를 기준으로 하는 PM 기준 3차원 팬텀 좌표(PMρ3D)로 변환할 수 있다. 팬텀(p)의 3차원 설계 정보를 포함하고 있으므로, 팬텀(p)에 부착된 환자 마커를 기준으로 하는 PM 기준 3차원 팬텀 좌표는 용이하게 도출가능하다. 실시예에 따라서는, 위치추적기(400)에 의하여 위치를 추적할 수 있는 프로브(probe)를 이용하여, 팬텀(p)에 포함된 특징점들을 지시하는 등의 방식으로 PM 기준 3차원 팬텀 좌표(PMρ13D)를 생성할 수 있다.
이후, 도4 및 도5에 도시한 바와 같이, 위치추적기(400)를 이용하여 PM 기준 3차원 팬텀 좌표(PMρ13D)를 카메라 마커(CM)을 기준으로 하는 CM 기준 3차원 팬텀 좌표(CMρ13D)로 변환할 수 있다. 즉, CM 기준 3차원 팬텀 좌표(CMρ13D)는,
Figure pat00005
를 이용하여 계산할 수 있다. 여기서, O는 위치추적기(400)의 위치, O CMT는 위치추적기(400)의 위치(O)를 기준으로 하는 좌표계에서 카메라 마커(CM)를 기준으로 하는 좌표계로의 좌표변환을 위한 제1 변환 파라미터, O PMT는 위치추적기(400)의 위치(O)를 기준으로 하는 좌표계에서 환자 마커(PM)를 기준으로 하는 좌표계로의 좌표변환을 위한 제2 변환 파라미터이고, PMρ13D는 환자 마커(PM)를 기준으로 하는 PM 기준 3차원 팬텀 좌표에 해당한다. 여기서, 제1 변환 파라미터 및 제2 변환 파라미터는 위치추적기(400)에서 측정하는 환자 마커(PM)와 카메라 마커(CM)의 위치정보를 이용하여 계산가능하다. 따라서, 투영 변환 파라미터 산출부(110)에서는 CM 기준 3차원 팬텀 좌표(CMρ13D)를 도출할 수 있다.
CM 기준 3차원 팬텀 좌표(CMρ13D)를 계산한 이후에는, CM 기준 3차원 팬텀 좌표(CMρ13D)와 2차원 팬텀 좌표(XIρ12D)에 DLT(Direct Linear Transform)를 적용하여 투영 변환 파라미터(XI CMT)를 산출할 수 있다. 구체적으로, CM 기준 3차원 팬텀 좌표(CMρ13D)에서 팬텀(p)에 포함된 특징점(e)의 좌표가 (X, Y, Z)이고, 2차원 팬텀 엑스선 영상(XI)의 2차원 팬텀 좌표(XIρ12D)에서 동일 특징점(e)의 좌표가 (u, v)인 경우, 이 두 좌표 사이의 관계는 다음과 같다.
Figure pat00006
여기서, w는 거리 가중치이고, P는 3Х4의 투영 변환 파라미터에 해당한다. 이후, 팬텀(p)의 3차원 설계 정보에 포함된 특징점들의 좌표정보들을 이용하여 SVD(single value decomposition) 알고리즘을 적용하면, 투영 변환 파라미터 P를 획득할 수 있다. 즉, 투영 변환 파라미터 생성부(110)를 통하여, 엑스선 촬영 장치(300)가 3차원 입체 형상을 2차원 엑스선 영상으로 변환시키는 특성을 나타내는 투영 변환 파라미터(XI CMT)를 산출하는 것이 가능하다.
변환부(120)는 환자(1)의 3차원 입체 영상에 투영 변환 파라미터(XI CMT)를 적용하여, 3차원 입체 영상을 2차원 엑스선 영상(XI)의 좌표계에 따른 2차원 입체 영상으로 변환할 수 있다. 즉, 변환부(120)는 3차원 입체 영상을 2차원 엑스선 영상에 정합하기 위하여, 3차원 입체 영상을 엑스선 영상의 좌표계에 맞도록 변환시킬 수 있다.
먼저, 도 6에 도시한 바와 같이, 변환부(120)는 환자(1)의 3차원 입체 영상(I)에 적용된 원본 3차원 입체 좌표(Pat(CT)ρ23D)를, 환자에 부착된 환자 마커(PM: Patient Marker)를 기준으로 하는 PM 기준 3차원 입체 좌표(PMρ23D)로 변환시킬 수 있다. 여기서, 원본 3차원 입체 좌표(Pat(CT)ρ23D)는 환자를 기준으로 설정된 좌표일 수 있다.
이후, 위치추적기(400)를 이용하여 PM 기준 3차원 입체 좌표(PMρ23D)를 CM 기준 3차원 입체 좌표(CMρ23D)로 변환하고, 변환된 CM 기준 3차원 입체 좌표(CMρ23D)에 투영 변환 파라미터(XI CMT)를 적용하여 2차원 입체 영상으로 변환할 수 있다.
구체적으로, 도6에 도시한 바와 같이, 변환부(120)는 환자의 환부에 삽입된 프로브(probe)의 위치를 위치추적기(400)로 추적하여, 환자 마커(PM)를 기준으로 하는 프로브(probe)의 위치를 판별할 수 있다. 이후, 환부의 특징점(e1)에 위치한 프로브(probe)의 위치와 원본 3차원 입체 좌표(Pat(CT)ρ23D)에 따른 특징점(e2)의 좌표를 비교하여, 원본 3차원 입체 좌표(Pat(CT)ρ23D)를 PM 기준 3차원 입체 좌표(PMρ3D)로 변환할 수 있다. 여기서, 특징점(e1, e2) 좌표의 비교를 통하여 변환 파라미터(PM PatT)를 추출할 수 있다.
실시예에 따라서는, 환자(1)의 신체 내에 3차원 영상 촬영 장치로 촬영될 수 있는 식별표지를 삽입하여, 식별표지가 3차원 입체 영상 내에 포함되도록 할 수 있다. 즉, 3차원 입체 영상을 촬영하기 전에 식별표지를 환자의 신체에 부착하거나 신체 내부에 삽입시켜 이를 특징점(e2)으로 활용하는 것도 가능하다.
이후, 변환부(120)는 도7에 도시한 바와 같이,
Figure pat00007
를 이용하여 환자의 3차원 입체 영상에 대한 2차원 입체 좌표(XIρ22D )를 생성할 수 있다. O는 위치추적기(400)의 위치이고, XI CMT는 투영 변환 파라미터, O CMT는 제1 변환 파라미터, O PMT는 제2 변환 파라미터이고, PMρ23D 는 PM 기준 3차원 입체 좌표에 해당한다. 또한, PM 기준 3차원 입체 좌표(PMρ23D)는 원본 3차원 입체 좌표(Pat(CT)ρ23D)에 변환파라미터(PM PatT)를 적용하여 구할 수 있다. 따라서, 변환부(120)는 3차원 입체 영상을 변환하여, 엑스선 영상(XI)의 좌표계에 해당하는 2차원 입체 좌표(XIρ22D)를 생성할 수 있다.
정합부(130)는 2차원 입체 영상에 대응하는 2차원 입체 좌표(XIρ22D)에 따라, 2차원 입체 영상을 환자의 2차원 환자 엑스선 영상에 중첩시켜, 정합영상을 생성할 수 있다. 즉, 3차원 입체 영상을 변환하여 생성한 2차원 입체 영상은, 2차원 환자 엑스선 영상과 동일한 좌표계로 표현되므로, 2차원 환자 엑스선 영상의 촬영 위치나 각도에 따라 정확하게 정합하여 정합영상을 생성하는 것이 가능하다. 여기서, 생성된 정합영상의 경우, 오차가 0.5픽셀 또는 0.1~0.2mm 내외에 불과하므로, 정합의 정확도를 크게 향상시킬 수 있다.
본 발명의 일 실시예에 의한 영상정합장치(100)는, 도8에 도시한 바와 같이, 프로세서(10), 메모리(40) 등의 물리적인 구성을 포함하는 것일 수 있으며, 메모리(40) 내에는 프로세서(10)에 의하여 실행되도록 구성되는 하나 이상의 모듈이 포함될 수 있다. 구체적으로, 하나 이상의 모듈에는, 투영 변환 파라미터 산출모듈, 변환모듈, 정합모듈 등이 포함될 수 있다.
프로세서(10)는, 다양한 소프트웨어 프로그램과, 메모리(40)에 저장되어 있는 명령어 집합을 실행하여 여러 기능을 수행하고 데이터를 처리하는 기능을 수행할 수 있다. 주변인터페이스부(30)는, 컴퓨터 장치의 입출력 주변 장치를 프로세서(10), 메모리(40)에 연결할 수 있으며, 메모리 제어기(20)는 프로세서(10)나 컴퓨터 장치의 구성요소가 메모리(40)에 접근하는 경우에, 메모리 액세스를 제어하는 기능을 수행할 수 있다. 실시예에 따라서는, 프로세서(10), 메모리 제어기(20) 및 주변인터페이스부(30)를 단일 칩 상에 구현하거나, 별개의 칩으로 구현할 수 있다.
메모리(40)는 고속 랜덤 액세스 메모리, 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치와 같은 불휘발성 메모리 등을 포함할 수 있다. 또한, 메모리(40)는 프로세서(10)로부터 떨어져 위치하는 저장장치나, 인터넷 등의 통신 네트워크를 통하여 엑세스되는 네트워크 부착형 저장장치 등을 더 포함할 수 있다.
한편, 도8에 도시한 바와 같이, 본 발명의 일 실시예에 의한 영상정합장치(100)는, 메모리(40)에 운영체제를 비롯하여, 응용프로그램에 해당하는 투영 변환 파라미터 산출 모듈, 변환모듈, 정합모듈 등을 포함할 수 있다. 여기서, 각각의 모듈들은 상술한 기능을 수행하기 위한 명령어의 집합으로, 메모리(40)에 저장될 수 있다.
따라서, 본 발명의 일 실시예에 의한 영상정합장치(100)는, 프로세서(10)가 메모리(40)에 액세스하여 각각의 모듈에 대응하는 명령어를 실행할 수 있다. 다만, 투영 변환 파라미터 산출 모듈, 변환모듈, 정합모듈은, 투영 변환 파라미터 산출부, 변환부, 정합부에 각각 대응하므로 여기서는 자세한 설명을 생략한다.
도9는 본 발명의 일 실시예에 의한 영상정합방법을 나타내는 순서도이다.
도9를 참조하면, 본 발명의 일 실시예에 의한 영상정합방법은 투영 변환 파라미터 산출 단계(S10), 변환 단계(S20) 및 정합단계(S30)를 포함할 수 있다. 여기서, 영상정합방법의 각 단계들은 상술한 영상정합장치에 의하여 수행될 수 있다.
이하, 도9를 참조하여 본 발명의 일 실시예에 의한 영상정합방법을 설명한다.
투영 변환 파라미터 산출단계(S10)에서는, 엑스선 촬영 장치가 3차원의 입체 형상을 2차원 엑스선 영상 내에 표시하는 특성을 나타내는 투영 변환 파라미터를 산출할 수 있다. 구체적으로, 투영 변환 파라미터 산출단계(S10)에서는, 엑스선 촬영장치에 부착된 카메라 마커(CM: Camera Marker)를 기준으로 하는 팬텀(Phantom)의 CM 기준 3차원 팬텀 좌표(CMρ13D)와, 엑스선 촬영장치로 촬영한 팬텀의 2차원 팬텀 엑스선 영상에 포함된 상기 팬텀의 2차원 팬텀 좌표(XIρ12D)를 비교하여, 엑스선 촬영장치의 투영 변환 파라미터(XI CMT)를 산출할 수 있다.
여기서, 투영 변환 파라미터 산출단계(S10)는 복수의 단계를 더 포함할 수 있으며, 먼저 팬텀의 3차원 설계정보를 이용하여, 팬텀을 환자 마커(PM: Patient Marker)를 기준으로 하는 PM 기준 3차원 팬텀 좌표(PMρ13D)로 표시하는 단계를 수행할 수 있다. 팬텀은 엑스선 촬영 장치의 투영 변환 파라미터를 산출하기 위하여 제작된 입체 형상으로, 팬텀의 3차원 설계 정보는 미리 설정되어 있을 수 있다. 따라서, 팬텀에 부착된 환자 마커를 기준으로 팬텀의 3차원 좌표를 설정하여, PM 기준 3차원 팬텀 좌표(PMρ13D)를 생성할 수 있다.
이후, 카메라 마커(CM) 및 환자 마커(PM)의 위치를 추적하는 위치추적기를 이용하여, PM 기준 3차원 팬텀 좌표(PMρ13D)를 카메라 마커(CM)을 기준으로 하는 CM 기준 3차원 팬텀 좌표로 변환하는 단계를 수행할 수 있다. 구체적으로, CM 기준 3차원 팬텀 좌표(CMρ13D)는
Figure pat00008
를 이용하여 계산할 수 있다. 이때, O는 위치추적기의 위치이고, O CMT는 위치추적기의 위치를 기준으로 하는 좌표계에서 카메라 마커(CM)를 기준으로 하는 좌표계로의 좌표변환을 위한 제1 변환 파라미터, O PMT는 위치추적기의 위치를 기준으로 하는 좌표계에서 환자 마커(PM)를 기준으로 하는 좌표계로의 좌표변환을 위한 제2 변환 파라미터이고, PMρ13D는 환자 마커를 기준으로 하는 PM 기준 3차원 팬텀 좌표에 해당한다. 따라서, CM 기준 3차원 팬텀 좌표를 산출할 수 있다.
CM 기준 3차원 팬텀 좌표(CMρ13D)를 계산한 이후에는, CM 기준 3차원 팬텀 좌표(CMρ13D)와 2차원 팬텀 좌표(XIρ12D)에 DLT(Direct Linear Transform)를 적용하여, 투영 변환 파라미터(XI CMT)를 산출하는 단계를 수행할 수 있다. DLT를 이용하여 투영 변환 파라미터를 산출하는 구체적인 내용은 앞서 설명하였으므로, 여기서는 구체적인 설명을 생략한다.
변환단계(S20)에서는, 환자의 3차원 입체 영상에 투영 변환 파라미터(XI CMT)를 적용하여, 3차원 입체 영상을 2차원 엑스선 영상(XI)의 좌표계에 따른 2차원 입체 영상으로 변환할 수 있다. 즉, 3차원 입체 영상을 2차원 엑스선 영상에 정합하기 위하여, 3차원 입체 영상을 엑스선 영상의 좌표계에 맞도록 변환시킬 수 있다.
여기서, 변환단계(S20)는 복수의 단계를 더 포함할 수 있으며, 먼저 3차원 입체 영상의 원본 3차원 입체 좌표(Pat(CT)ρ23D)를, 환자에 부착된 환자 마커(PM)를 기준으로 하는 PM 기준 3차원 입체 좌표(PMρ23D)로 변환하는 단계를 수행할 수 있다. 구체적으로, 환자의 환부에 프로브(probe)를 삽입할 수 있으며, 삽입된 프로브(probe)의 위치를 위치추적기로 추적하여 환자 마커(PM)를 기준으로 하는 프로브의 위치를 판별할 수 있다. 이후, 환부의 특징점에 위치한 프로브의 위치와, 원본 3차원 입체 좌표(Pat(CT)ρ23D)에 나타난 특징점의 위치를 비교하는 방식으로, 원본 3차원 입체 좌표(Pat(CT)ρ23D)를 PM 기준 3차원 입체 좌표(PMρ23D)로 변환할 수 있다.
PM 기준 3차원 입체 좌표(PMρ23D)로 변환한 이후에는, 위치추적기를 이용하여 PM 기준 3차원 입체 좌표를 CM 기준 3차원 입체 좌표로 변환하고, CM 기준 3차원 입체 좌표에 투영 변환 파라미터를 적용하여, 2차원 입체 영상으로 변환하는 단계를 수행할 수 있다. 구체적으로,
Figure pat00009
를 이용하여 2차원 입체 좌표를 생성할 수 있다. 이때, O는 환자 마커 및 카메라 마커의 위치를 추적하는 위치추적기의 위치이고, XI CMT는 투영 변환 파라미터, O CMT는 제1 변환 파라미터, O PMT는 제2 변환 파라미터이며, PMρ23D 는 PM 기준 3차원 입체 좌표에 해당한다. 따라서, 변환단계(S20)를 통하여, 환자의 3차원 입체 영상을 엑스선 영상의 좌표계에 해당하는 2차원 입체 영상으로 변환할 수 있다.
정합단계(S30)에서는, 2차원 입체 영상에 대응하는 2차원 입체 좌표에 따라, 2차원 입체 영상을 환자의 2차원 환자 엑스선 영상에 중첩시켜, 정합영상을 생성할 수 있다. 즉, 2차원 환자 엑스선 영상에, 3차원 입체 영상을 변환하여 생성한 2차원 입체 좌표를 중첩시킬 수 있다. 이때, 2차원 환자 엑스선 영상과 변환된 2차원 입체 좌표는 동일한 좌표계에 해당하므로, 2차원 환자 엑스선 영상의 촬영 위치나 각도에 따라, 정확하게 정합하여 정합영상을 생성하는 것이 가능하다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.
1: 환자 10: 프로세서
20: 메모리 제어부 30: 주변 인터페이스부
40: 메모리 100: 영상정합장치
110: 투영 변환 파라미터 생성부 120: 변환부
130: 정합부 200: 3차원 입체 촬영장치
300: 엑스선 촬영장치 310: 엑스선 소스
350: 디텍터 400: 위치추적기
S10: 투영 파라미터 산출단계 S20: 변환단계
S30: 정합단계

Claims (14)

  1. 2차원 엑스선 영상(XI: X-ray Image)과 3차원 입체 영상을 정합하는 영상정합방법에 있어서,
    엑스선 촬영장치에 부착된 카메라 마커(CM: Camera Marker)를 기준으로 하는 팬텀(Phantom)의 CM 기준 3차원 팬텀 좌표(CMρ13D)와, 상기 엑스선 촬영장치로 촬영한 상기 팬텀의 2차원 팬텀 엑스선 영상에 포함된 상기 팬텀의 2차원 팬텀 좌표(XIρ12D)를 비교하여, 상기 엑스선 촬영장치의 투영 변환 파라미터(XI CMT)를 산출하는 투영 변환 파라미터 산출 단계;
    환자의 3차원 입체 영상에 상기 투영 변환 파라미터(XI CMT)를 적용하여, 상기 3차원 입체 영상을 2차원 엑스선 영상(XI)의 좌표계에 따른 2차원 입체 영상으로 변환하는 변환단계; 및
    상기 2차원 입체 영상에 대응하는 2차원 입체 좌표에 따라, 상기 2차원 입체 영상을 환자의 2차원 환자 엑스선 영상에 중첩시켜, 정합영상을 생성하는 정합단계를 포함하는 영상정합방법.
  2. 제1항에 있어서, 상기 투영 변환 파라미터 산출 단계는
    상기 팬텀의 3차원 설계정보를 이용하여, 상기 팬텀을 상기 팬텀에 부착된 환자 마커(PM: Patient Marker)를 기준으로 하는 PM 기준 3차원 팬텀 좌표(PMρ13D)로 표시하는 단계;
    상기 카메라 마커 및 환자 마커의 위치를 추적하는 위치추적기를 이용하여, 상기 PM 기준 3차원 팬텀 좌표(PMρ13D)를 상기 카메라 마커(CM)을 기준으로 하는 CM 기준 3차원 팬텀 좌표로 변환하는 단계; 및
    상기 CM 기준 3차원 팬텀 좌표(CMρ13D)와 상기 2차원 팬텀 좌표(XIρ12D)에 DLT(Direct Linear Transform)를 적용하여, 상기 투영 변환 파라미터(XI CMT)를 산출하는 단계를 포함하는 것을 특징으로 영상정합방법.
  3. 제2항에 있어서, 상기 CM 기준 3차원 팬텀 좌표로 변환하는 단계는
    상기 CM 기준 3차원 팬텀 좌표(CMρ13D)를,
    Figure pat00010

    를 이용하여 계산하며, O는 상기 위치추적기의 위치이고, O CMT는 상기 위치추적기의 위치를 기준으로 하는 좌표계에서 상기 카메라 마커(CM)를 기준으로 하는 좌표계로의 좌표변환을 위한 제1 변환 파라미터, O PMT는 상기 위치추적기의 위치를 기준으로 하는 좌표계에서 상기 환자 마커(PM)를 기준으로 하는 좌표계로의 좌표변환을 위한 제2 변환 파라미터이고, PMρ13D는 상기 환자 마커를 기준으로 하는 PM 기준 3차원 팬텀 좌표인 것을 특징으로 하는 영상정합방법.
  4. 제1항에 있어서, 상기 변환단계는
    상기 3차원 입체 영상의 원본 3차원 입체 좌표(Pat(CT)ρ23D)를, 상기 환자에 부착된 환자 마커(PM: Patient Marker)를 기준으로 하는 PM 기준 3차원 입체 좌표(PMρ23D)로 변환하는 단계; 및
    상기 카메라 마커 및 환자 마커의 위치를 추적하는 위치추적기를 이용하여, 상기 PM 기준 3차원 입체 좌표를 상기 CM 기준 3차원 입체 좌표로 변환하고, 상기 CM 기준 3차원 입체 좌표에 상기 투영 변환 파라미터를 적용하여, 상기 2차원 입체 영상으로 변환하는 단계를 포함하는 것을 특징으로 하는 영상정합방법.
  5. 제4항에 있어서, 상기 PM 기준 3차원 입체 좌표(PMρ23D)로 변환하는 단계는
    환자의 환부에 삽입된 프로브(probe)의 위치를 위치추적기로 추적하여 상기 환자 마커(PM)를 기준으로 하는 상기 프로브의 위치를 판별하고, 상기 환부의 특징점에 위치한 상기 프로브의 위치와, 상기 원본 3차원 입체 좌표(Pat(CT)ρ23D)에 나타난 특징점의 위치를 비교하여, 상기 원본 3차원 입체 좌표(Pat(CT)ρ23D)를 상기 PM 기준 3차원 입체 좌표(PMρ23D)로 변환하는 것을 특징으로 하는 영상정합방법.
  6. 제4항에 있어서, 상기 2차원 입체 영상으로 변환하는 단계는
    Figure pat00011

    를 이용하여 상기 2차원 입체 좌표를 생성하며, O는 상기 환자 마커 및 카메라 마커의 위치를 추적하는 위치추적기의 위치, XI CMT는 투영 변환 파라미터, O CMT는 상기 위치추적기의 위치를 기준으로 하는 좌표계에서 상기 카메라 마커(CM)를 기준으로 하는 좌표계로의 좌표변환을 위한 제1 변환 파라미터, O PMT는 상기 위치추적기의 위치를 기준으로 하는 좌표계에서 상기 환자 마커(PM)를 기준으로 하는 좌표계로의 좌표변환을 위한 제2 변환 파라미터이고, PMρ23D 는 상기 PM 기준 3차원 입체 좌표인 것을 특징으로 하는 영상정합방법.
  7. 하드웨어와 결합되어 제1항 내지 제6항 중 어느 한 항의 영상정합방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  8. 2차원 엑스선 영상과 3차원 입체 영상을 정합하는 영상정합장치에 있어서,
    엑스선 촬영장치에 부착된 카메라 마커(CM: Camera Marker)를 기준으로 하는 팬텀(Phantom)의 CM 기준 3차원 팬텀 좌표(CMρ13D)와, 상기 엑스선 촬영장치로 촬영한 상기 팬텀의 2차원 팬텀 엑스선 영상(XI: X-ray Image)에 포함된 상기 팬텀의 2차원 팬텀 좌표(XIρ12D)를 비교하여, 상기 엑스선 촬영장치의 투영 변환 파라미터(XI CMT)를 산출하는 투영 변환 파라미터 산출부;
    환자의 3차원 입체 영상에 상기 투영 변환 파라미터(XI CMT)를 적용하여, 상기 3차원 입체 영상을 2차원 엑스선 영상(XI)의 좌표계에 따른 2차원 입체 영상으로 변환하는 변환부; 및
    상기 2차원 입체 영상에 대응하는 2차원 입체 좌표에 따라, 상기 2차원 입체 영상을 환자의 2차원 환자 엑스선 영상에 중첩시켜, 정합영상을 생성하는 정합부를 포함하는 영상정합장치.
  9. 제8항에 있어서, 상기 투영 변환 파라미터 산출부는
    상기 팬텀의 3차원 설계정보를 이용하여, 상기 팬텀을 상기 팬텀에 부착된 환자 마커(PM: Patient Marker)를 기준으로 하는 PM 기준 3차원 팬텀 좌표(PMρ3D)로 표시하고,
    상기 카메라 마커 및 환자 마커의 위치를 추적하는 위치추적기를 이용하여, 상기 PM 기준 3차원 팬텀 좌표(PMρ13D)를 상기 카메라 마커(CM)을 기준으로 하는 CM 기준 3차원 팬텀 좌표로 변환하며,
    상기 CM 기준 3차원 팬텀 좌표(CMρ13D)와 상기 2차원 팬텀 좌표(XIρ12D)에 DLT(Direct Linear Transform)를 적용하여, 상기 투영 변환 파라미터(XI CMT)를 산출하는 것을 특징으로 영상정합장치.
  10. 제9항에 있어서, 상기 투영 변환 파라미터 산출부는
    상기 CM 기준 3차원 팬텀 좌표(CMρ13D)를,
    Figure pat00012

    를 이용하여 계산하며, O는 상기 위치추적기의 위치이며, O CMT는 상기 위치추적기의 위치를 기준으로 하는 좌표계에서 상기 카메라 마커(CM)를 기준으로 하는 좌표계로의 좌표변환을 위한 제1 변환 파라미터, O PMT는 상기 위치추적기의 위치를 기준으로 하는 좌표계에서 상기 환자 마커(PM)를 기준으로 하는 좌표계로의 좌표변환을 위한 제2 변환 파라미터이고, PMρ13D는 상기 환자 마커를 기준으로 하는 PM 기준 3차원 팬텀 좌표인 것을 특징으로 하는 영상정합장치.
  11. 제8항에 있어서, 상기 변환부는
    상기 3차원 입체 영상의 원본 3차원 입체 좌표(Pat(CT)ρ23D)를, 상기 환자에 부착된 환자 마커(PM: Patient Marker)를 기준으로 하는 PM 기준 3차원 입체 좌표(PMρ23D)로 변환하고,
    상기 카메라 마커 및 환자 마커의 위치를 추적하는 위치추적기를 이용하여, 상기 PM 기준 3차원 입체 좌표를 상기 CM 기준 3차원 입체 좌표로 변환하고, 상기 CM 기준 3차원 입체 좌표에 상기 투영 변환 파라미터를 적용하여, 상기 2차원 입체 영상으로 변환하는 것을 특징으로 하는 영상정합장치.
  12. 제11항에 있어서, 상기 변환부는
    환자의 환부에 삽입된 프로브의 위치를 위치추적기로 추적하여 상기 환자 마커를 기준으로 하는 상기 프로브의 위치를 판별하고, 상기 환부의 특징점에 위치한 상기 프로브의 위치와, 상기 원본 3차원 입체 좌표(Pat(CT)ρ23D)에 나타난 특징점의 위치를 비교하여, 상기 원본 3차원 입체 좌표(Pat(CT)ρ23D)를 상기 PM 기준 3차원 입체 좌표(PMρ3D)로 변환하는 것을 특징으로 하는 영상정합장치.
  13. 제11항에 있어서, 상기 변환부는
    Figure pat00013

    를 이용하여 상기 2차원 입체 좌표를 생성하며, O는 상기 환자 마커 및 카메라 마커의 위치를 추적하는 위치추적기의 위치이고,
    XI CMT는 투영 변환 파라미터, O CMT는 상기 위치추적기의 위치를 기준으로 하는 좌표계에서 상기 카메라 마커(CM)를 기준으로 하는 좌표계로의 좌표변환을 위한 제1 변환 파라미터, O PMT는 상기 위치추적기의 위치를 기준으로 하는 좌표계에서 상기 환자 마커(PM)를 기준으로 하는 좌표계로의 좌표변환을 위한 제2 변환 파라미터이고, PMρ23D 는 상기 PM 기준 3차원 입체 좌표인 것을 특징으로 하는 영상정합장치.
  14. 프로세서; 및
    상기 프로세서에 커플링된 메모리를 포함하는 것으로서,
    상기 메모리는 상기 프로세서에 의하여 실행되도록 구성되는 하나 이상의 모듈을 포함하고,
    상기 하나 이상의 모듈은,
    엑스선 촬영장치에 부착된 카메라 마커(CM: Camera Marker)를 기준으로 하는 팬텀(Phantom)의 CM 기준 3차원 팬텀 좌표(CMρ13D)와, 상기 엑스선 촬영장치로 촬영한 상기 팬텀의 2차원 팬텀 엑스선 영상에 포함된 상기 팬텀의 2차원 팬텀 좌표(XIρ12D)를 비교하여, 상기 엑스선 촬영장치의 투영 변환 파라미터(XI CMT)를 산출하고;
    환자의 3차원 입체 영상에 상기 투영 변환 파라미터(XI CMT)를 적용하여, 상기 3차원 입체 영상을 2차원 엑스선 영상(XI)의 좌표계에 따른 2차원 입체 영상으로 변환하며;
    상기 2차원 입체 영상에 대응하는 2차원 입체 좌표에 따라, 상기 2차원 입체 영상을 환자의 2차원 환자 엑스선 영상에 중첩시켜, 정합영상을 생성하는 것을 특징으로 하는 영상정합장치.
KR1020180047685A 2018-04-25 2018-04-25 영상정합방법 및 영상정합장치 KR102042762B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180047685A KR102042762B1 (ko) 2018-04-25 2018-04-25 영상정합방법 및 영상정합장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180047685A KR102042762B1 (ko) 2018-04-25 2018-04-25 영상정합방법 및 영상정합장치

Publications (2)

Publication Number Publication Date
KR20190123857A true KR20190123857A (ko) 2019-11-04
KR102042762B1 KR102042762B1 (ko) 2019-11-11

Family

ID=68535890

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180047685A KR102042762B1 (ko) 2018-04-25 2018-04-25 영상정합방법 및 영상정합장치

Country Status (1)

Country Link
KR (1) KR102042762B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100591608B1 (ko) * 2005-03-18 2006-06-20 전남대학교산학협력단 영상 정합시 대응점 검색방법
KR20170124962A (ko) * 2016-05-03 2017-11-13 재단법인대구경북과학기술원 혈관 중재 시술을 위한 내비게이션 시스템 및 가상의 엑스선 이미지 생성 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100591608B1 (ko) * 2005-03-18 2006-06-20 전남대학교산학협력단 영상 정합시 대응점 검색방법
KR20170124962A (ko) * 2016-05-03 2017-11-13 재단법인대구경북과학기술원 혈관 중재 시술을 위한 내비게이션 시스템 및 가상의 엑스선 이미지 생성 방법

Also Published As

Publication number Publication date
KR102042762B1 (ko) 2019-11-11

Similar Documents

Publication Publication Date Title
US11798178B2 (en) Fluoroscopic pose estimation
US8886286B2 (en) Determining and verifying the coordinate transformation between an X-ray system and a surgery navigation system
US7010080B2 (en) Method for marker-free automatic fusion of 2-D fluoroscopic C-arm images with preoperative 3D images using an intraoperatively obtained 3D data record
KR101954868B1 (ko) 혈관 중재 시술을 위한 내비게이션 시스템 및 가상의 엑스선 이미지 생성 방법
US8131031B2 (en) Systems and methods for inferred patient annotation
US20010027263A1 (en) Method of determining the position of a medical instrument
US20050004449A1 (en) Method for marker-less navigation in preoperative 3D images using an intraoperatively acquired 3D C-arm image
US10307079B2 (en) Method and system for surgical instrument guidance and tracking with position and orientation correction
US20080119725A1 (en) Systems and Methods for Visual Verification of CT Registration and Feedback
KR102082272B1 (ko) 엑스선 장치의 캘리브레이션 방법 및 이를 위한 캘리브레이션 장치
JP6559532B2 (ja) Ｘ線透視画像のリアルタイムシミュレーション
JP2010519635A (ja) 医学的画像形成のためのポインティングデバイス
KR20190078853A (ko) 레이저 표적 투영장치 및 그 제어방법, 레이저 표적 투영장치를 포함하는 레이저 수술 유도 시스템
US11596369B2 (en) Navigation system for vascular intervention and method for generating virtual x-ray image
JP6469375B2 (ja) Ｘ線透視装置の放射線フリー位置較正
CN108430376B (zh) 提供投影数据集
US9254106B2 (en) Method for completing a medical image data set
US11576557B2 (en) Method for supporting a user, computer program product, data medium and imaging system
Aly Assisting vascular surgery with smartphone augmented reality
KR102289327B1 (ko) 엑스선 장치의 캘리브레이션 방법 및 이를 위한 캘리브레이션 장치
US11950951B2 (en) Systems and methods for C-arm fluoroscope camera pose refinement with secondary movement compensation
KR102042762B1 (ko) 영상정합방법 및 영상정합장치
WO2022165112A1 (en) Systems and methods for c-arm fluoroscope camera pose refinement with secondary movement compensation
JP2014212904A (ja) 医用投影システム
Wang et al. Long bone X-ray image stitching using C-arm motion estimation

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant