KR101988531B1

KR101988531B1 - 증강현실 기술을 이용한 간병변 수술 내비게이션 시스템 및 장기 영상 디스플레이 방법

Info

Publication number: KR101988531B1
Application number: KR1020170085027A
Authority: KR
Inventors: 정민형; 김경숙
Original assignee: 경희대학교 산학협력단
Priority date: 2017-07-04
Filing date: 2017-07-04
Publication date: 2019-09-30
Also published as: KR20190004591A

Abstract

수술 내비게이션 시스템이 수술 대상 장기에 장기 영상을 디스플레이 하기 위하여, 제1 관심 영역이 표시된 환자의 수술 대상 장기에 대한 2차원 의료 영상으로부터 3차원 의료 영상을 생성한다. 생성한 3차원 의료 영상에 제1 관심 영역에 대응하는 제2 관심 영역을 반영하고, 3차원 의료 영상을 토대로 계산된 임계값을 토대로 3차원 의료 영상을 필터링하여 제2 관심 영역이 반영된 장기 영상을 생성한다. 그리고 제1 관심 영역과 제2 관심 영역을 일치시키고, 수술 대상 장기에 장기 영상을 매칭하여 수술 대상 장기상에 장기 영상이 투영되도록 디스플레이 한다.

Description

증강현실 기술을 이용한 간병변 수술 내비게이션 시스템 및 장기 영상 디스플레이 방법{Navigation system for liver disease using augmented reality technology and method for organ image display}

본 발명은 증강현실 기술을 이용한 간병변 수술 내비게이션 시스템 및 장기 영상 디스플레이 방법에 관한 것이다.

일반적으로 의사들이 수술에 들어가기 앞서 환자의 수술 계획을 수립할 때, 수술 부위에 대한 정보를 환자의 CT(Computed Tomographic) 또는 MRI(Magnetic Resonance Imaging) 사진 등의 2차원 의료 영상을 참고하여 수술 계획을 세운다. 이 경우, 대부분 환자의 장기 내부에 존재하는 병변의 위치나 병변의 위치에 따른 혈관과의 관계 등을 2차원 의료 영상에 매칭하기 어려우며, 수술 전에 장기 촬영 정보로 활용할 수단이 없으므로, 수술 시 장기 내부 병변의 위치와 주위 혈관 분포 등을 파악하는데 많은 한계가 있다.

이러한 문제점을 해결하기 위해, CT나 MRI 사진들을 3차원 영상으로 구현하여 제공하는 기술이 연구되고 있다. 3차원의 증강 현실 영상으로 구현된 의료 영상을 이용하여 수술 계획을 세운다 하더라도, 수술 내비게이션 시스템을 사용하는 의사는 수술 도구와 환자의 장기간의 깊이 감을 정확하게 인식하지 못할 경우, 원치 않는 부위를 손상시킬 우려가 있다.

따라서, 본 발명은 실제 환자의 장기 내부 병변의 위치와 주위 혈관 분포 등 장기 내부의 영상을 증강 현실 기술을 이용하여 제공하는 수술 내비게이션 시스템 및 장기 영상 디스플레이 방법을 제공한다.

상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 하나의 특징인 수술 내비게이션 시스템은,

환자의 수술 대상 장기의 2차원 의료 영상 정보로부터 3차원 의료 영상 정보를 생성하고, 생성한 상기 3차원 의료 영상 정보, 3차원 의료 영상 정보로부터 계산된 임계값, 외부로부터 수집한 관심 영역과 환자 자세 정보를 토대로, 상기 수술 대상 장기에 매칭할 장기 영상을 생성하는 영상 매칭부, 그리고 상기 영상 매칭부에서 생성한 장기 영상을, 환자의 실제 장기상에 투영하여 디스플레이하는 디스플레이부를 포함한다.

상기 영상 매칭부는, 상기 수술 대상 장기에 대한 2차원 의료 영상 정보를 수신하는 정보 수신부, 상기 정보 수신부가 수신한 2차원 의료 영상 정보로부터 상기 3차원 의료 영상 정보를 생성하고, 생성한 3차원 의료 영상 정보로부터 상기 임계값을 계산하는 3차원 영상 생성부, 상기 수술 대상 장기에 표시된 복수의 제1 관심 영역을 획득하고, 획득한 제1 관심 영역으로부터 상기 3차원 의료 영상 정보에 반영할 제2 관심 영역을 계산하는 관심 영역 설정부, 그리고 상기 3차원 의료 영상을 상기 임계값으로 필터링하여 장기 영상을 생성하고, 생성한 장기 영상에 포함된 제2 관심 영역과 상기 수술 대상 장기에 표시된 제1 관심 영역이 일치되도록 매칭하는 장기 영상 생성부를 포함할 수 있다.

상기 장기 영상은 상기 수술 대상 장기의 혈관과 병변, 상기 혈관과 병변에 대한 깊이 정보와 상기 제2 관심 영역을 포함하며, 상기 임계값은 상기 3차원 의료 영상으로부터 계산된 그레이 스케일 값일 수 있다.

상기 장기 영상 생성부는, 상기 환자의 자세 정보를 수신하고, 제2 관심 영역이 반영된 상기 3차원 의료 영상을 상기 자세 정보를 토대로 보정할 수 있다.

상기 장기 영상 생성부는, 상기 장기 영상의 제2 관심 영역과 상기 수술 대상 장기에 표시된 제1 관심 영역이 일치하여 매칭하기 위하여, 상기 제1 관심 영역을 기준으로 상기 제2 관심 영역의 회전각, 크기 변화 값 및 위치 변화 값을 계산할 수 있다.

상기 디스플레이부는, 상기 장기 영상 생성부가 생성한 장기 영상을 수신하는 장기 영상 수신부, 그리고 상기 수신한 장기 영상을 상기 수술 대상 장기상에 투영되도록 디스플레이하는 영상 제공부를 포함할 수 있다.

상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 수술 내비게이션 시스템이 수술 대상 장기에 장기 영상을 디스플레이하는 방법은,

제1 관심 영역이 표시된 환자의 수술 대상 장기에 대한 2차원 의료 영상으로부터 3차원 의료 영상을 생성하는 단계, 상기 생성한 3차원 의료 영상에 상기 제1 관심 영역에 대응하는 제2 관심 영역을 반영하는 단계, 상기 3차원 의료 영상을 토대로 계산된 임계값을 토대로 상기 3차원 의료 영상을 필터링하여 제2 관심 영역이 반영된 장기 영상을 생성하는 단계, 그리고 상기 제1 관심 영역과 제2 관심 영역을 일치시키고, 상기 수술 대상 장기에 상기 장기 영상을 매칭하여 상기 수술 대상 장기상에 상기 장기 영상이 투영되도록 디스플레이하는 단계를 포함한다.

상기 제2 관심 영역을 반영하는 단계는, 외부로부터 입력되는 환자의 자세 영상으로부터 추출된 자세 정보를 획득하는 단계, 그리고 획득한 자세 정보를 토대로 상기 제2 관심 영역이 반영된 3차원 의료 영상을 보정하는 단계를 포함할 수 있다.

상기 3차원 의료 영상을 생성하는 단계 이전에, 상기 수술 대상 장기에 대한 2차원 의료 영상을 수신하는 단계, 그리고 수신한 2차원 의료 영상으로부터 상기 3차원 의료 영상을 생성하는 단계

를 포함하고, 상기 2차원 의료 영상은 MRI 또는 CT 중 어느 하나로, 상기 수술 대상 장기에 대한 장기 외형, 병변 위치, 병변 크기, 주변 장기 위치, 주변 장기 구조, 혈관 구조 및 혈관 위치 중 복수의 정보를 포함할 수 있다.

상기 디스플레이하는 단계는, 상기 장기 영상의 제2 관심 영역과 상기 수술 대상 장기에 표시된 제1 관심 영역이 일치하여 매칭하기 위하여, 상기 제1 관심 영역을 기준으로 상기 제2 관심 영역의 회전각, 크기 변화 값 및 위치 변화 값을 계산하는 단계를 더 포함할 수 있다.

본 발명에 따르면, 직접 수술 전 환자의 장기 내부 상태를 증강 현실 영상으로 확인할 수 있어 수술 계획을 세움에 있어 명확한 자료로 사용함으로써, 의료 사고의 발생 감소와 수술 시간 단축 및 환자의 수술에 대한 부담감을 감소시킬 수 있다.

또한, 직접 수술 및 시술용이 아닌 의학 전공자 및 기타 전공자들에게 교육용 소프트웨어로 보급할 수 있으므로, 교육 비용을 줄일 수 있다.

도 1은 본 발명의 실시예에 따른 수술 내비게이션 시스템의 예시도이다.
도 2는 본 발명의 실시예에 따른 수술 내비게이션 시스템의 구조도이다.
도 3은 본 발명의 실시예에 따른 수술 내비게이션 시스템을 이용한 장기 영상 제공 방법에 대한 흐름도이다.
도 4는 본 발명의 실시예에 따라 수술 내비게이션 시스템이 제공하는 장기 영상의 예시도이다.
도 5는 본 발명의 실시예에 따라 각 장기별 설정된 관심 영역의 예시도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하, 도면을 참조로 하여 본 발명의 실시예에 따른 수술 내비게이션 시스템 및 이를 이용한 입체 영상 제공 방법에 대해 설명한다.

도 1은 본 발명의 실시예에 따른 수술 내비게이션 시스템의 예시도이다.

도 1에 도시된 바와 같이, 환자의 장기에 3차원의 입체 장기 영상을 매칭하여, 수술자(이하, ‘의사’라 지칭함)가 수술 중 직접 병변이나 혈관 등의 장기 내부 구조를 확인할 수 있도록 하는 수술 내비게이션 시스템(100)은 영상 매칭부(110)와 디스플레이부(120)를 포함한다.

영상 매칭부(110)는 환자의 장기에 대한 CT 또는 MRI 등 2차원 의료 영상을 토대로 3차원 의료 영상을 생성한다. 영상 매칭부(110)는 환자가 수술 받을 때 취하는 자세 정보를 기준으로 3차원 의료 영상을 생성한다. 이를 위해, 영상 매칭부(1100는 환자가 취하고 있는 자세로부터 자세 정보를 획득하여 이용하는 것을 예로 하여 설명하나, 환자가 수술을 받을 때 취하는 자세 정보가 고정되어 있는 경우에는 미리 영상 매칭부(110)에 자세 정보가 저장되어 있을 수도 있다.

영상 매칭부(110)가 생성한 3차원 의료 영상에는 장기의 전체 외관, 내부 혈관 조직, 병변 조직, 주변 기관, 장기의 위치 및 구조를 모두 포함한다. 영상 매칭부(110)가 2차원 의료 영상과 자세 정보를 기준으로 3차원 의료 영상을 생성하는 방법은 여러 방법으로 수행될 수 있으므로, 본 발명의 실시예에서는 어느 하나로 한정하지 않는다.

영상 매칭부(110)는 또한 외부로부터 입력되는 실제 장기 주변의 미리 설정된 수만큼의 지점을 장기에 대한 관심 영역(land mark)으로 수신한다. 의사가 수술 시 실제 장기에 염색약과 같이 장기에 손상을 주지 않으면서도 위치 파악이 용이하도록 임의의 위치 또는 미리 설정된 위치에 표시하면, 영상 매칭부(110)는 표시된 복수의 위치를 관심영역으로 수신한다.

영상 매칭부(110)는 생성한 3차원 의료 영상에 수신한 관심 영역을 설정한다. 그리고, 영상 매칭부(110)는 관심 영역이 설정된 3차원 의료 영상을 미리 계산된 임계값을 이용하여 필터링하여 실제 장기에 정합될 장기 영상을 생성한다. 그리고, 생성한 장기 영상을 디스플레이부(120)로 제공하여, 수술자인 의사가 디스플레이부(120)를 통해 실제 장기와 정합된 입체 장기 영상을 확인할 수 있도록 한다. 이때, 장기 영상에도 관심 영역이 표시되어 있으므로, 실제 장기상에 표시된 관심 영역에 일치하도록 위치시킨 후, 장기 영상이 실제 장기에 투영되어 디스플레이 된다.

디스플레이부(120)는 영상 매칭부(110)로부터 전달되는 장기 영상을 환자의 장기 위치상에 정합, 디스플레이 하여, 의사가 용이하게 환자의 장기 내부 상태를 확인할 수 있도록 한다. 여기서 디스플레이부(120)는 의사가 착용할 수 있는 HMD(Head Mounted Device) 형태와 비 HMD(Non-Head Mounted Device) 형태로 구현될 수 있으며, 본 발명의 실시예에서는 HMD 형태를 예로 하여 설명한다.

이상에서 설명한 수술 내비게이션 시스템(100)의 구조에 대해 도 2를 참조로 상세히 설명한다.

도 2는 본 발명의 실시예에 따른 수술 내비게이션 시스템의 구조도이다.

도 2에 도시된 바와 같이, 수술 내비게이션 시스템(100)은 장기 영상을 생성하는 영상 매칭부(110)와 장기 영상을 환자의 수술 대상 장기에 정합된 형태로 디스플레이하는 디스플레이부(120)로 구성된다.

영상 매칭부(110)는 정보 수신부(111), 3차원 영상 생성부(112), 관심 영역 설정부(113) 및 장기 영상 생성부(114)를 포함한다. 그리고 디스플레이부(120)는 장기 영상 수신부(121) 및 영상 제공부(122)를 포함한다.

먼저, 정보 수신부(111)는 환자의 수술 대상 장기에 대한 2차원 의료 영상을 수신한다. 2차원 의료 영상의 종류로는 CT 또는 MRI 등이 있으며, 본 발명의 실시예에서는 어느 하나의 종류로 2차원 의료 영상의 형태를 한정하지 않는다. 2차원 의료 영상에는 수술 대상 장기에 대한 장기 외형, 장기 위치, 병변 위치, 병변 크기, 수술 대상 장기의 주변 장기 위치, 주변 장기 구조, 수술 대상 장기의 혈관 구조, 혈관 위치 등의 다양한 정보가 포함되어 있다.

3차원 영상 생성부(112)는 정보 수신부(111)가 수신한 2차원 의료 영상을 전처리 과정, 합성 과정, 배경 투사 과정 그리고 후처리 과정을 통해 3차원 의료 영상으로 생성한다. 여기서, 생성된 3차원 의료 영상은 수술 대상 장기의 크기, 장기의 위치, 주변 조직과의 위치, 병변 위치와 병변의 크기, 혈관 위치 등 2차원 의료 영상이 포함하는 정보를 동일하게 포함한다.

즉, 3차원 영상 생성부(112)는 입력된 수술 대상 장기의 2차원 의료 영상에서 노이즈를 제거하고 영상 품질을 향상시키고, 편이 보정(Bias Correction) 등의 전처리 작업을 수행하여 3차원 의료 영상으로 변환하기 적합한 상태의 전처리된 의료 영상을 생성한다. 3차원 영상 생성부(112)는 전처리된 의료 영상을 합성하고 배경을 투사하여 3차원 의료 영상으로 생성한다.

3차원 영상 생성부(112)가 생성한 3차원 의료 영상을 통해 의사는 수술 대상 장기의 전체 외관, 내부 혈관 조직, 병변 조직, 주변 기관이나 장기의 위치, 주변 기관이나 장기의 구조 등을 파악할 수 있다. 그리고 3차원 영상 생성부(112)는 수술 대상 장기에 있는 병변, 수술 대상 장기의 내부 혈관 조직 등이 수술 대상 장기의 표면으로부터 얼마만큼의 깊이에 위치하는지 나타내는 위치 정보를, 3차원 좌표계를 이용하여 생성하여 3차원 의료 영상에 포함시킨다.

3차원 영상 생성부(112)가 2차원 의료 영상을 전처리하고, 합성, 배경을 투사하는 방법, 그리고 3차원 좌표계를 이용하여 깊이 정보를 추출하고 이를 함께 제공하는 것은 다양한 방법을 통해 실행될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하여 설명하지는 않는다.

3차원 영상 생성부(112)는 생성한 3차원 의료 영상으로부터 이후 설명할 장기 영상 생성부(114)에서 필터링할 때 사용할 임계값을 계산한다. 여기서 필터링에 사용되는 임계값은 3차원 의료 영상을 나타내는 그레이 스케일(gray scale)의 특정 값을 의미한다.

예를 들어, CT 영상인 2차원 의료 영상에서 뼈는 밝게 나타나고, 기타 조직(상피조직, 결합조직, 근육조직, 신경조직)들은 어둡게 나타난다. 그리고 혈관의 밝기와 병변의 밝기가 뼈의 밝기와 기타 조직의 밝기 사이의 밝기로 보인다면, 뼈와 기타 조직, 혈관, 병변 등의 밝기를 숫자로 표현할 수 있다.

그러므로, 3차원 영상 생성부(112)는 혈관과 병변의 밝기에 해당하는 수치를 기준으로 그레이 스케일의 임계값을 설정할 수 있다. 본 발명의 실시예에서는 3차원 영상 생성부(112)가 임계값을 계산하는 것을 예로 하여 설명하나 반드시 이와 같이 한정되는 것은 아니다. 또한, 3차원 의료 영상으로부터 임계값을 계산하는 방법을 어느 하나의 방법으로 한정하지 않는다.

관심 영역 설정부(113)는 외부로부터 입력되는 관심 영역(이하, 설명의 편의를 위하여 ‘제1 관심 영역’이라 지칭함)을 수신한다. 본 발명의 실시예에서는 관심 영역을 수술 대상 장기에 표시된 세 지점에 대한 위치 정보인 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.

그리고 관심 영역 설정부(113)는 수술 대상 장기에 표시된 세 지점인 제1 관심 영역을 삼각화(triangulation) 방법을 적용하여 제2 관심 영역으로 생성한다. 제2 관심 영역은 3차원 의료 영상에 포함되어 설정될 정보로, 제1 관심 영역으로 표시된 세 지점이 동일하게 3차원 의료 영상에도 표시될 수 있도록 하기 위해 생성된 정보이다.

즉, 관심 영역 설정부(113)는 의사가 수술 시 환자의 수술 대상 장기에 세 지점에 임의의 표시를 남겨두면, 해당 표시가 남겨진 위치의 위치 정보를 제1 관심 영역으로 획득한다. 관심 영역 설정부(113)가 장기에 남겨진 세 지점의 표시를 제1 관심 영역으로 획득하는 방법은 여러 방법으로 실행할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하여 설명하지 않는다.

여기서 세 지점은 수술 대상 장기 주변에서 병변에 의한 변형이 적으며, 미리 설정된 강도 이상의 단단한 구조물 세 곳을 의사가 선택하여 표시하는 것을 예로 하여 설명한다. 의사가 관심 영역을 설정하는 예에 대해 도 5를 참조로 먼저 설명한다.

도 5는 본 발명의 실시예에 따라 각 장기별 설정된 관심 영역의 예시도이다.

도 5에 도시된 바와 같이, 의사는 장기 중 간에 대한 관심 영역을 설정할 때, 세 지점을 대동맥, 담낭, 문맥으로 설정하여 관심 영역으로 설정할 수 있다. 또 다른 장기로 신장을 예로 하면, 의사는 세 지점으로 정맥, 복수의 갈비뼈 중 제1 위치 갈비뼈, 제2 위치 갈비뼈를 설정할 수 있다.

또 다른 장기로 심장을 예로 하여 설명하면, 의사에 의해 설정된 관심 영역은 상대 정맥, 폐 동맥, 그리고 하대 정맥이 설정될 수 있다. 그리고 자궁을 예로 하면, 좌측 난소와 우측 난소, 복부 대정맥이 설정될 수 있다.

본 발명의 실시예에서는 의사가 수술 시 장기에 세 지점을 표시함으로써 관심 영역이 설정되는 것을 예로 하여 설명하였으나, 장기 종류에 따라 미리 관심 영역이 설정되어 제공될 수도 있다.

한편, 상기 도 2를 이어 설명하면, 장기 영상 생성부(114)는 3차원 영상 생성부(112)에서 생성된 3차원 의료 영상에 관심 영역 설정부(113)에서 생성한 제2 관심 영역을 설정한다. 그리고, 장기 영상 생성부(114)는 제2 관심 영역이 설정된 3차원 의료 영상을 환자가 취하고 있는 자세를 토대로 추출된 자세 정보를 토대로 장기 영상을 보정한다.

이를 위해, 장기 영상 생성부(114)는 환자가 취하고 있는 자세에 대한 영상을 외부로부터 수신하고, 자세에 따라 형태가 변형된 장기의 자세 정보를 추출한다. 환자의 자세에 따라 장기의 모양이나 위치, 크기가 달라질 수 있기 때문이다. 장기 영상 생성부(114)가 환자의 자세 영상을 수신하는 방법이나, 자세 영상으로부터 자세 정보를 추출하는 방법, 그리고 자세 정보를 이용하여 3차원 의료 영상을 보정하는 방법은 다양한 방법으로 실행될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.

장기 영상 생성부(114)는 다양한 장기 정보와 제2 관심 영역이 설정된 3차원 의료 영상을, 3차원 영상 생성부(112)가 계산한 임계값을 토대로 필터링하여 장기 영상으로 생성한다. 3차원 의료 영상을 필터링하여 생성한 장기 영상에는, 수술 대상 장기의 내부 구조 즉, 혈관과 병변, 그리고 제2 관심 영역만이 남게 되고, 그 밖의 조직(예를 들어, 뼈, 근육 등)들은 삭제되어, 실제 장기상에서 수술 대상 장기의 혈관과 병변만을 디스플레이 할 수 있게 된다.

즉, 장기 영상 생성부(114)는 계산된 임계값보다 낮은 값과 높은 값을 필터링을 통해 삭제하면, 밝은 영상인 뼈와 어두운 영상인 조직이 사라지고 중간에 해당하는 혈관과 병변 영상만이 남게 된다.

장기 영상 생성부(114)는 환자의 자세 정보에 맞게 변형된 장기 영상을 실제 장기에 정합한다. 장기 영상을 실제 장기에 정합할 때, 장기 영상 생성부(114)는 실제 장기에 표시된 제1 관심 영역과 장기 영상에 표시된 제2 관심 영역을 일치시킨다.

장기 영상 생성부(114)가 제1 관심 영역과 제2 관심 영역이 일치시킬 때, 장기 영상 생성부(114)는 제1 관심 영역을 기준으로 제2 관심 영역을 얼마나 회전시킬지(회전각), 얼마나 위치를 변화시킬지(위치 변화 값), 얼마나 크기를 변화시킬지(크기 변화 값) 등을 계산한다. 그리고, 계산된 회전각, 위치 변화 값 및 크기 변화 값을 제2 관심 영역에 반영하여, 실제 수술 대상 장기에 장기 영상이 정합되도록 한다.

장기 영상 생성부(114)가 제1 관심 영역을 기준으로 제2 관심 영역의 회전각, 위치 변화 값, 크기 변화 값을 계산하는 방법은 다양한 방법으로 실행될 수 있으므로, 본 발명의 실시예에서는 상세한 설명을 생략한다. 또한, 변화된 장기 영상을 수술 대상 장기에 정합하는 방법 역시 다양한 방법으로 실행될 수 있으므로, 본 발명의 실시예에서는 상세한 설명을 생략한다.

한편, 디스플레이부(120)의 장기 영상 수신부(121)는 장기 영상 생성부(112)에서 생성한 수술 대상 장기에 정합된 장기 영상을 수신한다.

영상 제공부(122)는 장기 영상 수신부(121)가 수신한 장기 영상을 실제 수술 대상 장기상에 투영하여 디스플레이 한다. 수술 대상 장기에 투영되어 디스플레이 되는 장기 영상에는 장기의 혈관 구조, 병변 위치, 병변 크기만이 3차원 좌표계와 함께 나타난다.

영상 제공부(122)가 제공하는 수술 대상 장기에 투영된 장기 영상은, 수술이 진행되는 동안 수술 대상 장기에 고정된 상태를 유지하여 디스플레이 된다. 이를 위해, 만약 환자의 자세가 변경되거나 수술 대상 장기가 움직이는 경우, 변경된 자세나 움직임 정도가 반영된 장기 영상이 지속적으로 갱신되어 제공된다.

이상에서 설명한 수술 내비게이션 시스템을 이용하여 장기 영상을 제공하는 방법에 대해 도 3을 참조로 설명한다.

도 3은 본 발명의 실시예에 따른 수술 내비게이션 시스템을 이용한 장기 영상 제공 방법에 대한 흐름도이다.

도 3에 도시된 바와 같이, 수술 내비게이션 시스템(100)은 환자의 수술 대상 장기를 촬영한 CT 또는 MRI와 같은 2차원 의료 영상을 수신한다. 그리고 수신한 2차원 의료 영상을 토대로 3차원 의료 영상을 생성한다(S100).

이와 동시에 수술 내비게이션 시스템(100)은 생성한 3차원 의료 영상을 토대로 이후 필터링에 사용할 임계값을 계산한다. 2차원 의료 영상을 3차원 입체 영상으로 생성하는 과정에서, 수술 내비게이션 시스템(100)은 환자의 장기의 구조나 위치, 장기 내부 혈관 구조, 병변 위치나 병변 크기 등의 다양한 장기 정보도 추출한다.

수술 내비게이션 시스템(100)은 의사가 환자의 수술 대상 장기에 표시한 세 지점의 표식에 대한 위치 정보를 제1 관심 영역으로 획득한다. 그리고 획득한 제1 관심 영역으로부터 제2 관심 영역을 계산한다(S110).

즉, 의사가 환자의 수술 대상 장기에 염색약 등을 이용하여 세 지점에 점을 찍으면, 해당 점들에 대한 위치 정보를 제1 관심 영역으로 획득한다. 이는 3차원 의료 영상으로부터 생성된 장기 영상을 실제 수술 대상 장기에 정합하는 과정에서, 관심 영역을 이용하여 정합이 이루어질 수 있도록 하기 위함이다. 그리고 제1 관심 영역을 3차원 의료 영상에 적용하기 위하여 제2 관심 영역을 계산한다.

제2 관심 영역을 계산한 후, 수술 내비게이션 시스템(100)은 환자가 취하고 있는 환자 자세 영상으로부터 자세 정보를 추출한다(S120). 환자 자세 영상을 수집하는 방법이나, 수집한 환자 자세 영상으로부터 자세 정보를 추출하는 방법은 다양한 방법으로 실행될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.

수술 내비게이션 시스템(100)은 S100 단계에서 생성한 3차원 의료 영상과 계산한 임계값, S110 단계에서 계산한 제2 관심 영역, 그리고 S120 단계에서 추출한 자세 정보를 토대로 보정된 장기 영상을 생성한다(S130).

즉, 수술 내비게이션 시스템(100)은 제2 관심 영역이 표시된 3차원 의료 영상을 환자 자세 영상으로부터 추출한 자세 정보를 토대로 보정한다. 수술 내비게이션 시스템(100)은 보정된 3차원 의료 영상을 S100 단계에서 계산된 임계값을 이용하여 필터링하여 장기 영상을 생성한다(S140). 필터링되어 생성된 장기 영상에는, 수술 대상 장기의 내부 구조 즉, 혈관과 병변, 그리고 제2 관심 영역이 남게 되고, 그 밖의 조직(예를 들어, 뼈, 근육 등)들은 삭제되어, 실제 장기상에서 혈관과 병변만을 디스플레이 할 수 있게 된다.

수술 내비게이션 시스템(100)은 S140 단계에서 생성한 장기 영상을 관심 영역을 토대로 실제 영상에 정합하여 디스플레이 한다(S150). 즉, 수술 내비게이션 시스템(100) 실제 장기에 표시된 제1 관심 영역과 장기 영상에 표시된 제2 관심 영역을 일치시켜, 수술 대상 장기에 장기 영상이 정합된 형태로 디스플레이 한다.

이상에서 설명한 수술 내비게이션 시스템이 제공하는 수술 대상 장기에 투영된 장기 영상의 예에 대해 도 4를 참조로 설명한다.

도 4는 본 발명의 실시예에 따라 수술 내비게이션 시스템이 제공하는 장기 영상의 예시도이다.

도 4의 (a)에 도시된 바와 같이 환자가 정 자세로 누워있는 상태에서 간에 대한 수술이 이루어진다고 가정하면, 의사는 환자의 간에 세 곳에 관심 영역을 설정한다. 수술 내비게이션 시스템(100)은 환자에 대한 2차원 장기 영상을 토대로 3차원 장기 영상을 생성하고, 도 4의 (b)에 나타낸 바와 같이 의사가 환자의 간에 직접 표시해 둔 관심 영역을 3차원 장기 영상에도 반영되도록 표시한다.

그리고, 환자가 취한 자세에서 확인할 수 있는 간의 형태와 동일하게 3차원 장기 영상을 반영하여 도 4의 (b)와 같이 장기 영상을 생성한다. 장기 영상에 반영된 관심 영역이 도 4의 (a)에 나타낸 환자의 간에 표시된 관심 영역에 1:1 매칭되도록 정합한다.

이를 토대로 의사가 실제 수술을 집도할 때, 디스플레이부(120) 즉, HMD 형태의 장비를 통해 환자의 간을 보면, 도 4의 (a)에 나타낸 환자의 실제 간 상에 (b)에 나타낸 장기 영상이 투영되어 의사가 간의 혈관이나 병변의 크기, 병변의 위치 등을 용이하게 파악할 수 있도록 한다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims

수술 내비게이션 시스템에 있어서,
환자의 수술 대상 장기의 2차원 의료 영상 정보를 이용하여 3차원 의료 영상을 생성하고, 생성한 상기 3차원 의료 영상, 상기 3차원 의료 영상을 나타내는 그레이 스케일(gray scale)에 해당하는 값, 상기 수술 대상 장기에 표시된 세 지점에 대한 위치 정보인 제1 관심 영역과 환자 자세 정보를 토대로, 상기 수술 대상 장기에 매칭할 장기 영상을 생성하는 영상 매칭부, 그리고
상기 영상 매칭부에서 생성한 장기 영상을, 환자의 실제 장기상에 투영하여 디스플레이하는 디스플레이부
를 포함하고,
상기 영상 매칭부는,
상기 수술 대상 장기에 대한 2차원 의료 영상 정보를 수신하는 정보 수신부,
상기 정보 수신부가 수신한 2차원 의료 영상 정보를 이용하여 상기 3차원 의료 영상을 생성하고, 생성한 3차원 의료 영상으로부터 상기 그레이 스케일에 해당하는 값을 계산하는 3차원 영상 생성부,
상기 수술 대상 장기에 표시된 복수의 상기 제1 관심 영역을 획득하고, 상기 제1 관심 영역과 동일한 영역이며 상기 3차원 의료 영상에 반영하여 제공할 제2 관심 영역을 계산하는 관심 영역 설정부, 그리고
상기 3차원 의료 영상을 상기 그레이 스케일에 해당하는 값으로 필터링하여 장기 영상을 생성하고, 생성한 장기 영상에 포함된 상기 제2 관심 영역과 상기 수술 대상 장기에 표시된 제1 관심 영역이 일치되도록 매칭하는 장기 영상 생성부
를 포함하는 수술 내비게이션 시스템.
삭제
제1항에 있어서,
상기 장기 영상은 상기 수술 대상 장기의 혈관과 병변, 상기 혈관과 병변에 대한 깊이 정보와 상기 제2 관심 영역을 포함하는 수술 내비게이션 시스템.
제3항에 있어서,
상기 장기 영상 생성부는,
상기 환자의 자세 정보를 수신하고,
상기 제2 관심 영역이 반영된 상기 3차원 의료 영상을 상기 자세 정보를 토대로 보정하는 수술 내비게이션 시스템.
제4항에 있어서,
상기 장기 영상 생성부는,
상기 장기 영상의 제2 관심 영역과 상기 수술 대상 장기에 표시된 제1 관심 영역이 일치하여 매칭하기 위하여, 상기 제1 관심 영역을 기준으로 상기 제2 관심 영역의 회전각, 크기 변화 값 및 위치 변화 값을 계산하는 수술 내비게이션 시스템.
제1항에 있어서,
상기 2차원 의료 영상 정보는 장기 외형, 병변 위치, 병변 크기, 주변 장기 위치, 주변 장기 구조, 혈관 구조 및 혈관 위치 중 복수의 정보를 포함하는 수술 내비게이션 시스템.
제1항에 있어서,
상기 디스플레이부는,
상기 장기 영상 생성부가 생성한 장기 영상을 수신하는 장기 영상 수신부, 그리고
상기 수신한 장기 영상을 상기 수술 대상 장기상에 투영되도록 디스플레이하는 영상 제공부
를 포함하는 수술 내비게이션 시스템.
제7항에 있어서,
상기 디스플레이부는,
의사가 착용할 수 있는 HMD(Head Mounted Device) 형태 또는 비 HMD(Non-Head Mounted Device) 형태 중 어느 하나로 구현되는 수술 내비게이션 시스템.
수술 내비게이션 시스템이 수술 대상 장기에 장기 영상을 디스플레이하는 방법에 있어서,
제1 관심 영역이 표시된 환자의 수술 대상 장기에 대한 2차원 의료 영상으로부터 3차원 의료 영상을 생성하는 단계,
상기 생성한 3차원 의료 영상에 상기 제1 관심 영역에 대응하는 제2 관심 영역을 반영하는 단계,
상기 3차원 의료 영상을 나타내는 그레이 스케일(gray scale)에 해당하는 값을 토대로 상기 3차원 의료 영상을 필터링하여, 상기 제2 관심 영역이 반영된 장기 영상을 생성하는 단계, 그리고
상기 제1 관심 영역과 제2 관심 영역을 일치시키고, 상기 수술 대상 장기에 상기 장기 영상을 매칭하여 상기 수술 대상 장기상에 상기 장기 영상이 투영되도록 디스플레이하는 단계
를 포함하는 장기 영상 디스플레이 방법.
제9항에 있어서,
상기 장기 영상은 상기 수술 대상 장기의 혈관과 병변, 상기 혈관과 병변에 대한 깊이 정보와 상기 제2 관심 영역을 포함하는 장기 영상 디스플레이 방법.
제9항에 있어서,
상기 제2 관심 영역을 반영하는 단계는,
외부로부터 입력되는 환자의 자세 영상으로부터 추출된 자세 정보를 획득하는 단계, 그리고
획득한 자세 정보를 토대로 상기 제2 관심 영역이 반영된 3차원 의료 영상을 보정하는 단계
를 포함하는 장기 영상 디스플레이 방법.
제9항에 있어서,
상기 3차원 의료 영상을 생성하는 단계 이전에,
상기 수술 대상 장기에 대한 2차원 의료 영상을 수신하는 단계, 그리고
수신한 2차원 의료 영상으로부터 상기 3차원 의료 영상을 생성하는 단계
를 포함하고,
상기 2차원 의료 영상은 MRI 또는 CT 중 어느 하나로, 상기 수술 대상 장기에 대한 장기 외형, 병변 위치, 병변 크기, 주변 장기 위치, 주변 장기 구조, 혈관 구조 및 혈관 위치 중 복수의 정보를 포함하는 장기 영상 디스플레이 방법.
제9항에 있어서,
상기 디스플레이하는 단계는,
상기 장기 영상의 제2 관심 영역과 상기 수술 대상 장기에 표시된 제1 관심 영역이 일치하여 매칭하기 위하여, 상기 제1 관심 영역을 기준으로 상기 제2 관심 영역의 회전각, 크기 변화 값 및 위치 변화 값을 계산하는 단계
를 더 포함하는 장기 영상 디스플레이 방법.