KR20170033858A

KR20170033858A - 수술 중 추적 방법

Info

Publication number: KR20170033858A
Application number: KR1020177000511A
Authority: KR
Inventors: 치 시아오 첸; 쿠안 주 왕
Original assignee: 치 시아오 첸; 쿠안 주 왕
Priority date: 2015-06-05
Filing date: 2016-06-03
Publication date: 2017-03-27
Also published as: TWI595437B; WO2016192671A1; HRP20201646T1; TW201705078A; KR101933132B1; EP3145420A4; JP6334052B2; EP3145420A1; CA2949797A1; US20160354157A1; CN106794044B; DK3145420T3; CN106794044A; EP3145420B8; CA2949797C; US9827053B2; JP2017526415A; EP3145420B1

Abstract

계획된 수술 경로를 바탕으로 환자의 실제 수술 경로를 판단하기 위한 방법의 일 예는 제1 시점에 수집한 정보와 관련된 상기 환자의 제1 2차원 이미지를 검색하는 단계를 포함할 수 있다. 제1 좌표계는 수술실 내에서의 상기 환자와 장치 간의 공간적 관계를 기술한다. 상기 방법은 상기 계획된 수술 경로를 포함하는 상기 환자의 3차원 모델을, 제1 수정 파라미터 값 세트로 수정하는 단계를 더 포함한다. 제2 좌표계는 상기 제1 시점 전의 제2 시점에 수집한 정보에 의해 구성된 상기 3차원 모델을 기술한다. 상기 방법은 상기 수정된 3차원 모델에서 제2 2차원 이미지를 검색하는 단계; 상기 제1 2차원 이미지와 상기 제2 2차원 이미지 간의 제1 상관 관계를 연산하는 단계; 및 상기 실제 수술 경로를 식별하기 위해 상기 제1 수정 파라미터 값 세트를 바탕으로 상기 계획된 수술 경로를 상기 제1 좌표계로 변환하는 단계를 더 포함한다.

Description

수술 중 추적 방법{INTRAOPERATIVE TRACKING METHOD}

본 발명은 수술 중 추적 접근 방식에 관한 것으로, 더 구체적으로는, 수술 경로를 판단하는 접근 방식에 관한 것이다.

본 출원은 2015년 6월 5일에 출원된 미국 가출원 제62/171,245호 "뇌 네비게이션 안내 방법(A METHOD OF BRAIN NAVIGATION GUIDANCE)"에 기초한 우선권을 주장하며, 해당 출원의 명세서 및 도면에 개시된 모든 내용은 본 출원에 원용된다.

뇌종양, 파키슨 병 및 간질과 같은 흔한 뇌 질환은 환자의 삶의 질에 악영향을 줄 뿐만 아니라 때론 환자의 죽음에 직접적으로 기여할 수 있다. 외과적 수술 과정은 환자의 증상 완화에 실패한 약물 또는 물리 치료 등의 보존 요법(conservative treatment) 이후에 보통 이루어진다.

일반적으로, 외과의는 특정 수술 전 데이터를 바탕으로 표적이 되는 수술 부위에 도달하기 위한 수술 경로를 계획할 수 있다. 그러나, 수술 전 데이터 수집 후 변화된 상황 때문에 계획된 경로를 바꿔야할 수도 있다. 상황이 변하는 경우로는 수술대에서 환자의 위치가 변하는 경우, 환자의 생리적인 상태가 변하는 경우, 또는 수술 도구 자체가 삽입되는 경우 등이 있을 수 있다. 수술 전에 계획된 경로로부터의 이탈은 종종 추가적인 합병증 또는 사망률의 증가로 이어진다.

본 발명의 일 실시 예에 따르면, 계획된 수술 경로를 바탕으로 환자의 실제 수술 경로를 판단하기 위한 방법이 제공된다. 이러한 방법은 제1 시점에 수집한 정보와 관련된 상기 환자의 제1 2차원 이미지를 검색하는 단계, 상기 계획된 수술 경로를 포함하는 상기 환자의 3차원 모델을 제1 수정 파라미터 값 세트로 수정하는 단계, 상기 수정된 3차원 모델에서 제2 2차원 이미지를 검색하는 단계, 및 상기 제1 2차원 이미지와 상기 제2 2차원 이미지 간의 제1 상관 관계를 연산하는 단계를 포함한다. 제1 좌표계는 수술실 내에서 상기 환자와 장치 간의 공간적 관계를 기술할 수 있다. 제2 좌표계는 상기 3차원 모델을 기술할 수 있고, 이는 상기 제1 시점 전의 제2 시점에 수집한 정보에 의해 구성될 수 있다. 임계 값을 초과하는 상기 제1 상관 관계에 응답하여, 상기 방법은 상기 실제 수술 경로를 판단하기 위해 상기 제1 수정 파라미터 값 세트를 바탕으로 상기 제2 좌표계 내의 상기 계획된 수술 경로를 상기 제1 좌표계로 변환하는 단계를 더 포함한다.

본 발명의 또 다른 일 실시 예에 따르면, 비일시적 컴퓨터-독출 가능 저장 매체가 제공된다. 상기 비일시적 컴퓨터-독출 가능 저장 매체는 실행 가능한 명령어 세트를 포함할 수 있다. 하나 이상의 수술 시스템 중 하나 내의 프로세서에 의한 실행에 응답하여, 상기 프로세서는 제1 시점에 수집한 정보와 관련된 상기 환자의 제1 2차원 이미지를 검색하고, 상기 계획된 수술 경로를 포함하는 상기 환자의 3차원 모델을 제1 수정 파라미터 값 세트로 수정하고, 상기 수정된 3차원 모델에서 제2 2차원 이미지를 검색하고, 상기 제1 2차원 이미지와 상기 제2 2차원 이미지 간의 제1 상관 관계를 연산하도록 구성된다. 제1 좌표계는 수술실 내에서의 상기 환자와 장치 간의 공간적 관계를 기술할 수 있다. 제2 좌표계는 상기 3차원 모델을 기술할 수 있고, 이는 상기 제1 시점 전의 제2 시점에 수집한 정보에 의해 구성될 수 있다. 임계 값을 초과하는 상기 제1 상관 관계에 응답하여, 상기 프로세서는 상기 실제 수술 경로를 식별하기 위해 상기 제1 수정 파라미터 값 세트를 바탕으로 상기 제2 좌표계 내의 상기 계획된 수술 경로를 상기 제1 좌표계로 변환하도록 구성된다.

본 발명의 다른 실시 예들에 따르면, 계획된 수술 경로를 바탕으로 환자의 실제 수술 경로를 판단하도록 구성된 수술 시스템이 제공된다. 상기 수술 시스템은저장 시스템, 로봇 암, 이미지 수집 장치, 및 프로세서를 포함할 수 있다. 상기 프로세서는 상기 저장 시스템으로부터, 제1 시점에 상기 이미지 수집 장치가 수집한 정보와 관련된 상기 환자의 제1 2차원 이미지를 검색하고, 상기 계획된 수술 경로를 포함하는 상기 환자의 3차원 모델을 제1 수정 파라미터 값 세트로 수정하고, 상기 저장 시스템으로부터, 상기 수정된 3차원 모델에서 제2 2차원 이미지를 검색하고, 상기 제1 2차원 이미지와 상기 제2 2차원 이미지 간의 제1 상관 관계를 연산하도록 구성될 수 있다. 제1 좌표계는 상기 환자와 상기 로봇 암 간의 공간적 관계를 기술할 수 있다. 제2 좌표계는 상기 3차원 모델을 기술할 수 있고, 이는 상기 제1 시점 전의 제2 시점에 수집한 정보에 의해 구성될 수 있다. 임계 값을 초과하는 상기 제1 상관 관계에 응답하여, 상기 프로세서는 상기 실제 수술 경로를 식별하기 위해 상기 제1 수정 파라미터 값 세트를 바탕으로 상기 제2 좌표계 내의 상기 계획된 수술 경로를 상기 제1 좌표계로 변환하고, 상기 로봇 암으로 하여금 상기 실제 수술 경로를 바탕으로 상기 수술을 수행하도록 명령하도록 구성된다.

앞서 요약된 내용은 단지 도시의 목적을 가지며, 한정의 목적을 갖지 않는다. 앞서 기술한 도시적 양상, 실시 예, 및 특징들을 비롯하여, 추가적인 양상, 실시 예, 및 특징들은 첨부된 도면 및 상세한 설명을 참조로 분명하게 이해될 것이다.

도 1a는 수술 중에 만날 수 있는 일부 지점들 간의 공간적 관계의 일 예를 도시한 도면이다.
도 1b는 수술 안내 및 위치 추적 시스템의 구성의 일 예를 도시한 도면이다.
도 2는 수술 경로를 판단하는 처리 과정의 일 예를 도시한 흐름도이다.
도 3a는 제1 시점에 수집한 정보와 관련된 2차원 이미지의 일 예를 도시한 도면이다.
도 3b는 제2 시점에 수집한 데이터를 바탕으로 구성된 3차원 모델의 일 예를 도시한 도면이다.
도 3c는 제1 수정 파라미터 값 세트로 수정한, 수정된 3차원 모델을 투사한 일 예를 도시한 도면이다.
도 3d는 제2 수정 파라미터 값 세트로 수정한, 수정된 3차원 모델을 투사한 일 예를 도시한 도면이다.
도 3e는 엣지(edge) 탐지 처리된 이미지의 일 예를 도시한 도면이다.
도 3f는 엣지 탐지 처리된 이미지의 또 다른 예를 도시한 도면이다.
도 4는 실제 수술 경로를 판단하기 위한 방법을 실행하는 컴퓨터 프로그램 제품을 본 발명의 일부 실시 예에 따라 배치한 것을 도시한 블록도이다.

이어지는 상세한 설명은 본 발명의 일부를 형성하는 첨부된 도면을 참조로 한다. 일반적으로 문맥 상 달리 지시하지 않는 한, 첨부된 도면에서의 유사한 도면 부호는 유사한 구성 요소를 나타낸다. 상세한 설명, 도면 및 청구항에 기재된 도시적 실시 예들은 한정적 목적을 갖지 않는다. 기타 실시 예들은 본 발명에 제시된 대상 물질의 사상 또는 범위 내에서 활용 및 변경될 수 있다. 본 발명에 기술되고 도면에 도시된 본 발명의 양상들은 다양한 다른 구성들로 배치, 대체, 조합, 및 설계될 수 있음을 쉽게 이해할 것이며, 이들 모두 본 발명에서 명시적으로 고려된다.

본 발명은 특히, 두 개의 다른 공간과 두 개의 다른 시점에 수집한 두 개의 이미지 세트를 바탕으로 한 수술 중 수술 경로 판단과 관련된 방법, 장치, 시스템들에 관한 것이다. 본 발명에서, "투사"라는 용어는 3차원 지점들을 2차원 평면에 매핑하는 접근 방식을 일반적으로 가리킨다. "수술 경로"라는 용어는 수술 진입 지점, 표적 수술 부위, 및 상기 수술 진입 지점과 표적 수술 부위 간의 경로를 포함하는 경로를 가리킬 수 있다. 본 발명에서, "외과 수술"과 "수술"은 상호 호환 가능하게 사용되었다.

도 1a는 수술 중에 만날 수 있는 일부 지점들 간의 공간적 관계를, 본 발명의 일부 실시 예에 따라 배치한 일 예를 도시한 도면이다. 3차원 이미지(120)에서, 수술 경로(130)는 수술 진입 지점(140) 및 표적 수술 부위(150)를 포함한다.

도 1b는 수술 안내(guide) 및 위치 추적 시스템(100)을, 본 발명의 일부 실시 예에 따라 배치한 구성의 일 예를 도시한 블록도이다. 수술 안내 및 위치 추적 시스템(100)은 수술 전 정보 수집 장치(102), 수술 중 정보 수집 장치(104), 컴퓨팅 장치(106), 및 로봇 암(116)을 포함하는 수술 도구(108)를 주로 포함한다. 이 블록들은 단지 예시의 목적으로 제공된 것으로, 기재된 실시 예의 본질에서 벗어나지 않는 범위내에서 일부 블록들은 선택적으로 사용되거나, 더 적은 수의 블록들로 조합되거나, 추가적인 블록들로 확장될 수 있다.

수술 전 정보 수집 장치(102)는 외과 수술이 시작되기 전에 뇌의 특정 부위 등 수술 부위의 전반적인 정보를 수집하도록 구성된다. 일부 실시 예에 따르면, 이러한 전반적인 정보는 컴퓨터 단층 촬영(CT), 자기 공명 영상 장치(MRI), 평면 스캔(surface scan), 엑스선 스캔, 초음파 스캔 등을 통해 얻을 수 있다. 이러한 장치들의 크기와 병원의 관리적 측면을 고려할 때, 수술 전 정보 수집 장치는 외과 수술이 실제로 수행되는 수술실과는 다른 공간에 보통 배치된다. 외과의는, 수술 부위의 전반적인 정보(예를 들어, 두개내 해부학 구조, 표적 또는 병변 위치, 평면 육안 표지, 또는 표면 해부학 구조)를 이용하여 외과 수술이 시작되기 전에 수술 경로를 계획할 수 있다.

수술 중 정보 수집 장치(104)는 수술실에서 수술 절개가 이루어지기 직전에 수술 부위 주변의 환자의 표면 해부학 정보를 수집하도록 구성된다. 수술 중 정보 수집 장치(104)의 일부 예로는, 카메라, 적외선 카메라, 엑스선 모듈, 초음파 스캐너 등이 포함되나, 이에 제한되지 않는다. 수술 중 정보 수집 장치(104)는 수술실 내에서 수술대 상에 환자가 있을 때 환자의 표면 해부학 정보를 수집할 수 있다.

컴퓨팅 장치(106)는 (1) 수술 전 정보 수집 장치(102)가 수집한 정보를 처리하고, (2) 수술 중 정보 수집 장치(104)가 수집한 정보를 처리하고, 그리고/또는 (3) 처리된 정보를 바탕으로 수술 경로를 판단하도록 구성될 수 있다. 이에 대한 추가적인 세부 사항은 아래 단락들에서 제공된다.

수술 도구(108)는 수술을 수행하도록 구성된 로봇 암(116)을 포함할 수 있다. 수술 도구(108)는 컴퓨팅 장치(106)로부터, 판단된 수술 경로와 관련된 정보를 수신하도록 구성된다. 수신된 정보는 로봇 암(116)에 의해 인식 가능한 일부 좌표 데이터와 벡터를 포함할 수 있다. 다시 말해, 로봇 암(116)은 좌표 데이터와 벡터에 따라 수술을 수행할 수 있다.

도 2는 본 발명의 일부 실시 예에 따른, 수술 경로를 판단하기 위한 처리 과정(200)의 일 예를 도시한 흐름도이다. 이 처리 과정(200)은 하드웨어, 소프트웨어 및/또는 펌웨어에 의해 수행될 수 있는 블록들(210, 220, 230, 240, 250, 260, 270, 280, 및/또는 290)로 도시된 하나 이상의 동작, 기능, 또는 행동을 포함할 수 있다. 이 다양한 블록들은 기술된 실시 예들을 한정할 목적을 갖지 않는다. 여기서 개략적으로 기술된 단계 및 동작들은 단지 예시적인 목적으로 제공된 것으로, 기재된 실시 예의 본질에서 벗어나지 않는 범위 내에서 일부 단계 및 동작들은 선택적으로 사용될 수 있고, 더 작은 수의 단계 및 동작들로 조합되거나, 부가적인 단계 및 동작들로 확장될 수도 있다. 비록 이 블록들이 순차적인 순서로 도시되었으나, 병렬적으로 수행될 수도 있고, 및/또는 본 발명에 기술된 것과는 다른 순서로 수행될 수도 있다.

이 처리 과정(200)은 "제1 시점에 수집한 정보와 관련된 제1 2차원 이미지를 검색(retrieve)"하는 블록 210에서 시작될 수 있다. 일부 실시 예에 따르면, 수집된 정보는 환자의 표면 해부학 정보에 해당될 수 있고, 제1 시점은 수술 절개가 이루어지기 직전의 시점에 해당될 수 있다. 제1 시점의 예로는, 수술 당일이 시작되는 시점, 환자가 수술실 내에서 수술대 위에 있을 때의 시점, 및 그 사이 임의의 시점이 포함될 수 있으나, 이에 제한되지 않는다. 또한, 제1 2차원 이미지는 카메라(예를 들어, 적외선 카메라)가 촬영한 사진일 수 있다. 가령, 뇌 수술의 경우, 수술실 내에서 환자의 머리에 수술 절개를 하기 직전에 환자의 머리 사진을 촬영하도록 구성될 수 있다. 카메라는, 카메라와 환자가 수술실 내에서 일관성 있는 관계를 유지하도록 수술실 내의 고정 장치(예를 들어, 로봇 암)에 고정될 수 있다. 일부 실시 예에 따르면, 카메라는 로봇 암이 움직이는 동안 다양한 위치에서 사진을 촬영할 수 있다. 각각의 위치는 특정한 사진에 대응될 수 있다. 일부 실시 예에 따르면, 제1 좌표계는 수술실 내에서의 환자의 표면 해부학적 부위(예를 들어, 코, 눈, 기타 얼굴 특징)와 로봇 암 간의 공간적 관계를 규정하는데 사용될 수 있다.

블록 210 이후에는 "제2 시점에 수집한 정보를 바탕으로 3차원 모델을 구성"하는 블록 220이 이어질 수 있다. 외과 수술이 수행되기 전에, 일부 의료 영상 촬영 기술을 사용하여 환자의 상태에 대한 스냅샷을 캡쳐하여, 수술 계획을 세울 수 있다. 외과의는 뇌의 의료 이미지 스캔(예를 들어, CT나 MRI)에 대한 오더를 내릴 수 있다. 이러한 의료 이미지 스캔은 수술 3일 내지 5일 전에 수행할 수 있다. 3차원 모델은 일부 알려진 접근 방식을 사용해 의료 스캔 데이터를 바탕으로 구성할 수 있다. 제2 좌표계는 계획된 수술 경로와 환자의 특정 해부학적 부위 간의 공간적 관계를 규정하는데 사용될 수 있다.

블록 220 다음에는 "3차원 모델의 수정 파라미터 값들(n)을 선택"하는 블록 230이 이어질 수 있다. 블록 220에서 구성된 3차원 모델은 일부 수정 파라미터 값들로 수정될 수 있다. 수정 파라미터의 예로는, 축척비(scaled ratio), 회전도(rotation degree), 및 병진 벡터(translation vector)가 포함될 수 있으나, 이에 제한되지 않는다. 이러한 수정 파라미터들은 수술 직전에 환자의 상태를 더 잘 반영하도록 3차원 모델을 수정하는데 사용될 수 있다. 최적의 수정 파라미터 값 세트를 찾기 위해, 일부 실시 예에 따르면, N 개의 수정 파라미터 값 세트를 획득할 수 있다. 여기서, n은 1과 N 사이의 정수일 수 있다. 그러나, 당업자는 본 발명의 범위 내에서라면 임의의 기술적으로 이행 가능한 접근 방식을 사용해 상기 반복 과정을 수행할 수 있음을 이해할 것이다.

일 예에 따르면, 이와 같이 구성된 3차원 모델은 데카르트 좌표계(Cartesian coordinate system) 내에 표시될 수 있다. 축척비는 데카르트 좌표계 내 모든 축에서의 선의 길이의 비율을 의미한다. 마찬가지로, 회전도 또한 데카르트 좌표계 내 특정 축을 중심으로 한 회전을 의미할 수 있다. 병진 벡터는 데카르트 좌표계 내에서의 움직임 벡터(movement vector)를 의미할 수 있다.

블록 230 다음에는 "n = N?" 블록(240)이 이어질 수 있다. n이 N과 동일하지 않으면, 블록 240 다음에는 n이 1씩 증가하는 블록 250이 이어질 수 있다. 반대로, n이 N과 동일하면, N개의 수정 파라미터 값 세트를 사용한 모든 상관 관계 연산이 완료된 것이기 때문에, 블록 240 다음에는 "상관 관계가 임계 값을 초과하는 결과를 가져오는 최적의 수정 파라미터 값 세트를 선택"하는 블록 280이 이어질 수 있다. N개의 수정 파라미터 값 세트를 사용하여 도출한 상관 관계 연산 결과 중 임계 값을 초과하는 것이 없는 경우, 이 처리 과정(200)은 n을 리셋(reset)하고 블록 230으로 되돌아가서 이전의 반복 과정에서 선택된 적 없는 3차원 모델의 새로운 수정 파라미터 값 세트(n)를 선택할 수 있다.

블록 260에서, 제2 2차원 이미지는 선택된 수정 파라미터 값 세트(n)로 수정한 3차원 모델을 투사한 것일 수 있다. 다시 말해, 제2 2차원 이미지는 특정 수정 파라미터 값 세트에 해당될 수 있다. 여기서의 투사는, 평행 투사(parallel projection), 정 투사(orthographic projection), 투시 투사(perspective projection) 등 임의의 기술적으로 실행 가능한 접근 방식을 통해 수행될 수 있다. 블록 260에서 검색된 제2 2차원 이미지는 블록 210에서 검색된 제1 2차원 이미지와 비교될 수 있고, 그런 다음, "상관 관계를 연산 및 저장"하는 블록 270으로 진행한다.

블록 270에서는, 일부 실시 예에 따르면, 제1 2차원 이미지의 제1 관심 영역과 제2 2차원 이미지의 제2 관심 영역 간의 상관 관계가 연산 및 저장된다. 제1 관심 영역과 제2 관심 영역은 각각 제1 2차원 이미지와 제2 2차원 이미지의 윤곽(contour) 특성에 따라 선택될 수 있다. 이러한 선택은 병력 데이터나 외과의의 경험을 바탕으로 이루어질 수 있다. 상관 관계는 일부 알려진 접근 방식에 의해 계산될 수 있다. 가령, 상관 관계는 아래의 수식 1로 계산될 수 있다.

(1)

여기서,

N은 제1 관심 영역 내 지점의 개수이고;

P₁은 제2 2차원 이미지의 데이터를 포함하는 인덱싱된 어레이이고;

P₂는 제1 2차원 이미지의 데이터를 포함하는 인덱싱된 어레이이고;

k₁은 상관 관계가 연산될 P₁ 영역 내 연속 픽셀들의 일련의 i 값들을 포함하는 인덱싱된 어레이이고;

k₂는 상관 관계가 연산될 P₂ 영역 내 연속 픽셀들의 일련의 i 값들을 포함하는 인덱싱된 어레이이다.

수정 파라미터 값 세트가 다른 경우, 그에 따라 다른 상관 관계들이 블록 270에서 계산 및 저장된다.

일부 실시 예에 따르면, 제1 2차원 이미지와 제2 2차원 이미지상에서 엣지 탐지(edge detection)가 수행된다. 상관 관계는 제1 2차원 이미지의 엣지 탐지된 버전과 제2 2차원 이미지의 엣지 탐지된 버전 사이에서 계산될 수 있다. 엣지 탐지의 예로는, 케니(Canny) 엣지 탐지 접근 방식, 1차(first-order) 엣지 탐지 접근 방식, 및 2차(second-order) 엣지 탐지 접근 방식 등이 포함되나, 이에 제한되지 않는다.

블록들 230, 240, 250, 260 및 270을 N번 반복 처리한 후에는, N개의 수정 파라미터 값 세트에 의해 3차원 모델이 수정된다. 그런 다음에는, N개의 수정된 3차원 모델들을 통해 N개의 제2 2차원 이미지들을 검색 및 사용해 상술한 상관 관계를 수행한다. 이 처리 과정(200) 다음에는 "상관 관계가 임계 값을 초과하는 결과를 가져오는 최적의 수정 파라미터 값 세트를 선택"하는 블록(280)이 이어진다. 제1 2차원 이미지와 제2 2차원 이미지가 충분히 상관 관계를 갖는지를 판단하기 위해, 임계 값이 설정된다. 이 임계 값은 일부의 병력 데이터(예를 들어, 동물 실험이나 다른 환자들에게서 수집한 데이터)를 바탕으로 결정될 수 있다. 또는, 외과의의 경험을 바탕으로 임계 값을 결정할 수도 있다. 저장된 상관 관계 중 임계 값을 초과하는 것은 모두, 제1 관심 영역과 제2 영역이 실제로 환자의 동일한 해부학적 부위에 해당된다는 것을 나타낸다. 이렇듯 저장된 상관 관계 중 임계 값을 초과하는 것들 중에서, 일 실시 예에 따르면, 결과가 최대 상관 관계로 나타나는 수정 파라미터 값 세트가 최적의 수정 파라미터 값 세트로 선택된다.

블록 280 다음에는, 선택된 최적의 수정 파라미터 값 세트를 바탕으로 제2 좌표계가 제1 좌표계로 변환되는 "좌표를 변환"하는 블록 290으로 이어질 수 있다. 따라서, 제2 좌표계 내의 계획된 수술 경로는 제1 좌표계로 변환될 수 있고, 이는 외과 수술이 실제로 수행되는 수술실을 나타내는데 사용된다. 제1 좌표계 내의 변환된 좌표 및 벡터들을 바탕으로, 로봇 암은 환자와 관련된 상태 변화를 고려하여, 외과 수술을 수행하도록 구성될 수 있다.

도 3a는 제1 시점(예를 들어, 수술실에서 환자에 대한 수술 절개가 이루어지기 직전 시점으로, 보통 수술 절개가 이루어지기 24시간 이내에 수집됨)에 수집된 정보와 관련된 2차원 이미지(301)가, 본 발명의 일부 실시 예에 따라 배치된 일 예를 도시한 도면이다. 2차원 이미지(301)는 적외선 카메라에 의해 촬영될 수 있다. 2차원 이미지는 가령, 우안(311), 볼 곡선(312), 코(313), 및 입(314) 등 환자의 일부 표면 해부학적 부위를 포함할 수 있다. 2차원 이미지(301)의 제1 관심 영역(315)은 또 다른 2차원 이미지의 제2 관심 영역과 비교를 위해 선택될 수 있고, 이에 대해서는 아래에서 상세히 설명한다. 제1 관심 영역(315)은 가령, 우안(311), 볼 곡선(312), 코(313), 및 입(314) 등의 일부 표면 해부학적 부위를 포함할 수 있다. 제1 좌표계(380')는 수술실 내 장치(예를 들어, 로봇 암)와 환자의 표면 해부학적 부위 간의 공간적 관계를 기술하는데 사용될 수 있다.

도 3b은 제2 시점(예를 들어, 외과 수술 당일 전, 보통은 외과 수술 3일 이내 수집됨)에 수집한 데이터를 바탕으로 구성된 3차원 모델(302)을, 본 발명의 일부 실시 예에 따라 배치한 일 예를 도시한 도면이다. 3차원 모델(302)은 가령, 우안(321), 볼 곡선(322), 코(323), 및 입(324) 등의 표면 해부학적 부위를 포함한다. 수술 경로(360)는 의료 스캔 이미지(302')에 따라 3차원 모델(302)상에 계획될 수 있다. 수술 경로(360)는 수술 진입 지점(361)에서 시작해 표적 수술 부위(362)에서 끝날 수 있다. 도 1a를 참조로 앞서 논의된 바와 같이, 수술 진입 지점(361)은 환자의 두개골상에 있을 수 있고, 표적 수술 부위(362)는 환자의 뇌 내부의 종양일 수 있다.

일부 실시 예에 따르면, 데카르트 제2 좌표계(380)를 사용해 수술 경로(360)와 우안(321), 볼 곡선(322), 코(323) 및 입(324) 간의 공간적 관계를 기술할 수 있다. 가령, 제2 좌표계(380)에서, 수술 진입 지점(361)은 (1, 2, 3)의 좌표를 가질 수 있고, 표적 수술 부위(362)는 (2, 3, 4)의 좌표를 가질 수 있고, 수술 진입 지점(361)과 표적 수술 부위(362) 간의 벡터는 (1, 1, 1)이다.

마찬가지로, 제2 좌표계(380)에서, 우안(321)은 (4, 5, 6)의 좌표를 가질 수 있고, 볼 곡선(322)은 (2, 9, 11)의 좌표를 가질 수 있고, 코(323)은 (7, 8, 9)의 좌표를 가질 수 있고, 입(324)은 (3, 7, 5)의 좌표를 가질 수 있다.

3차원 모델(302)은 수정 파라미터 값 세트로 수정되어, 수정된 3차원 모델(302')을 생성할 수 있다. 가령, 수정 파라미터 값 세트의 첫번째 예는, 100% 축척비, α가 45도, β가 0도, γ가 0도인 것을 포함할 수 있으나, 이에 제한되지 않으며, α는 제2 좌표계(380)에서 z 축을 중심으로 한 회전을 나타내고, β는 제2 좌표계(380)에서 y 축을 중심으로 한 회전을 나타내고, γ는 제2 좌표계(380)에서 x 축을 중심으로 한 회전을 나타낸다. 제2 2차원 이미지는 수정된 3차원 모델(302')로부터 검색될 수 있다. 일부 실시 예에 따르면, 제2 2차원 이미지는 3차원 모델(302')을 투사한 것이다.

도 3c는 수정 파라미터 값 세트의 첫번째 예로 수정된, 수정된 3차원 모델(302')을 투사한 것을, 본 발명의 일부 실시예에 따라 배치한 일 예를 도시한 것이다. 도 3C는 가령, 우안(331), 볼 곡선(332), 코(333), 및 입(334) 등, 환자의 표면 해부학적 부위를 포함할 수 있다. 도 3a도 함께 참조로 하면, 제1 관심 영역(315)과 제2 관심 영역(335) 간의 제1 상관 관계를 계산하기 위해 제2 관심 영역(335)이 선택될 수 있다.

제1 상관 관계를 획득한 후, 3차원 모델을 수정하여 또 다른 수정된 3차원 모델(302')을 생성하기 위한 수정 파라미터 값 세트의 두 번째 예가 사용될 수 있다. 수정 파라미터 값 세트의 두 번째 예는 100%의 축척비, α가 20도, β가 0도, γ가 0도인 것을 포함할 수 있으나, 이에 제한되지 않는다. 마찬가지로, 수정된 3차원 모델(302')을 투사한 일 예가 검색될 수 있다. 도 3d는 수정 파라미터 값 세트의 두번째 예로 수정한, 수정된 3차원 모델(302')을, 본 발명의 일부 실시 예에 따라 배치한 일 예를 도시한 도면이다. 도 3d는 가령, 우안(341), 볼 곡선(342), 코(343), 및 입(344) 등 환자의 표면 해부학적 부위를 포함할 수 있다. 도 3a를 함께 참조로 하여, 제1 관심 영역(315)과 제2 관심 영역(345) 간의 제2 상관 관계를 계산하기 위해 제2 관심 영역(345)이 선택될 수 있다.

일부 실시 예에 따르면, 제1 및 제2 상관 관계를 계산하기 전에 2차원 이미지들(301, 303, 및 304)이 먼저 처리된다. 가령, 2차원 이미지들(301, 303, 및 304)을 처리하기 위해 엣지 탐지 접근 방식이 적용될 수 있다. 도 3e는 이미지(301)의 엣지 탐지 처리된 이미지(305)를 본 발명의 일부 실시 예에 따라 배치한 일 예를 도시한 도면이다. 도 3f는 -45도의 수정 파라미터 값 α와 관련된 엣지 탐지 처리된 이미지(306)를, 본 발명의 일부 실시 예에 따라 배치한 또 다른 일 예를 도시한 도면이다.

3차원 모델(302)을 수정하기 위해 단 두 세트의 수정 파라미터 값(예를 들어, 100%의 축척비, α는 45도, β는 0도, γ는 0도; 및 100%의 축척비, α는 20도, β는 0도, γ는 0도)만이 획득된다는 가정하에, 제1 상관 관계와 제2 상관 관계를 임계 값과 비교하여 어떤 것이 최적의 수정 파라미터 값 세트일 수 있는지 판단한다. 최적의 수정 파라미터 값 세트는 제2 좌표계(380) 내의 좌표를 제1 좌표계(380')로 변환하는데 사용된다.

일부 실시 예에 따르면, 수정 파라미터가 축척비와 관련된다는 가정하에, 제2 좌표계(380)에서 제1 좌표계(380')로의 변환은 축척비를 제2 좌표계(380)의 좌표에 곱하는 것을 포함할 수 있다. 따라서, 계획된 수술 경로의 벡터는 제1 좌표계(380)에서 제2 좌표계(380')와 동일하게 유지된다. 그러나, 제2 좌표계(380) 내의 계획된 수술 경로의 거리에 비해, 제1 좌표계(380) 내의 실제 수술 경로의 거리는 축척비로 축척이 조정된다.

일부 실시 예에 따르면, 수정 파라미터가 회전 각도와 관련된 것으로 가정한다. 따라서, 계획된 수술 경로의 벡터는 제1 좌표계 내에서, 제2 좌표계(380') 내에서와는 다른 벡터로 변경된다. 제2 좌표계(380)에서 제1 좌표계(380')로의 변환은 매트릭스 동작을 포함할 수 있다. 매트릭스는 제1 좌표계(380')와 제2 좌표계(380) 간의 변환 매트릭스일 수 있다. 변환 매트릭스의 일 예는 아래와 같을 수 있다:

여기서, α는 제2 좌표계(380) 내에서의 z 축을 중심으로 한 회전을 나타내고;

β는 제2 좌표계(380) 내에서의 y 축을 중심으로 한 회전을 나타내고;

γ는 제2 좌표계(380) 내에서의 x 축을 중심으로 한 회전을 나타내고;

x_offset은 제2 좌표계(380) 내에서의 x 축상의 변위를 나타내고;

y_offset은 제2 좌표계(380) 내에서의 y 축상의 변위를 나타내고;

z_offset은 제2 좌표계(380) 내에서의 z 축상의 변위를 나타낸다.

좌표 변환은 아래의 연산으로 달성될 수 있다:

(3)

여기서, x', y', 및 z'은 제1 좌표계(380') 내의 변환된 좌표이고, x, y, 및 z은 제2 좌표계(380) 내의 좌표이다.

제2 수정 파라미터 값 세트(예를 들어, 100%의 축척비, α는 20도, β는 0도, γ는 0도)가 임계 값을 초과하는 반면, 제1 수정 파라미터 값 세트(예를 들어, 100%의 축척비, α는 45도, β는 0도, γ는 0도)는 임계 값을 초과하지 않는다는 가정하에, 제2 수정 파라미터 값 세트는 최적의 수정 파라미터 값 세트로 선택될 수 있고, 변환 매트릭스는 아래와 같을 수 있다:

상술한 수식(3)과 변환 매트릭스에 따르면, 제1 좌표계(380')에서, 수술 진입 지점(371)은 (1.62373, 1.53737, 3)의 좌표를 가질 수 있고, 표적 수술 부위(372)는 (2.90545, 2.13504, 4)의 좌표를 가질 수 있고, 수술 진입 지점(371)과 표적 수술 부위(372) 간의 벡터는 (1.28172, 0.59767, 1)이다. 좌표와 벡터는, 외과의가 로봇 암을 사용해 수술을 수행할 수 있도록 수술실에서 로봇 암으로 전송될 수 있다.

도 4는 본 발명의 일 실시 예에 따른, 실제 수술 경로를 판단하기 위한 방법을 실행하기 위한 컴퓨터 프로그램 제품(400)을 도시한 블록도이다. 컴퓨터 프로그램 제품(400)은 신호 함유 매체(signal bearing medium, 402)를 포함할 수 있다. 신호 함유 매체(402)는 저장된 하나 이상의 실행 가능한 명령어(404) 세트를 포함할 수 있고, 이러한 명령어 세트는, 가령 도 1의 컴퓨팅 장치(106)에 의한 실행에 응답하여, 전술한 특징 및 동작들을 제공할 수 있다.

일부 구현 예에서, 신호 함유 매체(402)는 비일시적 컴퓨터 독출 가능 매체(408)를 포함할 수 있다. 이러한 비일시적 컴퓨터 독출 가능 매체(408)는 하드 디스크 드라이브, 콤팩트 디스크(CD), 디지털 다용도 디스크(DVD), 디지털 테이프, 및 메모리 등을 포함하나, 이에 제한되지 않는다. 일부 구현 예에서, 신호 함유 매체(402)는 기록 가능한 매체(410)를 포함할 수 있다. 이러한 기록 가능한 매체(410)는 메모리, 독출/작성 (R/W) CD, R/W DVD 등을 포함하나, 이에 제한되지 않는다. 일부 구현 예에서, 신호 함유 매체(402)는 통신 매체(406)를 포함할 수 있다. 이 통신 매체(406)는 디지털 및/또는 아날로그 통신 매체(예를 들어, 광섬유 케이블, 도파관, 유선 통신 링크, 무선 통신 링크 등) 등을 포함하나 이에 제한되지 않는다.

앞서 상세히 기술한 내용에서는 블록도, 흐름도 및/또는 예시의 사용을 통한 장치 및/또는 프로세서들의 다양한 실시 예들이 제시되었다. 이러한 블록도, 흐름도 및/또는 예시가 하나 이상의 기능 및/또는 동작을 포함하는 한, 당업자는 그러한 블록도, 흐름도, 또는 예시 내 각각의 기능 및/또는 동작이 매우 다양한 종류의 하드웨어, 소프트웨어, 펌웨어, 또는 그것의 사실상 가능한 모든 조합에 의해 개별적으로 및/또는 함께 실행될 수 있음을 이해할 것이다. 일부 실시 예에 따르면, 본 발명에 기술된 대상 물질의 일부는 주문형 집적회로(application specific integrated circuits, ASICs), 필드 프로그램 가능 게이트 어레이(Field Programmable Gate Arrays, FPGAs), 디지털 신호 처리 장치(digital signal processors, DSPs), 또는 기타 집적 형태를 통해 실행될 수 있다. 그러나, 당업자는 본 발명에 기재된 실시 예의 일부 양상의 전체 또는 일부가, 하나 이상의 컴퓨터상에서 운영되는 하나 이상의 컴퓨터 프로그램(예를 들어, 하나 이상의 컴퓨터 시스템상에서 운영되는 하나 이상의 프로그램), 하나 이상의 프로세서상에서 운영되는 하나 이상의 프로그램(예를 들어, 하나 이상의 마이크로프로세서상에서 운영되는 하나 이상의 프로그램), 펌웨어, 또는 사실상 그 모든 조합으로서 집적 회로에 등가적으로 구현될 수 있으며, 소프트웨어 및/또는 펌웨어에 대한 회로를 설계 및/또는 코드를 작성하는 것이 본 발명에 비추어 당업자의 기술 범위 내에 있다는 것을 인식할 것이다. 또한, 당업자는 본 발명에 기재된 대상 물질의 메커니즘이 다양한 형태로 프로그램 제품으로 유통될 수 있고, 본 발명에 기재된 대상 물질의 도시적 실시 예가 실제 유통 실시에 사용되는 신호 함유 매체의 유형과 상관 없이 적용된다는 것을 이해할 것이다. 신호 함유 매체의 예로는 플로피 디스크, 하드 디스크 드라이브, 콤팩트 디스크(CD), 디지털 다용도 디스크(DVD), 디지털 테이프, 컴퓨터 메모리 등의 기록 가능한 형태의 매체; 디지털 및/또는 아날로그 통신 매체 등의 전송형 매체(예를 들어, 광섬유 케이블, 도파관, 유선 통신 링크, 무선 통신 링크 등)이 포함되나, 이에 제한되지 않는다.

전술한 설명으로부터, 본 발명의 다양한 실시 예가 도시의 목적으로 기재된 것이며, 본 발명의 범위와 사상에서 벗어나지 않는 범위 내에서 다양한 변형이 가능함을 이해할 것이다. 이에 따라, 본 발명에 기재된 다양한 실시 예는 제한의 목적을 갖지 않으며, 진정한 범위와 사상은 첨부된 청구항에 의해 나타난다.

Claims

계획된 수술 경로를 바탕으로 환자의 실제 수술 경로를 판단하기 위한 방법으로서,
제1 시점에 수집한 정보와 관련된 상기 환자의 제1 2차원 이미지를 검색하는 단계, 수술실 내에서의 상기 환자와 장치 간의 공간적 관계는 상기 제1 좌표계에 의해 기술되고;
상기 계획된 수술 경로를 포함하는 상기 환자의 3차원 모델을 제1 수정 파라미터 값 세트로 수정하는 단계, 상기 3차원 모델은 상기 제2 좌표계에 의해 기술되고 상기 제1 시점 전의 제2 시점에 수집한 정보에 의해 구성되고;
수정된 3차원 모델에서 제2 2차원 이미지를 검색하는 단계;
상기 제1 2차원 이미지와 상기 제2 2차원 이미지 간의 제1 상관 관계를 연산하는 단계; 및
임계 값을 초과하는 상기 제1 상관 관계에 응답하여, 상기 실제 수술 경로를 판단하기 위해 상기 제1 수정 파라미터 값 세트를 바탕으로 제2 좌표계 내의 상기 계획된 수술 경로를 제1 좌표계로 변환하는 단계;
를 포함하는 방법.
제1항에 있어서,
상기 3차원 모델을 수정하는 단계는 상기 3차원 모델의 축척을 조정하는 단계, 상기 3차원 모델을 상기 수정 파라미터 값 세트를 바탕으로 회전하거나 이동하는 단계를 포함하는 방법.
제1항에 있어서,
상기 제2 2차원 이미지는 상기 수정된 3차원 모델을 투사한 것인 방법.
제1항에 있어서,
상기 환자는 상기 제1 시점에는 상기 수술실 내에서 수술대 위에 있고, 상기 제2 시점에는 의료 이미지 스캔 아래에 있는 방법.
제1항에 있어서,
상기 임계 값을 초과하지 않는 상기 제1 상관 관계에 응답하여,
상기 계획된 수술 경로를 포함하는 상기 환자의 상기 3차원 모델을 제2 수정 파라미터 값 세트로 수정하는 단계;
상기 제2 수정 파라미터 값 세트로 수정된 상기 3차원 모델에서 제3 2차원 이미지를 검색하는 단계;
상기 제1 2차원 이미지와 상기 제3 2차원 이미지 간의 제2 상관 관계를 연산하는 단계; 및
임계 값을 초과하는 상기 제2 상관 관계에 응답하여, 상기 실제 수술 경로를 식별하기 위해 상기 제2 수정 파라미터 값 세트를 바탕으로 상기 제2 좌표계 내의 상기 계획된 수술 경로를 상기 제1 좌표계로 변환하는 단계를 더 포함하는 방법.
제1항에 있어서,
상기 제1 2차원 이미지와 상기 제2 2차원 이미지상에서 엣지 탐지를 수행하는 단계를 더 포함하는 방법.
제6항에 있어서,
상기 엣지 탐지는 상기 상관 관계의 연산 전에 수행되는 방법.
하나 이상의 수술 시스템 중 하나 내의 프로세서에 의한 실행에 응답하여, 상기 프로세서로 하여금, 계획된 수술 경로를 바탕으로 환자의 실제 수술 경로를 판단하기 위한 방법을 수행하도록 하는 실행 가능한 명령어 세트를 포함하는 비일시적 컴퓨터-독출 가능 저장 매체로, 상기 방법은,
제1 시점에 수집한 정보와 관련된 상기 환자의 제1 2차원 이미지를 검색하는 단계, 수술실 내에서의 상기 환자와 장치 간의 공간적 관계는 상기 제1 좌표계에 의해 기술되고;
상기 계획된 수술 경로를 포함하는 상기 환자의 3차원 모델을 제1 수정 파라미터 값 세트로 수정하는 단계, 상기 3차원 모델은 상기 제2 좌표계에 의해 기술되고 상기 제1 시점 전의 제2 시점에 수집한 정보에 의해 구성되고;
수정된 3차원 모델에서 제2 2차원 이미지를 검색하는 단계;
상기 제1 2차원 이미지와 상기 제2 2차원 이미지 간의 제1 상관 관계를 연산하는 단계; 및
임계 값을 초과하는 상기 제1 상관 관계에 응답하여, 상기 실제 수술 경로를 식별하기 위해 상기 제1 수정 파라미터 값 세트를 바탕으로 제2 좌표계 내의 상기 계획된 수술 경로를 제1 좌표계로 변환하는 단계;
를 포함하는 비일시적 컴퓨터-독출 가능 저장 매체.
제8항에 있어서,
상기 3차원 모델을 수정하는 단계는 상기 3차원 모델의 축척을 조정하는 단계, 상기 3차원 모델을 상기 수정 파라미터 값 세트를 바탕으로 회전 또는 이동하는 단계를 포함하는 비일시적 컴퓨터-독출 가능 저장 매체.
제8항에 있어서,
상기 제2 2차원 이미지는 상기 수정된 3차원 모델을 투사한 것인 비일시적 컴퓨터-독출 가능 저장 매체.
제8항에 있어서,
상기 환자가 상기 제1 시점에는 상기 수술실 내에서 수술대 위에 있고, 상기 제2 시점에는 의료 이미지 스캔 아래에 있는 비일시적 컴퓨터-독출 가능 저장 매체.
제8항에 있어서,
상기 임계 값을 초과하지 않는 상기 제1 상관 관계에 응답하여, 상기 방법은,
상기 계획된 수술 경로를 포함하는 상기 환자의 상기 3차원 모델을 제2 수정 파라미터 값 세트로 수정하는 단계;
상기 제2 수정 파라미터 값 세트로 수정된 상기 3차원 모델에서 제3 2차원 이미지를 검색하는 단계;
상기 제1 2차원 이미지와 상기 제3 2차원 이미지 간의 제2 상관 관계를 연산하는 단계; 및
임계 값을 초과하는 상기 제2 상관 관계에 응답하여, 상기 실제 수술 경로를 식별하기 위해 상기 제2 수정 파라미터 값 세트를 바탕으로 상기 제2 좌표계 내의 상기 계획된 수술 경로를 상기 제1 좌표계로 변환하는 단계;
를 더 포함하는 비일시적 컴퓨터-독출 가능 저장 매체.
제8항에 있어서,
상기 방법은 상기 제1 2차원 이미지와 상기 제2 2차원 이미지상에서 엣지 탐지를 수행하는 단계를 더 포함하는 비일시적 컴퓨터-독출 가능 저장 매체.
제13항에 있어서,
상기 엣지 탐지는 상기 상관 관계의 연산 전에 수행되는 비일시적 컴퓨터-독출 가능 저장 매체.
계획된 수술 경로를 바탕으로 환자의 실제 수술 경로를 판단하도록 구성된 수술 시스템으로서,
저장 시스템;
로봇 암;
이미지 수집 장치; 및
프로세서를 포함하고,
상기 프로세서는,
상기 저장 시스템으로부터, 제1 시점에 상기 이미지 수집 장치가 수집한 정보와 관련된 상기 환자의 제1 2차원 이미지를 검색하고, 상기 환자와 상기 로봇 암 간의 공간적 관계는 상기 제1 좌표계에 의해 기술되고,;
상기 계획된 수술 경로를 포함하는 상기 환자의 3차원 모델을 제1 수정 파라미터 값 세트로 수정하고, 상기 3차원 모델은 상기 제2 좌표계에 의해 기술되고 상기 제1 시점 전의 제2 시점에 수집한 정보에 의해 구성되고;
상기 저장 시스템으로부터, 수정된 3차원 모델에서 제2 2차원 이미지를 검색하고;
상기 제1 2차원 이미지와 상기 제2 2차원 이미지 간의 제1 상관 관계를 연산하고;
임계 값을 초과하는 상기 제1 상관 관계에 응답하여, 상기 실제 수술 경로를 식별하기 위해 상기 제1 수정 파라미터 값 세트를 바탕으로 제2 좌표계 내의 상기 계획된 수술 경로를 제1 좌표계로 변환하고; 및
상기 로봇 암으로 하여금 상기 실제 수술 경로를 바탕으로 상기 수술을 수행하도록 명령하도록 구성되는 수술 시스템.
제15항에 있어서,
상기 3차원 모델은 축척 조정 인자, 회전도, 및/또는 병진 벡터로 수정되는 수술 시스템.
제15항에 있어서,
상기 이미지 수집 장치는 상기 로봇 암에 고정되는 수술 시스템.
제15항에 있어서,
상기 이미지 수집 장치는 상기 로봇 암이 움직이는 동안 복수의 이미지를 취하도록 구성된 수술 시스템.
제15항에 있어서,
상기 환자가 상기 제1 시점에는 상기 수술실 내에서 수술대 위에 있고, 상기 제2 시점에는 의료 이미지 스캔 아래에 있는 수술 시스템.
제15항에 있어서,
상기 프로세서는 상기 제1 2차원 이미지와 상기 제2 2차원 이미지상에서 엣지 탐지 동작을 수행하도록 더 구성된 수술 시스템.