KR20170127560A

KR20170127560A - 원격조작 의료 시스템에서 기구의 스크린상 식별정보를 렌더링하기 위한 시스템 및 방법

Info

Publication number: KR20170127560A
Application number: KR1020177029690A
Authority: KR
Inventors: 브랜던 디 잇코위츠; 폴 더블유 모어
Original assignee: 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date: 2015-03-17
Filing date: 2016-03-16
Publication date: 2017-11-21
Also published as: CN107530138A; JP2018508300A; EP3628264A1; US20180092700A1; JP6766061B2; US10905506B2; EP3270814A4; US20200246094A1; US10433922B2; KR20230029999A; JP2021007755A; WO2016149320A1; CN107530138B; US20190388168A1; JP7086150B2; EP3270814B1; EP3270814A1; US10660716B2; KR102501099B1; CN112274250A

Abstract

조작자 수술 환경에서 의료 기구의 이동을 제어하도록 구성된 조작자 제어 시스템 및 복수의 조작기를 포함하는 원격조작 조립체가 개시되어 있다. 조작기는 조작자 제어 시스템에 의해 원격조작식으로 제어된다. 시스템은 수술 환경의 시계의 화상을 표시하고, 의료 기구의 원위 단부 부분의 위치를 화상의 좌표 공간에 투영하고, 각 의료 기구의 원위 단부 부분과 연계된 배지를 위한 초기 위치를 결정하고, 그 초기 위치에 기초하여 각 배지에 대한 표시 인자를 평가하고, 표시 인자에 기초하여 화상의 좌표 공간에서 각 배지에 대한 최종 표시 위치를 결정하도록 구성된 처리 유닛을 더 포함한다.

Description

원격조작 의료 시스템에서 기구의 스크린상 식별정보를 렌더링하기 위한 시스템 및 방법

관련 출원

본 출원은 그 전문이 본 명세서에 참조로 통합되어 있는 2015년 3월 17일자로 출원된 발명의 명칭이 "SYSTEMS AND METHODS FOR RENDERING ONSCREEN IDENTIFICATION OF INSTRUMENTS IN A TELEOPERATIONAL MEDICAL SYSTEM"인 미국 가특허 출원 제62/134,294호에 대한 출원일의 혜택과 그에 대한 우선권을 주장한다.

최소 침습 의료 기술은, 침습 의료 절차 중에 손상되는 조직의 양을 줄이고 그에 의해서 환자 회복 시간, 불편함, 및 유해한 부작용을 줄이기 위한 것이다. 그러한 최소 침습 기술은 환자의 해부구조 내의 자연적인 구멍을 통해서 또는 하나 이상의 수술 절개부를 통해서 실시될 수 있다. 이들 자연적인 구멍 또는 절개부를 통해서, 의료진이 표적 조직 장소에 도달하기 위해서 의료 도구를 삽입할 수 있다. 최소 침습 의료 도구에는, 치료 기구, 진단 기구, 및 수술 기구와 같은 기구가 포함된다. 최소 침습 의료 도구는 또한 내시경 기구와 같은 촬상 기구를 포함할 수 있다. 촬상 기구는 환자의 해부구조 내의 시계를 사용자에게 제공한다. 일부 최소 침습 의료 도구 및 촬상 기구가 원격조작되거나 달리 컴퓨터-보조될 수 있다. 원격조작 의료 시스템에서, 기구는 작은 기구 크기, 시계의 에지에 대한 근접도 또는 조직에 의한 차폐로 인해 관찰이 곤란할 수 있다. 원격조작 시스템을 조작하는 의료진은 또한 조작자가 어느 기구를 제어하고 있는지의 추적을 유지하는 데 어려움을 가질 수 있다. 의료진의 오차 위험을 감소시키기 위해 의료진이 제어 중인 기구에 대한 정보를 의료진에게 제공하는 시스템 및 방법을 제공할 필요가 있다.

본 발명의 실시예는 이하에서 후속되는 청구항에 의해서 요약된다.

일 실시예에서, 원격조작 조립체는 조작자 수술 환경에서 의료 기구의 이동을 제어하도록 구성된 조작자 제어 시스템 및 복수의 조작기를 포함한다. 조작기는 조작자 제어 시스템에 의해 원격조작식으로 제어된다. 시스템은 수술 환경의 시계의 화상을 표시하고, 의료 기구의 원위 단부 부분의 위치를 화상의 좌표 공간에 투영하고, 각 의료 기구의 원위 단부 부분과 연계된 배지를 위한 초기 위치를 결정하고, 그 초기 위치에 기초하여 각 배지에 대한 표시 인자를 평가하고, 표시 인자에 기초하여 화상의 좌표 공간에서 각 배지에 대한 최종 표시 위치를 결정하도록 구성된 처리 유닛을 더 포함한다.

다른 실시예에서, 수술 환경의 시계의 화상이 표시된다. 화상은 촬상 기구에 의해 취득되고, 의료 기구의 원위 단부의 화상을 포함한다. 의료 기구는 원격조작 조립체의 조작기에 결합된다. 의료 기구의 원위 단부의 위치는 화상의 좌표 공간에 투영되고, 의료 기구의 원위 단부와 연계된 배지의 초기 위치가 결정되며, 표시 인자가 그 초기 위치에 기초하여 각 배지에 대해 평가되고, 화상의 좌표 공간 내에서의 각 배지의 최종 표시 위치가 그 표시 인자에 기초하여 결정된다.

상기 일반적인 설명 및 하기 상세한 설명의 양자 모두는 오직 예시이고 설명인 것이며 본 개시내용의 범위를 제한하지 않으면서 본 개시내용의 이해를 제공하도록 의도되는 것으로 이해해야 한다. 그와 관련하여, 본 개시내용의 추가적인 양태, 특징, 및 이점은 이하의 상세한 설명으로부터 통상의 기술자에게 명확해질 것이다.

본 개시내용의 양태는, 첨부 도면과 함께 읽을 때, 이하의 구체적인 설명으로부터 가장 잘 이해된다. 다양한 형상들은 본 산업 분야의 표준 실무에 따라서 비율에 맞게 도시된 것은 아님을 강조한다. 사실상, 다양한 형상들의 크기들은 설명을 명확하게 하기 위해 임의로 늘이거나 줄일 수 있다. 또한, 본 개시내용은 여러 예에서 참조 번호 및/또는 문자를 반복할 수 있다. 이러한 반복은 간단함과 명료함을 위한 것이고 그 자체가 설명된 다양한 실시예들 및/또는 구성들 사이의 관계를 지시하는 것은 아니다.
도 1a는 본 개시내용의 실시예에 따른 원격조작 의료 시스템의 개략도이다.
도 1b는 다수의 실시예에 따른 원격조작 의료 시스템을 위한 의사의 제어 콘솔의 사시도이다.
도 1c는 다수의 실시예에 따른 원격조작 의료 시스템 전자장치 카트의 사시도이다.
도 1d는 본 명세서에 설명된 원리의 일 예에 따른 환자측 카트의 사시도이다.
도 2a는 시계에서 가시적인 적어도 하나의 의료 기구를 갖는 수술 작업공간의 시계를 예시하며, 기구는 기구 연계되면서 기구에 관련한 연계 정보를 포함하는 배지를 갖는다.
도 2b는 원격조작 의료 시스템을 동작하기 위한 방법을 예시하는 흐름도이다.
도 3a 내지 도 3c는 도 3d 내지 도 3f에 도시된 바와 같은 연계 정보 배지 배열에 대응하는 입력 제어 장치 및 사용자 손 위치를 예시한다.
도 3d 내지 도 3f는 연계 정보 배지의 궤도운동 부분을 위한 다양한 배열을 예시한다.
도 4a 및 도 4b는 연계된 기구가 촬상 장치를 향해 그리고 그로부터 멀어지도록 이동할 때 연계 정보 배지의 크기-변경 거동을 예시한다.
도 5a 및 도 5b는 연계된 의료 기구가 시야로부터 가려질 때 연계 정보 배지가 가시적인 상태로 유지되는 방식을 예시한다.
도 6a 및 도 6b는 의료 기구가 밀접한 근접도에 있을 때 연계 정보 배지의 조절을 예시한다.
도 7a 내지 도 7c는 연계된 의료 기구가 수술 환경의 화상의 에지 부근에 있을 때, 그리고, 의료 기구가 수술 환경의 화상 외부로 이동할 때 연계 정보 배지의 거동을 예시한다.
도 8은 수술 작업공간의 시계의 화상 내에 배지를 렌더링하는 방법을 예시한다.
도 9는 수술 작업공간의 시계의 화상의 좌표 공간 내에 의료 기구 원위 단부 부분의 장소가 투영되는 도 8의 프로세스를 상세히 예시한다.
도 10은 배지의 잠재적 중첩이 점검 및 해소되는 도 8의 프로세스를 상세히 예시한다. 이 경우, 적어도 두 개의 의료 기구가 존재한다.
도 11은 수술 작업공간의 시계의 화상의 가시적 공간에 배지가 제약되는 도 8의 프로세스를 상세히 예시한다.

본 개시내용의 원리를 이해하는 것을 돕기 위한 목적으로, 이제 도면에 도시된 실시예를 참조할 것이고, 특정의 언어가 그러한 실시예를 설명하기 위해서 이용될 것이다. 그럼에도 불구하고, 개시내용의 범위에 대한 제한이 의도되지 않는다는 것을 이해할 수 있다. 본 발명의 양태에 관한 이하의 구체적인 설명에서, 개시된 실시예의 완전한 이해를 제공하기 위해서, 수 많은 구체적인 상세 내용이 전개된다. 그러나, 본 기술 분야의 숙련자는, 이러한 구체적인 상세 내용이 없이도 본 개시내용의 실시예가 실시될 수 있다는 것을 명확하게 이해할 수 있다. 다른 경우에, 본 발명의 실시예의 양태를 불필요하게 불명확하게 하지 않기 위해서, 주지의 방법, 절차, 구성요소, 및 회로는 상세히 설명하지 않는다.

본 개시내용과 본 기술분야의 숙련자가 일반적으로 안출할 수 있는 개시된 장치, 기구, 방법, 및 본 개시내용의 원리의 임의의 추가적인 적용에 대한 임의의 변경 및 추가적인 수정이 충분히 예상된다. 특히, 일 실시예와 관련하여 설명된 특징, 구성요소, 및/또는 단계가 본 개시내용의 다른 실시예와 관련하여 설명된 특징, 구성요소, 및/또는 단계와 조합될 수 있다는 것을 완전히 이해할 수 있다. 또한, 본원에서 제공된 치수는 특정의 예를 위한 것이고, 다른 크기, 치수, 및/또는 비율이 본 개시내용의 개념을 구현하기 위해서 이용될 수 있다는 것을 이해할 수 있다. 불필요한 설명적 반복을 피하기 위해서, 가능한 경우, 하나의 예시적 실시예에 따라서 설명된 하나 이상의 구성요소 또는 작용은 다른 예시적 실시예에서 이용될 수 있거나 그로부터 생략될 수 있다. 간결함을 위해서, 이러한 조합의 수많은 반복을 별개로 설명하지는 않을 것이다. 간결함을 위해서, 일부 경우에, 동일한 또는 유사한 부분을 지칭하기 위해서, 도면 전체를 통해서 동일한 참조 번호가 이용된다.

이하의 실시예는 여러 가지 기구 및 기구의 부분을 3-차원적인 공간 내에서의 그들의 상태와 관련하여 설명할 것이다. 본 명세서에서 사용될 때, 용어 "위치"는 3차원 공간(예를 들어, 데카르트 X, Y, Z 좌표를 따른 3개 병진 자유도)에서 대상물 또는 대상물의 일부의 장소를 지칭한다. 본 명세서에서 사용될 때, 용어 "배향"은 대상물 또는 대상물의 일부의 회전적 배치(3개 회전 자유도 - 예를 들어, 롤, 피치 및 요오)를 지칭한다. 본 명세서에서 사용될 때, 용어 "자세"는 적어도 하나의 회전 자유도에서의 대상물 또는 대상물의 일부의 배향 및 적어도 하나의 병진 자유도에서의 대상물 또는 대상물의 일부의 위치(총 6 자유도까지)를 지칭한다. 본 명세서에서 사용될 때, 용어 "형상"은 대상을 따라 측정된 자세, 위치 또는 배향의 세트를 지칭한다.

도면의 도 1a를 참조하면, 예로서, 진단, 치료 또는 수술 절차를 포함하는 의료 절차에 사용하기 위한 원격조작 의료 시스템은 전체가 참조 번호 10으로 표시되어 있다. 설명되는 바와 같이, 본 개시내용의 원격조작 의료 시스템은 의사의 원격조작 제어 하에 있다. 대안 실시예에서, 원격조작 의료 시스템은 절차 또는 하위-절차를 실시하도록 프로그래밍된 컴퓨터의 부분적인 제어 하에 있을 수 있다. 또 다른 대안 실시예에서, 완전히 자동화된 의료 시스템이, 절차 또는 하위-절차를 실시하도록 프로그래밍된 컴퓨터의 완전한 제어하에서, 절차 또는 하위-절차를 실시하기 위해서 이용될 수 있다. 도 1a에 도시된 바와 같이, 원격조작 의료 시스템(10)은 일반적으로 환자(P)가 그 위에 위치되는 수술 테이블(O)에 또는 그 부근에 장착된 원격조작 조립체(12)를 포함한다. 원격조작 조립체(12)가 환자측 카트로서 지칭될 수 있다. 의료 기구 시스템(14) 및 내시경 촬상 시스템(15)이 원격조작 조립체(12)에 동작적으로 결합된다. 조작자 입력 시스템(16)은 의사 또는 다른 유형의 의료진(S)이 수술 부위의 또는 수술 부위를 나타내는 화상을 볼 수 있게 하고 의료 기구 시스템(14) 및/또는 내시경 촬상 시스템(15)의 동작을 제어할 수 있게 한다.

조작자 입력 시스템(16)은 일반적으로 수술 테이블(O)과 동일한 방에 위치되는 의사의 콘솔에 위치될 수 있다. 그러나, 의사(S)가 환자(P)와 다른 방에 있을 수 있거나 완전히 다른 건물에 있을 수 있다는 것을 이해하여야 할 것이다. 조작자 입력 시스템(16)은 일반적으로 의료 기구 시스템(14)을 제어하기 위한 하나 이상의 입력 제어 장치(들)를 포함한다. 입력 제어 장치(들)는 핸드 그립(hand grip), 조이스틱, 트랙볼, 데이터 글러브, 트리거-건, 수조작식 제어기, 음성 인식 장치, 터치 스크린, 페달, 신체 운동 또는 존재 센서, 시선 추적 장치 등 같은 임의의 수의 다양한 장치 중 하나 이상을 포함할 수 있다. 일부 실시예에서, 의사가 수술 부위에 있는 것과 같이 직접적으로 기구를 제어하는 강한 느낌을 가지도록 제어 장치(들)가 기구와 일체라는 인식인 원격 현장감(telepresence) 을 의사에게 제공하도록, 제어 장치(들)는 원격조작 조립체의 의료 기구와 동일한 자유도를 가질 수 있다. 다른 실시예에서, 제어 장치(들)가 연계된 의료 기구 보다 많거나 적은 자유도를 가질 수 있으면서 여전히 의사에게 원격 현장감을 제공할 수 있다. 일부 실시예에서, 제어 장치(들)는 6개의 자유도로 이동하고, 그리고 또한 기구를 작동시키기 위한(예를 들어, 파지 턱부들(grasping jaws)을 폐쇄하기 위한, 전위를 전극으로 인가하기 위한, 의료적 처리를 전달하기 위한, 그리고 기타 등등을 위한) 작동 가능 핸들을 포함할 수 있는 수동 입력 장치이다.

원격조작 조립체(12)는, 의사(S)가 콘솔(16)을 통해서 수술 부위를 관찰하는 동안, 의료 기구 시스템(14)을 지지하고 조작한다. 수술 부위의 화상은, 내시경(15)을 배향하기 위해서 원격조작 조립체(12)에 의해서 조작될 수 있는, 입체 내시경(stereoscopic endoscope)과 같은, 내시경 촬상 시스템(15)에 의해서 획득될 수 있다. 선택적으로, 전자장치 카트(18)가 후속하여 의사의 콘솔(16)을 통해 의사(S)에게 표시하기 위해 수술 부위의 화상을 처리하기 위해 사용될 수 있다. 한번에 이용되는 의료 기구 시스템(14)의 수는 일반적으로, 다른 인자들 중에서, 진단 또는 수술 절차 및 수술실 내의 공간적 제약에 의존할 것이다. 원격조작 조립체(12)가 하나 이상의 비-서보 제어형 링크(예를 들어, 셋-업 구조물로서 일반적으로 지칭되는, 수동으로 배치되고 제 위치에서 결속될(locked) 수 있는 하나 이상의 링크)의 기구학적 구조물 및 원격조작 조작기를 포함할 수 있다. 원격조작 조립체(12)는 의료 기구 시스템(14) 상의 입력부를 구동하는 복수의 모터를 포함한다. 이들 모터는 제어 시스템(예를 들어, 제어 시스템(20))으로부터의 명령에 응답하여 이동된다. 모터는, 의료 기구 시스템(14)에 결합될 때 의료 기구를 자연적으로 또는 수술적으로 생성된 해부학적인 구멍으로 전진시킬 수 있는 구동 시스템을 포함한다. 다른 모터식(motorized) 구동 시스템이, 3개의 선형 운동도(degrees of linear motion)(예를 들어, X, Y, Z 데카르트 축을 따른 선형 운동)를 포함할 수 있는 복수의 자유도로 그리고 3개의 회전 운동도(예를 들어, X, Y, Z 데카르트 축 주위의 회전)로 의료 기구의 원위 단부를 이동시킬 수 있다. 부가적으로, 모터를 이용하여, 생검 장치 등의 턱부 내에서 조직을 파지하기 위한 기구의 관절식 엔드 이펙터(articulable end effector)를 작동시킬 수 있다.

원격조작 의료 시스템(10)은 또한 제어 시스템(20)을 포함한다. 의료 기구 시스템(14), 조작자 입력 시스템(16), 및 전자장치 시스템(18) 사이의 제어를 실시하기 위해서, 제어 시스템(20)은 적어도 하나의 메모리 및 적어도 하나의 프로세서(미도시), 전형적으로 복수의 프로세서를 포함한다. 제어 시스템(20)은 또한 본원에서 개시된 양태에 따라 설명된 방법의 일부 또는 전부를 실시하기 위한 프로그래밍된 명령어(예를 들어, 명령어를 저장하는 컴퓨터-판독가능 매체)를 포함한다. 제어 시스템(20)은 도 1a의 단순화된 개요에서 단일 블록으로서 도시되어 있지만, 시스템은 둘 이상의 데이터 처리 회로를 포함할 수 있고, 처리의 일 부분은 선택적으로 원격조작 조립체(12) 상에 또는 그에 인접하게 실행되고, 처리의 다른 부분은 조작자 입력 시스템(16)에서 실행되는 등등일 수 있다. 매우 다양한 중앙집중형 또는 분산형 데이터 처리 아키텍처 중 임의의 것이 이용될 수 있다. 유사하게, 프로그래밍된 명령어는 많은 수의 분리된 프로그램 또는 서브루틴으로서 구현될 수 있거나, 그러한 명령어가 본원에서 설명된 원격조작 시스템의 많은 수의 다른 양태 내로 통합될 수 있다. 일 실시예에서, 제어 시스템(20)은 블루투스, IrDA, HomeRF, IEEE 802.11, DECT, 및 무선 텔레메트리(Wireless Telemetry)와 같은 무선 통신 프로토콜을 지원한다.

일부 실시예에서, 제어 시스템(20)은 의료 기구 시스템(14)으로부터 힘 및/또는 토크 피드백을 수신하는 하나 이상의 서보 제어기를 포함할 수 있다. 피드백에 응답하여, 서보 제어기가 조작자 입력 시스템(16)으로 신호를 송신한다. 서보 제어기(들)는 또한 신체 내의 개구부를 통해서 환자 신체 내의 내부 수술 부위로 연장될 수 있는 의료 기구 시스템(들)(14) 및/또는 내시경 촬상 시스템(15)을 이동시킬 것을 원격조작 조립체(12)에 명령하는 신호를 송신할 수 있다. 임의의 적합한 통상적인 또는 특별한 서보 제어기가 이용될 수 있다. 서보 제어기는 원격조작 조립체(12)와 분리될 수 있거나, 그와 통합될 수 있다. 일부 실시예에서, 서보 제어기 및 원격조작 조립체는 환자의 신체에 인접하여 배치되는 원격조작 아암 카트(teleoperational arm cart)의 일부로서 제공된다.

원격조작 의료 시스템(10)은 조명 시스템, 조향 제어 시스템, 관류(irrigation) 시스템, 및/또는 흡입 시스템과 같은 선택적인 동작 및 지원 시스템(미도시)을 더 포함할 수 있다. 대안 실시예에서, 원격조작 시스템은 하나보다 많은 원격조작 조립체 및/또는 하나보다 많은 조작자 입력 시스템을 포함할 수 있다. 조작기 조립체의 정확한 수는 다른 인자들 중에서, 수술 절차 및 수술실 내의 공간적 제약에 의존할 것이다. 조작자 입력 시스템들은 함께 위치될 수 있거나, 분리된 장소들에 배치될 수 있다. 복수의 조작자 입력 시스템은 한 명보다 많은 조작자가 하나 이상의 조작기 조립체를 다양한 조합으로 제어할 수 있게 한다.

도 1b는 의사의 콘솔(16)의 사시도이다. 깊이 인식을 가능하게 하는 수술 부위의 조화된 입체적 장면을 의사(S)에게 제시하기 위해서, 의사의 콘솔(16)이 좌측 눈 디스플레이(32) 및 우측 눈 디스플레이(34)를 포함한다. 콘솔(16)은 하나 이상의 입력 제어 장치(36)를 더 포함하고, 그러한 입력 제어 장치(36)는 다시 원격조작 조립체(12)가 하나 이상의 기구 또는 내시경 촬상 시스템을 조작하게 한다. 입력 제어 장치(36)가 그들과 연계된 기구(14)와 동일한 자유도를 제공하여, 원격 현장감, 또는 의사가 기구(14)를 직접적으로 제어하는 강한 느낌을 가지도록 입력 제어 장치(36)가 기구(14)와 일체라는 인식을 의사(S)에게 제공할 수 있다. 이러한 목적을 위해서, 위치, 힘, 및 촉각 피드백 센서(미도시)를 이용하여, 기구(14)로부터 입력 제어 장치(36)를 통해서 의사의 손으로 다시 위치, 힘, 및 촉각적 감각을 전달할 수 있다.

도 1c는 전자장치 카트(18)의 사시도이다. 전자장치 카트(18)는 내시경(15)과 결합될 수 있고, 예를 들어 의사의 콘솔 상에서, 또는 근거리에 및/또는 원격지에 위치되는 다른 적합한 디스플레이 상에서 의사에게 후속하여 표시하기 위해서, 캡쳐된 화상을 처리하기 위한 프로세서를 포함할 수 있다. 예를 들어, 입체 내시경이 사용되는 경우에, 전자장치 카트(18)가 캡쳐된 화상을 처리하여, 수술 부위의 조화된 입체 화상들을 의사에게 제시할 수 있다. 그러한 조화는, 대향 화상들 사이의 정렬을 포함할 수 있고 입체 내시경의 입체적 작업 거리를 조정하는 것을 포함할 수 있다. 다른 예에서, 화상 처리는 광학적 수차와 같은, 화상 캡쳐 장치의 촬상 오차를 보상하기 위해서, 미리 결정된 카메라 캘리브레이션 매개변수(calibration parameter)를 이용하는 것을 포함한다. 전자장치 카트(18)는 또한 디스플레이 모니터 및 제어 시스템(20)의 구성요소를 포함할 수 있다.

도 1d는 환자측 카트로서 지칭될 수 있는 원격조작 조립체(12)의 일 실시예의 사시도이다. 도시된 환자측 카트(12)는 3개의 수술 도구(26a, 26b, 26c)(예를 들어, 기구 시스템(14)), 및 절차가 이루어지는 부위의 화상의 캡쳐를 위해서 이용되는 입체 내시경과 같은, 촬상 장치(28)(예를 들어, 내시경 촬상 시스템(15)) 의 조작을 제공한다. 촬상 장치는 케이블(56)을 통해서 전자장치 카트(18)로 신호를 송신할 수 있다. 조작은 많은 수의 조인트를 가지는 원격조작 메커니즘에 의해서 제공된다. 절개부의 크기를 최소화하기 위해서 기구학적 원격 중심(kinematic remote center)이 절개부에서 유지되도록, 촬상 장치(28) 및 수술 도구(26a, 26b, 26c)가 환자 내의 절개부를 통해서 배치되고 조작될 수 있다. 수술 도구(26)의 원위 단부가 촬상 장치(28)의 시계 내에 배치될 때, 수술 부위의 화상은 수술 도구(26)의 원위 단부의 화상을 포함할 수 있다. 원격조작 조립체(12)는 전역 좌표 시스템 또는 프레임(FW)에 위치된다. 각 의료 기구(26a, 26b, 26c)의 원위 선단은 각각의 기구 좌표 시스템 또는 프레임(FI)을 형성한다. 촬상 장치(28)의 원위 선단은 좌표 시스템 또는 프레임(FE)을 형성한다.

환자측 카트(12)는 구동가능한 베이스(58)를 포함한다. 구동가능한 베이스(58)는 텔레스코핑 컬럼(57)에 연결되고, 이는 아암(54a, 54b, 54c, 54d)의 높이의 조절을 가능하게 한다. 아암 54a는 "아암 1"이라 수술 환경에서 주지 및/또는 라벨부여될 수 있다. 아암 54b는 "아암 2"라 수술 환경에서 주지 및/또는 라벨부여될 수 있다. 아암 54c는 "아암 3"이라 수술 환경에서 주지 및/또는 라벨부여될 수 있다. 아암 54d는 "아암 4"라 수술 환경에서 주지 및/또는 라벨부여될 수 있다. 아암(54a)은 회전 및 상하 이동 양자 모두가 가능한 회전 조인트(55)를 포함할 수 있다. 아암(54a)은 조작기 아암 부분(51)에 연결된다. 조작기 아암 부분(51)은 조작기 스파(59)를 통해 의료 기구(26a)에 직접적으로 연결될 수 있다. 다른 아암(54b, 54c, 54d) 각각은 아암(54a)과 유사한 구성을 가질 수 있다. 아암(54a, 54b, 54c, 54d) 각각은 배향 플랫폼(53)에 연결될 수 있다. 배향 플랫폼(53)은 360도 회전될 수 있다. 환자측 카트(12)는 또한 수평 방향으로 배향 플랫폼(53)을 이동시키기 위한 텔레스코핑 수평 캔틸레버(52)를 포함할 수 있다. 조작기 아암 부분(51)은 원격조작가능할 수 있다. 아암(54a, 54b, 54c, 54d)은 원격조작가능하거나 그렇지 않을 수 있다. 아암(54)이 원격조작가능하지 않지만 조작기 아암은 원격조작가능한 실시예에서, 아암(54)은 의사가 시스템(10)으로 조작을 시작하기 이전에 필요에 따라 배치될 수 있다. 아암(54)(그리고, 연계된 조작기 아암 부분(51)이 예시의 목적으로 단일 환자측 카트(12)의 일부로서 도시 및 설명되었지만, 다양한 다른 실시예에서, 아암(54) 및/또는 조작기 아암 부분(51)(또는 추가적 아암(54) 및/또는 조작기 아암 부분(51))은 별개의 구조(예를 들어, 별개의 테이블-, 천정- 및/또는 바닥-장착식 아암)일 수 있다.

내시경 촬상 시스템(예를 들어, 시스템(15, 28))은 강성 또는 가요성 내시경을 포함하는 다양한 구성으로 제공될 수 있다. 강성 내시경은, 내시경의 원위 단부로부터 근위 단부까지 화상을 전달하기 위한 릴레이 렌즈 시스템을 수용하는 강성 관을 포함한다. 가요성 내시경은 하나 이상의 가요성 광섬유를 이용하여 화상을 전달한다. 내시경이, 전방 축방향 관찰을 위한 0°관찰 각도 또는 전방의 비스듬한 관찰을 위한 0°내지 90°의 관찰 각도를 포함하는 상이한 관찰 각도들을 가질 수 있다. 디지털 화상 기반의 내시경이 "선단 상의 칩(chip on the tip)"의 설계를 가지며, 여기에서 하나 이상의 전하-결합 장치(CCD) 또는 상보적 금속 산화물 반도체(CMOS) 장치와 같은 원위 디지털 센서가 화상 데이터를 저장한다. 내시경 촬상 시스템이 2-차원적 또는 3-차원적 화상을 관찰자에게 제공할 수 있다. 2-차원적인 화상은 제한된 깊이 인식을 제공할 수 있다. 3-차원적인 입체 내시경 화상이 보다 정확한 깊이 인식을 관찰자에게 제공할 수 있다. 입체 내시경 기구는, 카메라의 시계 내의 환자 해부구조의 입체 화상을 캡쳐하기 위해서 입체 카메라를 이용한다.

촬상 시스템 시계의 입체 화상은 눈 디스플레이(32, 34)를 통해 의료진에 의해 관찰될 수 있다. 환자 조직에 추가로, 시계는 또한 의료 기구의 원위 단부 및 수술 절차를 수행하는데 사용되는 임의의 액세서리를 포함할 수 있다. 절차를 수행하기 위해, 의료진은 제어 콘솔로부터 해당 기구를 제어하는 입력 제어 장치와 시계 내의 기구 사이의 연계성을 인식한다. 의료진은 이러한 연계는 예로서 관찰된 화상의 주변에 위치된 영숫자 문자, 심볼 또는 다른 정보를 참조하여 달성할 수 있다. 그러나, 이러한 정보를 관찰하기 위해서, 의료진의 집중점은 디스플레이의 중심 부분 및 기구의 원위 선단으로부터 멀어져 화상의 주변으로 이동하여야만 한다. 대안적으로, 의료진은 입력 제어 장치를 이동시키고 화상 내에서 대응 기구 이동을 관찰함으로써 이러한 연계를 달성할 수 있다. 이는 시간 소모적이며 수술 절차의 흐름을 끊을 수 있다. 의료진이 입력 제어 장치(36)를 시계 내에 보이는 기구와 연계시키는 것을 돕기 위해, 입력 제어 장치에 대한 정보가 그래픽적 형태로 제시되고, 제어하고 있는 기구와 병치될 수 있다. 기구와의 연계 정보의 병치는 의료진이 관심 수술 영역에 대한 집중점을 유지하면서 제어 장치와 기구를 신속하게 연계시킬 수 있게 한다.

도 2a는 환자(P) 내의 수술 환경(200)을 예시한다. 촬상 기구(예를 들어, 촬상 기구(28))가 수술 환경(200) 내에 촬상 기구의 시계의 화상(202)을 표시하기 위해 사용된다. 화상(202)은 입체 내시경에 의해 취득되고 우측 및 좌측 눈 디스플레이를 통해 사용자에게 가시화된 화상의 합성 화상으로서 생성되는 3차원 화상일 수 있다. 시계는 기구(26a)의 원위 단부 부분, 기구(26b)의 원위 단부 부분 및 기구(26c)의 원위 단부 부분을 포함한다. 또한, 화상(202)은 의료진에 대한 명령, 경고, 기구 식별 정보, 상태 정보 또는 수술 절차에 관련한 다른 정보를 포함할 수 있는, 화상의 주변에 위치된 정보 필드(204)를 포함한다. 의료진이 시스템(10)을 사용하여 수술 절차를 수행하는 것을 돕기 위해, 다양한 정보가 화상(202)에 겹쳐진다. 본 실시예에서, 배지(206)는 기구가 결합되어 있는 아암(54b)(예를 들어, 아암 "3")의 수치 식별자 같은 의료 기구(26b)에 관련한 연계 정보를 포함한다. 배지(206)는 의료진이 연계 정보가 의료 기구(26b)에 관련한다고 쉽게 말할 수 있도록 의료 기구(204)에 인접하게 표시된다. 일부 실시예에서, 배지는 또한 의료 기구의 유형, 의료 기구의 상태(소작기 충전/준비) 등을 포함하는 연계 정보를 포함할 수 있다. 배지(206)를 생성 및 표시하기 위한 방법이 도 8 내지 도 11을 참조로 추가로 후술된다. 다양한 실시예에서, 배지는 원형, 타원형, 정사각형 또는 임의의 적절한 형상일 수 있다. 다양한 실시예에서, 배지는 배지를 서로 식별 또는 구별하기 위해 컬러, 윤곽선, 형상 또는 다른 특징을 가질 수 있다.

시계 내에서 볼 수 있는 의료 기구(26b)의 원위 단부 부분은 엔드 이펙터 선단(208), 샤프트(210) 및 샤프트와 엔드 이펙터 선단 사이의 조인트 영역(212)을 포함한다. 일부 실시예에서, 배지(206) 배치를 위한 초기설정 장소는 조인트 영역(212) 위에 겹쳐진다. 다른 실시예에서, 배지(206)의 배치를 위한 초기설정 장소는 엔드 이펙터 선단(208) 또는 샤프트(210) 상에 존재할 수 있다. 다른 실시예에서, 배지(206)는 원위 단부 부분에 인접하게 표시된다. 배지를 위한 초기설정 장소는 시계 내의 의료 기구(26b)의 원위 단부 부분의 크기에 의존할 수 있다. 예로서, 화상이 근접 확대되고(예를 들어, 도 3f) 엔드 이펙터가 화상의 대부분을 점유하는 경우, 배지는 턱부의 원위 단부에서 시야를 차단하지 않고 엔드 이펙터 턱부 중 하나의 근위 부분에 위치될 수 있다. 그러나, 화상이 축소되고 엔드 이펙터 턱부가 화상에서 비교적 작은 경우, 배지는 턱부를 가리는 것을 피하도록 조인트 영역이나 샤프트 상에 위치될 수 있다. 배지(206)의 배치는 의료진이 기구에 의해 조작되는 조직 및 기구 상에 집중점을 유지하면서 연계 정보를 수신할 수 있게 한다. 또한, 배지(206)의 배치는 의료진에 의해 관찰될 필요가 있는 시계 내의 대상물을 가리는 것을 피한다.

일부 실시예에서, 배지(206)는 중심 부분(214) 및 궤도운동 부분(216)을 갖는다. 중심 부분(214) 및 궤도운동 부분(216)은 상이한 연계 정보를 포함할 수 있다. 예로서, 도 2에 도시된 바와 같이, 중심 부분(214)은 의료 기구(26b)가 부착되는 아암(54b)(예를 들어, 아암 "3")을 나타내는 숫자를 포함한다. 다양한 실시예에서, 궤도운동 부분(216)은 의료 기구(26b)를 제어하기 위해 의료진에 의해 사용되는 제어 장치에 관한 연계 정보를 포함한다. 이러한 연계 정보는 예로서, 배지(206)가 연계되는 의료 기구(26b)의 우측(예를 들어, "R") 또는 좌측(예를 들어, "L") 손 조작 입력 제어 장치 중 어느 쪽이 현재 제어되고 있는지의 지표일 수 있다.

배지(206)의 궤도운동 부분(216)은 배지의 중심 부분(214)에 대해 원주방향으로 이동할 수 있다. 궤도운동 부분(216)의 원주방향 장소는 제어 장치의 회전 위치를 나타내어 의료진이 제어 장치 상의 그 손이 그들이 제어 중인 의료 기구(26b)에 대해 어디에 위치되어 있는지를 알 수 있게 한다. 궤도운동 부분(216)의 기능은 도 3a 내지 도 3f에 더 상세히 도시되어 있다.

배지(207)는 기구(26a)에 인접하게 위치되고, 배지(206)와 유사한 특징 및 속성을 갖는다. 배지(207)는 기구가 결합되어 있는 아암(54a)(예를 들어, 아암 "1")의 수치 식별자 같은 의료 기구(26a)에 관련한 연계 정보를 포함한다. 본 실시예 및 수술 절차의 이러한 단계에서, 기구(26c)는 현재 입력 제어 장치의 제어하에 있지 않다. 따라서, 배지는 기구(26c)에 인접하게 위치되지 않는다. 대안 실시예에서, 아암(54c)(예를 들어, 아암 "4")의 수치 식별자를 나타내는 배지 정보가 기구(26c)에 대해 제공되지만, 기구가 현재 입력 장치의 제어 하에 있지 않다는 사실이 컬러, 심볼 또는 다른 지표에 의해 나타내어질 수 있다.

도 2b는 수술 절차를 수행하기 위한 원격조작 시스템의 동작 방법(100)을 예시한다. 프로세스 102에서, 이 방법은 수술 환경의 시계의 화상(202)을 표시하는 것을 포함한다. 프로세스 104에서, 수술 환경 내의 의료 기구(26a)의 장소가 결정된다. 프로세스 106에서, 의료 기구(26a)에 대한 연계 정보가 결정된다. 연계 정보는 의료 기구(26a)가 결합되어 있는 원격조작 조작기에 대한 및/또는 의료 기구를 제어하는 조작자 입력 제어부에 대한 정보를 포함한다. 프로세스 108에서, 배지는 시계의 화상(202) 내의 의료 기구(26a)의 화상에 인접하게 표시된다. 배지는 연계 정보를 포함한다.

도 3a 내지 도 3c는 입력 제어 장치(302)(즉, 입력 제어 장치(36))를 제어하는 의료진의 우측 손(300)을 예시한다. 입력 제어 장치(302)는 의료 기구(26c)를 제어한다. 도 3a에 도시된 바와 같이, 의료진의 시점으로부터, 입력 제어 장치(302)는 우측을 향해 연장한다. 손 신분(우측 또는 좌측) 및 손의 배향을 포함하는 손 연계 정보가 배지를 통해 의료진에게 전달될 수 있다. 비록 이 제어 연계 정보는 사람 손에 관하여 설명되지만, 제어가 발 페달, 시선 추적기, 음성 명령어 또는 다른 의료진 제어에 의해 전달되는 경우 유사한 연계 정보가 제공될 수 있다. 도 3d에 도시된 바와 같이, 도 3a의 제어 장치(302)에 대한 손 연계 정보는 배지의 중심 부분(220)에 대해 우측(예를 들어, 대략 3시 위치에)으로 배지(218)의 궤도운동 부분(222)을 배향시킴으로써 화상(202) 내에서 의료진에게 시각적으로 전달된다. 궤도운동 부분(222)은 우측 손 제어 장치(302)가 의료 장치(26c)를 제어하기 위해 사용되고 있다는 것을 나타내도록 "R"을 표시한다. 도 3b에 도시된 바와 같이, 의료진의 시점으로부터, 입력 제어 장치는 도 3a의 위치로부터 대략 90도 상향 연장한다. 도 3e에 도시된 바와 같이, 도 3b의 제어 장치(302)에 대한 이러한 배향 정보는 배지의 중심 부분(220)에 대해 상향(예를 들어, 대략 12시 위치에)으로 배지(218)의 궤도운동 부분(222)을 배향시킴으로써 화상(202) 내에서 의료진에게 시각적으로 전달된다. 도 3c에 도시된 바와 같이, 의료진의 시점으로부터, 입력 제어 장치는 도 3a의 위치로부터 대략 90도 하향 연장한다. 도 3f에 도시된 바와 같이, 도 3c의 제어 장치(302)에 대한 이러한 배향 정보는 배지의 중심 부분(220)에 대해 하향(예를 들어, 대략 6시 위치에)으로 배지(218)의 궤도운동 부분(222)을 배향시킴으로써 화상(202) 내에서 의료진에게 시각적으로 전달된다.

일부 대안 실시예에서, 손 연계 정보는 손의 그림 또는 3D 모델로서 제공될 수 있다. 이러한 그림 또는 모델은 좌측 손 또는 우측 손 제어 장치 중 어느 쪽이 연계된 의료 장치의 제어에 사용되고 있는지 여부에 따라 좌측 또는 우측 손을 표현한다. 도 3d 내지 도 3f의 궤도운동 부분(222)과 유사하게, 제어 장치의 배향이 변할 때, 그림 또는 모델의 위치가 이에 따라 변하여 의료진에게 제어 장치의 새로운 배향에 대한 정보를 시각적으로 전달한다. 본 개시내용의 임의의 배지에 대해 설명된 특성 및 특징은 본 개시내용의 임의의 다른 배지에 적용될 수 있다.

이제, 도 4a 내지 도 4b를 참조하면, 촬상 장치가 수술 환경 내에서 이동되거나 줌(zoom) 동작이 이루어질 때 배지(206)의 추가적 거동이 도시되어 있다. 도 4a에 도시된 실시예에서, 촬상 기구는 의료 기구(26a, 26b, 26c)를 향해 이동 또는 확대된다. 의료 기구(26a, 26b, 26c)가 시계 및 화상(202) 내에서 더 크게 나타날 때, 배지(206, 207)는 더 커져서 기구의 원위 단부 부분과 동일한 시계 깊이에 이들이 위치되어 있는 것 처럼 나타나도록 크기가 변한다. 도 4b에서, 촬상 기구가 의료 기구(26a, 26b, 26c)로부터 더 멀리 이동 또는 축소될 때, 배지(206, 207)는 더 작아져서 역시 기구의 원위 단부 부분과 동일한 시계의 깊이에 이들이 위치되어 있는 것 처럼 나타나도록 변한다. 일부 실시예에서, 배지가 판독불가해지는 것을 방지하기 위해 배지(206, 207)의 최대 및 최소 크기에 대한 제한이 존재한다. 배지 위치 및 크기에 대한 다른 세부사항이 도 8 내지 도 11에 대한 설명에서 아래에 제공된다. 배지(206, 207)의 크기는 또한 의료 기구(26a, 26b)와 촬상 장치 사이의 거리 같은 추가적 정보를 의료진에게 부여할 수 있다. 이는 상이한 유형의 의료 기구가 크기가 가변적이고, 촬상 장치에 근접한 작은 기구는 촬상 장치로부터 먼 큰 기구와 동일한 크기가 되도록 나타날 수 있기 때문에 도움이될 수 있다.

배지(206, 207)가 화상(202) 상에 겹쳐지기 때문에, 이들은 의료 기구(26a, 26b)의 모습이 조직, 다른 기구 등에 의해 가려지는 경우에도 디스플레이 상에 나타날 수 있다. 도 5a에 도시된 바와 같이, 배지(206)는 연계된 기구(26b)가 조직 뒤에 은닉되어 있을 때에도 가시적으로 유지된다. 시계 내의 가시적인 다른 기구(26a, 26c)와는 다른 겉보기 크기 및 깊이에서 그로부터 실질적으로 오프셋되어 있는 배지(206)의 존재는 의료진에게 배지와 연계된 기구(26b)가 가려져 있다는 것을 나타낸다. 배지(206)는 도 5b에 도시된 바와 같이 가려진 기구(26b)가 발견될 수 있게 한다. 도 5b에서, 조직이 이동되어 있고, 배지(206)가 부착되는 의료 기구(26b)는 시계 내에서 가시화되어 있다.

원격조작 의료 시스템(10)은 각 기구에 대해 다수의 동작 상태를 가질 수 있다. 이들은 의료진이 의료 기구를 활성적으로 제어하도록 의료 기구가 입력 제어 장치의 제어 하에 있는 활성 상태를 포함한다. 분리 상태에서, 의료 기구는 입력 제어 장치의 제어 하에 있지 않으며, 의료 기구가 결합되어 있는 조작기 아암에 의해 제 위치에 로킹되어 정지상태로 유지된다. 시스템은 또한 연계된 입력 제어 장치를 통해 의료 기구의 제어와 결부 또는 제어를 수행할 것을 사용자에게 촉구하는 결부 상태(engagement state)를 가질 수 있다. 일부 실시예에서, 원격조작 의료 시스템이 특정 의료 기구에 대해 결부 상태에 있을 때 배지가 표시된다. 예로서, 도 4a에서, 기구(26a, 26b)는 사용자가 우측("R") 입력 제어 장치로 아암 3 상의 기구(26b)의 제어를 수행하고 좌측("L") 입력 제어 장치로 아암 1 상의 기구(26a)의 제어를 수행 것을 배지 정보에 의해 촉구받고 있는 결부 상태에 있다. 기구(26c)는 분리 상태에 있으며, 따라서, 배지는 기구에 대해 표시되어 있지 않다. 활성 상태 동안, 배지는 화상 내에 가시적으로 유지될 수 있거나 의료진에 대한 교란을 피하기 위해 제거될 수 있다. 결부 상태에서 배지를 제시하는 것은 의료진이 임의의 의료 기구의 제어를 수행하기 이전에 시계(202) 내의 각 기구의 연계 정보 및 장소를 인식할 수 있게 한다. 예로서, 배지의 장소는 임의의 의료 기구가 기구의 제어를 수행하기 이전에 조직에 의해 시야로부터 가려지는 경우를 결정하기 위해 사용될 수 있다. 추가적으로, 배지 내에 포함된 연계 정보는 원하는 절차를 수행하기 위해 제어를 수행하기 위해 어떠한 의료 기구를 취할지를 의료진이 선택할 수 있게 하는 정보를 의료진에게 제공할 수 있다. 또한, 배지의 궤도운동 부분에 의해 제공되는 정보는 의료진에게 제어를 수행하기 이전에 의료 기구의 배향과 위치를 매칭시키기 위해 입력 제어 장치를 어떻게 위치설정할지를 의료진에게 알릴 수 있다. 일부 실시예에서, 시스템은 의료진이 결부 상태로부터 활성 상태로의 상태의 변화를 허용하기 이전에 이 위치를 매칭시키는 것을 필요로 한다.

이제 도 6a 및 도 6b를 참조하면, 시계 내에서 볼 수 있는 의료 기구(26a)의 원위 단부 부분은 엔드 이펙터 선단(230), 샤프트(232) 및 샤프트와 엔드 이펙터 선단 사이의 조인트 영역(234)을 포함한다. 시계 내에서 볼 수 있는 의료 기구(26c)의 원위 단부 부분은 엔드 이펙터 선단(240), 샤프트(242) 및 샤프트와 엔드 이펙터 선단 사이의 조인트 영역(244)을 포함한다. 도 6a에 도시되고, 이전에 설명한 바와 같이, 배지(207)의 배치를 위한 초기설정 장소는 조인트 영역(234) 위에 겹쳐진다. 배지(218) 배치를 위한 초기설정 장소는 조인트 영역(244) 위에 겹쳐진다. 도 6a에서, 기구 원위 단부 부분은 이격되어 있고, 쉽게 구별 가능하며, 결과적으로, 배지(207, 218)는 명확하게 판독가능하고, 명확하게 각각 의료 기구(26a, 26c)와 연계된다. 도 6b는 기구(26a, 26c)의 원위 단부 부분이 화상(202) 내에서 중첩하여 또는 매우 밀접한 근접도로 존재하는 경우를 예시한다. 그 초기설정 장소에 유지되도록 허용되는 경우, 배지(207, 218)는 하나보다 많은 기구에 인접하게 또는 그에 겹쳐져서 나타나거나 중첩됨으로써 의료진에게 혼란을 유발할 수 있다. 도 6b에 도시된 바와 같이, 이러한 문제를 해결하기 위해, 배지(207)는 기구(26a)의 종방향 축(A1)을 따라 조인트 영역(234)의 원위 단부 부근의 그 초기설정 장소로부터 이동 거리로 이동된다. 이러한 실시예에서, 배지(207)는 기구(26a)의 샤프트(232)의 원위 단부에 재배치된다. 유사하게, 배지(218)는 기구(26c)의 종방향 축(A2)을 따라 조인트 영역(244)의 원위 단부 부근의 그 초기설정 장소로부터 이동 거리로 이동된다. 이러한 실시예에서, 배지(218)는 기구(26c)의 샤프트(242)의 원위 단부에 재배치된다. 이동 거리는 아암 및 스파에 결합될 때 기구의 캘리브레이팅된 기구학 모델에 대한 배지의 위치에 대응할 수 있고 및/또는 시계(202)의 기구 원위 단부 부분의 크기에 대응할 수 있다. 예로서, 캘리브레이팅된 기구학 모델(예로서, 조작기 조인트 위치, 기구학적 센서, 기구학적 사슬의 구성요소의 크기에 대한 지식에 기초함)은 수술 환경에서 기구(26a)의 조인트 영역(234)의 위치 및 배향을 제공한다. 기구학 모델의 불확실성에 기인하여 불확실성 인자가 조인트 영역(234)의 결정된 위치 배향과 연계된다. 기구학 모델, 시계 내의 모든 기구에 대한 기구학적 불확실성 인자 및 배지에 대한 초기설정 장소에 기초하여, 원격조작 시스템은 배지가 초기설정 장소에 유지되는 경우 의료진에게 모호성을 생성하기에 충분하게 서로 근접한지 또는 배지가 중첩되었는지 여부를 나타내는 근접도 인자(예를 들어, 중심간 또는 에지간 거리, 중첩의 백분율)를 결정할 수 있다. 근접도 인자가 미리 결정된 간섭 거리보다 작은 경우, 배지는 미리 결정된 간섭 거리를 초과하여 근접도 인자를 상승시키도록 조절될 필요가 있다. 예로서, 일부 실시예에서, 배지는 적어도 최소 이동 거리만큼 기구의 축을 따라 또는 그를 가로질러 이동될 수 있다. 다른 실시예에서, 배지는 원하는 정보 내용을 여전히 제공하면서 수용가능한 간섭 거리를 유지하도록 크기재설정 또는 재성형될 수 있다. 이러한 방식으로, 배지(207, 218)는 그 각각의 의료 기구(26a, 26c)와 명확하게 연계되어 유지되고 또한 명확하게 판독가능하게 유지된다.

이제, 도 7a 내지 도 7c를 참조하면, 그 연계 정보를 갖는 배지는 의료 기구가 시계의 화상(202)의 경계에 접근할 때 또는 화상(202) 외부로 이동할 때 특히 유용할 수 있다. 도 7a는 수술 환경(200)에서 촬상 기구의 시계의 표시된 화상(202)을 예시한다. 표시된 화상은 경계(700)를 갖는다. 의료 기구(26c의 원위 단부 부분, 특히, 엔드 이펙터 선단(240)은 경계(700) 내에 있고, 표시된 화상(202) 내에서 가시적이다. 기구(26c)가 촬상 기구의 시계의 내측에 있는지 외측에 있는지 여부에 대한 결정은 엔드 이펙터 선단(240)의 계산된 장소에 기초할 수 있다. 원격조작 시스템, 기구 및/또는 촬상 시스템과 연계된 작은 오차 인자로 인해, 촬상 기구에 관한 선단(240)의 장소의 결정은 연계된 누적 오차 인자를 갖는다. 허위양성(false-positive) 시계외 표시자를 의료진에게 제공하는 것을 방지하기 위해서, 기구 선단이 촬상 시스템 시계 외부에 있는지의 여부에 대한 결정이, 원위 선단에 대한 가능한 장소의 범위를 추정하는 것 그리고 원위 선단에 대한 추정된 가능한 장소의 임의의 또는 지정된 백분율이 시계 내에 있는 경우에 시계외 표시자를 억제하는 것에 의해서, 편향될(biased) 수 있다. 편향의 감도는 허위양성 시계외 표시자에 대한 의료진의 내성(tolerance)을 기초로 조정될 수 있다. 오차 경계 체적(702)의 세트가 선단(240)과 연계된다. 경계 체적(702)은 화상(202) 내에 그래픽적으로 표시될 수 있거나 표시되지 않고 선단(240)과 연계될 수 있다. 오차 경계 체적은 90 내지 99%와 같은 높은 정도의 확실성 내에서 선단 부분의 원위 및 근위 단부의 예측되는 장소를 제시할 수 있다. 오차 경계 체적(702)은 기구(26c)의 선단(240)의 예측된 장소를 나타낸다. 오차 계산 및 경계 체적에 대한 추가적 설명은 그 전문이 본 명세서에 참조로 통합되어 있는 "Systems and methods for offscreen indication of instruments in a teleoperational medical system"을 개시하는 2014년 3월 17일자로 출원된 미국 가출원 제61/954442호에 제공되어 있다.

도 7a에 도시된 바와 같이, 경계 체적(702)은 경계(700)에 의해 경계지어지는 시계 내에 있다. 경계 체적(702)은 화상(202)에 렌더링되거나 렌더링되지 않을 수 있지만, 경계에 대한 그 장소는 이들이 표시되는지 여부에 무관하게 시스템에 의해 결정될 수 있다. 의료 기구(26c)가 디스플레이 내에서 가시적이고 경계 체적이 경계(700) 내에 있기 때문에, 배지(218)는 따라서 시계의 화상(202) 상에 표시된다. 가시성 및 판독성을 유지하기 위해, 배지(218)는 배지(206)가 부착되는 기구(26c)의 원위 단부 부분이 여기에 도시된 바와 같이 부분적으로 경계(700) 외측에 있는 경우에도 완전히 경계(700) 내측에서 유지된다. 이는 화상(202) 내에서 의료 기구를 간신히 볼 수 있는 경우라도 의료진이 의료 기구(26c)를 명확하게 배치할 수 있게 한다. 도 7b에서, 의료 기구(26c)는 표시된 화상(202)내에서 가시적이지 않다. 일부 실시예에서, 시스템은 연계된 의료 기구(26c)가 화상(202) 내에서 가시적이지 않을 때 배지(218)의 표시를 종결할 수 있다. 의료 기구(204)는 의료진에게 시계 내에서 가시적이지 않은 상태에서 원격조작식으로 제어될 수 있기 때문에, 시계 외측으로의 기구의 우발적 이동이 안전성 위험을 유발한다. 부가적으로, 의료진이, 시계 외부에 위치된 기구의 궤적을 놓칠 수 있다. 이러한 위험을 최소화하기 위해서, 시계외 기구 표시자(indicator)를 시각적으로 또는 청각적으로 제시하여, 시계 내에서 보여지지 않는 기구의 장소에 관한 의료진의 인식을 높일 수 있다. 그러나, 도 7b에서, 의료 기구(26c)를 위한 경계 체적(702)은 경계(700) 내에 있어서 경계(700)에 대한 선단(240)의 장소가 불확실하다는 것을 나타낸다. 따라서, 경계 체적(702)이 경계(700) 내에 유지되는 동안, 배지(218)는 화상(202)이 선단(240)을 포함하도록 나타나지 않는 경우에도 화상(202) 상에 유지된다.

의료 기구(204)가 경계 체적(702)이 또한 경계 외측에 있게 되는 경계(700) 외측 충분히 멀리에 있게 되면, 시계외 기구 표시자(704)가 도 7c에 도시된 바와 같이 시계의 화상(202)의 경계(700)를 따라 제공되어 의료 기구(26c)가 표시자의 일반적 방향에서 시계의 외부에 위치되어있음을 나타낸다. 이러한 실시예에서, 표시자(704)는 그래픽 바아이지만, 다른 실시예에서, 일련의 도트 또는 아이콘, 영숫자 표시자일 수 있다. 시각적 표시자(704)에 추가로 또는 그에 대안적으로, 비프 음향 또는 언어 기반 명령어 같은 청각적 시계외 표시자가 의료진에게 의료 기구(204)가 시계 외부에 있다는 것을 경고할 수 있다. 청각적 큐는 의사의 콘솔의 좌측 및 우측 스피커 사이에서 패닝(pan)되어 화면에 대한 기구 위치를 보강할 수 있다. 대안적으로, 청각적 큐는 기구와 연관된 좌측 손 또는 우측 손 제어에 대응하여 좌측 또는 우측 스피커로부터 방출될 수 있다. 시각적 표시자(704)에 더하여 또는 대안적으로, 시계외 기구와 관련된 문자 정보(706)가 제공되어, 의료진에게 경고하고 및/또는 기구에 관한 식별 정보 또는 기구를 가시화하기 위한 명령을 제공할 수 있다. 다양한 실시예에서, 시계외 표시자(704)는 배지(218)와 서로 배타적이다. 배지(218)가 표시될 때, 시계외 표시자(704)는 표시되지 않고, 그 반대도 마찬가지이다. 이는 의료진에게 의료 기구(26c)의 장소에 대한 일정한 지식을 제공한다.

여러 실시예에서, 의료진의 주의가 산만해지는 것을 방지하기 위해서, 시계외 표시자의 이용이 제한될 수 있다. 시계외 표시자가 원격조작 시스템의 특정 상태의 동작 중에만 표시될 수 있도록, 시계외 표시자의 이용이 상황-대응적(context-sensitive)일 수 있다. 예로서, 카메라 제어 상태로서 공지되어 있을 수 있는, 조작자가 촬상 시스템의 이동을 제어하는 시스템의 상태 동안 시계외 표시자가 표시될 수 있다. 다른 예로서, 분리 상태로서 전술된, 연계된 기구의 제어를 하기 위해서 시스템이 조작자로부터의 입력을 대기하는 동안에, 시계외 표시자가 표시될 수 있다. 다른 예로서, 결부 상태로서 전술된, 조작자가 기구의 이동을 제어하는 시스템의 상태를 개시한 후 몇초 동안 시계외 표시자가 표시될 수 있다. 또 다른 대안 실시예에서, 시계외 표시자가 불능화될(disabled) 수 있거나 의료진이 시계외 기구의 장소에 관해서 알기를 원할 때 선택적으로 가능화될 수 있다. 일부 실시예에서, 의료진은, 시계외 기구의 동작이 가능화되기에 앞서서, 기구 선단이 시계 외부에 있다는 것에 대한 확인(acknowledgement)을 제공하여야 한다. 에너지 방출 장치, 날카로운 장치, 또는 가시화 없이 사용되는 경우에 환자 위험의 증가를 제공하는 장치에 대해서, 부가적인 경고 또는 확인이 이용될 수 있다. 시계외 표시자 시스템에 대한 추가적 설명은 앞서 참조로 통합된 미국 가출원 제61/954442호에 제공되어 있다.

전술한 바와 같이, 배지는 이들이 연계되는 기구 원위 단부의 화상에 대응하도록 위치설정 및 크기설정될 수 있다. 도 8 내지 도 11은 이러한 물리적 대응성을 보전하기 위한 추가적 세부사항을 제공한다. 도 8은 화상(202) 내에 배지를 렌더링하는 방법(800)을 예시한다. 프로세스 802에서, 의료 기구 원위 단부 부분의 장소가 화상(202)의 좌표 공간 내에 투영된다. 도 9는 프로세스(802)를 수행하기 위한 방법(900)을 예시한다. 프로세스 902에서, 원격조작 조립체의 정방향 기구학은 전역 좌표 시스템(예를 들어, 수술 환경 좌표 공간(FW)) 내의 의료 기구(촬상 장치 포함)의 위치 및 배향을 결정하기 위해 평가된다. 더 구체적으로, 각 의료 기구를 위한 원격조작 조작기와 링크의 각각의 세트와 연계된 기구학은 전역 좌표 시스템에서 결정된다. 전역 좌표 시스템은 원격조작 시스템이 위치되는 수술 환경에 기준을 두고 확립되는 데카르트 좌표계의 세트이다.

프로세스 904에서, 각 의료 기구(예를 들어, 기구 좌표 공간(FI))에서의 원위 단부 부분의 위치 및 배향이 내시경 좌표 시스템(예를 들어, 촬상 장치 좌표 공간(FE))에 맵핑된다. 내시경 좌표 시스템은 내시경의 원위 선단에 그 원점을 두고 확립된 데카르트 좌표의 세트이다. 프로세스 902에서 결정된 바와 같은 전역 좌표 시스템에서 내시경의 정방향 기구학 및 각 의료 기구의 정방향 기구학을 사용하여, 내시경 선단 위치 및 배향에 대한 의료 기구 원위 단부 위치 및 배향이 내시경 좌표 시스템에서 연산될 수 있다. 일반적으로, 배지의 초기설정 장소는 의료 기구의 운동 종점에 또는 그 부근에 존재할 수 있다.

프로세스 906에서, 캘리브레이팅된 카메라 모델이 내시경에 대해 취득된다. 캘리브레이팅된 카메라 모델은 내시경 좌표 공간으로부터 우측 및 좌측 눈 화상 좌표 공간으로 맵핑된다. 일 실시예에서, 맵핑은 3개의 일련의 변환으로 달성된다. 첫 번째, 모델뷰 변환은 촬상 시스템의 입체 카메라의 눈간 분리(interocular separation)와 좌표 시스템 변환의 차이를 고려하여 내시경 좌표 공간(내시경 원위 선단에서)으로부터 내시경을 위한 눈 좌표 공간 내로 맵핑한다. 두 번째, 원근 투영 변환은 눈 좌표 공간으로부터 정규화된 좌표(예를 들어, -1, +1)로 맵핑하고, 내시경 시계의 시점과 수렴 거리를 고려한다. 세 번째로, 뷰포트 경계 변환은 정규화된 눈 좌표로부터 우측 및 좌측 눈 화상 좌표 공간으로 맵핑한다. 일 실시예에서, 이들 3개 변환은 우측 및 좌측 눈 화상 각각에 대하여 하나의 4x4 균질 변환으로 조합될 수 있다.

프로세스 908에서, 캘리브레이팅된 카메라 모델이 사용되어 내시경 좌표 공간으로부터 각 눈에 대한 화상 좌표 공간으로 지점 및 벡터를 투영한다. 더 구체적으로, 캘리브레이팅된 카메라 모델은 의료 기구 원위 단부 위치와 배향을 우측 눈 화상 좌표 공간 및 좌측 눈 화상 좌표 공간에 투영하여 의료진에게 입체 3D 화상을 제공한다.

프로세스 910에서, 연계된 의료 기구의 원위 단부 부분의 위치의 대응하는 불확실성을 초래하는 원격조작 시스템의 기구학 모델의 불확실성이 내시경 선단에 관하여 추산된다. 프로세스 912에서, 이들 불확실성이 우측 및 좌측 눈 화상 좌표 공간에 맵핑되고 그로부터 의료진이 3차원 화상(202)을 관찰한다.

프로세스 914에서, 프로세스 902에서 결정된 정방향 기구학을 사용하여, 운동 원격 중심(예를 들어, 그에 대해 기구가 피봇하는 절개 부위)이 내시경 좌표 공간에 맵핑된다. 프로세스 916에서, 캘리브레이팅된 카메라 모델이 사용되어 프로세스 908에서와 유사한 방식으로 각 눈을 위한 화상 좌표 시스템에 원격 중심을 투영한다.

프로세스 902-916은 모든 의료 기구가 적절하게 입체 3D 화상(202)에 투영되도록 원격조작 시스템의 각 의료 기구에 대해 반복될 수 있다. 프로세스는 순차적으로 또는 병렬적으로 수행될 수 있고, 하나 이상의 프로세스는 갱신될 수 있고, 나머지는 그렇지 않을 수 있다.

도 8을 다시 참조하면, 배지 그래픽의 렌더링은 예로서, 의료 기구의 원위 단부의 원위 선단의 또는 그 부근의 초기설정 장소, 중첩 또는 불확정 배지 배치와 연계된 잠재적 모호성, 내시경 뷰포트에 의해 부여되는 제약 및 은닉된 기구에 대한 시스템 규칙을 포함하는 다수의 표시 인자의 고려에 기초한다. 배지 그래픽의 위치는 각 눈을 위한 화상 좌표 공간에서 결정될 수 있다. 프로세스 804에서, 배지의 잠재적 중첩이 점검되고 해소되어 배지가 공간적으로 잘못된 기구와 연계될 가능성을 감소시킨다. 도 10은 도 8의 프로세스(804)를 수행하기 위한 방법(1000)을 예시한다. 본 실시예에서, 적어도 두 개의 의료 기구가 수술 공간에 위치된다. 전술한 바와 같이, 배지를 렌더링하기 위한 초기설정 장소는 의료 기구의 원위 단부 부분에서이다. 프로세스 1002에서, 두 개의 의료 기구의 원위 단부 부분 사이의 화상 공간 좌표의 거리가 계산된다. 프로세스 1004에서, 최소 허용 배지간 거리에 대한 임계치가 계산된다. 최소 허용 배지간 거리에 대한 임계치는 배지의 투영된 반경(또는 배지가 원형이 아닌 경우, 배지의 중심으로부터의 다른 최대 치수)의 합의 최대치와 배지 위치의 투영된 불확실성의 합의 최대치를 더한 것이다. 프로세스 1006에서, 두 개의 원위 단부 부분 사이의 화상 공간 거리가 계산된 임계치 거리에 비교되어 그 연계된 배지가 중첩하는지 또는 중첩하는 것으로 인지될 수 있는지 여부를 결정한다. 중첩이 검출되는 경우, 프로세스 1008에서, 중첩을 해소하기 위해 배지를 이동시키기 위한 방향이 연산된다. 배지를 이동시키기 위한 방향은 화상 좌표 공간(프로세스 908 및 916에서 결정된 바와 같은) 내로 투영된 원격 중심과 기구 원위 단부 부분 사이의 단위 벡터에 의해 결정된다. 또한, 중첩이 검출되는 경우, 프로세스 1010에서, 중첩을 해소하기 위해 배지를 병진시키기 위한 거리가 결정된다. 배지가 오프셋되는 거리는 원위 단부 부분 사이의 현재 거리와 최소 허용 배지간 거리 사이의 차이로서 연산된다. 오프셋은 배지 그래픽이 중첩되는 것을 방지하고 기구 연계의 불확실성을 피하기에 충분하게 이격된 배지 위치를 제공한다.

도 8을 다시 참조하면, 프로세스 806에서, 배지는 내시경의 원위 선단에서 내시경 뷰포트의 경계에 대응하는 화상(202)의 관찰가능한 공간에 제약된다. 이러한 프로세스는 어떠한 그래픽도 클립핑하지 않고 화상(202)의 경계 내에 배지 그래픽을 배치할 수 있다. 이러한 프로세스는 또한 화상 경계를 피하거나 모호성을 방지하도록 배지가 이동되는 경우 수평 불일치(disparity)에 대한 수정을 방지함으로써 배지의 인지 깊이를 제어할 수 있다. 도 11은 도 8의 프로세스(806)를 수행하기 위한 방법(1100)을 예시한다. 프로세스 1102에서, 내시경 뷰포트에 대응하는 화상(202)의 관찰가능한 공간의 우측 눈 경계가 결정된다. 프로세스 1104에서, 배지 그래픽의 투영된 반경이 우측 눈에 대해 결정된다. 프로세스 1106에서, 우측 눈에 대해, 삽입 경계를 생성하기 위해 투영된 배지 반경에 의해 경계가 삽입된다. 프로세스 1108에서, 배지의 중심의 Y 위치가 조정되어 우측 눈을 위한 삽입 경계 내에 유지된다. 프로세스 1110에서, 삽입 경계 완전히 내부에서 배지를 유지하기 위해 필요한 배지의 중심의 X 위치의 오프셋이 연산된다. 프로세스 1102 내지 1110은 좌측 눈 화상에 대한 반복이다. 입체 3D에서 적절한 명시 깊이를 유지하기 위해, 배지는 우측 및 좌측 눈 화상 양자 모두에서 동일한 양으로 조정되어야 한다. 이는 배지의 적절한 인지 깊이를 위해 요구되는 수평 불일치를 유지한다. 프로세스 1112에서, 우측 또는 좌측 눈 화상 중 하나에 대하여 프로세스 1110에서 연산되었던 X 오프셋이 우측 및 좌측 눈 화상 양자 모두에서 배지의 X 위치에 적용된다. 일부 실시예에서, 배지 그래픽이 경계(700)의 부분적 외측에 있게 될 가능성을 방지하기 위해 더 큰 X 오프셋 값이 선택된다.

도 8을 다시 참조하면, 프로세스 808에서, 배지는 좌측 및 우측 눈 디스플레이 내에 렌더링되어 프로세스 802, 804 및 806에서 수행된 계산에 기초한 화상(202)을 형성한다.

본 발명의 실시예의 하나 이상의 요소가 제어 처리 시스템과 같은 컴퓨터 시스템의 프로세서를 실행하기 위한 소프트웨어로 구현될 수 있다. 소프트웨어로 구현될 때, 본 발명의 실시예의 요소가 본질적으로 필요 과업을 실시하기 위한 코드 단편(code segment)이다. 전송 매체 또는 통신 링크를 통해서 반송파로 구현된 컴퓨터 데이터 신호의 방식으로 다운로드된 것일 수 있는 프로그램 또는 코드 단편이 프로세서 판독 가능 저장 매체 또는 장치에 저장될 수 있다. 프로세서 판독 가능 저장 장치는 광학적 매체, 반도체 매체, 및 자기적 매체를 포함하는, 정보를 저장할 수 있는 임의 매체를 포함할 수 있다. 프로세서 판독가능 저장 장치의 예는 전자 회로; 반도체 장치, 반도체 메모리 장치, 리드 온리 메모리(ROM), 플래시 메모리, 소거할 수 있는 프로그램 가능 리드 온리 메모리(EPROM); 플로피 디스켓, CD-ROM, 광학 디스크, 하드 디스크 또는 다른 저장 장치를 포함한다. 코드 세그먼트는 인터넷, 인트라넷, 등의 컴퓨터 네트워크를 통해 다운로드될 수 있다.

제시되는 프로세스 및 디스플레이는 본질적으로 임의의 특별한 컴퓨터 또는 다른 장치와 관련되지 않을 수 있다. 다양한 범용 시스템들이 본 명세서의 교시내용들에 따른 프로그램들과 함께 사용될 수 있거나, 보다 특수한 장치를 구성하여 설명된 작업들을 수행하는 것이 용이할 수 있다. 다양한 이러한 시스템을 위해서 요구되는 구조가 청구항 내의 요소로서 나타날 것이다. 또한, 임의의 특별한 프로그래밍 언어를 참조하여 본 발명의 실시예를 설명하지 않았다. 본 명세서에 기술된 본 발명의 교시를 구현하기 위해 각종 프로그래밍 언어가 이용될 수 있다는 것이 이해될 것이다.

본 발명의 특정의 예시적 실시예를 설명하고 첨부 도면에서 도시하였지만, 여러 가지 다른 수정이 본 기술 분야의 숙련자에 의해서 이루어질 수 있기 때문에, 그러한 실시예가 단지 예시적인 것이고 넓은 본 발명을 제한하지 않는다는 것, 그리고 본 발명의 실시예가 도시되고 설명된 구체적인 구성 및 배열로 제한되지 않는다는 것을 이해할 수 있다.

Claims

시스템이며,
조작자 제어 시스템과, 조작자 제어 시스템에 의한 원격조작을 위해 구성된 복수의 조작기를 포함하는 원격조작 조립체- 복수의 조작기 중 제1 조작기는 수술 환경에서 제1 의료 기구의 이동을 제어하도록 구성되고, 복수의 조작기 중 제2 조작기는 수술 환경에서 제2 의료 기구의 이동을 제어하도록 구성되고, 복수의 조작기 중 제3 조작기는 촬상 기구의 이동을 제어하도록 구성됨 -; 및
하나 이상의 프로세스를 포함하는 처리 유닛을 포함하고, 처리 유닛은
수술 환경의 시계의 화상을 표시하고;
화상 좌표 공간에 제1 의료 기구의 원위 단부 부분의 위치를 투영하고;
화상 좌표 공간에 제2 의료 기구의 원위 단부 부분의 위치를 투영하고;
제1 의료 기구의 원위 단부 부분과 연계된 제1 배지를 위한 초기 위치를 결정하고;
제2 의료 기구의 원위 단부 부분과 연계된 제2 배지를 위한 초기 위치를 결정하고;
제1 및 제2 배지의 초기 위치에 기초하여 표시 인자를 평가하고;
표시 인자에 기초하여 화상 좌표 공간 내의 제1 배지를 위한 표시 위치를 결정하고;
표시 인자에 기초하여 화상 좌표 공간 내의 제2 배지를 위한 표시 위치를 결정하도록 구성되는 시스템.
제1항에 있어서, 표시 인자를 평가하는 것은 제1 배지를 위한 초기 위치가 제2 배지를 위한 초기 위치와 중첩하는지 여부를 결정하는 것을 포함하는 시스템.
제1항에 있어서, 표시 인자를 평가하는 것은 제1 배지를 위한 초기 위치가 제2 의료 기구의 원위 단부 부분의 투영된 위치와 중첩하는지 여부를 결정하는 것을 포함하는 시스템.
제1항에 있어서, 표시 인자를 평가하는 것은
제1 및 제2 의료 기구의 원위 단부 부분의 투영된 위치 사이의 거리를 결정하는 것;
상기 거리를 미리 결정된 배지간 거리 임계치에 비교하는 것;
제1 배지를 위한 표시 위치를 생성하도록 제1 배지의 초기 위치를 수정하기 위한 방향 성분을 결정하는 것; 및
제1 배지를 위한 표시 위치를 생성하도록 제1 배지의 초기 위치를 수정하기 위한 병진 성분을 결정하는 것을 포함하는 시스템.
제1항에 있어서, 표시 인자를 평가하는 것은 제1 및 제2 배지를 위한 초기 위치가 시계의 화상의 경계 내부에 있는지 여부를 평가하는 것을 포함하는 시스템.
제1항에 있어서, 표시 인자를 평가하는 것은
제1 및 제2 배지의 경계 반경에 기초하여 시계의 화상에 대한 삽입 경계를 정의하는 것; 및
삽입 경계 내에 제1 배지를 제약하기 위해 제1 배지의 초기 위치의 Y 위치 값을 조절함으로써 제1 배지를 위한 표시 위치를 생성하는 것을 포함하는 시스템.
제1항에 있어서, 화상 내의 제1 배지를 위한 표시 위치는 우측 눈 및 좌측 눈 표시 위치를 포함하고, 표시 인자를 평가하는 것은
제1 및 제2 배지의 경계 반경에 기초하여 시계의 화상에 대한 삽입 경계를 정의하는 것; 및
삽입 경계 내에 제1 배지를 제약하기 위해 제1 배지의 초기 위치에 대한 X 위치 오프셋을 연산하고 우측 눈 및 좌측 눈 표시 위치를 생성하기 위해 X 위치 오프셋을 적용하는 것에 의해 제1 배지를 위한 표시 위치를 생성하는 것을 포함하는 시스템.
제1항에 있어서, 제1 의료 기구의 원위 단부 부분의 위치를 화상 좌표 공간에 투영하는 것은
제1 의료 기구의 원위 단부 부분의 위치를 결정하기 위해 제1 조작기를 위한 정방향 기구학 모델을 평가하는 것;
제2 의료 기구의 원위 단부 부분의 위치를 결정하기 위해 제2 조작기를 위한 정방향 기구학 모델을 평가하는 것;
촬상 기구 선단 좌표 공간에 제1 및 제2 의료 기구의 원위 단부 부분의 위치를 맵핑하는 것;
촬상 기구를 위한 캘리브레이팅된 카메라 변환을 취득하는 것; 및
우측 눈 화상 좌표 공간 및 좌측 눈 화상 좌표 공간에 제1 및 제2 의료 기구의 원위 단부 부분의 위치를 투영하는 것을 포함하는 시스템.
제8항에 있어서, 제1 의료 기구의 원위 단부 부분의 위치를 화상 좌표 공간에 투영하는 것은
촬상 기구 원위 선단의 위치를 결정하기 위해 제3 조작기에 대한 정방향 기구학 모델을 평가하는 것을 더 포함하는 시스템.
제8항에 있어서, 캘리브레이팅된 카메라 변환은 모델뷰 변환, 원근 투영 변환 및 뷰포트 경계 변환으로 구성되는 시스템.
방법이며,
수술 환경의 시계의 화상을 표시하는 단계- 상기 화상은 촬상 기구에 의해 취득되고, 제1 의료 기구의 원위 단부의 화상 및 제2 의료 기구의 원위 단부의 화상을 포함하며, 제1 의료 기구는 원격조작 조립체의 제1 조작기에 결합되고, 제2 의료 기구는 원격조작 조립체의 제2 조작기에 결합됨 -;
화상 좌표 공간에 제1 의료 기구의 원위 단부의 위치를 투영하는 단계;
화상 좌표 공간에 제2 의료 기구의 원위 단부의 위치를 투영하는 단계;
제1 의료 기구의 원위 단부 부분과 연계된 제1 배지를 위한 초기 위치를 결정하는 단계;
제2 의료 기구의 원위 단부 부분과 연계된 제2 배지를 위한 초기 위치를 결정하는 단계;
제1 및 제2 배지의 초기 위치에 기초하여 표시 인자를 평가하는 단계;
표시 인자에 기초하여 화상 좌표 공간 내의 제1 배지를 위한 표시 위치를 결정하는 단계; 및
표시 인자에 기초하여 화상 좌표 공간 내의 제2 배지를 위한 표시 위치를 결정하는 단계를 포함하는 방법.
제11항에 있어서, 표시 인자를 평가하는 단계는 제1 배지를 위한 초기 위치가 제2 배지를 위한 초기 위치와 중첩하는지 여부를 결정하는 것을 포함하는 방법.
제11항에 있어서, 표시 인자를 평가하는 단계는 제1 배지를 위한 초기 위치가 제2 의료 기구의 원위 단부 부분의 투영된 위치와 중첩하는지 여부를 결정하는 것을 포함하는 방법.
제1항에 있어서, 표시 인자를 평가하는 단계는
제1 및 제2 의료 기구의 원위 단부 부분의 투영된 위치 사이의 거리를 결정하는 것;
상기 거리를 미리 결정된 배지간 거리 임계치에 비교하는 것;
제1 배지를 위한 표시 위치를 생성하도록 제1 배지의 초기 위치를 수정하기 위한 방향 성분을 결정하는 것; 및
제1 배지를 위한 표시 위치를 생성하도록 제1 배지의 초기 위치를 수정하기 위한 병진 성분을 결정하는 것을 포함하는 방법.
제11항에 있어서, 표시 인자를 평가하는 단계는 제1 및 제2 배지를 위한 초기 위치가 시계의 화상의 경계 내부에 있는지 여부를 평가하는 것을 포함하는 방법.
제11항에 있어서, 표시 인자를 평가하는 단계는
제1 및 제2 배지의 경계 반경에 기초하여 시계의 화상에 대한 삽입 경계를 정의하는 것; 및
삽입 경계 내에 제1 배지를 제약하기 위해 제1 배지의 초기 위치의 Y 위치 값을 조절함으로써 제1 배지를 위한 표시 위치를 생성하는 것을 포함하는 방법.
제11항에 있어서, 화상 내의 제1 배지를 위한 표시 위치는 우측 눈 및 좌측 눈 표시 위치를 포함하고, 표시 인자를 평가하는 단계는
제1 및 제2 배지의 경계 반경에 기초하여 시계의 화상에 대한 삽입 경계를 정의하는 것; 및
삽입 경계 내에 제1 배지를 제약하기 위해 제1 배지의 초기 위치에 대한 X 위치 오프셋을 연산하고 우측 눈 및 좌측 눈 표시 위치를 생성하기 위해 X 위치 오프셋을 적용하는 것에 의해 제1 배지를 위한 표시 위치를 생성하는 것을 포함하는 방법.
제11항에 있어서, 제1 의료 기구의 원위 단부 부분의 위치를 화상 좌표 공간에 투영하는 단계는
제1 의료 기구의 원위 단부 부분의 위치를 결정하기 위해 제1 조작기를 위한 정방향 기구학 모델을 평가하는 것;
제2 의료 기구의 원위 단부 부분의 위치를 결정하기 위해 제2 조작기를 위한 정방향 기구학 모델을 평가하는 것;
촬상 기구 선단 좌표 공간에 제1 및 제2 의료 기구의 원위 단부 부분의 위치를 맵핑하는 것;
촬상 기구를 위한 캘리브레이팅된 카메라 변환을 취득하는 것; 및
우측 눈 화상 좌표 공간 및 좌측 눈 화상 좌표 공간에 제1 및 제2 의료 기구의 원위 단부 부분의 위치를 투영하는 것을 포함하는 방법.
제18항에 있어서, 제1 의료 기구의 원위 단부 부분의 위치를 화상 좌표 공간에 투영하는 단계는
촬상 기구 원위 선단의 위치를 결정하기 위해 촬상 기구가 결합되어 있는 제3 조작기에 대한 정방향 기구학 모델을 평가하는 것을 더 포함하는 방법.
제18항에 있어서, 캘리브레이팅된 카메라 변환은 모델뷰 변환, 원근 투영 변환 및 뷰포트 경계 변환으로 구성되는 방법.