KR102214145B1 - 축소된 탐색 공간을 이용하여 의료 장치를 조정하는 시스템 및 방법 - Google Patents

축소된 탐색 공간을 이용하여 의료 장치를 조정하는 시스템 및 방법 Download PDF

Info

Publication number
KR102214145B1
KR102214145B1 KR1020147030358A KR20147030358A KR102214145B1 KR 102214145 B1 KR102214145 B1 KR 102214145B1 KR 1020147030358 A KR1020147030358 A KR 1020147030358A KR 20147030358 A KR20147030358 A KR 20147030358A KR 102214145 B1 KR102214145 B1 KR 102214145B1
Authority
KR
South Korea
Prior art keywords
point
instrument
anatomical
image
patient anatomy
Prior art date
Application number
KR1020147030358A
Other languages
English (en)
Other versions
KR20150017326A (ko
Inventor
빈센트 뒨담
프라샨트 초프라
Original Assignee
인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 filed Critical 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Publication of KR20150017326A publication Critical patent/KR20150017326A/ko
Application granted granted Critical
Publication of KR102214145B1 publication Critical patent/KR102214145B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00809—Lung operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

방법은 환자 해부체의 저장 이미지들에서 연결된 해부학적 구조들을 식별하는 단계, 및 연결된 해부학적 구조들을 표현하는 복수의 실린더형 연결 요소를 발생시키는 단계를 구비한다. 방법은 또한, 연결된 해부학적 구조들 중 적어도 하나의 내부에 위치된 기구 상의 한 지점에 대응하는 트래킹 데이터를 수신하는 단계, 및 기구 상의 한 지점을 복수의 실린더형 연결 요소들 중 하나에 매칭시키는 단계를 구비한다.

Description

축소된 탐색 공간을 이용하여 의료 장치를 조정하는 시스템 및 방법{SYSTEMS AND METHODS FOR REGISTRATION OF A MEDICAL DEVICE USING A REDUCED SEARCH SPACE}
본 발명은 의료 시술 동안 환자 해부체 내부의 의료 장치를 트래킹하는 시스템들 및 방법들에 관한 것이고, 보다 상세하게는 축소된 탐색 공간을 이용하여 환자 해부체 내부의 의료 장치를 효과적으로 트래킹하는 시스템들 및 방법들에 관한 것이다.
최소 침습 의료 기술은 진단 과정 또는 수술 과정 동안 손상되는 조직의 양을 축소하는 것이 의도되어 있고, 이로써 환자의 회복 기간, 불편 및 유해한 부작용을 감소시키는 것이 가능하다. 이러한 최소 침습 기술은 환자 해부체 내의 자연 오리피스들 또는 하나 이상의 수술 절개부를 통해 행해질 수 있다. 이들 자연 오리피스들 또는 절개부들을 통해서, 임상의사는 표적 조직 위치에 접근하기 위해서 수술 기구들을 삽입할 수 있다. 표적 조직 위치에 접근하기 위하여, 최소 침습 수술 기구들은 폐, 결장, 장, 신장, 심장, 순환계 또는 이와 유사한 것과 같은 해부학적 시스템들 내부의, 자연스럽게 생기거나 수술로 생긴 연결된 통로들을 항행할 수 있다. 항행 보조 시스템들은 임상의사가 수술 기구들을 특정 경로로 보내는 것을 보조하고, 해부체에 대한 손상을 피하게 한다. 이들 시스템들은 시술 전의 이미지나 동시다발 이미지에 대하여 또는 실제 공간 내부의 수술 기구의 형상, 자세 및 위치를 보다 정확하게 설명하기 위해서 위치 센서와 형상 센서의 사용을 포함할 수 있다. 동적 해부학적 시스템, 및/또는 다수의 해부학적 통로가 밀집해 있는 해부학적 영역에서, 최소 침습 기구를 해부학적 시스템에 대해 정확하게 조정하는 것은 시간이 소모되거나 컴퓨터 처리가 집중되는 일이다. 최소 침습 기구들을 해부학적 시스템에 대해 조정하는 시스템들 및 방법들의 정확성과 효율성을 증가시키기 위하여 개선된 시스템들 및 방법들이 요구된다.
미국 특허공보 7901348 B2
본 발명의 실시예들은 아래에 이어지는 특허청구범위에 의해 요약된다.
일 실시예에서, 방법은 환자 해부체의 저장 이미지들에서 연결된 해부학적 구조(connected anatomical structure)들을 식별하는 단계, 및 연결된 해부학적 구조들을 표현하는 복수의 연결 요소들을 생성하는 단계를 구비한다. 이 방법은 또한 연결된 해부학적 구조들 중 적어도 하나의 내부에 위치된 기구 상의 한 지점에 대응하는 트래킹 데이터를 수신하는 단계, 및 기구 상의 한 지점을 복수의 연결 요소들 중 하나에 매칭시키는 단계를 구비한다.
다른 실시예에서, 의료 시스템은, 기구 상의 한 지점 및 환자 해부체의 이미지들을 저장하는 메모리에 관한 트래킹 데이터를 제공하도록 되어 있는 센서를 포함하는, 가요성 기구를 구비한다. 의료 시스템은 또한 환자 해부체의 저장 이미지들에서 연결된 해부학적 구조들을 식별하고 연결된 해부학적 구조들을 표현하는 복수의 연결 요소들을 생성하는, 프로세서를 구비한다. 프로세서는 또한, 연결된 해부학적 구조들 중 적어도 하나 내부에 위치된 기구 상의 한 지점에 대응하는 트래킹 데이터를 수신하고, 기구 상의 한 지점을 복수의 연결 요소들 중 하나에 매칭시킨다.
다른 실시예에서, 방법은 한 세트의 환자 해부체의 연결된 통로의 이미지를 생성하는 단계, 및 기구 상의 한 지점에 관한 위치 정보로서 연결된 통로들에 대해 상대적인 한 지점의 위치를 지시하는 위치 정보를 수신하는 단계를 구비한다. 방법은 또한, 기구 상의 한 지점에 관한 조절된 위치 정보를 생성하는 단계로서, 한 세트의 환자 해부체의 연결된 통로를 연결식 실린더(linked cylinder)들의 구조로서 모델링하는 것을 포함하는 단계, 및 조절된 위치 정보로 조절된 기구 이미지를 생성하는 단계를 포함한다. 방법은 또한, 한 세트의 연결된 통로의 이미지 및 조절된 기구 이미지를 포함하는 합성 이미지를 생성하는 단계를 포함한다.
본 명세서의 양태들은 첨부의 도면들을 이용하여 파악한다면 다음에 오는 발명의 상세한 설명으로부터 가장 잘 이해될 것이다. 강조하고 싶은 것은, 당해 산업분야에서의 통상적인 관행에 따라 여러 가지 구조들이 그 축척에 얽매이지 않는다는 점이다. 실제로, 여러 가지 구조들의 치수는 설명의 명확성을 위하여 임의로 확대되거나 축소될 수 있다. 더욱이, 본 명세서에는 참조 번호들이 반복될 수 있고, 그리고/또는 참조 번호들이 여러 가지 예시에 기입될 수 있다. 이러한 반복은 간단명료하게 하기 위한 것이지, 설명된 여러 가지 실시예들 및/또는 구성들 사이의 관계를 그 자체로 지시하는 것은 아니다.
도 1에는 본 발명의 실시예들에 따르는 로봇 수술 시스템이 도시되어 있다.
도 2에는 본 발명의 양태들을 이용하는 수술 기구가 도시되어 있다.
도 3a는 최소 침습 기구의 이미지와 조정된 인간의 폐의 이미지이다.
도 3b는 최소 침습 기구의 관점에서 바라본 인간의 폐의 영역을 도시하고 있는 인간의 폐의 내부 이미지이다.
도 4는 폐의 기관지 통로의 일 부분에 관한 도해이다.
도 5는 도 4의 기관지 통로를 표현하는 복수의 실린더형 연결 요소들에 관한 도해이다.
도 6은 하나의 실린더형 연결 요소에 관한 도해이다.
도 7은 기구의 한 지점을 해부학적 통로에 대해 스냅동작하는 방법을 도시하고 있는 흐름도이다.
도 8은 하나의 실린더형 연결 요소에 관한 도해이다.
도 9는 실린더형 연결 요소의 중심선에 투영된 하나의 기구 지점에 관한 도해이다.
본 발명의 실시예들에 관한 다음에 오는 발명의 상세한 설명에서, 다수의 특정 세부사항은 개시된 실시예들을 완전히 이해하기 위하여 설명된다. 그러나, 본 명세서의 실시예들이 특정 세부사항 없이도 실시될 수 있다는 것은 당해 기술분야에서의 통상의 기술자에게는 자명할 것이다. 다른 예에서, 공지의 방법들, 절차들, 구성요소들 및 회로들은 상세하게 설명되지 않았는데, 이는 본 발명의 실시예들의 양태들을 불필요하게 불명료하게 하지 않기 위해서 이다.
아래의 실시예들은 여러 가지 기구들 및 기구들의 부분들을 3차원 공간에서의 상태의 관점에서 설명할 것이다. 본 명세서에서 사용되는 바와 같이, "위치(position)"라는 용어는 3차원 공간(예컨대 데카르트 X,Y,Z 좌표를 따르는 병진운동의 3자유도)에서의 대상물 또는 대상물의 일 부분의 위치를 지칭한다. 본 명세서에서 사용되는 바와 같이, "배향(orientation)"이라는 용어는 대상물 또는 대상물의 일 부분에 관한 회전 배치(3자유도 회전-예컨대 구름운동(roll), 피칭운동(pitch) 및 요잉운동(yaw))를 지칭한다. 본 명세서에서 사용되는 바와 같이, "자세(pose)"라는 용어는 적어도 1자유도 병진운동하는 대상물 또는 대상물의 일 부분의 위치, 및 적어도 1자유도 회전운동(최대 총 6자유도)하는 대상물 또는 대상물의 일 부분의 배향을 지칭한다. 본 명세서에서 사용되는 바와 같이, "형상(shape)"이라는 용어는 대상물을 따라 측정되는 한 세트의 자세, 위치 또는 배향을 지칭한다.
도면들 중 도 1을 참조하면, 로봇 수술 시스템은 전체적으로 참조 번호 100으로 지시된다. 도 1에 나타나 있는 바와 같이, 로봇 시스템(100)은 일반적으로, 환자(P)에게 여러 가지 시술을 행하는 수술 기구(104)를 작동시키기 위하여 수술 매니퓰레이터 어셈블리(102)를 포함한다. 수술 매니퓰레이터 어셈블리(102)는 수술용 테이블(O) 또는 그 근처에 장착된다. 마스터 어셈블리(106)는 외과의사(S)가 수술 부위를 관측할 수 있게 하고 수술 매니퓰레이터 어셈블리(102)를 제어할 수 있게 한다.
대체 실시예에서, 로봇 시스템은 하나 이상의 매니퓰레이터 어셈블리를 포함할 수 있다. 매니퓰레이터 어셈블리의 정확한 개수는 다른 요인들 중에서도 수술 과정 및 수술실 내부의 공간 제약에 좌우될 것이다.
마스터 어셈블리(106)는 수술용 테이블(O)과 같이 통상 동일한 수술실에 위치되어 있는 외과의사의 콘솔(C)에 위치될 수 있다. 그러나, 외과의사(S)가 환자(P)로부터 다른 방 또는 완전히 다른 건물에 위치될 수 있다는 것은 이해되어야 한다. 마스터 어셈블리(106)는 일반적으로 선택적 지지체(108), 및 매니퓰레이터 어셈블리(102)(들)를 제어하기 위한 하나 이상의 제어 장치(112)(들)를 포함한다. 제어 장치(112)(들)는 조이스틱, 트랙볼, 글러브, 방아쇠형 건(trigger-gun), 수동식 컨트롤러, 음성 인식 장치 또는 이와 유사한 것과 같은 다수의 다양한 입력 장치들을 포함할 수 있다. 일부 실시예에서, 제어 장치(112)(들)는 연계된 수술 기구(104)와 마찬가지의 동일한 자유도가 제공되어, 외과의사에게 원격 현장감(telepresence), 즉 제어 장치(112)(들)가 수술 기구(104)와 일체를 이룬다는 인식을 제공할 것이고, 그 결과 외과의사는 기구(104)들을 직접 제어하는 느낌을 강하게 가진다. 일부 실시예에서, 제어 장치(112)들은 수동 입력 장치들이고, 이 수동 입력 장치들은 6자유도로 움직이되 기구들을 작동시키는(예컨대 파지용 죠(grasping jaw)를 닫는 것, 전극에 전위를 가하는 것, 약물 치료를 이행하는 것 또는 이와 유사한 것을 행하는) 작동 핸들을 포함할 수도 있다.
시각화 시스템(110)은 관측용 스코프 어셈블리(아래에서 보다 상세하게 설명됨)를 포함할 수 있어서, 수술 부위의 동시다발 이미지 또는 실시간 이미지가 외과의사 콘솔(C)에 제공된다. 동시다발 이미지는, 예컨대 수술 부위 내부에 위치되어 있는 내시경에 의해 캡쳐된 2차원 또는 3차원 이미지일 수 있다. 이 실시예에서, 시각화 시스템(100)은 수술 기구(104)에 일체로 또는 제거가능하게 결합될 수 있는 내시경 구성요소들을 포함한다. 그러나, 대체 실시예에서, 별개의 매니퓰레이터 어셈블리에 부착된 별개의 내시경은 수술 기구와 함께 사용되어 수술 부위를 촬상할 수 있다. 시각화 시스템(110)은 하나 이상의 컴퓨터 프로세서와 상호작용하거나 이와 다른 방법으로 실행되는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합으로서 구현될 수 있고, 여기서 컴퓨터 프로세서는 제어 시스템(116)의 프로세서(아래에 설명됨)를 포함할 수 있다.
디스플레이 시스템(111)은 시각화 시스템(110)에 의해 캡쳐된 수술 부위와 수술 기구들의 이미지를 디스플레이할 수 있다. 디스플레이(111)와 마스터 제어 장치(112)들은, 관측용 스코프 어셈블리 내부의 촬상 장치와 수술 기구들의 상대 위치가 외과의사의 안구와 손의 상대 위치와 유사하여 오퍼레이터가 상당히 실제 현장감있게 수술영역을 관측하고 있는 것처럼 수술 기구(104)를 조종하고 수동 제어하도록 배향될 수 있다. 실제 현장감있다는 것은, 수술 기구(104)들을 물리적으로 조종하고 있는 오퍼레이터의 관점을 시뮬레이션하는 실제 원근감있는 이미지가 나타나 있다는 것을 의미한다.
이와 달리 또는 부가적으로, 모니터(111)는 컴퓨터 단층촬영(computerized tomography; CT), 자기 공명 영상(magnetic resonance imaging; MRI), 형광투시법(fluoroscopy), 서모그래피(thermography), 초음파(ultrasound), 광 간섭성 단층촬영(optical coherence tomography; OCT), 열 촬상(thermal imaging), 임피던스 촬상(impedence imaging), 레이저 촬상(laser imaging) 또는 나노튜브 X-레이 촬상(nanotube X-ray imaging)과 같은 촬상 기술을 이용하여 수술 전에 기록되고 그리고/또는 모델링된 수술 부위의 이미지를 나타낼 수 있다. 나타나 있는 수술 전 이미지들은 2차원, 3차원 또는 4차원 이미지를 포함할 수 있다.
일부 실시예에서, 모니터(111)는 가상 항행 이미지를 디스플레이 할 수 있고, 여기에서 수술 기구의 실제 위치는 수술 전 이미지 또는 동시다발 이미지와 조정되어(즉 동적으로 참조되어) 수술 기구의 선단부(tip)에 위치해 있는 내부 수술 부위의 가상 이미지를 외과의사(S)에게 제공한다. 수술 기구의 선단부의 이미지 또는 다른 그래픽 인디케이터나 문자 인디케이터는 가상 이미지 위에 겹쳐져서 외과의사가 수술 기구를 제어하는 것을 보조할 수 있다. 이와 달리, 수술 기구는 가상 이미지에서는 보이지 않을 수 있다.
다른 실시예들에서, 모니터(111)는 가상 항행 이미지를 디스플레이 할 수 있고, 여기에서 수술 기구의 실제 위치는 수술 전 이미지 또는 동시다발 이미지와 조정되어, 외부에서 바라본 수술 부위 내부의 수술 기구의 가상 이미지를 외과의사(S)에게 제공한다. 수술 기구의 일 부분의 이미지 또는 다른 그래픽 인디케이터나 문자 인디케이터는 가상 이미지 위에 겹쳐져서 외과의사가 수술 기구를 제어하는 것을 보조할 수 있다.
도 1에 나타나 있는 바와 같이, 제어 시스템(116)은 적어도 하나의 프로세서를 포함하고, 통상적으로는 수술 매니퓰레이터 어셈블리(102), 마스터 어셈블리(106)와, 이미지 및 디스플레이 시스템(110) 사이를 제어하는 복수의 프로세서들을 포함한다. 제어 시스템(116)은 또한 본 명세서에 설명된 방법들 중 일부 또는 전부를 구현하는 소프트웨어 프로그래밍 명령들을 포함한다. 제어 시스템(116)이 도 1의 개략도로 단순화되어 있는 단일의 블록으로서 나타나 있지만, 이 시스템은 처리과정 중 적어도 일부는 입력 장치 부근에서 선택적으로 행해지고 그 중 일부는 매니퓰레이터 부근에서 행해지는 수개의 데이터 처리 회로들(예컨대 수술 매니퓰레이터 어셈블리(102) 및/또는 마스터 어셈블리(106) 상에 있음) 및 이와 유사한 것을 구비할 수 있다. 광범위하게 다양한 집중 데이터 처리 구성 또는 분산 데이터 처리 구성이 이용될 수 있다. 이와 유사하게, 프로그래밍 코드는 수개의 별개의 프로그램 또는 서브루틴으로서 구현될 수 있고, 또는 본 명세서에서 설명되는 로봇 시스템들의 수개의 다른 양태들에 통합될 수 있다. 일 실시예에서, 제어 시스템(116)은 블루투스, IrDA, HomeRF, IEE 802.11, DECT 및 무선 텔레메트리(Wireless Telemetry)와 같은 무선 통신 프로토콜들을 지원할 수 있다.
일부 실시예들에서, 제어 시스템(116)은 수술 기구(104)로부터 수동식 제어 장치(112)로의 힘 및 토크 피드백을 제공하는 서보 컨트롤러들을 포함할 수 있다. 적합한 종래의 서보 컨트롤러 또는 특별한 서보 컨트롤러가 사용될 수도 있다. 서보 컨트롤러는 매니퓰래이터 어셈블리(102)들로부터 분리될 수 있고 또는 이들과 일체를 이룰 수 있다. 일부 실시예들에서, 서보 컨트롤러와 매니퓰레이터 어셈블리는 환자의 신체에 인접하여 위치되어 있는 로봇 아암 카트의 일부로서 제공된다. 서보 컨트롤러는 매니퓰레이터 어셈블리들에게 명령하는 신호들을 전송하여, 환자 신체의 개구부들을 통해 환자 신체 내부의 내부 수술 부위로 뻗어 있는 기구들을 움직일 수 있다.
수술 기구(104)를 지지하면서 수동으로 관절운동가능한 일련의 연결장치를 구비할 수 있는 매니퓰레이터 어셈블리(102)들 각각은 일반적으로 셋업 조인트(set-up joint) 및 로봇 매니퓰레이터로 지칭된다. 로봇 매니퓰레이터 어셈블리(102)는 일련의 액추에이터(예컨대 모터)에 의해 구동될 수 있다. 이들 모터는 제어 시스템(116)으로부터의 명령에 응답하여 로봇 매니퓰레이터를 적극적으로 움직인다. 모터는 또한, 자연스럽게 생기거나 수술로 생긴 해부학적 오리피스 속으로 수술 기구를 전진이동시키도록 그리고 수술 기구의 원위 단부를 3차원 직선 운동(예컨대 X, Y, Z 직선 운동) 및 3차원 회전 운동(예컨대 구름운동, 피칭운동, 요잉운동)을 포함할 수 있는 다자유도로 움직이도록 수술 기구에 결합된다. 부가적으로, 모터는 조직을 생검 장치 또는 이와 유사한 것의 죠로 파지하기 위하여 수술 기구의 관절운동가능한 엔드 이펙터를 작동시키는데 사용될 수 있다.
도 2에는 수술 기구 시스템(104)과 인터페이싱 시스템을 포함하는 트래킹 기구 시스템(118)이 도시되어 있다. 수술 기구 시스템(104)은 인터페이스(122)에 의해 매니퓰레이터 어셈블리(102)와 시각화 시스템(110)에 결합된 가요성 기구(120)를 포함한다. 가요성 기구(120)는 가요성 바디(124), 원위 단부(128)에 있는 선단부(126), 및 근위 단부(130)에 있는 인터페이스(122)를 가진다. 가요성 바디(124)는 케이블들, 연결장치들, 또는, 예컨대 구부려진 선단부(126)의 점선 버전에 의해 나타나 있는 바와 같이 선단부를 제어가능하게 구부리거나 회전시키거나 일부 실시예에서와 같이 선택적인 엔드 이펙터(132)를 제어하기 위해서 인터페이스(122)와 선단부(126) 사이에 뻗어있는 다른 조향 제어수단들(미도시)을 수용한다. 가요성 기구는 전술된 조향 제어수단들을 포함하여 조향가능할 수 있고, 또는 기구의 구부림에 관한 오퍼레이터 제어를 위한 통합 메커니즘없이 조향가능하지 않을 수 있다. 엔드 이펙터는, 예컨대 표적 조직에 대한 미리 정해진 치료를 행하기 위한 의료 기능에 적합하게 조종가능한 작업 원위 부분일 수 있다. 예를 들면, 몇몇 엔드 이펙터들은 외과용 메스(scalpel), 블레이드(blade) 또는 전극과 같은 단일의 작업 부재를 가진다. 도 2의 실시예에 나타나 있는 바와 같은 다른 엔드 이펙터들은, 예컨대 포셉(forcep), 파지장치(grasper), 가위(scissor) 또는 클립 어플라이어(clip applier)와 같은 한 쌍 또는 복수의 작업 부재들을 가진다. 전기 작동식 엔드 이펙터들의 예시들은 전기수술용 전극, 변환기(transducer), 센서 및 이와 유사한 것을 포함한다. 엔드 이펙터들은 또한 유체, 가스 또는 고체를 전달하는 도관을 포함하여, 예컨대 흡입(suction), 살포(insufflation), 세척(irrigation), 유체 전달을 필요로 하는 치료, 액세서리 도입(accessory introduction), 생검 적출(biopsy extraction) 및 이와 유사한 것을 행할 수 있다. 다른 실시예들에서, 가요성 바디(124)는 하나 이상의 루멘을 형성할 수 있고, 이 루멘들을 통해 수술 기구는 표적 수술 위치에서 전개될 수 있고 사용될 수 있다.
가요성 기구(120)는 또한 스테레오스코픽 또는 모노스코픽 카메라를 포함할 수 있는 이미지 캡쳐 요소(134)를 포함할 수 있는데, 이 스테레오스코픽 또는 모노스코픽 카메라는, 디스플레이 시스템(111)에 의한 디스플레이를 위해 시각화 시스템(110)에 전송되고 이에 의해 처리되는 이미지들을 캡쳐하기 위하여, 원위 단부(128)에 배치된다. 이와 달리, 이미지 캡쳐 요소(134)는 피버스코프(fiberscope)와 같이 가요성 기구(120)의 근위 단부 상의 이미징 및 프로세싱 시스템에 결합되는 밀착성 광 섬유 다발(coherent fiber-optic bundle)일 수 있다. 이미지 캡쳐 요소(134)는 가시광선 스펙트럼 또는 적외선/자외선 스펙트럼의 이미지 데이터를 캡쳐하기 위한 단일 또는 다중 스펙트럼 장치일 수 있다.
트래킹 시스템(tracking system)(135)은 가요성 기구(120)를 따르는 하나 이상의 세그먼트(137) 및 원위 단부(128)의 위치, 배향, 속도, 자세 및/또는 형상을 결정하기 위하여 전자기(electromagnetic; EM) 센서 시스템(136) 및 형상 센서 시스템(138)을 포함한다. 트래킹 시스템은 또한 환자 해부체의 저장 이미지들, 및 환자에 고정된 기준 프레임(reference frame)의 형상 센서를 조정하는데 사용될 수 있다. 이와 달리, 조정은 당해 기술분야의 통상의 기술자에 의해 이해될 수 있는 바와 같이 EM 센서 시스템을 이용하지 않는 다른 기술을 이용하여 행해질 수도 있다. 예시적인 한 세트의 세그먼트(137)만 도 2에 도시되어 있지만, 원위 단부(128)와 근위 단부(130) 사이에 있으면서 선단부(126)를 포함하는 가요성 기구(120)의 전체 길이는 세그먼트들로 효과적으로 분리될 수 있다. 트래킹 시스템(135)은, 제어 시스템(116)의 프로세서들을 포함할 수 있는 하나 이상의 컴퓨터 프로세서와 상호작용하거나 하나 이상의 컴퓨터 프로세서에 의해 이와 다른 방법으로 실행되는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합으로서 구현될 수 있다.
EM 센서 시스템(136)은 외부에 생성된 전자기장에 영향을 받을 수 있는 하나 이상의 전도성 코일을 포함한다. EM 센서 시스템(136)의 각각의 코일은 외부에 생성된 전자기장에 대해 상대적인 코일의 위치와 배향에 좌우되는 특징을 가지는, 유도된 전기 신호를 만들어 낸다. 일 실시예에서, EM 센서 시스템은, 예컨대 3개의 위치 좌표(X, Y, Z)와, 기준점의 피칭운동, 요잉운동 및 구름운동을 지시하는 3개의 배향 각도와 같은 6자유도를 측정하도록 구성되고 위치될 수 있다. EM 센서 시스템의 추가적인 설명은, "트래킹되고 있는 대상물 위에 수동 응답장치를 가지는 6자유도 트래킹 시스템(Six-Degree of Freedom Tracking System Having a Passive Transponder on the Object Being Tracked)"이라는 제목으로 1999년 8월 11일에 출원되어 공표된 미국특허 제 6,380,732호에 제공되고, 이는 전체로 본 명세서에 참조사항으로 통합되어 있다.
센서 시스템(138)은 가요성 바디(124)와 정렬되어 있는(예컨대 내부 채널(미도시) 내부에 제공되거나 외부에 장착됨) 광섬유(140)를 포함한다. 트래킹 시스템(135)은 광섬유(140)의 근위 단부에 결합된다. 이 실시예에서, 광섬유(140)는 대략 200㎛의 직경을 가진다. 다른 실시예에서, 그 치수는 이 보다 크거나 작을 수 있다.
광섬유(140)는 가요성 기구(120)의 형상을 결정하기 위한 광섬유 굴곡 센서가 형성되어 있다. 일 대체 실시예에서, 광섬유 브래그 격자(Fiber Bragg Gratings; FBGs)를 포함하는 광섬유들은 구조의 변형률을 1차원 이상의 차원으로 측정하는데 사용된다. 광섬유의 형상과 상대 위치를 3차원으로 모니터링하기 위한 여러 가지 시스템과 방법은, "광섬유 위치 및 형상 감지 장치 및 이와 관련된 방법(Fiber optic position and shape sensing device and method relating thereto)"이라는 제목으로 2005년 7월 13일에 출원되어 공표된 미국특허출원 제11/180,389호; "광섬유 형상 및 상대적인 위치 감지(Fiber-optic shape and relative position sensing)"라는 제목으로 2004년 7월 16일에 출원되어 공표된 미국 가출원 제60/588,336호; 및 "광섬유 굴곡 센서(Optical Fibre Bend Sensor)"라는 제목으로 1998년 6월 17일에 출원되어 공표된 미국특허출원 제6,389,187호;에 설명되어 있고, 이것들은 전체로 본 명세서에 참조사항으로 통합되어 있다. 다른 대체 실시예에서, 레일리 산란(Rayleigh scattering), 라만 산란(Raman scattering), 브류앵 산란(Brillouin scattering) 및 형광 산란(Fluorescence scattering)과 같은 다른 변형 감지 기술을 이용하는 센서들이 적합할 수 있다. 다른 대체 실시예에서, 가요성 기구(120)의 형상은 다른 기술들을 이용하여 결정될 수 있다. 예를 들어, 기구 선단부의 자세의 이력이 항행 디스플레이를 새롭게 하기 위한 기간이나 운동(예컨대 흡기(inhalation)와 호기(exhalation))을 교호하기 위한 기간 보다 작은 시간 간격마다 저장된다면, 자세 이력은 이 시간 간격 내내 장치의 형상을 재구성하는데 이용될 수 있다. 다른 예시와 마찬가지로, 이력적인 자세, 위치 또는 배향 데이터는 호흡과 같이 교호하는 운동의 사이클을 따라 기구의 알려진 지점에 저장될 수 있다. 이러한 저장 데이터는 기구에 관한 형상 정보를 개발하는데 이용될 수 있다. 이와 달리, 기구를 따라 위치되어 있는 EM 센서들과 같은 일련의 위치 센서들은 형상 감지에 이용될 수 있다. 이와 달리, 특히 해부학적 통로가 대체로 정지되어 있다면, 시술 동안 기구 위에 있는 EM 센서와 같은 위치 센서로부터의 데이터의 이력은 기구의 형상을 표현하는데 이용될 수 있다. 이와 달리, 위치나 배향이 외부 자기장에 의해 제어된 상태의 무선 장치는 형상 감지를 위하여 사용될 수 있다. 이 위치의 이력은 항행한 통로의 형상을 결정하는데 이용될 수 있다.
이 실시예에서, 광섬유(140)는 단일의 클래딩(146) 내부에 다수의 코어를 포함할 수 있다. 각각의 코어는 충분한 간격을 가지되 클래이딩이 코어들을 분리하고 있는 싱글-모드일 수 있고, 그 결과 각각의 코어 내의 광은 다른 코어들로 운반된 광과 크게 상호작용하지 않는다. 다른 실시예에서, 다수의 코어는 변할 수 있고, 또는 각각의 코어는 별개의 광섬유 내에 포함될 수 있다.
일부 실시예에서, 일렬의 FBG's는 각각의 코어 내부에 제공된다. 각각의 FBGs는 굴절률의 공간 주기성을 생성하도록 코어의 굴절률에 관한 일련의 모듈레이션(modulation)을 구비한다. 공간배치는, 각각의 굴절률 변경으로부터의 부분적인 반사들이 파장의 협소한 대역 마다 밀착하여 추가되고 그 결과 폭 넓은 대역을 통과하는 동안 파장의 협소한 대역만을 반사하도록 선택될 수 있다. FBG's의 제조 동안, 모듈레이션은 알려진 간격만큼 이격되고, 이로써 파장의 알려진 대역의 반사를 일으킬 수 있다. 그러나, 변형이 광섬유 코어 상에 유발될 때, 모듈레이션의 공간배치는 코어에서의 변형량에 따라 변경될 것이다. 이와 달리, 후방 산란, 또는 광섬유의 구부림과 함께 변하는 다른 광학 현상들은 각각의 코어 내부의 변형을 결정하는데 이용될 수 있다.
따라서, 변형을 측정하기 위하여, 광은 광섬유 아래로 보내지고, 되돌아오는 광의 특성들은 측정된다. 예를 들어, FBG's는 광섬유 상의 변형과 그 온도에 관한 함수인 반사된 파장을 만들어 낸다. 이 FBG 기술은 영국의 브랙넬에 있는 스마트 피버스 리미티드(Smart Fibres Ltd.)와 같은 다양한 공급처로부터 상업적으로 통용된다. 로봇 수술용 위치 센서에서의 FBG 기술의 이용은 "광섬유 브래그 격자를 이용한 위치 센서를 포함하는 로봇 수술 시스템(Robotic Surgery System Including Position Sensors Using Fiber Bragg Gratings)"이라는 제목으로 2006년 7월 20일에 출원되어 공표된 미국특허 제7,930,065호에 설명되어 있고, 이는 전체로 본 명세서에 참조사항으로 통합되어 있다.
광섬유의 구부림이 다중코어 광섬유에 가해지는 경우, 광섬유의 구부림은 코어들 위에서의 변형을 유발하는데, 이 변형은 각각의 코어에서의 파장 변화를 모니터링함으로써 측정될 수 있다. 광섬유의 구부림은 2개 이상의 코어를 광섬유의 축을 벗어나 배치시킴으로써 각각의 코어 상에 다른 변형을 유발한다. 이들 변형들은 광섬유의 구부림의 국소적인 정도에 관한 함수이다. 예를 들어, FBG's를 포함하는 코어들의 영역들은 광섬유가 구부러지는 지점들에 위치된다면 이로써 이러한 지점들에서의 구부림의 양을 결정하는데 사용될 수 있다. FBG 영역들의 알려진 공간배치들과 결부된 이들 데이터는 광섬유의 형상을 재구성하는데 이용될 수 있다. 이러한 시스템은 버지니아주 블랙스버그(Blacksburg, Va)에 있는 루나 이노베이션스 인코퍼레이티드(Luna Innovations, Inc.)에 의해 설명되어 있다.
설명된 바와 같이, 광섬유(140)는 기구(120)의 적어도 일 부분의 형상을 모니터링하는데 사용된다. 더 상세하게는, 광섬유(140)를 통과하는 광은, 수술 과정을 보조하기 위해 이러한 정보를 이용하면서도 수술 기구(120)의 형상을 탐지하는 트래킹 시스템(135)에 의해 처리된다. 트래킹 시스템(135)은 기구(120)의 형상을 결정하는데 이용되는 광을 생성하면서 탐지하는 탐지 시스템을 포함할 수 있다. 이 정보는 차례로, 수술 기구의 부분들의 속도 및 가속도와 같은 다른 관련 변수들을 결정하는데 사용될 수 있다. 컨트롤러는 하나 이상의 이러한 변수들에 관한 정확한 측정값을 실시간으로 획득함으로써 로봇 수술 시스템의 정확성을 향상시킬 수 있고 구성요소 부분들을 구동할 때 나타난 오류들을 보정할 수 있다. 감지는 로봇 시스템에 의해 작동되는 자유도에 대해서만 제한될 수 있고, 또는 수동 자유도(예컨대 조인트들 사이의 강성 부재들의 비작동식 구부림)와 능동 자유도(예컨대 기구의 작동식 운동) 모두에 적용될 수 있다.
트래킹 시스템(135)으로부터의 정보는 항행 시스템(142)으로 보내질 수 있는데, 항행 시스템에서는 이 정보가 가시화 시스템(110)으로부터의 정보, 및/또는 수술 전에 촬영된 이미지들과 결부되어, 기구(120)의 제어에 이용하기 위한 디스플레이 시스템(111) 상의 실시간 위치 정보를 외과의사나 다른 오퍼레이터에게 제공한다. 제어 시스템(116)은 기구(120)를 위치결정하기 위한 피드백으로서 위치 정보를 이용할 수 있다. 수술 기구를 수술 이미지들로 조정하고 디스플레이하기 위해서 광섬유를 사용하는 여러 가지 시스템들은 "영상 유도 수술용 해부학적 구조에 관한 모델의 동적 조정을 제공하는 의료 시스템(Medical System Providing Dynamic Registration of a Model of an Anatomical Structure for Image-Guided Surgery)"이라는 제목으로 2011년 5월 13일에 출원되어 공표된 미국특허출원 제13/107,562호에 제공되어 있고, 이는 전체로 본 명세서에 참조사항으로 통합되어 있다.
도 2의 실시예에서, 기구(104)는 로봇 수술 시스템(100) 내부에서 원격작동된다. 대체 실시예에서, 매니퓰레이터 어셈블리는 직접적인 오퍼레이터 제어에 의해 교체될 수 있다. 직접 작동의 대안으로, 여러 가지 핸들 및 오퍼레이터 인터페이스는 기구의 수동 작동(hand-held operation)을 위하여 포함될 수 있다.
도 3a에는 합성 이미지(150)가 도시되어 있는데, 이 합성 이미지는 가요성 기구(120)와 같은 가요성 기구의 기구 이미지(154)와 조정되는, 폐 외부에서 바라본 인간의 폐(152)의 이미지(151)를 포함한다. 폐(152)의 이미지(151)는 수술 전에 기록된 이미지들로부터 생성될 수 있고, 또는 수술 과정 동안 동시에 생성될 수 있다. 합성 이미지(150)는 디스플레이 시스템(111)을 통해 디스플레이될 수 있다. 기구(120)가 폐(152)의 기관지 통로(156)를 통해 전진이동될 때, 트래킹 시스템(135) 및/또는 가시화 시스템(110)으로부터의 정보는 기구 이미지(154)를 폐 이미지(151)와 조정하는데 이용된다. 폐(152)의 이미지(151)는, 예컨대 들숨 또는 날숨 상태의 폐를 도시하도록 변경될 수 있다. 기구 이미지(154)는 기관지 통로(156)를 통한 기구(120)의 전진이동 또는 후퇴이동을 도시하도록 변경될 수 있다. 때때로, 합성 이미지(150)는 기구 이미지(154)를 잘못 공급할 수 있고, 그 결과 기구 이미지(154')의 일 부분은 기관지 통로의 외부에 있다. 시스템들과 방법들은 기구가 기관지 통로들 내부에 위치되도록 기구 이미지를 수정하기 위하여 아래에 설명된다.
도 3b에는 기구(120)에서 바라본 폐의 한 영역을 도시하고 있는 인간의 폐(152)의 내부 이미지(160)가 도시되어 있다. 이미지(160)는 폐(152)의 도시된 부분에 위치되어 있는 동안의 기구(120)에 의해 수술 과정 동안 촬영된 동시다발 이미지일 수 있다. 보다 상세하게, 이미지는 시각화 시스템(110)에 의해 캡쳐될 수 있다. 이와 달리, 이미지(160)는 트래킹 시스템(135)에 의해 결정되는 바와 같이 기구(120)의 선단부의 위치에 기초하여 선정된 수술 전에 기록된 이미지일 수 있다.
종종, EM 센서 시스템(136)과 형상 센서 시스템(138)을 포함하는 트래킹 시스템(135)은 해부학적 통로 외부에 있는 기구(120)의 하나 이상의 세그먼트(137) 또는 기구 선단부(126)의 위치를 계산할 수 있다. 이는 약간의 측정 오류를 지시할 수도 있다(해부학적 통로가 파괴되지 않았다는 가정하에). 이러한 오류는 폐나 심장과 같은 특정 해부학적 구조들의 동적 특질(dynamic nature)에 기인한다. 예를 들어, 흡기와 호기는 폐의 기관지 통로의 위치와 크기를 변경시킨다. 이와 달리, 이러한 오류는 해부학적 통로들 내부에의 수술 기구의 존재에 의해 야기된 조직 변형에 기인할 수 있다. 기구의 이미지 및 환자 해부체의 이미지가 함께 조정되고 디스플레이될 때, 기구의 위치를 수정하고 기관지 통로 내부에서의 기구의 하나 이상의 지점을 정확하게 위치시키기 위하여, 기구의 선정된 지점들은 해부학적 통로의 벽 상의 특정 위치 또는 해부학적 통로의 루멘에 대해 스냅동작되거나 그래픽적으로 조정될 수 있다.
일 실시예에서, 기구 위의 한 지점을 해부학적 통로에 대해 스냅동작하는 것은 해부학적 통로의 저장 이미지를 모델링함으로써 시작한다. 도 4는 수술 전 이미지로 캡쳐된 상태인 폐의 기관지 구조(202)의 일 부분의 3차원 모델(200)이다. 기관지 구조(202)는 별개의 기관지 통로들(204-216)을 포함한다. 기관지 통로들(204-216)에 걸친 일련의 중심점들은 해부학적 중심선(218)을 형성한다. 이미지(200)는 복수의 수술 전 이미지들로부터 형성된 합성 이미지일 수 있다. 도 5는 기관지 통로들(204-216)을 표현하는 실린더형 연결 요소들(304-316)의 3차원 연결식 구조(302)에 관한 도해(300)이다. 아래에 상세하게 설명되는 바와 같이, 연결된 실린더형 연결 요소들(304-316)은 해부학적 중심선에서 결정된다. 연결식 실린더 구조(302)와 같이 기관지 구조(202)를 표현하는 것은 기구 지점이 위치되어 있는 특정 기관지 통로를 결정하기 위한 탐색 공간을 감소시킬 수 있다. 분지형 해부학적 통로들이 자주 언급되지만, 당해 출원의 시스템들 및 실시예들 역시 일련의 접합식(joined) 실린더들과 같이 단일의 통로를 모델링하는데 적용가능하다. 이는 통로가 굽어있거나 길이를 따라 직경이 달라지는 경우에 특히 유용할 수 있다.
도 6은 실린더형 연결 요소(304)에 관한 도해이다. 실린더형 연결 요소(304)는 해부학적 중심선(218)의 분지(320) 둘레에 형성되어 있다. 분지(320)는 분지의 양쪽 단부에 있는 기준점(BP0)과 기준점(BP1)을 포함한다. 실린더형 중심선(322)은 기준점(BP0)과 기준점(BP1) 사이의 최단 간격에 걸쳐있다. 실린더형 연결 요소(304)의 전체 반경(RT)은 반경(R1)과 반경(R2)의 합한 길이일 수 있다. 반경(R1)은 해부학적 중심선(218)과 실린더형 중심선(322) 사이의 최대 편차이다. 따라서, 중심선들 사이의 편차가 크면 클수록 전체 실린더 반경 근삿값은 커진다. 반경(R2)은, 예컨대 모델(200)들로부터 획득된 바와 같이 기관지 통로(204)의 평균 반경이다. 일 실시예에서, 실린더형 연결 요소(304)는 구형상의 단부들(324, 326)을 포함할 수 있다. 포개져 있는 구형상의 단부들(324, 326)은 모델링 연결 요소(304)와 연계된 계산상 부담을 단순화할 수 있고, 직관적인 "조인트" 요소를 인접한 연결 요소들에 제공할 수 있다. 그러나, 여러 가지 다른 실시예에서, 실린더형 연결 요소(304)는 임의의 구성(예컨대 편평한(flat) 구성, 각진(angled) 구성, 면체(faceted) 구성 또는 다른 모델링 구성)의 단부들을 가질 수 있다.
여러 가지 다른 실시예들을 주목하자면, 전체 반경(RT)은 여러 가지 대체 방법으로 정의되어 분지(320)에 관한 원하는 수준의 표현을 제공할 수 있다. 예를 들어, 일부 실시예에서, 전체 반경(RT)은 기관지 통로(204)의 평균 반경(즉 반경(R2)), 기관지 통로(204)의 최대 반경 또는 기관지 통로(204)의 다른 적합한 특징과 완전히 등가일 수 있다. 다른 실시예에서, 반경(R1)(또는 미리 정해진 "완충" 거리나, 심지어 실린더형 연결 요소(304)를 따르는 가변 반경과 같은 다른 조절 계수(adjustment factor))는 위의 기관지 통로와 관련된 반경들 중 어느 하나에 더해질 수 있다.
도 7은 기구(154)의 3차원 지점(P)을 기관지 통로에 대해 스냅동작하는 방법이 도시되어 있는 흐름도(400)이다. 이 방법은, 예컨대 도 3a에 나타나 있는 바와 같이 형상 센서 및/또는 EM 센서로부터의 정보를 포함하는 트래킹 시스템 정보가 지점(P)을 포함하는 기구의 일 부분을 기관지 통로의 외부에 위치결정할 때, 지점(P)에서의 기구의 이미지를 수정하는데 사용될 수 있다. 초기에, 연결된 해부학적 구조들은 환자 해부체의 저장 이미지들에서 식별된다. 연결된 해부학적 구조들은 각각의 통로가 적어도 하나의 다른 통로에 연결되어 있는 분지형 해부학적 통로들을 포함한다. 복수의 실린더형 연결 요소들은 상술된 바와 같이 연결된 해부학적 구조를 표현하기 위해서 생성된다.
단계(402)에서, 한 지점(P)은 기관지 통로에 대해 스냅동작되는 것으로 식별된다. 한 지점(P)은 기관지 통로의 외부에 있는 위치로 트래킹되고 있는 기관지 기구 위의 한 지점으로서 식별될 수 있다. 일부 실시예에서, 한 지점(P)은 기관지 기구의 원위 선단부일 수 있지만, 대체 실시예에서 한 지점(P)은 기관지 통로 내부에서 기구를 따르는 임의의 한 지점일 수 있다. 단계(404)에서, 한 지점(P)에 대한 실린더형 연결 요소들(304-316)의 최근접 상태가 식별된다. 예를 들어, 한 지점(P)과 각각의 실린더형 연결 요소들(304-316) 사이의 간격을 결정하기 위하여, 실린더형 연결 요소에 대해 상대적인 한 지점(P)의 전체 위치는 우선 결정된다. 각각의 실린더형 연결 요소들에 대해 상대적인 한 지점(P)의 전체 위치가 고려되어 있는데, 이는 계산될 간격이, 기준점들(BP0, BP1)을 포함하는 각각의 요소의 실린더형 중심선 위의 최근접 지점과 한 지점(P) 사이의 간격이기 때문이다.
도 8을 참조하면, 한 지점(P)은 실린더형 연결 요소(304)에 대해 상대적인 3개의 위치들 중 하나 일 수 있다. 첫번째로, 한 지점(P)은 BP0 근처의 영역(A) 내에 있는 PA일 수 있다. 두번째로, 한 지점(P)은 BP0와 BP1 사이의 영역(B) 내에 있는 PB일 수 있다. 세번째로, 한 지점(P)은 BP1 근처의 영역(C) 내에 있는 PC일 수 있다. 한 지점(P)이 위치되어 있는 영역을 결정하기 위하여, BP0로부터 BP1쪽으로의 단위 방향 벡터(V)와 BP0로부터 P쪽으로의 벡터의 내적이 계산된다. 이 내적이 0 미만이라면, P는 BP0(영역(A))에 최근접한다. 내적이 BP0와 BP1 사이에 있으면, P는 BP1(영역(C))에 최근접한다. 내적이 이와 다르다면, P는 BP0와 BP1 사이에 있는 중간지점 어딘가에 있다. 실린더형 연결 요소(304)에 대해 상대적인 한 지점(P)의 위치가 결정된 후에, 중심선(322) 위의 P로부터 최근접 지점까지의 간격이 계산된다. 한 지점(P)의 위치와 간격의 이러한 결정은 실린더형 연결 요소들(304-316) 각각 행해진다. P에 대한 최단 간격을 가진 실린더형 연결 요소들(304-316)은 최근접 실린더형 연결 요소들로 고려되어 있다. 더욱이, 처리과정은 이들 최근접 실린더형 연결 요소들에서만 행해진다. 일 실시예에서는 5개의 최근접 실린더형 연결 요소들이 선택될 수 있지만, 다른 실시예들에서는 더 많거나 더 적은 요소들이 적합할 수 있다.
단계(406)에서, 한 지점(P)에 대한 최근접 실린더형 연결 요소들에 있어서, 최근접 실린더형 연결 요소들 각각의 해부학적 중심선 위의 최근접 지점을 식별하기 위해서 탐색이 행해진다. 해부학적 중심선 위의 최근접 지점이 각각의 최근접 실린더형 연결 요소들 마다 결정된 후에, 최근접 전체 해부학적 중심선 지점(Pi)을 가진 실린더형 연결 요소가 선택된다.
단계(408)에서 도 9를 참조하면, 최근접 실린더형 연결 요소의 해부학적 중심선을 따르는 최종 지점(Pf)이 결정된다. 보다 상세하게는, 최종 지점(Pf)이 2개의 중심선 지점(Pi, Pi+1) 사이 또는 Pi와 Pi-1 사이에 있는지를 결정하기 위해서 정밀한 계산이 행해진다. 최종 지점(Pf)이 결정된 후에, 한 지점(P)은 Pf의 기관지 통로의 직경과 대략 동일한 반경을 가진 Pf를 둘러싸는 구와 만날 때까지 Pf를 향하는 직선을 따라 투영된다. 한 지점(Ps)은 기관지 통로의 벽 상의 한 위치를 표현하고, 한 지점(P)은 기관지 통로 쪽으로 스냅동작될 것이다. 단계(410)에서, 한 지점(P)은 실린더형 연결 요소의 외부나 내부 중 어디에 있는지를 판정하기 위해서 평가된다. 한 지점(P)이 단계(412)에서와 같이 실린더형 연결 요소의 내부에 있다면, 기구 이미지 상에 있는 한 지점(P)의 공급된 이미지(rendered image)는 함께 조정된 폐 이미지 상의 기관지 통로 내부에 유지된다. 한 지점(P)이 단계(414)에서와 같이 실린더형 연결 요소의 외부에 있다면, 기구 이미지 상의 한 지점(P)의 공급된 이미지는 투영점이 기관지 통로의 벽을 가로지르는 Pf 와 P 사이의 투영점을 따라 한 지점(Ps)에 대해 조절되거나 스냅동작된다. 단계(416)에서, 수정된 기구 이미지(154)와 조정된 인간의 폐(152)의 이미지(151)를 도시하고 있는 수정된 합성 이미지(150)가 준비된다. 수정된 이미지에서, 한 지점(P)은 기관지 벽 외부로 뻗어 있지 않고 기관지 통로에 대해 스냅동작된다.
설명된 시스템들과 방법들은 "브루트-포스(brute-force)" 방법들과 비교하여 시간 및 컴퓨터 처리 자원을 절약할 수 있는데, 브루트-포스 방법이란 기관지 통로의 벽을 따르는 각각의 지점 또는 기관지 통로의 중심선을 따르는 각각의 지점을 광범위하게 고려함으로써 한 지점(P)을 정확한 기관지 통로에 대해 직접 스냅동작하는 것을 시도하는 것을 말한다. 예를 들어, 본 발명의 방법들을 이용하는 스냅동작 절차를 위한 시간은 브루트-포스 방법이 210㎲임에 비해 대략 35㎲일 수 있다.
가요성 기구의 적어도 일 부분의 이미지를 해부학적 시스템의 이미지에 대해 조정하는 대체 시스템들 및 방법들은, "형상 감지를 이용하는 변형 보정을 위한 시스템들과 방법들(Systems and Methods for Deformation Compensation Using Shape Sensing)"이라는 제목으로 공표되어 있는 미국특허출원(참조번호 ISRG04300), 및 "신속한 자세 탐색을 이용하는 의료 장치의 조정을 위한 시스템들과 방법들(Systems and Methods for Registration of a Medical Device Using Rapid Pose Search)"라는 제목으로 공표되어 있는 미국특허출원(참조번호 ISRG03740)에 개시되어 있고, 이들 모두는 전체로 본 명세서에 참조사항으로 통합되어 있다. 참조 시스템들 및 방법들에 의해 통합되어 있는 이들 양태들은, 가요성 기구의 적어도 일 부분의 이미지를 해부학적 시스템의 이미지에 대해 정확하게 조정하는 대체 방법들을 제공하는 상술된 시스템들 및 방법들과 함께 사용될 수 있다.
조정 시스템들 및 방법들이 원격작동식 또는 수동식 수술 시스템들에 대해 본 명세서에 설명되어 있지만, 이들 조정 시스템들 및 방법들은 다양한 의료 기구 및 비의료기구의 적용처에서 발견될 것이고, 여기서 정확한 기구 이미지 조정은 이와 달리 지나치게 시간이 낭비되거나 컴퓨터 처리가 집중된다.
본 명세서의 시스템들 및 방법들이 폐의 연결된 기관지 통로에서의 사용을 위하여 도시되어 왔지만, 결장, 장, 신장, 뇌, 심장, 순환계 또는 이와 유사한 것을 포함하는 다양한 해부학적 시스템들 중 임의의 것에 있는, 자연스럽게 생기거나 수술로 생긴 연결된 통로들을 통한 다른 조직들의 항행 및 치료에 적합할 수도 있다. 본 명세서의 방법들 및 실시예들은 비수술 적용처에도 적합할 수 있다.
본 발명의 실시예들의 하나 이상의 요소들은 제어 시스템(116)과 같은 컴퓨터 시스템의 프로세서 상에서 실행하는 소프트웨어로 구현될 수 있다. 본 발명의 실시예들의 요소들은 소프트웨어로 구현될 때, 본질적으로는 필요한 업무를 행하는 코드 세그먼트이다. 프로그램 세그먼트 또는 코드 세그먼트는, 전송 매체나 통신 링크를 통해 반송파로 실시되는 컴퓨터 데이터 신호에 의하여 다운로드 될 수 있는, 프로세서 판독가능 저장 매체 또는 장치에 저장될 수 있다. 프로세서 판독가능 저장 장치는 광학 매체, 반도체 매체 및 자기 매체를 포함하는 정보를 저장할 수 있는 임의의 매체를 포함할 수 있다. 프로세서 판독가능 저장 장치 예시들은 전자 회로; 반도체 장치, 반도체 메모리 장치, 읽기 전용 메모리(read only memory; ROM), 플래시 메모리, EPROM(erasable programmable read only memory); 플로피 디스켓, CD-ROM, 광 디스크, 하드 디스크 또는 다른 저장 장치를 포함한다. 코드 세그먼트들은 인터넷, 인트라넷 등과 같은 컴퓨터 네트워크를 통해 다운로드될 수 있다.
나타나 있는 프로세스들 및 디스플레이들이 원래 특별한 컴퓨터 또는 다른 장치와 관련될 수 있다는 점을 주목한다. 여러 가지 다용도 시스템들은 본 명세서의 교시들에 따르는 프로그램들과 함께 사용될 수 있고, 또는 설명된 수술들을 행하는 더욱 특별한 장치를 구성하는데 편리한 것으로 알려져 있다. 여러 가지 이들 시스템에서 요구되는 구조는 특허청구범위의 요소들로서 나타나 있다. 더욱이, 본 발명의 실시예들은 특별한 프로그램 언어를 참조하여 설명된다. 여러 가지 프로그램 언어들이 본 명세서에 설명된 바와 같이 본 발명의 교시들을 구현하는데 사용될 수 있다는 것은 이해될 것이다.
본 발명의 예시적인 특정 실시예들이 설명되고 첨부의 도면들에 나타나 있지만, 이러한 실시예들이 광의의 발명에 관하여 설명하기 위한 것이지 이를 제한하기 위한 것이 아니라는 점, 및 본 발명의 실시예들이 설명되어 나타나 있는 특정 구성들과 장치들로 제한되는 것은 아니라는 점은 이해되어야 하는데, 이는 여러 가지 다른 수정들이 당해 기술분야에서의 통상의 기술자에게 자명할 것이기 때문이다.
상술된 실시예들이 해부학적 구조를 모델링하기 위해서 실린더형 연결수단들을 이용하지만, 당해 기술분야의 통상의 기술자라면 본 발명의 사상을 벗어나지 않으면서 양호하게 형성된 표면들을 가진 부가적인 경계 표면 연결요소들을 이용하는 방법을 알 수 있을 것이다. 예를 들어, 타원형의 연결수단, 쌍곡선형 연결수단, 회전 타원형 연결수단이 사용될 수 있다. 대체로, 경계 엔벌로프 타입(bounding envelope type)의 양호하게 형성된 표면들은 위의 실시예들 중 임의의 것에 사용될 수 있다.

Claims (25)

  1. 프로세서에 의해 수행되고, 의료 시술 동안 환자 해부체 내부의 의료 장치를 트래킹하는 방법으로서,
    환자 해부체의 저장 이미지들에서 연결된 해부학적 구조들을 식별하는 단계;
    연결된 해부학적 구조들을 표현하는 복수의 연결 요소들을 생성하는 단계;
    연결된 해부학적 구조들 중 적어도 하나의 내부에 위치된 기구 상의 한 지점에 대응하는 트래킹 데이터를 수신하는 단계;
    기구 상의 한 지점을 복수의 연결 요소들 중 하나에 매칭시키는 단계; 및
    한 세트의 복수의 연결 요소들의 각 연결 요소 마다, 기구 상의 한 지점과 연결 요소의 해부학적 중심선 사이의 간격을 결정하는 단계;를 구비하고,
    상기 기구 상의 한 지점을 복수의 연결 요소들 중 하나에 매칭시키는 단계는 기구 상의 한 지점의 위치 좌표에 최근접한 한 세트의 복수의 연결 요소들을 결정하는 단계;를 포함하는 것을 특징으로 하는 방법.
  2. 제 1 항에 있어서,
    환자 해부체의 저장 이미지들을 생성하기 위해서 수술 전 의료 이미지들을 컴퓨터 메모리 장치에 수신하는 단계를 더 구비하는 것을 특징으로 하는 방법.
  3. 제 1 항에 있어서,
    연결된 해부학적 구조들은 폐의 기도들을 포함하는 것을 특징으로 하는 방법.
  4. 삭제
  5. 삭제
  6. 제 1 항에 있어서,
    한 세트의 복수의 연결 요소들 중 최근접 연결 요소를 식별하는 단계를 더 구비하는 것을 특징으로 하는 방법.
  7. 제 6 항에 있어서,
    기구 상의 한 지점의 투영점을 최근접 연결 요소의 해부학적 중심선에 생성하는 단계를 더 구비하는 것을 특징으로 하는 방법.
  8. 제 7 항에 있어서,
    해부학적 중심선으로부터 반경방향으로 떨어진 투영점을 따라 스냅 지점을 식별하는 단계를 더 구비하는 것을 특징으로 하는 방법.
  9. 제 7 항에 있어서,
    기구 상의 한 지점이 최근접 연결 요소를 지나는 해부학적 중심선의 2개의 기준점들 중 하나에 최근접하는지 또는 2개의 기준점들 사이의 중간지점에 최근접하는지를 판정하는 단계를 더 구비하는 것을 특징으로 하는 방법.
  10. 의료 시술 동안 환자 해부체 내부의 의료 장치를 트래킹하는 의료 시스템으로서,
    가요성 기구 상의 한 지점에 관한 트래킹 데이터를 제공하도록 되어 있는, 센서를 포함하는 가요성 기구;
    환자 해부체의 이미지들을 저장하는 메모리; 및
    프로세서;
    를 구비하고,
    상기 프로세서는,
    환자 해부체의 저장 이미지들에서 연결된 해부학적 구조들을 식별하도록 구성되어 있고;
    연결된 해부학적 구조를 표현하는 복수의 연결 요소들을 생성하도록 구성되어 있고;
    연결된 해부학적 구조들 중 적어도 하나의 내부에 위치된 기구 상의 한 지점에 대응하는 트래킹 데이터를 수신하도록 구성되어 있고;
    기구 상의 한 지점을 복수의 연결 요소들 중 하나에 매칭시키도록 구성되어 있고; 그리고
    한 세트의 복수의 연결 요소들의 각 연결 요소 마다, 기구 상의 한 지점과 연결 요소의 해부학적 중심선 사이의 간격을 결정하도록 구성되어 있고;
    상기 프로세서는 기구 상의 한 지점의 위치 좌표에 최근접한 한 세트의 복수의 연결 요소들을 결정함으로써, 기구 상의 한 지점을 복수의 연결 요소들 중 하나에 매칭시키도록 추가로 구성;되어 있는 것을 특징으로 하는 의료 시스템.
  11. 제 10 항에 있어서,
    환자 해부체의 저장 이미지들은 수술 전에 기록된 의료 이미지들을 포함하는 것을 특징으로 하는 의료 시스템.
  12. 제 10 항에 있어서,
    연결된 해부학적 구조들은 폐의 기도들을 포함하는 것을 특징으로 하는 의료 시스템.
  13. 삭제
  14. 삭제
  15. 제 10 항에 있어서,
    프로세서는 한 세트의 복수의 연결 요소들 중 최근접 연결 요소를 식별하도록 추가로 구성되어 있는 것을 특징으로 하는 의료 시스템.
  16. 제 15 항에 있어서,
    프로세서는 기구 상의 한 지점의 투영점을 최근접 연결 요소의 해부학적 중심선에 생성하도록 추가로 구성되어 있는 것을 특징으로 하는 의료 시스템.
  17. 제 16 항에 있어서,
    프로세서는 해부학적 중심선으로부터 반경방향으로 떨어진 투영점을 따라 스냅 지점을 식별하도록 추가로 구성되어 있는 것을 특징으로 하는 의료 시스템.
  18. 제 16 항에 있어서,
    프로세서는, 기구 상의 한 지점이 최근접 연결 요소를 지나는 해부학적 중심선의 2개의 기준점들 중 하나에 최근접하는지 또는 2개의 기준점들 사이의 중간지점에 최근접하는지를 판정하도록 추가로 구성되어 있는 것을 특징으로 하는 의료 시스템.
  19. 제 10 항에 있어서,
    프로세서는, 연결된 해부학적 구조들의 이미지 및 환자 해부체 내부의 기구 상의 한 지점의 이미지를 포함하는 합성 이미지를 생성하도록 추가로 구성되어 있는 것을 특징으로 하는 의료 시스템.
  20. 프로세서에 의해 수행되고, 의료 시술 동안 환자 해부체 내부의 의료 장치를 트래킹하는 방법으로서,
    한 세트의 환자 해부체의 연결된 통로의 이미지를 생성하는 단계;
    연결된 통로들에 대해 상대적인 한 지점의 위치를 지시하는 기구 상의 한 지점에 관한 위치 정보를 수신하는 단계로서, 각 연결된 통로는 환자 해부체의 상기 연결된 통로와 관련된 해부학적 중심선 주변에 형성되어 있는 단계;
    기구 상의 한 지점에 관한 조절된 위치 정보를 생성하는 단계로서, 한 세트의 환자 해부체의 연결된 통로를 연결식 경계 표면 요소들의 구조로서 모델링하는 것을 포함하는 단계;
    조절된 위치 정보로 조절된 기구 이미지를 생성하는 단계; 및
    한 세트의 연결된 통로의 이미지 및 조절된 기구 이미지를 포함하는 합성 이미지를 생성하는 단계;를 구비하고,
    상기 한 지점에 관한 조절된 위치 정보를 생성하는 단계는, 한 세트의 복수의 연결 요소들의 각 연결 요소 마다, 기구 상의 한 지점과 연결 요소의 해부학적 중심선 사이의 간격을 결정하는 단계; 및 기구 상의 한 지점의 위치 좌표에 최근접한 한 세트의 복수의 연결 요소들을 결정함으로써 기구 상의 한 지점을 복수의 연결 요소들 중 하나에 매칭하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
  21. 제 20 항에 있어서,
    한 세트의 연결된 통로의 이미지를 생성하는 단계는, 수술 전 의료 이미지들을 컴퓨터 메모리 장치에 수신하는 단계를 포함하는 것을 특징으로 하는 방법.
  22. 제 20 항에 있어서,
    기구 상의 한 지점에 관한 위치 정보를 수신하는 단계는, 기구 상의 한 지점을 환자 해부체의 연결된 통로들 중 하나의 외부에 위치시키는 위치 정보를 수신하는 단계를 포함하는 것을 특징으로 하는 방법.
  23. 제 20 항에 있어서,
    기구 상의 한 지점에 관한 위치 정보를 수신하는 단계는, 기구 상의 한 지점을 연결된 통로들 중 하나에 위치시키는 위치 정보를 수신하는 단계를 포함하는 것을 특징으로 하는 방법.
  24. 제 20 항에 있어서,
    기구 상의 한 지점에 관한 조절된 위치 정보를 생성하는 단계는, 연결식 경계 표면 요소들의 구조에서, 최근접 연결식 경계 표면 요소를 식별하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  25. 제 24 항에 있어서,
    기구 상의 한 지점에 관한 조절된 위치 정보를 생성하는 단계는, 기구 상의 한 지점에 관한 위치 정보를, 최근접 연결식 경계 표면 요소의 벽 상의 한 위치로 변경시키는 단계를 더 포함하는 것을 특징으로 하는 방법.
KR1020147030358A 2012-05-14 2013-05-13 축소된 탐색 공간을 이용하여 의료 장치를 조정하는 시스템 및 방법 KR102214145B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261646654P 2012-05-14 2012-05-14
US61/646,654 2012-05-14
PCT/US2013/040775 WO2013173227A1 (en) 2012-05-14 2013-05-13 Systems and methods for registration of a medical device using a reduced search space
US13/892,871 US10299698B2 (en) 2012-05-14 2013-05-13 Systems and methods for registration of a medical device using a reduced search space
US13/892,871 2013-05-13

Publications (2)

Publication Number Publication Date
KR20150017326A KR20150017326A (ko) 2015-02-16
KR102214145B1 true KR102214145B1 (ko) 2021-02-09

Family

ID=49549153

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147030358A KR102214145B1 (ko) 2012-05-14 2013-05-13 축소된 탐색 공간을 이용하여 의료 장치를 조정하는 시스템 및 방법

Country Status (6)

Country Link
US (6) US10154800B2 (ko)
EP (2) EP2849670B1 (ko)
JP (1) JP6386998B2 (ko)
KR (1) KR102214145B1 (ko)
CN (2) CN109452930B (ko)
WO (1) WO2013173227A1 (ko)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218847B2 (en) 2008-06-06 2012-07-10 Superdimension, Ltd. Hybrid registration method
JP6386998B2 (ja) 2012-05-14 2018-09-05 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 制限された探索空間を使用した医療装置のレジストレーションのためのシステム及び方法
US10039473B2 (en) 2012-05-14 2018-08-07 Intuitive Surgical Operations, Inc. Systems and methods for navigation based on ordered sensor records
WO2013173229A1 (en) 2012-05-14 2013-11-21 Intuitive Surgical Operations Systems and methods for deformation compensation using shape sensing
US20140267330A1 (en) * 2013-03-14 2014-09-18 Volcano Corporation Systems and methods for managing medical image data for multiple users
US9592095B2 (en) 2013-05-16 2017-03-14 Intuitive Surgical Operations, Inc. Systems and methods for robotic medical system integration with external imaging
CN105939647B (zh) * 2013-10-24 2020-01-21 奥瑞斯健康公司 机器人辅助腔内外科手术***及相关方法
JP6431678B2 (ja) * 2014-03-20 2018-11-28 オリンパス株式会社 挿入形状検出装置
US10912523B2 (en) 2014-03-24 2021-02-09 Intuitive Surgical Operations, Inc. Systems and methods for anatomic motion compensation
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
US9974525B2 (en) 2014-10-31 2018-05-22 Covidien Lp Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
EP3037056B1 (en) 2014-12-23 2021-04-21 Stryker European Holdings I, LLC System for reconstructing a trajectory of an optical fiber
US10716525B2 (en) 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
US10702226B2 (en) 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10674982B2 (en) 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US9652862B1 (en) * 2015-10-23 2017-05-16 Wisconsin Alumni Research Foundation System and method for dynamic device tracking using medical imaging systems
US10827930B2 (en) * 2016-02-26 2020-11-10 Niramai Health Analytix Pvt Ltd Privacy booth for breast cancer screening
US20180049808A1 (en) * 2016-08-17 2018-02-22 Covidien Lp Method of using soft point features to predict breathing cycles and improve end registration
AU2017340607B2 (en) * 2016-10-05 2022-10-27 Nuvasive, Inc. Surgical navigation system and related methods
CN110167477B (zh) * 2017-02-01 2023-12-29 直观外科手术操作公司 图像引导手术的配准***和方法
US11793579B2 (en) 2017-02-22 2023-10-24 Covidien Lp Integration of multiple data sources for localization and navigation
JP6745748B2 (ja) * 2017-03-16 2020-08-26 富士フイルム株式会社 内視鏡位置特定装置、その作動方法およびプログラム
US10699448B2 (en) 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
US10893843B2 (en) 2017-10-10 2021-01-19 Covidien Lp System and method for identifying and marking a target in a fluoroscopic three-dimensional reconstruction
US11116420B2 (en) 2017-12-26 2021-09-14 Biosense Webster (Israel) Ltd. Monitoring distance to selected anatomical structures during a procedure
WO2019134898A1 (en) 2018-01-02 2019-07-11 Koninklijke Philips N.V. Animated position display of an oss interventional device
US10930064B2 (en) 2018-02-08 2021-02-23 Covidien Lp Imaging reconstruction system and method
US10905498B2 (en) 2018-02-08 2021-02-02 Covidien Lp System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
US10893842B2 (en) 2018-02-08 2021-01-19 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US11373330B2 (en) * 2018-03-27 2022-06-28 Siemens Healthcare Gmbh Image-based guidance for device path planning based on penalty function values and distances between ROI centerline and backprojected instrument centerline
WO2019222395A1 (en) * 2018-05-16 2019-11-21 Intuitive Surgical Operations, Inc. System and method for hybrid control using eye tracking
WO2019231891A1 (en) 2018-05-31 2019-12-05 Auris Health, Inc. Path-based navigation of tubular networks
US11705238B2 (en) 2018-07-26 2023-07-18 Covidien Lp Systems and methods for providing assistance during surgery
US11071591B2 (en) 2018-07-26 2021-07-27 Covidien Lp Modeling a collapsed lung using CT data
US11944388B2 (en) 2018-09-28 2024-04-02 Covidien Lp Systems and methods for magnetic interference correction
US11877806B2 (en) 2018-12-06 2024-01-23 Covidien Lp Deformable registration of computer-generated airway models to airway trees
US11045075B2 (en) 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
US11801113B2 (en) 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
US11617493B2 (en) 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
US10973579B2 (en) 2018-12-28 2021-04-13 Industrial Technology Research Institute Optical system
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
US11564751B2 (en) 2019-02-01 2023-01-31 Covidien Lp Systems and methods for visualizing navigation of medical devices relative to targets
US11925333B2 (en) 2019-02-01 2024-03-12 Covidien Lp System for fluoroscopic tracking of a catheter to update the relative position of a target and the catheter in a 3D model of a luminal network
US11744643B2 (en) 2019-02-04 2023-09-05 Covidien Lp Systems and methods facilitating pre-operative prediction of post-operative tissue function
US11819285B2 (en) 2019-04-05 2023-11-21 Covidien Lp Magnetic interference detection systems and methods
US11269173B2 (en) 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
US11931111B2 (en) 2019-09-09 2024-03-19 Covidien Lp Systems and methods for providing surgical guidance
US11864935B2 (en) 2019-09-09 2024-01-09 Covidien Lp Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures
US11627924B2 (en) 2019-09-24 2023-04-18 Covidien Lp Systems and methods for image-guided navigation of percutaneously-inserted devices
CN111685895B (zh) * 2019-10-29 2021-07-20 成都博恩思医学机器人有限公司 一种手术机器人的手术器械类型自动识别***
US11380060B2 (en) 2020-01-24 2022-07-05 Covidien Lp System and method for linking a segmentation graph to volumetric data
US11847730B2 (en) 2020-01-24 2023-12-19 Covidien Lp Orientation detection in fluoroscopic images
US11950950B2 (en) 2020-07-24 2024-04-09 Covidien Lp Zoom detection and fluoroscope movement detection for target overlay
WO2022146996A1 (en) * 2020-12-30 2022-07-07 Intuitive Surgical Operations, Inc. Systems for updating a graphical user interface based upon intraoperative imaging
US20230053189A1 (en) * 2021-08-11 2023-02-16 Terumo Cardiovascular Systems Corporation Augmented-reality endoscopic vessel harvesting
WO2023183806A1 (en) * 2022-03-24 2023-09-28 Intuitive Surgical Operations, Inc. Systems for planning and providing navigation guidance for anatomic lumen treatment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050182295A1 (en) * 2003-12-12 2005-08-18 University Of Washington Catheterscope 3D guidance and interface system
US20070001879A1 (en) 2005-06-22 2007-01-04 Siemens Corporate Research Inc System and Method For Path Based Tree Matching
JP2007531543A (ja) 2003-07-11 2007-11-08 シーメンス　メディカル　ソリューションズ　ユーエスエー　インコーポレイテッド 内視鏡的パスプランニングのための方法及びシステム
WO2012035492A1 (en) 2010-09-15 2012-03-22 Koninklijke Philips Electronics N.V. Robotic control of an endoscope from blood vessel tree images

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5920319A (en) * 1994-10-27 1999-07-06 Wake Forest University Automatic analysis in virtual endoscopy
WO1998036236A1 (en) 1997-02-13 1998-08-20 Super Dimension Ltd. Six-degree tracking system
GB9713018D0 (en) 1997-06-20 1997-08-27 Secr Defence Optical fibre bend sensor
DE10117751A1 (de) 2001-04-09 2002-11-21 Siemens Ag Modellierung von Momentanzuständen medizinischer Objekte in Abhängigkeit von zumindest einer Messgröße
EP2380487B1 (en) * 2002-04-17 2021-03-31 Covidien LP Endoscope structures for navigating to a target in branched structure
JP4009639B2 (ja) * 2002-07-31 2007-11-21 オリンパス株式会社 内視鏡装置、内視鏡装置のナビゲーション方法、内視鏡画像の表示方法、及び内視鏡用画像表示プログラム
US6892090B2 (en) 2002-08-19 2005-05-10 Surgical Navigation Technologies, Inc. Method and apparatus for virtual endoscopy
WO2005000101A2 (en) 2003-06-12 2005-01-06 University Of Utah Research Foundation Apparatus, systems and methods for diagnosing carpal tunnel syndrome
JP4022192B2 (ja) * 2003-10-31 2007-12-12 オリンパス株式会社 挿入支援システム
WO2005055496A2 (en) * 2003-11-26 2005-06-16 Viatronix Incorporated System and method for optimization of vessel centerlines
US20070142749A1 (en) 2004-03-04 2007-06-21 Oussama Khatib Apparatus for medical and/or simulation procedures
US20060013523A1 (en) 2004-07-16 2006-01-19 Luna Innovations Incorporated Fiber optic position and shape sensing device and method relating thereto
DE102004043695B4 (de) * 2004-09-09 2006-09-28 Siemens Ag Verfahren zur einfachen geometrischen Visualisierung tubulärer anatomischer Strukturen
US7912260B2 (en) 2004-11-29 2011-03-22 Koninklijke Philips Electronics N. V. Multi-component vessel segmentation
EP1832223B1 (en) 2004-12-27 2017-10-25 Olympus Corporation Medical image processing apparatus, and medical image processing method
US8611983B2 (en) 2005-01-18 2013-12-17 Philips Electronics Ltd Method and apparatus for guiding an instrument to a target in the lung
EP1851720B1 (en) * 2005-02-11 2009-07-29 Koninklijke Philips Electronics N.V. Method of automatic extraction of the pulmonary artery tree from 3d medical images
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
JP4822142B2 (ja) * 2006-05-02 2011-11-24 国立大学法人名古屋大学 内視鏡挿入支援システム及び内視鏡挿入支援方法
US8270693B2 (en) 2007-04-03 2012-09-18 M2S Anatomical visualization and measurement system
EP2193499B1 (en) * 2007-10-01 2016-07-20 Koninklijke Philips N.V. Detection and tracking of interventional tools
US20110093243A1 (en) 2007-11-14 2011-04-21 Tawhai Merryn H Method for multi-scale meshing of branching biological structures
US10388066B2 (en) * 2008-02-12 2019-08-20 Covidien Lp Controlled perspective guidance method
US8219179B2 (en) * 2008-03-06 2012-07-10 Vida Diagnostics, Inc. Systems and methods for navigation within a branched structure of a body
US8270694B2 (en) 2008-04-23 2012-09-18 Aditya Koolwal Systems, methods and devices for correlating reference locations using image data
JP5372407B2 (ja) * 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
US20120069167A1 (en) * 2009-05-18 2012-03-22 Koninklijke Philips Electronics N.V. Marker-free tracking registration and calibration for em-tracked endoscopic system
US8675940B2 (en) * 2009-10-27 2014-03-18 Siemens Aktiengesellschaft Generation of moving vascular models and blood flow analysis from moving vascular models and phase contrast MRI
US20110184238A1 (en) * 2010-01-28 2011-07-28 The Penn State Research Foundation Image-based global registration system and method applicable to bronchoscopy guidance
CN102740755B (zh) * 2010-02-22 2015-04-22 奥林巴斯医疗株式会社 医疗设备
US8526699B2 (en) * 2010-03-12 2013-09-03 Siemens Aktiengesellschaft Method and system for automatic detection and classification of coronary stenoses in cardiac CT volumes
EP2599033B1 (en) 2010-07-29 2021-03-31 Sync-RX, Ltd. Co-use of endoluminal data and extraluminal imaging
US8764683B2 (en) * 2010-12-29 2014-07-01 Mediguide Ltd. Medical device guidewire with a position sensor
US8827934B2 (en) 2011-05-13 2014-09-09 Intuitive Surgical Operations, Inc. Method and system for determining information of extrema during expansion and contraction cycles of an object
US8900131B2 (en) 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
WO2013029644A1 (en) 2011-08-26 2013-03-07 Brainlab Ag Method or determining the shape of a surgical instrument and surgical instrument having a deformable body
CN102949240B (zh) * 2011-08-26 2014-11-26 高欣 一种影像导航肺部介入手术***
US8948487B2 (en) 2011-09-28 2015-02-03 Siemens Aktiengesellschaft Non-rigid 2D/3D registration of coronary artery models with live fluoroscopy images
WO2013173229A1 (en) 2012-05-14 2013-11-21 Intuitive Surgical Operations Systems and methods for deformation compensation using shape sensing
WO2013173234A1 (en) 2012-05-14 2013-11-21 Intuitive Surgical Operations Systems and methods for registration of a medical device using rapid pose search
US10039473B2 (en) 2012-05-14 2018-08-07 Intuitive Surgical Operations, Inc. Systems and methods for navigation based on ordered sensor records
JP6386998B2 (ja) 2012-05-14 2018-09-05 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 制限された探索空間を使用した医療装置のレジストレーションのためのシステム及び方法
EP2983578B1 (en) * 2013-04-12 2018-09-26 Koninklijke Philips N.V. Shape sensed ultrasound probe for fractional flow reserve simulation
US11471082B2 (en) 2017-12-13 2022-10-18 Medtronic Minimed, Inc. Complex redundancy in continuous glucose monitoring

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007531543A (ja) 2003-07-11 2007-11-08 シーメンス　メディカル　ソリューションズ　ユーエスエー　インコーポレイテッド 内視鏡的パスプランニングのための方法及びシステム
US20050182295A1 (en) * 2003-12-12 2005-08-18 University Of Washington Catheterscope 3D guidance and interface system
US20070001879A1 (en) 2005-06-22 2007-01-04 Siemens Corporate Research Inc System and Method For Path Based Tree Matching
WO2012035492A1 (en) 2010-09-15 2012-03-22 Koninklijke Philips Electronics N.V. Robotic control of an endoscope from blood vessel tree images

Also Published As

Publication number Publication date
US20130303894A1 (en) 2013-11-14
WO2013173227A1 (en) 2013-11-21
US20220151508A1 (en) 2022-05-19
EP2849670A4 (en) 2016-08-17
US11266327B2 (en) 2022-03-08
US20240049980A1 (en) 2024-02-15
CN104302241B (zh) 2018-10-23
US11737682B2 (en) 2023-08-29
CN104302241A (zh) 2015-01-21
US20190175060A1 (en) 2019-06-13
JP6386998B2 (ja) 2018-09-05
EP2849670B1 (en) 2019-03-27
US11375919B2 (en) 2022-07-05
KR20150017326A (ko) 2015-02-16
CN109452930B (zh) 2021-10-29
EP3524184B1 (en) 2021-02-24
CN109452930A (zh) 2019-03-12
EP2849670A1 (en) 2015-03-25
US10299698B2 (en) 2019-05-28
US20190320937A1 (en) 2019-10-24
US20130303890A1 (en) 2013-11-14
US10154800B2 (en) 2018-12-18
JP2015519130A (ja) 2015-07-09
EP3524184A1 (en) 2019-08-14

Similar Documents

Publication Publication Date Title
US11737682B2 (en) Systems and methods for registration of a medical device using a reduced search space
JP6976303B2 (ja) 介入器具を追跡するための形状センサーシステム及びこのシステムの使用方法
JP7133582B2 (ja) 介入処置計画のためのシステム及び方法
KR102171520B1 (ko) 형상 감지를 이용하여 변형을 보정하는 시스템들 및 방법들
EP3182921B1 (en) Systems and methods for adaptive input mapping
KR20210156301A (ko) 중재 도구의 가상 항행을 위한 조직의 비강체 변형을 위한 시스템 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant