KR20170038012A - 수술중 세그먼트화를 위한 시스템 및 방법 - Google Patents

수술중 세그먼트화를 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20170038012A
KR20170038012A KR1020177005109A KR20177005109A KR20170038012A KR 20170038012 A KR20170038012 A KR 20170038012A KR 1020177005109 A KR1020177005109 A KR 1020177005109A KR 20177005109 A KR20177005109 A KR 20177005109A KR 20170038012 A KR20170038012 A KR 20170038012A
Authority
KR
South Korea
Prior art keywords
model
anatomy
patient
instrument
data
Prior art date
Application number
KR1020177005109A
Other languages
English (en)
Inventor
타오 자오
빈센트 두인담
케이틀린 큐 도노위
티모씨 디 소퍼
페데리코 바바글리
Original Assignee
인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 filed Critical 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority to KR1020227015532A priority Critical patent/KR20220065894A/ko
Publication of KR20170038012A publication Critical patent/KR20170038012A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

방법은 의료 기구로 환자의 해부구조를 항행하는 단계로서, 의료 기구는 감지 도구를 포함하는, 항행 단계를 포함한다. 방법은 기구의 위치를 환자의 해부구조의 모델과 관련시키는 단계를 더 포함한다. 방법은, 환자의 해부구조를 항행하면서, 감지 도구에 의해 획득된 데이터에 기초하여 모델을 갱신하는 단계를 더 포함한다.

Description

수술중 세그먼트화를 위한 시스템 및 방법{SYSTEMS AND METHODS FOR INTRAOPERATIVE SEGMENTATION}
본 특허 출원은 2014년 7월 28일자로 출원된 "SYSTEMS AND METHODS FOR INTRAOPERATIVE SEGMENTATION"라는 제목의 미국 가특허 출원 62/029927의 출원일의 이익 및 우선권을 주장하며, 그 전문이 본원에 참조로 통합된다.
본 개시내용은 세그먼트화라 칭하는 처리를 사용하여 환자의 해부구조의 모델을 형성하는 시스템 및 방법, 더 구체적으로는 의료 기구에 의한 환자의 해부구조 항행 중의 세그먼트화를 위한 시스템 및 방법에 관한 것이다.
최소 침습 의료 기술은 의료 절차 동안 손상되는 조직의 양을 감소시켜 환자 회복 시간, 불편함 및 유해한 부차적 효과를 감소시키는 것을 목적으로 한다. 이런 최소 침습 기술은 환자 해부구조 내의 자연적 구멍을 통해 또는 하나 이상의 수술 절개부를 통해 수행될 수 있다. 임상의는 목표 조직 위치에 도달할 때까지 이들 자연적 구멍이나 절개부를 통해 의료 도구를 삽입할 수 있다. 의료 도구는 치료 기구, 진단 기구 및 수술 기구 같은 기구를 포함한다. 목표 조직 위치에 도달하기 위해, 최소 침습 의료 도구는 폐, 결장, 장, 신장, 심장, 순환 계통 등 같은 해부 계통 내에서 자연적으로 또는 수술적으로 생성된 통로를 항행할 수 있다.
영상 안내형 수술 처리는 전형적으로 환자의 목표 해부구조의 몇몇 유형의 수술전 영상화의 실행을 포함한다. 예를 들어, 자기 공명 영상화(MRI) 영상 또는 컴퓨터 단층촬영(CT) 영상을 획득할 수 있다. 수동적 및/또는 컴퓨터 소프트웨어-기반 처리를 통해, 영상은 색, 밀도, 강도, 및 질감 같은 소정의 특징 또는 계산된 특성을 공유하는 세그먼트(예를 들어, 픽셀 또는 복셀)로 구획된다. 이 세그먼트화 처리에 의해 획득된 영상에 기초하여 목표 해부구조의 모델을 형성하는 2차원 또는 3차원 재구성이 이루어진다. 모델을 나타내기 위해서, 세그먼트화 처리는 목표 해부구조를 나타내는 복셀의 세트를 표시할 수 있고 그 후 복셀을 둘러싸는 3D 표면을 획득하기 위해 마칭 큐브(marching cube) 기능 같은 기능을 적용할 수 있다.
세그먼트화는 특히 해부구조 통로를 모델링하는데 유용할 수 있다. 세그먼트화 처리 후, 획득된 모델은 환자 해부구조의 세그먼트화된 통로를 통해 의료 기구를 항행시키기 위해 사용될 수 있다. 일부 경우에, 환자의 해부구조 내의 다양한 분기부는 세그먼트화 처리에 의해 적절히 세그먼트화되지 않을 수 있다. 예를 들어, 환자 해부구조 내에 존재하는 일부 통로는 모델로부터 생략될 수 있다. 또는, 세그먼트화 처리는 실제로 존재하지 않는 분기부의 존재를 나타낼 수 있다. 따라서, 환자 해부구조 위치로의 항행을 위한 모델을 사용하는 의료 기구의 의사 또는 조작자는 모델의 부정확성에 의해 방해받을 수 있다. 이러한 문제를 회피하기 위해서, 정확한 세그먼트화 능력을 갖는 것이 바람직하다.
본 발명의 실시예는 아래에 따라오는 청구항에 의해 요약된다.
일 실시예에서, 방법은 감지 도구를 포함하는 의료 기구로 환자의 해부구조를 항행하는 단계를 포함한다. 방법은 기구의 위치를 환자의 해부구조의 모델과 관련시키는 단계를 더 포함한다. 방법은, 환자의 해부구조를 항행하면서, 감지 도구에 의해 획득된 데이터에 기초하여 모델을 갱신하는 단계를 더 포함한다.
다른 실시예에서, 방법은, 수술중 세그먼트화를 위해, 의료 기구의 감지 도구로, 해부구조를 통해 항행하면서 환자의 해부구조의 데이터를 획득하는 단계를 포함한다. 방법은 또한 데이터를 환자의 해부구조의 모델과 비교하는 단계를 더 포함한다. 방법은 데이터에 의해 규정되는 바와 같이 모델과 환자의 해부구조 사이에 차이가 있다고 결정되는 것에 응답하여 모델을 갱신하는 단계를 더 포함한다.
일 실시예에서, 컴퓨팅 시스템은, 프로세서, 및 프로세서에 의해 실행될 때, 시스템이 세그먼트화 기능을 환자의 해부구조의 3차원 영상에 적용하여 모델을 생성하게 하고, 환자의 해부구조를 항행하면서 의료 기구로부터 위치 데이터를 수신하게 하며, 기구의 위치를 모델과 정합시키게 하고, 의료 기구의 감지 도구로부터 환자의 해부구조에 관련된 데이터를 수신하게 하며, 모델과 환자의 해부구조 사이의 차이의 검출에 응답하여 모델을 갱신하게 하는 기계 판독가능 명령어를 포함하는 메모리를 포함한다.
일 실시예에서, 수술중 세그먼트화를 위한 방법은 의료 기구로 환자의 해부구조를 항행하는 단계로서, 의료 기구는 감지 도구를 포함하는, 항행 단계를 포함한다. 방법은 기구의 위치를 일반적 해부구조 모델과 관련시키는 단계를 더 포함한다. 방법은, 환자의 해부구조를 항행하면서, 감지 도구에 의해 획득된 데이터에 기초하여 환자의 해부구조를 매칭하기 위해 일반적 해부구조 모델을 갱신하는 단계를 더 포함한다.
일 실시예에서, 수술중 세그먼트화를 위한 방법은 의료 기구로 환자의 해부구조를 항행하는 단계로서, 의료 기구는 감지 도구를 포함하는, 항행 단계를 포함한다. 방법은, 환자의 해부구조를 항행하면서, 환자의 해부구조에 관련된 데이터를 획득하기 위해 감지 도구를 사용하는 단계를 더 포함한다. 방법은 데이터에 기초하여 실시간으로 환자의 해부구조의 모델을 구성하는 단계를 더 포함한다. 방법은 기구의 위치를 모델과 관련시키는 단계를 더 포함한다.
첨부 도면과 함께 읽으면 하기의 상세한 설명으로부터 본 발명의 양태를 가장 잘 이해할 수 있다. 산업계의 표준 관례에 준하여, 다양한 특징은 축척대로 그려진 것이 아님을 강조한다. 사실, 다양한 특징의 치수는 설명의 명료성을 위해 임의적으로 증가 또는 감소될 수 있다. 또한, 본 개시내용은 다양한 예에서 참조 번호 및/또는 문자를 반복사용할 수 있다. 이러한 반복은 간결성 및 명료성을 위한 것이며, 그 자체가 설명되는 다양한 실시예 및/또는 구성 사이의 관계를 규정하고 있는 것은 아니다.
도 1은 본원에 기재된 원리의 일례에 따른 예시적인 원격작동 의료 시스템을 도시하는 도면이다.
도 2는 본원에 기재된 원리의 일례에 따른 내시경 가시화 시스템을 포함하는 예시적인 의료 기구 시스템을 도시하는 도면이다.
도 3a는 본원에 기재된 원리의 일례에 따른 모델 환자 해부구조를 도시하는 도면이다.
도 3b는 본원에 기재된 원리의 일례에 따른 환자의 해부구조의 내시경 기구로부터의 영상을 도시하는 도면이다.
도 4a는 본원에 기재된 원리의 일례에 따른 예시적인 목표 해부구조를 도시하는 도면이다.
도 4b는 본원에 기재된 원리의 일례에 따른 목표 해부구조의 예시적인 모델 해부구조를 도시하는 도면이다.
도 4c는 해부구조 세그먼트화를 위한 예시적인 방법을 도시하는 흐름도이다.
도 5는 본원에 기재된 원리의 일례에 따른 모델에 대한 수술중 변경을 도시하는 도면이다.
도 6a는 본원에 기재된 원리의 일례에 따른 시간적 위치 정보에 기초한 모델을 위한 추가적인 통로의 검출을 도시하는 도면이다.
도 6b는 본원에 기재된 원리의 일례에 따른 공간적 위치 정보에 기초한 모델을 위한 추가적인 통로의 검출을 도시하는 도면이다.
도 7은 본원에 기재된 원리의 일례에 따른 취득된 일련의 표면 점에 기초한 모델을 위한 추가적인 통로의 검출을 도시하는 도면이다.
도 8은 본원에 기재된 원리의 일례에 따른 수술중 세그먼트화를 위한 예시적인 방법을 도시하는 흐름도이다.
본 개시내용의 원리의 이해를 촉진하는 목적으로, 이제 도면에 예시된 실시예를 참조하며, 특정 언어를 사용하여 이를 설명한다. 그러나, 본 개시내용의 범주에 대한 어떠한 제한도 의도하지 않는다는 것을 이해할 것이다. 본 발명의 양태에 대한 이하의 상세한 설명에서는, 개시된 실시예에 대한 완전한 이해를 제공하기 위해 다수의 특정 세부사항을 기재하고 있다. 그러나, 통상의 기술자는 이들 특정 세부사항 없이도 본 개시내용의 실시예를 실시할 수 있다는 것을 명백히 알 수 있을 것이다. 다른 경우에, 본 발명의 실시예의 양태를 불필요하게 모호하게 하지 않도록 잘 알려진 공지된 방법, 절차, 구성요소 및 회로는 상세히 설명되지 않는다.
본 개시내용이 관련되는 기술에 대한 통상의 기술자가 일반적으로 안출할 수 있는 바와 같은 설명된 장치, 기구, 방법에 대한 임의의 변경과 추가적 변형, 그리고, 본 개시내용의 원리에 대한 임의의 추가적 응용이 완전히 고려된다. 특히, 일 실시예에 관하여 설명된 특징, 구성요소 및/또는 단계는 본 개시내용의 다른 실시예에 관하여 설명된 특징, 구성요소 및/또는 단계와 조합될 수 있는 것으로 완전히 고려된다. 또한, 본 명세서에 제공된 치수는 특정 예를 위한 것이며, 본 개시 내용의 개념을 구현하기 위해 다른 크기, 치수 및/또는 비율이 사용될 수 있는 것으로 고려된다. 불필요한 설명 반복을 피하기 위해, 하나의 예시적 실시예에 준하여 설명된 하나 이상의 구성요소 또는 작용은 다른 예시적 실시예에 사용될 수 있거나 가능하다면 다른 예시적 실시예로부터 생략될 수 있다. 간결성을 위해, 이들 조합의 다수의 반복은 별도로 설명하지 않는다. 단순성을 위해, 일부 경우, 동일 또는 유사 부분을 나타내기 위해 도면 전반에 걸쳐 동일한 참조 번호가 사용된다.
이하의 실시예는 3차원 공간에서의 그 상태에 관하여 다양한 기구 및 기구의 부분을 설명한다. 본 명세서에서 사용될 때, 용어 "위치"는 3차원 공간의 대상물 또는 대상물의 일부의 위치를 지칭한다(예를 들어, 카르테시안 X, Y, Z 좌표를 따른 3개 병진 자유도). 본 명세서에서 사용될 때, 용어 "배향"은 대상물 또는 대상물의 일부의 회전 배치를 지칭한다(3개 회전 자유도-예를 들어, 롤, 피치 및 요). 본 명세서에서 사용될 때, 용어 "자세"는 적어도 하나의 병진 자유도에서의 대상물 또는 대상물의 일부의 위치와 적어도 하나의 회전 자유도에서의 대상물 또는 대상물의 일부의 배향을 지칭한다(총 6개 자유도까지). 본 명세서에서 사용될 때, 용어 "형상"은 대상물을 따라 측정된 일련의 자세, 위치 또는 배향을 지칭한다.
도면 중 도 1을 참조하면, 예를 들어, 진단, 치료 또는 수술 절차를 포함하는 의료 절차에 사용하기 위한 원격작동 의료 시스템은 전체가 참조 번호 100으로 표시되어 있다. 설명될 바와 같이, 본 개시내용의 원격작동 의료 시스템은 의사의 원격작동 제어 하에 있다. 대안 실시예에서, 원격작동 의료 시스템은 절차 또는 하위절차를 수행하도록 프로그램된 컴퓨터의 부분적 제어 하에 있다. 또 다른 대안 실시예에서, 절차 또는 하위절차를 수행하도록 프로그램된 컴퓨터의 완전한 제어 하에서 완전 자동식 의료 시스템이 절차 또는 하위절차를 수행하기 위해 사용될 수 있다.
도 1에 도시된 바와 같이, 원격작동 시스템(100)은 일반적으로 환자(P)에 대한 다양한 절차의 수행시 의료 기구 시스템(104)을 작동시키기 위해 원격작동 조립체(102)를 포함한다. 조립체(102)는 환자(P)가 위치되어 있는 수술 테이블(O)에 또는 그 부근에 장착된다. 의료 기구 시스템(104)은 원격작동 조립체(102)에 작동식으로 결합된다. 조작자 입력 시스템(106)은 의사 또는 다른 유형의 임상의(S)가 수술 부위를 나타내는 영상을 관찰하고 의료 기구 시스템(104)의 작동을 제어할 수 있게 한다.
대안 실시예에서, 원격작동 시스템은 하나보다 많은 조작 조립체를 포함할 수 있다. 조작 조립체의 정확한 수는 다른 요인들 중에서 수술 절차 및 수술실 내의 공간 제약에 의존한다.
조작자 입력 시스템(106)은 수술 테이블(O)과 동일한 실내에 일반적으로 위치하는 의사의 콘솔(C)에 위치할 수 있다. 그러나, 의사(S)는 환자(P)와는 완전히 다른 건물에 또는 다른 실내에 위치할 수 있다는 것을 이해하여야 한다. 조작자 입력 시스템(106)은 일반적으로, 의료 기구 시스템(104)을 제어하기 위한 하나 이상의 제어 장치(들)를 포함한다. 제어 장치(들)는 임의의 수의 다양한 입력 장치, 예컨대, 핸드 그립, 조이스틱, 트랙볼, 데이터 글러브, 트리거-건, 수조작식 제어기, 음성 인식 장치, 터치 스크린, 신체 운동 또는 존재 센서 등 중 하나 이상을 포함할 수 있다. 일부 실시예에서, 제어 장치(들)는 의사가 수술 부위에 존재하는 것 처럼 직접적으로 기구를 제어하는 강한 느낌을 갖도록 제어 장치(들)가 기구와 일체라는 인식인 원격현존감을 의사에게 제공하도록 원격작동 조립체의 의료 기구와 동일한 자유도를 갖는다. 다른 실시예에서, 제어 장치(들)는 관련 의료 기구보다 더 많거나 더 적은 자유도를 가질 수 있고, 여전히 의사에게 원격현존감을 제공할 수 있다. 일부 실시예에서, 제어 장치(들)는 수동 입력 장치이고, 이는 6개 자유도로 이동하고, 또한, 기구를 작동시키기 위한(예를 들어, 파지 조오를 폐쇄하고, 전극에 전기 전위를 제공하고, 의료 처치를 전달하는 등을 위한) 작동가능한 손잡이를 포함할 수 있다.
원격작동 조립체(102)는 의료 기구 시스템(104)을 지지하고, 하나 이상의 비-서보 제어 링크(예를 들어, 일반적으로 셋-업 구조라 지칭되는 제 위치에 수동으로 위치설정 및 로킹되는 하나 이상의 링크)의 운동학적 구조와 원격작동 조작기를 포함할 수 있다. 원격작동 조립체(102)는 제어 시스템(예를 들어, 제어 시스템(112))으로부터의 명령에 응답하여 의료 기구 시스템(104) 상의 입력부를 구동하는 복수의 작동기 또는 모터를 포함한다. 모터는 의료 기구 시스템(104)에 결합될 때 자연적으로 또는 수술적으로 생성된 해부구조 구멍 내로 의료 기구를 전진시킬 수 있는 구동 시스템을 포함한다. 다른 전동 구동 시스템이 다수의 자유도로 의료 기구의 원위 단부를 이동시킬 수 있고, 이러한 자유도는 3개 선형 운동도(예를 들어, X, Y, Z 카르테시안 축을 따른 선형 운동) 및 3개 회전 운동도(예를 들어, X, Y, Z 카르테시안 축을 중심으로 한 회전)를 포함할 수 있다. 추가적으로, 모터는 생검 장치 등의 조오 내에 조직을 파지하기 위한 기구의 관절작동식 엔드 이펙터를 작동시키기 위해 사용될 수 있다.
원격작동 의료 시스템(100)은 또한 원격작동 조립체의 기구에 대한 정보를 수신하기 위한 하나 이상의 하위시스템을 갖는 센서 시스템(108)을 포함한다. 이런 하위시스템은 위치 센서 시스템(예를 들어, 전자기(EM) 센서 시스템); 기구 시스템(104)의 가요성 본체를 따른 하나 이상의 세그먼트 및/또는 카테터 팁의 위치, 배향, 속력, 속도, 자세 및/또는 형상을 결정하기 위한 형상 센서; 및/또는 카테터 시스템의 원위 단부로부터 영상을 포착하기 위한 가시화 시스템을 포함할 수 있다.
가시화 시스템(예를 들어, 도 2의 가시화 시스템(231))은 수술 부위의 동시적 또는 실시간 영상이 의사 콘솔(C)에 제공되도록 관찰경 조립체(이하에서 더 상세히 설명됨)를 포함할 수 있다. 동시 영상은 예를 들어 수술 부위 내에 위치설정된 내시경에 의해 포착된 2차원 또는 3차원 영상일 수 있다. 이러한 실시예에서, 가시화 시스템은 의료 기구(104)에 일체로 또는 제거가능하게 결합된 내시경 구성요소를 포함한다. 그러나, 대안 실시예에서, 별도의 조작자 조립체에 부착된 별도의 내시경이 수술 부위를 영상화하기 위해 의료 기구와 함께 사용될 수 있다. 가시화 시스템은 제어 시스템(112)(후술됨)의 프로세서를 포함할 수 있는 하나 이상의 컴퓨터 프로세서와 상호작용하거나 다른 방식으로 그에 의해 실행되는 하드웨어, 펌웨어, 소프트웨어 또는 그 조합으로서 구현될 수 있다.
또한, 원격작동 의료 시스템(100)은 센서 시스템(108)의 하위시스템에 의해 생성된 의료 기구 시스템(들)(104)과 수술 부위의 영상 또는 표현을 표시하기 위한 디스플레이 시스템(110)을 포함한다. 디스플레이(110) 및 조작자 입력 시스템(106)은 원격현존감을 인식하면서 조작자가 의료 기구 시스템(104) 및 조작자 입력 시스템(106)을 제어할 수 있도록 배향될 수 있다.
디스플레이 시스템(110)은 또한 가시화 시스템에 의해 포착된 의료 기구 및 수술 부위의 영상을 표시할 수 있다. 디스플레이(110) 및 제어 장치는 의료 기구와 스코프 조립체의 영상화 장치의 상대 위치가 의사의 눈과 손의 상대 위치와 유사하여 조작자가 실질적으로 진정한 현존감을 갖고 작업개소를 관찰하는 것 처럼 손 제어 및 의료 기구(104)를 조작할 수 있도록 배향될 수 있다. 진정한 현존감이라는 것은 영상의 표현이 기구(104)를 물리적으로 조작하는 조작자의 관점을 모사하는 진정한 견지의 영상이라는 것을 의미한다.
대안적으로 또는 추가적으로, 디스플레이(110)는 컴퓨터 단층촬영(CT), 자기 공명 영상화(MRI), 형광투시법, 열상법, 초음파, 광학 간섭 단층촬영(OCT), 열 영상화, 임피던스 영상화, 레이저 영상화 또는 나노튜브 X-레이 영상화 같은 영상화 기술을 사용하여 수술전 모델링 및/또는 기록된 수술 부위의 영상을 표시할 수 있다. 표시된 수술전 영상은 2차원, 3차원 또는 4차원 영상을 포함할 수 있다. 표시된 수술전 또는 수술중 영상은 2차원, 3차원 또는 4차원(예를 들어, 시간 기반 또는 속도 기반 정보를 포함) 영상 및 영상을 재현하기 위한 관련 영상 데이터 세트를 포함할 수 있다.
일부 실시예에서, 디스플레이(110)는 기구(104)의 팁의 위치에서 내부 수술 부위의 가상 영상을 의사(S)에게 표시하기 위해 수술전 또는 동시적 영상과 의료 기구(104)의 실제 위치가 정합되는(즉, 동적으로 참조되는) 가상 항행 영상을 표시할 수 있다. 기구(104)의 팁의 영상 또는 다른 그래픽이나 영숫자 표시자가 의료 기구를 제어하는 의사를 돕기 위해 가상 영상 상에 중첩될 수 있다. 대안적으로, 기구(104)는 가상 영상 내에서 가시적이지 않을 수 있다.
다른 실시예에서, 디스플레이(110)는 의료 기구의 실제 위치가 수술전 또는 동시적 영상과 정합되어 의사(S)에게 외부 관점으로부터 수술 부위 내의 의료 기구의 가상 영상을 제시하는 가상 항행 영상을 표시할 수 있다. 의료 기구의 일부의 영상이나 다른 그래픽 또는 영숫자 표시자가 기구(104)를 제어하는 의사를 돕기 위해 가상 영상 상에 중첩될 수 있다.
원격작동 의료 시스템(100)은 또한 제어 시스템(112)을 포함한다. 제어 시스템(112)은 의료 기구 시스템(104), 조작자 입력 시스템(106), 센서 시스템(108) 및 디스플레이 시스템(110) 사이의 제어를 실행하기 위해 적어도 하나의 메모리와 적어도 하나의 프로세서(미도시), 통상적으로는 복수의 프로세서를 포함한다. 제어 시스템(112)은 또한 본 명세서에 개시된 양태에 따라 설명된 방법 중 일부 또는 모두를 이행하기 위해 프로그램된 명령어(예를 들어, 명령어를 저장하는 컴퓨터 판독가능 매체)를 포함한다. 제어 시스템(112)이 도 1의 단순화된 개요에서 단일 블록으로 도시되어 있지만, 시스템은 원격작동 조립체(102) 상에서 또는 그에 인접하여 선택적으로 처리의 일 부분이 수행되고, 조작자 입력 시스템(106)에서 처리의 일 부분이 수행되는 상태로 둘 이상의 데이터 처리 회로를 포함할 수 있다. 매우 다양한 중앙식 또는 분산식 데이터 처리 체계 중 임의의 것이 사용될 수 있다. 유사하게, 프로그램된 명령어는 다수의 별개의 프로그램이나 서브루틴으로서 구현될 수 있거나, 이들은 본 명세서에 설명된 원격작동 시스템의 다수의 다른 양태에 통합될 수 있다. 일 실시예에서, 제어 시스템(112)은 블루투스, IrDA, HomeRF, IEEE 802.11, DECT 및 무선 원격측정(Wireless Telemetry) 같은 무선 통신 프로토콜을 지원한다.
일부 실시예에서, 제어 시스템(112)은 의료 기구 시스템(104)으로부터 힘 및/또는 토크 피드백을 수신하는 하나 이상의 서보 제어기를 포함할 수 있다. 이 피드백에 응답하여, 서보 제어기는 조작자 입력 시스템(106)에 신호를 전송한다. 서보 제어기(들)는 또한 신체의 개구를 통해 환자 신체 내의 내부 수술 부위 내로 연장하는 의료 기구 시스템(들)(104)을 이동시키기 위해 원격작동 조립체(102)를 명령하는 신호를 전송할 수 있다. 임의의 적절한 종래의 또는 특수화된 서보 제어기가 사용될 수 있다. 서보 제어기는 원격작동 조립체(102)로부터 분리되거나 그와 통합될 수 있다. 일부 실시예에서, 서보 제어기 및 원격작동 조립체는 환자의 신체에 인접하게 위치된 원격작동 아암 카트의 일부로서 제공된다.
제어 시스템(112)은 의료 기구 시스템(들)(104)에 항행 보조를 제공하도록 가상 가시화 시스템을 추가로 포함할 수 있다. 가상 가시화 시스템을 사용하는 가상 항행은 해부구조 통로의 3차원 구조와 연계된 취득된 데이터세트에 대한 참조에 기초한다. 더 구체적으로, 가상 가시화 시스템은 컴퓨터 단층촬영(CT), 자기 공명 영상화(MRI), 형광투시법, 열상법, 초음파, 광학 간섭 단층촬영(OCT), 열 영상화, 임피던스 영상화, 레이저 영상화 또는 나노튜브 X-레이 영상화 같은 영상화 기술을 사용하여 영상화된 수술 부위의 영상을 처리할 수 있다. 기록된 영상을 부분적 또는 전체적 해부구조 장기 또는 해부구조 영역의 세그먼트화된 2차원 또는 3차원적 복합 표현으로 변환하기 위해 소프트웨어가 단독으로 또는 수동 입력과 조합되어 사용된다. 영상 데이터 세트는 복합 표현과 연계된다. 복합 표현 및 영상 데이터 세트는 통로의 다양한 위치와 형상 및 그 연결성을 설명한다. 복합 표현을 생성하기 위해 사용되는 영상은 임상 절차 동안 수술전에 또는 수술중에 기록될 수 있다. 대안 실시예에서, 가상 가시화 시스템은 표준 표현(즉, 환자 특이적이지 않음) 또는 표준 표현과 환자 특이적 데이터의 혼합을 사용할 수 있다. 복합 표현 및 복합 표현에 의해 생성된 임의의 가상 영상은 하나 이상의 운동 국면 동안(예를 들어, 폐의 흡기/호기 사이클 동안) 변형가능한 해부 영역의 정적 자세를 나타낼 수 있다.
가상 항행 절차 동안, 센서 시스템(108)은 환자 해부구조에 관한 기구의 근사 위치를 연산하기 위해 사용될 수 있다. 이 위치는 환자 해부구조의 매크로-레벨 추적 영상과 환자 해부구조의 가상 내부 영상 양자 모두를 생성하기 위해 사용될 수 있다. 가상 가시화 시스템으로부터의 것들 같은 수술전 기록된 수술 영상과 함께 의료 기구를 정합 및 표시하기 위해 광섬유 센서를 사용하기 위한 다양한 시스템이 공지되어 있다. 예를 들어, 미국 특허 출원 제13/107,562호(2011년 5월 13일자 출원)("Medical System Providing Dynamic Registration of a Model of an Anatomical Structure for Image-Guided Surgery"을 개시)가 이런 시스템을 개시하고 있으며, 그 전문은 본 명세서에 참조로 통합되어 있다.
원격작동 의료 시스템(100)은 조명 시스템, 조향 제어 시스템, 관주 시스템 및/또는 흡입 시스템 같은 선택적 작동 및 지원 시스템(미도시)을 추가로 포함할 수 있다. 대안 실시예에서, 원격작동 시스템은 하나보다 많은 원격작동 조립체 및/또는 하나보다 많은 조작자 입력 시스템을 포함할 수 있다. 조작 조립체의 정확한 수는 다른 요인들 중에서 수술 절차 및 수술실 내의 공간 제약에 의존한다. 조작자 입력 시스템은 함께 위치될 수 있거나, 이들은 별도의 위치에 위치될 수 있다. 다수의 조작자 입력 시스템은 한 명보다 많은 조작자가 다양한 조합으로 하나 이상의 조작 조립체를 제어할 수 있게 한다.
도 2는 원격작동 의료 시스템(100)의 의료 기구 시스템(104)으로서 사용될 수 있는 의료 기구 시스템(200)을 도시한다. 대안적으로, 의료 기구 시스템(200)은 비원격작동 탐색 절차 또는 내시경 같은 전통적인 수동 조작 의료 기구를 수반하는 잘차에 사용될 수 있다.
기구 시스템(200)은 기구 본체(204)에 연결된 카테터 시스템(202)을 포함한다. 카테터 시스템(202)은 근위 단부(217) 및 원위 단부 또는 팁 부분(218)을 갖는 세장형 가요성 카테터 본체(216)를 포함한다. 일 실시예에서, 가요성 본체(216)는 대략 3 mm의 외경을 갖는다. 다른 가요성 본체 외경은 더 크거나 더 작을 수 있다. 카테터 시스템(202)은 본체(216)를 따른 하나 이상의 세그먼트(224) 및/또는 원위 단부(218)의 카테터 팁의 위치, 배향, 속력, 속도, 자세 및/또는 형상을 결정하기 위한 형상 센서(222)를 선택적으로 포함할 수 있다. 원위 단부(218)와 근위 단부(217) 사이의 본체(216)의 전체 길이는 세그먼트(224)로 효과적으로 분할될 수 있다. 기구 시스템(200)이 원격작동 의료 시스템(100)의 의료 기구 시스템(104)인 경우, 형상 센서(222)는 센서 시스템(108)의 구성요소일 수 있다. 기구 시스템(200)이 비원격작동 절차를 위해 수동으로 조작되거나 다른 방식으로 사용되는 경우, 형상 센서(222)는 형상 센서에 질의를 하고 수신된 형상 데이터를 처리하는 추적 시스템(230)에 연결될 수 있다.
형상 센서(222)는 가요성 카테터 본체(216)와 정렬된(예를 들어, 내부 채널(미도시) 내에 제공되거나 외부적으로 장착된) 광섬유를 포함할 수 있다. 일 실시예에서, 광섬유는 약 200 ㎛의 직경을 갖는다. 다른 실시예에서, 이 치수는 더 크거나 더 작을 수 있다.
형상 센서 시스템(222)의 광섬유는 카테터 시스템(202)의 형상을 결정하기 위한 광섬유 굴곡 센서를 형성한다. 일 대안에서, 섬유 브래그 격자(Fiber Bragg Grating)(FBG)를 포함하는 광섬유가 하나 이상의 차원에서 구조의 변형 측정을 제공하기 위해 사용된다. 3차원으로 광섬유의 형상 및 상대적 위치를 감시하기 위한 다양한 시스템 및 방법은 미국 특허 출원 제11/180,389호(2005년 7월 13일자 출원)("Fiber optic position and shape sensing device and method relating thereto"를 개시); 미국 특허 출원 제12/047,056호(2004년 7월 16일자 출원)("Fiber-optic shape and relative position sensing"를 개시); 미국 특허 제6,389,187호(1998년 6월 17일자 출원)("Optical Fibre Bend Sensor"를 개시)에 개시되어 있으며, 이들 모두는 본 명세서에 그 전문이 참조로 통합되어 있다. 대안 실시예의 센서는 레일라이 산란, 라만 산란, 브릴로우니 산란 및 형광 산란 같은 다른 변형 감지 기술을 채용할 수 있다. 다른 대안 실시예에서, 카테터의 형상은 다른 기술을 사용하여 결정될 수 있다. 예를 들어, 카테터의 원위 팁 자세의 이력이 시간 간격에 걸쳐 장치의 형상을 재구성하기 위해 사용될 수 있다. 다른 예로서, 이력적 자세, 위치 또는 배향 데이터가 호흡 같은 교번적 운동의 사이클을 따라 기구 시스템의 알려진 지점에 대해 저장될 수 있다. 이 저장된 데이터는 카테터에 대한 형상 정보를 개선하기 위해 사용될 수 있다. 대안적으로, 카테터를 따라 위치된 EM 센서 같은 일련의 위치 센서가 형상 감지를 위해 사용될 수 있다. 대안적으로, 특히 해부 통로가 대체로 정적인 경우, 절차 동안 기구 시스템 상의 EM 센서 같은 위치 센서로부터의 데이터의 이력이 기구의 형상을 나타내기 위해 사용될 수 있다. 대안적으로, 외부 자기장에 의해 제어되는 위치 또는 배향을 갖는 무선 장치가 형상 감지를 위해 사용될 수 있다. 무선 장치의 위치의 이력은 항행된 통로를 위한 형상을 결정하기 위해 사용될 수 있다.
본 실시예에서, 광섬유는 단일 클래딩 내에 다수의 코어를 포함할 수 있다. 각 코어는 각 코어 내의 광이 다른 코어 내에서 운반되는 광과 현저히 상호작용하지 않도록 코어를 분리시키는 충분한 거리 및 클래딩을 구비하는 단일 모드식일 수 있다. 다른 실시예에서, 코어의 수가 변할 수 있거나, 각 코어가 별개의 광섬유에 수용될 수 있다.
일부 실시예에서, FBG의 어레이가 각 코어 내에 제공된다. 각 FBG는 굴절 지수에 공간적 주기성을 발생시키도록 코어의 굴절 지수에 대한 일련의 변조부를 포함한다. 간격은 각 지수 변화로부터의 부분적 반사가 좁은 파장 대역에 대해 간섭적으로 추가되고, 따라서 매우 더 넓은 대역을 통과시키고 이 좁은 파장 대역만을 반사하도록 선택될 수 있다. FBG의 제조 동안, 변조부는 알려진 거리만큼 이격되고, 그에 의해 알려진 파장 대역의 반사를 유발한다. 그러나, 섬유 코어에 변형이 유도될 때는, 코어 내의 변형량에 따라 변조부의 간격이 변한다. 대안적으로, 후방산란이나 광섬유의 굴곡과 함께 변하는 다른 광학 현상이 각 코어 내의 변형을 결정하기 위해 사용될 수 있다.
따라서, 변형을 측정하기 위해, 섬유 아래로 광이 보내지고, 복귀 광의 특성이 측정된다. 예를 들어, FBG는 섬유 상의 변형과 그 온도의 함수인 반사된 파장을 생성한다. 이 FBG 기술은 영국 브랙넬 소재의 Smart Fibres Ltd. 같은 다양한 출처로부터 상업적으로 입수할 수 있다. 원격작동 수술을 위한 위치 센서에서의 FBG 기술의 사용은 미국 특허 제7,930,065호(2006년 7월 20일자 출원)("Robotic Surgery System Including Position Sensors Using Fiber Bragg Gratings"을 개시)에 개시되어 있으며, 그 전문이 본 명세서에 참조로 통합되어 있다. 광섬유는 카테터 시스템(202)의 적어도 일부의 형상을 감시하기 위해 사용될 수 있다. 더 구체적으로, 광섬유를 통과하는 광은 카테터 시스템(202)의 형상을 검출하고 이 정보를 수술 절차를 돕기 위해 사용하도록 처리된다. 센서 시스템(예를 들어, 센서 시스템(108))은 카테터 시스템(202)의 형상을 결정하기 위해 사용되는 광을 발생 및 검출하기 위한 질의 시스템을 포함할 수 있다. 이 정보는 결국 의료 기구 시스템의 부품의 속도 및 가속도 등의 다른 관련 변수를 결정하기 위해 사용될 수 있다. 이러한 감지는 원격작동 시스템에 의해 작동되는 자유도에만 한정될 수 있거나, 수동적(예를 들어, 조인트 사이의 강성 부재의 비작동 굴곡) 및 능동적(예를 들어, 기구의 작동 이동) 자유도 양자 모두에 적용될 수 있다.
의료 기구 시스템은 위치 센서 시스템(220)을 선택적으로 포함할 수 있다. 위치 센서 시스템(220)은 외부 발생 전자기장에 노출될 수 있는 하나 이상의 전도성 코일을 포함하는 센서(220)를 갖는 EM 센서 시스템의 구성요소일 수 있다. EM 센서 시스템(220)의 각 코일은 외부 발생 전자기장에 대한 코일의 위치 및 배향에 의존하는 특징을 갖는 유도 전기 신호를 생성한다. 일 실시예에서, EM 센서 시스템은 6개 자유도, 예를 들어 베이스 지점의 피치, 요 및 롤을 나타내는 3개 배향 각 및 3개 위치 좌표(X, Y, Z), 또는 5개 자유도, 예를 들어 베이스 지점의 피치 및 요를 나타내는 2개 배향 각 및 3개 위치 좌표(X, Y, Z)를 측정하도록 구성 및 위치설정될 수 있다. EM 센서 시스템의 추가적인 설명이 미국 특허 제6,380,732호(1999년 8월 11일자 출원)("Six-Degree of Freedom Tracking System Having a Passive Transponder on the Object Being Tracked"을 개시)에 제공되며, 그 전문이 본원에 참조로 통합된다.
추적 시스템(230)은 기구(200)를 따른 하나 이상의 세그먼트(224) 및 원위 단부(218)의 위치, 배향, 속력, 자세, 및/또는 형상을 결정하기 위한 위치 센서 시스템(220) 및 형상 센서 시스템(222)을 포함할 수 있다. 추적 시스템(230)은 제어 시스템(116)의 프로세서를 포함할 수 있는 하나 이상의 컴퓨터 프로세서와 상호작용하거나 다른 방식으로 그에 의해 실행되는 하드웨어, 펌웨어, 소프트웨어 또는 그 조합으로서 구현될 수 있다.
가요성 카테터 본체(216)는 보조 기구(226)를 수용하도록 크기설정 및 형성되는 채널을 포함한다. 보조 기구는 예를 들어 영상 포착 프로브, 생검 기구, 레이저 제거 섬유, 또는 다른 수술적, 진단적, 또는 치료적 도구를 포함할 수 있다. 보조 도구는 스칼펠(scalpel), 무딘 블레이드, 광섬유, 또는 전극 같은 단일 작업 부재를 갖는 엔드 이펙터를 포함할 수 있다. 다른 엔드 이펙터는 예를 들어, 집게, 파지기, 가위, 또는 클립 어플라이어를 포함할 수 있다. 전기 활성화 엔드 이펙터의 예는 전기수술 전극, 트랜스듀서, 센서 등을 포함한다. 다양한 실시예에서, 보조 도구(226)는 표시를 위한 가시화 시스템(231)에 의해 처리되는 영상(비디오 영상을 포함)을 포착하기 위해 가요성 카테터 본체(216)의 원위 단부(218)에 또는 그 부근에 입체 또는 단안 카메라를 갖는 원위부를 포함하는 영상 포착 프로브일 수 있다. 영상 포착 프로브는 포착된 영상 데이터를 전송하기 위해 카메라에 연결되는 케이블을 포함할 수 있다. 대안적으로, 영상 포착 기구는 가시화 시스템에 연결되는 파이버스코프 같은 섬유광학 번들일 수 있다. 영상 포착 기구는 예를 들어 가시, 적외, 또는 자외 스펙트럼 중 하나 이상으로 영상 데이터를 포착하기 위해 단일 또는 다중 스펙트럼형일 수 있다.
보조 기구(226)는 기구의 원위 단부를 제어가능하게 굴곡시키기 위해 기구의 근위 단부와 원위 단부 사이에서 연장되는 케이블, 연동구, 또는 다른 작동 제어부(도시되지 않음)를 수용할 수 있다. 조향가능 기구가 미국 특허 제7,316,681호(2005년 10월 4일자 출원)("Articulated Surgical Instrument for Performing Minimally Invasive Surgery with Enhanced Dexterity and Sensitivity"를 개시) 및 미국 특허 출원 제12/286,644호(2008년 9월 30일자 출원)("Passive Preload and Capstan Drive for Surgical Instruments"를 개시)에 기재되어 있으며, 이들 전문은 본원에 참조로 통합된다.
가요성 카테터 본체(216)는, 예를 들어 원위 단부의 파선 묘사(219)에 의해 나타낸 바와 같이 원위 단부(218)를 제어가능하게 굴곡시키기 위해 하우징(204)과 원위 단부(218) 사이에서 연장되는 케이블, 연동구, 또는 다른 조향 제어부(도시되지 않음)를 수용할 수도 있다. 조향가능 카테터가 미국 특허 출원 제13/274,208호(2011년 10월 14일자 출원)("Catheter with Removable Vision Probe"를 개시)에 기재되어 있으며, 그 전문은 본원에 참조로 통합된다. 기구 시스템(200)이 원격작동 조립체에 의해 작동되는 실시예에서, 하우징(204)은 원격작동 조립체의 전동 구동 요소에 제거가능하게 연결되며 그로부터 동력을 수취하는 구동 입력부를 포함할 수 있다. 기구 시스템(200)이 수동적으로 작동되는 실시예에서, 하우징(204)은 기구 시스템의 운동을 수동적으로 제어하기 위한 파지 특징부, 수동 작동기, 또는 다른 구성요소를 포함할 수 있다. 카테터 시스템은 조향가능할 수 있거나, 대안적으로 카테터 시스템은 기구 굴곡의 조작자 제어를 위한 일체형 기구 없이 조향불가능할 수 있다. 또한 또는 대안적으로, 의료 기구가 통해서 전개될 수 있고 목표 수술 위치에서 사용될 수 있는 하나 이상의 루멘이 가요성 본체(216)의 벽에 형성된다.
다양한 실시예에서, 의료 기구 시스템(200)은 폐의 검사, 진단, 생검, 또는 치료에서 사용하기 위한 기관지경 또는 기관지 카테터 같은 가요성 기관지 기구를 포함할 수 있다. 시스템(200)은 또한, 결장, 장, 신장, 뇌, 심장, 순환 계통 등을 포함하는 다양한 해부구조 계통 중 임의의 것에 있어서의 자연적 또는 수술적으로 생성된 연결된 통로를 통해 다른 조직을 항행 또는 치료하는데 적합하다.
추적 시스템(230)으로부터의 정보는 항행 시스템(232)으로 전송될 수 있고, 항행 시스템에서 이는 수술전에 획득된 모델 및/또는 가시화 시스템(231)으로부터의 정보와 조합되어 의사 또는 다른 조작자에게 기구(200)의 제어에 사용하도록 디스플레이 시스템(110) 상에 실시간 위치 정보를 제공할 수 있다. 제어 시스템(116)은 기구(200)의 위치설정을 위한 피드백으로서 위치 정보를 사용할 수 있다. 수술 영상과 함께 수술 기구를 정합 및 표시하기 위해 광섬유 센서를 사용하기 위한 다양한 시스템은 미국 특허 출원 제13/107,562호에 제공되어 있으며 이 출원은 2011년 5월 13일자 출원되고, "Medical System Providing Dynamic Registration of a Model of an Anatomical Structure for Image-Guided Surgery"을 개시하고 있으며, 그 전문이 본 명세서에 참조로 통합되어 있다.
도 2의 실시예에서, 기구(200)는 원격작동 의료 시스템(100) 내에서 원격작동된다. 대안 실시예에서, 원격작동 조립체(102)는 직접 조작자 제어로 대체될 수 있다. 직접 작동 대안에서, 다양한 손잡이 및 조작자 인터페이스가 기구의 수조작 작동을 위해 포함될 수 있다.
도 3a는 폐 외부에서의 관점으로부터의 인간 폐(152)의 모델(151)을 포함하는 복합 영상(150)을 도시한다. 모델 폐(151)는 카테터 시스템(202) 같은 가요성 기구의 기구 영상(154)과 정합된다. 폐(152)의 모델(151)은 세그먼트화 처리를 사용하여 일련의 스캐닝된 영상(예를 들어, 수술전 CT 또는 MRI 영상)으로부터 생성될 수 있다. 복합 영상(150)은 디스플레이 시스템(110)을 통해 표시될 수 있다. 기구가 폐(152)의 기관지 통로(156)를 통해 전진될 때, 추적 시스템(230) 및/또는 가시화 시스템(231)으로부터의 정보가 모델 폐 영상(151)과 기구 영상(154)을 정합하기 위해 사용된다. 폐(152)의 모델(151)의 모습은 예를 들어, 흡기 또는 호기 상태로 폐를 도시하도록 변경될 수 있다. 기구 영상(154)은 기관지 통로(156)를 통한 기구의 전진 또는 후퇴를 도시하도록 변경될 수 있다.
도 3b는 기구의 관점으로부터 폐의 영역을 도시하는 인간 폐(152)의 내부 영상(160)이다. 영상(160)은 폐(152)의 도시된 부분에 위치되는 동안 기구에 의해 수술 절차 동안 취득된 동시적 영상일 수 있다. 더 구체적으로, 영상(160)은 가시화 시스템(231)에 의해 포착될 수 있다. 대안적으로, 영상(160)은 추적 시스템(230)에 의해 결정되는 바와 같은 기구(120)의 팁의 위치에 기초하여 선택된 수술전 기록 영상일 수 있다.
도 4a는 예시적인 목표 해부구조(400), 특히 환자의 폐를 도시하는 도면이다. 해부구조(400)는 모든 실제 분기부 및 분기 통로(156)를 포함하는 실제 환자의 폐를 나타낸다. 도 4b는 목표 해부구조의 예시적인 모델 해부구조(410)를 도시하는 도면이다. 모델(410)은 스캐닝된 영상의 복합체가 색, 강도, 및 질감 같은 소정의 특징 또는 계산된 특성을 공유하는 세그먼트(예를 들어, 픽셀 또는 복셀)로 구획되는 세그먼트화 처리를 통해 생성된다. 이 세그먼트화 처리에 의해 모델(410)을 형성하는 2차원 또는 3차원 재구성이 이루어질 수 있다. 모델을 나타내기 위해서, 세그먼트화 처리는 목표 해부구조를 나타내는 복셀의 세트를 표시할 수 있고 그 후 복셀을 둘러싸는 3D 표면을 획득하기 위해 마칭 큐브 기능 같은 기능을 적용할 수 있다. 일부 예에서, 세그먼트화 기능의 사용 없이 직접적으로 3차원 입체 데이터를 표시하기 위해서 입체 렌더링이 사용될 수 있다. 이것은 또한 잠재적으로 확률 세그먼트화 결과를 표시하기 위해 사용될 수 있다. 예를 들어, 마스크의 값에는 확률 결과를 나타내는 0과 1 사이의 수가 할당될 수 있다.
일 특정 예에서, 도 4c에 도시된 바와 같이, 세그먼트화 방법(450)은 환자 CT 또는 MRI 스캔으로부터 일련의 해부구조 영상을 획득하는 단계의 처리(452)를 포함한다. 처리(454)에서는, 일련의 해부구조 영상의 3차원 편집으로부터 마스크 모델이 생성된다. 예를 들어, 해부구조 통로는 제1 값(예를 들어, 1)을 기도에 할당하고 제2 값(예를 들어, 0)을 주변 조직에 할당함으로써 주변 조직으로부터 구별될 수 있다. 특정 영역이 통로 또는 주변 조직의 영역인지를 확실하게 결정할 수 없을 경우에는, 확률 값(예를 들어, 1 또는 0 이외의 어떤 값)이 불확정 영역에 할당될 수 있다. 처리(456)에서, 세그먼트화된 통로의 메시 모델이 생성될 수 있다. 메시 모델의 생성의 추가적인 상세사항은 미국 가특허 출원 제61/935,547호(2014년 2월 4일자 출원)("Systems and Methods for Non-rigid Deformation of Tissue for Virtual Navigation of Interventional Tools"를 개시)에 기재되어 있으며, 이 전문은 참조로 본원에 통합된다. 처리(458)에서, 미국 가특허 출원 제61/935,547호의 추가적인 상세사항에 기재된 바와 같이 메시 모델로부터 연결된 트리 구조가 생성될 수 있다.
이상적으로는, 모델(410) 내의 기관지 통로(157)는 환자 해부구조(400)의 실제 기관지 통로(156)와 일치할 것이다. 그러나, 모델(410)을 생성하기 위해 사용되는 종래의 세그먼트화 처리는 실제 해부구조와 정확히 일치하는 모델을 생성할 수 없다. 예를 들어, 세그먼트화 기능은 실제 해부구조(400)에 없는 추가적인 통로(404)를 갖는 모델을 생성할 수 있다. 이러한 부정확한 정보에 의존하는 경우, 임상의 또는 해부구조 항행 시스템은 의료 기구가 목표 조직에 도달하기 위해 존재하지 않는 통로를 통해 또는 그곳으로 항행할 것을 요구하는 절차를 계획할 수 있다. 임상의가 모델링된 통로(404)의 위치에 도달하고 실제로 통로가 존재하지 않는다는 것을 발견하면, 임상의는 목표 조직까지의 다른 접근을 계획해야만 할 수 있다. 일부 경우에, 세그먼트화 처리는 실제 해부구조 내에 존재하는 통로(402)를 렌더링하는데 실패할 수 있다. 이러한 부정확한 정보에 의존하는 경우, 임상의 또는 자동화된 항행 시스템은 의료 기구가 목표 조직에 도달하기 위해 항행하는 가장 효과적인 경로를 계획할 수 없다.
실제 해부구조(400)와 모델 해부구조(410) 사이의 차이는, 통로를 통해 의료 도구((예를 들어, 의료 기구(200)의 카테터(202))를 항행시키는 상태의 수술 작업 중에 발견될 수 있다. 이하에서 상세하게 설명되는 바와 같이, 실제 해부구조와 모델링된 해부구조 사이의 차이는 다양한 영상화 방법에 의해 또는 도구를 통로 내에 위치시키기 위한 위치설정 또는 시도에 의해 검출될 수 있다. 예를 들어, 해부구조(400)를 통해 도구를 항행시키는 상태에서, 도구는 모델(410)에 존재하지 않는 추가적인 통로(예를 들어, 통로(402))의 영상을 포착하고 그리고/또는 그 통로 내로 인입할 수 있다. 또는, 환자의 해부구조를 항행하는 동안, 도구는 카테터가 통과하고자 하는 통로(예를 들어, 통로(404))에 대한 개구부에 접근할 수 있다. 포착된 영상 또는 통로에의 인입의 불가능은 모델링된 통로가 없는 것임을 나타낼 수 있다. 본원에 기재된 원리에 따르면, 모델(410)은 모델(410)과 실제 해부구조(400) 사이의 불일치를 보정하기 위해 갱신될 수 있다.
도 5는 모델에 대한 수술중 변경을 도시하는 도면(500)이다. 도 5는 실제 해부구조(502) 및 모델 해부구조(504)를 도시한다. 본 예에 따르면, 의료 기구(506)가 통로(512)를 항행함에 따라, 대응하는 기구 영상(508)이 모델(504)에 중첩된다. 모델(504)은 실제 주 통로(512)에 대응하는 모델 주 통로(513)를 포함한다.
기구(506)가 통로(512)를 항행함에 따라, 추가적인 분기부(514)가 발견될 수 있다. 이 예에서, 추가적인 분기부(514)는 기구(506)를 통로 내로 삽입하기 전에 생성된 원래의 모델(504)에는 없다. 기구(506)는, 기구의 원위부에, 이하에 기재되는 다양한 방법 중 하나를 통해, 모델(504)에는 없는 추가적인 분기부(514)가 없음을 결정할 수 있는 센서(510)(예를 들어, 영상화 시스템 또는 위치 검출 시스템)를 포함할 수 있다. 파선은 실제 해부구조(502) 내의 추가적인 분기부(514)에 대응하는 모델 내의 새로운 분기부(515)를 나타낸다. 분기부(515)는 원래의 모델(504)의 일부가 아니기 때문에 새로운 분기부라 칭한다. 그러나, 발견된 후에 그리고 모델이 갱신된 후에, 새로운 분기부(515)는 모델 내에 존재하게 된다. 모델을 갱신하기 위해 사용되는 처리는 이하에서 더 상세하게 설명되는 바와 같이 추가적인 정보와 함께 세그먼트화 기능을 재적용하는 단계를 포함할 수 있다.
도 6a는 시간적으로 통합된 위치 정보에 기초한 모델에 대한 추가적인 통로의 검출을 도시하는 도면이다. 도 6b는 공간적으로 통합된 위치 정보에 기초한 모델에 대한 추가적인 통로의 검출을 도시하는 도면이다. 본 예에 따르면, 상술한 기구(200)와 유사할 수 있는 의료 기구(602)가 환자의 해부구조(600)를 항행한다. 의료 기구(602)는 기구의 원위부의 위치에 대한 시간 변화 값을 획득하기 위한 또는 기구의 세장형 부분의 모두 또는 일부 주위의 공간적인 정보를 획득하기 위한 센서 시스템(예를 들어, 센서 시스템(108))을 포함한다. 의료 기구로부터 획득된 시간적 또는 공간적 데이터가 기구가 모델에 의해 나타나지 않는 통로 내에 있거나 그 통로 내에 있었다는 것을 나타내는 경우, 모델은 획득된 데이터를 사용하여 갱신될 수 있다.
시간적 데이터는 의료 기구에 탑재되는 몇몇 다양한 유형의 위치 센서 중 하나 이상으로부터 획득될 수 있다. 의료 기구(예를 들어, 의료 기구의 원위 단부)의 위치에 대한 이러한 시간 변화 값은 의료 기구에 의해 횡단되는 경로를 나타내기 위해 통합될 수 있다. 본원에 기재된 원리에 따라 사용될 수 있는 한가지 유형의 위치 센서는 EM 위치 센서이다. EM 위치 센서는 환자 주위에 생성되는 전기 또는 자기 장을 이용한다. EM 위치 센서는 특정 점의 전기장을 측정함으로써 공간 내의 위치를 검출할 수 있다. 대안적으로, 위치 센서는 섬유광학 형상 센서일 수 있다. 섬유광학 형상 센서는 카테터의 길이를 따라 배치되는 광섬유를 포함한다. 광섬유는 섬유의 형상이 광학 신호에 기초하여 결정될 수 있도록 섬유를 통과한 광학 신호에 영향을 주는 격자를 포함한다. 추가적으로, 환자의 해부구조에 대한 섬유의 고정된 위치를 앎으로써, 그리고 섬유의 형상을 앎으로써, 섬유의 팁의 위치가 결정될 수 있다. 사용될 수 있는 다른 유형의 위치 센서는 형광투시 기반 위치 센서이다. 이러한 센서는 형광투시 영상에 의해 용이하게 검출되는 하나 이상의 마커를 포함한다. 대안적으로, 장치의 전체 형상은 형광투시 영상으로부터 형상을 추출할 수 있도록 그 주변에 대해 충분한 대비를 갖는다. 따라서, 형광투시는 마커의 사용 없이 행해질 수 있다. 따라서, 이러한 마크의 시간 변화 위치는 기구가 환자 내부에서 위치설정되고 이동하는 동안 환자의 형광투시 영상을 취함으로써 검출될 수 있다. 마커의 위치에 기초하여, 기구가 있으며 위치되어 있었던 곳이 결정될 수 있다. 임피던스 기반 위치 센서, 고주파 기반 위치 센서, 방사선 기반 위치 센서를 포함하는 다른 유형의 위치 센서가 또한 본원에 기재된 원리에 따라 사용될 수 있다. 추가적으로, 시간에 걸친 기구의 위치는 통로 내의 포착된 영상으로부터 추정되는 위치로부터 결정될 수 있다.
도 6a는, 기구가 주 통로(604)로부터 항행하여 원래의 모델 내에는 없는 추가적인 통로(606) 내로 인입됨에 따라 기구(602)로부터 획득된 시간적인 정보(608)를 나타낸다. 시간적인 정보(608)는 연속적인 시간 간격으로 기구의 별개의 위치를 나타낸다. 이 데이터는 추가적인 분기부의 존재를 나타낼 수 있다. 일부 예에서, 시간적인 정보는 환자의 해부구조의 주기적 운동에 의해 유발되는 도구의 임의의 주기적 운동을 고려하도록 여과될 수 있다. 예를 들어, 환자 호흡은 기구가 통해서 항행하는 기관지 통로의 주기적 이동을 유발할 수 있다.
공간적인 데이터는 의료 기구에 탑재되는 몇몇 다양한 유형의 위치 센서 중 하나 이상으로부터 획득될 수 있다. 공간적인 데이터는 하나의 시간값에서의 의료 기구의 몇몇 부분의 위치를 제공한다. 본원에 기재된 원리에 따라 사용될 수 있는 한가지 유형의 공간적인 데이터 센서는 해부구조 통로 내에 위치설정된 세장형 기구의 형상을 나타내는 광섬유 형상 센서이다. 다른 유형의 공간적인 데이터 센서는 장치를 따라 위치설정되는 다수의 위치 센서(예를 들어, EM 센서)이다. 다른 유형의 공간적인 데이터 센서는 형광투시 영상에 보여지는 장치의 형상 또는 의료 기구 상의 다수의 위치에 탑재된 일련의 형광투시 마커일 수 있다. 일련의 형광투시 마커의 각 영상은 해부구조 통로 내에 위치설정된 세장형 기구의 형상의 표시를 제공한다. 획득된 공간적인 데이터는 추가적인 통로(606)의 존재 및 형상의 표시를 제공할 수 있다. 일부 예에서, 위치 센서는 레이저 레인지 파인더, 비행시간(time of flight) 센서, OCT 센서, 또는 깊이 카메라를 포함할 수 있는 다양한 센서이다.
도 6b는, 기구(602)가 주 통로(604)로부터 항행하여 원래의 모델 내에는 없는 추가적인 통로(606) 내로 인입됨에 따라 기구(602)로부터 획득된 공간적인 정보(610)를 나타낸다. 공간적인 정보(610)는 하나의 시간 값에서의 기구의 형상 또는 일련의 위치 데이터의 위치를 나타낸다. 이 데이터는 추가적인 분기부의 존재를 나타낼 수 있다. 일부 예에서, 공간적인 정보는 환자의 해부구조의 주기적 운동에 의해 유발되는 도구의 임의의 주기적 운동을 고려하기 위해 여과될 수 있다. 예를 들어, 환자 호흡은 기구가 통해서 항행하는 기관지 통로의 주기적 이동을 유발할 수 있다.
시간적인 정보(608) 또는 공간적인 정보(610)는 다양한 방식으로 모델을 갱신하기 위해 사용될 수 있다. 예를 들어, 정보(608, 610)는 세그먼트화 마스크에 직접적으로 복셀을 추가하고 그 후 이들 복셀로부터 3차원 표면을 발생시키기 위해 사용될 수 있다. 다른 예에서, 정보(608, 610)는 사용자가 수동으로 행하여 원래 사용되었던 세그먼트화 알고리즘에 시드(seed)를 추가하기 위해 사용될 수 있다. 시드 위치는, 추가적인 통로로의 개구부가 해부구조 내에 위치하는 곳을 세그먼트화 알고리즘에 나타낸다. 이는 세그먼트화 알고리즘이 더 정확한 모델을 생성하도록 더 상세하게 또는 상이한 수준의 구별로 원래의 영상으로부터 특정 영역을 조사하게 한다.
도 7은 일련의 취득된 표면 점에 기초한 모델에 대한 추가적인 통로의 검출을 도시하는 도면이다. 본 예에 따르면, 상술한 기구(200)와 유사할 수 있는 의료 기구(702)가 환자의 해부구조(600)를 항행한다. 의료 기구(702)는 센서(예를 들어, 센서 시스템(108))일 수 있는 측정 장치(703), 기계적인 측정 장치, 및/또는 측정을 제공하기 위해 외부 영상화 시스템의 사용을 가능하게 하는 구성요소를 포함한다. 측정 장치(703)는 센서 주위의 환경에 대한 2차원 또는 3차원 데이터를 획득하기 위해 사용될 수 있다. 데이터는 센서의 원위측의 통로(706)의 표면 조직을 나타내는 데이터를 포함할 수 있다. 검출된 통로(706)가 모델에 의해 나타나지 않는 경우, 모델은 획득된 데이터를 사용하여 갱신될 수 있다.
다양한 영상화 기술이 의료 기구의 원위 단부 주위의 영역에 대한 실시간 정보를 취득하기 위해 사용될 수 있다. 일례에서, 측정 장치(703)는 기구의 원위 단부 부근에 장착된 비행시간 카메라이다. 비행시간 카메라는 광의 속력에 기초하여 거리를 측정할 수 있는 레인지 영상화 카메라 시스템이다. 구체적으로, 비행시간 카메라는 거리가 측정되는 특정 표면 및 카메라 사이에서의 광 신호의 비행시간을 측정한다. 따라서, 비행시간 카메라는 통로의 내면과 측정 장치(703) 사이의 거리를 결정할 수 있다.
일례에서, 측정 장치(703)는 조명된 해부구조 영역의 국소화된 2차원 영상의 시간적 일련을 획득하는 하나 이상의 위치 센서 및 표준 단안 내시경 카메라를 포함할 수 있다. 이들 영상은 위치 센서의 감시된 운동과 조합될 수 있다. 기구의 추적된 운동 및 영상의 사용을 통해, 통로(704)의 3차원 구조에 대한 정보가 획득될 수 있다. 일례에서, 카메라의 위치는 운동 기술로부터 구조를 사용하여 영상 그 자체로부터 결정될 수 있다. 이러한 기술은 일련의 2차원 영상으로부터 3차원 구조를 추정하는 것을 포함한다.
일례에서, 측정 장치(703)는 해부구조 내의 관심 영역 내로 플루오로-불투명(fluoro-opaque) 염료를 주입하기 위한 주입 시스템 및 유체 저장부를 포함할 수 있다. 그리고, 환자 외부의 형광투시 영상화 장치에 의해 염료가 주입된 영역의 다수의 2차원 슬라이스가 취해질 수 있다. 일부 경우에, 회전 X선 기반 영상화 장치가 염료가 주입된 영역의 영상을 취하기 위해 사용될 수 있다. 염료는 x-선 기반 영상화에 대해 더 양호한 대비를 제공하며 따라서 염료가 흐르는 통로의 더 정확한 묘사를 제공한다. 그 후 3차원 구조가 2차원 슬라이스 또는 회전 영상에 기초하여 확인될 수 있다.
일례에서, 측정 장치(703)는 레이저 스캐닝 장치 및 하나 이상의 위치 센서를 포함한다. 검출된 해부구조 점에 대한 레이저 스캐닝 장치로부터의 데이터는 기구의 원위 팁의 시간 기반 위치 및 배향에 기초하여 시간적으로 통합될 수 있다. 예를 들어, 카테터로부터 연장되는 섬유의 팁으로부터 진폭 변조 스캔(A-스캔)이 취해질 수 있다. A-스캔으로부터의 정보는 기구의 팁으로부터의 위치 및 배향 데이터를 사용하여 시간적으로 통합될 수 있다.
일례에서, 측정 장치(703)는 입체 영상화 시스템일 수 있다. 입체 내시경은 공간적으로 변위된 렌즈로부터 2개의 별개의 영상을 생성한다. 양 영상으로부터의 데이터를 관련시킴으로써, 3차원 데이터가 구성될 수 있다. 따라서, 입체 영상화 시스템은 기구(702)의 원위 단부 주위의 3차원 표면을 결정할 수 있다. 일례에서, 측정 장치(703)는 구조형 광 영상화 시스템일 수 있다. 예를 들어, 위치가 오프셋된 투영기가 카메라에 의해 보여지는 광 패턴을 투영한다. 이 정보가 3D 표면을 재구성하기 위해 사용된다.
일례에서, 측정 장치(703)는 혈관내 초음파(IVUS) 시스템일 수 있다. IVUS 시스템은 초음파 트랜스듀서와 주위 조직 사이의 거리를 측정하기 위해 초음파 신호를 사용할 수 있다. 기구(702)의 팁에 장착된 IVUS 프로브가 축 방향으로 초음파 신호를 방출함으로써 통로를 형성하는 3차원 표면 구조를 결정하도록 통로 내의 환경을 스캔하기 위해 사용될 수 있다. 일 대안적인 예에서, IVUS 프로브는 전방 대면 프로브일 수 있다. OCT, 또는 광학 간섭 단층촬영은 간섭계를 사용하여 미세 조직 구조를 측정하는 기술이다. 이것은 또한 해부구조 통로의 3D 표면을 측정하기 위한 레인지 파인더로서 사용될 수 있다.
일례에서, 측정 장치(703)는 도구 기반 측정 장치일 수 있다. 예를 들어, 생검 바늘이 프로브 및 다양한 표면 사이의 거리를 측정하도록 연장될 수 있다. 다수의 측정으로부터의 데이터가 기구가 통해서 항행하는 통로의 3차원 표면을 구성하기 위해 사용될 수 있다.
상술한 바와 같이 다양한 유형의 측정 장치를 사용하여 획득된 다양한 유형의 데이터가 세그먼트화 모델을 갱신하기 위해 다양한 방식으로 사용될 수 있다. 일례에서, 획득된 데이터는 3차원 점 군(point cloud)의 형태일 수 있다. 3차원 점 군은 관심 해부구조의 삼각 메시 또는 다른 3차원 표면 표현을 최적화하기 위해 사용될 수 있다. 일부 예에서, 3차원 데이터는 세그먼트화 마스크에 추가될 수 있는 복셀을 획득하기 위해 사용될 수 있다. 이는 관심 해부구조의 입체 표현을 허용한다. 일부 예에서, 획득된 데이터는 세그먼트화 기능을 위한 시드 점을 생성하기 위해 사용될 수 있다.
일부 예에서, 획득된 데이터는 추가적인 통로를 포함하지 않는 방식으로 모델을 갱신하기 위해 사용될 수 있다. 예를 들어, 획득된 데이터는 특정 통로가 모델 내의 대응하는 통로에 의해 나타나는 것보다 실제로 넓거나 좁다는 것을 나타낼 수 있다. 다른 예에서, 통로의 공간적인 특성은 변형으로 인한 모델에 대한 변경을 고려하여 변경될 수 있다. 따라서, 이러한 획득된 데이터는 의료 절차 동안 실시간으로 모델에 대해 다양한 변경을 행하거나 모델을 미세 조절하기 위해 사용될 수 있다.
도 8은 수술중 세그먼트화를 위한 예시적인 방법을 도시하는 흐름도이다. 본 예에 따르면, 방법은 수술전 처리(816) 및 수술중 처리(818)를 포함한다. 수술전 처리(816)를 위해, 방법(800)은 환자의 해부구조의 스캐닝된 영상을 생성하기 위한 처리(802)를 포함한다. 이는 다양한 스캐닝 기구의 사용을 통해 행해질 수 있다. 예를 들어, 스캐닝된 영상은 CT 스캔 또는 MRI 스캔에 의해 행해질 수 있다. 다른 영상화 시스템도 고려할 수 있다.
방법(800)은 모델을 생성하기 위해 스캐닝된 영상에 대해 세그먼트화 기능을 실행하는 처리(804)를 포함한다. 다양한 세그먼트화 기능이 모델을 생성하기 위해 사용될 수 있다. 세그먼트화 기능은 사용자에 의해 선택된 일련의 시드 점에 의존할 수 있다. 구체적으로, 임상의는 환자의 해부구조 내의 추가적인 분기부의 개구부를 나타내는 스캐닝된 영상 및 수동적으로 선택된 시드 점을 재검토할 수 있다.
일부 예에서, 세그먼트화 기능은 세그먼트화 처리 중에 발견된 잠재적인 기도에 확률값을 할당할 수 있다. 임계값 위의 확률값을 갖는 기도는 모델의 일부일 수 있다. 임계값 아래의 확률값을 갖는 기도는 모델의 일부가 아닐 수 있다. 그러나, 임계값 아래의 소정 범위 내의 확률값을 갖는 기도는 이하에서 더 상세하게 기재되는 바와 같이 모델을 조정하기 위해 사용될 수 있다.
수술중 처리(818)에 대해, 방법은 의료 기구에 의해 환자의 해부구조를 항행하는 처리(806)를 포함한다. 예를 들어, 수술의 최종 목표가 폐 생검을 실행하기 위해 목표 지점에 도달하는 것인 경우, 기구는 목표 지점에 대한 사전계획된 경로를 따라 안내될 수 있다. 처리(800)는 기구의 위치를 모델에 정합시키기 위한 처리(808)를 더 포함한다. 따라서, 기구가 환자의 해부구조를 통해 항행함에 따라, 기구의 영상은 모델에 관하여 대응하여 이동한다.
방법(800)은 환자의 해부구조와 모델 사이에 차이가 있는지를 결정하기 위한 처리(810)를 더 포함한다. 이는 상술한 방법 중 하나를 통해 행해질 수 있다. 예를 들어, 기구는 공간적 및 시간적 데이터를 획득하기 위한 센서를 포함할 수 있거나, 기구는 해부구조의 내부의 3차원 표면을 구성하기 위해 사용되는 측정을 획득할 수 있다. 이러한 데이터를 사용하면, 실제 해부구조가 모델에 일치하는지를 결정할 수 있다. 일부 경우에, 다수의 해부구조 특징이 분석될 수 있다. 예를 들어, 폐 내의 기도 및 동맥의 양자 모두가 임의의 차이를 결정하기 위해 모델과 비교될 수 있다. 추가적으로, 일부 경우에, 사용자 입력은 실제 환자의 해부구조와 모델 사이에 차이가 있는지를 결정하는데 도움을 줄 수 있다. 예를 들어, 의사는 카메라 또는 CT 영상으로부터 관찰된 바와 같은 동맥 또는 기도가 모델과 상이한지를 시각적으로 결정할 수 있다. 그 후 의사는 의심되는 차이의 위치를 나타낼 수 있다.
환자의 해부구조와 모델 사이에 차이가 있다고 결정되는 경우, 방법(800)은 모델을 갱신하기 위해 상이한 파라미터로 세그먼트화 기능을 재적용하기 위한 처리(812)를 포함한다. 예를 들어, 상이한 파라미터는 새로운 통로에 대응하는 새로운 시드 점일 수 있다. 이러한 시드 점은 통로의 존재 또는 부재의 제약조건을 나타낼 수 있다. 여러 파라미터는 다양한 통로의 알려진 길이 및 직경을 나타낼 수 있다. 그러나, 환자의 해부구조와 모델 사이에 실질적인 차이가 없다고 결정되는 경우, 방법은 통상적으로 동작을 계속하는 단계(814)를 포함한다.
일부 예에서, 환자의 해부구조가 호흡으로 인해 이동하고 있을 수 있기 때문에 모델과 감지된 환자의 해부구조 사이에 차이가 있는 경우가 있을 수 있다. 따라서, 차이가 환자의 해부구조와 모델 사이의 실제 차이에 관련되는지 여부, 또는 차이가 호흡 패턴으로 인한 기도의 이동에만 관련되는지를 결정하기 위해 호흡 사이클이 고려될 수 있다.
일부 예에서, 기도에 할당된 확률값은 모델이 변경되어야 하는지를 결정하는 것을 돕기 위해 사용될 수 있다. 예를 들어, 임계 확률값 아래의 특정 범위 내의 후도 기도에 추가적인 조사가 적용될 수 있다. 이러한 후보 기도가 실제 기도에 대응하는 것이 가능하기 때문에, 센서 데이터는 모델에서 변경이 이루어져야 하는지 여부를 결정하기 위해 확률 데이터와 조합될 수 있다. 추가적으로, 다양한 감지 기구에 신뢰도 계량이 적용될 수 있다. 예를 들어, 다양한 측정 장치가 다양한 수준의 정확도를 갖질 수 있다. 따라서, 다양한 유형의 측정 장치로부터의 데이터는 이들 측정 장치의 알려진 정확도에 기초하는 할당된 신뢰도 계량에 기초하여 가중될 수 있다.
일례에서, 수술전 단계는 환자의 관심 해부구조의 메타-모델을 포함할 수 있다. 메타-모델은 관심 해부구조의 일반적 비특정 환자 모델일 수 있다. 그리고, 관심 파라미터는 메타-모델을 실제 환자로 조율하기 위해 기구가 통로를 항행함에 따라 실시간으로 조정될 수 있다. 파라미터는 근원 분기부에 관한 길이, 직경, 상대 위치, 및 배향을 포함할 수 있다. 이러한 파라미터는 상술한 다양한 센서 및 기술을 사용하여 획득될 수 있다.
일례에서, 수술전 세그먼트화가 거의 실행되지 않거나 전혀 실행되지 않을 수 있다. 오히려, 세그먼트화는 절차 중에 실시간으로 행해질 수 있다. 구체적으로, 기구가 통로를 항행함에 따라, 세그먼트화 기능을 실행하기 위해 사용될 수 있는 데이터를 획득할 수 있고 절차 중에 모델을 생성할 수 있다. 따라서, 모델은 기구가 해부구조를 항행함에 따라 계속해서 개선된다. 이 경우, 목표에 이르는 경로는 모델이 변경됨에 따라 순응적으로 갱신될 수도 있다.
일부 예에서, 스캐닝된 영상에 기초한 환자의 해부구조의 모델로 시작하는 대신에, 일반적인 해부구조 모델이 사용될 수 있다. 폐를 항행하는 경우에, 공통의 인간 폐 구조를 나타내는 일반적인 모델을 사용할 수 있다. 기구의 감지 도구가 환자의 해부구조와 일반적인 해부구조 모델 사이의 차이를 검출함에 따라, 모델은 환자의 실제 해부구조에 정합하도록 갱신된다. 이는 상술한 기술을 사용하여 행해질 수 있다. 일부 예에서, 이는 일련의 계획된 경로 및 정지 위치를 갖는 것을 수반할 수 있다. 계획된 경로 및 정지 위치는 기도가 발견되기 쉬운 위치에 기초할 수 있다. 모델은 그 후 카테터가 계획된 경로를 따른 계획된 정지 위치로 이동함에 따라 측정 장치로부터의 데이터에 기초하여 갱신될 수 있다.
일부 예에서, 수술전 획득된 모델이 사용되지 않는다. 구체적으로, 모델은 기구가 통로를 항행함에 따라 구성될 수 있다. 예를 들어, 감지 도구는 환자의 해부구조에 관한 데이터를 획득하기 위해 사용될 수 있다. 이러한 데이터는 다양한 통로의 크기 및 형상을 포함할 수 있다. 그 후 환자의 해부구조의 모델이 데이터에 기초하여 실시간으로 구성될 수 있다. 기구의 위치는 모델 내의 기구의 영상과 정합되거나 관련될 수 있다.
일부 예에서, 다양한 측정 시스템에 의해 획득된 데이터는 모델을 갱신하기 전에 의료 기구의 조작자에게 선택적으로 전송될 수 있다. 모델에 분기부 또는 통로가 없다고 결정되는 경우, 기구의 조작자는 새로운 정보에 기초하여 정보를 받고 모델을 조정하는 것을 선택할 수 있거나 모델을 갱신하거나 갱신하지 않는 상태에서 계획된 절차를 조정하기 위해 새로운 정보를 사용하는 것을 선택할 수 있다. 대안적으로, 데이터는 환자의 실제 해부구조 내에 존재하지만 그 해부구조의 모델 내에는 존재하지 않는 추가적인 분기부 또는 통로의 존재에 기초하여 수술전 또는 메타-모델을 자동으로 검출 및 갱신하기 위해 분석될 수 있다. 구체적으로, 새롭게 발견된 분기부의 위치는 세그먼트화 기능을 위한 시드로서 사용될 수 있으며, 세그먼트화 기능이 재적용될 수 있다.
본 개시내용의 시스템 및 방법을 폐의 연결된 기관지 통로를 위해 사용할 수 있다. 이들 시스템 및 방법은 결장, 장, 신장, 뇌, 심장, 순환 계통 등을 포함하는 다양한 해부 계통 중 임의의 것에서의 자연적으로 또는 수술적으로 생성된 연결 통로를 통한 다른 조직의 항행 및 처치에도 적합하다. 본 개시내용의 방법 및 실시예는 비수술적 용례에도 적합할 수 있다.
본 발명의 실시예의 하나 이상의 요소는 제어 처리 시스템(112) 같은 컴퓨터 시스템의 프로세서에서 실행하기 위해 소프트웨어로 구현될 수 있다. 소프트웨어로 구현될 때, 본 발명의 실시예의 요소들은 본질적으로 필요한 임무를 실행하기 위한 코드 세그먼트이다. 전송 매체 또는 통신 링크에 의해 반송파로 구현되는 컴퓨터 데이터 신호에 의해 다운로드될 수도 있는 프로그램 또는 코드 세그먼트는 프로세서 판독가능 저장 매체 또는 장치에 저장될 수 있다. 프로세서 판독가능 저장 매체는 광학 매체, 반도체 매체, 및 자기 매체를 포함하는 정보를 저장할 수 있는 임의의 매체를 포함할 수 있다. 프로세서 판독가능 저장 매체는 전자 회로; 반도체 장치, 반도체 메모리 장치, 리드 온리 메모리(ROM), 플래시 메모리, 소거가능 프로그램가능 리드 온리 메모리(EPROM); 플로피 디스켓, CD-ROM, 광학 디스크, 하드 디스크, 또는 다른 저장 장치를 포함한다. 코드 세그먼트는 인터넷, 인트라넷 등 같은 컴퓨터 네트워크를 통해 다운로드될 수 있다.
나타낸 프로세스 및 디스플레이는 임의의 특정 컴퓨터 또는 다른 장치에 본질적으로 관련되지 않을 수 있다는 것을 유의하라. 다양한 범용 시스템이 본원의 교시에 따라 프로그램과 함께 사용될 수 있거나, 기술된 동작을 실행하기 위해 보다 특화된 장치를 구성하는 것이 편리할 수 있다. 다양한 이들 시스템의 요구된 구조는 청구항의 요소로서 나타날 것이다. 또한, 본 발명의 실시예는 임의의 특정 프로그래밍 언어와 관련하여 기술되지 않는다. 다양한 프로그래밍 언어가 본원에 기술된 바와 같은 본 발명의 교시를 실행하기 위해 사용될 수 있다는 것이 인식될 것이다.
본 발명의 임의의 예시적인 실시예를 설명하였고 첨부의 도면에 도시하였지만, 통상의 기술자는 다양한 다른 변형을 안출할 수 있기 때문에, 이러한 실시예는 광범위한 발명에 대한 예시일 뿐이고 제한적이지 않으며, 본 발명의 실시예는 도시되고 기술된 특정 구성 및 배치로 제한되지 않는다는 것이 이해될 것이다.

Claims (28)

  1. 수술중 세그먼트화를 위한 방법이며, 상기 방법은,
    의료 기구로 환자의 해부구조를 항행하는 단계로서, 의료 기구는 감지 도구를 포함하는, 항행 단계,
    의료 기구의 위치를 환자의 해부구조와 관련시키는 단계, 및
    환자의 해부구조를 항행하면서, 감지 도구에 의해 획득된 데이터에 기초하여 모델을 갱신하는 단계를 포함하는, 수술중 세그먼트화를 위한 방법.
  2. 제1항에 있어서, 감지 도구는 위치 센서를 포함하는, 수술중 세그먼트화를 위한 방법.
  3. 제2항에 있어서, 위치 센서는 형상 센서, 전자기 위치 센서, 형광-기반 시스템, 임피던스 센서, 레인지 센서, 및 카메라 중 적어도 하나를 포함하는, 수술중 세그먼트화를 위한 방법.
  4. 제1항에 있어서, 데이터는 공간적으로 통합된 데이터 및 시간적으로 통합된 데이터 중 적어도 하나를 포함하는, 수술중 세그먼트화를 위한 방법.
  5. 제1항에 있어서, 모델을 갱신하는 단계는 모델과 해부구조 사이의 차이를 검출하는 단계에 응답하여 발생하는, 수술중 세그먼트화를 위한 방법.
  6. 제5항에 있어서, 방법은 검출된 차이를 의료 기구의 조작자에게 전송하는 단계를 더 포함하는, 수술중 세그먼트화를 위한 방법.
  7. 제5항에 있어서, 차이는 의료 기구와 연관된 영상화 요소에 의해 수신된 데이터로부터의 영상 분석에 기초하여 자동으로 검출되는, 수술중 세그먼트화를 위한 방법.
  8. 제1항에 있어서, 모델을 갱신하는 단계는 모델과 해부구조 사이의 차이와 연관된 복셀을 추가적으로 추가하거나 제거하는 단계를 포함하는, 수술중 세그먼트화를 위한 방법.
  9. 제1항에 있어서, 모델을 갱신하는 단계는,
    세그먼트화 기능에 추가적인 시드를 추가하는 단계로서, 시트는 새롭게 발견된 통로에 대응하는, 추가 단계, 및
    세그먼트화 기능을 추가적인 시드에 재적용하는 단계를 포함하는, 수술중 세그먼트화를 위한 방법.
  10. 제1항에 있어서, 모델을 갱신하는 단계는 통로의 형상을 조정하는 단계를 포함하는, 수술중 세그먼트화를 위한 방법.
  11. 제10항에 있어서, 모델의 통로의 형상을 조정하는 단계는, 의료 기구의 측정 도구에 의해, 환자의 해부구조의 직경이 모델의 통로의 대응하는 직경과 상이하다고 결정하는 단계에 응답하여 행해지는, 수술중 세그먼트화를 위한 방법.
  12. 제1항에 있어서, 모델을 갱신하는 단계는 모델 내에 추가적인 통로를 추가하는 단계를 포함하는, 수술중 세그먼트화를 위한 방법.
  13. 제1항에 있어서, 모델을 갱신하는 단계는, 모델 내의 통로의 위치를 조정하는 단계 및 모델 내의 통로의 직경을 조정하는 단계 중 적어도 하나를 포함하는, 수술중 세그먼트화를 위한 방법.
  14. 수술중 세그먼트화를 위한 방법이며, 상기 방법은,
    의료 기구의 감지 도구에 의해, 해부구조를 통해 항행하면서 환자의 해부구조의 데이터를 획득하는 단계,
    데이터를 환자의 해부구조의 모델과 비교하는 단계, 및
    데이터에 의해 규정되는 바와 같이 모델과 환자의 해부구조 사이에 차이가 있다고 결정하는 단계에 응답하여 모델을 갱신하는 단계를 포함하는, 수술중 세그먼트화를 위한 방법.
  15. 제14항에 있어서, 모델은 환자의 해부구조의 영상에 세그먼트화 기능을 적용함으로써 획득되는, 수술중 세그먼트화를 위한 방법.
  16. 제15항에 있어서, 모델을 갱신하는 단계는, 추가적인 시드에 세그먼트화 기능을 재적용하는 단계로서, 추가적인 시드는 모델과 환자의 해부구조 사이의 차이에 기초하는, 재적용 단계를 포함하는, 수술중 세그먼트화를 위한 방법.
  17. 제15항에 있어서, 영상은 컴퓨터 단층촬영 스캔을 포함하는, 수술중 세그먼트화를 위한 방법.
  18. 제15항에 있어서, 영상은 자기 공명 영상화(MRI) 스캔을 포함하는, 수술중 세그먼트화를 위한 방법.
  19. 제14항에 있어서, 감지 도구는 카메라를 포함하며 데이터는 카메라에 의해 획득되는 2차원 영상의 시간적 연속물을 포함하는, 수술중 세그먼트화를 위한 방법.
  20. 제14항에 있어서, 감지 도구는 환자의 해부구조의 표면 표현을 생성하기 위해 점 군을 획득하기 위한 것인, 수술중 세그먼트화를 위한 방법.
  21. 제14항에 있어서, 데이터에 의해 규정되는 바와 같이 모델과 환자의 해부구조 사이에 차이가 있는지 여부를 결정하는 단계는 환자의 해부구조의 호흡 이동에 대해 고려하는 단계를 포함하는, 수술중 세그먼트화를 위한 방법.
  22. 수술 시스템이며,
    컴퓨팅 시스템을 포함하고, 컴퓨팅 시스템은,
    프로세서, 및
    기계 판독가능 명령어를 포함하는 메모리로서, 명령어는 프로세서에 의해 실행될 때 시스템이,
    모델을 생성하기 위해 환자의 해부구조의 3차원 영상에 세그먼트화 기능을 적용하게 하고,
    환자의 해부구조를 항행하면서 의료 기구로부터 위치 데이터를 수신하게 하고,
    기구의 위치를 모델과 정합시키게 하고,
    의료 기구의 감지 도구로부터 환자의 해부구조에 관련되는 데이터를 수신하게 하며,
    모델과 환자의 해부구조 사이의 차이를 검출하는 것에 응답하여 모델을 갱신하게 하는
    메모리를 포함하는, 수술 시스템.
  23. 제22항에 있어서, 차이는 모델 내에 존재하지 않는 환자의 해부구조 내의 통로를 포함하는, 수술 시스템.
  24. 제23항에 있어서, 모델을 갱신하기 위해서, 기계 판독가능 명령어는 추가로 시스템이 모델 내에 존재하지 않는 통로에 대응하는 새로운 시드를 사용하여 세그먼트화 기능을 재적용하게 하는, 수술 시스템.
  25. 제22항에 있어서, 감지 도구를 포함하는 의료 기구를 포함하는 카테터를 더 포함하는, 수술 시스템.
  26. 제25항에 있어서, 감지 도구는 비행시간 카메라, 위치 센서, 형광투시 주입 시스템, 레이저 스캐닝 장치, 혈관내 초음파 장치, 및 생검 도구 중 적어도 하나를 포함하는, 수술 시스템.
  27. 수술중 세그먼트화를 위한 방법이며, 상기 방법은,
    의료 기구로 환자의 해부구조를 항행하는 단계로서, 의료 기구는 감지 도구를 포함하는, 항행 단계,
    기구의 위치를 일반적 해부구조 모델과 관련시키는 단계, 및
    환자의 해부구조를 항행하면서, 감지 도구에 의해 획득된 데이터에 기초하여 환자의 해부구조를 매칭하기 위해 일반적 해부구조 모델을 갱신하는 단계를 포함하는, 수술중 세그먼트화를 위한 방법.
  28. 수술중 세그먼트화를 위한 방법이며, 상기 방법은,
    의료 기구로 환자의 해부구조를 항행하는 단계로서, 의료 기구는 감지 도구를 포함하는, 항행 단계,
    환자의 해부구조를 항행하면서, 환자의 해부구조에 관련된 데이터를 획득하기 위해 감지 도구를 사용하는 단계,
    데이터에 기초하여 실시간으로 환자의 해부구조의 모델을 구성하는 단계, 및
    기구의 위치를 모델과 관련시키는 단계를 포함하는, 수술중 세그먼트화를 위한 방법.
KR1020177005109A 2014-07-28 2015-07-17 수술중 세그먼트화를 위한 시스템 및 방법 KR20170038012A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227015532A KR20220065894A (ko) 2014-07-28 2015-07-17 수술중 세그먼트화를 위한 시스템 및 방법

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462029927P 2014-07-28 2014-07-28
US62/029,927 2014-07-28
PCT/US2015/040988 WO2016018646A1 (en) 2014-07-28 2015-07-17 Systems and methods for intraoperative segmentation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227015532A Division KR20220065894A (ko) 2014-07-28 2015-07-17 수술중 세그먼트화를 위한 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20170038012A true KR20170038012A (ko) 2017-04-05

Family

ID=55218185

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177005109A KR20170038012A (ko) 2014-07-28 2015-07-17 수술중 세그먼트화를 위한 시스템 및 방법
KR1020227015532A KR20220065894A (ko) 2014-07-28 2015-07-17 수술중 세그먼트화를 위한 시스템 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020227015532A KR20220065894A (ko) 2014-07-28 2015-07-17 수술중 세그먼트화를 위한 시스템 및 방법

Country Status (6)

Country Link
US (2) US11445934B2 (ko)
EP (2) EP4328856A3 (ko)
JP (2) JP6722652B2 (ko)
KR (2) KR20170038012A (ko)
CN (2) CN106714656B (ko)
WO (1) WO2016018646A1 (ko)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218847B2 (en) 2008-06-06 2012-07-10 Superdimension, Ltd. Hybrid registration method
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US9986983B2 (en) 2014-10-31 2018-06-05 Covidien Lp Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
US10674982B2 (en) 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10716525B2 (en) 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
US10702226B2 (en) 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
GB2557559B (en) * 2015-10-06 2021-09-15 Synaptive Medical Inc Method, system and apparatus for image-guided insertion of implant devices
EP3413830B1 (en) * 2016-02-12 2022-06-15 Intuitive Surgical Operations, Inc. Computer program for using registered fluoroscopic images in image-guided surgery
US11399895B2 (en) 2016-02-12 2022-08-02 Intuitive Surgical Operations, Inc. Systems and methods of pose estimation and calibration of perspective imaging system in image guided surgery
CN108024833B (zh) 2016-06-30 2021-06-04 直观外科手术操作公司 用于在图像引导过程期间显示引导信息的图形用户界面
KR102420386B1 (ko) 2016-06-30 2022-07-13 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스
KR20230031371A (ko) 2016-11-02 2023-03-07 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상 안내식 수술을 위한 연속 정치 시스템 및 방법
EP3538009A2 (en) * 2016-11-11 2019-09-18 Boston Scientific Scimed, Inc. Guidance systems and associated methods
CN110087576B (zh) 2017-01-09 2023-03-17 直观外科手术操作公司 用于在图像引导的程序中将细长装置配准到三维图像的***和方法
WO2018144698A1 (en) * 2017-02-01 2018-08-09 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided procedures
US11793579B2 (en) * 2017-02-22 2023-10-24 Covidien Lp Integration of multiple data sources for localization and navigation
EP3612121A4 (en) * 2017-04-18 2021-04-07 Intuitive Surgical Operations, Inc. GRAPHIC USER INTERFACE TO MONITOR AN IMAGE GUIDED PROCEDURE
US10699448B2 (en) 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
US10893843B2 (en) 2017-10-10 2021-01-19 Covidien Lp System and method for identifying and marking a target in a fluoroscopic three-dimensional reconstruction
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US10905498B2 (en) 2018-02-08 2021-02-02 Covidien Lp System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
US11364004B2 (en) 2018-02-08 2022-06-21 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US10930064B2 (en) 2018-02-08 2021-02-23 Covidien Lp Imaging reconstruction system and method
CN110831481B (zh) 2018-05-31 2022-08-30 奥瑞斯健康公司 管状网络的基于路径的导航
US20210259776A1 (en) * 2018-06-25 2021-08-26 Intuitive Surgical Operations, Inc. Hybrid simulation model for simulating medical procedures
US11705238B2 (en) 2018-07-26 2023-07-18 Covidien Lp Systems and methods for providing assistance during surgery
US11071591B2 (en) 2018-07-26 2021-07-27 Covidien Lp Modeling a collapsed lung using CT data
EP3626176B1 (de) * 2018-09-19 2020-12-30 Siemens Healthcare GmbH Verfahren zum unterstützen eines anwenders, computerprogrammprodukt, datenträger und bildgebendes system
US11944388B2 (en) 2018-09-28 2024-04-02 Covidien Lp Systems and methods for magnetic interference correction
CN112654295A (zh) * 2018-09-28 2021-04-13 深圳迈瑞生物医疗电子股份有限公司 超声诊断仪及超声检查模式的切换方法
US11877806B2 (en) * 2018-12-06 2024-01-23 Covidien Lp Deformable registration of computer-generated airway models to airway trees
US11045075B2 (en) 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
US11801113B2 (en) * 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
US11172184B2 (en) 2018-12-13 2021-11-09 Covidien Lp Systems and methods for imaging a patient
US11617493B2 (en) 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
EP3677211A1 (en) * 2019-01-03 2020-07-08 Siemens Healthcare GmbH Medical assistance device, system, and method for determining a deformation of a subject, computer program, corresponding computer-readable storage medium
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
US11564751B2 (en) 2019-02-01 2023-01-31 Covidien Lp Systems and methods for visualizing navigation of medical devices relative to targets
US11925333B2 (en) 2019-02-01 2024-03-12 Covidien Lp System for fluoroscopic tracking of a catheter to update the relative position of a target and the catheter in a 3D model of a luminal network
US11744643B2 (en) 2019-02-04 2023-09-05 Covidien Lp Systems and methods facilitating pre-operative prediction of post-operative tissue function
US11819285B2 (en) 2019-04-05 2023-11-21 Covidien Lp Magnetic interference detection systems and methods
CN110147586B (zh) * 2019-04-28 2022-03-22 江铃汽车股份有限公司 一种连杆组件linebore分析方法
US10820871B1 (en) 2019-08-09 2020-11-03 GE Precision Healthcare LLC Mobile X-ray imaging system including a parallel robotic structure
US11269173B2 (en) 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
US11931111B2 (en) 2019-09-09 2024-03-19 Covidien Lp Systems and methods for providing surgical guidance
US11864935B2 (en) 2019-09-09 2024-01-09 Covidien Lp Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures
US11627924B2 (en) 2019-09-24 2023-04-18 Covidien Lp Systems and methods for image-guided navigation of percutaneously-inserted devices
US11380060B2 (en) 2020-01-24 2022-07-05 Covidien Lp System and method for linking a segmentation graph to volumetric data
US11847730B2 (en) 2020-01-24 2023-12-19 Covidien Lp Orientation detection in fluoroscopic images
US11974818B2 (en) * 2020-04-28 2024-05-07 Smith & Nephew, Inc. Surgical tracking methods and fiber optic shape sensing devices thereof
US20210378759A1 (en) * 2020-06-03 2021-12-09 Covidien Lp Surgical tool navigation using sensor fusion
US11950950B2 (en) 2020-07-24 2024-04-09 Covidien Lp Zoom detection and fluoroscope movement detection for target overlay
US11974881B2 (en) * 2020-08-26 2024-05-07 GE Precision Healthcare LLC Method and system for providing an anatomic orientation indicator with a patient-specific model of an anatomical structure of interest extracted from a three-dimensional ultrasound volume
WO2022234431A1 (en) * 2021-05-06 2022-11-10 Covidien Lp Endoscope navigation system with updating anatomy model
US20220354380A1 (en) * 2021-05-06 2022-11-10 Covidien Lp Endoscope navigation system with updating anatomy model
CN113456225B (zh) * 2021-07-22 2022-03-29 皖南医学院第一附属医院（皖南医学院弋矶山医院） 一种气道管理导航方法及***
WO2023026528A1 (ja) * 2021-08-26 2023-03-02 ソニーグループ株式会社 手術システム、制御方法、およびプログラム
WO2023110801A1 (en) * 2021-12-16 2023-06-22 Koninklijke Philips N.V. Guidewire and catheter selection and real-time guidance
US12004821B2 (en) 2022-02-03 2024-06-11 Medtronic Navigation, Inc. Systems, methods, and devices for generating a hybrid image
US20230240659A1 (en) * 2022-02-03 2023-08-03 Medtronic Navigation, Inc. Systems, methods, and devices for tracking one or more objects

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5792135A (en) 1996-05-20 1998-08-11 Intuitive Surgical, Inc. Articulated surgical instrument for performing minimally invasive surgery with enhanced dexterity and sensitivity
AU1616497A (en) 1997-02-13 1998-09-08 Super Dimension Ltd. Six-degree tracking system
GB9713018D0 (en) 1997-06-20 1997-08-27 Secr Defence Optical fibre bend sensor
JP3850217B2 (ja) 2000-12-27 2006-11-29 オリンパス株式会社 気管支用内視鏡位置検出装置
WO2005058137A2 (en) * 2003-12-12 2005-06-30 University Of Washington Catheterscope 3d guidance and interface system
CA2555473A1 (en) 2004-02-17 2005-09-01 Traxtal Technologies Inc. Method and apparatus for registration, verification, and referencing of internal organs
US20060013523A1 (en) 2004-07-16 2006-01-19 Luna Innovations Incorporated Fiber optic position and shape sensing device and method relating thereto
US7772541B2 (en) 2004-07-16 2010-08-10 Luna Innnovations Incorporated Fiber optic position and/or shape sensing based on rayleigh scatter
CA2588002A1 (en) * 2005-01-18 2006-07-27 Traxtal Inc. Method and apparatus for guiding an instrument to a target in the lung
US7756563B2 (en) 2005-05-23 2010-07-13 The Penn State Research Foundation Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy
US9289267B2 (en) * 2005-06-14 2016-03-22 Siemens Medical Solutions Usa, Inc. Method and apparatus for minimally invasive surgery using endoscopes
WO2007017771A2 (en) 2005-08-05 2007-02-15 Koninklijke Philips Electronics, N.V. Catheter navigation system
US20070066881A1 (en) * 2005-09-13 2007-03-22 Edwards Jerome R Apparatus and method for image guided accuracy verification
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
WO2008125910A2 (en) 2006-11-10 2008-10-23 Superdimension, Ltd. Adaptive navigation technique for navigating a catheter through a body channel or cavity
EP2081494B1 (en) * 2006-11-16 2018-07-11 Vanderbilt University System and method of compensating for organ deformation
JP2010510815A (ja) * 2006-11-28 2010-04-08 スーパーディメンション， リミテッド 身体の通路または腔を通してカテーテルをナビゲートする適応的ナビゲーション技術
US8473030B2 (en) * 2007-01-12 2013-06-25 Medtronic Vascular, Inc. Vessel position and configuration imaging apparatus and methods
US8527032B2 (en) * 2007-05-16 2013-09-03 General Electric Company Imaging system and method of delivery of an instrument to an imaged subject
US9259274B2 (en) 2008-09-30 2016-02-16 Intuitive Surgical Operations, Inc. Passive preload and capstan drive for surgical instruments
WO2010046838A1 (en) * 2008-10-23 2010-04-29 Koninklijke Philips Electronics N.V. Cardiac- and/or respiratory-gated image acquisition system and method for virtual anatomy enriched real-time 2d imaging in interventional radiofrequency ablation or pacemaker placement procedures
JP5244541B2 (ja) * 2008-10-28 2013-07-24 オリンパスメディカルシステムズ株式会社 医療機器
JP2012509715A (ja) * 2008-11-21 2012-04-26 メイヨ・ファウンデーション・フォー・メディカル・エデュケーション・アンド・リサーチ 大腸内視鏡検査追跡および評価システム
KR101049507B1 (ko) * 2009-02-27 2011-07-15 한국과학기술원 영상유도수술시스템 및 그 제어방법
US10004387B2 (en) 2009-03-26 2018-06-26 Intuitive Surgical Operations, Inc. Method and system for assisting an operator in endoscopic navigation
WO2011061644A1 (en) * 2009-11-18 2011-05-26 Koninklijke Philips Electronics N.V. Motion correction in radiation therapy
WO2011086432A2 (en) * 2010-01-14 2011-07-21 Koninklijke Philips Electronics N.V. Flexible instrument channel insert for scope with real-time position tracking
CN102971048B (zh) * 2010-06-30 2016-02-10 皇家飞利浦电子股份有限公司 用于引导的自适应近距治疗的***和方法
US10165928B2 (en) * 2010-08-20 2019-01-01 Mark Hunter Systems, instruments, and methods for four dimensional soft tissue navigation
CN103354730B (zh) * 2010-12-30 2016-01-27 圣犹达医疗用品电生理部门有限公司 用于诊断心律失常和引导导管治疗的***和方法
RU2013143160A (ru) * 2011-02-24 2015-03-27 Конинклейке Филипс Электроникс Н.В. Нежесткая трансформация изображения сосуда с использованием формы внутрисосудистого устройства
EP2691006B1 (en) * 2011-03-31 2019-06-05 Koninklijke Philips N.V. System for shape sensing assisted medical procedure
US8900131B2 (en) * 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
US9259155B2 (en) * 2011-08-16 2016-02-16 Koninklijke Philips N.V. Method to estimate interfractional and intrafractional organ motion for adaptive external beam radiotherapy
US9452276B2 (en) 2011-10-14 2016-09-27 Intuitive Surgical Operations, Inc. Catheter with removable vision probe
BR112014009327A2 (pt) * 2011-10-20 2017-04-11 Koninklijke Philips Nv método e sistema
EP2816966B1 (en) 2012-02-22 2023-10-25 Veran Medical Technologies, Inc. Steerable surgical catheter comprising a biopsy device at the distal end portion thereof
JP2013202313A (ja) * 2012-03-29 2013-10-07 Panasonic Corp 手術支援装置および手術支援プログラム
KR20140136517A (ko) 2012-05-02 2014-11-28 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 의학적 애플리케이션들에서 증강 현실을 위한 동적 모델을 이용한 4 차원 이미지 등록
EP3470003A3 (en) * 2012-05-14 2019-04-24 Intuitive Surgical Operations Inc. Systems for deformation compensation using shape sensing
WO2014028394A1 (en) * 2012-08-14 2014-02-20 Intuitive Surgical Operations, Inc. Systems and methods for registration of multiple vision systems
CN104837525B (zh) * 2012-12-11 2019-04-05 皇家飞利浦有限公司 用于辅助执行近距离放射治疗的辅助装置
US9629595B2 (en) * 2013-03-15 2017-04-25 Hansen Medical, Inc. Systems and methods for localizing, tracking and/or controlling medical instruments
US9592095B2 (en) * 2013-05-16 2017-03-14 Intuitive Surgical Operations, Inc. Systems and methods for robotic medical system integration with external imaging
EP3024548B1 (en) * 2013-07-23 2020-10-21 Koninklijke Philips N.V. System for localizing body structures
WO2015011935A1 (ja) 2013-07-26 2015-01-29 三井化学株式会社 半芳香族ポリアミド樹脂組成物およびそれを含む成型品
US10290098B2 (en) * 2014-10-17 2019-05-14 Koninklijke Philips N.V. System for real-time organ segmentation and tool navigation during tool insertion in interventional therapy and method of operation thereof

Also Published As

Publication number Publication date
EP4328856A2 (en) 2024-02-28
JP7072603B2 (ja) 2022-05-20
EP3174449B1 (en) 2024-02-28
US20220378316A1 (en) 2022-12-01
CN110101355A (zh) 2019-08-09
CN106714656A (zh) 2017-05-24
EP3174449A1 (en) 2017-06-07
JP6722652B2 (ja) 2020-07-15
KR20220065894A (ko) 2022-05-20
EP4328856A3 (en) 2024-06-12
JP2020157108A (ja) 2020-10-01
CN106714656B (zh) 2019-05-28
EP3174449A4 (en) 2018-05-30
WO2016018646A1 (en) 2016-02-04
US20170209071A1 (en) 2017-07-27
JP2017523836A (ja) 2017-08-24
US11445934B2 (en) 2022-09-20

Similar Documents

Publication Publication Date Title
JP7072603B2 (ja) 手術中のセグメンテーションについてのシステム及び方法
US12004820B2 (en) Systems and methods of registration for image-guided surgery
US11423542B2 (en) Systems and methods of registration for image-guided surgery
US20220233265A1 (en) Systems and methods for planning multiple interventional procedures
EP3576598B1 (en) System of registration for image-guided procedures
JP7229155B2 (ja) 画像誘導手術のための連続的な位置合せのシステム及び方法
US10373719B2 (en) Systems and methods for pre-operative modeling
KR102194463B1 (ko) 다중 비전 시스템의 정합을 위한 시스템 및 방법
CN111067625A (zh) 用于自适应输入映射的***和方法
US20210259783A1 (en) Systems and Methods Related to Registration for Image Guided Surgery
US11514591B2 (en) Systems and methods related to registration for image guided surgery
US20220142714A1 (en) Systems for enhanced registration of patient anatomy
US20220054202A1 (en) Systems and methods for registration of patient anatomy

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2022101001072; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20220509

Effective date: 20230323