KR102387222B1 - 영상 안내식 시술 중에 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스 - Google Patents

영상 안내식 시술 중에 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스 Download PDF

Info

Publication number
KR102387222B1
KR102387222B1 KR1020197002492A KR20197002492A KR102387222B1 KR 102387222 B1 KR102387222 B1 KR 102387222B1 KR 1020197002492 A KR1020197002492 A KR 1020197002492A KR 20197002492 A KR20197002492 A KR 20197002492A KR 102387222 B1 KR102387222 B1 KR 102387222B1
Authority
KR
South Korea
Prior art keywords
flexible body
bend radius
guidance information
delete delete
images
Prior art date
Application number
KR1020197002492A
Other languages
English (en)
Other versions
KR20190015580A (ko
Inventor
크리스티안 비안키
빈센트 두인담
올리버 제이 와그너
Original Assignee
인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 filed Critical 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Publication of KR20190015580A publication Critical patent/KR20190015580A/ko
Application granted granted Critical
Publication of KR102387222B1 publication Critical patent/KR102387222B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes
    • A61M25/01—Introducing, guiding, advancing, emplacing or holding catheters
    • A61M25/0105—Steering means as part of the catheter or advancing means; Markers for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00199—Electrical control of surgical instruments with a console, e.g. a control panel with a display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A61B2017/00292—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery mounted on or guided by flexible, e.g. catheter-like, means
    • A61B2017/003—Steerable
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes
    • A61M25/01—Introducing, guiding, advancing, emplacing or holding catheters
    • A61M25/0105—Steering means as part of the catheter or advancing means; Markers for positioning
    • A61M2025/0166—Sensors, electrodes or the like for guiding the catheter to a target zone, e.g. image guided or magnetically guided
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes
    • A61M25/01—Introducing, guiding, advancing, emplacing or holding catheters
    • A61M25/0105—Steering means as part of the catheter or advancing means; Markers for positioning
    • A61M25/0113—Mechanical advancing means, e.g. catheter dispensers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Robotics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Hematology (AREA)
  • Anesthesiology (AREA)
  • Pulmonology (AREA)
  • Architecture (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Endoscopes (AREA)
  • Digital Computer Display Output (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

영상 안내식 외과적 시술 중에 안내 정보를 디스플레이하기 위한 방법은 하나 이상의 하드웨어 프로세서에 의해, 가요성 본체를 포함하는 신장된 장치와 관련된 추적 시스템으로부터 데이터를 수신하는 단계, 및 하나 이상의 하드웨어 프로세서에 의해, 데이터에 기초하여 가요성 본체의 길이를 따른 적어도 하나의 상태를 계산하는 단계를 포함한다. 방법은 하나 이상의 하드웨어 프로세서에 의해, 적어도 하나의 상태에 기초하여 보충 안내 정보를 결정하는 단계, 및 하나 이상의 하드웨어 프로세서에 의해, 하나 이상의 증강 영상을 생성하기 위해 보충 안내 정보에 의해 하나 이상의 영상을 증강시키는 단계를 추가로 포함한다. 방법은 의사 콘솔에서의 디스플레이 장치 상에서 하나 이상의 증강 영상을 디스플레이하는 단계를 추가로 포함한다.

Description

영상 안내식 시술 중에 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스
본 특허 출원은 2017년 4월 18일자로 출원된 발명의 명칭이 "영상 안내식 시술을 모니터링하기 위한 그래픽 사용자 인터페이스(Graphical User Interface for Monitoring an Image-Guided Procedure)"인 미국 가특허 출원 제62/486,879호 및 2016년 6월 30일자로 출원된 발명의 명칭이 "영상 안내식 시술 중에 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스(Graphical User Interface for Displaying Guidance Information During an Image-Guided Procedure)"인 미국 가특허 출원 제62/357,217호에 기초하여 우선권을 주장하고, 이들은 본원에서 전체적으로 참조로 통합되었다. 본 개시내용은 2016년 6월 30일자로 출원된 발명의 명칭이 "영상 안내식 시술 중에 복수의 모드로 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스(Graphical User Interface for Displaying Guidance Information in a Plurality of Modes During an Image-Guided Procedure)"인 미국 가특허 출원 제62/357,258호; 2016년 6월 30일자로 출원된 발명의 명칭이 "조향 가능한 신장된 장치의 시스템 및 방법(Systems and Methods of Steerable Elongate Device)"인 미국 가특허 출원 제62/357,272호; 및 2017년 6월 28일자로 출원된 발명의 명칭이 "조향 가능한 신장된 장치의 시스템 및 방법(Systems and Methods of Steerable Elongate Device)"인 PCT/US2017/039808호에 관련되고, 이들은 본원에서 전체적으로 참조로 통합되었다.
본 개시내용은 영상 안내식 시술을 수행하기 위한 시스템 및 방법, 및 특히 영상 안내식 시술 중에 안내 정보를 디스플레이하기 위한 시스템 및 방법에 관한 것이다.
최소 침습적 의료 기술은 의료 시술 중에 손상되는 조직의 양을 감소시켜서, 환자 회복 시간, 불편함, 및 유해한 부작용을 감소시키도록 의도된다. 그러한 최소 침습적 기술은 환자의 해부학적 구조물 내의 자연적인 구멍을 통해 또는 하나 이상의 외과적 절개부를 통해 수행될 수 있다. 이러한 자연적인 구멍 또는 절개부를 통해, 의료진은 목표 조직 위치에 도달하기 위해 (수술, 진단, 치료, 또는 생검 기구를 포함함) 최소 침습적 의료 기구를 삽입할 수 있다. 하나의 그러한 최소 침습적 기술은 해부학적 통로 내로 삽입되어 환자의 해부학적 구조물 내의 관심 영역을 향해 운행될 수 있는 가요성 카테터와 같은, 가요성 및/또는 조향 가능한 신장된 장치를 사용하는 것이다. 영상 안내식 시술 중에 의료 인력에 의한 그러한 신장된 장치의 제어는 적어도 신장된 장치의 삽입 및 후퇴와 장치의 조향 및/또는 굽힘 반경의 관리를 포함한 여러 자유도의 관리를 포함한다. 또한, 상이한 작동 모드가 또한 지원될 수 있다.
따라서, 최소 침습적 의료 기술 중에 사용하기에 적합한 조향 가능한 카테터와 같은 가요성 및/또는 조향 가능한 신장된 장치의 직관적인 제어 및 관리를 지원하는 그래픽 사용자 인터페이스를 제공하는 것이 유리하다.
본 발명의 실시예들은 상세한 설명에 이어지는 청구범위에 의해 가장 잘 요약된다.
영상 안내식 외과적 시술 중에 안내 정보를 디스플레이하기 위한 방법은 하나 이상의 하드웨어 프로세서에 의해, 가요성 본체를 포함하는 신장된 장치와 관련된 추적 시스템으로부터 데이터를 수신하는 단계, 및 하나 이상의 하드웨어 프로세서에 의해, 데이터에 기초하여 가요성 본체의 길이를 따른 적어도 하나의 상태를 계산하는 단계를 포함한다. 방법은 하나 이상의 하드웨어 프로세서에 의해, 적어도 하나의 상태에 기초하여 보충 안내 정보를 결정하는 단계, 및 하나 이상의 하드웨어 프로세서에 의해, 하나 이상의 증강 영상을 생성하기 위해 보충 안내 정보에 의해 하나 이상의 영상을 증강시키는 단계를 추가로 포함한다. 방법은 의사 콘솔에서의 디스플레이 장치 상에 하나 이상의 증강 영상을 디스플레이하는 단계를 추가로 포함한다. 비일과성 기계 판독 가능 매체는 의료 장치와 관련된 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서가 안내 정보를 디스플레이하기 위한 방법을 수행하게 하도록 구성된 복수의 기계 판독 가능 지시를 포함한다.
의료 장치는 가요성 본체 및 가요성 본체의 적어도 일 부분을 따라 배치된 추적 시스템을 포함하는 신장된 장치를 포함한다. 의료 시스템은 추적 시스템에 결합된 하나 이상의 프로세서를 또한 포함한다. 하나 이상의 프로세서는 추적 시스템으로부터 데이터를 수신하고, 수신된 데이터에 기초하여 가요성 본체의 길이를 따른 적어도 하나의 상태를 계산하고, 적어도 하나의 상태에 기초하여 보충 안내 정보를 결정하도록 구성된다. 하나 이상의 프로세서는 아울러 하나 이상의 증강 영상을 생성하고 하나 이상의 증강 영상을 디스플레이하기 위해 보충 안내 정보를 사용하여 하나 이상의 영상을 증강시키도록 구성된다.
상기 일반적인 설명 및 다음의 상세한 설명 둘다는 본질적으로 예시적이며 설명적이고, 본 개시내용의 범주로부터 벗어남이 없이 본 개시내용의 이해를 제공하도록 의도됨을 이해하여야 한다. 이와 관련하여, 본 개시내용의 추가의 양태, 특징, 및 장점이 다음의 상세한 설명으로부터 본 기술 분야의 통상의 기술자에게 명백할 것이다.
특허 또는 출원 파일은 컬러로 작성된 적어도 하나의 도면을 포함한다. 컬러 도면(들)을 구비한 이러한 특허 또는 특허 출원 공보의 사본은 요청 및 필요한 수수료의 납부 시에 특허청에 의해 제공될 것이다.
도 1은 몇몇 실시예에 따른 원격 작동식 의료 시스템의 단순화된 도면이다.
도 2a는 몇몇 실시예에 따른 의료 기구 시스템의 단순화된 도면이다.
도 2b는 몇몇 실시예에 따른 연장된 의료 도구를 구비한 의료 기구의 단순화된 도면이다.
도 3a 및 도 3b는 몇몇 실시예에 따른 삽입 조립체 상에 장착된 의료 기구를 포함하는 환자 좌표 공간의 측면도의 단순화된 도면이다.
도 4는 몇몇 실시예에 따른 영상 안내식 외과적 시술 시에 사용하기 위한 보충 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스의 단순화된 도면이다.
도 5는 몇몇 실시예에 따른 보충 안내 정보에 의해 증강된 영상을 디스플레이하기 위한 윈도우의 단순화된 도면이다.
도 6은 몇몇 실시예에 따른 보충 안내 정보를 포함하는 작동 정보를 디스플레이하는 작동 정보 윈도우의 단순화된 도면이다.
도 7은 몇몇 실시예에 따른 영상 안내식 외과적 시술 중에 보충 안내 정보를 디스플레이하는 방법의 단순화된 도면이다.
도 8은 몇몇 실시예에 따른 영상 안내식 외과적 시술 시에 사용하기 위한 보충 안내 정보를 디스플레이하는 그래픽 사용자 인터페이스의 스크린샷이다.
도 9는 몇몇 실시예에 따른 굽힘 표식의 단순화된 도면이다.
본 개시내용의 실시예 및 그의 장점은 다음의 상세한 설명을 참조함으로써 가장 잘 이해된다. 유사한 도면 부호는 도면들 중 하나 이상에 도시된 유사한 요소를 식별하도록 사용되고, 도면의 도시는 본 개시내용의 실시예를 예시할 목적이며 이를 제한할 목적이 아님을 이해하여야 한다.
다음의 설명에서, 구체적인 세부가 본 개시내용에 일치되는 몇몇 실시예를 설명하면서 설명된다. 많은 구체적인 세부는 실시예들의 완전한 이해를 제공하기 위해 설명된다. 그러나, 몇몇 실시예는 이러한 구체적인 세부 중 일부 또는 전부가 없이 실시될 수 있음이 본 기술 분야의 통상의 기술자에게 명백할 것이다. 본원에서 설명되는 구체적인 실시예는 예시적이며 제한적이지 않도록 의도된다. 본 기술 분야의 통상의 기술자는 여기서 구체적으로 설명되지는 않지만, 본 개시내용의 범주 및 사상 내에 있는 다른 요소들을 인식할 수 있다. 또한, 불필요한 반복을 피하기 위해, 하나의 실시예와 관련하여 도시되고 설명된 하나 이상의 특징은 달리 구체적으로 설명되지 않으면 또는 하나 이상의 특징이 실시예를 비기능적으로 만들면, 다른 실시예 내로 통합될 수 있다.
몇몇 경우에, 공지된 방법, 절차, 구성요소, 및 회로는 실시예들의 양태를 불필요하게 모호하게 하지 않도록 상세하게 설명되지 않았다.
본 개시내용은 다양한 기구 및 기구의 일부를 그들의 3차원 공간 내에서의 상태의 측면에서 설명한다. 본원에서 사용되는 바와 같이, "위치"라는 용어는 3차원 공간(예컨대, 직교 x-, y-, 및 z-좌표를 따른 3개의 병진 이동 자유도) 내에서의 대상 또는 대상의 일 부분의 위치를 지칭한다. 본원에서 사용되는 바와 같이, "배향"이라는 용어는 대상 또는 대상의 일 부분의 회전 배치(3개의 회전 자유도 - 예컨대, 롤링, 피칭, 및 요잉)를 지칭한다. 본원에서 사용되는 바와 같이, "자세"라는 용어는 적어도 하나의 병진 이동 자유도 내에서의 대상 또는 대상의 일 부분의 위치, 및 적어도 하나의 회전 자유도(6개까지의 총 자유도) 내에서의 그러한 대상 또는 대상의 일부의 배향을 지칭한다. 본원에서 사용되는 바와 같이, "형상"이라는 용어는 대상을 따라 측정된 자세, 위치, 또는 배향의 세트를 지칭한다.
도 1은 몇몇 실시예에 따른 원격 작동식 의료 시스템(100)("원격 작동식 조작기 조립체"로도 불림)의 단순화된 도면이다. 몇몇 실시예에서, 원격 작동식 의료 시스템(100)은, 예를 들어, 수술, 진단, 치료, 또는 생검 시술 시에 사용하기에 적합할 수 있다. 도 1에 도시된 바와 같이, 의료 시스템(100)은 대체로 환자(P)에 대해 다양한 시술을 수행하는 데 있어서 의료 기구(104)를 작동하기 위한 원격 작동식 조작기 조립체(102)를 포함한다. 원격 작동식 조작기 조립체(102)는 수술 테이블(T)에 또는 그 부근에 장착된다. 마스터 조립체(106)가 작업자(예컨대, 도 1에 도시된 바와 같은 외과의사, 의료진, 또는 의사(O))가 중재술 부위를 관찰하고 원격 작동식 조작기 조립체(102)를 제어하도록 허용한다.
마스터 조립체(106)는 환자(P)가 위치되는 외과용 테이블의 측면에서와 같이, 수술 테이블(T)과 동일한 공간 내에 보통 위치되는 의사 콘솔에 위치될 수 있다. 그러나, 의사(O)는 환자(P)와 다른 공간 또는 완전히 다른 건물에 위치될 수 있음을 이해하여야 한다. 마스터 조립체(106)는 대체로 원격 작동식 조작기 조립체(102)를 제어하기 위한 하나 이상의 제어 장치를 포함한다. 제어 장치는 조이스틱, 트랙볼, 데이터 글러브, 트리거 건, 수작동 제어기, 음성 인식 장치, 신체 운동 또는 존재 센서 등과 같은, 임의의 개수의 다양한 입력 장치를 포함할 수 있다. 의사(O)에게 기구(104)를 직접 제어하는 강한 느낌을 제공하기 위해, 제어 장치는 관련된 의료 기구(104)와 동일한 자유도를 구비할 수 있다. 이러한 방식으로, 제어 장치는 제어 장치가 의료 기구(104)와 일체라는 원격 존재감 또는 인지를 의사(O)에게 제공한다.
몇몇 실시예에서, 제어 장치는 관련 의료 기구(104)보다 더 많거나 더 적은 자유도를 가지며, 여전히 의사(O)에게 원격 존재감을 제공할 수 있다. 몇몇 실시예에서, 제어 장치는 선택적으로, 6개의 자유도로 이동하며, 기구를 작동시키기 위한 (예를 들어, 파지 조오(jaw)를 폐쇄하고, 전극에 전위를 인가하고, 의료적 처치를 전달하는 등을 위한) 작동 가능한 손잡이를 또한 포함할 수 있는 수동 입력 장치일 수 있다.
원격 작동식 조작기 조립체(102)는 의료 기구(104)를 지지하고, 하나 이상의 비서보 제어식 링크(예컨대, 설치 구조물로 일반적으로 지칭되는, 수동으로 제 위치에 위치되어 로킹될 수 있는 하나 이상의 링크)의 동역학적 구조물 및 원격 작동식 조작기를 포함할 수 있다. 원격 작동식 조작기 조립체(102)는 제어 시스템(예컨대, 제어 시스템(112))으로부터의 명령에 응답하여 의료 기구(104)에 대한 입력을 구동하는 복수의 액추에이터 또는 모터를 선택적으로 포함할 수 있다. 액추에이터는 의료 기구(104)에 결합되었을 때, 의료 기구(104)를 자연적으로 또는 외과적으로 생성된 해부학적 구멍 내로 전진시킬 수 있는 구동 시스템을 선택적으로 포함할 수 있다. 다른 구동 시스템이 3개의 선형 운동도(예컨대, X, Y, Z 직교 축을 따른 선형 운동) 및 3개의 회전 운동도(예컨대, X, Y, Z 직교 축 둘레에서의 회전)를 포함할 수 있는, 복수의 자유도로 의료 기구(104)의 원위 단부를 이동시킬 수 있다. 추가로, 액추에이터는 생검 장치의 조오 내에 조직을 파지하는 등을 위해 의료 기구(104)의 굴절식 엔드 이펙터를 작동시키기 위해 사용될 수 있다. 리졸버, 엔코더, 전위차계, 및 다른 메커니즘과 같은 액추에이터 위치 센서가 모터 샤프트의 회전 및 배향을 기술하는 센서 데이터를 의료 시스템(100)에 제공한다. 이러한 위치 센서 데이터는 액추에이터에 의해 조작되는 물체의 운동을 결정하기 위해 사용될 수 있다.
원격 작동식 의료 시스템(100)은 원격 작동식 조작기 조립체(102)의 기구에 대한 정보를 수신하기 위한 하나 이상의 하위 시스템을 구비한 센서 시스템(108)을 포함할 수 있다. 그러한 하위 시스템은 위치/장소 센서 시스템(예컨대, 전자기(EM) 센서 시스템); 의료 기구(104)를 구성할 수 있는 가요성 본체를 따른 원위 단부 및/또는 하나 이상의 세그먼트의 위치, 배향, 속력, 속도, 자세, 및/또는 형상을 결정하기 위한 형상 센서 시스템; 및/또는 의료 기구(104)의 원위 단부로부터 영상을 포착하기 위한 시각화 시스템을 포함할 수 있다.
원격 작동식 의료 시스템(100)은 센서 시스템(108)의 하위 시스템에 의해 생성되는 수술 부위 및 의료 기구(104)의 영상 또는 표현을 디스플레이하기 위한 디스플레이 시스템(110)을 또한 포함한다. 디스플레이 시스템(110) 및 마스터 조립체(106)는 의사(O)가 의료 기구(104) 및 마스터 조립체(106)를 원격 존재감을 인지하여 제어할 수 있도록 배향될 수 있다.
몇몇 실시예에서, 의료 기구(104)는 수술 부위의 동시 또는 실시간 영상을 기록하고, 디스플레이 시스템(110)의 하나 이상의 디스플레이와 같은, 의료 시스템(100)의 하나 이상의 디스플레이를 통해 작업자 또는 의사(O)에게 영상을 제공하는 관찰경 조립체를 포함할 수 있는 (아래에서 더 상세하게 설명되는) 시각화 시스템을 가질 수 있다. 동시 영상은, 예를 들어, 수술 부위 내에 위치된 내시경에 의해 포착된 2차원 또는 3차원 영상일 수 있다. 몇몇 실시예에서, 시각화 시스템은 의료 기구(104)에 일체로 또는 제거 가능하게 결합될 수 있는 내시경 구성요소를 포함한다. 그러나, 몇몇 실시예에서, 별도의 조작기 조립체에 부착된 별도의 내시경이 수술 부위를 촬영하기 위해 의료 기구(104)와 함께 사용될 수 있다. 시각화 시스템은 제어 시스템(112)의 프로세서를 포함할 수 있는 하나 이상의 컴퓨터 프로세서와 상호 작용하거나 그에 의해 실행되는, 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로서 구현될 수 있다.
디스플레이 시스템(110)은 또한 시각화 시스템에 의해 포착된 수술 부위 및 의료 기구의 영상을 디스플레이할 수 있다. 몇몇 예에서, 원격 작동식 의료 시스템(100)은 의료 기구들의 상대 위치가 의사(O)의 눈과 손의 상대 위치와 유사하도록, 의료 기구(104) 및 마스터 조립체(106)의 제어부를 구성할 수 있다. 이러한 방식으로, 의사(O)는 작업 공간을 실질적인 사실적 존재감으로 관찰하는 것처럼 의료 기구(104) 및 손 제어부를 조작할 수 있다. 사실적 존재감은 영상의 제시가 의료 기구(104)를 물리적으로 조작하고 있는 의사의 시점을 시뮬레이팅하는 실제 투시 영상인 것을 의미한다.
몇몇 예에서, 디스플레이 시스템(110)은 컴퓨터 단층 촬영(CT), 자기 공명 촬영(MRI), 형광 투시법, 온도 기록법, 초음파, 광 간섭 단층 촬영(OCT), 열 촬영, 임피던스 촬영, 레이저 촬영, 나노튜브 X-선 촬영 등과 같은 촬영 기술로부터의 영상 데이터를 사용하여 수술전 또는 수술중에 기록된 수술 부위의 영상을 제시할 수 있다. 수술전 또는 수술중 영상 데이터는 2차원, 3차원, 또는 (예컨대, 시간 기반 또는 속도 기반 정보를 포함하는) 4차원 영상 및/또는 수술전 또는 수술중 영상 데이터 세트로부터 생성된 모델로부터의 영상으로서 제시될 수 있다.
몇몇 실시예에서, 흔히 영상 안내식 외과적 시술을 목적으로, 디스플레이 시스템(110)은 의료 기구(104)의 실제 위치가 수술전 또는 동시 영상/모델과 정합되는 (즉, 동적으로 참조되는) 가상 운행 영상을 디스플레이할 수 있다. 이는 의료 기구(104)의 시점으로부터의 내부 수술 부위의 가상 영상을 의사(O)에게 제시하기 위해 행해질 수 있다. 몇몇 예에서, 시점은 의료 기구(104)의 팁으로부터일 수 있다. 의료 기구(104)의 팁의 영상 및/또는 다른 그래픽 또는 영숫자 표식은 의료 기구(104)를 제어하는 의사(O)를 보조하기 위해 가상 영상 상에 중첩될 수 있다. 몇몇 예에서, 의료 기구(104)는 가상 영상 내에서 보이지 않을 수 있다.
몇몇 실시예에서, 디스플레이 시스템(110)은 외부 시점으로부터의 수술 부위 내의 의료 기구(104)의 가상 영상을 의사(O)에게 제시하기 위해 의료 기구(104)의 실제 위치가 수술전 또는 동시 영상과 정합되는 가상 운행 영상을 디스플레이할 수 있다. 의료 기구(104)의 일 부분의 영상, 또는 다른 그래픽 또는 영숫자 표식은 의료 기구(104)의 제어 시에 의사(O)를 보조하기 위해 가상 영상 상에 중첩될 수 있다. 본원에서 설명되는 바와 같이, 데이터 지점의 시각적 표현이 디스플레이 시스템(110)에 대해 렌더링될 수 있다. 예를 들어, 측정된 데이터 지점, 이동된 데이터 지점, 정합된 데이터 지점, 및 본원에서 설명되는 다른 데이터 지점은 시각적 표현으로 디스플레이 시스템(110) 상에 디스플레이될 수 있다. 데이터 지점은 디스플레이 시스템(110) 상의 복수의 지점 또는 점에 의해 또는 데이터 지점들의 세트에 기초하여 생성된 메시 또는 와이어 모델과 같은 렌더링된 모델로서 사용자 인터페이스 내에서 시각적으로 표현될 수 있다. 몇몇 예에서, 데이터 지점들은 그들이 표현하는 데이터에 따라 컬러 코딩될 수 있다. 몇몇 실시예에서, 시각적 표현은 각각의 처리 작업이 데이터 지점을 변경하기 위해 구현된 후에 디스플레이 시스템(110) 내에서 재생될 수 있다.
원격 작동식 의료 시스템(100)은 제어 시스템(112)을 또한 포함할 수 있다. 제어 시스템(112)은 적어도 하나의 메모리, 및 의료 기구(104), 마스터 조립체(106), 센서 시스템(108), 및 디스플레이 시스템(110) 사이에서의 제어를 달성하기 위한 적어도 하나의 컴퓨터 프로세서(도시되지 않음)를 포함한다. 제어 시스템(112)은 디스플레이 시스템(110)에 정보를 제공하기 위한 지시를 포함한, 본원에서 개시되는 양태에 따라 설명되는 방법들 중 일부 또는 전부를 구현하기 위한 프로그램된 지시(예컨대, 지시를 저장하는 비일과성 기계 판독 가능 매체)를 또한 포함한다. 제어 시스템(112)이 도 1의 단순화된 개략도에서 단일 블록으로서 도시되어 있지만, 시스템은 원격 작동식 조작기 조립체(102) 상에서 또는 그에 인접하여 선택적으로 수행되는 처리의 하나의 부분, 마스터 조립체(106)에서 수행되는 처리의 다른 부분 등을 구비한 2개 이상의 데이터 처리 회로를 포함할 수 있다. 제어 시스템(112)의 프로세서는 본원에서 개시되고 아래에서 더 상세하게 설명되는 처리에 대응하는 지시를 포함하는 지시를 실행할 수 있다. 광범위한 집중식 또는 분배식 데이터 처리 구조들 중 임의의 것이 채용될 수 있다. 유사하게, 프로그램된 지시는 다수의 별도의 프로그램 또는 서브루틴으로서 구현될 수 있거나, 본원에서 설명되는 원격 작동식 시스템의 다수의 다른 양태 내로 통합될 수 있다. 하나의 실시예에서, 제어 시스템(112)은 블루투스, IrDA, HomeRF, IEEE 802.11, DECT, 및 와이어리스 텔레메트리(Wireless Telemetry)와 같은 무선 통신 프로토콜을 지원한다.
몇몇 실시예에서, 제어 시스템(112)은 의료 기구(104)로부터 힘 및/또는 토크 피드백을 수신할 수 있다. 피드백에 응답하여, 제어 시스템(112)은 마스터 조립체(106)로 신호를 송신할 수 있다. 몇몇 예에서, 제어 시스템(112)은 원격 작동식 조작기 조립체(102)의 하나 이상의 액추에이터에 의료 기구(104)를 이동시키도록 지시하는 신호를 송신할 수 있다. 의료 기구(104)는 환자(P)의 신체 내의 개방부를 거쳐 환자(P)의 신체 내의 내부 수술 부위 내로 연장할 수 있다. 임의의 적합한 종래의 액추에이터 및/또는 특수화된 액추에이터가 사용될 수 있다. 몇몇 예에서, 하나 이상의 액추에이터는 원격 작동식 조작기 조립체(102)로부터 분리되거나 그와 통합될 수 있다. 몇몇 실시예에서, 하나 이상의 액추에이터 및 원격 작동식 조작기 조립체(102)는 환자(P) 및 수술 테이블(T)에 인접하여 위치된 원격 작동식 카트의 일부로서 제공된다.
제어 시스템(112)은 영상 안내식 외과적 시술 중에 의료 기구(104)를 제어할 때 의사(O)에게 운행 보조를 제공하기 위한 가상 시각화 시스템을 선택적으로 추가로 포함할 수 있다. 가상 시각화 시스템을 사용한 가상 운행은 해부학적 통로의 획득된 수술전 또는 수술중 데이터 세트에 대한 참조에 기초할 수 있다. 가상 시각화 시스템은 컴퓨터 단층 촬영(CT), 자기 공명 촬영(MRI), 형광 투시법, 온도 기록법, 초음파, 광 간섭 단층 촬영(OCT), 열 촬영, 임피던스 촬영, 레이저 촬영, 나노튜브 X-선 촬영 등과 같은 촬영 기술을 사용하여 촬영된 수술 부위의 영상을 처리한다. 수동 입력과 조합하여 사용될 수 있는 소프트웨어가 기록된 영상을 부분적인 또는 전체적인 해부학적 장기 또는 해부학적 영역의 분할된 2차원 또는 3차원 복합 표현으로 변환하기 위해 사용된다. 영상 데이터 세트가 복합 표현과 관련된다. 복합 표현 및 영상 데이터 세트는 통로들 및 이들의 연결부의 다양한 위치 및 형상을 기술한다. 복합 표현을 생성하기 위해 사용되는 영상은 임상적 시술 중에, 수술전 또는 수술중에 기록될 수 있다. 몇몇 실시예에서, 가상 시각화 시스템은 표준 표현(즉, 환자 비특이적), 또는 표준 표현 및 환자 특이적 데이터의 하이브리드를 사용할 수 있다. 복합 표현 및 복합 표현에 의해 생성된 임의의 가상 영상은 운동의 하나 이상의 시기 중의 (예컨대, 폐의 흡기/호기 사이클 중의) 변형 가능한 해부학적 영역의 정적 자세를 표현할 수 있다.
가상 운행 절차 중에, 센서 시스템(108)이 환자(P)의 해부학적 구조물에 대한 의료 기구(104)의 대략적인 위치를 계산하기 위해 사용될 수 있다. 위치는 환자(P)의 해부학적 구조물의 거시 수준 (외부) 추적 영상 및 환자(P)의 해부학적 구조물의 가상 내부 영상 둘다를 생성하기 위해 사용될 수 있다. 시스템은 가상 시각화 시스템으로부터의 것과 같은, 수술전에 기록된 수술 영상과 함께 의료 기구를 정합하고 디스플레이하도록 하나 이상의 전자기(EM) 센서, 광섬유 센서, 및/또는 다른 센서를 구현할 수 있다. 예를 들어, 본원에서 전체적으로 참조로 통합된 ("영상 안내식 수술을 위한 해부학적 구조물의 모델의 동적 정합을 제공하는 의료 시스템(Medical System Providing Dynamic Registration of a Model of an Anatomic Structure for Image-Guided Surgery)"을 개시하는) (2011년 5월 13일자로 출원된) 미국 특허 출원 제13/107,562호가 하나의 그러한 시스템을 개시한다. 원격 작동식 의료 시스템(100)은 조명 시스템, 조향 제어 시스템, 관류 시스템, 및/또는 흡입 시스템과 같은 선택적인 작업 및 지원 시스템(도시되지 않음)을 추가로 포함할 수 있다. 몇몇 실시예에서, 원격 작동식 의료 시스템(100)은 1개를 초과하는 원격 작동식 조작기 조립체 및/또는 1개를 초과하는 마스터 조립체를 포함할 수 있다. 원격 작동식 조작기 조립체의 정확한 개수는, 다른 요인 중에서도, 외과적 시술 및 수술실 내의 공간적 제약에 의존할 것이다. 마스터 조립체(106)는 공동 위치될 수 있거나, 분리된 장소들에 위치될 수 있다. 복수의 마스터 조립체들은 1인을 초과하는 작업자가 하나 이상의 원격 작동식 조작기 조립체를 다양한 조합으로 제어하도록 허용한다.
도 2a는 몇몇 실시예에 따른 의료 기구 시스템(200)의 단순화된 도면이다. 몇몇 실시예에서, 의료 기구 시스템(200)은 원격 작동식 의료 시스템(100)에서 수행되는 영상 안내식 의료 시술에서 의료 기구(104)로서 사용될 수 있다. 몇몇 예에서, 의료 기구 시스템(200)은 비원격 작동식 탐색 절차를 위해 또는 내시경과 같은 전통적인 수동 작동식 의료 기구를 포함하는 시술에서 사용될 수 있다. 선택적으로, 의료 기구 시스템(200)은 환자(P)와 같은 환자의 해부학적 통로 내에서의 위치에 대응하는 데이터 지점들의 세트를 모으기 위해 (즉, 측정하기 위해) 사용될 수 있다.
의료 기구 시스템(200)은 구동 유닛(204)에 결합된 신장된 장치(202)를 포함한다. 신장된 장치(202)는 근위 단부(217) 및 원위 단부(218)("팁 부분(218)"으로도 불림)를 갖는 가요성 본체(216)를 포함한다. 몇몇 실시예에서, 가요성 본체(216)는 대략 3mm 외경을 갖는다. 다른 가요성 본체 외경은 더 크거나 더 작을 수 있다.
의료 기구 시스템(200)은 아래에서 더 상세하게 설명되는 바와 같이 하나 이상의 센서 및/또는 촬영 장치를 사용하여 가요성 본체(216)를 따른 원위 단부(218)에서의 가요성 본체(216) 및/또는 하나 이상의 세그먼트(224)의 위치, 배향, 속력, 속도, 자세, 및/또는 형상을 결정하기 위한 추적 시스템(230)을 추가로 포함한다. 원위 단부(218)와 근위 단부(217) 사이에서의 가요성 본체(216)의 전체 길이는 세그먼트(224)들로 효과적으로 분할될 수 있다. 의료 기구 시스템(200)이 원격 작동식 의료 시스템(100)의 의료 기구(104)와 일치하면, 추적 시스템(230)은 도 1의 제어 시스템(112)의 프로세서를 포함할 수 있는, 하나 이상의 컴퓨터 프로세서와 상호 작용하거나 그에 의해 실행되는 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로서 선택적으로 구현될 수 있다.
추적 시스템(230)은 형상 센서(222)를 사용하여 원위 단부(218) 및/또는 세그먼트(224)들 중 하나 이상을 선택적으로 추적할 수 있다. 형상 센서(222)는 (예컨대, 내부 채널(도시되지 않음) 내에 제공되거나 외부에 장착된) 가요성 본체(216)와 정렬된 광섬유를 선택적으로 포함할 수 있다. 하나의 실시예에서, 광섬유는 대략 200㎛의 직경을 갖는다. 다른 실시예에서, 치수는 더 크거나 더 작을 수 있다. 형상 센서(222)의 광섬유는 가요성 본체(216)의 형상을 결정하기 위한 광섬유 굽힘 센서를 형성한다. 하나의 대안예에서, 광섬유 브래그 격자(FBG)를 포함한 광섬유가 하나 이상의 치수에서의 구조물 내의 변형 측정을 제공하기 위해 사용된다. 3차원으로 광섬유의 형상 및 상대 위치를 모니터링하기 위한 다양한 시스템 및 방법이 ("광섬유 위치 및 형상 감지 장치 및 그에 관련된 방법(Fiber optic position and shape sensing device and method relating thereto)"을 개시하는) (2005년 7월 13일자로 출원된) 미국 특허 출원 제11/180,389호; ("광섬유 형상 및 상대 위치 감지(Fiber-optic shape and relative position sensing)"를 개시하는) (2004년 7월 16일자로 출원된) 미국 특허 출원 제12/047,056호; 및 ("광섬유 굽힘 센서(Optical Fibre Bend Sensor)"를 개시하는) (1998년 6월 17일자로 출원된) 미국 특허 제6,389,187호에 설명되어 있고, 이들은 모두 본원에서 전체적으로 참조로 통합되었다. 센서는 몇몇 실시예에서, 레일리(Rayleigh) 산란, 라만(Raman) 산란, 브릴루앙(Brillouin) 산란, 및 형광 산란과 같은 다른 적합한 변형 감지 기술을 채용할 수 있다. 몇몇 실시예에서, 가요성 본체(216)의 형상은 다른 기술을 사용하여 결정될 수 있다. 예를 들어, 가요성 본체(216)의 원위 단부 자세의 이력은 시간의 간격에 걸쳐 가요성 본체(216)의 형상을 재구성하기 위해 사용될 수 있다. 몇몇 실시예에서, 추적 시스템(230)은 위치 센서 시스템(220)을 사용하여 원위 단부(218)를 선택적으로 그리고/또는 추가적으로 추적할 수 있다. 위치 센서 시스템(220)은 외부 발생 전자기장을 받을 수 있는 하나 이상의 전도성 코일을 포함하는 EM 센서 시스템을 포함하거나 그의 구성요소일 수 있다. 위치 센서 시스템(220)을 구현하기 위해 사용되는 EM 센서 시스템의 각각의 코일은 그 다음 외부 발생 전자기장에 대한 코일의 위치 및 배향에 의존하는 특징을 갖는 유도 전기 신호를 생성한다. 몇몇 실시예에서, 위치 센서 시스템(220)은 6개의 자유도, 예컨대, 기본 지점의 3개의 위치 좌표(X, Y, Z) 및 피칭, 요잉, 롤링을 표시하는 3개의 배향 각도, 또는 5개의 자유도, 예컨대, 기본 지점의 3개의 위치 좌표(X, Y, Z) 및 피칭 및 요잉을 표시하는 2개의 배향 각도를 측정하도록 구성되고 위치될 수 있다. 위치 센서 시스템의 추가의 설명은 본원에서 전체적으로 참조로 통합된 ("추적되는 대상 상의 수동 트랜스폰더를 갖는 6-자유도 추적 시스템(Six-Degree of Freedom Tracking System Having a Passive Transponder on the Object Being Tracked)"을 개시하는) (1999년 8월 11일자로 출원된) 미국 특허 제6,380,732호에 제공되어 있다.
몇몇 실시예에서, 추적 시스템(230)은 대안적으로 그리고/또는 추가적으로 호흡과 같은 교대식 운동의 사이클을 따른 기구 시스템의 공지된 지점에 대해 저장된 자세 이력, 위치, 또는 배향 데이터에 의존할 수 있다. 이러한 저장된 데이터는 가요성 본체(216)에 대한 형상 정보를 발현하기 위해 사용될 수 있다. 몇몇 예에서, 위치 센서 시스템(220) 내의 센서와 유사한 전자기(EM) 센서와 같은, 일련의 위치 센서(도시되지 않음)들이 가요성 본체(216)를 따라 위치된 다음 형상 감지를 위해 사용될 수 있다. 몇몇 예에서, 시술 중에 취해진 이러한 센서들 중 하나 이상으로부터의 데이터의 이력이 특히 해부학적 통로가 대체로 정적이면, 신장된 장치(202)의 형상을 표현하기 위해 사용될 수 있다.
가요성 본체(216)는 의료 기구(226)를 수납하도록 크기 설정되고 형상화된 채널(221)을 포함한다. 도 2b는 몇몇 실시예에 따른 연장된 의료 기구(226)를 구비한 가요성 본체(216)의 단순화된 도면이다. 몇몇 실시예에서, 의료 기구(226)는 수술, 생검, 절제, 조명, 관류, 또는 흡입과 같은 시술을 위해 사용될 수 있다. 의료 기구(226)는 가요성 본체(216)의 채널(221)을 통해 전개되어 해부학적 구조물 내의 목표 위치에서 사용될 수 있다. 의료 기구(226)는, 예를 들어, 영상 포착 프로브, 생검 기구, 레이저 절제 섬유, 및/또는 다른 수술, 진단, 또는 치료 도구를 포함할 수 있다. 의료 도구는 메스, 무딘 블레이드, 광섬유, 전극 등과 같은 단일 작동 부재를 갖는 엔드 이펙터를 포함할 수 있다. 다른 엔드 이펙터는, 예를 들어, 겸자, 파지기, 가위, 클립 어플리케이터 등을 포함할 수 있다. 다른 엔드 이펙터는 전기 수술용 전극, 트랜스듀서, 센서 등과 같은 전기 활성화 엔드 이펙터를 추가로 포함할 수 있다. 다양한 실시예에서, 의료 기구(226)는 목표 해부학적 위치로부터 샘플 조직 또는 세포의 샘플을 제거하기 위해 사용될 수 있는 생검 기구이다. 의료 기구(226)는 가요성 본체(216) 내의 영상 포착 프로브와 함께 사용될 수 있다. 다양한 실시예에서, 의료 기구(226)는 디스플레이를 위해 시각화 시스템(231)에 의해 처리되고 그리고/또는 원위 단부(218) 및 세그먼트(224)들 중 하나 이상의 추적을 지원하기 위해 추적 시스템(230)으로 제공되는 (비디오 영상을 포함한) 영상을 포착하기 위해 가요성 본체(216)의 원위 단부(218)에서의 또는 그 부근의 입체 또는 평면 카메라를 구비한 원위 부분을 포함하는 영상 포착 프로브일 수 있다. 영상 포착 프로브는 포착된 영상 데이터를 송신하기 위해 카메라에 결합된 케이블을 포함할 수 있다. 몇몇 예에서, 영상 포착 기구는 시각화 시스템(231)에 결합하는, 섬유경과 같은 광섬유 다발일 수 있다. 영상 포착 기구는, 예를 들어 가시, 적외, 및/또는 자외 스펙트럼 중 하나 이상에서 영상 데이터를 포착하는, 단일 스펙트럼 또는 다중 스펙트럼일 수 있다. 대안적으로, 의료 기구(226) 자체가 영상 포착 프로브일 수 있다. 의료 기구(226)는 시술을 수행하기 위해 채널(221)의 개방부로부터 전진된 다음 시술이 완료되면 채널 내로 다시 후퇴될 수 있다. 의료 기구(226)는 가요성 본체(216)의 근위 단부(217)로부터 또는 가요성 본체(216)를 따른 다른 선택적인 기구 포트(도시되지 않음)로부터 제거될 수 있다.
의료 기구(226)는 의료 기구(226)의 원위 단부를 제어 가능하게 구부리기 위해 그의 근위 단부와 원위 단부 사이에서 연장되는 케이블, 링키지, 또는 다른 작동 제어부(도시되지 않음)를 추가로 수용할 수 있다. 조향 가능한 기구가 ("향상된 교치성 및 민감성을 구비한 최소 침습적 수술을 수행하기 위한 굴절식 외과용 기구(Articulated Surgical Instrument for Performing Minimally Invasive Surgery with Enhanced Dexterity and Sensitivity)"를 개시하는) (2005년 10월 4일자로 출원된) 미국 특허 제7,316,681호 및 ("외과용 기구를 위한 수동 예비 부하 및 캡스턴 구동부(Passive Preload and Capstan Drive for Surgical Instruments)"를 개시하는) (2008년 9월 30일자로 출원된) 미국 특허 출원 제12/286,644호에 설명되어 있고, 이들은 본원에서 전체적으로 참조로 통합되었다.
가요성 본체(216)는, 예를 들어, 원위 단부(218)의 파선 도시(219)에 의해 도시된 바와 같이 원위 단부(218)를 제어 가능하게 구부리기 위해 구동 유닛(204)과 원위 단부(218) 사이에서 연장하는 케이블, 링키지, 또는 다른 조향 제어부(도시되지 않음)를 또한 수용할 수 있다. 몇몇 예에서, 적어도 4개의 케이블이 원위 단부(218)의 피칭을 제어하기 위한 독립적인 "상하" 조향 및 원위 단부(281)의 요잉을 제어하기 위한 "좌우" 조향을 제공하기 위해 사용된다. 조향 가능한 카테터는 본원에서 전체적으로 참조로 통합된 ("제거 가능한 관측 프로브를 구비한 카테터(Catheter with Removable Vision Probe)"를 개시하는) (2011년 10월 14일자로 출원된) 미국 특허 출원 제13/274,208호에 상세하게 설명되어 있다. 의료 기구 시스템(200)이 원격 작동식 조립체에 의해 작동되는 실시예에서, 구동 유닛(204)은 원격 작동식 조립체의 액추에이터와 같은 구동 요소에 제거 가능하게 결합하여 그로부터 동력을 수신하는 구동 입력부를 포함할 수 있다. 몇몇 실시예에서, 의료 기구 시스템(200)은 파지 특징부, 수동 액추에이터, 또는 의료 기구 시스템(200)의 이동을 수동으로 제어하기 위한 다른 구성요소를 포함할 수 있다. 신장된 장치(202)는 조향 가능할 수 있거나, 대안적으로, 시스템은 원위 단부(218)의 굽힘의 작업자 제어를 위한 통합형 메커니즘이 없이 조향 불가능할 수 있다. 몇몇 예에서, 의료 기구가 그를 통해 전개되어 목표 수술 위치에서 사용될 수 있는 하나 이상의 루멘이 가요성 본체(216)의 벽 내에 형성된다.
몇몇 실시예에서, 의료 기구 시스템(200)은 폐의 검사, 진단, 생검, 또는 처치 시에 사용하기 위한, 기관지경 또는 기관지 카테터와 같은 가요성 기관지 기구를 포함할 수 있다. 의료 기구 시스템(200)은 또한 대장, 소장, 신장 및 신배, 뇌, 심장, 혈관을 포함한 순환계, 및/또는 기타를 포함한, 다양한 해부학적 계통 중 임의의 것 내에서, 자연적으로 또는 외과적으로 생성되어 연결된 통로를 거쳐, 운행 및 다른 조직의 처치에 대해 적합하다.
추적 시스템(230)으로부터의 정보는 운행 시스템(232)으로 보내질 수 있고, 여기서 이는 시각화 시스템(231)으로부터의 정보 및/또는 수술전에 획득된 모델과 조합되어, 실시간 위치 정보를 의사, 의료진, 외과의사, 또는 다른 작업자에게 제공한다. 몇몇 예에서, 실시간 위치 정보는 의료 기구 시스템(200)의 제어 시에 사용하기 위해 도 1의 디스플레이 시스템(110) 상에 디스플레이될 수 있다. 몇몇 예에서, 도 1의 제어 시스템(116)은 의료 기구 시스템(200)을 위치 설정하기 위한 피드백으로서 위치 정보를 이용할 수 있다. 수술 기구를 수술 영상과 정합시켜서 디스플레이하기 위해 광섬유 센서를 사용하기 위한 다양한 시스템이 본원에서 전체적으로 참조로 통합된, "영상 안내식 수술을 위한 해부학적 구조물의 모델의 동적 정합을 제공하는 의료 시스템(Medical System Providing Dynamic Registration of a Model of an Anatomic Structure for Image-Guided Surgery)"을 개시하는, 2011년 5월 13일자로 출원된 미국 특허 출원 제13/107,562호에 제공되어 있다.
몇몇 예에서, 의료 기구 시스템(200)은 도 1의 의료 시스템(100) 내에서 원격 작동될 수 있다. 몇몇 실시예에서, 도 1의 원격 작동식 조작기 조립체(102)는 직접 작업자 제어에 의해 대체될 수 있다. 몇몇 예에서, 직접 작업자 제어는 기구의 휴대 작동을 위한 다양한 손잡이 및 작업자 인터페이스를 포함할 수 있다.
도 3a 및 도 3b는 몇몇 실시예에 따른 삽입 조립체 상에 장착된 의료 기구를 포함하는 환자 좌표 공간의 측면도의 단순화된 도면이다. 도 3a 및 도 3b에 도시된 바와 같이, 수술 환경(300)은 플랫폼(302) 상에 위치된 환자(P)를 포함한다. 환자(P)는 전체 환자 움직임이 진정, 구속, 및/또는 다른 수단에 의해 제한되는 의미에서 수술 환경 내에서 고정적일 수 있다. 환자(P)의 호흡 및 심장 운동을 포함한 주기적인 해부학적 운동은 환자가 호흡 운동을 일시적으로 중지하기 위해 그의 호흡을 참도록 요구받지 않으면, 계속될 수 있다. 따라서, 몇몇 실시예에서, 데이터가 호흡 내의 특정 시기에 모아지고, 그러한 시기로 태깅되고 식별될 수 있다. 몇몇 실시예에서, 데이터가 수집되는 시기는 환자(P)로부터 수집된 생리학적 정보로부터 추정될 수 있다. 수술 환경(300) 내에서, 지점 수집 기구(304)가 기구 캐리지(306)에 결합된다. 몇몇 실시예에서, 지점 수집 기구(304)는 EM 센서, 형상 센서, 및/또는 다른 센서 양식을 사용할 수 있다. 기구 캐리지(306)는 수술 환경(300) 내에 고정된 삽입 스테이지(308)에 장착된다. 대안적으로, 삽입 스테이지(308)는 이동 가능할 수 있지만, 수술 환경(300) 내에서 (예컨대, 추적 센서 또는 다른 추적 장치에 의해) 공지된 위치를 가질 수 있다. 기구 캐리지(306)는 삽입 이동 (즉, A 축을 따른 이동) 및 선택적으로 요잉, 피칭, 및 롤링을 포함한 복수의 방향으로의 신장된 장치(310)의 원위 단부(318)의 이동을 제어하기 위해 지점 수집 기구(304)에 결합하는 원격 작동식 조작기 조립체(예컨대, 원격 작동식 조작기 조립체(102))의 구성요소일 수 있다. 기구 캐리지(306) 또는 삽입 스테이지(308)는 삽입 스테이지(308)를 따른 기구 캐리지(306)의 이동을 제어하는 서보 모터(도시되지 않음)와 같은 액추에이터를 포함할 수 있다.
신장된 장치(310)가 기구 본체(312)에 결합된다. 기구 본체(312)는 기구 캐리지(306)에 대해 결합되어 고정된다. 몇몇 실시예에서, 광섬유 형상 센서(314)가 기구 본체(312) 상의 근위 지점(316)에 고정된다. 몇몇 실시예에서, 광섬유 형상 센서(314)의 근위 지점(316)은 기구 본체(312)와 함께 이동 가능할 수 있지만, 근위 지점(316)의 위치는 (예컨대, 추적 센서 또는 다른 추적 장치에 의해) 공지될 수 있다. 형상 센서(314)는 근위 지점(316)으로부터 신장된 장치(310)의 원위 단부(318)와 같은 다른 지점까지의 형상을 측정한다. 지점 수집 기구(304)는 의료 기구 시스템(200)과 실질적으로 유사할 수 있다.
위치 측정 장치(320)가 기구 본체가 삽입 축(A)을 따라 삽입 스테이지(308) 상에서 이동할 때, 기구 본체(312)의 위치에 대한 정보를 제공한다. 위치 측정 장치(320)는 기구 캐리지(306)의 이동 및 결과적으로 기구 본체(312)의 이동을 제어하는 액추에이터의 회전 및/또는 배향을 결정하는 리졸버, 엔코더, 전위차계, 및/또는 다른 센서를 포함할 수 있다. 몇몇 실시예에서, 삽입 스테이지(308)는 선형이다. 몇몇 실시예에서, 삽입 스테이지(308)는 만곡될 수 있거나, 곡선 및 선형 섹션들의 조합을 가질 수 있다.
도 3a는 삽입 스테이지(308)를 따른 후퇴 위치의 기구 본체(312) 및 기구 캐리지(306)를 도시한다. 이러한 후퇴 위치에서, 근위 지점(316)은 축(A) 상의 위치(L0)에 있다. 삽입 스테이지(308)를 따른 이러한 위치에서, 근위 지점(316)의 위치의 A 성분이 삽입 스테이지(308) 상에서의 기구 캐리지(306) 및 근위 지점(316)의 위치를 기술하기 위한 기본 기준을 제공하기 위해 0 및/또는 다른 기준 값으로 설정될 수 있다. 기구 본체(312) 및 기구 캐리지(306)의 이러한 후퇴 위치에서, 신장된 장치(310)의 원위 단부(318)는 환자(P)의 진입 구멍 바로 내부에 위치될 수 있다. 또한, 이러한 위치에서, 위치 측정 장치(320)가 0 및/또는 다른 기준 값(예컨대, I=0)으로 설정될 수 있다. 도 3b에서, 기구 본체(312) 및 기구 캐리지(306)는 삽입 스테이지(308)의 선형 트랙을 따라 전진하였고, 신장된 장치(310)의 원위 단부(318)는 환자(P) 내로 전진하였다. 이러한 전진 위치에서, 근위 지점(316)은 축(A) 상의 위치(L1)에 있다. 몇몇 예에서, 삽입 스테이지(308)를 따른 기구 캐리지(306)의 이동을 제어하는 하나 이상의 액추에이터 및/또는 기구 캐리지(306) 및/또는 삽입 스테이지(308)와 관련된 하나 이상의 위치 센서로부터의 엔코더 및/또는 다른 위치 데이터가 위치(L0)에 대한 근위 지점(316)의 위치(LX)를 결정하기 위해 사용된다. 몇몇 예에서, 위치(LX)는 아울러 신장된 장치(310)의 원위 단부(318)가 환자(P)의 해부학적 구조물의 통로 내로 삽입되는 거리 또는 삽입 깊이의 표식으로서 사용될 수 있다.
도 4는 몇몇 실시예에 따른 디스플레이 시스템(110) 상에 디스플레이 가능한 그래픽 사용자 인터페이스(400)의 단순화된 도면이다. 도 1 - 도 3에 따른 몇몇 실시예에서, 그래픽 사용자 인터페이스(400)는 원격 작동식 조작기 조립체(100) 및/또는 의료 기구 시스템(200)과 같은, 의료 기구 시스템의 작동 및/또는 제어 중에, 의사, 의료진, 또는 외과의사(O)와 같은 작업자를 보조하기 위해 사용될 수 있다. 그래픽 사용자 인터페이스(400)는 작업자에게 보여질 수 있는 하나 이상의 윈도우(410 - 460) 내에서 정보를 디스플레이한다. 단일 스크린 상의 6개의 동시에 관찰 가능한 윈도우가 도 4에 도시되어 있지만, 그래픽 사용자 인터페이스(400)는 임의의 적합한 개수의 스크린 상에 디스플레이되는 임의의 적합한 개수의 윈도우를 디스플레이할 수 있음을 이해하여야 한다. 몇몇 예에서, 동시에 관찰 가능한 윈도우의 개수는 윈도우를 열고 닫음으로써, 윈도우를 최소화 및 최대화함으로써, 그래픽 사용자 인터페이스(400)의 전경과 배경 사이에서 윈도우를 이동시킴으로써, 스크린들 사이에서 전환함으로써, 그리고/또는 시야로부터 윈도우를 완전히 또는 부분적으로 흐리게 함으로써, 변경될 수 있다. 유사하게, 윈도우(410 - 460)들의 배열 - 이들의 크기, 형상, 배향, (윈도우들을 중첩시키는 경우의) 순서 등을 포함함 - 이 변할 수 있고 그리고/또는 사용자 구성 가능할 수 있다.
몇몇 실시예에 따르면, 윈도우(410 - 460)들은 영상 데이터, 센서 데이터, 표식, 제어 모드, 및/또는 이들의 임의의 조합을 디스플레이할 수 있다. 몇몇 예에서, 영상 데이터는 수술전 또는 수술중 영상 데이터를 포함할 수 있다. 영상 데이터는 2차원, 3차원, 또는 4차원(예컨대, 시간 기반 정보 또는 속도 기반 정보를 포함함) 라이브 영상 및/또는 수술전 또는 수술중 영상 데이터 세트로부터 생성된 계산된 모델의 영상으로서 제시될 수 있다. 몇몇 예에서, 계산된 모델의 영상은 센서 데이터로부터 도출될 수 있고, 해부학적 구조물 내로 도입된 기구의 모델을 포함할 수 있다. 몇몇 예에서, 계산된 모델은 (영상 데이터에 추가하여 또는 그 대신에) 경험 데이터로부터 생성될 수 있고 그리고/또는 기구 및/또는 사람의 해부학적 구조물의 미리 결정된 기하학적 형상에 기초할 수 있다. 몇몇 예에서, 표식은 그래픽 및/또는 영숫자 표식을 포함할 수 있다. 몇몇 예에서, 제어부는 버튼, 문자 입력, 내비게이션 패널, 태스크바, 아이콘, 경보 등을 포함할 수 있다. 몇몇 실시예에 따르면, 그래픽 사용자 인터페이스(400)는 이용 가능한 제어 모드, 현재의 제어 모드, 및/또는 의료 기구 시스템과 관련된 설정들의 목록을 디스플레이하는 설정 윈도우(450)를 포함할 수 있다.
도 4에 도시된 바와 같이, 그래픽 사용자 인터페이스(400)의 하나의 예는 목표 안내 윈도우(410) 및 가상 전체 뷰 윈도우(420, 430)를 포함한다. 몇몇 실시예에 따르면, 윈도우(410 - 430) 내에서 디스플레이되는 데이터는 제어 시스템(112)의 가상 시각화 시스템과 같은 가상 시각화 시스템에 의해 생성되는 가상 영상을 포함할 수 있다.
목표 안내 뷰 윈도우(410)는 신장된 장치의 원위 단부에 대응하는 시야각으로부터 목표 위치를 디스플레이한다. 몇몇 실시예에 따르면, 목표 안내 뷰 윈도우(410)는 작업자가 신장된 장치를 가까운 범위로부터 목표 위치로 조향하는 것을 보조하도록 설계된 안내 정보를 디스플레이할 수 있다.
가상 전체 뷰 윈도우(420, 430)는 환자(P)의 전체 뷰를 제공하는 시야각으로부터 가상 영상 데이터를 디스플레이한다. 이러한 방식으로, 가상 전체 뷰 윈도우(430)는 외과의사(O)와 같은 관찰자의 시계를 시뮬레이팅한다. 몇몇 예에서, 가상 영상 데이터는 환자의 해부학적 구조물 내에서의 신장된 장치의 실시간 위치를 디스플레이할 수 있다. 몇몇 예에서, 가상 전체 뷰 윈도우(470, 480)의 각각의 시야각은 수동으로 그리고/또는 자동으로 선택될 수 있다. 몇몇 실시예에 따르면, 가상 전체 뷰 윈도우(470, 480)의 각각의 시야각은 서로에 대해 회전될 수 있다. 몇몇 예에서, 시야각은 시야들 중 하나를 회전시키는 것이 다른 시야가 대응하는 양만큼 자동으로 회전하게 하도록, 고정된 오프셋(예컨대, 직교성을 보존하기 위한 90° 오프셋)을 갖는다. 몇몇 예에서, 시야각들 중 하나 이상은 신장된 장치 내의 하나 이상의 굽힘부의 가시성을 향상시키도록 자동으로 선택될 수 있다. 몇몇 예에서, 시야각들 중 하나는 시술을 관찰하기 위해 사용되는 형광 투시법 촬영 장치의 시야와 정합하도록 자동으로 선택될 수 있다. 가상 전체 뷰 윈도우(420, 430)의 일 실시예가 도 5를 참조하여 아래에서 더 상세하게 설명된다.
카메라 뷰 윈도우(440)가 의료 기구(104)의 시각화 시스템과 같은 시각화 시스템에 의해 포착된 비디오 영상 데이터를 디스플레이한다. 예를 들어, 비디오 영상 데이터는 의료 기구의 원위 단부에서의 또는 그 부근에서의 내시경 및/또는 입체 또는 평면 카메라에 의해 포착된 비디오를 포함할 수 있다. 하나 이상의 표식 및/또는 제어부가 의료 기구를 제어하는 데 있어서 작업자를 보조하기 위해 영상 데이터 상에 중첩되고 그리고/또는 그와 나란히 디스플레이될 수 있다.
윈도우(410 - 440)들이 동시에 디스플레이될 때, 윈도우(410 - 440)들 내에 디스플레이되는 영상들은 유리하게는 작업자가 (목표 안내 윈도우(410) 및/또는 카메라 뷰 윈도우(440)를 거쳐) 의료 기구의 원위 단부의 주변과, 환자의 해부학적 구조물에 관련된 (가상 전체 뷰 윈도우(420, 430)를 거친) 의료 기구의 3차원 자세를 동시에 모니터링하고 그리고/또는 시각화하도록 허용한다.
몇몇 실시예에 따르면, 윈도우(410 - 440) 내에 디스플레이되는 영상들 중 하나 이상은 작업자에게 보충 안내 정보를 디스플레이하도록 증강될 수 있다. 추가적으로 그리고/또는 대안적으로, 그래픽 사용자 인터페이스(400)는 작동 정보 윈도우(460)를 사용하여 작업자에게 보충 안내 정보를 디스플레이할 수 있다. 몇몇 예에서, 보충 안내 정보는 의료 기구의 작동 중에 발생하는 문제점 및/또는 잠재적인 문제점에 대해 작업자에게 경보하기 위해 사용될 수 있다. 보충 안내 정보는 검출된 문제점을 교정, 회피, 및/또는 경감시키는 데 있어서 작업자를 추가로 보조할 수 있다.
몇몇 실시예에 따르면, 보충 안내 정보는 추적 시스템(230)과 같은, 추적 시스템으로부터의 데이터와 관련될 수 있다. 추적 시스템으로부터의 데이터는 신장된 장치 및/또는 그의 일부의 위치, 배향, 속력, 속도, 자세, 및/또는 형상을 표시할 수 있다. 추적 시스템으로부터의 데이터는 신장된 장치 및/또는 그의 일부의 화학적, 생물학적, 역학적, 및/또는 열적 상태를 추가로 표시할 수 있다. 예를 들어, 도 2a에 대해 위에서 설명된 바와 같이, 추적 시스템은 신장된 장치(202)와 같은 신장된 장치의 형상을 결정하기 위한, 형상 센서(222) 및/또는 광섬유 굽힘 센서와 같은, 형상 센서를 포함할 수 있다. 형상 센서로부터의 데이터는 신장된 장치의 길이를 따른 특정 상태(예컨대, 굽힘 반경, 좌굴 변형, 활성화력, 온도, 및/또는 비틀림)를 추가로 계산하기 위해 사용될 수 있다. 대안적으로 또는 추가적으로, 추적 시스템은 신장된 장치의 길이를 따른 상태를 측정하기 위해, 온도, 힘, 변형 게이지, 전자기, 및/또는 압력 센서와 같은, 하나 이상의 용도 특이적 센서를 포함할 수 있다. 그러한 상태는 상태가 미리 결정된 임계치에 도달하면, 작업자에게 연속적인 보충 안내 정보 또는 경보를 제공할 수 있다.
하나의 예에서, 보충 안내 정보는 추적 시스템에 의해 검출된 신장된 장치의 과도한 굽힘에 대해 작업자에게 경보할 수 있다. 과도한 굽힘 상태가 존재하는지의 여부는 환자(P)와 같은 환자의 해부학적 구조, 신장된 장치의 재료 및/또는 설계, 신장된 장치 내로 삽입된 의료 도구의 재료 및/또는 설계 등에 의존할 수 있다. 예를 들어, 과도한 굽힘은 그가 신장된 장치 내로 삽입된 의료 도구가 신장된 장치의 원위 단부에 도달하는 것을 방지하기 때문에 문제될 수 있고 그리고/또는 신장된 장치 내에서 뒤틀림(kink)이 형성되게 할 수 있다. 몇몇 예에서, 의료 도구 및/또는 신장된 장치 내로 삽입된 의료 도구의 개별 부분은 신장된 장치의 가요성 본체보다 더 강성일 수 있다. 따라서, 신장된 장치가 신장된 장치의 하나 이상의 부분이 과도하게 구부러지는 구성에 있을 때, 의료 장치가 과도하게 구부러진 부분(들)을 지나 전달되는 것이 어렵고 그리고/또는 불가능할 수 있다. 그러한 예에 추가하여, 보충 안내 정보는 환자 내로 의료 도구를 삽입하기 전에 과도한 굽힘 상태를 검출하고 교정하는 데 있어서 작업자를 보조할 수 있다. 이는 작업자가 신장된 장치의 하나 이상의 부분이 과도하게 구부러졌을 때를 "추측-확인" 방법에 의해 수동으로 발견하기 위해 의료 도구를 반복적으로 신장된 장치로 삽입하고 그로부터 제거하는 것을 방지한다. 몇몇 실시예에 따르면, 보충 안내 정보는 좌굴, 과도한 변형, 과도한 비틀림, 과도한 힘, 범위외 온도, 해부학적 통로의 차단, 추적 시스템에 의해 검출된 이상성(예컨대, 신장된 장치의 화학적, 생물학적, 역학적, 및/또는 열적 환경의 이상성) 등과 같은, 의료 기구 시스템의 작동 중에 발생하는 다양한 다른 문제점에 대해 작업자에게 경보할 수 있다.
도 5는 몇몇 실시예에 따른 보충 안내 정보에 의해 증강된 가상 영상 데이터를 디스플레이하기 위한 윈도우(500)의 단순화된 도면이다. 도 1 - 도 4에 따른 몇몇 실시예에 따르면, 윈도우(500)는 가상 전체 뷰 윈도우(420, 430)들 중 하나 이상에 대응할 수 있다. 이러한 예에서, 윈도우(500) 내의 영상 데이터는 신장된 장치(510), 해부학적 특징부(520), 및 목표(530)를 도시한다. 몇몇 실시예에 따르면, 해부학적 특징부(520)는 해부학적 통로, 혈관, 장기 등과 같은, 관심 해부학적 특징부를 포함할 수 있다.
목표(530)는 작업자가 신장된 장치(510)를 안내하도록 의도하는 환자의 해부학적 구조물의 지점 또는 영역을 식별한다. 도 5에 도시된 바와 같이, 목표(530)는 구로서 도시되어 있다. 몇몇 실시예에 따르면, 목표(530)는 생략될 수 있다. 예를 들어, 해부학적 특징부(520)는 신장된 장치(510)를 목표(530)가 없이도 특정 위치로 조향하기 위한 충분한 안내를 작업자에게 제공할 수 있다.
몇몇 실시예에서, 신장된 장치(510), 해부학적 특징부(520), 및 목표(530)를 도시하는 영상 데이터가 신장된 장치(510)를 환자(P)와 같은 환자 내의 특정 위치로 조향하기 위한 충분한 안내 정보를 작업자에게 제공할 수 있다. 그러나, 많은 경우에, 작업자는 삽입 중에 신장된 장치(510)가 마주치는 문제점에 대해 검출하고 교정하는 데 있어서 어려움을 가질 수 있다. 예를 들어, 몇몇 영상 내에서, 작업자는 신장된 장치(510) (및/또는 그의 일부)의 굽힘 반경을 정밀하게 결정하는 데 있어서 어려움을 가질 수 있다. 몇몇 영상 내에서, 작업자는 신장된 장치(510)의 조향 가능한 부분을 조향 불가능한 부분으로부터 구별하는 데 있어서 어려움을 가질 수 있다. 결과적으로, 이러한 영상들은 신장된 장치(510)의 굽힘 반경이 하나 이상의 미리 결정된 임계 값을 초과하지 않도록 보장하는 방식으로 신장된 장치(510)를 제어하는 데 부적절할 수 있다. 유사하게, 작업자가 신장된 장치(510)가 과도하게 구부러졌음을 결정하더라도, 종래의 영상은 문제점을 해결하기 위해 신장된 장치(510)를 조향하기 위한 방향을 결정하기 위해 "추측-확인"과 같은 불충분한 방법에 의존하지 않고서 문제점을 교정할 수 있기에 충분한 안내 정보를 작업자에 대해 제공하지 않을 수 있다.
이러한 결점을 해결하기 위해, 윈도우(500) 내에 디스플레이되는 영상 데이터는 작업자에게 보충 안내 정보를 디스플레이하도록 증강된다. 보충 안내 정보는 이전에 설명된 바와 같이 신장된 장치(510)의 길이를 따라 배치된 광섬유 굽힘 센서와 같은 추적 시스템을 사용하여 결정될 수 있다. 하나의 실시예에서, 보충 안내 정보는 미리 결정된 임계치가 통과되었을 때에만 전송된다. 대안적인 실시예에서, 보충 안내 정보는 색채 배합(542), 경보 아이콘(544), 햅틱/청각 경보(546), 구조적 표식(548), 수치 등에 의해 연속적으로 작업자에게 전송될 수 있다.
하나의 예에서, 색채 배합(542)은 신장된 장치(510)를 따른 상이한 위치들에서의 신장된 장치(510)의 굽힘 반경을 표시한다. 색채 배합(542)은 위치의 함수로서 신장된 장치(510)의 색, 텍스처, 패턴, 투명도, 색조, 및/또는 다른 시각적 특성을 변경함으로써 측정된 굽힘 반경을 디스플레이하기 위해 사용될 수 있다. 색채 배합(542)을 사용하면, 상이한 색 및/또는 색조가 굽힘 반경 값의 범위에 할당될 수 있다 (예컨대, 녹색이 직선으로 간주되는 범위에 할당될 수 있고, 적색이 구부러진 것으로 간주되는 범위에 할당될 수 있고, 황색이 중간 범위에 할당될 수 있다). 도 5에 도시된 바와 같이, 신장된 장치(510)의 더 어두운 부분이 더 작은 굽힘 반경에 대응하는 색채 배합이 채택된다. 그러한 색채 배합은 과도하게 구부러진 신장된 장치(510)의 가능한 부분에 대해 작업자에게 경보할 수 있다. 예를 들어, 신장된 장치(510)의 하나의 영역은 임계 값을 넘어 구부러질 때 적색으로 변할 수 있다. 몇몇 실시예에 따르면, 임계 값은 니들과 같은 의료 도구가 신장된 장치(510)를 더 이상 자유롭게 통과할 수 없는 굽힘 반경에 대응할 수 있다. 몇몇 예에서, 임계 값은 신장된 장치(510)가 뒤틀림을 형성하게 되는 반경과 같은, 신장된 장치(510)의 최소 굽힘 반경에 대응할 수 있다. 몇몇 실시예에서, 복수의 임계 값이 있을 수 있고, 각각의 임계 값은 더 극단의 임계치가 초과되었음을 표시하기 위한 더 어두운 적색 색상으로의 변이와 같은, 색채 배합(542) 내의 상이한 변화를 트리거링한다. 색들 사이의 전이가 갑작스러운 것으로 도시되어 있지만, 색채 배합(542)은 색상, 휘도 등과 같은, 색채 배합(542)의 특성이 굽힘 반경의 연속적인 함수로서 연산되도록, 몇몇 예에서 색들 사이에서 점진적으로 전이할 수 있다는 점이 이해될 것이다. 몇몇 예에서, 색채 배합(542)은 신장된 장치(510)의 전체 길이를 따라 적용될 수 있다. 몇몇 예에서, 색채 배합(542)은 신장된 장치(510)의 근위 부분이 과도하게 구부러지는 데 있어서 원위 부분만큼 민감하지 않을 수 있으므로, 신장된 장치(510)의 원위 부분으로 제한될 수 있다.
몇몇 실시예에 따르면, 경보 아이콘(544)이 굽힘 반경이 하나 이상의 임계 값을 초과할 때 윈도우(500) 내에서 출현할 수 있다. 도 5에 도시된 바와 같이, 경보 아이콘(544)은 과도한 굽힘이 식별되는 영역으로 작업자의 관심을 돌리기 위해 문제 영역의 주변에 위치된다. 그러나, 몇몇 실시예에서, 경보 아이콘(544)은 급격한 굽힘 반경이 측정되는 신장된 장치(510)의 길이를 따른 위치에 인접해서와 같이 윈도우(500) 내의 임의의 위치에서 출현할 수 있다. 몇몇 실시예(도시되지 않음)에서, 경보 아이콘(544)은 굽힘 반경을 정량하는 영숫자 값을 디스플레이할 수 있고, 그리고/또는 게이지, 계측기 등을 사용하여 굽힘 반경의 크기를 시각적으로 표현할 수 있다. 몇몇 실시예에서, 경보 아이콘(544)의 크기, 색, 및/또는 다른 속성은 굽힘 반경의 크기에 비례할 수 있다. 몇몇 예에서, 경보 아이콘(544)은 신장된 장치(510)의 굽힘 반경을 감소시키는 데 있어서 작업자를 보조하기 위한 화살표 및/또는 다른 방향 표식을 포함할 수 있다.
몇몇 실시예에 따르면, 햅틱/청각 경보(546) 및/또는 관련된 그래픽 아이콘이 굽힘 반경이 하나 이상의 임계 값을 초과할 때 작업자에게 경보하기 위해 사용될 수 있다. 예를 들어, 햅틱 경보는 조이스틱, 트랙볼 등과 같은, 신장된 장치(510)를 제어하기 위해 작업자에 의해 사용되는 제어 장치를 진동시킴으로써 송신될 수 있다. 청각 경보는 경보 신호 및/또는 마주한 문제점의 유형을 기술하는 해설음을 포함할 수 있다. 햅틱/청각 경보(546)는 작업자가 다른 곳을 보더라도 굽힘 반경이 하나 이상의 임계 값을 초과할 때 윈도우(500)로 작업자의 관심을 끄는 것을 도울 수 있다.
몇몇 실시예에 따르면, 보충 안내 정보는 구조적 표식(548)을 포함할 수 있다. 대체로, 구조적 표식은 작업자에 대한 시각적 보조구로서, 신장된 장치(510)의 원위 단부 및/또는 신장된 장치(510)의 상이한 세그먼트들과 같은, 신장된 장치(510)의 구조적 구성요소를 표시할 수 있다. 도 5에 도시된 바와 같이, 구조적 표식(548)은, 존재한다면, 조향 가능한 신장된 장치(510)의 일 부분을 시각적으로 한정하는 조향 가능한 범위 표식을 포함한다. 그러한 실시예에 추가하여, 구조적 표식(548)은 신장된 장치(510)의 조향 가능한 부분과 조향 불가능한 부분 사이의 전이가 발생하는 신장된 장치(510)를 따른 위치들을 표시하는 선 및/또는 표지를 포함할 수 있다. 몇몇 예에서, 구조적 표식(548)은 화살표, 십자선, 및/또는 임의의 다른 적합한 표식 또는 표식들의 세트를 포함할 수 있다. 몇몇 실시예에서, 신장된 장치(510)는 조향 가능한 범위 내에서 색채 배합(542)을 사용하여 그리고 조향 가능한 범위의 외부에서 정상 색채 배합(예컨대, 회색)을 사용하여 도시될 수 있다. 몇몇 예에서, 청색과 같은 지정된 색이 구조적 표식(548)에 대해 사용될 수 있다.
몇몇 실시예에 따르면, 다양한 변형이 보충 안내 정보가 디스플레이되는 명확성 및/또는 구분성을 개선하기 위해 윈도우(500)에 대해 이루어질 수 있다. 몇몇 실시예에 따르면, 윈도우(500)의 시야각은 가장 급격한 굽힘 반경을 구비한 신장된 장치(510)의 부분을 강조하도록 선택될 수 있다. 예를 들어, 시야각은 가장 급격한 굽힘 반경의 평면에 대해 직교하도록 동적으로 선택될 수 있다. 몇몇 예에서, 해부학적 특징부(520) 및/또는 목표(530)는 윈도우(500) 내에 포함된 보충 안내 정보로부터 관심을 끌지 않도록 윈도우(500) 내에 디스플레이되지 않을 수 있다.
도 6은 몇몇 실시예에 따른 보충 안내 정보를 포함하는 작동 정보를 디스플레이하기 위한 윈도우(600)의 단순화된 도면이다. 도 1 - 도 4에 따른 몇몇 실시예에 따르면, 윈도우(600)는 작동 정보 윈도우(460)에 대응할 수 있다. 윈도우(500) 내에 디스플레이되는 증강 영상과 유사하게, 윈도우(600)는 신장된 장치의 길이를 따라 배치된 광섬유 굽힘 센서와 같은, 추적 시스템을 사용하여 측정된 굽힘 반경과 관련된 보충 안내 정보를 디스플레이하기 위해 사용된다. 몇몇 실시예에 따르면, 윈도우(600)는 작동 정보 아이콘(610)을 포함하는 하나 이상의 그래픽 표식을 디스플레이할 수 있다.
대체로, 작동 정보 아이콘(610)은 신장된 장치의 과도한 굽힘과 같은, 신장된 장치를 제어하면서 마주치는 문제점을 교정하는 데 있어서 작업자를 보조하는 안내 정보를 제공한다. 몇몇 예에서, 작동 정보 아이콘(610)은 과도한 굽힘 상태에 대해 작업자에게 경보하기 위해 신장된 장치의 최소 굽힘 반경(즉, 신장된 장치의 길이를 따른 가장 작은 굽힘 반경)을 디스플레이하는 영숫자 표식(612)을 포함할 수 있다. 몇몇 예에서, 영숫자 표식(612)은 가장 급격한 굽힘 반경이 변화할 때 연속적으로 갱신되지만, 가장 급격한 굽힘 반경이 의료 도구의 통과를 안전하게 허용하는 것으로 미리 결정된 값과 동일할 때 문자 값(예컨대, 예 또는 통과)으로 전환되는 숫자 값을 디스플레이할 수 있다. 몇몇 예에서, 값은 통과 또는 실패, 예 또는 아니오를 디스플레이하는 문자 값, 및/또는 의료 도구의 통과를 허용하기 위해 신장된 장치의 길이를 따른 충분히 큰 굽힘 반경의 다른 2진 표식일 수 있다.
몇몇 예에서, 작동 정보 아이콘(610)은 과도한 굽힘 상태를 경감시키기 위해 작업자가 신장된 장치를 어느 방향으로 조향해야 하는지를 표시하는, 화살표와 같은 방향 표식(614)을 포함할 수 있다. 몇몇 예에서, 작동 정보 아이콘(610), 영숫자 표식(612), 및/또는 방향 표식(614)의 색, 크기, 텍스처, 및/또는 다른 속성은 작업자에게 보충 안내 정보를 전송하기 위해 동적일 수 있다. 예를 들어, 상이한 색들이 굽힘 반경의 상이한 범위에 대응할 수 있다 (예컨대, 적색은 1 - 10의 굽힘 반경에 대응하고, 녹색은 50을 초과하는 굽힘 반경에 대응하고, 황색 및/또는 적색으로부터 주황색으로 황색으로 그리고 녹색으로의 점진적으로 변이하는 색조는 11 - 49의 굽힘 반경에 대응한다). 몇몇 예에서, 작동 정보 아이콘(610)의 색을 결정하기 위해 사용되는 색채 배합은 윈도우(500)의 색채 배합(542)과 정합할 수 있다. 색채 배합은 방향 표식(614) 및/또는 숫자 표식(612)과 같은 작용 정보 아이콘(610) 또는 그의 일부에 적용될 수 있다. 몇몇 예에서, 작동 정보 아이콘(610), 영숫자 표식(612), 및/또는 방향 표식(614) 중 하나 이상이 과도한 굽힘이 검출되지 않을 때 사라질 수 있다.
도 6에 도시된 예시적인 예에서, 신장된 장치의 최소 굽힘 반경은 영숫자 표식(612)에 의해 도시된 바와 같이, 11mm이다. 숫자가 작을수록, 굽힘 반경이 더 급격하다. 최소 굽힘 반경을 증가시키기 위해, 작업자는 방향 표식(614)의 화살표에 의해 도시된 바와 같이, 조이스틱, 트랙볼 등과 같은 제어 장치를 아래로 그리고 좌측으로 운행하도록 지시받는다. 예를 들어, 하나 이상의 실시예에서, 작동 정보 아이콘(610)은 신장된 장치의 조향 가능한 부분의 굽힘을 제어하기 위해 작업자에 의해 사용되는 트랙볼의 평면도를 도시할 수 있다. 그러한 실시예에 추가하여, 방향 표식(614)은 트랙볼이 신장된 장치의 조향 가능한 부분을 직선화하기 위해 굴려져야 하는 방향을 표시할 수 있다.
도 4 - 도 6의 예가 굽힘 반경의 디스플레이에 대해 대략적으로 설명되었지만, 이전에 설명된 예들 중 임의의 디스플레이는 좌굴 변형, 활성화력, 온도, 및/또는 비틀림과 같지만 이로 제한되지 않는 상태를 유사하게 표현할 수 있음을 이해하여야 한다. 굽힘에서와 같이, 좌굴, 변형, 활성화력, 온도, 및/또는 비틀림은 신장된 장치의 길이를 따라 또는 이전에 설명된 디스플레이 윈도우들 중 임의 내의 임의의 위치에서, 변하는 색, 텍스처, 패턴, 투명도, 색조, 영숫자 표식, 햅틱/청각/시각 경보, 및/또는 시각적 특성으로서 디스플레이될 수 있다.
도 7은 몇몇 실시예에 따른 영상 안내식 외과적 시술 중에 보충 안내 정보를 디스플레이하는 방법(700)의 단순화된 도면이다. 몇몇 예에서, 방법(700)은 그래픽 사용자 인터페이스(400)와 같은 그래픽 사용자 인터페이스 상에서 그리고/또는 윈도우(500 및/또는 600)와 같은 그래픽 사용자 인터페이스의 윈도우 내에서, 보충 안내 정보를 디스플레이하기 위해 사용될 수 있다. 방법(700)은 작업 또는 공정(710 - 740)의 세트로서 도 7에 도시되어 있다. 도시된 공정(710 - 740)들 중 전부가 방법(700)의 모든 실시예에서 수행될 수 있는 것은 아니다. 추가로, 도 7에 명확하게 도시되지 않은 하나 이상의 공정이 공정(710 - 740)들 이전에, 이후에, 사이에, 또는 그의 일부로서 포함될 수 있다. 몇몇 실시예에서, 방법(700)의 공정(710 - 740)들 중 하나 이상이 하나 이상의 프로세서(예컨대, 제어 시스템(112)의 프로세서)에 의해 실행될 때, 하나 이상의 프로세서가 공정(710 - 740)들 중 하나 이상을 수행하게 할 수 있는 비일과성의 유형의 컴퓨터 판독 가능 매체 상에 저장된 실행 가능한 코드 형태로 적어도 부분적으로 구현될 수 있다.
공정(710)에서, 추적 데이터가 신장된 장치(202)와 같은 신장된 장치와 관련된 추적 시스템으로부터 수신된다. 몇몇 실시예에 따르면, 추적 데이터는 신장된 장치의 가요성 본체의 위치, 배향, 속력, 속도, 환경(예컨대, 화학적, 열적, 및/또는 생물학적 환경), 온도, 힘, 자세, 및/또는 형상과 관련된 정보를 포함할 수 있다. 몇몇 예에서, 추적 데이터는 가요성 본체의 길이를 따른 복수의 지점 및/또는 세그먼트로부터 수집된 데이터를 포함할 수 있다. 몇몇 예에서, 추적 시스템은 가요성 본체의 길이를 따라 배치된 광섬유 굽힘 센서와 같은, 형상 센서를 포함할 수 있다. 그러한 실시예에 따르면, 추적 데이터는 가요성 본체를 따른 다양한 위치에서의 가요성 본체의 굽힘 반경 및/또는 굽힘 반경을 결정하기 위한 충분한 정보를 포함할 수 있다. 추가의 실시예에서, 추적 데이터는 좌굴, 변형, 활성화력, 온도, 또는 비틀림과 같은 가요성 본체의 대안적인 상태를 계산하기 위해 사용될 수 있다.
공정(720)에서, 보충 안내 정보가 수신된 추적 데이터에 기초하여 결정된다. 몇몇 예에서, 보충 안내 정보는 프로브 데이터를 하나 이상의 미리 결정된 임계치에 비교함으로써 결정될 수 있다. 예를 들어, 프로브 데이터가 가요성 본체를 따른 다양한 위치에서의 가요성 본체의 굽힘 반경을 포함할 때, 보충 안내는 가요성 본체의 최소 허용 가능한 굽힘 반경에 굽힘 반경을 비교함으로써 결정될 수 있다. 몇몇 예에서, 최소 허용 가능한 굽힘 반경은 가요성 본체를 통한 하나 이상의 의료 장치의 방해받지 않는 통과를 보장하도록 선택될 수 있다. 몇몇 예에서, 최소 허용 가능한 굽힘 반경은 가요성 본체에 대한 뒤틀림 또는 다른 손상을 방지하도록 선택될 수 있다.
몇몇 예에서, 최소 굽힘 반경은 10mm 이하일 수 있다. 몇몇 예에서, 하나 이상의 임계 값은 구성 가능할 수 있고 (예컨대, 작업자에 의해 설정될 수 있고), 그리고/또는 외과적 시술의 유형, 신장된 장치의 모델, 환자의 물리적 특징, 가요성 본체 내로 삽입되는 의료 장치의 유형 등에 기초하여 변할 수 있다. 몇몇 실시예에 따르면, 보충 안내 정보는 추가적으로 그리고/또는 대안적으로 교정 안내 정보를 포함할 수 있다. 예를 들어, 가요성 본체의 굽힘 반경이 특정 임계치보다 더 작을 때, 교정 안내 정보를 결정하는 것은 과도한 굽힘 상태를 경감시키도록 가요성 본체를 조향하기 위한 방향을 결정하는 것을 포함할 수 있다.
공정(730)에서, 하나 이상의 영상이 보충 안내 정보를 포함하도록 증강된다. 몇몇 실시예에 따르면, 하나 이상의 영상은 제어 시스템(112)의 가상 시각화 시스템과 같은, 가상 시각화 시스템에 의해 생성된 가상 전체 영상에 대응할 수 있다. 그러한 실시예에 따르면, 보충 안내 정보는 보충 안내 정보를 사용하여 증강된 가상 영상을 생성하기 위해 가상 시각화 시스템 내로 입력될 수 있다. 대안적으로 또는 추가적으로, 가상 영상은 가상 시각화 시스템으로부터 수신될 수 있고, 보충 안내 정보는 수신된 가상 영상 상에 중첩될 수 있다. 몇몇 실시예에서, 하나 이상의 영상은 의료 기구(104)의 시각화 시스템과 같은, 시각화 시스템에 의해 포착된 비디오 영상 데이터에 대응할 수 있다. 그러한 실시예에 따르면, 보충 안내 정보는 비디오 영상 데이터 상에 중첩될 수 있다. 도 5에 대해 이전에 설명된 바와 같이, 영상은 색채 배합, 경보 아이콘, 햅틱/청각 표식, 구조적 표식 등을 포함함으로써 증강될 수 있다. 몇몇 예에서, 하나 이상의 영상을 증강시키는 것은 더 작은 굽힘 반경을 구비한 가요성 본체의 부분이 더 큰 굽힘 반경을 구비한 가요성 본체의 부분과 상이하게 착색되거나 채색되도록 가요성 본체에 색채 배합을 적용하는 것을 포함할 수 있다. 유사하게, 하나 이상의 영상을 증강시키는 것은 조향 가능한 가요성 본체의 하나 이상의 부분을 구분하기 위해 가요성 본체에 구조적 표식을 적용하는 것을 포함할 수 있다. 몇몇 예에서, 보충 안내 정보는 굽힘을 감소시키도록 신장된 장치의 가요성 본체를 조향하기 위한 방향을 표시하는 화살표와 같은, 작동 정보로서 디스플레이될 수 있다.
공정(740)에서, 하나 이상의 증강 영상이 그래픽 사용자 인터페이스 상에 디스플레이될 수 있다. 몇몇 예에서, 하나 이상의 증강 영상은 보충 안내 윈도우(600)와 같은, 보충 안내 윈도우와 동시에 윈도우 내에 디스플레이될 수 있다. 몇몇 예에서, 하나 이상의 증강 영상은 가요성 본체의 과도한 굽힘이 검출될 때와 같이, 임계 값이 초과되는지를 표시하기 위한 청각 및/또는 햅틱 경보와 동시에 디스플레이될 수 있다. 몇몇 예에서, 하나 이상의 증강 영상은 작동 정보 아이콘과 동시에 디스플레이될 수 있다. 예를 들어, 작동 정보 아이콘은 굽힘 반경을 증가시키도록 가요성 본체를 조향하기 위한 방향을 디스플레이하기 위한 방향 표식을 포함할 수 있다.
도 8은 몇몇 실시예에 따른 영상 안내식 외과적 시술 시에 사용하기 위한 보충 안내 정보를 디스플레이하는 그래픽 사용자 인터페이스의 스크린샷(800)이다. 그래픽 사용자 인터페이스(400)와 유사하게, 스크린샷(800)은 6개의 동시에 관찰 가능한 프레임 또는 윈도우(810 - 860)를 도시한다. 상위 3개의 프레임(810 - 830)은 목표 안내 뷰 및 해부학적 통로 내로 삽입된 신장된 장치의 2개의 가상 전체 뷰에 대응하는 가상 영상을 도시한다. 배향 표식(870)이 환자에 대한 각각의 영상의 시야각을 표시하기 위해 각각의 가상 영상의 하부 우측 코너에 디스플레이된다. 가상 전체 뷰(820, 830)는 환자의 폐의 3차원 해부학적 모델(822) 및 폐의 기관지를 통해 이동할 때의 신장된 장치의 모델(824)의 그래픽 표현을 도시한다. 몇몇 예에서, 3차원 해부학적 모델(822)은 수술전 CT 스캔으로부터 생성된 다음 환자의 해부학적 구조물에 정합될 수 있다. 모델(824) 또한 환자의 해부학적 구조물에 정합되고, 모델(824) 내에서의 신장된 장치의 표현은 이전에 설명된 추적 데이터에 기초하여 실시간으로 갱신된다. 추가로, 사용자가 미리 선택한 목표(880)가 프레임(810 - 830) 내에 디스플레이된다.
윈도우(500) 내에 디스플레이되는 영상과 유사하게, 가상 전체 영상(820, 830)은 보충 안내 정보를 디스플레이하도록 증강된다. 더 구체적으로, 신장된 장치의 모델(824)은 그의 길이를 따른 각각의 지점에서의 신장된 장치의 굽힘 반경을 표시하는 색채 배합에 따라 착색된다. 모델(824)의 적색 부분은 그러한 부분 내의 굽힘 반경이 신장된 장치를 통한 기구의 통과를 차단하고 그리고/또는 신장된 장치를 변형시킬 위험이 있는 한계 범위 내에 (예컨대, 미리 결정된 임계 값 아래에) 있음을 표시하고, 녹색은 한계 범위 외부에 있는 것으로 간주되며 기구의 통과 및/또는 신장된 장치에 대한 변형의 측면에서 문제되지 않는 신장된 장치의 부분에 할당된다. 이러한 특정 예에서, 적색은 1 - 10의 굽힘 반경에 대응하고, 녹색은 50을 초과하는 굽힘 반경에 대응하고, 적색으로부터 주황색으로 황색으로 그리고 녹색으로의 색상의 점진적으로 변이하는 색조는 11 - 49의 굽힘 반경에 대응한다. 또한, 모델(824) 상의 청색 선은 조향 가능한 신장된 장치의 부분을 구분한다. 청색 선 사이의 신장된 장치의 부분은 조향 가능하고; 다른 부분은 조향 가능하지 않다.
스크린샷(800) 내에 도시된 하위 3개의 프레임 또는 윈도우는 내시경 카메라 윈도우(840), 제어 모드 윈도우(850), 및 작동 정보 윈도우(860)를 포함한다. 작동 정보 윈도우(600)와 유사하게, 작동 정보 윈도우(860)는 작업자에 의해 사용되는 트랙볼의 평면도를 도시하는 작동 정보 아이콘(865)을 포함한다. 작동 정보 아이콘(865)은 신장된 장치의 최소 굽힘 반경을 영숫자로 표시하고, 최소 굽힘 반경을 증가시키고 과도한 굽힘을 완화시키도록 신장된 장치를 조향하기 위한 방향 (즉, 작업자가 트랙볼을 굴려야 하는 방향)을 그래픽으로 표시한다. 작동 정보 아이콘(865)의 색은 동적이고, 모델(824)의 색채 배합과 정합하고; 적색은 1 - 10의 최소 굽힘 반경에 대응하고, 녹색은 50을 초과하는 최소 굽힘 반경에 대응하고; 적색으로부터 주황색으로 황색으로 그리고 녹색으로의 색의 점진적으로 변이하는 색조는 11 - 49의 최소 굽힘 반경에 대응한다.
모델(824)의 색채 배합, 작동 정보 아이콘(865)의 색채 배합, 및/또는 작동 정보 아이콘(865)의 영숫자 굽힘 반경 표식에 기초하여, 작업자는 신장된 장치의 과도한 굽힘 상태를 관찰할 수 있다. 또한, 작업자는 해부학적 통로의 직선 가지 내의 또는 그 부근의 위치에서와 같이, 신장된 장치의 예상되는 형상이 직선인 위치에서 신장된 장치의 굽힘의 갑작스런 변화를 관찰할 수 있다. 이러한 관찰에 기초하여, 작업자는 특히 작업자가 디스플레이되는 정보가 사소하고 그리고/또는 해결 가능한 문제점을 표시한다고 믿을 때, 신장된 장치를 수동으로 그리고/또는 트랙볼을 사용하여 로봇에 의해 재위치시킬 수 있다. 대안적으로 또는 추가적으로, 작업자는 특히 작업자가 디스플레이되는 정보가 심각하고 그리고/또는 위험한 실패를 표시한다고 믿을 때, 신장된 장치를 부분적으로 취출하고 목표로의 상이한 접근을 시도할 수 있고 그리고/또는 환자로부터 신장된 장치를 완전히 취출할 수 있다. 몇몇 예에서, 이러한 공정은 작업자가 신장된 장치 내로 의료 도구를 삽입하기 전에 환자로부터 신장된 장치를 제거하도록 허용할 수 있어서, 미검출 실패가 존재하는 영역 내로 의료 도구를 삽입함으로써 실패가 악화되는 것을 방지한다. 하나 이상의 실시예에서, 굽힘 반경에 대한 하나 이상의 임계 값은 과도한 굽힘 상태의 심각성 및 취해져야 하는 적절한 완화 작용을 결정하는 데 있어서 작업자를 보조하기 위해 사용될 수 있다.
도 9는 몇몇 실시예에 따른 굽힘 표식(900)의 단순화된 도면이다. 도 1 - 도 8에 따른 몇몇 실시예에 따르면, 굽힘 표식(900)은 작동 정보 윈도우(460) 내에 디스플레이될 수 있다. 몇몇 예에서, 굽힘 표식(900)은 작동 정보 아이콘(610)과 같은 작동 정보 아이콘과 함께 그리고/또는 작동 정보 아이콘에 대한 대안으로서 디스플레이될 수 있다. 그러나, 굽힘 표식(900)은 단독 뷰로서 그리고/또는 그래픽 사용자 인터페이스(400)에 도시된 것과 다른 뷰와 관련하여를 포함하여, 그래픽 사용자 인터페이스(400) 이외의 맥락에서 디스플레이될 수 있다는 점이 이해될 것이다. 몇몇 예에서, 굽힘 표식(900)은 급격한 굽힘 반경이 카테터 내에서 검출될 때 (예컨대, 굽힘 반경이 미리 결정된 임계치 아래에 있을 때) 출현할 수 있고, 그렇지 않으면 숨겨질 수 있다. 대안적으로, 굽힘 표식(900)의 선택된 부분들은 급격한 굽힘이 존재하지 않을 때 숨겨질 수 있다 (예컨대, 숫자 굽힘 반경(910)).
굽힘 표식(900)은 카테터의 개략적인 굽힘 표현(910)을 제공한다. 카테터의 원위 팁이 구부러지면, 카테터 원위 단부가 구부러지는 방향을 표시하는 굽힘 선(925)이 출현한다. 예를 들어, 도 9에 도시된 바와 같이, 굽힘 선(925)은 링(915)의 상부 우측에서 출현하여, 카테터가 우측으로 구부러짐을 표시한다. 따라서, 카테터를 직선화하기 위해, 카테터는 굽힘을 감소시키도록 하위 좌측으로 조향될 수 있다. 몇몇 예에서, 카테터 원위 단부가 직선일 때, 굽힘 선(925)은 숨겨질 수 있다.
몇몇 예에서, 개략적인 굽힘 표현(910)은 (원위 팁으로부터 카테터의 근위 부분을 향해) 카테터의 원위 팁을 통해 카테터 튜브를 후방에서 위로 보는 시선으로부터의 카테터의 원위 단부의 렌더링을 포함할 수 있다. 그러한 예에 따르면, 링(915)은 카테터의 원위 팁에 대응하는 것으로서 해석될 수 있다. 카테터가 구부러질 때, 카테터의 일부는 원위 팁 후방에서 보일 수 있다 (예컨대, 링(915)). 결과적으로, 굽힘 선(925)은 카테터의 굽힘으로 인한 원위 팁(즉, 링(915)) 후방에서 보이는 카테터의 원위 단부의 부분에 대응할 수 있다.
대안적인 예에서, 개략적인 굽힘 표현(910)은 카테터를 따른 근위 위치로부터 원위 팁을 향해 카테터 튜브를 전방에서 아래로 보는 시선으로부터의 카테터의 원위 단부의 렌더링을 포함할 수 있다. 그러한 예에 따르면, 링(915)은 근위 위치에서의 카테터의 단면 절단부에 대응하는 것으로서 해석될 수 있다. 카테터가 구부러질 때, 원위 단부의 일부는 단면 절단부(즉, 링(915)) 후방에서 보이게 된다. 결과적으로, 굽힘 선(925)이 카테터의 굽힘으로 인한 단면 절단부(즉, 링(915)) 후방에서 보이는 카테터의 부분에 대응할 수 있다.
몇몇 예에서, 굽힘 표식(900)은 카테터를 따라 검출된 최소 굽힘 반경 또는 가장 작은 굽힘 반경의 시각적 및/또는 영숫자 표현을 디스플레이할 수 있다. 최소 굽힘 반경이 임계 값 아래로 떨어지면, 굽힘 표식(900)은 영숫자 값을 디스플레이함으로써 미리 결정된 임계치가 도달되었음을 의료진에게 경보할 수 있고, 그리고/또는 그렇지 않으면 모양이 변화할 수 있다. 몇몇 실시예에서, 임계 값은 도구가 카테터를 통해 통과될 수 있는지의 여부에 기초하여 결정될 수 있다. 몇몇 실시예에서, 임계 값은 좌굴 및/또는 카테터에 대한 손상이 발생할 수 있는 반경에 기초하여 결정될 수 있다. 임계 값은 수동으로 선택될 수 있고, 자동으로 결정될 수 있고, 카테터 및/또는 도구의 유형에 기초하여 결정될 수 있고, 그리고/또는 일반적인 경험 법칙을 사용하여 설정될 수 있다. 도 9에 도시된 바와 같이, 최소 검출 굽힘 반경이 임계 값 아래에 있을 때, 굽힘 표식(900)은 최소 굽힘 반경의 실시간 값을 표시하는 숫자(920)를 포함하고, 굽힘 표식(900)의 일부가 도 9에 도시된 바와 같은 적색과 같은 상이한 색으로 변한다.
몇몇 실시예에서, 적색으로 착색된 부분의 위치는 카테터의 그러한 섹션 내에서 모터 중 하나에 의해 카테터 당김 와이어에 인가되는 힘의 크기를 반영할 수 있다. 예를 들어, 도 9에서, 상부 좌측 상의 당김 와이어는 개략적인 굽힘 표현(910)에서 출현하는 적색으로 착색된 쐐기에 의해 표시되는 바와 같이, 더 강하게 당겨지고 있다. 몇몇 예에서, 굽힘 표식(900)은 최소 굽힘 반경이 임계 값에 접근하거나 그를 초과하는지의 여부에 기초하여 색을 동적으로 변화시키는 외측 링(930)을 포함할 수 있다. 몇몇 예에서, 동적 변화는 투명도, 텍스처, 선 폭, 및/또는 색 등에 있어서 굽힘 표식(900)의 일부의 모양의 변화에 의해 표현될 수 있다.
제어 유닛(130)과 같은 제어 유닛의 몇몇 예는 하나 이상의 프로세서(예컨대, 프로세서(140))에 의해 실행될 때, 하나 이상의 프로세서가 그래픽 사용자 인터페이스(400)를 제공하거나 방법(700)의 공정들을 수행하게 할 수 있는 실행 가능한 코드를 포함하는 비일과성의 유형의 기계 판독 가능 매체를 포함할 수 있다. 그래픽 사용자 인터페이스(400)를 제공할 수 있거나 방법(700)의 공정들을 포함할 수 있는 기계 판독 가능 매체의 몇몇 일반적인 형태는, 예를 들어, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프, 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광학 매체, 펀치 카드, 종이 테이프, 구멍의 패턴을 구비한 임의의 다른 물리적 매체, RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 및/또는 프로세서 또는 컴퓨터가 판독하도록 구성된 임의의 다른 매체이다.
추가의 예
A. 의료 장치와 관련된 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서가,
신장된 장치와 관련된 추적 데이터를 수신하는 단계;
추적 데이터에 기초하여 신장된 장치의 길이를 따른 적어도 하나의 상태를 계산하는 단계;
적어도 하나의 상태에 기초하여 보충 안내 정보를 결정하는 단계;
하나 이상의 증강 영상을 생성하기 위해 보충 안내 정보에 의해 신장된 장치의 그래픽 표현을 포함하는 하나 이상의 영상을 증강시키는 단계; 및
의사 콘솔에서의 디스플레이 장치 상에서 하나 이상의 증강 영상을 디스플레이하는 단계
를 포함하는 방법을 수행하게 하도록 구성된 복수의 기계 판독 가능 지시를 포함하는 비일과성 기계 판독 가능 매체.
B. 예 A에 있어서, 추적 데이터는 형상 센서를 포함하는 추적 시스템으로부터 수신되는, 비일과성 기계 판독 가능 매체.
C. 예 B에 있어서, 형상 센서는 광섬유 굽힘 센서를 포함하는, 비일과성 기계 판독 가능 매체.
D. 예 A - 예 C 중 어느 하나에 있어서, 적어도 하나의 상태는 신장된 장치의 가요성 본체의 굽힘 반경, 좌굴 상태, 변형, 활성화력, 온도, 및 비틀림 중 적어도 하나를 추가로 포함하는, 비일과성 기계 판독 가능 매체.
E. 예 D에 있어서, 보충 안내 정보를 결정하는 단계는 굽힘 반경이 최소 허용 가능한 굽힘 반경보다 더 작은 지를 결정하는 단계를 포함하는, 비일과성 기계 판독 가능 매체.
F. 예 E에 있어서, 최소 허용 가능한 굽힘 반경은 신장된 장치를 통한 의료 장치의 통과를 허용하도록 선택되는, 비일과성 기계 판독 가능 매체.
G. 예 E에 있어서, 최소 허용 가능한 굽힘 반경은 신장된 장치에 대한 뒤틀림 또는 손상을 방지하도록 선택되는, 비일과성 기계 판독 가능 매체.
H. 예 D에 있어서, 하나 이상의 영상을 증강시키는 단계는 신장된 장치의 그래픽 표현에 색채 배합을 적용하는 단계를 포함하고, 더 작은 굽힘 반경에 대응하는 신장된 장치의 그래픽 표현의 부분은 더 큰 굽힘 반경에 대응하는 신장된 장치의 그래픽 표현의 부분과 상이하게 채색되는, 비일과성 기계 판독 가능 매체.
I. 예 A - 예 H 중 어느 하나에 있어서, 하나 이상의 영상은 구조적 표식을 포함하고, 구조적 표식은 조향 가능한 신장된 장치의 하나 이상의 부분을 구분하는, 비일과성 기계 판독 가능 매체.
J. 예 D - 예 I 중 어느 하나에 있어서, 보충 안내 정보는 교정 안내 정보를 포함하는, 비일과성 기계 판독 가능 매체.
K. 예 J에 있어서, 교정 안내 정보는 굽힘 반경을 증가시키도록 신장된 장치를 조향하기 위한 방향을 포함하는, 비일과성 기계 판독 가능 매체.
L. 예 K에 있어서, 방법은 디스플레이 장치 상에서 작동 정보를 디스플레이하는 단계를 추가로 포함하고, 작동 정보는 굽힘 반경을 증가시키도록 가요성 본체를 조향하기 위한 방향을 디스플레이하기 위한 방향 표식을 포함하는, 비일과성 기계 판독 가능 매체.
M. 예 A - 예 L 중 어느 하나에 있어서, 하나 이상의 영상은 하나 이상의 가상 영상을 포함하는, 비일과성 기계 판독 가능 매체.
N. 예 A - 예 L 중 어느 하나에 있어서, 하나 이상의 영상은 하나 이상의 비디오 영상을 포함하는, 비일과성 기계 판독 가능 매체.
O. 예 A에 있어서, 하나 이상의 프로세서에 의해 수행되는 방법은 추적 데이터로부터 신장된 장치의 위치, 배향, 속력, 속도, 화학적 환경, 열적 환경, 생물학적 환경, 자세, 및 형상 중 적어도 하나를 식별하는 단계를 추가로 포함하는, 비일과성 기계 판독 가능 매체.
P. 예 O에 있어서, 위치, 배향, 속력, 속도, 화학적 환경, 열적 환경, 생물학적 환경, 자세, 및 형상 중 적어도 하나는 신장된 장치의 길이를 따른 복수의 위치에서 측정되는, 비일과성 기계 판독 가능 매체.
예시적인 실시예가 도시되고 설명되었지만, 광범위한 변형, 변화, 및 대체가 상기 개시내용에서 고려되고, 몇몇 경우에, 실시예들의 몇몇 특징은 다른 특징의 대응하는 사용이 없이 채용될 수 있다. 본 기술 분야의 통상의 기술자는 많은 변경, 대안, 및 변형을 인식할 것이다. 따라서, 본 발명의 범주는 다음의 청구범위에 의해서만 제한되어야 하고, 청구범위는 광범위하게 그리고 본원에서 개시되는 실시예들의 범주와 일치하는 방식으로 해석되어야 함이 적절하다.

Claims (32)

  1. 영상 안내식 의료 시술 중에 안내 정보를 디스플레이하기 위한 방법이며,
    하나 이상의 하드웨어 프로세서에 의해, 가요성 본체를 포함하는 신장된 장치와 관련된 추적 시스템으로부터 데이터를 수신하는 단계;
    하나 이상의 하드웨어 프로세서에 의해, 데이터에 기초하여 가요성 본체의 길이를 따른 굽힘 반경을 계산하는 단계;
    하나 이상의 하드웨어 프로세서에 의해, 굽힘 반경이 최소 허용 가능한 굽힘 반경보다 작은지 여부의 표시를 포함하는 보충 안내 정보를 결정하는 단계이며, 최소 허용 가능한 굽힘 반경은 가요성 본체를 통한 의료 장치의 통과와 관련되어서 최소 허용 가능한 굽힘 반경보다 작은 굽힘 반경이 의료 장치의 통과를 차단하는 위험과 관련되는, 보충 안내 정보를 결정하는 단계;
    하나 이상의 하드웨어 프로세서에 의해, 하나 이상의 증강 영상을 생성하기 위해 보충 안내 정보에 의해 하나 이상의 영상을 증강시키는 단계; 및
    디스플레이 장치 상에서 하나 이상의 증강 영상을 디스플레이하는 단계
    를 포함하는, 방법.
  2. 삭제
  3. 제1항에 있어서, 하나 이상의 영상을 증강시키는 단계는 가요성 본체의 그래픽 표현에 색채 배합을 적용하는 단계를 포함하고, 더 작은 굽힘 반경에 대응하는 가요성 본체의 그래픽 표현의 부분은 더 큰 굽힘 반경에 대응하는 가요성 본체의 그래픽 표현의 부분과 상이하게 채색되는, 방법.
  4. 제1항에 있어서, 디스플레이 장치 상에서 작동 정보를 디스플레이하는 단계를 추가로 포함하고, 작동 정보는 굽힘 반경을 증가시키도록 가요성 본체를 조향하기 위한 방향을 디스플레이하기 위한 방향 표식을 포함하는, 방법.
  5. 제1항 또는 제3항에 있어서, 추적 시스템으로부터의 데이터는 신장된 장치의 위치, 배향, 속력, 속도, 화학적 환경, 열적 환경, 생물학적 환경, 자세, 및 형상 중 적어도 하나와 추가로 관련되는, 방법.
  6. 의료 장치이며,
    가요성 본체를 포함하는 신장된 장치;
    가요성 본체의 적어도 일 부분을 따라 배치된 추적 시스템;
    추적 시스템에 결합된 하나 이상의 프로세서
    를 포함하고,
    하나 이상의 프로세서는,
    추적 시스템으로부터 데이터를 수신하고;
    수신된 데이터에 기초하여 가요성 본체의 길이를 따른 굽힘 반경을 계산하고;
    굽힘 반경에 기초하여, 굽힘 반경이 임계치보다 작은지 여부의 표시를 포함하는 보충 안내 정보를 결정하고, 임계치는 가요성 본체를 통한 기구의 통과와 관련되어서 임계치보다 작은 굽힘 반경이 기구의 통과를 차단하는 위험과 관련되고;
    하나 이상의 증강 영상을 생성하기 위해 보충 안내 정보를 사용하여 하나 이상의 영상을 증강시키고;
    하나 이상의 증강 영상을 디스플레이하도록
    구성되는,
    의료 장치.
  7. 제6항에 있어서, 추적 시스템은 형상 센서를 포함하는, 의료 장치.
  8. 제7항에 있어서, 형상 센서는 광섬유 굽힘 센서를 포함하는, 의료 장치.
  9. 제6항에 있어서, 하나 이상의 프로세서는 가요성 본체의 그래픽 표현에 색채 배합을 적용함으로써 하나 이상의 영상을 증강시키도록 추가로 구성되고, 더 작은 굽힘 반경에 대응하는 가요성 본체의 그래픽 표현의 부분은 더 큰 굽힘 반경에 대응하는 가요성 본체의 그래픽 표현의 부분과 상이하게 채색되는, 의료 장치.
  10. 제6항 내지 제8항 중 어느 한 항에 있어서, 하나 이상의 영상은 구조적 표식을 포함하고, 구조적 표식은 조향 가능한 가요성 본체의 하나 이상의 부분을 구분하는, 의료 장치.
  11. 제6항 내지 제8항 중 어느 한 항에 있어서, 보충 안내 정보는 교정 안내 정보를 포함하는, 의료 장치.
  12. 제11항에 있어서, 교정 안내 정보는 굽힘 반경을 증가시키도록 가요성 본체를 조향하기 위한 방향을 포함하고, 하나 이상의 프로세서는 디스플레이 장치 상에서 작동 정보를 디스플레이하도록 추가로 구성되고, 작동 정보는 굽힘 반경을 증가시키도록 가요성 본체를 조향하기 위한 방향을 디스플레이하기 위한 방향 표식을 포함하는, 의료 장치.
  13. 제6항 내지 제8항 중 어느 한 항에 있어서, 영상은 가상 영상을 포함하는, 의료 장치.
  14. 제6항 내지 제8항 중 어느 한 항에 있어서, 영상은 비디오 영상을 포함하는, 의료 장치.
  15. 제6항 내지 제8항 중 어느 한 항에 있어서, 하나 이상의 프로세서는 추적 시스템으로부터 수신된 데이터로부터 신장된 장치의 위치, 배향, 속력, 속도, 화학적 환경, 열적 환경, 생물학적 환경, 자세, 및 형상 중 적어도 하나를 식별하도록 추가로 구성되는, 의료 장치.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
KR1020197002492A 2016-06-30 2017-06-29 영상 안내식 시술 중에 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스 KR102387222B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662357217P 2016-06-30 2016-06-30
US62/357,217 2016-06-30
US201762486879P 2017-04-18 2017-04-18
US62/486,879 2017-04-18
PCT/US2017/040095 WO2018005861A1 (en) 2016-06-30 2017-06-29 Graphical user interface for displaying guidance information during an image-guided procedure

Publications (2)

Publication Number Publication Date
KR20190015580A KR20190015580A (ko) 2019-02-13
KR102387222B1 true KR102387222B1 (ko) 2022-04-18

Family

ID=60787720

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197002492A KR102387222B1 (ko) 2016-06-30 2017-06-29 영상 안내식 시술 중에 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스

Country Status (5)

Country Link
US (2) US11819284B2 (ko)
EP (2) EP4238490A3 (ko)
KR (1) KR102387222B1 (ko)
CN (1) CN108024833B (ko)
WO (1) WO2018005861A1 (ko)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218847B2 (en) 2008-06-06 2012-07-10 Superdimension, Ltd. Hybrid registration method
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
US9974525B2 (en) 2014-10-31 2018-05-22 Covidien Lp Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
US10702226B2 (en) 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10716525B2 (en) 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
US10674982B2 (en) 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
JP6619456B2 (ja) * 2016-01-14 2019-12-11 オリンパス株式会社 医療用マニピュレータシステムおよび医療用マニピュレータシステムの作動方法
EP4374768A2 (en) 2016-06-30 2024-05-29 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information in a plurality of modes during an image-guided procedure
US11793579B2 (en) 2017-02-22 2023-10-24 Covidien Lp Integration of multiple data sources for localization and navigation
EP3612121A4 (en) 2017-04-18 2021-04-07 Intuitive Surgical Operations, Inc. GRAPHIC USER INTERFACE TO MONITOR AN IMAGE GUIDED PROCEDURE
CN110663084A (zh) 2017-04-18 2020-01-07 直观外科手术操作公司 用于规划程序的图形用户界面
US10699448B2 (en) 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
EP3694412A4 (en) 2017-10-10 2021-08-18 Covidien LP SYSTEM AND METHOD FOR IDENTIFYING AND MARKING A TARGET IN A THREE-DIMENSIONAL FLUOROSCOPIC RECONSTRUCTION
US10905498B2 (en) 2018-02-08 2021-02-02 Covidien Lp System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
US10893842B2 (en) 2018-02-08 2021-01-19 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US10930064B2 (en) 2018-02-08 2021-02-23 Covidien Lp Imaging reconstruction system and method
JP7125484B2 (ja) * 2018-07-20 2022-08-24 富士フイルム株式会社 内視鏡システム
US11071591B2 (en) 2018-07-26 2021-07-27 Covidien Lp Modeling a collapsed lung using CT data
US11705238B2 (en) 2018-07-26 2023-07-18 Covidien Lp Systems and methods for providing assistance during surgery
CN112839607A (zh) * 2018-09-11 2021-05-25 直观外科手术操作公司 力的图形表示的生成
JP7242841B2 (ja) * 2018-09-19 2023-03-20 コリンダス、インコーポレイテッド ロボット支援による細長い医療機器の動作
US11944388B2 (en) 2018-09-28 2024-04-02 Covidien Lp Systems and methods for magnetic interference correction
EP3860497A1 (en) * 2018-10-04 2021-08-11 Intuitive Surgical Operations, Inc. Systems and methods for device verification and sensor calibration
US11877806B2 (en) 2018-12-06 2024-01-23 Covidien Lp Deformable registration of computer-generated airway models to airway trees
US11045075B2 (en) 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
US11801113B2 (en) 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
US11617493B2 (en) 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US20200222136A1 (en) * 2019-01-10 2020-07-16 John M. Abrahams, M.D. Smart Robot-Assisted Brain & Spine Surgical System
US11666464B2 (en) 2019-01-28 2023-06-06 Tensor Flow Ventures Llc Magnetic stent and stent delivery
US20200237539A1 (en) 2019-01-28 2020-07-30 Spiros Manolidis Stent and stent delivery for vascular surgery
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
US11564751B2 (en) 2019-02-01 2023-01-31 Covidien Lp Systems and methods for visualizing navigation of medical devices relative to targets
US11925333B2 (en) 2019-02-01 2024-03-12 Covidien Lp System for fluoroscopic tracking of a catheter to update the relative position of a target and the catheter in a 3D model of a luminal network
US11744643B2 (en) 2019-02-04 2023-09-05 Covidien Lp Systems and methods facilitating pre-operative prediction of post-operative tissue function
JP6867654B2 (ja) * 2019-03-15 2021-05-12 リバーフィールド株式会社 医用ロボットシステムの力覚表示装置および力覚表示方法
US11819285B2 (en) 2019-04-05 2023-11-21 Covidien Lp Magnetic interference detection systems and methods
US10758309B1 (en) 2019-07-15 2020-09-01 Digital Surgery Limited Methods and systems for using computer-vision to enhance surgical tool control during surgeries
US11269173B2 (en) 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
US11931111B2 (en) 2019-09-09 2024-03-19 Covidien Lp Systems and methods for providing surgical guidance
US11864935B2 (en) 2019-09-09 2024-01-09 Covidien Lp Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures
US11627924B2 (en) 2019-09-24 2023-04-18 Covidien Lp Systems and methods for image-guided navigation of percutaneously-inserted devices
US11847730B2 (en) 2020-01-24 2023-12-19 Covidien Lp Orientation detection in fluoroscopic images
US11380060B2 (en) 2020-01-24 2022-07-05 Covidien Lp System and method for linking a segmentation graph to volumetric data
US20210378759A1 (en) * 2020-06-03 2021-12-09 Covidien Lp Surgical tool navigation using sensor fusion
US11950950B2 (en) 2020-07-24 2024-04-09 Covidien Lp Zoom detection and fluoroscope movement detection for target overlay
WO2023055723A1 (en) 2021-09-28 2023-04-06 Intuitive Surgical Operations, Inc. Navigation assistance for an instrument
US20230277249A1 (en) * 2022-03-01 2023-09-07 Verb Surgical Inc. Apparatus, systems, and methods for intraoperative instrument tracking and information visualization

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110319815A1 (en) * 2010-06-24 2011-12-29 Hansen Medical, Inc. Fiber optic instrument sensing system
US20130204124A1 (en) * 2012-02-03 2013-08-08 Intuitive Surgical Operations, Inc. Steerable flexible needle with embedded shape sensing

Family Cites Families (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2567149B1 (fr) 1984-07-06 1986-12-05 Solvay Procede pour l'extraction de poly-beta-hydroxybutyrates au moyen d'un solvant a partir d'une suspension aqueuse de micro-organismes
JP3589505B2 (ja) 1995-06-09 2004-11-17 株式会社日立メディコ ３次元画像処理表示装置
US5638819A (en) 1995-08-29 1997-06-17 Manwaring; Kim H. Method and apparatus for guiding an instrument to a target
EP0910300B1 (en) 1996-02-15 2003-12-03 Biosense, Inc. Site marking probe
US5792135A (en) 1996-05-20 1998-08-11 Intuitive Surgical, Inc. Articulated surgical instrument for performing minimally invasive surgery with enhanced dexterity and sensitivity
US6380732B1 (en) 1997-02-13 2002-04-30 Super Dimension Ltd. Six-degree of freedom tracking system having a passive transponder on the object being tracked
US6346940B1 (en) 1997-02-27 2002-02-12 Kabushiki Kaisha Toshiba Virtualized endoscope system
GB9713018D0 (en) 1997-06-20 1997-08-27 Secr Defence Optical fibre bend sensor
US6490474B1 (en) 1997-08-01 2002-12-03 Cardiac Pathways Corporation System and method for electrode localization using ultrasound
US6432041B1 (en) * 1998-09-09 2002-08-13 Olympus Optical Co., Ltd. Endoscope shape detecting apparatus wherein form detecting processing is controlled according to connection state of magnetic field generating means
US7343195B2 (en) 1999-05-18 2008-03-11 Mediguide Ltd. Method and apparatus for real time quantitative three-dimensional image reconstruction of a moving organ and intra-body navigation
US6671538B1 (en) 1999-11-26 2003-12-30 Koninklijke Philips Electronics, N.V. Interface system for use with imaging devices to facilitate visualization of image-guided interventional procedure planning
DE10037491A1 (de) 2000-08-01 2002-02-14 Stryker Leibinger Gmbh & Co Kg Verfahren zum dreidimensionalen Visualisieren von Strukturen im Körperinneren
US6468216B1 (en) 2000-08-24 2002-10-22 Kininklijke Philips Electronics N.V. Ultrasonic diagnostic imaging of the coronary arteries
JP2004513684A (ja) 2000-09-23 2004-05-13 ザ　ボード　オブ　トラスティーズ　オブ　ザ　リーランド　スタンフォード　ジュニア　ユニバーシティ 内視鏡による標的化方法およびシステム
US7998062B2 (en) 2004-03-29 2011-08-16 Superdimension, Ltd. Endoscope structures and techniques for navigating to a target in branched structure
US7599730B2 (en) 2002-11-19 2009-10-06 Medtronic Navigation, Inc. Navigation system for cardiac therapies
JP2004251779A (ja) 2003-02-20 2004-09-09 Fuji Photo Optical Co Ltd 長尺可撓部材の三次元形状検出装置
WO2005058137A2 (en) 2003-12-12 2005-06-30 University Of Washington Catheterscope 3d guidance and interface system
JP4343723B2 (ja) 2004-01-30 2009-10-14 オリンパス株式会社 挿入支援システム
US7772541B2 (en) * 2004-07-16 2010-08-10 Luna Innnovations Incorporated Fiber optic position and/or shape sensing based on rayleigh scatter
US20060013523A1 (en) * 2004-07-16 2006-01-19 Luna Innovations Incorporated Fiber optic position and shape sensing device and method relating thereto
US7781724B2 (en) 2004-07-16 2010-08-24 Luna Innovations Incorporated Fiber optic position and shape sensing device and method relating thereto
US9492240B2 (en) 2009-06-16 2016-11-15 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
JP4130457B2 (ja) 2005-09-14 2008-08-06 ザイオソフト株式会社 画像処理方法および画像処理プログラム
EP3155998B1 (en) 2005-10-20 2021-03-31 Intuitive Surgical Operations, Inc. Auxiliary image display and manipulation on a computer display in a medical robotic system
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
US8568299B2 (en) 2006-05-19 2013-10-29 Intuitive Surgical Operations, Inc. Methods and apparatus for displaying three-dimensional orientation of a steerable distal tip of an endoscope
JP2008000261A (ja) 2006-06-21 2008-01-10 Aze Ltd 管腔状組織の観察用画像作成方法、装置およびプログラム
US10258425B2 (en) * 2008-06-27 2019-04-16 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide
US9129359B2 (en) 2006-11-10 2015-09-08 Covidien Lp Adaptive navigation technique for navigating a catheter through a body channel or cavity
US20090156895A1 (en) 2007-01-31 2009-06-18 The Penn State Research Foundation Precise endoscopic planning and visualization
US8672836B2 (en) 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
US20080275467A1 (en) 2007-05-02 2008-11-06 Siemens Corporate Research, Inc. Intraoperative guidance for endovascular interventions via three-dimensional path planning, x-ray fluoroscopy, and image overlay
JP5660890B2 (ja) * 2007-06-26 2015-01-28 バソノバ・インコーポレイテッドＶａｓｏｎｏｖａ， Ｉｎｃ． 血管アクセス及びガイダンスシステム
JP4672031B2 (ja) 2008-01-31 2011-04-20 オリンパスメディカルシステムズ株式会社 医療器具
US8219179B2 (en) 2008-03-06 2012-07-10 Vida Diagnostics, Inc. Systems and methods for navigation within a branched structure of a body
US8218846B2 (en) 2008-05-15 2012-07-10 Superdimension, Ltd. Automatic pathway and waypoint generation and navigation method
EP2135575A1 (de) 2008-06-16 2009-12-23 BrainLAB AG Instrumentenausrichtungsverfahren mit freier Referenz
US20100076305A1 (en) 2008-06-25 2010-03-25 Deutsches Krebsforschungszentrum Stiftung Des Offentlichen Rechts Method, system and computer program product for targeting of a target with an elongate instrument
US9259274B2 (en) 2008-09-30 2016-02-16 Intuitive Surgical Operations, Inc. Passive preload and capstan drive for surgical instruments
US8632468B2 (en) 2009-02-25 2014-01-21 Koninklijke Philips N.V. Method, system and devices for transjugular intrahepatic portosystemic shunt (TIPS) procedures
US8337397B2 (en) 2009-03-26 2012-12-25 Intuitive Surgical Operations, Inc. Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
US10004387B2 (en) 2009-03-26 2018-06-26 Intuitive Surgical Operations, Inc. Method and system for assisting an operator in endoscopic navigation
JP5727474B2 (ja) * 2009-07-15 2015-06-03 コーニンクレッカ フィリップス エヌ ヴェ 手術軌道の可視化
US8706184B2 (en) 2009-10-07 2014-04-22 Intuitive Surgical Operations, Inc. Methods and apparatus for displaying enhanced imaging data on a clinical image
EP2377457B1 (en) 2010-02-22 2016-07-27 Olympus Corporation Medical apparatus
US9095277B2 (en) * 2010-07-09 2015-08-04 Mitralign, Inc. Delivery catheter with forward-looking ultrasound imaging
JP5628927B2 (ja) 2010-08-31 2014-11-19 富士フイルム株式会社 医療情報表示装置および方法、並びにプログラム
US8900131B2 (en) * 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
US8827934B2 (en) 2011-05-13 2014-09-09 Intuitive Surgical Operations, Inc. Method and system for determining information of extrema during expansion and contraction cycles of an object
EP2720636B8 (en) 2011-06-17 2020-04-08 Koninklijke Philips N.V. System for guided injection during endoscopic surgery
EP2745088A1 (en) * 2011-09-09 2014-06-25 Koninklijke Philips N.V. Optical monitoring device for monitoring curvature of a flexible medical instrument
US9452276B2 (en) 2011-10-14 2016-09-27 Intuitive Surgical Operations, Inc. Catheter with removable vision probe
US11452464B2 (en) 2012-04-19 2022-09-27 Koninklijke Philips N.V. Guidance tools to manually steer endoscope using pre-operative and intra-operative 3D images
WO2013190422A1 (en) 2012-06-22 2013-12-27 Koninklijke Philips N.V. Temporal anatomical target tagging in angiograms
EP3679881A1 (en) 2012-08-14 2020-07-15 Intuitive Surgical Operations, Inc. Systems and methods for registration of multiple vision systems
EP2904958A4 (en) 2013-03-12 2016-08-24 Olympus Corp ENDOSCOPE SYSTEM
JP6568478B2 (ja) 2013-03-15 2019-08-28 シナプティヴ メディカル （バルバドス） インコーポレイテッドＳｙｎａｐｔｉｖｅ Ｍｅｄｉｃａｌ （Ｂａｒｂａｄｏｓ） Ｉｎｃ． 低侵襲治療のための計画、誘導およびシミュレーションシステムおよび方法
US11800991B2 (en) 2013-08-15 2023-10-31 Intuitive Surgical Operations, Inc. Graphical user interface for catheter positioning and insertion
WO2015164667A1 (en) 2014-04-23 2015-10-29 St. Jude Medical, Cardiology Division, Inc. System and method for displaying cardiac mechanical activation patterns
US20150305650A1 (en) 2014-04-23 2015-10-29 Mark Hunter Apparatuses and methods for endobronchial navigation to and confirmation of the location of a target tissue and percutaneous interception of the target tissue
US20150366628A1 (en) * 2014-06-18 2015-12-24 Covidien Lp Augmented surgical reality environment system
US11188285B2 (en) 2014-07-02 2021-11-30 Covidien Lp Intelligent display
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US9770216B2 (en) 2014-07-02 2017-09-26 Covidien Lp System and method for navigating within the lung
JP6716538B2 (ja) 2014-07-28 2020-07-01 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 多数のインターベンショナル処置を計画するシステム及び方法
KR20170038012A (ko) 2014-07-28 2017-04-05 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술중 세그먼트화를 위한 시스템 및 방법
JP2016030125A (ja) 2014-07-30 2016-03-07 株式会社東芝 医用画像診断装置及びガイドシステム
JP6548730B2 (ja) 2014-08-23 2019-07-24 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 画像誘導処置における病理学的データの表示のためのシステム及び方法
KR102531361B1 (ko) * 2014-09-09 2023-05-12 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 상이한 가요성의 안내부 및 도구를 구비한 시스템
US10373719B2 (en) 2014-09-10 2019-08-06 Intuitive Surgical Operations, Inc. Systems and methods for pre-operative modeling
KR20160121740A (ko) 2015-04-10 2016-10-20 한국전자통신연구원 수술 관련 해부정보 제공 방법 및 장치
US10163262B2 (en) 2015-06-19 2018-12-25 Covidien Lp Systems and methods for navigating through airways in a virtual bronchoscopy view
US9727963B2 (en) 2015-09-18 2017-08-08 Auris Surgical Robotics, Inc. Navigation of tubular networks
US10143526B2 (en) * 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
EP4374768A2 (en) 2016-06-30 2024-05-29 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information in a plurality of modes during an image-guided procedure
CN109310848B (zh) 2016-06-30 2022-05-31 直观外科手术操作公司 可转向细长装置的***和方法
EP3612121A4 (en) 2017-04-18 2021-04-07 Intuitive Surgical Operations, Inc. GRAPHIC USER INTERFACE TO MONITOR AN IMAGE GUIDED PROCEDURE
CN110663084A (zh) 2017-04-18 2020-01-07 直观外科手术操作公司 用于规划程序的图形用户界面

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110319815A1 (en) * 2010-06-24 2011-12-29 Hansen Medical, Inc. Fiber optic instrument sensing system
US20130204124A1 (en) * 2012-02-03 2013-08-08 Intuitive Surgical Operations, Inc. Steerable flexible needle with embedded shape sensing

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
S G Keller 외 1인, Equivalent stress and strain distribution in helical compression springs subjected to bending(2011) 1부.*

Also Published As

Publication number Publication date
EP3478210A1 (en) 2019-05-08
EP3478210B1 (en) 2023-08-09
EP4238490A2 (en) 2023-09-06
EP4238490A3 (en) 2023-11-01
WO2018005861A1 (en) 2018-01-04
KR20190015580A (ko) 2019-02-13
EP3478210A4 (en) 2020-03-11
CN108024833B (zh) 2021-06-04
US20200129239A1 (en) 2020-04-30
US20240033013A1 (en) 2024-02-01
CN108024833A (zh) 2018-05-11
US11819284B2 (en) 2023-11-21

Similar Documents

Publication Publication Date Title
KR102387222B1 (ko) 영상 안내식 시술 중에 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스
US20230200790A1 (en) Graphical user interface for displaying guidance information in a plurality of modes during an image-guided procedure
US11992188B2 (en) Systems and methods for detecting environmental forces on an elongate device
JP6793780B2 (ja) カテーテルの位置付け及び挿入のためのグラフィカル・ユーザインターフェイス
US20230157769A1 (en) Systems and methods for monitoring patient motion during a medical procedure
EP3182875B1 (en) Systems for display of pathological data in an image guided procedure
KR20210005901A (ko) 세장형 장치와 관련된 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant