KR20200097747A - 시술 중 시각화를 지원하는 시스템 및 방법 - Google Patents

시술 중 시각화를 지원하는 시스템 및 방법 Download PDF

Info

Publication number
KR20200097747A
KR20200097747A KR1020207019058A KR20207019058A KR20200097747A KR 20200097747 A KR20200097747 A KR 20200097747A KR 1020207019058 A KR1020207019058 A KR 1020207019058A KR 20207019058 A KR20207019058 A KR 20207019058A KR 20200097747 A KR20200097747 A KR 20200097747A
Authority
KR
South Korea
Prior art keywords
subject
view
camera
user
view screen
Prior art date
Application number
KR1020207019058A
Other languages
English (en)
Inventor
카일 에이 갓윈
제임스 브리튼 히송
크리스토퍼 에스 켈러
Original Assignee
메드트로닉 좀드 인코퍼레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 메드트로닉 좀드 인코퍼레이티드 filed Critical 메드트로닉 좀드 인코퍼레이티드
Publication of KR20200097747A publication Critical patent/KR20200097747A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/233—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the nose, i.e. nasoscopes, e.g. testing of patency of Eustachian tubes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/064—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3954—Markers, e.g. radio-opaque or breast lesions markers magnetic, e.g. NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966—Radiopaque markers visible in an X-ray image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3991—Markers, e.g. radio-opaque or breast lesions markers having specific anchoring means to fixate the marker to the tissue, e.g. hooks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Otolaryngology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

그 위에 중첩된 피사체와 별도로 적어도 하나의 아이템에 관한 정보를 갖는 물리적 피사체를 볼 수 있도록 작동 가능한 시스템에 관한 것이다. 시스템은 뷰스크린을 포함한다. 또한, 시스템은 피사체에 대해 아이템의 포지션을 결정할 수 있다.

Description

시술 중 시각화를 지원하는 시스템 및 방법
본 개시내용은 시술 수행에 관한 것으로, 특히 실제 또는 피사체 공간에 이미지 공간을 등록하는 것과 관련이 있다.
선택된 시술 동안 사용자는 피사체에 따라 이미지 데이터에 기반한 피사체의 이미지를 획득할 수 있다. 일반적으로 이미지 데이터는 다양한 이미징 기술 또는 시스템을 사용해 획득될 수 있고, 이미지 데이터는 예컨대 수술 영역과 떨어진 곳에 포지셔닝된 평면 패널이나 평면 화면, 음극선관 등과 같은 디스플레이 장치에서 사용자가 볼 수 있도록 재구성될 수 있다. 수술 영역은 선택된 시술을 수행하기 위해 환자 등의 피사체와 관련될 수 있다. 예를 들어, 부비강(sinus) 시술이 수행될 수 있으며, 피사체의 부비강 이미지들은 피사체를 겹치지 않는 디스플레이 장치에 디스플레이될 수 있다.
시술은 더 나아가 내시경과 같이 관심 영역 또는 수술 영역의 적어도 일부를 직접 보는 것을 포함할 수 있다. 내시경은 비강이나 접근 가능한 코(nasal) 내와 같이 선택된 위치에 카메라를 포지셔닝될 수 있다. 내시경은 선택한 해부학적 영역 내의 다양한 위치에서 제한된 이동 범위 및/또는 시야를 가질 수 있다.
본 섹션은 본 개시내용의 일반적인 요약을 제공하고, 그것의 전체 범위 또는 모든 특징을 포괄적으로 개시하지는 않는다.
다양한 실시예에서, 기기는 시술 수행을 위한 피사체의 부분을 기준으로 포지셔닝될 수 있다. 피사체는 살아 있는 피사체 또는 비생물(non-living) 피사체를 포함할 수 있다. 다양한 실시예에서, 살아있는 피사체는 인간을 포함할 수 있으며, 수행되는 시술은 비도(nasal passage) 및/또는 비강(sinus cavity)을 기준으로 수행될 수 있다. 예를 들어, 풍선 부비강 확장(balloon sinus dilation) 시술은 예컨대 미네소타에 사업장을 두고 있는 Medtronic, Inc.에 의해 판매된 NuVent® EM Balloon Sinus Dilation System을 이용해 수행될 수 있다. 부비강의 확장은 전자기(EM) 내비게이트 기기로 수행할 필요가 없는 것으로 이해되지만, 팽창 기기로의 부비강 확장은 NuVent® 부비강 확장 수술과 같은 다양한 팽창 및 확장 기능을 포함하는 기기를 포함할 수 있다.
다양한 실시예에서, 시술은 피사체의 수술 영역에서 발생할 수 있다. 수술 영역은 시술이 수행되고 있거나 시술이 수행되는 것과 관련된 특정되거나 제한된 영역 또는 체적일 수 있다. 수술 영역은 또한 관심 영역으로 언급되거나, 그 안에 관심영역을 포함할 수 있다. 다양한 실시예에서, 예를 들어, 인간 피사체의 부비강은 예컨대 괴사제거, 확장 또는 기타 적절한 시술 수행을 위해 수술될 수 있다. 시술은 수술 영역 내에서 발생할 수 있으며 관심 영역은 환자의 머리 전체 또는 두개골을 포함할 수 있다.
부비강에서 수행된 수술은 일반적으로 낮은 침습적 또는 비개방적 시술일 수 있다. 낮은 침습적 시술에서 비도와 같은 다양한 자연적 체강(body cavity)을 사용하여 부비강에 접근한다. 부비강 접근에 따라, 기기의 작동 단(operating end)이 사용자에게 보이지 않을 수 있다.
시술을 수행하는 데 사용되는 기기는 추적 시스템에 의해 추적되도록 구성되거나 작동 가능한 추적 장치를 포함할 수 있다. 다양한 실시예에서, 추적 시스템은 뷰잉(viewing) 또는 기록하는 것과 같이, 기기 추적 장치를 추적하는 시각적 또는 광학적 추적 시스템을 포함할 수 있다. 그런 다음, 프로세서 시스템을 포함한 내비게이션 또는 추적 시스템은 작동 단과 추적 장치 사이에서 알려진/지거나 미리 결정된 기하학적 관계에 기반해 추적 장치에 대해 작동 단의 포지션을 결정할 수 있다.
추적 시스템은 디스플레이 장치에 대해 포지셔닝된 하나 이상의 카메라 또는 광학 추적 장치를 포함할 수 있다. 디스플레이 장치는 투명 또는 반투명 뷰스크린을 포함할 수 있다. 뷰스크린은 예컨대 사용자가 뷰스크린을 통해 피사체를 볼 수 있도록 사용자에 대해 포지셔닝될 수 있다. 뷰스크린이 사용자의 시야 영역의 전부 또는 상당 부분을 채울 수 있도록, 사용자가 뷰스크린을 사용자의 눈에 상대적으로 가깝게 착용할 수 있는 구조물에 뷰스크린을 장착할 수 있다. 그런 다음, 디스플레이된 이미지는 사용자가 피사체를 보는 동시에 이미지를 볼 수 있도록 뷰스크린에 디스플레이될 수 있다. 기기의 추적된 위치 또는 작동 단과 같은 그것의 적어도 일부는 또한 뷰스크린을 이용하여 디스플레이에 디스플레이될 수 있다. 따라서, 카메라는 수술 영역 및/또는 수술 영역에서의 관심 영역에 대해 기기의 위치를 결정하고, 기기의 추적된 위치를 디스플레이하여 이미지 상에 중첩하거나 피사체에 대한 사용자의 뷰를 증강하도록 사용자에 의해 착용된 장치와 연관될 수 있다.
시스템은 뷰잉 부(viewing portion) 또는 시스템 및 추적된 부분을 포함할 수 있다. 뷰잉 부는 실제 물체(예컨대, 피사체)와 디스플레이된 이미지를 표시할 수 있다. 따라서, 뷰잉 시스템은 증강현실(augmented reality) 뷰잉 시스템일 수 있다. 또한, 또는 그 대신에, 뷰잉 시스템은 피사체와 분리되거나 간격을 두고 뷰스크린 또는 모니터를 포함할 수 있다. 또한, 이미지들은 내시경과 같이 선택된 이미징 시스템들을 사용하여 실시간으로 캡처될 수 있다. 내시경은 예컨대 비도 및/또는 부비강 내에서 피사체에 대해 포지셔닝될 수 있으며, 내시경으로 획득된 이미지들은 수술 절차 이전에 획득한 피사체의 뷰와 동시에 디스플레이될 수 있다. 따라서, 뷰잉 시스템은 실시간 및 미리 획득된 이미지들을 디스플레이하고 보기 위해 사용될 수 있다. 두 유형의 이미지들 모두, 본원에서 추가로 설명한 것과 같은 다양한 기술로 피사체에 등록될 수 있다.
추가 적용 가능 영역은 본원에 제공된 설명으로부터 명확해질 것이다. 본 발명의 내용의 설명과 구체적인 예들은 단지 예시를 위한 것이며 본 개시내용의 범위를 제한하려는 것은 아니다.
본원에 기술된 도면들은 모든 가능한 구현예가 아닌 선택된 실시예들에 대한 설명만을 위한 것이며, 본 개시내용의 범위를 제한하려는 것은 아니다.
도 1은 사용자 및 뷰잉 시스템의 환경도이고;
도 2a는 다양한 실시예에 따른, 기기를 포함한 관심 영역의 실제/물리계(physical world)를 도시한 것이고;
도 2b는 다양한 실시예에 따른, 기기들을 포함한 관심 영역의 실제/물리계를 도시한 것이고;
도 3a는 다양한 실시예에 따른, 실제/물리계 및 적어도 하나의 디스플레이된 아이콘을 보는 사용자의 시점이고;
도 3b는 다양한 실시예에 따른, 실제/물리계 및 적어도 하나의 디스플레이된 아이콘을 보는 사용자의 시점이고;
도 3c는 다양한 실시예에 따른, 적어도 하나의 디스플레이된 아이콘과 디스플레이 장치의 실시간 이미지를 보는 사용자의 시점의 디스플레이이고; 그리고
도 4는 디스플레이 시스템의 작동을 나타내는 흐름도이다.
대응하는 도면 부호는 여러 도면에 걸쳐 대응하는 부분을 나타낸다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세하게 설명한다.
도 1을 참조하면, 수술실(operating theatre) 또는 수술방(10)에서, 외과의사(12)와 같은 사용자는 환자 침대 또는 지지대(15)에 의해 눕거나 지지될 수 있는 환자(14)와 같은 피사체에 대한 시술을 수행할 수 있다. 환자(14)는 환자 세로 축(14l)을 정의할 수 있다. 시술 수행에서 보조하기 위해, 사용자(12)는 이미징 시스템(16)을 사용하여 환자(14)의 이미지 데이터를 획득하여 선택된 시스템이 시술 수행을 보조하도록 이미지를 생성 또는 작성하게 할 수 있다. 이미징 시스템(16)은 컴퓨터 단층촬영(CT) 이미저(imager), Medtronic, Inc.에 의해 판매된 O-Arm® 이미징 시스템 및/또는 이탈리아 베로나에 사업장을 둔 NewTom® VGi evo 콘 빔 이미저(cone beam imager)와 같은 적절한 이미징 시스템을 포함할 수 있다.
모델(예컨대, 3차원(3D) 이미지)은 이미지 데이터를 사용하여 생성될 수 있다. 생성된 모델은 디스플레이 장치(20)에 이미지(18)로 디스플레이될 수 있다. 디스플레이 장치(18)에 부가하여 또는 대안적으로, 이미징 시스템(16)으로 캡처된 프로젝션 이미지들(예컨대, 2D 엑스-레이 프로젝션)이 디스플레이될 수 있다. 더 나아가, 증강 화면(AV) 또는 디스플레이 장치(21)는 사용자(12)에게 제공되거나 사용자(12)에 의해 사용될 수 있다. AV(21)는 본 명세서에서 더 논의되는 바와 사용자에(12)에 의해 착용될 수 있다. 더 나아가, AV(21)는 또한 본 명세서에서 논의되는 바와 같이, 통합 시스템 또는 다양한 아이템을 보기 위한 시스템의 일부인 뷰잉 시스템으로 언급될 수 있다.
디스플레이 장치(20) 또는 증강된 뷰스크린(21) 중 하나 또는 둘 모두는 입력 장치(24)(입력 장치에는 키보드, 마우스, 음성 입력용 마이크 및 카메라 입력이 포함될 수 있음)와 선택된 유형의 비-일시적 및/또는 일시적 메모리(27)와 함께 프로세싱 시스템(22)과 통합된 하나 이상의 프로세서 또는 마이크로프로세서를 포함할 수 있는 프로세서(26)를 포함하는 프로세서 시스템(22)의 일부이고/이거나 이에 연결될 수 있다. 프로세서(26)와 디스플레이 장치(20) 또는 증강된 뷰스크린(21) 사이에 데이터 통신을 위해 연결부(28)가 제공되어 디스플레이 장치(20)를 구동하여 이미지(18)를 디스플레이할 수 있다.
위에서 논의한 바와 같이, 이미징 시스템(16)은 미국 루이빌에 사업장을 두고 있는 Medtronic Navigation, Inc.가 판매하는 O-Arm® 이미지징 시스템을 포함할 수 있다. O-Arm® 이미징 시스템을 포함하는 이미징 시스템(16) 또는 다른 적절한 이미징 시스템은 미국 특허 번호 제8,238,631호, 제9,411,057호 및 제9,807,860호에 설명된 이미징 시스템과 같이 선택된 시술 중에 사용할 수 있다. 이미징 시스템(16)은 상기AV(21) 사용 전 또는 사용 중 환자(14)의 이미지 데이터를 획득하는 데 사용될 수 있다.
예를 들어, O-Arm® 이미징 시스템을 포함한 이미징 시스템(16)은 컨트롤러 및/또는 제어 시스템(32)을 포함하는 이동식 카트(30)를 포함할 수 있다. 제어 시스템은 프로세서(33a)와 메모리(33b)(예: 비-일시적 메모리)를 포함할 수 있다. 메모리(33b)은 이미징 시스템(16)의 다양한 부분을 포함하는 이미징 시스템을 제어하기 위해 프로세서(33a)에 의해 실행되는 다양한 명령들(instructions)을 포함할 수 있다.
소스 유닛(source unit)(36)과 검출기(detector)(38)가 포지셔닝된 이미징 갠트리(gantry)(34)는 이동식 카트(30)에 연결될 수 있다. 갠트리(34)는 O자형 또는 토로이드형일 수 있으며, 여기서 갠트리(34)는 실질적으로 환상형(annular)이며 소스 단위(36)와 검출기(38)가 이동할 수 있는 체적을 형성하는 벽을 포함한다. 이동식 카트(30)는, 본 명세서에서 더 논의되는 바와 같이 하나의 수술실에서 다른 수술실로 이동할 수 있고 갠트리(34)는 카트(30)에 대하여 이동할 수 있다. 이것은 이미징 시스템(16)이 피사체(14)에 대해 이동 가능하게 하여 고정된 이미징 시스템에 전용된 자본 지출 또는 공간을 요구하지 않고 다수의 위치 및 다수의 시술에서 사용될 수 있게 한다. 제어 시스템은 범용 프로세서 또는 특정 애플리케이션 프로세서가 될 수 있는 프로세서(33a)와 메모리 시스템(33b)(예: 회전 디스크 또는 솔리드 스테이트 비휘발성 메모리와 같은 비-일시적 메모리)을 포함할 수 있다. 예를 들어, 메모리 시스템은 여기에서 논의한 바와 같이 기능들을 수행하고 결과를 결정하기 위해 프로세서에 의해 실행되어야 하는 지침을 포함할 수 있다.
소스 장치(36)는 검출기(38)에 의해 검출될 환자(14)를 통과해 X선을 방출할 수 있는 X선 방출기일 수 있다. 숙련자에 의해, 소스(36)에 의해 방출되는 X선은 콘(cone)으로 방출되고, 검출기(38)에 의해 검출될 수 있다. 소스/검출기(36/38)은 일반적으로 갠트리(34) 내에서 정반대로 대향된다. 검출기(38)는 갠트리(34) 내에서 환자(14) 주위에서 360° 움직임으로 움직일 수 있으며, 소스(36)는 검출기(38)를 기준으로(예를 들어 고정된 내부 갠트리 또는 이동 시스템과 같이) 일반적으로 180°를 유지한다. 또한, 갠트리(34)는 일반적으로 도 1에 도시된 바와 같이 화살표(40) 방향으로 환자 지지부 또는 테이블(15) 상에 배치될 수 있는 피사체(14)에 대해 등각적으로 움직일 수 있다. 또한, 갠트리(34)는 환자(14)에 대해 경사질 수 있고(화살표(42)로 도시), 환자(14) 및 카트(30)의 길이 방향 축(14L)에 대하여 라인(44)에 대해 종 방향으로 이동하고, 카트(30)에 대해 일반적으로 라인(46)을 따라 위아래로, 그리고 환자(14)에 횡방향으로 이동하여, 환자(14)에 대해 소스(36)/검출기(38)가 포지셔닝되도록 한다. 이미징 장치(16)는 환자(14)의 정확한 이미지 데이터를 생성하기 위해 환자(14)에 대해 소스/검출기(36/38)를 이동하도록 정확하게 제어될 수 있다. 이미징 장치(16)는 유선 또는 무선 연결 또는 이미징 시스템(16)에서 프로세서(26)로 물리적인 미디어 전송을 포함할 수 있는 연결(50)을 통해 프로세서(26)와 연결될 수 있다. 따라서, 이미징 시스템(16)으로 수집된 이미지 데이터는 내비게이션, 디스플레이, 재구성 등을 위해 프로세싱 시스템(22)으로 전송될 수 있다.
소스(36)는 다중 전력 x-ray 소스와 같은 임의의 적절한 x-ray 소스일 수 있다. 그러나, 이미징 시스템(16)은 자기공명이미지(MRI) 시스템, C-암 X선 이미징 시스템, 컴퓨터 단층촬영(CT) 이미징 시스템 등과 같은 적절한 이미징 시스템으로 이해된다. 그러나, 선택된 이미징 시스템으로 획득된 이미지 데이터 및/또는 이미지는 하나 이상의 디스플레이 장치(20, 21)에 디스플레이될 수 있다.
또한, 이미징 시스템(16)은 환자(14)에 대한 시술을 수행하기 전에 이미지 데이터 및/또는 이미지를 획득하도록 동작될 수 있음이 추가로 이해된다. 예를 들어, 이미지들이 획득되고 연구되어 환자(14)에 대한 시술을 진단 및/또는 계획할 수 있다. 따라서, 환자(14)에 대한 시술을 수행하는 사용자(12)는 수행 중인 시술과 동일한 방에서 이미징 시스템(16)을 사용할 필요가 없다.
다양한 실시예에 따라, 이미징 시스템(16)은 여기에서 논의한 바와 같이 다양한 부분을 포함하는 추적 시스템과 내비게이션 시스템과 함께 사용될 수 있으며, 이미지 장치(16) 및/또는 기타 부분의 위치를 추적할 수 있다. 추적 시스템은, 필드를 생성하고/하거나 환자(14)에 대해 내비게이션 도메인 내에서 신호를 수신 및/또는 송신하는데 사용될 수 있는 광학 로컬 라이저(60) 및 전자기 로컬라이저(62) 중 하나 또는 둘 모두를 포함하는 로컬라이저 및/또는 디지타이저를 포함할 수 있다. 환자(14)에 대해 내비게이션 공간 또는 내비게이션 도메인은 이미지(18)에 등록될 수 있다. 관련 기술 분야에서 이해되는 바와 같이, 상관(correlation)은 내비게이션 도메인 내에 정의된 내비게이션 공간 및 이미지(18)에 의해 정의된 이미지 공간의 등록을 허용하는 것이다.
다양한 실시예에서, 환자 추적기 또는 동적 기준 프레임(64)은 환자(14)의 이미지(18)에 대한 등록의 동적 추적 및 유지를 허용하기 위해 환자(14)에 연결될 수 있다. 환자 추적 장치 또는 동적 등록 장치(64)는 이미지들이 등록된 후 선택된 시술에 사용될 수 있게 한다. 다양한 실시예들에서, 위치 측정기(60, 62)는 환자 추적기를 추적할 수 있다. 추가의 통신 라인들은(74)은 로컬 라이저(60, 62), 이미징 시스템(16), 및 내비게이션 프로세서 시스템일 수 있는 인터페이스 시스템(76) 및 프로세서 시스템(22)과 같은 다양한 특징들 사이에 제공될 수 있다. 다양한 실시예들에서, 통신 시스템(74)은 유선, 무선 또는 물리적 미디어 전송 시스템(예컨대, 메모리 칩에 대한 판독/기록)을 사용할 수 있다.
또한, 갠트리(34)는 광학 로컬라이저(60) 또는 전자기 로컬 라이저(62)과 같은 하나 또는 그 이상의 추적 장치나 광학 추적 장치(82) 또는 전자기 추적 장치(84)와 같은 추적 장치를 포함할 수 있다. 따라서, 이미징 장치(16)는 이미지(18)에 대한 환자(14)의 초기 등록, 자동 등록 또는 연속 등록을 허용하기 위해 기기(66)와 같이 환자(14)에 대해 추적될 수 있다. 등록 및 탐색 시술은 본원에 참조로 포함된 미국 특허 제8,238,631호에 논의되어 있다.
숙련자는 기기(66)가 심실 또는 혈관 스텐트, 척추 임플란트, 신경 스텐트 또는 자극제, 절제 장치, 확장기 등과 같은 임의의 적절한 기기일 수 있음을 이해할 것이다. 기기(66)는 중재기기일 수 있거나 이식 가능한 장치를 포함하거나 이식 가능한 장치가 될 수 있다. 기기(66)를 추적하면 등록된 이미지(18)를 사용하여 환자(14) 내에서 기기(66)를 직접 보지 않고도 환자(14)에 대한 기기(66)의 위치(x, y, z 포지션 및 방향을 포함)를 볼 수 있다.
도 1을 계속 참조하면서 2a를 추가로 참조하면, 환자(14)는 환자 추적기(64)에 추가하여 및/또는 대안적으로 하나 이상의 환자 마커들 또는 추적기(100)(본 명세서에서 100 및 소문자 참조)를 포함할 수 있다. 환자 추적기(100)는 X-선 또는 MRI와 같은 다양한 이미징 시스템으로 불투명하거나 이미지화될 수 있는 것과 같은 다양한 특징을 포함할 수 있다. 다양한 실시예에 따른 추적기(100)는 일반적으로 다양한 실시예에 따라 이미징 시스템(16)에 의해 획득된 이미지 데이터에서 가시적이거나 캡처될 수 있다. 따라서, 환자 마커들(100)은 피사체(14)의 이미지 또는 이미지 데이터에서 식별될 수 있다.
다양한 실시예에서, 환자 마커들(100)은 프로세서 시스템(26 및/또는 33a), 또는 임의의 다른 적절한 이미징 프로세서 또는 프로세서 시스템에 의해 실질적으로 자동 식별될 수 있다. 마커들(100)은 이미지 또는 이미지 데이터에서 식별될 수 있는 선택된 및/또는 고유한 기하학적 구조를 포함할 수 있다. 선택된 이미지 또는 이미지 데이터에서 마커들(100)을 분할하고 식별하기 위해 다양한 기술이 사용될 수 있다. 그러나, 사용자(12)는 또한, 이미지에서 부분을 선택하고 하나 이상의 사용자 입력(24)을 갖는 마커들(100)로 부분들을 식별하는 것과 같이 이미지 데이터에서 마커들을 식별할 수 있다는 것이 이해된다.
마커들(100)은 임의의 적절한 방식으로 환자(14)에 포지셔닝될 수 있다. 예를 들어, 마커들(100)은 자기-접착식 백킹, 마커들(100) 및/또는 환자(14)에 추가된 적절한 접착제 또는 접착제 물질, 또는 다른 적절한 메커니즘으로 환자(14)에 부착될 수 있다. 또한, 또는 이에 추가하여, 마커(100)(예컨대, 마커(100d 및 100e))는 환자(14)의 뼈 구조에 고정될 수 있다. 마커들(100)은 나사로 형성 또는 제공될 수 있거나, 환자(14)의 두개골과 같은 뼈 구조안으로 스레드(thread)되거나/되고 고정적으로 포지셔닝될 수 있게 하는 나사 부분을 가질 수 있다.
연결 기술에 관계없이, 마커들(100)은 선택된 시간에 환자(14) 상에 포지셔닝된다. 일반적으로, 마커들(100)은, 이미징 시스템(16)으로 환자(14)의 이미지 데이터 또는 이미지들을 획득하는 것과 같은, 이미징 이전에 환자(14) 상에 포지셔닝된다. 따라서, 이미징 시스템(16)이 환자(14)의 이미지를 획득하도록 동작될 때, 마커(100)들은 환자(14)에 포지셔닝되고 획득된 이미지 데이터 또는 이미지들에 나타날 것이다.
따라서, 마커들(100)은 기준점으로 사용될 수 있다. 환자(14)는 코끝, 눈꼬리, 귓불 등 다양한 신체 및 해부학적 기준점들을 포함할 수 있는 것으로 이해된다. 그럼에도 불구하고, 마커들(100) 및/또는 해부학적 기준점들이 환자(14)에 제공되는지에 관계없이 기준점은 이미징 시스템(16)으로 획득된 이미지들의 등록을 위해 사용될 수 있다. 숙련자에 의해, 환자(14)에게 획득된 이미지들은 이미지 공간을 정의할 수 있는 것으로 이해된다. 이미지 공간은 수술 영역 또는 시술(RO) 영역 및/또는 관심 영역(ROI)으로 언급되는 RO보다 크지만, 적어도 RO를 포함하는 영역일 수 있다. 시술은 관심 영역의 특정 영역에서 발생할 수 있음이 이해된다. 그럼에도 불구하고, 이미지 데이터 또는 공간의 좌표들은 물리적 또는 실제 공간에서 환자(14)와 상관되거나 등록될 수 있다. 마커들은(100) 환자(14)에 의해 정의된 바와 같이 환자 및/또는 내비게이션 공간 및/또는 환자(14) 내에서 또는 환자에 대해 수술 영역에 이미지 공간을 등록하는데 사용될 수 있다.
전술한 바와 같이, 기기(66)는 임의의 적절한 기기일 수 있다. 기기(66)는 환자(14)의 일부 내에, 예컨대 비도(112)를 통한 환자의 하나 이상의 부비강들 안쪽, 전두동(frontal sinus)과 같은 환자(14)의 일부에 포지셔닝될 수 있는 원위 단(distal end)(110)을 포함하는 확장 기기를 포함할 수 있다. 기기(66)는 커넥터 또는 니플과 같이 팽창 시스템(도시되지 않음)이 연결될 수 있는 커넥터(116)가 연결되는 근위 단(proximal end)(114)을 더 포함할 수 있다. 커넥터(116)는 손잡이(120)와 같은 기기(66)를 통해 기기(66)의 원위 팁(distal tip)(110) 또는 근처에서 풍선 또는 다른 팽창가능 부(122) 내부로 재료가 통과되도록 할 수 있다. 벌룬(122)의 팽창은 숙련자에게 일반적으로 이해되는 바와 같이 팽창하도록 확대하거나 부비강의 일부를 확대할 수 있다.
다양한 실시예들에서, 사용자(12)는 기기(66)를 예컨대 손(130)으로 잡을 수 있다. 그런 다음 사용자(12)는, 예컨대 기기의 원위 단(110)을 상악동(maxillary sinus)(134)과 같은 부비강 내로 이동하도록 환자(14) 내에서 환자(14)에 대해 기기(66)를 움직일 수 있다. 그러나, 기기(66)를 포함하는 다양한 기기는, 다양한 구성들에 따라 예컨대 전두동(136) 및/또는 스페노이드 부비강(sphenoid sinus)(138)과 같은 환자(14)의 하나 이상의 다른 부비강들의 부분들에 접근하는데도 사용될 수 있는 것으로 이해된다.
기기(66)는 추적 장치(146)를 더 포함할 수 있다. 추적 장치(146)는 연장된 핸들부(120)와 같은 기기(66)에 부착될 수 있다. 일반적으로 추적 장치(146)는 사용자의 손(130)과 같은, 사용자(12)에 의한 핸들(120)의 이동이 핸들(120)과 추적 장치(146)를 움직이도록 핸들(120)에 대해 실질적으로 고정되어 있다. 다양한 실시예들에 따르면, 추적 장치(146)는 또한 기기(66)의 원위 팁(110)을 기준으로 공간에서 견고하게 고정된다. 따라서, 추적 장치(146)의 포지션(예컨대, 위치 및/또는 방향)을 아는 것은 원위 팁(110)의 포지션을 알도록 한다. 또한, 원위 팁(110)은 핸들(120)의 축(120a)을 기준으로 하는 각도(150)인 축(110a)을 따라 연장될 수 있다. 따라서, 추적 장치(146)는 핸들(120)에 부착된 추적 장치(146)에 대해 원위 팁(110)의 포지션을 결정하기 위해 추적해야 하는 원위 단(110)을 기준으로 알려졌거나 미리 결정된 포지션에 포지셔닝될 수 있고 기하학적 구조를 가질 수 있다.
사용자(12)에 의해 사용될 수 있는 기기(66) 외에, 피사체(14)에 대해 추가 기기가 사용될 수도 있다. 예를 들어, 도 2b에 도시된 바와 같이, 사용자(12)는 이미징 시스템(137)을 포함하거나 동작할 수 있다. 이미징 시스템(137)은 카메라 렌즈 또는 카메라와 같은 원위 이미지 캡처링부(139)를 포함할 수 있다. 이미징 기기(137)는 일반적으로 Olympus America에 의해 판매되는 EVIS EXERA III 내시경과 같은 내시경 인 것으로 이해될 수 있다. 내시경(137)은 일반적으로 알려진 다양한 기술 및 실시예에 따라 사용자(12)에 의해 피사체(14)에 대해 포지셔닝될 수 있다. 이미지 수집부(139)는 예컨대, 부비강(134)을 포함하는 피사체(14)의 내부 또는 비도(112)를 포함하는 다른 적절한 부분과 같은 피사체(14)의 다양한 부분을 이미지할 수 있다. 본 명세서에서 더 논의되는 바와 같이, 내시경(137)은 예컨대, 피사체(14) 내에 기기(66)를 포지셔닝하는 동안 실질적으로 실시간 이미지들을 캡처할 수 있다. 내시경(137)으로 캡처된 실시간 이미지들은, 예컨대 디스플레이 장치(20) 및/또는 AV(21)와 같은 다양한 디스플레이 장치들(20) 또는 뷰 시스템들에 디스플레이될 수 있다. 따라서, 내시경(137)은 이미징 부 또는 단부(139)에서 이미지들을 캡처하고 일반적으로 알려진 기술들에 따라 이미지들을 디스플레이하는데 사용될 수 있다. 이미지들은 디스플레이 시스템(20) 및/또는 AV(21)를 포함하여 선택된 디스플레이 또는 뷰잉 시스템 상에 디스플레이하기 위해 무선 또는 유선 전송 시스템과 같은 다양한 시스템을 통해 프로세싱 시스템(22)으로 전송될 수 있다. 내시경(137)에서의 신호는 디지털 신호 및/또는 아날로그 신호일 수 있고 내시경에서 및/또는 인터페이스 시스템(76)을 통해 직접적으로 전송될 수 있다. 그럼에도 불구하고, 내시경(137)의 이미징 부분(139)에서 획득된 이미지들은 사용자(12) 및/또는 다른 적절한 개인에게 보여질 수 있다. 또한, 이미지들은 다양한 목적으로 캡처되고 기록될 수 있다.
전술한 바와 같이 내시경(137)은 피사체(14)의 이미지들을 획득하도록 사용될 수 있다. 이미지들을 획득하거나 시술을 수행하는 것을 돕기 위해, 내시경의 위치, 특히 획득되는 이미지들의 포지션은 하나 이상의 추적 장치들에 의해 결정될 수 있다. 예를 들어, 내시경 추적 장치(147)는 전술한 바와 같이 기기(66)에 연결된 추적 장치(146)와 유사한 내시경(137)에 통합될 수 있다. 추적 장치(147)는 추적 장치(146) 상의 마커들(146a)과 유사한 하나 이상의 볼 수 있는 마커들 또는 부분들(147a)을 포함할 수 있다. 그러므로, 본 명세서에서 논의된 바와 같이, 트래킹 장치(147)는 선택된 트래킹 시스템에 의해 트래킹 되도록 AV(21)로 보여지거나 이미지화될 수 있다. 추적 장치(147)는 환자(14) 내에서 이미지의 위치를 결정하는 것을 돕기 위해 이미지들을 캡처하는 단(end)(139)의 포지션을 결정하는데 사용될 수 있다. 내시경(137)은 사용자(12)에 의해 직접적으로 볼 수 없는 부비강(134)과 같은 피사체(14) 내에 포지셔닝될 수 있다. 추가 및/또는 대안적인 추적 장치들은 이미지 캡쳐 단(139) 근처 또는 내시경(137) 내에 포지셔닝되거나 통합될 수 있는 단 추적 장치(143)를 포함할 수 있다. 추적 장치(143)는 전술한 추적 장치(64)와 유사할 수 있다. 추적 장치(143)는 광학 추적 장치, EM 추적 장치, 초음파 추적 장치 또는 다른 적절한 추적 장치일 수 있다. 본 명세서에서 더 논의되는 바와 같이, 추적 장치(143)와 같은 기기(137)의 등록 및 환자 또는 피사체 추적기(64)는 피사체(14)에 대해 내시경(137)의 등록 및 유지하는데 도움을 주기 위해 사용될 수 있다.
또한, 사용자(12)는 시술 동안 사용하기 위해 대안적인 또는 증강된 뷰스크린들 또는 뷰잉 시스템(21)을 구비 및/또는 사용할 수 있다. AV(21)는 적어도 하나의 뷰스크린 및 일반적으로 제1 뷰스크린(160) 및 제2 뷰스크린(162)을 포함하는 2 개의 뷰스크린들을 포함하는 적절한 장치일 수 있다. 뷰스크린들은 안경과 유사한 방식으로 AV(21)가 사용자(12)에 착용될 수 있도록 하나 또는 그 이상의 템플 부재들(temple members)(168)을 가질 수 있는 프레임 부재(166)에 고정될 수 있다. 따라서, 뷰스크린들(160, 162)은 일반적으로 사용자(12)의 눈들(172 및 174)의 양쪽 앞에 각각 포지셔닝될 수 있다. 이러한 방식으로, 사용자(12)가 이미지들을 볼 수 있도록 이미지들이 뷰스크린들(160, 162) 중 하나 또는 둘 모두에 디스플레이될 수 있다. AV(21)에는 Microsoft Corporation에서 판매하는 Hololens® 착용가능 컴퓨터 주변기기, 캘리포니아주 샌프란시스코에 사업장을 두고 있는 Osterhout Design Group에서 판매하는 R-9 Smart Glasses 착용가능 컴퓨터 주변기기, 및/또는 캘리포니아주 LA에 사업장을 두고 있는 DAQRI에서 판매하는 DAQRI Smart Glasses® 착용가능 컴퓨터 주변기기 등 하나 이상의 다양한 장치와 시스템이 포함될 수 있다.
다양한 실시예에서, 뷰스크린들(160, 162)은 또한 이미지를 디스플레이하는 부분(예컨대, 아이콘 또는 렌더링)을 제외하고는 실질적으로 투명할 수 있다. 따라서, 사용자(12)는 환자(14) 및 뷰스크린들(160, 162)에 의해 디스플레이된 임의의 이미지를 볼 수 있다. 더욱이, 선택된 이미지들을 디스플레이하는 2 개의 뷰스크린들(160, 162)로 인해, 디스플레이는 환자(14)에 대해 사용자(12)에 의해 실질적으로 입체 및/또는 3 차원인 것으로 인식될 수 있다. 따라서, 본 명세서에서 더 논의되는 바와 같이, 사용자(12)는 시술을 수행할 때 환자(14) 및 이미지를 볼 수 있다.
AV(21)는 또한 제1 카메라(180) 및 제2 카메라(182)와 같은 하나 이상의 카메라들을 포함할 수 있다. 2 개의 카메라들(180, 182)은 환자(14)의 머리와 같은 관심 영역을 보기 위해 사용될 수 있다. 도 2a에 도시된 바와 같이, 사용자(12)는 환자(14)의 부비강(sinus)과 같은 수술 영역에서 시술을 수행할 때 환자의 머리 부분과 목 부분을 실질적으로 볼 수 있다. 따라서, 카메라들(180, 182)는 또한, 본 명세서에서 더 논의되는 바와 같이 다양한 목적으로 환자(14)를 볼 수 있다. 또한, 카메라들은 기기(66) 및/또는 마커들(100) 상의 추적 장치(146)와 같은 관심 영역 내의 다른 물체를 볼 수 있다. 추적 장치(146)는 AV(21)에 의해 추적 장치(146)의 투시 또는 뷰를 결정하기 위해 카메라들(180, 182)로 볼 수 있는 하나 이상의 마커들 또는 부분(146a)을 포함할 수 있다.
추적 장치(146) 및/또는 마커들(100)의 위치를 보고 결정하기 위해 2 개의 카메라들(180, 182)의 사용이 본 명세서에 개시되고 논의되었지만, 여기에서 논의된 바와 같이 숙련자에 의해, 예를 들어 카메라들(180, 182)에서 오직 하나의 카메라와 같이, 오직 하나의 카메라만이 추적을 위해 요구될 수 있음이 이해된다. 추적 장치(146)의 다양한 특징들(예: 형상, 이미지 등)에 대해, 추적 장치(147) 및/또는, 예컨대 카메라(180)와 같은, 하나의 카메라 마커들(100)은 카메라(180) 및/또는 기타 추적 가능한 항목들에 대해 위치(예컨대, x, y, z 좌표들 및 방향)를 결정할 수 있다. 예를 들어, 카메라(180)는 마커들(100)에 대해 추적 장치(146)(및 따라서 기기(66))의 상대적 위치를 결정하는데 사용될 수 있다. 또한, 카메라(180)는 AV(21)로부터 분리된 사용자(12)의 머리 위와 같이, 사용자(12)에 대한 임의의 위치에 배치될 수 있다. 그러나, 카메라(180)는 하나 이상의 뷰스크린들(160, 162) 상에 다양한 이미지들을 디스플레이하기 위해 프로세서 시스템(22)과 여전히 통신 상태를 유지할 수 있다.
따라서, 카메라들(180, 182)을 포함하는 AV(21)는 기기(66) 상의 추적 장치(146)와 함께 환자(14)의 마커들(100)을 볼 수 있다. 환자(14) 상의 마커들(100)은 카메라들(180, 182)로 보여 질 수 있고, 프로세서(26)로 명령을 실행하는 것과 같은 프로세서 시스템상에서 명령을 실행함으로써 사용자(12)에 의해 그리고/또는 실질적으로 자동적으로 식별될 수 있다.
위에서 논의된 바와 같이, 프로세서 시스템(22)은 이미지에서 마커들(100)을 식별하는 것을 보조하기 위해 메모리(27)에 저장된 명령과 같은 명령에 액세스할 수 있다. 카메라들(180, 182)은 환자(14)의 머리를 포함하여 관심 영역을 포함하고 마커들(100)을 관찰하는 시야를 가질 수 있다. 선택된 소프트웨어에 포함될 수 있는 명령어는, 이미지의 분할 및 마커들(100)의 선택된 형상, 밀도, 색상 등을 식별함으로써, 관찰된 이미지에서 마커들(100)을 식별할 수 있다.
마커들(100)이 식별되면, AV(21)의 카메라들(180, 182)의 시야에 마커들(100)을 포함하는 이미지들을 등록하기 위해 프로세서 시스템(22)과 같이 이미징 시스템(14)으로 획득한 이미지들이 등록될 수 있다. 이미지 장치(16)에 의해 획득된 이미지 데이터에서 식별된 마커들(100)과 AV(21)의 카메라들(180, 182)에 의해 획득된 이미지 시야에서 마커들(100)을 매칭시킴으로써 등록이 발생할 수 있다. 마커들(100)은 일반적으로 이미징 시스템(16)으로 이미지 데이터를 획득하는 동안 그리고 시술 동안 카메라들(180, 182)의 시야에 있을 때 환자에서 동일한 포지션에 유지된다. 등록은 또한 내시경(137)의 추적 장치(143) 및 환자 추적기 또는 동적 기준 프레임(64)으로 인해 발생할 수 있다. 위에서 논의된 바와 같이, 미국 특허 8,238,631 호(본 명세서에 참고로 포함됨)에 개시된 것과 같은 다양한 등록 기술로 인해 발생할 수 있다. (내시경(137)과 관련된) 추적 장치(143) 및/또는 환자 추적기(64)를 추적함으로써 등록이 이루어질 수 있다. 또한, AV(21)에는 피사체 또는 동적 기준 프레임(64) 및/또는 내시경(137)의 추적기(143)에 대해 동일한 또는 유사한 추적 시스템 및/또는 기준 프레임에서 AV(21)를 추적할 수 있는 추적 장치(149)가 포함될 수 있다. 따라서, AV(21)는 내시경(137) 및/또는 피사체(14)에 대해 등록될 수 있다. 이 이미지는 내시경(137)으로 획득되며, 본 명세서에서 더 논의되는 바와 같이, 사용자(12)의 뷰에 대해 표시하거나 사용자(12)에 의해 보기 위해 사용될 수 있다.
전술한 바와 같이, 도 2a 및 도 2b를 참조하면, 마커들(100)이 환자(14)에 연결된 이미징 시스템(16)에 의해 획득된 이미지 데이터 및/또는 이미지는 마커들(100)의 데이터를 포함할 것이다. 마커들(100)은 전술한 바와 같이 이미징 시스템 또는 이미징 시스템(16)으로 획득된 이미지들에서 식별될 수 있다. 마커들(100)은 또한 AV(21)와 관련된 카메라들(180, 182)에 의해 보여질 수 있다. 카메라들(180, 182)는 또한 해부학적 기준 마커들을 식별하거나 식별하기 위해 환자(14)를 볼 수 있다. 그럼에도 불구하고, 이미징 시스템(18)으로 획득된 이미지 데이터에서 식별된 마커들(100)은 또한 카메라들(180, 182)로 획득된 이미지들에서 식별될 수 있다. 숙련자에 의해, 카메라들(180, 182)로 획득된 이미지들은 컬러 이미지들, 적외선 이미지들 등과 같은 임의의 적절한 유형의 이미지들일 수 있음이 이해된다. 그럼에도 불구하고 이미징 시스템(16)으로 획득된 이미지 데이터에서 식별된 마커들(100)의 매칭은, 카메라들(180, 182)로 보여진 마커들의 식별된 위치와 매치되어, AV(21)에 의해 보여진 공간 또는 시야를 이미징 시스템(16)으로 획득된 이미지 공간에 등록할 수 있다. 따라서, 본 명세서에서 추가로 논의되는 바와 같이, 이미징 시스템(16)으로 획득된 이미지들 또는 이미지들의 일부는 환자(14) 상에 중첩된 것으로 보이는 것과 같이 뷰스크린들(160, 162)에 디스플레이될 수 있다.
피사체(14)는 또한 내시경(137)의 피사체 추적기(64) 및 추적기(143)로 인해 현재 획득된 이미지들 또는 내시경(137)으로 획득된 실시간 이미지들을 기준으로 등록될 수 있다. 기준 마커들(100d) 및/또는 다른 기준의 특징들이 피사체(14)에 등록될 수 있다. 따라서, 내시경(137)으로 획득된 실시간 이미지들도 사전 획득된 이미지들에 등록될 수 있다. 따라서, 사전 획득된 이미지는 AV(21) 추적기(149)를 통해 카메라들(180, 182) 및/또는 AV(21)와 같은 기기(66)에 등록될 수 있다. 따라서, 내시경(137)으로 획득된 이미지들은 피사체(14)의 사전 획득된 이미지들 및 AV(21)와 같은 사용자(12)가 보기 위해 등록될 수 있다.
사용자(12)는 도 3a 및 도 3b에 도시된 바와 같이 AV(21)를 통해 피사체(14)를 볼 수 있다. 사용자(12)는 도 3a 및 도 3b에서 점선들로 도시된 바와 같이 시야(21f)를 보거나 가질 수 있다. 시야(21f)는 피사체(14)를 보거나 AV(21)를 통해 임의의 영역을 볼 때 AV(21)를 통해 사용자(12)에 뷰를 표현할 수 있다. 따라서, 사용자(12)는 실제 또는 물리적인 피사체(14)을 볼 수 있고, 또한 AV(21)에 의해 디스플레이 되는 그래픽 표현들(본원에서 아이콘들로도 언급됨)에 의해 증강될 수 있다. 아이콘 또는 그래픽 표현들은 AV(21)를 통해 시야를 볼 때 사용자(12)가 볼 수 있도록 시야(21f)에 디스플레이될 수 있다.
아이콘들에 더하여, 여기에서 더 논의되는 바와 같이, 추가 이미지들 또는 이미지 영역들(153)은 AV 시야(21f) 내에 사용자에 의해 보여지도록 디스플레이될 수 있다. 추가적인 뷰잉 영역(153)은 사용자(12)에 의해 사용되거나 보기 위한 다양한 이미지들 또는 정보를 디스플레이하는 데 사용될 수 있다. 예를 들어, 내시경(137)에 의해 획득된 실시간 이미지들은 보조 또는 증강 뷰잉 영역(153)에 디스플레이될 수 있다. 따라서, 사용자(12)는 피사체(14)를 관찰하기 위해 시야(21f)에서 피사체(14)를 볼 수 있고, 여기에서 더 논의되는 다양한 그래픽 표현들 및 보조 또는 추가 뷰잉 영역(153)의 추가 이미지들(예컨대, 내시경 이미지들)을 볼 수 있다. 사용자(12)는 또한 사전 획득된 이미지들, 내시경의 실시간 이미지, 또는 다른 적절한 정보와 같은 보조 디스플레이 영역(153)에 디스플레이될 정보를 선택적으로 선택하거나 선별할 수 있다.
도 3a 및 도 3b를 추가로 참조하면, 예를 들어 상악동(134)과 같은 부비강들(sinuses)이 상악동 아이콘(134')으로 디스플레이될 수 있다. 도 3a는 환자(14)를 AV(21)를 통해 보는 사용자(12) 보기의 시점 및 뷰스크린들(160, 162)과 함께 디스플레이되는 다양한 부분을 도시한다. 따라서, 위에서 논의된 바와 같이, 상악동 아이콘(134')은 마치 사용자(12)가 환자(14)를 보고 상악동(134)을 볼 수 있는 것처럼 사용자(12)가 볼 수 있도록 디스플레이될 수 있다. 상악 아이콘(134')은 이미지 데이터의 그래픽 렌더링 또는 상악동을 나타내는 인위적으로 작성된 아이콘일 수 있다.
또한 전두동(136) 및 하나 이상의 스페노이드 부비강(138)과 같은 환자(14)의 해부학적 구조의 다른 부분을 도시하도록 선택될 수 있다. 사용자(12)는 또한 환자(14) 및/또는 환자(14)에 부착된 마커들(100)과 같은 임의의 현실 세계 객체를 볼 수 있다. 사용자는 또한 환자 지지부(15)와 같은 다른 현실 세계 부분들을 볼 수 있다. 따라서, 사용자(12)는 뷰스크린들(160, 162)의 투명한 부분을 통해 뷰스크린들(160, 162) 및 현실 세계의 아이템들로 인해 환자(14)에 중첩된 특징 모두를 볼 수 있다.
또한, 카메라들(180, 182)는 추적 장치(146)를 볼 수 있다. 추적 장치(146)를 관찰함으로써, 카메라들(180, 182)은 마커들(100)에 대한 추적 장치(146)의 포지션을 결정할 수 있다. 마커들(100)의 포지션은 환자(14)의 위치를 식별하기 위해 환자(14) 상에 배치된다. 하나 또는 그 이상의 마커들(100)을 기준으로 기기 추적 장치(146)의 알려진 포지션은 추적 장치(146) 및 환자(14)에 대해 기기(66)의 한 부분을 결정하게 한다. 위에서 논의된 바와 같이, 기기의 원위 팁(110)은 추적 장치(146)에 대해 알려지고 고정된 포지션에 있을 수 있다. 그러므로, 추적 장치(146)에 대한 원위 팁(110)의 알려지고 고정된 상대적 포지션(예컨대, 기하학적 구조)은 메모리(27) 또는 다른 적절한 메모리에 저장될 수 있다.
추적 장치(146)의 추적된 위치는 하나 이상의 카메라들(180, 182)과 추적 장치의 "뷰"에 기반한 추적 장치(146)의 위치를 삼각 측량함으로써 결정될 수 있다. 프로세서 시스템(22)은 본 기술 분야에서 일반적으로 이해되는 바와 같이 명령을 실행하여 원위 팁(110) 및/또는 팽창 부재(122)와 같은 작업 부분의 포지션을 결정하고 기기 아이콘은 환자를 뷰스크린(160, 162) 상에 디스플레이 함으로써 환자(14)에 관련된 다양한 부분들을 포함하거나 디스플레이하도록 나타낼 수 있다. 프로세서 시스템(22)에 의해 실행되는 명령들에는 메모리(27)에서 저장 및 호출된 지침들이 포함될 수 있다. 명령들은 두 카메라들(180, 182)로부터 분리된 뷰를 기반으로 한 추적 장치(146)와 같이 보이는 부분의 위치를 삼각 측량하기 위한 알고리즘에 기초한 것들을 포함할 수 있다. 개별적인 뷰는 2 개의 카메라들(180, 182)로부터 신호들(예컨대, 이미지 데이터를 포함함)을 생성하는데 사용될 수 있고, 신호들은 프로세서 시스템(22)으로 전송될 수 있다. 추적 장치(146)의 위치의 삼각 측량은 두 카메라들(180, 182)과 두 카메라들(180, 182) 각각에 의해 캡처된 각각의 개별 뷰 사이의 알려진 거리를 기반으로 할 수 있다.
따라서, 뷰스크린들(160, 162)은 또한 원위 팁의 아이콘(110') 및/또는 기기(66)의 팽창 가능한 부분의 아이콘(122')으로 언급된 그래픽 표현을 포함할 수 있다. 원위 아이콘(distal icon)(110')과 같은 아이콘은 환자(14)에 대해 중첩되거나 디스플레이 되는 것처럼 보이는 하나 이상의 뷰스크린들(160, 162) 상의 아이콘으로서 도시될 수 있다. 기기(66)의 한 부분 이상의 아이콘이 사용될 수 있으므로, 기기 아이콘(66')은 기기(66)의 모든 부분들을 포함하는 전체 기기로서 예시될 수 있음이 이해된다.
AV(21)는 프로세서 시스템(22)과 통신할 수 있고/있거나 다른 프로세서 시스템과 통신하기 위한 온보드(onboard) 프로세싱 및/또는 다른 통신 특징을 포함할 수 있다. 따라서, AV(21)의 카메라들(180, 182)에 의한 환자(14)의 머리와 같은 관심 영역의 시야는 프로세서 시스템(22)으로 전송될 수 있다. 적어도 카메라(180, 182)와 이격되어 있기 때문에, 카메라들(180, 182)에 대한 마커들(100) 및/또는 추적 장치(146)와 같은 공간에서의 각각의 시점을 기준으로 삼각 측량이 결정될 수 있다. 하나 이상의 마커들(100)에 대한 추적 장치(146)의 상대적 위치는 예컨대 프로세서 시스템(22)으로 명령을 실행하여 결정될 수 있다.
2 개의 카메라들(180, 182) 중 하나 또는 둘 모두로부터 이미지들을 수신하는 프로세서 시스템(22)은 마커들(100)과 같은 추적된 임의의 부분 또는 추적된 부분과 추적 장치(146) 사이의 거리를 처리하고 결정할 수 있다. 따라서, 프로세서 시스템(22)은 메모리(27)에서 액세스된 명령을 실행하면 선택된 및/또는 적절한 이미지 부분, 예컨대 기기 아이콘들(66') 또는 그 부분 및/또는 전두동(136') 또는 이미지 데이터로부터의 다른 적절한 부분을 포함하는 부비강들을 표현하는 아이콘들과 같은 다른 이미지화된 특징들을 뷰스크린들(160, 162)에 제공할 수 있다. 추적 장치(146) 및/또는 마커들(100)의 추적 위치에 기반해 이미징 시스템(16)으로 획득된 이미지와 같이 사전 획득된 이미지를 등록하는 것은, 미국 특허 번호 8,238,631에 개시된 것과 같은 등록 기술에 근거하여 여기에 참조될 수 있다. 등록은 실질적으로 자동으로 되고/되거나 이미지들(18)에서 마커들(100) 및/또는 환자(14)의 마커들(100)과 같은 기준 마커들의 식별에 기반할 수 있다.
따라서, 사용자(12)는 환자(14) 및 뷰스크린들(160, 162)에 기반해 환자(14)에 관한 기기 아이콘(66')과 같은 다른 특징을 모두 볼 수 있다. 카메라(180, 182)는 뷰스크린(160, 162)과 함께 디스플레이하기 위한 원위 팁(110)과 같은 기기(66)의 다양한 부분의 위치를 결정하기 위해 사용자(12) 및 환자(14)에 대한 모든 추적 정보를 제공할 수 있다. 사용자(12) 인식은 기기(66)가 환자(14) 내에 있는 경우에도 환자(14)에 대해 볼 수 있다는 것이다. 또한, 이미징 시스템(16)으로 획득된 이미지 데이터는 환자(14)에 대한 뷰스크린들(160, 162)과 함께 아이콘들과 같은 특징으로서 디스플레이될 수 있다. 다시, 환자(14)의 사용자(12)에 의한 인식은 부비강들(134, 136, 138)과 같은 다양한 부분이 AV(21)로 인해 사용자(12)에 의해 볼 수 있다는 것이다. 따라서, 도 3a에 도시된 바와 같이, 환자(14)의 시야는 사용자(12)가 일반 시력을 가진 사용자(12)에 의해 볼 수 없는 특징들을 도시하기 위해 증강될 수 있다. 다시 말해서, 사용자(12)는 물리적 공간에서도 3a에 도시된 바와 같이 환자(14)를 볼 수 있고, 위에서 논의된 아이콘들 또는 렌더링과 같은 환자(14) 내의 영역의 표현을 볼 수 있다. 또한 이 뷰는 3D일 수 있으며 환자(14) 및/또는 기기(66)에 대해 사용자가 이동할 때 뷰가 변경될 수 있다.
환자(14)는 도 3a에 구체적으로 도시된 바와 같이 뷰스크린들(160, 162)을 통해 볼 수 있다. 상악(maxillary) 아이콘(134') 및 스페노이드 아이콘(138')과 같은 다양한 아이콘드이 기구(66)의 아이콘(66')을 기준으로 디스플레이될 수 있다. 아이콘들은 스페노이드 아이콘(138')과 같은 해부학적 아이콘과 관련된 기기 아이콘(66')을 보기 위해, 다양하고 선택된 불투명도 및/또는 절개부를 가질 수 있다. 따라서, 스페노이드 아이콘(138') 및 기기 아이콘(66')과 같은 아이콘을 포함하는 시야를 보는 사용자(12)는 두 아이콘을 동시에 볼 수 있다. 더욱이, 사용자(12)는 스페노이드 부비강(138')과 같이 기기 아이콘(66') 과 부비강 아이콘을 실질적으로 동시에 보면서 스페노이드 부비강(138)과 같은 선택된 부비강 내에서 기기(66)의 포지션을 인식할 수 있다. 다시 말해서, 부비강 아이콘들과 같은 다양한 아이콘들의 불투명도는 선택된 해부학적 부분 내에 또는 내부에 있는 것처럼 기기 아이콘을 볼 수 있도록 투명한 시야를 갖도록 선택될 수 있다. 이것은 사용자(12)가 도 3a에 도시된 바와 같이 환자(14)와 기기의 아이콘들 및 해부학을 실질적으로 동시에 그리고 환자(14) 상에 존재하는 것처럼 볼 수 있게 한다.
이에 부가하여 또는 대안적으로, 다양한 아이콘들이 환자(14)로부터 이격된 포지션에 디스플레이될 수 있다. 예를 들어, 도 3b에 도시된 바와 같이, 기기 아이콘(66')은 스페노이드 아이콘(138')과 같은 해부학적 부분 아이콘을 기준으로 추적되고 결정된 위치에 있지만 환자(14)로부터 이격되어 디스플레이될 수 있다. 기기(66)에 의해 상호 작용하거나 통과된 해부학적 부분들만을 도시하도록 선택될 수 있으므로 모든 아이콘들이 반드시 도시될 필요는 없다. 기기(66)가 비도(112) 내에 있고, 사용자(12)의 비-증강 시야에서 가려졌을 때에도 비도(112)를 통하는 것처럼, 해부학적 다양한 부분들에서 아이콘 경로(139')(도 3a 및 도 3b 참조)와 같은 다양한 경로가 이해된다. 따라서, 도 3b에서 설명한 바와 같이, 나타나거나 환자(14)의 획득된 이미지 데이터에 기반한 디스플레이된 해부학적 부분들은 환자(14) 상의 개별적이고 상대적인 물리적 위치에서 이격된 위치에 디스플레이될 수 있는 것으로 이해된다. 따라서, 부비강 아이콘과 같은 아이콘은 환자(14)로부터 이격된 곳에 디스플레이될 수 있다. 이것은 사용자(12)가 환자(14)의 더 및/또는 실질적으로 방해받지 않은 시야를 가지면서 선택된 해부학적 부분에 대한 기기(66)의 상대적인 위치를 볼 수 있게 할 수 있다.
또한, 뷰스크린들(160, 162)은 선택되면, 실질적으로 동시에 실시간으로 획득될 수 있는 내시경 이미지와 같은 다른 이미지를 디스플레이하는데 사용될 수 있다. 즉, 사용자(12)는 비도(112)에도 내시경을 배치할 수 있고, 하나 이상의 뷰스크린들(160, 162)은 내시경 뷰를 디스플레이할 수 있다. 따라서, 사용자(12)는 기구(66)와 함께 비도(112)를 통해 내시경을 포지셔닝하여 뷰스크린(160, 162) 상에 그리고 선택된 아이콘, 예를 들어 부비강 아이콘 및/또는 기구 아이콘(66')에 대해 디스플레이될 수 있는 실시간 및 내시경적 시점을 제공할 수 있다.
더욱이, 다양한 이미지가 뷰스크린들(160 및 162) 모두 또는 뷰스크린들(160, 162) 중 하나에만 디스플레이될 수 있다는 것이 이해된다. 2개의 뷰스크린들(160, 162) 상에 디스플레이된 이미지는 실질적으로 유사할 수 있지만, 사용자(12)에 의해 이미지 데이터 및/또는 아이콘에 기반해, 예컨대 부비강 및/또는 기기(66)의 선택된 부분의 깊이 및/또는 3차원의 인식을 허용하도록 변경된다는 것이 이해될 것이다. 따라서, 디스플레이들(160, 162)는 동일한 디스플레이, 실질적으로 다른 디스플레이 또는 뷰스크린 당 하나의 디스플레이만을 가질 수 있거나, 사용자(12) 보기를 위한 깊이의 인식을 제공하도록 할 수 있다.
전술한 바와 같이, 보조 이미지(153)는 보조 이미지(153)에 도시된 원위 팁 이미지(110")와 같이, 기기(66)의 포지션을 보여주거나 도시할 수 있다. 보조 이미지(153)는 전술한 바와 같이 내시경(137)으로 획득된 실시간 이미지일 수 있다. 따라서, 원위 팁 이미지(110")는 또한 기기(66)의 실시간 이미지일 수 있다. 보조 이미지(153)는 또한 선택된 시술 동안 사용자(12)가 볼 수 있도록 부비강 내부와 같은 해부학적 표면을 디스플레이할 수 있다. 따라서, 시야(21f)는 사용자(12)가 피사체(14), 피사체(14)에 대해 디스플레이되고/되거나 중첩된 기기의 그래픽 표현, 피사체(14)에 대해 디스플레이되고/되거나 중첩된 사전 획득된 이미지들, 및/또는 기기(66)의 실시간 이미지들과 같은 보조 이미지 피사체들을 볼 수 있게 한다. 따라서, 사용자(12)는 시야(21f)에서 보기 위한 이미지들을 선택할 수 있다. 이미지들 또는 그래픽 표현들 중 임의의 것이 또한 디스플레이 장치(20)와 같은 다양한 다른 디스플레이 장치 상에 디스플레이될 수 있다는 것이 이해된다. 디스플레이 장치(20)는 또한 기기(66)의 위치, 사전 획득된 이미지 및 실시간 이미지들의 그래픽 표현을 단독으로 또는 조합하여 보거나 디스플레이할 수 있다.
도 3c를 참조하면, 시야는 디스플레이 장치(20)에 디스플레이될 수도 있다. 다양한 실시예들에서, 내시경의 뷰는 디스플레이(20)에 보조 뷰(153')로 디스플레이될 수 있다. 아이콘들(110') 및 부비강(134')과 같은 해부학의 일부는 또한 디스플레이 장치(20)에 디스플레이될 수 있다. 그래픽 표현은 디스플레이 장치(20)에 디스플레이될 때 실질적으로 3 차원(3D)일 수 있다. 따라서, 환자(14)는 디스플레이되지 않고 획득된 이미지들, 예컨대 부비강(134'), 예컨대 내시경(137)으로 실시간으로 획득된 이미지들만 디스플레이될 수 있지만, 디스플레이(21f) 시야는 디스플레이 장치(20)에 실질적으로 재현될 수 있다. 디스플레이 장치(20)는 이동 가능하고 사용자(12)를 가장 잘 볼 수 있도록 포지셔닝될 수 있는 것으로 이해된다.
디스플레이(20) 상에 및/또는 AV(21)와 함께 시야(21f) 내에 디스플레이 되더라도, 그래픽 표현들(예컨대, 부비강(134')) 및 기기(110')의 디스플레이는 사용자(12)의 시점으로부터의 것일 수 있다. 따라서 사용자(12)가 피사체(12)에 대해 움직임에 따라 시야(21f) 내의 및/또는 디스플레이 장치(20) 상의 디스플레이는 사용자(12)가 피사체(12) 내에서 선택한 포지션에 있는 것처럼 사용자(12)에게 디스플레이를 제공하도록 변경될 수 있다. 다시 말해서, 사용자(12)가 피사체의 머리(12) 포지션에서 위가 아닌 아래를 보는 포지션으로 이동하는 경우, 그래픽 표현들의 디스플레이는 피사체(14)에 대한 사용자(12)의 포지션과 일치하도록 변경될 것이다. 사용자(12)의 결정된 포지션은 다양한 실시예에서 추적기(149) 및/또는 AV(21)와 연관된 이미징 장치(180, 182)의 뷰에 의해 결정될 수 있다.
도 1 내지 도 3b에 대한 지속적인 참조와 도 4에 대한 추가 참조를 통해 사용자(12)가 전두동(136)을 포함한 하나 이상의 부비강들과 관련된 시술과 같은 시술 수행을 돕기 위해 AV(21)을 사용하는 방법은 순서도(210)에 설명되어 있다. 일반적으로 프로세스는 시작 블록(214)에서 시작될 수 있다. 시작 블록(214)에서 프로세스를 시작한 후에, 이미지 데이터 또는 피사체(14)의 이미지들의 획득이 수행될 수 있다. 이미지 데이터 또는 이미지들의 획득은 임의의 적절한 방식으로 수행될 수 있다. 예를 들어 환자(14)에 기기(66)을 도입하기 위해 환자(14)가 준비되었을 때와 같은 시술을 수행하기 전에 선택된 시점에 환자(14)의 이미지들을 획득하여 메모리 시스템(27)및/또는 메모리 시스템(33b)과 같은 메모리 시스템에 저장할 수 있다. 이미지들은 CT 스캐너 및/또는 MRI와 같은 선택된 이미징 시스템으로 획득될 수 있고, 원시 데이터 및/또는 재구성된 이미지들과 같은 적절한 포맷으로 저장될 수 있다. 재구성된 이미지들은 디스플레이 장치(20) 및/또는 AV(21)와 같은 다양한 디스플레이 장치로 사용자(12)에 의해 보기 위한3 차원 방식으로 렌더링된 이미지를 포함할 수 있다. 또한, 이미지 또는 이미지 데이터의 다양한 부분이 다른 이미지 데이터로부터 전두동(136)을 포함하여 부비강들을 분할하는 것과 같이 분할될 수 있다. 또한, 이미지 또는 이미지 데이터에서 마커들(100)의 식별은 프로세서(26 및/또는 33a)를 포함하는 프로세서에 의해 수행될 수 있다. 전두동(136)과 같은 해부학의 다양한 부분을 분할하고 /하거나 마커들(100)를 식별하는 것은 다양한 분할 기술을 사용하여 수행될 수 있다. 분할 기술은 Medtronic, Inc.에서 판매하는 FUSION ™ 내비게이션 시스템과 같은 다양한 이미징 및 내비게이션 시스템에 통합된 기술을 포함할 수 있습니다.
이미지 데이터는 또한(예컨대, 환자가 시술을 위해 준비될 때) 실질적으로 수술 중 사용될 수 있는 이미징 장치(14) 등을 사용한 시술 동안 또는 그 이전에 실질적으로 획득될 수 있다. 이미지 또는 이미지 데이터의 다양한 부분들은 전술한 바와 같이 분할될 수 있지만, 선택된 기간 동안 시술 이전에 메모리에 저장되지 않고, 데이터는 프로세서 시스템(22)에 실질적으로 실시간 전송될 수 있다. 그럼에도 불구하고, 이미지 데이터는 시술 동안 사용하기 위해 이미지 데이터 또는 이미지를 분석 및/또는 처리하기 위해 선택된 기간 동안 저장될 수 있음을 이해할 수 있다.
이미지 데이터의 획득은 AV(21)에 의해 디스플레이될 이미지들을 준비하고 및/또는 시술 동안 사용이 필요하지 않기 때문에 선택적일 수 있다. 예를 들어, 본 명세서에서 논의된 바와 같이, AV(21) 및 프로세서 시스템(22)을 포함하는 시스템은 환자(14)의 이미지 데이터 없이 기기의 위치를 나타내는 마커들(100) 및 추적 장치(146)를 추적할 수 있다. 다양한 실시예들에서, 이미지들은 위에서 논의된 바와 같이 AV(21)와 함께 디스플레이하기 위해 프로세서 시스템(22)에 의해 액세스될 수 있다.
AV(21)는 블록(224)에서의 시술을 위해 배치될 수 있다. 시술을 위한 AV(21)의 배치는 본 명세서에서 더 논의되는 바와 같이 사용자(12) 상에 AV(21)를 배치하는 것을 포함할 수 있다. 또한, AV(21)는 마커들(100) 및/또는 추적 장치(146)와 같은 기기(66)와 같은 환자(14)를 추적하는 처리 능력을 제공하기 위해 프로세서 시스템(22)과 통신하도록 배치될 수 있다. 따라서, AV(21)은 블록(226)에서 관심 영역을 볼 수 있고 사용자는 블록(228)에서의 관심 영역을 볼 수 있음을 확인할 수 있다. 관심 영역을 볼 때, 카메라들(180, 182)은 일반적으로 머리 영역과 같은 시술이 발생하는 환자(14)의 적어도 일부를 볼 수 있다. 위에서 논의된 바와 같이, 수술 영역은 환자(14)의 다양한 외부 조직을 통해 사용자(12)에 의해 실질적으로 보이지 않을 수 있다. 따라서, 수술 영역은 전두동(136)과 같은 부비강을 포함할 수 있고, 관심 영역은 환자(14)의 머리 전체를 포함할 수 있다. 이에 따라, 카메라들(180, 182)는 관심 영역을 볼 수 있도록 포지셔닝될 수 있고, 사용자(12)는 뷰스크린들(160, 162)을 통해 관심 영역을 확인할 수 있다. 뷰스크린들(160, 162)은 뷰스크린들(160, 162)의 일부에 아이콘이 디스플레이 되지 않을 때 실질적으로 투명하다.
AV(21)가 관심 영역의 뷰를 가지면, AV(21) 카메라들로 관심 영역의 기록이 블록(232)에서 수행될 수 있다. 블록(232)에서 관심 영역의 기록은(2개 이상 또는 2개 미만의 카메라들이 사용될 수 있음이 이해되지만) 카메라들(180, 182)로 이미지들을 수집하는 것을 허용할 수 있다. 관심 영역의 기록은 전체 시술 동안과 같이 지속적인 방식으로 환자(14)의 적어도 일부를 이미징하는 것을 포함할 수 있다. 환자(14)의 관심 영역을 이미징하는 것은 마커(100) 및/또는 환자(14)의 다른 기준점 또는 부분을 이미징하는 것을 포함할 수 있다. 따라서, 기록된 관심 영역은 블록(236)에서 환자 마커들을 식별하는 것을 포함할 수 있다.
환자 마커들의 식별은 이미지에서 환자 마커들(100)를 식별하기 위해 블록(232)에서 관심 영역에 기록된 이미지 데이터를 분할하는 것을 포함할 수 있다. 식별된 환자 마커들(100)은 도 3에 도시된 바와 같이 사용자(12)에 보여질 때 환자(14)의 마커들(100a) 위에 포지셔닝된 3 차원 큐브를 포함할 수 있는 아이콘(100a')과 같은 뷰스크린들(160, 162)에 아이콘으로 디스플레이될 수 있다. 그럼에도 불구하고, 블록(236)에서 환자 마커들을 식별하는 것은 아이콘(100a')의 디스플레이를 요구하거나 제공하지 않을 수 있지만, 본 명세서에서 더 논의되는 바와 같이 기기(66)의 위치 또는 원위 팁(110)과 같은 그 일부에 위치하는 것과 같은, 프로세서 시스템(22)에 의해 환자(14)의 영역을 확인하기 위해, 마커들을 식별하기 위해 간단히 수행될 수 있다.
환자(14) 상의 마커들(100)을 식별하면, 마커들(100)가 AV(21)의 카메라의 시야 내에 있을 때 내비게이션 시스템의 일부와 같은 프로세서 시스템이 환자(14)를 추적할 수 있다. 마커들(100)은 카메라들(180, 182)로 획득된 이미지에서 식별 가능한 부분들, 예컨대 색상, 패턴, 형상 등을 포함할 수 있다. 또한, 마커들(100)는 AV(21)에 대한 마커의 포즈, 위치 및 배향을 포함하는 포지션을 결정하기 위해 식별 가능한 특징을 포함할 수 있다. 따라서, 환자(14)는 사용자(12)에 의해 착용된 AV(21)에 대해 추적될 수 있다.
블록(240)에서 기기 추적기(146)가 식별될 수 있다. 기기 추적기(146)는 카메라들(180, 182)로 획득된 이미지에서 식별 가능한 부분들, 예컨대 색상, 패턴, 형상 등을 포함할 수 있다. 또한, 기기 추적기(146)는 AV(21)에 대한 마커의 포즈, 위치 및 배향을 포함하는 포지션을 결정하기 위해 식별 가능한 특징을 포함할 수 있다. 예를 들어, 추적 장치(146)는 카메라들(180, 182)에 의해 볼 수 있는 패턴을 포함할 수 있다. 추적 장치(146) 상의 패턴은 추적 장치에 관한 다른 관점들로부터 실질적으로 또는 완전히 고유할 수 있다. 따라서, 추적 장치(146)에서 관찰된 패턴은 기기 추적기(146)와 기기(66)의 위치를 결정하는데 사용될 수 있다.
기기 추적기(146)는 전술한 바와 같이 기기(66)에 고정될 수 있다. 원위 팁(110) 및/또는 동작부(122)와 같은 기기(66)의 다양한 부분들 사이의 기하학적 관계는 프로세서 시스템(22)에 의해 처리되도록 미리 결정되어 입력될 수 있다. 다양한 실시예들에서, 기하학적 구조는 메모리(27)에 저장될 수 있고, 기기(66)의 자동 식별(예컨대, 카메라(180, 182)로 기기를 보고) 및/또는 사용자(12)에 의해 기기의 식별을 입력함으로써 리콜될 수 있다. 그럼에도 불구하고, AV(21)는 위치(예컨대, 3 차원 좌표) 및 다양한 자유도(예컨대, 3 자유도)의 방향을 포함하는 포지션을 결정하기 위해 추적 장치(146)를 보는 데 사용될 수 있다. 기기(66)의 추적된 포지션은 다양한 목적을 위해 프로세싱 시스템(22)에 의해 사용될 수 있다.
예를 들어, 도 3에 도시된 바와 같이, 블록(244)에서 수행되는 기기 아이콘(66')은 하나 이상의 뷰스크린들(160, 162) 상에 디스플레이 되는 것과 같이 AV(21)와 함께 디스플레이될 수 있다. 뷰스크린들(160, 162)은 아이콘을 도시하는 부분을 위해 실질적으로 투명하게 저장될 수 있다. 원위 팁 아이콘(110') 및/또는 동작부(122')와 같은 아이콘(66') 및/또는 기기의 일부는 환자(14)에 대해 뷰스크린들(160, 162) 상에 도시될 수 있다. 사용자(12)는 이어서 뷰스크린들(160, 162)을 통해 환자(14) 및 아이콘을 볼 수 있다. 따라서, 사용자(12)는 환자(14)의 일부를 포함하여 환자(14)에 대한 기기(66)의 적어도 일부의 포지션을 볼 수 있다.
피사체 부분 아이콘의 디스플레이는 선택적으로 또는 대안으로 블록(248)에 디스플레이될 수 있다. 예를 들어, 도 3a 및/또는 도 3b에 도시된 바와 같이, 전두동(136') 아이콘이 디스플레이될 수 있다. 전두동 아이콘(136')은 기기 아이콘(66') 및 환자(14)에 대해 디스플레이될 수 있다. 따라서, 사용자(12)는 환자(14), 기기 아이콘(66') 및 전두동 아이콘(136')을 볼 수 있다. 환자(14) 상의 마커들(100)의 추적으로 인해, 기기(66)의 상대적 포지션은 기기 아이콘(66')과 함께 뷰스크린들(160, 162) 상에 디스플레이될 수 있다. 또한, 전두동(136)과 같은 피사체 부분의 상대적 포지션은 전술한 바와 같이 마커들(100)를 사용하여 환자에게 사전 획득된 이미지의 등록으로 인해 디스플레이될 수 있다.
다시, AV(21)가 마커들(100)로 인해 환자(14)를 추적할 수 있기 때문에, 도구(66) 및 전두동(136)과 같은 피사체 부분의 상대 포지션이 실질적으로 실시간으로 업데이트되어 뷰스크린들(160, 162) 상에 디스플레이될 수 있고, 피사체(14)와 함께 사용자(12)에 의해 보여진다. 사용자가 뷰스크린들(160, 162)을 통해 실시간과 물리적 공간으로 환자(14)를 볼 수 있는 동안, 기구 아이콘(66') 및 피사체 부분 아이콘(136')과 같은 아이콘이 뷰스크린들(160, 162) 상에 생성되어 디스플레이될 수 있다. 아이콘들은 사용자(12)에 의해 선택된 바와 같이 뷰스크린들(160, 162) 중 하나 또는 둘 모두에 표시될 수 있음이 이해된다.
위에서 논의된 바와 같이, 사용자(12)는 또한 선택적으로 블록(252)에서 실시간 이미지들을 디스플레이하도록 선택할 수 있다. 실시간 이미지들은 위에서 논의되고 숙련자에 의해 일반적으로 이해되는 바와 같이 내시경(137)으로 획득된 이미지들일 수 있다. 실시간 이미지들은 피사체(14)의 내부 표면과 같은 표면을 포함할 수 있다. 또한, 또는 이에 추가하여, 이미지들은 기기(66)의 원위 팁(110") 디스플레이와 같은 기기(66)의 디스플레이 또는 이미지들을 포함할 수 있다. 사용자(12)는 시야(21f) 또는 디스플레이 장치(20)와 같은 임의의 적절한 디스플레이 상에 보조 이미지(153)가 디스플레이 되도록 선택할 수 있다. 사용자(12)는 또한 보조 디스플레이(153)가 꺼지거나 디스플레이되지 않도록 선택하여, 사용자(12)가 피사체(14) 및 위에서 논의된 바와 같은 그래픽 표현 또는 아이콘들과 같은 선택된 증강 현실 부분만을 사용하도록 할 수 있다. 또한, 사용자(12)는 보조 디스플레이 영역(153)에 그래픽 표현들이 디스플레이 되도록 하고 시야(21f)에서 피사체(14)에 대해 중첩되거나 디스플레이된 실시간 이미지들이 디스플레이되도록 선택할 수 있다. 위에서 논의된 바와 같이, 내시경(137)으로 획득된 이미지는 피사체 및 환자 또는 피사체 추적기(64) 상의 선택된 기준 부분 및/또는 마커로 인해 피사체(14)에 대해 등록될 수 있다. 따라서, 사용자(12)는 기기(66)에 상대적인 아이콘, 선택된 부비강 또는 부분적으로 내부와 관련된 아이콘, 또는 미리 획득된 이미지(예: MRI 및/또는 CT 이미지), 내시경(137) 또는 기타 적절한 이미징 시스템을 사용하여 획득한 실시간 이미지를 볼 수 있다.
블록(262)에서, 피사체(14) 및 AV(21)로 인한 기기 아이콘(66') 및/또는 전두동 아이콘(136')과 같은 선택된 아이콘을 보고 시술이 수행될 수 있다. 또한 상악동 아이콘(134') 및/또는 스페노이드 부비강 아이콘(138')과 같은 다른 적절한 아이콘이 디스플레이될 수 있음을 이해해야 한다. 또한, 기기와 관련된 다양한 추적 장치로 인해 추가 기기 아이콘들이 디스플레이될 수도 있다. 추가의 상이한 기기는 AV(21)를 포함하여 디스플레이 장치 상에 아이콘을 디스플레이하기 전에 입력 및/또는 리콜될 수 있는 상이한 기하학적 구조를 가질 수 있다. 방법(210)은 다양한 스태킹(staunching) 및/또는 클로징(closing) 시술과 같은 다양한 다른 시술들을 포함하는 블록(272)에서 종료될 수 있다.
실시예는 본 개시가 철저할 것이며, 숙련자에게 그 범위를 완전히 전달할 수 있도록 제공된다. 본 개시의 실시예들의 철저한 이해를 제공하기 위해 특정 구성 요소들, 디바이스들 및 방법들의 예와 같은 다수의 특정 세부 사항들이 설명된다. 특정 세부 사항들이 이용될 필요가 없고, 예시적인 실시예들이 많은 다른 형태들로 구현될 수 있고 본 개시의 범위를 제한하도록 해석되어서는 안된다는 것이 숙련자에게 명백할 것이다. 일부 예시적인 실시예에서, 잘 알려진 프로세스, 잘 알려진 장치 구조 및 잘 알려진 기술은 상세히 설명되지 않는다.
실시예들의 전술 한 설명은 예시 및 설명의 목적으로 제공되었다. 본 개시를 철저하거나 제한하려는 것이 아니다. 특정 실시예의 개별 요소 또는 특징은 일반적으로 그 특정 실시예로 제한되지 않지만, 적용 가능한 경우, 구체적으로 도시되거나 설명되지 않더라도 상호 교환 가능하고 선택된 실시예에서 사용될 수 있다. 여러 방식으로 동일하게 변경될 수도 있다. 이러한 변형은 본 발명으로부터 벗어난 것으로 간주되지 않으며, 그러한 모든 변형은 본 발명의 범위 내에 포함되는 것으로 의도된다.

Claims (40)

  1. 피사체에 대한 수술을 수행할 때 피사체를 보기 위한 시스템으로서,
    사용자의 제1 눈 근처에 포지셔닝되도록 구성된 제1 뷰스크린;
    사용자의 제2 눈 근처에 포지셔닝되도록 구성된 제2 뷰스크린; 및
    제1 시야를 갖도록 구성된 적어도 제1 카메라를 갖는,
    뷰스크린 및 카메라 시스템;
    상기 제1 카메라로 볼 수 있는 기기에 고정 가능한 기기 추적 장치;
    상기 제1 카메라로 볼 수 있는 피사체 마커; 및
    (i) 상기 제1 카메라로부터의 제1 신호에 기반해 상기 피사체 마커에 대해 상기 기기 추적 장치의 상대적 포지션을 결정하고, (ii) 상기 제1 눈 또는 상기 제2 눈 중 적어도 하나에 보여지는 상기 제1 뷰스크린 또는 상기 제2 뷰스크린 중 적어도 하나에 디스플레이될 기기 표현을 생성하기 위해 명령을 실행하도록 구성된 프로세서 시스템을 포함하는, 시스템.
  2. 제1항에 있어서, 상기 뷰스크린 및 카메라 시스템은
    제2 시야를 갖도록 구성된 제2 카메라를 포함하고;
    상기 제2 카메라는;
    상기 프로세서 시스템이 (i) 상기 피사체 마커에 대해 상기 기기 추적 장치의 뷰에 관한 상기 제1 카메라로부터의 제1 신호와 상기 제2 카메라로부터의 제2 신호에 기반해 상기 피사체 마커에 대해 상기 기기 추적 장치의 상대적 포지션을 결정하기 위한 명령을 실행하기 위해 추가로 작동 가능하고;
    상기 뷰스크린 및 카메라 시스템은 사용자 착용가능한, 시스템.
  3. 제1항 또는 제2항에 있어서, 상기 기기 표현은 상기 제1 뷰스크린 및 상기 제2 뷰스크린 모두에 디스플레이될 때 상기 사용자에 의해 하나의 표현으로 보여지는, 시스템.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 기기 표현은 상기 피사체를 포함하는 상기 사용자의 시야에서 상기 기기의 일부로서 상기 사용자에게 나타나는, 시스템.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 피사체의 수술 영역의 적어도 일부의 이미지가 저장된 메모리를 더 포함하며;
    상기 이미지는 상기 피사체 마커를 나타내는 이미지 부분을 포함하고;
    상기 프로세서 시스템은 (i) 상기 수술 영역의 적어도 일부의 이미지를 등록하고 (ii) 상기 제1 뷰스크린 또는 상기 제2 뷰스크린 중 적어도 하나로 해부학적 표현을 디스플레이하기 위한 명령을 추가로 실행하고;
    상기 해부학적 표현은 상기 피사체에 대해 상기 사용자의 시야에 나타나도록 구성되는, 시스템.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 기기 표현 및 상기 해부학적 표현은 모두 상기 피사체에 대해 상기 사용자의 시야에 나타나도록 구성되는, 시스템.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 제1 시야와 상기 제2 시야는 중첩되는, 시스템.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 피사체에 대해 이동 가능하고 상기 기기 추적 장치에 연결 가능한 기기를 더 포함하는, 시스템.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 제1 뷰스크린 또는 상기 제2 뷰스크린은 실질적으로 투명하고 상기 사용자가 상기 피사체를 볼 수 있도록 구성되는, 시스템.
  10. 피사체에 대한 수술을 수행할 때 피사체를 보기 위한 시스템으로서,
    장착 구조물;
    사용자의 제1 눈 근처에 포지셔닝되고 상기 장착 구조물에 고정되도록 구성된 제1 뷰스크린; 및
    제1 시야를 갖도록 구성된 제1 카메라를 갖는,
    사용자의 제1 눈에 대해 유지되도록 구성된 착용가능 뷰스크린 및 카메라 시스템;
    상기 제1 카메라로 볼 수 있는 기기에 고정된 기기 추적 장치;
    상기 제1 카메라로 볼 수 있는 피사체 마커; 및
    (i) 상기 피사체 마커에 대해 상기 기기 추적 장치의 뷰에 관한 제1 카메라로부터의 제1 신호에 기반해, 상기 피사체 마커에 대해 상기 기기 추적 장치의 상대적 포지션을 결정하고, (ii) 상기 제1 눈에 보여지도록 상기 제1 뷰스크린에 디스플레이되는 기기 아이콘을 생성하기 위한 명령을 실행하도록 구성된 프로세서 시스템을 포함하는, 시스템.
  11. 제10항에 있어서, 상기 착용가능 뷰스크린 및 카메라는
    제2 시야를 갖도록 구성되고 상기 장착 구조물에 고정된 제2 카메라로서,
    상기 제1 시야는 상기 제2 시야와 다르고;
    상기 제1 카메라는 상기 장착 구조물에 고정되는 제2 카메라; 및
    상기 사용자의 제2 눈 근처에 포지셔닝되도록 구성된 제2 뷰스크린을 더 포함하는, 시스템.
  12. 제11항에 있어서, 상기 착용가능 뷰스크린 및 카메라는 상기 사용자가 상기 제1 뷰스크린 및 상기 제2 뷰스크린 모두를 통해 상기 피사체를 동시에 볼 수 있도록 구성되는, 시스템.
  13. 제11항에 있어서, 상기 착용가능 뷰스크린 및 카메라는 상기 사용자가 상기 피사체 및 상기 기기 아이콘 모두를 동시에 볼 수 있도록 구성되는, 시스템.
  14. 제13항에 있어서, 상기 프로세서 시스템은 (i) 상기 피사체의 미리 획득된 이미지 및 (ii) 상기 제1카메라 및 상기 제2카메라를 이용한 상기 피사체의 뷰를 등록하기 위한 추가 명령을 실행하도록 구성되고;
    사전 획득된 이미지의 적어도 일부가 상기 피사체에 등록된 상기 제1 뷰스크린 또는 상기 제2 뷰스크린 중 적어도 하나로 디스플레이되고;
    상기 기기 아이콘이 상기 제1 뷰스크린 또는 상기 제2 뷰스크린 중 적어도 하나에 미리 획득된 이미지의 적어도 일부에 대해 상기 기기의 결정된 포지션에 도시되는, 시스템.
  15. 피사체를 보기 위한 방법으로서,
    사용자의 제1 눈 근처에 포지셔닝되도록 구성된 제1 뷰스크린을 포지셔닝하는 단계;
    상기 사용자의 제2 눈 근처에 포지셔닝되도록 구성된 제2 뷰스크린을 포지셔닝하는 단계;
    상기 제1 뷰스크린 및 상기 제2 뷰스크린에 대해 제1 시야를 갖도록 구성된 적어도 제1 카메라 또는 제2 시야를 갖도록 구성된 제2 카메라를 고정하는 단계;
    적어도 제1 카메라 또는 제2 카메라의 시야에서 기기에 고정된 기기 추적 장치를 배치하는 단계;
    적어도 상기 제1 카메라 또는 상기 제2 카메라로 볼 수 있도록 피사체 마커를 배치하는 단계; 및
    (i) 상기 피사체 마커에 대해 상기 기기 추적 장치의 뷰에 관한 상기 제1 카메라로부터의 제1 신호 또는 상기 제2 카메라로부터의 제2 신호에 기반해 상기 피사체 마커에 대해 상기 기기 추적 장치의 상대적 포지션을 결정하고, (ii) 상기 제1 눈 또는 상기 제2 눈 중 적어도 하나에 의해 보여지도록 상기 제1 뷰스크린 또는 상기 제2 뷰스크린 중 적어도 하나에 디스플레이되는 기기 아이콘을 생성하기 위해 명령을 실행하도록 프로세서 시스템을 동작시키는 단계를 포함하는, 방법.
  16. 제15항에 있어서,
    상기 피사체에 대해 포지셔닝되도록 구성된 단(end)을 갖도록 상기 기기를 제공하는 단계를 더 포함하는, 방법.
  17. 제16항에 있어서,
    상기 기기 추적 장치에 대한 상기 작동 단의 포지션을 메모리 시스템으로부터 리콜하기 위한 명령을 실행하도록 프로세서 시스템을 동작시키는 단계를 더 포함하는, 방법.
  18. 제17항에 있어서,
    상기 사용자가 상기 피사체와 상기 기기 아이콘을 동시에 볼 수 있도록 상기 제1 뷰스크린 또는 상기 제2 뷰스크린 중 적어도 하나를 구성하는 단계를 더 포함하는, 방법.
  19. 제18항에 있어서,
    상기 사용자가 상기 피사체와 상기 기기 아이콘을 동시에 볼 수 있으면서 상기 피사체에 대해 이동하도록 상기 기기를 구성하는 단계를 더 포함하는, 방법.
  20. 제19항에 있어서,
    상기 피사체와 상기 기기 아이콘을 동시에 보면서 시술을 수행하는 단계를 더 포함하는, 방법.
  21. 상기 피사체에 대한 수술을 수행할 때 피사체를 보기 위한 시스템으로서,
    사용자를 위한 시야 이미지를 생성하도록 구성된 뷰스크린;
    상기 피사체의 적어도 일부를 포함하기 위해 움직이도록 동작 가능한 제1 시야를 갖는 제1 카메라를 갖는,
    사용자 착용가능 뷰스크린 및 카메라 시스템;
    상기 피사체의 이미지를 생성하도록 동작 가능한 상기 사용자 착용가능 뷰스크린 및 카메라 시스템과 분리된 이미징 시스템; 및
    (i) 상기 이미징 시스템 및 상기 생성된 이미지의 포지션을 결정하고, (ii) 상기 생성된 이미지를 상기 뷰스크린에 디스플레이하기 위한 명령을 실행하도록 구성된 프로세서 시스템을 포함하는, 시스템.
  22. 제21항에 있어서, 상기 사용자 착용가능 뷰스크린 및 카메라 시스템의 뷰스크린은
    사용자의 제1 눈 근처에 포지셔닝되도록 구성된 제1 뷰스크린;
    사용자의 제2 눈 근처에 포지셔닝되도록 구성된 제2 뷰스크린을 더 포함하는, 시스템.
  23. 제21항 또는 제22항에 있어서, 상기 사용자 착용가능 뷰스크린 및 카메라 시스템은
    제2 시야를 갖도록 구성된 제2 카메라를 더 포함하는, 시스템.
  24. 제21항 내지 제23항 중 어느 한 항에 있어서,
    상기 피사체에 수술을 수행하기 위한 수술 영역에 포지셔닝되도록 구성된 작동 단을 갖는 기기; 및
    상기 제1 카메라 및 상기 제2 카메라로 볼 수 있는 상기 기기에 고정된 기기 추적 장치를 더 포함하는, 시스템.
  25. 제24항에 있어서, 상기 프로세서 시스템은 (i) 상기 피사체 마커에 대해 상기 기기 추적 장치의 뷰에 관한 상기 제1 카메라로부터의 제1 신호 및 상기 제2 카메라로부터의 제2 신호에 기반해 상기 피사체 마커에 대해 상기 기기 추적 장치의 상대적 포지션을 결정하고, (ii) 상기 제1 눈 또는 상기 제2 눈 중 적어도 하나에 의해 보여지는 상기 제1 뷰스크린 또는 상기 제2 뷰스크린 중 적어도 하나에 디스플레이될 기기 아이콘을 생성하기 위한 명령을 실행하도록 추가로 동작 가능한, 시스템.
  26. 제24항에 있어서,
    피사체 마커; 및
    상기 기기 추적 장치, 상기 이미징 시스템 및 상기 피사체 마커를 추적하도록 구성된 추적 시스템을 더 포함하는, 시스템.
  27. 제26항에 있어서, 상기 뷰스크린은 상기 기기의 추적된 포지션 및 상기 생성된 이미지에서 실질적으로 동시에 기기 표현을 디스플레이하도록 동작 가능한, 시스템.
  28. 제27항에 있어서,
    상기 피사체의 수술 영역의 적어도 일부의 이미지가 저장된 메모리를 더 포함하며;
    상기 이미지는 상기 피사체 마커를 나타내는 이미지 부분을 포함하고;
    상기 프로세서 시스템은 (i) 상기 수술 영역의 적어도 일부의 이미지를 등록하고, (ii) 상기 제1 뷰스크린 또는 상기 제2 뷰스크린 중 적어도 하나로 해부학 아이콘을 디스플레이하기 위한 추가 명령을 실행하며,
    상기 해부학 아이콘은 상기 피사체에 대해 사용자의 시야에 나타나도록 구성되는, 시스템.
  29. 제28항에 있어서, 상기 기기 아이콘 및 상기 해부학 아이콘은 모두 상기 피사체에 대해 상기 사용자의 시야에 나타나도록 구성되는, 시스템.
  30. 피사체에 대한 수술을 수행할 때 상기 피사체를 보기 위한 시스템으로서,
    상기 피사체의 이미지들을 획득하도록 동작 가능한 제1 실시간 이미지 캡처링 시스템;
    사용자의 제1 눈 근처에 포지셔닝되도록 구성된 제1 뷰스크린;
    제1 시야를 갖도록 구성된 제2 실시간 이미지 캡처링 시스템을 갖는,
    뷰스크린 및 카메라 시스템;
    상기 제2 실시간 이미지 캡처링 시스템으로 볼 수 있는 기기에 고정할 수 있는 기기 추적 장치;
    상기 제2 실시간 이미지 캡처링 시스템으로 볼 수 있는 피사체 마커;
    적어도 상기 제1 실시간 이미지 캡처링 시스템 및 피사체 추적 장치를 추적하도록 구성된 추적 시스템;
    상기 뷰스크린 및 카메라 시스템으로부터 분리된 보조 디스플레이 장치 -상기 보조 디스플레이 장치는 상기 제1 뷰스크린에서 분리되어 단독으로 볼 수 있음 -;
    (i) 상기 제2 실시간 이미지 캡처링 시스템으로부터의 제1 신호에 기반해 상기 피사체 마커에 대해 상기 기기 추적 장치의 상대적 포지션을 결정하고, (ii) 적어도 상기 보조 디스플레이 장치로 디스플레이될 기기 표현을 생성하기 위한 명령을 실행하도록 구성된 프로세서 시스템을 포함하는, 시스템.
  31. 제30항에 있어서, 상기 피사체 마커 및 상기 피사체 추적 장치는 단일 장치에 통합되는, 시스템.
  32. 제30항 또는 제31항에 있어서, 상기 프로세서 시스템은
    상기 제1 실시간 이미지 캡처링 시스템의 추적된 포지션 및 상기 피사체의 추적된 포지션을 등록하고; 그리고
    적어도 상기 보조 디스플레이 장치로 디스플레이되는 상기 제1 실시간 이미지 캡처링 시스템의 표현을 생성하기 위한 명령을 실행하도록 추가로 구성되는, 시스템.
  33. 제30항 내지 제32항 중 어느 한 항에 있어서, 상기 제1 실시간 이미지 캡처링 시스템은 상기 피사체 내에서 움직이도록 구성되고; 그리고
    적어도 하나의 상기 보조 디스플레이 장치는 상기 획득된 이미지를 디스플레이하도록 동작 가능한, 시스템.
  34. 제30항 내지 제33항 중 어느 한 항에 있어서, 상기 제1 실시간 이미지 캡처링 시스템은 상기 피사체 내에서 움직이도록 구성되고; 그리고
    상기 제1 뷰스크린 또는 상기 제2 뷰스크린 중 적어도 하나는 상기 획득된 이미지를 디스플레이하도록 동작 가능한, 시스템.
  35. 제33항에 있어서, 상기 디스플레이된 획득된 이미지는 개별적으로 디스플레이되고 상기 생성된 기기 표현으로부터 이격되는, 시스템.
  36. 제34항에 있어서,
    상기 획득된 이미지의 디스플레이를 켜고 끄기 위한 사용자 입력을 더 포함하는, 시스템.
  37. 제30항 내지 제36항 중 어느 한 항에 있어서,
    뷰스크린 및 카메라 추적 장치를 더 포함하고;
    상기 프로세서 시스템은 상기 뷰스크린 및 카메라 시스템 추적 장치의 참조 프레임과 상기 피사체의 추적된 포지션의 참조 프레임을 등록하기 위한 명령을 실행하도록 추가적으로 구성되고;
    상기 보조 디스플레이 장치의 디스플레이는 상기 뷰스크린 및 카메라 시스템 추적 장치의 추적된 포지션을 적어도 일부 기반으로 하는, 시스템.
  38. 피사체를 보기 위한 방법으로서,
    피사체의 실시간 이미지를 캡처하기 위해 상기 피사체에 대해 제1 이미지 캡처링 시스템을 포지셔닝하는 단계;
    사용자의 제1 눈 근처에 제1 뷰스크린을 포지셔닝하는 단계;
    상기 사용자의 제2 눈 근처에 제2 뷰스크린을 포지셔닝하는 단계;
    상기 제1 뷰스크린 및 상기 제2 스크린에 대해 적어도 제1 시야를 갖도록 구성된 제1 카메라 또는 제2 시야를 갖도록 구성된 제2 카메라를 고정하는 단계;
    (i) 상기 제1 눈 또는 상기 제2 눈 중 적어도 하나에 의해 보여질 상기 제1 뷰스크린 또는 상기 제2 뷰스크린 중 적어도 하나에 디스플레이될 기기 아이콘을 생성하고, (ii) 상기 제1 눈 또는 상기 제2 눈 중 적어도 하나에 의해 보여질 상기 제1 뷰스크린 또는 상기 제2 뷰스크린 중 적어도 하나에 적어도 하나의 캡처된 실시간 이미지를 디스플레이하기 위한 명령을 실행하도록 프로세서 시스템을 작동하는 단계를 포함하는, 방법.
  39. 제38항에 있어서,
    적어도 제1 카메라 또는 제2 카메라의 시야에 기기에 고정된 기기 추적 장치를 배치하는 단계;
    적어도 상기 제1 카메라 또는 제2 카메라로 볼 수 있도록 피사체 마커를 배치하는 단계; 및
    (i) 상기 피사체 마커에 대해 상기 기기 추적 장치의 뷰에 관한 상기 제1 카메라로부터의 제1신호 또는 상기 제2 카메라로부터의 제2신호에 기반해 상기 피사체 마커에 대해 상기 기기 추적 장치의 상대적 포지션을 결정하기 위한 명령을 추가로 실행하도록 상기 프로세서 시스템을 동작하는 단계를 더 포함하는, 방법.
  40. 제39항에 있어서,
    상기 피사체, 상기 기기 아이콘 또는 상기 캡처된 실시간 이미지 중 적어도 2개를 동시에 보면서 시술을 수행하는 단계를 더 포함하는, 방법.
KR1020207019058A 2017-12-07 2018-12-06 시술 중 시각화를 지원하는 시스템 및 방법 KR20200097747A (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762595822P 2017-12-07 2017-12-07
US62/595,822 2017-12-07
US16/210,669 2018-12-05
US16/210,647 US11944272B2 (en) 2017-12-07 2018-12-05 System and method for assisting visualization during a procedure
US16/210,669 US20190175059A1 (en) 2017-12-07 2018-12-05 System and Method for Assisting Visualization During a Procedure
US16/210,647 2018-12-05
PCT/US2018/064280 WO2019113334A1 (en) 2017-12-07 2018-12-06 System and method for assisting visualization during a procedure

Publications (1)

Publication Number Publication Date
KR20200097747A true KR20200097747A (ko) 2020-08-19

Family

ID=66734354

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207019058A KR20200097747A (ko) 2017-12-07 2018-12-06 시술 중 시각화를 지원하는 시스템 및 방법

Country Status (8)

Country Link
US (2) US20190175059A1 (ko)
EP (1) EP3720334A1 (ko)
JP (1) JP2021505226A (ko)
KR (1) KR20200097747A (ko)
CN (1) CN111356395A (ko)
AU (1) AU2018378696A1 (ko)
CA (1) CA3084998A1 (ko)
WO (1) WO2019113334A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US11058497B2 (en) * 2017-12-26 2021-07-13 Biosense Webster (Israel) Ltd. Use of augmented reality to assist navigation during medical procedures
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
JP7112471B2 (ja) * 2019-12-10 2022-08-03 グローバス メディカル インコーポレイティッド ナビゲートされるロボット外科手術のための変動する不透明性を有する拡張現実ヘッドセット
EP4093275A4 (en) * 2020-01-24 2024-01-24 Memorial Sloan Kettering Cancer Center INTRAOPERATIVE 2D/3D IMAGING PLATFORM
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11607277B2 (en) * 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US20230248441A1 (en) * 2020-06-29 2023-08-10 Regents Of The University Of Minnesota Extended-reality visualization of endovascular navigation
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4395731A (en) 1981-10-16 1983-07-26 Arnold Schoolman Television microscope surgical method and apparatus therefor
US6140980A (en) 1992-03-13 2000-10-31 Kopin Corporation Head-mounted display system
US7343195B2 (en) 1999-05-18 2008-03-11 Mediguide Ltd. Method and apparatus for real time quantitative three-dimensional image reconstruction of a moving organ and intra-body navigation
US8644907B2 (en) 1999-10-28 2014-02-04 Medtronic Navigaton, Inc. Method and apparatus for surgical navigation
US6891518B2 (en) 2000-10-05 2005-05-10 Siemens Corporate Research, Inc. Augmented reality visualization device
WO2002100284A1 (en) 2001-06-13 2002-12-19 Volume Interactions Pte Ltd A guide system
US6947786B2 (en) * 2002-02-28 2005-09-20 Surgical Navigation Technologies, Inc. Method and apparatus for perspective inversion
US8010180B2 (en) 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
ATE304320T1 (de) 2002-03-13 2005-09-15 Breakaway Imaging Llc Systeme und verfahren für die quasi-gleichzeitige multiplanare röntgendarstellung
EP2915488B1 (en) 2002-03-19 2019-06-05 Medtronic Navigation, Inc. Computer tomography with a detector following the movement of a pivotable x-ray source
DE60315642T2 (de) 2002-06-11 2008-06-05 Breakaway Imaging, LLC, Littleton Freitragende gantry-vorrichtung zur bildgebung mittels röntgenstrahlen
US6901941B2 (en) 2002-07-10 2005-06-07 Air Products And Chemicals, Inc. Vessel with optimized purge gas flow and method using same
AU2003262726A1 (en) 2002-08-21 2004-03-11 Breakaway Imaging, Llc Apparatus and method for reconstruction of volumetric images in a divergent scanning computed tomography system
US7835778B2 (en) 2003-10-16 2010-11-16 Medtronic Navigation, Inc. Method and apparatus for surgical navigation of a multiple piece construct for implantation
EP1739642B1 (en) 2004-03-26 2017-05-24 Atsushi Takahashi 3d entity digital magnifying glass system having 3d visual instruction function
US20050228270A1 (en) 2004-04-02 2005-10-13 Lloyd Charles F Method and system for geometric distortion free tracking of 3-dimensional objects from 2-dimensional measurements
US7376903B2 (en) * 2004-06-29 2008-05-20 Ge Medical Systems Information Technologies 3D display system and method
US8073528B2 (en) 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US8320612B2 (en) 2005-06-09 2012-11-27 Naviswiss Ag System and method for the contactless determination and measurement of a spatial position and/or a spatial orientation of bodies, method for the calibration and testing, in particular, medical tools as well as patterns or structures on, in particular, medical tools
US8060186B2 (en) 2007-02-15 2011-11-15 Siemens Aktiengesellschaft System and method for intraoperative guidance of stent placement during endovascular interventions
US8600478B2 (en) 2007-02-19 2013-12-03 Medtronic Navigation, Inc. Automatic identification of instruments used with a surgical navigation system
US9089256B2 (en) * 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US9889299B2 (en) 2008-10-01 2018-02-13 Inspire Medical Systems, Inc. Transvenous method of treating sleep apnea
US9737235B2 (en) 2009-03-09 2017-08-22 Medtronic Navigation, Inc. System and method for image-guided navigation
US9486628B2 (en) 2009-03-31 2016-11-08 Inspire Medical Systems, Inc. Percutaneous access for systems and methods of treating sleep apnea
US8238631B2 (en) 2009-05-13 2012-08-07 Medtronic Navigation, Inc. System and method for automatic registration between an image and a subject
US8467133B2 (en) * 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
WO2011134083A1 (en) 2010-04-28 2011-11-03 Ryerson University System and methods for intraoperative guidance feedback
US8842893B2 (en) 2010-04-30 2014-09-23 Medtronic Navigation, Inc. Method and apparatus for image-based navigation
US20120316486A1 (en) * 2010-08-20 2012-12-13 Andrew Cheung Surgical Component Navigation Systems And Methods
US9807860B2 (en) 2010-10-20 2017-10-31 Medtronic Navigation, Inc. Gated image acquisition and patient model construction
US9769912B2 (en) 2010-10-20 2017-09-19 Medtronic Navigation, Inc. Gated image acquisition and patient model construction
US20120099768A1 (en) 2010-10-20 2012-04-26 Medtronic Navigation, Inc. Method and Apparatus for Reconstructing Image Projections
US8768029B2 (en) 2010-10-20 2014-07-01 Medtronic Navigation, Inc. Selected image acquisition technique to optimize patient model construction
EP2647210A4 (en) 2010-12-02 2014-04-16 Ultradent Products Inc SYSTEM AND METHOD FOR VISUALIZING AND TRACKING STEREOSCOPIC VIDEO IMAGES
US8562211B2 (en) 2011-03-30 2013-10-22 Medtronic Navigation, Inc. System and method for off-center imaging
US9411057B2 (en) 2011-04-01 2016-08-09 Medtronic Navigation, Inc. X-ray imaging system and method
EP2755591B1 (en) * 2011-09-16 2020-11-18 Auris Health, Inc. System for displaying an image of a patient anatomy on a movable display
US8891847B2 (en) 2012-01-23 2014-11-18 Medtronic Navigation, Inc. Automatic implant detection from image artifacts
WO2013116240A1 (en) 2012-01-30 2013-08-08 Inneroptic Technology, Inc. Multiple medical device guidance
CN108095761B (zh) 2012-03-07 2021-10-15 齐特奥股份有限公司 空间对准设备、空间对准***及用于指导医疗过程的方法
US20130267833A1 (en) 2012-04-09 2013-10-10 General Electric Company, A New York Corporation Automatic instrument detection for surgical navigation
JP6017198B2 (ja) 2012-06-28 2016-10-26 オリンパス株式会社 内視鏡装置およびプログラム
US9192445B2 (en) 2012-12-13 2015-11-24 Mako Surgical Corp. Registration and navigation using a three-dimensional tracking sensor
US9710968B2 (en) 2012-12-26 2017-07-18 Help Lightning, Inc. System and method for role-switching in multi-reality environments
US20140221819A1 (en) 2013-02-01 2014-08-07 David SARMENT Apparatus, system and method for surgical navigation
US9916691B2 (en) 2013-02-14 2018-03-13 Seiko Epson Corporation Head mounted display and control method for head mounted display
US9717442B2 (en) 2013-03-15 2017-08-01 Medtronic Navigation, Inc. Method and system for navigating an instrument
US10447947B2 (en) 2013-10-25 2019-10-15 The University Of Akron Multipurpose imaging and display system
EP3107476B1 (en) 2014-02-21 2024-04-24 The University of Akron Imaging and display system for guiding medical interventions
WO2015145395A1 (en) * 2014-03-28 2015-10-01 Alma Mater Studiorum - Universita' Di Bologna Augmented reality glasses for medical applications and corresponding augmented reality system
DE102014206004A1 (de) 2014-03-31 2015-10-01 Siemens Aktiengesellschaft Triangulationsbasierte Tiefen- und Oberflächen-Visualisierung
US10639104B1 (en) 2014-11-07 2020-05-05 Verily Life Sciences Llc Surgery guidance system
US10702353B2 (en) 2014-12-05 2020-07-07 Camplex, Inc. Surgical visualizations systems and displays
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US20160242623A1 (en) 2015-02-20 2016-08-25 Cefla Societá Cooperativa Apparatus and method for visualizing data and images and for controlling a medical device through a wearable electronic device
JP2016158911A (ja) 2015-03-03 2016-09-05 株式会社クレッセント 画像表示装置を使った外科手術方法及び、その外科手術に用いる装置
US20160324580A1 (en) * 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
WO2016162789A2 (en) 2015-04-07 2016-10-13 King Abdullah University Of Science And Technology Method, apparatus, and system for utilizing augmented reality to improve surgery
US10390890B2 (en) 2015-07-27 2019-08-27 Synaptive Medical (Barbados) Inc. Navigational feedback for intraoperative waypoint
US9675319B1 (en) * 2016-02-17 2017-06-13 Inneroptic Technology, Inc. Loupe display
JP2017164007A (ja) * 2016-03-14 2017-09-21 ソニー株式会社 医療用画像処理装置、医療用画像処理方法、プログラム
US20180049622A1 (en) * 2016-08-16 2018-02-22 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
US11839433B2 (en) 2016-09-22 2023-12-12 Medtronic Navigation, Inc. System for guided procedures
US20180092698A1 (en) * 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use

Also Published As

Publication number Publication date
US20190175058A1 (en) 2019-06-13
WO2019113334A1 (en) 2019-06-13
EP3720334A1 (en) 2020-10-14
AU2018378696A1 (en) 2020-05-07
CN111356395A (zh) 2020-06-30
US20190175059A1 (en) 2019-06-13
US11944272B2 (en) 2024-04-02
JP2021505226A (ja) 2021-02-18
CA3084998A1 (en) 2019-06-13

Similar Documents

Publication Publication Date Title
US11944272B2 (en) System and method for assisting visualization during a procedure
US10594998B1 (en) Augmented reality guidance for spinal procedures using stereoscopic optical see-through head mounted displays and surface representations
CN109996511B (zh) 用于引导进程的***
US11883118B2 (en) Using augmented reality in surgical navigation
US20170296292A1 (en) Systems and Methods for Surgical Imaging
US10567660B2 (en) Overlay of anatomical information in a microscope image
EP3395282B1 (en) Endoscopic view of invasive procedures in narrow passages
EP1011424A1 (en) Imaging device and method
US20230120638A1 (en) Augmented reality soft tissue biopsy and surgery system
US20220022964A1 (en) System for displaying an augmented reality and method for generating an augmented reality
US11941765B2 (en) Representation apparatus for displaying a graphical representation of an augmented reality
WO2019238851A1 (en) Registration of an anatomical body part by detecting a finger pose
US20240122650A1 (en) Virtual trajectory planning
EP3917430B1 (en) Virtual trajectory planning
US20220409283A1 (en) Presentation device for displaying a graphical presentation of an augmented reality
CN115176283A (zh) 增强现实定位医学视图