JP6751456B2 - ロボット外科手術システムで使用するための拡張現実ナビゲーションシステムおよびその使用方法 - Google Patents

ロボット外科手術システムで使用するための拡張現実ナビゲーションシステムおよびその使用方法 Download PDF

Info

Publication number
JP6751456B2
JP6751456B2 JP2019025356A JP2019025356A JP6751456B2 JP 6751456 B2 JP6751456 B2 JP 6751456B2 JP 2019025356 A JP2019025356 A JP 2019025356A JP 2019025356 A JP2019025356 A JP 2019025356A JP 6751456 B2 JP6751456 B2 JP 6751456B2
Authority
JP
Japan
Prior art keywords
augmented reality
navigation system
detector
reality navigation
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019025356A
Other languages
English (en)
Other versions
JP2019177134A (ja
Inventor
ジョンソン ノーバート
ジョンソン ノーバート
フォーサイス ジェフリー
フォーサイス ジェフリー
クロフォード ニール
クロフォード ニール
ジョシ サンジェイ
ジョシ サンジェイ
アル ジェワド ベッサム
アル ジェワド ベッサム
ヒーリー ウェストン
ヒーリー ウェストン
ラス クリスティン
ラス クリスティン
ジョーンズ ケン
ジョーンズ ケン
Original Assignee
グローバス メディカル インコーポレイティッド
グローバス メディカル インコーポレイティッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by グローバス メディカル インコーポレイティッド, グローバス メディカル インコーポレイティッド filed Critical グローバス メディカル インコーポレイティッド
Publication of JP2019177134A publication Critical patent/JP2019177134A/ja
Application granted granted Critical
Publication of JP6751456B2 publication Critical patent/JP6751456B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2074—Interface software
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/258—User interfaces for surgical systems providing specific settings for specific users
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3616—Magnifying glass
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/03—Automatic limiting or abutting means, e.g. for safety

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Pathology (AREA)
  • Urology & Nephrology (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • Manipulator (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、一般的に、ロボット外科手術システムと併用するための拡張現実システムおよびその使用方法に関連する。
ロボット外科手術システムは、処置の精密かつ正確な実施にあたり外科医を補助するために、多くの外科手術で使用されている。これらの処置は、一つ以上のインプラントの精密な配置を必要とし、低侵襲的な技術を使用して実施されうることが頻繁にある。ロボット外科手術システムは、インプラントを配置し、その間にそれらの意図されたアライメントを維持するにあたり、外科医を補助する事前にまたは術中に計画された軌道に従う。外科手術環境全体を通して配置されたナビゲーションマーカーは、ロボットを事前にまたは術中に計画された軌道に適切に配向させるために、環境（例えば、患者の解剖学的構造）をロボット外科手術システムと共に登録するために使用される。さらに、医療画像データをロボット外科手術システムに登録して、ナビゲーションで使用するための患者の解剖学的構造モデルを提供することができる。
外科医は処置中に、固定された表示装置（例えば、ロボット外科手術システムに取り付けられたり、またはその横に置かれたりする）を使用して、軌道の計画やモニタリングをするほか、ロボット外科手術システムおよび患者の解剖学的構造のステータスをモニタリングする。こうした固定された表示装置は、処置中にロボット外科手術システムのナビゲーションやモニタリングをするための主要機構である。これは、患者の解剖学的構造が手術部位の直接視界を塞ぐ低侵襲的処置に特に当てはまる。しかしながら、固定された表示装置には、外科医が画面上に表示されるナビゲーション情報を得るために、操作中の手術部位および／または手術用器具から目をそらすことが必要とされる。さらに、表示画面は、外科医の外科手術環境の一部についての外科医の視界を物理的に遮りかねない。
米国特許出願公開第２００５／０２０３３８０号明細書
外科医が目をそらす必要性を低減する一方で、外科手術環境についての視界を遮らないような、ロボット外科手術システムからナビゲーション情報を表示するためのシステムおよび方法に対するニーズがある。本開示は、とりわけ、外科医の注意散漫を低減するロボット外科手術システムナビゲーションのシステムおよび方法のニーズに対処する、拡張現実ナビゲーションシステムおよびその使用方法を対象とする。本明細書に開示される拡張現実ナビゲーションシステムにより、外科医は手術部位および／または外科手術で使用中の手術用器具への集中を維持しつつ、処置に関連する広範囲にわたるナビゲーション情報を取得することができる。ナビゲーション情報には、医療画像データから得られた患者の解剖学的構造モデル、手術用器具またはロボット外科手術システムの軌道もしくは位置、または外科用インプラントの位置および配向が含まれるが、これらに限定されない。ナビゲーション情報は、ロボット外科手術システムからのナビゲーション入力データとして、拡張現実ナビゲーションシステムに送信することができる。ナビゲーション情報は、処置中に外科医の自然な視野内にある仮想ディスプレイ上に提示されているかのように、拡張現実ナビゲーションシステムに表示されうる。ナビゲーション情報は、患者の解剖学的構造上に重ね合わせて表示することもできる。ナビゲーション情報は、そうでなければ外科医の自然な視野内に見えない情報、例えば、患者の解剖学的構造によって遮られた手術用器具の軌道および／またはその部分などを含むことができる。
拡張現実ナビゲーションシステムは、少なくとも部分的に透明な表示画面を含む頭部装着型ディスプレイと、現実世界の特徴を識別するために頭部装着型ディスプレイに接続された少なくとも一つの検出器と、コンピュータサブシステムとを備える。表示画面は、外科医にナビゲーション情報を提供する、例えばナビゲーション拡張グラフィックなどの、拡張グラフィックを表示する。ナビゲーション拡張グラフィックは、外科医の視野内に別個の表示として、または患者の解剖学的構造の上に重ね合わされて表示されうる。少なくとも一つの検出器は、現実世界の特徴を識別し、ここで実際の特徴は、例えば、画像認識方法を介して認識されるフィデューシャルおよび／または患者の解剖学的構造でもよい。このように、頭部装着型ディスプレイに取り付けられた少なくとも一つの検出器は、外科手術環境に追加の機器を必要とすることなく、外科手術中に使用される典型的なナビゲーションシステムの検出器としての役目を果たす（例えば、患者の解剖学的構造およびロボット外科手術システムを登録するために使用されうる）。コンピュータサブシステムは、例えば、軌道の計画および実行を含む処置中に、外科医にとって有用な様々なナビゲーションタスクを実行するように構成されうる。拡張現実ナビゲーションシステムを着用する外科医の頭部の動きを検出するために、動きセンサーを随意に含めて、追加的な機能および／または性能（例えば、選択入力手段またはドリフト補正など）を提供することができる。
特定の実施形態では、拡張現実ナビゲーションシステムは、現在のロボット外科手術システムで一般的に使用されるものなど、補助ナビゲーションサブシステムの必要性を排除する。拡張現実ナビゲーションシステム内の少なくとも一つの検出器は、ロボット外科手術システムに、また随意に、医療画像データから得られた一つ以上の患者解剖学的構造モデルに、患者を適切に登録するのに十分な数量および解像度で、現実世界の特徴（例えば、フィデューシャル）を検出する。したがって、拡張現実ナビゲーションシステムは、追加的な機器を必要としないスタンドアロンシステムとして機能する。ところが、特定の実施形態では、補助検出器は、拡張現実ナビゲーションシステムと併せて使用される。補助検出器は、より大きな登録フィールド、登録の解像度の向上、および／または冗長性を提供しうる。
一態様において、本発明は、ロボット外科手術システムと併用するための拡張現実ナビゲーションシステムを対象とし、システムは、ユーザーの自然な視野の少なくとも一部分上に重ね合わせて表示される、拡張グラフィック（例えば、やや不透明の画像）（例えば、ナビゲーション拡張グラフィック）をユーザーに表示するように構成された少なくとも部分的に透明な表示画面を備えた、頭部装着型ディスプレイと、現実世界の特徴を識別するための少なくとも一つの検出器であって、少なくとも一つの検出器が頭部装着型ディスプレイに接続されているもの［例えば、そこで少なくとも一つの検出器は、光学カメラ（例えば、ビデオカメラ）、ＥＭＦ検出器、ＬｉＤＡＲ検出器、音響検出器、およびＲＦ検出器のうち少なくとも一つを含む］［例えば、そこで現実世界の特徴はフィデューシャルおよび／または特定された患者の解剖学的構造を含む（例えば、そこで現実世界の特徴は、患者、手術用器具、およびロボット外科手術システム（例えば、ロボットアーム、ロボットアームの一部、および／またはロボットアームのエンドエフェクター）のうち少なくとも一つに接続されたフィデューシャルである）］と、コンピューティング装置のプロセッサと、非一時的コンピュータ可読媒体であって、それ上に命令が格納されている者を備える。その命令は、プロセッサによって実行される時に、プロセッサにより、少なくとも一つの検出器からの検出器入力信号（ここで検出器入力信号は少なくとも一つの検出器の視野に対応し、また視野が外科手術中の患者の解剖学的構造の少なくとも一部分を含む）を受信する処理と、プロセッサにより、検出器入力信号中にある一つ以上の現実世界の特徴のそれぞれについての相対位置および／または配向を決定する処理と、プロセッサにより、手術用器具の少なくとも一部分および／または手術用器具の軌道の描写（ここで手術用器具はロボット外科手術システムに挿入されるか、またはロボット外科手術システムに接続される）（例えば、ここで手術用器具の一部分は（例えば、患者内部にあって）ユーザーの自然な視野内には見えない）を生成し、および／またはそれにアクセスする処理と、プロセッサにより、一つ以上の現実世界の特徴の相対位置および／または配向に基づき、表現の少なくとも一部分を修正（例えば、回転、拡大縮小、および並進のうち少なくとも一つ）して、それによって更新された表現を形成する処理と、プロセッサにより、更新された表現に基づき、手術用器具拡張グラフィックをレンダリングする処理と、プロセッサにより、表示画面上（例えば、頭部装着型ディスプレイの少なくとも部分的に透明な表示画面を介して、手術用器具拡張グラフィックをユーザーの自然な視野の少なくとも一部分に重ね合わせて表示）に手術用器具拡張グラフィックを表示する処理を、プロセッサに実行させる。
一部の実施形態では、命令は、プロセッサにより、複数の手術用器具の軌道（例えば、計画された手術用器具の軌道）のそれぞれについて手術用器具拡張グラフィックをレンダリングする処理と、手術用器具拡張グラフィックが患者の解剖学的構造上に重ね合わせて表示され、それぞれの軌道拡張グラフィクスが外科手術中に従うことができる物理的軌道を示すように、表示画面上に、プロセッサにより、複数の手術用器具拡張グラフィックを表示させる処理を、プロセッサに実行させる。
一部の実施形態では、命令は、プロセッサにより、検出された入力信号から、少なくとも一つの現実世界の特徴のそれぞれについての相対位置および／または配向を決定する処理と、プロセッサにより、（例えば、回転、拡大縮小、および並進のうち少なくとも一つにより、）検出された入力信号から決定された相対位置および／または配向に基づき、患者の解剖学的モデル（例えば、３Ｄモデル）を修正して、それによって更新された解剖学的モデル（例えば、患者の解剖学的構造に登録されるもの）を形成する処理と、プロセッサにより、更新された解剖学的モデルに少なくとも部分的に基づき、解剖学的モデル拡張グラフィックをレンダリングする処理と、プロセッサにより、更新された解剖学的モデルが患者の解剖学的構造上に重ね合わされて表示されるように、解剖学的モデル拡張グラフィックを表示画面上に表示する処理と、をプロセッサに実行させる。
一部の実施形態では、拡張現実ナビゲーションシステムは、頭部装着型ディスプレイの測定された動きに基づいて動き信号を出力するための頭部装着型ディスプレイに接続された動きセンサー（例えば、慣性動作ユニット（ＩＭＵ））を備え、命令は、プロセッサにより、動きセンサーによって検出された動きに基づいて、検出器入力信号内の決定された現実世界の特徴の相対位置および配向を更新する処理と、プロセッサにより、更新された相対位置および配向に基づいて、手術用器具拡張グラフィックを更新する処理と、をプロセッサに実行させる。
一部の実施形態では、命令は、プロセッサにより、一つ以上の計画軌道セット（例えば、一つ以上の予め設定された軌道、または動作可能に計画された軌道）から軌道を選択する、ユーザー入力軌道選択信号を受信する処理（例えば、ユーザー入力軌道選択信号がロボット外科手術システムのロボットアームおよび／またはロボットエフェクターの位置および／または配向に対応する）と、プロセッサにより、ユーザー入力軌道選択信号に少なくとも部分的に基づき、選択された軌道を決定する処理と、プロセッサにより、ロボット外科手術システムのロボットアームおよび／または終了エフェクターが選択された軌道と整列されるように自動的に移動する処理と、をプロセッサに実行させる。
一部の実施形態では、命令は、プロセッサにより、ロボット外科手術システムのロボットアームおよび／または終了エフェクターを、選択された軌道（例えば、患者の解剖学的構造に向かって）に沿って自動的に移動する処理をプロセッサに実行させる。
一部の実施形態では、命令は、プロセッサにより、選択された軌道を含む触覚オブジェクトを定義および／または更新する処理と、ロボットアームおよび／またはエンドエフェクターに挿入されたか、または取り付けられた手術用器具の少なくとも一部の動きが、触覚オブジェクト内に制約されるように、プロセッサにより、ロボットアームおよび／またはエンドエフェクターの動作を制約する処理と、をプロセッサに実行させる。
一部の実施形態では、少なくとも一つの検出器は、少なくとも４０度（例えば、対角線上で測定）の視野を有する検出器を備える。一部の実施形態では、表示画面は、少なくとも１２８０×７２０ピクセルの解像度を持つ。
一部の実施形態では、拡張現実ナビゲーションシステムは、外科手術計画の選択（例えば、軌道、および／または軌道を画定する位置および／または配向）を行うためのポインタツールを備え、ここでポインタツールは、少なくとも一つの検出器によって検出されるように構成される。
一部の実施形態では、命令は、ロボット外科手術システム、拡張現実ナビゲーションシステム、および随意に医療画像データ（例えば、Ｘ線データ、ＣＴデータ、ＭＲＩデータ、蛍光透視データ）に基づく患者の解剖学的モデルを用いて、患者の解剖学的構造を登録する処理をプロセッサに実行させる。
一部の実施形態では、少なくとも一つの検出器はビデオカメラを備え、命令は、プロセッサにより、検出器入力信号に基づいて映像信号を生成する処理と、プロセッサにより、その映像信号を出力して（ｉ）モニターおよび（ｉｉ）ユーザーの自然な視野の少なくとも一部分に重ね合わされて表示されるようにユーザーに見える拡張グラフィック（例えば、やや不透明の画像）を表示するように構成された少なくとも部分的に透明な表示画面を備えた第二の頭部装着型ディスプレイのうち少なくとも一つ上に表示する処理と、をプロセッサに実行させる。
一部の実施形態では、システムは、頭部装着型ディスプレイに接続された一つ以上のフィデューシャルマーカーを備える。一部の実施形態では、命令は、頭部装着型ディスプレイに接続された一つ以上のフィデューシャルマーカーの相対位置および配向を受信する処理［ここで一つ以上のフィデューシャルマーカーは、二次的な検出器（例えば、頭部装着型ディスプレイに物理的に接続されていない）により検出される（例えば、ＥＭＦ検出器、ＲＦ検出器、音響検出器、ＬｉＤＡＲ検出器、光検出器）］と、（ｉ）解剖学的モデル、（ｉｉ）外科用インプラントの表現、（ｉｉｉ）手術用器具の軌道の表現、（ｉｖ）二次検出器によって検出された一つ以上のフィデューシャルマーカーに基づいて、自然な視野から隠された手術用器具の少なくとも一部の表現、のうち少なくとも一つを変更（例えば、回転、拡大縮小および並進のうち少なくとも一つ）する処理と、をプロセッサに実行させる。
一部の実施形態では、命令は、プロセッサにより、二次的な検出器（例えば、頭部装着型ディスプレイに物理的に接続されていない）（例えば、ＥＭＦ検出器、ＲＦ検出器、音響検出器、ＬｉＤＡＲ検出器、光検出器）によって検出された一つ以上の現実世界の特徴の相対位置および配向を受信する処理と、プロセッサにより、（ｉ）解剖学的モデル、（ｉｉ）外科用インプラントの表現、（ｉｉｉ）手術用器具の軌道の表現、（ｉｉｉ）二次検出器によって検出された一つ以上の現実世界の特徴に基づいて、自然な視野面から隠された手術用器具の表現のうち少なくとも一つを変更（例えば、回転、拡大縮小および並進のうち少なくとも一つ）する処理と、プロセッサにより、少なくとも部分的に（ｉ）、（ｉｉ）、（ｉｉｉ）、および（ｉｖ）のうち少なくとも一つの変更に基づき、拡張グラフィックを更新する、および／またはプロセッサにより、ディスプレイ画面上に、更新された拡張グラフィックを表示する処理と、をプロセッサに実行させる。
一部の実施形態では、外科手術は、脊髄外科手術、整形外科手術、整形外科外傷外科手術、および神経外科手術のうちの少なくとも一つを含む。一部の実施形態では、外科手術は低侵襲的外科手術を含む。
一態様において、本発明は、ロボット外科手術システムと併用するための拡張現実ナビゲーションシステムに関連し、システムは、ユーザーの自然な視野の少なくとも一部分上に重ね合わせて表示される、拡張グラフィック（例えば、やや不透明の画像）（例えば、ナビゲーション拡張グラフィック）をユーザーに表示するように構成された少なくとも部分的に透明な表示画面を備えた、頭部装着型ディスプレイと、現実世界の特徴を識別するための少なくとも一つの検出器であって、少なくとも一つの検出器が頭部装着型ディスプレイに接続されているもの［例えば、そこで少なくとも一つの検出器は、光学カメラ（例えば、ビデオカメラ）、ＥＭＦ検出器、ＬｉＤＡＲ検出器、音響検出器、およびＲＦ検出器のうち少なくとも一つを含む］［例えば、そこで現実世界の特徴はフィデューシャルおよび／または特定された患者の解剖学的構造を含む（例えば、そこで現実世界の特徴は、患者、手術用器具、およびロボット外科手術システム（例えば、ロボットアーム、ロボットアームの一部、および／またはロボットアームのエンドエフェクター）のうち少なくとも一つに接続されたフィデューシャルである）］と、コンピュータサブシステムであって、外科手術中に、手術用器具および／または手術用器具の軌道の少なくとも一部分の描写を生成し、および／またはそれへのアクセスをする、少なくとも一つの検出器から受信した検出器入力信号内にある一つ以上の現実世界の特徴の相対位置および／または配向に基づき、表現の少なくとも一部分を修正する、および修正された表現に基づき、表示画面上に手術用器具拡張グラフィックを表示するように構成されたコンピュータサブシステムとを備え、ここで、手術用器具は、ロボット外科手術システムに挿入されるか、または接続される（例えば、ここで手術用器具の一部分は（例えば、患者内部にあって）ユーザーの自然な視野内には見えない）。
一部の実施形態では、コンピュータサブシステムは、複数の手術用器具の軌道（例えば、計画された手術用器具の軌道）のそれぞれについて手術用器具拡張グラフィックをレンダリングする、手術用器具拡張グラフィックが患者の解剖学的構造上に重ね合わせて表示され、それぞれの軌道拡張グラフィクスが外科手術中に従うことができる物理的軌道を示すように、プロセッサにより、複数の手術用器具拡張グラフィックを表示するように構成される。
一部の実施形態では、コンピュータサブシステムは、検出された入力信号から決定された相対位置および／または配向のうち少なくとも一つに基づき、患者の解剖学的モデル（例えば、３Ｄモデル）を変更（例えば、回転、スケーリング、および並進のうち少なくとも一つにより）して、それによって、更新された解剖学的モデル（例えば、患者の解剖学的モデルに登録されたもの）を形成するよう構成されるとともに、また、更新された解剖学モデルが患者の解剖学的構造に重ね合わされて表示されるように、更新された解剖学モデルに対応する解剖学的モデル拡張グラフィックを表示画面に表示するように構成される。
一部の実施形態では、拡張現実ナビゲーションシステムは、頭部装着型ディスプレイの測定された動きに基づいて動き信号を出力するための頭部装着型ディスプレイに接続された動きセンサー（例えば、慣性動作ユニット（ＩＭＵ））を備え、ここでコンピュータサブシステムは、動きセンサーによって検知された動きに基づいて手術用器具拡張グラフィックを更新するよう構成される。
一部の実施形態では、コンピュータサブシステムは、一つ以上の計画軌道（例えば、ユーザーのロボットアームおよび／またはロボット外科手術システムのロボットアームエフェクターおよび／またはロボットアームエフェクターおよび／または配向の位置および／または配向）によって選択された軌道に少なくとも部分的に基づいて、選択軌道を決定し、選択された軌道と整列させるロボットアームおよび／またはロボット外科手術システムのエフェクターを自動的に移動させるように構成される。
一部の実施形態では、コンピュータサブシステムは、ロボットアームおよび／またはロボット外科手術システムのロボットアームエフェクターを（例えば、患者の解剖学的構造に向かって）軌道に沿って自動的に移動するように構成される。
一部の実施形態では、コンピュータサブシステムは、ロボットアームに取り付けられた手術用器具および／またはエンドエフェクターの少なくとも一部の動きが触覚オブジェクト内で制約されるように、ロボットアームおよび／またはエンドエフェクターの動きを含む触覚オブジェクトを定義するよう構成される。
一部の実施形態では、少なくとも一つの検出器は、少なくとも４０度（例えば、対角線上で測定）の視野を有する検出器を備える。一部の実施形態では、表示画面は、少なくとも１２８０×７２０ピクセルの解像度を持つ。一部の実施形態では、拡張現実ナビゲーションシステムは、外科手術計画の選択を行うためのポインタツールを備え、ここでポインタツールは、少なくとも一つの検出器によって検出されるように構成される。
一部の実施形態では、コンピュータサブシステムは、ロボット外科手術システム、拡張現実ナビゲーションシステム、および随意に医療画像データ（例えば、Ｘ線データ、ＣＴデータ、ＭＲＩデータ、蛍光透視データ）に基づく患者の解剖学的モデルを用いて、患者の解剖学的構造を登録するよう構成される。
一部の実施形態では、コンピュータサブシステムは、検出器入力信号に基づいて映像信号を生成し、その映像信号を出力して（ｉ）モニターおよび（ｉｉ）ユーザーの自然な視野の少なくとも一部分に重ね合わされて表示されるようにユーザーに見える拡張グラフィック（例えば、やや不透明の画像）を表示するように構成された少なくとも部分的に透明な表示画面を備えた第二の頭部装着型ディスプレイのうち少なくとも一つ上に表示するように構成される。
一部の実施形態では、システムは、頭部装着型ディスプレイに接続された一つ以上のフィデューシャルマーカーを備える。一部の実施形態では、コンピュータサブシステムは、第二の検出器（例えば、頭部装着型ディスプレイに物理的には接続されていない）（例えば、ＥＭＦ検出器、ＲＦ検出器、音響検出器、ＬｉＤＡＲ検出器、光検出器）によって検出された、頭部装着型ディスプレイに接続された一つ以上のフィデューシャルマーカーの相対位置および配向を受信し、（ｉ）解剖学的モデル、（ｉｉ）外科用インプラントの表現、（ｉｉｉ）手術用器具の軌道の表現、および（ｉｖ）第二の検出器により検出された一つ以上のフィデューシャルマーカーに基づく、自然な視野には見えない手術用器具の少なくとも一部分の表現のうち少なくとも一つを修正（例えば、回転、拡大縮小、および並進のうち少なくとも一つ）するように構成される。
一部の実施形態では、コンピュータサブシステムは、二次的な検出器（例えば、頭部装着型ディスプレイに物理的に接続されていない）（例えば、ＥＭＦ検出器、ＲＦ検出器、音響検出器、ＬｉＤＡＲ検出器、光検出器）によって検出された一つ以上の現実世界の特徴の相対位置および配向を受信して、（ｉ）解剖学的モデル、（ｉｉ）外科用インプラントの表現、（ｉｉｉ）手術用器具の軌道の表現、（ｉｉｉ）二次検出器によって検出された一つ以上の現実世界の特徴に基づいて、自然な視野面から隠された手術用器具の表現のうち少なくとも一つを変更（例えば、回転、拡大縮小および並進のうち少なくとも一つ）するように構成され、また、コンピュータサブシステムは、少なくとも部分的に（ｉ）、（ｉｉ）、（ｉｉｉ）、および（ｉｖ）のうち少なくとも一つの変更に基づき、更新された拡張グラフィックを表示画面上に表示するように構成されている。
一部の実施形態では、外科手術は、脊髄外科手術、整形外科手術、整形外科外傷外科手術、および神経外科手術のうちの少なくとも一つを含む。一部の実施形態では、外科手術は低侵襲的外科手術を含む。
一態様において、本発明は、ロボット外科手術システムと併用するための拡張現実ナビゲーションシステムを使用する方法を対象とし、方法は、拡張現実ナビゲーションシステムを提供するステップ、および／またはそれにアクセスするステップであって、ここで拡張現実ナビゲーションシステムは、ユーザーの自然な視野の少なくとも一部分上に重ね合わせて表示される、拡張グラフィック（例えば、やや不透明の画像）（例えば、ナビゲーション拡張グラフィック）をユーザーに表示するように構成された少なくとも部分的に透明な表示画面を備えた、頭部装着型ディスプレイと、オプションとして、頭部装着型ディスプレイの測定された動きに基づいて動き信号を出力するための頭部装着型ディスプレイに接続された動きセンサー（例えば、慣性動作ユニット（ＩＭＵ））と、現実世界の特徴を識別するための少なくとも一つの検出器であって、少なくとも一つの検出器が頭部装着型ディスプレイに接続されているもの［例えば、そこで少なくとも一つの検出器は、光学カメラ（例えば、ビデオカメラ）、ＥＭＦ検出器、ＬｉＤＡＲ検出器、音響検出器、およびＲＦ検出器のうち少なくとも一つを含む］［例えば、そこで現実世界の特徴はフィデューシャルおよび／または特定された患者の解剖学的構造を含む（例えば、そこで現実世界の特徴は、患者、手術用器具、およびロボット外科手術システム（例えば、ロボットアーム、ロボットアームの一部、および／またはロボットアームのエンドエフェクター）のうち少なくとも一つに接続されたフィデューシャルである）］とを備える。方法はさらに、少なくとも一つの検出器からの検出器入力信号（ここで検出器入力信号は少なくとも一つの検出器の視野に対応し、また視野が外科手術中の患者の解剖学的構造の少なくとも一部分を含む）を、（例えば、コンピュータサブシステムのプロセッサにより）受信するステップと、検出器入力信号中にある一つ以上の現実世界の特徴のそれぞれについての相対位置および／または配向を、（例えば、コンピュータサブシステムのプロセッサにより）決定するステップと、手術用器具の少なくとも一部分および／または手術用器具の軌道の描写（ここで手術用器具はロボット外科手術システムに挿入されるか、またはロボット外科手術システムに接続される）（例えば、ここで手術用器具の一部分は（例えば、患者内部にあって）ユーザーの自然な視野内には見えない）を、（例えば、コンピュータサブシステムのプロセッサにより）生成するステップ、および／またはそれにアクセスするステップと、一つ以上の現実世界の特徴の相対位置および／または配向に基づき、表現の少なくとも一部分を、（例えば、コンピュータサブシステムのプロセッサにより）修正（例えば、回転、拡大縮小、および並進のうち少なくとも一つ）して、それによって更新された表現を形成するステップと、更新された表現に基づき、手術用器具拡張グラフィックを、（例えば、コンピュータサブシステムのプロセッサにより）レンダリングするステップと、表示画面上に手術用器具拡張グラフィックを、（例えば、コンピュータサブシステムのプロセッサにより）表示（例えば、頭部装着型ディスプレイの少なくとも部分的に透明な表示画面を介して、手術用器具拡張グラフィックをユーザーの自然な視野の少なくとも一部分に重ね合わせて表示）するステップとを含む。
一部の実施形態では、方法は、複数の手術用器具の軌道（例えば、計画された手術用器具の軌道）のそれぞれについて手術用器具拡張グラフィックを、（例えば、コンピュータサブシステムのプロセッサによって）レンダリングするステップと、手術用器具拡張グラフィックが患者の解剖学的構造上に重ね合わせて表示され、それぞれの軌道拡張グラフィクスが外科手術中に従うことができる物理的軌道を示すように、複数の手術用器具拡張グラフィックを、表示画面上に（例えば、コンピュータサブシステムのプロセッサによって）表示するステップとを含む。
一部の実施形態では、方法は、検出された入力信号から、少なくとも一つの現実世界の特徴のそれぞれについての相対位置および／または配向を、（例えば、コンピュータサブシステムのプロセッサによって）決定するプロセスと、（例えば、回転、拡大縮小、および並進のうち少なくとも一つにより、）検出された入力信号から決定された相対位置および／または配向に基づき、患者の解剖学的モデル（例えば、３Ｄモデル）を修正して、それによって更新された解剖学的モデル（例えば、患者の解剖学的構造に登録されるもの）を、（例えば、コンピュータサブシステムのプロセッサによって）形成するプロセスと、更新された解剖学的モデルに少なくとも部分的に基づき、解剖学的モデル拡張グラフィックを、（例えば、コンピュータサブシステムのプロセッサによって）レンダリングするプロセスと、更新された解剖学的モデルが患者の解剖学的構造上に重ね合わされて表示されるように、解剖学的モデル拡張グラフィックを表示画面上に、（例えば、コンピュータサブシステムのプロセッサによって）表示するプロセスとを含む。
一部の実施形態では、方法は、動作センサーによって検出された動きに基づいて、検出器入力信号内の決定された現実世界の特徴の相対位置および配向を、（例えば、コンピュータサブシステムのプロセッサによって）更新するステップと、更新された相対位置および配向に基づいて手術用器具拡張グラフィックを、（例えば、コンピュータサブシステムのプロセッサによって）更新するステップとを含む。
一部の実施形態では、方法は、一つ以上の計画軌道セット（例えば、一つ以上の予め設定された軌道、または動作可能に計画された軌道）から軌道を選択する、ユーザー入力軌道選択信号を、（例えば、コンピュータサブシステムのプロセッサによって）受信するステップと（例えば、ユーザー入力軌道選択信号がロボット外科手術システムのロボットアームおよび／またはロボットエフェクターの位置および／または配向に対応する）、ユーザー入力軌道選択信号に少なくとも部分的に基づき、選択された軌道を、（例えば、コンピュータサブシステムのプロセッサによって）決定するステップと、ロボット外科手術システムのロボットアームおよび／または終了エフェクターが選択された軌道と整列されるように、（例えば、コンピュータサブシステムのプロセッサによって）自動的に移動するステップとを含む。
一部の実施形態では、方法は、ロボット外科手術システムのロボットアームおよび／またはエンドエフェクターを選択された軌道（例えば、患者の解剖学的構造に向かって）に沿って、（例えば、コンピュータサブシステムのプロセッサによって）自動的に移動するステップを含む。一部の実施形態では、方法は、選択された軌道を含む触覚オブジェクトを、（例えば、コンピュータサブシステムのプロセッサによって）定義および／または更新するステップと、ロボットアームおよび／またはエンドエフェクターに挿入されたか、または取り付けられた手術用器具の少なくとも一部の動きが、触覚オブジェクト内に制約されるように、プロセッサにより、ロボットアームおよび／またはエンドエフェクターの動作を制約するステップとを含む。
一部の実施形態では、少なくとも一つの検出器は、少なくとも４０度（例えば、対角線上で測定）の視野を有する検出器を備える。一部の実施形態では、表示画面は、少なくとも１２８０×７２０ピクセルの解像度を持つ。
一部の実施形態では、方法は、患者の解剖学的構造をロボット外科手術システム、拡張現実ナビゲーションシステム、および随意に医療画像データ（例えば、Ｘ線データ、ＣＴデータ、ＭＲＩデータ、透視データ）に基づいて患者の解剖学的モデルに登録するステップを含む。
一部の実施形態では、少なくとも一つの検出器は、ビデオカメラを備え、方法は、検出器入力信号に基づいて映像信号を、（例えば、コンピュータサブシステムのプロセッサによって）生成するステップと、その映像信号を、（例えば、コンピュータサブシステムのプロセッサによって）出力して（ｉ）モニターおよび（ｉｉ）ユーザーの自然な視野の少なくとも一部分に重ね合わされて表示されるようにユーザーに見える拡張グラフィック（例えば、やや不透明の画像）を表示するように構成された少なくとも部分的に透明な表示画面を備えた第二の頭部装着型ディスプレイのうち少なくとも一つ上に表示するステップとを含む。
一部の実施形態では、システムは、頭部装着型ディスプレイに接続された一つ以上のフィデューシャルマーカーを備え、方法は、頭部装着型ディスプレイに接続された一つ以上のフィデューシャルマーカーの相対位置および配向を、（例えば、コンピュータサブシステムのプロセッサによって）受信する［ここで一つ以上のフィデューシャルマーカーは、二次的な検出器（例えば、頭部装着型ディスプレイに物理的に接続されていない）により検出される（例えば、ＥＭＦ検出器、ＲＦ検出器、音響検出器、ＬｉＤＡＲ検出器、光検出器）］ステップと、（ｉ）解剖学的モデル、（ｉｉ）外科用インプラントの表現、（ｉｉｉ）手術用器具の軌道の表現、（ｉｖ）二次検出器によって検出された一つ以上のフィデューシャルマーカーに基づいて、自然な視野から隠された手術用器具の少なくとも一部の表現、のうち少なくとも一つを、（例えば、コンピュータサブシステムのプロセッサによって）変更（例えば、回転、拡大縮小および並進のうち少なくとも一つ）するステップとを含む。
一部の実施形態では、方法は、プロセッサにより、二次的な検出器（例えば、頭部装着型ディスプレイに物理的に接続されていない）（例えば、ＥＭＦ検出器、ＲＦ検出器、音響検出器、ＬｉＤＡＲ検出器、光検出器）によって検出された一つ以上の現実世界の特徴の相対位置および配向を、（例えば、コンピュータサブシステムのプロセッサによって）受信するステップと、（ｉ）解剖学的モデル、（ｉｉ）外科用インプラントの表現、（ｉｉｉ）手術用器具の軌道の表現、（ｉｉｉ）二次検出器によって検出された一つ以上の現実世界の特徴に基づいて、自然な視野面から隠された手術用器具の表現のうち少なくとも一つを、（例えば、コンピュータサブシステムのプロセッサによって）変更（例えば、回転、拡大縮小および並進のうち少なくとも一つ）するステップと、少なくとも部分的に（ｉ）、（ｉｉ）、（ｉｉｉ）、および（ｉｖ）のうち少なくとも一つの変更に基づき、拡張グラフィックを、（例えば、コンピュータサブシステムのプロセッサによって）レンダリングおよび／または更新するステップと、更新された拡張グラフィックを、ディスプレイ画面上に、（例えば、コンピュータサブシステムのプロセッサによって）表示するステップとを含む。
一部の実施形態では、外科手術は、脊髄外科手術、整形外科手術、整形外科外傷外科手術、および神経外科手術のうちの少なくとも一つを含む。一部の実施形態では、外科手術は低侵襲的外科手術を含む。
［定義］
本開示がより容易に理解されるようにするために、本明細書で使用される特定の用語は以下に定義される。以下の用語およびその他の用語についての追加的な定義は、本明細書全体を通して規定されている場合がある。
本出願では、「または」という用語は、別段の記載がない限り、「および／または」を意味する。本出願で使用される場合、「含む（ｃｏｍｐｒｉｓｅ）」およびその用語の変形、例えば、「含む（ｃｏｍｐｒｉｓｉｎｇ）」および「含む（ｃｏｍｐｒｉｓｅｓ）」という用語は、他の付加物、構成要素、整数またはステップを除外することを意図していない。本出願で使用される場合、「約」および「およそ」という用語は同等物として使用される。約／およそ／が付いているかついていないかの別なく、このアプリケーションで使用される任意の数字は、当業者によって理解される任意の通常の変動を網羅することが意図される。特定の実施形態では、「およそ」または「約」という用語は、別段の記載がない限り、またはその他の方法で文脈から明らかでない限り、表示された基準値からプラスマイナス２５％、２０％、１９％、１８％、１７％、１６％、１５％、１４％、１３％、１２％、１１％、１０％、９％、８％、７％、６％、５％、４％、３％、２％、１％、または１％未満に該当する値（基準値よりも大または小）の範囲を指す（そのような値が、可能な値の１００％を超える場合を除く）。
以下の説明では、本明細書に記載されるシステムおよび方法の、およびそれらに関連する、様々な要素の位置、配向、および移動方向の説明にあたり、デカルト座標系を一般的に使用する。ただし、当然のことながら、特定の座標（例えば、「ｘ、ｙ、ｚ」）およびそれらに基づく慣例（例えば「正のｘ方向」、「ｘ、ｙ、またはｚ軸」、「ｘｙ、ｘｚ、またはｙｚ−平面」など）は簡便さと明瞭化のために提示したもので、当業者によって理解されるように、その他の座標系（例えば、円柱座標、球座標）が使用されてもよく、それらは、請求項の範囲内であると考えられる。
ナビゲーション情報：本明細書で使用される場合、「ナビゲーション情報」という用語は、外科手術中のナビゲーションに有用な情報を意味する。特定の実施形態では、ナビゲーション（ナビゲートすること）は、一つ以上の手術用器具および／またはインプラント（またはその他の外科手術装置）のナビゲーションを含む。手術用器具は、ロボット外科手術システムに取り付けられうる。ナビゲーション情報には、（ｉ）手術用器具および／または装置（例えば、インプラント）および／または外科手術機器（例えば、手術台）の外科軌道、位置および／または配向、患者の解剖学的構造およびそのモデル、医療画像データ、ならびにロボット外科手術システムの位置および／または配向のうち一つ以上が含まれるが、これらに限定されない。本明細書で使用される場合、拡張現実ナビゲーションシステムが外科医にナビゲーション情報を表示すると記述されている場合、当然のことながら、ナビゲーションには直ちに関連しないが、外科手術に一般に関連するその他の情報もまた（例えば、類似の方法で）表示されてもよい。例えば、患者のバイタルまたは状態（例えば、患者履歴）に関する患者の健康情報、または外科手術に関連するステータス情報（例えば、進捗、指示、またはその他の情報）が（例えば、拡張現実ナビゲーションシステムの表示画面に表示される仮想ディスプレイ上に）表示されてもよい。必要に応じて、ナビゲーション情報は随意に患者の解剖学的構造に重ねて表示させることができる。
拡張グラフィック：本明細書で使用される場合、「拡張グラフィック」という用語は、表示画面を通して見た時にグラフィックが外科医の自然な視野に重ね合わされて見えるように、プロセッサによってレンダリングされて、拡張現実ナビゲーションシステムの表示画面上に表示されるグラフィックを意味する。特定の実施形態では、拡張グラフィックはまた、第三者オブザーバーが、外科医が何を見ているかを観察するために、遠隔モニター上に表示するためにレンダリングされてもよい（例えば、手術室の壁に取り付けられるもの）。拡張グラフィックは、自然な視野内に表示されるスタンドアロンのグラフィックでもよい（例えば、外科医の視野内に浮かんで見える仮想ディスプレイ）。拡張グラフィックによって表現される物理的オブジェクト（例えば、患者の解剖学的構造の部分）が拡張グラフィックと一致するように（例えば、ここで物理的オブジェクトまたはその一部分はそうでなければ外科医から見えない）、拡張グラフィックは、自然な視野内で一つ以上のオブジェクト（例えば、患者の解剖学的構造）上に重ね合わせて表示されうる。特定の実施形態では、拡張グラフィックは、物理的オブジェクトに隣接する３Ｄオブジェクトとして表現されてもよい（例えば、共通の配向を有するが、空間的並進によってオフセットされて）。一部の実施形態では、拡張グラフィックは、外科医の自然な視野を拡張する表示画面上の映像として表示されるように、時系列順に表示するためのいくつかのグラフィックを含む。例えば、外科医は、行いつつある処置の一部を患者の身体的構造上に重ね合わせて表示することができる。
医療画像データ：本明細書で使用される場合、医療画像データは、患者の少なくとも一部分を表現する画像データを指す。医療画像データは、Ｘ線技術、放射線撮影技術（蛍光透視技術（例えば、ＯアームまたはＣアームを使用して生成））、断層撮影技術（例えば、Ｘ線コンピュータ断層撮影、陽電子放射断層撮影（ＰＥＴ）、または磁気共鳴映像法（ＭＲＩ））、超音波技術、またはエラストグラフィー技術を含むが、これに限定されない任意の適切な技術を使用して生成されうる。
ポインタツール：本明細書で使用される場合、「ポインタツール」という用語は、望ましい位置および／または配向を示すために使用されるツールを意味する。ポインタツールは、ロボット外科手術システム、例えば、そのエンドエフェクターまたはそれに取り付けられたツールガイドに挿入されるように構成されうる。ポインタツールは、ポインティングのためにのみ使用される特別に構成された器具であってもよい。手術用器具をポインタツールとして使用してもよい。例えば、ドリルビット、ドリルガイド、ツールガイド、錐または類似の手術用器具をポインタツールとして使用してもよい。ポインタツールは、（例えば、ポインタツールの位置および配向（例えば、三角測量による）を決定するのに十分な）ツールに取り付けられた一つ以上のフィデューシャルを持ちうる。
現実世界の特徴：本明細書で使用される場合、「現実世界の特徴」という用語は、オブジェクトについての空間情報を決定できるように、検出器によって検出されうる物理的オブジェクトまたはその部分を意味する。空間情報は、位置および／または配向を含む。現実世界の特徴は、一つ以上の画像認識技術を使用して検出される識別された患者の解剖学的構造（例えば、解剖学的構造データベース（例えば、患者の解剖学的構造の画像データベースを参照して識別される）でもよい。現実世界の特徴は、任意の適切なフィデューシャルでもよい。基準は、例えば、外科手術機器（例えば、手術台）、患者、手術用器具、インプラント、ロボット外科手術システム、または拡張現実ナビゲーションシステム（例えば、頭部装着型ディスプレイ）に取り付けられてもよい。フィデューシャルは、ナビゲーション（例えば、追跡）中に環境中のフィデューシャルの配向を支援する複数のマーカーを含みうる。例えば、特定の実施形態では、フィデューシャルは、オブジェクトに取り付け可能な剛直保持装置に取り付けられた空間的に分離された複数のマーカー（例えば、３マーカーまたは４マーカー）を含み、ここで各マーカーは頭部装着型ディスプレイ上に配置された検出器によって検出されるように構成される（例えば、ＥＭＦ検出器の電磁場を放出もしくは変化、または光検出器用に特定の反射率を有する）。現実世界の特徴は、外科手術環境内のオブジェクトの位置および配向を決定するために使用される。本明細書に開示されるシステムを使用してこのような決定を行うために使用される技術の例は三角測量であるが、患者登録の当業者にとって、表面整合またはその他の類似の相関技術などの多数の技術が単独もしくは組み合わせて使用されうることは明らかとなる。
軌道：本明細書で使用される場合、「軌道」という用語は、従うことが望ましい、および／または意図される経路を意味する。軌道はモデル化されてもよく、また軌道を表現するグラフィックは、拡張現実ナビゲーションシステムの表示画面に表示されてもよい。軌道は、線形の軌道（例えば、軌道に沿った全ての点が線上にある）または非線形の軌道であってもよい。プロセッサ（例えば、ロボット外科手術システム）によって送信されるか、またはコンピュータ可読媒体上に保存される（例えば、プロセッサによる操作のための）軌道は、軌道を画定するのに十分な任意のデータによって表現されてもよい。軌道を画定するために使用されるデータの非限定的な例には、空間内の単一座標、および配向（例えば、ベクトル）、複数の座標、および関数関係（例えば、ｘ、ｙ、およびｚ変数が関与する）が含まれる。特定の実施形態では、経路は、ロボット外科手術システムを使用して（例えば、自動的に）または外科医によって手動で追跡されうる。
ロボット外科手術システム：本明細書で使用される場合、「ロボット外科手術システム」という用語は、外科手術手順を支援するように構成されたロボットアームを含むシステムを意味する。ロボットアームは、一つ以上の手術用器具を保持および／または操作（例えば、案内および／または移動）することによって外科手術手順を支援しうる。特定の実施形態では、ロボット外科手術システムは、能動的な非バックドライブ可能ロボットアームを含む。特定の実施形態では、ロボット外科手術システムは、受動的なバックドライブ可能ロボットアームを含む。特定の実施形態では、ロボット外科手術システムは、外科医によって直接操作されるように構成される（例えば、掴んだり操縦することによって）。特定の実施形態では、ロボットは、外科医によって遠隔操作されるように構成される（例えば、マスター／スレーブシステムと同様に）。特定の実施形態では、ロボット外科手術システムのロボットアームは、外科医がロボットアームに取り付けられた手術用器具を、画定された触覚オブジェクト（すなわち、触覚量）の外側で能動的に操縦するのを阻止することによって外科手術を支援するように構成される。特定の実施形態では、ロボット外科手術システムのロボットアームは、外科医からの入力に伴い、ロボット外科手術システムとの通信状態にある拡張現実ナビゲーションシステムを使用して手術前または手術中に計画された軌道など、軌道上に、および／または軌道に沿って自動的に移動するよう構成される。特定の実施形態では、ロボット外科手術システムおよび拡張現実ナビゲーションシステムは、共通のコンピュータサブシステムを持つ。
図面は本明細書において例示目的で提示されるもので、限定するためのものではない。本発明の前述およびその他の目的、態様、特徴、および利点は、添付図面と併せて記述された以下の説明を参照することによって、より明らかになり、またより適切に理解されうる。
ユーザーの頭に着用でき、本発明の一部の実施形態に従って動作する頭部装着型ディスプレイ装置を図示する。 ユーザーの頭に着用でき、本発明の一部の実施形態に従って動作する頭部装着型ディスプレイ装置を図示する。 ユーザーの頭に着用でき、本発明の一部の実施形態に従って動作する頭部装着型ディスプレイ装置を図示する。 ユーザーの頭に着用でき、本発明の一部の実施形態に従って動作する頭部装着型ディスプレイ装置を図示する。 ユーザーの頭に着用でき、本発明の一部の実施形態に従って動作する頭部装着型ディスプレイ装置を図示する。 ユーザーの頭に着用でき、本発明の一部の実施形態に従って動作する頭部装着型ディスプレイ装置を図示する。 ユーザーの頭に着用でき、本発明の一部の実施形態に従って動作する頭部装着型ディスプレイ装置を図示する。 本発明の一部の例証的実施形態による、頭部装着型ディスプレイの表示画面を通して仮想表示パネルを表示するための頭部装着型ディスプレイを含む拡張現実ナビゲーションシステムによって実施されうる動作および方法を図示したものである。 本発明の例示的実施形態による、拡張現実ナビゲーションシステムにおける頭部装着型ディスプレイに連結されたコンピュータサブシステムの電子構成要素のブロック図である。 本発明の例示的実施形態に従い、機器の位置（手術用器具、外科医の頭部装着型ディスプレイ、および患者の解剖学的構造の部分）を追跡し、頭部装着型ディスプレイ上に表示されて、レンダリングされて患者の身体上の視覚的に整列された位置に表示される、３次元（３Ｄ）モデルを患者データから生成する、拡張現実ナビゲーションシステムの構成要素のブロック図である。 本発明の例示的実施形態による、拡張現実外科手術システムの電子構成要素およびモジュールの別のブロック図である。 本発明の例示的実施形態による、手術用器具および／またはその軌道のグラフィカル表現を表示するために、拡張現実ナビゲーションシステムを使用する例示的方法のブロック図である。 本発明の例示的実施形態による、固定された十字線を用いて拡張現実ナビゲーションシステムを使用する例示的方法のブロック図である。 本発明の例示的実施形態による、ポインタツールを用いて拡張現実ナビゲーションシステムを使用する例示的方法のブロック図である。 本発明の例示的実施形態による、外科手術中の拡張現実ナビゲーションシステム上に表示されうるナビゲーション情報を示す。 本発明の例示的実施形態による、追加的に拡張現実ナビゲーションシステムに表示される、ロボット外科手術システムに接続されている手術用器具を使用して予め計画されたかまたは術中に計画された軌道に沿って挿入される、そうでなければ着用者には見えない、患者の解剖学的構造およびインプラントのモデルの一部分を概略的に図示したものである。 本発明の例示的実施形態による、本明細書に記載される方法およびシステムで使用するための例示的なネットワーク環境のブロック図である。 本発明の例示的実施形態で使用するための例示的なコンピューティング装置および例示的な携帯型コンピューティング装置のブロック図である。
特許請求の範囲の本発明のシステム、装置、方法、およびプロセスは、本明細書に記載の実施形態に基づく情報を使用して開発された変形および改作を包含することが意図されている。本明細書に記載されるシステム、装置、方法、およびプロセスの改作および／または変更は、当業者によって実施されうる。
説明全体を通して、物品、装置、およびシステムが特定の構成要素を有する、含む、もしくは備えるものとして説明されている場合、またはプロセスおよび方法が特定のステップを有する、含む、もしくは備えるものとして説明されている場合、追加的に、列挙された構成要素から本質的になる、またはそれらから成る本発明の物品、装置、およびシステムがあること、ならびに、列挙されたプロセスステップから本質的に成る、またはそれらから成る本発明によるプロセスおよび方法があることが意図されている。
当然のことながら、ステップの順序や特定の行為を実施する順序は、本発明が実施可能である限り重要ではない。さらに、二つ以上のステップまたは行為は同時に実行されうる。
本明細書での、例えば、背景セクションでの、任意の公報への言及は、本明細書に提示されている任意の請求項に関して、その公報が先行技術としての役割を果たすことを認めるものではない。背景セクションは、明確にする目的で提示されているものであって、任意の請求項に関して先行技術の説明として意味されてはいない。見出しは読み手の便宜を図って提供されているもので、請求項に記載された主題に関して限定することを意図していない。
［拡張現実ナビゲーションシステムおよびその構成要素］
本明細書に開示されている拡張現実ナビゲーションシステムは、少なくとも部分的に透明な表示画面を含む頭部装着型ディスプレイと、現実世界の特徴を識別するために頭部装着型ディスプレイに接続された（例えば、それ上に配置された）少なくとも一つの検出器と、コンピュータサブシステムとを備える。コンピュータサブシステムは、例えば、軌道計画および実行を含む処置中に外科医にとって有用な様々なナビゲーションタスクを実行するように構成されうる。移動センサーは、追加的な機能および／または性能を提供する（例えば、選択入力手段またはドリフト補正など）拡張現実ナビゲーションシステムを着用する外科医の頭部の動きを検出するために随意に含めることができる。本開示の特定の実施形態に従っている特定の外科手術で使用するための拡張現実ナビゲーションシステムは、米国特許公開第２０１６−０２２５１９２ Ａ１号（２０１６年８月４日公開）に記載があり、その開示はその全体を参照することにより本明細書に組み込まれる。
本開示の実施形態は、医療処置中に外科医、内科医、またはその他の人員によって着用されうる頭部装着型ディスプレイ（ＨＭＤ）装置を含む拡張現実外科手術システムを対象とする。本開示全体を通して、拡張現実ナビゲーションシステムが着用者、ユーザー、または外科医によって着用されていると説明されている場合、外科手術を補助している、先導している、または観察している任意のユーザーが、記載されているのと同じ方法で拡張現実ナビゲーションシステムと同等に相互作用できることが理解される。ユーザーは、外科手術との特定の関係を有する任意の特定の個人には限定されない。ＨＭＤは、着用者に局在的なリアルタイムの状況認識を提供するように構成されうる。ＨＭＤは、着用者の自然な視線および／または周辺視野（ＦＯＶ）内に位置付けられて、着用者が、頭の動き、手のジェスチャー、音声コマンド、目の制御、および／または本明細書で開示されているその他の動作を使用してナビゲーションができる、単一の仮想ディスプレイとして、または仮想ディスプレイの集合として整理して表示できる視覚的情報を提供する表示画面を含む。特定の実施形態では、外科医の自然な視野にあるように、または外科医の視野外にあるように表示画面を操作することができる（例えば、画面を跳ね上げて「使用中」の位置から「使用中」の位置にする）。
特定の実施形態では、外科医またはその他の人員は、ＨＭＤを着用して、患者の体内にあるが、皮膚、筋肉、器官、骨格構造などで覆われているもののグラフィカル表現を見ることができる。特定の実施形態では、ＨＭＤを使用することで、外科医が人体の標的部位を明らかにするために、切開する必要がある場所を観察することによって、切開のサイズを最小化することができる。同様に、ＨＭＤは、骨を補綴で置き換える時に、手術中に外科医が手術用器具（例えば、ロボット外科手術システムに取り付けられている）、および／または補綴の配向および移動を支援する現実世界の特徴を観察できるように使用できる。ＨＭＤは、効率、生産性、スループット、および／または精度、および／または医療処置のパフォーマンスの安全性を改善するために動作しうる。さらに、ＨＭＤは、医療処置中にかなりの角度オフセットを有する遠隔表示装置を着用者が参照する必要性を低減または除去することにより、精神的疲労を低減することができる。
特定の実施形態では、拡張現実ナビゲーションシステムは、１０分未満（例えば、５分未満）の初期化時間を持ち、それによって外科手術手順の遅延および干渉を最小化する。特定の実施形態では、拡張現実ナビゲーションシステムは、最低１時間、最大４時間またはそれ以上にわたって快適に機能しうる。特定の実施形態では、拡張現実ナビゲーションシステムは、外科医のルーペ（拡大鏡）と互換性がある。特定の実施形態では、拡張現実ナビゲーションシステムは、個人用処方眼鏡と互換性がある。特定の実施形態では、拡張現実ナビゲーションシステムは、対角線で測定されるとき、最小視野４０度（例えば、５０度、６０度、７０度、９０度、またはそれ以上）を提供する。一定の実施形態では、拡張現実ナビゲーションシステムは、更新されたナビゲーション情報が表示画面によって受信されるまでに５０ミリ秒未満のレイテンシー（例えば、２０ミリ秒未満レイテンシー）を提供するために、互いに結合された頭部装着型ディスプレイおよびコンピュータサブシステムを備える。特定の実施形態では、表示画面は、３０フレーム／秒以上（例えば、６０フレーム／秒または１２０フレーム／秒）のフレームレートを持ちうる。
本明細書に開示される拡張現実ナビゲーションシステムは、少なくとも部分的に透明な表示画面を含む頭部装着型ディスプレイを備える。少なくとも部分的に透明な表示画面を含む頭部装着型ディスプレイは、眼鏡と類似した形状因子を持ちうる。例えば、これは双眼または単眼でありうる（すなわち、一方または両方の眼の視野を拡張するために表示画面を使用できる）。特定の実施形態では、頭部装着型ディスプレイは、双眼式頭部装着型ディスプレイである。双眼配置は、着用時には両眼を少なくとも部分的に覆う一つの連続的な表示画面で成り立っていてもよく、または二つの別個の表示画面（すなわち、それぞれの眼について一つの画面）であってもよい。頭部装着型ディスプレイは、アーマチュア（一般的な眼鏡にあるもの）または一部のその他の取付け手段（例えば、ヒトの頭部に着用されるサイズおよび形状のストラップ、バンド、または取り付け具）を使用して、着用者の頭部に保持されうる。拡張グラフィックを表示するように構成された少なくとも部分的に透明な表示画面は、例えば、飛行機操縦や運動競技用のヘッドアップディスプレイで使用されるものなど、任意の適切な市販の表示画面とすることができる。表示画面は、着用者が表示画面を通して自然視野の少なくとも一部分を見ることができる一方で、画面上に表示された任意の拡張グラフィックも見ることができるように、少なくとも部分的に透明である。特定の実施形態では、表示画面は高解像度表示画面である（例えば、少なくとも１２８０×７２０の解像度を有する）。
本明細書に開示される拡張現実ナビゲーションサブシステムは、少なくとも一つの検出器を含む。検出器は、検出器の視野内にある現実世界の特徴についての空間情報を決定するのに適したものである。検出器は、光学カメラ（例えば、ビデオカメラ）、ＥＭＦ検出器、ＬｉＤＡＲ検出器、音響検出器、ＲＦ検出器、または類似のエネルギーセンサーとすることができる。検出器は、検出器の視野内の環境からの情報を受信し、計算サブシステムに送信される検出器入力信号を生成する。特定の実施形態では、検出器は、頭部装着型ディスプレイに配置される（例えば、取り付けられる）。特定の実施形態では、検出器は（例えば、電気的に）接続されるが、頭部装着型ディスプレイから空間的に離れている。特定の実施形態では、適切なタイプのフィデューシャルは、頭部装着型ディスプレイに接続された検出器のタイプに基づいて、外科手術中に選択および使用される。例えば、ＥＭＦ信号を出力するフィデューシャルは、頭部装着型ディスプレイに取り付けられたＥＭＦ検出器によって検出される。一つ以上のフィデューシャルは、外科手術環境内において頭部装着型ディスプレイの追跡および／または配向をするために頭部装着型ディスプレイ上に配置されうる（例えば、補助検出器または第二の拡張現実ナビゲーションシステムによって検出される）。特定の実施形態では、検出器は光学カメラであり、画像認識が、一つ以上の現実世界の特徴を決定するために、検出器入力信号に対してコンピュータサブシステムによって実行される。異なるタイプの検出器を、単一の拡張現実ナビゲーションシステム内で組み合わせて使用できる。同じタイプの２つの検出器が、頭部装着型ディスプレイ上に配置され、それ上で空間的に分離されてもよい（例えば、現実世界の特徴を三角測量するため）。特定の実施形態では、検出器は、異なるタイプの検出器で置換できるように取り外し可能である。特定の実施形態では、コンピュータサブシステムと結合された検出器は、各位置自由度について、２ｍｍ（例えば、１．５ｍｍまたは１ｍｍ以内）ＲＭＳ以内の精度での患者の登録が可能になる。特定の実施形態では、一つ以上の検出器（例えば、頭部装着型ディスプレイ上に配置される）は、期間全体（例えば、外科手術）で、外科手術環境内の一定の空間的容積（例えば、半径２フィート、半径４フィート、半径６フィート、またはそれより大きい球体積よりも大きな容積）にわたり、正確な登録を提供するように構成される。特定の実施形態では、こうした容積は、頂点が頭部装着型ディスプレイに位置する円錐によってさらに画定されうる。
特定の実施形態では、拡張現実ナビゲーションシステムは、動きセンサーを備える。動きセンサーは、着用者の頭部の経時的な動きを追跡できる。こうした追跡は、例えば、着用者の頭の自然な小さな動きによって発生した拡張グラフィックのジッターの平滑化、またはさらにはその除去に使用することができる。一定の実施形態では、動作センサーはまた、着用者の頭の動きを決定するための手段を提供し、頭部装着型ディスプレイの表示画面に表示された拡張グラフィックを更新するために、頭部装着型ディスプレイの新しい配向および／または位置をコンピュータサブシステムに提供する。特定の実施形態では、動きセンサーは、開ループで測定されるときに、ベースライン位置からの拡張グラフィックの位置（すなわち、拡張現実ナビゲーションシステムを患者の解剖学的構造に登録することによって決定される位置）でのドリフトが、２ｃｍ（例えば、１ｃｍ）未満となるように構成される。特定の実施形態では、拡張現実ナビゲーションシステム内の検出器と結合された動きセンサーは、時間当たりのドリフトが１ミリメートル未満に光学的に較正される（すなわち、閉ループ）。特定の実施形態では、動きセンサーは、選択をするために使用されるユーザー入力（例えば、頭部の縦または横の動き）を記録するために使用される。
特定の実施形態では、拡張現実ナビゲーションシステムは、マイクロホンを備える。マイクロホンは、頭部装着型ディスプレイ上に配置されうる。マイクロホンは、拡張現実ナビゲーションシステムの制御に使用するために、外科医のコマンド（すなわち、口頭コマンド）を受けるために使用されうる。例えば、口頭コマンドは、表示画面の設定やグラフィックスの選択、修正もしくは更新、またはその他の類似したタスクのためのユーザー入力の機能を果たしうる。たとえば、頭部装着型ディスプレイの表示画面に表示される仮想表示パネルを再配列するために、または仮想ディスプレイ上に表示されるナビゲーション情報を変更するために、口頭コマンドを使用することができる。同様に、重ねて表示されたグラフィックは、口頭コマンドによって修正されうる（例えば、重ねて表示されたグラフィックの輝度、色、またはデータソースを変更する）。
一部の実施形態では、口頭コマンドまたは動きセンサーの動きによって入力されるコマンドに加えて、あるいはその代わりに、外科医によってなされたジェスチャーが、選択の合図、または拡張現実ナビゲーションシステムの制御に使用されうる。例えば、特定の実施形態では、外科医は、スワイプ、クリック、リサイズ、リフレッシュといったタイプのジェスチャー（例えば、スマートフォンまたは他のタッチ制御装置と類似したもの）をして、拡張現実ナビゲーションシステムを制御することができる。こうしたジェスチャーは、拡張現実ナビゲーションシステムの検出器によって検出可能な方法でなされうる。例えば、画像認識タイプの手順（例えば、検出器が光学カメラである場合）を使用して、ジェスチャーを検出しうる。例えば、外科医は、ジェスチャーがフィデューシャルの動きに基づいて検出されるように、ジェスチャーをするときに、拡張現実ナビゲーションシステムによって検出可能なフィデューシャルを装着または保持してもよい。特定の実施形態では、代替的または追加的に、補助的な機械的入力（例えば、フットペダル）は、入力（例えば、選択）装置として使用されうる。
本明細書に開示される拡張現実ナビゲーションシステムは、コンピュータサブシステムを含む。コンピュータサブシステムは、とりわけ、拡張現実ナビゲーションシステムの表示画面に表示するための拡張グラフィックの処理（例えば、レンダリング）をする。コンピュータサブシステムは遠隔でもよい。例えば、コンピュータサブシステムは、クイックディスコネクト式のケーブルによって頭部装着型ディスプレイに接続することができる。こうしたケーブルはまた、頭部装着型ディスプレイ（例えば、表示画面）の構成要素に電力を供給することもできる。特定の実施形態では、コンピュータサブシステムは、頭部装着型ディスプレイ（例えば、電池電力を使用して動作するもの）上に部分的または全体的に配置される。特定の実施形態では、コンピュータサブシステムは、ロボット外科手術システムからのナビゲーション情報を含むナビゲーション入力データを受信するように構成される。例えば、ロボット外科手術システムに保存された軌道、および／またはロボット外科手術システムに保存された座標（例えば、ロボット外科手術システムを使用して記録されたもの）である。特定の実施形態では、コンピュータサブシステムは、拡張現実ナビゲーションシステムからの出力（軌道データ出力など）を使用してロボット外科手術システムを制御できる。
特定の実施形態では、コンピュータサブシステムは、手術前および／または手術中の計画（例えば、軌道計画）を支援するよう構成される。特定の実施形態では、コンピュータサブシステムは、表示画面上に表示されたポインタツールおよび／または軌道選択ガイダンス拡張グラフィック（例えば、十字線）を使用して、軌道計画を実行するよう構成される。特定の実施形態では、コンピュータサブシステムは、とりわけ、患者の解剖学的構造のモデルを保存、アクセス、および／または更新するモデルモジュールを含む（例えば、医療画像データに由来するもの）。特定の実施形態では、コンピュータサブシステムは、とりわけ、ナビゲーションに使用される基準座標系を作成、保存、アクセス、および／または更新する座標モジュールを含む。こうした基準座標系は、登録方法の実行中（例えば、外科手術手順の開始時）に定義されうる。座標モジュールは、外科手術の間に連続的または定期的に発生しうる再登録を実施するために使用されうるが、ここで登録は拡張現実ナビゲーションシステムを使用して実施されうる。
特定の実施形態では、拡張現実ナビゲーションシステムは、補助ナビゲーションサブシステムと協働して動作する。例えば、外科手術環境での補助検出器は、外科手術環境において現実世界の特徴の追加的な検出をするために使用されうる（頭部装着型ディスプレイ上に配置された検出器によって検出されるものに加えて）。このように、特定の実施形態では、拡張現実ナビゲーションシステムは、外科手術中にナビゲーションをするためにロボット外科手術システムと併用される既存のナビゲーションシステムと連結される。例えば、拡張現実ナビゲーションシステムによって実施される登録は、外科手術手順のナビゲーション中に拡張現実ナビゲーションシステムによって使用される登録の精度を決定するために、補助検出器によって実施される登録と比較されうる。コンピュータサブシステムは、拡張現実ナビゲーションシステムおよび補助検出器による登録の間の誤差を最小限に抑えるために、再登録を実行することができる。補助検出器が使用される時、例えば、各検出器が、そうでなければ他の検出器から混乱させられる現実世界の特徴を検出することにより、処置中の登録の精密さや追跡が改善されうる。特定の実施形態では、補助検出器は、第二の拡張現実ナビゲーションシステムの頭部装着型ディスプレイ上に配置された検出器である。補助検出器は、存在する場合、頭部装着型ディスプレイに配置された一つ以上のフィデューシャルを検出（例えば、登録、ジッター補正および／またはドリフト補正を支援）するために使用されうる。
特定の実施形態では、二つ以上の拡張現実ナビゲーションシステムが、協働的および／または結合的に（例えば、同時に）使用される。例えば、二人の外科医がそれぞれ、外科手術中に頭部装着型ディスプレイを着用しうる。特定の実施形態では、一方の頭部装着型ディスプレイ（例えば、頭部装着型ディスプレイに取り付けられた検出器からの検出器入力データ）からのナビゲーション情報を、共通の登録を共有するために、または一方の頭部装着型ディスプレイの表示画面に他方の頭部装着型ディスプレイの検出器からのビデオ入力フィードを表示するために、他方の頭部装着型ディスプレイに提供しうる。特定の実施形態では、ビデオ入力供給は、第二の拡張現実ナビゲーションシステムに提供されるものに加えて、またはその代わりに、（例えば、同一の外科手術環境内の）他者が見れるように、（例えば、近くの壁、またはクラスルームなどの遠隔地にある）外部モニターに提供される。特定の実施形態では、各頭部装着型ディスプレイ上に配置されたフィデューシャルは、一つの外科手術環境で使用される二つの拡張現実ナビゲーションシステムの同時登録を支援する。二つ以上の拡張現実ナビゲーションシステムは、共通のコンピュータサブシステムを共有してもよい（例えば、それぞれが共通のコンピュータサブシステムに対して独自のケーブルによって接続される）。
模範的な拡張現実ナビゲーションシステム
図１は、本開示の一部の実施形態に従って構成された拡張現実ナビゲーションシステム１００（また「ＨＭＤ １００」とも称される）を示す。図１を参照すると、ＨＭＤ １００は、拡張グラフィック（例えば、ビデオおよび他の画像）を処理して、ユーザーによって表示されるために、表示画面１１０（例えば、ＬＣＤディスプレイ、表示モジュールが画像などを投影する反射型スクリーンなど）上に表示する表示モジュールに接続された半透明の表示画面１１０を含む。表示モジュールは、ＨＭＤ １００のハウジング１１８内にあってもよく、または通信可能に接続されたコンピュータサブシステム内に収容されてもよい。
図示した実施形態では、ＨＭＤ １００はヘッドバンド１２０に取り付けられ、表示画面１１０がユーザーの周辺視野内に延びるように位置付けられる。ハウジング１１８は、表示画面１１０上に情報を表示する電子構成要素を囲み、離れているが通信可能に接続されたコンピュータ機器と、および／またはハウジング１１８内に組み込まれたコンピュータ機器と組み合わせて、頭部の動きの感知および解釈、ユーザーの手またはその他のオブジェクトによってなされたジェスチャーの感知および解釈、および／または音声コマンドの感知および解釈をするために動作しうる。表示画面１１０は、ユーザーが表示装置を通して他のオブジェクトを見ている間に表示装置に表示される情報を見ることができるように、単眼透視表示装置またはステレオセットの透視表示装置を提供することができる。ヘッドバンド１２０は、ヘッドランプ、カメラ、またはユーザーの頭に着用することができる他の装置を含みうる。
ユーザーは、眼鏡１５０のレンズから突出して、視野を拡大するＴＴＬ（ｔｈｒｏｕｇｈ−ｔｈｅ−ｌｅｎｓ）ルーペ１５２を含む眼鏡１５０を着用した状態で図示されている。表示画面１１０は、ハウジング１１８から下向きに延び、ユーザーの視野内、またはユーザーの周辺視野内にあるＴＴＬルーペ１５２に直接隣接するようにユーザーによって配置可能である。表示画面１１０は、ユーザーが表示画面１１０を通して見える環境に重ね合わされた動画を見ることができる透視表示装置でもよい。
ＴＴＬルーペ１５２は、表示画面１１０がユーザーの直接的な視線方向にあるように構成されているときに、ＨＭＤ １００に含まれない場合がある。別の方法として、ユーザーがＴＴＬルーペ１５２を通して見る方向から目の視線を上方向にわずかにずらして、代わりに表示画面１１０に表示された情報を見ることができるように、表示画面１１０はＴＴＬルーペ１５２に隣接して位置付けられてもよい。一部の実施形態では、ユーザーがＴＴＬルーペ１５２を通して、ＴＴＬルーペ１５２の視野内のオブジェクトに重ねられたグラフィカル画像を見ることができるように、表示画面１１０は、ＴＴＬルーペ１５２を通って見ることができるように、ＴＴＬルーペ１５２の一方または両方内に組み込まれてもよい。ＨＭＤ １００は、処方眼鏡、保護眼鏡、レンズなしのフレーム、透明または保護シールドなど、任意のタイプの眼鏡フレームに取り付け可能であるように構成されうる。
表示画面１１０は、ハウジング１１８の場所の伸縮を提供する２アーム式摩擦ジョイント連結部１１２を通して便利な視覚的な参照を提供する位置に、ユーザーによって移動されうる。玉継ぎ手式ジョイント１１４は、連結部１１２とハウジング１１８との間に接続され、表示画面１１０の平面調整を提供する。玉継ぎ手式ジョイント１１４とハウジング１１８との間に接続されたピボットジョイント１１６は、ユーザーがハウジング１１８および接続された表示画面１１０を旋回させることを可能にする。それにより、表示画面１１０は、使用されていない時にユーザーの周辺視野外にフリップアップすることができる。
ＨＭＤ １００は、慣性センサーなどの動きセンサー、またはＨＭＤ １００を着用している間のユーザーの頭部の動きまたは静的配向の測定値を示す信号を出力するジャイロスコープ、加速度計（例えば、多軸加速度計）、および／または磁気計などの一つ以上の他のセンサーを含みうる。例えば、動きセンサーは、ヨー（すなわち、ユーザーの頭部の左または右への回転）、ピッチ（すなわち、ユーザーの頭部の上または下への回転）、および／またはロール（すなわち、ユーザーの頭部の横方向の傾き）を示す頭部の動き信号を出力してもよい。センサーは、ヘッドバンド１２０上に間隙を介してもよく、またはハウジング１１８内に囲まれてもよい。
ＨＭＤ １００は、処理およびリレーのためのビデオおよび／またはその他の画像を、処置を支援する他の人員によって着用された他のＨＭＤ １００に、他の表示装置に、および／または保存のためにビデオサーバーに出力する、ユーザーと反対の方向を向いた光学カメラ（例えば、検出器としての機能を果たす、または他の検出器に加えて）を含みうる。例えば、カメラは、ユーザーが表示画面１１０を調節してユーザーが快適に見られるよう調整した時に、ユーザーの視線と整列するように構成されうる。複数のカメラがＨＭＤ １００に接続されている場合、カメラからのビデオストリームは、カメラから見たオブジェクトまでの距離を推定する演算関数を提供できる。演算関数は、ビデオストリーム内で観察されるオブジェクトの角度オフセットおよびカメラ間の既知の距離に基づく、オブジェクトまでの距離の三角測量を含むことができる。
カメラ（または別の検出器）は、ユーザーの手または他のオブジェクトによってなされたジェスチャーを感知し、ジェスチャーを複数の定義されたコマンドの一つに対応するものとして認識し、コマンドの動作をトリガーするように構成されたジェスチャー解釈モジュールに接続されうる。ＨＭＤ １００は、受信した音声コマンドを複数の定義された音声コマンドのうちの一つに対応するものとして認識し、コマンドの動作をトリガーするように構成された音声解釈モジュールに接続されたマイクロホンを含みうる。
ヘッドバンド１２０は、慣性センサー、検出器（例えば、光学カメラ）、マイクロホンなどを取り外し可能に取り付けることができる複数の取付け点を有してもよい。取付け点のいくつかは、取り付けられた慣性センサー、検出器などの間で定義された物理的整列を維持するために、剛直な支持構造を持ちうる。
図２は、本開示の一部の実施形態に従い構成された、表示画面２１０および電子構成要素２１４（ハウジングなしで図示）を持つ別の例示的なＨＭＤ ２００の側面図を示す。表示画面２１０は、ユーザーの視線上またはユーザーの周辺視野内のすぐ隣接するＴＴＬルーペ１５２にあるように、電子構成要素２１４から下向きに延びる。電子構成要素２１４は、電子構成要素２１４および接続された表示画面２１０が図２に示す展開された位置にフリップダウンし、またユーザーが表示画面２１０を見るのを望まない場合に図２に示す保存位置までフリップアップするように、ピボット２１２を介してヘッドバンド１２０に接続される。
図３は、本開示の一部の実施形態に従い構成された、別の例示的なＨＭＤ ３００を示す。ＨＭＤ ３００は、電子構成要素を封入するハウジング３１８から下向きに延びる保護シールド３１０の後ろに図示された表示画面を含む。表示画面および／または保護シールド３１０は、周囲輝度の範囲の対象となる一方で、表示された情報の可視性を高めるために可変コントラストを提供するコーティングを含みうる。保護シールド３１０は、可変焦点（視度）を提供しうる。保護シールド３１０は、患者に面する表示画面の外部表面を覆うために、格納された上位置から保護する下位置（図３に示すように）にフリップダウンして、および処置中に発生する流体およびその他の材料から表示画面を保護する様に機能しうる。表示画面は、ハウジング３１８の伸縮による上下の調節を提供して、ユーザーが表示画面の位置を便利な視覚的参照を提供する位置にできるようにする、２アーム式摩擦ジョイント連結部３１２によって、ユーザーによって移動されうる。玉継ぎ手式ジョイント３１６は、連結部３１２とハウジング１１８との間に接続され、表示画面の平面調整を提供する。連結部３１２は、ピボットジョイント３１４を通してヘッドバンド１２０に接続され、ユーザーがハウジング３１８および接続された表示画面をフリップアップ／ダウンできるようにする。それにより、表示画面は、使用されていない時にユーザーの視線方向外またはユーザーの周辺視野外にフリップアップすることができる。
図４は、本開示の一部の実施形態に従い構成された、別の例示的なＨＭＤ ４００を示す。ＨＭＤ ４００は、電子構成要素を封入するハウジング４１８から下向きに延びる表示画面４１０を含む。表示画面４１０およびハウジング４１８は、表示画面４１０の平面調整を提供する玉継ぎ手式ジョイント４１６に接続される。玉継ぎ手式ジョイント４１６は、ハウジング４１８および接続された表示画面４１０を上下に旋回できるようにするピボット４１４に接続され、表示画面４１０は、使用されていない時に、ユーザーの視線方向外またはユーザーの周辺視野外にフリップアップできるようになる。ピボット４１４は、ヘッドバンド１２０に接続する摺動アーム４１２に接続される。摺動アーム４１２は、表示画面４１０が目から望ましい距離となるようにユーザーが配置できるようにする伸縮式調節を提供する。
図５は、ハウジング４１８を取り外して、それ上に取り付けられた電子構成要素（例えば、表示画面、検出器、および随意にマイクロホンおよび動きセンサー）と動作可能に接続されたプリント回路基板（ＰＣＢ）４５０を露出させた、図４のＨＭＤ ４００の正面図を示す。一部の電子構成要素は、表示画面４１０上に情報を表示するために使用され、一体型または遠隔にあるコンピュータ機器と組み合わせて、頭部の動きの感知および解釈、ユーザーの手、目またはその他のオブジェクトによってなされたジェスチャーの感知および解釈、および／または音声コマンドの感知および解釈をするために動作しうる。一部の実施形態では、ＰＣＢ ４５０は、ハウジング４１８のプロファイル断面を減少させるために、垂直に対して規定されたゼロ以外の角度に傾けられる。例えば、ＰＣＢ ４５０は、ハウジング４１８を横切ってほぼ対角線上に延びることができる。
図６は、ユーザーによる単眼での観察を提供する、眼鏡フレームに接続可能な単一表示画面を持つ別のＨＭＤ ５００を図示する。図７は、双眼での観察を提供するために、眼鏡フレームの両側に接続可能な一対の表示画面を含む別のＨＭＤ ５０２を示す。図６および７の表示画面は不透明なものとして図示されているが、代わりに、その上に表示される情報を見ながら、ユーザーが表示画面を通して見ることができるようにしてもよい。
図８は、特定の拡張現実ナビゲーションシステムの特定の例示的な機能性を示す。拡張現実ナビゲーションシステムにより、外科医またはその他のユーザーは、手術部位から目を離すことなく、あるいは外科手術環境を横切って、または患者に隣接した他の場所に取り付けられることのある物理的モニターを見るために遠くに焦点を合わせることなく、異なる医療情報の一つ以上の仮想ディスプレイ（図８に示す例では複数）を見ることができる。一部の実施形態では、外科医の頭部および対応するユーザーの見る視線のピッチに基づいて、仮想ディスプレイの三つの動作「モード」が選択的に起動される。三つの動作は、低（外科手術スペースで直接）、中、高（水平の目の高さ）といった三つの対応する視野角の範囲を通して、ＨＭＤ ７５０のピッチ角を増加させることによって別々に起動されうる。特定の実施形態では、外科医の視野角は、ＨＭＤ ７５０の動きセンサーによる頭部の動き信号出力から決定されうる。
フルスクリーン動作モードは、外科医が手術部位を見下げたことが（例えば、動きセンサーによって）判断された時にトリガーされることができ、これは、ピッチが第一のピッチ閾値（例えば、約−４５°）未満となった時に判定されうる。第一のピッチ閾値は、物理的ユーザーインターフェースなどを介して入力される音声コマンドに基づいて、外科医によって定義および／または調整されうる。フルスクリーン動作モードでは、拡張グラフィックを使用して、画定された一つのビデオストリーム（例えば、ＨＤＭＩ（登録商標）チャンネルを経由した主要ビデオストリーム）がＨＭＤ ７５０の表示画面７５２を通してフルスクリーンで表示される。外科医のプレファレンス設定は、外科医が認識されると（例えば、コンピュータ機器６２０を介したログインプロセスによるなど）、外科医のプレファレンス設定が自動的に引き出されうるように、コンピュータサブシステムのメモリ６３０内に保存された環境設定ファイルに、外科医の識別子と共に保存されうる。
図９は、頭部装着型ディスプレイ、コンピュータ処理装置６２０、および外科手術ビデオサーバー６５０（例えば、入力データストリームを提供する）に対するデータ入力および出力を処理するためのモジュール６００を含む、本明細書で開示した拡張現実ナビゲーションシステムの特定の実施形態による、例示的なコンピュータサブシステムの電子構成要素のブロック図である。ビデオサーバー６５０は、例えば、データネットワーク６４０を介して患者データベース６４２、撮像機器６４４、およびその他の電子機器６４６に接続することができる。ＨＭＤ ６００は、例えば、図１〜７のＨＭＤＳのいずれかに対応しうる。コンピュータ機器６２０は、ＨＭＤ ６００とは別個に図示されているが、コンピュータ機器６２０によって実行されるように本明細書で開示されている一部またはすべての動作は、ＨＭＤ ６００内に存在する一つ以上のプロセッサによって追加的または代替的に実施されうる。同様に、ＨＭＤ ６００によって実施されるものとして本明細書に開示される動作の一部は、追加的または代替的に、コンピュータ機器６２０内に存在する一つ以上のプロセッサによって実施されてもよい。
ビデオサーバー６５０は、患者データベース６４２、撮像機器６４４、およびその他の電子機器６４６およびＨＭＤ ６００の間で情報、ビデオストリームを受信、保存、および経路指定できる。本明細書で使用される場合、ビデオストリームは、表示装置に表示するために提供されうる任意のタイプの情報（例えば、デジタル写真）、連続した静止画像、所定のフレームレートで提供されるフレームを持つビデオを含みうる。ビデオストリームは、ナビゲーション情報を含んでもよい。撮像機器６４４は、撮像機器からの画像の組み合わせに基づいて、複数次元（例えば、３Ｄ）モデルを生成できる、内視鏡カメラ、磁気共鳴撮像機器、コンピュータ断層走査機器、三次元超音波機器、内視鏡機器、および／またはコンピュータモデリング機器を含みうる。患者データベース６４２は、患者の病歴に関連する情報を取り出すことができるように保存でき、撮像機器６４４を介して実施された以前の処置からの患者画像を保存することができる。その他の機器６４６は、例えば、血行動態信号、呼吸信号、および電気生理学的信号を含む、患者のリアルタイムモニタリングに関連する情報を提供しうる。
コンピュータ機器６２０は、ＨＭＤ ６００をビデオサーバー６５０に動作可能にインターフェースをとる。コンピュータ機器６２０は、ビデオサーバー６５０から、および／または撮像機器６４４、患者データベース６４２、および／または他の装置６４６から直接的に、複数（Ｎ）のビデオストリームおよび情報（例えば、テキスト記述、音声信号など）を同時受信できるビデオキャプチャカード６２２を含む。コンピュータ機器６２０は、無線エアインターフェース（例えば、３ＧＰＰ Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（ＬＴＥ）、ＷＬＡＮ（ＩＥＥＥ ８０２．１１）、ＷｉＭａｘなど）、ワイヤライン、光ファイバーケーブル、またはそれらの任意の組み合わせを含むがこれに限定されない任意の適切な通信媒体を使用して、無線および／または有線ネットワークインターフェース６２８を介して、ビデオサーバー６５０、ＨＭＤ ６００、およびシステムのその他の装置と通信しうる。図９の例示的な実施形態では、ビデオキャプチャカード６２２は、四つのＨＤＭＩインターフェースを介して最大四つのビデオストリームを同時に受信する。一部の実施形態では、ＨＭＤ ６００は、動きセンサー６０４および／またはジェスチャーセンサー６０２に接続されたＨＤＭＩケーブル、ＵＳＢまたはＲＳ ４２２ケーブル、およびカメラ６１０に接続されたＵＳＢ ３．０またはＦｉｒｅＷｉｒｅケーブルを介して、コンピュータ機器６２０に通信可能に接続される。ジェスチャーセンサー６０２は、動きセンサー６０４、検出器６１０、またはジェスチャーを検出および処理するための別個のセンサーであってもよい。マイクロホン６１２は、コンピュータ機器６２０に接続されうる。別の方法として、ビデオおよび／またはセンサーのシグナル伝達は、ネットワークインターフェース６２８などの無線エアインターフェースを通してＨＭＤ ６００およびコンピュータ機器６２０の間で通信されうる。
ＨＭＤ ６００は、ユーザーが見るために表示画面６０８上のビデオおよびその他の画像を処理および表示する表示モジュール６０６を含む。ビデオキャプチャカード６２２によって受け取られたビデオストリームは、グラフィック処理ユニット（ＧＰＵ）６３８によって処理され、表示ドライバー６１４によって調整され、表示画面６０８上に表示するために表示モジュール６０６に供給される。シンボル発生器６２４は、ビデオサーバー６５０から受信した情報（例えば、患者データベース６４２を介して）に基づいて、ＨＭＤ
６００に供給されるビデオストリームに図式的な印および／またはテキスト情報を追加してもよい。
表示ドライバー６１４は、コンピュータ機器６２０またはＨＭＤ ６００内に常駐してもよい。一部の実施形態では、表示ドライバー６１４は、ＧＰＵ ６３８からＨＤＭＩインターフェースを介してビデオを受信し、デジタル映像信号を低電圧差動信号伝送方式（ＬＶＤＳ）として出力されるアナログ映像信号に変換して、表示モジュール６０６を表示する。表示ドライバー６１４はまた、ＬＥＤドライブ信号を介して電力および／または他のシグナル伝達を表示モジュール６０６に提供することができる。
ＨＭＤ ６００は、ビデオおよび／またはその他の画像を、図９ではＨＤＭＩケーブルとして図示した無線および／または有線ネットワークインターフェース６２８を介して、処理およびリレーのためにＧＰＵ ６３８に、保存のためにビデオサーバー６５０に、また可能性としてさらなるリレーを処置を補助する他の人員によって着用されるその他のＨＭＤＳ ６００に出力する、着用者とは反対向きの検出器（例えば、光学カメラ）６１０、または複数の検出器６１０を含むことができる。例えば、検出器６１０は、着用者が表示画面６０８を調節して着用者が快適に見られるよう調整した時に、着用者の視線と整列するように構成されうる。特定の実施形態では、検出器６１０からの映像信号は、コンピュータ機器６２０を通して処理でき、処置中に着用者が何を見ているかを記録するためにビデオサーバー６５０に供給でき、および／または人員がどのように見ているかを観察できるように、処置を補助する人員によって着用された他のＨＭＤＳ ６００にリアルタイムのビデオストリームとして供給できる。検出器６１０からの映像信号は、例えば、（別の着用者によって着用されるＨＭＤの）表示画面に表示される拡張グラフィックが、映像信号および一つ以上のシンボルの両方を含むように、シンボル発生器６２４によって一つ以上の指定シンボルを用いて増大されうる。一つ以上のシンボルを含む拡張グラフィックは、例えば、ビデオストリームの供給源として第一の着用者を識別してもよく、および／または患者の解剖学的構造などの観察された特徴を特定するために、着用者によってビデオストリームに追加されてもよい。
ＨＭＤ ６００は、動きセンサー６０４および／またはジェスチャーセンサー６０２を含みうる。動きセンサー６０４は、ＨＭＤ ６００の着用中のユーザーの頭の動きの測定値を示す頭部の動き信号を出力する、慣性動作ユニット（ＩＭＵ）、ジャイロスコープ、加速度計（例えば、多軸加速度計）、および／または傾斜センサーでもよい。動きセンサー６０４は、コンピュータ機器６２０によって電力供給されてもよく、またＲＳ−４２２シリアルデジタルインターフェースなどの通信インターフェースを介して頭部の動き信号を出力してもよい。例えば、動きセンサー６０４は、ヨー運動（すなわち、ユーザーの頭部の左または右への回転）、および／またはピッチ運動（すなわち、ユーザーの頭部の上または下への回転）を示す頭部の動き信号を出力してもよい。
動きセンサー６０４は、ソースをもたない配向センサーであってもよい。動きセンサーによる頭部の動き信号出力は、ＨＭＤ ６００によって、および／またはコンピュータ機器６２０によって処理され、動きセンサー６０４によって導入されたドリフトエラーを補正しうる。一部の実施形態では、頭部の動き信号の一方向の基準構成要素（例えば、ヨー）は、頭部の動き信号の別の基準構成要素（例えば、ピッチ）に応答して、定義された値の閾値オフセット内とあるようにゼロに向けて補正される。例えば、頭部の動き信号におけるヨードリフトエラーは、ユーザーの目をオブジェクトと整列するために（例えば、外科医が患者の手術部位を反復的に見る時）、ユーザーが所定のピッチで見下げている間（例えば、ピッチは定義された値の閾値範囲内である）に、動き信号のヨー値をモニタリングすることに基づいて決定できる。一部の実施形態では、外科医が少なくとも閾値時間（この時間は外科医が視覚的に手術部位に集中していることを示す）だけ見下げていることを示す、頭部の動き信号のピッチ成分に応答して、コンピュータ機器６２０は、ＨＭＤ ６００がヨー軸および計算値に沿って安定化されると仮定し、定義された時間にわたるヨー成分の測定された変化に基づき、ヨードリフトエラーを計算する。次に、頭部の動き信号が補正され、決定されたヨードリフトエラーが除去される。一部の実施形態では、コンピュータ機器６２０は、外科医の頭部がヨー軸に沿って安定化されていると仮定して、表示画面に静止画像が表示されている間、頭部の動き信号のヨー成分のドリフトを測定した後、外科医の頭部の動き信号を補正して、測定されたドリフトをヨー成分で除去する。
頭部の動き信号は、ＨＭＤ ６００によって、および／またはコンピュータ機器６２０によって処理されて、動きが参照される一つ以上の方向基準成分の起源を識別しうる。例えば、ヨーが測定される起源位置は、ユーザーの目をオブジェクトと整列するために（例えば、外科医が患者の手術部位を反復的に見る）、ユーザーが所定のピッチで見下げている間の頭部の動き信号のヨー成分の平均（例えば、中央値、またはモード）に基づいて特定されうる。
ドリフトエラーの補正をトリガーするように定義されている、および／または運動測定の基準点として定義されている、頭部の動き信号の方向基準（例えば、ピッチまたはヨー）は、閾値時間（例えば、ドゥエル時間）にわたりＨＭＤ ６００が実質的に一定の配向を維持することに基づいて識別されうる。例えば、外科医が、閾値時間の間に患者の手術部位を見るときに、比較的一定の頭位置が維持されている時、ドゥエル時間中の頭部の動き信号の方向基準（例えば、ピッチまたはヨー）は、仮想表示パネル（例えば、図８に図示）および／またはその他の拡張グラフィック（例えば、患者の解剖学的構造など、物理的なオブジェクトに重ね合わせて表示されるもの）を表示するための基準原点として設定するための基礎として使用されうる。一部の実施形態では、頭部の動き信号は、外科医が、毎回同じ手術部位を見下ろして、患者上の同じ場所で頭部を視線の中心に固定させている時にほぼセロであることが期待される頭部の動き信号により供給される、ヨーおよび／またはピッチの疑似測定値に基づき、時間経過に伴い蓄積されるヨードリフトおよび／またはピッチドリフトを発生させるジャイロスコープバイアスを予測するために、ＨＭＤ ６００および／またはコンピュータ機器６２０によって処理されうる。
ジェスチャーセンサー６０２は、ユーザーによって行われるジェスチャーを感知できる任意のタイプのセンサーを含みうる。外科手術環境では、外科医またはその他の手術室要員からジェスチャーによる指令を受けるためのジェスチャーセンサー６０２の使用は、ユーザーがＨＭＤ ６００またはその他の装置の非滅菌表面に触れる必要性を回避するという理由で有利でありうる。ジェスチャーセンサー６０２は、ユーザーの手、指、腕、または、動作外科手術プログラム（ＯＳＰ）６３２および／または別の構成要素によって識別可能なコマンドを定義することをユーザーが知っている経路に沿ってユーザーが移動するその他のオブジェクトを表示する信号（例えば、ＲＧＢ−Ｄビデオ）を出力する検出器６１０であってもいか、またはそれを含んでもよい。検出器６１０または別のカメラは、ユーザーからのコマンドを発生させて表示画面６０８上に何が表示されるかを制御するために、ユーザーの目のドゥエル時間、瞬き時間、および／または目の運動を識別するために、ユーザーのどちらか一方の目の方向に方向付けられてもよい。
ジェスチャーセンサー６０２は代替的または追加的に、一つ以上の光電動作および／または近接センサーを含みうる。一部の実施形態では、ジェスチャーセンサー６０２は、一つ以上の赤外線エミッターと、一つ以上のフォトダイオード（例えば、その少なくとも一部分はナビゲーションのための検出器として追加的に機能しうる）のうちの一つ以上を有する。例えば、隣接する赤外線エミッターおよびフォトダイオードの対は、アレイに隣接したユーザーの手の存在を感知するため、および／またはユーザーの手がアレイを横切って移動するときの運動の方向を検知するように、ＨＭＤ ６００のハウジングから外側を向いた方向性のアレイを形成するように、間隙を介して配置される。ユーザーは、例えば、アレイを横切って第一の方向に手をスワイプし（ハウジングに触れることなく）、プロセッサ６２６によってＯＳＰ ６３２プロセスによって認識される第一のタイプのジェスチャーを入力する（これによりＯＳＰ ６３２による第一のタイプの演算が発生）、アレイを横切って第一の方向とほぼ反対の第二の方向に手をスワイプし、ＯＳＰ ６３２によって認識される第二のタイプのジェスチャーを入力する（これによりＯＳＰ ６３２による第二のタイプの演算が発生）、アレイを横切って第一の方向とほぼ直角に第三の方向に手をスワイプし、ＯＳＰ ６３２によって認識される第三のタイプのジェスチャーを入力する（これによりＯＳＰ ６３２による第三のタイプの演算が発生）、以降、ＯＳＰ ６３２による別のタイプの演算を発生させるためにユーザーによって提供される他のタイプのジェスチャーとして識別可能な他の移動方向で、同様な操作をしうる。
一部の実施形態では、ジェスチャーセンサー６０２は、ユーザーの手から信号エコー反射を感知し、手の動きによって形成されるジェスチャーを識別するプロセッサ６２６に信号を出力する超音波エコー測距トランスデューサを含む。一部の実施形態では、ジェスチャーセンサー６０２は、電荷プレートとユーザーの手の間の静電結合を通してユーザーの手の存在を感知する静電容量センサーを含む。複数の容量センサーは、ジェスチャーセンサー６０２を形成するように間隙を介して、電荷プレートの配列に対するユーザーの手の移動の方向を検出するように構成されてもよい（例えば、プレートがユーザーの手への結合の増大を経験する順序を感知する）。動作のためにユーザーによって選択された異なるコマンドを表現するため、感知された異なる移動方向は、ＯＳＰ ６３２および／またはシステムの別の構成要素によって解釈されうる。
ＨＭＤ ６００は、ユーザーからの音声コマンドを受信するように構成されたマイクロホン６１２を含みうる。ＯＳＰ ６３２および／またはシステムの別の構成要素を実行するプロセッサ６２６は、複数の定義された音声コマンドのうちの一つに対応する受信した音声コマンドを認識し、認識された音声コマンドに対応するコマンドのトリガー動作を引き起こし、表示画面（すなわち、拡張グラフィックを介して）に表示される情報（例えば、ナビゲーション情報）を制御するように構成されうる。
一部の実施形態では、検出器６１０からの映像信号は、ＨＭＤ ６００の表示装置６０８上に表示され、プロセッサ６２６によって処理されるシンボル発生器６２４はＯＳＰ ６３２との組み合わせで、外科医によってビデオストリームの平面内に配置されうる軌道選択ガイダンス拡張グラフィック（例えば、十字線などのレチクル）を表示しうる（例えば、マイクロホン６１２を介した音声コマンドまたはジェスチャーセンサー６０２を介してジェスチャーの認識に応答して）。このようにして、外科医は、自然な視野を手術部位に向けることができ、対象となる軌道選択ガイダンス拡張グラフィック（例えば、患者の解剖学的構造における）を操縦し、軌道選択ガイダンス拡張グラフィックによって示される対象の位置および／または配向（例えば、軌道）を表すデータのキャプチャをトリガーする。例えば、患者の解剖学的構造に登録された拡張現実ナビゲーションシステムを使用することで、軌道の計画は、軌道選択ガイダンス拡張グラフィックの配向および／または位置付け（例えば、外科医の頭部の移動または拡張グラフィックの移動による）によって、および軌道選択ガイダンス拡張グラフィックによって示される位置および／または配向を捕捉するユーザー入力を提供することによってなされうる。軌道選択ガイダンス拡張グラフィックは、表示画面上の所定位置に固定されてもよく、または移動可能であってもよい。一部の実施形態では、このような対象のポイントを決定するためにポインタツールが使用される。
図１０は、患者の解剖学的構造、手術用器具８００および／または外科手術装置（例えば、外科手術手順の一部として使用されるインプラント、またはその他のオブジェクト）の位置を追跡する、位置追跡システム８１０（例えば、頭部装着型ディスプレイに取り付けられた一つ以上の検出器および、随意に、手術室内にある間隔を置いたカメラ）を含む、拡張現実外科手術システムの構成要素のブロック図である。一般に、（例えば、頭部装着型ディスプレイ上に取り付けられた）検出器によって識別できる現実世界の特徴を含む任意のオブジェクトは、本明細書に開示された実施形態による拡張現実ナビゲーションシステムを用いて追跡およびナビゲーションでの使用ができる。特定の実施形態では、コンピュータサブシステム８２０は、撮像機器８３０から患者データを使用して２次元（２Ｄ）または３次元（３Ｄ）モデルを生成する。撮像機器８３０には、Ｘ線装置、内視鏡カメラ、磁気共鳴撮像機器、コンピュータ断層走査機器、三次元超音波機器、内視鏡機器、および／または患者の標的部位の多次元（例えば、２Ｄまたは３Ｄ）モデルを生成できるコンピュータモデリング機器が含まれうるが、これらに限定されない。患者データは、撮像機器８３０からのリアルタイムフィードおよび／または保存されたデータを含むことができ、また特定の患者に特有の解剖学的データベース、またはヒトについての一般的な解剖学的データベースを含みうる。
モデルは、患者モデルの現実世界の特徴の表現の仮想的位置と、現実世界の特徴の物理的位置（例えば、患者の身体上）との間の相関付け（例えば、登録）の実施を支援する、現実世界の特徴の表現を含みうる。コンピュータサブシステム８２０は、（ｉ）一つ以上の現実世界の特徴を検出することによって位置追跡システム８１０により得られたＨＭＤ
１００、手術部位８０４、手術用器具８００、および／または手術用器具８０２の現在位置と、（ｉｉ）患者モデルに含まれる現実世界の特徴表現とを使用して、患者モデルをＨＭＤ １００の着用者の現在の透視図に変換することができる。次に、変換された患者モデルの一部またはすべてを、拡張グラフィックを使用してＨＭＤ １００の表示画面上に表示し、例えば、外科医に対して、手術部位８０４または患者のその他の標的位置の上に、拡張グラフィカルオーバーレイを正確な配向および尺度で提供できる。
コンピュータサブシステム８２０は、ＨＭＤ １００の表示画面１１０上の患者モデル、手術用器具および／または外科手術装置を表現する拡張グラフィックとしうる。拡張グラフィックは、外科手術の少なくとも一部分の間、そうでなければ外科医が見ることができない手術用器具および／または外科手術装置の部分（例えば、患者の皮膚などの患者の解剖学的構造によって覆われる）でもよい。コンピュータサブシステム８２０は追加的に、表示された患者モード、ツールおよび／または外科手術装置の動きをアニメ化する（例えば、手術部位８０４の定義された位置または患者の体のその他の標的位置に対して計画された手順を描く）ように構成されうる。ＨＭＤ １００は、無線トランシーバおよび／または有線ネットワークインターフェースを介して、コンピュータサブシステム８２０に通信可能に接続されうる。
コンピュータサブシステム８２０は、ＨＭＤ １００上の検出器（例えば、カメラ）からの検出器入力信号（例えば、ビデオストリーム）内のオブジェクトのパターンを、患者モデルの現実世界の特徴のパターンと比較して、対応レベルを識別しうると共に、比較対象物間の対応閾値レベルの識別に応答して患者モデルの変換を制御しうる。例えば、患者の手術中にＨＭＤ取り付けカメラによって取り込まれたリアルタイム動画は、コンピュータサブシステム８２０によって処理され、例えば、撮像機器８３０の補助検出器などの一つ以上の他のソースによって取り込まれた動画と比較されうる。パターンマッチングは、本手順に関連する外科医によって定義されるオブジェクトまたは一組のオブジェクトの性質に拘束されうる。
コンピュータサブシステム８２０は、パターンマッチングに基づき（例えば、補助撮像機器からの検出器入力信号と比較して、または比較することなく）、拡張グラフィックを使用して、表示画面１１０に表示するための患者モデルの変換を制御できる。コンピュータサブシステム８２０は、患者上の対応する位置を識別するにあたり外科医を補助するために、ＨＭＤカメラからの映像内で識別されたオブジェクトと整列させた印（例えば、十字線または色マーカー）を表示画面１１０上に表示しうる。一実施形態では、コンピュータサブシステム８２０は、解剖学的オブジェクトの一つのパターンと、ビデオカメラからの動画ストリームの一つのパターンとの間の対応閾値レベルの識別に応答して、回転し拡大縮小された３次元解剖学的モデルからの、表示画面１１０上に表示された解剖学的オブジェクトの一つと整列して、図式的な印を表示画面１１０上に表示する。
コンピュータサブシステム８２０は、患者データベースおよび他の電子機器から他のデータおよびビデオストリームを同様に受信することができ、これは拡張グラフィックを使用してＨＭＤ １００の一つ以上の表示画面上に選択的に表示されうる。本明細書で使用される場合、ビデオストリームは、表示用の表示装置に提供されうる任意のタイプの情報（例えば、デジタル写真）、静止画像の配列、画定されたフレームレートに提供されるフレームを持つビデオを含みうる。コンピュータサブシステム８２０は、例えば、血行動態、呼吸器、および電気生理学的信号を含む、患者の病歴および患者のリアルタイムモニタリングによって得られたデータに関連する患者の健康情報を取得できる。こうした情報は、拡張グラフィックを使用して表示画面上に表示することができ、さらに仮想表示画面上に表示することができ、または外科手術環境内のオブジェクト（例えば、患者の解剖学的構造または外科手術機器）上に重ね合わせることができる。
特定の実施形態では、コンピュータサブシステム８２０は、接続されたＨＭＤ １００から物理的に分離（例えば、遠隔）される。一部の実施形態では、コンピュータサブシステム８２０によって実行されるものとして本明細書で開示される動作の一部またはすべては、ＨＭＤ １００内に存在する一つ以上のプロセッサによって追加的または代替的に実施される。一部の実施形態では、ＨＭＤ １００によって実行されるものとして本明細書で開示される動作の一部またはすべては、コンピュータサブシステム８２０内に存在する一つ以上のプロセッサによって追加的または代替的に実施される。
図１１は、本開示の一部実施形態による、拡張現実外科手術システムの電子構成要素のブロック図である。図１１を参照すると、ナビゲーションシステム８１０は、例えば、手術台９０４を識別する、および／またはそれに取り付けられた現実世界の特徴、患者９０６を識別する、および／またはそれに取り付けられた現実世界の特徴（例えば、外科手術またはその他の標的部位に隣接して）、手術用器具および／または外科手術装置（例えば、インプラント）および／またはロボット外科手術システム９０８を識別する、および／またはそれに取り付けられた現実世界の特徴、随意に、ＨＭＤ ９１０に取り付けられた実際の現実世界の特徴、のうちの少なくとも一つを追跡する少なくとも一つの検出器９０２を含みうる。一部の実施形態では、ナビゲーション（例えば、追跡）に使用される検出器は、ＨＭＤ専用に取り付けられる（すなわち、補助検出器は使用されない）。これらの実施形態では、ロボット外科手術システムおよび患者、また随意に患者モデルが登録されている体積は、少なくとも一時的にＨＭＤに取り付けられた検出器の視野内にある体積によって画定される。一部の実施形態では、ＨＭＤに取り付けられていない補助検出器が、ナビゲーションに使用される。例えば、一部の実施形態では、少なくとも一つの検出器９０２は、手術室内の定義された位置で間隙を介している複数のカメラを含み、それぞれが追跡されるオブジェクトを観察できる視野を持つ。図示した例では、カメラシステム９０２は、既知の距離および相対的な配向によって間隙を介した二組のカメラを含む。ナビゲーションシステム８１０は、例えば、限定されないが、能動的な光学的現実世界の特徴（例えば、光放射源）または受動的な光学的現実世界の特徴（例えば、光反射器）を使用しうる。ナビゲーションシステム８１０は、追加的または代替的に、電磁場または放射線に基づくナビゲーショントラッキング、超音波に基づくナビゲーショントラッキング、またはこれらに類するもの（例えば、頭部装着型ディスプレイおよび／または補助検出器のタイプに従属する検出器のタイプ）に応じて使用しうる。
一部の実施形態では、ＨＭＤ １００の位置決めデータは、ＨＭＤ ９１０に取り付けられた現実世界の特徴の位置から決定されたナビゲーション座標系データ、および／またはＨＭＤに取り付けられた動きセンサーからの慣性座標系データを含みうる。一部の実施形態では、ナビゲーション座標系データおよび慣性座標系データは、較正モジュール９１２によって初期較正および時間経過に伴うドリフト補正について補正され、融合モジュール９１４によって組み合わされて組み合わされたＨＭＤ位置データを出力することができる。較正構成要素および融合構成要素は、コンピュータサブシステムのモジュールであってもよい。
相対位置決めモジュール９１６は、追跡された現実世界の特徴９０４〜９１０のそれぞれについての相対位置および角度方向、および組み合わされたＨＭＤ位置データを識別する。相対位置決め構成要素は、コンピュータサブシステムの構成要素であってもよい。モジュール９１６は、例えば、手術台、患者、手術用器具（および／またはポインタツール）、およびＨＭＤ １００の相対座標系を、統一（共通）座標系へ座標変換しうる。一部の実施形態では、相対位置決めモジュール９１６は、目視座標データ、患者モデル座標データ、およびツール座標データを、拡張グラフィック生成モジュール９１８および／またはロボット外科手術システムに出力する。拡張グラフィック生成モジュール９１８は、拡張現実ナビゲーションシステムのコンピュータサブシステムの一部であってもよい。目視座標データは、統一座標系に変換済みの組み合わせられたＨＭＤ位置データに基づいて生成されうる。一部の実施形態では、ＨＭＤの空間位置（例えば、ＨＭＤに取り付けられた検出器の位置など、ＨＭＤ上の位置）が、統一座標系の原点となり、さまざまな現実世界の特徴から決定される追加的な空間座標は、その位置を原点として使用して統一座標系を使用してＨＭＤに登録される。したがって、一部の実施形態では、外科手術手順全体を通してＨＭＤの移動を考慮する登録が更新され［例えば、連続的に（例えば、特定のリフレッシュレートで）］、それにより、外科手術環境の物理的空間における統合座標系の原点の位置が変更される。ＨＭＤの移動は、動きセンサーによって決定されてもよく、または固定位置の現実世界の特徴（例えば、手術台によって識別されるかまたは手術台に取り付けられた現実世界の特徴）の変化であってもよい。患者モデル座標データは、患者９０６から識別された、または患者９０６に取り付けられた現実世界の特徴の位置および／または配向（統一座標系に変換されたもの）に基づいて生成されうる。ツール座標データは、手術用器具９０８から識別された、または手術用器具９０８に取り付けられた現実世界の特徴の位置および／または配向（統一座標系に変換されたもの）に基づいて生成されうる。ツール座標データは、手術用器具９０８から識別された、または手術用器具９０８に取り付けられた現実世界の特徴の位置および／または配向（統一座標系に変換されたもの）に基づいて生成されうる。一部の実施形態では、ロボット外科手術システムデータおよびツール座標データは等価である（すなわち、例えば、手術用器具がロボット外科手術システムに取り付けられている時に、一つの座標系が手術用器具とロボット外科手術システムのために同時に使用される）。
特定の実施形態では、拡張グラフィック生成モジュール９１８は、患者モデル（例えば、医療画像データに由来する）を、ＨＭＤ １００の着用者の現在の透視図に変換（例えば、拡大縮小、回転、並進）する（例えば、表示画面１１０のＦＯＶ内の対応するオブジェクトにマップされる）。同様に、一部の実施形態では、例えば、ロボット外科手術システム、手術用器具、外科手術装置、または同一の軌道のモデルは、拡張グラフィック生成モジュールによって変換されてもよい。一部の実施形態では、グラフィック拡張発生モジュール９１８は、変換された患者モデルに基づいて生成された動画を、手術部位８０４またはその他の場所でのグラフィカルオーバーレイとして、着用者が現在見ており、かつ患者モデルによってモデル化された対応するオブジェクトを含む、患者の対応する位置に、動的に配向および拡大縮小がなされる仮想モデルとして、ＨＭＤ １００の表示画面に提供しうる。
例えば、一部の実施形態では、拡張グラフィック生成モジュール９１８は、変換した患者モデルの任意の部分に対応する表示画面１１０を通して外科医が（例えば、同じＨＭＤに取り付けられた検出器を使用して）見ている視野内に、患者の体の任意の部分が現在あるかどうかを決定する。一部の実施形態では、変換（例えば、拡大縮小、並進、回転）した患者モデルの一部が、外科医の視野内にある患者の体の一部に対応する時、画像生成装置９１８は、変換した患者モデルの対応する部分に基づき、表示画面１１０に表示される拡張グラフィックを生成し、一方で変形した患者モデルの部分を並進および／または回転し、変換した患者モデルの部分のサイズを拡大縮小して、例えば、患者から撮像したオブジェクト、または解剖学的データベースなどの別のソースからモデル化されたオブジェクトについての正確に拡大縮小されたグラフィカル表現を提供する。
よって、例えば、一部の実施形態では、ＣＴ画像データによってモデル化された患者の骨を有する身体部分が表示画面１１０の視野内（例えば、表示画面１１０と同じＨＭＤに取り付けられた検出器の視野内）になるように外科医が頭部を回転させたとき、拡張グラフィック生成モジュール９１８は、患者の骨モデルを変換して、あたかも外科医が組織および／または器官の介在レイヤーを通して骨を見ることができるかのように、外科医の視点から骨の配向およびサイズと一致するグラフィカルオーバーレイとして表示画面１１０に表示される、骨の拡張グラフィカル表現を生成する。同様に、一部の実施形態では、手術用器具の少なくとも一部、外科手術装置の少なくとも一部、および／またはロボット外科手術システムの少なくとも一部分（例えば、患者の解剖学的構造によって覆われる）は、一部の実施形態では、拡張グラフィックを使用する外科医に対する物理的オブジェクトの配向およびサイズと一致するものとして表現されうる。
ブロック９２０の例示的な例では、例えば、脚のＣＴスキャンに基づいて生成された脚骨モデルは、脚の皮膚表面上に重ねられた脚骨９２２の拡張グラフィックを見たときに、脚骨に対して正確な配向およびサイズ（例えば６自由度の位置付け）を持つように変換され、表示画面１１０上に表示される。この例では、従って外科医は、図示された脚骨モデルの表現が重ねて表示された、ＨＭＤ １００の半透明の表示画面１１０を通して脚の皮膚表面を見る。
図１１では、脚骨９２２の拡張グラフィックは、脚の皮膚表面に重ね合わせた位置に表示されるものとして図示されているが、拡張グラフィック９２２は、外科医によって制御可能な他の場所に表示されてもよい。外科医は、例えば、グラフィカル表現９２２が、脚の上方または下方の画定されたオフセット距離に表示されるように選択しうる。さらに、外科医は、表示された拡張グラフィック９２２の脚に対するサイズを制御しうる。外科医は、例えば、特定の詳細を見るために拡張グラフィック９２２を一時的に拡大した後、拡張グラフィック９２２を脚に合わせた大きさで整列した状態に戻してもよい。さらに、拡張グラフィック９２２は、手術部位の近くに浮かんで表示される仮想表示画面上に表示されて見えるように修正しうる。拡張グラフィック９２２はまた、手術用器具の一部分、外科手術装置の少なくとも一部分、ロボット外科手術システムの少なくとも一部分、および／またはそれらの任意の軌道を、患者の脚の上に重ねて、または仮想表示画面内のどちらに表示するかについても変更されうる。
［外科手術における拡張現実ナビゲーションシステムの使用］
本明細書に開示される実施形態による拡張現実ナビゲーションシステムは、処置の間のナビゲーションを提供および／または支援するために、外科手術を実施する方法において使用されうる。そのため、特定の実施形態において、ナビゲーション入力データは、ロボット外科手術システムに供給されるか、ロボット外科手術システムから取得されるか、またはその両方ができる。一般的に、本明細書に開示される方法では、頭部装着型ディスプレイに装着された（例えば、取り付けられた）少なくとも一つの検出器は、少なくとも一つの検出器によって検出された現実世界の特徴に基づくナビゲーションに使用される座標系を決定するために使用される。一部の実施形態では、拡張現実ナビゲーションシステムは、そうでなければ外科医の自然な視野から見えない、手術用器具、外科手術装置、および／またはロボット外科手術システムの一部を示す拡張グラフィックを表示する。手術用器具は、ロボット外科手術システム（例えば、それに取り付けられたツールガイドを介して）に取り付けられるか、またはその中へと挿入されうる。一部の実施形態では、拡張現実ナビゲーションシステムは、ロボット外科手術システムからナビゲーション入力データ（例えば、ロボット外科手術システムの位置および／または配向、その上に保存されたか、それによって生成されたモデル、および／またはロボット外科手術システムによって追跡可能な一つ以上の軌道を含む）を受信する。一部の実施形態では、拡張現実ナビゲーションシステムは、ロボット外科手術システムが追跡可能な軌道を画定するために、ポインタツールと併せて使用される。ポインタツールは、ロボット外科手術システムに取り付けてもよく、それに挿入されてもよい。一部の実施形態では、拡張現実ナビゲーションシステムは、ロボット外科手術システムが追跡可能な軌道の決定にグラフィックを使用するために、軌道選択ガイダンスの拡張グラフィックを表示するように構成される。
本明細書に開示される方法およびシステムは、ロボット外科手術システムと併用して、特定のロボット外科手術システムを使用した外科手術を実施できる。特定の実施形態では、特定の外科手術手順の部分またはすべては、ロボット外科手術システムを使用することなく実施される。例えば、外科医によって「フリーハンド」式で操作されうる一つ以上の手術用器具は、外科医によって保持されてもよく、あるいはロボット外科手術システムに接続されていない装置によって保持されてもよい。こうしたフリーハンド操作は、ロボット外科手術システムによって（例えば、自動的に）実施されるか、またはロボット外科手術システムの支援を受けて実施される任意の行為と同時に、前に、後に、またはその代わりに発生しうる。こうした場合において、本開示の一つ以上の実施形態による拡張現実ナビゲーションシステムは、任意の手術用器具またはインプラントのフリーハンド操作に関連するナビゲーション情報を表示でき、これには、こうしたインプラントまたは手術用器具の追跡および軌道計画（例えば、追加的および／または補助的なナビゲーションサブシステムを使用して、または使用せずに）などがある。当業者であれば、下記の例示的な方法において、ロボット外科手術システムに取り付けられているか、またはロボット外科手術システムに挿入されている手術用器具に対する言及がなされる場合、説明されている特定の例示的な方法で使用されている拡張現実ナビゲーションシステムでは、外科医によって保持されるツールについても、同様の機能を同様に実施することができるようにすることが可能であることが理解される。
ここで図１２に示すブロックフロー図を参照すると、例示的方法１２００は、本開示の一部実施形態による、拡張現実ナビゲーションシステムを使用する方法である。例示的方法１２００は、拡張現実ナビゲーションシステムが手術用器具（例えば、ロボット外科手術システムに取り付けられるか、またはロボット外科手術システムに挿入される）および／またはその軌道を表現する拡張グラフィックを表示するために使用される方法である。このような例示的方法は、例えば、ロボット外科手術システムに直接的または間接的に取り付けられた外科手術装置（例えば、インプラント）の少なくとも一部を表す拡張グラフィックを表示するようにも適応されうることが理解される。例えば、ねじなどのインプラントは、ロボット外科手術システムに取り付けられるドリルビットに取り付けられうる。装置は、一つ以上の現実世界の特徴（例えば、それに取り付けられたフィデューシャル）を含んでもよい。例示的方法１２００の計算ステップは、拡張現実ナビゲーションシステムのコンピュータサブシステムによって実施されてもよい。
ステップ１２０２では、拡張現実ナビゲーションシステムの頭部装着型ディスプレイに取り付けられた一つ以上の検出器が、拡張現実ナビゲーションシステムのコンピュータサブシステムによって受信される検出器入力信号を生成する。検出器入力信号は、患者の解剖学的構造（例えば、実施される外科手術に関連する）の少なくとも一部分を含む一つ以上の検出器の視野を表す（例えば、実施される外科手術に関連する）。ステップ１２０４では、検出器入力信号内の一つ以上の現実世界の特徴の相対位置および／または配向（すなわち、検出器入力信号によって表される視野内での）が決定される。相対位置および／または配向は、リアルタイムで決定されてもよく、または拡張現実ナビゲーションシステムおよび外科手術環境の登録（例えば、拡張現実ナビゲーションシステムと、例えば、患者、手術用器具、およびロボット外科手術システムなどの外科手術環境内のオブジェクトとの間の登録）によって得られた統一座標系で表現された絶対位置および／または配向としてもよい。検出器入力信号は、コンピュータサブシステムによって、拡張現実ナビゲーションシステムの頭部装着型ディスプレイに取り付けられた一つ以上の検出器から、第二の拡張現実ナビゲーションシステムの頭部装着型ディスプレイに取り付けられた一つ以上の検出器から、および／または外科手術環境全体に配置された一つ以上の補助検出器から受信されうる。ステップ１２０６では、手術用器具のロボット外科手術システムおよび／または軌道（例えば、実際の軌道または計画軌道）に接続および／または挿入された手術用器具の少なくとも一部分の表現が生成される、および／またはそれへのアクセスがなされる。手術用器具の少なくとも一部分は、拡張現実ナビゲーションシステムを使用している外科医の自然な視野から隠されてもよい。ステップ１２０８では、表現は、ステップ１２０４で決定された一つ以上の現実世界の特徴の相対位置および／または配向によって修正（例えば、拡大縮小、並進、および／または回転）される。ステップ１２１０では、表現に対応する拡張グラフィックがレンダリングされ、拡張現実ナビゲーションシステムの頭部装着型ディスプレイの表示画面上に表示される。随意に、拡張グラフィックが、手術用器具（例えば、手術用器具全体）のより大きな部分の表現を表示して、一部のツールが非表示で、一部のツールは非表示にならないように、外科医の自然な視野から非表示ではない手術用器具の少なくとも一部分も表示されてもよい。こうした方法は、外科手術装置（例えば、インプラント）にも使用されうる。同様に、手術用器具拡張グラフィックは、物理的に存在しない（例えば、ロボット外科手術システムにまだ挿入されていない）手術用器具（またはその一部分）を示すためにも使用できる。さらに、一部の実施形態では、外科医が処置の少なくとも一部分の間に、器具が軌道に沿ってどのように移動するかを見ることができるように、手術用器具および／またはその軌道の位置を、拡張グラフィックを使用して一定期間にわたり視覚化することができる。
表現の生成および／またはアクセスのステップは、対象の手術用器具に対応する一つ以上の現実世界の特徴の相対位置および／または配向を決定することを含みうる。例えば、手術用器具はそれに貼り付けられたフィデューシャルを有してもよい。表現は、コンピュータサブシステムにインポートまたはアクセスする手術用器具の保存されたモデル（例えば、ＣＡＤモデルまたはイラスト）であってもよい（例えば、ナビゲーション情報としてロボット外科手術システムによってコンピュータサブシステムに提供される）。同様に、一部の実施形態では、一つ以上の軌道をより良好に視覚化して、その結果ロボット外科手術システムをより適切にナビゲートするために、外科医が手術中に一つ以上の計画軌道を見ることができるように、そうでなければ視覚化が困難な手術用器具（患者の解剖学的構造からの干渉による）が、手術用器具拡張グラフィックとして頭部装着型ディスプレイの表示画面に表示されうる。手術用器具の軌道は、ロボット外科手術システムによってコンピュータサブシステムに提供されうる。例えば、外科医は、ロボット外科手術システムを望ましい位置および配向に移動させ、後に生成および／またはアクセスステップ１２０４で拡張現実ナビゲーションシステムに提供されることになる対応する軌道の表現を保存しうる。例示的方法１２００の表示画面上に表示される手術用器具および／または軌道の少なくとも一部分の表現は、外科医からの入力、例えば、上記で説明したジェスチャー、動きまたは信号入力を使用して選択されうる。
例示的方法１２００は、オプションの１２１２ステップおよび１２１４ステップを含む。オプションのステップのうちいずれかまたは両方は、方法の一部であってもよい。オプションのステップ１２１２では、ステップ１２１０で表示された手術用器具拡張グラフィックによって表現される軌道を含む触覚オブジェクトが定義される。触覚オブジェクトは、拡張現実ナビゲーションシステム（例えば、システムの検出器によって検出された現実世界の特徴の相対位置および／または配向を使用して）によって決定され、拡張現実ナビゲーションシステムのコンピュータサブシステムによって、ロボット外科手術システムに供給されうる。次に、ロボット外科手術システムは、ロボット外科手術システムに接続または挿入された手術用器具（例えば、ステップ１２０６で生成および／またはアクセスされる表現に対応する手術用器具）の少なくとも一部分が触覚オブジェクトの外側には移動できないように（例えば、ロボット外科手術システムを操作する外科医に提供される触覚フィードバックにより）、その動きが制限されうる。オプションのステップ１２１４では、拡張現実ナビゲーションシステムからの出力によって、ロボット外科手術システムは、表示された軌道と自動的に整列し、および／または軌道に沿って自動的に移動するようになる。一部の実施形態では、複数の軌道の表現は同時に表示することができ、外科医は、ロボット外科手術システムを（例えば、ポインタツールを使用して）整列させるために、表現された軌道の一つを選択しうる。一部の実施形態では、表示されている軌道の表現が一つであるか、または複数であるかによらず、使用される拡張グラフィックは、軌道が患者の解剖学的構造とどう交差するかの正確な表示を外科医に与えるために、患者の解剖学的構造上に重ねて表示されうる。一部の実施形態では、手術用器具および／またはその軌道の部分は、頭部装着型ディスプレイの表示画面を通して見られる仮想表示画面上に表示される（例えば、軌道表現、手術用器具の部分、およびモデルが物理的現実と同じ相対位置および配向を持つように見えるように、患者の解剖学的構造モデルと空間的に対応して）。例えば、仮想表示画面は、図１５のパネルＡまたはパネルＢとして表示されてもよい。オーバーレイ拡張グラフィックは、図１６のスケッチに図示されているように表示されうる。
ここで図１３に示すブロックフロー図を参照すると、例示的方法１３００は、本開示の一部実施形態による、拡張現実ナビゲーションシステムを使用する方法である。例示的方法１３００は、拡張現実ナビゲーションシステムが、外科手術手順に対応する一つ以上の軌道の計画および／または更新を支援する、軌道選択ガイダンス拡張グラフィック（例えば、十字線）を使用する方法である。例示的方法１３００の計算ステップは、拡張現実ナビゲーションシステムのコンピュータサブシステムによって実施されてもよい。
ステップ１３０２では、軌道選択拡張グラフィック（例えば、十字形）が、拡張現実ナビゲーションシステムの表示画面上に表示される。軌道選択ガイダンス拡張グラフィックは、表示画面上の所定位置に固定されて表示しうる（例えば、関連付けられた頭部装着型ディスプレイの動きによって、拡張グラフィックが外科医の視野内で位置を移動しないように）。一部の実施形態では、軌道選択ガイダンス拡張グラフィックは、外科医によって配置可能（例えば、手術前、および／または手術中に）である。例えば、外科医は、拡張グラフィックが特定の場所（例えば、表示画面の中央または角）に表示されることを好むことがあり、それに応じて選択入力を使用して位置付けることができる。ステップ１３０４では、検出器入力信号が拡張現実ナビゲーションシステムの頭部装着型ディスプレイに接続された一つ以上の検出器の視野に対応する場合に、検出器入力信号の受信がなされ、ここで視野は患者の解剖学的構造の少なくとも一部分を含む。
ステップ１３０６では、一つ以上の現実世界の特徴の相対位置および／または配向（すなわち、検出器入力信号によって表現される視野内で）は、頭部装着型ディスプレイに接続された一つ以上の検出器からの検出器入力信号に基づいて決定される。相対位置および／または配向は、リアルタイムで決定されてもよく、または拡張現実ナビゲーションシステムおよび外科手術環境の登録（例えば、拡張現実ナビゲーションシステムと、例えば、患者、手術用器具、およびロボット外科手術システムなどの外科手術環境内のオブジェクトとの間の登録）によって得られた統一座標系で表現された絶対位置および／または配向としてもよい。検出器入力信号は、コンピュータサブシステムによって、拡張現実ナビゲーションシステムの頭部装着型ディスプレイに取り付けられた一つ以上の検出器から、第二の拡張現実ナビゲーションシステムの頭部装着型ディスプレイに取り付けられた一つ以上の検出器から、および／または外科手術環境全体に配置された一つ以上の補助検出器から受信されうる。ステップ１３０８では、軌道選択ガイダンス拡張グラフィックによって示される物理的位置および／または配向が決定される。例えば、外科医は、軌道選択ガイダンス拡張グラフィックが、好適な配向に沿って患者の位置が示されるように、頭部装着型ディスプレイの配置および配向をしうる（例えば、その位置が表示画面上の十字線内にあるように）。物理的位置および／または配向は、ステップ１３０８で決定された相対位置および／または配向を使用して決定される。例えば、軌道によって示される物理的位置および／または配向の座標は、登録手順中に定義された統一座標系を使用して決定されうる。ステップ１３１０では、ユーザー入力信号はコンピュータサブシステムによって受信され、ここでユーザー入力信号は、拡張現実ナビゲーションシステムを使用中の外科医による行為（例えば、ジェスチャー）によって生成され、その行為は、軌道選択ガイダンスの拡張グラフィックが望ましい位置および／または配向にある時になされる。例えば、本明細書で上記に説明した任意のユーザー入力機構を使用しうる。
ステップ１３１２では、軌道がステップ１３０８で決定された物理的位置および／または配向に基づいて決定される。したがって、一部の実施形態では、ステップ１３０８は、ステップ１３１０に応答してのみ実施される。また、したがって、一部の実施形態では、ステップ１３０８は、［例えば、一定の頻度（例えば、毎秒約１回以上）］の期間にわたって連続的に実施され、またユーザー入力信号が受信されたときに決定される最新の物理的位置および／または配向に基づいて、軌道が決定される。ステップ１３１４では、軌道はロボット外科手術システムに出力される（例えば、外科手術手順の実施に使用するため）。オプションのステップ１３１６では、ステップ１３１２で決定された軌道を表す軌道拡張グラフィックが、例えば、上述の実施形態に従って（例示的方法１２００を参照）、拡張現実ナビゲーションシステムの表示画面上に表示される。軌道拡張グラフィックは、表示画面上に表示する前に（例えば、登録および／または統一座標系を使用して）修正されてもよい。
例示的方法１３００は、オプションのステップ１３１８およびステップ１３２０を含む。オプションのステップのうちいずれかまたは両方は、方法の一部であってもよい。オプションのステップ１３１８では、ステップ１３１２で決定された軌道を含む触覚オブジェクトが定義される。触覚オブジェクトは、拡張現実ナビゲーションシステム（例えば、システムの検出器によって検出された現実世界の特徴の相対位置および／または配向を使用して）によって決定され、拡張現実ナビゲーションシステムのコンピュータサブシステムによって、ロボット外科手術システムに供給されうる。次に、ロボット外科手術システムは、ロボット外科手術システムに接続または挿入された手術用器具の少なくとも一部分が触覚オブジェクトの外側には移動できないように（例えば、ロボット外科手術システムを操作する外科医に提供される触覚フィードバックにより）、その動きが制限されうる。オプションのステップ１３２０では、拡張現実ナビゲーションシステムからの出力によって、ロボット外科手術システムは、表示された軌道と自動的に整列し、および／または軌道に沿って自動的に移動するようになる。一部の実施形態では、複数の軌道の表現は同時に表示することができ、外科医は、ロボット外科手術システムを（例えば、ポインタツールを使用して）整列させるために、表現された軌道の一つを選択しうる。一部の実施形態では、表示されている軌道の表現が一つであるか、または複数であるかによらず、使用される拡張グラフィックは、軌道が患者の解剖学的構造とどう交差するかの正確な表示を外科医に与えるために、患者の解剖学的構造上に重ねて表示されうる。一部の実施形態では、手術用器具および／またはその軌道の部分は、頭部装着型ディスプレイの表示画面を通して見られる仮想表示画面上に表示される（例えば、軌道表現、手術用器具の部分、およびモデルが物理的現実と同じ相対位置および配向を持つように見えるように、患者の解剖学的構造モデルと空間的に対応して）。例えば、仮想表示画面は、図１５のパネルＡまたはパネルＢとして表示されてもよい。オーバーレイ拡張グラフィックは、図１６のスケッチに図示されているように表示されうる。
患者の解剖学的構造のモデルは、例示的方法１３００の実施中に、軌道の画定にあたり外科医を支援するために、重ね合わされた拡張グラフィックとして表示されうる。複数の望ましい軌道が画定されうる。軌道選択ガイダンス拡張グラフィックは、軌道選択ガイダンス拡張グラフィックが複数の軌道のうち一つと一致して見えるように、頭部装着型ディスプレイで配向することにより、複数の画定された軌道（例えば、手術前および／または手術中に画定された軌道）のうちの一つを選択するためにも使用されうる。以前に画定された軌道も、例示的方法１３００を使用して更新でき、これには所定の軌道をロードおよび／または選択してから、例示的方法１３００に従い、軌道の位置および／または配向を改訂する。
ここで図１４に示すブロックフロー図を参照すると、例示的方法１４００は、本開示の一部実施形態による、拡張現実ナビゲーションシステムを使用する方法である。例示的方法１４００は、拡張現実ナビゲーションシステムが、外科手術に対応する一つ以上の軌道を計画および／または更新するにあたって支援するポインタツールを検出する方法である。一部の実施形態では、拡張現実ナビゲーションシステムは、ポインタツールを備える。例示的方法１４００の計算ステップは、拡張現実ナビゲーションシステムのコンピュータサブシステムによって実施されてもよい。
ステップ１４０２では、拡張現実ナビゲーションシステムの頭部装着型ディスプレイに取り付けられた一つ以上の検出器が、拡張現実ナビゲーションシステムのコンピュータサブシステムによって受信される検出器入力信号を生成する。検出器入力信号は、患者の解剖学的構造（例えば、実施される外科手術に関連する）の少なくとも一部分を含む一つ以上の検出器の視野を表す（例えば、実施される外科手術に関連する）。ステップ１４０４では、ポインタツールに対応する検出器入力信号内の一つ以上の現実世界の特徴の相対位置および／または配向（すなわち、検出器入力信号によって表される視野内での）が決定される。相対位置および／または配向は、リアルタイムで決定されてもよく、または拡張現実ナビゲーションシステムおよび外科手術環境の登録（例えば、拡張現実ナビゲーションシステムと、例えば、患者、手術用器具、およびロボット外科手術システムなどの外科手術環境内のオブジェクトとの間の登録）によって得られた統一座標系で表現された絶対位置および／または配向としてもよい。検出器入力信号は、コンピュータサブシステムによって、拡張現実ナビゲーションシステムの頭部装着型ディスプレイに取り付けられた一つ以上の検出器から、第二の拡張現実ナビゲーションシステムの頭部装着型ディスプレイに取り付けられた一つ以上の検出器から、および／または外科手術環境全体に配置された一つ以上の補助検出器から受信されうる。ステップ１４０６では、ポインタツールの位置および／または配向は、ステップ１４０４で決定された現実世界の特徴の相対位置および／または配向に基づいて決定される。例えば、ポインタツールの物理的位置および／または配向の座標は、登録手順中に定義された統一座標系を使用して決定されうる。
オプションのステップ１４０８では、外科医の自然な視野から隠されたポインタツールの一部分の表現に対応する拡張グラフィックは、頭部装着型ディスプレイの表示画面上に表示される。外科医がポインタツールの隠れた部分を正確に視覚化できるように、拡張グラフィックは患者の解剖学的構造上に重ね合わせて表示されうる。患者の解剖学的構造のモデルに対応する拡張グラフィックは、さらなるナビゲーション情報を提供するために、患者の解剖学的構造上に追加的に重ね合わせられてもよい。代替的または追加的に、仮想ディスプレイ内のモデル（例えば、医療画像データ）に対するポインタツールの位置および配向が、ポインタツールと患者の解剖学的構造との間の正しい物理的関係を正確に表現するように、ポインタツール拡張グラフィックは、配向された患者の解剖学的構造モデルに沿って仮想表示画面上に表示されうる。
ステップ１４１０では、ステップ１４０６で決定されたポインタツールの位置および／または配向に少なくとも部分的に基づいて、軌道が決定および／または更新される。一部の実施形態では、ポインタツールを使用して、後で集合的に軌道（例えば、線形または非線形の軌道）を決定するために使用される空間内の複数の点を選択することができる。軌道は、手順１４１０でコンピュータサブシステムによって受信されたユーザー入力信号に応答して決定されてもよく、ここでユーザー入力信号は、拡張現実ナビゲーションシステムを使用中の外科医による行為（例えば、ジェスチャー）によって生成され、その行為は、ポインタツールが望ましい位置および／または配向にある時になされる。例えば、本明細書で上記に説明した任意のユーザー入力機構を使用しうる。一部の実施形態では、ステップ１４０２〜１４１０は、複数の軌道を画定するために１回以上繰り返される。ステップ１４１２では、軌道（または複数の軌道）はロボット外科手術システムに出力される（例えば、外科手術手順の実施に使用するため）。オプションのステップ１４１４では、ステップ１４１２で決定された軌道を表す軌道拡張グラフィックが、例えば、上述の実施形態に従って（例示的方法１２００を参照）、拡張現実ナビゲーションシステムの表示画面上に表示される。軌道拡張グラフィックは、表示画面上に表示する前に（例えば、登録および／または統一座標系を使用して）修正されてもよい。
例示的方法１４００は追加的に、オプションのステップ１４１６およびステップ１４１８を含む。オプションのステップのうちいずれかまたは両方は、方法の一部であってもよい。オプションのステップ１４１６では、ステップ１４１０で決定された軌道を含む触覚オブジェクトが定義される。触覚オブジェクトは、拡張現実ナビゲーションシステム（例えば、システムの検出器によって検出された現実世界の特徴の相対位置および／または配向を使用して）によって決定され、拡張現実ナビゲーションシステムのコンピュータサブシステムによって、ロボット外科手術システムに供給されうる。次に、ロボット外科手術システムは、ロボット外科手術システムに接続または挿入された手術用器具の少なくとも一部分が触覚オブジェクトの外側には移動できないように（例えば、ロボット外科手術システムを操作する外科医に提供される触覚フィードバックにより）、その動きが制限されうる。オプションのステップ１４１８では、拡張現実ナビゲーションシステムからの出力によって、ロボット外科手術システムは、表示された軌道と自動的に整列し、および／または軌道に沿って自動的に移動するようになる。一部の実施形態では、複数の軌道の表現は同時に表示することができ、外科医は、ロボット外科手術システムを（例えば、ポインタツールを使用して）整列させるために、表現された軌道の一つを選択しうる。一部の実施形態では、表示されている軌道の表現が一つであるか、または複数であるかによらず、使用される拡張グラフィックは、軌道が患者の解剖学的構造とどう交差するかの正確な表示を外科医に与えるために、患者の解剖学的構造上に重ねて表示されうる。一部の実施形態では、手術用器具および／またはその軌道の部分は、頭部装着型ディスプレイの表示画面を通して見られる仮想表示画面上に表示される（例えば、軌道表現、手術用器具の部分、およびモデルが物理的現実と同じ相対位置および配向を持つように見えるように、患者の解剖学的構造モデルと空間的に対応して）。例えば、仮想表示画面は、図１５のパネルＡまたはパネルＢとして表示されてもよい。オーバーレイ拡張グラフィックは、図１６のスケッチに図示されているように表示されうる。
単一の拡張現実ナビゲーションシステムは、とりわけ、例示的方法１２００、例示的方法１３００、および例示的方法１４００のそれぞれを実行するように構成することができる。軌道または特定のタイプの拡張グラフィックを画定する特定の方法の選択は、実施される外科手術手順に依存しうる。例えば、外科医は、同等の従来的（すなわち、ＭＩＳ）処置を実施するときに使用されるものとは異なる、特定の低侵襲手術（ＭＩＳ）処置を実施する場合、グラフィックおよび／または軌道の画定方法を好むことがある。同様に、方法およびグラフィックは、処置を実施する特定の外科医、または特定の患者に依存しうる。したがって、特定の実施形態では、拡張現実ナビゲーションシステムは、処置ごと、患者ごと、および／または外科医ごとに設定を保存できる。一部の実施形態では、患者の健康情報は、一つ以上の仮想表示画面上に表示され、一方、ナビゲーション情報は、オーバーレイされた拡張グラフィックを使用して表示され、随意に、追加的な仮想ディスプレイ上に表示される。
以下は、拡張現実ナビゲーションシステムの例示的な実施形態の例示的使用の説明である。拡張現実ナビゲーションシステムが患者の医療画像データを受け取った後、拡張現実ナビゲーションシステムの表示画面上に表示されるユーザーインターフェースは、外科医が、医療画像データから得られたモデルのナビゲーションを行い、外科手術インプラントおよび／または軌道の仮想的な表現を希望に応じて位置決めできるようにすることで、外科手術の計画を可能にする。位置決めは、外科医入力（例えば、動きセンサーまたは補助入力装置を介して）を使用して起こりうる。次いで、拡張現実ナビゲーションシステムは、ロボットアームの位置、および患者に関連する一つ以上の現実世界の特徴（検出器によって検出されたように）を追跡するために使用される。全体にわたり、拡張現実ナビゲーションシステムは、その座標系を、患者の解剖学的構造およびロボット外科手術システムの座標系と同期化する（例えば、定期的または継続的な再登録による）。外科医からの入力を、例えば、動作センサーを介して受け取ると、拡張現実ナビゲーションシステムによって、ロボットアームのエフェクターが計画軌道に沿って自動的に配置され、患者の位置の移動を常に補正し、重要な解剖学的構造を回避しながら治療を可能にする。
別の例示的な使用では、医療画像データに由来するモデルは、インプラント軌道を計画するために登録される。特定の実施形態では、医療画像それ自体（医療画像データに対応）が、患者の解剖学的形態のモデルとして使用される。特定の登録方法は、医療画像データを生成するために使用される撮像技術に基づいて選択されうる。撮像は手術前または手術中に行われてもよい。登録されると、外科医は、頭部装着型ディスプレイの表示画面上に表示された拡張グラフィックを使用して、外科手術インプラントのために必要な軌道および位置を決定する。計画が完了すると、外科医からの入力は、ロボット外科手術システムのロボットアームを計画軌道上に自動的に移動させることができる。複数の軌道が計画されている場合、外科医はエンドエフェクターを第一の計画軌道に近づけてもよい。別の方法として、第一の計画軌道は、ユーザー入力（例えば、動きセンサー）を使用して選択することができる。拡張現実ナビゲーションシステムは、どの計画軌道が表示画面の範囲内にあるかを示し、システムはロボットアームを選択した（例えば、近接した）計画軌道にゆっくりと移動させる。拡張グラフィックは、選択された計画軌道が達成され、動きがその軌道に沿って制限されうることを示すために使用できる。その後、外科医はロボット外科手術システムに接続された手術用器具を使用して、望ましい外科用インプラントを挿入する。ナビゲーションカメラは、リアルタイムでツールの位置を追跡し、表示画面上にモデルを、たとえば、患者の解剖学的構造に重ね合わせて見えるように表示する。
特定の実施形態では、本明細書に開示されている拡張現実ナビゲーションシステムは、拡張現実視覚化および精密運動追跡（例えば、外傷、脊椎のナビゲーション、頭蓋の事前計画）の両方から恩恵を受けることができる医療専門家によって使用されうる。特定の実施形態では、本明細書に開示される拡張現実ナビゲーションシステムは、手術室または外来介入処置で実施される観血の経皮的低侵襲的手術（ＭＩＳ）処置で使用されることができ、そのすべてが何らかの形態の患者撮像を含みうる。特定の実施形態では、本明細書に開示される拡張現実ナビゲーションシステムは、外科医が、重要なナビゲーション情報のある離れた位置にあるディスプレイを見て、その情報を頭の中で外科手術スペースまたは患者内部に置き換えることを必要とする任意の処置にとって貴重なものとなる。例えば、本明細書に開示された拡張現実ナビゲーションシステムが使用される外科手術は、脊髄手術、整形外科手術、整形外傷手術、神経外科手術、最小侵襲手術またはそれらの任意の組み合わせでありうる。特定の実施形態では、拡張現実ナビゲーションシステムは、例えば、患者の解剖学的構造の解剖用死体または人工装具モデルを使用した外科手術のシミュレーションでなど、研修用に使用される。
本明細書に開示されるシステムおよび方法の例示的な実施形態については、コンピューティング装置によって局所的に実施される計算を参照して上述した。ただし、ネットワーク上で実行される計算も意図されている。図１７は、本明細書に記載の方法およびシステムで使用するための例示的なネットワーク環境１７００を示す。ここで図１７を参照すると、例示的なクラウドコンピューティング環境１７００のブロック図が示され、説明されている。クラウドコンピューティング環境１７００は、一つ以上のリソースプロバイダー１７０２ａ、１７０２ｂ、１７０２ｃ（集合的に１７０２）を含みうる。各リソースプロバイダー１７０２は、コンピューティングリソースを含みうる。一部の実施では、コンピューティングリソースは、データを処理するために使用される任意のハードウェアおよび／またはソフトウェアを含みうる。例えば、コンピューティングリソースは、アルゴリズム、コンピュータプログラム、および／またはコンピュータアプリケーションを実行することができるハードウェアおよび／またはソフトウェアを含んでもよい。幾つかの実施形態では、例示的なコンピューティングリソースは、保存および取り出し能力を備えたアプリケーションサーバーおよび／またはデータベースを含んでもよい。各リソースプロバイダー１７０２は、クラウドコンピューティング環境１７００内の他の任意のリソースプロバイダー１７０２に接続されてもよい。幾つかの実施形態では、リソースプロバイダー１７０２は、コンピュータネットワーク１７０８上で接続されてもよい。各リソースプロバイダー１７０２は、コンピュータネットワーク１７０８上で、一つ以上のコンピューティング装置１７０４ａ、１７０４ｂ、１７０４ｃ（集合的に１７０４）に接続されてもよい。
クラウドコンピューティング環境１７００は、リソースマネージャー１７０６を含んでもよい。リソースマネージャー１７０６は、コンピュータネットワーク１７０８上でリソースプロバイダー１７０２およびコンピューティング装置１７０４に接続されてもよい。幾つかの実施形態では、リソースマネージャー１７０６は、一つ以上のリソースプロバイダー１７０２によって一つ以上のコンピューティング装置１７０４にコンピューティングリソースの提供を容易にすることができる。リソースマネージャー１７０６は、特定のコンピューティング装置１７０４からコンピューティングリソースの要求を受信してもよい。リソースマネージャー１７０６は、コンピューティング装置１７０４によって要求されるコンピューティングリソースを提供することができる一つ以上のリソースプロバイダー１７０２を識別することができる。リソースマネージャー１７０６は、リソースプロバイダー１７０２を選択してコンピューティングリソースを提供することができる。リソースマネージャー１７０６は、リソースプロバイダー１７０２と特定のコンピューティング装置１７０４との間の接続を容易にすることができる。幾つかの実施形態では、リソースマネージャー１７０６は、特定のリソースプロバイダー１７０２と特定のコンピューティング装置１７０４との間の接続を確立することができる。幾つかの実施形態では、リソースマネージャー１７０６は、特定のコンピューティング装置１７０４を、要求されたコンピューティングリソースと共に、特定のリソースプロバイダー１７０２に転送することができる。
図１８は、本開示に記載される方法およびシステムで使用することができるコンピューティング装置１８００および携帯型コンピューティング装置１８５０の実施例を示す。コンピューティング装置１８００は、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバー、ブレードサーバー、メインフレーム、およびその他の適切なコンピュータなど、様々な形態のデジタルコンピュータを表すことを意図する。携帯型コンピューティング装置１８５０は、パーソナルデジタルアシスタント、携帯電話、スマートフォン、およびその他の類似のコンピューティング装置など、様々な形態のモバイル装置を表すことを意図している。ここで示される構成要素、それらの接続および関係、およびそれらの機能は、例としてのみ意味され、限定することを意味するものではない。
コンピューティング装置１８００は、プロセッサ１８０２、メモリ１８０４、記憶装置１８０６、メモリ１８０４および複数の高速拡張ポート１８１０へ接続する高速インターフェース１８０８、および低速拡張ポート１８１４および記憶装置１８０６に接続する低速インターフェース１８１２を含む。プロセッサ１８０２、メモリ１８０４、記憶装置１８０６、高速インターフェース１８０８、高速拡張ポート１８１０、および低速インターフェース１８１２それぞれは、さまざまなバスを使用して相互接続されており、必要に応じて共通のマザーボードまたはその他の方法で取り付けられてもよい。プロセッサ１８０２は、メモリ１８０４または記憶装置１８０６内に保存された命令を含むコンピューティング装置１８００内で実行する命令を処理することができ、または、高速インターフェース１８０８に結合されたディスプレイ１８１６などの外部入力／出力装置上のＧＵＩのグラフィカル情報を表示することができる。他の実施形態では、複数のプロセッサおよび／または複数のバスを、必要に応じて、複数のメモリおよびメモリのタイプと共に使用することができる。また、複数のコンピューティング装置が接続されてもよく、各装置は、必要な動作（例えば、サーバーバンク、ブレードサーバーのグループ、またはマルチプロセッサシステム）を提供する。また、複数のコンピューティング装置が接続されてもよく、各装置は、必要な動作（例えば、サーバーバンク、ブレードサーバーのグループ、またはマルチプロセッサシステム）を提供する。したがって、本明細書で使用される場合、複数の機能が「プロセッサ」によって実施されるものとして記述されている場合、これには、その複数の機能が、任意の数のコンピューティング装置（例えば、一つ以上のコンピューティング装置）の任意の数のプロセッサ（例えば、一つ以上のプロセッサ）によって実施される実施形態が包含される。さらに、機能が「プロセッサ」によって実行されるものとして記述されている場合、これには、その機能が、任意の数のコンピューティング装置（例えば、一つ以上のコンピューティング装置）（例えば、分散コンピューティングシステム内の）の任意の数のプロセッサ（例えば、一つ以上のプロセッサ）によって実施される実施形態が包含される。
メモリ１８０４は、コンピューティング装置１８００内に情報を格納する。一部の実施では、メモリ１８０４は揮発性メモリユニット（単一または複数）である。一部の実施では、メモリ１８０４は不揮発性メモリユニット（単一または複数）である。メモリ１８０４はまた、磁気ディスクまたは光ディスクなどの別の形態のコンピュータ可読媒体であってもよい。
記憶装置１８０６は、コンピューティング装置１８００のための大容量記憶を提供する能力を有する。一部の実施では、記憶装置１８０６は、フロッピーディスク装置、ハードディスク装置、光ディスク装置、またはテープ装置、フラッシュメモリまたはその他の類似のソリッドステートメモリ装置、またはストレージエリアネットワークまたは他の構成の装置を含む装置のアレイなどのコンピュータ可読媒体であってもよく、またはそれらを含んでもよい。命令は情報担体に保存されうる。命令は、一つ以上の処理装置（例えば、プロセッサ１８０２）によって実行される時、上述の方法などの一つ以上の方法を実行する。命令は、コンピュータまたは機械可読媒体（例えば、メモリ１８０４、記憶装置１８０６、またはプロセッサ１８０２上のメモリ）などの一つ以上の記憶装置によって保存されてもよい。
高速インターフェース１８０８は、コンピューティング装置１８００に対する帯域幅集約的な動作を管理し、一方で低速インターフェース１８１２は帯域幅集約性の低い動作を管理する。このような機能の割り当ては一例に過ぎない。一部の実施では、高速インターフェース１８０８は、メモリ１８０４、ディスプレイ１８１６（例えば、グラフィックプロセッサまたはアクセラーを介して）、および高速拡張ポート１８１０に連結され、さまざまな拡張カード（図示せず）を受け入れうる。実施では、低速インターフェース１８１２は、記憶装置１８０６および低速拡張ポート１８１４に連結される。さまざまな通信ポート（例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、イーサネット（登録商標）、無線イーサネット）を含みうる低速拡張ポート１８１４は、キーボード、ポイント装置、スキャナー、またはネットワーク装置などの一つ以上の入力／出力装置に、例えばネットワークアダプターを介してスイッチまたはルータなどのネットワーク装置に結合されてもよい。
コンピューティング装置１８００は、図に示す通り、多数の異なる形態で実施されてもよい。例えば、これは、標準サーバー１８２０として、またはそのようなサーバーのグループで複数回実施されてもよい。さらに、ラップトップコンピュータ１８２２などのパーソナルコンピュータで実施されうる。また、ラックサーバーシステム１８２４の一部として実施されてもよい。あるいは、コンピューティング装置１８００からの構成要素を、携帯型コンピューティング装置１８５０などのモバイル装置（図示せず）内の他の構成要素と組み合わせてもよい。こうした装置のそれぞれは、コンピューティング装置１８００および携帯型コンピューティング装置１８５０のうちの一つ以上を含むことができ、またシステム全体は、互いに通信する複数のコンピューティング装置から構成されてもよい。
携帯型コンピューティング装置１８５０は、プロセッサ１８５２、メモリ１８６４、入力／出力装置（ディスプレイ１８５４など）、通信インターフェース１８６６、およびトランシーバ１８６８を含む。携帯型コンピューティング装置１８５０には、追加的な保管を提供するために、マイクロドライブまたは他の装置などの記憶装置が提供されてもよい。プロセッサ１８５２、メモリ１８６４、ディスプレイ１８５４、通信インターフェース１８６６、およびトランシーバ１８６８のそれぞれは、様々なバスを使用して相互接続されており、複数の構成要素が必要に応じて共通のマザーボードまたはその他の方法で取り付けられてもよい。
プロセッサ１８５２は、メモリ１８６４に保存された命令を含む携帯型コンピューティング装置１８５０内で命令を実行することができる。プロセッサ１８５２は、別個の複数のアナログおよびデジタルプロセッサを含むチップのチップセットとして実施されてもよい。プロセッサ１８５２は、例えば、ユーザーインターフェースの制御などの携帯型コンピューティング装置１８５０の他の構成要素、携帯型コンピューティング装置１８５０によって実行されるアプリケーション、および携帯型コンピューティング装置１８５０による無線通信を調整するために提供することができる。
プロセッサ１８５２は、制御インターフェース１８５８およびディスプレイ１８５４に連結された表示インターフェース１８５６を通してユーザーと通信してもよい。ディスプレイ１８５４は、例えば、ＴＦＴ（薄膜−トランジスタ液晶表示）ディスプレイまたはＯＬＥＤ（有機発光ダイオード）ディスプレイ、またはその他の適切な表示技術であってもよい。表示インターフェース１８５６は、表示装置１８５４を駆動して、グラフィカルおよび他の情報をユーザーに提示するための適切な回路を含みうる。制御インターフェース１８５８は、ユーザーからコマンドを受信し、プロセッサ１８５２へのサブミット用に変換しうる。さらに、外部インターフェース１８６２は、携帯型コンピューティング装置１８５０の他の装置との近接エリア通信を可能にするように、プロセッサ１８５２との通信を提供してもよい。外部インターフェース１８６２は、例えば、一部の実施では有線通信用に、または他の実施では無線通信用に提供されてもよく、複数のインターフェースが使用されてもよい。
メモリ１８６４は、携帯型コンピューティング装置１８５０内に情報を格納する。メモリ１８６４は、コンピュータ可読媒体または媒体、揮発性メモリユニット（単一または複数）、または不揮発性メモリユニット（単一または複数）のうちの一つ以上として実施することができる。増設メモリ１８７４はまた、例えば、ＳＩＭＭ（シングルインラインメモリモジュール）カードインタフェースを含みうる拡張インターフェース１８７２を介して携帯型コンピューティング装置１８５０に提供され、接続されてもよい。増設メモリ１８７４はまた、携帯型コンピューティング装置１８５０用に追加記憶スペースを提供する、または携帯型コンピューティング装置１８５０用にアプリケーションやその他の情報を保存できる。具体的には、増設メモリ１８７４は、上述のプロセスを実行または補充する命令を含むことができ、また安全な情報も含みうる。したがって、例えば、増設メモリ１８７４は、携帯型コンピューティング装置１８５０のセキュリティモジュールとして提供されてもよく、また携帯型コンピューティング装置１８５０の安全な使用を許可する命令でプログラムされてもよい。さらに、安全なアプリケーションは、ＳＩＭＭカードを介して、サイズの識別情報をハッキング不可能な方式で識別するなど、追加情報と共に提供しうる。
メモリは、例えば、以下に考察するように、フラッシュメモリおよび／またはＮＶＲＡＭメモリ（不揮発性ランダムアクセスメモリ）を含んでもよい。一部の実施では、命令は情報担体に保存され、一つ以上の処理装置（例えば、プロセッサ１８５２）によって実行されると、上述のものなどの一つ以上の方法を実行する。命令は、コンピュータまたは機械可読媒体（例えば、メモリ１８６４、増設メモリ１８７４、またはプロセッサ１８５２上のメモリ）などの一つ以上の記憶装置によって保存されてもよい。幾つかの実施形態では、命令は、例えば、トランシーバ１８６８または外部インターフェース１８６２を介した伝播信号で受信されうる。
携帯型コンピューティング装置１８５０は、必要に応じてデジタル信号処理回路を含みうる通信インターフェース１８６６を通して無線通信してもよい。通信インターフェース１８６６は、数ある中で、ＧＳＭ音声コール（汎欧州デジタル移動電話方式）、ＳＭＳ（ショート・メッセージ・サービス）、ＥＭＳ（エンハンスト・メッセージング・サービス）、またはＭＭＳメッセージング（マルチメディア・メッセージング・サービス）、ＣＤＭＡ（符号分割多元接続）、ＴＤＭＡ（時分割多重接続）、ＰＤＣ（パーソナル・デジタル・セルラー）、ＷＣＤＭＡ（広帯域符号分割多元接続）、ＣＤＭＡ２０００、またはＧＰＲＳ（汎用パケット無線システム）などの様々なモードまたはプロトコルでの通信を提供しうる。こうした通信は、例えば、無線周波数を使用してトランシーバ１８６８を通して発生しうる。さらに、ブルートゥース（登録商標）、Ｗｉ−Ｆｉ（商標）、またはその他のこうしたトランシーバ（図示せず）を使用するなど、短距離通信が発生しうる。さらに、ＧＰＳ（グローバル位置決めシステム）受信モジュール１８７０は、携帯型コンピューティング装置１８５０上で実行されるアプリケーションによって適切に使用されうる携帯型コンピューティング装置１８５０に、追加的なナビゲーションやロケーションに関連した無線データを提供しうる。
携帯型コンピューティング装置１８５０はまた、ユーザーから発話情報を受信して使用可能なデジタル情報に変換しうる、音声コーデック１８６０を使用して聴覚的に通信することができる。同様に、音声コーデック１８６０は、例えば、携帯型コンピューティング装置１８５０の受話器で、スピーカーなどのユーザーに対して可聴音を生成することができる。このような音は、音声通話からの音声を含んでもよく、記録された音声（例えば、音声メッセージ、音楽ファイルなど）を含んでもよく、携帯型コンピューティング装置１８５０上で動作するアプリケーションによって生成される音も含んでもよい。
携帯型コンピューティング装置１８５０は、図に示す通り、多数の異なる形態で実施されてもよい。例えば、携帯電話１８８０として実施されうる。また、スマートフォン１８８２、パーソナルデジタルアシスタント、または他の類似したモバイル装置の一部として実施されてもよい。
本明細書に記載のシステムおよび技術の様々な実施は、デジタル電子回路、集積回路、特別設計のＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはこれらの組み合わせで実現できる。これらの様々な実施には、ストレージシステム、少なくとも一つの入力装置、および少なくとも一つの出力装置からデータおよび命令を受信し、またそれらの装置にデータおよび命令を転送するように結合された、特殊用途または汎用でありうる少なくとも一つのプログラム可能なプロセッサを含む、プログラム可能なシステム上で実行可能および／または実施可能な一つ以上のコンピュータプログラム内での実施が含まれうる。
これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードともいう）には、プログラム可能なプロセッサ用の機械命令が含まれており、また高水準の手続き型プログラミング言語および／またはオブジェクト指向プログラミング言語、および／またはアセンブリ／機械言語で実装できる。本明細書で使用される場合、機械可読媒体およびコンピュータ可読媒体は、機械可読信号として機械命令を受信する機械可読媒体を含めて、機械命令および／またはデータをプログラム可能なプロセッサに供給するために使用される、コンピュータプログラム製品、器具および／または装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブル論理装置（ＰＬＤ））を意味する。機械可読信号という用語は、機械命令および／またはデータをプログラム可能なプロセッサに供給するために使用される任意の信号を意味する。
ユーザーとの相互作用をするために、本明細書に記載のシステムおよび技術は、情報をユーザーに表示するための表示装置（例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶表示）モニター）、およびユーザーがコンピュータに入力できるようにするキーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）を有するコンピュータ上で実施可能である。他の種類の装置を使用して、ユーザーとの相互作用を提供することもでき、例えば、ユーザーに提供されるフィードバックは、任意の形態の感覚的フィードバック（例えば、視覚的フィードバック、聴覚的フィードバック、触覚的フィードバック）でもよく、またユーザーからの入力は、音響、発話、触覚入力を含む任意の形態で受信できる。
本明細書に記載されるシステムおよび技術は、バックエンドコンポーネント（例えば、データサーバーとして）を含むコンピューティングシステム、またはミドルウェアコンポーネント（例えば、アプリケーションサーバー）を含むコンピューティングシステム、またはフロントエンドコンポーネント（例えば、ユーザーが本明細書に記載したシステムおよび技術の実施と相互作用できるようにするグラフィカルユーザーインターフェースまたはウェブブラウザを有するクライアントコンピュータ）を含むコンピューティングシステム、またはそのようなバックエンドコンポーネント、ミドルウェアコンポーネント、またはフロントエンドコンポーネントの任意の組み合わせで実施できる。システムの構成要素は、デジタルデータ通信の任意の形態または媒体（例えば、通信ネットワーク）によって相互接続されうる。通信ネットワークの例には、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、およびインターネットが含まれる。
コンピューティングシステムは、クライアントおよびサーバーを含みうる。クライアントおよびサーバーは通常、互いに離れており、典型的に通信ネットワークを通して相互作用する。クライアントおよびサーバーの関係は、それぞれのコンピュータ上で実行され、かつ相互にクライアントサーバーの関係を持つコンピュータプログラムによって生じる。
一部の実施形態では、本明細書に記載されるモジュールまたは計算サブシステム（例えば、位置追跡モジュールおよびユーザー入力モジュール）は、分離されてもよく、組み合わせられてもよく、または単一モジュールもしくは組み合わせたモジュールに組み込まれてもよい。図に図示されるモジュールおよびその配置は、本明細書に記載のシステムおよび方法を、それらの図中に示すソフトウェア構造に限定することは意図していない。
本発明の特定の実施形態を上記に説明した。しかしながら、本発明はそれらの実施形態に限定されるものではなく、本明細書に明示的に記載されていた内容への追加および修正も本発明の範囲内に含まれていることを意図することが明示される。さらに、当然のことながら、本明細書に記載された様々な実施形態の特徴は、相互に排他的なものではなく、様々な組み合わせおよび順列での存在が可能であり、こうした組み合わせまたは順列が本明細書で明示されていない場合であっても、本発明の精神および範囲から逸脱することがない。実際に、本明細書に記載された内容の変形、変更およびその他の実施は、本発明の趣旨および範囲を逸脱することなく、当業者は思いつくであろう。そのため、本発明は、前述の説明によってのみ定義されるべきではない。
ロボット外科手術システムと併用するための拡張現実ナビゲーションシステムおよびその使用方法についていくらか説明してきたが、ここで当業者には、本開示の概念を組み込む他の実施が使用されうることは明らかとなる。したがって、本開示は特定の実施に制限されるべきではなく、むしろ以下の請求項の精神および範囲によってのみ制限されるべきである。

Claims (20)

  1. ロボット外科手術システムと併用するための拡張現実ナビゲーションシステムであって、前記システムが、
    ユーザーの自然視野の少なくとも一部分に重ね合わせるために、ユーザーに対して表示される拡張グラフィックを表示するよう構成された少なくとも部分的に透明な表示画面を備えた頭部装着型ディスプレイと、
    現実世界の特徴を識別するための少なくとも一つの検出器であって、前記少なくとも一つの検出器が前記頭部装着型ディスプレイに装着されているものと、
    マーカーを有し、少なくとも一つの検出器によって検出されるように構成された手術用器具であって、識別された現実世界の特徴に基づく、前記手術用器具の少なくとも一部分のグラフィカル表現および前記手術用器具の軌道のグラフィカル表現が前記頭部装着型ディスプレイ内に提示されるものとを備え、
    前記少なくとも一つの検出器からの検出器入力信号が、前記少なくとも一つの検出器の視野に対応し、前記視野が外科手術中の患者の解剖学的構造の少なくとも一部を含み、
    前記検出器入力信号が、前記現実世界の特徴のうちの一つ以上の相対位置および／または配向のそれぞれを含み、
    前記頭部装着型ディスプレイは、ユーザーの自然視野から見えない身体部分の拡張グラフィカル表現を表示するように構成され、
    前記手術用器具が前記ロボット外科手術システムに挿入されるか、またはそれに接続されている、拡張現実ナビゲーションシステム。
  2. 前記検出器は、現実世界の特徴を検出するためのカメラシステムを含み、前記頭部装着型ディスプレイに電気的に結合されている、請求項１に記載の拡張現実ナビゲーションシステム。
  3. 前記頭部装着型ディスプレイが、前記手術用器具および手術用器具の軌道のグラフィカル表現を、前記患者の前記解剖学的構造上に重ねて表示する、請求項１に記載の拡張現実ナビゲーションシステム。
  4. 前記頭部装着型ディスプレイの測定された動きに基づいて、動き信号を出力するために、前記頭部装着型ディスプレイに接続された動きセンサーをさらに含む、請求項１に記載の拡張現実ナビゲーションシステム。
  5. 前記ロボット外科手術システムが、アームと、前記アームの第一の端部に連結されたエンドエフェクターと、前記アームの第二の末端に連結された基部とを含み、前記アームが、前記手術用器具をユーザーによって選択された軌道に受けるように構成された前記エンドエフェクターを移動させる、請求項１に記載の拡張現実ナビゲーションシステム。
  6. 前記ロボット外科手術システムおよび前記拡張現実ナビゲーションシステムが、選択された軌道内の前記ロボットアームを制御するための触覚フィードバックシステムを含む、請求項５に記載の拡張現実ナビゲーションシステム。
  7. 前記手術用器具が、前記手術用器具を前記ユーザー選択の軌道に制約する触覚フィードバックシステムとの追跡マーカー通信を含む、請求項６に記載の拡張現実ナビゲーションシステム。
  8. 前記少なくとも一つの検出器が、少なくとも４０度の最小視野を有する検出器を備える、請求項１に記載の拡張現実ナビゲーションシステム。
  9. 前記頭部装着型ディスプレイが、あたかも前記ユーザーが前記患者の組織および／または器官の介在レイヤーを通してユーザーの自然視野から見えない前記手術用器具の部分を見ているかのように、前記ユーザーの視点から前記手術用器具の前記配向およびサイズに一致する、グラフィカルオーバーレイとしての、ユーザーの自然視野から見えない前記手術用器具の前記部分の拡張グラフィカル表現を前記表示画面内に表示するように構成されている、請求項１に記載の拡張現実ナビゲーションシステム。
  10. 外科手術計画の選択を作成するためのポインタツールを備え、前記ポインタツールが前記少なくとも一つの検出器によって検出されるように構成されている、請求項１に記載の拡張現実ナビゲーションシステム。
  11. 前記ロボット外科手術システムが、医療画像データに基づき、患者の解剖学的構造を前記拡張現実ナビゲーションシステム、および前記患者の解剖学的モデルに登録する、請求項１に記載の拡張現実ナビゲーションシステム。
  12. 前記少なくとも一つの検出器が、ビデオカメラを備え、映像信号を前記頭部装着型ディスプレイに送信して、前記ユーザーにとって、前記ユーザーの自然な視野の少なくとも一部分に重なっているように見える拡張グラフィックを表示する、請求項１に記載の拡張現実ナビゲーションシステム。
  13. 前記外科手術手順が、脊髄外科手術、整形外科手術、整形外科外傷外科手術、および神経外科手術のうち少なくとも一つを含む、請求項１に記載の拡張現実ナビゲーションシステム。
  14. ロボット外科手術システムと併用するための拡張現実ナビゲーションシステムであって、前記システムが、
    ユーザーの自然視野の少なくとも一部分に重ね合わせるために、ユーザーに対して表示される拡張グラフィックを表示するよう構成された少なくとも部分的に透明な表示画面を備えた頭部装着型ディスプレイと、
    現実世界の特徴を識別するための少なくとも一つの検出器であって、前記少なくとも一つの検出器が前記頭部装着型ディスプレイに装着されているものと、
    識別された現実世界の特徴に基づく、手術用器具の少なくとも一部分のグラフィカル表現および外科手術中の手術用器具の軌道のグラフィカル表現を生成するプロセスと、少なくとも一つの検出器から受信した検出器入力信号内で、一つ以上の現実世界の特徴の相対位置および／または配向に基づき、前記グラフィカル表現の少なくとも一部分を修正するプロセスと、修正された表現に基づき、前記表示画面上に手術用器具拡張グラフィックおよび軌道拡張グラフィックを表示するプロセスとを含み、前記手術用器具がロボット外科手術システムへの挿入、またはそれとの接続に適合した、コンピュータサブシステムとを備え、
    前記頭部装着型ディスプレイは、あたかも前記ユーザーが患者の組織および／または器官の介在レイヤーを通してユーザーの自然視野から見えない身体部分を見ているかのように、前記ユーザーの視点からユーザーの自然視野から見えない前記身体部分の前記配向およびサイズに一致する、グラフィカルオーバーレイとしての、ユーザーの自然視野から見えない前記身体部分の拡張グラフィカル表現を表示するように構成される、拡張現実ナビゲーションシステム。
  15. 前記コンピュータサブシステムが、複数の手術用器具軌道のそれぞれについて手術用器具拡張グラフィックをレンダリングし、前記手術用器具拡張グラフィックが、前記患者の解剖学的構造に重なって見えると共に、前記軌道拡張グラフィックのそれぞれが外科手術中に従うことのできる物理的な軌道を示すように、前記複数の手術用器具拡張グラフィックを前記表示画面上に表示するように構成された、請求項１４に記載の拡張現実ナビゲーションシステム。
  16. 請求項１４に記載の拡張現実ナビゲーションシステムであって、
    前記コンピュータサブシステムが、前記検出された入力信号から決定された一つ以上の相対位置および／または配向に基づいて患者の解剖学的モデルを変更するように構成され、それによって更新された解剖学的モデルを形成し、かつ
    前記コンピュータサブシステムが、前記更新された解剖学的モデルが前記患者の前記解剖学的構造上に重ね合わされて見えるように、前記更新された解剖学的モデルに対応する解剖学的モデル拡張グラフィックを前記表示画面に表示するように構成された、拡張現実ナビゲーションシステム。
  17. 請求項１４に記載の拡張現実ナビゲーションシステムであって、
    前記頭部装着型ディスプレイの測定された動きに基づいて動き信号を出力するために、前記頭部装着型ディスプレイに接続された動きセンサーを備え、
    前記コンピュータサブシステムが、前記動きセンサーによって検知された動きに基づいて、前記手術用器具拡張グラフィックを更新するように構成されている、拡張現実ナビゲーションシステム。
  18. 前記コンピュータサブシステムが、選択された軌道を、一つ以上の計画された軌道セットから前記選択された軌道を選択するユーザー入力軌道選択信号に少なくとも部分的に基づき決定して、ロボット外科手術システムのロボットアームおよび／またはエンドエフェクターを選択された軌道に合うように自動的に移動させるように構成されている、請求項１４に記載の拡張現実ナビゲーションシステム。
  19. 前記コンピュータサブシステムが、前記ロボット外科手術システムの前記ロボットアームおよび／またはエンドエフェクターを前記軌道に沿って自動的に移動するように構成されている、請求項１８に記載の拡張現実ナビゲーションシステム。
  20. 前記コンピュータサブシステムが、前記コンピュータサブシステムが前記軌道を含み、前記ロボットアームおよび／またはエンドエフェクターに取り付けられた手術用器具の少なくとも一部分の動きが触覚フィードバックシステム内部に制約されるように、前記ロボットアームおよび／またはエンドエフェクターの動きを制約するように構成されている、請求項１８に記載の拡張現実ナビゲーションシステム。
JP2019025356A 2018-02-19 2019-02-15 ロボット外科手術システムで使用するための拡張現実ナビゲーションシステムおよびその使用方法 Active JP6751456B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/899,038 US20190254753A1 (en) 2018-02-19 2018-02-19 Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US15/899,038 2018-02-19

Publications (2)

Publication Number Publication Date
JP2019177134A JP2019177134A (ja) 2019-10-17
JP6751456B2 true JP6751456B2 (ja) 2020-09-02

Family

ID=65685116

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019025356A Active JP6751456B2 (ja) 2018-02-19 2019-02-15 ロボット外科手術システムで使用するための拡張現実ナビゲーションシステムおよびその使用方法

Country Status (4)

Country Link
US (4) US20190254753A1 (ja)
EP (2) EP3970650B1 (ja)
JP (1) JP6751456B2 (ja)
CN (1) CN110169822B (ja)

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10064552B1 (en) * 2009-06-04 2018-09-04 Masoud Vaziri Method and apparatus for a compact and high resolution mind-view communicator
FR2955481B1 (fr) 2010-01-27 2013-06-14 Tornier Sa Dispositif et procede de caracterisation glenoidienne d'une omoplate a protheser ou a resurfacer
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
CN108472095B (zh) * 2015-12-29 2021-11-02 皇家飞利浦有限公司 用于机器人外科手术的使用虚拟现实设备的***、控制器和方法
WO2017151752A1 (en) * 2016-03-01 2017-09-08 Mirus Llc Augmented visualization during surgery
WO2018020661A1 (ja) * 2016-07-29 2018-02-01 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
CN111010865B (zh) 2017-02-24 2023-07-25 梅西莫股份有限公司 用于显示医疗监测数据的***
WO2018156809A1 (en) * 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
EP3592273B1 (en) 2017-03-10 2023-10-04 Biomet Manufacturing, LLC Augmented reality supported knee surgery
WO2018208616A1 (en) 2017-05-08 2018-11-15 Masimo Corporation System for pairing a medical system to a network controller by use of a dongle
EP3445048A1 (en) 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
EP3470006B1 (en) 2017-10-10 2020-06-10 Holo Surgical Inc. Automated segmentation of three dimensional bony structure images
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US11490969B2 (en) * 2018-03-22 2022-11-08 Medtech S.A. Optical camera positioning tool
US20190310819A1 (en) * 2018-04-10 2019-10-10 Carto Technologies, LLC Augmented reality image display systems and methods
WO2019211741A1 (en) 2018-05-02 2019-11-07 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
WO2019245851A1 (en) 2018-06-19 2019-12-26 Tornier, Inc. Virtual guidance for ankle surgery procedures
EP3608870A1 (en) 2018-08-10 2020-02-12 Holo Surgical Inc. Computer assisted identification of appropriate anatomical structure for medical device placement during a surgical procedure
US11944388B2 (en) 2018-09-28 2024-04-02 Covidien Lp Systems and methods for magnetic interference correction
US20210259789A1 (en) * 2018-10-12 2021-08-26 Sony Corporation Surgical support system, data processing apparatus and method
US10898151B2 (en) * 2018-10-31 2021-01-26 Medtronic Inc. Real-time rendering and referencing for medical procedures
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11139071B2 (en) 2018-12-31 2021-10-05 Cerner Innovation, Inc. Virtual augmentation of clinical care environments
US11183185B2 (en) * 2019-01-09 2021-11-23 Microsoft Technology Licensing, Llc Time-based visual targeting for voice commands
US11031128B2 (en) 2019-01-25 2021-06-08 Fresenius Medical Care Holdings, Inc. Augmented reality-based training and troubleshooting for medical devices
US10470657B1 (en) * 2019-02-28 2019-11-12 Thomas E. Lister Systems and methods for administering a gaze nystagmus test
US20200352655A1 (en) * 2019-05-06 2020-11-12 ARUS Inc. Methods, devices, and systems for augmented reality guidance of medical devices into soft tissue
US11413111B2 (en) * 2019-05-24 2022-08-16 Karl Storz Imaging, Inc. Augmented reality system for medical procedures
US11288802B2 (en) 2019-07-17 2022-03-29 Gustav Lo Systems and methods for displaying augmented anatomical features
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11944265B2 (en) * 2019-08-16 2024-04-02 Intuitive Surgical Operations, Inc. Medical imaging systems and methods
US11574446B2 (en) * 2019-08-30 2023-02-07 National Central University Digital image reality aligning kit and method applied to mixed reality system for surgical navigation
TWI741359B (zh) * 2019-08-30 2021-10-01 國立中央大學 與手術導航系統整合之混合實境系統
US11958183B2 (en) 2019-09-19 2024-04-16 The Research Foundation For The State University Of New York Negotiation-based human-robot collaboration via augmented reality
CN110584782B (zh) * 2019-09-29 2021-05-14 上海微创电生理医疗科技股份有限公司 医学图像处理方法、装置、医学***、计算机及存储介质
WO2021097241A1 (en) * 2019-11-15 2021-05-20 Verily Life Sciences Llc Robotic surgery depth detection and modeling
KR102405416B1 (ko) * 2019-11-25 2022-06-07 한국전자기술연구원 Hmd를 착용한 사용자의 자세 추정 방법
WO2021108265A1 (en) * 2019-11-26 2021-06-03 Tornier, Inc. Tracking surgical pin
EP4069074A4 (en) * 2019-12-03 2023-12-06 Mediview XR, Inc. HOLOGRAPHIC AUGMENTED REALITY ULTRASONIC NEEDLE GUIDE FOR INSERTION IN PERCUTANEOUS SURGICAL PROCEDURES
US11992373B2 (en) * 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US20230027801A1 (en) * 2020-01-06 2023-01-26 The Johns Hopkins University Overlaying augmented reality (ar) content within an ar headset coupled to a magnifying loupe
EP3851896A1 (en) * 2020-01-20 2021-07-21 Leica Instruments (Singapore) Pte. Ltd. Apparatuses, methods and computer programs for controlling a microscope system
US11006093B1 (en) * 2020-01-22 2021-05-11 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
JP7282816B2 (ja) * 2020-02-04 2023-05-29 グローバス メディカル インコーポレイティッド ナビゲートされたロボット外科手術のためのエクステンデッドリアリティ器具相互作用ゾーン
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
CN113317877B (zh) * 2020-02-28 2022-06-17 上海微创卜算子医疗科技有限公司 增强现实手术机器人***及增强现实设备
US11571269B2 (en) * 2020-03-11 2023-02-07 Verb Surgical Inc. Surgeon disengagement detection during termination of teleoperation
WO2021180331A1 (en) * 2020-03-12 2021-09-16 Brainlab Ag Method for registering a virtual representation of a patient anatomy with a coordinate system of a physical patient anatomy
US11950968B2 (en) 2020-03-13 2024-04-09 Trumpf Medizin Systeme Gmbh + Co. Kg Surgical augmented reality
US11641460B1 (en) * 2020-04-27 2023-05-02 Apple Inc. Generating a volumetric representation of a capture region
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
EP3926642A1 (en) * 2020-06-17 2021-12-22 Koninklijke Philips N.V. Dynamic positioning for a virtual display
US11393434B2 (en) 2020-07-09 2022-07-19 Industrial Technology Research Institute Method, processing device, and display system for information display
US11980426B2 (en) 2020-08-03 2024-05-14 Warsaw Orthopedic, Inc. System and method for preliminary registration
CN114098974A (zh) * 2020-08-31 2022-03-01 上海微创医疗机器人（集团）股份有限公司 控制台、医生控制台及手术机器人
US11737831B2 (en) * 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US20220096197A1 (en) * 2020-09-30 2022-03-31 Verb Surgical Inc. Augmented reality headset for a surgical robot
CA3194439A1 (en) * 2020-10-02 2022-04-07 Gustav Lo Systems and methods for displaying augmented anatomical features
CN112542248B (zh) * 2020-11-30 2022-11-08 清华大学 一种头盔及增强现实投影方法
EP4027185A1 (en) * 2021-01-11 2022-07-13 BHS Technologies GmbH Head-mounted display system
US11682487B2 (en) * 2021-01-22 2023-06-20 Cilag Gmbh International Active recognition and pairing sensing systems
US11694533B2 (en) 2021-01-22 2023-07-04 Cilag Gmbh International Predictive based system adjustments based on biomarker trending
US12011163B2 (en) 2021-01-22 2024-06-18 Cilag Gmbh International Prediction of tissue irregularities based on biomarker monitoring
US11327630B1 (en) * 2021-02-04 2022-05-10 Huawei Technologies Co., Ltd. Devices, methods, systems, and media for selecting virtual objects for extended reality interaction
CN114882976A (zh) * 2021-02-05 2022-08-09 中强光电股份有限公司 医疗用影像辅助***及医疗用影像辅助方法
EP4304490A1 (en) * 2021-03-10 2024-01-17 Onpoint Medical, Inc. Augmented reality guidance for imaging systems and robotic surgery
US11771517B2 (en) * 2021-03-12 2023-10-03 Medos International Sarl Camera position indication systems and methods
CN113113149A (zh) * 2021-04-01 2021-07-13 上海复拓知达医疗科技有限公司 一种增强现实手术导航***的提示信息显示装置和方法
CN113133829B (zh) * 2021-04-01 2022-11-01 上海复拓知达医疗科技有限公司 一种手术导航***、方法、电子设备和可读存储介质
CN113133814A (zh) * 2021-04-01 2021-07-20 上海复拓知达医疗科技有限公司 基于增强现实的穿刺手术导航装置及计算机可读存储介质
CN113317876A (zh) * 2021-06-07 2021-08-31 上海盼研机器人科技有限公司 一种基于增强现实的颅颌面骨折修复导航***
CN113456220B (zh) * 2021-06-30 2023-02-28 上海微创医疗机器人（集团）股份有限公司 对准方法、手术机器人及计算机存储介质
CN115542889A (zh) * 2021-06-30 2022-12-30 上海微觅医疗器械有限公司 机器人术前导航方法、***、存储介质及计算机设备
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
WO2023052535A1 (en) * 2021-09-30 2023-04-06 Leica Instruments (Singapore) Pte. Ltd. Devices and systems for use in imaging during surgery
BE1029880B1 (nl) * 2021-10-26 2023-05-30 Rods&Cones Holding Bv Geautomatiseerde gebruikersvoorkeursinstellingen
CN114454163A (zh) * 2022-01-13 2022-05-10 武汉理工大学 基于增强现实与脑机接口的工业机器人轨迹规划方法
WO2023147433A2 (en) * 2022-01-26 2023-08-03 Polarisar, Inc. Augmented reality systems and methods for surgical planning and guidance
WO2023168399A2 (en) * 2022-03-04 2023-09-07 Magic Leap, Inc. Extended reality display system with vision correction
CN114832243A (zh) * 2022-03-31 2022-08-02 西安大医集团股份有限公司 位置调整方法、头显设备及放疗***
WO2023208312A1 (de) * 2022-04-25 2023-11-02 Belimed Life Science Ag Beladeverfahren zum beladen eines waschgutträgers, prüfverfahren, erweiterte-realität-vorrichtung, beladungssystem und reinigungsverfahren
US12019314B1 (en) * 2022-09-21 2024-06-25 Onpoint Medical, Inc. Head mounted display assembly with control of head mounted display and loupe position and orientation
US12003709B1 (en) * 2022-11-16 2024-06-04 International Business Machines Corporation Visual data transmission by an air-gapped system
WO2024141152A1 (en) * 2022-12-27 2024-07-04 Brainlab Ag Conjunction of 2d and 3d visualisations in augmented reality

Family Cites Families (863)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2614083B2 (de) 1976-04-01 1979-02-08 Siemens Ag, 1000 Berlin Und 8000 Muenchen Röntgenschichtgerät zur Herstellung von Transversalschichtbildern
US4722056A (en) 1986-02-18 1988-01-26 Trustees Of Dartmouth College Reference display systems for superimposing a tomagraphic image onto the focal plane of an operating microscope
US5354314A (en) 1988-12-23 1994-10-11 Medical Instrumentation And Diagnostics Corporation Three-dimensional beam localization apparatus and microscope for stereotactic diagnoses or surgery mounted on robotic type arm
US5246010A (en) 1990-12-11 1993-09-21 Biotrine Corporation Method and apparatus for exhalation analysis
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US6963792B1 (en) 1992-01-21 2005-11-08 Sri International Surgical method
US5631973A (en) 1994-05-05 1997-05-20 Sri International Method for telemanipulation with telepresence
US5657429A (en) 1992-08-10 1997-08-12 Computer Motion, Inc. Automated endoscope system optimal positioning
US5397323A (en) 1992-10-30 1995-03-14 International Business Machines Corporation Remote center-of-motion robot for surgery
EP0646263B1 (en) 1993-04-20 2000-05-31 General Electric Company Computer graphic and live video system for enhancing visualisation of body structures during surgery
US5961456A (en) 1993-05-12 1999-10-05 Gildenberg; Philip L. System and method for displaying concurrent video and reconstructed surgical views
EP0699053B1 (en) 1993-05-14 1999-03-17 Sri International Surgical apparatus
US5526812A (en) 1993-06-21 1996-06-18 General Electric Company Display system for enhancing visualization of body structures during medical procedures
JP3378401B2 (ja) 1994-08-30 2003-02-17 株式会社日立メディコ Ｘ線装置
US6646541B1 (en) 1996-06-24 2003-11-11 Computer Motion, Inc. General purpose distributed operating room control system
US6978166B2 (en) 1994-10-07 2005-12-20 Saint Louis University System for use in displaying images of a body part
CA2201877C (en) 1994-10-07 2004-06-08 Richard D. Bucholz Surgical navigation systems including reference and localization frames
US5882206A (en) 1995-03-29 1999-03-16 Gillio; Robert G. Virtual surgery system
US5887121A (en) 1995-04-21 1999-03-23 International Business Machines Corporation Method of constrained Cartesian control of robotic mechanisms with active and passive joints
US6122541A (en) 1995-05-04 2000-09-19 Radionics, Inc. Head band for frameless stereotactic registration
US5649956A (en) 1995-06-07 1997-07-22 Sri International System and method for releasably holding a surgical instrument
US5825982A (en) 1995-09-15 1998-10-20 Wright; James Head cursor control interface for an automated endoscope system for optimal positioning
US5772594A (en) 1995-10-17 1998-06-30 Barrick; Earl F. Fluoroscopic image guided orthopaedic surgery system with intraoperative registration
US5855583A (en) 1996-02-20 1999-01-05 Computer Motion, Inc. Method and apparatus for performing minimally invasive cardiac procedures
SG64340A1 (en) 1996-02-27 1999-04-27 Inst Of Systems Science Nation Curved surgical instruments and methods of mapping a curved path for stereotactic surgery
US6167145A (en) 1996-03-29 2000-12-26 Surgical Navigation Technologies, Inc. Bone navigation system
US6786896B1 (en) 1997-09-19 2004-09-07 Massachusetts Institute Of Technology Robotic apparatus
US5792135A (en) 1996-05-20 1998-08-11 Intuitive Surgical, Inc. Articulated surgical instrument for performing minimally invasive surgery with enhanced dexterity and sensitivity
US6167296A (en) 1996-06-28 2000-12-26 The Board Of Trustees Of The Leland Stanford Junior University Method for volumetric image navigation
US7302288B1 (en) 1996-11-25 2007-11-27 Z-Kat, Inc. Tool position indicator
US8529582B2 (en) 1996-12-12 2013-09-10 Intuitive Surgical Operations, Inc. Instrument interface of a robotic surgical system
US7727244B2 (en) 1997-11-21 2010-06-01 Intuitive Surgical Operation, Inc. Sterile surgical drape
US6205411B1 (en) 1997-02-21 2001-03-20 Carnegie Mellon University Computer-assisted surgery planner and intra-operative guidance system
US6012216A (en) 1997-04-30 2000-01-11 Ethicon, Inc. Stand alone swage apparatus
US5820559A (en) 1997-03-20 1998-10-13 Ng; Wan Sing Computerized boundary estimation in medical images
US5911449A (en) 1997-04-30 1999-06-15 Ethicon, Inc. Semi-automated needle feed method and apparatus
US6231565B1 (en) 1997-06-18 2001-05-15 United States Surgical Corporation Robotic arm DLUs for performing surgical tasks
US6226548B1 (en) 1997-09-24 2001-05-01 Surgical Navigation Technologies, Inc. Percutaneous registration apparatus and method for use in computer-assisted surgical navigation
US5951475A (en) 1997-09-25 1999-09-14 International Business Machines Corporation Methods and apparatus for registering CT-scan data to multiple fluoroscopic images
US5987960A (en) 1997-09-26 1999-11-23 Picker International, Inc. Tool calibrator
EP1027627B1 (en) 1997-10-30 2009-02-11 MYVU Corporation Eyeglass interface system
US6157853A (en) 1997-11-12 2000-12-05 Stereotaxis, Inc. Method and apparatus using shaped field of repositionable magnet to guide implant
US6212419B1 (en) 1997-11-12 2001-04-03 Walter M. Blume Method and apparatus using shaped field of repositionable magnet to guide implant
US6031888A (en) 1997-11-26 2000-02-29 Picker International, Inc. Fluoro-assist feature for a diagnostic imaging device
US6165170A (en) 1998-01-29 2000-12-26 International Business Machines Corporation Laser dermablator and dermablation
US7169141B2 (en) 1998-02-24 2007-01-30 Hansen Medical, Inc. Surgical instrument
FR2779339B1 (fr) 1998-06-09 2000-10-13 Integrated Surgical Systems Sa Procede et appareil de mise en correspondance pour la chirurgie robotisee, et dispositif de mise en correspondance en comportant application
US6477400B1 (en) 1998-08-20 2002-11-05 Sofamor Danek Holdings, Inc. Fluoroscopic image guided orthopaedic surgery system with intraoperative registration
DE19839825C1 (de) 1998-09-01 1999-10-07 Siemens Ag Röntgendiagnostikgerät mit an einer bogenförmigen Halterung einander gegenüberliegend gelagertem Strahlensender und Strahlenempfänger
US6033415A (en) 1998-09-14 2000-03-07 Integrated Surgical Systems System and method for performing image directed robotic orthopaedic procedures without a fiducial reference system
DE19842798C1 (de) 1998-09-18 2000-05-04 Howmedica Leibinger Gmbh & Co Kalibriervorrichtung
US6340363B1 (en) 1998-10-09 2002-01-22 Surgical Navigation Technologies, Inc. Image guided vertebral distractor and method for tracking the position of vertebrae
US8527094B2 (en) 1998-11-20 2013-09-03 Intuitive Surgical Operations, Inc. Multi-user medical robotic system for collaboration or training in minimally invasive surgical procedures
US6659939B2 (en) 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US7125403B2 (en) 1998-12-08 2006-10-24 Intuitive Surgical In vivo accessories for minimally invasive robotic surgery
US6325808B1 (en) 1998-12-08 2001-12-04 Advanced Realtime Control Systems, Inc. Robotic system, docking station, and surgical tool for collaborative control in minimally invasive surgery
US6322567B1 (en) 1998-12-14 2001-11-27 Integrated Surgical Systems, Inc. Bone motion tracking system
US6451027B1 (en) 1998-12-16 2002-09-17 Intuitive Surgical, Inc. Devices and methods for moving an image capture device in telesurgical systems
US7016457B1 (en) 1998-12-31 2006-03-21 General Electric Company Multimode imaging system for generating high quality images
DE19905974A1 (de) 1999-02-12 2000-09-07 Siemens Ag Verfahren zur Abtastung eines Untersuchungsobjekts mittels eines CT-Geräts
US6560354B1 (en) 1999-02-16 2003-05-06 University Of Rochester Apparatus and method for registration of images to physical space using a weighted combination of points and surfaces
US6778850B1 (en) 1999-03-16 2004-08-17 Accuray, Inc. Frameless radiosurgery treatment system and method
US6144875A (en) 1999-03-16 2000-11-07 Accuray Incorporated Apparatus and method for compensating for respiratory and patient motion during treatment
US6501981B1 (en) 1999-03-16 2002-12-31 Accuray, Inc. Apparatus and method for compensating for respiratory and patient motions during treatment
US6470207B1 (en) 1999-03-23 2002-10-22 Surgical Navigation Technologies, Inc. Navigational guidance via computer-assisted fluoroscopic imaging
JP2000271110A (ja) 1999-03-26 2000-10-03 Hitachi Medical Corp 医用ｘ線装置
US6424885B1 (en) 1999-04-07 2002-07-23 Intuitive Surgical, Inc. Camera referenced control in a minimally invasive surgical apparatus
US6594552B1 (en) 1999-04-07 2003-07-15 Intuitive Surgical, Inc. Grip strength with tactile feedback for robotic surgery
US6565554B1 (en) 1999-04-07 2003-05-20 Intuitive Surgical, Inc. Friction compensation in a minimally invasive surgical apparatus
US6301495B1 (en) 1999-04-27 2001-10-09 International Business Machines Corporation System and method for intra-operative, image-based, interactive verification of a pre-operative surgical plan
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6139544A (en) 1999-05-26 2000-10-31 Endocare, Inc. Computer guided cryosurgery
DE19927953A1 (de) 1999-06-18 2001-01-11 Siemens Ag Röntgendiagnostikgerät
US6314311B1 (en) 1999-07-28 2001-11-06 Picker International, Inc. Movable mirror laser registration system
US6788018B1 (en) 1999-08-03 2004-09-07 Intuitive Surgical, Inc. Ceiling and floor mounted surgical robot set-up arms
US8004229B2 (en) 2005-05-19 2011-08-23 Intuitive Surgical Operations, Inc. Software center and highly configurable robotic systems for surgery and other uses
US8271130B2 (en) 2009-03-09 2012-09-18 Intuitive Surgical Operations, Inc. Master controller having redundant degrees of freedom and added forces to create internal motion
US7594912B2 (en) 2004-09-30 2009-09-29 Intuitive Surgical, Inc. Offset remote center manipulator for robotic surgery
US6312435B1 (en) 1999-10-08 2001-11-06 Intuitive Surgical, Inc. Surgical instrument with extended reach for use in minimally invasive surgery
US6499488B1 (en) 1999-10-28 2002-12-31 Winchester Development Associates Surgical sensor
US8239001B2 (en) 2003-10-17 2012-08-07 Medtronic Navigation, Inc. Method and apparatus for surgical navigation
US6379302B1 (en) 1999-10-28 2002-04-30 Surgical Navigation Technologies Inc. Navigation information overlay onto ultrasound imagery
US7366562B2 (en) 2003-10-17 2008-04-29 Medtronic Navigation, Inc. Method and apparatus for surgical navigation
US6235038B1 (en) 1999-10-28 2001-05-22 Medtronic Surgical Navigation Technologies System for translation of electromagnetic and optical localization systems
US8644907B2 (en) 1999-10-28 2014-02-04 Medtronic Navigaton, Inc. Method and apparatus for surgical navigation
US20010036302A1 (en) 1999-12-10 2001-11-01 Miller Michael I. Method and apparatus for cross modality image registration
US7635390B1 (en) 2000-01-14 2009-12-22 Marctec, Llc Joint replacement component having a modular articulating surface
US6377011B1 (en) 2000-01-26 2002-04-23 Massachusetts Institute Of Technology Force feedback user interface for minimally invasive surgical simulator and teleoperator and other similar apparatus
US6757068B2 (en) 2000-01-28 2004-06-29 Intersense, Inc. Self-referenced tracking
US6725080B2 (en) 2000-03-01 2004-04-20 Surgical Navigation Technologies, Inc. Multiple cannula image guided tool for image guided procedures
EP1265547A1 (en) 2000-03-15 2002-12-18 Orthosoft Inc. Automatic calibration system for computer-aided surgical instruments
US6535756B1 (en) 2000-04-07 2003-03-18 Surgical Navigation Technologies, Inc. Trajectory storage apparatus and method for surgical navigation system
US6856826B2 (en) 2000-04-28 2005-02-15 Ge Medical Systems Global Technology Company, Llc Fluoroscopic tracking and visualization system
US6856827B2 (en) 2000-04-28 2005-02-15 Ge Medical Systems Global Technology Company, Llc Fluoroscopic tracking and visualization system
US6484049B1 (en) 2000-04-28 2002-11-19 Ge Medical Systems Global Technology Company, Llc Fluoroscopic tracking and visualization system
US6614453B1 (en) 2000-05-05 2003-09-02 Koninklijke Philips Electronics, N.V. Method and apparatus for medical image display for surgical tool planning and navigation in clinical environments
US6645196B1 (en) 2000-06-16 2003-11-11 Intuitive Surgical, Inc. Guided tool change
US6782287B2 (en) 2000-06-27 2004-08-24 The Board Of Trustees Of The Leland Stanford Junior University Method and apparatus for tracking a medical instrument based on image registration
US6837892B2 (en) 2000-07-24 2005-01-04 Mazor Surgical Technologies Ltd. Miniature bone-mounted surgical robot
US6902560B1 (en) 2000-07-27 2005-06-07 Intuitive Surgical, Inc. Roll-pitch-roll surgical tool
DE10037491A1 (de) 2000-08-01 2002-02-14 Stryker Leibinger Gmbh & Co Kg Verfahren zum dreidimensionalen Visualisieren von Strukturen im Körperinneren
US6823207B1 (en) 2000-08-26 2004-11-23 Ge Medical Systems Global Technology Company, Llc Integrated fluoroscopic surgical navigation and imaging workstation with command protocol
EP1323120B1 (en) 2000-09-25 2018-11-14 Z-Kat Inc. Fluoroscopic registration artifact with optical and/or magnetic markers
EP1328208A1 (de) 2000-10-23 2003-07-23 Deutsches Krebsforschungszentrum Stiftung des öffentlichen Rechts Verfahren, vorrichtung und navigationshilfe zur navigation bei medizinischen eingriffen
US6718194B2 (en) 2000-11-17 2004-04-06 Ge Medical Systems Global Technology Company, Llc Computer assisted intramedullary rod surgery system with enhanced features
US6666579B2 (en) 2000-12-28 2003-12-23 Ge Medical Systems Global Technology Company, Llc Method and apparatus for obtaining and displaying computed tomography images using a fluoroscopy imaging system
US6840938B1 (en) 2000-12-29 2005-01-11 Intuitive Surgical, Inc. Bipolar cauterizing instrument
WO2002061371A1 (en) 2001-01-30 2002-08-08 Z-Kat, Inc. Tool calibrator and tracker system
US7220262B1 (en) 2001-03-16 2007-05-22 Sdgi Holdings, Inc. Spinal fixation system and related methods
US7605826B2 (en) 2001-03-27 2009-10-20 Siemens Corporate Research, Inc. Augmented reality guided instrument positioning with depth determining graphics
US7176936B2 (en) 2001-03-27 2007-02-13 Siemens Corporate Research, Inc. Augmented reality guided instrument positioning with modulated guiding graphics
US6856324B2 (en) 2001-03-27 2005-02-15 Siemens Corporate Research, Inc. Augmented reality guided instrument positioning with guiding graphics
US6919867B2 (en) 2001-03-29 2005-07-19 Siemens Corporate Research, Inc. Method and apparatus for augmented reality visualization
FR2822674B1 (fr) 2001-04-03 2003-06-27 Scient X Systeme stabilise de fusion intersomatique pour vertebres
WO2002083003A1 (en) 2001-04-11 2002-10-24 Clarke Dana S Tissue structure identification in advance of instrument
US7824401B2 (en) 2004-10-08 2010-11-02 Intuitive Surgical Operations, Inc. Robotic tool with wristed monopolar electrosurgical end effectors
US6783524B2 (en) 2001-04-19 2004-08-31 Intuitive Surgical, Inc. Robotic surgical tool with ultrasound cauterizing and cutting instrument
US8398634B2 (en) 2002-04-18 2013-03-19 Intuitive Surgical Operations, Inc. Wristed robotic surgical tool for pluggable end-effectors
US6994708B2 (en) 2001-04-19 2006-02-07 Intuitive Surgical Robotic tool with monopolar electro-surgical scissors
US6636757B1 (en) 2001-06-04 2003-10-21 Surgical Navigation Technologies, Inc. Method and apparatus for electromagnetic navigation of a surgical probe near a metal object
US7607440B2 (en) 2001-06-07 2009-10-27 Intuitive Surgical, Inc. Methods and apparatus for surgical planning
JP2005500096A (ja) 2001-06-13 2005-01-06 ヴォリューム・インタラクションズ・プライヴェート・リミテッド ガイドシステム
WO2002100285A1 (en) 2001-06-13 2002-12-19 Volume Interactions Pte Ltd A guide system and a probe therefor
US6584339B2 (en) 2001-06-27 2003-06-24 Vanderbilt University Method and apparatus for collecting and processing physical space data for use while performing image-guided surgery
CA2451824C (en) 2001-06-29 2015-02-24 Intuitive Surgical, Inc. Platform link wrist mechanism
US7063705B2 (en) 2001-06-29 2006-06-20 Sdgi Holdings, Inc. Fluoroscopic locator and registration device
US20040243147A1 (en) 2001-07-03 2004-12-02 Lipow Kenneth I. Surgical robot and robotic controller
ITMI20011759A1 (it) 2001-08-09 2003-02-09 Nuovo Pignone Spa Dispositivo raschiaiolo per asta di stantuffo di compressori alternativi
US7708741B1 (en) 2001-08-28 2010-05-04 Marctec, Llc Method of preparing bones for knee replacement surgery
US6728599B2 (en) 2001-09-07 2004-04-27 Computer Motion, Inc. Modularity system for computer assisted surgery
US6587750B2 (en) 2001-09-25 2003-07-01 Intuitive Surgical, Inc. Removable infinite roll master grip handle and touch sensor for robotic surgery
US6619840B2 (en) 2001-10-15 2003-09-16 Koninklijke Philips Electronics N.V. Interventional volume scanner
US6839612B2 (en) 2001-12-07 2005-01-04 Institute Surgical, Inc. Microwrist system for surgical procedures
EP1321105B1 (de) 2001-12-18 2003-08-20 BrainLAB AG Projektion von Patientenbilddaten aus Durchleuchtungs bzw. Schichtbilderfassungsverfahren auf Oberflächenvideobilder
US20030210812A1 (en) 2002-02-26 2003-11-13 Ali Khamene Apparatus and method for surgical navigation
US6947786B2 (en) 2002-02-28 2005-09-20 Surgical Navigation Technologies, Inc. Method and apparatus for perspective inversion
US8996169B2 (en) 2011-12-29 2015-03-31 Mako Surgical Corp. Neural monitor-based dynamic haptics
US7831292B2 (en) 2002-03-06 2010-11-09 Mako Surgical Corp. Guidance system and method for surgical procedures with improved feedback
US20030179308A1 (en) 2002-03-19 2003-09-25 Lucia Zamorano Augmented tracking using video, computed data and/or sensing technologies
US7108421B2 (en) 2002-03-19 2006-09-19 Breakaway Imaging, Llc Systems and methods for imaging large field-of-view objects
WO2003086714A2 (en) 2002-04-05 2003-10-23 The Trustees Of Columbia University In The City Of New York Robotic scrub nurse
US7099428B2 (en) 2002-06-25 2006-08-29 The Regents Of The University Of Michigan High spatial resolution X-ray computed tomography (CT) system
US7248914B2 (en) 2002-06-28 2007-07-24 Stereotaxis, Inc. Method of navigating medical devices in the presence of radiopaque material
US7630752B2 (en) 2002-08-06 2009-12-08 Stereotaxis, Inc. Remote control of medical devices using a virtual device interface
US7231063B2 (en) 2002-08-09 2007-06-12 Intersense, Inc. Fiducial detection system
WO2004015369A2 (en) 2002-08-09 2004-02-19 Intersense, Inc. Motion tracking system and method
EP1531749A2 (en) 2002-08-13 2005-05-25 Microbotics Corporation Microsurgical robot system
US6892090B2 (en) 2002-08-19 2005-05-10 Surgical Navigation Technologies, Inc. Method and apparatus for virtual endoscopy
US7331967B2 (en) 2002-09-09 2008-02-19 Hansen Medical, Inc. Surgical instrument coupling mechanism
ES2204322B1 (es) 2002-10-01 2005-07-16 Consejo Sup. De Invest. Cientificas Navegador funcional.
JP3821435B2 (ja) 2002-10-18 2006-09-13 松下電器産業株式会社 超音波探触子
US6867753B2 (en) 2002-10-28 2005-03-15 University Of Washington Virtual image registration in augmented display field
US7599730B2 (en) 2002-11-19 2009-10-06 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US7319897B2 (en) 2002-12-02 2008-01-15 Aesculap Ag & Co. Kg Localization device display method and apparatus
US7318827B2 (en) 2002-12-02 2008-01-15 Aesculap Ag & Co. Kg Osteotomy procedure
US8814793B2 (en) 2002-12-03 2014-08-26 Neorad As Respiration monitor
US7386365B2 (en) 2004-05-04 2008-06-10 Intuitive Surgical, Inc. Tool grip calibration for robotic surgery
US7945021B2 (en) 2002-12-18 2011-05-17 Varian Medical Systems, Inc. Multi-mode cone beam CT radiotherapy simulator and treatment machine with a flat panel imager
US7505809B2 (en) 2003-01-13 2009-03-17 Mediguide Ltd. Method and system for registering a first image with a second image relative to the body of a patient
US7660623B2 (en) 2003-01-30 2010-02-09 Medtronic Navigation, Inc. Six degree of freedom alignment display for medical procedures
US7542791B2 (en) 2003-01-30 2009-06-02 Medtronic Navigation, Inc. Method and apparatus for preplanning a surgical procedure
US6988009B2 (en) 2003-02-04 2006-01-17 Zimmer Technology, Inc. Implant registration device for surgical navigation system
WO2004069040A2 (en) 2003-02-04 2004-08-19 Z-Kat, Inc. Method and apparatus for computer assistance with intramedullary nail procedure
US7083615B2 (en) 2003-02-24 2006-08-01 Intuitive Surgical Inc Surgical tool having electrocautery energy supply conductor with inhibited current leakage
US7570791B2 (en) 2003-04-25 2009-08-04 Medtronic Navigation, Inc. Method and apparatus for performing 2D to 3D registration
JP4163991B2 (ja) 2003-04-30 2008-10-08 株式会社モリタ製作所 Ｘ線ｃｔ撮影装置及び撮影方法
US9060770B2 (en) 2003-05-20 2015-06-23 Ethicon Endo-Surgery, Inc. Robotically-driven surgical instrument with E-beam driver
US7194120B2 (en) 2003-05-29 2007-03-20 Board Of Regents, The University Of Texas System Methods and systems for image-guided placement of implants
US7171257B2 (en) 2003-06-11 2007-01-30 Accuray Incorporated Apparatus and method for radiosurgery
US9002518B2 (en) 2003-06-30 2015-04-07 Intuitive Surgical Operations, Inc. Maximum torque driving of robotic surgical tools in robotic surgical systems
US7042184B2 (en) 2003-07-08 2006-05-09 Board Of Regents Of The University Of Nebraska Microrobot for surgical applications
US7960935B2 (en) 2003-07-08 2011-06-14 The Board Of Regents Of The University Of Nebraska Robotic devices with agent delivery components and related methods
AU2004203173A1 (en) 2003-07-14 2005-02-03 Sunnybrook And Women's College And Health Sciences Centre Optical image-based position tracking for magnetic resonance imaging
JP2007530085A (ja) 2003-07-15 2007-11-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 大きなガントリボアを有するコンピュータトモグラフィスキャナ
US7313430B2 (en) 2003-08-28 2007-12-25 Medtronic Navigation, Inc. Method and apparatus for performing stereotactic surgery
US7835778B2 (en) 2003-10-16 2010-11-16 Medtronic Navigation, Inc. Method and apparatus for surgical navigation of a multiple piece construct for implantation
US7840253B2 (en) 2003-10-17 2010-11-23 Medtronic Navigation, Inc. Method and apparatus for surgical navigation
US20050171558A1 (en) 2003-10-17 2005-08-04 Abovitz Rony A. Neurosurgery targeting and delivery system for brain structures
US20050096502A1 (en) 2003-10-29 2005-05-05 Khalili Theodore M. Robotic surgical device
US9393039B2 (en) 2003-12-17 2016-07-19 Brainlab Ag Universal instrument or instrument set for computer guided surgery
US7466303B2 (en) 2004-02-10 2008-12-16 Sunnybrook Health Sciences Center Device and process for manipulating real and virtual objects in three-dimensional space
US7774044B2 (en) * 2004-02-17 2010-08-10 Siemens Medical Solutions Usa, Inc. System and method for augmented reality navigation in a medical intervention procedure
EP1720479B1 (en) 2004-03-05 2014-04-23 Depuy International Limited Registration methods and apparatus
US7974681B2 (en) 2004-03-05 2011-07-05 Hansen Medical, Inc. Robotic catheter system
US20080269596A1 (en) 2004-03-10 2008-10-30 Ian Revie Orthpaedic Monitoring Systems, Methods, Implants and Instruments
US7657298B2 (en) 2004-03-11 2010-02-02 Stryker Leibinger Gmbh & Co. Kg System, device, and method for determining a position of an object
JP2007529007A (ja) 2004-03-12 2007-10-18 ブラッコ イメージング ソチエタ ペル アチオニ 強化現実システムにおけるオーバーレイ・エラーの測定方法と、その計測システム
US8475495B2 (en) 2004-04-08 2013-07-02 Globus Medical Polyaxial screw
US8860753B2 (en) 2004-04-13 2014-10-14 University Of Georgia Research Foundation, Inc. Virtual surgical system and methods
US9681925B2 (en) 2004-04-21 2017-06-20 Siemens Medical Solutions Usa, Inc. Method for augmented reality instrument placement using an image based navigation system
KR100617974B1 (ko) 2004-04-22 2006-08-31 한국과학기술원 명령추종이 가능한 복강경 장치
US7567834B2 (en) 2004-05-03 2009-07-28 Medtronic Navigation, Inc. Method and apparatus for implantation between two vertebral bodies
US7379790B2 (en) 2004-05-04 2008-05-27 Intuitive Surgical, Inc. Tool memory-based software upgrades for robotic surgery
US7974674B2 (en) 2004-05-28 2011-07-05 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic surgical system and method for surface modeling
US8528565B2 (en) 2004-05-28 2013-09-10 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic surgical system and method for automated therapy delivery
FR2871363B1 (fr) 2004-06-15 2006-09-01 Medtech Sa Dispositif robotise de guidage pour outil chirurgical
US7327865B2 (en) 2004-06-30 2008-02-05 Accuray, Inc. Fiducial-less tracking with non-rigid image registration
ITMI20041448A1 (it) 2004-07-20 2004-10-20 Milano Politecnico Apparato per la fusione e navigazione di immagini ecografiche e volumetriche di un paziente che utilizza una combinazione di marcatori ottici attivi e passivi per la localizzazione di sonde ecografiche e strumenti chirurgici rispetto al paziente
US7440793B2 (en) 2004-07-22 2008-10-21 Sunita Chauhan Apparatus and method for removing abnormal tissue
US7979157B2 (en) 2004-07-23 2011-07-12 Mcmaster University Multi-purpose robotic operating system and method
US9072535B2 (en) 2011-05-27 2015-07-07 Ethicon Endo-Surgery, Inc. Surgical stapling instruments with rotatable staple deployment arrangements
GB2422759B (en) 2004-08-05 2008-07-16 Elekta Ab Rotatable X-ray scan apparatus with cone beam offset
US7702379B2 (en) 2004-08-25 2010-04-20 General Electric Company System and method for hybrid tracking in surgical navigation
US7555331B2 (en) 2004-08-26 2009-06-30 Stereotaxis, Inc. Method for surgical navigation utilizing scale-invariant registration between a navigation system and a localization system
DE102004042489B4 (de) 2004-08-31 2012-03-29 Siemens Ag Medizinische Untersuchungs- oder Behandlungseinrichtung mit dazugehörigem Verfahren
DE502004007253D1 (de) 2004-09-15 2008-07-03 Ao Technology Ag Kalibriervorrichtung
US20090185655A1 (en) 2004-10-06 2009-07-23 Koninklijke Philips Electronics N.V. Computed tomography method
US7831294B2 (en) 2004-10-07 2010-11-09 Stereotaxis, Inc. System and method of surgical imagining with anatomical overlay for navigation of surgical devices
US7983733B2 (en) 2004-10-26 2011-07-19 Stereotaxis, Inc. Surgical navigation using a three-dimensional user interface
WO2006075331A2 (en) 2005-01-13 2006-07-20 Mazor Surgical Technologies Ltd. Image-guided robotic system for keyhole neurosurgery
US7062006B1 (en) 2005-01-19 2006-06-13 The Board Of Trustees Of The Leland Stanford Junior University Computed tomography with increased field of view
US7763015B2 (en) 2005-01-24 2010-07-27 Intuitive Surgical Operations, Inc. Modular manipulator support for robotic surgery
US7837674B2 (en) 2005-01-24 2010-11-23 Intuitive Surgical Operations, Inc. Compact counter balance for robotic surgical systems
US20060184396A1 (en) 2005-01-28 2006-08-17 Dennis Charles L System and method for surgical navigation
US20060176242A1 (en) 2005-02-08 2006-08-10 Blue Belt Technologies, Inc. Augmented reality device and method
US7231014B2 (en) 2005-02-14 2007-06-12 Varian Medical Systems Technologies, Inc. Multiple mode flat panel X-ray imaging system
JP4860636B2 (ja) 2005-02-17 2012-01-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 自動立体表示
CA2816973C (en) 2005-03-07 2014-11-04 Hector O. Pacheco Cannula for insertion in the elongated opening of a pedicle
EP1861035A1 (en) 2005-03-11 2007-12-05 Bracco Imaging S.P.A. Methods and apparati for surgical navigation and visualization with microscope
US8375808B2 (en) 2005-12-30 2013-02-19 Intuitive Surgical Operations, Inc. Force sensing for surgical instruments
US8496647B2 (en) 2007-12-18 2013-07-30 Intuitive Surgical Operations, Inc. Ribbed force sensor
WO2006102756A1 (en) 2005-03-30 2006-10-05 University Western Ontario Anisotropic hydrogels
WO2006111965A2 (en) 2005-04-20 2006-10-26 Visionsense Ltd. System and method for producing an augmented image of an organ of a patient
US7720523B2 (en) 2005-04-20 2010-05-18 General Electric Company System and method for managing power deactivation within a medical imaging system
US8208988B2 (en) 2005-05-13 2012-06-26 General Electric Company System and method for controlling a medical imaging device
US8398541B2 (en) 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
EP2289452A3 (en) 2005-06-06 2015-12-30 Intuitive Surgical Operations, Inc. Laparoscopic ultrasound robotic surgical system
US9289267B2 (en) 2005-06-14 2016-03-22 Siemens Medical Solutions Usa, Inc. Method and apparatus for minimally invasive surgery using endoscopes
JP2007000406A (ja) 2005-06-24 2007-01-11 Ge Medical Systems Global Technology Co Llc Ｘ線ｃｔ撮影方法およびｘ線ｃｔ装置
US7840256B2 (en) 2005-06-27 2010-11-23 Biomet Manufacturing Corporation Image guided tracking array and method
US20070005002A1 (en) 2005-06-30 2007-01-04 Intuitive Surgical Inc. Robotic surgical instruments for irrigation, aspiration, and blowing
US20070038059A1 (en) 2005-07-07 2007-02-15 Garrett Sheffer Implant and instrument morphing
WO2007022081A2 (en) 2005-08-11 2007-02-22 The Brigham And Women's Hospital, Inc. System and method for performing single photon emission computed tomography (spect) with a focal-length cone-beam collimation
US7787699B2 (en) 2005-08-17 2010-08-31 General Electric Company Real-time integration and recording of surgical image data
US8800838B2 (en) 2005-08-31 2014-08-12 Ethicon Endo-Surgery, Inc. Robotically-controlled cable-based surgical end effectors
US20070073133A1 (en) 2005-09-15 2007-03-29 Schoenefeld Ryan J Virtual mouse for use in surgical navigation
US7643862B2 (en) 2005-09-15 2010-01-05 Biomet Manufacturing Corporation Virtual mouse for use in surgical navigation
US7835784B2 (en) 2005-09-21 2010-11-16 Medtronic Navigation, Inc. Method and apparatus for positioning a reference frame
US8079950B2 (en) 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery
WO2007044301A2 (en) 2005-10-04 2007-04-19 Intersense, Inc. Tracking objects with markers
WO2007061890A2 (en) 2005-11-17 2007-05-31 Calypso Medical Technologies, Inc. Apparatus and methods for using an electromagnetic transponder in orthopedic procedures
US7711406B2 (en) 2005-11-23 2010-05-04 General Electric Company System and method for detection of electromagnetic radiation by amorphous silicon x-ray detector for metal detection in x-ray imaging
EP1795142B1 (en) 2005-11-24 2008-06-11 BrainLAB AG Medical tracking system using a gamma camera
US7762825B2 (en) 2005-12-20 2010-07-27 Intuitive Surgical Operations, Inc. Electro-mechanical interfaces to mount robotic surgical arms
US7689320B2 (en) 2005-12-20 2010-03-30 Intuitive Surgical Operations, Inc. Robotic surgical system with joint motion controller adapted to reduce instrument tip vibrations
US8672922B2 (en) 2005-12-20 2014-03-18 Intuitive Surgical Operations, Inc. Wireless communication in a robotic surgical system
US7955322B2 (en) 2005-12-20 2011-06-07 Intuitive Surgical Operations, Inc. Wireless communication in a robotic surgical system
US8182470B2 (en) 2005-12-20 2012-05-22 Intuitive Surgical Operations, Inc. Telescoping insertion axis of a robotic surgical system
US7819859B2 (en) 2005-12-20 2010-10-26 Intuitive Surgical Operations, Inc. Control system for reducing internally generated frictional and inertial resistance to manual positioning of a surgical manipulator
US8054752B2 (en) 2005-12-22 2011-11-08 Intuitive Surgical Operations, Inc. Synchronous data communication
ES2292327B1 (es) 2005-12-26 2009-04-01 Consejo Superior Investigaciones Cientificas Mini camara gamma autonoma y con sistema de localizacion, para uso intraquirurgico.
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
US20070167702A1 (en) 2005-12-30 2007-07-19 Intuitive Surgical Inc. Medical robotic system providing three-dimensional telestration
US7907166B2 (en) 2005-12-30 2011-03-15 Intuitive Surgical Operations, Inc. Stereo telestration for robotic surgery
EP2289455B1 (en) 2005-12-30 2019-11-13 Intuitive Surgical Operations, Inc. Modular force sensor
EP1966767A2 (en) 2005-12-31 2008-09-10 BRACCO IMAGING S.p.A. Systems and methods for collaborative interactive visualization of 3d data sets over a network ("dextronet")
US7533892B2 (en) 2006-01-05 2009-05-19 Intuitive Surgical, Inc. Steering system for heavy mobile medical equipment
KR100731052B1 (ko) 2006-01-23 2007-06-22 한양대학교 산학협력단 미세침습 수술을 위한 컴퓨터통합 수술 보조시스템
US8142420B2 (en) 2006-01-25 2012-03-27 Intuitive Surgical Operations Inc. Robotic arm with five-bar spherical linkage
US8162926B2 (en) 2006-01-25 2012-04-24 Intuitive Surgical Operations Inc. Robotic arm with five-bar spherical linkage
US20110295295A1 (en) 2006-01-31 2011-12-01 Ethicon Endo-Surgery, Inc. Robotically-controlled surgical instrument having recording capabilities
US7845537B2 (en) 2006-01-31 2010-12-07 Ethicon Endo-Surgery, Inc. Surgical instrument having recording capabilities
EP1815950A1 (en) 2006-02-03 2007-08-08 The European Atomic Energy Community (EURATOM), represented by the European Commission Robotic surgical system for performing minimally invasive medical procedures
US8219177B2 (en) 2006-02-16 2012-07-10 Catholic Healthcare West Method and system for performing invasive medical procedures using a surgical robot
US8219178B2 (en) 2007-02-16 2012-07-10 Catholic Healthcare West Method and system for performing invasive medical procedures using a surgical robot
US8526688B2 (en) 2006-03-09 2013-09-03 General Electric Company Methods and systems for registration of surgical navigation data and image data
US20070238981A1 (en) 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
US20070236514A1 (en) 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
EP2004071B1 (en) 2006-03-30 2013-05-15 Koninklijke Philips Electronics N.V. Targeting device, computer readable medium and program element
US20070233238A1 (en) 2006-03-31 2007-10-04 Medtronic Vascular, Inc. Devices for Imaging and Navigation During Minimally Invasive Non-Bypass Cardiac Procedures
US8314815B2 (en) 2006-04-12 2012-11-20 Nassir Navab Virtual penetrating mirror device for visualizing of virtual objects within an augmented reality environment
US7760849B2 (en) 2006-04-14 2010-07-20 William Beaumont Hospital Tetrahedron beam computed tomography
US8021310B2 (en) 2006-04-21 2011-09-20 Nellcor Puritan Bennett Llc Work of breathing display for a ventilation system
US8112292B2 (en) 2006-04-21 2012-02-07 Medtronic Navigation, Inc. Method and apparatus for optimizing a therapy
US7940999B2 (en) 2006-04-24 2011-05-10 Siemens Medical Solutions Usa, Inc. System and method for learning-based 2D/3D rigid registration for image-guided surgery using Jensen-Shannon divergence
EP2012698B8 (en) 2006-05-04 2011-06-22 NAVAB, Nassir Interactive virtual mirror device for visualizing virtual objects in endoscopic applications
EP2024761B1 (en) 2006-05-16 2014-05-07 SurgicEye GmbH Method and device for 3d acquisition, 3d visualization and computer guided surgery using nuclear probes
US20080004523A1 (en) 2006-06-29 2008-01-03 General Electric Company Surgical tool guide
DE102006032127B4 (de) 2006-07-05 2008-04-30 Aesculap Ag & Co. Kg Kalibrierverfahren und Kalibriervorrichtung für eine chirurgische Referenzierungseinheit
US20080013809A1 (en) 2006-07-14 2008-01-17 Bracco Imaging, Spa Methods and apparatuses for registration in image guided surgery
EP1886640B1 (de) 2006-08-08 2009-11-18 BrainLAB AG Planungsverfahren und System zur Freiform-Implantatsanpassung
EP2053972B1 (en) 2006-08-17 2013-09-11 Koninklijke Philips Electronics N.V. Computed tomography image acquisition
DE102006041033B4 (de) 2006-09-01 2017-01-19 Siemens Healthcare Gmbh Verfahren zur Rekonstruktion eines dreidimensionalen Bildvolumens
US8231610B2 (en) 2006-09-06 2012-07-31 National Cancer Center Robotic surgical system for laparoscopic surgery
US8150497B2 (en) 2006-09-08 2012-04-03 Medtronic, Inc. System for navigating a planned procedure within a body
US20080082109A1 (en) 2006-09-08 2008-04-03 Hansen Medical, Inc. Robotic surgical system with forward-oriented field of view guide instrument navigation
US8150498B2 (en) 2006-09-08 2012-04-03 Medtronic, Inc. System for identification of anatomical landmarks
US8532741B2 (en) 2006-09-08 2013-09-10 Medtronic, Inc. Method and apparatus to optimize electrode placement for neurological stimulation
US8248413B2 (en) 2006-09-18 2012-08-21 Stryker Corporation Visual navigation system for endoscopic surgery
US20080123910A1 (en) 2006-09-19 2008-05-29 Bracco Imaging Spa Method and system for providing accuracy evaluation of image guided surgery
US9044190B2 (en) 2006-09-25 2015-06-02 Mazor Robotics Ltd. C-arm computerized tomography system
US8660635B2 (en) 2006-09-29 2014-02-25 Medtronic, Inc. Method and apparatus for optimizing a computer assisted surgical procedure
US8052688B2 (en) 2006-10-06 2011-11-08 Wolf Ii Erich Electromagnetic apparatus and method for nerve localization during spinal surgery
US20080144906A1 (en) 2006-10-09 2008-06-19 General Electric Company System and method for video capture for fluoroscopy and navigation
US20080109012A1 (en) 2006-11-03 2008-05-08 General Electric Company System, method and apparatus for tableside remote connections of medical instruments and systems using wireless communications
US8551114B2 (en) 2006-11-06 2013-10-08 Human Robotics S.A. De C.V. Robotic surgical device
US20080108912A1 (en) 2006-11-07 2008-05-08 General Electric Company System and method for measurement of clinical parameters of the knee for use during knee replacement surgery
US20080108991A1 (en) 2006-11-08 2008-05-08 General Electric Company Method and apparatus for performing pedicle screw fusion surgery
US8682413B2 (en) 2006-11-15 2014-03-25 General Electric Company Systems and methods for automated tracker-driven image selection
US7935130B2 (en) 2006-11-16 2011-05-03 Intuitive Surgical Operations, Inc. Two-piece end-effectors for robotic surgical tools
WO2008063494A2 (en) 2006-11-16 2008-05-29 Vanderbilt University Apparatus and methods of compensating for organ deformation, registration of internal structures to images, and applications of same
US8727618B2 (en) 2006-11-22 2014-05-20 Siemens Aktiengesellschaft Robotic device and method for trauma patient diagnosis and therapy
US7835557B2 (en) 2006-11-28 2010-11-16 Medtronic Navigation, Inc. System and method for detecting status of imaging device
US8320991B2 (en) 2006-12-01 2012-11-27 Medtronic Navigation Inc. Portable electromagnetic navigation system
US7683331B2 (en) 2006-12-08 2010-03-23 Rush University Medical Center Single photon emission computed tomography (SPECT) system for cardiac imaging
US7683332B2 (en) 2006-12-08 2010-03-23 Rush University Medical Center Integrated single photon emission computed tomography (SPECT)/transmission computed tomography (TCT) system for cardiac imaging
US8556807B2 (en) 2006-12-21 2013-10-15 Intuitive Surgical Operations, Inc. Hermetically sealed distal sensor endoscope
US20080177203A1 (en) 2006-12-22 2008-07-24 General Electric Company Surgical navigation planning system and method for placement of percutaneous instrumentation and implants
DE102006061178A1 (de) 2006-12-22 2008-06-26 Siemens Ag System zur Durchführung und Überwachung minimal-invasiver Eingriffe
US20080161680A1 (en) 2006-12-29 2008-07-03 General Electric Company System and method for surgical navigation of motion preservation prosthesis
US9220573B2 (en) 2007-01-02 2015-12-29 Medtronic Navigation, Inc. System and method for tracking positions of uniform marker geometries
US8684253B2 (en) 2007-01-10 2014-04-01 Ethicon Endo-Surgery, Inc. Surgical instrument with wireless communication between a control unit of a robotic system and remote sensor
US20080183188A1 (en) 2007-01-25 2008-07-31 Warsaw Orthopedic, Inc. Integrated Surgical Navigational and Neuromonitoring System
US7987001B2 (en) 2007-01-25 2011-07-26 Warsaw Orthopedic, Inc. Surgical navigational and neuromonitoring instrument
US20080183074A1 (en) 2007-01-25 2008-07-31 Warsaw Orthopedic, Inc. Method and apparatus for coordinated display of anatomical and neuromonitoring information
US20080183068A1 (en) 2007-01-25 2008-07-31 Warsaw Orthopedic, Inc. Integrated Visualization of Surgical Navigational and Neural Monitoring Information
US8374673B2 (en) 2007-01-25 2013-02-12 Warsaw Orthopedic, Inc. Integrated surgical navigational and neuromonitoring system having automated surgical assistance and control
US8672836B2 (en) 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
TWI461176B (zh) 2007-02-01 2014-11-21 Interactive Neuroscience Ct Llc 手術導航
WO2008097853A2 (en) 2007-02-02 2008-08-14 Hansen Medical, Inc. Mounting support assembly for suspending a medical instrument driver above an operating table
US8600478B2 (en) 2007-02-19 2013-12-03 Medtronic Navigation, Inc. Automatic identification of instruments used with a surgical navigation system
US8233963B2 (en) 2007-02-19 2012-07-31 Medtronic Navigation, Inc. Automatic identification of tracked surgical devices using an electromagnetic localization system
US20080243142A1 (en) 2007-02-20 2008-10-02 Gildenberg Philip L Videotactic and audiotactic assisted surgical methods and procedures
DE102007009017B3 (de) 2007-02-23 2008-09-25 Siemens Ag Anordnung zur Unterstützung eines perkutanen Eingriffs
US10039613B2 (en) 2007-03-01 2018-08-07 Surgical Navigation Technologies, Inc. Method for localizing an imaging device with a surgical navigation system
US8098914B2 (en) 2007-03-05 2012-01-17 Siemens Aktiengesellschaft Registration of CT volumes with fluoroscopic images
US20080228068A1 (en) 2007-03-13 2008-09-18 Viswanathan Raju R Automated Surgical Navigation with Electro-Anatomical and Pre-Operative Image Data
US8821511B2 (en) 2007-03-15 2014-09-02 General Electric Company Instrument guide for use with a surgical navigation system
US20080235052A1 (en) 2007-03-19 2008-09-25 General Electric Company System and method for sharing medical information between image-guided surgery systems
US8150494B2 (en) 2007-03-29 2012-04-03 Medtronic Navigation, Inc. Apparatus for registering a physical space to image space
US7879045B2 (en) 2007-04-10 2011-02-01 Medtronic, Inc. System for guiding instruments having different sizes
EP2142133B1 (en) 2007-04-16 2012-10-10 NeuroArm Surgical, Ltd. Methods, devices, and systems for automated movements involving medical robots
EP2142132B1 (en) 2007-04-16 2012-09-26 NeuroArm Surgical, Ltd. System for non-mechanically restricting and/or programming movement of a tool of a manipulator along a single axis
US8010177B2 (en) 2007-04-24 2011-08-30 Medtronic, Inc. Intraoperative image registration
US8311611B2 (en) 2007-04-24 2012-11-13 Medtronic, Inc. Method for performing multiple registrations in a navigated procedure
US20090012509A1 (en) 2007-04-24 2009-01-08 Medtronic, Inc. Navigated Soft Tissue Penetrating Laser System
US8108025B2 (en) 2007-04-24 2012-01-31 Medtronic, Inc. Flexible array for use in navigated surgery
US8301226B2 (en) 2007-04-24 2012-10-30 Medtronic, Inc. Method and apparatus for performing a navigated procedure
US8062364B1 (en) 2007-04-27 2011-11-22 Knee Creations, Llc Osteoarthritis treatment and device
DE102007022122B4 (de) 2007-05-11 2019-07-11 Deutsches Zentrum für Luft- und Raumfahrt e.V. Greifvorrichtung für eine Chirurgie-Roboter-Anordnung
US8057397B2 (en) 2007-05-16 2011-11-15 General Electric Company Navigation and imaging system sychronized with respiratory and/or cardiac activity
US20080287771A1 (en) 2007-05-17 2008-11-20 General Electric Company Surgical navigation system with electrostatic shield
US8934961B2 (en) 2007-05-18 2015-01-13 Biomet Manufacturing, Llc Trackable diagnostic scope apparatus and methods of use
US20080300478A1 (en) 2007-05-30 2008-12-04 General Electric Company System and method for displaying real-time state of imaged anatomy during a surgical procedure
US20080300477A1 (en) 2007-05-30 2008-12-04 General Electric Company System and method for correction of automated image registration
US9301807B2 (en) 2007-06-13 2016-04-05 Intuitive Surgical Operations, Inc. Surgical system counterbalance
FR2917598B1 (fr) 2007-06-19 2010-04-02 Medtech Plateforme robotisee multi-applicative pour la neurochirurgie et procede de recalage
US9468412B2 (en) 2007-06-22 2016-10-18 General Electric Company System and method for accuracy verification for image based surgical navigation
GB0712690D0 (en) 2007-06-29 2007-08-08 Imp Innovations Ltd Imagee processing
CA2690808C (en) 2007-07-12 2016-09-27 Board Of Regents Of The University Of Nebraska Methods and systems of actuation in robotic devices
US7834484B2 (en) 2007-07-16 2010-11-16 Tyco Healthcare Group Lp Connection cable and method for activating a voltage-controlled generator
JP2009045428A (ja) 2007-07-25 2009-03-05 Terumo Corp 操作機構、医療用マニピュレータ及び手術用ロボットシステム
US8100950B2 (en) 2007-07-27 2012-01-24 The Cleveland Clinic Foundation Oblique lumbar interbody fusion
US8035685B2 (en) 2007-07-30 2011-10-11 General Electric Company Systems and methods for communicating video data between a mobile imaging system and a fixed monitor system
US8328818B1 (en) 2007-08-31 2012-12-11 Globus Medical, Inc. Devices and methods for treating bone
JP5452826B2 (ja) 2007-09-19 2014-03-26 ロバーツ、ウォルター、エー． 直接可視化ロボットによる術中放射線療法アプリケータ装置
US20090080737A1 (en) 2007-09-25 2009-03-26 General Electric Company System and Method for Use of Fluoroscope and Computed Tomography Registration for Sinuplasty Navigation
US9050120B2 (en) 2007-09-30 2015-06-09 Intuitive Surgical Operations, Inc. Apparatus and method of user interface with alternate tool mode for robotic surgical tools
US9522046B2 (en) 2010-08-23 2016-12-20 Gip Robotic surgery system
JP2011502567A (ja) 2007-11-06 2011-01-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 一体化された非対称平面パネル型コーンビームｃｔ及びｓｐｅｃｔシステムを備えた核医学ｓｐｅｃｔ−ｃｔ装置
DE102007055203A1 (de) 2007-11-19 2009-05-20 Kuka Roboter Gmbh Einen Roboter aufweisende Vorrichtung, medizinischer Arbeitsplatz und Verfahren zum Registrieren eines Objekts
US8561473B2 (en) 2007-12-18 2013-10-22 Intuitive Surgical Operations, Inc. Force sensor temperature compensation
US8400094B2 (en) 2007-12-21 2013-03-19 Intuitive Surgical Operations, Inc. Robotic surgical system with patient support
BRPI0821007A8 (pt) 2007-12-21 2015-11-10 Koninklijke Philips Electronics Nv Sistemas para rastrear um instrumento médico durante um procedimento intervencional e para minimizar a dose de radiação durante rastreamento de um instrumento médico, e, método para rastrear um instrumento médico
US8864798B2 (en) 2008-01-18 2014-10-21 Globus Medical, Inc. Transverse connector
EP2244784A2 (en) 2008-01-30 2010-11-03 The Trustees of Columbia University in the City of New York Systems, devices, and methods for robot-assisted micro-surgical stenting
US20090198121A1 (en) 2008-02-01 2009-08-06 Martin Hoheisel Method and apparatus for coordinating contrast agent injection and image acquisition in c-arm computed tomography
US8573465B2 (en) 2008-02-14 2013-11-05 Ethicon Endo-Surgery, Inc. Robotically-controlled surgical end effector system with rotary actuated closure systems
US8696458B2 (en) 2008-02-15 2014-04-15 Thales Visionix, Inc. Motion tracking system and method using camera and non-camera sensors
US7925653B2 (en) 2008-02-27 2011-04-12 General Electric Company Method and system for accessing a group of objects in an electronic document
US20090228019A1 (en) 2008-03-10 2009-09-10 Yosef Gross Robotic surgical system
US8282653B2 (en) 2008-03-24 2012-10-09 Board Of Regents Of The University Of Nebraska System and methods for controlling surgical tool elements
US8808164B2 (en) 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
EP2255560B1 (en) 2008-03-28 2016-03-30 Telefonaktiebolaget LM Ericsson (publ) Identification of a manipulated or defect base station during handover
US7843158B2 (en) 2008-03-31 2010-11-30 Intuitive Surgical Operations, Inc. Medical robotic system adapted to inhibit motions resulting in excessive end effector forces
US8333755B2 (en) 2008-03-31 2012-12-18 Intuitive Surgical Operations, Inc. Coupler to transfer controller motion from a robotic manipulator to an attached instrument
US7886743B2 (en) 2008-03-31 2011-02-15 Intuitive Surgical Operations, Inc. Sterile drape interface for robotic surgical instrument
US9002076B2 (en) 2008-04-15 2015-04-07 Medtronic, Inc. Method and apparatus for optimal trajectory planning
US9345875B2 (en) 2008-04-17 2016-05-24 Medtronic, Inc. Method and apparatus for cannula fixation for an array insertion tube set
US8532734B2 (en) 2008-04-18 2013-09-10 Regents Of The University Of Minnesota Method and apparatus for mapping a structure
US8167793B2 (en) 2008-04-26 2012-05-01 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot using time duplexing
WO2009134367A1 (en) 2008-04-30 2009-11-05 Nanosys, Inc. Non-fouling surfaces for reflective spheres
US9579161B2 (en) 2008-05-06 2017-02-28 Medtronic Navigation, Inc. Method and apparatus for tracking a patient
WO2009151206A1 (ko) 2008-06-09 2009-12-17 (주)미래컴퍼니 수술용 로봇의 마스터 인터페이스 및 구동방법
TW201004607A (en) 2008-07-25 2010-02-01 Been-Der Yang Image guided navigation system and method thereof
US20100030061A1 (en) 2008-07-31 2010-02-04 Canfield Monte R Navigation system for cardiac therapies using gating
US8054184B2 (en) 2008-07-31 2011-11-08 Intuitive Surgical Operations, Inc. Identification of surgical instrument attached to surgical robot
US8771170B2 (en) 2008-08-01 2014-07-08 Microaccess, Inc. Methods and apparatus for transesophageal microaccess surgery
JP2010035984A (ja) 2008-08-08 2010-02-18 Canon Inc Ｘ線撮影装置
EP2153794B1 (en) 2008-08-15 2016-11-09 Stryker European Holdings I, LLC System for and method of visualizing an interior of a body
WO2010022088A1 (en) 2008-08-18 2010-02-25 Encision, Inc. Enhanced control systems including flexible shielding and support systems for electrosurgical applications
DE102008041813B4 (de) 2008-09-04 2013-06-20 Carl Zeiss Microscopy Gmbh Verfahren zur Tiefenanalyse einer organischen Probe
US7900524B2 (en) 2008-09-09 2011-03-08 Intersense, Inc. Monitoring tools
US8165658B2 (en) 2008-09-26 2012-04-24 Medtronic, Inc. Method and apparatus for positioning a guide relative to a base
US8073335B2 (en) 2008-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Operator input device for a robotic surgical system
US8379791B2 (en) 2008-10-10 2013-02-19 Koninklijke Philips Electronics N.V. Method and apparatus to improve CT image acquisition using a displaced geometry
KR100944412B1 (ko) 2008-10-13 2010-02-25 (주)미래컴퍼니 수술용 슬레이브 로봇
US8781630B2 (en) 2008-10-14 2014-07-15 University Of Florida Research Foundation, Inc. Imaging platform to provide integrated navigation capabilities for surgical guidance
WO2010048160A2 (en) 2008-10-20 2010-04-29 The Johns Hopkins University Environment property estimation and graphical display
EP2455038B1 (de) 2008-10-21 2015-04-01 Brainlab AG Integration von chirurgischem Instrument und Anzeigevorrichtung zur Unterstützung der bildgeführten Chirurgie
US8568363B2 (en) 2008-10-31 2013-10-29 The Invention Science Fund I, Llc Frozen compositions and methods for piercing a substrate
KR101075363B1 (ko) 2008-10-31 2011-10-19 정창욱 최소 침습 수술 도구를 포함하는 수술용 로봇 시스템
US9033958B2 (en) 2008-11-11 2015-05-19 Perception Raisonnement Action En Medecine Surgical robotic system
TWI435705B (zh) 2008-11-20 2014-05-01 Been Der Yang 手術用定位裝置及應用其之影像導航系統
JP5384521B2 (ja) 2008-11-27 2014-01-08 株式会社日立メディコ 放射線撮像装置
US8483800B2 (en) 2008-11-29 2013-07-09 General Electric Company Surgical navigation enabled imaging table environment
CN102300512B (zh) 2008-12-01 2016-01-20 马佐尔机器人有限公司 机器人引导的倾斜脊柱稳定化
ES2341079B1 (es) 2008-12-11 2011-07-13 Fundacio Clinic Per A La Recerca Biomedica Equipo para vision mejorada por infrarrojo de estructuras vasculares,aplicable para asistir intervenciones fetoscopicas, laparoscopicas y endoscopicas y proceso de tratamiento de la señal para mejorar dicha vision.
US8021393B2 (en) 2008-12-12 2011-09-20 Globus Medical, Inc. Lateral spinous process spacer with deployable wings
US8374723B2 (en) 2008-12-31 2013-02-12 Intuitive Surgical Operations, Inc. Obtaining force information in a minimally invasive surgical procedure
US8830224B2 (en) 2008-12-31 2014-09-09 Intuitive Surgical Operations, Inc. Efficient 3-D telestration for local robotic proctoring
US8184880B2 (en) 2008-12-31 2012-05-22 Intuitive Surgical Operations, Inc. Robust sparse image matching for robotic surgery
US8594841B2 (en) 2008-12-31 2013-11-26 Intuitive Surgical Operations, Inc. Visual force feedback in a minimally invasive surgical procedure
CN103349556B (zh) 2009-01-21 2015-09-23 皇家飞利浦电子股份有限公司 用于大视场成像及运动伪影的探测和补偿的方法和装置
EP2381877B1 (en) 2009-01-29 2018-02-28 Imactis Method and device for navigation of a surgical tool
KR101038417B1 (ko) 2009-02-11 2011-06-01 주식회사 이턴 수술 로봇 시스템 및 그 제어 방법
WO2010100596A1 (en) 2009-03-06 2010-09-10 Koninklijke Philips Electronics N.V. Medical viewing system for displaying a region of interest on medical images
US8418073B2 (en) 2009-03-09 2013-04-09 Intuitive Surgical Operations, Inc. User interfaces for electrosurgical tools in robotic surgical systems
US8120301B2 (en) 2009-03-09 2012-02-21 Intuitive Surgical Operations, Inc. Ergonomic surgeon control console in robotic surgical systems
US8918207B2 (en) 2009-03-09 2014-12-23 Intuitive Surgical Operations, Inc. Operator input device for a robotic surgical system
US9737235B2 (en) 2009-03-09 2017-08-22 Medtronic Navigation, Inc. System and method for image-guided navigation
CA2755036A1 (en) 2009-03-10 2010-09-16 Mcmaster University Mobile robotic surgical system
US8335552B2 (en) 2009-03-20 2012-12-18 Medtronic, Inc. Method and apparatus for instrument placement
CN105342705A (zh) 2009-03-24 2016-02-24 伊顿株式会社 利用增强现实技术的手术机器人***及其控制方法
US20100249571A1 (en) 2009-03-31 2010-09-30 General Electric Company Surgical navigation system with wireless magnetoresistance tracking sensors
US8882803B2 (en) 2009-04-01 2014-11-11 Globus Medical, Inc. Orthopedic clamp and extension rod
WO2010124285A1 (en) 2009-04-24 2010-10-28 Medtronic Inc. Electromagnetic navigation of medical instruments for cardiothoracic surgery
WO2010144219A1 (en) 2009-05-18 2010-12-16 Loma Linda University Method and devices for performing minimally invasive surgery
ES2388029B1 (es) 2009-05-22 2013-08-13 Universitat Politècnica De Catalunya Sistema robótico para cirugia laparoscópica.
CN101897593B (zh) 2009-05-26 2014-08-13 清华大学 一种计算机层析成像设备和方法
RU2535605C2 (ru) 2009-05-28 2014-12-20 Конинклейке Филипс Электроникс Н.В. Повторная калибровка предварительно записанных изображений во время вмешательства с использованием игольчатого устройства
US8121249B2 (en) 2009-06-04 2012-02-21 Virginia Tech Intellectual Properties, Inc. Multi-parameter X-ray computed tomography
CN101904770B (zh) * 2009-06-05 2012-11-14 复旦大学 一种基于光学增强现实技术的手术导航***及方法
DE102009025077A1 (de) 2009-06-10 2010-12-16 Karl Storz Gmbh & Co. Kg System zur Orientierungsunterstützung und Darstellung eines Instruments im Inneren eines Untersuchungsobjektes insbesondere im menschlichen Körper
WO2011013164A1 (ja) 2009-07-27 2011-02-03 株式会社島津製作所 放射線撮影装置
WO2011015957A1 (en) 2009-08-06 2011-02-10 Koninklijke Philips Electronics N.V. Method and apparatus for generating computed tomography images with offset detector geometries
EP2467798B1 (en) 2009-08-17 2020-04-15 Mazor Robotics Ltd. Device for improving the accuracy of manual operations
US9844414B2 (en) 2009-08-31 2017-12-19 Gregory S. Fischer System and method for robotic surgical intervention in a magnetic resonance imager
EP2298223A1 (en) 2009-09-21 2011-03-23 Stryker Leibinger GmbH & Co. KG Technique for registering image data of an object
US8465476B2 (en) 2009-09-23 2013-06-18 Intuitive Surgical Operations, Inc. Cannula mounting fixture
WO2011038759A1 (en) 2009-09-30 2011-04-07 Brainlab Ag Two-part medical tracking marker
NL1037348C2 (en) 2009-10-02 2011-04-05 Univ Eindhoven Tech Surgical robot, instrument manipulator, combination of an operating table and a surgical robot, and master-slave operating system.
US8504136B1 (en) 2009-10-06 2013-08-06 University Of South Florida See-through abdomen display for minimally invasive surgery
US8062375B2 (en) 2009-10-15 2011-11-22 Globus Medical, Inc. Expandable fusion device and method of installation thereof
US8685098B2 (en) 2010-06-25 2014-04-01 Globus Medical, Inc. Expandable fusion device and method of installation thereof
US8679183B2 (en) 2010-06-25 2014-03-25 Globus Medical Expandable fusion device and method of installation thereof
US8556979B2 (en) 2009-10-15 2013-10-15 Globus Medical, Inc. Expandable fusion device and method of installation thereof
US8784443B2 (en) 2009-10-20 2014-07-22 Truevision Systems, Inc. Real-time surgical reference indicium apparatus and methods for astigmatism correction
WO2011050456A1 (en) 2009-10-28 2011-05-05 Imris Inc. Automatic registration of images for image guided surgery
USD631966S1 (en) 2009-11-10 2011-02-01 Globus Medical, Inc. Basilar invagination implant
US8521331B2 (en) 2009-11-13 2013-08-27 Intuitive Surgical Operations, Inc. Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument
US20120059378A1 (en) 2009-11-25 2012-03-08 James David Farrell Efficient Sculpting System
US20110137152A1 (en) 2009-12-03 2011-06-09 General Electric Company System and method for cooling components of a surgical navigation system
US8277509B2 (en) 2009-12-07 2012-10-02 Globus Medical, Inc. Transforaminal prosthetic spinal disc apparatus
CN102651998B (zh) 2009-12-10 2015-08-05 皇家飞利浦电子股份有限公司 用于微分相衬成像的扫描***
US8694075B2 (en) 2009-12-21 2014-04-08 General Electric Company Intra-operative registration for navigated surgical procedures
US8938301B2 (en) 2010-01-06 2015-01-20 Evoke Neuroscience, Inc. Headgear with displaceable sensors for electrophysiology measurement and training
US8353963B2 (en) 2010-01-12 2013-01-15 Globus Medical Expandable spacer and method for use thereof
US9381045B2 (en) 2010-01-13 2016-07-05 Jcbd, Llc Sacroiliac joint implant and sacroiliac joint instrument for fusing a sacroiliac joint
BR112012016973A2 (pt) 2010-01-13 2017-09-26 Koninl Philips Electronics Nv sistema de navegação cirúrgica para a integração de uma pluralidade de imagens de uma região anatômica de um corpo, incluíndo uma imagem pré-operatótia digitalizada, uma imagem intra-operatória fluoroscópia e uma imagem intra-operatória endoscópica
WO2011085814A1 (en) 2010-01-14 2011-07-21 Brainlab Ag Controlling and/or operating a medical device by means of a light pointer
US9039769B2 (en) 2010-03-17 2015-05-26 Globus Medical, Inc. Intervertebral nucleus and annulus implants and method of use thereof
US20110238079A1 (en) * 2010-03-18 2011-09-29 SPI Surgical, Inc. Surgical Cockpit Comprising Multisensory and Multimodal Interfaces for Robotic Surgery and Methods Related Thereto
US20110238080A1 (en) 2010-03-25 2011-09-29 Date Ranjit Robotic Surgical Instrument System
US20140330288A1 (en) 2010-03-25 2014-11-06 Precision Automation And Robotics India Ltd. Articulating Arm for a Robotic Surgical Instrument System
IT1401669B1 (it) 2010-04-07 2013-08-02 Sofar Spa Sistema di chirurgia robotizzata con controllo perfezionato.
US9251721B2 (en) 2010-04-09 2016-02-02 University Of Florida Research Foundation, Inc. Interactive mixed reality system and uses thereof
US8870880B2 (en) 2010-04-12 2014-10-28 Globus Medical, Inc. Angling inserter tool for expandable vertebral implant
IT1399603B1 (it) 2010-04-26 2013-04-26 Scuola Superiore Di Studi Universitari E Di Perfez Apparato robotico per interventi di chirurgia minimamente invasiva
US8717430B2 (en) 2010-04-26 2014-05-06 Medtronic Navigation, Inc. System and method for radio-frequency imaging, registration, and localization
WO2011134083A1 (en) 2010-04-28 2011-11-03 Ryerson University System and methods for intraoperative guidance feedback
US8842893B2 (en) 2010-04-30 2014-09-23 Medtronic Navigation, Inc. Method and apparatus for image-based navigation
US8781186B2 (en) 2010-05-04 2014-07-15 Pathfinder Therapeutics, Inc. System and method for abdominal surface matching using pseudo-features
US8738115B2 (en) 2010-05-11 2014-05-27 Siemens Aktiengesellschaft Method and apparatus for selective internal radiation therapy planning and implementation
DE102010020284A1 (de) 2010-05-12 2011-11-17 Siemens Aktiengesellschaft Bestimmung von 3D-Positionen und -Orientierungen von chirurgischen Objekten aus 2D-Röntgenbildern
US8603077B2 (en) 2010-05-14 2013-12-10 Intuitive Surgical Operations, Inc. Force transmission for robotic surgical instrument
US8883210B1 (en) 2010-05-14 2014-11-11 Musculoskeletal Transplant Foundation Tissue-derived tissuegenic implants, and methods of fabricating and using same
KR101181569B1 (ko) 2010-05-25 2012-09-10 정창욱 단일 통로 수술 모드와 다통로 수술 모드를 실현할 수 있는 수술용 로봇 시스템 및 그 제어 방법
US20110295370A1 (en) 2010-06-01 2011-12-01 Sean Suh Spinal Implants and Methods of Use Thereof
US8945140B2 (en) 2010-06-18 2015-02-03 Vantage Surgical Systems, Inc. Surgical procedures using instrument to boundary spacing information extracted from real-time diagnostic scan data
DE102010026674B4 (de) 2010-07-09 2012-09-27 Siemens Aktiengesellschaft Bildgebungsvorrichtung und Strahlentherapiegerät
US8675939B2 (en) 2010-07-13 2014-03-18 Stryker Leibinger Gmbh & Co. Kg Registration of anatomical data sets
US20130094742A1 (en) 2010-07-14 2013-04-18 Thomas Feilkas Method and system for determining an imaging direction and calibration of an imaging apparatus
US20120035507A1 (en) 2010-07-22 2012-02-09 Ivan George Device and method for measuring anatomic geometries
US8740882B2 (en) 2010-07-30 2014-06-03 Lg Electronics Inc. Medical robotic system and method of controlling the same
US10165928B2 (en) 2010-08-20 2019-01-01 Mark Hunter Systems, instruments, and methods for four dimensional soft tissue navigation
JP2012045278A (ja) 2010-08-30 2012-03-08 Fujifilm Corp Ｘ線画像撮影装置およびｘ線画像撮影方法
US8764448B2 (en) 2010-09-01 2014-07-01 Agency For Science, Technology And Research Robotic device for use in image-guided robot assisted surgical training
KR20120030174A (ko) 2010-09-17 2012-03-28 삼성전자주식회사 촉각 피드백을 제공하는 수술 로봇 시스템 및 수술 장치, 그리고 그의 촉각 피드백 제공 방법
EP2431003B1 (en) 2010-09-21 2018-03-21 Medizinische Universität Innsbruck Registration device, system, kit and method for a patient registration
US8679125B2 (en) 2010-09-22 2014-03-25 Biomet Manufacturing, Llc Robotic guided femoral head reshaping
US8657809B2 (en) 2010-09-29 2014-02-25 Stryker Leibinger Gmbh & Co., Kg Surgical navigation system
US8526700B2 (en) 2010-10-06 2013-09-03 Robert E. Isaacs Imaging system and method for surgical and interventional medical procedures
US8718346B2 (en) 2011-10-05 2014-05-06 Saferay Spine Llc Imaging system and method for use in surgical and interventional medical procedures
US10456209B2 (en) 2010-10-13 2019-10-29 Gholam A. Peyman Remote laser treatment system with dynamic imaging
US8325873B2 (en) 2010-10-20 2012-12-04 Medtronic Navigation, Inc. Selected image acquisition technique to optimize patient model construction
US9913693B2 (en) 2010-10-29 2018-03-13 Medtronic, Inc. Error correction techniques in surgical navigation
EP2452649A1 (en) 2010-11-12 2012-05-16 Deutsches Krebsforschungszentrum Stiftung des Öffentlichen Rechts Visualization of anatomical data by augmented reality
US9439556B2 (en) 2010-12-10 2016-09-13 Wayne State University Intelligent autonomous camera control for robotics with medical, military, and space applications
US8876866B2 (en) 2010-12-13 2014-11-04 Globus Medical, Inc. Spinous process fusion devices and methods thereof
CA2821110A1 (en) 2010-12-13 2012-06-21 Ortho Kinematics, Inc. Methods, systems and devices for clinical data reporting and surgical navigation
AU2011348240B2 (en) 2010-12-22 2015-03-26 Viewray Technologies, Inc. System and method for image guidance during medical procedures
US20130281821A1 (en) 2011-01-13 2013-10-24 Koninklijke Philips Electronics N.V. Intraoperative camera calibration for endoscopic surgery
EP2670291A4 (en) 2011-02-04 2015-02-25 Penn State Res Found METHOD AND DEVICE FOR DETERMINING THE LOCATION OF AN ENDOSCOPE
EP2672895B1 (en) 2011-02-07 2022-04-20 Koninklijke Philips N.V. Medical imaging device for providing an image representation supporting the accurate positioning of an invention device in vessel intervention procedures
US20140044333A1 (en) 2011-02-17 2014-02-13 Dartmouth College System and method for providing registration between breast shapes before and during surgery
KR101181613B1 (ko) 2011-02-21 2012-09-10 윤상진 사용자 지정에 따라 결정되는 변위 정보에 기초하여 수술을 수행하는 수술용 로봇 시스템과 그 제어 방법
US20120226145A1 (en) 2011-03-03 2012-09-06 National University Of Singapore Transcutaneous robot-assisted ablation-device insertion navigation system
US9026247B2 (en) 2011-03-30 2015-05-05 University of Washington through its Center for Communication Motion and video capture for tracking and evaluating robotic surgery and associated systems and methods
WO2012131660A1 (en) 2011-04-01 2012-10-04 Ecole Polytechnique Federale De Lausanne (Epfl) Robotic system for spinal and other surgeries
US20150213633A1 (en) 2011-04-06 2015-07-30 The Trustees Of Columbia University In The City Of New York System, method and computer-accessible medium for providing a panoramic cone beam computed tomography (cbct)
US20120256092A1 (en) 2011-04-06 2012-10-11 General Electric Company Ct system for use in multi-modality imaging system
US10426554B2 (en) 2011-04-29 2019-10-01 The Johns Hopkins University System and method for tracking and navigation
US9265468B2 (en) 2011-05-11 2016-02-23 Broncus Medical, Inc. Fluoroscopy-based surgical device tracking method
JPWO2012169642A1 (ja) 2011-06-06 2015-02-23 希 松本 レジストレーション用テンプレートの製造方法
US8498744B2 (en) 2011-06-30 2013-07-30 Mako Surgical Corporation Surgical robotic systems with manual and haptic and/or active control modes
EP3588217A1 (en) 2011-07-11 2020-01-01 Board of Regents of the University of Nebraska Robotic surgical devices, systems and related methods
US8818105B2 (en) 2011-07-14 2014-08-26 Accuray Incorporated Image registration for image-guided surgery
DE102011079561B4 (de) 2011-07-21 2018-10-18 Siemens Healthcare Gmbh Verfahren und Röntgengerät zum zeitlich aktuellen Darstellen eines bewegten Abschnitts eines Körpers, Computerprogramm und Datenträger
EP2736410A1 (en) 2011-07-29 2014-06-04 Koninklijke Philips N.V. Accurate visualization of soft tissue motion on x-ray
KR20130015146A (ko) 2011-08-02 2013-02-13 삼성전자주식회사 의료 영상 처리 방법 및 장치, 영상 유도를 이용한 로봇 수술 시스템
US9554866B2 (en) 2011-08-09 2017-01-31 Covidien Lp Apparatus and method for using a remote control system in surgical procedures
US9123155B2 (en) 2011-08-09 2015-09-01 Covidien Lp Apparatus and method for using augmented reality vision system in surgical procedures
WO2013027201A2 (en) 2011-08-21 2013-02-28 M.S.T. Medical Surgery Technologies.Ltd. Device and method for asissting laparoscopic surgery- rule based approach
US10866783B2 (en) 2011-08-21 2020-12-15 Transenterix Europe S.A.R.L. Vocally activated surgical control system
US9427330B2 (en) 2011-09-06 2016-08-30 Globus Medical, Inc. Spinal plate
US9795282B2 (en) 2011-09-20 2017-10-24 M.S.T. Medical Surgery Technologies Ltd Device and method for maneuvering endoscope
US8864833B2 (en) 2011-09-30 2014-10-21 Globus Medical, Inc. Expandable fusion device and method of installation thereof
US10582973B2 (en) 2012-08-08 2020-03-10 Virtual Incision Corporation Robotic surgical devices, systems, and related methods
US9060794B2 (en) 2011-10-18 2015-06-23 Mako Surgical Corp. System and method for robotic surgery
US8894688B2 (en) 2011-10-27 2014-11-25 Globus Medical Inc. Adjustable rod devices and methods of using the same
DE102011054910B4 (de) 2011-10-28 2013-10-10 Ovesco Endoscopy Ag Magnetischer Endeffektor und Einrichtung zur Führung und Positionierung desselben
WO2013071437A1 (en) 2011-11-15 2013-05-23 Macdonald Dettwiler & Associates Inc. Method of real-time tracking of moving/flexible surfaces
FR2983059B1 (fr) 2011-11-30 2014-11-28 Medtech Procede assiste par robotique de positionnement d'instrument chirurgical par rapport au corps d'un patient et dispositif de mise en oeuvre.
CA2856549A1 (en) 2011-12-01 2013-06-06 Neochord, Inc. Surgical navigation for repair of heart valve leaflets
WO2013084221A1 (en) 2011-12-05 2013-06-13 Mazor Robotics Ltd. Active bed mount for surgical robot
EP2793680A2 (en) 2011-12-21 2014-10-29 Koninklijke Philips N.V. Overlay and motion compensation of structures from volumetric modalities onto video of an uncalibrated endoscope
KR101901580B1 (ko) 2011-12-23 2018-09-28 삼성전자주식회사 수술 로봇 및 그 제어 방법
FR2985167A1 (fr) 2011-12-30 2013-07-05 Medtech Procede medical robotise de surveillance de la respiration d'un patient et de correction de la trajectoire robotisee.
CN106923903B (zh) 2011-12-30 2020-09-29 玛口外科股份有限公司 用于基于图像的机器人外科手术的***
US9265583B2 (en) 2011-12-30 2016-02-23 Mako Surgical Corp. Method for image-based robotic surgery
KR20130080909A (ko) 2012-01-06 2013-07-16 삼성전자주식회사 수술 로봇 및 그 제어 방법
US8891847B2 (en) 2012-01-23 2014-11-18 Medtronic Navigation, Inc. Automatic implant detection from image artifacts
US20130211232A1 (en) 2012-02-01 2013-08-15 The Johns Hopkins University Arthroscopic Surgical Planning and Execution with 3D Imaging
US9138297B2 (en) 2012-02-02 2015-09-22 Intuitive Surgical Operations, Inc. Systems and methods for controlling a robotic surgical system
US10460437B2 (en) 2012-02-22 2019-10-29 Veran Medical Technologies, Inc. Method for placing a localization element in an organ of a patient for four dimensional soft tissue navigation
US9451915B1 (en) 2012-02-29 2016-09-27 Google Inc. Performance of a diagnostic procedure using a wearable computing device
US10758209B2 (en) 2012-03-09 2020-09-01 The Johns Hopkins University Photoacoustic tracking and registration in interventional ultrasound
US11207132B2 (en) 2012-03-12 2021-12-28 Nuvasive, Inc. Systems and methods for performing spinal surgery
US8855822B2 (en) 2012-03-23 2014-10-07 Innovative Surgical Solutions, Llc Robotic surgical system with mechanomyography feedback
KR101946000B1 (ko) 2012-03-28 2019-02-08 삼성전자주식회사 수술용 로봇 시스템 및 로봇 시스템의 제어방법
US8888821B2 (en) 2012-04-05 2014-11-18 Warsaw Orthopedic, Inc. Spinal implant measuring system and method
US20130267838A1 (en) 2012-04-09 2013-10-10 Board Of Regents, The University Of Texas System Augmented Reality System for Use in Medical Procedures
EP2838433B1 (en) 2012-04-16 2017-10-11 Neurologica Corp. Imaging system with rigidly mounted fiducial markers
WO2013158640A1 (en) 2012-04-16 2013-10-24 Neurologica Corp. Wireless imaging system
EP2838463B1 (en) 2012-04-16 2017-11-08 Children's National Medical Center Dual-mode stereo imaging system for tracking and control in surgical and interventional procedures
WO2013156893A1 (en) 2012-04-19 2013-10-24 Koninklijke Philips N.V. Guidance tools to manually steer endoscope using pre-operative and intra-operative 3d images
US10383765B2 (en) 2012-04-24 2019-08-20 Auris Health, Inc. Apparatus and method for a global coordinate system for use in robotic surgery
US20140142591A1 (en) 2012-04-24 2014-05-22 Auris Surgical Robotics, Inc. Method, apparatus and a system for robotic assisted surgery
US9020613B2 (en) 2012-05-01 2015-04-28 The Johns Hopkins University Method and apparatus for robotically assisted cochlear implant surgery
JP2015519108A (ja) 2012-05-02 2015-07-09 医百科技股▲ふん▼有限公司 口腔内手術中の補助ガイド方法
KR101711358B1 (ko) 2012-05-02 2017-02-28 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 의학적 애플리케이션들에서 증강 현실을 위한 동적 모델을 이용한 4 차원 이미지 등록
US9125556B2 (en) 2012-05-14 2015-09-08 Mazor Robotics Ltd. Robotic guided endoscope
JP2015516278A (ja) 2012-05-18 2015-06-11 ケアストリーム ヘルス インク コーンビームのコンピュータ断層撮影の容積測定撮像システム
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
KR101427730B1 (ko) 2012-05-25 2014-09-23 주식회사 고영테크놀러지 수술용 내비게이션 시스템의 증강현실을 위한 카메라 레지스트레이션 방법
KR20130132109A (ko) 2012-05-25 2013-12-04 삼성전자주식회사 서포터 장치 및 이를 채용한 수술 로봇 시스템
WO2013181503A1 (en) 2012-06-01 2013-12-05 Intuitive Surgical Operations, Inc. Manipulator arm-to-patient collision avoidance using a null-space
KR102366082B1 (ko) 2012-06-01 2022-02-23 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 멀티­포트 수술 로봇 시스템 구조
WO2013192598A1 (en) * 2012-06-21 2013-12-27 Excelsius Surgical, L.L.C. Surgical robot platform
JP6228196B2 (ja) 2012-06-22 2017-11-08 ボード オブ リージェンツ オブ ザ ユニバーシティ オブ ネブラスカ ローカル制御ロボット手術デバイス
US20130345757A1 (en) 2012-06-22 2013-12-26 Shawn D. Stad Image Guided Intra-Operative Contouring Aid
JP2015529478A (ja) 2012-06-28 2015-10-08 コーニンクレッカ フィリップス エヌ ヴェ ポータブルデバイスを用いたライブビデオ上への術前データのオーバーレイ及び登録
US9226751B2 (en) 2012-06-28 2016-01-05 Ethicon Endo-Surgery, Inc. Surgical instrument system including replaceable end effectors
RU2689767C2 (ru) 2012-06-28 2019-05-28 Конинклейке Филипс Н.В. Улучшенная визуализация кровеносных сосудов с использованием управляемого роботом эндоскопа
US8880223B2 (en) 2012-07-16 2014-11-04 Florida Institute for Human & Maching Cognition Anthro-centric multisensory interface for sensory augmentation of telesurgery
CN104470458B (zh) 2012-07-17 2017-06-16 皇家飞利浦有限公司 用于手术仪器引导的增强现实成像***
US20140022283A1 (en) 2012-07-20 2014-01-23 University Health Network Augmented reality apparatus
US20140031664A1 (en) 2012-07-30 2014-01-30 Mako Surgical Corp. Radiographic imaging device
KR101997566B1 (ko) 2012-08-07 2019-07-08 삼성전자주식회사 수술 로봇 시스템 및 그 제어방법
US9770305B2 (en) 2012-08-08 2017-09-26 Board Of Regents Of The University Of Nebraska Robotic surgical devices, systems, and related methods
US20120302875A1 (en) 2012-08-08 2012-11-29 Gregory Allen Kohring System and method for inserting intracranial catheters
US10110785B2 (en) 2012-08-10 2018-10-23 Karl Storz Imaging, Inc. Deployable imaging system equipped with solid state imager
EP2884937B1 (en) 2012-08-15 2022-10-05 Intuitive Surgical Operations, Inc. Systems for cancellation of joint motion using the null-space
CA2893369A1 (en) 2012-08-24 2014-02-27 University Of Houston Robotic device and systems for image-guided and robot-assisted surgery
KR20150060735A (ko) 2012-08-27 2015-06-03 유니버시티 오브 휴스턴 이미지-안내 및 로봇-이용 수술을 위해 사용하는 로봇식 장치 및 시스템 소프트웨어, 하드웨어 및 방법
US20140081659A1 (en) 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
US20140080086A1 (en) 2012-09-20 2014-03-20 Roger Chen Image Navigation Integrated Dental Implant System
US8892259B2 (en) 2012-09-26 2014-11-18 Innovative Surgical Solutions, LLC. Robotic surgical system with mechanomyography feedback
US9563266B2 (en) 2012-09-27 2017-02-07 Immersivetouch, Inc. Haptic augmented and virtual reality system for simulation of surgical procedures
US9757160B2 (en) 2012-09-28 2017-09-12 Globus Medical, Inc. Device and method for treatment of spinal deformity
US20150238276A1 (en) 2012-09-30 2015-08-27 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery - directing and maneuvering articulating tool
KR102038632B1 (ko) 2012-11-06 2019-10-30 삼성전자주식회사 수술용 인스트루먼트, 서포터 장치, 및 수술 로봇 시스템
EP2732761A1 (en) 2012-11-14 2014-05-21 Hill-Rom Services, Inc. Augmented reality system in the patient care environment
US20140130810A1 (en) 2012-11-14 2014-05-15 Intuitive Surgical Operations, Inc. Smart drapes for collision avoidance
KR102079945B1 (ko) 2012-11-22 2020-02-21 삼성전자주식회사 수술 로봇 및 수술 로봇 제어 방법
US9393361B2 (en) 2012-12-14 2016-07-19 Medtronic, Inc. Method to determine a material distribution
US9008752B2 (en) 2012-12-14 2015-04-14 Medtronic, Inc. Method to determine distribution of a material by an infused magnetic resonance image contrast agent
US9001962B2 (en) 2012-12-20 2015-04-07 Triple Ring Technologies, Inc. Method and apparatus for multiple X-ray imaging applications
DE102013004459A1 (de) 2012-12-20 2014-06-26 avateramedical GmBH Halterungs- und Positioniervorrichtung eines chirurgischen Instruments und/oder eines Endoskops für die minimal-invasive Chirurgie sowie ein chirurgisches Robotersystem
DE102012025101A1 (de) 2012-12-20 2014-06-26 avateramedical GmBH Aktive Positioniereinrichtung eines chirurgischen Instruments und ein diese umfassendes chirurgisches Robotersystem
US10398449B2 (en) * 2012-12-21 2019-09-03 Mako Surgical Corp. Systems and methods for haptic control of a surgical tool
US9002437B2 (en) 2012-12-27 2015-04-07 General Electric Company Method and system for position orientation correction in navigation
US10028788B2 (en) 2012-12-31 2018-07-24 Mako Surgical Corp. System for image-based robotic surgery
US8948935B1 (en) 2013-01-02 2015-02-03 Google Inc. Providing a medical support device via an unmanned aerial vehicle
KR20140090374A (ko) 2013-01-08 2014-07-17 삼성전자주식회사 싱글 포트 수술 로봇 및 그 제어 방법
CN103969269B (zh) 2013-01-31 2018-09-18 Ge医疗***环球技术有限公司 用于几何校准ct扫描仪的方法和装置
US20140221819A1 (en) 2013-02-01 2014-08-07 David SARMENT Apparatus, system and method for surgical navigation
ES2804681T3 (es) 2013-02-04 2021-02-09 Childrens Nat Medical Ct Sistema robótico quirúrgico de control híbrido
KR20140102465A (ko) 2013-02-14 2014-08-22 삼성전자주식회사 수술 로봇 및 그 제어방법
KR102117270B1 (ko) 2013-03-06 2020-06-01 삼성전자주식회사 수술 로봇 시스템 및 그 제어방법
KR20140110620A (ko) 2013-03-08 2014-09-17 삼성전자주식회사 수술 로봇 시스템 및 그 작동 방법
KR20140110685A (ko) 2013-03-08 2014-09-17 삼성전자주식회사 싱글 포트 수술 로봇의 제어 방법
US10736497B2 (en) 2013-03-11 2020-08-11 Institut Hospitalo-Universitaire De Chirurgie Mini-Invasive Guidee Par L'image Anatomical site relocalisation using dual data synchronisation
US9314308B2 (en) 2013-03-13 2016-04-19 Ethicon Endo-Surgery, Llc Robotic ultrasonic surgical device with articulating end effector
KR20140112207A (ko) 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
KR102119534B1 (ko) 2013-03-13 2020-06-05 삼성전자주식회사 수술 로봇 및 그 제어방법
US9898866B2 (en) * 2013-03-13 2018-02-20 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
WO2014160086A2 (en) 2013-03-14 2014-10-02 Board Of Regents Of The University Of Nebraska Methods, systems, and devices relating to robotic surgical devices, end effectors, and controllers
JP2016513556A (ja) 2013-03-15 2016-05-16 ボード オブ リージェンツ オブ ザ ユニバーシティ オブ ネブラスカ ロボット外科的デバイス、システム、および関連する方法
US9629595B2 (en) 2013-03-15 2017-04-25 Hansen Medical, Inc. Systems and methods for localizing, tracking and/or controlling medical instruments
KR102117273B1 (ko) 2013-03-21 2020-06-01 삼성전자주식회사 수술 로봇 시스템 및 그 제어 방법
WO2014165805A2 (en) 2013-04-04 2014-10-09 Children's National Medical Center Device and method for generating composite images for endoscopic surgery of moving and deformable anatomy
US20150084990A1 (en) 2013-04-07 2015-03-26 Laor Consulting Llc Augmented reality medical procedure aid
KR20140121581A (ko) 2013-04-08 2014-10-16 삼성전자주식회사 수술 로봇 시스템
KR20140123122A (ko) 2013-04-10 2014-10-22 삼성전자주식회사 수술용 로봇 및 그 제어 방법
US9414859B2 (en) 2013-04-19 2016-08-16 Warsaw Orthopedic, Inc. Surgical rod measuring system and method
US8964934B2 (en) 2013-04-25 2015-02-24 Moshe Ein-Gal Cone beam CT scanning
KR20140129702A (ko) 2013-04-30 2014-11-07 삼성전자주식회사 수술 로봇 시스템 및 그 제어방법
KR102171873B1 (ko) 2013-05-08 2020-10-29 삼성전자주식회사 햅틱 글로브 및 수술로봇 시스템
US20140364720A1 (en) 2013-06-10 2014-12-11 General Electric Company Systems and methods for interactive magnetic resonance imaging
US10533850B2 (en) 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
JP6252004B2 (ja) 2013-07-16 2017-12-27 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
DE102013012397B4 (de) 2013-07-26 2018-05-24 Rg Mechatronics Gmbh OP-Robotersystem
US10786283B2 (en) 2013-08-01 2020-09-29 Musc Foundation For Research Development Skeletal bone fixation mechanism
KR101536115B1 (ko) 2013-08-26 2015-07-14 재단법인대구경북과학기술원 수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템
US10073515B2 (en) 2013-09-18 2018-09-11 Nanophthalmos, Llc Surgical navigation system and method
US20150085970A1 (en) 2013-09-23 2015-03-26 General Electric Company Systems and methods for hybrid scanning
CN105813585B (zh) 2013-10-07 2020-01-10 泰克尼恩研究和发展基金有限公司 通过杆操纵实现的针转向
US9848922B2 (en) 2013-10-09 2017-12-26 Nuvasive, Inc. Systems and methods for performing spine surgery
EP3973899A1 (en) 2013-10-09 2022-03-30 Nuvasive, Inc. Surgical spinal correction
CN105682734B (zh) 2013-10-31 2018-08-17 波士顿科学神经调制公司 用于并入来自图像的引线信息的***
ITBO20130599A1 (it) 2013-10-31 2015-05-01 Cefla Coop Metodo e apparato per aumentare il campo di vista in una acquisizione tomografica computerizzata con tecnica cone-beam
US9949637B1 (en) 2013-11-25 2018-04-24 Verily Life Sciences Llc Fluorescent imaging on a head-mountable device
US20150146847A1 (en) 2013-11-26 2015-05-28 General Electric Company Systems and methods for providing an x-ray imaging system with nearly continuous zooming capability
EP3086736B8 (en) 2013-12-20 2020-04-01 Koninklijke Philips N.V. System for tracking a penetrating instrument
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
WO2015110859A1 (en) 2014-01-21 2015-07-30 Trophy Method for implant surgery using augmented visualization
EP3104801B1 (en) 2014-02-11 2019-03-13 Koninklijke Philips N.V. System for spatial visualization of internal mammary artery during minimally invasive bypass surgery
DE102014203097A1 (de) 2014-02-20 2015-08-20 Siemens Aktiengesellschaft Verfahren zum Unterstützen einer Navigation einer endoskopischen Vorrichtung
JP6264087B2 (ja) 2014-02-21 2018-01-24 ソニー株式会社 表示制御装置、表示装置および表示制御システム
WO2015126466A1 (en) 2014-02-21 2015-08-27 The University Of Akron Imaging and display system for guiding medical interventions
US10152796B2 (en) 2014-02-24 2018-12-11 H. Lee Moffitt Cancer Center And Research Institute, Inc. Methods and systems for performing segmentation and registration of images using neutrosophic similarity scores
US9280825B2 (en) 2014-03-10 2016-03-08 Sony Corporation Image processing system with registration mechanism and method of operation thereof
DE102014204702A1 (de) 2014-03-13 2015-09-17 Siemens Aktiengesellschaft Navigationshilfe für das Einbringen eines länglichen medizinischen Penetrationselements in einen Patienten
EP3116432B1 (en) 2014-03-14 2020-07-22 Brainlab AG Improved overlay of anatomical information in a microscope image
US10034717B2 (en) 2014-03-17 2018-07-31 Intuitive Surgical Operations, Inc. System and method for breakaway clutching in an articulated arm
EP3126896A1 (en) 2014-03-28 2017-02-08 Alma Mater Studiorum - Università di Bologna Augmented reality glasses for medical applications and corresponding augmented reality system
DE102014206004A1 (de) 2014-03-31 2015-10-01 Siemens Aktiengesellschaft Triangulationsbasierte Tiefen- und Oberflächen-Visualisierung
WO2015154069A1 (en) 2014-04-04 2015-10-08 Surgical Theater LLC Dynamic and interactive navigation in a surgical environment
KR101570857B1 (ko) 2014-04-29 2015-11-24 큐렉소 주식회사 로봇 수술 계획 조정 장치
CN106456145B (zh) * 2014-05-05 2020-08-18 维卡瑞斯外科手术股份有限公司 虚拟现实手术装置
WO2015172021A1 (en) 2014-05-09 2015-11-12 Nazareth Godfrey Portable surgical methods, systems, and apparatus
GB201408582D0 (en) 2014-05-14 2014-06-25 Ucl Business Plc A system and method for computer-assisted planning of a trajectory for a surgical insertion into a skull
US9835862B1 (en) 2014-05-15 2017-12-05 Google Llc Graphic interface for real-time vision enhancement
US20170099479A1 (en) 2014-05-20 2017-04-06 University Of Washington Through Its Center For Commercialization Systems and methods for mediated-reality surgical visualization
WO2015189839A1 (en) 2014-06-08 2015-12-17 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery utilizing a touch screen
CN106456054B (zh) 2014-06-17 2019-08-16 纽文思公司 手术脊椎程序期间手术中计划和评估脊椎变形矫正的***
US20150366628A1 (en) 2014-06-18 2015-12-24 Covidien Lp Augmented surgical reality environment system
CN106999248B (zh) 2014-06-19 2021-04-06 Kb医疗公司 用于执行微创外科手术的***及方法
US10799302B2 (en) 2014-07-10 2020-10-13 Transenterix Europe S.A.R.L. Interface for laparoscopic surgeries—movement gestures
US20160015469A1 (en) 2014-07-17 2016-01-21 Kyphon Sarl Surgical tissue recognition and navigation apparatus and method
CN106663318B (zh) 2014-07-25 2021-03-16 柯惠Lp公司 增强手术现实环境
US10251714B2 (en) 2014-07-25 2019-04-09 Covidien Lp Augmented surgical reality environment for a robotic surgical system
US9707400B2 (en) 2014-08-15 2017-07-18 Medtronic, Inc. Systems, methods, and interfaces for configuring cardiac therapy
US9547940B1 (en) 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
JP6574939B2 (ja) 2014-09-16 2019-09-18 ソニー株式会社 表示制御装置、表示制御方法、表示制御システムおよび頭部装着ディスプレイ
CN110772323B (zh) 2014-09-17 2022-05-17 直观外科手术操作公司 用于利用增广雅可比矩阵控制操纵器接头移动的***和方法
EP3198330A4 (en) 2014-09-22 2018-04-11 Invuity, Inc. Hyperspectral imager
JP6480694B2 (ja) 2014-09-30 2019-03-13 京セラ株式会社 手術支援装置およびプログラム
US9486128B1 (en) 2014-10-03 2016-11-08 Verily Life Sciences Llc Sensing and avoiding surgical equipment
US9833254B1 (en) 2014-10-03 2017-12-05 Verily Life Sciences Llc Controlled dissection of biological tissue
EP3009097A1 (en) 2014-10-17 2016-04-20 Imactis Method for navigating a surgical instrument
CA3000759A1 (en) 2014-10-23 2016-04-28 Orpyx Medical Technologies Inc. Foot gesture-based control device
US10499992B2 (en) 2014-10-30 2019-12-10 Edda Technology, Inc. Method and system for estimating a deflated lung shape for video assisted thoracic surgery in augmented and mixed reality
GB201501157D0 (en) 2015-01-23 2015-03-11 Scopis Gmbh Instrument guidance system for sinus surgery
CN107004044A (zh) 2014-11-18 2017-08-01 皇家飞利浦有限公司 增强现实设备的用户引导***和方法、使用
US10383654B2 (en) 2014-11-20 2019-08-20 Ohio State Innovation Foundation Methods and systems for performing navigation-assisted medical procedures
US9839365B1 (en) 2014-11-24 2017-12-12 Verily Life Sciences Llc Applications of vasculature mapping using laser speckle imaging
US10631907B2 (en) 2014-12-04 2020-04-28 Mazor Robotics Ltd. Shaper for vertebral fixation rods
US20160166329A1 (en) 2014-12-15 2016-06-16 General Electric Company Tomographic imaging for interventional tool guidance
US9298884B1 (en) 2014-12-17 2016-03-29 Vitaax Llc Remote instruction and monitoring of health care
US9645379B2 (en) 2014-12-29 2017-05-09 Novartis Ag Magnification in ophthalmic procedures and associated devices, systems, and methods
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US9538962B1 (en) 2014-12-31 2017-01-10 Verily Life Sciences Llc Heads-up displays for augmented reality network in a medical environment
US9931040B2 (en) 2015-01-14 2018-04-03 Verily Life Sciences Llc Applications of hyperspectral laser speckle imaging
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
JP6336929B2 (ja) 2015-02-16 2018-06-06 富士フイルム株式会社 仮想オブジェクト表示装置、方法、プログラムおよびシステム
US10908681B2 (en) 2015-02-20 2021-02-02 Covidien Lp Operating room and surgical site awareness
BR112017018874A2 (pt) 2015-03-01 2018-04-17 Aris Md Inc método de facilitamento de um procedimento em relação a um domínio morfológico, sistema, e, meio legível por máquina não transitório
EP3265009B1 (en) 2015-03-05 2023-03-29 Atracsys Sàrl Redundant reciprocal tracking system
KR101734094B1 (ko) 2015-03-09 2017-05-11 국립암센터 증강현실영상 투영 시스템
US20160324580A1 (en) 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
WO2016154571A1 (en) 2015-03-25 2016-09-29 Zaxis Labs System and method for medical procedure planning
US10499996B2 (en) 2015-03-26 2019-12-10 Universidade De Coimbra Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera
US20160287337A1 (en) 2015-03-31 2016-10-06 Luke J. Aram Orthopaedic surgical system and method for patient-specific surgical procedure
EP3280344A2 (en) 2015-04-07 2018-02-14 King Abdullah University Of Science And Technology Method, apparatus, and system for utilizing augmented reality to improve surgery
EP3878392B1 (en) 2015-04-15 2024-06-12 Mobius Imaging LLC Integrated medical imaging and surgical robotic system
US9436993B1 (en) 2015-04-17 2016-09-06 Clear Guide Medical, Inc System and method for fused image based navigation with late marker placement
US9788756B2 (en) 2015-04-20 2017-10-17 Medtronic, Inc. Systems, devices, methods, and computer-readable storage facilitating locating an implantable medical device within a body
GB201506842D0 (en) 2015-04-22 2015-06-03 Ucl Business Plc And Schooling Steven Locally rigid vessel based registration for laparoscopic liver surgery
US10180404B2 (en) 2015-04-30 2019-01-15 Shimadzu Corporation X-ray analysis device
US10235737B2 (en) 2015-05-11 2019-03-19 Elwha Llc Interactive surgical drape, system, and related methods
US10197816B2 (en) 2015-05-26 2019-02-05 Lumenis Ltd. Laser safety glasses with an improved imaging system
US9970955B1 (en) 2015-05-26 2018-05-15 Verily Life Sciences Llc Methods for depth estimation in laser speckle imaging
CN107709968A (zh) 2015-06-26 2018-02-16 利康公司 荧光活检样本成像仪及方法
US10543045B2 (en) 2015-07-13 2020-01-28 Synaptive Medical (Barbados) Inc. System and method for providing a contour video with a 3D surface in a medical navigation system
US10176642B2 (en) 2015-07-17 2019-01-08 Bao Tran Systems and methods for computer assisted operation
US9949700B2 (en) * 2015-07-22 2018-04-24 Inneroptic Technology, Inc. Medical device approaches
US10390890B2 (en) 2015-07-27 2019-08-27 Synaptive Medical (Barbados) Inc. Navigational feedback for intraoperative waypoint
DE102015215587A1 (de) 2015-08-14 2017-02-16 Nt-Trading Gmbh & Co. Kg Verfahren zum Herstellen eines Knochenersatzstücks
US10973587B2 (en) 2015-08-19 2021-04-13 Brainlab Ag Reference array holder
US10105187B2 (en) 2015-08-27 2018-10-23 Medtronic, Inc. Systems, apparatus, methods and computer-readable storage media facilitating surgical procedures utilizing augmented reality
US10888389B2 (en) 2015-09-10 2021-01-12 Duke University Systems and methods for arbitrary viewpoint robotic manipulation and robotic surgical assistance
US10092361B2 (en) 2015-09-11 2018-10-09 AOD Holdings, LLC Intraoperative systems and methods for determining and providing for display a virtual image overlaid onto a visual image of a bone
WO2017049381A1 (en) 2015-09-24 2017-03-30 Synaptive Medical (Barbados) Inc. Motorized full field adaptive microscope
DK178899B1 (en) 2015-10-09 2017-05-08 3Dintegrated Aps A depiction system
CA2997965C (en) * 2015-10-14 2021-04-27 Surgical Theater LLC Augmented reality surgical navigation
JP6712453B2 (ja) 2015-10-16 2020-06-24 富士フイルム株式会社 拡張現実提供システム及び方法、情報処理装置、並びにプログラム
US10195076B2 (en) 2015-10-23 2019-02-05 Eye Labs, LLC Head-mounted device providing diagnosis and treatment and multisensory experience
EP3878396A1 (en) 2015-10-23 2021-09-15 Covidien LP Surgical system for detecting gradual changes in perfusion
EP3367950A4 (en) 2015-10-28 2019-10-02 Endochoice, Inc. DEVICE AND METHOD FOR FOLLOWING THE POSITION OF AN ENDOSCOPE IN THE BODY OF A PATIENT
US10431008B2 (en) 2015-10-29 2019-10-01 Koninklijke Philips N.V. Remote assistance workstation, method and system with a user interface for remote assistance with spatial placement tasks via augmented reality glasses
US10828125B2 (en) 2015-11-03 2020-11-10 Synaptive Medical (Barbados) Inc. Dual zoom and dual field-of-view microscope
AU2016348368A1 (en) 2015-11-04 2018-06-07 Illusio, Inc. Augmented reality imaging system for cosmetic surgical procedures
CN113080813A (zh) 2015-11-05 2021-07-09 柯惠Lp公司 用于检测表面下的血液的***和方法
US11666224B2 (en) 2015-11-07 2023-06-06 Purdue Research Foundation Intraoperative optoacoustic guide apparatus and method
DE102015222782A1 (de) 2015-11-18 2017-05-18 Sirona Dental Systems Gmbh Verfahren zur Visualisierung einer Zahnsituation
ITUB20155830A1 (it) 2015-11-23 2017-05-23 R A W Srl "sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori"
US20170143284A1 (en) 2015-11-25 2017-05-25 Carestream Health, Inc. Method to detect a retained surgical object
US10070939B2 (en) 2015-12-04 2018-09-11 Zaki G. Ibrahim Methods for performing minimally invasive transforaminal lumbar interbody fusion using guidance
US10052170B2 (en) 2015-12-18 2018-08-21 MediLux Capitol Holdings, S.A.R.L. Mixed reality imaging system, apparatus and surgical suite
DE102015226669B4 (de) 2015-12-23 2022-07-28 Siemens Healthcare Gmbh Verfahren und System zum Ausgeben einer Erweiterte-Realität-Information
EP3398169A1 (en) 2015-12-29 2018-11-07 Koninklijke Philips N.V. Registration of a surgical image acquisition device using contour signatures
CN108472095B (zh) * 2015-12-29 2021-11-02 皇家飞利浦有限公司 用于机器人外科手术的使用虚拟现实设备的***、控制器和方法
WO2017117517A1 (en) 2015-12-30 2017-07-06 The Johns Hopkins University System and method for medical imaging
US10426339B2 (en) 2016-01-13 2019-10-01 Novartis Ag Apparatuses and methods for parameter adjustment in surgical procedures
US9925013B2 (en) 2016-01-14 2018-03-27 Synaptive Medical (Barbados) Inc. System and method for configuring positions in a surgical positioning system
EP3405104B1 (en) 2016-01-22 2024-03-06 Nuvasive, Inc. Systems for facilitating spine surgery
US10448910B2 (en) 2016-02-03 2019-10-22 Globus Medical, Inc. Portable medical imaging system
US11058378B2 (en) 2016-02-03 2021-07-13 Globus Medical, Inc. Portable medical imaging system
US10842453B2 (en) 2016-02-03 2020-11-24 Globus Medical, Inc. Portable medical imaging system
JP6299783B2 (ja) * 2016-02-15 2018-03-28 セイコーエプソン株式会社 電気光学装置、および電子機器
US9675319B1 (en) * 2016-02-17 2017-06-13 Inneroptic Technology, Inc. Loupe display
CN108778179A (zh) 2016-02-26 2018-11-09 思想外科有限公司 用于指导用户定位机器人的方法和***
WO2017144934A1 (en) 2016-02-26 2017-08-31 Trophy Guided surgery apparatus and method
WO2017151734A1 (en) 2016-03-01 2017-09-08 Mirus Llc Systems and methods for position and orientation tracking of anatomy and surgical instruments
US20190206134A1 (en) 2016-03-01 2019-07-04 ARIS MD, Inc. Systems and methods for rendering immersive environments
WO2017151752A1 (en) 2016-03-01 2017-09-08 Mirus Llc Augmented visualization during surgery
US20170256095A1 (en) 2016-03-02 2017-09-07 Siemens Medical Solutions Usa, Inc. Blocking screen in Augmented Reality
EP3424033A4 (en) 2016-03-04 2019-12-18 Covidien LP VIRTUAL AND / OR AUGMENTED REALITY FOR PERFORMING PHYSICAL INTERACTION TRAINING WITH A SURGICAL ROBOT
US9962133B2 (en) 2016-03-09 2018-05-08 Medtronic Navigation, Inc. Transformable imaging system
WO2017160651A1 (en) 2016-03-12 2017-09-21 Lang Philipp K Devices and methods for surgery
EP3429497B1 (en) 2016-03-14 2024-05-08 Mohamed R. Mahfouz Method of designing a dynamic patient-specific orthopedic implant
CA3016346A1 (en) 2016-03-21 2017-09-28 Washington University Virtual reality or augmented reality visualization of 3d medical images
WO2017173518A1 (en) 2016-04-05 2017-10-12 Synaptive Medical (Barbados) Inc. Multi-metric surgery simulator and methods
WO2017179350A1 (ja) 2016-04-11 2017-10-19 富士フイルム株式会社 画像表示制御装置および方法並びにプログラム
US20170296292A1 (en) 2016-04-16 2017-10-19 Eitezaz MAHMOOD Systems and Methods for Surgical Imaging
CN109069103B (zh) 2016-04-19 2022-01-25 皇家飞利浦有限公司 超声成像探头定位
US10194990B2 (en) 2016-04-27 2019-02-05 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
US10191615B2 (en) 2016-04-28 2019-01-29 Medtronic Navigation, Inc. Method and apparatus for image-based navigation
WO2017192781A1 (en) 2016-05-03 2017-11-09 Affera, Inc. Anatomical model displaying
AU2017260192B2 (en) 2016-05-05 2022-11-10 James R. Watson Surgical stereoscopic visualization system with movable head mounted display
US10433915B2 (en) 2016-05-16 2019-10-08 TrackX Technology, LLC System and method for image localization of effecters during a medical procedure
CN106296805B (zh) 2016-06-06 2019-02-26 厦门铭微科技有限公司 一种基于实时反馈的增强现实人体定位导航方法及装置
WO2017220165A1 (en) 2016-06-24 2017-12-28 Rwe International Se Augmented reality system
EP3525173A4 (en) 2016-07-11 2020-07-08 Taiwan Main Orthopaedic Biotechnology Co., Ltd. IMAGE REALITY EXTENSION PROCESS AND SURGICAL GUIDE TO APPLY THIS TO WEARABLE GLASSES
US10610318B2 (en) 2016-07-25 2020-04-07 General Electric Company Augmented reality catheter interface
US10398514B2 (en) 2016-08-16 2019-09-03 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
US10687901B2 (en) 2016-08-17 2020-06-23 Synaptive Medical (Barbados) Inc. Methods and systems for registration of virtual space with real space in an augmented reality system
DE202017104953U1 (de) 2016-08-18 2017-12-04 Google Inc. Verarbeiten von Fundusbildern unter Verwendung von Maschinenlernmodellen
JP7328653B2 (ja) 2016-09-07 2023-08-17 インテリジョイント サージカル インク． 患者の頭部の画像誘導ナビゲーションを含む手術ナビゲーションのシステム及び方法
EP3512452A1 (en) 2016-09-16 2019-07-24 Zimmer, Inc. Augmented reality surgical technique guidance
US11839433B2 (en) 2016-09-22 2023-12-12 Medtronic Navigation, Inc. System for guided procedures
KR101687821B1 (ko) 2016-09-22 2016-12-20 장원석 증강현실을 이용한 치과 수술 방법
US9931025B1 (en) 2016-09-30 2018-04-03 Auris Surgical Robotics, Inc. Automated calibration of endoscopes with pull wires
CN108289600A (zh) 2016-10-03 2018-07-17 威博外科公司 用于机器人外科手术的沉浸式三维显示器
US20180092698A1 (en) 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use
US20180116732A1 (en) 2016-10-18 2018-05-03 The Board Of Trustees Of The Leland Stanford Junior University Real-time Three Dimensional Display of Flexible Needles Using Augmented Reality
US10231784B2 (en) 2016-10-28 2019-03-19 Medtronic Ardian Luxembourg S.A.R.L. Methods and systems for optimizing perivascular neuromodulation therapy using computational fluid dynamics
KR101837301B1 (ko) 2016-10-28 2018-03-12 경북대학교 산학협력단 수술 항법 시스템
US10275927B2 (en) 2016-11-16 2019-04-30 Terarecon, Inc. System and method for three-dimensional printing, holographic and virtual reality rendering from medical image processing
US10918445B2 (en) 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
US10412377B2 (en) 2017-01-11 2019-09-10 Koninklijke Philips N.V. Augmented display device for use in a medical imaging laboratory
US10638080B2 (en) 2017-01-30 2020-04-28 Alcon Inc. Systems and method for augmented reality ophthalmic surgical microscope projection
US10643360B2 (en) 2017-02-10 2020-05-05 Arizona Board Of Regents On Behalf Of Arizona State University Real-time medical image visualization systems and related methods
CA2958163C (en) 2017-02-15 2019-02-12 Synaptive Medical (Barbados) Inc. Digitally enhanced surgical instruments
US11158415B2 (en) 2017-02-16 2021-10-26 Mako Surgical Corporation Surgical procedure planning system with multiple feedback loops
US10010379B1 (en) 2017-02-21 2018-07-03 Novarad Corporation Augmented reality viewing and tagging for medical procedures
KR101891704B1 (ko) 2017-02-28 2018-08-24 메디컬아이피 주식회사 3차원 의료영상 제어 방법 및 그 장치
EP3592273B1 (en) 2017-03-10 2023-10-04 Biomet Manufacturing, LLC Augmented reality supported knee surgery
US20180263727A1 (en) 2017-03-15 2018-09-20 Coredent Advancements, LLC Surgical Guide and Associated Process for Dental Implants
TWI634870B (zh) 2017-03-20 2018-09-11 承鋆生醫股份有限公司 影像定位及擴增實境系統及其擴增實境方法
US9892564B1 (en) 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
US20180289983A1 (en) 2017-04-05 2018-10-11 Sensus Healthcare Llc Augmented reality glasses to help doctors visualize radiation patterns and overall tumor shape/size
EP3609424A1 (en) 2017-04-14 2020-02-19 Stryker Corporation Surgical systems and methods for facilitating ad-hoc intraoperative planning of surgical procedures
DE102017108235A1 (de) 2017-04-18 2018-10-18 Bredent Medical Gmbh & Co. Kg Brille mit wenigstens einem teiltransparenten Bildschirm und Verfahren zum Betrieb einer Brille
CA3060617C (en) 2017-04-20 2022-10-04 The Cleveland Clinic Foundation System and method for holographic image-guided non-vascular percutaneous procedures
US10716643B2 (en) 2017-05-05 2020-07-21 OrbisMV LLC Surgical projection system and method
US10667869B2 (en) 2017-05-17 2020-06-02 General Electric Company Guidance system for needle procedures
US10874327B2 (en) 2017-05-19 2020-12-29 Covidien Lp Systems and methods for tracking and imaging a treatment probe having an integrated sensor
US10432913B2 (en) 2017-05-31 2019-10-01 Proximie, Inc. Systems and methods for determining three dimensional measurements in telemedicine application
US10610179B2 (en) 2017-06-05 2020-04-07 Biosense Webster (Israel) Ltd. Augmented reality goggles having X-ray protection
EP3412242A1 (de) 2017-06-09 2018-12-12 Siemens Healthcare GmbH Ausgabe von positionsinformationen eines medizintechnischen instruments
US10390891B2 (en) 2017-06-13 2019-08-27 Biosense Webster (Israel) Ltd. Hologram lens for positioning an orthopedic implant
US10242292B2 (en) 2017-06-13 2019-03-26 Digital Surgery Limited Surgical simulation for training detection and classification neural networks
US20180360655A1 (en) 2017-06-16 2018-12-20 Michael S. Berlin Methods and systems for oct guided glaucoma surgery
US11229496B2 (en) 2017-06-22 2022-01-25 Navlab Holdings Ii, Llc Systems and methods of providing assistance to a surgeon for minimizing errors during a surgical procedure
US11589933B2 (en) 2017-06-29 2023-02-28 Ix Innovation Llc Guiding a robotic surgical system to perform a surgical procedure
US11071593B2 (en) 2017-07-14 2021-07-27 Synaptive Medical Inc. Methods and systems for providing visuospatial information
US11166764B2 (en) 2017-07-27 2021-11-09 Carlsmed, Inc. Systems and methods for assisting and augmenting surgical procedures
US10679417B2 (en) 2017-07-28 2020-06-09 Edda Technology, Inc. Method and system for surgical planning in a mixed reality environment
US11432877B2 (en) 2017-08-02 2022-09-06 Medtech S.A. Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking
EP3336848B1 (en) 2017-08-15 2023-09-27 Siemens Healthcare GmbH Method for operating a medical imaging device and medical imaging device
ES2945711T3 (es) 2017-08-15 2023-07-06 Holo Surgical Inc Sistema de navegación quirúrgica para proporcionar una imagen de realidad aumentada durante la operación
EP3445048A1 (en) 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
US11432879B2 (en) 2017-08-18 2022-09-06 Siemens Healthcare Gmbh Method and apparatus for wide area multi-body 6D pose tracking system
US10987016B2 (en) 2017-08-23 2021-04-27 The Boeing Company Visualization system for deep brain stimulation
US10607420B2 (en) 2017-08-30 2020-03-31 Dermagenesis, Llc Methods of using an imaging apparatus in augmented reality, in medical imaging and nonmedical imaging
EP3449830B1 (de) 2017-08-31 2020-01-29 Siemens Healthcare GmbH Steuerung eines medizintechnischen bildgebenden systems
US10861236B2 (en) 2017-09-08 2020-12-08 Surgical Theater, Inc. Dual mode augmented reality surgical system and method
US10265138B2 (en) 2017-09-18 2019-04-23 MediVis, Inc. Methods and systems for generating and using 3D images in surgical settings
US10874460B2 (en) 2017-09-29 2020-12-29 K2M, Inc. Systems and methods for modeling spines and treating spines based on spine models
WO2019070729A1 (en) 2017-10-02 2019-04-11 Mcginley Engineered Solutions, Llc SURGICAL INSTRUMENT FOR AIDING REAL-TIME NAVIGATION
EP3467785A1 (en) 2017-10-06 2019-04-10 Thomson Licensing A method and apparatus for encoding a point cloud representing three-dimensional objects
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11272985B2 (en) 2017-11-14 2022-03-15 Stryker Corporation Patient-specific preoperative planning simulation techniques
US11103314B2 (en) 2017-11-24 2021-08-31 Synaptive Medical Inc. Methods and devices for tracking objects by surgical navigation systems
US11617492B2 (en) 2017-11-27 2023-04-04 Optecks, Llc Medical three-dimensional (3D) scanning and mapping system
EP3720349A4 (en) 2017-12-04 2021-01-20 Bard Access Systems, Inc. SYSTEMS AND METHODS FOR VISUALIZATION OF ANATOMY, LOCATION OF MEDICAL DEVICES, OR POSITIONING OF MEDICAL DEVICES
US20190175059A1 (en) 2017-12-07 2019-06-13 Medtronic Xomed, Inc. System and Method for Assisting Visualization During a Procedure
EP3498212A1 (en) 2017-12-12 2019-06-19 Holo Surgical Inc. A method for patient registration, calibration, and real-time augmented reality image display during surgery
US11179200B2 (en) 2017-12-15 2021-11-23 Medtronic, Inc. Augmented reality solution to disrupt, transform and enhance cardiovascular surgical and/or procedural mapping navigation and diagnostics
US10413363B2 (en) 2017-12-15 2019-09-17 Medtronic, Inc. Augmented reality solution to optimize the directional approach and therapy delivery of interventional cardiology tools
US11058497B2 (en) 2017-12-26 2021-07-13 Biosense Webster (Israel) Ltd. Use of augmented reality to assist navigation during medical procedures
US11998193B2 (en) 2017-12-28 2024-06-04 Cilag Gmbh International Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11424027B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US10621733B2 (en) 2017-12-31 2020-04-14 Google Llc Enhanced visualization of breathing or heartbeat of an infant or other monitored subject
EP3509013A1 (en) 2018-01-04 2019-07-10 Holo Surgical Inc. Identification of a predefined object in a set of images from a medical image scanner during a surgical procedure
US10535427B2 (en) 2018-01-10 2020-01-14 Medtronic, Inc. System for planning implantation of a cranially mounted medical device
US11547481B2 (en) 2018-01-11 2023-01-10 Covidien Lp Systems and methods for laparoscopic planning and navigation
WO2019145788A1 (en) 2018-01-25 2019-08-01 NeuroSteer Ltd. Systems and methods for analyzing brain activity and applications pertaining to augmented reality
US20190239850A1 (en) 2018-02-06 2019-08-08 Steven Philip Dalvin Augmented/mixed reality system and method for the guidance of a medical exam
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
EP3540494B1 (en) 2018-03-16 2022-11-23 Leica Instruments (Singapore) Pte. Ltd. Augmented reality surgical microscope and microscopy method
CN112040875A (zh) 2018-04-06 2020-12-04 美敦力公司 基于图像的导航***和使用相同的导航***的方法

Also Published As

Publication number Publication date
US20190254753A1 (en) 2019-08-22
US10646283B2 (en) 2020-05-12
EP3970650B1 (en) 2024-01-10
JP2019177134A (ja) 2019-10-17
CN110169822B (zh) 2022-06-21
EP3533409A1 (en) 2019-09-04
US20200246081A1 (en) 2020-08-06
US20190254754A1 (en) 2019-08-22
US20230301723A1 (en) 2023-09-28
EP3533409B1 (en) 2021-11-10
CN110169822A (zh) 2019-08-27
EP3970650A1 (en) 2022-03-23

Similar Documents

Publication Publication Date Title
JP6751456B2 (ja) ロボット外科手術システムで使用するための拡張現実ナビゲーションシステムおよびその使用方法
US11461983B2 (en) Surgeon head-mounted display apparatuses
US20210267698A1 (en) Graphical user interface for a surgical navigation system and method for providing an augmented reality image during operation
EP3443923B1 (en) Surgical navigation system for providing an augmented reality image during operation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200814

R150 Certificate of patent or registration of utility model

Ref document number: 6751456

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250