JP2023513692A

JP2023513692A - 医療処置における感覚拡張の為のシステム及び方法

Info

Publication number: JP2023513692A
Application number: JP2022548406A
Authority: JP
Inventors: ライアン，マシュー，ウィリアム; ハートマン，アンドリュー，フィリップ; ダルウォルト，ニコラスヴァン; ニールセン，ジョナサン，カーク
Original assignee: インサイトメディカルシステムズインコーポレイテッド
Priority date: 2020-02-10
Filing date: 2021-02-09
Publication date: 2023-04-03
Also published as: AU2021220161A1; EP4103088A4; EP4103088A1; CN115361916A; KR20220141308A; WO2021163039A1

Abstract

本明細書では、術中にユーザによって装着される頭部装着型表示デバイスを含む自己完結型手術ナビゲーションシステムを記載する。システムは、表示デバイス上に視覚的表示を生成する為の表示生成器と、少なくとも１つのトラッキングカメラを有するセンサスイートとを含む。システムは更に、支持モジュールのハウジングに取り外し可能に挿入されるユーザ交換可能なモジュール式バッテリと、センサスイートからデータを受信し、少なくとも１つのマーカの位置及び配向を計算するように構成されたプロセッサユニットとを含む支持モジュールを含む。支持モジュールは、頭部装着型表示デバイスに電気的に結合され、頭部装着型表示デバイスに電力及びデータを供給する。表示デバイスと支持モジュールが協働して、外部のセンサ、カメラ、コンピュータ、又は他の電気機器を必要とせずにシステムの全センシング及びコンピューティング能力を構成している。【選択図】図３９

Description

（関連出願の相互参照）
本出願は、２０２０年２月１０日に出願された米国特許出願第１６／７８６，９３８の優先権を主張し、これは、２０１８年２月１５日に出願されたＰＣＴ出願ＰＣＴ／ＵＳ２０１８／１８３３０の一部継続出願であり、これは、２０１７年８月１１日に出願された米国特許出願第１５／６７４，７４９号及び２０１７年８月１１日に出願されたＰＣＴ出願ＰＣＴ／ＵＳ２０１７／０４６４３８号の一部継続出願であり、両出願は何れも、２０１６年８月１６日に出願された米国仮出願第６２／３７５，４８３号の優先権の利益を主張し、これらの各々の内容はあらゆる目的で参照によりその全体が援用される。

本発明は、外科手術、診断処置、治療処置、及び麻酔処置を含むがこれらに限定されない医療処置中の位置決め、定位、及び状況認識の為の新規な視覚化及び感覚拡張装置、システム、方法、及び装置に関する。

現在の医療処置は、典型的には、患者に変化をもたらす為に必要な器具以外の殆ど又は全く支援を受けずに、執刀医又は医療従事者によって行われる。例えば、整形外科医には、幾つかの測定器具（例えば、定規又は同様のもの）及び切断具（例えば、鋸又はドリル）を有し得るが、執刀医への視覚的、聴覚的、及び／又は触覚的入力は支援されない。言い換えると、執刀医は、自身が操作しているもの以外何も見ず、手術室の他の関与者からの通常の通信以外何も聞かず、器具又は処置における関心対象の他のアイテムを把持することによる通常のフィードバックの外には何も感知しない。或いは、大型のコンソール型ナビゲーションシステムやロボットシステムが利用され、そのディスプレイやカメラは執刀医から離れた無菌領域の外側に配置されている。これらは、執刀医が手術部位と２次元ディスプレイの間で自身の視線を繰り返し移動させることを要する。又、カメラの遠隔位置は、ドレープ、人員、及び／又は器具が無菌野におけるマーカのカメラの視界を妨害する場合に視線の問題をもたらし、カメラの視座は創傷内の撮像に適さない。解剖学的レジストレーションは、典型的には、マーカがカメラに見えるようにプローブする為に、マーカを有するスタイラスを使用して行われる。

本発明は、外部スクリーンを見る為にユーザの頭部を不自然に動かしたり回したりする必要がない、処置（複数可）に必要なフィードバックをユーザの視野に視覚的に投影することを提供する。オーグメンテッドディスプレイや仮想ディスプレイは、ユーザの視覚の自然な延長又は強化としてユーザに表示される。更に、ユーザのヘッドピース内に在るセンサとカメラは、ユーザと同じ視点を有するので、外部カメラに関連する視線の不明瞭さの問題を最小限に抑えることができる。本発明による解剖学的表面及び特徴の３Ｄマッピングと、術前スキャンからのモデルとのマッチングは、現在のスタイラス点群アプローチよりも高速で、術中に生体構造をレジストレーションする為のより正確な方法を表す。

本発明は、一般に、医療処置の実施を支援する、ユーザの視覚、聴覚、又は触覚の為の少なくとも１つの拡張からなる新規な感覚拡張デバイス又は装置を含む。視覚支援は、拡張現実の形でユーザの視野にリアルタイムで視覚的オーバーレイの形態で提供され得るものであり、又は仮想現実の形で視覚的シーンの置き換えとして提供され得るものである。聴覚支援は、単純なビープ音やトーン、又は音声や指示等のより複雑な音の形で提供され得る。触覚支援は、ユーザをガイドすることを目的とした単純な警告触覚フィードバック又はより複雑な触覚発生の形で提供され得る。好ましい実施形態では、視覚（オーグメンテッド又は仮想）支援は、音声又は触覚、又は音声及び触覚の両方のフィードバックによって補完される。

本発明は、複合現実手術ナビゲーションシステムを提供するものであり、複合現実手術ナビゲーションシステムは、ユーザ（例えば、執刀医）が術中に装着する、プロセッサユニットと、表示生成器と、少なくとも１つのトラッキングカメラを有するセンサスイートとを備えた頭部装着型表示デバイスと（例えば、ヘッドセット等）、カメラによって追跡可能であり、手術器具に固定的に取り付けられた少なくとも１つの視覚的マーカとを備え、プロセッシングユニットは、センサスイートから受信したデータで関心解剖対象物の部分的に露出した表面の３次元表面をマッピングし、プロセッシングユニットは、３次元表面を解剖対象物の３次元モデルに合わせることによって解剖対象物の基準フレームを確立し、プロセッシングユニットは、センサスイートから受信したデータで手術器具の６自由度のポーズ（位置と配向で構成）を追跡し、プロセッシングユニットは、ディスプレイと通信して、手術器具の所望の特徴の立体視仮想画像とユーザの視野内の解剖対象物の所望の特徴を含む複合現実ユーザインターフェースを提供する。

本発明は更に、医療処置の為の複合現実手術ナビゲーションシステムの使用方法を提供し、前記方法は、（ａ）（ｉ）プロセッサユニットと、ディスプレイと、少なくとも１つのトラッキングカメラを有するセンサスイートとを備える頭部装着型表示デバイスと、（ｉｉ）カメラによって追跡可能な少なくとも１つの視覚的マーカと、を備えた複合現実手術ナビゲーションシステムを提供するステップと、（ｂ）表示デバイスをユーザの頭部に取り付けるステップと、（ｃ）マーカを有する外科手術器具を提供するステップと、（ｄ）関心解剖対象物をセンサスイートでキャンして、解剖対象物の望ましい特徴の３次元表面のデータを得るステップと、（ｅ）３次元表面のデータをプロセッサユニットに送信して、解剖対象物の所望の特徴の仮想３次元モデルをレジストレーションするステップと、（ｆ）センサスイートで６自由度のポーズで手術器具を追跡して、プロセッサユニットに送信するデータを得るステップと、（ｇ）ユーザの視野内に手術器具の特徴及び解剖対象物の特徴の立体視仮想画像を含む複合現実ユーザインターフェースを表示するステップと、を含む。

本発明は更に、複合現実手術ナビゲーションシステムによって提供されるユーザの視野に、手術器具の望ましい特徴及び関心解剖対象物の望ましい特徴の立体視仮想画像を含む、手術ナビゲーションシステムの為の複合現実ユーザインターフェースを提供し、（ｉ）プロセッサユニットと、ディスプレイと、少なくとも１つのトラッキングカメラを有するセンサスイートとを備える頭部装着型表示デバイスと、及び（ｉｉ）カメラによって追跡可能な少なくとも１つの視覚的マーカとを備え、複合現実ユーザインターフェースが以下の工程によって取得される：（ａ）頭部装着型表示デバイスをユーザの頭部に取り付ける工程、（ｂ）マーカを有する手術器具を提供する工程、（ｃ）センサスイートで所望の解剖対象物をスキャンして、解剖対象物の部分的に露出した表面の３次元表面のデータを得る工程、（ｄ）３次元表面のデータをプロセッサユニットに送信して、解剖対象物の特徴の仮想３次元モデルをレジストレーションする工程、（ｅ）センサスイートで６自由度のポーズで手術器具を追跡して、プロセッサユニットに送信するデータを得る工程、及び（ｆ）手術器具の特徴及び解剖対象物の特徴の立体視仮想画像を含む複合現実ユーザインターフェースをユーザの視野に表示する工程。

本発明は更に、外科術中にプローブを追跡する為の方法を提供する。例えば、本方法は、超音波トランスデューサを使用して患者の内部生体構造の二次元画像を受信するステップと、超音波トランスデューサの位置及び配向を追跡するステップと、患者の位置及び配向を追跡するステップと、患者の二次元画像を、患者に対する超音波トランスデューサの位置及び配向と結合するステップと、超音波トランスデューサの位置及び配向と患者の位置及び配向とを用いて共通の基準フレームで二次元画像を再構成して、患者の内部生体構造の３次元画像を生成するステップと、プローブの位置及び配向を追跡するステップと、患者の内部生体構造の３次元画像に対するプローブの先端部の軸及び位置を表示するステップと、患者の内部生体構造に対する位置に基づいてプローブの先端部を所望の位置に前進させるステップとを含み得る。本方法は更に、１つ以上のステレオカメラ又はトラッキングカメラ又は超音波トランスデューサを用いて患者の外部生体構造又は外表面の二次元画像を受け取るステップと、再構成された３次元画像で外部生体構造の二次元画像を表示するステップを含み得る。本方法は、ピン、針、ネジ、注射器具、プローブ等の位置、前進、後退等を監視する為に使用されてもよい。本方法は、本明細書の他の箇所に記載される頭部装着型表示デバイス及び／又は複合現実型外科システムの何れかによって実行されてもよい。

本開示の一態様は、自己完結型頭部装着型手術ナビゲーションシステムを対象とする。幾つかの実施形態において、前記システムは、表示デバイス上に視覚的表示を生成する為の表示生成器と、少なくとも１つのトラッキングカメラを有するセンサスイートと、前記センサスイートからデータを受信し、少なくとも２つのマーカの位置及び配向を、以下によって計算するように構成されたプロセッサユニットとを含む：前記少なくとも１つのトラッキングカメラの視野内の前記少なくとも２つのマーカの第１のマーカの位置を決定し、前記表示デバイス上で前記ユーザに仮想ガイドを表示して、前記第１のマーカに対する前記少なくとも２つのマーカの第２のマーカの位置に前記ユーザを誘導する、及び、前記仮想ガイドからの誘導に基づいて、前記少なくとも１つのトラッキングカメラで前記第２のマーカの位置を決定する。

本開示の別の態様は、自己完結型手術ナビゲーションシステムを対象とする。幾つかの実施形態では、前記システムは、術中にユーザによって装着される頭部装着型表示デバイスを含み、前記頭部装着型表示デバイスは、前記表示デバイス上に視覚的表示を生成する為の表示生成器と、少なくとも１つのトラッキングカメラを有するセンサスイートとを含む。前記システムは支持モジュールを含み、前記支持モジュールは、前記支持モジュールのハウジングに取り外し可能に挿入されるユーザ交換可能なモジュール式バッテリと、前記センサスイートからデータを受信し、少なくとも１つのマーカの位置及び配向を計算するように構成されたプロセッサユニットと、を含む。

先の実施形態の何れかにおいて、前記システムは更に、フェイスシールド及びヘルメットの内の１つ以上を含み、前記表示デバイスが前記フェイスシールド又は前記ヘルメットに取り付けられるようになっている。

先の実施形態の何れかにおいて、前記システムは、関心対象物を追跡する為に前記関心対象物に固着された少なくとも１つのマーカを更に含む。幾つかのそのような実施形態では、前記少なくとも１つのマーカは、前記少なくとも１つのトラッキングカメラの視野外に在り、その結果、前記プロセッサユニットが更に、前記センサスイートの１つ以上のセンサを使用して、前記ユーザの頭部の角度を追跡し、前記少なくとも１つのマーカが前記少なくとも１つのトラッキングカメラの視野内に配置された時の前記少なくとも１つのマーカの最後の既知の位置に基づいて、前記少なくとも１つのマーカの相対位置を計算し、前記最後の既知の位置は前記頭部の角度に相対しており、前記表示デバイス上に前記ユーザへの仮想ガイドを表示して前記ユーザを前記少なくとも１つのマーカの位置へ誘導する、ように構成される。

先の実施形態の何れかにおいて、前記支持モジュールは、前記頭部装着型表示デバイスに電力及びデータを供給する為に、前記頭部装着型表示デバイスに電気的に結合される。

先の実施形態の何れかにおいて、前記支持モジュールは、前記ユーザの頭部以外の場所で前記ユーザの身体に装着される。

先の実施形態の何れかにおいて、前記表示デバイス及び前記支持モジュールは協働して、外部センサ、カメラ、コンピュータ、又は他の電気機器を必要とせず、前記システムの全センシング及び計算能力を構成している。

先の実施形態の何れかにおいて、前記システムは更に、関心対象物を追跡する為に前記関心対象物に固着された少なくとも２つのマーカを含む。第１のマーカは、少なくとも１つのトラッキングカメラの視野内に在り、第２のマーカは、前記少なくとも１つのトラッキングカメラの視野外に在る。幾つかのそのような実施形態では、前記プロセッサユニットは更に、前記少なくとも１つのトラッキングカメラの視野内の前記第１のマーカの位置を決定することと、前記表示デバイス上に仮想ガイドをユーザに表示して、前記第１のマーカに対する前記第２のマーカの位置に前記ユーザを誘導することと、前記仮想ガイドからの前記誘導に基づいて前記少なくとも１つのトラッキングカメラで前記第２のマーカの位置を決定することを行うように構成される。

先の実施形態の何れかにおいて、前記システムは更に、前記第１のマーカ及び前記第２のマーカの初期位置を取得することと、前記第２のマーカが前記少なくとも１つのトラッキングカメラの視野内にない場合、前記取得した初期位置に基づいて前記第１のマーカに対する前記第２のマーカの位置を推定することを含む。

先の実施形態の何れかにおいて、前記システムは更に、既知の解剖学的マーカに対する前記第１のマーカ及び前記第２のマーカの初期位置を取得することと、前記既知の解剖学的マーカ間の距離を計算することと、前記第２のマーカが前記少なくとも１つのトラッキングカメラの視野内にない場合、前記計算された距離に基づいて前記第１のマーカに対する前記第２のマーカの位置を推定することを含む。

先の実施形態の何れかにおいて、前記システムは更に、前記センサスイート内の１つ以上のセンサを使用して、前記ユーザの頭部の動きを追跡することと、前記第２のマーカが前記少なくとも１つのトラッキングカメラの視野内に在った時の前記第２のマーカの最後の既知の位置に基づいて、前記第２のマーカの位置を計算することを含む。

先の実施形態の何れかにおいて、前記システムは更に、関心対象物を追跡する為に前記関心対象物に固着された少なくとも２つのマーカを含む。幾つかのそのような実施形態では、前記少なくとも２つのマーカの一方又は両方は、前記少なくとも１つのトラッキングカメラの視野外に在って、前記プロセッサユニットが更に以下のように構成されるようになっている：前記少なくとも２つのマーカの間に仮想コントロールを表示し、ユーザ入力に基づいて前記仮想コントロールと位置合わせするように構成されるユーザ入力コントロールを表示し、前記ユーザが頭部を回した時に前記仮想コントロールの位置を調整して前記ユーザ入力コントロールを前記仮想コントロールと位置合わせさせる、及び前記少なくとも２つのマーカが両方とも前記少なくとも１つのトラッキングカメラの視野内に在る場合に前記少なくとも１つのトラッキングカメラの視野内に在る前記少なくとも２つのマーカを追跡する。

先の実施形態の何れかにおいて、前記頭部装着型表示デバイスは更に赤外光を含む。

先の実施形態の何れかにおいて、前記システムは更に、可視光と、前記可視光に結合された赤外光フィルタとを含み、前記赤外光フィルタが前記可視光に結合されている時に前記可視光が赤外光を放射することを防止するようになっている。

先の実施形態の何れかにおいて、前記システムは更に、前記赤外光の周囲に配置され、前記赤外光からの光が放射される開口を規定する複数の側壁を含むシュラウドを含む。

先の実施形態の何れかにおいて、前記少なくとも１つのトラッキングカメラ、前記可視光、及び前記赤外光は、前記頭部装着型表示デバイスがヘルメットに取り付けられた時、フェイスシールドの背後に配置される。

先の実施形態の何れかにおいて、前記複数の側壁は、前記頭部装着型表示デバイスが前記ヘルメットに取り付けられた時に前記フェイスシールドに接触して、前記赤外光によって放射された光が前記少なくとも１つのトラッキングカメラに反射されるのを防止すると共に、前記フェイスシールドのみを通過するようになっている。

先の実施形態の何れかにおいて、前記システムは更に、前記フェイスシールド及び前記ヘルメットを含む。

先の実施形態の何れかにおいて、前記支持モジュールの前記ハウジングは更に、前記バッテリから前記プロセッサユニット及び前記頭部装着型表示デバイスに電力を導く為に配置された回路基板を含むベースを含む。

先の実施形態の何れかにおいて、前記支持モジュールの前記ハウジングは更にブラケットを備え、前記ブラケットは、前記ブラケットに配置された時に前記バッテリ及び前記プロセッサユニットを安全且つ取り外し可能に拘束するように構成されている。

本開示の別の態様は、ヘルメット及びフェイスシールドと共に使用するように構成された自己完結型手術ナビゲーションシステムを対象とする。幾つかの実施形態において、前記システムは、術中にユーザによって装着される頭部装着型表示デバイスを含み、前記頭部装着型表示デバイスは、前記表示デバイス上に視覚表示を生成する為の表示生成器と、少なくとも１つのトラッキングカメラ、可視光、赤外光を有するセンサスイートと、前記センサスイートからデータを受信して少なくとも１つのマーカの位置及び配向を計算するように構成されたプロセッサユニットとを備えている。

先の実施形態の何れかにおいて、前記複数の側壁は、前記頭部装着型表示デバイスが前記ヘルメットに取り付けられた時に前記フェイスシールドに接触して、前記赤外光によって放射される光が、前記少なくとも１つのトラッキングカメラに反射されるのを防止すると共に、前記フェイスシールドのみを通過するようになっている。

先の実施形態の何れかにおいて、前記システムは更に、前記可視光に結合された赤外光フィルタを含み、前記赤外光フィルタが前記可視光に結合された時に、前記可視光が赤外光を放射することが防止されるようにする。

先の実施形態の何れかにおいて、前記システムは更に、関心対象物を追跡する為に前記関心対象物に固着された少なくとも２つのマーカを含み、第１のマーカは前記少なくとも１つのトラッキングカメラの視野内に在り、第２のマーカは前記少なくとも１つのトラッキングカメラの視野外に在る。幾つかのそのような実施形態において、前記プロセッサユニットは更に、前記少なくとも１つのトラッキングカメラの視野内の第１のマーカの位置を決定することと、前記表示デバイス上に仮想ガイドをユーザに表示して、前記第１のマーカに対する前記第２のマーカの位置に前記ユーザを誘導することと、前記仮想ガイドからの誘導に基づいて、前記少なくとも１つのトラッキングカメラで前記第２のマーカの位置を決定することを行うように構成される。

先の実施形態の何れかにおいて、前記システムは更に支持モジュールを含み、前記支持モジュールは、前記支持モジュールのハウジングに取り外し可能に挿入されるユーザ交換可能なモジュール式バッテリと、前記センサスイートからデータを受信し、少なくとも１つのマーカの位置及び配向を計算するように構成されたプロセッサユニットと、を備えている。

先の実施形態の何れかにおいて、前記表示デバイス及び前記支持モジュールは協働して、外部センサ、カメラ、コンピュータ、又は他の電気機器を必要とせず、前記システムの全センシング及びコンピューティング能力を構成している。

先の実施形態の何れかにおいて、前記シュラウドはモノリシック構造を有する。

先の実施形態の何れかにおいて、前記複数の側壁に結合された前面は前記フェイスシールドと接触しており、前記フェイスシールドの曲率半径に一致する曲率半径を有している。

先の実施形態の何れかにおいて、前記複数の側壁に結合された前面は前記フェイスシールドと接触しており、前記フェイスシールドの曲率半径にほぼ一致する曲率半径を有している。

先の実施形態の何れかにおいて、前記複数の側壁の内の１つ以上は、前記赤外光の中心軸に対して１０～２０度の角度になっている。

本開示の別の態様は、ヘルメット及びフェイスシールドと共に使用するように構成された自己完結型手術ナビゲーションシステムを対象とする。幾つかの実施形態において、前記システムは、術中にユーザによって装着される頭部装着型表示デバイスを含み、前記頭部装着型表示デバイスは、前記表示デバイス上に視覚表示を生成する為の表示生成器を備え、前記表示デバイスが、手術用ヘルメット及びフェイスシールドの内の１つ以上に装着され、更に、少なくとも１つのトラッキングカメラを有するセンサスイートを備えている。

先の実施形態の何れかにおいて、前記システムは更に、支持モジュールのハウジングに取り外し可能に挿入されるユーザ交換可能なモジュール式バッテリと、プロセッサユニットとを備えた支持モジュールを含む。

先の実施形態の何れかにおいて、前記表示デバイス及び前記支持モジュールは協働して、外部センサ、カメラ、コンピュータ、又は他の電気機器を必要とせずに、前記システムの全センシング及びコンピューティング能力を構成している。

先の実施形態の何れかにおいて、前記プロセッサユニットは、前記センサスイートからデータを受信し、前記少なくとも２つのマーカの位置及び配向を、以下により計算するように構成される：前記少なくとも１つのトラッキングカメラの視野内の前記少なくとも２つのマーカの第１のマーカの位置を決定し、前記表示デバイス上に仮想ガイドをユーザに表示して、前記第１のマーカに対する前記少なくとも２つのマーカの第２のマーカの位置に前記ユーザを誘導し、前記仮想ガイドからの誘導に基づいて、前記少なくとも１つのトラッキングカメラで前記第２のマーカの位置を決定する。

本開示の別の態様は、関節中心を決定する為の頭部装着型手術ナビゲーションシステムを対象とする。本明細書に記載の頭部装着型手術システムの何れかが、関節中心を決定する為に使用されてもよい。前記システムは、表示デバイス上に視覚的表示を生成する為の表示生成器と、少なくとも１つのトラッキングカメラを有するセンサスイートと、骨を追跡する為に前記骨に固着された少なくとも１つの基準マーカであって、前記骨が関節において又は前記関節に対して枢動するように位置決めされている少なくとも１つの基準マーカと、前記関節に対して実質的に固定されるように配置された少なくとも１つの定置基準マーカと、プロセッサユニットを含んでもよい。前記プロセッサユニットは、基準座標フレームにおいて前記骨上の点をレジストレーションすることと、前記レジストレーションされた点に基づいて骨座標フレームを作成することと、前記基準座標フレームから前記骨座標フレームに変換することと、前記少なくとも１つのトラッキングカメラを使用して、前記基準フレームにおける前記少なくとも１つの定置マーカの点を取得し、取得中に前記視覚的表示の少なくとも一部の位置が前記頭部装着型手術ナビゲーションシステムの移動と同期して移動するようにすることと、前記骨座標フレームにおいて関節中心を決定することと、を行うように構成されてもよい。

先の実施形態の何れかにおいて、決定することは、前記骨座標系における前記関節中心の位置を計算することと、最適推定フィルタを通して実質的に連続的に処理して、前記関節中心を決定することを含み、決定することは、全ての点の取得後に、バッチ処理して、前記関節中心を決定すること、又はそれらの組合せを含む。

先の実施形態の何れかにおいて、前記骨は、大腿骨、脛骨、上腕骨、橈骨、又は椎体の内の１つである。

先の実施形態の何れかにおいて、前記関節は、股関節、膝関節、肩関節、肘関節、足関節、又は椎体の内の１つである。

先の実施形態の何れかにおいて、定置は更に、慣性空間において固定されることを含む。

本開示の別の態様は、股関節中心を決定する為の頭部装着型手術ナビゲーションシステムを対象とする。本明細書に記載の頭部装着型手術ナビゲーションシステムの何れかが使用されてもよい。前記システムは、表示デバイス上に視覚的表示を生成する為の表示生成器と、少なくとも１つのトラッキングカメラを有するセンサスイートと、大腿骨を追跡する為に前記大腿骨に固着された少なくとも１つの基準マーカとを含み、前記大腿骨は、股関節において又は前記股関節に対して枢動するように位置決めされ、更に、股関節に対して実質的に固定であるように配置された少なくとも１つの定置基準マーカと、プロセッサユニットを含み得る。プロセッサユニットは、基準座標フレームにおいて前記大腿骨上の点をレジストレーションし、前記レジストレーションされた点に基づいて大腿骨座標フレームを作成し、基準座標フレームから大腿骨座標フレームに変換し、前記少なくとも１つのトラッキングカメラを使用して、前記基準フレームにおける前記少なくとも１つの定置マーカの点を取得し、取得中に、前記視覚的表示の少なくとも一部の位置が前記頭部装着型手術ナビゲーションシステムの移動と同期して移動し、前記大腿骨座標フレームにおいて股関節中心を決定するように構成されている。

先の実施形態の何れかにおいて、決定することは更に、前記大腿座標系における股関節中心の位置を計算することと、前記股関節中心を決定する為に最適推定フィルタを通して実質的に連続的に処理することと、全ての点の取得後にバッチ処理して、前記股関節中心を決定することと、又はそれらの組み合わせを更に含む。

本開示の別の態様は、本明細書に記載の頭部装着型手術ナビゲーションシステムの何れかによって実行されるような、切除角を設定する前に顆頭表面をレジストレーションする方法を対象とする。前記方法は、プロセッサユニットによって実行され、前記頭部装着型手術ナビゲーションシステムのディスプレイ上に、１つ以上の領域を含むターゲットを表示するステップと、前記ディスプレイ上に、顆頭ガイドから受け取った１つ以上の角度をリアルタイムで表す可動式アイコンを提供するステップと、前記ターゲット内の１つ以上の領域に対して可動式アイコンの位置を調整する為の１つ以上のユーザ入力を受信するステップと、前記視覚的にマークされた領域が捕捉された有効な深さ基準点を示すように、前記ディスプレイ上に、前記可動式アイコンの位置の調整中に前記可動式アイコンが相互作用する前記ターゲットの１つ以上の領域の何れかの上に視覚的マーカを出力するステップを含む。

先の実施形態の何れかにおいて、前記方法は更に、以前に捕捉された有効な深さ基準点を記録しないように、前記可動式アイコンの動きを制限するステップを含む。

先の実施形態の何れかにおいて、前記方法は更に、前記キャプチャされた有効な深さ基準点が格納されるデータベースを形成するステップを含む。

先の実施形態の何れかにおいて、前記ターゲットはグリッド又はブルズアイである。

先の実施形態の何れかにおいて、前記１つ以上の領域の各々は、前記可動式アイコンが前記ハイライト領域と少なくとも部分的に重なるまで前記顆頭ガイドを前記顆頭に対して移動させる旨の前記ユーザに対する指示を前記ディスプレイ上に出力することを前記方法が含むように、順次ハイライトされる。

先の実施形態の何れかにおいて、前記１つ以上の領域の内の任意の１つは、前記可動式アイコンが前記ハイライト領域と少なくとも部分的に重なるまで前記顆頭ガイドを前記顆頭に対して動かす旨の前記ユーザに対する指示を前記ディスプレイ上に出力することを前記方法が含むようにハイライトされる。

先の実施形態の何れかにおいて、前記方法は、前記ハイライト領域と前記可動式アイコンとが少なくとも部分的に重なった時点で、前記ハイライト領域を不活性化し、前記１つ以上の領域の内の第２の領域をハイライトするステップを更に含む。

先の実施形態の何れかにおいて、前記方法は、前記顆頭ガイドを取り外して切断ガイドを取り付けるように前記ユーザに促すステップを更に含む。

先の実施形態の何れかにおいて、前記方法は更に、前記切断ガイドによって規定される現在の切除面から深さ基準面に対応する有効深さ基準点の１つまでの距離に基づいて切除深さを計算するステップを含む。

先の実施形態の何れかにおいて、本方法は更に、顆頭ガイドを提供することを含み、前記顆頭ガイドは、第１の端部及び第２の端部を有する本体と、前記第１の端部の少なくとも一部の側面領域から延びる少なくとも１つの平面表面であって、１つ以上の大腿顆部に載り、切除深さを計算する為のゼロ深さ平面を構築するように構成されている平面表面と、前記少なくとも１つの平面表面上に配置され、前記顆頭ガイドのポーズを追跡する少なくとも１つのトラッカーと、前記本体の前記第２の端部から延びて切断ガイドに結合するように構成されたコネクタを備えている。

先の実施形態の何れかにおいて、前記顆頭ガイドは、前記本体の前記第１の端部から延びる細長いハンドルを含む。

先の実施形態の何れかにおいて、前記顆頭ガイドの本体は更に、骨への挿入の為にピンをそこを通して受け入れるように構成された開口を規定する。

先の実施形態の何れかにおいて、前記開口の直径は、ピンが前記開口を通して挿入される時に前記顆頭ガイドが傾くことを可能にするような大きさである。

先の実施形態の何れかにおいて、前記顆頭ガイドは更に、前記本体の前記第２の端部から前記コネクタと反対方向に延びる解放機序を含む。先の実施形態の何れかにおいて、前記解放機序は、前記切断ガイドを前記骨にピン留めする前に、前記顆頭ガイドを前記骨に結合するように構成される。

先の実施形態の何れかにおいて、前記顆頭ガイドの前記本体の前記第２の端部の少なくとも一部は、スライダを受け入れるように構成されたスロットを規定し、前記スロット内に、前記コネクタ及び解放機序が、前記スライダの対向する側に挿入される。

先の実施形態の何れかにおいて、前記顆頭ガイドの前記少なくとも１つの平面表面は、大腿骨顆部に接する平面をシミュレートするように構成される。

先の実施形態の何れかにおいて、前記方法は更に、前記少なくとも１つの平面表面上に配置された前記少なくとも１つのトラッカーを使用して前記顆頭ガイドを追跡して、１つ以上の有効な深さ基準点を決定することを含む。

先の実施形態の何れかにおいて、前記方法は更に、前記切断ガイドに結合された前記顆頭ガイドを使用して、前記１つ以上の有効な深さ基準点を決定した後にのみ、前記切断ガイドをピン留めすることを含む。

先の実施形態の何れかにおいて、前記顆頭ガイドの前記コネクタは取り外し可能である。

本開示の別の態様は、切除角を設定する前に顆頭表面をレジストレーションする方法であって、本明細書に記載の頭部装着型手術ナビゲーションシステムの何れかによって前記方法が実行されるような方法を対象とする。前記方法は、プロセッサユニットによって実行され、前記頭部装着型手術ナビゲーションシステムのディスプレイ上に、１つ以上の領域を含むターゲットを表示するステップと、前記ディスプレイ上に、顆頭ガイドから受け取った１つ以上の角度をリアルタイムで受信して表示するステップと、前記ターゲット内の前記１つ以上の領域に対して前記顆頭ガイドを調整する１つ以上のユーザ入力を受信するステップと、前記ディスプレイ上に、前記ターゲットの前記１つ以上の領域の何れかの上に視覚的マーカを出力し、前記視覚的マーカ付き領域が捕捉され有効な深さ基準点を示しているステップとを含む。

先の実施形態の何れかにおいて、本方法は更に、以前に捕捉された有効な深さ基準点の記録を制限するステップを含む。

先の実施形態の何れかにおいて、前記方法は更に、前記捕捉された有効な深さ基準点が格納されるデータベースを形成するステップを含む。

先の実施形態の何れかにおいて、前記１つ以上の領域の各々は、前記顆頭ガイドの角度が前記ハイライト領域に少なくとも部分的に重なるまで前記顆頭ガイドを前記顆頭に対して移動させる旨のユーザに対する指示を前記ディスプレイ上に出力することを前記方法が含むように順次ハイライトされる。

先の実施形態の何れかにおいて、前記方法は更に、前記顆頭ガイドの角度が前記ハイライト領域と少なくとも部分的に重なるまで前記顆頭ガイドを前記顆頭に対して移動させる旨の前記ユーザに対する指示を前記ディスプレイ上に出力することを前記方法が含むように、前記１つ以上の領域の内の任意の１つがハイライトされるステップを含む。

先の実施形態の何れかにおいて、前記方法は更に、前記ハイライト領域と前記顆頭ガイドの角度とが少なくとも部分的に重なった時点で、前記ハイライト領域を不活性化し、前記１つ以上の領域のうち第２の領域をハイライトするステップを含む。

先の実施形態の何れかにおいて、前記方法は更に、前記顆頭ガイドを取り外して切断ガイドを取り付けるようにユーザに促すステップを含む。

先の実施形態の何れかにおいて、前記方法は更に、前記切断ガイドによって規定される現在の切除面から深さ基準面に対応する前記有効深さ基準点の１つまでの距離に基づいて切除深さを計算することを含む。

先の実施形態の何れかにおいて、前記方法は、顆頭ガイドを提供することを更に含み、前記顆頭ガイドは、第１の端部及び第２の端部を有する本体と、前記第１の端部の少なくとも一部の側面領域から延びる少なくとも１つの平面表面であって、１つ以上の大腿顆部に載って切除深さを計算する為のゼロ深さ面を構築するように構成される平面表面と、前記少なくとも１つの平面表面上に配置され、前記顆頭ガイドのポーズを追跡する少なくとも１つのトラッカーと、前記本体の前記第２の端部から延びて切断ガイドに結合するように構成されたコネクタとを備えている。

先の実施形態の何れかにおいて、前記顆頭ガイドの本体は更に、骨に挿入する為のピンをそこを通して受け入れるように構成された開口を規定する。

先の実施形態の何れかにおいて、本体によって規定される開口の直径は、ピンが前記開口を通して挿入される時に前記顆頭ガイドが傾くことを可能にするような大きさである。

先の実施形態の何れかにおいて、前記顆頭ガイドは、前記コネクタと反対方向に前記本体の前記第２の端部から延びる解放機序を含み、前記解放機序は、前記切断ガイドを前記骨にピン留めする前に前記顆頭ガイドを前記骨に結合するように構成される。

先の実施形態の何れかにおいて、前記本体の前記第２の端部の少なくとも一部は、スライダを受け入れるように構成されたスロットを規定し、前記スロット内に、前記コネクタ及び前記解放機序が前記スライダの対向する側に挿入される。

先の実施形態の何れかにおいて、前記少なくとも１つの平面表面は、大腿骨顆部に接する平面をシミュレートするように構成される。

先の実施形態の何れかにおいて、前記方法は更に、前記少なくとも１つの平面表面上に配置された前記少なくとも１つのトラッカーを使用して前記顆頭ガイドを追跡し、１つ以上の有効な深さ基準点を決定することを含む。

先の実施形態の何れかにおいて、前記方法は更に、前記切断ガイドに結合された前記顆頭ガイドを使用した後にのみ、前記切断ガイドをピン留めして、前記１つ以上の有効な深さ基準点を決定することを含む。

本発明の幾つかの実施形態は、一例として例示されており、添付の図面によって限定されるものではなく、図面において、同様の参照は同様の要素を示し得る。

本発明の原理による拡張システムのダイアグラム的な描写図である。図１のシステムの表示デバイスのダイアグラム的な描写の透視正面図である。図２Ａの表示デバイスの透視背面図である。図１のシステムの表示デバイスの別の実施形態のダイアグラム的な描写図である。図１のシステムの電気的ハードウェア構成を示す概略図である。図１のシステムのマーカ及びカメラのダイアグラム的な描写図である。仮想骨盤を示す股関節置換術における寛骨臼シェルの位置決め中に図１のシステムによって提供される複合現実ユーザインターフェース画像（「ＭＸＵＩ」）のダイアグラム的な描写図である。仮想骨盤及び仮想寛骨臼インパクタを示す、股関節置換術における寛骨臼シェルの位置決め中に図１のシステムによって提供されるＭＸＵＩのダイアグラム的な描写図である。医療処置中の図１のシステムの動作プロセスを示すフローチャートである。本発明の原理に従って股関節置換術を実行する為に図１のシステムを使用する方法を示すフローチャートである。本発明の原理に従って一般的な医療処置を実行する為に図１のシステムを使用する方法を示すフローチャートである。寛骨臼シェル及び光学マーカを含む股関節インパクタアセンブリをダイアグラム的に描写した透視図である。図１１に示した股関節インパクタアセンブリの分解図である。図１のシステムに任意選択で含まれる解剖学的マーカアセンブリのダイアグラム的な描写の透視図である。図１３Ａに示した解剖学的マーカのクランプアセンブリの透視図である。図１３Ａに示した解剖学的マーカアセンブリの分解図である。図１のシステムに任意選択で含まれる較正アセンブリをダイアグラム的に描写した透視図である。図１５に示した較正アセンブリの分解正面図である。図１６に示した較正アセンブリの分解背面図である。様々な較正ステップ中に図１のシステムによって提供されるＭＸＵＩを示すダイアグラム的な描写図である。股関節置換術の骨盤レジストレーションステップ中に図１のシステムによって提供されるＭＸＵＩのダイアグラム的な描写図である。股関節置換術の骨盤へのピンの挿入中に図１のシステムによって提供されるＭＸＵＩのダイアグラム的な描写図である。股関節置換術の骨盤レジストレーションステップ中に図１のシステムによって提供されるＭＸＵＩのダイアグラム的な描写図である。股関節置換術の大腿骨レジストレーションステップ中に図１のシステムによって提供されるＭＸＵＩのダイアグラム的な描写図である。股関節置換術での大腿骨頸部の切除中に図１のシステムによって提供されるＭＸＵＩのダイアグラム的な描写図である。股関節置換術における寛骨臼シェルの位置決め中に図１のシステムによって提供されるＭＸＵＩのダイアグラム的な描写図である。股関節置換術における寛骨臼シェルの位置決め中に図１のシステムによって提供されるＭＸＵＩのダイアグラム的な描写図である。股関節置換術における大腿骨の再位置決め中に図１のシステムによって提供されるＭＸＵＩのダイアグラム的な描写図である。股関節置換術の処置中にＣアームを使用して図１のシステムによって提供されるＭＸＵＩのダイアグラム的な描写図である。本発明の原理に従って、図１のシステムが外科手術においてＣアームと連携してどのように使用され得るかを示すフローチャートである。図１のシステムに任意選択で含まれる機器識別及び追跡ラベルのダイアグラム的な描写の正面図である。本発明の原理に従って、図１のシステムを使用して医療機器をレジストレーション、共有、及び／又は追跡する為の方法のフローチャートである。脊椎固定処置における超音波トランスデューサを用いた脊椎のレジストレーション中に図１のシステムによって提供されるＭＸＵＩを示すダイアグラム的な描写図である。開放型脊椎固定術におけるスタイラスでの脊椎のレジストレーション中に図１のシステムによって提供されるＭＸＵＩを示すダイアグラム的な描写図である。図３２の手術露出部分のクローズアップ正面図である。脊椎固定術における椎弓根の穿孔の間に図１のシステムによって提供されるＭＸＵＩを示すダイアグラム的な描写図である。図３４の仮想ドリル及びターゲット部分のクローズアップ図である。図１のシステムのＡＲヘッドセットを装着しているユーザのダイアグラム的な描写の透視正面図である。保護フェイスシールドを有する図１のシステムのＡＲヘッドセットを装着しているユーザのダイアグラム的な描写の透視背面図である。手術用ヘルメットを有する図１のシステムのＡＲヘッドセットを装着しているユーザのダイアグラム的な描写の透視正面図である。図３７Ａに示したアイテムの透視背面図である。図１のシステムの様々な構成要素のダイアグラム的な描写の透視前面図である。図３７Ａに示した手術用ヘルメットの透視背面図である。図３６Ａに示したＡＲヘッドセットの透視正面図である。図３７Ａに示した手術用ヘルメットの分解斜視図である。図４０に示した電気機械式結合プレートの透視底面図である。図４０に示した電気機械式結合プレートの透視上面図である。膝関節置換術で使用される図３７Ａに示したシステムの構成要素の透視正面図である。膝関節置換術における遠位大腿骨のレジストレーション中に図１のシステムによって提供されるＭＸＵＩを示すダイアグラム的な描写図である。膝関節置換術における切除面計画中に図１のシステムによって提供されるＭＸＵＩのダイアグラム的な描写図である。膝関節置換術における切断ブロックの位置決めの為のピンの配置中に図１のシステムによって提供されるＭＸＵＩのダイアグラム的な描写図である。膝関節置換術における脛骨切除中に図１のシステムによって提供されるＭＸＵＩのダイアグラム的な描写図である。膝関節置換術中に使用される図１のシステムに任意選択で含まれる膝バランシング装置のダイアグラム的な描写の透視正面図である。膝関節置換術におけるバランス評価中に図１のシステムによって提供されるＭＸＵＩのダイアグラム的な描写図である。図４７に示される膝バランシング装置の透視正面図である。基準位置における寛骨及び近位大腿骨上の露出面のダイアグラム的な描写図である。変位した位置における寛骨臼及び近位大腿骨上の露出面のダイアグラム的な描写図である。大腿骨バージョンを計算する為の基準軸及び平面を示す、股関節及び脚のダイアグラム的な描写図である。移植されたコンポーネントを有する股関節のダイアグラム的な描写図である。インパクタ上にマッピングされた表面を示す、股関節インパクタ及びシェルのダイアグラム的な描写図である。図１のシステムが本発明の原理に従って股関節キネマティクスを分析する為にどのように使用され得るかを示すフローチャートである。膝関節置換術をナビゲートする例示的な方法を示すフローチャートである。単顆型インプラントを有する膝のダイアグラム的な描写図である。単顆型インプラントを有する脛骨のダイアグラム的な描写図である。基準位置における表面マッピングの為の例示的な領域を示す膝のダイアグラム的な描写図である。変位した位置における表面マッピングの為の例示的な領域を示す膝のダイアグラム的な描写図である。表面マッピングの為の例示的な領域を示す膝のダイアグラム的な描写図である。股関節置換術をナビゲートする例示的な方法を示すフローチャートである。ブラケットを有するアイピースのダイアグラム的な描写図である。図６０に描写されたアイピースの分解斜視図である。支持モジュールの分解斜視図である。支持モジュール回路基板６２１２の電気的ハードウェア構成を示す概略図である。支持モジュールの一実施形態に係る回路基板の概略図である。必要なマーカを包含するようにカメラＦＯＶを位置決めする際にユーザを支援する為の要素を示すＭＸＵＩのダイアグラム的な描写図である。手術パラメータを最適化する例示的な方法を示すフローチャートである。膝の手術において切除深さを測定するシステムの構成要素を示す図である。大腿骨上の切除深さを測定する例示的な方法を示すフローチャートである。調整可能な切断ブロックのダイアグラム的な描写図である。図６８Ａに描写された切断ブロックの分解図である。図６０に描写されたアイピース及びブラケットの分解図である。図６０に描写されたアイピース及びブラケットの側面図である。手術用ヘルメットに取り付けられた、図６０に描写されたアイピース及びブラケットを示す図である。手術用フェイスシールドに対して取り付けられた図６０に描写されたアイピースの上面図である。手術用フェイスシールドに対して取り付けられた図６０に描写されたアイピースの側面図である。図７２Ａ～図７２Ｂのシュラウドの拡大図である。図７２Ａ～図７２Ｂのシュラウドの拡大正面図である。図７２Ａ～図７２Ｂのシュラウドの拡大上面図である。ユーザをガイドして顆頭ガイドを調整する方法の一実施形態を示す図である。ユーザをガイドして顆頭ガイドを調整する方法の別の実施形態を示す図である。顆頭ガイドを調整する為にユーザを誘導する方法の別の実施形態を示す図である。顆頭表面マッピング中にデータベース内に基準深さを格納し、評価する方法の一実施形態を示す図である。顆頭表面マッピング中にデータベースから基準深さを検索する方法の一実施形態を示す図である。顆頭ガイドの一実施形態を示す図である。図７９Ａの顆頭ガイドの本体によって規定される開口の拡大図を示す図である。切断ガイドの一実施形態を示す図である。外科手術の為の関節中心を決定する方法の一実施形態を示す図である。慣性空間におけるマーカの向きを決定する方法の一実施形態を示す図である。ＩＭＵを頭部装着型ディスプレイビジョンシステムに較正する方法の一実施形態を示す図である。注視制御方法の一実施形態を示す図である。音声認識及び／又は注視制御方法の一の実施形態を示す図である。頭部装着型ナビゲーションシステムを較正する為の固定具の一実施形態の透視図である。図８６Ａの固定具の正面図である。

本明細書で使用する用語は、特定の実施形態を説明する目的だけのものであり、本発明を限定することを意図するものではない。本明細書で使用する場合、用語「及び／又は」は、関連する列挙された項目の１つ以上の任意の及び全ての組み合わせを含む。本明細書で使用する場合、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈が明らかに他に示す場合を除き、単数形と同様に複数形を含むことが意図される。本明細書で使用する場合、用語「備える（ｃｏｍｐｒｉｓｅ）」及び／又は「備えた（ｃｏｍｐｒｉｓｉｎｇ）」は、記載された特徴、ステップ、操作、要素、及び／又は構成要素、及び／又はそれらの群の存在を規定することが更に理解されるであろう。

特に定義されない限り、本明細書で使用する全ての用語（技術用語及び科学用語を含む）は、本発明が属する技術分野において通常の技能を有する者が一般的に理解するのと同じ意味を有する。一般的に使用される辞書で定義されるような用語は、関連する技術及び本開示の文脈における意味と一致する意味を有すると解釈されるべきであり、本明細書で明示的にそのように定義されない限り、理想化された意味又は過度に形式にとらわれて解釈されないことが更に理解されよう。

本発明を説明するにあたり、幾つかの技術及びステップが開示されていることが理解されよう。これらの各々は、個々の利点を有し、各々は、他の開示された技術の１つ以上、又は場合によっては全てと組み合わせても使用され得る。従って、明瞭化の為に、本明細書では、個々のステップのあらゆる可能な組み合わせを不必要に繰り返すことを控える。それでも、このような組み合わせは、完全に本発明及び特許請求の範囲の範囲内であることを理解した上で、本明細書及び特許請求の範囲を読むべきである。

医療処置を支援する為のデータを提供する為の新規の感覚拡張デバイス、装置、及び方法を本明細書で論じる。以下の記載では、説明の為に、本発明の完全な理解を提供する為に、多数の具体的な詳細が記載される。しかしながら、当業者には、本発明が具体的な詳細なしでも実施され得ることは明らかであろう。

更に、本明細書に記載された実施形態の何れもが、他の任意の実施形態と組み合わせ可能であることも、当業者には理解されるであろう。例えば、フェイスシールド、ヘルメット、表示デバイス等の任意の組み合わせが本明細書で企図される。更に任意のプロセッサユニットで実行可能な方法は、本明細書に記載された、又は当技術分野で一般に入手可能なフェイスシールド、ヘルメット、表示デバイス等の任意の組み合わせで実施され得る。

Ｉ．感覚拡張システム
図１、２Ａ～Ｂ、及び３を参照すると、本発明の感覚拡張システム１０が、医療処置における使用の為に提供されている。システム１０は、１つ以上の視覚的マーカ（１００、１０８、１１０）と、プロセッシングユニット１０２と、１つ以上のトラッキングカメラ（複数可）２０６を有するセンサスイート２１０と、ユーザ１０６が見る為の表示デバイス１０４上の視覚的表示を生成するディスプレイ生成器２０４を有する表示デバイス１０４と、を含む。表示デバイス１０４は、表示デバイス１０４がユーザの視覚入力を補強できるように、ユーザ１０６に取り付けられる。一実施形態では、表示デバイス１０４は、ユーザ１０６の頭部に取り付けられる。或いは、表示デバイス１０４は、視覚シーンを拡張しながらもユーザ１０６とは別に配置される。一実施形態では、マーカ（１００、１０８、及び１１０）の各々は、カメラ（複数可）２０６によって個別に追跡され得るように、視覚的に互いから区別可能且つ異なっている。

図２Ａ～２Ｂを参照すると、表示デバイス１０４の別の例示的な実施形態は、表示生成器２０４のビデオディスプレイの焦点をユーザ１０６の目の上に合わせることを可能にする光学系２０２を有するバイザーハウジング２００を含んでいる。センサスイート２１０は、表示デバイス１０４に取り付けられるか、又は表示デバイス１０４の一部にされる。バイザーハウジング２００は、ユーザの１０６の視覚経路に対する表示デバイス１０４の位置合わせが一貫して再現可能であるように、ユーザの１０６の頭又は顔への取り付けを可能にする取り付け機序２０８を含む。

図３を参照すると、表示デバイス１０４の別の例示的な実施形態は、ユーザ１０６の目の視覚経路内にデータ及び画像をオーバーレイする、表示生成器３０２からのシールド３００への投影を可能にする透明なフェイスシールド３００を含んでいる。センサスイート３０６は、ここではフェイスシールド３００として示されている表示デバイスに取り付けられるか、又はその一部とされる。フェイスシールド３００は更に、取り付け機序３０４を含む。センサスイート３０６及びアタッチメント機序３０４は、上述したセンサスイート２１０及びアタッチメント機序２０８と同じ機能を提供する。

システム１０の電子ハードウェア構成を示す図４を参照すると、センサスイート（２１０、３０６）は、１つ以上のトラッキングカメラ４０２、４０４、４０６（２０６と同じ）を含むだけでなく、任意選択で慣性測定ユニット（「ＩＭＵ」）４０８、他のセンサ又は制御ユニットと通信する為の無線機４１０、明視野の為の全ての表示項目の除去を含むがこれに限定されない、異なる表示モードの音声起動の為のマイクロフォン４１６、可聴警告及び他の目的の為の１つ以上のスピーカ４１８、及びシェーカーモータ、圧電ブザー、又は他の実施形態の形態の触覚フィードバック４２０を含んでもよい。ＩＭＵ４０８は、視覚に基づかないオブジェクトの為の付加的な向き及び位置決めデータを提供する。ＩＭＵ４０８は、カメラトラッキングとＩＭＵ４０８のデータからの同時定位及びマッピング（「ＳＬＡＭ」）データの生成の為に使用され得るが、これに限定されず、ローカリゼーション及び関心対象物の表面マップの生成を支援する非マーカ固有の余地（ｒｏｏｍ）特徴を決定する為に使用され得る。更に、センサスイート（複数可）（４００、２１０、及び３０６）は、有線、無線、又は格納されたメモリによって中継されるような外部データ４１４を含む。外部データ４１４は、任意選択で、透視画像、コンピュータ軸断層撮影（「ＣＡＴ又はＣＴ」）スキャン、ポジトロン放射断層撮影（「ＰＥＴ」）スキャン、及び／又は磁気共鳴画像（「ＭＲＩ」）データ等の形態であってよい。そのようなデータを、センサスイート（４００、２１０、及び３０６）によって収集された他のデータと組み合わせて、拡張画像を作成してもよい。

システム１０の動作中、表示生成器４１２（２０４及び３０２としても示される）及びプロセッシングユニット４０１（１０２としても示される）は、センサスイート（２１０、３０６）について上述した構成要素と電子通信している。プロセッシングユニット４０１は、ディスプレイ管理及びアルゴリズム遂行を制御する中央処理装置（「ＣＰＵ」）である。図４を参照すると、システム１０は、任意選択で、１つ以上のリモートセンサスイート４２２を含んでもよい。これらのリモートセンサスイート４２２は、表示デバイス１０４から離れた場所に物理的に配置されている。これらのリモートセンサスイート４２２の各々は、センサスイート（２１０、３０６）について上述した構成要素の一部又は全て、例えばカメラ４２５、ＩＭＵ４２７、無線機４２９、及びケーブル４３１（例えば、システム４００とデータを共有する為のもの）を含む。又、任意選択で、別個のリモートプロセッシングユニット４２３を含んでもよい。リモートセンサスイート４２２は、データを外部データ４１４に寄与し、そのデータは所望によりプロセッシングユニット４０１によって更に処理されてもよい。別の実施形態では、システム１０は、リモートスイート（複数可）４２２を使用して、ユーザ１０６に対して視野内のオブジェクトを定位する為に、視野内に位置するマーカのみならず、ユーザ１０６によって装着されたディスプレイユニット１０４に取り付けられた任意のマーカ（複数可）も追跡する。

１つの例示的な実施形態では、システム１０は、センサスイート（複数可）（４２２、２１０、３０６）を使用して、ワークスペース内のオブジェクトを表すデータの３次元点群を作成する。これらのデータは、その後の追跡、視覚化、又は後刻の再生において使用する為に、既にモデル化されたオブジェクトを作成するか、又はそれに一致させる為に使用され得る。

更に、システム１０は、視野内のオブジェクトを暈す為に、引き込み具又は、処置の対象でない露出部の周囲の軟組織を含むがこれらに限定されない技術開示された手段を用いて画像及びマスクを任意選択でオーバーレイして、関心領域、アイテム、又は領域を強調することを支援してもよい。一実施形態では、外部画像は、拡張現実（「ＡＲ」）モードにおいてオーバーレイと共に投影され得る。別の実施形態では、外部画像は無視されてもよく、コンピュータ生成グラフィックスのみを使用して、仮想現実（「ＶＲ」）モードでユーザ１０６にデータを表示してもよい。ＶＲモードは、表示デバイス１０４若しくはその一部を不透明にして外部視覚データを遮断する場合、又は集中すべきは外部画像ではなくその画像であることをユーザ１０６に強調する為に他の何らかの方法が使用される場合にサポートされる。

表示デバイス１０４の他の代替的な実施形態は、ユーザ１０６の視野へのホログラフィック又は疑似ホログラフィック表示投影を含み得るが、これらに限定されない。更に、表示デバイスは、任意選択で、ユーザ１０６の視野に対して最適な表示画像の決定を可能にするアイトラッキングの技術開示された手段を提供してもよい。

システム１０は、任意選択で、視野内のアイテムを識別するアルゴリズムを使用して、当面のタスクにとって重要でないオブジェクトに対比した関心対象物を何が構成するかを識別できる。これは、同じ視野で見える軟組織及び器具にも係らず、術前スキャンとの比較及びマージに使用する為に股関節寛骨臼上の骨指標を識別することを含み得るが、これらに限定されない。

図５を参照すると、センサスイート（４００、４２２、２１０、及び３０６）の１つ以上のカメラ５００、５０６と１つ以上の視覚的マーカ５０２、５０４は、明確なオブジェクト（例えば、手術器具、解剖対象物内の所望の位置等）を視覚的に追跡し、ユーザ１０６に対する高度、場所、配向、及び／又は位置を決定する為に使用される。一実施形態では、１つ以上のマーカの各々は、視覚的に互いに区別され、異なるものである。マーカ認識には、スタンドアロン物体認識及び機械視覚技術が使用され得る。代替的に、本発明は、マーカ５０２、５０４を含むがこれらに限定されない１つ以上の関心対象物上のＩＭＵ４０８を使用したアシストトラッキングも提供する。１つ以上のカメラ５００、５０６は、ユーザ１０６から遠隔に位置し、追跡及び定位に追加のデータを提供できることに留意されたい。

最適フィルタリングアルゴリズムは、全ての利用可能なソースからのデータを結合して、視野内のアイテムに対する最も正確な位置及び配向データを提供する為に任意選択で使用される。このフィルタリング方式は、カメラ（複数可）視野（複数可）の閉塞、血液、組織、又は所望の関心領域の他の有機的な一時的閉塞、カメラ（複数可）視野（複数可）を関心領域から遠ざける頭部の動き又は他のカメラの動き、データのドロップアウト、及びバッテリ／電源枯渇又は他の機器の損失を含むがこれらに限定されないイベントに対応できるであろう。

図３６Ａ～Ｂ、３７Ａ～Ｂ、３８Ａ～Ｂ、及び３９－４１Ａ～Ｂを参照すると、表示デバイス１０４の別の例示的な実施形態は、自己完結型のＡＲヘッドセット３６００である。以前の利用可能システムは、幾つかの技術的問題又は制限を被っていた。例えば、以前の利用可能システムは、（１）ユーザによって装着される表示デバイスの完全な動作の為に外部センサ、カメラ、コンピュータ、及び／又は電源を必要とし、（２）電源の制約により処置中の有用寿命が制限され（例えば、電源はデータ損失を経験せずに処置中に容易に又は迅速に交換可能ではない）、及び／又は（３）自己完結型のシステムは様々なヘルメット、フェイスシールド又はフードに適合可能でなかった。本明細書に記載の自己完結型ＡＲヘッドセットは、これらの技術的課題を技術的解決策で克服する。本明細書の他の箇所でより詳細に説明するように、本開示の自己完結型ＡＲヘッドセットは、（１）外科手術を完全に実行する為に必要な全てのセンサ、カメラ、コンピュータ、及び／又は電源を含む（即ち、外部電気機器は必要ない）と共に、（２）ユーザが交換可能な電源又はバッテリ、又はモジュール式バッテリ（即ち、支持モジュールに組み込まれておらず、支持モジュールから容易に取り外し可能で分離可能である）を含み、手術が遅延なく進行できるように、器具、操作ラッチ、又はデータ損失なしに外科的処置中にバッテリが容易に交換可能である、及び（３）種々の手術用ヘルメット、フード、及びフェイスシールドに容易に適合可能である。次に、このような自己完結型ＡＲヘッドセットの様々な実施形態について、より詳細に説明する。

ＡＲヘッドセット３６００は、様々な無菌外科手術（例えば、脊椎固定術、股関節及び膝関節形成術等）で使用される。ＡＲヘッドセット３６００は、サムホイール３６０６を回してヘッドストラップ３６０４を調整することによって、執刀医３６０２（即ち、ユーザ１０６）の頭部にクランプされる。透明保護フェイスシールド３６０８は、任意選択で、ベルクロストリップ３６１０への取り付けによって装置３６００に取り付けられる。代替的に、取り付けは、接着剤、磁気、フック、又は他の技術的に開示された取り付け手段を介して行われてもよい。結合機構３６１２は、ＡＲヘッドセット３６００に手術用ヘルメット３７００を機械的及び電気的の両方で取り付ける為に存在する。手術用ヘルメット３７００は、執刀医３６０２の全身を覆う手術用フード（図示せず）に任意選択で接続される。全身を覆うことは、股関節形成術及び膝関節形成術等の特定の外科手術に有用である。手術用ヘルメット３７００が手術用フードに取り付けられると、ファンは、手術用フードを通して空気を空気取入口３７０２に引き込み、手術用フード及びヘルメットの下で循環させ、執刀医３６０２を冷却し、光学部品の曇りを防止する。あごピース３７０４は、ヘルメット３７００（及び該当する場合は、取り付けられた手術用フード）を執刀医３６０２の顔から離して配置する。ＡＲヘッドセット３６００に対する手術用ヘルメット３７００の位置は、執刀医３６０２及び全てのカメラ及びセンサの為の手術部位の遮られない視界を可能にするように設計されている。手術用ヘルメット３７００は、手術用フードに取り付けてインターフェースする為に必要な機能を含む。可撓性コード３７０６は、ＡＲヘッドセット３６００を支持モジュール３７０８に接続し、支持モジュール３７０８は、執刀医３６０２のベルト又は執刀医の頭以外の執刀医の他の場所に装着され得る。例えば、支持モジュールは、股関節に、腰に、背中に、肩に（例えば、ストラップを使用して）、胸に、大腿に、手首に、上腕二頭筋に、等々、装着され得る。交換可能な電池３８００は、支持モジュール３７０８に挿入される。

図３９を参照すると、ＡＲヘッドセット３６００は、視覚拡張の為の一対のシースルー光学ディスプレイ３９０２と、二次元及び３次元デジタルズーム機能を含むトラッキング及び立体映像機能を行う為の１つ以上のトラッキングカメラ３９０４とを有するディスプレイセクション３９００を含んでいる。ディスプレイセクション３９００には深さセンサ３９０６と構造化光プロジェクタ３９０８が含まれる。深さセンサ３９０６とプロジェクタ３９０８は、ディスプレイセクション３９００の中央に配置されることが好ましい。手術用ヘッドライト３９０９は、任意選択でディスプレイセクション３９００に取り付けられ、ＡＲヘッドセット３６００に電気的に接続されて、音声コマンドによる場合を含むＡＲヘッドセット３６００のソフトウェアによってその明るさを制御することができるようにしてもよい。この機能は、例えば、明るい背景に対する仮想コンテンツのより良い視覚化を可能にする為に、複合現実モードの時に手術用ヘッドライトを暗くするか、又はオフにする為に配備されてもよい。それは又、時として標的の高コントラスト照明又は低い周囲照明によって損なわれ得る光学的トラッキングを最適化するように調整されてもよい。別の例示的な実施形態では、手術室ライトは、同じ理由でＡＲヘッドセット３６００のソフトウェアによってワイヤレスで制御されてもよい。

図３９～４０を参照すると、ＡＲヘッドセット３６００の後部セクション３９１０は、マイクロプロセッサ及び内部バッテリのような回路の発熱及び他の構成要素を任意選択で含んでもよい。ＡＲヘッドセット３６００のアーチ状のブリッジセクション３９１２及びヘッドストラップ３６０４は、後部セクション３９１０とディスプレイセクション３９００とを機械的に接続する。ブリッジセクション３９１２の一部は、サイズ調整に対応する為に可撓性を有する。ブリッジセクション３９１２は、ディスプレイセクション３９００と後部セクション３９１０との間の電気的接続を提供する為に、配線又はフレキシブル回路基板を含んでもよい。ブリッジセクション３９１２は結合機構３６１２を含み、結合機構３６１２は、手術用ヘルメット３７００のファンに電力供給する為の２つの電気接点３９１６へのアクセスを提供する開口３９１８を規定する複数の位置決め穴３９１４を有する強磁性プレートである。別の実施形態において、結合機構３６１２は、ベルクロ（登録商標）、ラッチ又はねじ込みファスナー等の他の技術的に開示された手段であり得る。結合機構３６１２は、任意選択で、トラッキング性能に有害となり得る、手術用ヘルメット３７００のファンからＡＲヘッドセット３６００への機械的ノイズの伝達を最小化する為の防振マウントを含んでもよい。ファン４００４は、機械的ノイズの発生を最小化する為に減速又は停止することを可能にするソフトウェア制御であってもよい。又、執刀医３６０２が音声コマンドを使用して制御してもよい。可撓性コード３７０６は、後部セクション３９１０を、図３８Ａに示す支持モジュール３７０８に接続する。

図４０を参照すると、手術用ヘルメット３７００は、ファン４００４による空気の吸い込み先の中空のシェル４００２を含み、空気は、執刀医に冷却空気を提供する為にシェル内の様々なベントを通して排気される。ブリム通気口４００６は、手術用フードのバイザー上に空気の流れを提供し、後部通気口４００８は、ＡＲヘッドセット３６００の後部セクション３９１０を含む後部に冷却空気を提供する。

図４１Ａ～Ｂを参照すると、結合プレート３８０２は、ＡＲヘッドセット３６００の孔３９１４と位置合わせする為の複数のボス４１０２を含む。結合プレート３８０２は又、ファン４００４に電力を供給する為にＡＲヘッドセット３６００の電気接点３９１６と接続する、ばね負荷された電気接点４１０４を含む。結合プレート３８０２は、結合プレート３８０２と結合機構３６１２との間に機械的保持力を提供する磁石４１０６を更に含む。

図６０を参照すると、表示デバイスの別の例示的な実施形態は、アイピース６００２にあり、これは、手術用ヘルメット３７００等のヘッドバンド又は他の支持構造に適合するように構成されたモジュラーブラケット６００４を含む。複数のブラケット６００４は、アイピース６００２を異なるタイプのヘッドギアに取り付ける為に交換され得る。集束したスポットライト又は可視光６００６は統合されて処置部位に照明を提供し、アイピースに対して上下に枢動できるようにブラケットに取り付けられ、アイピースディスプレイ及びスポットライト又は可視光の両方を、互いに独立して、各ユーザに対して正しい角度に調整できるようにする。この実施形態では、ハンドル６００８が一体化され、手術用フードの下に装着した場合でも、ユーザが表示デバイスの位置を容易に調整できるようになっている。

ディスプレイに焦点を合わせる為には、ディスプレイをユーザの目に対して正しい距離と角度に配置しなければならない。ユーザ毎の体の構造に関するばらつき故に、各ユーザに対してアイピース６００２の位置及び角度を調整する手段を提供することが有益である。図６９を参照すると、この調整を可能にするアイピース６００２及びブラケット６００４の幾つかの追加的な機構が示されている。ブラケット６００４は、ネジ等の１つ以上の取り付け機構６９０２を使用してアイピース６００２に取り付けられる。ブラケット６００４は、下部ブラケット６９１２と上部ブラケット６９１０とを含み、これらはロックノブ６９０４によって接続されている。上部ブラケット６９１０は、ヘッドバンド又は手術用ヘルメットのような支持構造体に強固に結合されるように構成されたクランプ６９０８を更に含む。この実施形態では、クランプ６９０８は、ブラケット６９０４をストライカーフライト（ＳｔｒｙｋｅｒＦｌｙｔｅ）手術用ヘルメットに取り付けるように構成されている。下部ブラケット６９１２は、アイピース６００２に強固に結合される。上部ブラケット６９１０は、ロックノブ６９０４と干渉するスロット６９０６を含み、ロックノブ６９０４が緩められた時に下部ブラケット６９１２及びアイピース６００２が前方及び後方にスライドすることを可能にする。下部ブラケット６９１２は、更に、ロックノブ６９０４の周りを枢動してアイピース６００２の角度を調整することができる。手術用フード（図示せず）の下に装着した場合、アイピース６００２は、半硬質透明フェイスシールドの背後に配置されるので、手が届き難く操作が難しい場合がある。この実施形態では、ハンドル６００８が下部ブラケット６９１２に組み込まれ、フードの下に装着された時に、ユーザがアイピース６００２の位置及び角度を調整することを可能にする。

図７１を参照すると、アイピース６００２及びブラケット６００４は、フライト（Ｆｌｙｔｅ）手術用ヘルメットに装着された状態で示されている。ヘルメットは、ブレース７１０６によって接続されたヘッドバンド７１０２及びダクト７１０４を含む。ブラケット６９１０及びクランプ６９０８は、ブレース７１０６を完全に囲み、その側面、上部、及び下部に対して確りと嵌って、ブラケット構成要素（６９０８、６９１０）とブレース７１０６の間の角度運動を防止する。この実施形態では、クランプ６９０８は、ダクト７１０４とヘッドバンド７１０２の両方に接触して、ブラケットがヘルメットに対して前方又は後方に動くのを防止している。ブラケット６９１０とクランプ６９０８は、２つのネジによって確りと引き合わされる。

図６１を参照すると、アイピース６００２の一実施形態の構成要素は、モジュール式透明バイザー６１０２と、光学ディスプレイ３９０２を保護する為のハウジング構成要素６１１４、６１１６、及び６１１８を含む。バイザー６１０２は、損傷又は摩耗の場合に容易に交換できるように、器具なしで取り外しや交換が可能である。スプリングタブ６１２０は、底部ハウジング６１１４と係合して、バイザー６１０２を保持する。バイザーを取り付けるには、ユーザがバイザーを底部ハウジングに対して所定の位置に押し込む。バイザー６１００２は、タブ６１２０を持ち上げてバイザーを引き剥がすことによって、底部ハウジング６１１４から取り外すことができる。様々なサイズ及び形状の複数のオプションのバイザー６１０２は、処方眼鏡の使用、解剖学的変化、及び好みを考慮して各ユーザに最適な適合を可能にする。一実施形態では、バイザー６１０２は、外側の視界を最小限に妨害するように構成され、光学ディスプレイ３９０２内の情報を積極的に見ていない時に、ユーザ１０６がバイザー６１０２の下を見ることができるようにする。これは、アイピース６００２をユーザ１０６の視線の高い位置に取り付けることによって、追加的に可能になり得る。更に図６１を参照すると、アイピース６００２のこの実施形態は、インテル（Ｉｎｔｅｌ）のＲｅａｌｓｅｎｓｅＤ４３５のようなステレオカメラモジュール６１０６を含む。一実施形態では、ステレオカメラモジュール６１０６は赤外光カメラを利用し、カメラの視軸７００２は、図７０に角度αとして示すように、ディスプレイの中立視角７００４から２０～３０度下がる角度になっている。この実施形態では、カメラモジュール６１０６は、他の内部電気部品の前方に位置決めされ、冷却空気が、下方のハウジング部品６１１４及び上方のハウジング部品６１１８の通気孔を介してカメラモジュールの周囲を通過することを可能にする。カメラモジュール６１０６をディスプレイモジュールの前方に位置決めすることは、更に、カメラモジュールをフェイスシールド３６０８（図３６Ｂに示す）に近づけ、フェイスシールド３６０８からの光の反射の影響を減少させる。アイピース６００２は、ステレオカメラモジュール６１０６の為の照明を提供する為に赤外光６１０８を更に含み、周囲の部屋又は処置用照明から独立したシーン照明に対する制御を可能にする。一実施形態では、赤外光６１０８は、ルミレッズ（Ｌｕｍｉｌｅｄｓ）Ｌ１Ｉ０－０８５００９０００００００等の１つ以上のドームＬＥＤコンポーネントを使用する。一実施形態は、赤外光６１０８からの光が放射され、その後フェイスシールドを通して輝く開口７３１６を規定する複数の側壁７３２０を備えたシュラウド６１０４を含む。幾つかの実施形態では、複数の側壁７３２０は、シュラウド６１０４が円錐形又は連続的な側壁を含むように、単一の側壁に類似している。シュラウド６１０４は、赤外光６１０８からカメラモジュール６１０６への光の反射を最小限にする為に、フェイスシールド３６０８に密接に嵌るように構成される。シュラウド６１０４は、ボーダー７３１０に結合された前面７２０４から形成されるか、又はそれを含んでもよく、シュラウド６１０４が容易に交換可能又は取り外し可能であるようにモジュール構造から構成されてもよい。シュラウド６１０４は、モノリシック構造を含んでもよい。代替的に、ボーダー７３１０及び前面７２０４は、結合、接着、又はその他の方法で固定されてシュラウド６１０４を形成してもよい。シュラウド６１０４は更に、例えば、シュラウドの高さ、シュラウドの形状（例えば、円錐、楕円、円形等）、又はシュラウドが一方又は両方のトラッキングカメラのＦＯＶにどのように配置又は位置決めされるかの内の１つ以上に基づき、カメラモジュール６１０６の視野内に延びることを避けるように更に構成される。一実施形態では、シュラウド６１０４は、器具なしで取り外し及び交換することができ、ユーザ１０６が、異なるユーザの視力及び生体構造に対するアイピース６００２の位置の変動を考慮して、フェイスシールド３６０８に対する接触を最適化する為に複数のシュラウド６１０４の中から選択することができるようにする。一実施形態では、スポットライト又は可視光６００６は、スポットライト又は可視光からの赤外光がカメラモジュール６１０６に到達するのを防ぐ為に赤外光フィルタを含む。処置部位を照射してカメラモジュール６１０６に反射する赤外光も、スポットライト６００６に赤外光フィルタを適用して、その出力が可視波長のみに制限されることを保証することによって制限され得る。回路基板６１１０は、カメラモジュール６１０６及び光学ディスプレイ３９０２と、支持モジュール３７０８に配置されたコンピュータとの通信を調整する。

フェイスシールド３６０８（明瞭にする為に透明に示されている）に対するその設置済み位置に在るアイピース６００２を示す図７２Ａ及び７２Ｂを参照すると、シュラウドの幾つかの機構が図示されている。図７２Ａは、システムの上面図を示し、図７２Ｂは、同じシステムの側面図を示している。アイピース６００２の構成要素として図６１に示される赤外光６１０８及びステレオカメラモジュール６１０６は両方とも、フェイスシールド３６０８の背後に在る為、赤外光６１０８がフェイスシールド３６０８からカメラモジュール３６０８に反射し、マーカの追跡を混乱させる可能性がある。この課題は、赤外光６１０８の周囲にフェイスシールド３６０８まで延びるシュラウド６１０４を含めることによって軽減される。幾つかの実施形態では、開口７３１６はフェイスシールド３６０８に接触し、他の実施形態では、シュラウド６１０４の複数の側壁７３２０の外周７３２４に結合され、及び／又は外周７３２４を囲む前面７２０４はフェイスシールド３６０８に接触するか、フェイスシールド３６０８に近接している（例えば、０～５ｍｍ、０～１ｍｍ、０～２ｍｍ、０～３ｍｍ、０～４ｍｍ、０～６ｍｍ等）か、或いはフェイスシールドに隣接しており、その結果、赤外光によって放射される光がフェイスシールド越しのみで逸出し、カメラモジュールに干渉しないようになる。シュラウド６１０４の任意の１つ以上の部分とフェイスシールド３６０８との間の接触又は近接は、シュラウド６１０４の複数の側壁７３２０によって規定された開口７３１６を通して、従ってフェイスシールド３６０８越し以外の赤外光の逸出を防止する。フェイスシールド３６０８からの赤外光６１０８の如何なる反射も、シュラウド６１０４内に収容され、カメラモジュール６１０６に到達することが防止される。シュラウド６１０４の複数の側壁７３２０は、ナイロンＰＡ１２又はセラコート（Ｃｅｒａｋｏｔｅ）セラミックコーティング等の、カメラモジュール６１０６に識別可能な波長における赤外光の反射率が低い材料から構築、一体化、コーティングされてもよく、或いは含んでいてもよい。フェイスシールド３６０８がユーザの頭部に対して固定位置に在る間、アイピース６００２は、視力及び生体構造の違いを考慮して前方又は後方に調整されてもよく、これによりシュラウド６１０４からフェイスシールド３６０８までの距離も減少又は増加される。シュラウドとフェイスシールドとの間の隙間を最小化する為に、図７３Ｃに示すように、様々な長さのＬ_６１０４の複数のシュラウド６１０４が配設され得、ユーザが、アイピース６００２の所定の位置に対してフェイスシールドの背後に適合する最長のシュラウドを選択することを可能にする。シュラウド６１０４は、アイピースハウジング上の機構と嵌合する１つ以上の可撓性ばねタブ７２０２によって所定位置に保持される。シュラウド６１０４は所定位置に嵌め込まれ、ばねタブを持ち上げて解除することにより、器具なしで取り外され得る。フェイスシールド３６０８の曲面に最小限の隙間で適合する為に、シュラウド６１０４は、図７２Ａに示すように、フェイスシールドの曲率半径とほぼ同じ曲率半径を有する前面７２０４を有する。言い換えると、シュラウド６０１４の前面７２０４の曲率半径は、フェイスシールドの曲率半径と一致、又はほぼ一致する。他の実施形態では（前面７２０４がない場合）、開口７３１６は、フェイスシールドの曲率半径とほぼ同じ曲率半径を有する。言い換えると、シュラウド６１０４の開口７３１６の曲率半径は、フェイスシールドの曲率半径と一致するか、又はほぼ一致する。フェイスシールドの半径は、約０（平坦）、約０ｃｍ～約４ｃｍ、約０ｃｍ～約８ｃｍ、約０ｃｍ～約１０ｃｍ等であってもよい。

図７３Ａ～７３Ｃは、シュラウド６１０４の透視図、正面図、及び側面図を夫々示している。図７３Ａ～７３Ｃに示すように、シュラウド６１０４は、１つ以上の開口を規定する複数の側壁を含む。例えば、複数の側壁７３２０は、赤外光６１０８を収容又は囲む開口７３１６を規定する。付加的に、又は代替的に、第２の複数の側壁７３２２は、第２の赤外光、カメラモジュール、光投射器、又は他のコンポーネント７３３０を収容する第２の開口７３１４を規定してもよい。開口７３１４、７３１６を備える実施形態では、第１及び第２の開口７３１４、７３１６は、境界７３１０に結合された前面７２０４を介してモジュール構成要素に結合される。前面７２０４はフェイスシールドと界接する。他の実施形態では、シュラウド６１０４は、前面７２０４を含まず、その結果、第１及び第２の複数の側壁７３２２、７３２０が夫々開口７３１４、７３１６を規定する。更に、複数の側壁７３２０の内の１つ以上は、赤外光６１０８の中心軸又は赤外光６１０８によって放射される光のコーン（例えば、コーンは実質的に又は約９０度であってもよい）の中心軸から測定される角度α_６１０４を有していてもよい。角度α_６１０４は、約又は実質的に、０～５０度、０～４０度、０～３０度、０～２０度、０～１０度、０～５度、５～１０度、１０～２０度、５～２０度、５～２５度等であってよい。一実施形態では、角度α_６１０４は、実質的に又は約１２度～約１６度である。別の実施形態では、角度α_６１０４は、実質的に又は約１０度～約１８度である。幾つかの実施形態では、複数の側壁の各々は、同じ又は実質的に同じ角度で角度が付いている。他の実施形態では、対向する側壁は、同じ又は類似の角度を有する。更に他の実施形態では、複数の側壁の各々は、他の側壁と異なる角度で角度が付いている。

支持モジュール３７０８の一実施形態の分解図を示す図６２を参照すると、全ての電子部品がハウジングに収容されるか、又は取り付けられており、ハウジングは、回路基板６２１２を受け入れるように構成されたベース６２０２、ハウジングを衣類、ストラップ、ベルト等に結合するように構成されたカプラ６２０４、及びバッテリ３８００及びプロセッサユニット６２１０を安全且つ取り外し可能に拘束するように構成されたブラケット６２０６を含む。バッテリ３８００は、固定配向でハウジングに受け入れられてよく、他の実施形態では、バッテリ３８００は、複数の配向でハウジングに嵌合するように構成される。交換可能なバッテリ３８００は、コンピュータモジュール又はプロセッサユニット６２１０及びＡＲアイピース６００２又は頭部装着型表示デバイスに電力を供給する。ブラケット６２０６は、器具を使用したり機械的ラッチを操作したりすることなく、アシスタントがバッテリ６８００を交換できるように構成されている。回路基板６２１２は、バッテリ３８００からコンピュータモジュール又はプロセッサユニット６２１０及びＡＲアイピース６００２に電力を導くように構成されている。一実施形態では、電力及びデータは、ＵＳＢ接続を介して支持モジュール３７０８とＡＲアイピース６００２又は頭部装着型表示デバイスとの間で流れる。一実施形態では、コンピュータモジュール又はプロセッサユニット６２１０は、単一のＵＳＢコネクタを有する携帯電話である。一実施形態では、コンピュータモジュール又はプロセッサユニット６２１０は、ワイヤレス充電器６２０８を介してバッテリ３８００から電力を受け取り、コンピュータモジュール又はプロセッサユニット６２１０のＵＳＢコネクタがフルタイム電力源として動作することを可能にし、電力「シンク」として動作する可能性を減少させる。

支持モジュール回路基板６２１２の電気回路図が示されている図６３Ａを参照すると、バッテリコネクタ６３０２は交換可能なバッテリ３８００から電力を受け取り、ＤＣ／ＤＣ降圧回路６３０４は電圧を公称システム電圧まで降圧させる。ＤＣ／ＤＣＬＤＯレギュレータ６３１０は、電圧が要求レベルにあることを確実にし、ＣＰＵ／無線機６３０８に電力を渡す。電力は、ＣＰＵ／無線機６３０８の指示により、ロードスイッチ６３１４を介してワイヤレスチャージャー６３１２に流れる。電力は、Ｎ－ＰＦＥＴスイッチ６３１６を介して、電話ＵＳＢコネクタ６３０６及びヘッドセットＵＳＢコネクタ６３１８の両方に流れる。ＣＰＵ／無線機６３０８は、バッテリ３８００の充電レベルを監視し、無線伝送を用いてコンピュータモジュール６２１０にそのレベルを報告する。

支持モジュール回路基板６２１２の電気回路図が示されている図６３Ｂを参照すると、ＵＳＢコネクタ６３２０は、ヘッドセットがＵＳＢコネクタ６３２０に差し込まれると、ヘッドセットの為の電力源及び通信源として機能する。電話機６３２２からヘッドセットへ供給される電力は、１２Ｖバッテリ６３２４によって補われる。この場合、ヘッドセットから電話機への負荷スイッチ６３２６は、ＣＰＵ６３２８によって無効化されてもよい。別の実施形態では、ＣＰＵ６３２８は、１２Ｖバッテリ６３２４が存在しないことを検出し、ヘッドセット６３２０から電話機６３２２へのロードスイッチ６３２６を有効にする。この実施形態では、外部ＵＳＢ充電器をＵＳＢコネクタ６３２０に取り付け、デバイスが互いに直接接続されているかのように、電話機６３２２のバッテリを再充電する為に使用され得る。

一例示的実施形態では、ＡＲヘッドセット３６００は、デバイスの苦情又は設計機能要求を報告する為のシステムとして任意選択的に使用される。ユーザインターフェースは、それが発生した時点で報告を開始する為のメニューオプション又は音声コマンドを有し得る。これは、問題が発生している間、ユーザ１０６が苦情を３Ｄで捕捉し、ナレーションすることを可能にする音声及びビデオカメラの記録を起動することになる。ユーザ１０６は、音声又はオプションの選択により苦情を終了させる。苦情記録は圧縮されてインターネット経由で会社に送信され、苦情処理スタッフに優れたデータをワイヤレスで提供し、より良い診断の為に状況を直接「再現」できるようにする。人工知能を使って苦情資料を解析・集計し、パターンを確立して統計分析を行うことができる。データストリームがリアルタイムで送信されること以外は、同じシーケンスを使用して、処置中にライブの技術サポートに接続することができる。

ＩＩ．術前処置
本発明は、術前作業及び外科手術に使用され得る。例えば、以下、可能な術前活動を含む代替の一般的な外科手術を説明する。第１に、ＣＴ又はＭＲＩのような患者の関心領域のスキャンが取得される。可能であれば、患者は、術中の位置決めに近似した方法で位置決めされることが望ましい。第２に、スキャンデータにセグメンテーションを行って、限定はしないが、歯や骨構造、関心対象の静脈や動脈、神経、腺、腫瘍や腫瘤、インプラント、皮膚表面等を含む関心項目の３次元モデルに変換する。モデルは、後で独立して表示、ラベル付け、又は操作できるように分離される。これらは術前モデルと呼ばれる。第３に、解剖学的基準枠、切除面の目標、切除すべき体積、切除の平面及びレベル、使用すべきインプラントのサイズ及び最適な位置、目標組織にアクセスする為の経路及び軌道、ガイドワイヤ、ドリル、ピン、ネジ又は器具の軌道及び深さを含むが、これらに限定されない項目を特定する為にモデルを用いて（オプションとしてモデルの可視化及び操作にＶＲを用いて）術前計画が実行される。第４に、モデル及び術前計画データは、手術前又は手術時に表示デバイス１０４のメモリにアップロードされる。このアップロード工程は、最も好都合には、無線機を介してワイヤレスに実行されることになる。

第５に、患者は手術に向けて準備され、位置決めされる。術中、手術部位は、理想的には、その後のレジストレーション目的の為に皮膚表面の視覚化を最大化する方式でドレープされる。これは、アイオバン（Ｉｏｂａｎ）を十分に使用することによって達成され得る。アイオバンのように、特定のＬＥＤ又は可視光エミッタによって広い照明、点、又は投影パターンに照準されると、異なるように蛍光又は反射するフィルムを使用することが有益であろう。このフィルムは又、光学的特徴、マーカ、又はパターンを有することができ、ヘッドピースの光学カメラによって容易に認識されることを可能にした。

第６に、患者が手術に向けて準備され位置決めされた後で、システム１０は（例えば、ＡＲヘッドセット３６００を介して）現在の皮膚包絡線をスキャンして現在の輪郭を確立し、ユーザ１０６が表示デバイス１０４上で見ることができる術前３Ｄモデルを作成する。好ましい方法は、既知の画像の計算された反り／傾き／スケールから皮膚包絡線を決定することを可能にする赤外光（「ＩＲ」）帯のグリッド又はチェッカーボードパターンを投影することである。別の方法としては、マーカを取り付けたスタイラス型の物体を露出した皮膚に沿って前後に動かし、スタイラスの位置と配向追跡、及びそれに続く皮膚包絡線の生成を可能にすることである。任意選択で、皮膚モデルはユーザ１０６に表示され、ユーザは、次に、スキャンされた露出した皮膚の一般的な領域の輪郭を描くことができる。術前皮膚モデルの最適な位置及び配向が、現在の皮膚表面と一致するように計算される。適切な術前モデルが、表示デバイス１０４を介して、ユーザ１０６に３Ｄで表示される。任意選択で、ユーザ１０６は、その後、正確な追跡の為に、患者の骨に光学マーカを挿入してもよい。このマーカの配置は、術前モデルの彼の視覚化によって知らされてもよい。術前モデルの位置及び配向は、超音波を含むがこれらに限定されない代替のプロービング又はイメージングによって更に改良され得る。

第７に、術中に、表示デバイス１０４を有するシステム１０を使用するユーザ１０６は、術前計画情報を見ることができ、器具及びインプラントを追跡し、生体構造に対するドリル又はネジの深さ、器具の角度、骨の切断の角度等を含むがこれらに限定されない様々な種類の術中測定を提供することが可能である。

図８を参照すると、システム１０を使用する処置中の動作フローの例示的な実施形態が提示されている。この実施形態では、ＣＰＵ４０１は、１つ以上のカメラ４０２、４０４、４０６を起動し（８００）、初期化する（８０２）。カメラ（複数可）４０２、４０４、４０６の視野内に在る時、第１のマーカ１００が位置決めされ、識別され（８０４）、後続のマーカ１０８、１１０が続く（８０６）。これらのマーカ１００、１０８、１１０の軌跡は、メインカメラの位置と同様に、互いに対する位置と配向を提供する（８０８）。リモートセンサスイート４２２からのＩＭＵ及びカメラ等のセンサからの代替センサデータ（８１０）は、任意選択でデータ収集に組み込むことができる。更に、患者、ターゲット、器具、又は環境の他の部分に関する外部支援データ（８１２）が、アルゴリズムで使用する為に任意選択で組み込まれ得る。本発明で使用するアルゴリズムは、特定の手順及び収集されたデータ用に調整される。アルゴリズムは、表示デバイス（８１６）で使用する為に、所望のアシストデータを出力する（８１４）。

ＩＩＩ．股関節置換術の処置
本発明の一例示的な実施形態で、図６を参照すると、システム１０は股関節置換術に使用され、第１のマーカ６００が固定具６０２を介して骨盤６０４に取り付けられ、第２のマーカ６０６が衝撃装置６０８に取り付けられる。ユーザ１０６は、表示デバイス１０４を介して、図６に示す複合現実ユーザインターフェース画像（「ＭＸＵＩ」）を見ることができる。ＭＸＵＩは、股関節置換術の間、ユーザの視野に骨盤６０４及びインパクタ６０４の立体視仮想画像を提供する。

これらの物理的オブジェクト上のマーカ（６００、６０６）の組み合わせは、事前の処理及び特定のアルゴリズムと組み合わされて、寛骨臼シェル６１２の正確な配置の為の骨盤６０４に対するインパクタ６０８のリアルタイムバージョン及び傾斜角度を含む、ユーザ１０６にとって関心のある測定値の計算を可能にする。更に、限定はしないが脚全体の長さの変化を含む、術前状態から術後状態までの物理的パラメータの測定値が提示され得る。データの提示は、読み取り可能な形態６１０、又は、器具又は他の誘導形態の３Ｄ表現を含むがこれらに限定されないイメージの形態であり得る。

図７は、図６に先に示したＭＸＵＩの別の図を描写しており、仮想ターゲット７００及び仮想器具７０２が、所望のバージョン及び傾斜を達成する際に容易に使用できるようにユーザ１０６に提示される。この実施形態では、仮想現実の更なる組み合わせが、実際の器具７０２が完全に可視状態の仮想ターゲット７００、又は仮想ターゲットが完全に可視状態の仮想器具（図示せず）を有することによって、ユーザにとっての自然な感じの経験を最適化する為に使用される。実像と仮想像の他の組み合わせが任意選択で提供され得る。データの提示は、読み取り可能な形態７０４、又は、器具の３Ｄ表現又は他のガイダンス形態を含むがこれらに限定されない画像の形態であり得る。

図９を参照すると、本発明は更に、システム１０を使用して股関節置換術（９００）を実行する方法を提供し、股関節置換術（９００）では、股関節の骨が寛骨臼をリーミングし、患者の脚で使用する為に置換カップを挿入する。この実施形態では、第１のマーカ（例えば、１００、１０８、又は１１０等）が、マーカに関して既知の寸法の固定具に設置され、この固定具は、患者の腰骨に設置される（９０２）。第２の別個のマーカ（例えば、１００、１０８、又は１１０等）は、第１のマーカに関して既知の寸法のポインティングデバイス上に設置される（９０４）。股関節固定具に対する骨指標又は他の解剖学的マーカの位置及び配向は、光学マーカ及び股関節とポインタとの間の位置／配向差を用いてレジストレーションされる（９０６）。これらの点を使用してローカル座標系を決定する（９０８）。ポインタを使用して、大腿骨が脱臼する前に、又、腰骨の寛骨臼にリーマ加工を施して置換シェルの為のスペースを確保する前に、大腿骨の位置と配向を決定する（９１０）。交換用シェル付きインパクタには、インパクタの寸法が既知である第３の別個のマーカが取り付けられている（９１２）。シェル付きインパクタは、股関節マーカ（９１４）に対して、先に説明したアルゴリズムに従って追跡される。股関節マーカとインパクタとの間の相対的な位置及び配向を使用して、ＡＲ又はＶＲディスプレイを介してシェルを患者の医療要件毎の所望の位置及び角度で寛骨臼に外科的に配置することをガイドする（９１６）。脚の長さの変化は、置換された大腿骨のマーカ位置及び配向を使用して、処置のこの時点で計算することもできる（９１８）。別の実施形態では、術前ＣＴデータを用いてこの手順を補強し、コンポーネントの位置決めを決定する。別の実施形態は、ＡＲ又はＶＲの方法でディスプレイ出力を使用して、大腿骨頭切断を決定する。別の実施形態は、データを用いて寛骨臼にネジを配置する。

患者が横たわる手術台又は支持体の座標基準フレームは、幾つかの実施態様において望ましいものである。地面、具体的には重力に関する手術台のアライメントは、以下のように達成され得る。ＩＭＵ（ＡＲヘッドセット３６００内に配置されたもの等のセンサスイートの夫々からの）は、任意の所与の瞬間における重力に対する表示デバイス１０４のピッチ及びロール配向を提供する。或いは、ＳＬＡＭ又は類似の環境追跡アルゴリズムが、殆どの壁及びそれに関連する機構が重力ベクトルに平行に構築されていると仮定して、重力に対する表示デバイス１０４のピッチ及びロールの向きを提供することになる。重力に対する表示デバイス１０４の関係とは別に、手術台の向きは、スタイラスを使用して手術台上の３つの独立した点をレジストレーションすることによって決定されてもよい。表示デバイス１０４の座標フレームでこれらの３点を選択すると、重力に対する手術台のロール角及びピッチ角も次に決定され得る。或いは、手術台は、重力に対する向きを決定する為に、マシンビジョンアルゴリズムを使用して識別され認識されてもよい。表示デバイス１０４に対する患者の脊柱のアライメント、従って、股関節マーカによって定義されるような他の任意の目標座標系のピッチ及びロールにおけるアライメントは、今や既知である。ヨー基準を提供する為に、スタイラスを股関節マーカと組み合わせて使用して、患者の頭部がどこに在るかを定義することができ、これにより、患者に対する脊椎の方向が提供される。或いは、患者の頭部の画像認識を用いて自動的に決定することも可能である。最終的に、手術台及び／又は患者の脊柱のロール、ピッチ及びヨーは、今や表示デバイス１０４及び全ての関連する座標系において完全に定義されている。

図１１～図１２を参照すると、システム１０は、股関節形成術の処置で使用する為の股関節インパクタアセンブリ１１００を任意選択で含んでもよい。このアセンブリは、寛骨臼シェル１１０２と、寛骨臼インパクタ１１０６に組み立てられた光学マーカ１１０４（上述の１００、１０８、１１０、５０２、５０４、６００、６０６、８０４、８０６、９０４、９１２と同じ）とを含んでいる。図１２は、光学マーカ１１０４が、インデックス付きポスト１２００をインデックス付き穴１２０２に挿入することによって、再現可能な方法でインパクタ１１０６に取り付けられる方法を示す分解図である。寛骨臼シェル１１０２は、インパクタのねじ付き遠位端１２０４にねじ込み、ショルダー１２０６に着座することによって、インパクタ１１０６に再現可能に組み付けられる。マーカ１１０４は、第１のフィデューシャル１１０８、第２のフィデューシャル１１１０、及び第３のフィデューシャル１１１２を含み、夫々が、それらの境界が交差する直線を形成する黒及び白の隣接領域を有する。ＡＲヘッドセット３６００内のアルゴリズムを使用して、立体カメラ（３９０４）からの画像を処理して、各フィデューシャルの交点を計算し（１１０８、１１１０、１１１２）、それによってマーカ１１０４の６自由度のポーズを決定する。本明細書では、「ポーズ」は、オブジェクトの位置と配向の組み合わせとして定義される。フィデューシャル（１１０８、１１１０、１１１２）は、自己粘着性ステッカーへの印刷、白色プラスチック材料の表面への黒色領域のレーザーエッチング、又は代替方法によって作成され得る。シェルは固定穴１１１４を含み、この固定穴を通して、任意選択で、ネジを使用して、シェル１１０２を寛骨臼の骨に固定する。

別の例示的な実施形態で、図１３Ａ～Ｂ及び図１４を参照すると、システム１０は、クランプアセンブリ１３０２及び光学マーカ１３０４を備えた解剖学的マーカアセンブリ１３００を任意選択で含む。クランプアセンブリ１３０２は、第１の涙滴型穴１４０２及び第２の涙滴型穴１４０４を規定するベース１４００を含む。骨に固定された固定ピン（図示せず）は、涙滴型穴（１４０２、１４０４）を通して挿入され、クランプジョー１４０６と本体１４００との間にクランプされ、それによってクランプアセンブリ１３０２をピンに、従って骨に固定する。クランプねじ１４０８は、ジョーのねじ山に係合し、アセンブリ１３０２をピンに締め付ける為に使用される。六角穴１４１０は、六角ドライバがアセンブリ１３０２を締め付ける為に使用されることを可能にする。第１の保持ピン１４１２及び第２の保持ピン１４１４は、クランプアセンブリ１３０２の分解を防止する。マーカ本体１４１６は、第１の位置決めポスト１４１８、第２の位置決めポスト１４２０、及び第３の位置決めポスト１４２２を有し、これらは、２つの位置決めポストをベース内の位置決め穴１４２４及び位置決めスロット１４２６と係合させることによって、ベース１４００に位置決めを提供する。この設計は、最適な追跡の為に、表示デバイス１０４（例えば、ＡＲヘッドセット３６００）内のカメラ（例えば、３９０４）に対してマーカ１３０４を配向させることを可能にするマーカ１３０４の２つの可能な回転位置を提供する。マーカ本体１４１６は、ベース１４００に十分な保持力を与える磁石（図示せず）を封入している。

図１５～図１７を参照すると、システム１０は、任意選択で、プレート１５０２と、プレート１５０２及びマーカ１５０４を一緒に結合する為の実継ぎ（ｔｏｎｇｕｅａｎｄｇｒｏｏｖｅ）アセンブリ機構を有するマーカ１５０４とを含む較正アセンブリ１５００を任意選択で含んでもよい。実継ぎアセンブリ機構は、金属部品とは異なる熱膨張率を有するプラスチック部品に金属部品を正確に組み付ける為に特に有用である。プレート１５０２は、様々なインパクタタイプを受け入れる為に、複数のネジタイプを有する複数の穴１５０６を有する。マーカ１５０４はディンプル１５０８を有し、その中に、レジストレーションの為にスタイラスの先端が挿入され得る。マーカ１５０４は、複数のフィデューシャル１５１０を有する。

図１８は、表示デバイス１０４（例えば、ＡＲヘッドセット３６００）を介してユーザ１０６に示されるＭＸＵＩの一例示的な実施形態を示し、較正アセンブリ１５００が種々の較正ステップに使用されている様子を示している。先ず、ショルダー１２０６がプレート１５０２の表面に対して遊びなく正対するように、股関節インパクタアセンブリ１１００がプレート１５０２の適切な孔にねじ込まれ得る。次いで、ＡＲヘッドセット３６００のカメラ３９０４は、アルゴリズムによって処理される画像を捕捉して、寛骨臼シェルが着座するインパクタのショルダーと股関節インパクタアセンブリ１１００のマーカ１１０４との間の関係を決定できる。追跡の為の複数のフィデューシャル１８０２を含むスタイラス１８００が示されている。スタイラス１８００の先端１８０４は、プレート１５０２のディンプル１５０８に挿入され、スタイラス１８００のマーカに対する先端１８０４の座標を決定することを可能にする。マーカ１５０４に相対する特定の位置でユーザ１０６の視野に投影される仮想ガイド点１８０６が示されている。ユーザ１０６は、実際のスタイラス１８００の先端１８０４を、ユーザ１０６の奥行き知覚に従って仮想ガイド点１８０６が位置するところに置き、それによって、実際の視界と仮想ガイド点によって表される仮想視界とを接続させる。次に、アルゴリズムが、ユーザ１０６の眼内距離等の変数を考慮する為の補正係数を適用する。これは、器具やインプラントの正確な位置の為に、ユーザの奥行き知覚が複合現実状態において当てにされる場合に有益である。

図１９は、股関節置換術の開始時に患者１９００の表示デバイス１０４を介してユーザ１０６に示されるＭＸＵＩの例示的な実施形態を描写している。追跡用の複数のフィデューシャル１９０４を有する大腿骨指標１９０２が、アイオバン（Ｉｏｂａｎ）等の粘着テープで患者１９００の大腿部の皮膚に貼付されている。或いは、大腿骨指標１９０２は、図１３Ｂに描かれているようなピン及びクランプアセンブリの使用によって、大腿骨の骨に直接固定され得る。ユーザ１０６は、スタイラス１８００の先端１８０４を使用して骨盤の前方マーカをレジストレーションし、大腿骨指標１９０２の基準フレームにおける骨盤の位置を決定して、一時的な骨盤基準フレームを確立する。別の実施形態では、このレジストレーションは、患者の可視表面のＳＬＡＭスキャンによって定義される身体基準フレーム内であり得る。別の実施形態では、骨盤の前方マーカは、ＳＬＡＭで表面マップを生成し、ユーザ１０６に、頭部の動きによって各マーカ上に仮想点１９１０を順番に位置決めして各点を特定させることによってレジストレーションされ得る。別の実施形態では、単一のフィデューシャル１９０６が、レジストレーションする場所に配置され得る。仮想円１９０８は、その位置がユーザ１０６の注視によって制御されるマスクを定義する為に使用され得る。マシンビジョンアルゴリズムは、仮想円１９０８内の単一のフィデューシャル１９０６を探すだけでよい。レジストレーションステップは、「点をレジストレーションする」等のユーザ１０６による音声コマンドでトリガされてもよい。又、ユーザ１０６は、膝蓋骨の中心、又は内側及び外側上顆といった大腿骨遠位部を表す点をレジストレーションしてもよい。各点がレジストレーションされると、小球体等の仮想マーカが位置決めされ、レジストレーション時及びそれ以降の先端の位置に留まり、ユーザ１０６に視覚的な確認を与え、レジストレーションの品質を確認することができる。

図２０は、股関節置換術中に仮想骨盤２０００及び仮想大腿骨２００２の表示デバイス１０４を介してユーザ１０６に示されるＭＸＵＩの一例示的実施形態を示す。患者固有のモデルが表示デバイス１０４にアップロードされていた場合、これらの仮想モデルは、神経血管構造等の関心対象の他の仮想特徴と共に表示されることになる。アップロードされない場合、仮想骨盤及び仮想大腿骨は、レジストレーションされたマーカの間隔に最も一致するようにスケーリングされた性別固有のモデルであり得る。２つの固定ピンの夫々に対する第１の仮想軌道２００４及び第２の仮想軌道２００６が表示される。他の実施形態では、これらは、管状又は円錐状であってもよい。複数の表面上のマーカを規定する複数のフィデューシャル２０１０を含むドリル２００８が表示され、これにより、そのポーズを様々な視座から追跡することができる。各ピンの挿入は、ドリルが追跡されない場合には実際のピン２０１２を仮想軌道２００４に並べることによって、又はドリルが追跡される場合には仮想ピン（図示せず）を仮想軌道に並べることによって、誘導され得る。ドリルが追跡される場合、骨盤基準フレームに対するドリルの角度は、追加の補強の為に数値的に表示される。仮想テキスト２０１４は、実際のドリルの表面２０１６に位置し、ドリルと共に移動して、仮想テキストによって表される角度が関連付けられているオブジェクトをユーザに直感的に理解させる。

図２１は、腸骨稜に挿入されたピン２１０６にクランプすることによって患者の骨盤に取り付けられた解剖学的マーカ１３００を有する、股関節置換術中に表示デバイス１０４を介してユーザ１０６に示されるＭＸＵＩの例示的実施形態を描写している。この時点で、骨盤の追跡に関する基準フレームは、以前の基準フレームから解剖学的マーカ１３００の基準フレームに転移される。所望であれば、精度を高める為に、骨盤を再レジストレーションしてもよい。次に、ユーザ１０６は、切開の位置のガイドとして仮想骨盤２１０２、仮想大腿骨２１０４、及び仮想神経血管構造（図示せず）を用いて大腿骨を切開し、筋肉及び関節包を剥離して股関節及び大腿骨の頸部を露出させる。この時点で、ユーザ１０６は、骨盤に対してほぼ中立的な外転、屈曲及び回転を有する基準位置に脚を配置する。

図２２は、股関節置換術の大腿骨レジストレーション中に表示デバイス１０４を介してユーザ１０６に示されるＭＸＵＩの例示的な実施形態を示す図である。スタイラス１８００の先端は、近位大腿骨上の基準点２２００上に配置される。この時、マーカ１９０２と１３００との間の関係によって規定される骨盤に対する大腿骨のベースライン配向が決定され、記録される。更に、骨盤基準フレームにおける基準点２２００の座標が記録される。基準点２２００は、手術用ペンでマーキングすること、骨に小さな穴を開けること、又は小さな鋲を挿入することによって強化されてもよい。レジストレーションの精度を向上させる為に、図２２に示すように、スタイラスの先端を中心とする拡大立体画像２２０２が表示される。処置の後半でユーザ１０６が基準点を見つけるのを支援する為に、ベースライン画像、又はスタイラスの点の周囲の領域の画像が、レジストレーション時に記録されてもよい。これらは、立体視画像であってもよい。次に、ユーザ１０６は、スタイラス１８００の先端１８０４を用いて、大腿骨頸部切断の所望の位置の点をレジストレーションする。これは、典型的には、大腿骨頸部の最も上方／側方の点である。この点を適切な外転角とバージョン角で通過する最適な切除平面が計算される。

図２３は、仮想切除ガイド２３００を用いた股関節置換術の大腿骨頸部の切除中に表示デバイス１０４を介してユーザ１０６に示されるＭＸＵＩの例示的な実施形態を描写している。矢状鋸２３０２が示されており、矢状鋸２３０２のポーズが追跡されることを可能にするマーカを規定する複数のフィデューシャル２３０４を有している。大腿骨頸部の切除は、ドリルが追跡されない場合、実際の鋸刃２３０６を仮想切除ガイド２３００に整列させることによって、又は鋸２３０２が追跡される場合、仮想鋸刃（図示せず）を仮想切除ガイド２３００に並べることによってガイドされ得る。図２０に示した追跡されたドリルと同様に、鋸２３０２が追跡される場合、鋸２３０２の角度は、数値的に表示され得る。これらの角度は、骨盤基準フレーム又は大腿骨基準フレームに対して表示され得る。

図２４は、股関節置換術の寛骨臼シェルの位置決め中に表示デバイス１０４を介してユーザ１０６に示されるＭＸＵＩの一例示的実施形態を示し、寛骨臼インパクタアセンブリ１１００の為の仮想ターゲット２４００及び仮想シェル２４０２が示されている。寛骨臼インパクタアセンブリ１１００の配置は、仮想ターゲット２４００と整列するように操作することによってガイドされる。仮想ターゲットのシェル部分の後方／側方の象限は、異なる色で表示されるか、又は他の方法でシェル２４０２の残りの部分と視覚的に区別されて、ユーザ１０６に対して寛骨臼へのネジの安全な配置の為のターゲットを規定してもよい。寛骨臼インパクタの数値角度及びリーミング済み又は未リーミングの寛骨臼に対する挿入の深さは、仮想テキスト２４０４として数値的に表示される。インパクタの先端を中心とする２２０２と同様の拡大立体画像（図示せず）が表示されて、仮想シェルが仮想骨盤２１０２の寛骨臼とどのように界接するかを示してもよい。

図２５は、股関節置換術の寛骨臼シェルの位置決め中に表示デバイス１０４を介してユーザ１０６に示されるＭＸＵＩの一例示的な実施形態を示し、寛骨臼インパクタの仮想軸２５００及び仮想ターゲット２４００が示されている。寛骨臼インパクタの配置は、仮想軸２５００を仮想ターゲット２４００と整合させるように操作することによってガイドされる。

図２６は、股関節置換術の大腿骨の再位置決め及びレジストレーション中に表示デバイス１０４を介してユーザ１０６に示されるＭＸＵＩの例示的な実施形態を示す図である。ベースライン大腿骨レジストレーション中の骨盤に対する大腿骨の術前配置を表す仮想大腿骨ターゲット２６００が示されている。この仮想大腿骨ターゲットの高位頂点は、近位大腿骨上の基準点の近くに配置される。大腿骨の現在の配向を表す仮想大腿骨フレーム２６０２が示されている。大腿骨が移動されると、仮想大腿骨フレーム２６０２は、仮想大腿骨ターゲット２６００の高位頂点を中心に回転する。大腿骨をベースライン配向に再位置決めすることは、大腿骨を操作して、外転、屈曲、及び回転において仮想大腿骨フレーム２６０２を仮想大腿骨ターゲット２６００に整合させることによって達成される。大腿骨がベースライン配向に再位置決めされた状態で、ユーザは、次に、スタイラス１８００の先端１８０４を使用して、ベースライン測定からの脚長及び横方向オフセットの変化を決定する為に大腿骨近位部上の基準点を再レジストレーションする。ベースライン大腿骨レジストレーション中に先に記録されたベースライン画像２６０４を表示させて、同じ基準点を正確に再レジストレーションすることを支援してもよい。

ＩＶ．トラッキング及び関連方法
アプリケーションによっては、トラッキング精度を最大化する為に、利用可能なピクセルのサイズを効果的に減少させるべく、比較的小さな視野のカメラを使用することが有利な場合がある。その結果、特に、どのマーカが視野内に在るか又は視野内に無いか、或いは全ての必要なマーカを捕捉する為にはどの方向にカメラ（複数可）を向けるべきかがユーザにとって明白でない場合があるので、ユーザが、全ての必要なマーカが視野内に入るようにカメラを配置することはより困難になる。図６４は、全ての必要なマーカを含むようにカメラ（複数可）の視野を位置決めする際にユーザを支援するように設計された機能を有するＭＸＵＩの一例示的な実施形態を描写している。この実施形態では、２つのマーカ６４０２及び６４０８は、点をレジストレーションするか又はナビゲーション出力を計算する為に、カメラ（複数可）によって追跡されることが要求される。１つのマーカ６４０２は、カメラ（複数可）の視野６４０４内に配置される。第２のマーカ６４０８は、カメラ（複数可）の視野６４０４の外側に在る。仮想ガイド６４１０（例えば、本明細書の他の箇所で説明するような頭部固定オブジェクト）が、表示デバイス１０４においてユーザ１０６に表示され、欠落マーカ６４０８が発見されそうな方向を示している。仮想ガイド６４１０は、矢印等の記号、又は方向を示すテキストであってもよい。一実施形態では、マーカ６４０８の予想位置は、両方のマーカが見えていた時に以前に記録されたか、又は典型的なマーカ配置に基づいてシステムによって推定された、マーカ６４０２及び６４０８の相対位置に基づくものである。多くの用途において、マーカは、特定の処置の為に一旦セットアップされると、僅かな距離しか移動しないことが合理的に予想される。例えば、股関節置換術の際に骨盤と大腿部に装着した２つのマーカは、術中ずっと、ほぼ同じ相対位置に留まる。この場合、一旦２つのマーカを同時に検出し（例えば、本明細書の他の箇所で説明するように、それらは慣性固定物体である）、それらの相対位置を測定したシステムは、何れかのマーカがカメラ視野６４０４内に在る場合、ユーザに対して欠損マーカの配向を示すことが可能である。同様に、典型的な生体構造に関する知識は、マーカの可能性の高い位置についてシステムに通知する。例えば、骨盤の腸骨稜と股関節置換患者の大腿前面にユーザが配置したマーカは、常にほぼ同じ距離離れており、ほぼ同じ方向である。単純な例では、第２のマーカ６４０８が第１のマーカ６４０２の正のｘ軸に沿ってほぼ位置決めされるという仮定は、その軸に沿ってカメラ視野６４０４をシフトするようにユーザに指示する有用な仮想ガイド６４１０をシステムが生成することを可能にする。別の実施形態では、例えば、カメラ視野内にマーカがない場合、センサスイート内の慣性センサを使用して、ユーザの頭部の動き（例えば、頭部角度）を追跡し、マーカ６４０８がカメラ視野６４０４内に入った時の最後の既知の位置（例えば、現在の頭部位置及び／又は角度から）に基づいて、マーカ６４０８の相対位置が計算される。別の実施形態では、システムは、マーカ６４０８が視野６４０４内に在り、正常に追跡された時に、マーカ６４０８の３Ｄ位置及び配向値を計算する。システムは、視覚慣性オドメトリ（ＶＩＯ）、ＳＬＡＭ、又は他の同様の方法を使用して、部屋内のユーザの位置を追跡してもよい。システムは、ユーザの頭部の配向、従って視野６４０４も追跡する。マーカが視野６４０４を離れる場合、マーカ６４０８の最後の既知の位置は、ユーザ位置及びディスプレイ視野６４０４の配向に基づいて伝播され、推定位置（ただし、やはり視野の外）を生成することが可能である。推定位置及び現在測定されたディスプレイ視野６４０４は、ユーザが視野６４０４内にマーカ６４０８を有することを望む場合、どの方向を向くべきかを示すインジケータをユーザに提示する為に使用される。このアプローチは、複数のトラッカーを表す複数のインジケータに使用することができ、それは単一のマーカの場合に限定されない。一実施形態では、仮想コントロール６４０６（例えば、本明細書の他の箇所に記載のような慣性固定物体）が、ユーザの頭部に取り付けられた表示デバイスを介してユーザに示される。ユーザは、固定レチクル又はカーソル又はユーザ入力コントロール６４１２（例えば、本明細書の他の箇所に記載のような頭部固定オブジェクト）を仮想コントロール６４０６に整合させる為に自身の頭部を動かして仮想コントロール６４０６を起動しなければならない（例えば、点をレジストレーションする為に）。この実施形態では、仮想コントロール６４０６は、２つの必要なマーカ６４０２及び６４０８の間の中心になるようにマーカ６４０２に対してシステムによって位置決めされ、仮想コントロール６４０６の位置は、ユーザ入力コントロール６４１２を仮想コントロール６４０６と整合させる為に、それらが整合するまでユーザが自身の頭部を転向するにつれ調整される。ユーザが頭部を転向させてユーザ入力コントロール６４１２を仮想コントロール６４０６と整合させると、カメラ視野６４０４が移動又は調整されて両方のマーカ６４０２及び６４０８を包含し、それによってカメラの視野内の少なくとも２つのマーカの追跡が可能になる。

本明細書の他の場所で説明したシステム及び装置の何れかの別の実施形態では、システムは、慣性空間内の位置及び／又は配向にロックされた（即ち、慣性的に固定されている）情報画面を提示するか、又はコンテンツを表示する。言い換えると、ユーザの頭部が移動又は回転すると、コンテンツは慣性空間内の所定の位置に留まり、その結果、コンテンツはユーザの視野から離れ、頭部装着型ディスプレイを通してもはや見ることができなくなる可能性がある。ワークフローの変更を減らし、執刀医による使用を容易にする為に、ユーザの為に表示されたコンテンツの自動再位置決めを可能にする複数の方法を提示する。

例えば、システムは、ユーザが予め決められた方法で頭部を傾けた時に、表示されたコンテンツをヨー方向に再中心決めしてもよい。例えば、頭部（及びヘッドセット）を約－１０度（＋／－約５度）のピッチ角以下に傾けることは、表示されたコンテンツの再中心決めをトリガすることになる。更に例えば、ユーザが自身の耳を肩に触れているように、頭（及びヘッドセット）を約３度（＋／－約５度）左又は右に傾けると、表示されるコンテンツの再中心決めがトリガされる。更に例えば、頭部を約１０度（＋／－約５度）上に傾け、約３度（＋／－約５度）左又は右に傾けることを組み合わせたジェスチャーは、表示されたコンテンツの再中心決めをトリガすることになる。この頭部の傾きはピッチに限らず、角度のみに限定されるものではない。ヘッドセット内の慣性測定システムによって解明できる任意のヘッドジェスチャは、この再中心決め動作をトリガする為に使用され得る。

更に例えば、トラッキングマーカがトラッキングシステムによって識別され、トラッキングシステムのＦＯＶ内に在る場合、システムは、ディスプレイをヨー方向に再中心決めすることができる。幾つかの実施形態では、ヨー位置は、マーカと整列され得るか、又はマーカからオフセットされ得る。

図８２を参照すると、本明細書では更に、頭部装着型ディスプレイ及びナビゲーションシステムを使用して慣性空間内のマーカを決定する方法が提供される。例えば、幾つかの手順（例えば、慣性空間における配向に対応するように調整された寛骨臼カップの配置を報告すること）は、慣性空間に対するマーカの関係の測定（即ち、マーカ座標フレームを慣性フレームに関連付ける）を必要とする。患者の臀部に取り付けられた基準マーカの重力に対する配向の決定は、患者又はマーカに配置されるのではなく代わりに本明細書の他の箇所に記載される頭部装着型ディスプレイ及びナビゲーションシステムの他の場所に配置される慣性測定ユニット（ＩＭＵ）を用いて測定される。これを達成する為に、以下の方法が、システムによって実行されてもよい：ＩＭＵから、頭部装着型ディスプレイ及びナビゲーションシステムからの慣性データ（例えば、加速度データ、レートデータ等）をブロックＳ８２００で受け取るステップと、ブロックＳ８２１０で姿勢推定器を使用して頭部装着型ディスプレイＩＭＵ基準フレームにおける重力ベクトルの位置を決定するステップと、１つ以上のトラッキングカメラを使用して、ブロックＳ８２２０でカメラ基準フレームに対する基準マーカの３次元空間における配向を取得するステップと、ブロックＳ８２３０で、カメラ基準フレームからＩＭＵ基準フレームへの静的変換行列を生成し、任意選択で中間フレーム変換を含み得る、ステップと、ブロックＳ８２４０で、ＩＭＵによって測定され姿勢推定によって形成される慣性空間のＺ方向の単位ベクトルをＩＭＵ基準フレームからマーカ基準フレームへ変換するステップ。

本明細書で使用する場合、「姿勢推定器」は、カルマンフィルタ、相補フィルタ、又は他の技術を使用して加速度計と速度センサデータを組み合わせ、任意の出力形式（例えば、オイラー角、四元数、又は類似物）であり得るヘッドセット用の３Ｄ配向を生成する。

幾つかの実施形態では、静的変換行列を生成するステップは、頭部装着型ディスプレイ、ＩＭＵ、及びカメラの較正手順の機械的構造に基づく。

幾つかの実施形態では、単位ベクトルを変換するステップは、以下を含む。

合成ベクトルは、マーカ基準フレームで表される重力ベクトルを表す。例えば、このベクトルは、慣性フレームにおける寛骨臼カップの配向のリアルタイム決定を可能にするが、慣性フレームにおける任意の身体部分、器具、骨、又はその他のもののリアルタイムの配向を決定する為にも使用され得る。

図５０～図５２を参照すると、システム１０は、生体構造に固定された外部フィデューシャルのない解剖学的構造を追跡する為の手段を任意選択で含んでもよい。図５０Ａ～Ｂは、大腿骨５００２が転位して、システム１０が、センサスイート２１０を用いて、小転子５０１０の露出表面の基準３次元表面マップ５０１４を作成することを可能している例示的な実施形態を描写している。小転子の表面は、処置中ずっと変化しないままであり、追加のフィデューシャルなしに大腿骨を追跡する為にシステム１０によって使用され得る。基準３次元表面マップ５０１４の境界は、任意選択で、カーソル又はポインティングデバイスを使用して曲線をトレースすることによってユーザによって示されてもよく、このデバイスはユーザの注視を追跡することによって動作してもよい。システム１０は、基準３次元マップ５０１４を、点群として、数学的曲面として、又は他の手段で保存してもよい。システム１０は、センサスイート２１０に対する基準フレーム５０１６を作成し、基準フレーム５０１６に表面マップ５０１４の初期ポーズを記録してもよい。ユーザ１０６は、大腿骨頭５００６、大腿骨頸部５００８、及び寛骨臼５０１２等、同じ骨又は剛体上の追加の基準点又は構造をレジストレーションしてもよい。システムは、システム１０が基準フレーム５０１６に対する相対的なポーズを記録する、大腿骨頭、大腿骨頸部、及び寛骨臼の夫々について追加の３次元表面マップ５０２０、５０２２、５０２４を作成してもよい。システム１０は、センサスイート２１０を用いて、小転子５０１０を連続的に再スキャンし、生体の変位した３次元表面マップ５０１８を生成する。次に、変位した３次元表面マップ５０１８を同じ表面について作成された基準３次元表面マップ５０１４と比較して、システム１０は、変位した表面マップ５０１８及び基準表面マップ５０１４を最適適合の為に必要な幾何学的回転及び並進を決定する。次に、システム１０は、大腿骨５００２の剛体上の格納された全ての基準点及び構造に同じ回転及び並進を適用し、センサスイート２１０の基準フレームに対する全てのそのような点及び構造の現在のポーズを計算する。システム１０は、大腿骨頭５００６又は寛骨臼５０１２の直径を計算し、寛骨臼リーマサイズを選択する為のガイドとしてユーザ１０６に表示してもよい。システム１０は、基準面マップ５０１４に対する大腿骨頭５００６の中心を計算してもよい。又、システム１０は、骨盤５００４に対する寛骨臼５０１２の中心の位置を計算してもよい。次に、ユーザ１０６は、付属のフィデューシャル５１０４を有するブローチ又はリーマ５１０２を大腿骨の管に挿入し、大腿骨軸５１０６を特定する。システム１０は、大腿骨頭５００６と大腿骨軸５１０６との間の大腿骨頸部軸５１１８を計算する。膝５１１０を約９０°に屈曲させた状態で、カメラ２０６は下腿５１１２をスキャンし、そのおおよその中心軸５１１４を特定し、これは、大腿骨軸５１０６と共に使用されて、基準面５１１６を規定し、そこから固有大腿骨頸部軸５１１８のバージョン角が計算される。処置の過程で、ネイティブの大腿骨頭５００６及び寛骨臼５０１２は、夫々大腿骨インプラント５２０２及び寛骨臼インプラント５２０４に置き換えられる。システム１０は、移植された寛骨臼シェル５２０４及び大腿骨頭５２０８の中心を検出し、システム１０が、大腿骨軸５１０６から大腿骨頭５２０８までの距離の変化（大腿骨オフセット）、又は各構造の夫々のネイティブの状態と移植後の状態との間での寛骨臼５２０８の中心の位置の変化を、計算し表示することを可能にしてもよい。大腿骨頭５００６の置換後であり寛骨臼５０１２の置換前に、システム１０は、交換された大腿骨頭５２０８を用いた大腿骨頸軸５２０６の新たな計算に基づいて、大腿骨バージョンを計算し表示してもよい。システム１０は、大腿骨インプラント５２０２及び寛骨臼インプラント５２０４の複合的な外転の目標を達成する為に寛骨臼インプラント５２０４において必要とされる追加の外転を計算し、表示してもよい。システム１０は、処置の結果として生じる大腿骨５００２と骨盤５００４との間の距離の変化を計算し、表示してもよい。

図５３は、補足的フィデューシャルの手段によってではなく、その露出面の一部５３０２の３次元マップを介して追跡される股関節インパクタ５３００の例示的な実施形態を示す。システム１０は、カメラ２０６を使用してシェル５３０４及びインパクタ表面を同時にスキャンすることにより、寛骨臼シェル５３０４をこの表面にレジストレーションしてもよい。

図５９は、システム１０及びそのセンサスイート２１０が股関節形成術におけるナビゲーションの為にどのように使用され得るかを示すフローチャートを描写している。センサスイート２１０は、小転子５０１０をスキャンすることができる（５９０２）。このスキャンから、基準３次元表面マップ５０１４を格納することができる（５９０４）。次いで、システム１０は、センサスイート２１０に対する大腿骨５００２の基準フレーム５０１６を確立することができる（５９０６）。次に、露出した小転子５０１０を繰り返しスキャンして、システム１０は、各スキャンについて、変位した３次元表面マップ５０１８を生成する（５９０８）。連続する各スキャンで、システムは、変位した表面マップ５０１８を、小転子５０１０上の同じ領域についての基準表面マップ５０１４と比較できる。この比較に基づいて、システム１０は、変位表面マップ５０１８を基準表面マップ５０１４に最適適合させる為に必要な並進及び回転を決定することによって、センサスイート２１０に対する大腿骨５００２のポーズを追跡することができる（５９１０）。

図５４は、システム１０及びそのセンサスイート２１０が、股関節キネマティクスの分析にどのように使用され得るかを示すフローチャートを示している。センサスイート２１０は、ネイティブの大腿骨頭５００６及び寛骨臼５０１２を含む患者の生体構造の露出表面をスキャンすることができる（５４００）。これらの表面から、各構造の３次元マップ５０２０、５０２４が格納され得る（５４０２）。次いで、システム１０は、表面を、立位の患者において予想される配向に回転させ、それらを体重の方向に一緒に並進させることができる（５４０４）。次いで、システム１０は、２つの表面間の接触点又はパッチを計算でき、これは、ほぼ球形の表面の中心よりも適切な回転の中心であり得る（５４０６）。大腿骨インプラント５２０２及び寛骨臼インプラント５２０４によるネイティブの生体構造の置換に続いて、システム１０は、同様に、インプラントの為の接触点を特定することができる（５４０８）。インプラントの形状を使用して、システム１０は、股関節の角度を摂動して、インプラント間、又はインプラントと骨との間のインピンジメントの前に各方向に許容される角度可動域を計算することができる（５４１０）。可動域を制限する第１のインピンジメントの位置は、表示デバイス１０４においてハイライトされ得る（５４１２）。例えば、大腿骨頸部５００８は、寛骨臼５０１２の露出したリム、又は寛骨臼インプラント５２０４に突き当たる可能性がある。インピンジ面の少なくとも１つがネイティブの骨上に在る場合、ユーザ１０６は、可動域を増大させる為に骨を削ることを選択してもよい。インピンジ面の少なくとも１つがインプラント上に在る場合、ユーザ１０６は、インプラントの位置又は角度を調整することを選択してもよい。

図８３を参照すると、幾つかの実施形態では、例えば手術使用中に慣性データと光学追跡の組み合わせが要求される場合に必要な精度を提供する為に、慣性及びビジョンシステムを介して慣性からマーカへのエンドツーエンドの較正が行われることが必要である。例えば、膝の手術における股関節中心の決定は、慣性測定と光学追跡を使用してデータを執刀医に提供できる１つの状況である。更に例えば、股関節寛骨臼カップの配置中の慣性空間における股関節傾斜角決定も、慣性測定及び光学追跡を使用して執刀医にデータを提供できる別の例である。図８３に示すように、慣性データ及び光学的追跡を組み合わせる方法は、ブロックＳ８３００で、機械的設計からカメラ対アイピース回転行列を決定するステップ（

として示されている）と、ブロックＳ８３１０で、機械的設計からアイピース対ＩＭＵ回転行列を決定するステップ（

として示されている）と、ブロックＳ８３２０でマーカ対カメラ回転行列を較正するステップ（

として示されている）とを含む。

本明細書で使用される場合、「機械的設計」は、カメラとアイピース／ヘッドセットハウジングとの間の角度が決定され得るように、カメラ及び／又はアイピースがどのように構築されたかを示す図面を意味する。

幾つかの実施形態では、較正することは、精密固定具を使用することを含む。更に、幾つかの実施形態では、較正することは、固定具上に既知の座標系を有する基準マーカを位置決めすること、固定具上にアイピースを位置決めし、基準マーカを視野（ＦＯＶ）内に置くこと、及び基準マーカからカメラまでの回転行列

を、例えば、トラッキングを使用して取得すること、を含む。例えば、トラッキングは、マーカを追跡することと、頭部装着型ディスプレイ及びナビゲーションシステムを使用して各マーカの位置及び配向情報を受信することを含む。幾つかの実施形態では、トラッキングを使用して、マーカからカメラへの回転行列を取得する。

幾つかの実施形態において、図８３の方法は更に、精密固定具を使用して、ＩＭＵを較正することを含む。例えば、この方法は、両方向での３つの直交する位置の全て（合計６つの位置）において正確な位置決めを可能にする固定具に頭部装着型システムを位置決めするステップと、頭部装着型システムのアイピースＺ軸が許容範囲内で局所重力ベクトルと整列するように（即ち、「目前」位置）、システムが内部に在る状態で、水平面上に固定具を位置決めするステップと、ＩＭＵ出力の３軸全てから加速度計データ（Ａ１）を取得するステップと、ＩＭＵ出力の３軸全てから速度センサデータ（G1）を取得するステップと、残りの５つの位置全てについて繰り返し（即ち、「目線下」「目線後」「目線上」「右耳下」「左耳下」に対応する、G2、G3、G4、G5、G6と共にA2、A3、A4、A5、A6を取得する）、以下の式のうち１つ以上、或いは代替的又は付加的に、最小二乗法又は他の手法を用いてＩＭＵのバイアスとスケールファクタを計算するステップを含んでもよい。

加速度計バイアスX=(A2.x+A4.x)/2
加速度計スケールファクタX=(A2.x-A4.x)/2
加速度計バイアスY=(A5.y+A6.y)/2
加速度計スケールファクタY=(A5.y-A6.y)/2
加速度計バイアスZ=(A1.z+A3.z)/2
加速度計スケールファクタZ=(A1.z-A3.z)/2

本方法は更に、レートセンサデータを平均化して、以下の式を用いてレートセンサの各々についてレートセンサバイアス値を達成することを含んでもよい。
レートバイアスX=(G1.x+G2.x+G3.x+G4.x+G5.x+G6.x)/6
レートバイアスY=(G1.y+G2.y+G3.y+G4.y+G5.y+G6.y)/6
レートバイアスZ=(G1.z+G2.z+G3.z+G4.z+G5.z+G6.z)/6

本方法は更に、ＩＭＵから慣性への回転（

として示される）を提供する、較正されたＩＭＵデータを使用して姿勢推定を形成することを含んでもよい。

これらの項目の較正は、データを慣性から基準マーカフレームに、又はその逆に変換する際の誤差の低減を可能にする。基準マーカから慣性への変換（

として示される）は、以下を乗算して得られる結合変換行列である：

。
慣性→基準マーカ変換は、

又は

の逆行列である。

図８３で使用する、「許容度」は、絶対重力ベクトルからのピッチ及び／又はロールの度数の閾値レベルを意味する。幾つかの実施形態では、許容度は、約１度、約０．５度～約３度、約１度～約２度、約０．７５度～約５度、約２度～約４度等であってもよい。

図８６Ａ～８６Ｂを参照すると、頭部装着型ディスプレイ及びナビゲーションシステム８６１０を較正する為の固定具８６００の一実施形態である。固定具８６００は、システムが較正され得るように頭部装着型ディスプレイ及びナビゲーションシステム８６１０を保持するように機能する。固定具は、隣接する側壁に対して夫々直交する複数の側壁８６２０を含む。一実施形態では、固定具８６００は、６つの側壁８６２０ａ、８６２０ｂ、８６２０ｃ、８６２０ｄ、８６２０ｅ、８６２０ｆを含むが、他の側壁番号も本明細書で想定され、それらは、１、２、３、４、５、６、７、８、９、１０である。固定具８６００は、システムがそこに配置される時、固定具８６００が較正方法中に側壁８６２０の各々に載るように移動できるように、システム８６１０に固定的に接続される。固定具８６００の１つ以上の側壁８６２０、例えば側壁８６２０ｅ、８６２０ｂ、及び／又は８６２０ｆは切り欠き８６３０を規定してもよく、その結果、ケーブル８６５０がシステム８６１０に接続され得るが、固定具８６００がその側壁８６２０の何れか１つ上に定置されている時に、表面上に水平に定置されることを妨げない。側壁８６２０の何れか１つ以上は更に、固定具８６００に配置された時にシステム８６１０が（例えば、コンポーネント、ユーザ入力要素等と相互作用する為に）、それを通して見える及び／又はアクセスできる開口部８６６０、８６７０を規定してもよい。

Ｖ．Ｃアームシステムと連動したシステムの使用
図２７は、Ｃアームによる患者の撮像中に表示デバイス１０４を介してユーザ１０６に示されるＭＸＵＩの例示的な実施形態を示す図である。Ｘ線源２７０２、撮像ユニット２７０４及び表示ユニット２７０６を有するＣアーム撮像システム２７００が示されている。Ｃアーム２７００には追跡可能なラベル２７０８が固着されている。仮想股関節アライメントガイド２７１０及び仮想骨盤アライメントガイド２７１２が図示されている。これらは、骨盤前面に対して垂直であり、夫々股関節と恥骨結合の上に中心を置く。Ｃアーム２７００の配置は、適切な仮想アライメントガイドと整列するように撮像ユニット２７０４の表面を調整することによってガイドされる。Ｃアーム２７００が追跡可能である場合、仮想Ｃアームアライメントガイド２７１４が表示されることがある。この場合、Ｃアーム２７００の配置は、適切な仮想アライメントガイド２７１０又は２７１２と位置合わせされるように仮想Ｃアームアライメントガイド２７１４を調整することによってガイドされる。ターゲットに対する位置ずれ及び角度ずれは、仮想テキスト２７１８として数値的にも表示され得る。

図２８は、システム１０及びその表示デバイス１０４（例えば、ＡＲヘッドセット３６００）が、外科手術においてＣアーム２７００と連動して使用され得る方法を示すフローチャートを示している。ＡＲヘッドセット３６００に組み込まれたカメラ３９０４（例えば、高精細カメラ等）は、Ｃアームモニタに表示される画像を撮影する為に使用され得る（２８００）。画像は、カメラ３９０４がモニタ上の画像に完全に中心を合わせ、モニタ上の画像に対して垂直であった場合に見られるものと一致するように「整える」ように調整され得る（２８０２）。撮像されている生体構造に対する撮像器及び線源の位置の知識は、線源からのＸ線ビームの発散による倍率及び視差歪みに対して画像を補正する為に使用され得る（２８０４）。次いで、補正された画像は、ＡＲヘッドセット３６００に表示され得る（２８０６）。次いで、これを使用して、ユーザ１０６が、寛骨臼カップ配置又は脚長等の処置に関連する測定を行うことを可能にすることができる（２８０８）。他の画像は、少なくとも例えば図２８のブロック２８１０に示されるように、ユーザ１０６が比較を行うことを可能にする為に、同時に表示、オーバーレイ、ミラーリング、又は他の方法で操作され得る。

別の実施形態では、画像キャプチャは、Ｃアーム２７００とＡＲヘッドセット３６００との間の無線通信、例えばＤＩＣＯＭ形式のファイルの転送によっても達成され得る。或いは、寛骨臼シェルの傾斜及びバージョン等の測定を自動的に行う為に、マシンビジョンを組み込んだアルゴリズムが採用され得る。エッジ検出を使用して、シェルの外形をトレースしてもよい。外形に最適な楕円のパラメータを決定し、それは、最適な楕円の短軸と長軸の長さの比からシェルの前傾を計算する為に使用され得る。傾斜は、例えば、恥骨弓の最も下側の側面に接線を置き、シェル楕円の長軸と接線との間の角度を計算することによって計算され得る。同様に、大腿骨の比較脚長及び横方向のオフセットが決定され得、大腿骨の頭部又はシェルの球形断面の中心から回転中心を認識し、この点を中心に仮想回転を行って外転角度を一致させることにより、大腿骨の外転の変化又は差異が補正され得る。この種の計算は、ほぼ瞬時に実行され得るものであり、時間又は追加のＸ線撮影画像を撮る必要性を省く。更に、別の実施形態では、アルゴリズムは、骨盤の位置の誤りがシェルの見かけの傾斜及び前転に及ぼす影響を、鈍頭孔を表す放射線透過領域の幅及び縦横比を一致させる為に仮想回転を実行することによって補正し得る。

更に別の実施形態では、Ｃアーム撮像は、骨盤のような生体構造の位置をレジストレーションする為に使用され得る。この為に、解剖学的マーカ１３００は、既知のパターンで既知の幾何学的形状の放射線不透過性機構を組み入れることになる。Ｃアーム画像は、既知のマーカ特徴に基づいて捕捉され、スケーリングされ、ＡＲヘッドセット３６００に表示される。事前のＣＴスキャンから生成された生体の仮想モデルが、ユーザ１０６に表示される。ユーザ１０６は、仮想モデルを操作して、その外形がＣアーム画像と一致するように位置決めすることができる。この操作は、好ましくは、ＳＬＡＭを用いてユーザ１０６の手の位置と動きを追跡することによって行われる。或いは、ユーザ１０６は、仮想モデルが物理オブジェクトと共に移動するマーカを組み込んだ物理オブジェクトを操作することもできる。仮想モデルがＣアーム画像と正しく位置合わせされると、患者の生体構造と解剖学的マーカ１３００との間の関係が計算され得る。これらのステップと操作は、エッジ検出を使用し、それをＣＴから生成されたモデルのプロファイルの投影に合わせることによって、ソフトウェアによって計算的に実行することも可能である。

利用可能なＣアームのサイズが限られている為、ユーザが関心対象の生体構造全体を画像化するようにＣアームを配置することが困難であるか又は不可能である場合がある。例えば、ユーザは１４インチ幅の骨盤の画像を撮影したいが、１０インチ径の視野を撮影できるＣアームしか利用できない場合がある。この問題は、Ｃアーム画像のエッジ付近の歪みによって更に悪化し、使用可能な画像サイズを有効に減少させる。各画像に含まれる共通の特徴を識別して位置合わせをすることに基づいて複数の画像を繋ぎ合わせるアルゴリズムが存在するが、これらの技術は、画像間の重なりに依存してレジストレーションの為の共通の特徴を作り出している。例えば、１０インチのＣアームを有するユーザは、３６インチ離れた２つの解剖学的特徴をそれらの正しい解剖学的アライメントで示す画像を作成する為に、少なくとも４つの（そして４つを超える可能性が高い）重なり合う画像を取得する必要がある。本発明の別の実施形態では、本システムを使用して、Ｃアーム２７００からの複数の画像をデジタル的にステッチして、画像間の重なりなしに患者２７１６のより大きい部分の画像を作成することが可能である。Ｃアーム２７００によって捕捉された各画像について、ＡＲヘッドセット３６００は、ラベル２７０８等のトラッカーを使用して、患者２７１６に対するＣアーム２７００の対応する位置を測定する。次に、システムは、収集された画像をディスプレイ２７０６又はＡＲヘッドセット３６００上に、各画像を共通基準フレームに対して正しい位置及びアライメントで表示し、ユーザ１０６が、単一の画像に収まり得るよりも大きい患者２７１６の部分を含む仮想画像上で表示及び測定を行うことができるようにし、それは、例えば、画像サイズが完全な骨盤の範囲よりも小さいＣアーム２７００で完全な骨盤を撮像する、又は解剖学的アライメントで股関節の単一画像及び足首の単一画像を見る、等である。この機能は、画像処理システムからの放射線を最小限に抑えながら、四肢、脊椎等のアライメント及び／又は長さを評価するのに有用である。

ＶＩ．脊椎の処置
図３１は、超音波による脊椎のレジストレーション中に表示デバイス１０４を介してユーザ１０６に示されるＭＸＵＩの一例示的な実施形態を示している。解剖学的マーカ１３００は、手術部位に隣接する椎骨に固定される。マーカを定義する複数のフィデューシャル３１０６を含む超音波トランスデューサ３１０４が提供される。一実施形態では、超音波トランスデューサ３１０４は、電池式でコードレスであり、無線を介してＡＲヘッドセット３６００と通信できる。ソフトウェアは、マーカ１３００の位置に対して２Ｄ超音波画像を位置決め及び拡大縮小できるようにする為に必要な幾何学的情報及び他の情報を有する。超音波トランスデューサ３１０４は、患者３１００の表面上で移動されて関心領域をスキャンする。ソフトウェアは、２Ｄ画像データを、解剖学的マーカ１３００に対する超音波トランスデューサ３１０４の６自由度のポーズ情報と組み合わせて、関心領域の椎骨の表面を表す仮想モデル３１０８を生成する。超音波トランスデューサ３１０４は、より完全な３Ｄ画像を得る為に、関心対象の生体構造に対して相対的に回転されてもよい。棘突起の後方輪郭及び左右の乳頭突起を、椎骨のＣＴ生成３Ｄモデルの同じ特徴に一致させて、椎骨の仮想モデルを複合現実ビューにレジストレーションし、その後位置決めすることが可能である。或いは、超音波スキャンで見える適切な特徴が利用され得る、又は、仮想モデルの位置はＳＬＡＭで決定された患者の表面と相対的であってもよい。後者は、患者の関心対象の生体構造が処置の間静止しており、マーカを取り付けることが不必要に侵襲的又は負担となるような処置に適している。超音波は、同様にこのように、骨構造、神経、血管等（これらに限定されない）の、関心対象の生体構造のモデルを生成する為に使用され得る。任意の生体構造のレジストレーションが達成され得る。例えば、骨盤の基準フレームを超音波で確立し、左右のＡＳＩＳの近位頂点と恥骨の位置を特定することができる。同じ方法で、経皮的に器具やインプラントの位置を追跡できる。

図３２は、スタイラス１８００を用いた脊椎のレジストレーション中に表示デバイス１０４を介してユーザ１０６に示されるＭＸＵＩの例示的な実施形態を描写している。解剖学的マーカ１３００は、手術部位に隣接する椎骨に固定されている。術前撮影から生成された患者の椎骨の仮想モデル３２００が表示される。この仮想モデルは、第１のマーカ３２０２と、第２のマーカ３２０４と、第３のマーカ３２０６とを含む。図３３は、図３２に示す露出した生体構造のクローズアップ図を示す。患者の軟組織は、３つのマーカを含む第１の骨突起３３００、第２の骨突起３３０２、及び第３の骨突起３３０４を露出させる為に十分に剥離されている。ユーザ１０６は、仮想モデル上に示されたマーカの位置に最もよく一致する実際の椎骨上の点にスタイラスチップ１８０４を配置することによって、３つのマーカをレジストレーションする。次に、ソフトウェアは、これらの点を最もよく位置合わせする為に、ユーザの視界内で仮想モデル３２００を再位置決めする。ユーザ１０６は、仮想モデルを椎骨の実際の露出領域と比較することによって、レジストレーションの品質を視覚的に確認する。必要に応じて、ユーザ１０６は、スタイラス１８００の先端１８０４を使用して仮想モデルを再位置決めすることによって調整を行ってもよい。別の実施形態では、マーカは、各プロセスの最も後方の側面上にトレースされた円弧である。別の実施形態では、露出した突起の輪郭はＳＬＡＭで確立され、ソフトウェアは、これらの輪郭に一致するように仮想モデルの位置に対してベストフィットを実行する。

図３４は、脊椎固定術の処置中に表示デバイス１０４を介してユーザ１０６に示されるＭＸＵＩの一例示的な実施形態を描写している。ドリルビットの為の仮想ターゲット３４００と、仮想ドリルビット３４０２とが示されている。仮想ターゲット３４００及び仮想ドリルビット３４０２に対して透明であるようにレンダリングされた仮想椎骨３４０４が示されている。ドリルビットの角度数と、ドリルビットの先端から最大安全挿入深さまでの貫入深さ又は距離が、仮想テキスト３４０６として数値的に表示される。図３５は、図３４に示された仮想ターゲット３４００及び仮想ドリルビット３４０２のクローズアップ図を描写している。仮想ターゲット３４００は、近位十字線３５０２及び遠位十字線３５０４を有するロッド３５００の形態で示される。実際のドリルビットを安全な目標軌道に維持する為に、ユーザは、仮想ドリルビット３４０２が仮想目標３４００の両方の十字線のリングを通過する位置を維持しなければならない。理想的な軌道は、仮想ドリルビット３４０２が両方の十字線の中心を通過する時に達成される。実際のドリルビットが安全な目標軌道の外に移動した場合、仮想目標３４００の色が変化してユーザに警告し、可聴警告が発せられる。遠位十字線３５０４は、骨の表面上の計画された開始点に位置決めされる。仮想ターゲット３４００及び仮想ドリルビット３４０２の軸方向長さは、ドリルがその最大計画深さに到達した時にそれらの近位端が一致するようにスケーリングされる。仮想ドリルビット３４０２の変位のモーションの為のスケーリングは、仮想ターゲット３４００から遠い時は１：１であるが、近い時はより高い倍率に拡大され、より高い精度を可能にする。

これは、ドリルビットを用いた穿孔の文脈で説明されているが、この複合現実視は、椎弓根のタッピング又は椎弓根ネジの打ち込み、又は椎弓根ネジの管路を見つける為の追跡可能アールの使用を含む複数のステップに使用され得る。ドリル、タップ、ネジを交換する際に、軸方向の位置を迅速に再調製する手段として、ユーザは先端をマーカの窪みに当てる。ＡＲガイダンスによってインプラントをより低侵襲に導入することができ、例えば、ＰＬＩＦ、ＸＬＩＦ又はＴＬＩＦ処置中に体間ケージを位置決めすることが可能である。

別の実施形態では、手術用ドリルは、ヘッドセットと無線で通信して双方向通信を提供するように装備され得る。これは、例えば、ドリルが安全な目標軌道内にないか又は最大安全深さに達した場合に、ドリルを自動的に停止するか又は操作を防止すること、及び／又は、トルク制限適用に対して適切なトルク設定パラメータを指定する為の便利なユーザインターフェースを提供することを含む様々な安全及びユーザビリティ向上機能を促進し得る。例えば、所定のサイズの椎弓根ネジの最大挿入トルクや、椎弓根ネジのセットネジの着座トルク等である。使用される実際の値は、例えば、穿孔中のトルク曲線、椎弓根ネジ又はセットネジの最終的な着座トルク、椎弓根ネジの移植位置、又は使用された特定のインプラント等の文書化又は研究目的の為に患者記録内に記録され得る。

別の実施形態では、ＡＲヘッドセット３６００は、神経モニタリング／神経定位システムに無線接続されて、特にＸＬＩＦ等の低侵襲処置中に、ユーザ１０６（例えば、脊椎執刀医）の視野内のリアルタイム警告及び測定値を提供し得る。更に、患者の実際の神経が撮像され、３Ｄモデルに再構成された術前撮像と連動して使用すると、特定の神経が刺激されたこと、又は刺激プローブが接近していることをシステムが検出した場合、その神経構造を表すホログラムをユーザ１０６にハイライトして、神経構造への接触又は損傷を避けることを容易にすることが可能である。

ＶＩＩ．膝関節置換術
本発明の別の例示的な実施形態で、図４２を参照すると、システム１０は、膝置換手術に使用される。膝置換患者の骨盤４２０２、大腿骨４２０４、及び脛骨４２０６が図４２に示されており、執刀医４２０８（即ち、ユーザ１０６）は、ＡＲヘッドセット３６００を装着していることが示されている。大腿骨指標４２１０及び脛骨指標４２１２は、夫々大腿骨及び脛骨にピンで固定されている。大腿骨は、大腿骨指標４２１０の基準フレームにおける股関節の中心の代理として回転中心を決定する為に、可動範囲を通して動かされる。

幾つかの実施形態では、本明細書に記載される頭部装着型表示デバイスの何れも、ナビゲーションシステムに対する障害物が回避され得るように移動する能力をユーザに付与する。これにより、例えば手術室内で固定カメラを使用する定置ナビゲーションシステムに対して、膝関節置換術の為の大腿骨のより大きい及び／又は異なる可動域が可能になる。関節中心（例えば、股関節中心）を決定する為に、慣性空間に固定された１つ以上のトラッカーと、骨（例えば、大腿骨）に固着された１つ以上のトラッカーとを必要とする回転中心最小二乗適合（又は類似のもの）が実行され得る。一例では、図８１に示すように、頭部装着型ディスプレイ及びナビゲーション装置を使用して関節中心を決定する方法は、任意選択で（破線で示す）、ブロックＳ８１００で、骨及び関節に対して固定された定置マーカに１つ以上の基準トラッカーを固着するステップと、ブロックＳ８１１０で、基準座標フレームに骨上の点をレジストレーションするステップと、ブロックＳ８１２０で、骨座標フレーム（例えば、大腿骨座標フレーム）を、レジストレーションされた点に基づいて作成するステップと、ブロックＳ８１３０で、基準座標フレームから骨座標フレームに変換するステップと、ブロックＳ８１４０で、頭部固定型頭部装着型ディスプレイ及びナビゲーションシステムを用いて基準フレーム内の静止トラッカーの点を取得するステップと、ブロックＳ８１５０で、骨座標フレーム内の関節中心を決定するステップを含む。頭部装着型ディスプレイシステム又はナビゲーションシステムの何れが、図８１の方法の為に本明細書で使用されてもよい。

幾つかの実施形態では、点の数を制限するか、又は重複する点の数を制限する為に、以前の点から何らかの公称距離又は他の尺度によって分離されている場合にのみ、新たな点が取得される。例えば、ナビゲーションシステムは、或る点の、任意の他の点からの距離を決定するように構成されるように、各点に対する３次元位置を出力する。

本方法の幾つかの実施形態では、ユーザが頭部を動かすことによってシステムの視野を調整できる為、より大きい運動範囲に亘って基準トラッカーを追跡できるように、頭部装着型ディスプレイ及びナビゲーションシステムを取得中に移動させてもよい。

幾つかの実施形態では、点は、大腿座標系に変換され、大腿座標系における股関節中心の位置を計算する為に使用され、股関節中心を決定する為にリアルタイム最適推定フィルタを通じて実質的に連続的に処理され、及び／又は股関節中心を決定する為に全ての点の最終取得後にバッチプロセスとして処理されてもよい。例えば、リアルタイム推定フィルタを通して実質的に連続的に処理することは、例えば執刀医等のユーザに対して、有効な解に近づいているというフィードバックを提供し得る。幾つかの実施形態では、バッチ処理は、多数の点が収集され試行された後に発生し、処理が不十分である場合、ユーザに再試行を促し、再試行する。

次に、膝を、可動域を通して屈曲させて、ベースライン、膝の術前屈曲軸を決定する。次いで、執刀医４２０８は、切開を行って膝関節を露出させる。スタイラス１８００は、滑車部の溝の最遠位点等のマーカに基づいて、大腿骨遠位部の中心をレジストレーションする為に使用される。脛骨の近位中心は、スタイラスの先端でＡＣＬのフットプリントをレジストレーションすることによって定義される。特定の低侵襲性処置の場合、スタイラスを１つのポートから関節包に挿入し、第２のポートから挿入された関節鏡４２１４で可視化することにより、骨指標を関節鏡でレジストレーションすることができる。更に、関節鏡からの関節鏡画像４２１６は、ＡＲヘッドセット３６００にワイヤレスで通信され、ＭＲＵＩの一部として表示されてもよい。別の実施形態では、追跡可能な関節鏡にスタイラスチップが組み込まれ、マーカレジストレーションが単一のポートを通して実行されることを可能にし得る。次に、スタイラス１８００を使用して、内側踝及び外側踝をレジストレーションし、これらの点の補間によって脛骨指標４２１２の基準フレームにおける足首の中心を決定することができる。この時点で、大腿骨遠位部の中心を原点とし、股関節の中心に向かって延びる第１の軸と、膝の屈曲軸によって定義される第２の軸と、第１及び第２の軸の法線として定義される第３の軸とを有する大腿骨基準フレームが確立される。脛骨近位部の中心を原点とし、足首の中心に向かって延びる第１の軸、膝の屈曲軸で定義される第２の軸、第１の軸と第２の軸の法線となる第３の軸を有する脛骨基準フレームが定義される。これらの基準フレームは、仮想画像としてＭＲＵＩに提示されてもよい。

図４３は、膝が露出している膝置換術中にＡＲヘッドセット３６００を介して執刀医４２０８に示されるＭＸＵＩの一例示的な実施形態を示している。大腿骨顆頭４３０２及び脛骨プラトー４３０４の局部マップは、ＡＲヘッドセット３６００内の深さセンサ３９０６を用いたスキャンにより、又は立体カメラ３９０４及びＳＬＡＭの使用により生成され得る。膝は可動域を通じて屈曲され、執刀医４２０８は、顆頭を可能な限り可視化できるように視座を調整することになる。視野の中心に在る円４３０６は、執刀医４２０８がレジストレーションプロセス中に顆を「描く」為に用いられ、マッピングアルゴリズム用のマスクとして用いられる。この円は、マッピングの速度及び精度を高める為に使用される構造化光プロジェクタの投影野と一致してもよい。表面がマッピングされる時、マッピングされた領域の仮想３Ｄメッシュ４３０８は、執刀医４２０８をガイドし、表面レジストレーションの品質の視覚的確認を提供する為に、関節表面に投影され得る。次に、アルゴリズムを用いて、遠位大腿骨及び近位脛骨の関節面上の最下点を決定して、遠位大腿骨及び近位脛骨の切除の深さを決定する。局部マップから理想的なインプラントサイズが決定され得る。

別の例示的な実施形態では、システム１０は、大腿骨４２０４及び脛骨４２０６の局部マップを使用して、夫々の骨（４２０４、４２０６）にフィデューシャルマーカを固着することに代えて、骨（４２０４、４２０６）のポーズを追跡してもよい。一実施形態では、ユーザ１０６は、膝が屈曲及び伸展される時に見えたままである骨（４２０４，４２０６）の領域を選択してもよい。図５８Ａ～Ｃを参照すると、ユーザ１０６は、脛骨５８０８の前内側面又は遠位大腿骨５８０６の前内側面をマッピングすることを選択して、基準３次元表面マップ５８０２及び５８０４を夫々作成してもよい。これらの領域は、典型的な皮膚切開部を通して見ることができる。可視性を維持する為に、慣用的な引き込み器具及び技法が使用されてもよい。システム１０は、基準３次元マップ５８０２及び５８０４を、点群として、数学的表面として、又は他の手段で保存してもよい。システム１０は、センサスイート２１０に対して脛骨基準フレーム５８１２及び大腿骨基準フレーム５８１０を作成し、基準フレーム５８１２及び５８１０に対する表面マップ５８０２及び５８０４の初期ポーズを夫々記録してもよい。ユーザ１０６は、システム１０が基準フレーム５８１２又は基準フレーム５８１０に対して相対的に記録するポーズの、同じ骨又は剛体上の追加の基準点又は構造をレジストレーションしてもよい。システム１０は、センサスイート２１０を用いて、生体構造の同じセクションを連続的に再スキャンし、脛骨及び大腿骨の夫々について変位した３次元表面マップ５８１６及び５８１４を作成する。次に、各変位表面マップ５８１６、５８１４を、同じ表面について作成された対応する基準表面マップ５８０２、５８０４と比較し、システム１０は、変位表面マップ及び基準表面マップを最適適合に揃える為に必要な幾何学的回転及び並進を決定する。次に、システム１０は、大腿骨４２０４又は脛骨４２０６の剛体上の格納された全ての基準点及び構造に同じ回転及び並進を適用し、センサスイート２１０の基準フレームに対する全てのそのような点及び構造の現在のポーズを計算する。

図５５は、膝関節置換術をナビゲートする為にシステムを使用する為の例示的な方法を示すフローチャートである。ユーザ（１０６）は、先ず、膝を露出して骨性生体構造を視覚化する（５５００）。次いで、センサスイート２１０は、遠位大腿骨５８０６の前内側面及び近位脛骨５８０８の前内側面をスキャンする（５５０２）。これらの表面から、基準３次元表面マップ５８０２、５８０４が格納される（５５０４）。システムは、任意選択で、大腿顆部５８１８、滑車部５８２０、脛骨プラトー５８２２、後顆５８２４、又は上顆５８２６のより大きい領域をスキャンしマッピングすることができる。これらの拡張表面マップ５８２８、５８３０、５８３２、５８３４、５８３６夫々から、及び任意選択で外部の解剖データを用いて、システム１０は遠位大腿骨４２０４上の中心及び近位脛骨４２０６の中心を特定する（５５０６）。大腿骨は、マッピングされた遠位大腿骨生体構造５８０４に対する股関節の中心の代理として股関節に関する大腿骨の回転中心を決定する為に遠位大腿骨５８０６をスキャンしながら可動域を通して動かされる（５５０８）。次に、ユーザ１０６は、下腿５１１２を大腿骨４２０４に対してほぼ垂直に配置することにより、膝を９０°屈曲させた状態で位置決めする。膝を屈曲させた状態で、システム１０は、そのセンサスイート２１０を使用して、遠位大腿骨５８０６及び下腿部５１１２をスキャンし、そのおおよその中心軸５１１４を特定する。或いは、システム１０は、そのセンサスイート２１０を使用して、膝が９０度の可動範囲を通って屈曲している時に遠位大腿骨５８０６及び近位脛骨５８０８をスキャンして、膝の平均屈曲軸を特定する。次いで、システム１０は、原点が遠位大腿骨の中心に在り、第１の軸が股関節の中心に向かって延び、第２の軸が下肢５１１４の軸に平行であり、第３の軸が第１の軸及び第２の軸の法線として定義される、センサスイート２１０に対する大腿骨４２０４の基準フレーム５８１０を確立する（５５１０）。或いは、システムは、原点が遠位大腿骨の中心に在り、第１の軸が股関節の中心に向かって延び、第２の軸が膝の屈曲軸に平行であり、第３の軸が第１の軸及び第２の軸の法線として定義される、センサスイート２１０に対する大腿骨４２０４の基準フレーム５８１０を確立する。脛骨に対する後顆の位置が記録され、後顆間に軸が構築される。システム１０は、そのポーズを追跡する目的で、足の背側表面の断面の表面マップを生成する。別の実施形態では、足は、皮膚又はその上のドレープ、包帯、又はブーツに固着されたマーカを介して追跡されてもよい。足は、マッピングされた近位脛骨生体構造に対する足首の中心の代理としてその回転中心を決定する為に可動範囲を通して動かされる（５５１２）。次いで、脛骨の機械軸が近位脛骨と足首の中心との間に構築され、原点が近位脛骨の中心に在り、第１の軸が股関節の中心に向かって延び、第２の軸が下肢５１１４の軸に平行であり、第３の軸が第１の軸及び第２の軸の法線として定義される、センサスイート２１０に対する脛骨４２０６の基準フレーム５８１２を確立する（５５１４）。或いは、システムは、原点が近位脛骨の中心に在り、第１の軸が足首の中心に向かって延び、第２の軸が膝の屈曲軸に平行であり、第３の軸が第１の軸及び第２の軸の法線として定義される、センサスイート２１０に対する脛骨４２０６の基準フレーム５８１２を確立する。次に、露出した遠位大腿骨５８０６及び近位脛骨５８０８を繰り返しスキャンすることにより、システム１０は、各スキャンについて変位表面マップ５８１４及び５８１６を生成する（５５１６）。連続する各スキャンで、システムは、変位表面マップ５８１４及び５８１６を、遠位大腿骨５８０６及び近位脛骨５８０８上の対応する領域についての元の表面マップ５８０４及び５８０２と夫々比較することができる。この比較に基づいて、システム１０は、変位した表面マップ５８１４及び５８１６を基準表面マップ５８０４及び５８０２と位置合わせする為に必要な並進及び回転を決定することによって、センサスイート２１０に対する大腿骨４２０４及び脛骨４２０６のポーズを追跡することができる（５５１８）。次いで、システム１０は、夫々のマッピングされた解剖学的表面と切削器具又はガイドとを同時に追跡することによって、遠位大腿骨及び近位脛骨の切除の角度及び深さを計算し表示する（５５２０）。次いで、システム１０は、仮想ガイドを表示して、ユーザ１０６が切削器具又はガイドをユーザ定義の目標角度又は深さに位置合わせするのを支援してもよい（５５２２）。システム１０は、外部インプラントデータに基づいて、ユーザ１０６にインプラントサイズを提案してもよい（５５２４）。インプラント又は試行インプラントの配置に続いて、システム１０は、屈曲の範囲を通して大腿骨及び脛骨を追跡し、例えば、軸回転又は瘤／弁膜回転を表す１つ以上の軸の周りでの大腿骨及び脛骨の相対回転を測定してもよい（５５２６）。

任意選択で、システム１０は、マッピングされたトポグラフィを使用して、遠位大腿骨５８０４の夫々の中心（例えば、滑車部上の最遠位点又は顆の最も広い部分を通る線の中心を識別することによって）又は近位脛骨５８０２の中心（例えば、プラトーのセントロイドを計算することによって）を自動的に決定してもよい。任意選択で、中心点の特定は、中心が特定されていた解剖学的局部マップのライブラリのような外部データによって補完されてもよく、それにより、システム１０は、生体構造が部分的に不明瞭で、表面全体のマッピングが妨げられた場合に中心点を計算することが可能となる。

図５６は、移植された単顆コンポーネントを有する膝を描写している。大腿骨５６０２及び脛骨５６０４の各々の１つの区画が切除されている。大腿骨インプラント５６０６及び脛骨インプラント５６０８が留置されている。一例示的実施形態では、システム１０は、ネイティブの大腿骨５６０２と脛骨５６０４の相対運動を追跡し、記録する。次に、カメラ２０６を用いてインプラント（５６０６、５６０８）の表面をスキャン及びマッピングし、システム１０は、記録された脛骨－大腿骨の運動に従うインプラント表面の経路を計算してもよい。システム１０は又、残りの露出した骨５６１０をマッピングし、インプラント（５６０６、５６０８）と骨５６１０との間のインピンジメントを検出してもよい。干渉体間の重なりを表す体積が計算され、表示デバイス１０４に仮想モデルとしてオーバーレイされてもよい。又、システム１０は、表示デバイス１０４に、インピンジメント部位をハイライトしてもよい。例えば、大腿骨インプラント５６０６は、矢状切除面５６１０に隣接する脛骨の***に衝合してもよく、又はこの***は、大腿骨インプラント５６０６に隣接する大腿骨に衝合してもよい。少なくとも１つの接触面が骨である場合、ユーザ１０６は、接触点を変更する為に骨をトリミングすることを選択してもよい。少なくとも１つの接触面がインプラント上である場合、ユーザ１０６は、インピンジメントを低減する為にインプラントの位置を調整することを選択してもよい。

図５７を参照すると、ネイティブの脛骨大腿キネマティクスを記録したシステム１０は、インプラント間接触点５７０２及び予め定義された安全域５７０４の軌跡をインプラントの表面上に投影してユーザ１０６に表示してもよい。

図４４を参照すると、仮想脛骨インプラント４４０２及び仮想大腿骨インプラント４４０４は、ＡＲヘッドセット３６００を介して執刀医４２０８に示されるＭＸＵＩに表示され得る。執刀医４２０８は、満足するまで、これらの仮想モデルのサイズを切り替え、位置を調整することができる。別の実施形態では、仮想脛骨インプラントは、脛骨コンポーネントの回転整列の為のガイドを提供する為に、ブローチング向けの脛骨の準備中に表示され得る。

図４５を参照すると、脛骨切断ブロックの為のピンの位置の為の仮想ガイド４５０２が、ＡＲヘッドセット３６００を介して執刀医４２０８に示されるＭＸＵＩに表示される。遠位大腿骨切断ブロックの為のピンの位置の為の仮想ガイド４５０４が表示される。フォーインワン切断ブロック用のピンの配置の為の仮想ガイド４５０６が表示される。実際のピンの配置は、仮想ガイド４５０２、４５０４又は４５０６と位置合わせすることによってガイドされる。その後、大腿骨４５０８及び脛骨４５１０は、これらのピン上に切断ブロックを配置することによって切除され得る。

図４６は、図４５に示すＭＸＵＩの別の実施形態を示し、仮想ガイド４６０２が理想的な切除面を表示する為に使用され、執刀医４２０８は実際の鋸刃を仮想ガイド４６０２と位置合わせすることによって骨を直接切除してもよい。或いは、追跡された鋸４６０４の場合、執刀医４２０８は、仮想鋸刃４６０６を仮想ガイド４６０２と位置合わせすることによって骨を切除してもよい。各切除の内反／外反角度、屈曲角及び深さを示す仮想テキスト４６０８は、関連する場合、数値的に表示されてもよい。

図４７及び図４９は、ベース要素４７０２、ばね４９０２、顆頭要素４９０４、及び顆頭プレート４９０６を有するシステム１０に任意選択で含まれ得る膝バランシング装置４７００を描写している。ベース要素４７０２は、ハンドル４９０８と、ターゲット４７１４と、脛骨プレート４９１０とを含む。顆頭要素４９０４は、ハンドル４９１２と、円筒形軸受穴４９１４とを含む。顆頭プレート４９０６は、円筒軸受シャフト４９１６、ターゲット４７１６、及び２つのパドル４７０６及び４７０７を含む。顆頭プレート４９０６は、円筒形軸受４９１６を中心に枢動し、ベースプレート４９１０に対する顆頭プレート４９０６の内側／横方向の傾きを可能にする。別の実施形態では、軸受４９１６は、顆頭プレート４９０６の内側／外側及び屈曲／伸展傾斜を可能にするボール型であってもよい。別の実施形態では、顆頭プレート４９０６は、脛骨インプラントの座面のトポグラフィに一致するような輪郭であってもよい。別の実施形態では、設計は、強固に統合されたディストラクションパドル及びマーカを有する２つの完全に独立した顆頭要素を夫々含み得る。

図４７を参照すると、脛骨プレート４９１０は、切除された脛骨４７０４上に着座し、ディストラクションパドル４７０６及び４７０７は、夫々、内側大腿骨顆部４７０８及び外側大腿骨顆部４７１２との接触状態を維持する。ディストラクションパドル４７０６及び４７０７は、ばね４９０２によって押され、前後軸を中心に枢動して、各大腿顆部（４７０８、４７１２）と脛骨４７０４との間にほぼ等しく且つ一定のディストラクション力を提供する。ベース要素４７０２及び牽引パドル（４７０６、４７０４）は、ソフトウェアが各大腿顆部（４７０８、４７１２）の牽引の程度を測定することを可能にする光学マーカ（４７１４、４７１６）を含む。

膝が可動域に亘って屈曲されると、各ターゲットの位置が、脛骨及び大腿骨のポーズと同様に追跡される。このデータは、屈曲角度の関数としての内側及び外側弛緩のプロットを生成する為に使用される。この情報は、膝の可動域に亘ってバランスをとる為の遠位大腿骨切断ブロック位置決めピンの理想的な位置を計算したり、膝の可動域を通じてバランスをとる為に骨棘の除去や軟組織のリリースを行う際のガイドとして使用される。このプロットは、図４８に示すようにＭＸＵＩで表示されてもよく、このＭＸＵＩでは、第１の３次元円弧４８０２が膝の可動範囲に亘る内側弛緩を表し、第２の３次元円弧４８０４が外側弛緩を表している。又、実際の膝の現在の屈曲角における数値が仮想テキスト４８０６として表示され得る。

図６６Ａ及び６６Ｂは、膝の手術において切除深さを測定する為に使用されるシステム１０の一実施形態を示している。遠位大腿骨６６０２は、顆頭６６０４及び６６０６、並びに機械軸６６１４を含む。マーカ６６０８及び６６１０は、夫々、大腿骨６６０２及び顆頭ガイド６６１２に強固に固定されている。マーカ６６２０は、切断ガイド６６１６に強固に固定されている。

切除深さを測定する際の課題は、深さ基準として使用される大腿骨顆が、切除面の角度によってその最も突出した点が変化するように不規則に形成されていることである。一般的な解決策は、顆頭表面に多くの点をレジストレーションしてマッピングすることであり、これは時間が掛かるが、コンピュータが垂直経路に沿って最も突出した点までの距離を計算することによって、特定の角度における深さを計算することを可能にする。図６７は、システム１０を使用して、顆頭表面をマッピングすることなく、膝の手術において遠位大腿骨の生体構造をレジストレーションし、深さを測定する方法を示すフローチャートである。ユーザ１０６は、顆頭ガイド６６１２を顆頭６６０４、６６０６に定置する（ブロック６７００）。システム１０のガイダンスに従って、ユーザ１０６は、顆頭ガイド６６１２と顆頭６６０４、６６０６の少なくとも１つとの間の接触を維持しながら、顆頭ガイド６６１２の角度を目標切除角度に調整する（ブロック６７０２）。システム１０は、センサスイート２１０を使用してマーカ６６０８及び６６１０を追跡して、大腿骨６６０２に対する顆頭ガイド６６１２のポーズを測定し、顆頭６６０４、６６０６の１つ以上と接触している顆頭ガイド６６１２の表面と一致する深さ基準面６６１８を記録する（ブロック６７０４）。次いで、システム１０は、機械軸６６１４と深さ基準面６６１８との交点に深さ基準点６６２２を構築し記録する（ブロック６７０６）。任意選択で、システム１０は、顆頭ガイド６６１２を顆頭６６０４又は６６０６の少なくとも１つに接触させたまま、ユーザ１０６に顆頭ガイド６６１２を複数の配向に調整するように指示して、追加の深さ基準面６６１８及び深さ基準点６６２２を記録してもよい（ブロック６７０８）。

幾つかの実施形態では、深さ基準点捕捉の為にユーザを異なる方向にガイドする為の追加的又は代替的な方法が存在する。一実施形態では、図７４に示すように、例えば１つ以上の領域７４１０を含むターゲット７４００（例えばブルズアイ）が、顆頭ガイドからの１つ以上の角度を表す可動式アイコン７４１２を示して提示される。円形のターゲットが示されているが、当業者であれば、任意の様式又は形状（例えば、正方形、長方形、二次元、３次元等）が本明細書に含まれることを理解するであろう。本実施形態では、システムは、ガイドを顆頭に対して相対的に動かし、有効な深さ基準点を捕捉する為に可動式アイコン７４１２を使用してターゲット７４００を仮想的にペイント又はマーク又はハイライト７４１４するようにユーザに指示を出力する。有効な深さ基準点が記録された角度では、システムは、ターゲット上にインジケータ又はマーカを表示又は出力して（ペイントされた領域７４１４によって示される）、示された領域について有効な深さ基準点が取得されたので、その領域で可動式アイコンを再び動かす必要はないことをユーザに通知する。他の実施形態では、システムは、ユーザが以前に捕捉された有効な深さ基準点を仮想的にペイントすることを制限する。顆頭上でのガイドの移動の間、データベースは、切断ステップで使用する為に取得された有効な深さ基準点の全て又はサブセットから形成される。

別の実施形態では、図７５に示すように、１つ以上の領域７５１０を備えたグリッド７５００が、顆頭ガイドからの角度を表す可動式アイコン７５１２を表示して提示される。この実施形態では、システムは、ガイドを顆頭に対して移動させ、可動式アイコン７５１２を使用してターゲット７５００を仮想的に描く７５１４ように、ユーザに対する出力指示を表示する。有効な深さ基準点が記録された角度では、システムは、ターゲット７５００上に（ペイントされた領域７５１４によって示される）インジケータ又はマーカを出力又は表示して、指示された領域について有効な深さ基準点データが取得されたので、その領域で可動式アイコンを再び動かす必要がないことをユーザに通知する。顆頭上でのガイドの移動中、データベースは、切断ステップで使用する為に取得された有効な深さ基準点の全て又はサブセットから形成される。

更に別の実施形態では、図７６に示すように、ターゲット７６００が、１つ以上の領域７６０２、７６０４、７６０６、７６０８を含んで表示される。例えば、１つ以上の領域が、ターゲット７６００の外周７６１０付近に、それに隣接して、又はそれに近接して配置されてもよい。これらの外側領域の内の１つ、例えば領域７６０６は、ハイライトされ（例えば、色が変わる、起動される、点灯する、点滅又はブリンクする、可聴ビープ音を出す、震動する、等）、他の領域、例えば領域７６０８は、不活性化（例えば、グレーアウト）される。顆頭ガイドからの角度を表す可動式アイコン７６１２が存在する。この実施形態では、システムは、可動式アイコンがハイライト領域７６０６の上に少なくとも部分的に重なるか又は少なくとも部分的に重なるまで、ガイドを顆頭に対して動かすようにユーザに対する指示を出力又は表示する。これが達成されると、現在ハイライトされている領域７６０６は不活性化され、次の、後続の、又は隣接する領域、例えば領域７６０４がハイライトされる。これは、全ての領域７６０４、７６０６、７６０８について繰り返され、その後、システムは、ターゲット７６００の中央の領域７６０２に可動式アイコンを移動させる指示をユーザに出力又は表示する。この動作中、バックグラウンドで深さ基準点が取得される。顆頭上でのガイドの移動中、切断ステップで使用する為に取得された全ての点からデータベースが形成される。

更に別の実施形態では、システムは、移動ターゲットを表示又はユーザに提示し、可動式アイコンがシステムによってハイライトされたターゲットと少なくとも部分的に重なるか又はその上に重なるまでガイドを顆頭に対して移動させる指示をユーザに出力又は表示する。移動ターゲットの速度及びパターンは、装置の精度を優先する領域でデータを取得する目的で、ソフトウェアによって変化させることができる。顆頭に対するガイドの移動中、データベースは、切断ステップで使用する為に取得された全ての点から形成される。

次に、ユーザ１０６は、大腿骨から顆頭ガイド６６１２を取り外し、ユーザ１０６が大腿骨６６０２上でその角度及び深さを調整できるように構成された切断ガイド６６１６を取り付ける（ブロック６７１０）。切断ガイド６６１６が調整されると、システム１０は、トラッキングマーカ６６２０及び６６０８によって、大腿骨６６０２に対する切断ガイド６６１６の位置を夫々測定する。瞬間的な切除深さは、切断ガイド６６１６によって規定される現在の切除面から、切断ガイド６６１６の角度に最もほぼ平行な深さ基準面６６１８に対応する深さ基準点６６２２までの法線距離として計算される（ブロック６７１２）。別の実施形態では、深さ基準面６６１８に対応する深さ基準点６６２２は、切断ガイドの現在の配向が、顆頭ナビゲーション中に記録されたものでない場合、異なる配向で取得された基準面及び／又は他の深さ基準点の補間又は外挿の何れかによって決定されてもよい。ユーザ１０６は、システム１０からのフィードバックに従って、切断ガイド６６１６を所望の切除角度及び深さに調整する（ブロック６７１４）。深さ測定精度は、顆頭の不規則な形状及び顆頭表面上の最も突出した点を特定することの不確実性に起因して、深さ基準面からの角度が増加するにつれて低下する。位置ずれによる深さ誤差を最小限にする為に、システム１０は、切断ガイド６６１６が最もほぼ平行な深さ基準面６６１８から所定の角度限界（例えば、１度）を超えて離れている場合、深さ測定値を表示しない。切断ガイド６６１６が所望の角度及び深さになると、ユーザ１０６は、スロットを通して又は切断ガイド６６１６の面に対して鋸引きすることによって、大腿骨を切除する（ブロック６７１６）。角度限界は、所望の分解能に基づいて選択されてもよい。例えば、１度の角度限界は、約１ｍｍ又は実質的に１ｍｍの誤差をもたらし得る。

幾つかの実施形態では、システムは、ユーザに多くの点を手動で選択させることなく、背景の複数の点における基準深さ点（即ち、３次元点）を格納する必要がある。この技術的課題を解決する為に、１つ以上の基準深さ点がデータベース内に格納され、配置され、関連付けられる。基準深さ点は、技術的課題を解決する為にデータベースにおいて必要な最小限の情報量である。データベースの１つの例示的な非限定的な実施形態は、例えばＶＶ角、ＦＥ角又は夫々２．４と１．７の基準深さ点の測定値を表すマーカを重ねたグリッド（例えば、両軸で約－３から約＋３まで約０．５間隔で）としてのマトリックスを含んでいる。データベースは、測定値に最も近いデータベース内のマーカ又は既知の値が２．５，１．５であると決定又は表示するように構成されると共に、その距離（ｓｑｒｔ（（２．５－２．４）＾２＋（１．５－１．７）＾２又は二乗和平方根（ＲＳＳ）距離として計算）を、その基準深さ点に対する性能指数（ＦＯＭ）として表現するように構成される。言い換えると、ＲＳＳ距離はその基準深さ点のＦＯＭである。基準深さ点及び関連するＦＯＭがデータベースに格納されると、フラグ又は他のインジケータが、既知の値又は最も近いインデックス（この例では、２．５、１．５）でデータベースインデックスをマークする。新たに測定された基準深さ点に対して新たな低いＦＯＭが計算された場合、新たな低いＦＯＭと新たに測定された深さ点は、データベース内の以前のエントリを上書きすることになる。新たに測定された基準深さ点に対して新たな、等しい又は高いＦＯＭが計算された場合、新たな等しい又は高いＦＯＭはデータベース内に記録されない。

１つの例示的な実施形態が図７７に示されている。本明細書に記載されるシステムの何れかによって実行される図７７の方法は、ブロックＳ７７００でＮ×Ｍエントリを含むデータベースを作成するステップを含む。顆頭ガイドが使用される前に、システムは、空のデータベース又は二次元マトリックスを作成する。データベースは、Ｎ×Ｍエントリからなり、ここで、Ｎは、取得されることになる内反／外反（ＶＶ）角度の数であり、Ｍは、取得されることになる屈曲／伸展（ＦＥ）角度の数である。ＮとＭを決定する１つの方法は、アレイの最大点を維持しながら、最大希望目標角度から最小希望目標角度を減算し、精度に必要な分解能で割ることである。内外反の例では、最小約－３度、最大約＋３度、分解能は約０．５度であり得る。更に例えば、最小値約－３．５度、最大値約＋２度のＶＶで、分解能は約０．２５度、最大値と最小値の端点を含めてＮ値は２４となる。この場合、最大及び最小の端点を含めて１４のＮ値が得られることになる。

本方法は更に、ブロックＳ７７１０で、データベースを、目標ＶＶ角度、目標ＦＥ角度、測定されたＶＶ角度の任意の値（例えば、特定の単位のない任意の値であり得る）、任意の値（例えば、特定の単位を伴わない任意の値であり得る）測定されたＦＥ角度、人為的に大きい性能指数（ＦＯＭ）、（０，０，０）の基準点深さベクトル、及び基準深さが入力されたことを示す基準深さ有効フラグは既に偽に設定されている（即ち、偽とは２Ｄ配列又は行列のこの時点でデータが格納されていないことを意味する）ことを示す基準深さ有効フラグで初期化するステップを含む。ブロックＳ７７１０は、本明細書の他の場所で説明される方法の何れかを用いて、ユーザによる目標顆頭角への顆頭ガイドの調整に基づいてもよい。図７４～７５に示されるように、仮想的にペイントされた領域７４１４、７５１４は、システムに格納されている有効フラグを間接的に示している。

ブロックＳ７７２０を参照すると、方法は、目標顆頭角度に位置決めされたガイドの現在のＶＶ角度又は現在のＦＥ角度の内の一方又は両方を出力するステップを含む。

幾つかの実施形態では、本方法は、ブロックＳ７７３０において、データベース内の目標ＶＶ角度及び／又は目標ＦＥ角度に最も近い位置を決定するステップを含む。例えば、システムは、ブロックＳ７７００で計算された目標角度に対する現在のＶＶ角度及びＦＥ角度の二乗和平方根（ＲＳＳ）距離を表す性能指数（ＦＯＭ）を計算してもよい。幾つかの実施形態では、この計算は、バイナリサーチ又は線形方法によって実行され得る。ＦＯＭは、ＳＱＲＴ（（ＶＶ＿ｃｕｒｒｅｎｔ－ＶＶ＿ｉ）＾２＋（ＦＥ＿ｃｕｒｒｅｎｔ－ＦＥ＿ｊ）＾２）に等しく、ｉとｊはデータベース内の全ての点に対するＦＯＭを計算する為に変動する。最小ＦＯＭは、データベース又は２Ｄ配列若しくはマトリックスにおいて、基準深さ点が格納されるべき最も近い点を表す。データベース内のｉ及びｊのインデックスは、後続のステップの為に格納される。

本方法は更に、ブロックＳ７７４０で、基準深さが以前にデータベースに記録されていなかった場合、ＦＯＭ、現在のＶＶ角度、現在のＦＥ角度、及びこれらのインデックスにおいてデータベースに格納すべき深さ基準点を計算するステップと、基準深さ有効フラグを真に設定するステップを含む。このフラグは、２Ｄアレイ又はマトリックス内のこのポイントに対するデータが正常に格納されたことを示す。

或いは、ブロックＳ７７５０で、基準深さが以前にデータベースに記録されていた場合、現在のＶＶ角度のＦＯＭ又は現在のＦＥ角度のＦＯＭの一方又は両方をデータベース内のＦＯＭと比較し、現在のＦＯＭが以前に記録された基準深さより小さい場合に、データベース内の基準深さを上書きする。現在のＦＯＭが格納されているものよりも大きい場合は、基準深さを上書きしない。

切断ガイドが装着され、深さ計算の為に基準深さ点が必要な場合、図７８に示すような方法を使用して基準深さ点を検索する。図７８に示すように、本方法は、ブロックＳ７８００で、所望の深さ又は所望の角度の一方又は両方に配置された切断ガイドの現在のＶＶ角度又は現在のＦＥ角度の一方又は両方を決定するステップを含む。例えば、これは、大腿骨に対する切断ガイドのユーザ調整に基づき得る。

図７８の方法は更に、ブロックＳ７８１０において、図７７で上述したように、データベース内の目標ＶＶ角度又は目標ＦＥ角度の一方又は両方への最も近い位置を決定するステップを含む。ブロックＳ７８１０は、データベース内の目標角度に対する現在のＶＶ角度及びＦＥ角度の二乗和平方根（ＲＳＳ）距離を表すＦＯＭを計算するステップを含み得る。幾つかの実施形態では、これは、バイナリサーチ又は線形方法によって実行され得る。ＦＯＭは、ＳＱＲＴ（（ＶＶ＿ｃｕｒｒｅｎｔ－ＶＶ＿ｉ）＾２＋（ＦＥ＿ｃｕｒｒｅｎｔ－ＦＥ＿ｊ）＾２）に等しく、ｉとｊはデータベース内の全ての点に対するＦＯＭを計算する為に変動する。最小ＦＯＭは、基準深さ点が格納されるべきデータベース配列の最も近い点を表す。データベース内のｉ及びｊのインデックスは、後続のステップの為に格納される。

幾つかの実施形態では、本方法は更に、ブロックＳ７８２０において、有効な基準深さ点がデータベースに記録されていない場合、又は有効な基準深さ点が（例えば、データベース内の位置の近くのローカル基準点を使用して）補間され得ない場合、基準点が利用できないことを示すインジケータを出力するステップを含む。

或いは、ブロックＳ７８３０に示すように、有効な基準深さ点がデータベースに記録された時、又は補間された時、有効な基準点が利用可能である旨のインジケータを出力する。ブロックＳ７８２０及びＳ７８３０のインジケータは、視覚インジケータ（例えば、頭部装着型ディスプレイのディスプレイ上での表示、点滅信号、点灯インジケータ、テキストインジケータ、ポップアップ等）、可聴インジケータ（例えば、ビープ、特定の音、特定の音等）、又は触覚インジケータ（例えば、頭部装着型ディスプレイ、支持モジュール、ヘルメット等のハプティクス又はフィードバック）であってよい。

図７９Ａ～７９Ｂは、顆頭ガイド６６１２の一実施形態を示している。顆頭ガイド６６１２は、第１の端部７９１８及び第２の端部７９１６を有する本体７９１４を備えている。細長いハンドル７９０２は、本体７９１４の第１の端部７９１８から延びている。ユーザ１０６は、ハンドル７９０２を保持して顆頭ガイド６６１２の位置を制御する。ハンドル７９０２は、ユーザ１０６が微細な角度調整を行うことを可能にし、且つ、例えば、切断ガイド６６１６を大腿骨６６０２にピン止めすることから顆頭ガイド６６１２に加えられる外力に抵抗する為に、好適な長さにされる。顆頭ガイド６６１２は、第１の端部７９１８の少なくとも一部の側面領域７９２０から延びる少なくとも１つの平面表面７９０４（但し、幾つかの実施形態では２つ以上）を更に含む。平面表面７９０４は、１つ以上の大腿骨顆頭６６０４、６６０６上に載り、切除深さを計算する為のゼロ深さ平面を構築するように構成される。幾つかの実施形態では、平面表面は、大腿骨顆部に接する平面をシミュレートするように構成されている。顆頭ガイド７９１４は、顆頭ガイド６６１４のポーズを追跡する為に、平面表面７９０４上に配置された少なくとも１つのトラッカーを含む。トラッカマーキング７９０６は、システム１０が顆頭ガイド６６１２のポーズを追跡することを可能にする為に、顆頭ガイド６６１２上に直接作られる。別の実施形態では、トラッカマーキング７９０６は、顆頭ガイド６６１２に剛体的に取り付けられた別個の構成要素上に作られる。平面表面上又は別個の構成要素上に配置されたトラッカーを使用して、１つ以上の有効な深さ基準点を決定する。

顆頭ガイド６６１２は、本体７９１４の第２の端部７９１６から延びるコネクタ７９０８を更に含み、図８０に示すように、切断ガイド６６１６に結合するように構成される。幾つかの実施形態では、コネクタは取り外し可能である。

幾つかの実施形態では、本体７９１４は更に、例えば大腿骨のような骨の中に挿入する為にピン７９２２をそこを通して受け入れるように構成された開口７９１２を規定する。図７９Ｂに示されるように、開口７９１２は、ピン７９２２が開口７９１２を通して挿入された時に顆頭ガイド６６１２を傾斜させることを可能にするように構成される、又は開口７９１２の直径Ｄ２、Ｄ３はそのようなことを可能にする大きさである。開口７９１２は、ピン７９２２が配置された状態で顆頭ガイド６６１２を傾斜させることができるように、オーバーサイズになっている。オーバーサイズの分量は、ピン軸を中心としたガイド６６１２の角度の傾斜をより多く又はより少なくできるように変更され得る。例えば、第１の位置における開口７９１２の直径Ｄ１は、ピン７９２２の直径と実質的に等しくてもよい。第２及び第３の位置における開口７９１２の直径Ｄ２、Ｄ３は、夫々、ピン軸７９２４を中心とするガイド６６１２の約＋／－１５度、約＋／－１０度、約＋／－５度、約＋／－２度等の角度傾斜を可能にする為にピン７９２２の直径より大きくてもよい。

幾つかの実施形態では、顆頭ガイド６６１２は、本体７９１４の第２の端部７９１６からコネクタ７９０８の反対方向に延びる解放機序７９１０を含む。解放機序７９１０は、切断ガイド６６１６を骨にピン留めする前に、顆頭ガイド６６１２を骨に結合し、切断ガイド６６１２が大腿骨６６０２にピン留めされた後に顆頭ガイド６６１２を除去するように構成される。

幾つかの実施形態において。顆頭ガイド６６１２の本体７９１４の第２の端部７９１６の少なくとも一部は、コネクタ７９０８及び解放機序７９１０がスライダ７９２２の対向する各側に挿入されるスライダ７９２２を受け入れるように構成されたスロット７９２６を規定している。スライダ７９２２は、ユーザがガイド６６１２を正しい角度に動かした後で、切断ブロックを大腿骨に向かって後方（後ろ）にスライドさせて、ピン止めの前に接触させることを可能にする。大腿骨との接触は、ピン止めの間、切断ガイド６６１６を支持し、所望の角度から押し退けられる傾向を最小にする。

幾つかの実施形態では、切断ガイド６６１６のピン止めは、切断ガイド６６１６に結合された顆頭ガイド６６１２を使用して１つ以上の有効深さ基準点を決定した後にのみ行われる。

図６８Ａ及び６８Ｂは、骨に取り付けた後に調整可能であるように構成された切断ガイド６６１６の一実施形態を示す。固定ベース６８０６は、骨に強固に取り付けられる。可動切断ヘッド６８０２は切断スロット６８０４を含む。２つの外反調整ネジ６８０８は、正面平面における切断ヘッド６８０２の角度を調整する為に回され得るものであり、一方、屈曲調整ネジ６８１０は、垂直平面における切断ヘッド６８０２の角度を調整する為に回され得る。外反調整ネジ６８０８は、相互に噛み合うネジ山によって、夫々左及び右の調整ポスト６８１４及び６８１６を作動させる。これらの調整ポスト６８１４又は６８１６の何れかの軸方向運動は、次に、外反ピン６８１８の内の１つの周りで外反ブロック６８１２及び切断ヘッド６８０２を回転させる。一実施形態では、外反ピン６８１８は、大腿骨顆頭６６０４及び６６０６とほぼ同じ間隔で配置され、切断ヘッド６８０２が一方の顆部と整列した軸を中心に回転することを可能にするので、切断スロット６８０４からその顆部までの距離は、ユーザ１０６が切断ヘッド６８０２の角度を調整しても一定のままである。これは、前頭面におけるガイドの角度を調整すると、一方又は両方の顆部から測定される切除の深さも変化するという、既存の切断ガイドに共通する問題に対処するものである。更に図６８Ｂを参照すると、切断ヘッド６８０２は、屈曲調整ネジ６８１０が回されると、屈曲ピン６８２０を中心に外反ブロック６８１２に対して矢状面内で枢動し、そこに組み込まれた相互嵌合ネジ山６８２２を介して切断ヘッド６８０２を作動させるように構成される。

図８０は、顆頭ガイド６６１２に強固に取り付けられた切断ガイド６６１６の図である。近位面７９０４は、大腿骨６６０２と接触した状態で示されている。切断ガイド６６１６及び顆頭ガイド６６１２は、近位面７９０４と切断スロット６８０４との間の距離８００２が、意図する大腿骨インプラントに対応する切除深さ、例えば、約９ｍｍに一致するように構成される。９ｍｍが典型的であるが、約７ｍｍ～約１２ｍｍの切除深さが使用されてもよい。深さが機械的に固定されているので、ユーザ１０６は、近位面７９０４を大腿骨６６０２上に定置しながら、組み立てられた切断ガイド６６１６及び顆頭ガイド６６１２の角度を調整するだけでよい。目標角度が達成されると、ユーザ１０６がハンドル７９０２を保持してピン留め中に顆頭ガイド６６１２の角度が変化するのを防止しながら、１つ以上のピン８００４を切断ガイド６６１６を通して大腿骨６６０２に挿入する。顆頭ガイド６６１２は、その後、取り外される。大腿骨６６０２に対する切断ガイド６６１６の角度及び深さは、切断ガイド６６１６に依然として強固に取り付けられている追跡マーカ６６２０によって、システム１０によって依然として測定され報告され得る。切断ガイド６６１６の位置が依然として許容可能である場合、ユーザ１０６は、次に、マーカ及び６６２０を取り外し、スロット６８０４を介して大腿骨６６０２を切除する。切断ガイド６６１６がピン留め中に移動した場合、その角度及び／又は深さは、切除の前に調整され得る。

ＶＩＩＩ．他の医療処置
図１０を参照すると、本発明は更に、システム１０を使用して他の外科的手順を実行する方法を提供する（具体例は以下に提供される）。本方法は、視覚的マーカ及びＩＭＵの追跡及び認識を含むが、これらに限定されないデータ収集（１０００）を含む。このデータを使用して、作業ビューにおける複数のアイテムの相対的及び／又は絶対的な配向及び位置を決定する（１００２）。外部データ（１００４）がアルゴリズムに導入される。アルゴリズムを使用して、特定のユースケースの為にデータを処理し（１００６）、必要な出力を決定する（１００８）。このデータを拡張現実ＡＲ又は仮想現実ＶＲ出力ディスプレイ（１０１０）に使用して、医療従事者を支援する。

例えば、これらの方法は、股関節全置換術に使用され得る。解剖学的マーカ及び器具の為のマーカ（例えば、１００、１０８、１１０等）を使用して、データ収集（１０００）及び股関節及び手術器具の位置及び配向を決定（１００２）する。アルゴリズム（１００６）を使用して、コンポーネントの位置決め、大腿骨頭部の切断、寛骨臼の位置決め、ねじの配置、脚長決定、及び再置換設定の為の寛骨臼内の良好な骨の位置決めを含むがこれらに限定されない解決策を決定する。

これらの方法は、全膝関節形成術にも使用され得る。解剖学的マーカ及び器具の為のマーカ（例えば、１００、１０８、１１０等）を使用して、データ収集（１０００）及び膝、脛骨、及び手術器具の位置及び配向を決定（１００２）する。アルゴリズム（１００６）を使用して、脛骨骨切りの位置、角度、及び傾斜、ガイドの配置及び微調整、髄内ガイドの回避、及び／又は大腿骨骨切りの改善を含むがこれらに限定されない解決策を決定する。

これらの方法は、橈骨遠位端骨折の癒合不全の為の矯正骨切り術に使用され得る。解剖学的マーカ及び器具の為のマーカ（例えば、１００、１０８、１１０等）は、データ収集（１０００）に使用され、これは、変形癒合及び手術器具の位置及び配向の決定（１００２）の為に術前ＣＴスキャンデータと組み合わされてもよい。アルゴリズム（１００６）を使用して、骨切り術の位置、骨切りの角度、及び結果の評価を含むがこれらに限定されない解決策を決定する。

これらの方法は、複雑で、角度及び回転の修正を伴うことがある骨折を有する上腕骨、上腕骨遠位、橈骨、及び尺骨を含む腕骨の変形癒合に対する修正骨切り術に使用され得る。解剖学的マーカ及び器具の為のマーカ（例えば、１００、１０８、１１０等）は、データ収集（１０００）に使用され、これは、変形癒合及び手術器具の位置及び配向の決定（１００２）の為に術前ＣＴスキャンデータと組み合わされてもよい。アルゴリズム（１００６）を使用して、骨切り部位の位置、切断の角度、矯正の程度、及び結果の評価を含むが、これらに限定されない解決策を決定する。

これらの方法は、初期の変形性関節症及び不整列を修正する為の遠位大腿骨及び近位脛骨骨切り術に使用され得る。解剖学的マーカ及び器具の為のマーカ（例えば、１００、１０８、１１０等）は、データ収集（１０００）に用いられ、これは、骨切り位置及びスケール及び手術器具の位置及び配向の決定（１００２）の為の術前ＣＴスキャンデータ又は長脚Ｘ線画像と組み合わされ得る。アルゴリズム（１００６）を使用して、骨切り部位の位置、切断の角度、矯正の程度、及び結果の評価を含むがこれらに限定されない解決策を決定する。

これらの方法は、寛骨臼形成不全の為の寛骨臼周囲骨切り術に使用され得る。解剖学的マーカ及び器具の為のマーカ（例えば、１００、１０８、１１０等）は、データ収集（１０００）に用いられ、これは、骨切り位置及び手術器具の位置及び配向の決定（１００２）の為に術前ＣＴスキャンデータと組み合わされてもよい。アルゴリズム（１００６）を使用して、骨切り部位の位置、角度、矯正の程度、及び結果の評価を含むがこれらに限定されない解決策を決定する。

これらの方法は、前の実施形態と同様の小児整形外科の骨切り術に使用され得る。解剖学的マーカ及び器具の為のマーカ（例えば、１００、１０８、１１０等）は、データ収集（１０００）に用いられ、これは、骨切り位置及び手術器具の位置及び配向の決定（１００２）の為に術前ＣＴスキャンデータと組み合わされ得る。アルゴリズム（１００６）を使用して、骨切り部位の位置、切断の角度、矯正の程度、及び結果の評価を含むが、これらに限定されない解決策を決定する。

これらの方法は、橈骨側副靱帯再建術（ＲＣＬ）及びＵＣＬ再建術（トミー・ジョン）を含むがこれらに限定されない肘靱帯再建術に使用され得る。解剖学的マーカ及び器具の為のマーカ（例えば、１００、１０８、１１０等）は、データ収集（１０００）に用いられ、これは、靭帯再建及び手術器具の為の等尺点の位置及び配向の決定（１００２）の為に術前ＣＴスキャン又はＭＲＩデータと結合されてもよい。アルゴリズム（１００６）を使用して、トンネル配置の正確な位置決め及び結果の評価を含むがこれらに限定されない解決策を決定する。

これらの方法は、ＭＣＬ、ＬＣＬ、ＡＣＬ、ＰＣＬ及び後外側角再建術を含むが、これらに限定されない膝靭帯再建術に使用され得る。解剖学的マーカ及び器具の為のマーカ（例えば、１００、１０８、１１０等）は、データ収集（１０００）に用いられ、これは、靭帯再建及び手術器具の為の等尺点の位置及び配向の決定（１００２）の為に術前のＣＴスキャン又はＭＲＩデータと組み合わされ得る。アルゴリズム（１００６）を使用して、トンネル配置の正確な位置決め、トンネル深さ、トンネル角度、移植片配置、及び結果の評価を含むが、これらに限定されない解決策を決定する。

これらの方法は、不安定性を修正する為の再建術を含むがこれに限定されない足首の靭帯再建術に使用され得る。解剖学的マーカ及び器具の為のマーカ（例えば、１００、１０８、１１０等）は、データ収集（１０００）に用いられ、これは、靭帯再建及び手術器具の為の等尺点の位置及び配向（１００２）を決定する為の術前ＣＴスキャン又はＭＲＩデータと組み合わされてもよい。アルゴリズム（１００６）を使用して、トンネル配置の正確な位置決め、トンネル深さ、トンネル角度、及び結果の評価を含むが、これらに限定されない解決策を決定する。

これらの方法は、鎖骨へのトンネルの配置を含むがこれに限定されない、肩鎖骨（ＡＣ）関節再建外科処置に使用され得る。解剖学的マーカ及び器具の為のマーカ（例えば、１００、１０８、１１０等）は、データ収集（１０００）に用いられ、これは、靭帯再建術及び手術器具の為の等尺点の位置及び配向の決定（１００２）の為に術前ＣＴスキャン又はＭＲＩデータと組み合わされ得る。アルゴリズム（１００６）を使用して、トンネル配置の正確な位置決め、トンネル深さ、トンネル角度、及び結果の評価を含むが、これらに限定されない解決策を決定する。

これらの方法は、再置換ＴＳＡ／ＲＳＡを含む解剖学的及び逆全肩置換（ＴＳＡ及びＲＳＡ）外科処置に使用され得る。解剖学的マーカ及び器具の為のマーカ（例えば、１００、１０８、１１０等）は、上腕骨頭、関連マーカ、及び手術器具の位置及び配向の決定（１００２）の為に術前ＣＴスキャン又はＭＲＩデータと組み合わせてもよいデータ収集（１０００）の為に使用される。アルゴリズム（１００６）を使用して、上腕骨頭部の切断及び関節骨配置、ベースプレート及びネジ、並びに関節骨補正の為のリーミング角度及びガイド配置の正確な位置決め、並びに結果の評価を含むが、これらに限定されない解決策を決定する。

これらの方法は、全足首関節形成術の外科手術に使用され得る。マーカ（例えば、１００、１０８、１１０等）は、解剖学的マーカ及び器具の為のデータ収集（１０００）に用いられ、これは、脛骨、腓骨、距骨、舟状骨及び他の関連マーカ及び手術器具の位置及び配向の決定（１００２）の為に術前ＣＴスキャン又はＭＲＩデータと組み合わされ得る。アルゴリズム（１００６）を使用して、脛骨頭切断の正確な位置決め、解剖学的軸の決定、及び結果の評価を含むがこれらに限定されない解決策を決定する。

これらの方法は、骨盤骨折、脛骨プラトー、寛骨臼及び骨盤の為の経皮的ねじ配置に使用され得るが、これらの領域に限定されるものではない。解剖学的マーカ及び器具の為のマーカ（例えば、１００、１０８、１１０等）は、データ収集（１０００）に使用され、これは、解剖学的及び他の関連マーカ並びにネジを含む外科的器具の位置及び配向の決定（１００２）の為に術前のＣＴスキャン又はＭＲＩデータと組み合わされてもよい。アルゴリズム（１００６）を使用して、ネジを受容する骨の正確な位置決め、回避すべき周囲の生体構造及び軟組織特徴、ネジの位置決め、（例えば、注射の）挿入角度、（例えば、注射の）挿入深さ、及び結果の評価を含むがこれらに限定されない解決策を決定する。

これらの方法は、足首、膝、股関節、肩、及び脊椎を含むがこれらに限定されない領域へのインオフィス（ｉｎ－ｏｆｆｉｃｅ）注射に使用され得る。解剖学的マーカ及び器具の為のマーカ（例えば、１００、１０８、１１０等）は、データ収集（１０００）に使用され、これは、関連マーカ及び手術器具の位置及び配向の決定（１００２）の為に術前ＣＴスキャン又はＭＲＩデータと組み合わされてもよい。アルゴリズム（１００６）を使用して、効果を最大化し、内臓及び生体構造との相互作用を最小化する為に、注入位置、角度、及び深さの正確な位置決めを含むが、これらに限定されない解決策を決定する。

これらの方法は、腰椎及び胸椎を含む脊椎固定術の為の椎弓根ネジの配置に使用され得るが、これらの領域に限定されるものではない。解剖学的マーカ及び器具の為のマーカ（例えば、１００、１０８、１１０等）は、データ収集（１０００）に使用され、これは、解剖学的及び他の関連マーカ並びにネジを含む手術器具の位置及び配向の決定（１００２）の為に術前ＣＴスキャン又はＭＲＩデータと組み合わされてもよい。アルゴリズム（１００６）を使用して、ネジを受容する骨の正確な位置決め、皮質の開口、頭蓋－尾側角形成又は同様のもの、正中－側方傾斜、ネジ挿入軌道、挿入の深さ、及び結果の評価を含むがこれらに限定されない解決策を決定する。

これらの方法は、赤外光、紫外線、足首、膝、股関節、肩、及び脊椎を含むがこれらに限定されない代替スペクトル画像の視覚化に使用され得る。マーカ（例えば、１００、１０８、１１０等）は、データ収集（１０００）の為に使用され、これには、関連するマーカ及び手術器具の位置及び配向の決定（１００２）並びに神経、腫瘍、軟組織及び動脈を含む代替スペクトルにおいてより容易に見える解剖学的特徴の位置、位置及びタイプの決定の為の患者の特徴のハイライト用の代替スペクトル感度を有するデュアルカラーカメラ（複数可）及び／又は注入色素が含まれるが、それらに限定されない。アルゴリズム（１００６）は、神経、腫瘍、関心対象の軟組織、動脈、及びこの技術で強化できる他の関心対象の特徴の正確な位置決めを含むが、それらに限定されない解決策を決定する為に使用される。

これらの方法は、腫瘍診断、ステージング、及び治癒的外科処置の為に使用され得る。解剖学的マーカ及び器具の為のマーカ（例えば、１００、１０８、１１０等）は、データ収集（１０００）に用いられ、これは、腫瘍位置及び手術器具の位置及び配向の決定（１００２）の為に術前ＣＴスキャン又はＭＲＩデータと組み合わされてもよい。或いは、診断術中に、解剖学的マーカに対する腫瘍の定位が実行され得る。アルゴリズム（１００６）を使用して、腫瘍部位の位置及び大きさの範囲、除去ガイダンス並びに結果の評価を含むがこれらに限定されない解決策を決定する。

これらの方法は、骨指標、神経、腫瘍、及び他の有機及び無機の物体を含むがこれらに限定されない、関心領域内の物体上の可視光点、又は不可視であるがカメラ可視である光点の投影に使用され得る。マーカ（例えば、１００、１０８、１１０等）は、解剖学的データの為の外部データセットを補強するか、又はそれに取って代わる為に用いられ、先に説明したような物理的ポインタ又は器具の代わりに使用され得る。光点は、ユーザのヘッドディスプレイ等から表示され得る。光点は、パターン又は他の光の配列としても表示され得る。これらの光（複数可）は、関連するマーカ及び手術器具の位置及び配向の決定（１００２）、並びに、透視、ＣＴスキャン及びＭＲＩデータを含むがこれらに限定されないデータセットの拡張の為に、患者上の特徴を強調する。アルゴリズム（１００６）を使用して、先に説明した解決策を決定するが、代替又は追加の選択オプションを伴う。

これらの方法は、インプラントの低侵襲的な位置決め及び経皮的にロック用ネジを挿入する為に使用され得る。マーカ（例えば、１００、１０８、１１０等）が、髄内釘の近位端に取り付けられる。別のマーカ（例えば、１００、１０８、１１０等）をクロスネジ挿入器具に取り付ける。ロック用クロスネジの目標軌道を含む釘の仮想モデルが表示される。執刀医は、仮想クロスネジを目標軌道に位置合わせすることによって、クロスネジを挿入することができる。別の実施形態では、同じ方法を外部固定プレートに適用することができる。この場合、各穴に対して１つずつ、複数のロック用ネジ軌道を有する仮想ロック用プレートが表示されることになる。

これらの方法は、超音波画像データの視覚化の為に使用され得る。一応用例では、システムは、麻酔薬の注射等の医療処置中の針のガイダンスを支援できる。超音波画像は針の視覚化を支援できるが、針が組織内の超音波視野に入る前は無理であり、針が組織内の超音波視野に入るまでにはその軌道は既に確立されており、患者に痛みを与えることなく調整することができない。本発明のシステムは、挿入前と挿入後の両方において、針の追跡を支援できる。図１０及び図３１を参照すると、フィデューシャル３１０６が超音波トランスデューサ３１０４に取り付けられている。ユーザ１０６が超音波トランスデューサを使用して患者の内部生体構造の２Ｄ画像を収集すると、システム１０は同時に超音波トランスデューサ３１０４の位置及び配向を追跡し、２Ｄ超音波画像１００４を受信する。システム１０は、任意選択的に及び／又は追加的に、患者１９００を追跡することができる。次いで、システム１０は、患者の２Ｄ画像を、患者に対する超音波トランスデューサ３１０４の位置及び配向と組み合わせ、取得した超音波トランスデューサと患者の位置及び配向データを用いて共通の基準フレームで２Ｄ画像を再構成し、再構成した画像又は３Ｄ画像をＡＲヘッドセット３６００のユーザ１０６に表示する。システム１０は更に、画像解析アルゴリズム１００６を使用して、画像データにおいて特定された解剖学的構造から作成された表面又は固体モデル１００８を生成及び表示できる。システム１０は、任意選択で、針等の１つ以上の物理的器具の追跡された位置に基づいて、３Ｄ撮像データに重畳された仮想器具を表示することができる。３Ｄ再構成の精度は、様々な組織における音速に起因する倍率の不一致等の誤差の影響を受ける為、仮想器具の相対位置は不完全である可能性がある。しかし、針が超音波の視野に入ると、画像内で針が直接可視化される為、その位置精度が向上する。この時、標準的な２Ｄ画像ではランダムな断面から識別することが難しい針先の定位において、針の３Ｄ再構成が有用となる。針の軸だけでなく、針の先端の位置を把握することは、ユーザが、隣接する組織に損傷を与えることなく、針を所望の深さまで挿入することを支援する。システム１０は、プローブ（例えば、針、注射、ピン、ねじ等）の位置及び配向を追跡し続け、患者の内部生体構造の３Ｄ画像に対する軸（例えば、プローブの軸方向長さに沿った）及び／又はプローブの先端の位置を表示する。軸は、例えば、プローブの仮想軸又はプローブのグラフィック表現であってもよい。次に、プローブの先端は、患者の内部生体構造に対する位置に基づいて所望の位置まで前進させられる。任意選択で、図３１に示すように、患者の外表面は、ステレオカメラを使用してマッピングされ、患者の内部生体の３Ｄ画像及び／又は超音波トランスデューサ３１０４と関連して表示される。

ＩＸ．追跡可能な器具及び装置のデータベース
本発明は、ＡＲヘッドセット３６００が、外科領域又は手術室領域にどのような器具が存在するかを識別できるようにする為に、器具及び装置の電子データベースを構築することを任意選択で含む。図２９を参照すると、そのようなデータベースの構築を容易にする為に、シリアル化追跡ラベル２９００がシステムに任意選択で含まれる。シリアル化追跡ラベル２９００は、機械可読シリアル番号コード２９０２と、対人可読シリアル番号２９０４と、複数のフィデューシャル２９０６等の６自由度の光学姿勢追跡を促進する一組の光学的特徴とを含む。一実施形態では、機械可読番号コード２９０２パターンは、ＡＲヘッドセット３６００のカメラ（複数可）３９０４によって撮像され、機械視覚アルゴリズムを使用して医療器具の姿勢及び位置を決定する為に単独で使用され得る。別の実施形態では、シリアル番号画像２９０４は、カメラ（複数可）３９０４によって撮像され、機械視覚アルゴリズムを使用して医療器具のポーズ及び位置を決定する為に単独で使用され得る。更に別の実施形態では、追跡ラベル２９００の物理モデル全体がカメラ（複数可）３９０４によって撮像され、機械視覚アルゴリズムを使用して医療器具のポーズ及び位置を決定する為に単独で使用され得る。別の実施形態では、追跡ラベル２９００は、その後、光学認識を使用して自動的に検証することができるキット内の機器の非光学的識別の為の無線ＲＦＩＤタグを構成又は含んでもよい。

図３０を参照すると、拡張現実ヘッドセットを使用する手術で使用する為に、機器の要素タイプ及び物理パラメータをレジストレーションし、このデータを格納及び共有する為のシステムを示すフローチャートが提供されている。この例示的な実施形態では、シリアル化された追跡可能なラベルは、耐久性のある自己粘着材料に予め印刷されている。ラベルは、外科術中又は手術に至る準備作業（即ちバックテーブル手術）において最も有利に見られる位置に、Ｃアーム、インパクタ、ポインタ、又は処置において使用される他の任意の機器であり得るが、これらに限定されない機器の要素（３０００）に固着される（３００２）。次に、カメラ（複数可）３９０４で見ることによってラベルをレジストレーションし（３００４）、ラベルを識別し、そのシリアル番号に関連するデータベースレコードを開始する。機器の要素に関連する関心対象形状も、追跡可能なステッカーに関連してレジストレーション（３００６）され、格納され得る。例えば、Ｃアームの場合、レジストレーションスタイラスを使用して、撮像器の面の周囲の３点及びＸ線ビーム源の原点を表す点をレジストレーションしてもよい。これにより、ＡＲヘッドセット３６００のアルゴリズムによって使用する為の、ＡＲヘッドセット３６００座標フレームに対するＸ線ビーム源の座標フレーム、配向（ポーズ）データ、及び位置データが提供される。１つの別の実施形態では、カメラ３９０４はステレオカメラであり、撮像器の円筒形又は長方形の表面等の主要な機構の認識によってＣアームジオメトリをスキャン及び認識する為に使用される。機器の要素に関する追加の関連仕様（３００８）は、レコードに入力され得るものであり、機器のタイプ及びモデル、較正期日、電子インターフェースパラメータ、及び無線接続パスワードが含まれるが、これらに限定されない。デバイスの画像は、カメラ（複数可）３９０４でキャプチャされる（３０１０）。デバイスの機器ラベルの画像（３０１２）がキャプチャされる。これら全ての項目は、現在ＡＲヘッドセット３６００にローカルである完了したレコード（３０１４）に追加される。次に、レコードは、タイムスタンプが押され、中央データベース（３０１６）と共有される。これは、病院システム内のローカルサーバ、又はインターネットを介した任意のクラウドベースのストレージを含む任意のリモートサーバに配置されてもよい。データベースのアップロードは、Ｗｉ－Ｆｉ共通ネットワークプロトコル又は他の技術開示された手段を介して行われてもよい。上記の動作は、企業の担当者、病院に雇用された技術者、又はその他の訓練を受けた個人によって実行され得る。レジストレーションの不十分な機器がデータベースに入るのを防ぐ為、レコードの取り込みに管理者権限が必要であってもよい。

機器の要素が手術で使用されている時、カメラ（複数可）３９０４は、ラベルを追跡可能な機器の要素として認識し、シリアル番号を読み取る為に利用される（３０１８）。次いで、ＡＲヘッドセット３６００は、データベースに接続し（３０２０）、機器記録をダウンロードすることができる（３０２２）。このようにして、機器は、術中に６自由度の追跡可能な方法で使用され得る（３０２４）。データラベルを有する機器に適用可能な場合、レコード（３０２６）は又、機器自体に固有のデータで更新されてもよく、例えば、術中に機器によって捕捉された画像をアップロードし、又は、術中の機器の活動のログをログに捕捉する。手術における機器の使用を記述するログ・エントリは、データベースと、機器の利用を示す患者レコードに追加され得る。このようにして生成されたデータベースは、欠陥のある機器の使用状況を検索する等の様々な理由でマイニングされ得る。

システムは、術中に遭遇する手術器具やインプラントを認識する為にも使用され得る。縮尺に合わせた器具や装置のＣＡＤモデルのデータベースがメモリに保持される。術中、ＳＬＡＭ又は類似のマシンビジョンアルゴリズムは、シーン内のアイテムのトポグラフィをキャプチャし、器具及び装置に関するデータベースと比較できる。一致した場合、システムは、患者や手術で使用される他の器具に対する器具の位置や配向を追跡したり、その器具の使用に関連するモードに入る等、適切なアクションを取ることができる。例えば、股関節置換術において、寛骨臼インパクタが検出されると、カップ配置ナビゲーションの為のモードに入る。

システムは又、現在のソフトウェアワークフローステップの知識を使用して、外科技術者のようなＯＲスタッフに適用可能な指示を提供してもよい。指示は、執刀医のシステムとネットワーク接続された遠隔モニタ又は第２のＡＲヘッドセット３６００に表示されてもよい。例えば、システムは、ワークフローに来る次のステップに関する情報を表示し、外科技術者又はアシスタントに、必要な器具を見つけ、識別し、又は組み立てる為の画像、ビデオ、又は音声の指示を任意選択で含む、準備すべき器具を指示してもよい。システムのカメラは、特定の器具又は器具セットを識別し、必要な器具をアシスタントに、ＡＲヘッドセットディスプレイを介して指示する為に使用され得る。執刀医又は他の熟練ユーザは、オプションで、手術ワークフローの各ステップについてアシスタント又はスタッフに表示するカスタム指示を入力することができる。

又、本システムは、結果データ又は一般的な慣行に基づいて、インプラントの選択及び／又は配置を最適化する為に使用されてもよい。図６５は、手術上の意思決定を支援する為にシステムを使用する為の例示的な方法を示すフローチャートである。システムは、先ず、センサスイート２１０を使用して、ネイティブの生体構造をスキャンし、マッピングする（ブロック６５０２）。任意選択で、解剖学的データは、ＣＴ又はＭＲＩ等の術前撮影によって、拡張されるか、又は置換されてもよい。次に、生体構造をデータベースと比較し、類似の生体構造を有する症例を識別して、システムは、インプラントの種類、アライメント、及び構成要素の位置決めを出力する（ブロック６５０４）。代替的に、又は追加的に、システムは、生体構造の１つ以上の特性を既知のインプラントのデータベース内の最適適合と一致させる１つ以上の形状一致アルゴリズムに基づいて、インプラントタイプを出力する。１つ以上の形状照合アルゴリズムに用いられる生体構造の１つ以上の特性は、術前撮影スキャンとは対照的に、術中撮影スキャンに基づくものであってよい。ユーザ１０６は、システム１０が実際のアライメント及び位置決めデータを記録すると、手術をナビゲートし完了するように進む（ブロック６５０６）。システム１０は、センサスイート２１０による自動スキャンによって、又は手動入力によって、ユーザ１０によって選択されたインプラントタイプ及びサイズを記録するように進む（ブロック６５０８）。手術データは、利用可能であれば、手術の結果を含むデータベースにアップロードされる（ブロック６５１０）。更新されたデータベースは、ブロック６５０４で次のケースを知らせる為に使用される。提案は、データベースで利用可能であれば、所望の手術結果に基づいてもよいし、同じユーザ１０６又は類似の状況における他のユーザによる一般的な慣行に基づいてもよい。他のデータは、処置時間及び器具の使用に関するデータを含めて、術中に収集されてもよい。センサスイート２０１０は、マシンビジョンアルゴリズムを使用して、術中に器具を自動的に識別し、どの器具が各手術で使用されたか、及び器具が何時使用されたかを記録してもよい。病院は、この情報を、最も一般的に使用される器具を含むように器具セットを効率的に包装する為、又は、処置において特定の器具が何時必要であるかについてスタッフを訓練又は指導する為に使用してもよい。本発明は、好ましい実施形態及びその具体例を参照して本明細書に図示及び説明されたが、他の実施形態及び例が同様の機能を果たし、及び／又は同様の結果を達成し得ることは、当業者には容易に理解されよう。そのような同等の実施形態及び例は全て、本発明の精神及び範囲内に在り、それによって企図され、以下の請求項によって網羅されることが意図されている。

Ｘ．本明細書のシステム及び方法における音声及び／又は注視の使用
図８４に示すように、幾つかの実施形態において、本明細書に記載されるデバイス又はシステムの何れか１つ以上が、注視制御を実装し得る。本明細書で使用する場合、「注視」は、拡張現実仮想オブジェクトが慣性空間（即ち、慣性固定オブジェクト８４００）に位置付けられ固定されるが、ユーザによって相互作用されることも可能であるプロセスを意味する。ユーザは、頭部を回転させたり、部屋の中を移動したりすることができ、１つ以上の慣性固定オブジェクト８４００は、ローカル環境又は慣性空間に固定されたままである。幾つかの実施形態では、レチクル８４１０は、アイピースディスプレイの中心又は中心領域に表示される。このレチクル８４１０が仮想オブジェクト８４２０の１つと視覚的に並ぶようにユーザが移動した場合、頭部装着型ディスプレイ及びナビゲーションシステムは、仮想オブジェクト８４２０を作動させるように構成される。一例として、システムは、例えば電球付きボタン等の仮想オブジェクトを提示する。仮想オブジェクトは、ローカル環境又はユーザを取り巻く環境において慣性空間内に固定される。システムは、電球のオブジェクトがアイピースの中心に在るレチクルと一直線上に在るように、ユーザの視界を方向付けるように促してもよい。レチクルと仮想オブジェクトとの間の相互作用が検出され、例えば、ユーザからのこの制御入力（レチクルと仮想オブジェクトとの位置合わせ）に基づいてヘッドランプがオン（又はオフ）にされる等、仮想オブジェクトがアクティブにされる。

この注視制御は、ユーザ入力選択（例えば、ボタン選択、オン又はオフ制御、スライダ制御等）、アルファ数値入力（例えば、仮想キーパッド上の選択を通じて）等を含むが、これに限定されない多くの相互作用に使用され得る。

しかしながら、頭部の位置に関係なく常にコンテンツを表示する頭部固定ディスプレイを有することがより有益である場合もある。これは、「頭部固定」オブジェクト、即ち、頭部装着型ディスプレイの動きに同期して仮想オブジェクトが移動するものと呼ばれる。図８４で説明したレチクルは頭部固定オブジェクトであり、図８４で示した仮想オブジェクト８４００、８４２０は慣性固定オブジェクトである。

頭部固定オブジェクト対慣性固定オブジェクトは、外科手術において同時に使用する為に管理され得る。具体的には、慣性スクリーンは、情報データ及び注視制御を使用するシステムの制御に使用される。しかし、目標を追跡する際には、慣性スクリーンに加えて、ナビゲーションカメラの追跡シーンを示す「頭部固定」ビデオスクリーンが表示される。慣性スクリーンは、操作部が手術部位に非常に近くなるように配置され得る。執刀医が手術部位を見ると、トラッキングコンテンツを表示する頭部固定スクリーンが表示される。注視制御が同じ視野内に慣性で配置されている為、執刀医は最小限の頭部の動きでシステムを制御できる。

更に、図８５に示すように、幾つかの実施形態では、本明細書に記載されるデバイス又はシステムの何れか１つ以上が、音声認識を実装してもよい。本明細書で使用される場合、「音声認識」は、可聴の音声を取り、それを処理して発話を認識するプロセスである。これは、「実行（ｇｏ）」又は「中止（ｓｔｏｐ）」のような単語を含み得る。注視制御と音声認識の同時使用は、執刀医の注視制御への依存を減らす（そして、その結果、術中の特定の時間に好ましくない頭部の動きを引き起こす）。音声認識及び注視制御の両方をアクティブにすることは、一方又は他方を排他的に使用することが執刀医にとって低質な相互作用（即ち、音声認識が彼のコマンドを決定できない、又は長い手術には注視制御が面倒である）をもたらすリスクを低減する。

例えば、一実施形態では、システムは、例えば執刀医等のユーザに、レチクル又は仮想コントロール８４１０を使用して、例えば「前進」ボタン等のユーザ入力要素又は仮想オブジェクト８４２０を選択するように注視制御を促すことができる。システムは、ユーザからの注視制御ベースの入力を受け入れ、ユーザに「実行（ｇｏ）」と言うように、「中止（ｓｔｏｐ）」と言うように、又はトラッキング等を開始するボタンを注視するように促す画面、ウィンドウ、又は他のインジケータ８４３０を表示するように構成される。幾つかの実施形態では、仮想オブジェクト８４２０、例えばボタンは、ラベル８４４０、例えば「実行（ｇｏ）」と言うテキストをも含んでもよい。ユーザは、システムによって、トラッキングを起動する為に仮想オブジェクト８４２０を注視するか、「実行（ｇｏ）」という単語を声に出して言うかの何れかを促される。トラッキングが開始されると、仮想オブジェクトラベル８４４０は、「中止」に変更されるか、又は例えば赤色等の別のインジケータに変更される。その後、システムは、トラッキングを非アクティブにする為に仮想オブジェクト８４２０を注視するか、「中止」という単語を言うようにユーザに促してもよい。

特に断らない限り、本明細書で描写された様々な構造の寸法及び幾何形状は、本発明を制限することを意図しておらず、他の寸法又は幾何形状が可能である。複数の構造部品は、単一の統合された構造によって提供され得る。或いは、単一の統合された構造は、別々の複数の構成要素に分割されることもあり得る。更に、本発明の特徴は、図示された実施形態の内の１つだけの文脈で説明されたかもしれないが、そのような特徴は、任意の所定の用途の為に、他の実施形態の１つ以上の他の特徴と組み合わされてもよい。又、本明細書における独自の構造の作製及びその操作も、本発明による方法を構成することが、上記から理解されるであろう。

好ましい実施形態及びその変形例のシステム及び方法は、少なくとも部分的に、コンピュータ可読命令を格納するコンピュータ可読媒体を受け入れるように構成された機械として具現化及び／又は実施され得る。命令は、好ましくは、システム及び支持モジュール内のプロセッサの１つ以上の部分及び／又はコンピューティングデバイスと統合されたコンピュータ実行可能なコンポーネントによって実行される。コンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＥＰＲＯＭ、光学装置（例えば、ＣＤ又はＤＶＤ）、ハードドライブ、フロッピードライブ、又は任意の適切な装置等の任意の適切なコンピュータ可読媒体に格納され得る。コンピュータ実行可能なコンポーネントは、好ましくは、汎用又は特殊用途のプロセッサであるが、任意の適切な専用ハードウェア又はハードウェア／ファームウェアの組み合わせで、代替的に又は追加的に命令を実行できる。

本明細書及び特許請求の範囲で使用する、単数形「ａ」、「ａｎ」及び「ｔｈｅ」は、文脈によって明らかに指示されない限り、単数及び複数両方の言及を含む。例えば、用語「センサ」は、複数のセンサを含むことができ、又、含むことが企図されている。時として、特許請求の範囲及び開示は、「複数」、「１つ以上」、又は「少なくとも１つ」等の用語を含むことがあるが、そのような用語がないことは、複数が企図されないことを意味することは意図されておらず、そのように解釈されるべきでもない。

数値指定又は範囲（例えば、長さ又は圧力を定義する）の前に使用される場合、用語「約」又は「略」は、（＋）又は（－）５％、１％又は０．１％で変動し得る近似を示す。本書に記載された全ての数値範囲は、記載された開始数と終了数を含むものである。用語「実質的に」は、デバイス、物質、又は組成物の大部分（即ち、５０％を超える）又は本質的に全てを示す。

本明細書で使用する場合、用語「を備えた（ｃｏｍｐｒｉｓｉｎｇ）」又は「含む（ｃｏｍｐｒｉｓｅｓ）」は、デバイス、システム、及び方法が、言及された要素を含み、更に他の任意の要素を含み得ることを意味することを意図しているものとする。「本質的に～からなる」とは、デバイス、システム、及び方法が、言及された要素を含み、記載された目的の為の組み合わせに本質的な意義を有する他の要素を除外することを意味するものとする。従って、本明細書で定義された要素から本質的になるシステム又は方法は、請求項に記載の開示の基本的且つ新規な特性（複数可）に重大な影響を与えない他の材料、特徴、又はステップを除外しないであろう。「～からなる」とは、デバイス、システム、及び方法が、引用された要素を含み、些細な又は取るに足らない要素又はステップ以上のものを除外することを意味するものとする。これらのつなぎことば（ｔｒａｎｓｉｔｉｏｎａｌｔｅｒｍｓ）の各々によって定義される実施形態は、本開示の範囲内である。

本明細書に含まれる例及び図解は、例示であって限定ではなく、主題が実施され得る特定の実施形態を示す。他の実施形態は、本開示の範囲から逸脱することなく、構造的及び論理的置換及び変更がなされ得るように、利用され、そこから派生してもよい。本発明の主題のそのような実施形態は、本明細書において、単に便宜上、「発明」という用語によって個別に又は集合的に言及されることがあり、複数の発明が実際に開示されている場合、本願の範囲を任意の単一の発明又は発明概念に自発的に限定することを意図している訳ではない。従って、本明細書では特定の実施形態が図示され、説明されているが、同じ目的を達成する為に計算された任意の配置が、示された特定の実施形態に置き換えられ得る。本開示は、様々な実施形態の任意の及び全ての適応又は変形を網羅することを意図している。上記の実施形態の組み合わせ、及び本明細書に具体的に記載されていない他の実施形態は、上記の説明を検討すれば、当業者には明らかであろう。

１プロセッサ
１０感覚拡張システム
１００、１０８、１１０視覚的マーカ
１０２プロセッシングユニット
１０４表示デバイス
１０６ユーザ
２０６トラッキングカメラ
４０２カメラ１
４０４カメラ２
４０６カメラＮ
４０８慣性測定ユニット
４１０無線機
４１６マイクロフォン
４１８スピーカ
４２０触覚フィードバック
１１００股関節インパクタアセンブリ
１１０２寛骨臼シェル
１１０４光学マーカ
１１０６寛骨臼インパクタ
１１０８第１のフィデューシャル
１１１０第２のフィデューシャル
１１１２第３のフィデューシャル
１３００解剖学的マーカアセンブリ
１３０２クランプアセンブリ
１３０４光学マーカ
１４００ベース
１４１６マーカ本体
３６００ＡＲヘッドセット
３８００交換可能なバッテリ
３９０４立体カメラ
６２１０コンピュータモジュール
６２１２支持モジュール
６３０２バッテリコネクタ
６３０４ＤＣ／ＤＣ降圧回路
６３０６電話ＵＳＢコネクタ
６３０８ＣＰＵ／無線機
６３１０ＤＣ／ＤＣＬＤＯレギュレータ
６３１２ワイヤレスチャージャー
６３１４ロードスイッチ
６３１６Ｎ－ＰＦＥＴスイッチ
６３１８ヘッドセットＵＳＢコネクタ

Claims

ヘルメット及びフェイスシールドと共に使用するように構成された自己完結型手術ナビゲーションシステムであって、
術中にユーザによって装着される頭部装着型表示デバイスであって、
前記表示デバイス上に視覚的表示を生成する為の表示生成器と、
少なくとも１つのトラッキングカメラを有するセンサスイートと、
可視光と、
赤外光と、
前記センサスイートからデータを受信し、少なくとも１つのマーカの位置及び配向を計算するように構成されたプロセッサユニットとを備えた、頭部装着型表示デバイスと、
前記赤外光の周囲に配置され、前記赤外光からの光が放射される開口を規定する複数の側壁を含むシュラウドと、を備え、
前記頭部装着型表示デバイスがヘルメットに取り付けられている時に、前記少なくとも１つのトラッキングカメラ、前記可視光、及び前記赤外光が、フェイスシールドの背後に配置されており、且つ、
前記複数の側壁は、前記頭部装着型表示デバイスが前記ヘルメットに取り付けられた時に前記フェイスシールドに接触して、前記赤外光によって放射される光が前記少なくとも１つのトラッキングカメラに反射されることを防止すると共に、前記フェイスシールドのみを通過するようになっている、自己完結型手術ナビゲーションシステム。
前記可視光に結合された赤外光フィルタを更に備え、前記赤外光フィルタが前記可視光に結合された時に、前記可視光が赤外光を放射することが防止されるようにする、請求項１に記載のシステム。
関心対象物を追跡する為に前記関心対象物に固着された少なくとも２つのマーカを更に備え、第１のマーカが前記少なくとも１つのトラッキングカメラの視野内に在り、第２のマーカが前記少なくとも１つのトラッキングカメラの視野外に在り、
前記プロセッサユニットは更に、
前記少なくとも１つのトラッキングカメラの視野内の前記第１のマーカの位置を決定し、
前記表示デバイス上にユーザへの仮想ガイドを表示して、前記第１のマーカに対する前記第２のマーカの位置に前記ユーザを誘導し、
前記仮想ガイドからの誘導に基づいて、前記少なくとも１つのトラッキングカメラで前記第２のマーカの位置を決定する、ように構成されている、
請求項１乃至２の何れか１項に記載のシステム。
支持モジュールを更に備え、前記支持モジュールが、
前記支持モジュールのハウジングに取り外し可能に挿入される、ユーザ交換可能なモジュール式バッテリと、
前記センサスイートからデータを受信し、少なくとも１つのマーカの位置及び配向を計算するように構成されたプロセッサユニットと、を備えており、
前記支持モジュールが、前記頭部装着型表示デバイスに電力及びデータを提供する為に前記頭部装着型表示デバイスに電気的に結合され、前記支持モジュールが、前記ユーザの頭部以外の位置で前記ユーザの身体に装着され、
前記表示デバイスと前記支持モジュールが協働して、外部センサ、カメラ、コンピュータ、又は他の電気機器を必要とせずに、前記システムの全センシング及びコンピューティング能力を構成している、請求項１乃至３の何れか１項に記載のシステム。
前記複数の側壁に結合された前面が、前記フェイスシールドと近接し、前記フェイスシールドの曲率半径とほぼ一致する曲率半径を有する、請求項１乃至４の何れか１項に記載のシステム。
前記複数の側壁の内の１つ以上は、前記赤外光の中心軸に対して約１０度～約２０度の角度になっている、請求項１乃至５の何れか１項に記載のシステム。
自己完結型手術ナビゲーションシステムであって、
術中にユーザによって装着される頭部装着型表示デバイスであって、
前記表示デバイス上に視覚的表示を生成する為の表示生成器と、
少なくとも１つのトラッキングカメラを有するセンサスイートとを備えた、頭部装着型表示デバイスと、
支持モジュールであって、
前記支持モジュールのハウジングに取り外し可能に挿入される、ユーザ交換可能なモジュール式バッテリと、
前記センサスイートからデータを受信し、少なくとも１つのマーカの位置と配向を計算するように構成されたプロセッサユニットと、を備えた支持モジュールとを備え、
前記支持モジュールが、前記頭部装着型表示デバイスに電力及びデータを供給する為に、前記頭部装着型表示デバイスに電気的に結合され、前記支持モジュールが、前記ユーザの頭部以外の場所で前記ユーザの身体に装着され、
前記表示デバイスと前記支持モジュールが協働して、外部センサ、カメラ、コンピュータ、又は他の電気機器を必要とせずに、前記システムの全センシング及びコンピューティング能力を構成している、システム。
フェイスシールドとヘルメットの内の１つ以上を更に備え、前記表示デバイスは、前記フェイスシールド又はヘルメットに取り付けられる、請求項７に記載のシステム。
前記頭部装着型表示デバイスが赤外光を更に含む、請求項７乃至８の何れか１項に記載のシステム。
前記頭部装着型表示デバイスが、可視光と、前記可視光に結合された赤外光フィルタとを更に備え、前記赤外光フィルタが前記可視光に結合された時に前記可視光が赤外光を放射することを防止するようにした、請求項７乃至９の何れか１項に記載のシステム。
前記赤外光の周囲に配置され、前記赤外光からの光が放射される開口を規定する複数の側壁を含むシュラウドを更に備え、
前記頭部装着型表示デバイスが前記ヘルメットに取り付けられた時、前記少なくとも１つのトラッキングカメラ及び前記赤外光が前記フェイスシールドの背後に配置され、
前記複数の側壁は、前記頭部装着型表示デバイスが前記ヘルメットに取り付けられた時に前記フェイスシールドと近接して、前記赤外光によって放射された光が前記少なくとも１つのトラッキングカメラに反射されるのを防止すると共に、前記フェイスシールドのみを通過するようになっている、請求項７乃至９の何れか１項に記載のシステム。
関心対象物を追跡する為に前記関心対象物に固着された少なくとも１つのマーカを備え、前記少なくとも１つのマーカは前記少なくとも１つのトラッキングカメラの視野外に在り、前記プロセッサユニットが更に、
前記センサスイートの１つ以上のセンサを使用して、前記ユーザの頭部の角度を追跡し、
前記少なくとも１つのマーカが前記少なくとも１つのトラッキングカメラの視野内に配置された時の前記少なくとも１つのマーカの最後の既知の位置に基づいて、前記少なくとも１つのマーカの相対位置を計算し、前記最後の既知の位置は、前記頭部の角度に相対的であり、
前記少なくとも１つのマーカの位置に前記ユーザを誘導する為に、前記表示デバイス上に前記ユーザへの仮想ガイドを表示する、ように構成されている、請求項７乃至１１の何れか１項に記載のシステム。
関心対象物を追跡する為に前記関心対象物に固着された少なくとも２つのマーカを更に備え、第１のマーカが前記少なくとも１つのトラッキングカメラの視野内に在り、第２のマーカが前記少なくとも１つのトラッキングカメラの視野外に在り、
前記プロセッサユニットは、更に、
前記少なくとも１つのトラッキングカメラの視野内の前記第１のマーカの位置を決定し、
前記第１のマーカに対する前記第２のマーカの位置に前記ユーザを誘導する為に、前記表示デバイス上に前記ユーザへの仮想ガイドを表示し、
前記仮想ガイドからの誘導に基づいて、前記少なくとも１つのトラッキングカメラで前記第２のマーカの位置を決定する、ように構成されている、請求項７乃至１２の何れか１項に記載のシステム。
更に、前記第１のマーカと前記第２のマーカの初期位置を取得し、
前記第２のマーカが前記少なくとも１つのトラッキングカメラの視野内にない場合に、前記取得された初期位置に基づいて、前記第１のマーカに対する前記第２のマーカの位置を推定する、ことを含む、請求項７乃至１３の何れか１項に記載のシステム。
更に、既知の解剖学的マーカに対する前記第１のマーカ及び前記第２のマーカの初期位置を取得し、
前記既知の解剖学的マーカ間の距離を計算し、
前記第２のマーカが前記少なくとも１つのトラッキングカメラの視野内にない場合、前記計算された距離に基づいて、前記第１のマーカに対する前記第２のマーカの位置を推定する、ことを含む、請求項７乃至１４の何れか１項に記載のシステム。
更に、センサスイート内の１つ以上のセンサを使用して、前記ユーザの頭部の動きを追跡し、
前記第２のマーカが前記少なくとも１つのトラッキングカメラの視野内に在った時の前記第２のマーカの最後の既知の位置に基づいて、前記第２のマーカの位置を計算する、ことを含む、請求項７乃至１５の何れか１項に記載のシステム。
前記支持モジュールの前記ハウジングは更に、前記バッテリから前記プロセッサユニット及び前記頭部装着型表示デバイスに電力を導く為に配置された回路基板を含むベースを含む、請求項７乃至１６の何れか１項に記載のシステム。
前記支持モジュールの前記ハウジングは、前記ブラケットに配置された時に前記バッテリ及び前記プロセッサユニットを安全且つ取り外し可能に拘束するように構成されたブラケットを更に備える、請求項７乃至１７の何れか１項に記載のシステム。
更に、関心対象物を追跡する為に前記関心対象物に固着された少なくとも２つのマーカを備え、前記少なくとも２つのマーカの一方又は両方が、前記少なくとも１つのトラッキングカメラの視野外に在り、
前記プロセッサユニットは、更に、
前記少なくとも２つのマーカの間に仮想コントロールを表示し、
ユーザ入力に基づいて前記仮想コントロールと位置合わせされるように構成されたユーザ入力コントロールを表示し、
前記ユーザが頭部を回した時に前記仮想コントロールの位置を調整して、前記ユーザ入力コントロールを前記仮想コントロールに位置合わせし、
前記少なくとも２つのマーカが両方とも前記少なくとも１つのトラッキングカメラの視野内に在る場合に、前記少なくとも１つのトラッキングカメラの視野内で前記少なくとも２つのマーカを追跡する、ように構成されている、請求項７乃至１８の何れか１項に記載のシステム。
自己完結型頭部装着型手術ナビゲーションシステムであって、
表示デバイス上に視覚的表示を生成する為の表示生成器と、
少なくとも１つのトラッキングカメラを有するセンサスイートと、
プロセッサユニットとを備え、前記プロセッサユニットは、前記センサスイートからデータを受信し、少なくとも２つのマーカの位置及び配向を以下によって計算するように構成されている：
前記少なくとも１つのトラッキングカメラの視野内の前記少なくとも２つのマーカの内の第１のマーカの位置を決定し、
前記表示デバイス上に前記ユーザへの仮想ガイドを表示して、前記少なくとも２つのマーカの内の第１のマーカに対する前記第２のマーカの位置に前記ユーザを誘導し、
前記仮想ガイドからの誘導に基づいて、前記少なくとも１つのトラッキングカメラで前記第２のマーカの位置を決定する、
自己完結型頭部装着型手術ナビゲーションシステム。
ヘルメット及びフェイスシールドと共に使用するように構成された自己完結型手術ナビゲーションシステムであって、
術中にユーザによって装着される頭部装着型表示デバイスを備え、前記頭部装着型表示デバイスが、
前記表示デバイス上に視覚的表示を生成する為の表示生成器と、
少なくとも１つのトラッキングカメラを有するセンサスイートと、
可視光源と、
赤外光源と、を備えており、更に、
前記センサスイートからデータを受信し、少なくとも１つのマーカの位置及び配向を計算するように構成されたプロセッサユニットと、
前記赤外光源の周りに配置された複数の側壁を含むシュラウドであって、前記複数の側壁が、前記赤外光源からの光が放射される開口を規定する、シュラウドと、を備え、
頭部装着型表示デバイスがヘルメットに取り付けられた時に、前記シュラウド、前記少なくとも１つのトラッキングカメラ、前記可視光源、及び前記赤外光源はフェイスシールドの背後に配置され、
前記複数の側壁は、前記頭部装着型表示デバイスが前記ヘルメットに取り付けられている時に前記フェイスシールドと接触して、前記赤外光源によって放射された光が前記少なくとも１つのトラッキングカメラに反射されるのを防止すると共に、前記フェイスシールドのみを通過するようになっている、自己完結型手術ナビゲーションシステム。
前記赤外光フィルタが前記可視光源に結合された時に前記可視光源が赤外光を放射することを防止するように、前記可視光源に結合された赤外光フィルタを更に備えた、請求項２１に記載のシステム。
更に、関心対象物を追跡する為に前記関心対象物に固着された少なくとも２つのマーカを備え、第１のマーカが前記少なくとも１つのトラッキングカメラの視野内に在り、第２のマーカが前記少なくとも１つのトラッキングカメラの視野外に在り、
前記プロセッサユニットは、更に、
前記少なくとも１つのトラッキングカメラの視野内の前記第１のマーカの位置を決定し、
前記表示デバイス上に前記ユーザへの仮想ガイドを表示して、前記第１のマーカに対する前記第２のマーカの位置に前記ユーザを誘導し、
前記仮想ガイドからの誘導に基づいて、前記少なくとも１つのトラッキングカメラで前記第２のマーカの位置を決定するように構成される、請求項２１乃至２２の何れか１項に記載のシステム。
支持モジュールを更に備え、前記支持モジュールが、
前記支持モジュールのハウジングに取り外し可能に挿入される、ユーザが交換可能なモジュール式バッテリと、
前記センサスイートからデータを受信し、少なくとも１つのマーカの位置及び配向を計算するように構成されたプロセッサユニットと、を備え、
前記支持モジュールは、前記頭部装着型表示デバイスに電力及びデータを提供する為に前記頭部装着型表示デバイスに電気的に結合され、前記支持モジュールは、前記ユーザの頭部以外の場所で前記ユーザの身体に装着され、
前記表示デバイスと前記支持モジュールが協働して、外部センサ、カメラ、コンピュータ、又は他の電気機器を必要とせずに、前記システムの全センシング及びコンピューティング能力を構成している、請求項２１乃至２３の何れか１項に記載のシステム。
前記複数の側壁に結合された前面が、前記フェイスシールドと近接し、前記フェイスシールドの曲率半径とほぼ一致する曲率半径を有する、請求項２１乃至２４の何れか１項に記載のシステム。
前記複数の側壁の内の１つ以上が、前記赤外光源の中心軸に対して約１０～約２０度の角度になっている、請求項２１～２５の何れか１項に記載のシステム。
自己完結型手術ナビゲーションシステムであって、
術中にユーザによって装着される頭部装着型表示デバイスを備え、前記頭部装着型表示デバイスが、
前記表示デバイス上に視覚的表示を生成する為の表示生成器と、
少なくとも１つのトラッキングカメラを有するセンサスイートと、
支持モジュールと、を備え、前記支持モジュールが、
前記支持モジュールのハウジングに取り外し可能に挿入される、ユーザ交換可能なモジュール式バッテリと、
前記センサスイートからデータを受信し、少なくとも１つのマーカの位置と配向を計算するように構成されたプロセッサユニットと、を備えており、
前記支持モジュールは、前記頭部装着型表示デバイスに電力及びデータを供給する為に、前記頭部装着型表示デバイスに電気的に結合され、前記支持モジュールは、前記ユーザの頭部以外の場所で前記ユーザの身体に装着され、
前記表示デバイスと前記支持モジュールが協働して、外部センサ、カメラ、コンピュータ、又は他の電気機器を必要とせずに、前記システムの全センシング及びコンピューティング能力を構成している、自己完結型手術ナビゲーションシステム。
フェイスシールド及びヘルメットの内の１つ以上を更に含み、前記表示デバイスが前記フェイスシールド又は前記ヘルメットに取り付けられる、請求項２７に記載のシステム。
前記頭部装着型表示デバイスが赤外光源を更に備える、請求項２７乃至２８の何れか１項に記載のシステム。
前記頭部装着型表示デバイスが、可視光源と、前記可視光源に結合された赤外光フィルタとを更に備え、前記赤外光フィルタが前記可視光源に結合された時に前記可視光源が赤外光を放射することを防止するようにした、請求項２７乃至２９の何れか１項に記載のシステム。
前記赤外光源の周囲に配置され、前記赤外光源からの光が放射される開口を規定する複数の側壁を含むシュラウドを更に備え、
前記頭部装着型表示デバイスがヘルメットに取り付けられた時に、前記シュラウド、前記少なくとも１つのトラッキングカメラ、及び前記赤外光源が、前記フェイスシールドの背後に配置され、
前記複数の側壁は、前記頭部装着型表示デバイスが前記ヘルメットに取り付けられている時に前記フェイスシールドと近接して、前記赤外光源によって放射された光が前記少なくとも１つのトラッキングカメラに反射されるのを防止すると共に、前記フェイスシールドのみを通過するようになっている、請求項２７乃至３０の何れか１項に記載のシステム。
更に、関心対象物を追跡する為に前記関心対象物に固着された前記少なくとも１つのマーカを備え、前記少なくとも１つのマーカは前記少なくとも１つのトラッキングカメラの視野外に在り、前記プロセッサユニットは、更に、
前記センサスイートの１つ以上のセンサを使用して、前記ユーザの頭部の角度を追跡し、
前記少なくとも１つのマーカが前記少なくとも１つのトラッキングカメラの視野内に配置された時の前記少なくとも１つのマーカの最後の既知の位置に基づいて、前記少なくとも１つのマーカの相対位置を計算し、前記最後の既知の位置は、前記頭部の角度に相対的であり、
前記少なくとも１つのマーカの位置に前記ユーザを誘導する為に、前記表示デバイス上で前記ユーザに対する仮想ガイドを表示する、ように構成されている、請求項２７～３１の何れか１項に記載のシステム。
更に、関心対象物を追跡する為に前記関心対象物に固着された少なくとも２つのマーカを備え、第１のマーカが前記少なくとも１つのトラッキングカメラの視野内に在り、第２のマーカが前記少なくとも１つのトラッキングカメラの視野外に在り、
前記プロセッサユニットは、更に、
前記少なくとも１つのトラッキングカメラの視野内の前記第１のマーカの位置を決定し、
前記表示デバイス上で前記ユーザに対して仮想ガイドを表示して、前記第１のマーカに対する前記第２のマーカの位置に前記ユーザを誘導し、
前記仮想ガイドからの誘導に基づいて、前記少なくとも１つのトラッキングカメラで前記第２のマーカの位置を決定する、ように構成されている、請求項２７乃至３２の何れか１項に記載のシステム。
更に、前記第１のマーカと前記第２のマーカの初期位置を取得し、
前記第２のマーカが前記少なくとも１つのトラッキングカメラの視野内にない場合に、前記取得された初期位置に基づいて、前記第１のマーカに対する前記第２のマーカの位置を推定する、ことを含む、請求項２７乃至３３の何れか１項に記載のシステム。
更に、既知の解剖学的マーカに対する前記第１のマーカ及び前記第２のマーカの初期位置を取得し、
前記既知の解剖学的マーカ間の距離を計算し、
前記第２のマーカが前記少なくとも１つの追跡用カメラの視野内にない場合に、前記計算された距離に基づいて、前記第１のマーカに対する前記第２のマーカの位置を推定する、ことを含む、請求項２７乃至３４の何れか１項に記載のシステム。
更に、前記センサスイート内の１つ以上のセンサを使用して、前記ユーザの頭部の動きを追跡し、
前記第２のマーカが前記少なくとも１つのトラッキングカメラの視野内に在った時の前記第２のマーカの最後の既知の位置に基づいて、前記第２のマーカの位置を計算する、ことを含む、請求項２７乃至３５の何れか１項に記載のシステム。
前記支持モジュールの前記ハウジングは更に、前記バッテリから前記プロセッサユニット及び前記頭部装着型表示デバイスに電力を導く為に配置された回路基板を含むベースを備えている、請求項２７乃至３６の何れか１項に記載のシステム。
前記支持モジュールの前記ハウジングは更に、前記ブラケットに配置された時に前記バッテリ及び前記プロセッサユニットを安全且つ取り外し可能に拘束するように構成されたブラケットを備えている、請求項２７乃至３７の何れか１項に記載のシステム。
更に、関心対象物を追跡する為に前記関心対象物に固着された少なくとも２つのマーカを備え、前記少なくとも２つのマーカの一方又は両方が前記少なくとも１つのトラッキングカメラの視野外に在り、
前記プロセッサユニットは、更に、
前記少なくとも２つのマーカの間に仮想コントロールを表示し、
ユーザ入力に基づいて前記仮想コントロールと位置合わせされるように構成されたユーザ入力コントロールを表示し、
前記ユーザが頭部を回した時に前記仮想コントロールの位置を調整し、前記ユーザ入力コントロールを前記仮想コントロールと位置合わせし、
前記少なくとも２つのマーカが両方とも前記少なくとも１つのトラッキングカメラの視野内に在る場合に、前記少なくとも１つのトラッキングカメラの視野内で前記少なくとも２つのマーカを追跡する、ように構成されている、請求項２７乃至３８の何れか１項に記載のシステム。
自己完結型頭部装着型手術ナビゲーションシステムであって、
表示デバイス上に視覚的表示を生成する為の表示生成器と、
少なくとも１つのトラッキングカメラを有するセンサスイートと、
プロセッサユニットとを備え、前記プロセッサユニットは、以下のステップによって前記センサスイートからデータを受信し、少なくとも２つのマーカの位置及び配向を計算するように構成されている：
前記少なくとも２つのマーカが前記少なくとも１つのトラッキングカメラの視野内に在る位置に前記ユーザを誘導する為に、前記表示デバイス上の前記ユーザに仮想ガイドを表示し、前記仮想ガイドは、少なくとも１つのマーカに対する特定の位置で前記ユーザの視野に投影され、前記仮想ガイドは、一方又は両方のマーカが配置されている方向を示しており、
前記少なくとも１つのトラッキングカメラを用いて、前記少なくとも２つのマーカの位置を決定する、
自己完結型頭部装着型手術ナビゲーションシステム。
自己完結型頭部装着型手術ナビゲーションシステムであって、
表示デバイス上に視覚的表示を生成する為の表示生成器と、
少なくとも１つのトラッキングカメラを有するセンサスイートと、
１つ以上の関心対象物に固着され、前記１つ以上の関心対象物を追跡する為の少なくとも２つのマーカと、
プロセッサユニットとを備え、前記プロセッサユニットが、
前記センサスイートからデータを受信し、前記少なくとも２つのマーカの位置を以下によって計算する：
前記少なくとも１つのマーカに相対する特定の位置で、仮想コントロールを前記ユーザの視野に投影し、
ユーザ入力に基づいて前記仮想コントロールと位置合わせされるように構成されたユーザ入力コントロールを表示し、
前記ユーザが頭部を回転させて前記ユーザ入力コントロールを前記仮想コントロールに位置合わせする時に、前記少なくとも２つのマーカが前記少なくとも１つのトラッキングカメラの視野に位置するように、前記仮想コントロールの位置を設定し、
前記ユーザ入力コントロールを前記仮想コントロールに位置合わせすることによって、前記仮想コントロールをアクティブにし、
前記少なくとも１つのトラッキングカメラの視野内に在る前記少なくとも２つのマーカを追跡する、
ように構成されている、自己完結型頭部装着型手術ナビゲーションシステム。
関節中心を決定する為の頭部装着型手術ナビゲーションシステムであって、
表示デバイス上に視覚的表示を生成する為の表示生成器と、
少なくとも１つのトラッキングカメラを有するセンサスイートと、
骨を追跡する為に前記骨に固着された少なくとも１つの基準マーカであって、前記骨が関節で枢動するように又は前記関節に対して枢動するように相対的に位置決めされる、少なくとも１つの基準マーカと、
前記関節に対して実質的に固定されるように配置された少なくとも１つの定置基準マーカと、
プロセッサユニットと、を備え、前記プロセッサユニットは、
前記骨上の点を基準座標フレームにレジストレーションし、
前記レジストレーションされた点に基づいて骨座標フレームを作成し、
前記基準座標フレームから骨座標フレームに変換し、
前記少なくとも１つのトラッキングカメラを使用して、前記基準フレーム内の前記少なくとも１つの定置マーカの点を取得し、取得中に、前記視覚的表示の少なくとも一部の位置が、前記頭部装着型手術ナビゲーションシステムの移動と同期して移動し、
前記骨座標フレームにおける関節中心を決定する、ように構成されている、頭部装着型手術ナビゲーションシステム。
決定することが、前記骨座標系における前記関節中心の位置を計算することを含む、請求項４２に記載のシステム。
決定することが、前記関節中心を決定する為に最適推定フィルタを介して実質的に連続的に処理することを含む、請求項４２に記載のシステム。
決定することが、全ての点の取得後に、バッチ処理を行って前記関節中心を決定することを含む、請求項４２に記載のシステム。
前記骨が、大腿骨、脛骨、上腕骨、橈骨、又は椎体の内の１つである、請求項４２乃至４５の何れか１項に記載のシステム。
前記関節が、股関節、膝関節、肩関節、肘関節、足関節、椎体の内の１つである、請求項４２乃至４６の何れか１項に記載のシステム。
定置は、慣性空間に固定されることを更に含む、請求項４２乃至４７の何れか１項に記載のシステム。
切除角を設定する前に顆頭表面をレジストレーションする方法であって、前記方法は頭部装着型手術ナビゲーションシステムによって実行され、前記方法はプロセッサユニットによって実行され、
前記頭部装着型手術ナビゲーションシステムのディスプレイ上に、１つ以上の領域を含むターゲットを表示するステップと、
顆頭ガイドから受け取った１つ以上の角度をリアルタイムで表す可動式アイコンを、前記ディスプレイ上に提供するステップと、
前記ターゲット内の前記１つ以上の領域に対する前記可動式アイコンの位置を調整する為の１つ以上のユーザ入力を受信するステップと、
前記可動式アイコンの位置の調整中に前記可動式アイコンが相互作用する前記ターゲットの前記１つ以上の領域の何れかに視覚的マーカを前記ディスプレイ上に出力し、前記視覚的にマークされた領域は、捕捉された有効な深さ基準点を示す、ステップと、を含む方法。
以前に捕捉された有効な深さ基準点の記録を防ぐ為に、前記可動式アイコンの動きを制限するステップとを更に含む、請求項４９に記載の方法。
前記捕捉された有効な深さ基準点が格納されるデータベースを形成するステップを更に含む、請求項４９乃至５０の何れか１項に記載の方法。
前記ターゲットがグリッド又はブルズアイである、請求項４９乃至５１の何れか１項に記載の方法。
前記１つ以上の領域の各々は、前記方法が、前記可動式アイコンが前記ハイライト領域と少なくとも部分的に重なるまで前記顆頭ガイドを前記顆頭に対して移動させる旨の前記ユーザへの指示を前記ディスプレイ上に出力するステップを前記方法が含むように順次ハイライトされる、請求項４９乃至５２の何れか１項に記載の方法。
前記１つ以上の領域の内の任意の１つは、前記可動式アイコンが前記ハイライト領域と少なくとも部分的に重なるまで前記顆頭ガイドを前記顆頭に対して移動させる旨の前記ユーザへの指示を前記ディスプレイ上に出力するステップを前記方法が含むようにハイライトされる、請求項４９乃至５３の何れか１項に記載の方法。
前記ハイライト領域が前記可動式アイコンと少なくとも部分的に重なった時に、前記ハイライト領域を不活性化し、前記１つ以上の領域の第２の領域をハイライトするステップを更に含む、請求項５３又は５４の何れか１項に記載の方法。
前記顆頭ガイドを取り外し、切断ガイドを取り付けるようにユーザに促すステップを含む、請求項４９乃至５５の何れか１項に記載の方法。
切断ガイドによって規定された現在の切除面から深さ基準面に対応する有効深さ基準点の内の１つまでの距離に基づいて切除深さを計算するステップを更に含む、請求項５６に記載の方法。
顆頭ガイドを配設するステップを更に含み、前記顆頭ガイドが、
第１の端部及び第２の端部を有する本体と、
前記第１の端部の少なくとも一部の側面領域から延びる少なくとも１つの平面表面であって、前記平面表面は、１つ以上の大腿骨顆部に載り、切除深さを計算する為のゼロ深さ面を構築するように構成される、少なくとも１つの平面表面と、
前記顆頭ガイドのポーズを追跡する為に、前記少なくとも１つの平面表面上に配置された少なくとも１つのトラッカーと、
前記本体の第２の端部から延び、切断ガイドに結合するように構成されたコネクタと、
を備えている、請求項４９乃至５７の何れか１項に記載の方法。
前記顆頭ガイドが、前記本体の前記第１の端部から延びる細長いハンドルを更に備える、請求項５８に記載の方法。
前記本体が、骨に挿入する為のピンをその中に受け入れるように構成された開口を更に規定する、請求項５８乃至５９の何れか１項に記載の方法。
前記開口の直径が、ピンが前記開口を通して挿入される時に顆頭ガイドを傾斜させることを可能にするような大きさである、請求項６０に記載の方法。
前記本体の前記第２の端部から前記コネクタと反対方向に延びる解放機序を更に備え、前記解放機序は、前記切断ガイドを前記骨にピン留めする前に、前記顆頭ガイドを前記骨に結合するように構成されている、請求項５８乃至６１の何れか１項に記載の方法。
前記本体の前記第２の端部の少なくとも一部はスロットを規定し、前記スロットは、スライダを受け入れ、前記スライダ内に前記コネクタ及び前記解放機序が前記スライダの対向する両側に挿入されるように構成されている、請求項５８乃至６２の何れか１項に記載の方法。
前記少なくとも１つの平面表面は、大腿骨顆部に接する平面をシミュレートするように構成される、請求項５８乃至６３の何れか１項に記載の方法。
更に、前記少なくとも１つの平面表面上に配置された前記少なくとも１つのトラッカーを使用して前記顆頭ガイドを追跡し、１つ以上の有効な深さ基準点を決定するステップを含む、請求項４９乃至６４の何れか１項に記載の方法。
前記切断ガイドに結合された前記顆頭ガイドを使用して前記１つ以上の有効な深さ基準点を決定した後にのみ前記切断ガイドをピン留めするステップを更に含む、請求項４９乃至６５の何れか１項に記載の方法。
前記コネクタが取り外し可能である、請求項５８に記載の方法。
切除角を設定する前に顆頭表面をレジストレーションする方法であって、前記方法は、頭部装着型手術ナビゲーションシステムによって実行され、前記方法は、プロセッサによって実行され、且つ、
前記頭部装着型手術ナビゲーションシステムのディスプレイ上に、１つ以上の領域を含むターゲットを表示するステップと、
顆頭ガイドから受信した１つ以上の角度をリアルタイムで受信し、ディスプレイに表示するステップと、
前記ターゲット内の前記１つ以上の領域に関して前記顆頭ガイドを調整する為の１つ以上のユーザ入力を受信するステップと、
前記ディスプレイ上に、前記ターゲットの前記１つ以上の領域の何れかに視覚的マーカを出力し、前記視覚的にマークされた領域は、捕捉され有効な深さ基準点を示す、ステップと、を含む方法。
以前に捕捉された有効な深さ基準点の記録を制限するステップを更に含む、請求項６８に記載の方法。
前記キャプチャされた有効な深さ基準点が格納されるデータベースを形成するステップを更に含む、請求項６８乃至６９の何れか１項に記載の方法。
前記ターゲットがグリッド又はブルズアイである、請求項６８乃至７０の何れか１項に記載の方法。
前記１つ以上の領域の各々は、前記顆頭ガイドの角度が前記ハイライト領域と少なくとも部分的に重なるまで前記顆頭ガイドを前記顆頭に対して移動させる旨のユーザへの指示を前記ディスプレイ上に出力することを前記方法が含むように順次ハイライトされる、請求項６８乃至７１の何れか１項に記載の方法。
前記１つ以上の領域の内の任意の１つは、前記顆頭ガイドの角度が前記ハイライト領域と少なくとも部分的に重なるまで前記顆頭ガイドを前記顆頭に対して移動させる旨のユーザへの指示を前記ディスプレイ上に出力することを前記方法が含むように強調されている、請求項６８乃至７２の何れか１項に記載の方法。
前記ハイライト領域と前記顆頭ガイドの角度とが少なくとも部分的に重なった時に、前記ハイライト領域を不活性化し、前記１つ以上の領域の内の第２の領域をハイライトするステップを更に含む、請求項６８乃至７３の何れか１項に記載の方法。
前記顆頭ガイドを取り外し、切断ガイドを取り付けるようにユーザに促すステップを含む、請求項６８乃至７４の何れか１項に記載の方法。
前記切断ガイドによって規定された現在の切除面から深さ基準面に対応する有効な深さ基準点の内の１つまでの距離に基づいて切除深さを計算するステップを更に含む、請求項６８乃至７５の何れか１項に記載の方法。
顆頭ガイドを配設するステップを更に含み、前記顆頭ガイドが、
第１の端部及び第２の端部を有する本体と、
前記第１の端部の少なくとも一部の側面領域から延びる少なくとも１つの平面表面であって、前記平面表面は、１つ以上の大腿骨顆部に載って、切除深さを計算する為のゼロ深さ平面を構築するように構成される、平面表面と、
前記顆頭ガイドの姿勢を追跡する為に、前記少なくとも１つの平面表面上に配置された少なくとも１つのトラッカーと、
前記本体の第２の端部から延び、前記切断ガイドに結合するように構成されたコネクタと、
を備えている、請求項６８乃至７６の何れか１項に記載の方法。
前記顆頭ガイドが、前記本体の前記第１の端部から延びる細長いハンドルを更に備える、請求項７７に記載の方法。
前記本体が、前記骨の中に挿入する為のピンをその中に受け入れるように構成された開口を更に規定する、請求項７７乃至７８の何れか１項に記載の方法。
前記開口の直径が、ピンが前記開口を通して挿入される時に前記顆頭ガイドが傾くことを可能にするような大きさである、請求項７８に記載の方法。
前記コネクタの反対方向に前記本体の第２の端部から延びる解放機序を更に備え、前記解放機序は、前記切断ガイドを前記骨にピン留めする前に前記顆頭ガイドを前記骨に結合するように構成される、請求項７７乃至７９の何れか１項に記載の方法。
前記本体の前記第２の端部の少なくとも一部は、スライダを受け入れるように構成されたスロットを規定し、前記スロット内に、前記コネクタと前記解放機序が前記スライダの対向する側に挿入される、請求項７７乃至８０の何れか１項に記載の方法。
前記少なくとも１つの平面表面は、大腿骨顆部に接する平面をシミュレートするように構成されている、請求項７７乃至８１の何れか１項に記載の方法。
前記少なくとも１つの平面表面上に配置された前記少なくとも１つのトラッカーを使用して前記顆頭ガイドを追跡して、１つ以上の有効な深さ基準点を決定するステップを更に含む、請求項７７乃至８２の何れか１項に記載の方法。
前記切断ガイドに結合された前記顆頭ガイドを使用して１つ以上の有効な深さ基準点を決定した後にのみ前記切断ガイドをピン留めするステップを更に含む、請求項７７乃至８３の何れか１項に記載の方法。
股関節の中心を決定する為の頭部装着型手術ナビゲーションシステムであって、
表示デバイス上に視覚的表示を生成する為の表示生成器と、
少なくとも１つのトラッキングカメラを有するセンサスイートと、
大腿骨を追跡する為に前記大腿骨に固着された少なくとも１つの基準マーカであって、前記大腿骨が股関節で枢動するように、又は股関節に対して相対的に枢動するように位置決めされている、少なくとも１つの基準マーカと、
前記股関節に対して実質的に固定されるように配置された少なくとも１つの定置基準マーカと、
プロセッサユニットとを備え、前記プロセッサユニットが、
前記大腿骨上の点を基準座標フレームにレジストレーションし、
前記レジストレーションされた点に基づいて大腿骨座標フレームを作成し、
前記基準座標フレームから前記大腿骨座標フレームに変換し、
前記少なくとも１つのトラッキングカメラを使用して、前記基準フレーム内の前記少なくとも１つの定置マーカの点を取得し、取得中に、前記視覚的表示の少なくとも一部の位置が、前記頭部装着型手術ナビゲーションシステムの移動と同期して移動し、
前記大腿座標フレームにおける股関節中心を決定する、ように構成されている、頭部装着型手術ナビゲーションシステム。
決定することが、前記大腿座標系における前記股関節中心の位置を計算することを含む、請求項８５に記載のシステム。
決定することが、前記股関節中心を決定する為に最適推定フィルタを介して実質的に連続的に処理することを含む、請求項８５に記載のシステム。
決定することが、全ての点の取得後に、バッチ処理を行って前記股関節中心を決定することを含む、請求項８５に記載のシステム。
定置は、慣性空間に固定されることを更に含む、請求項８５乃至８８の何れか１項に記載のシステム。