JP2023519331A - 外科処置用のホログラフィック治療領域のモデリングとフィードバックループ - Google Patents

Abstract

患者からホログラフィック画像データセット（122）を取得する、解剖学的部位への医用処置の実施に関する。センサ（115、117、119、121）を用いて被追跡機器（104）を追跡して、被追跡機器のデータセット（132）を提供し、ホログラフィック画像データセット（122）と被追跡機器のデータセット（132）を患者と共にレジスタできる。ユーザが視認可能なように患者からのホログラフィック画像データセット（122）に基づいてホログラム（134、136、138、140、142）をレンダリングし、患者からのホログラフィック画像データセット（122）と被追跡機器のデータセット（132）に基づいてフィードバックを生成できる。ユーザは、拡張現実感システム（102）を用いて患者とホログラム（134、136、138、140、142）を見ながら、患者に対し医用処置の一部を行い得る。ユーザは、フィードバックに応じ、医用処置中、被追跡機器（104）の可視化、案内、及び／又はナビゲーション用に拡張現実感システム（102）を使用できる。

Description

「関連出願の相互参照」
本出願は、２０２０年３月２６日に出願された米国仮出願第６３／０００，４０８号に基づく優先権を主張するものであり、その出願の開示内容が、参照により本明細書に援用されている。

本技術思想は、ホログラフィーによる拡張現実感の適用に関し、より具体的には、ホログラフィーによる拡張現実感の医用への適用に関する。

以下、本開示内容に関する背景技術の情報について記載するが、必ずしも従来技術とは限らない。

多くの様々な処置、例えば、構造的な心臓の修復等では、画像を用いて案内される外科手術が標準的となりつつある。特に、ホログラフィーによる（ホログラフィック）可視化は、様々な外科的設定でトレンドとなっている。ホログラフィーによる可視化では、空間的な計算や、ホログラフィーや、機器の追跡を活用して、患者の解剖学的構造に対して精密に登録（レジスタ）される座標系を生じさせている。機器を追跡して、患者に対して登録された座標系を用いることで、ユーザ、例えば、外科医や他の医療従事者等は、ホログラフィーによる可視化を利用して、画像を用いて案内される処置又は手術を行うことが可能になっている。このシステムでは、望ましくないことだが、患者の解剖学的構造に関して登録された座標系と被追跡機器との間の関係を、その時、追跡していない。例えば、ユーザは、患者の解剖学的構造と被追跡機器との相互作用に基づいた、予測的なコンテキスト・データ（又は、前後の関係上のデータ）の洞察を受け取っていない。

医用処置（又は医療処置）を行うための可視化及び案内用のシステムと方法とには、一貫した需要が存在するが、それには、フィードバックの形で、リアルタイムなコンテキスト・データを提供することへの需要もある。このシステムと方法とでは、患者と被追跡機器との間の相互作用に基づいて、予測的なリアルタイムのシミュレーションを提供することが望まれている。

本技術思想と関連する外科的処置を行う際の可視化及び案内を提供する仕方には、１つ又は複数の種類のフィードバックの形でリアルタイムのコンテキスト・データを使用することが含まれるが、意外にも、これには、さらに、患者の解剖学的構造と被追跡機器との間の相互作用に基づく予測的なリアルタイムのシミュレーションが含まれ得ることが見い出された。

患者の解剖学的部位に対してユーザが医用処置を行う際に、ホログラフィーによる（ホログラフィック）拡張現実感（ＡＲ：augmented reality）の可視化及び案内を可能にするシステムと方法を提供する。当該システムと方法には、拡張現実感システムと、センサを備えた被追跡機器と、患者からホログラフィック画像データセットを取得するように構成された画像取得システムと、並びに、プロセッサ（処理装置）及びメモリ（記憶装置）を備えたコンピュータ（計算機）システムとが含まれる。コンピュータシステムは、上記の拡張現実感システムと、被追跡機器と、画像取得システムと通信可能となっている。画像取得システムは、患者からホログラフィック画像データセットを取得することができる。コンピュータシステムは、センサを用いて被追跡機器を追跡して、被追跡機器のデータセットを提供することができる。コンピュータシステムは、患者と共に被追跡機器のデータセットとホログラフィック画像データセットとをレジスタ（登録）することができる。拡張現実感システムは、ユーザが視認できるように、患者からのホログラフィック画像データセットに基づいてホログラムをレンダリング（描出）することができる。拡張現実感システムは、患者からのホログラフィック画像データセットと被追跡機器のデータセットとに基づいて、フィードバックを生成することができる。ユーザは、拡張現実感システムを用いて、ホログラムと患者とを視認しながら、患者に対して医用処置の一部を実行することができる。その際、ユーザは、フィードバックに応じて、医用処置の際、被追跡機器の可視化、案内（ガイダンス）、及びナビゲーション（指示）のうちの少なくとも１つについて、拡張現実感システムを用いることができる。

本技術思想に係る複数の態様では、特に、医用処置の実行の際、有益で利点のある所定の機能が可能になる。特に、ホログラフィーによる（ホログラフィック）又はバーチャルな針（ニードル）の案内を介しながら、被追跡機器の経路を表示する際、医用処置を行うユーザに対してフィードバックを提供することができる。例えば、被追跡機器の算出された経路が最適な位置にある場合、ホログラフィック座標システムは、聴覚的又は視覚的なフィードバックの形態で、フィードバックを生成して、最適な位置が認識されていること、及び／又は、処置を次のステップに進めることができることを示すことができる。反対に、被追跡機器が、目標の構造物とは別のものと相互作用したり、影響を及ぼす（又は及ぼそうとしている）場合、ユーザに対して、フィードバックによって、潜在的に望ましくないこと、又は意図されていない結果やステップとなり得ることを警告することもできる。

本技術思想は、特定の介入処置からの外科的な特徴の詳細に基づいて、予測的な結果のフィードバックのモデル化（モデリング）を提供することも可能である。例えば、アブレーション（切除）や薬物の治療では、治療対象の腫瘍の種類や、周囲の解剖学的構造（血管を含む）に基づいて、特定のパラメータ及び／又は用量を用いることができる。本技術思想は、被追跡機器の距離のリアルタイムな測定だけでなく、より広く治療結果に影響を及ぼすことが知られている、対象の腫瘍、心臓、又は病変まで移送される治療の調節可能な量、力（パワー）、又は種類についても用いることができる。従って、本発明に係るシステムと、このシステムを使用する方法とでは、血管、胆管、又は他の構造が、計画された切除領域内にある場合には、潜在的に、計画された医用処置に関して悪影響をもたらし得ることを、ユーザ（例えば、外科医）に通知することができる。むしろ、本技術思想では、予測された治療に関し二次的な悪影響に基づいて、移送される治療の強度の変更や、治療後の患者のケアの変更、又は、計画の放棄等を、ユーザが行い得るようにしてもよい。例えば、切除領域内に胆管が存在して、それが切除処置の対象とすべきではない場合、本システムは、ユーザに対するフィードバックを生成するが、係るデータ洞察は、治療レポートに反映することができ、その際、腫瘍の一部が切除されなかったことが記述されてもよい。続いて、このようなコンテキスト・データの洞察を用いることで、ユーザには、治療の客観的分析に基づいて、所望の医用処置を完了させるために、高精度の陽子線（プロトン）治療又は他の非侵襲的方法等の医療後処置を推奨すること等を可能にしてもよい。

本発明に係るシステム及び方法は、医用処置を行う際、可視化及び案内を提供するため、様々な仕方で用いることができる。本技術思想を利用可能な様々な医用処置の適用例として、非限定的な例を挙げると、次のものがある。
（１）骨及び軟組織中の、マイクロ波、ラジオ波、クライオ（低温）及び不可逆電気穿孔法（ＩＲＥ：irreversible electroporation)、高密度焦点式超音波のホログラフィック・モデリング（ホログラフィーによるモデル化）、
（２）腫瘍を消すための腫瘍溶解性又は化学療法の薬の移送や、組織の種類、移送される薬剤、移送される薬剤の量に基づき予測される拡散領域についての、皮膚の病変（損傷）又は腫瘍のホログラフィック・モデリング、
（３）クライオやラジオ波等の電気生理学的な切除の治療についての心臓内マッピング、
（４）肺静脈及び心臓基質の切除領域のマッピングについての、心臓のホログラフィーによるマッピングとペーシングであって、コンテキスト・データの洞察によって、切除治療の範囲に基づき将来の時点で予測される結果についてユーザに対し警告して、他の示された治療の利点との関係でリスクの比較検討を可能にすること、
（５）仮骨延長での長さと角形成の回転中心（ＣＯＲＡ：center of rotation of angulation）の中心と垂直の処置の計画に関する新たな方法を可能にする、整形外科の小児の変形の矯正法であって、肢の新しいアライメントの計画と予測を助けて、適当又は所望な解剖学的位置に対して重心を合わせることを確保させるために、角形成や偏りの平均の軸のホログラフィーによる識別を含むこと、
（６）治療計画の適当な段階化のため、全体的に段階的に調整するコンテキスト・データを提供して、鋭利な矯正器により軟部組織が損傷することを防ぐための、減捻骨切り術（derotational osteotomy）であって、外側大腿回旋動脈の粉砕を回避するため、小児の大腿骨の骨折又は破れ口の中の梨状筋の孔の入口に、ホログラフィーによる可視化、器具の追跡、及び警告を提供することや、取り除かれた腫瘍又は病変に全血液供給を確保するための塞栓形成の処置用にホログラフィーによる可視化を利用することを含み、また、塞栓形成の治療の位置と投薬に基づいて、主要な管や補助的な管が存在する場合に、エンドユーザに対してフィードバックを提供することを含むこと、
（７）疼痛管理療法用の脊髄刺激及び末梢神経剥離療法での軽減（リリーフ）の予測と可視化であって、治療対象の神経のコラーゲン含有量と、瘢痕の輪郭に基づく治療時間を評価するために、神経及び介入点の位置確認と可視化を含むこと、
（８）神経外科及び脊椎の処置であって、ぺディクル・スクリュー又は茎ネジを配置するための閉フィードバック・ループと、応力集中の識別用に脊椎支持構造の応力プロファイルのフィードバック・ループと、脊椎インプラントの反復サイクル試験と降伏点（イールド・ポイント）データに基づいて予測される降伏点のためにホログラフィー的に決定される角形成計算を含むもの、及び
（９）最適なインプラントの配置と他の解剖学的構造の関係から逆流を防止するための、構造的な心臓のプロテーゼ（補綴具）のアライメントと予測性等。

以下の本明細書の記載から、さらなる適用例について明らかになるであろう。なお、この説明と特定の例とは、例示を目的にしたものに過ぎず、本開示内容の範囲を限定することを意図したものではない。

記載された図は、一部の実施形態について、例示を目的にしたものに過ぎない。これら図は、全ての可能な実装を記載しておらず、本開示内容の範囲を限定することを意図したものではない。

図１は、本技術思想の一実施形態に従って、患者の解剖学的部位に対してユーザが医用処置を行う際の、ホログラフィーによる拡張現実感の可視化及び案内用のシステムの概略図であり、拡張現実感システムと、被追跡機器と、コンピュータシステムと、第１の画像取得システムと、第２と画像取得システムとを含むとともに、それらがコンピュータネットワークを介して互いに通信可能にした図である。 図２は、本技術思想の一実施形態に従って、図１に例示したシステムに提供可能な被追跡機器の概略図である。 図３は、本技術思想の一実施形態に従って、ホログラフィーによる拡張現実感の可視化及び案内用のシステムを用いて医用処置を行う際のプロセスを例示したフローチャートである。 図４は、本技術思想の一実施形態に従って、患者の解剖学的部位に対してユーザが医用処置を行う際の、ホログラフィーによる拡張現実感の可視化及び案内を提供するための、システム構成要素とプロセス相互作用を例示した概略図である。

以下、本技術思想について説明するが、この説明は、１つ又は複数の本発明に関する発明主題、製造及び使用についての例示に過ぎない。この説明は、本出願と、本出願に基づく優先権を主張し得る他の出願と、それらに関して権利化され得る特許のいずれかにおける、特許請求の範囲に記載の特定の発明の、範囲、適用及び使用について限定することを意図したものではない。以下に開示される方法では、提示される各ステップの順番は、その性質上、例示に過ぎず、それらステップの順番は、様々な実施形態では異なっていてもよい。その際、何らかの複数のステップを同時に実行することも可能である。ただし、その文章の内容から、明示的にそうでないことが示されている場合を除く。

本明細書で用いられる技術的な用語は、全て、本開示内容と関係する技術分野の当業者によって、通常、理解可能な内容と同じものを意味するものとする。ただし、その文章の内容から、明示的にそうでないことが示されている場合を除く。

本明細書中で使用される、単数の用語（英語の冠詞「a」及び「an」が用いられる場合等）は、少なくとも１つの構成要素が存在することを意味するが、可能であれば、その構成要素が複数存在してもよいものとする。本明細書中で用いられる数値は、全て、「約」という語彙によって修飾することができ、また、幾何学的、空間的な説明は、全て、「実質的に」という語彙によって修飾することができ、その技術の範囲は最も広義に記述され得るものとする。ただし、その文章の内容から、明示的にそうでないことが示されている場合を除く。数値に対して「約」が用いられる場合、その値の計算や測定に若干の不正確さが含まれ得ることを示してもよい（例えば、ある程度の正確さでその値に近づくことや、ほぼその値であることや、合理的にその値に近いこと等を示し得る）。何らかの理由で、「約」及び／又は「実質的に」によってもたらされる不正確さが、通常の意味として、当該技術分野で理解できない場合には、「約」及び／又は「実質的」は、少なくとも、そのようなパラメータの通常の測定又は使用で生じる変動のことを意味してもよい。

本明細書では、本技術思想に係る実施形態について説明し、特許請求の範囲に記載するために、「・・・を含む（including）」、「・・・を含む（containing）」、「・・・を有する（having）」等の非限定的な用語の同義語としてオープンエンドの用語「含む（comprising）」が用いられている。しかしながら、該当する実施形態では、より限定的な用語、例えば、「・・・から成る（consisting of）」、「・・・から主に成る（consisting essentially of）」等を用いることができるものとする。従って、材料、部品、プロセスのステップ等を記述する任意の所与の実施形態では、特にそのような材料、部品、プロセスのステップ等から主に成る実施形態が特に含まれるが、その際、さらなる材料、部品、プロセスを除外する場合（「consisting of」の場合）」と、その実施形態の特性に意義ある影響を与える材料、部品、プロセスを除外する場合（「consisting essentially of」の場合）」とが含まれ得る。ただし、そのようなさらなる材料、部品、プロセスについては本明細書中で明示的に記述される必要はないものとする。例えば、構成要素Ａ、Ｂ及びＣを含むプロセスの場合、そこには、Ａ、Ｂ及びＣから成る実施形態と、Ａ、Ｂ及びＣから主に成る実施形態とが特に含まれ得る。その際、その技術分野で記述可能な構成要素Ｄについては除外され得るが、その構成要素Ｄは、本明細書中に明示的に記述される必要はないものとする。

本明細書中で記述される範囲の開示は、その範囲の端点（終点）と、全ての明白な値とを含み、さらに、全範囲内で分割された範囲を含むものとする。ただし、その文章の内容から、明示的にそうでないことが示されている場合を除く。従って、例えば、「ＡからＢまで」の範囲、又は「約Ａから約Ｂまで」の範囲には、Ａ及びＢが含まれ得る。特定のパラメータ（量、重さ、パーセンテージ等）についての値と値の範囲との開示では、本明細書中で有用な他の値と値の範囲とを除外しないものとする。例えば、所与のパラメータについて２つ又は複数の特に例示された値の場合、そのパラメータについて主張され得る値の範囲の端点を定めることができる。例えば、パラメータＸが値Ａと、値Ｚとを有することが例示される場合、そのパラメータＸには約Ａから約Ｚまでの値の範囲を有し得る。同様に、あるパラメータについて２つ又は複数の値の範囲が開示される場合、（そのような範囲が入れ子状になっている場合と、重なり合っている場合と、別々になっている場合とにかかわらず）開示された範囲の端点として主張可能な値の範囲として、可能な全ての組み合わせが含まれ得る。例えば、パラメータＸについて、１－１０、２－９、又は３－８の範囲の値を有することが例示される場合、パラメータＸは、１－９、１－８、１－３、１－２、２－１０、２－８、２－３、３－１０、３－９等の他の値の範囲が含まれ得る。

ある構成要素又は層が、他の構成要素又は層との関係で、「上にある」、「係合された」、「接続された」、「結合された」等と参照されるとき、直接的に、上にある、係合された、接続された、結合された等を意味し得るだけでなく、中間的（介在的）な構成要素又は層が存在する場合も含まれ得る。逆に言うと、ある構成要素又は層が、他の構成要素又は層との関係で、「直接的に上にある」、「直接的に係合された」、「直接的に接続された」、「直接的に結合された」等と参照されるとき、中間的（介在的）な構成要素又は層が存在しないものと解され得る。複数の構成要素の間で関係を記述する他の用語（例えば、「間」及び「直接的に間」、「隣接する」及び「直接的に隣接する」等）は、同様に理解することができる。本明細書で使用される「及び／又は」の用語は、関連して列挙される項目の１つ又は複数の組み合わせのうちの任意のものと全てのものとを含み得る。

本明細書では、様々な構成要素、部品、領域、層及び／又は区間を説明するために、第１、第２、第３等の用語が用いられ得るが、その用語によって、それら構成要素、部品、領域、層及び／又は区間は限定されないものとする。つまり、それら用語は、ある構成要素、部品、領域、層及び／又は区間を、他の構成要素、部品、領域、層及び／又は区間から区別するためだけに用いることができる。本明細書中で用いられる「第１」、「第２」、他の数値的用語は、配列又は順序を必ずしも意味しない。ただし、その文章の内容から、明示的にそうでないことが示されている場合を除く。従って、以下で記載され得る第１の構成要素、部品、領域、層及び／又は区間は、例示された実施形態の技術思想から逸脱しない限り、第２の構成要素、部品、領域、層及び／又は区間として記載することができるものとする。

空間的に相対的な（関係を表す）用語、例えば、「内側」、「外側」、「下側」、「下方」、「上方」、「上側」等の用語は、本明細書では、説明を容易にするため、図示された、ある構成要素又は特徴と、他の（１つ又は複数の）構成要素又は特徴との関係を説明するために用いることができる。空間的に相対的な用語には、図示された方向に加えて、使用中又は動作中の装置についての異なる方向が含まれ得る。例えば、図中の装置が逆になる場合、他の構成要素又は特徴との関係で「下側」又は「下方」として記述された構成要素は、その他の構成要素又は特徴との関係で「上側」として向きを定められ得る。従って、「下側」という用語の例には、上側と下側の双方が含まれ得る。なお、装置は、他の方向（９０度回転された方向又は他の方向）に向けられることができるため、それに従って、使用される空間的に相対的な用語を解釈することができる。

本明細書中で使用される「経皮的」という用語は、皮膚を通して、なされる、行われる、又は作用することを意味する。

本明細書中で使用される「経皮的な医用処置」という用語は、内部の臓器又は組織を（例えば、典型的にはメスで）露出させる開放的なアプローチによるのではなく、皮膚の針穿刺等を介して、内部の臓器又は組織にアクセスすることを意味する。

本明細書中で使用される「非血管性」という用語は、「経皮的な医用処置」と共に用いられる場合、経皮的にアクセスされる脈管構造とは異なる被験者の身体の部分で行われる医用処置を意味する。経皮的医用処置の例を挙げると、生体組織検査（バイオプシー）、組織アブレーション（切除）、凍結療法処置、近接照射療法処置、血管内処置、ドレナージ処置、整形外科処置、疼痛管理処置、椎体形成術、茎／スクリュー配置処置、ガイドワイヤー配置処置、仙腸関節（ＳＩＪ）固定処置、トレーニング処置等がある。

本明細書中で使用される「血管内」という用語は、「経皮的な医用処置」と共に用いられる場合、経皮的にアクセスされる血管（又はリンパ系）にて行われる医用処置を意味する。その血管内の経皮的な医用処置の例を挙げると、動脈瘤修復、ステントの接ぎ木／配置、血管内プロテーゼの配置、ワイヤの配置、カテーテル挿入、フィルターの配置、血管形成等がある。

本明細書中で使用される「介入装置」又は「被追跡機器（追跡される機器）」という用語は、非血管の経皮的な医用処置中に用いられる医用機器（医療機器）を意味する。

本明細書中で使用される、用語「追跡システム」は、１つ又は複数の物体の動き（移動）を観察して、後の処理のため、追跡座標系で追跡データ（例えば、位置データ、方向データ等）を経時的な順序で供給するために用いられるものを意味する。例を挙げると、追跡システムは、電磁追跡システムであって、センサ－コイルを備えた介入装置が患者の体内を移動する際、その介入装置を観察するものでもよい。

本明細書中で使用される、用語「追跡データ」は、動きを行う１つ又は複数の物体の観察に関して、追跡システムによって記録される情報を意味する。

本明細書中で使用される用語「追跡座標系」とは、特定の追跡システムに特有の点又は他の幾何学的要素の位置を決定するために１つ又は複数の数字を使用する３次元（３Ｄ）デカルト座標系を意味する。例えば、追跡座標系は、標準的な３Ｄデカルト座標系から回転されたり、大きさが変更されたものでもよい。

本明細書中で使用される「ヘッドマウント装置（head-mounted device）」又は「ヘッドセット（headset）」又は「ＨＭＤ」という用語は、頭部に装着されて、１つ又は複数の眼の前に１つ又は複数の表示用光学素子（レンズを含む）を備えるように構成された表示装置（ディスプレイ装置）を意味する。この用語は、より一般的に、「拡張現実感システム」という用語によって参照することができる。ただし、「拡張現実感システム（拡張現実システムやＡＲシステムともいう）」という用語は、頭部に装着するように構成された表示装置に限定されない。幾つかの例では、ヘッドマウント装置は、非一時的メモリと処理ユニットとを含むことができる。適当なヘッドマウント装置の例を挙げると、マイクロソフト社のホロレンズ（登録商標）のＭＲ（mixed reality）スマートグラスの様々なバージョンがある。

本明細書中で使用される、「撮像（イメージング）システム」、「画像取得装置」、「画像取得システム」等の用語は、患者の体内の視覚的表現を生成する技術を指す。例えば、撮像システムは、コンピュータ断層撮影（ＣＴ）システム、蛍光透視システム、磁気共鳴撮像（ＭＲＩ）システム、超音波（ＵＳ）システム等でもよい。

本明細書中で使用される用語「座標系」又は「拡張現実感システム座標系」とは、関係する特定の拡張現実感システム又は画像取得システムに特有の点又は他の幾何学的要素の位置を決定するために１つ又は複数の数字を使用する３次元（３Ｄ）デカルト座標系を意味する。例えば、ヘッドセットの座標系は、標準的な３Ｄデカルト座標系から回転されたり、大きさが変更されたものでもよい。

本明細書中で使用される、用語「画像データ」、「画像データセット」又は「イメージデータ」は、患者の体内の観察に関係して撮像システムによって３Ｄ（３次元）で記録された情報を意味する。例えば、「画像データ」又は「画像データセット」は、処理された２次元又は３次元の画像又はモデル（断層画像等）を含むことができ、例を挙げると、ダイコム（ＤＩＣＯＭ：Digital Imaging and Communications in Medicine）の規格又は他の関連する撮像用の規格に従って生成されたデータによって示され得る。

本明細書中で使用される用語「画像（撮像）の座標系」又は「画像取得システムの座標系」は、特定の画像（撮像）システムに特有の点又は他の幾何学的要素の位置を決定するために１つ又は複数の数字を使用する３次元（３Ｄ）デカルト座標系を意味する。例えば、画像座標系は、標準的な３Ｄデカルト座標系から回転されたり、大きさが変更されたものでもよい。

本明細書で使用される用語「ホログラム」、「ホログラフィック（ホログラフィーによる）」、「ホログラフィック投影（ホログラフィーによる投影）」、又は「ホログラフィック表示（ホログラフィーによる表示）」は、ヘッドセットのレンズに投影される、コンピュータによって生成された画像を意味する。一般に、ホログラムは、（拡張現実感では）、物理的な現実とは無関係に、合成的に生成することができる。

本明細書中で使用される「物理的」という用語は、現実的なものを意味する。この物理的なものとは、ホログラフィーによるもの（ホログラム）ではない（つまり、コンピュータによって生成されたものではない）。

本明細書中で使用される、「２次元的」又は「２Ｄ」という用語は、２つの物理的次元で表されるものを意味する。

本明細書中で使用される、「三次元的」又は「３Ｄ」という用語は、３つの物理的次元で表されるものを意味する。「４Ｄ」の要素（例えば、３Ｄに、時間及び／又は動きの次元を加えたもの）は、３次元又は３Ｄの定義の中に含まれ得るものとする。

本明細書中で使用される、「統合（された）」という用語は、２つのものが連結又は調和されることを意味する。例えば、コイル・センサは、介在装置と統合することができる。

本明細書中で使用される「自由度」又は「ＤＯＦ（degree of freedom）」という用語は、複数の独立して変動可能な因子（ファクタ）を意味する。例えば、追跡システムは、６つの自由度（又は６つのＤＯＦ）を有することができ、つまり、３Ｄ（３次元）の点と３つの回転の次元とを有することができる。

本明細書中で使用される「リアルタイム」という用語は、プロセス又は出来事（イベント）が発生する際の実際の時間を意味する。換言すると、リアルタイムの出来事とは、ライブに行われることを意味する（例えば、ミリ秒以内で行われると、その結果をすぐにフィードバックとして利用可能になる）。例えば、リアルタイムの出来事は、そのイベントが発生してから１００ミリ秒以内に表すことができる。

本明細書中で使用される「被験者」及び「患者」の用語は互換的に用いることができ、医用処置を適用可能な任意の生物を指すことができるが、その生物には、種々の脊椎動物生物が含まれ得るが、例えば、人間が含まれる。

本明細書中で使用される「レジストレーション（記録）」という用語は、追跡データと身体の画像データとを共通の座標系に変換して、処置の際の物理的な患者の身体に関する情報と画像のホログラフィーによる表示を生成するステップを指す。例えば、ウエスト（West）らによる米国特許出願公開第２０１８／０３０３５６３号の開示内容や、ブラック（Black）らによる米国特許出願番号１７／１１０，９９１号の開示内容であって、本出願人が権利者となっているものや、マーティン・スリー（Martin III）らによる米国特許出願番号１７／１１７，８４１号の開示内容を参照することができるが、それらの開示内容は、参照により本明細書に援用されるものとする。

本技術思想は、患者の解剖学的部位に対してユーザが医用処置を行う際、ホログラフィーによる（ホログラフィック）拡張現実感の可視化及び案内を提供する仕方に関する。当該システムと使用とには、拡張現実感システム（拡張現実システムやＡＲシステムともいう）と、被追跡機器（追跡対象の機器又は装置）と、画像取得システムと、コンピュータシステムとが含まれ得る。被追跡機器にはセンサが含まれ得る。画像取得システムは、患者からホログラフィーによる（ホログラフィック）画像データセットを取得するように構成することができる。コンピュータシステムには、プロセッサ（処理装置）とメモリ（記憶装置）とが含まれ得るが、コンピュータシステムは、上記拡張現実感システム、被追跡機器、及び画像取得システムと通信可能である。画像取得システムは、患者からホログラフィック画像データセットを能動的又は活動的に取得することができる。コンピュータシステムは、センサを用いて被追跡機器を追跡して、被追跡機器のデータセットを提供するが、その際、コンピュータシステムは、患者に関して、被追跡機器のデータセットとホログラフィック画像データセットとをレジスタ（登録）することができる。拡張現実感システムは、ユーザが視認できるように、患者から得られたホログラフィック画像データセットに基づいてホログラムをレンダリングする（描出する）ことができ、さらに、患者から得られたホログラフィック画像データセットと被追跡機器のデータセットとに基づいてフィードバックを生成することができる。従って、上記システムとその使用とによって、ユーザが拡張現実感システムを用いてホログラムと患者とを観察しながら、患者に対して医用処置の一部を実行する際、フィードバックに応じて、その医用処置の際、患者に対して、被追跡機器の可視化、案内、及びナビゲーションのうちの少なくとも１つをユーザに提供することができる。

図１を参照すると、患者の解剖学的部位に対してユーザが医用処置を行う際、ホログラフィーによる拡張現実感の可視化及び案内用のシステム１００が例示されているが、これには拡張現実感システム１０２、被追跡機器１０４、コンピュータシステム１０６、第１の画像取得システム１０８が含まれている。所定の実施形態では、システム１００は、さらに第２の画像取得システム１１０を含むことができる。拡張現実感システム１０２、被追跡機器１０４、第１の画像取得システム１０８、及び第２の画像取得システム１１０の各々は、選択的に又は常時に、コンピュータシステム１０６と通信することができるが、例えば、コンピュータネットワーク１１２を介して通信する。なお、当業者であれば、ホログラフィーによる拡張現実感の可視化及び案内用のシステム１００の利用のために、他の適当な機器、道具、装備、サブシステム等と、ホログラフィーによる拡張現実感の可視化及び案内用のシステム１００の部品間の通信用の有線や無線の他のネットワーク手段とを、所望に用いることができるであろう。

図２を参照すると、被追跡機器１０４は、センサを備えた介入装置であることが例示されている。このため、被追跡機器１０４の位置と方向の双方について、コンピュータシステム１０６が判定することが可能になっている。特に、被追跡機器１０４は、細長い本体を有することができ、例えば、細長い可撓性の管（チューブ）を有し、その細長い本体の長さに沿って複数の部位１１４、１１６、１１８、１２０を備えて、それぞれに、複数のセンサ１１５、１１７、１１９、１２１の内の１つを備えることができる。例えば、被追跡機器１０４は、先端部１１４、上方部（又は前方部）１１６、中間部１１８、下方部（又は後方部）１２０を有する。被追跡機器１０４の先端部１１４には、先端のセンサ１１５を備えることができる。被追跡機器１０４の上方部１１６には、上方のセンサ１１７を備えることができる。被追跡機器１０４の中間部１１８には、中間のセンサ１１９を備えることができる。被追跡機器１０４の下方部１２０には、下方のセンサ１２１を備えることができる。センサ１１５、１１７、１１９、１２１の各々は、コンピュータシステム１０６と通信することができるか、又は、コンピュータシステム１０６によって検出可能となっている。

なお、先端のセンサ１１５は、被追跡機器１０４の予め定められた参照点（基準点）として、ユーザによって用いられる場合、特に有益であることを理解されたい。予め定められた参照点は、経路ホログラム（図１の符号１４２参照）用の定着点として構成することができ、例えば、拡張現実感システム１０２によって生成可能なホログラフィーによる光線（ホログラフィック光線）等でもよい。ホログラフィーによる光線は、後述のように、好適な道すじ又は経路に沿って、被追跡機器１０４を揃えることと移動させることとに関してユーザを補助することができる。なお、本開示内容の範囲内で、当業者は、予め定められた参照点を任意の数で利用できることを理解されたい。所定の実施形態では、予め選択された参照点は、医用処置中に、ユーザによってリアルタイムで調整することができ、代替的に、必要に応じて、他のセンサ１１５、１１７、１１９、１２１の１つ又は複数に基づくことができる。

所定の例では、センサ１１５、１１７、１１９、１２１は、電磁的追跡システムの一部であってもよく、コンピュータシステム１０６の一部として、及び／又は、コンピュータシステム１０６によって用いられて、物理的な被追跡機器１０４の位置と方向とを検出できるようにする。例えば、センサ１１５、１１７、１１９、１２１は、１つ又は複数のセンサ・コイルを含むことができる。コンピュータシステム１０６は、１つ又は複数のセンサ・コイルを検出して、その検出に応じて追跡データ（例えば、６つの自由度）を提供できるようにする。例えば、追跡データは、リアルタイムの３Ｄ（３次元）位置データと、リアルタイムの３Ｄ方位データとを含むことができる。コンピュータシステム１０６の追跡システムは、物理的な被追跡機器１０４や物理的な介入装置上に置かれていないコイル・センサについても検出することができ、例えば、基準マーカー又は他の画像化ターゲット上に位置する１つ又は複数のセンサ等を検出してもよい。

さらに、センサ１１５、１１７、１１９、１２１は、被追跡機器１０４の角速度や加速度等、被追跡機器１０４の様々な追加情報を評価するように構成することができる。角速度や加速度を決定するのに適したセンサ１１５、１１７、１１９、１２１として、非限定的な例を挙げると、加速度計、ジャイロスコープ、電磁センサ、及び光学追跡センサ等が含まれる。なお、電磁センサの使用は、視線制限なしに、小さな物体のより精密なリアルタイムの物体追跡を可能にすることができる。

拡張現実感システム１０２とコンピュータシステム１０６と共に、光学追跡システム等の他の適当な追跡システムを使用することができる。この際、無線通信や、有線の接続によって、拡張現実感システム１０２とコンピュータシステム１０６とに対して被追跡機器１０４が通信する実施形態が考えられる。なお、当業者であれば、所望なように、センサ１１５、１１７、１１９、１２１を複合的に利用できることを理解されたい。

被追跡機器１０４の所定の実施形態では、実施される医用処置の種類、患者の解剖学的部位、及び／又は、実施される医用処置の特定のステップに基づいて、以下の態様を含み得る。非限定的な例を挙げると、被追跡機器１０４はカテーテルを含み、この際、カテーテルは、解剖学的部位に対して流体の除去及び／又は流体の移送が可能なように構成されてもよく、又は、カテーテルは、心臓用カテーテル、バルーン・カテーテル、及び／又は、心臓のペーシング又はマッピング用カテーテルでもよい。さらに非限定的な例を挙げると、被追跡機器１０４は整形外科用ツールであって、例えば、ノコギリ、リーマー、及び他の骨の調整用ツールを含み得る。さらに非限定的な例を挙げると、被追跡機器１０４は、インプラントの設置、調整、又は除去用のツールであって、例えば、インプラントは、機械的心臓弁、生物学的心臓弁、整形外科用インプラント、ステント、メッシュ等である。本技術思想の所定の実施形態では、上記インプラント自体は、その追跡を容易にするため、医用処置中に少なくとも一時的に感知可能になっている。さらに非限定的な例を挙げると、被追跡機器１０４は、切除（アブレーション）プローブを含み、例えば、熱的切除プローブであって、高周波切除プローブ、冷凍アブレーションが含まれ得る。さらに非限定的な例を挙げると、被追跡機器１０４は、腹腔鏡機器を含み、例えば、腹腔鏡、膨張器、鉗子、はさみ、プローブ、解剖器、フック、及び／又は開創器等が含まれ得る。さらに非限定的な例を挙げると、被追跡機器１０４は、他の介入ツールを含み、例えば、電動又は非電動のツール、様々な外科用ツール、針、電気プローブ、及びセンサ、例えば、酸素センサ、圧力センサ、さらに電極等が含まれ得る。

再度図１を参照すると、第１の画像取得システム１０８は、患者から第１のホログラフィック（ホログラフィーによる）画像データセット１２２を取得可能なように構成され得る。特に、第１の画像取得システム１０８は、術前（処置前）に患者から第１のホログラフィック画像データセット１２２を取得するように構成され得る。所定の実施形態では、第１の画像取得システム１０８は、磁気共鳴画像（ＭＲＩ）装置、コンピュータ断層撮影（ＣＴ）装置、投影撮影装置、陽電子放射断層撮影（ＰＥＴ）装置、及び超音波システムの内の１つ又は複数を含むことができる。なお、第１の画像取得システム１０８に用いられる他の適当な種類の機器も所望なように適用することができる。さらに、第１の画像取得システム１０８は、同一又は異なる撮像手段によって、複数の画像取得が可能であって、この際、第１の画像データセット１２２は、同一又は異なる撮像手段から得られた複数の画像及び／又は複合の画像を含むことができる。

同様に、第２の画像取得システム１１０は、患者から第２のホログラフィーによる（ホログラフィック）画像データセット１２４を取得可能なように構成することができる。特に、第２の画像取得システム１１０は、術中（処置中）に患者から第２のホログラフィック画像データセット１２４を取得するように構成することができる。より特徴的には、第２の画像取得システム１１０は、リアルタイムで患者から第２のホログラフィック画像データセット１２４を取得するように構成することができる。所定の実施形態では、第２の画像取得システム１１０は、１つ又は複数の超音波システムを含むことができ、例えば、超音波心エコー図（ＥＣＧ）撮像装置、透視装置、さらに他の活動的又はリアルタイムの画像化システムを含むことができる。さらなる実施形態では、第２のホログラフィック画像データセット１２４は、所定のモダリティによって取得することができ、例えば、経胸壁心エコー図（ＴＴＥ：transthoracic echocardiogram）、経食道心エコー図（ＴＥＥ・transesophageal echocardiogram）、及び心腔内カテーテルエコー図（ＩＣＥ：Intracardiac echocardiogram）の内の１つを含むことができる。所望により、第２の画像取得システム１１０用に他の適当な種類の器具とモダリティとを用いることができる。さらに、第２の画像取得システム１１０は、同一又は異なる撮像手段によって、複数の画像取得が可能であって、この際、第２の画像データセット１２４は、同一又は異なる撮像手段から得られた複数の画像及び／又は複合的な画像を含むことができる。

本明細書では、第１の画像取得システム１０８と第２の画像取得システム１１０との双方の利用について図示して、説明しているが、第１の画像取得システム１０８と第２の画像取得システム１１０との一方又は他方のみを利用する実施形態は可能であって、その場合も本開示内容の範囲内に含むことができる。

図１を参照すると、本開示内容のコンピュータシステム１０６は、ホログラフィーによる拡張現実感の可視化及び案内用に、システム１００の操作と関連して機能するように構成されたプロセッサ（処理装置）１２６を含むことができる。プロセッサ１２６は、汎用又は特定の目的のプロセッサの１つ又は複数の種類を含むことができる。所定の実施形態では、複数のプロセッサ１２６を用いることができる。プロセッサ１２６は、非限定的な例を挙げると、汎用コンピュータ、特殊目的コンピュータ、マイクロプロセッサ、デジタル信号処理装置（ＤＳＰ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、及びマルチコア・プロセッサ・アーキテクチャに基づくプロセッサ等のうち１つ又は複数である。

再度図１を参照すると、本開示内容のコンピュータシステム１０６は、メモリ（記憶装置）１２８を含むことができ、そこには、有形又は明白に、非一時的な、機械可読命令（機械が読取可能な命令又は指示）１３０を保存することができる。メモリ１２８には、１つ又は複数の種類のメモリを含むことができ、ローカル（局所）アプリケーション環境に適した任意の種類のメモリを含むことができる。例えば、メモリ１２８は、揮発性及び／又は不揮発性データストレージ技術の様々な実装を含むことができ、例えば、半導体記憶装置、磁気記憶装置及びシステム、光学的記憶装置及びシステム、固体記憶装置、及びリムーバル記憶装置等を含むことができる。例えば、メモリ１２８は、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリー・メモリ（ＲＯＭ）、磁気又は光ディスク、ハードディスクドライブ（ＨＤＤ）等の静的記憶装置、又は任意の他の種類の非一時的な機械可読媒体又はコンピュータ可読媒体の内の１つ又は複数、さらに、上記種類のメモリの組合せを含むことができる。メモリ１２８に保存される命令には、プログラム命令又はコンピュータープログラムコードを含むことができ、それは、プロセッサ１２６によって実行されると、ホログラフィーによる拡張現実感の可視化及び案内用のシステム１００が、本明細書に記載のタスク（作業）を実行できるようにする。

機械可読命令１３０には、１つ又は複数の様々なモジュールを含むことができる。そのようなモジュールは、機能論理、ハードウエア論理、電子回路、ソフトウェアモジュール等の１つ又は複数として実装することができる。係るモジュールには、拡張現実感システムのモジュール、画像取得モジュール、機器追跡モジュール、画像データセット登録（レジスタ）モジュール、ホログラム描出（レンダリング）モジュール、画像登録モジュール、経路ホログラム描出モジュール、及び／又は他の適当なモジュールの１つ又は複数を、所望なように含むことができる。

コンピュータシステム１０６は、例えば、ネットワーク１１２を介して、拡張現実感システム１０２と、被追跡機器１０４と、第１の画像取得システム１０８と、第２の画像取得システム１１０と通信可能である。コンピュータシステム１０６は、本明細書に記載のように、ユーザが患者の解剖学的部位に対して医用処置を行う際、機械可読命令１３０によって、ホログラフィーによる拡張現実感の可視化及び案内用の様々な方法に従って動作するように構成可能である。コンピュータシステム１０６は、拡張現実感システム１０２とは別に提供されて、それとは離間して設けることができる。又は、コンピュータシステム１０６は、拡張現実感システム１０２と共に提供されて、単一装置として、又は他のシステムと一体化されて、所望なように設けることができる。

ホログラフィーによる拡張現実感の可視化及び案内用のシステム１００のネットワーク１１２には、様々な無線や有線の通信ネットワークを含むことができ、非限定的な例を挙げると、ＬＴＥ又は５Ｇ等の無線アクセスネットワーク、ローカルエリアネットワーク（ＬＡＮ）、インターネット等のワイドエリアネットワーク（ＷＡＮ）、又は無線ＬＡＮ（ＷＬＡＮ）等を含むことができる。このようなネットワークの例は、本発明を限定することを意図したものではない。また、この開示内容の範囲内には、無線又は有線の通信ネットワークの組合せを含む、他の通信結合を介して、ホログラフィーによる拡張現実感の可視化及び案内用のシステム１００の１つ又は複数のコンピューティング・プラットフォームを操作可能につなげる実装が含まれ得る。システム１００の１つ又は複数のコンポーネント（構成要素）及びサブコンポーネントは、無線又は有線接続を介してネットワーク環境と通信することができる。所定の実施形態では、１つ又は複数のコンピューティング・プラットフォームは、無線又は有線接続を介して互いに直接的に通信するように構成することができる。様々なコンピューティング・プラットフォームやネットワーク接続された装置の例を挙げると、スマートフォン、ウェアラブル装置（装着可能な装置）、タブレット、ノートパソコン、デスクトップコンピュータ、ＩｏＴデバイス、又は他の携帯型又は固設型の装置（例えば、スタンドアローンのサーバー、ネットワーク化されたサーバー、又はサーバーのアレイ等）が含まれ得るが、これらに限定されない。

所定の実施形態では、コンピュータシステム１０６は、複数のセンサ１１５、１１７、１１９、１２１を用いて、被追跡機器１０４を追跡して、被追跡機器のデータセット１３２を提供するように構成することができる。被追跡機器のデータセット１３２は、メモリ１２８を用いて記憶することができる。特に、被追跡機器のデータセット１３２には、例えば、物理的な空間中での、被追跡機器１０４の位置と方向とを含むことができる。コンピュータシステム１０６は、本明細書に記載のように、第１の画像取得システム１０８から得た第１のホログラフィック（ホログラフィーによる）画像データセット１２２と、コンピュータシステム１０６によって取得された被追跡機器のデータセット１３２とを、患者との関係で登録（レジスタ）するように構成できる。

再度図１を参照すると、本開示内容に従って、システム１００の操作中に、複数のホログラム１３４、１３６、１３８、１４０、１４２を描出（レンダリング）するように、拡張現実感システム１０２を構成することができる。特に、拡張現実感システム１０２は、混合現実感（ＭＲ）ディスプレイを含むことができ、例えば、１つ又は複数のＭＲスマートグラス又はＭＲヘッドマウントディスプレイ等を含むことができる。拡張現実感システム１０２のさらなる非限定的な例としては、マジックリープワン（Magic Leap One）（登録商標）やマイクロソフト社のホロレンズ（登録商標）の様々なバージョンが挙げられる。なお、拡張現実感システム１１０２用に他の種類のＭＲディスプレイを用いることは可能なことを理解されたい。ただし、現実世界の物体の上に、コンピュータによって生成される画像、例えば、ホログラム等を重ね合わせることができるものとする。さらに、拡張現実感システム１０２は、主にヘッドマウント表示を含むものとして説明されているが、ヘッドマウント型ではない他の種類のディスプレイも、所望なように利用可能なことを理解されたい。ただし、現実世界のビュー（視界）の上に、ホログラム１３４、１３６、１３８、１４０を生成し、重ね合わせることができるものとする。

システム１００の所定の実施形態では、拡張現実感システム１０２とコンピュータシステム１０６とを、単一の装置又は複数の共有型の装置に統合することができる。例えば、コンピュータシステム１０６は、スマートグラス又はヘッドセット等のＭＲディスプレイ内に統合したり、搭載されてもよい。また、拡張現実感システム１０２とコンピュータシステム１０６は、ローカル・ネットワーク１１２を介して通信するように、別々の装置として構成することができ、または、拡張現実感システム１０２からコンピュータシステム１０６を遠ざけて、コンピュータシステム１０６をクラウドベースとして機能するように構成してもよい。なお、拡張現実感システム１０２がコンピュータシステム１０６と一体化されず、または含まれない場合、拡張現実感システム１０２は、さらに、追加の非一時的メモリとプロセッサ（１つ又は複数のハードウエアのプロセッサを含み得る）を備えることができ、それらによってホログラム１３４、１３６、１３８、１４０のレンダリング又は生成を助けることは可能である。さらに、拡張現実感システム１０２は、１つ又は複数の画像、１つ又は複数の画像生成用素子を記録するための記録手段又はカメラを備えることができ、それによって、ホログラム１３４、１３６、１３８、１４０の可視化や、他の可視化、及び／又は素子の記録について、生成と表示とを可能にしてもよい。同様に、拡張現実感システム１０２は、１つ又は複数の非拡張ビュー、ホログラム１３４、１３６、１３８、１４０、１４２、及び／又はＭＲビューの画像、記録、及び／又は動画（ビデオ）を、コンピュータシステム１０６へと送信して、保存又は記録することができる。ただし、その際、コンピュータシステム１０６が局所的であったり、又は拡張現実感システム１０２から遠隔的であるか否かにかかわらないものとする。

所定の実施形態では、拡張現実感システム１０２は、１つ又は複数の位置センサ１４４を含むことができることを理解されたい。拡張現実感システム１０２の１つ又は複数の位置センサ１４４は、拡張現実感システム１０２用の様々な位置情報を決定することができ、例えば、拡張現実感システム１０２の３次元（３Ｄ）空間中の近似位置、方向、角速度、及び加速度を決定することができる。この結果、例えば、動作中に、ユーザの視野内で、ホログラフィーによる画像を正確に表示することが可能になることを理解されたい。位置センサ１４４の非限定的な例を挙げると、加速度計、ジャイロスコープ、電磁センサ、及び／又は光追跡センサ等がある。なお、当業者は、拡張現実感システム１０２について異なる種類及び数の位置センサ１４４を利用することができ、例えば、拡張現実感システム１０２が用いられる処置又は状況下で求められるものを利用できることを理解されたい。

図１を参照すると、例えば、拡張現実感システム１０２によって生成されるホログラム１３４、１３６、１３８、１４０、１４２には、第１のホログラム１３４、被追跡機器のホログラム１３６、第２のホログラム１３８、アニメーション（動画化）ホログラム１４０、及び経路ホログラム１４２の内の１つ又は複数を含むことができる。拡張現実感システム１０２によって生成される第１のホログラム１３４は、患者から得られた第１のホログラフィック画像データセット１２２に基づくことができる。拡張現実感システム１０２によって生成される被追跡機器ホログラム１３６は、被追跡機器のデータセット１３２に基づくことができる。拡張現実感システム１０２によって生成される第２のホログラム１３８は、第２のホログラフィック画像データセット１２４に基づくことができる。アニメーションホログラム１４０は、第２のホログラフィック画像データセット１２４のコンピュータシステム１０６による処理に基づいて、本明細書に記載のように、アニメーション・ホログラム・データセット１４８を提供することができる。経路ホログラム１４２は、経路データセット１４６に基づくことができ、これは、本明細書に記載のように、手動又は自動的に選択されて、コンピュータシステム１０６のメモリ１２８に保存することができる。

拡張現実感システム１０２は、様々なホログラム１３４、１３６、１３８、１４０、１４２の描出（レンダリング）又は生成に加えて、ユーザに対して様々な処置（手術）情報又は詳細を示すように構成することができる。例えば、拡張現実感システム１０２は、ユーザの視野内で、様々な現実世界の物体と隣り合わせて（重ね合わせて）、又は強調された（ハイライトされた）現実世界の物体と隣り合わせて（重ね合わせて）、操作情報、例えば、患者の解剖学的部位、被追跡機器１０４、又は様々なホログラム１３４、１３６、１３８、１４０、１４２の内の１つ又は複数を投影することができる。操作情報には、例えば、用いられる経路についてのリアルタイムのナビゲーションの命令又は案内が含まれ得る。拡張現実感システム１０２は、所望なように、被追跡機器１０４等の様々な現実世界の物体や、様々なホログラム１３４、１３６、１３８、１４０、１４２の上に操作情報を投影することができることを理解されたい。このような操作情報又は詳細の生成により、ユーザは、同一視野内で、患者と、複数の操作情報とを同時に見ることができる。また、様々なホログラム１３４、１３６、１３８、１４０、１４２と合わせて、操作情報又は詳細の生成により、操作中に、ユーザが、被追跡機器１０４の計画、大きさ、方向を予め定めることが可能になる。

図１を参照すると、コンピュータシステム１０６は、拡張現実感システム１０２と被追跡機器１０４と通信可能である。コンピュータシステム１０６は、ユーザ及び／又は他の医療の専門家による手動介入によって、又はメモリ１２８内でエンコード（符号化）された機械可読命令１３０に基づいて自動的に、操作情報を記憶し、生成するように構成することができる。例えば、操作情報は、アルゴリズム、人工知能（ＡＩ）プロトコル、又は他のユーザ入力データもしくは閾値を使用すること等によって、被追跡機器１０４のセンサが決定した位置及び／又は方向に基づいて、拡張現実感システム１０２内で生成することができる。さらに、コンピュータシステム１０６は、ユーザが、リアルタイムで、操作情報を選択的に調整可能にしてもよい。例えば、ユーザは、経路ホログラム１４２の位置又は方向を調節することができる。さらに、ユーザは、操作情報又はデータのどれが積極的に表示されているのかを決定することができる。なお、本開示内容の範囲内で、ユーザが、リアルタイムに、操作情報の他の設定及び属性を調整できることを理解されたい。

医用処置を行う際、ホログラフィーによる拡張現実感の可視化及び案内用のシステム１００を使用することに関して、拡張現実感システム１０２によって、利用者が、患者及び第１のホログラム１３４を視認しながら、また選択的に機器のホログラム１３６を視認しながら、拡張現実感システム１０２を用いて、医用処置を行うことを可能にするが、その際、生成されたホログラム１３４、１３６、１３８、１４０、１４２のいずれかを選択的に見るようにしてもよい。同様に、ユーザは、システム１００の利用についての様々な方法に関して、本明細書に記載のように、医用処置の間、被追跡機器１０４の可視化、案内、ナビゲーションのうちの少なくとも１つに関して、拡張現実感システム１０２を有益に用いることができる。

所定の実施形態では、経路ホログラム１４２は、例えば、被追跡機器１０４の所定の経路を示すホログラフィーによる光線を含むことができる。ホログラフィーによる光線は、直線状又は曲線状であってもよく、１つ又は複数の角度を有することができ、及び／又は、被追跡機器１０４用の最適な経路を描くことができる。また、経路ホログラム１４２は、特定の医用処置及び／又は患者の特定の解剖学的部位に関係する様々な態様を明確に識別するために使用することができる。例えば、経路ホログラム１４２は、被追跡機器１０４について、患者上の経皮的入口点と患者内の血管内着地点を示すことができ、例えば、所定の心臓医用処置において、インプラントを配置するための、患者の心臓の構造を伴う好適な着地場所を示すことができる。拡張現実感システム１０２によって生成される経路ホログラム１４２の全体的な大きさ、形状、及び／又は、方向は、術前データ及び術中データを含むコンピュータシステム１０６からの操作情報に基づくことができることを理解されたい。なお、操作情報は、所与の医用処置及び／又は所与の被追跡機器１０４について特徴的であってもよい。ただし、様々な種類の術前データや術中データは、様々な医用処置に適応可能である。なお、操作情報は、操作領域内にある他のセンサからのさらなるデータを含むことができ、また、拡張現実感システム１０２によって、他のホログラフィーによるホログラム１３４、１３６、１３８、１４０を生成できることを理解されたい。

術前データには、医用処置の前に得られた患者に関する情報を含むことができ、例えば、第１のホログラフィック（ホログラフィーによる）画像取得システム１０８とともに、様々なソース（情報源）から得られ、処理され、及び／又は注釈（アノテート）されたデータを用いることができる。術前データの実施形態には、様々な画像、複合画像、注釈付き画像のほか、患者の解剖学的部位の１つ又は複数のマーカー又はフラグが付けられた点又は部分が含まれる。術前データについて非限定的な例を挙げると、経食道心エコー図、経腹壁心エコー図、経胸壁心エコー図、コンピュータ断層撮影（ＣＴ）スキャン、磁気共鳴撮像（ＭＲＩ）スキャン、又はＸ線等からの静止画像又は録音等がある。なお、術前データには、所望なように、他の診断医用処置、画像モダリティ、及びモデル化のシステムからの情報を含むことができることを理解されたい。

術中データには、リアルタイムで取得された患者の解剖学的部位及び患者に関する情報を含むことができ、例えば、第２のホログラフィック画像取得システム１１０を用いた、医用処置中の情報が含まれる。例えば、術前データに関して列挙した診断医用処置を、この医用処置と同時に行うことができ、そして、術中データとして、リアルタイムで取得し、使用することができる。例えば、リアルタイムで超音波画像を取得して、第２のホログラフィック画像取得システム１１０と統合してもよく、それによって、第２のホログラフィック画像取得システム１１０と合わせて、リアルタイムで、静止画又は動画のビューを提供してもよい。

本技術思想で用いられる操作情報には、さらに、複合型又は統合型の術前データと術中データとを含むことができる。複合型の術前データと術中データには、術前データと術中データとの併合を含むことができるが、それによって、ユーザに対して、より簡潔で、近似的な画像と動画とを提供できるようにする。例えば、手動の仕方で、データの併合を行ってもよい。他の例では、コンピュータシステム１０６によって、データの併合を行ってもよく、例えば、機械可読命令１３０により示される１つ又は複数のアルゴリズムを使用してもよく、又は人工知能（ＡＩ）を介して行ってもよい。

再度、拡張現実感システム１０２と経路ホログラム１４２とを参照すると、ホログラフィーによる光線の使用には様々な態様が含まれ得る。例えば、所定の実施形態では、ホログラフィーによる光線は、被追跡機器１０４の予め選択された基準点に対して固定することができる。意図された経路は、ユーザによってリアルタイムにコンピュータシステム１０６を介して調整することができ、例えば、医用処置中に生じ得る予期せぬ問題（合併症）に対処することを可能にする。経路ホログラム１４２は、他のホログラフィーによる投影とともに、特定の医用処置（例えば、経心尖部アプローチ処置）に関連し得る問題（合併症）のリスクを最小限に抑えることができると考えられる。例えば、心臓、動脈、又は静脈での切開の全体的な大きさを最小にすることができるが、その理由は、ユーザが、ホログラフィーによる光線等の経路ホログラム１４２を介することで、被追跡機器１０４の意図した経路について、より正確に行い得るためである。他の例では、経路ホログラム１４２を用いることで、ユーザは、弁移植又は傍弁漏出（ＰＶＬ）閉鎖等の特定の医用処置中に、所与の被追跡機器１０４を用いる際、より容易に最適なアプローチ角度を見出すことができると考えられる。ユーザは、より容易に最適なアプローチ角度を見出すことができるため、重要な構造、例えば、肺組織、冠動脈、心臓処置中の左前下行動脈等をより良好に回避することができる。

本技術思想の態様は、リアルタイムでの術中のスキャンのホログラフィーによる表示を、術前のスキャンのホログラフィーによる表示と重ね合わせることができる状況下では、さらに有益となり得る。例えば、複合型又は統合型の、術前データと術中データとは、ＣＴスキャン画像と術中の透視画像のホログラフィーによる統合を含むことができる場合、患者の解剖学的部位、例えば、心臓周期に関する心臓の動きをモデル化することができる。さらに、複合型の術前データと術中データとによって、ユーザに対して、被追跡機器１０４と接触することが許されない患者の体内の敏感な領域について、通知又は警告するためのオーバレイを含ませることができる。なお、本開示内容の範囲内で、当業者は、複合型の術前データと術中データとを異なる態様で適用できることを理解されたい。

所定の実施形態では、コンピュータシステム１０６は、ホログラフィーによる拡張現実感の可視化及び案内用のシステム１００の一部として、医用処置に関与するインプラントの形状を予測するように構成してもよい。例えば、一度、被追跡機器１０４によってインプラントが展開されると、弁（バルブ）の場所と姿勢（例えば、方向）を含む形状を予測することが可能となる。例えば、インプラントの予測された形状は、拡張現実感システム１０２によってさらに生成されたホログラムの形態で可視化することができる。所定の実施形態では、コンピュータシステム１０６は、例えば、被追跡機器１０４に関して、同軸配置、例えば、血管内構造での弁の中央揃え等を容易にするように構成されてもよい。また、拡張現実感システム１０２は、医用処置の際に、同軸配置の際に、ユーザを案内するための「エラーバー」の形態で通知を生成したり、着色（例えば、妥当な場合は「青」、不当な場合は「赤」等）を提供するように構成されてもよい。

一実施形態では、コンピュータシステム１０６は、経時的に、医用処置（例えば、インプラントの配置された位置に関する）に起因して予測される患者の解剖学的部位（例えば、血管内構造又は心臓構造）の再モデル可を予測するために用いることができる。特に、コンピュータシステム１０６は、特定のインプラント配置により、経時的に、解剖学的部位（例えば、心筋、骨、軟組織等）をどのように再モデル可するかを投影又は予測することができ、従って、経時的に起こり得る再モデル可を最小にするような仕方でインプラントを配置するための計画を可能にする。コンピュータシステム１０６は、医用処置の完了前に、人工器官（人工補綴物）又はインプラントの大きさの選択を補助するために使用することもできる。ホログラフィーによる拡張現実感の可視化及び案内用のシステム１００を用いることで、適当な大きさを選択することによって、患者と人工器官とのミスマッチ（ＰＰＭ：patient prosthesis mismatch）の起こり得る虞を最小にすることが可能になる。そのような虞は、患者に関して、人工器官（例えば、心臓弁）が小さ過ぎるか、又は大き過ぎる場合に起こり得る。

なお、本システム１００では、ユーザは、どの程度の操作情報が表示されるかについて、カスタマイズできることを理解されたい。ユーザは、例えば、コンピュータシステム１０６を用いて、操作情報の設定と属性をカスタマイズしてもよい。本システム１００では、ユーザが、さらなる物理的な機器ガイドを必要とすることなく、任意の所望の角度で、医用処置中に機器を挿入することを可能にする。

図３を参照すると、本技術思想の実施形態に従って、ユーザが、患者の解剖学的部位に対して医用処置を行う際の、ホログラフィーによる拡張現実感の可視化及び案内用の方法３００のフロー図が例示されている。方法３００の一般的な概要は、本明細書に記載の様々なシステムに使用できることを理解されたい。さらに、方法３００は、本明細書に記載のように、追加の部品及び小部品、並びに、追加のステップ及びサブプロセスを含むことができる。

ステップ３０５では、ホログラフィック（ホログラフィーによる）拡張現実感の可視化及び案内用のシステムが提供される。このシステムには、拡張現実感システムと、センサを備える被追跡機器と、画像取得システムと、コンピュータシステムとが含まれ得る。画像取得システムは、患者からのホログラフィック（ホログラフィーによる）画像データセットを取得するように構成できる。コンピュータシステムには、プロセッサとメモリとが含まれ得るが、その際、コンピュータシステムは、拡張現実感システムと、被追跡機器と、画像取得システムと通信することができる。ステップ３１０では、画像取得システムを用いて、患者からホログラフィック画像データセットを取得することができる。ステップ３１５では、コンピュータシステムを用いて、センサを備える被追跡機器（追跡対象の機器）を追跡して、センサによって被追跡機器のデータセットを提供する。ステップ３２０では、コンピュータシステムを用いて、患者に関して、ホログラフィック画像データセットと被追跡機器のデータセットとを登録（レジスタ）することができる。ステップ３２５では、拡張現実感システムを用いて、患者から得られたホログラフィック画像データセットに基づいて、ユーザが視認できるように、ホログラムをレンダリング（描出）することができる。ステップ３３０では、拡張現実感システムを用いて、患者から得られたホログラフィック画像と被追跡機器のデータセットとに基づいて、フィードバックを生成することができる。ステップ３３５では、ユーザは、拡張現実感システムを用いてホログラムと患者とを視認しながら、患者に対して、医用処置（医用処置）の一部を実行することができる。このようにして、ユーザは、フィードバックに応じて、医用処置中に、被追跡機器の可視化、案内、及びナビゲーションのうちの少なくとも１つに関して、拡張現実感システムを用いることができる。

拡張現実感システムを用いた被追跡機器のデータセットと患者から得たホログラフィック画像データセットとに基づくフィードバックの生成に関して、フィードバックには以下の態様が含まれ得る。なお、種々の種類と組合せとのフィードバックを用いることができる。例えば、フィードバックは、ユーザに対する、視覚的通知、聴覚的通知、及びデータ通知の内の１つ又は複数を含むことができる。視覚的通知が提供される場合、種々の種類の視覚的な合図、色、画像、テキスト、及び記号を用いることができる。視覚的通知の実施例としては、拡張現実感システムによって描出されるホログラムの一部として提供されるものがある。

被追跡機器を使用した、患者に対する医用処置の一部についてのパフォーマンス（性能、行為、出来栄え等）の算出に続いて、フィードバックを生成することができる。例えば、ユーザは、様々な場所（様々な位置及び／又は方向を含む）に被追跡機器を配置することができるが、その際、追被追跡機器の算出されたパフォーマンス（予測性能等）は、その位置の１つ又は複数で表示することができる。このようにして、ユーザは、医用処置の一部を実際に実行することなく、様々な仕方で、被追跡機器の算出されたパフォーマンスを確認することができる。算出されたパフォーマンスは、医用処置に関して術前でも決定することができる。従って、医用処置を開始して、患者内に被追跡機器を挿入する前に、患者の解剖学的部位への被追跡機器の様々な挿入ルートを用いる場合のフィードバックをユーザに提供することが可能になる。

所定の実施形態では、算出されたパフォーマンスは、拡張現実感システムを用いたレンダリングと、コンピュータシステムを用いたプラニング（計画）によって決定することができる。患者の解剖学的部位への被追跡機器の挿入の所定の経路は、コンピュータシステムによって計画を立てることができ、それによって、所定の経路データセットを提供する。次に、拡張現実感システムは、所定の経路データセットに基づいて経路ホログラムを描出することができる。このようにして、ユーザは、実際に行うことなく、医用処置の一部を実行することによる効果又は結果を見る（又は知る）ことができ、そして、患者の解剖学的部位での干渉的構造の衝突や識別、及び／又は望ましくない効果について、現実世界で実際に着手する前に、最小限に抑えることが可能になる。所定の実施形態では、被追跡機器の所定の経路を示すホログラフィーによる光線として、経路ホログラムを構成することができる。拡張現実感システムによって種々の種類の算出されたパフォーマンスを描出することができ、その際、非限定的な例を挙げると、算出されたパフォーマンスは、被追跡機器による算出されたインプラントの設置や、患者の解剖学的部位への被追跡機器の算出された挿入を示すことができる。例えば、算出された治療領域が示される場合、ユーザは、被追跡機器の設定に基づいて、算出された治療領域の大きさを小さくする（減衰させる）ことができる。従って、様々な治療領域の複数の大きさ（例えば、同心円状の切除領域）を同時に表示することができ、ユーザは、治療領域の所望の大きさ又は形状に基づいて、被追跡機器の設定を選択することができる。

所定の実施形態では、本技術思想は、ユーザによって、患者に対する医用処置の一部の実行中にフィードバックを生成することができる。例えば、ユーザが、患者の解剖学的部位で医用処置の１つ又は複数の部分を行う際、リアルタイムで、フィードバックを生成することができる。医用処置の部分の実行を進めること、医用処置の部分の実行を休止（一時停止）すること、及び／又は、医用処置の部分の実行を中止することのために、フィードバックは、ユーザへの通知を含むことができる。その通知が、拡張現実感システムによって描出（レンダリング）されたホログラムによって構成される視覚的通知の場合、例えば、視覚通知には、ホログラムに関して、１つ又は複数の色の変化、形状の変化、画像、テキスト、及び記号が含まれ得る。

ユーザが、患者の解剖学的部位に対して医用処置を行う際、ホログラフィーによる拡張現実感の可視化及び案内用のシステムを使用する方法には、別の又は第２の画像取得システムの使用が含まれ得る。第２の画像取得システムは、患者から第２のホログラフィック（ホログラフィーによる）画像データセットを取得するように構成することができ、コンピュータシステムは第２の画像取得システムと通信することができる。従って、この方法では、第２の画像取得システムによって、患者から第２のホログラフィック画像データセットを取得することができる。この方法には、さらに、コンピュータシステムによって、患者に関して第２のホログラフィック画像データセットを登録（レジスタ）し、拡張現実感システムによって、患者からの第２のホログラフィック画像データセットに基づいて第２のホログラムを描出する（レンダリングする）ことができる。このように、例えば、患者からのホログラフィック画像データセットは術前であってもよく、第２のホログラフィック画像データセットは術中に取得されてもよく、かつ医用処置中にリアルタイムで取得されてもよい。

本技術思想の方法には、以下の態様が含まれ得る。コンピュータシステムによって、リアルタイムで取得された第２のホログラフィック画像データセットに基づいて、ホログラム、第２のホログラム、並びに、ホログラム及び第２のホログラムの内の１つの所定の部分について、アニメ化（動画化）されたホログラムのデータセットを生成してもよい。次いで、拡張現実感システムを用いて、医用処置の際、ユーザが視認できるように、アニメ化されたホログラムのデータセットからアニメ化されたホログラムを描出してもよい。コンピュータシステムを用いて、アニメ化の対象となる、ホログラム、第２ホログラム、並びに、ホログラム及び第２のホログラムの内の１つの所定の部分を選択してもよい。例えば、画像取得システムが磁気共鳴画像（ＭＲＩ）装置及び／又はコンピュータ断層撮影（ＣＴ）装置を含み、第２の画像取得システムが超音波装置を含む場合を挙げることができる。

所定の実施形態では、医用処置を行う際のホログラフィーによる拡張現実感の可視化及び案内用の方法には、コンピュータシステムを用いて、ホログラフィック画像データセット、被追跡機器のデータセット、ホログラム、フィードバック、患者のビュー、ホログラムの内の１つ又は複数を記録することを含み得る。このようにして、コンピュータシステムは、フィードバックの生成に続いて、医用処置のユーザ性能（パフォーマンス）を記録するように構成することができる。同様に、コンピュータシステムは、ユーザによって、患者の解剖学的部位での医用処置の性能（パフォーマンス）の態様を記録するように構成することができる。

本技術思想が医用処置の態様を記録する場合、その記録では、リアルタイムの分析と、術後の分析と評価とに使用可能なように、医用処置の一部の所定の作用と結果とを追跡することができる。記録には、医用処置の１つ又は複数のステップ又は動作、１つ又は複数の手術器具の動き、及び患者の解剖学的構造（手術の前及び後）を、リアルタイムで、３次元空間内で追跡することが含まれ得る。記録及び追跡は、ユーザへのリアルタイムのフィードバックを生成するために用いることができ、このフィードバックは、ホログラフィーによる案内の経路又は治療領域に対する現実世界での位置の比較に基づき得る。被追跡機器、患者の解剖学的部位、及びユーザによるパフォーマンスの記録に基づいて、医用処置の術後の評価が可能となる。現在、外科的処置とその結果の効果と評価は、確認用（ピアレビュー用）科学ジャーナルとつなげられ得る。ただし、結果又は問題をピアレビューするために、位置、正確さ、治療法等の具体的な処置の間には、定量的な仲立ちはない。所定の例では、結果の予測は、全体的に、所与の外科的手術の際に取得された幾つかの点に依拠しており、術後の画像診断と手術の報告等の方法を用いて決定可能となっている。本技術思想では、３次元ホログラムのレンダリングと被追跡機器の評価を可能にすることで、所定の行動とその結果とを定量化する新しい方法を提供することができる。

図４を参照すると、医用処置を行う際、ホログラフィーによる拡張現実感の可視化及び案内を提供する方法が例示されている。この図には、システムの部品（構成要素）とプロセスの相互作用とが概略的に例示されている。ユーザ（外科医等の医療従事者を含む）４０５は、１つ又は複数のツール（道具）４１０を選択することができるが、それには、患者（被験者）４１５の特定の解剖学的部位上で実施される特定の医用処置に適切な、１つ又は複数の種類の様々な被追跡機器１０４が含まれる。同様に、用いられる画像（撮像）４２０は、１つ又は複数のツール４１０と患者４１５の解剖学的構造に依存することができ、その際、画像４２０には、１つ又は複数の画像取得システム１０８、１１０の使用が含まれ得る。従って、レジスタ（登録）４２５に示されるように、ツール４１０、患者４１５の解剖学的部位、及び画像４２０は、意図された医用処置と患者とに特に合わせることができる。

画像４２０には、患者４１５からホログラフィック画像データセット１２２、１２４を取得するように構成された画像取得システム１０８、１１０の使用を含むことができる。再度図１を参照すると、コンピュータシステム１０６は、被追跡機器のデータセットを提供するために、被追跡機器と関連付けられたセンサを用いて、１つ又は複数のツール４１０（例えば、被追跡機器１０４）を追跡するように構成することができ、この際、コンピュータシステム１０６は、符号４２５に示すように、患者に関して被追跡機器のデータセットとホログラフィック画像データセットとを登録することができる。このようにして、符号４３０で示すように、１つ又は複数のツール４１０（例えば、被追跡機器１０４）と患者４１５との間の相互作用を決定することができ、この際、拡張現実感システム１０２（図１参照）は、ユーザ４０５が視認できるように、患者４１５からのホログラフィック画像データセットに基づいてホログラムを描出する（レンダリングする）ことができる。１つ又は複数のレンダリングされたホログラムは、医用処置の際に使用され得る資本的設備４４０によって提供される様々なデータ及び／又は撮像システム（イメージングシステム）４４５とともに、ホログラフィーによる情報４３５として提供することができる。

医用処置に対して、急性のメトリクス４５０及び慢性のメトリクス４５５を含む様々なメトリクス（基準）は、ユーザ４０５によって用いられるように、ツールと患者との相互作用４３０に関して決定することができる。このような基準は、同じく、処置と患者の特徴４２５であり得る。例えば、腫瘍アブレーション（切除）は、特定の患者での解剖学的部位の位置、大きさ、及び付近の構造について特有的であり得る。他の基準は、共通の基準や、基点に関係してもよく、例えば、患者の解剖学的部位にインプラントを配置することに関連してもよい。しかしながら、特定の患者４１５に対して確立された処置を適応するために、様々な画像手段に基づいて、局所的トポロジーや患者固有の形態を用いてもよい。これら基準は、医用処置の実行中にユーザ４０５を案内するため、及び／又は、術後分析のための記録と追跡のため、フィードバックとして提供されてもよい。

ホログラフィー（ホログラフィック）４３５、資本的設備４４０、及び／又は撮像（画像）４４５データ、及び／又はツールと患者４３０との相互作用と併せて、急性のメトリクス４５０及び／又は慢性のメトリクス４５５は、ユーザ４０５に対するフィードバックを生成するために、独立して、又は組み合わせて使用することができる。係るフィードバックには、例えば、医用処置の一部の実行を進めること、医用処置の一部の実行を休止（一時停止）すること、又は医用処置の一部の実行を中止するため、ユーザ４０５に対する１つ又は複数の通知を含むことができる。係る通知は、医用処置の一部を実行する際の選択肢及び／又は予測される結果をユーザ４０５に知らせるための、所定の決定マトリックス（決定行列）４６０の一部とすることができる。

従って、ユーザ４０５は、医用処置に関する臨床的（医療的）決定４６５を、ツールと患者４３０との間の相互作用によって提示されるフィードバックに基づいて行うことができ、そのフィードバックには、任意のホログラフィー（ホログラフィック）４３５、資本的設備４４０、撮像（画像）４４５のデータ、さらに、急性のメトリクス４５０及び慢性のメトリクス４５５の考察が含まれる。臨床的決定４６５を行う際、ユーザ４０５は、フィードバックからの情報により、患者の解剖学的部位に対してツール４１０を用いた動作を実行することができる。なお、符号４２５に示されるように、臨床的決定４６５は、処置と患者の特徴でもよいことを理解されたい。その後、ユーザ４０５は、同じ考察事項とフィードバックとの内の１つ又は複数を考慮して、医用処置のその後のステップを続けてもよい。従って、本技術思想は、医用処置が完了したと決定されるまで、医用処置の複数の段階や、再帰的に又はループ内で続くプロセスで、フィードバックを提供することができる。

以上、当業者が本開示内容を理解して、その範囲が解るように、実施形態について例示した。本開示内容の実施形態について十分に理解できるように、特定の構成要素、装置、及び方法について、複数の具体的な詳細が例示されている。当業者であれば、それら具体的な詳細が用いられなくても、多くの様々な態様で例示的な実施形態を実施することができ、従って、例示された実施形態のいずれも本開示内容を限定するものではないことが明らかであろう。なお、幾つかの実施形態の例では、既知のプロセス、既知の装置の構造、及び既知の技術思想については詳細に記述されていない。また、実施形態、材料、構成要素及び方法に関して、実質的に同様の結果が得られるように、本技術思想の範囲内で、均等な変化、修正及び変更を行うことが可能である。

図４を参照すると、医用処置を行う際、ホログラフィーによる拡張現実感の可視化及び案内を提供する方法が例示されている。この図には、システムの部品（構成要素）とプロセスの相互作用とが概略的に例示されている。ユーザ（外科医等の医療従事者を含む）４０５は、１つ又は複数のツール（道具）４１０を選択することができるが、それには、患者（被験者）４１５の特定の解剖学的部位上で実施される特定の医用処置に適切な、１つ又は複数の種類の様々な被追跡機器１０４が含まれる。同様に、用いられる画像（撮像）４２０は、１つ又は複数のツール４１０と患者４１５の解剖学的構造に依存することができ、その際、画像４２０には、１つ又は複数の画像取得システム１０８、１１０の使用が含まれ得る。従って、レジスタ（登録）４２７に示されるように、ツール４１０、患者４１５の解剖学的部位、及び画像４２０は、意図された医用処置と患者とに特に合わせることができる。

画像４２０には、患者４１５からホログラフィック画像データセット１２２、１２４を取得するように構成された画像取得システム１０８、１１０の使用を含むことができる。再度図１を参照すると、コンピュータシステム１０６は、被追跡機器のデータセットを提供するために、被追跡機器と関連付けられたセンサを用いて、１つ又は複数のツール４１０（例えば、被追跡機器１０４）を追跡するように構成することができ、この際、コンピュータシステム１０６は、符号４２７に示すように、患者に関して被追跡機器のデータセットとホログラフィック画像データセットとを登録することができる。このようにして、符号４３０で示すように、１つ又は複数のツール４１０（例えば、被追跡機器１０４）と患者４１５との間の相互作用を決定することができ、この際、拡張現実感システム１０２（図１参照）は、ユーザ４０５が視認できるように、患者４１５からのホログラフィック画像データセットに基づいてホログラムを描出する（レンダリングする）ことができる。１つ又は複数のレンダリングされたホログラムは、医用処置の際に使用され得る資本的設備４４０によって提供される様々なデータ及び／又は撮像システム（イメージングシステム）４４５とともに、ホログラフィーによる情報４３５として提供することができる。

Claims (20)

1. ユーザが患者の解剖学的部位に対して医用処置を行う際、ホログラフィーによる拡張現実感の可視化及び案内を可能にする方法であって、
   拡張現実感システムと、
   センサを備えた被追跡機器と、
   患者からホログラフィック画像データセットを取得するように構成された画像取得システムと、
   プロセッサ及びメモリを備えるコンピュータシステムであって、前記拡張現実感システム、前記被追跡機器、及び前記画像取得システムと通信可能な前記コンピュータシステムと、
   を含むシステムを提供し、
   前記画像取得システムによって、患者からホログラフィック画像データセットを取得し、
   前記コンピュータシステムによって、前記被追跡機器を追跡して、被追跡機器のデータセットを提供し、
   前記コンピュータシステムによって、患者と共に前記被追跡機器のデータセットと前記ホログラフィック画像データセットとをレジスタさせ、
   前記拡張現実感システムによって、ユーザが視認できるように、患者からの前記ホログラフィック画像データセットに基づいてホログラムをレンダリングし、
   前記拡張現実感システムによって、患者からの前記ホログラフィック画像データセットと前記被追跡機器のデータセットとに基づいてフィードバックを生成し、
   前記拡張現実感システムを用いてユーザが前記ホログラムと患者とを視認しながら、ユーザが患者に対して医用処置の一部を行うことを可能にし、その際、前記フィードバックに応じて、医用処置の際、前記被追跡機器の可視化、案内、及びナビゲーションのうちの少なくとも１つについて、ユーザが前記拡張現実感システムを適用できるようにした、
   各ステップが含まれる、方法。
2. 前記フィードバックには、視覚的通知、聴覚的通知、データ通知、及びそれらの組合せからなる一群の中から選択されたものが含まれる、請求項１記載の方法。
3. 前記視覚的通知は、前記拡張現実感システムによってレンダリングされるホログラムを用いて構成される、請求項２記載の方法。
4. 前記フィードバックは、ユーザによって、前記被追跡機器を用いた患者に対する医用処置の一部の算出されたパフォーマンスに続いて生成される、請求項１に記載の方法。
5. 前記算出されたパフォーマンスは、前記医用処置に関して術前に決定される、請求項４記載の方法。
6. 前記算出されたパフォーマンスの決定では、
   前記コンピュータシステムによって、患者の解剖学的部位に対する被追跡機器の挿入の所定の経路の計画を立てて、所定の経路データセットを提供させ、
   前記拡張現実感システムによって、前記所定の経路データセットに基づいて経路ホログラムをレンダリングする、
   各ステップが含まれる、請求項４記載の方法。
7. 前記経路ホログラムは、前記被追跡機器の前記所定の経路を示すホログラフィーによる光線である、請求項６に記載の方法。
8. 前記算出されたパフォーマンスは、前記被追跡機器により算出された治療領域を示す、請求項４記載の方法。
9. 前記算出されたパフォーマンスは、前記被追跡機器により算出されたインプラントの配置を示す、請求項４記載の方法。
10. 前記算出されたパフォーマンスは、患者の解剖学的部位内への前記被追跡機器の算出された挿入を示す、請求項４記載の方法。
11. 前記フィードバックは、患者に対する医用処置の一部の実行中、ユーザによって生成される、請求項１記載の方法。
12. 前記フィードバックは、
    医用処置の一部の実行を進めること、
    医用処置の一部の実行を休止こと、又は
    医用処置の一部の実行を中止すること、
    に関して、ユーザに対する通知を含む、請求項１１記載の方法。
13. 前記通知が、前記拡張現実感システムによってレンダリングされるホログラムを用いて構成される視覚的通知である、請求項１２記載の方法。
14. さらに、前記システムは、患者から別のホログラフィック画像データセットを取得するように構成された別の画像取得システムを含み、前記コンピュータシステムは、前記別の画像取得システムと通信可能である、請求項１記載の方法。
15. さらに、
    前記別の画像取得システムによって、患者から別のホログラフィック画像データセットを取得し、
    前記コンピュータシステムによって、患者と共に前記別のホログラフィック画像データセットをレジスタさせ、
    前記拡張現実感システムによって、患者からの前記別のホログラフィック画像データセットに基づいて別のホログラムをレンダリングする、
    各ステップが含まれ、
    患者からの前記ホログラフィック画像データセットは術前であり、前記別のホログラフィック画像データセットは術中であって、医用処置の際にリアルタイムで取得される、請求項１４に記載の方法。
16. さらに、
    前記コンピュータシステムによって、リアルタイムで取得された前記別のホログラフィック画像データセットに基づいて、前記ホログラム、前記別のホログラム、並びに、前記ホログラム及び前記別のホログラムの内の１つの所定の一部に関して、動画化されたホログラムのデータセットを生成し、
    前記拡張現実感システムによって、医用処置の際にユーザが視認できるように、前記動画化されたホログラムのデータセットをレンダリングさせる、
    各ステップが含まれる、請求項１５に記載の方法。
17. さらに、前記コンピュータシステムによって、動画化対象の、前記ホログラム、前記別のホログラム、並びに、前記ホログラム及び前記別のホログラムの内の１つの所定の部位を選択することを含む、請求項１６記載の方法。
18. 前記画像取得システムは、磁気共鳴画像（ＭＲＩ）装置とコンピュータ断層撮影（ＣＴ）装置の内の１つを含み、かつ前記別の画像取得システムは、超音波装置を含む、請求項１５記載の方法。
19. さらに、前記コンピュータシステムを使用して、前記ホログラフィック画像データセット、前記被追跡機器のデータセット、前記ホログラム、前記フィードバック、前記ホログラム及び患者のビュー、並びに、これらの任意の組み合わせからなる一群の中から選択されたものを記録することを含む、請求項１に記載の方法。
20. ユーザが患者の解剖学的部位に対して医用処置を行う際、ホログラフィーによる拡張現実感の可視化及び案内を行うシステムであって、
    拡張現実感システムと、
    センサを備えた被追跡機器と、
    患者からホログラフィック画像データセットを取得するように構成された画像取得システムと、
    プロセッサ及びメモリを備えるコンピュータシステムであって、前記拡張現実感システム、前記被追跡機器、及び前記画像取得システムと通信可能な前記コンピュータシステムと、
    を含み、
    前記画像取得システムは、患者からホログラフィック画像データセットを取得するように構成され、
    前記コンピュータシステムは、前記被追跡機器を追跡して、被追跡機器のデータセットを提供するように構成され、かつ、患者と共に前記被追跡機器のデータセットと前記ホログラフィック画像データセットとをレジスタするように構成され、
    前記拡張現実感システムは、ユーザが視認できるように、患者からの前記ホログラフィック画像データセットに基づいてホログラムをレンダリングし、かつ、患者からの前記ホログラフィック画像データセットと前記被追跡機器のデータセットに基づいてフィードバックを生成するように構成され、
    前記拡張現実感システムを用いて、前記ホログラムと患者とをユーザが視認しながら、患者に対して医用処置の一部をユーザが実行する際、前記フィードバックに応じて、医用処置の際、前記被追跡機器の可視化、案内、及びナビゲーションのうちの少なくとも１つをユーザに提供するように構成された、システム。

Images