JP2023526014A - 拡張現実を使用した解剖学的構造の動的位置合わせ - Google Patents

Abstract

システム１００は、拡張現実システム１０２、画像化システム１０４、測定システム１０６、及びコンピュータ・システム１０８を含むことができる。拡張現実システム１０２は、拡張表現１１０を表示するように構成されることが可能である。画像化システム１０４は、解剖学的特徴１１２を画像化するように構成されることが可能であり、解剖学的画像化データ１４２を生成することができる。測定システム１０６は、解剖学的動きを測定するように構成されることが可能であり、解剖学的動きデータ１４４を生成することができる。コンピュータ・システム１０８は、解剖学的画像化データ１４２及び解剖学的動きデータ１４４を受信すること、解剖学的画像化データ１４２に基づいて拡張表現１１０を生成すること、解剖学的動きデータ１４４に拡張表現１１０を関連付けること、拡張現実システム１０２上に拡張表現１１０をレンダリングすること、及び、解剖学的動きデータ１４４に基づいて、拡張表現１１０を選択的に更新することを行うように構成されることが可能である。

Description

本出願は、２０２０年５月１５日に出願の米国仮出願第６３／０２５，４３６号、及び２０２０年５月１５日に出願の米国仮出願第６３／０２５，６０４号の利益を主張する。上記の出願の全開示が、参照により本明細書に組み込まれる。

本開示は、拡張現実アプリケーションに関し、より詳細には、拡張現実を採用する医療アプリケーションに関する。

本セクションは、本開示に関する背景情報を提供するが、これは必ずしも従来技術ではない。

画像誘導手術（ｉｍａｇｅ－ｇｕｉｄｅｄ ｓｕｒｇｅｒｙ）は、多くの異なる処置の標準的な慣習になってきた。画像誘導手術は、開業医を支援するために、手術前のデータに手術中のデータを視覚的に相関させることができる。画像誘導手術の使用は、これらの処置の安全と成功を向上させることが示されてきた。画像誘導手術は、拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）技術の使用を通じて、さらに強化されることが可能である。ＡＲは、現実世界にある１つ又は複数の特徴が、時には複数の感覚に関するモダリティにわたるコンピュータ生成された知覚情報によって強化される現実世界の環境の双方向体験である。医療設定では、これらのＡＲ技術は、患者治療設定における現実環境を強化するのに有用になり得る。たとえば、開業医は、医療処置を実施しつつ患者の同じ視野でコンテンツ固有情報を見ることができ、これらの凝視を変える必要はない。

しかしながら、現在の画像誘導手術を用いたとしても、手術中に生じ得る多くの困難がある。たとえば、患者の解剖学的構造は、必ずしも静的ではない。呼吸又は心臓鼓動などの様々な内部の動きは、患者の内部構造におけるリズミカルな偏移を引き起こすことがある。望ましくないことに、これらの内部の動きは、外科手術のロケーションを移動させることがあり、これは、処置中の拡張現実の使用目的を損なう恐れがある。この問題は、これらの内部の動きが直線的でないという事実によってさらに悪化する恐れがある。たとえば、膨張及び収縮は、呼吸周期中の固有のフェーズとして、肺の変形及び気流の量においてともに著しい変化を生じる恐れがある。

その上、今日、３次元（３Ｄ：ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ）医療画像を発生させる標準的なやり方のうちの１つは、ＤＩＣＯＭデータ・セットと呼ばれ得る画像系列を発生させるＣＴ（コンピュータ断層撮影：ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ）スキャンの使用を通じたものである。ＤＩＣＯＭデータ・セットは、体の構造をセグメント化するため、及びこれらの構造の３Ｄ画像を発生させるためにソフトウェアを使用してさらに処理されることが可能であり、これらの構造の３Ｄ画像は、さらなる研究のため又は拡張現実の使用時に使用されることが可能である。これらのＤＩＣＯＭデータ・セットは、一度に１つずつ念入りに見られ、次に、ソフトウェア・セグメント化の方法を通じて処理されなければならず、この場合、それぞれの個々のスキャン・スライス内の関心のある構造のそれぞれが、概説及び識別されなければならない。

代替として述べると、ＣＴスキャンは、様々な厚さの２Ｄ（２次元）画像スライスを発生させる。次に、個々の２Ｄセグメント化されたＤＩＣＯＭスライスは、３Ｄモデルに再び組み立てられ、レンダリングされ、その後、平滑化されなければならない。ＣＴスキャンから２Ｄ画像スライスを処理することは、拡張現実で見られるのに適切な解剖学的ボリュームを発生させるための多くの画像転写及び処理ステップを含むことができる。このプロセスにおけるステップの多さ、並びにＣＴスキャンを獲得及び動作させるのにかかるコストの高さにより、このスキャン方法の実行可能性は、多くの人々にとって利用不可能なことがある。また、ＣＴスキャンがどれだけ費用のかかるものになり得るかにより、利用可能なＣＴスキャンの数は限定的であり、必要とされる全ての患者に対して容易に利用可能なものではないことがある。さらに、ＣＴスキャン中、患者が１回分の放射線に露出される必要があり得る。放射線へのこの露出は、人間の組織に有害な恐れがあり、患者及び介護者を危険にさらす。この放射線被曝は、長期の負の副作用も生じ得る。

したがって、拡張現実を使用した解剖学的構造の動的位置合わせのためのシステム及び方法の継続的な必要性がある。システム及び方法は、様々な体の動きに合わせて調節できることが望ましい。

米国出願第１７／１１０，９９１号 米国特許第１０，４７８，２５５号明細書 米国特許第１０，８９５，９０６号明細書 米国特許第１０，８６９，７２７号明細書 米国特許公報第２０２１／００８１０３５号明細書 米国特許出願第１７／１１７，８４１号 米国特許出願第１７／２１３，６３６号 米国特許出願第１７／１６３，９７５号

本開示によれば、拡張現実を使用した解剖学的構造の動的位置合わせのための、及び体の内部の動きに合わせて調節可能な、システム及び方法が意外にも発見された。

システム及び方法は、拡張現実環境を含むことができ、拡張現実環境は、解剖学的データと融合されること、及び少なくとも１つの拡張表現として表現されることが可能である。開業医が拡張現実環境を使用して、解剖学的な構造の位置同期（ｐｏｓｉｔｉｏｎａｌ ｇａｔｉｎｇ）が正確であることを確認すること、及び／又は能動的な位置合わせの拡張表現を調節することを行えることが望ましい。コンピュータ・システムは、能動的な位置合わせの拡張表現の所望の精密化に基づいて、平行移動、回転、及び／又は変形ツールを提供することができる。さらに、システム及び方法は、閉ループ・フィードバックを利用して、治療を実施すること、解剖学的特徴への外科処置ステップを実行すること、又は、拡張フィードバックに基づくパルス若しくは時間位相同期治療実施（ｐｕｌｓｅｓ ｏｒ ｔｉｍｅ ｐｈａｓｅｄ ｇａｔｅｄ ｔｈｅｒａｐｙ ｄｅｌｉｖｅｒｙ）を中継することを行うのに最適な時間を臨床医に注意喚起することができる。肺活量測定データの移動平均は、拡張現実環境のアニメーションを精密化するために使用されてもよい。

この技術は、拡張現実又は他のデジタル的にレンダリングされた可視化方法を使用した人間又は動物の解剖学的構造の動的位置合わせの要求に対処することができる。手術、ロボット手術、及び／又は低侵襲手術中、患者の解剖学的構造は、呼吸周期、心周期、並びに／又は通常の動き及び生理的プロセスにより、移動することがある。システム及び方法は、患者の体の動きに関する、並びに可視化フィードバック及び／又はアニメーションの形でこの動きの同期に関する測定に適用されることが可能である。

特定の実施例では、拡張現実を使用した自律性の動的位置合わせのためのシステムは、拡張現実システム、画像化システム、測定システム、及びコンピュータ・システムを含むことができる。拡張現実システムは、拡張現実環境において拡張表現を表示するように構成されることが可能である。画像化システムは、患者の解剖学的特徴を画像化するように構成されることが可能であり、解剖学的画像化データを生成することができる。測定システムは、患者の解剖学的動きを測定するように構成されることが可能であり、解剖学的動きデータを生成することができる。コンピュータ・システムは、画像化システム、測定システム、及び拡張現実システムと通信していることが可能である。コンピュータ・システムは、画像化システムから解剖学的画像化及び位置データを、並びに測定システムから解剖学的動きデータを受信するように構成されることが可能である。コンピュータ・システムは、また、解剖学的画像化データに基づいて拡張表現を生成するように構成されることが可能である。さらに、コンピュータ・システムは、解剖学的動きデータに拡張表現を関連付けるように構成されることが可能である。また、コンピュータ・システムは、解剖学的動きデータに拡張表現を相関させるように構成されることが可能である。コンピュータ・システムは、また、拡張現実システム上の拡張現実環境において拡張表現をレンダリングするように構成されることが可能である。コンピュータ・システムは、さらに、解剖学的動きデータに基づいて拡張表現を選択的に更新するように構成されることが可能である。

特定の実施例では、拡張現実を使用した自律性の動的位置合わせのための方法は、拡張現実を使用した解剖学的構造の動的位置合わせのためのシステムを提供するステップを含むことができる。システムは、画像化システム、測定システム、及びコンピュータ・システムを含むことができる。画像化システムは、患者の解剖学的特徴を画像化することができる。画像化システムは、患者の解剖学的特徴を画像化することによって解剖学的画像化データを生成することができる。測定システムは、患者の解剖学的動きを測定することができる。測定システムは、患者の解剖学的動きを測定することによって解剖学的動きデータを生成することができる。コンピュータ・システムは、解剖学的画像化データ及び解剖学的動きデータを受信することができる。コンピュータ・システムは、解剖学的画像化データに基づいて拡張表現を生成することができる。コンピュータ・システムは、患者の解剖学的特徴に拡張表現を関連付けることができる。コンピュータ・システムは、患者の解剖学的動きデータに拡張表現を相関させることができる。コンピュータ・システムは、拡張現実システム上の拡張現実環境において拡張表現をレンダリングすることができる。コンピュータ・システムは、解剖学的動きデータに基づいて拡張表現を選択的に更新することができる。

システム及び方法は、以下の臨床的利点を可能にすることができる。ｉ）高価なＣＴスキャン・デバイスの要件を少なくすることによって、外科手術の複合現実ガイダンス及びナビゲーションの使用を改善すること、ｉｉ）拡張現実で見られる解剖学的ボリュームを発生させることになる多くの画像転写及び処理ステップを低減させることによって、処置時間を低減させること、ｉｉｉ）患者及び介護者への有害な放射線の必要性を低減させること、並びにｉｖ）非静的な解剖学的構造の画像化能力を改善すること。

本開示は主に、拡張現実（ＡＲ）技術及び関連付けられたアプリケーションを対象としているが、本開示は、また、複合現実（ＭＲ）アプリケーションを含む仮想現実（ＶＲ）技術及び関連付けられたアプリケーションに適用できることを理解されたい。

適用可能性のさらなる領域は、本明細書で行われる説明から明らかになるであろう。説明及び具体例は、例証の目的だけを意図し、本開示の範囲を限定することを意図していないことを理解されたい。

本明細書で説明される図面は、選択された実施例の例証目的のためだけのものであり、全ての可能な実装形態というわけではなく、本開示の範囲を限定することを意図していない。

拡張現実システム、画像化システム、測定システム、及びコンピュータ・システムを示す、特定の実施例によるシステムの概略図である。 特定の実施例による、及び２Ｄ画像を取得するプロセスをさらに示す、操作中のシステムを概略的に描写する図であり、２Ｄ画像は、患者の解剖学的特徴の上で超音波プローブを移動させること、及びセットされた休止間隔で所定の時間休止することによって、画像化及び位置データ並びに解剖学的動きデータのうちの少なくとも１つに組み入れられることが可能である。 特定の実施例による画像化及び位置データを使用してコンピュータ・システムによって生成されることが可能な、並びに生成プロセスから生じ得るぎざぎざなエッジを有する、解剖学的特徴の拡張表現を概略的に描写する図である。 後処理を使用して平滑化されたぎざぎざなエッジを有する、及び拡張表現を拡大させることができる境界を指定する架空の輪郭をさらに示す、図３に示された拡張表現を概略的に描写する図であり、架空の輪郭は、解剖学的動きに基づいて解剖学的特徴がどのように拡大するかを反映させることができる。 特定の実施例による解剖学的動きデータに組み入れられることが可能な、及び、拡張表現をどのように更新するかを決定するコンピュータ・システムによって使用されることが可能な、複数の基準点を有する肺活量測定データをグラフィカルに描写する図である。 患者の部位の上にレンダリングされた拡張表現を有する拡張現実環境を示す、及び、解剖学的動きに基づいて解剖学的特徴がどのように移動するかを反映した変化する拡張表現の位置をさらに示す、特定の実施例による操作中のシステムを概略的に描写する図である。 フラッシュライト・ディスプレイ方法を使用して表示された拡張現実環境を示す、及び、解剖学的動きに基づいて位置をシフトさせる拡張表現をさらに示す、特定の実施例による操作中のシステムを概略的に描写する図である。 フラッシュライト・ディスプレイ方法を使用して表示された拡張現実環境を示す、並びに、解剖学的特徴における超音波プローブの方に血液が流れている場所（縞模様として示されている）を表すエリア、及び解剖学的特徴における血液が超音波プローブから離れて流れている場所（正方形模様として示している）を描写するエリアを含む拡張表現をさらに示す、特定の実施例による操作中のシステムを概略的に描写する図である。 特定の実施例による、患者の心周期中に解剖学的特徴がどのように移動し得るかに応じて、拡張表現の動きの最小及び最大範囲を決定するために使用されることが可能な指定のセグメントを有するＥＣＧ波形をさらに示す、拡張表現を概略的に描写する図である。 特定の実施例によるシステムを使用するための方法を示すフローチャートである。 特定の実施例によるシステムを使用するための方法を示すフローチャートである。 特定の実施例によるシステムを使用するための方法を示す、及び、拡張表現に後処理を適用するステップをさらに示すフローチャートである。 特定の実施例によるシステムを使用するための方法を示す、及び、拡張表現に後処理を適用するステップをさらに示すフローチャートである。

技術の以下の説明は、１つ又は複数の発明の主題、製造、及び使用の性質を帯びた例示にすぎず、本出願における、又は、本出願への優先権を主張して提出され得るような他の出願、若しくは、これらから交付する特許における、特許請求される任意の固有の発明の範囲、用途、又は使用を限定することを意図するものではない。開示された方法に関して、提示されるステップの順序は、本質的に例示的なものであり、したがって、ステップの順序は、特定のステップを同時に実施できる場合を含み、様々な実施例で異なることがある。「ａ」及び「ａｎ」は、本明細書で使用されるとき、項目の「少なくとも１つ」が存在することを示し、可能であれば、複数のこのような項目が存在し得る。別途明確に示される場合を除き、本説明における全ての数量は、単語「約（ａｂｏｕｔ）」によって修飾されるものと理解されることになり、全ての幾何学的及び空間的な説明語は、技術の最も広い範囲を説明する際に、単語「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」によって修飾されるものと理解されることになる。「約」は、数値に適用されるとき、計算又は測定が、値のいくらかのわずかな不正確さ（値の正確さにいくらか近づく、値に近似的に又は適度に近い、ほぼ）を許容することを示す。何らかの理由で、「約」及び／又は「実質的に」で示される不正確さが、この普通の意味で当技術分野において別途理解されない場合、「約」及び／又は「実質的に」は、本明細書で使用されるとき、少なくとも、このようなパラメータを測定又は使用する普通の方法から生じ得る変動を示す。

制約のない用語「有する（ｃｏｍｐｒｉｓｉｎｇ）」は、含む（ｉｎｃｌｕｄｉｎｇ）、収める（ｃｏｎｔａｉｎｉｎｇ）、又は有する（ｈａｖｉｎｇ）などの非制限的な用語の類義語のように、本技術の実施例を説明及び主張するための本明細書で使用され、実施例は、代替として、「から成る（ｃｏｎｓｉｓｔｉｎｇ ｏｆ）」又は「から本質的に成る（ｃｏｎｓｉｓｔｉｎｇ ｅｓｓｅｎｔｉａｌｌｙ ｏｆ」などの、より限定的な用語を使用して説明され得る。したがって、材料、構成要素、又は処理ステップを列挙する任意の所与の実施例に対して、本技術はまた、具体的には、このような追加の材料、構成要素、又は処理が、本出願において明示的に列挙されなくても、（から成るための）追加の材料、構成要素、又は処理を除く、及び、（から本質的に成るための）実施例のかなりの性質に影響を及ぼす追加の材料、構成要素、又は処理を除く、このような材料、構成要素、若しくは処理ステップから成る、又はこれらから本質的に成る実施例を含む。たとえば、要素Ａ、Ｂ、及びＣを列挙する構成物又は処理の列挙は、具体的には、要素Ｄが本明細書で除外されるものと明示的に説明されなくても、当技術分野において列挙され得る要素Ｄを除く、Ａ、Ｂ、及びＣから成る、並びにこれらから本質的に成る実施例を想定する。

本明細書で言及されるように、範囲の開示は、別途指定されない限り、エンドポイントを含むものであり、全ての別個の値、及び全範囲内のさらに分割された範囲を含む。したがって、たとえば、「ＡからＢまで」又は「約Ａから約Ｂまで」という範囲は、Ａ及びＢを含むものである。（量、重量百分率などの）固有のパラメータの値の開示及び値の範囲は、本明細書で有用な他の値及び値の範囲を除外するものではない。所与のパラメータの２つ以上の固有の例示値が、パラメータに対して主張され得る値の範囲のエンドポイントを定義し得ることが想定される。たとえば、パラメータＸが値Ａを有するものと本明細書で例示され、値Ｚを有するものと同様に例示される場合、パラメータＸは、約Ａから約Ｚまでの値の範囲を有し得ることが想定される。同様に、（このような範囲がネストされるか、重複するか、別個のものである）パラメータの値の２つ以上の範囲の開示が、開示された範囲のエンドポイントを使用して主張され得る値の範囲の全ての可能な組合せを包括することが想定される。たとえば、パラメータＸが、１～１０、又は２～９、又は３～８の範囲の値を有すると本明細書で例示される場合、パラメータＸが、１～９、１～８、１～３、１～２、２～１０、２～８、２～３、３～１０、３～９などを含む他の値の範囲を有し得ることも想定される。

要素又は層が、別の要素又は層「の上にある（ｏｎ）」、「に係合される（ｅｎｇａｇｅｄ ｔｏ）」、「に接続される（ｃｏｎｎｅｃｔｅｄ ｔｏ）」、又は「に連結される（ｃｏｕｐｌｅｄ ｔｏ）」と言及されるとき、これは、直接的に、他の要素又は層の上にある、に係合される、に接続される、又は、に連結されるか、介在する要素又は層が存在し得る。対照的に、要素が、別の要素又は層「の直接上にある（ｄｉｒｅｃｔｌｙ ｏｎ）」、「に直接係合される（ｄｉｒｅｃｔｌｙ ｅｎｇａｇｅｄ ｔｏ）」、「に直接接続される（ｄｉｒｅｃｔｌｙ ｃｏｎｎｅｃｔｅｄ ｔｏ」、又は「に直接連結される（ｄｉｒｅｃｔｌｙ ｃｏｕｐｌｅｄ ｔｏ」と言及されるとき、介在する要素又は層は存在しなくてもよい。要素間の関係を説明するために使用される他の単語は、同様に解釈されるべきである（たとえば、「の間の（ｂｅｔｗｅｅｎ）」対「の直接的に間の（ｄｉｒｅｃｔｌｙ ｂｅｔｗｅｅｎ）」、「隣接した（ａｄｊａｃｅｎｔ）」対「直接的に隣接した（ｄｉｒｅｃｔｌｙ ａｄｊａｃｅｎｔ）」等）。本明細書で使用されるように、用語「及び／又は」は、関連付けられた挙げられた項目の１つ又は複数の任意及び全ての組合せを含む。

用語第１、第２、第３等は、様々な要素、構成要素、領域、層、及び／又はセクションを説明するために本明細書で使用されることがあるが、これらの要素、構成要素、領域、層、及び／又はセクションは、これらの用語によって限定されるべきではない。これらの用語は、１つの要素、構成要素、領域、層、又はセクションを、別の領域、層、又はセクションと区別するためにしか使用されることはない。「第１」、「第２」などの用語、及び他の数値の用語は、本明細書で使用されるとき、文脈によって明確に示されない限り、シーケンス又は順序を示唆しない。したがって、下記で論じられる第１の要素、構成要素、領域、層、又はセクションは、実例の実施例の教示から逸脱することなく、第２の要素、構成要素、領域、層、又はセクションと呼ばれることがある。

「内部（ｉｎｎｅｒ）」、「外部（ｏｕｔｅｒ）」、「下（ｂｅｎｅａｔｈ）」、「下（ｂｅｌｏｗ）」、「より低い（ｌｏｗｅｒ）」、「上（ａｂｏｖｅ）」、「上（ｕｐｐｅｒ）」、及び同様のものなどの空間的関連語は、図に示されるような、別の要素又は特徴に対する１つの要素又は特徴の関係を説明するために、説明を容易にするために本明細書で使用され得る。空間的関連語は、図に描写された方向に加えて、使用又は操作中のデバイスの異なる方向を包含することを意図することがある。たとえば、図のデバイスが逆さになる場合、他の要素又は特徴の「下（ｂｅｌｏｗ）」又は「下（ｂｅｎｅａｔｈ）」と説明される要素は、他の要素又は特徴の「上（ａｂｏｖｅ）」に向けられるはずである。したがって、実例の用語「下に（ｂｅｌｏｗ）」は、上（ａｂｏｖｅ）と下（ｂｅｌｏｗ）両方の方向を包含することができる。デバイスは、（９０度回転された方向又は他の方向）に別途向けられてもよく、本明細書で使用される空間的に関連した説明語は、適宜解釈される。

この「発明を実施するための形態」で引用される特許、特許出願、及び科学文献を含む全ての文書は、別途はっきりと示されない限り、参照により本明細書に組み込まれる。参照により組み込まれる文書とこの「発明を実施するための形態」との間に何らかの矛盾又は曖昧性が存在し得る場合、本「発明を実施するための形態」は制御する。

本明細書で使用されるように、用語「ヘッド・マウント・デバイス」又は「ヘッドセット」又は「ＨＭＤ」は、１つ又は複数の目の前に、１つ又は複数の表示光学系（レンズを含む）を有する、頭部に装着されるように構成された表示デバイスを指す。これらの用語は、用語「拡張現実システム」によってさらにより一般的に参照され得る。適切なヘッド・マウント・デバイスの実例は、Ｍｉｃｒｏｓｏｆｔ ＨｏｌｏＬｅｎｓ（登録商標）である。

図１は、拡張現実を使用した解剖学的構造の動的位置合わせのためのシステム１００を示す。システム１００は、拡張現実システム１０２、画像化システム１０４、測定システム１０６、及びコンピュータ・システム１０８を有することができる。拡張現実システム１０２は、図３～図４及び図６～図９に示されているような、拡張表現１１０を表示するように構成されることが可能である。拡張表現１１０は、現在の医療処置への関連情報の２次元（２Ｄ）又は３次元（３Ｄ）描写であることが可能である。関連情報の非限定的実例は、患者１１４の解剖学的特徴１１２の３次元描写などの、手術前及び／又は手術中データを含むことができる。解剖学的特徴１１２は、現在の処置の中心である患者１１４の有機物質及び／又は領域であることが可能である。解剖学的特徴１１２のさらなる非限定的実例は、器官、器官の一部分、組織、関節、骨、腫瘍、インプラント等を含むことができる。拡張表現１１０は、処置前計画、処置ガイダンス、及び訓練など、多くの応用及び用途を有することができる。当業者は、拡張表現１１０のために描写されることになる他の情報を選択可能であることを理解されたい。さらに、解剖学的特徴１１２は、患者１１４の解剖学的構造のいずれかの部分を含み得ることを理解されたい。

さらに図３～図４及び図６～図９も参照しているが、拡張現実システム１０２は、拡張現実環境１１６に拡張表現１１０を表示するように構成されることが可能である。拡張現実環境１１６は、図３～図４、図６、及び図９に示された「ヘッドアップディスプレイ」すなわち「ＨＵＤ」モード、並びに図７～図８に示された「フラッシュライト」モードなど、並びにＢｌａｃｋらの特許文献１に記載されているような、仮想ウィンドウ及び／又は異なるモードを含むことができ、定義を含むこれらの全体の開示が、参照により本明細書に組み込まれる。これは、患者１１４と同じ視野で拡張表現１１０を開業医が見ることを可能にできることが望ましい。ここで図６を参照すると、拡張現実システム１０２は、拡張現実環境１１６において、患者１１４の部位１１８の上に拡張表現１１０を表示するように構成されることが可能である。特定の実例では、患者１１４の部位１１８は、患者１１４の解剖学的特徴１１２であることが可能である。有利なことに、これは、解剖学的特徴１１２の位置のコンテキスト内に関連したフィードバックを提供するために、拡張表現１１０が解剖学的特徴１１２の上に直接描写されることを可能にすることができる。たとえば、拡張表現１１０は、開業医への解剖学的特徴１１２の上に被せられることが可能な解剖学的特徴１１２の手術中のスキャンであることが可能である。他の事例では、患者１１４の部位１１８は、患者１１４の解剖学的特徴１１２に隣接したものであることが可能である。これは、たとえば複合現実ビューなど、同じ視野内の解剖学的特徴１１２を観察することもできつつ、開業医が拡張表現１１０を観察することを可能にできることが望ましい。

特定の実例では、拡張表現１１０は、拡張現実ディスプレイを使用して、患者１１４の解剖学的特徴１１２の近似位置の上に表示されることが可能である。たとえば、コンピュータ・システム１０８は、医学的に承認された許容範囲に応じて、患者１１４の解剖学的特徴１１２がある場所を近似するために、アルゴリズム、機械学習、人工知能、及び／又はその組合せを利用することができる。それでも、拡張表現１１０は、また、要望に応じて、他の表面及び／又は拡張表現に表示されることが可能であることを理解されたい。

拡張現実システム１０２は、ユーザによって装着されることが可能なヘッドセット・ディスプレイであることが可能である。拡張現実システム１０２の非限定的実例は、Ｍｉｃｒｏｓｏｆｔ ＨｏｌｏＬｅｎｓ（登録商標）が考えられる。拡張現実システム１０２、及び拡張表現１１０を表示する方法を含む動作の方法は、Ｗｅｓｔらの特許文献２、Ｗｅｓｔらの特許文献３、Ｙａｎｏｆらの特許文献４、Ｗｅｓｔらの特許文献５、Ｍａｒｔｉｎらの特許文献６、Ｂｌａｃｋらの特許文献７、Ｂｌａｃｋらの特許文献８、及びＢｌａｃｋらの特許文献１に記載されたものを含むことができ、定義を含むこれらの全体の開示が、参照により本明細書に組み込まれる。それでも、当業者は、本開示の範囲内で、拡張現実システム１０２のために他のＡＲデバイス及び動作の方法を利用できることを理解されたい。

特定の実施例では、拡張現実システム１０２は、１つ又は複数の位置センサ１３８も含むことができることを理解されたい。拡張現実システム１０２の位置センサ１３８は、拡張現実システム１０２の３次元（３Ｄ）空間における近似位置、向き、角速度、及び加速度などの、拡張現実システム１０２の位置データ１４０を決定及び生成するように構成されることが可能である。たとえば、これは、操作中、開業医の視野内に、ホログラフィ像が正確に表示されることを可能にできることを理解されたい。位置センサ１３８の非限定的実例は、加速度計、ジャイロスコープ、電磁気センサ、及び／又は光学追跡センサを含む。たとえば、拡張現実システム１０２が使用されている処置又は状況によって必要とされるような、拡張現実システム１０２の、異なるタイプ及び数の位置センサ１３８を当業者が利用できることをさらに理解されたい。

画像化システム１０４は、患者１１４の解剖学的特徴１１２を画像化することと、解剖学的画像化データ１４２を生成することとを行うように構成されることが可能である。解剖学的画像化データ１４２は、患者１１４に関する解剖学的特徴１１２の構造、回転、及び／又は位置に関連付けられた、情報及び／又は媒体を含むことができる。解剖学的画像化データ１４２に含まれることになるデータのタイプを当業者が選択できることを理解されたい。画像化システム１０４は、処置前、処置中、及び／又はその組合せにおいて、患者１１４の解剖学的特徴１１２を画像化するため、及び解剖学的画像化データ１４２を生成するために利用可能であることが望ましい。

下記でさらに詳しく説明されるように、解剖学的画像化データ１４２は、拡張表現１１０を生成するために、コンピュータ・システム１０８によって利用されることが可能である。言い換えれば、画像化システム１０４は、スキャン及び／又は他の画像化方法を実施して、拡張表現１１０を生成するために使用されることになる解剖学的画像化データ１４２を生成するために、使用されることが可能である。たとえば、画像化システム１０４は、少なくとも１つの超音波プローブ１２０を有する超音波システムを含むことができる。開業医は、患者１１４の解剖学的特徴１１２の上で超音波プローブ１２０を移動させて、２Ｄ画像１２４を含み得る解剖学的画像化データ１４２をキャプチャすることができる。図２は、超音波プローブ１２０を有する画像化システム１０４のような超音波システムを示す。超音波プローブ１２０は、２Ｄ画像１２４を生成するために、患者１１４に沿った経路１２２に沿って移動されることが可能である。次に、２Ｄ画像１２４は、コンピュータ・システム１０８によって拡張表現１１０に変換されることが可能である。画像化システム１０４の他の非限定的実例は、コンピュータ断層撮影（ＣＴ）システム、電磁気システム、コーン・ビーム・コンピュータ断層撮影（すなわちＣＢＣＴ）システム、血液ガス交換システム、機械制御された通気システム、肺活量測定システム、心電図（ＥＣＧ：ｅｌｅｃｔｒｏｃａｒｄｉｏｇｒａｍ）システム、磁気共鳴画像法（ＭＲＩ：ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）システム、電気機械波動伝搬システム、経食道心エコー図（ＴＥＥ：ｔｒａｎｓｅｓｏｐｈａｇａｌ ｅｃｈｏｃａｒｄｉｏｇｒａｍ）システム、及びその組合せを含むことができる。しかしながら、本開示の範囲内で、画像化システム１０４のために他の画像化方法及びシステムを当業者が利用できることを理解されたい。

測定システム１０６は、患者１１４の解剖学的動きを測定することと、解剖学的動きデータ１４４を生成することとを行うように構成されることが可能である。解剖学的動きは、患者１１４の部分的又は完全な動き周期に基づいて発生し得る患者１１４の体の１つ又は複数の部位における１つ又は複数の動きを含むことができる。動き周期の非限定的実例は、呼吸周期に基づく動き、心周期、関節の可動域を含む関節の動き、解剖学的構造の内部シフト、及び／又は生理的プロセスなどの、外力又は内力を含むことができる。患者の解剖学的特徴に影響を及ぼし得る他の動き周期が、本開示の範囲内で測定されることも可能である。さらに、解剖学的動きは、動きの複数のサイクルを含むことができる。解剖学的動きは、解剖学的動きデータにおいてキャプチャされることが可能な構造、位置、回転等などの、解剖学的特徴１１２のいくつかの態様に影響を与えることがある。

解剖学的動きデータ１４４は、解剖学的動きと、解剖学的動きが解剖学的特徴１１２に対して有している効果とに関連付けられた情報及び／又は媒体を含むことができる。特定の実例では、解剖学的動きデータ１４４は、変位及びひずみ測定値を含むことができ、変位及びひずみ測定値は、最適なインプラント及びインプラント修復処置のための、病的な又は硬化した組織のエリアを正確に描写し、視覚的に示すために使用されることが可能である。要望に応じて、解剖学的動きデータに含まれることになる他のデータ及び情報を当業者が選択できることを理解されたい。

下記でさらに詳しく説明されるように、解剖学的動きデータ１４４は、解剖学的動きデータに基づいて拡張表現１１０を更新するために、コンピュータ・システム１０８によって利用されることが可能である。これは、内部の動きに基づいて拡張表現１１０の態様が選択的に更新されることを可能にすることができる。拡張表現１１０は、患者１１４の体における内部の動きとは関係なく使用可能なままであり得ることが望ましい。測定システム１０６は、処置前、処置中、及び／又はその組合せにおいて、患者１１４の解剖学的動きを測定するため、及び解剖学的動きデータ１４４を生成するために利用されることが可能である。測定システム１０６は、患者１１４の解剖学的動きの同期を可能にすることと、解剖学的動きデータを生成することとを行うように構成されることが可能である。図５を参照すると、測定システム１０６は、呼吸に関連付けられた解剖学的動きを測定するため、及び解剖学的動きデータを生成するための肺活量測定システムを含むことができる。測定システム１０６の他の非限定的実例は、コンピュータ断層撮影（ＣＴ）システム、電磁気システム、コーン・ビーム・コンピュータ断層撮影（すなわちＣＢＣＴ）システム、血液ガス交換システム、機械制御された通気システム、肺活量測定システム、心電図（ＥＣＧ）システム、磁気共鳴画像法（ＭＲＩ）システム、電気機械波動伝搬システム、経食道心エコー図（ＴＥＥ）システム、及びその組合せを含むことができる。要望に応じて、測定システム１０６のために他のシステムを当業者が利用できることを理解されたい。

当業者が、画像化システム１０４と測定システム１０６とを組み合わせて単一のシステムにすること、及び／又は本開示の範囲内で、１つ若しくは複数の追加のシステムを追加できることを理解されたい。同じように、解剖学的画像化データ１４２及び解剖学的動きデータ１４４は、要望に応じて、単一のデータ・エントリ及び／又は追加のデータ・エントリに組み合わされることが可能である。さらに、画像化システム１０４及び測定システム１０６、並びに動作の方法のさらなる実例が、下記でさらに詳しく説明される。

ここで図１を参照すると、コンピュータ・システム１０８は、拡張現実システム１０２、画像化システム１０４、及び／又は測定システム１０６と通信していることが可能である。これは、ワイヤレス接続、有線接続を介して、又はネットワーク１５２を通じて、実現されることが可能である。システム１００のネットワーク１５２は、非限定的実例として、ＬＴＥ若しくは５Ｇなどの無線アクセス・ネットワーク、ローカル・エリア・ネットワーク（ＬＡＮ）、インターネットなどのワイド・エリア・ネットワーク（ＷＡＮ）、又はワイヤレスＬＡＮ（ＷＬＡＮ）を含む様々なワイヤレス及び有線の通信ネットワークを含むことができることを理解されたい。このようなネットワークの実例は、限定を意図するものではなく、本開示の範囲は、ワイヤレスと有線の通信ネットワークの組合せを含む他のいくつかの通信連結を介してシステム１００の１つ又は複数のコンピューティング・プラットフォームが動作可能なようにリンクされ得る実装形態を含むということが理解されよう。システム１００の１つ又は複数の構成要素及び下位構成要素は、ワイヤレス又は有線接続を介してネットワーク化環境と通信するように構成されることが可能である。特定の実施例では、１つ又は複数のコンピューティング・プラットフォームは、ワイヤレス又は有線接続を介して互いに直接通信するように構成されることが可能である。様々なコンピューティング・プラットフォーム及びネットワーク化デバイスの実例は、スマートフォン、ウェアラブル・デバイス、タブレット、ラップトップ・コンピュータ、デスクトップ・コンピュータ、モノのインターネット（ＩｏＴ）デバイス、又は、スタンドアロン・サーバ、ネットワーク化サーバ、若しくはサーバのアレイなどの他のモバイル若しくは固定式デバイスを含むがこれらに限定されない。

コンピュータ・システム１０８は、プロセッサ１４６及びメモリ１４８を有することができる。メモリ１４８は、いくつかの異なる動作を実施するための非一時的プロセッサ実行可能命令１５０を含むことができる。たとえば、コンピュータ・システム１０８は、画像化システム１０４から解剖学的画像化データ１４２を、及び測定システム１０６から解剖学的動きデータ１４４を受信するように構成されることが可能である。さらに、前述のように、画像化システム１０４及び測定システム１０６は、単一のシステム及び／又は追加若しくは別個のシステムであることが可能である。したがって、コンピュータ・システム１０８は、単一のシステム及び／又は複数のシステムから解剖学的画像化データ１４２及び解剖学的動きデータ１４４を受信することができる。

コンピュータ・システム１０８は、また、解剖学的画像化データ１４２に基づいて拡張表現１１０を生成することを行うように構成されることが可能である。これは、ユーザからの入力、アルゴリズム、機械学習、人工知能、及び／又はその組合せを介して実現され得る。特定の実例では、コンピュータ・システム１０８は、Ｗｅｓｔらの特許文献２及び／又はＷｅｓｔらの特許文献３に記載されているようなシステム及び方法に基づいて、拡張表現１１０を生成することができる。

図３～図４を参照すると、コンピュータ・システム１０８は、拡張表現１１０を強化するために、後処理の効果を適用するように構成されることが可能である。たとえば、コンピュータは、拡張表現１１０にアンチエイリアシングを適用して、ぎざぎざなエッジ１２６を滑らかなエッジ１２８に平滑化することができ、滑らかなエッジ１２８は、生成プロセス中に形成されることが可能である。これは、複数の異なるアンチエイリアシング技術及び技法を使用して実現されることが可能である。非限定的実例は、スーパーサンプル・アンチエイリアシング（ＳＳＡＡ）、マルチサンプリング・アンチエイリアシング（ＭＳＡＡ）、高速近似アンチエイリアシング（ＦＸＡＡ）、時間的アンチエイリアシング（ＴＸＡＡ）等を含むことができる。平滑化は、たとえば、データ・セット間のノイズの平滑化、及び／又はデータ・ポイント間のギャップの推定及び充填など、測定ポイント間のデータの平均化及び推定と同様に簡単な動作も含むことができる。コンピュータ・システム１０８は、また、アンチエイリアシングを適用するためのアルゴリズム、機械学習、人工知能を個別に又は組み合わせて利用することができる。有利なことに、これは、拡張表現１１０が開業医には、よりクリアに見えること、並びに、拡張表現１１０のロケーション、サイズ、位置、向き、及び／又はアニメーションの最適化を提供することを可能にすることができる。ぎざぎざなエッジ１２６を平滑化して拡張表現１１０の滑らかなエッジ１２８にするために、他のプロセス及び方法を当業者が利用できることを理解されたい。

コンピュータ・システム１０８は、また、患者１１４の解剖学的特徴１１２に拡張表現１１０を関連付けるように構成されることが可能である。特定の実例では、これは、Ｗｅｓｔらの特許文献２及び／又はＷｅｓｔらの特許文献３に記載されているように、患者１１４に対するホログラフィ位置合わせに拡張表現１１０を統合することによって実現されることが可能である。患者１１４の解剖学的特徴１１２に拡張表現１１０を関連付けることは、拡張現実環境１１６に拡張表現１１０を提供するために、拡張現実システム１０２によって利用される共通のホログラフィ座標系に、解剖学的画像化及び位置データを置くことを可能にすることが望ましい。しかしながら、要望に応じて、患者１１４の解剖学的特徴１１２に拡張表現１１０を関連付けるために異なる方法を当業者が利用できることを理解されたい。

コンピュータ・システム１０８は、さらに、解剖学的動きデータに拡張表現１１０を相関させるように構成されることが可能である。言い換えれば、コンピュータ・システム１０８は、拡張表現１１０と解剖学的動きデータとの間の関係を決定することができ、患者１１４の解剖学的動きに応じて拡張表現１１０が更新されなければならないかどうかを決定することができる。これは、また、様々なアルゴリズム、機械学習、及び人工知能を使用して実現されることが可能である。さらに、拡張表現１１０と解剖学的動きデータ１４４との間で相関関係がどのように発生し得るかをさらに説明するために、特定の応用が下記で論じられる。

図３～図４、図６～図９を参照すると、コンピュータ・システム１０８は、また、拡張現実システム１０２上で拡張現実環境１１６に拡張表現１１０をレンダリングするように構成されることが可能である。特定の実例では、コンピュータ・システム１０８は、図６に示されているように、拡張現実システム１０２上の拡張現実環境１１６において、患者１１４の部位１１８の上に拡張表現１１０をレンダリングするように構成されることが可能である。前述のように、これは、開業医が患者１１４と同じ視野内で拡張現実環境１１６において拡張表現１１０を見ることを可能にすることができる。特定の実例では、拡張表現１１０は、図７～図８に示されているような、最適な導入及び／又は利用のために、インプラント、器具、及び／又はツールに関連付けられることが可能である。

ここで図４、図６、及び図７を参照すると、コンピュータ・システム１０８は、さらに、解剖学的動きデータ１４４に基づいて拡張表現１１０を選択的に更新するように構成されることが可能である。特定の実例では、拡張表現１１０を更新することは、解剖学的動きデータ１４４に応じて拡張現実環境１１６における拡張表現１１０の位置を更新することを含むことができる。非限定的実例として、図６及び図７は、解剖学的動きデータ１４４に応じて拡張表現１１０の位置を変えるために更新された拡張表現１１０を示す（元の位置１３０が実線で示されており、更新後の位置１３２が破線で示されている）。拡張表現１１０の更新後の位置１３２は、患者１１４の解剖学的動きにより、解剖学的特徴１１２の位置がどのように変化したかを反映させることができることが望ましい。たとえば、患者１１４の肝臓の癌病変は、患者１１４の呼吸周期に基づいて位置の変化を経験し得る。したがって、コンピュータ・システム１０８は、患者１１４の解剖学的動きにより変化する解剖学的特徴１１２の位置を補償することができる。有利なことに、これは、解剖学的動きにより解剖学的特徴１１２の位置が変化したとしても、拡張表現１１０が有用なままであることを可能にすることができる。

図４を参照すると、拡張表現１１０を更新することは、解剖学的動きデータ１４４に基づいて拡張表現１１０をアニメーション化し、これにより、拡張表現１１０の構造的変化を示すことを含むことができる。たとえば、拡張表現１１０の構造は、解剖学的動きデータ１４４に応じて、拡大、縮小、変形、又は改良を行うようにアニメーション化されることが可能である。非限定的実例として、図４は、解剖学的動きデータ１４４に応じて拡大するために拡張表現１１０が更新されることを描写している（元の状態１３４が実線で示されており、特徴が拡大することになる境界１３６が破線で示されている）。これは、拡張表現１１０が境界１３６に拡大するのを開業医が視覚的に見ることを可能にできることが望ましく、境界１３６は、解剖学的動きにより解剖学的特徴１１２がどのように変化したかを反映する。これにより、解剖学的動きに基づく解剖学的特徴１１２の現在の状態が開業医に関連したものである場合、処置を支援できるものと思われる。

他の実例では、拡張表現１１０を更新することは、推移のアニメーションを示さずに、解剖学的動きデータ１４４に応じて拡張表現１１０の位置及び／又は構造を更新することを含むことができる。これにより、推移を示すことが必要ない場合、処理電力を節約できることが望ましい。

コンピュータ・システム１０８は、設定された更新間隔で、解剖学的動きデータ１４４に基づいて拡張表現１１０を選択的に更新するように構成されることが可能である。更新間隔は、現在の医療処置の要件に応じて調整されることが可能である。たとえば、より高い精度を処置が必要とする場合、更新間隔は、より頻繁に更新を発生させることができるように、より短いものであることが可能である。処置が正確さをそれほど必要としない場合、更新間隔は、あまり頻繁に発生しないように、より長いものであることが可能である。特定の実例では、拡張表現１１０は、解剖学的動きデータ１４４に基づいて、ほぼ連続的に更新されることが可能である。しかしながら、処置の要件に応じて当業者が更新間隔を調整できることを理解されたい。

コンピュータ・システム１０８が、解剖学的動きデータ１４４に基づいて、自動的に拡張表現１１０を選択的に更新できることを理解されたい。しかしながら、特定の実例では、コンピュータ・システム１０８は、いつ拡張表現１１０が更新されるかを開業医が決めることを可能にするように構成されることが可能である。たとえば、要望に応じて、拡張表現１１０の手動更新を実施するために、入力が開業医又は別の個人によってシステムに提供されることが可能である。

さらに、コンピュータ・システム１０８は、移動平均を使用して特定の信頼間隔内で動きを予測し、したがって、臨床的に受入れ可能なレベルの性能に必要なコンピュータ処理負荷を取り除くことによって、様々なレベルのコンピューティング能力に適合されることが可能である。いくつかの事例では、コンピュータ・システム１０８が拡張現実システム１０２の外部にあることが可能であることを理解されたい。しかしながら、いくつかの事例では、コンピュータ・システム１０８は、拡張現実システム１０２に含まれることが可能である。

システム１００は、解剖学的画像化データ１４２の画像化、及び解剖学的動きデータ１４４の測定を支援するために利用され得る追跡センサをさらに含むことができる。たとえば、追跡センサは、超音波プローブ１２０などの器具を追跡することと、解剖学的画像及び位置データ並びに解剖学的動きデータ１４４に組み入れられることが可能な追跡データを生成することとを行うための電磁気システムを含むことができる。追跡データは、追跡される器具の３Ｄ空間における近似位置、向き、角速度、及び加速度も含むことができる。追跡センサの非限定的実例は、加速度計、ジャイロスコープ、電磁気センサ、及び光学追跡センサを含むことができる。しかしながら、本開示の範囲内で、追跡センサのために異なるデバイス及び器具を当業者が利用できることを理解されたい。

呼吸アプリケーション

図５～図６に示されているように、測定システム１０６は、呼吸から発生する解剖学的動きを測定することと、解剖学的動きデータ１４４を生成することとを行うように構成されることが可能である。たとえば、測定システム１０６は、呼吸に関する解剖学的動きを測定するため、及び解剖学的動きデータ１４４を生成するための、肺活量測定システム、血液ガス交換システム、及び／又は機械制御された通気システムを含むことができる。ＣＴシステム、ＭＲＩシステム、超音波システム、及びＥＣＧシステムなどの他の技術も、解剖学的動きをキャプチャするため、並びに解剖学的動きデータ１４４を生成及び／又は補足するために利用されることが可能である。

典型的な呼吸は、平均すると体重１ｋｇあたりおよそ５～７ｍｇになり得るが、しかしながら、肺の膨張及び収縮は直線的ではない。膨張及び収縮は、呼吸周期中の固有フェーズのような、両肺変形及び気流量の著しい変化を有することがある。画像化システム１０４は、肺活量測定を実施することを含むことができ、肺活量測定は、７回の（７）呼吸平均の間の空気量の測定値を取ることを含むことができる。

測定システム１０６は、外科的介入の標的エリアに関連したワイヤレス肺活量測定又は機械的通気を使用して、リアル・タイムの肺活量測定データをキャプチャすることができる。１つの外科的介入の実例は、肝臓の癌病変を含む。癌病変は、呼吸周期に基づく位置の変化を経験し得る。この位置変化は、測定システム１０６によってキャプチャされること、及び解剖学的動きデータ１４４の中で生成されることが可能である。したがって、コンピュータ・システム１０８は、アニメーション又は視覚フィードバックを開業医に示すことによって、拡張表現１１０を選択的に更新することができる。癌病変の位置は、測定システム１０６によって、時点（呼吸周期）を示す呼吸周期の既知のフェーズに関連してキャプチャされることが可能である。コンピュータ・システム１０８は、時点に関連付けられた患者１１４の肺の中の既知の空気量に癌病変の位置を相関させることができる。次に、測定システム１０６は、癌病変などの解剖学的特徴１１２の位置をキャプチャするためにリアル・タイムの２Ｄ、３Ｄ、４Ｄ超音波を使用して、解剖学的動きデータ１４４をキャプチャ及び／又は精密化することができる。他のシステム及び方法も、本開示の範囲内で、当業者によって利用されることが可能である。

コンピュータ・システム１０８は、解剖学的特徴１１２の同期及び変形を示す異なる時点のＸ、Ｙ、Ｚ座標に解剖学的動きデータ１４４を適用することができる。測定システム１０６は、超音波システム、ＭＲＩシステム、又はＣＴシステムを含むことができ、解剖学的特徴１１２のエラストグラフィ特性などの解剖学的動きデータ１４４を生成することができる。コンピュータ・システム１０８は、解剖学的動きデータ１４４を使用して、拡張表現１１０の動的な変形を提供することができ、この変形は、動きが解剖学的特徴１１２にどのように影響を及ぼしたかを反映している。

特定の実例では、測定システム１０６は、患者が吸い込む及び／又は吐き出すときに発生し得る患者１１４の解剖学的動きを測定することができる。これらの測定に基づいて、測定システム１０６は、解剖学的動きデータ１４４に組み入れられることが可能な肺活量測定データを含むことができる。測定システム１０６は、肺活量測定データの測定及び生成を実現するための肺活量計及び／又はベローズ型デバイスを含むことができる。しかしながら、測定システム１０６のために、肺活量測定データを収集するための異なるシステム及び方法を当業者が利用できることを理解されたい。肺活量測定データは、患者１１４の呼吸周期における基準点を作り出すための流量ループを含むことができる。具体的に、図６は、第１の測定値（Ｍ１）、第２の測定値（Ｍ２）、第３の測定値（Ｍ３）、第４の測定値（Ｍ４）、第５の測定値（Ｍ５）、及び第６の測定値（Ｍ６）を有する肺活量測定データのグラフを示す。これらの測定値Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５、及び／又はＭ６は、特定の時点に関連付けられた患者１１４の肺の中の既知の空気量に、拡張表現１１０の位置を相関させるために使用されることが可能である。次に、コンピュータ・システム１０８は、肺活量測定データに応じて拡張表現１１０を更新することができる。たとえば、コンピュータ・システム１０８は、拡張表現１１０の位置を更新して、吸い込むこと及び／又は吐き出すこと、並びに、完全な呼吸周期又は複数の周期にわたるものにより、解剖学的特徴１１２の位置がどのように移動するかを反映させることができる。これは、解剖学的特徴１１２が、腫瘍、嚢胞、血管、心臓構造、筋肉、骨、及び／又は神経を含むときに、特に有用である可能性がある。

心周期アプリケーション

構造的な心臓修復又は置換処置及び電気生理学切除処置中、心周期又は心臓ペーシングに相関した診断画像化を使用した方法が適用されることが可能である。ＣＴシステム、ＭＲＩシステム、ＴＥＥシステム、ＥＣＧシステム、及び／又は電気機械波動伝搬システムなどの診断画像化を使用すると、同様の解決策が実現され得る。しかしながら、要望に応じて、画像化システム１０４及び測定システム１０６のために、他の異なるタイプの診断及び測定システムを当業者が利用できることを理解されたい。心周期中、測定システム１０６を使用することは、既知の心臓出力（Ｑ）又はペーシング特性を含むことができ、心臓の動きの量は、ゲーティング技法を使用して視覚化されることが可能である。

特定の実例では、測定システム１０６は、ＥＣＧシステムを含むことができる。ＥＣＧシステムは、ＥＣＧ電気サイクルを含むＥＣＧデータを生成すること、及び、心臓の機械的サイクルにＥＣＧデータを関連させることができ、ＥＣＧデータは、解剖学的動きデータ１４４に組み入れられることが可能である。ＥＣＧ電気サイクルは、心房の脱分極を表すＰ波、心室の脱分極を表すＱＲＳ群、及び心室の再分極を表すＴ波という３つの主要な構成要素を有することができる。図９を参照すると、コンピュータ・システム１０８は、ＥＣＧ電気サイクルに時点を割り当てることによって、解剖学的動きデータ１４４に組み入れられた、ＥＣＧデータに応じて拡張表現１１０を更新することができる。たとえば、第１の時点（Ｔ１）は、ＥＣＧ電気サイクルのＰ波及び心房の脱分極に相関させることができる。第２の時点（Ｔ２）は、ＥＣＧ電気サイクルのＱＲＳ群のＱ波、及び心室間の隔壁の通常の左から右への脱分極に相関させることができる。第３の時点（Ｔ３）は、ＥＣＧ電気サイクルのＱＲＳ群のＲ波、及び早期の心室の脱分極に相関させることができる。第４の時点（Ｔ４）は、ＥＣＧ電気サイクルのＱＲＳ群のＳ波、及びプルキンエ線維の脱分極に相関させることができる。コンピュータ・システムは、図９に示されているように、拡張表現１１０のセグメントに各時点を相関させることによって３Ｄ特徴を更新することができる。次に、拡張表現１１０は、この関係に従ってアニメーション化されることが可能であり、心周期中の動きの最小及び最大範囲を視覚的に示すことができる。これは、心臓の尖、室、弁、脈管、ノード、小葉、索、及び交連位置と向き、経中隔穿刺の隔壁の向き、並びに別の構造など、重要な構造の動きの関係及び範囲を視覚的に示すことができることが望ましい。他の解剖学的特徴も本出願から利益を得ることがあることを理解されたい。動的な及び／又は変形可能な特性を有するこれらの構造の視覚表現は、置換又は修復製品を据えつけるのを支援するための臨床的に有意な情報を提供することができる。

脊髄処置及び整形外科的変形アプリケーション

測定システム１０６は、また、整形外科的変形及び脊髄処置中の軟組織の生体力学的力に関する解剖学的動きデータ１４４を測定及び生成することを行うように構成されることが可能である。測定システム１０６は、ひずみ測定値を介した力及び手術前に生成された力、並びにこれらの力が、関節の位置及び向き、長骨の変形及び脊柱の向きにどのように影響を与えるかを、測定するように構成されることが可能である。特定の実例では、これは、超音波システムを含む測定システム１０６を用いて実施されることが可能である。関節又は骨の既知の位置は、ひずみ測定値及び全体的な腱又は筋肉の長さに関して測定及び参照されることが可能である。次に、予測モデリング及び手術中の計算が、共通の整形外科の変形補正、及び脊髄処置に基づいて実施されることが可能である。

超音波アプリケーション

前述のように、画像化システム１０４は、図２に示されているような、少なくとも１つの超音波プローブ１２０を有する超音波システムを含むことができる。開業医は、患者１１４の解剖学的特徴１１２の上で超音波プローブ１２０を移動させて、２Ｄ画像１２４を含み得る解剖学的画像化データ１４２をキャプチャすることができる。図２は、超音波プローブ１２０を有する、画像化システム１０４のような超音波システムを示す。超音波プローブ１２０は、２Ｄ画像１２４を生成するために、患者１１４に沿った経路１２２に沿って移動されることが可能である。次に、２Ｄ画像１２４は、コンピュータ・システム１０８によって、拡張表現１１０に変換されることが可能である。

特定の実例では、測定システム１０６は、超音波システムを含むことができる。開業医は、患者１１４の解剖学的特徴１１２の上で超音波プローブ１２０を移動させながら、患者１１４の呼吸の開始及び終了状態を考慮に入れるために、セットされた休止間隔で所定の時間休止することができる。セットされた休止間隔で所定の時間休止することによって、呼吸を通じた複数のフェーズが、複数のロケーションでキャプチャされ、解剖学的動きデータ１４４に組み入れられることが可能である。したがって、システム１００は、解剖学的動きデータ１４４に応じて拡張表現１１０を更新することによって、解剖学的変形及び平行移動を考慮に入れることができる。たとえば、及び図４を参照すると、拡張表現１１０は、患者１１４の呼吸の２つのフェーズ間で動的にアニメーション化するように更新されることが可能である。しかしながら、解剖学的動きデータ１４４に応じて拡張表現１１０の他の態様を当業者が更新できることを理解されたい。

超音波システムは、また、複数のセンサを含むことができる。複数のセンサは、動き及び呼吸を含み得る解剖学的動きを考慮に入れるために、患者１１４の体のまわりに置かれることが可能である。複数のセンサは、生成された超音波画像のための基準点として機能するように選択的に位置付けられることが可能である。さらに、解剖学的動きデータ１４４に応じて拡張表現１１０を更新することによって、拡張現実の位置合わせ、オーバーレイ、及び向きを強化するために、複数のセンサによって、平行移動及び回転データを含み得る解剖学的動きデータ１４４が生成されることが可能である。

超音波カラー・ドップラ・アプリケーション

図７～図８を参照すると、測定システム１０６は、超音波カラー・ドップラ・システムを含むことができる。超音波カラー・ドップラ・システムは、循環する赤血球から高周波の音波（超音波）をはね返らせ、これにより、解剖学的動きデータ１４４を生成することによって、血管などの解剖学的特徴１１２を通る血流を推定するように構成されることが可能である。具体的には、超音波カラー・ドップラは、さらに、解剖学的動きデータ１４４に組み入れられることが可能な、解剖学的特徴１１２を通る血流の流れ方向及び速度を推定するように構成されることが可能である。これは、カラー・コーディングを利用して流れ方向を指定することを含むことができる。たとえば、青色は、血液が超音波プローブ１２０から遠くへ流れていること（図８に正方形模様として示されている）を指定するために使用されることが可能である。赤色は、血液が超音波プローブ１２０の方に流れていること（図７～図８に縞模様として示している）を示すために使用されることが可能である。

特定の実例では、コンピュータ・システム１０８は、解剖学的特徴１１２の血流の流れ方向及び／又は速度を視覚化するために、解剖学的動きデータ１４４として組み入れられた血液の流れ方向及び速度に応じて、拡張表現１１０を更新することができる。これは、解剖学的特徴１１２が、音響を発生するものでない又は不完全に画像化された血管壁を含むとき、特に有益なものであり得る。超音波カラー・ドップラ・システムは、最適なインプラント又は修復インプラント導入のために使用されることになる、心周期中の心臓の解剖学的構造を動的に位置合わせするために使用可能であることが望ましい。

操作中、測定システム１０６のような超音波カラー・ドップラ・システムは、解剖学的特徴１１２を通る血流の流れ方向及び／又は速度を測定することができる。次に、測定システム１０６は、解剖学的特徴１１２を通る血流の流れ方向及び／又は速度に基づいて、解剖学的特徴１１２が心周期によってどのように移動してきたか又は変えられてきたかを含む解剖学的動きデータ１４４として、関連付けられたデータを決定及び生成することができる。コンピュータ・システム１０８は、解剖学的動きデータ１４４に拡張表現１１０を相関させることができる。次に、コンピュータ・システム１０８は、解剖学的動きデータ１４４に応じて、拡張表現１１０の位置を調節して心周期による解剖学的特徴１１２の位置の変化を反映することによって、拡張表現１１０を更新することができる。

システム１００を使用する方法

図１０ａ及び１０ｂにさらに示されているように、方法２００は、システム１００を提供するステップ２０２を含むことができる。ステップ２０４において、画像化システム１０４は、患者１１４の解剖学的特徴１１２を画像化することができる。画像化システム１０４は、ステップ２０６において、患者１１４の解剖学的特徴１１２の画像化によって解剖学的画像化データ１４２を生成することができる。ステップ２０８において、測定システム１０６は、患者１１４の解剖学的動きを測定することができる。測定システム１０６は、ステップ２１０において、患者１１４の解剖学的動きを測定することによって解剖学的動きデータ１４４を生成することができる。ステップ２１２において、コンピュータ・システム１０８は、解剖学的画像化データ１４２及び解剖学的動きデータ１４４を受信することができる。コンピュータ・システム１０８は、ステップ２１４において、解剖学的画像化データ１４２に基づいて拡張表現１１０を生成することができる。ステップ２１６において、コンピュータ・システム１０８は、患者１１４の解剖学的特徴１１２に拡張表現１１０を相関させることができる。コンピュータ・システム１０８は、ステップ２１８において、患者１１４の解剖学的動きデータ１４４に拡張表現１１０を相関させることができる。ステップ２２０において、コンピュータ・システム１０８は、拡張現実システム１０２上で拡張現実環境１１６に拡張表現１１０をレンダリングすることができる。上述のように、コンピュータ・システム１０８は、拡張現実システム１０２上の拡張現実環境１１６において、患者１１４の部位１１８の上に拡張表現１１０をレンダリングすることができる。コンピュータ・システム１０８は、ステップ２２２において、解剖学的動きデータ１４４に基づいて拡張表現１１０を選択的にレンダリングすることができる。

ここで図１１ａ及び図１１ｂを参照すると、方法２００’は、拡張表現１１０に後処理を適用するステップ２２４’を含むことができる。たとえば、図３～図４に示されているように、コンピュータは、拡張表現１１０にアンチエイリアシングを適用して、ぎざぎざなエッジ１２６を滑らかなエッジ１２８に平滑化することができ、滑らかなエッジ１２８は、生成プロセス中に形成されることが可能である。

有利なことに、システム１００及び方法は、拡張現実を使用した解剖学的構造の動的位置合わせのために使用されることが可能である。このアプローチは、全体の処置コストを少なくすることができ、リアル・タイムの処置データを提供することができ、処置前又は処置中に、画像化を生成するためにＣＴスキャンを行う必要がないことにより、放射線被曝を低減させること及び／又はなくすことができる。本開示は、拡張現実環境１１６に表現された解剖学的な構造の位置合わせ、訂正、及び動的な動きにおいて、患者１１４の呼吸などの動的な体の動きを考慮に入れるための解決策であり得ることが望ましい。

実例の実施例は、本開示が完全なものになり、範囲を当業者に完全に伝えることになるように提供される。本開示の実施例の完全な理解をもたらすように、固有の構成要素、デバイス、及び方法の例など、非常に多くの具体的詳細が示される。具体的詳細が利用される必要がないこと、実例の実施例が多くの異なる形式で具体化され得ること、及び本開示の範囲を限定するものと解釈されるべきではないことが、当業者には明らかであろう。いくつかの実例の実施例では、よく知られた処理、よく知られたデバイス構造、及びよく知られた技術は詳細に説明されていない。いくつかの実施例、材料、構成物、及び方法の同等の変更、修正、及び変形を本技術の範囲内で行うことができ、実質的に同様の結果を伴う。

Claims (20)

1. 拡張現実を使用した患者の解剖学的構造の動的位置合わせのためのシステムであって、
   拡張現実環境において前記患者の解剖学的特徴の拡張表現を表示するように構成された拡張現実システムと、
   前記患者の前記解剖学的特徴を画像化し、解剖学的画像化データを生成するように構成された画像化システムと、
   前記患者の解剖学的動きを測定し、解剖学的動きデータを生成するように構成された測定システムと、
   前記拡張現実システム、前記画像化システム、及び前記測定システムと通信しているコンピュータ・システムであって、
   前記画像化システムから前記解剖学的画像化データを、及び前記測定システムから前記解剖学的動きデータを受信し、
   前記解剖学的画像化データに基づいて前記拡張表現を生成し、
   前記患者の前記解剖学的特徴に前記拡張表現を関連付け、
   前記解剖学的動きデータに前記拡張表現を相関させ、
   前記解剖学的動きデータに基づいて前記拡張表現を選択的に更新し、
   前記拡張現実システム上の前記拡張現実環境において前記拡張表現をレンダリングする
   ように構成されたコンピュータ・システムと
   を備えるシステム。
2. 前記拡張現実システムが、前記拡張現実環境において前記患者の部位の上に前記拡張表現を表示するように構成されている、請求項１に記載のシステム。
3. 前記画像化システムが、超音波システム、コンピュータ断層撮影（ＣＴ）システム、電磁気システム、コーン・ビーム・コンピュータ断層撮影（ＣＢＣＴ）システム、血液ガス交換システム、機械制御された通気システム、肺活量測定システム、心電図（ＥＣＧ）システム、磁気共鳴画像法（ＭＲＩ）システム、電気機械波動伝搬システム、経食道心エコー図（ＴＥＥ）システム、及びその組合せから成るグループから選択されたメンバを含む、請求項１に記載のシステム。
4. 前記画像化システムが、前記患者に対する外科処置の実施前に、前記患者の前記解剖学的特徴を画像化し、前記解剖学的画像化データを生成するように構成されている、請求項１に記載のシステム。
5. 前記画像化システムが、前記患者に対する外科処置の実施中に、前記患者の前記解剖学的特徴を画像化し、前記解剖学的画像化データを生成するように構成されている、請求項１に記載のシステム。
6. 前記測定システムが、超音波システム、コンピュータ断層撮影（ＣＴ）システム、電磁気システム、コーン・ビーム・コンピュータ断層撮影（ＣＢＣＴ）システム、血液ガス交換システム、機械制御された通気システム、肺活量測定システム、心電図（ＥＣＧ）システム、磁気共鳴画像法（ＭＲＩ）システム、電気機械波動伝搬システム、経食道心エコー図（ＴＥＥ）システム、及びその組合せから成るグループから選択された要素を含む、請求項１に記載のシステム。
7. 前記測定システムが、前記患者に対する外科処置の実施前に、前記患者の前記解剖学的動きを測定し、前記解剖学的動きデータを生成するように構成されている、請求項１に記載のシステム。
8. 前記測定システムが、前記患者に対する外科処置の実施中に、前記解剖学的動きを測定し、前記解剖学的動きデータを生成するように構成されている、請求項１に記載のシステム。
9. 前記解剖学的動きデータが、前記患者の前記解剖学的構造の動き周期にわたって収集された解剖学的動きデータを含む、請求項１に記載のシステム。
10. 前記コンピュータ・システムが、前記拡張表現を平滑化し、これにより、前記拡張表現のぎざぎざなエッジを平滑化するようにさらに構成されている、請求項１に記載のシステム。
11. 前記コンピュータ・システムが、前記患者の前記解剖学的特徴の位置を更新することによって前記拡張表現を更新し、これにより、前記解剖学的動きデータに応じて前記解剖学的特徴の動きを補償するように構成されている、請求項１に記載のシステム。
12. 前記コンピュータ・システムが、前記拡張表現の構造を更新することによって前記拡張表現を更新し、これにより、解剖学的動きデータに応じた前記拡張表現の構造的変化を示すように構成されている、請求項１に記載のシステム。
13. 前記コンピュータ・システムが、前記拡張表現の元の状態と前記拡張表現の更新後の状態との間の推移をアニメーション化することによって、前記解剖学的特徴の位置及び前記拡張表現の構造のうちの少なくとも１つを更新することによって前記拡張表現を更新するように構成されている、請求項１に記載のシステム。
14. 前記コンピュータ・システムが、所定の間隔で前記解剖学的動きデータに基づいて前記拡張表現を選択的に更新するように構成されている、請求項１に記載のシステム。
15. 前記コンピュータ・システムが、入力に応答して前記拡張表現を選択的に更新するように構成されている、請求項１に記載のシステム。
16. 拡張現実を使用した患者の自律性の動的位置合わせのための方法であって、
    拡張現実システム、画像化システム、測定システム、及びコンピュータ・システムを有する拡張現実を使用した解剖学的構造の動的位置合わせのためのシステムを提供するステップと、
    前記画像化システムによって、前記患者の解剖学的特徴を画像化するステップと、
    前記画像化システムによって、前記患者の前記解剖学的特徴を画像化することによって解剖学的画像化データを生成するステップと、
    前記測定システムによって、前記患者の解剖学的動きを測定するステップと、
    前記測定システムによって、前記患者の前記解剖学的動きを測定することによって解剖学的動きデータを生成するステップと、
    前記コンピュータ・システムによって、前記解剖学的画像化データ及び前記解剖学的動きデータを受信するステップと、
    前記コンピュータ・システムによって、前記解剖学的画像化データ及び位置データに基づいて拡張表現を生成するステップと、
    前記コンピュータ・システムによって、前記患者の前記解剖学的特徴に前記拡張表現を関連付けるステップと、
    前記コンピュータ・システムによって、前記患者の前記解剖学的動きデータに前記拡張表現を相関させるステップと、
    前記コンピュータ・システムによって、前記解剖学的動きデータに基づいて前記拡張表現を選択的に更新するステップと、
    前記コンピュータ・システムによって、前記拡張現実システム上の拡張現実環境において前記拡張表現をレンダリングするステップと
    を含む方法。
17. 前記測定システムが、超音波プローブを有する超音波システムを含み、これにより、前記患者の前記解剖学的特徴の上で前記超音波プローブを移動させ、セットされた休止間隔で所定の時間休止することによって、２Ｄ画像がキャプチャされる、請求項１６に記載の方法。
18. 前記測定システムが、肺活量測定システムを含み、前記解剖学的動きデータが、前記患者の肺の中の既知の空気量に前記拡張表現の位置を相関させる複数の基準点を有する流量ループを含む、請求項１６に記載の方法。
19. 前記測定システムが、心電図（ＥＣＧ）システムを含み、前記解剖学的動きデータが、複数の構成要素を有するＥＣＧ電気サイクルを含み、前記構成要素の１つ１つが、前記拡張表現のセグメントに相関する、請求項１６に記載の方法。
20. 前記拡張表現に後処理を適用して前記拡張表現を平滑化し、これにより、前記拡張表現のぎざぎざなエッジを平滑化するステップをさらに含む、請求項１６に記載の方法。

Images