JP2024518533A - マルチスケール超音波追跡および表示 - Google Patents

Abstract

一実施形態において、システムは、ヘッドマウントディスプレイ（ＨＭＤ）に結合された第１の電磁センサからデータを受信し、超音波プローブに結合された電磁基準源によって生成された電磁場を検出する。システムは、医療器具に結合された第２の電磁センサからデータを受信し、電磁場を検出する。システムは、超音波プローブに対するＨＭＤの位置を決定する。システムは、超音波プローブに対する医療器具の位置を決定する。システムは、超音波画像平面に対して配向された医療器具の経路の視覚化を生成する。システムは、ＨＭＤを装着しているユーザにＨＭＤによって表示するためのグラフィックを提供し、グラフィックは、超音波画像平面上に表示される超音波プローブによってキャプチャされた視覚化および画像データを含む。

Description

本開示は、一般に、医療環境内の超音波に関与する処置中の情報の表示および注釈に関する。

本出願は、２０２１年５月１０日に出願された米国仮出願第６３／１８６，３９３号の優先権の利益を主張し、これは、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。

超音波画像化に関わる医療処置では、制御された環境または無菌環境で作業する１人または複数のオペレータが、感知された画像情報を直接観察可能な物理情報と組み合わせて医療処置を完了する。直接的および間接的に観察可能な処置情報の翻訳、組み合わせ、および解釈は、医療処置の効率的かつ効果的な完了に障害をもたらす。

場合によっては、実施する医師は、処置中に無菌状態を維持しなければならない。場合によっては、無菌状態の有無にかかわらず、医師は医療処置の間、超音波および他の処置器具の直接的な物理的制御を維持しなければならない。医療処置情報の設定、構成、制御、及び／または表示の態様は、医療処置のいくつかまたはすべての段階の間にアクセス可能である必要があり得る。無菌性または器具の直接制御の要件は、処置が開始されると、処置を停止することなく、および／または、従来の医療情報システムインターフェース、例えば、キーボード、マウス、ジョイスティック、または物理的ボタンを使用して、処置を行う人員の指導の下でタスクを実行するために追加の人員の支援を引き出すことなく、処置を行う人員が重要なタスクを実行する能力を妨げる可能性がある。

本発明の実施形態は、任意の数の器具情報を有する任意の数の画像データを追跡、構成、及び表示するシステムを提供する。一実施形態において、方法は、ヘッドマウントディスプレイ（ＨＭＤ）に結合された第１の電磁センサからデータを受信するステップと、超音波プローブに結合された電磁基準源によって生成された電磁場を検出するステップとを含む。方法は、医療器具に結合された第２の電磁センサからデータを受信し、電磁場を検出するステップをさらに含む。方法は、第１の電磁センサからのデータを処理することによって、超音波プローブに対するＨＭＤの位置を決定するステップをさらに含む。方法は、第２の電磁センサからのデータを処理することによって、超音波プローブに対する医療器具の位置を決定するステップをさらに含む。方法は、ＨＭＤの位置および医療器具の位置に少なくとも部分的に基づいて、超音波画像平面に対して配向された医療器具の経路の視覚化を生成するステップをさらに含む。方法は、ＨＭＤを装着しているユーザにＨＭＤによって表示されるためのグラフィックを提供するステップをさらに含み、グラフィックは、超音波画像平面上に表示される超音波プローブによってキャプチャされた視覚化および画像データを含む。

一実施形態において、方法は、ＨＭＤに結合された第３の電磁センサからデータを受信し、超音波プローブに結合された電磁基準源によって生成された電磁場を検出するステップと、第１の電磁センサからのデータおよび第３の電磁センサからのデータを処理することによって、第１の磁気センサと第２の磁気センサとの間の差動信号に基づいてＨＭＤの向きを決定するステップをさらに含む。一実施形態において、ＨＭＤの向きは、ＨＭＤの慣性測定ユニットによってキャプチャされたデータに基づいてさらに決定される。

一実施形態において、方法は、医療器具の慣性測定ユニットによってキャプチャされたデータと、第２の電磁センサからのデータとを集約することによって、医療器具の向きを決定するステップをさらに含む。

一実施形態において、方法は、ＨＭＤの画像センサによってキャプチャされた画像データを処理することによって超音波プローブの位置を決定するステップをさらに含み、グラフィックは、超音波プローブの位置からのオフセットでユーザに表示される。

一実施形態において、方法は、医療器具の先端と医療器具に結合された第２の電磁センサの位置との間のオフセット距離を決定するステップをさらに含み、視覚化は、オフセット距離に基づいて生成される。

一実施形態において、方法は、医療器具の第１の座標系を超音波プローブの第２の座標系にマッピングするための第１の変換を決定するステップと、ＨＭＤの第３の座標系を超音波プローブの第２の座標系にマッピングするための第２の変換を決定するステップとをさらに含み、視覚化は、第１の変換および第２の変換を使用して生成される。

別の実施形態において、システムは、超音波プローブに結合され、電磁場を生成するように構成された電磁基準源と、ヘッドマウントディスプレイ（ＨＭＤ）に結合され、電磁場を検出するように構成された第１の電磁センサと、医療器具に結合され、電磁場を検出するように構成された第２の電磁センサと、命令を格納する非一時的なコンピュータ可読記憶媒体とを備え、１つまたは複数のプロセッサによって実行されたときに命令は、１つまたは複数のプロセッサに、第１の電磁センサからのデータを処理することによって、超音波プローブに対するＨＭＤの位置を決定することと、第２の電磁センサからのデータを処理することによって、超音波プローブに対する医療器具の位置を決定することと、ＨＭＤの位置及び医療器具の位置に少なくとも部分的に基づいて、超音波画像平面に対して配向された医療器具の経路の視覚化を生成することと、ＨＭＤを装着しているユーザにＨＭＤによって表示されたグラフィックを提供することであって、画像は、超音波画像平面上に表示される超音波プローブによってキャプチャされた視覚化及び画像データを備えるシステム。

一実施形態において、システムは、超音波プローブ、ＨＭＤ、および医療器具をさらに備える。一実施形態において、第１の電磁センサ及び第２の電磁センサは無線である。一実施形態において、医療器具は、針、カニューレ、生検装置、または焼灼装置である。

別の実施形態において、方法は、超音波画像平面の画像データを受信するステップを含む。方法は、超音波画像平面に対する医療器具の位置を決定するステップをさらに含む。方法は、超音波画像平面に対する医療器具の向きを決定するステップをさらに含む。方法は、医療器具の位置および向きに基づいて、医療器具の軌道を決定するステップをさらに含む。方法は、ヘッドマウントディスプレイ（ＨＭＤ）によって、医療器具の軌道を示す器具経路を表示するステップをさらに含む。方法は、軌道に沿った医療器具の更新された位置に基づいて、医療器具が超音波画像平面上の交点に到達したと決定するステップをさらに含む。方法は、ＨＭＤによって、医療器具が超音波画像平面上の交点に到達したことを示す器具経路の更新されたバージョンを表示するステップをさらに含む。

様々な実施形態において、非一時的なコンピュータ可読記憶媒体は、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに本明細書に記載の方法のいずれかのステップを実行させる命令を格納する。

様々な実施形態における、超音波画像及びデバイス追跡のための処理システムの例示的なシステム環境を示す図である。 様々な実施形態における、超音波イメージングのための例示的なグラフィカルユーザインターフェースを示す図である。 様々な実施形態における、ヘッドマウントディスプレイ上のセンサ位置を示す図である。 様々な実施形態における、図１のシステム環境のブロック図である。 様々な実施形態における、処理システムのデータフロー図である。 様々な実施形態における、器具をナビゲートするための例示的なグラフィカルユーザインターフェースを示す図である。 様々な実施形態における、器具をナビゲートするための追加の例示的なグラフィカルユーザインターフェースを示す図である。 様々な実施形態における、器具をナビゲートするためのヘッドアップディスプレイを示す図である。 様々な実施形態における、複数のセンサを使用して器具を追跡するためのプロセスのフローチャートである。 様々な実施形態における、器具をナビゲートするためのプロセスのフローチャートである。

図面は、例示のみを目的として本発明の実施形態を示す。当業者は、本明細書に例示された構造および方法の代替的実施形態が、本明細書に記載の本発明の原理から逸脱することなく利用することができることを以下の説明から容易に認識する。

Ｉ．システム環境
図１は、様々な実施形態における、超音波画像化のための処理システムの例示的なシステム環境を示す。図２は、様々な実施形態における、超音波画像化のための例示的なグラフィカルユーザインターフェースを示す。様々な実施形態において、システムは、ヘッドマウントディスプレイ（ＨＭＤ）デバイス１００、器具１１０（例えば、針、デバイスを血管に挿入するためのカニューレ、生検デバイス、または焼灼デバイス）、超音波プローブ１２０、および任意選択のディスプレイ１３０のうちの１つまたは複数を含む。システムはまた、ユーザ入力方法、任意の数の構成可能な超音波情報源、任意の数の構成可能な器具追跡情報源、デバイス間の通信手段、プロセッサ、および記憶デバイスのうちの１つまたは複数を含み得る。通信手段は、無線及び有線通信の任意の数の組み合わせを含む。

超音波情報源は、複数の物理的デバイスから、または処置中の異なる時間、構成、および位置からの同じ物理的デバイスからであり得る。画像情報はまた、コンピュータ断層撮影（ＣＴ）または磁気共鳴撮像（ＭＲＩ）などの他の画像モダリティから導出されてもよい。様々な実施形態において、超音波情報源は、超音波プローブ１２０である。

追跡情報源は、電磁（ＥＭ）、光学、超音波、慣性、磁力計、加速度計、または全地球測位システム（ＧＰＳ）センサを含むローカルまたはグローバル測位センサを含む。様々な実施形態において、電磁源は、超音波プローブ１２０に結合（例えば、剛体結合）されてもよく、さらに、電磁センサは、ＨＭＤ１００及び器具１１０に結合（例えば、剛体結合）されてもよい。結果として、処理システムは、電磁センサからのデータを使用して、超音波プローブ１２０の電磁源に対するＨＭＤ１００及び器具１１０の位置及び向きを追跡することができる。

ＨＭＤ１００は、ヘッドアップディスプレイまたは拡張現実ディスプレイとしてユーザに提示され得る超音波画像情報または器具情報をユーザが閲覧または対話するための手段を提供する。ＨＭＤの例としては、マイクロソフトのＨＯＬＯＬＥＮＳがある。

処置情報の表示は、ＨＭＤ１００を通して達成され、処理システムの追跡に応答して情報源の位置で投影２００として表示され得る。図２に示される例において、超音波情報は、追跡された超音波画像平面内の超音波プローブの先端の投影２００（「プローブ先端ディスプレイ」）に表示される。別の態様において、超音波情報はまた、医師の作業領域を不明瞭にすることを防止するため、同じ方向（または回転した構成で）でツール先端からの設定可能なオフセットで表示され得る（「プローブロック表示」）。さらに、任意の追加的に追跡された器具は、感知された超音波に対する追跡された向き及び位置（「ポーズ」）で表示され得る。この追加的な器具情報には、システムの追跡情報に応答して、現在の方向および位置、現在の軌道に沿って前進した場合の投影された方向および位置、器具の交点までの距離、および交点の角度が含まれる。

別の態様において、超音波および器具情報は、着用者に対する固定された向きでツール先端の位置に応答して表示され得る（「掲示（billboarded）」）。図２に示される例において、ＨＭＤ１００は、ヘッドアップディスプレイ２１０として掲示板表示をユーザに提示する。ある態様において、３Ｄ針先端ポーズは、超音波画像上に重ねて３Ｄで直接表示され、画像平面に対する針の距離、サイズ、及び角度を直感的に伝える。掲示板表示はまた、投影された針の軌道および画像平面との交点を示すことができる。別の態様において、２Ｄまたは３Ｄ注釈は、画像平面に重ねられ、画像内の画像平面への針の距離を変換し、これは、図６～図８に関してさらに説明される。

いくつかの実施形態において、超音波および器具のポーズ、距離、および／または交点情報は、３Ｄコンテンツを２Ｄディスプレイにレンダリングする従来の技術を介して、ＨＭＤ１００の仮想環境に固定されているか、または医療環境内の物理ディスプレイデバイス１３０に追加的に表示され得る。ＨＭＤ１００、器具１１０、および超音波プローブ１２０の追跡情報は、画像の向きを自動的に変えるかまたは反転して使用され、掲示板表示、プローブ先端表示、およびプローブロック表示において正しい視点で表示し得る。

デバイスの追跡は、異なる空間的及び時間的解像度の追跡情報の複数のソースの全体の組み合わせによって達成される。デバイスは、ＨＭＤ１００、超音波画像源（例えば、超音波プローブ１２０）、及び１つまたは複数の医療器具１１０を含む。各追跡情報源は、異なる解像度及び異なる更新レートで、位置、向き、及び対応する速度及び加速度における任意の数の追跡情報の更新を提供する。一実施形態において、異なる電磁追跡センサはＨＭＤ１００及び器具１１０に取り付けられ、電磁基準源（electromagnetic reference source）は超音波プローブ１２０に取り付けられる。超音波プローブ１２０上の超音波基準源と器具１１０との間の距離は、例えば、ＥＭセンサデータのより低いノイズに起因して、超音波源とＨＭＤとの間の精度を改善するために減少または最小化される。任意の数の追加の電磁センサまたは基準源は、追跡情報の追加源を提供し、追跡精度を改善し得る。

図３は、様々な実施形態における、ヘッドマウントディスプレイ１００上のセンサ位置を示す。いくつかの実施形態において、１つまたは複数の電磁センサまたはアンテナは、ＨＭＤ１００に結合され、ＨＭＤ１００と電磁基準源との間の角度及び距離の精度の処理システムの決定を改善する。図３に示される例において、ＨＭＤ１００は、右電磁センサ３００及び左電磁センサ３１０を含む。異なる空間的及び時間的解像度の追跡システムの整合及び較正は、異なるセンサの剛体変換または基準データセットを介した較正によって達成される。

一実施形態において、複数のセンサは、センサ間の既知または測定可能な距離および向きを有する剛体に固定され、各測定基準フレームからの情報の組み合わせを可能にする。この一例は、ＨＭＤ１００に取り付けられた電磁センサからカメラ測定基準フレームへの剛体変換である。この別の例は、電磁センサまたは基準に固定された光学追跡マーカー（例えば、既知のスケールのＱＲコード）である。これの別の例は、超音波画像平面内の器具（例えば、針）及び対応する電磁センサポーズの検出及び整合である。いくつかの実施形態において、ＨＭＤ１００は、飛行時間カメラ、同時ローカリゼーション及びマッピング、および１つまたは複数の電磁センサからのネイティブ空間追跡を提供する。

ＩＩ．データ処理
図４は、様々な実施形態における、図１のシステム環境のブロック図である。ＨＭＤ１００は、ローカルスケールでの整合のための複数のセンサを含む。これには、任意の数の３Ｄ画像センサ（例えば、深度カメラ及びＬｉＤＡＲ）、光学画像センサ（２Ｄカメラ）、慣性センサ、及び電磁センサが含まれる。超音波プローブ１２０は、超音波画像センサ、電磁基準源、及び任意選択の慣性センサを含む。器具１１０は、任意選択の慣性センサ及び１つまたは複数の電磁センサを含む。いくつかの実施形態において、処理システム４００は、超音波プローブ１２０に結合された電磁基準源とは異なる１つまたは複数の電磁基準源からのＥＭセンサデータを使用する。例えば、別の電磁基準源は、システム環境内の固定源であり得る。

処理システム４００は、較正及びフィルタリングデータを使用して、各デバイス（すなわち、ＨＭＤ１００、超音波プローブ１２０、及び器具１１０）のローカルスケール変換を組み合わせて計算する。処理システム４００はさらに、複数のデバイス推定を組み合わせて、各ローカルデバイス、デバイス間、及びセンサ基準フレーム間の変換ならびに較正及びフィルタリングパラメータを更新する。異なるフィルタを使用することによって、処理システム４００は、ローカルスケールノイズ（デバイスレベルで）及びグローバルスケールノイズを低減することができ、これにより、処理システム４００は、測定誤差と、ＨＭＤ１００及び器具１１０などのデバイスの実際の移動とを区別することができる。２つの例示的な較正プロセスは、幾何学的制約較正及びハンドアイ較正を含む。

幾何学的制約較正は、ピボットポイントを中心とした器具の回転などの既知の形態が使用する。様々な実施形態において、処理システム４００は、幾何学的制約較正を使用して、器具１１０の先端の位置と器具１１０に結合されたＥＭセンサの位置との間のオフセット距離を考慮する。ＥＭセンサが必ずしも医療処置のために追跡される先端に結合されていないため、オフセットが存在する。

３Ｄ情報の表面の整合は、反復最近点（ＩＰＣ）などの整合アルゴリズムを使用して達成されるか、またはレンダリングされた３Ｄデータ上の相互情報など統計的整合メトリックまたはスケール不変特徴変換（ＳＩＦＴ）またはスピードアップロバスト特徴（ＳＵＲＦ）などの特徴ベースのアプローチを使用して２Ｄから３Ｄに登録され得る。位置及び向き情報は、カルマンフィルタリングまたは粒子フィルタリングなどのフィルタリング技術を使用して、異なる時間レートからの情報を使用して補間され得る。フィルタリング技術（例えば、アンセンテッドカルマンフィルタリング）からの推定パラメータは、同じモダリティのセンサ間（例えば、電磁センサから電磁センサ）またはモダリティ間（例えば、電磁源基準から光学トラッカー基準へ）の剛体変換を推定および修正するために使用され得る。

ハンドアイ較正（「ロボットワールド」または「ロボットセンサ」較正とも呼ばれる）アルゴリズムはまた、更新された推定値を改善して、各センサ間のモーメントアームの解を更新し得る。様々な実施形態において、処理システム４００は、ハンドアイ較正を使用して、座標系を異なる座標系にマッピングする。処理システム４００は、異なる座標系を有する複数のセンサ及びデバイスからデータを受信するため、処理システム４００は、１つまたは複数のマッピングを実行して、複数の源からデータを集約する。

ハンドアイ較正において、処理システム４００は、フィルタリングアルゴリズムまたはフィルタリングアルゴリズムのアンサンブルを使用して各パラメータおよび変換推定を処理し、変換が更新されるときの応答を滑らかにすることができる。これらは、線形二次エスティメータ、拡張カルマンフィルタ、及びアンセンテッドカルマンフィルタを個別に、または組み合わせて、粒子フィルタを使用して前方予測することを含み得る。これらのコンポーネントは、環境の現在の推定モデル内の感知されたオブジェクトの現在の最良の推定モデルを提供する。

超音波画像及び器具ＥＭポーズにおける器具位置の抽出は、画像平面と器具位置との間の較正フィルタを更新するために使用され得る。さらに、この情報は、伝播する超音波の速度に関する周波数、深さ、および組織密度を含む超音波画像のパラメータを更新するために使用され得る。

様々な実施形態において、処理システム４００は、組織の深さを使用し、異なる媒体を通る音速の変動に起因する任意の測定誤差を考慮する。超音波画像は、媒体（例えば、組織）を通って伝播する超音波の移動時間に基づくため、異なる組織の深さまたは密度は、処理システム４００によって予測される器具の交点に影響を与えることができる。較正中、処理システム４００は、特定の媒体または密度に関連付けられた補正係数を使用して、音の測定誤差の任意の速度を低減することができる。

図５は、様々な実施形態における処理システム４００のデータフロー図である。処理システム４００は、画像整合データ、３Ｄ整合データ、及び複数のデバイス、すなわち、ＨＭＤ１００及び超音波プローブ１２０からの画像ベースの検出及び追跡データを集約するグローバルスケールエスティメータ５００を含む。超音波プローブ１２０は、ＥＭ基準源、ＩＭＵ、光学整合ターゲット、及び超音波画像センサのうちの１つまたは複数からのデータを処理するローカルスケールエスティメータ５１０を有する。ＨＭＤ１００は、ＥＭセンサ、ＩＭＵ、３Ｄ画像センサ、及び他のタイプの画像センサのうちの１つまたは複数からのデータを処理するローカルスケールエスティメータ５２０を有する。グローバルスケールエスティメータ５００をローカルスケールエスティメータ５１０および５２０と組み合わせて使用することにより、処理システム４００は、複数のデバイスの互いに対する異なる位置及び向きを同時に解くことができる。例えば、処理システム４００は、超音波プローブ１２０に対するＨＭＤ１００の位置及び向きを決定する。さらに、処理システム４００は、超音波プローブ１２０に対する１つまたは複数の器具１１０の位置及び向きを決定する。

いくつかの実施形態において、処理システム４００は、反復最近接点（ＩＰＣ）などのマッチング方法を使用して、個々の（ローカル）追跡システムからのポイントデータを相関させる。この方法において、処理システム４００は、現在最もよく知られている時間対応及び各座標系間の幾何学変換を使用してデータ間のポイント対応を決定し、誤差を提供し、時間対応及び幾何学変換を更新する。

別の実施形態において、処理システム４００は、異なる距離及び向きからのセンサ間で感知されたデータを使用して、各測定基準フレームからの変換を計算する。この一例は、異なる位置およびポーズからの超音波情報の整合である。この別の例は、ＨＭＤ１００および超音波情報からの３Ｄ体積または表面情報の整合である。３Ｄ情報は、飛行時間光学センシング、前処置ＣＴまたはＭＲＩなどのセンサを使用して直接検知されてもよく、または運動からの構造復元（ＳＦＭ）および自己位置推定とマッピングの同時実行（ＳＬＡＭ）などのアルゴリズムを使用して導出されてもよい。

様々な実施形態において、処理システム４００は、予測された変換を使用して、これらのデバイスのそれぞれの間の変換を計算する。これらの変換は、粒子フィルタリング及び／またはカルマンフィルタリングなどのフィルタリングを使用して、更新間で補間されるか、または前方に予測される。これらの変換は、測定された剛体変換、および感知された情報からの推定変換を使用して更新される。これらの変換は、ＩＣＰなどの３Ｄ整合、もしくはＭＩまたはＳＩＦＴ／ＳＵＲＦなどの３Ｄから２Ｄへの技術を使用して更新され得る。３Ｄデータは、プローブから感知された超音波またはＨＭＤからの光学画像からＳＦＭまたはＳＬＡＭを使用して２Ｄデータから計算され得る。２Ｄデータは、物理ベースのレンダリングを使用して３Ｄから光学または超音波画像に計算され得る。

各デバイスは、各センサ間の変換のローカルスケールを計算して、ローカルスケールエスティメータの一貫したローカル基準フレーム内の各デバイスのポーズ推定を提供する。処理システム４００は、複数のローカルスケールエスティメータからのデータを組み合わせて変換を計算することによって、ローカルスケールデータ間のグローバルスケール変換を計算する。さらに、グローバルスケールエスティメータ５００は、ローカルスケールエスティメータで使用される基準フレーム間の更新された変換を計算し、ポーズ推定を更新し得る。

ＩＩＩ．ユーザインターフェースの例
図６は、様々な実施形態における、器具をナビゲートするための例示的なグラフィカルユーザインターフェースを示す図である。図示された使用例において、ユーザは、針器具１１０を、例えば、患者の静脈または他の身体部分上のターゲット交点までナビゲートしている。

パネル６００は、器具先端が超音波画像平面６２０からの閾値距離の外側にあるときに、３Ｄで重ねた器具経路インジケータ６１０を示すユーザインターフェースを示す。器具経路インジケータ６１０は、器具の投影軌道である。処理システム４００は、例えば、センサデータに基づいて器具経路インジケータ６１０を更新し、器具のユーザ制御に応答して位置または向きの任意の変化を反映する。マーカー６３０は、超音波画像平面６２０上の器具経路インジケータ６１０の投影された交点を示す。器具経路インジケータ６１０は、デフォルトの色で塗りつぶされる（または色がない、例えば、透明である）。図６に示される例において、器具経路インジケータ６１０は円柱として示され、マーカー６３０は円として示されるが、他の実施形態において、器具経路インジケータ６１０及びマーカー６３０は、他のタイプの形状またはグラフィックを使用して示され得る。ユーザインターフェースはまた、他のタイプの２Ｄまたは３Ｄ注釈を含み得る。

パネル６４０は、器具先端が超音波画像平面６２０からの閾値距離の間にあるが、まだ超音波画像平面６２０と交差していないときの器具経路インジケータ６１０を示す。左山括弧と右山括弧との間の距離は、器具先端と超音波画像平面６２０との間の距離に比例する。「平面前方の色」で塗りつぶされた器具経路インジケータ６１０の部分６５０は、器具が超音波画像平面６２０からの閾値距離を越えてナビゲートした距離に比例する。器具経路インジケータ６１０の残りの部分は、デフォルトの色で塗りつぶされる。各山括弧の先端は、交点の方に向けられ、器具経路インジケータ６１０が超音波画像平面６２０の方に向けられていることを示す。図６に示される例において、左山括弧および右山括弧は、直角として示されるが、他の実施形態において、この一対のインジケータは、他の角度またはタイプの形状またはグラフィックを使用して示され得る。

パネル６６０は、器具先端が超音波画像平面６２０との交点に到達したときのユーザインターフェースを示す。左及び右山括弧は、マーカー６３０の中心で交差する。図６に示される例において、「平面前方の色」で陰影が付けられている器具経路インジケータ６１０の割合は、半分である。器具経路インジケータ６１０の残りの部分は、デフォルトの色で塗りつぶされている。

パネル６７０は、器具先端が超音波画像平面６２０を越えてナビゲートしたときのユーザインターフェースを示す。各山括弧の頂点は、交点及びマーカー６３０から離れる方向を向いており、器具経路が超音波画像平面６２０から離れる方向を向いていることを示す。この例のパネル６６０にも示されるように、「平面前方の色」で陰影が付けられている器具経路インジケータ６１０の割合は、半分のままである。より暗い「平面後方の色」で陰影付けされている器具経路インジケータ６１０の部分６８０は、超音波画像平面６２０を越えた器具先端の距離に比例する。器具経路インジケータ６１０の残りの部分は、デフォルトの色で塗りつぶされている。

図７は、様々な実施形態における、器具をナビゲートするための追加の例示的なグラフィカルユーザインターフェースを示す図である。パネル７００は、器具先端が超音波画像平面からの閾値距離の外側にあるときの、図６のパネル６００に示されるシナリオに対応する。パネル７１０は、器具先端が超音波画像平面との交点に到達するときの、図６のパネル６６０に示されるシナリオに対応する。パネル７２０は、器具先端が超音波画像平面を越えてナビゲートしたときの、図６のパネル６７０に示されるシナリオに対応する。

図８は、様々な実施形態における、器具をナビゲートするためのヘッドアップディスプレイを示す図である。処理システム４００は、器具先端の位置に基づいて、ヘッドアップディスプレイ（ＨＭＤ１００によってユーザに提示される）を更新する。例えば、器具経路インジケータ、左山括弧、及び右山括弧の表示は、図６に関して以前に説明された異なるシナリオに従って更新される。

ＩＶ．プロセスフローの例
図９は、様々な実施形態における、複数のセンサを使用して器具を追跡するためのプロセス９００のフローチャートである。処理システム４００は、プロセス９００を使用して、ＨＭＤ１００を装着し、器具１１０を制御するユーザに視覚的ガイダンスを提供し得る。

ステップ９１０において、処理システム４００は、ＨＭＤ１００に結合された（例えば、剛体結合された）第１の電磁センサからデータを受信し、超音波プローブ１２０に結合された（例えば、剛体結合）電磁基準源によって生成された電磁場を検出する。ステップ９２０において、処理システム４００は、医療器具１１０に結合された（例えば、剛体結合された）第２の電磁センサからデータを受信し、電磁場を検出する。様々な実施形態において、第１の電磁センサ及び第２の電磁センサは無線である。すなわち、電磁センサは、電磁基準源にハード配線されていない。システム環境は、任意の数の追加の無線電磁センサを含むことができる。システム環境はまた、電磁センサをＨＭＤ１００、超音波プローブ１２０、及び医療器具１１０などの他のデバイスに結合するための取り付けアクセサリを含むことができる。様々な実施形態において、処理システム４００は、電磁センサからのデータを、１つまたは複数のＩＭＵ、深度センサ、またはカメラなどの他のセンサによってキャプチャされたデータと共に集約する。

ステップ９３０において、処理システム４００は、第１の電磁センサからのデータを処理することによって、超音波プローブ１２０に対するＨＭＤ１００の位置を決定する。ステップ９４０において、処理システム４００は、第２の電磁センサからのデータを処理することによって、超音波プローブ１２０に対する医療器具１１０の位置を決定する。

ステップ９５０において、処理システム４００は、ＨＭＤ１００の位置及び医療器具１１０の位置に少なくとも部分的に基づいて、超音波画像平面に対して配向された医療器具１１０の経路の視覚化を生成する。

ステップ９６０において、処理システム４００は、ＨＭＤ１００を装着しているユーザに、ＨＭＤ１００によって表示されるためのグラフィックを提供する。グラフィックは、超音波画像平面上に表示される超音波プローブ１２０によってキャプチャされた視覚化および画像データを含む。

図１０は、様々な実施形態における器具をナビゲートするためのプロセス１０００のフローチャートである。処理システム４００は、プロセス１０００を使用して、ＨＭＤ１００を装着し、器具１１０を制御するユーザに視覚的ガイダンスを提供し得る。

ステップ１０１０において、処理システム４００は、超音波画像平面の画像データを受信する。画像データは、超音波プローブ１２０または別の超音波画像センサによってキャプチャされる。ステップ１０２０において、処理システム４００は、超音波画像平面に対する医療器具１１０の位置を決定する。ステップ１０３０において、処理システム４００は、超音波画像平面に対する医療器具１１０の向きを決定する。ステップ１０４０において、処理システム４００は、医療器具１１０の位置及び向きに基づいて、医療器具１１０の軌道を決定する。

ステップ１０５０おいて、ＨＭＤ１００は、医療器具１１０の軌道を示す器具経路を表示する。ステップ１０６０において、処理システム４００は、軌道に沿った医療器具１１０の更新された位置に基づいて、医療器具１１０が超音波画像平面上の交点に到達したと決定する。ステップ１０７０において、ＨＭＤ１００は、医療器具１１０が超音波画像平面上の交点に到達したことを示す器具経路の更新されたバージョンを表示する。

Ｖ．代替の考慮事項
本発明の実施形態の前述の説明は、例示の目的で提示されており、網羅的であること、または開示された正確な形態に限定することは、意図されていない。関連技術分野の当業者は、上記の開示に照らして多くの修正及び変形が可能であることを理解することができる。

この説明のある部分は、情報に対する動作のアルゴリズムおよび記号表現の観点から本発明の実施形態を説明している。これらのアルゴリズムの説明および表現は、データ処理技術の当業者によって、その作業の内容を他の当業者に効果的に伝えるために一般的に使用されている。これらの動作は、機能的、計算的、または論理的に説明されている一方で、コンピュータプログラムもしくは等価の電気回路、またはマイクロコードなどによって実装されると理解される。さらに、また、普遍性を失うことなく、時にはこれらの動作の配列をモジュールと称することが便利な場合もある。説明される動作およびそれらに関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせで具現化され得る。

本明細書で説明される任意のステップ、動作、またはプロセスは、単独でまたは他のデバイスと組み合わせることで、１つまたは複数のハードウェアまたはソフトウェアモジュールを用いて実行または実装されてよい。一実施形態において、ソフトウェアモジュールは、説明される任意のまたはすべてのステップ、動作、またはプロセスを実行するコンピュータプロセッサによって実行されることが可能であるコンピュータプログラムコードを含む非一時的なコンピュータ可読媒体を含むコンピュータプログラム製品で実装される。

本発明の実施形態はまた、本明細書で説明されるコンピューティングプロセスによって生成される製品に関する場合がある。このような製品は、コンピューティングプロセスから生じる情報を含むことができ、ここで、この情報は、非一時的で有形のコンピュータ可読記憶媒体に格納され、本明細書で説明されるコンピュータプログラム製品、または他のデータの組み合わせの任意の実施形態を含むことができる。

最後に、明細書で用いられる文言は、主に読み易さおよび説明を目的として選択されたものであり、発明の主題を描写または制限するために選択されていない場合がある。したがって、本発明の範囲は、この詳細な説明によってではなく、本明細書に基づいた出願で発行される特許請求の範囲によって限定されることが意図されている。したがって、本発明の実施形態の開示は、以下の特許請求の範囲に記載される本発明の範囲をするものではなく、例示することを意図している。

Claims (18)

1. ヘッドマウントディスプレイ（ＨＭＤ）に結合された第１の電磁センサからデータを受信し、超音波プローブに結合された電磁基準源によって生成された電磁場を検出するステップと、
   医療器具に結合された第２の電磁センサからデータを受信し、前記電磁場を検出するステップと、
   前記第１の電磁センサからの前記データを処理することによって、前記超音波プローブに対する前記ＨＭＤの位置を決定するステップと、
   前記第２の電磁センサからの前記データを処理することによって、前記超音波プローブに対する前記医療器具の位置を決定するステップと、
   前記ＨＭＤの前記位置および前記医療器具の前記位置に少なくとも部分的に基づいて、超音波画像平面に対して配向された前記医療器具の経路の視覚化を生成するステップと、
   前記ＨＭＤを装着しているユーザに、前記ＨＭＤによって表示されるためのグラフィックを提供するステップであって、前記グラフィックは、前記超音波画像平面上に表示される前記超音波プローブによってキャプチャされた前記視覚化および画像データを含む、グラフィックを提供するステップと、
   を含む方法。
2. 前記ＨＭＤに結合された第３の電磁センサからデータを受信し、前記超音波プローブに結合された前記電磁基準源によって生成された前記電磁場を検出するステップと、
   前記第１の電磁センサからの前記データと前記第３の電磁センサからの前記データを処理することによって、前記第１の磁気センサと前記第２の磁気センサとの間の差動信号に基づいて前記ＨＭＤの向きを決定するステップと、
   をさらに含む、請求項１に記載の方法。
3. 前記ＨＭＤの前記向きは、前記ＨＭＤの慣性測定ユニットによってキャプチャされたデータに基づいてさらに決定される、請求項２に記載の方法。
4. 前記医療器具の慣性測定ユニットによってキャプチャされたデータ、および前記第２の電磁センサからの前記データを集約することによって、前記医療器具の向きを決定するステップをさらに含む、請求項１乃至３のいずれか一項に記載の方法。
5. 前記ＨＭＤの画像センサによってキャプチャされた画像データを処理することによって、前記超音波プローブの位置を決定するステップであって、前記グラフィックは、前記超音波プローブの前記位置からのオフセットで前記ユーザに表示される、ステップをさらに含む、請求項１乃至４のいずれか一項に記載の方法。
6. 前記医療器具の先端と医療器具に結合された前記第２の電磁センサの位置との間のオフセット距離を決定するステップであって、前記視覚化は、前記オフセット距離に基づいて生成される、ステップをさらに含む、請求項１乃至５のいずれか一項に記載の方法。
7. 前記医療器具の第１の座標系を前記超音波プローブの第２の座標系にマッピングするための第１の変換を決定するステップと、
   前記ＨＭＤの第３の座標系を前記超音波プローブの前記第２の座標系にマッピングするための第２の変換を決定するステップと、をさらに含み、
   前記視覚化は、前記第１の変換及び前記第２の変換を用いて生成される、請求項１乃至６のいずれか一項に記載の方法。
8. 命令を格納した非一時的なコンピュータ可読記憶媒体であって、前記命令は、１つまたは複数のプロセッサによって実行されるとき、前記１つまたは複数のプロセッサに、
   ヘッドマウントディスプレイ（ＨＭＤ）に結合された第１の電磁センサからデータを受信し、超音波プローブに結合された電磁基準源によって生成された電磁場を検出することと、
   医療器具に結合された第２の電磁センサからデータを受信し、前記電磁場を検出することと、
   前記第１の電磁センサからの前記データを処理することによって、前記超音波プローブに対する前記ＨＭＤの位置を決定することと、
   前記第２の電磁センサからの前記データを処理することによって、前記超音波プローブに対する前記医療器具の位置を決定することと、
   前記ＨＭＤの前記位置および前記医療器具の前記位置に少なくとも部分的に基づいて、超音波画像平面に対して配向された前記医療器具の経路の視覚化を生成することと、
   前記ＨＭＤを装着しているユーザに、前記ＨＭＤによって表示されるためのグラフィックを提供することであって、前記グラフィックは、前記超音波画像平面上に表示される前記超音波プローブによってキャプチャされた前記視覚化および画像データを含む、グラフィックを提供することと、
   を行わせる、非一時的なコンピュータ可読記憶媒体。
9. 超音波プローブに結合され、電磁場を生成するように構成された電磁基準源と、
   ヘッドマウントディスプレイ（ＨＭＤ）に結合され、前記電磁場を検出するように構成された第１の電磁センサと、
   医療器具に結合され、前記電磁場を検出するように構成された第２の電磁センサと、
   命令を格納する非一時的なコンピュータ可読記憶媒体あって、前記命令は、１つまたは複数のプロセッサによって実行されるとき、前記１つまたは複数のプロセッサに、
   前記第１の電磁センサからのデータを処理することによって、前記超音波プローブに対する前記ＨＭＤの位置を決定することと、
   前記第２の電磁センサからのデータを処理することによって、前記超音波プローブに対する前記医療器具の位置を決定することと、
   前記ＨＭＤの前記位置および前記医療器具の前記位置に少なくとも部分的に基づいて、超音波画像平面に対して配向された前記医療器具の経路の視覚化を生成することと、
   前記ＨＭＤを装着しているユーザに、前記ＨＭＤによって表示されるためのグラフィックを提供することであって、前記グラフィックは、前記超音波画像平面上に表示される前記超音波プローブによってキャプチャされた前記視覚化および画像データを含む、グラフィックを提供することと、
   を行わせる、前記コンピュータ可読記憶媒体と、
   を備えたシステム。
10. 前記超音波プローブ、前記ＨＭＤ、および前記医療器具をさらに備える、請求項９に記載のシステム。
11. 前記第１の電磁センサおよび前記第２の電磁センサは、無線である、請求項９または請求項１０に記載のシステム。
12. 前記医療器具が、針、カニューレ、生検装置、または焼灼装置である、請求項９乃至１１のいずれか一項に記載のシステム。
13. 超音波画像平面の画像データを受信するステップと、
    前記超音波画像平面に対する医療器具の位置を決定するステップと、
    前記超音波画像平面に対する前記医療器具の向きを決定するステップと、
    前記医療器具の前記位置および前記向きに基づいて、前記医療器具の軌道を決定するステップと、
    ヘッドマウントディスプレイ（ＨＭＤ）によって、前記医療器具の前記軌道を示す器具経路を表示するステップと、
    前記軌道に沿った前記医療器具の更新された位置に基づいて、前記医療器具が前記超音波画像平面上の交点に到達したと決定するステップと、
    前記ＨＭＤによって、前記医療器具が前記超音波画像平面上の前記交点に到達したことを示す前記器具経路の更新されたバージョンを表示するステップと、
    を含む方法。
14. 前記医療器具が前記超音波画像平面上の前記交点を通過して移動したことを決定するステップと、
    前記ＨＭＤによって、前記医療器具が前記超音波画像平面上の前記交点を通過して移動したことを示す前記器具経路の別の更新されたバージョンを表示するステップと、をさらに含む、請求項１３に記載の方法。
15. 前記器具経路の前記更新されたバージョンは、前記医療器具が前記軌道に沿って移動した距離に基づいて着色された前記器具経路の一部を含む、請求項１３または請求項１４に記載の方法。
16. 前記医療器具が前記超音波画像平面上の前記交点に到達したと決定するステップに応答して、前記ＨＭＤによって、前記医療器具が前記超音波画像平面上の前記交点に到達したことを示す注釈を前記器具経路上に重ねて表示するステップをさらに含む、請求項１３乃至１５のいずれか一項に記載の方法。
17. 組織密度に基づいて前記超音波画像平面上の前記交点を決定するステップをさらに含む、請求項１３乃至１６のいずれか一項に記載の方法。
18. 命令を格納した非一時的なコンピュータ可読記憶媒体であって、前記命令は、１つまたは複数のプロセッサによって実行されるとき、前記１つまたは複数のプロセッサに、
    超音波画像平面の画像データを受信することと、
    前記超音波画像平面に対する医療器具の位置を決定することと、
    前記超音波画像平面に対する前記医療器具の向きを決定することと、
    前記医療器具の前記位置および前記向きに基づいて、前記医療器具の軌道を決定することと、
    ヘッドマウントディスプレイ（ＨＭＤ）による表示のために、前記医療器具の前記軌道を示す器具経路を提供することと、
    前記軌道に沿った前記医療器具の更新された位置に基づいて、前記医療器具が前記超音波画像平面上の交点に到達したと判定することと、
    前記ＨＭＤによる表示のために、前記医療器具が前記超音波画像平面上の前記交点に到達したことを示す前記器具経路の更新されたバージョンを提供することと、
    を行わせる、非一時的なコンピュータ可読記憶媒体。

Images