JP2024512008A - 超音波イメージングに使用される方法 - Google Patents

Abstract

キャプチャされた超音波派生の情報を記録又は提示する方法が提供される。この方法は、超音波検査の実行中に超音波プローブに関連する位置決め情報を取得し、これを使用して、キャプチャされたデータサンプル又はそこから派生した情報を、データサンプルの解剖学的位置情報と関連付けることに基づいている。この２つの間のリンクは、プローブの表面位置と表面の下にある解剖学的身体構造とを関連付けることができる解剖学的モデルを使用して達成される。取得したデータのマップを、解剖学的身体の表面上の位置の関数として生成できる。つまり、実質的に、対象物の２Ｄ表面上にデータが投影される。

Description

本発明は、超音波イメージングの分野に関する。

超音波検査の領域には、スキャン中に得られるが、空間形式で直ちに視覚的に表現可能ではない多くの種類の測定情報又は他の二次情報がある。例えば、超音波データに提示される解剖学的構造の固有の特徴ではなく、収集された超音波データサンプル自体の間接的な特徴である超音波派生のパラメータ又は特徴が多くある。このため、この情報を得るには高度なスキルを有する実践者が必要であり、あまりスキルのない実践者による解釈及び理解を可能にする標準化された手法で記録することは困難である。

一例は、肺の超音波スキャン、並びにＢライン、Ａライン、及び肺スライディングの検出である。これらは超音波画像データ自体のアーチファクトである。

さらに、検査を行うために経験豊富な超音波検査技師がおらず、したがって、ポイントオブケアにて、経験の浅い人や、さらには初心者が検査を行わなければならない状況が発生する場合がある。ここでも、より経験豊富な超音波検査技師が後でレビューできるように検査データを標準化された手法で記録する手段が有益であろう。

経験の浅い担当者による超音波スキャンが一般的な現象である１つのドメインが、ＣＯＶＩＤ－１９患者の肺の評価のコンテキストにある。

肺超音波検査は、ポイントオブケア（ポイントオブケア超音波検査、ＰＯＣＵＳ）で使用されることが増えている。これは、迅速で簡単なベッドサイドテストであり、消毒しやすい機器を用いるため、ＣＯＶＩＤ－１９患者の評価にも広く使用されている。重症のＣＯＶＩＤ－１９患者の管理にとって深刻な問題は、感染のリスクが高いことである。超音波検査のコンテキストでは、これはいくつかのワークフロー制約をもたらし、これらは超音波検査の接触特性のために離れた場所にある手段では解決できない。

感染患者を扱う人は、手袋、フェイスマスク、保護眼鏡、及び保護服からなる個人用防護具（ＰＰＥ）を着用する必要があり、非常に時間がかかる。さらに、感染リスクを低減するために感染患者へのアクセスが救急処置チームに制限されていること、地方コミュニティの医療センターには訓練を受けた肺超音波検査技師がいないこと、及び病院でのＰＰＥ不足により、病室に入ることができる介護者の数が制限されていることなどの理由により、経験豊富な超音波検査技師がベッドサイドに来られないことがよくある。

そのため、ＣＯＶＩＤ－１９患者の評価及びトリアージでは、肺超音波検査が、ポイントオブケアにおいて経験豊富な超音波検査技師ではなく、経験の浅い人によって行われ、その後、経験豊富な超音波検査技師が、検査結果に基づいて臨床的決定を下す前に、検査が最適に行われたかどうかを判断する必要がある多くの状況が考えられる。

肺超音波検査は、他の臓器と同様に直接組織を視覚化するだけでなく、イメージングアーチファクトの解釈にも依存することがよくある。その理由は、肺と他の組織との音響インピーダンスの違いにより、超音波ビームが空気によって遮断されるため、健康で空気が充填した肺組織の視覚化が困難であるためである。それでも、画像アーチファクトを使用して、健康な肺組織と病気の肺組織とを区別できる。いくつかの画像アーチファクトは、特定の組織変化に特徴的でさえある。

ネイティブ超音波データにはもともとは空間的に提示されないタイプの超音波派生の測定データであって、データ自体の特徴又はアーチファクトに関する測定データを収集し、記録し、そして提示するための改良された手段が必要である。

本発明は、特許請求の範囲によって規定される。

本発明の一態様による実施例によれば、対象者の内部解剖学的対象物の超音波検査に使用されるコンピュータ実施方法が提供される。この方法は、第１の期間中に対象者の身体の表面上を移動した超音波プローブから収集した一連のデータサンプルを含む超音波データを受信するステップと、超音波データサンプルから、少なくとも超音波データサンプルのサブセット内に検出可能な特徴及び／又はアーチファクトに関連する二次データを得るために、所定の処理操作を適用するステップと、検査期間中の身体表面上の超音波プローブの移動を表すトラッキングデータを受信するステップと、解剖学的モデルにアクセスするステップであって、解剖学的モデルは、（ｉ）関心の解剖学的対象物、（ｉｉ）関心の解剖学的対象物に重なる身体の表面、及び（ｉｉｉ）解剖学的対象物と身体の表面との空間的関係の表現を含む、アクセスするステップと、トラッキングデータに基づいて、時間の関数として対象者の身体表面上のプローブ位置を決定するステップと、解剖学的対象物の表面上への二次データ値の投影を含む表面マップを生成するステップであって、投影は、時間の関数としてのプローブ位置と、解剖学的モデルとに基づいている、生成するステップとを含む。

本発明の実施形態は、スキャン中に対象者の皮膚上の超音波プローブの位置をリアルタイムでトラッキングし、次に、対象者の解剖学的構造の解剖学的モデルを使用して、超音波データから抽出された二次データを、下層の解剖学的対象物の表面に空間的に位置合わせすることを可能にすることに基づいている。つまり、実施形態は、２つのデータストリーム、すなわち、（超音波データから得た）二次データ値を表すデータストリームと、プローブの位置データを表すデータストリームとを同時に収集することに基づいている。このモデルを使用して、２つのデータストリームを組み合わせたり相関させたりすることで、各二次データ値又は測定値を、その値が対応する解剖学的構造の表面上の既知の位置に関連付けることができる。

したがって、このモデルは、対象者の身体（胸部など）上の検出可能なプローブ位置と、その身体表面位置で収集された二次データが対応する下層の解剖学的構造（肺など）の表面上の対応する位置との間で、空間的位置合わせ又はマッピング関数を可能にする。

このモデルはカスタマイズされたモデル、すなわち、対象者に合わせてカスタマイズされたモデルであってもよい。これにより、二次データと解剖学的対象物の表面との空間的対応がより正確になる。表面マップは、モデル化された解剖学的対象物の表面上の対応する位置の関数としての二次データ値のデータ表現にすぎない。任意選択で、さらに視覚的な形式で提示されてもよい。

好ましくは、このモデルは座標系を有し、これに対して、対象者の身体表面のポイントが定義され、また、カメラ位置及びトランスデューサ位置を決定できる。

この方法は、各超音波データサンプルについて、サンプルが収集された対応するプローブ位置を特定するステップを含む。

この方法は、各超音波データサンプルについて決定されたプローブ位置及び解剖学的モデルに基づいて、二次データと関心の解剖学的対象物の表面上の位置との空間的位置合わせを決定するステップを含む。

二次データは、超音波データサンプルごとの二次データサンプルを含み、この方法は、二次データサンプルごとに、サンプルについて決定されたプローブ位置と解剖学的モデルとに基づいて、二次データサンプルが対応する解剖学的対象物の表面上の位置を決定するステップを含む。

表面マップの生成は、任意選択で、超音波データ及びトラッキングデータの収集とリアルタイムで行われても、前に収集され、後で呼び出すために記録された超音波データ及びトラッキングデータストリームに基づいて、オフラインで行われてもよい。

この方法は、生成された表面マップを表すデータ出力を生成するステップをさらに含む。この方法は、生成された表面マップを外部プロセッサ、コンピュータ、及び／又はディスプレイデバイスに通信するステップを含む。

この方法は、トラッキングデータの座標系を解剖学的モデルの座標系に位置合わせするステップをさらに含む。

いくつかの実施形態では、トラッキングデータは、身体表面上のプローブの移動を表すカメラ画像データである。カメラの画像データは３Ｄカメラデータであり得る。カメラ画像データの代替としては、例えば、電磁トラッキング手段、トラッキング可能なポーズを有する機械式アーム、音響トラッキング手段（例えば、ソナーのようなローカライザ）、又は任意の他の適切な位置決め装置などがある。

いくつかの実施形態では、プローブ位置の決定は、画像データ内に検出可能な表面ランドマークと解剖学的モデルの対象者の身体表面ランドマークとの位置合わせに基づいている。これにより、カメラ画像トラッキングシステムのネイティブ座標系を解剖学的モデルの座標系と直接位置合わせするメカニズムが提供される。代替として、カメラ画像データを受信するように配置され、（時間の関数として）カメラの視野（ＦＯＶ）の座標系内のプローブの位置座標を出力するように適応されているトラッキングプロセッサが提供されてもよい。結果として得られるプローブの位置座標は、対象者の身体の座標系、例えば、解剖学的モデルの座標系内の座標に変換する必要がある。これは、カメラの座標系とモデルの座標系との間の事前較正ステップが必要になる場合がある。

いくつかの実施形態では、この方法は、対象者に対するカメラの位置の指示を受信するステップをさらに含む。これはユーザによって手動で入力されてもよいし、又は、この方法がカメラでキャプチャされた画像データに基づいて対象者に対するカメラの位置を決定するステップを含んでもよい。より一般的に、このステップの機能は、プローブをトラッキングするために使用されるカメラ画像フレームの座標系と、対象者の解剖学的モデルの座標系との空間的関係を決定することである。

いくつかの実施形態では、方法は、モデル化された解剖学的対象物の表面上への二次データの視覚的投影を含む表面マップの視覚表現を生成するステップをさらに含む。

いくつかの実施形態では、超音波データサンプルは、超音波画像フレームであり、二次データは、各画像フレーム内の所定のタイプの画像特徴及び／又は画像アーチファクトの有無に関連している。

いくつかの実施形態では、解剖学的モデルは、モデル座標系を定義し、プローブ位置はモデル座標系に対して決定される。

いくつかの実施形態では、超音波データは、プローブによるデータ収集でリアルタイムに受信され、カメラ画像データを受信するステップ及びプローブ位置を決定するステップは、超音波データの受信とリアルタイムで行われる。

いくつかの実施形態では、表面マップを生成するステップは、超音波データの収集及びプローブ位置の決定でリアルタイムに行われ、この方法は、モデル化された解剖学的対象物の表面上への二次データの視覚的投影を含む表面マップの視覚表現をリアルタイムで生成するステップをさらに含む。リアルタイムで生成された表面マップは、操作者が検査の進行状況を観察できるように、ディスプレイデバイスに表示される。

いくつかの実施形態では、この方法は、検査期間中に超音波スキャナの一連の標的位置を含む所定のスキャンプロトコルにアクセスするステップと、対象者の身体表面の画像表現に重ね合わせたスキャンプロトコルの標的プローブ位置を表す、ディスプレイデバイスでの表現用の表示出力を生成するステップとをさらに含む。画像表現は、トラッキングデータがカメラ画像データである場合には、リアルタイムカメラ画像データによって提供されるか、又は、身体表面のグラフィック表現（身体表面のモデル表現など）である。リアルタイムで実行される場合、この表示出力は、標的プローブ位置で拡張された対象者の身体表面の拡張現実画像表現を実質的に提供する。

いくつかの実施形態では、この方法は、対象者のアクセスした解剖学的モデルをカスタマイズするステップを含む。このカスタマイズは、対象者の収集したカメラ画像データ、対象者の超音波データ、及び／又は対象者の測定データ若しくは個人的特徴データに基づいて、モデルの１つ以上の調整可能なフィッティングパラメータを対象者にフィッティングすることを含む。測定データには、身長、体重、胸囲、及び胴囲など、対象者の標準的な測定値が含まれる。個人的特徴データには、年齢、性別、民族性、関連する病歴などが含まれる。

このステップは、表面マップの生成とリアルタイムで行われてもよい。トラッキングデータがカメラ画像データである場合、フィッティングは、１つ以上のカメラ画像フレーム内の初期モデルに含まれる１つ以上の身体表面の視覚的ランドマークを特定し、ランドマークに基づいて初期モデルのパラメータを対象者の身体表面にフィッティングして、対象者モデルを得ることに基づいている。

いくつかの実施形態では、解剖学的モデルは対象者に合わせてカスタマイズされた解剖学的モデルである。

この方法は、カスタマイズされた解剖学的モデルを構成するための予備セットアップ段階をさらに含み、セットアップ段階は、超音波データを受信する前に行われ、かつ解剖学的モデルの初期バージョンを取得するステップであって、モデルには、複数の調整可能なフィッティングパラメータが含まれている、取得するステップと、対象者の身体表面の１つ以上のカメラ画像フレームを収集するステップと、１つ以上のカメラ画像フレーム内のモデルに含まれている１つ以上の身体表面の視覚的ランドマークを特定するステップと、カスタマイズされた対象者モデルを得るために、ランドマークに基づいて、初期モデルのパラメータを対象者の身体表面にフィッティングするステップと、を含む。この実施形態のセットでは、解剖学的モデルのカスタマイズは、予備ステップとして行われる。その上又は或いは、モデルは、対象者の個人の医用画像データ、例えば、ＣＴスキャンデータに基づいて、方法の開始前に対象者に合わせてカスタマイズされてもよい。このようにして、方法が開始されると、アクセスされた解剖学的モデルはすでに対象者の解剖学的構造に合わせてカスタマイズされている。

いくつかの実施形態では、この方法は、表面ランドマークを自動的に検出するために、カメラ画像データを処理するステップを含む。

いくつかの実施形態では、この方法は、カメラ画像データの１つ以上の画像フレーム上の表面ランドマークのうちの１つ以上のユーザ指定位置を示すユーザ入力データを受信するステップを含む。

いくつかの実施形態では、関心の解剖学的対象物は、対象者の肺の少なくとも一部を含む。

いくつかの実施形態では、二次データは、肺スライディングアーチファクト、Ａラインアーチファクト、及びＢラインアーチファクトのうちの１つ以上の有無の表現を含む。直接的又は間接的な表現を含んでいてもよい。例えば、これらの現象のうちの１つ以上を間接的に示す表現を含んでもよい。

本発明の別の態様によれば、コード手段を含むコンピュータプログラム製品が提供される。コード手段は、プロセッサ上で実行されると、プロセッサに、上記若しくは後述の任意の実施例若しくは実施形態に従う、又は本出願の任意の請求項に従う方法を実行させる。

本発明の別の態様によれば、処理装置が提供される。この処理装置は、入出力部と、１つ以上のプロセッサとを備え、１つ以上のプロセッサは、検査期間中に対象者の身体の表面上を移動した超音波プローブから収集した一連のデータサンプルを含む超音波データを、入出力部で受信することと、超音波データサンプルから、少なくとも超音波データサンプルのサブセット内に検出可能な特徴及び／又はアーチファクトに関連する二次データを得るために、所定の処理操作を適用することと、検査期間中の身体表面上の超音波プローブの移動を表すトラッキングデータを、入出力部で受信することと、解剖学的モデルにアクセスすることであって、モデルは、（ｉ）関心の解剖学的対象物、（ｉｉ）関心の解剖学的対象物に重なる身体の表面、及び（ｉｉｉ）解剖学的対象物と身体の表面との空間的関係、の表現を含む、アクセスすることと、トラッキングデータに基づいて、時間の関数として対象者の身体表面上のプローブ位置を決定することと、解剖学的対象物の表面上への二次データ値の投影を表す表面マップを生成することであって、投影は、時間の関数としてのプローブ位置と、解剖学的モデルとに基づいている、生成することとを実行するように適応されている。

本発明の別の態様によれば、システムが提供され、このシステムは、超音波プローブを含む超音波検知装置と、検査期間中に超音波プローブのトラッキングデータを収集するトラッキング装置と、上記若しくは後述の任意の実施例若しくは実施形態に従う、又は本出願の任意の請求項に従う処理装置であって、処理装置の入出力部は、トラッキングデータを受信するためにトラッキング装置に、かつ超音波データを受信するために超音波検知装置に通信可能に結合されている、処理装置と、を含む。トラッキング装置は、検査期間中に身体表面をイメージングするカメラを含んでいてもよく、この場合、トラッキングデータはカメラ画像データである。

いくつかの実施形態では、このシステムは、生成された表面マップの視覚表現を表示するユーザインターフェースをさらに含み、任意選択で、ユーザインターフェースは、カメラ画像データからの１つ以上の画像フレームの各々における１つ以上の表面の視覚的ランドマークの位置のユーザによる注釈付けを可能にするようにさらに適応されている。表面の視覚的ランドマークは、モデルに含まれ得る。

本発明のこれらの及び他の態様は、以下に説明する実施形態から明らかになり、また、当該実施形態を参照して説明される。

本発明をより深く理解し、本発明がどのように実行されるかをより明確に示すために、ほんの一例として添付の図面を参照する。

対象者の内部解剖学的対象物の超音波検査に使用されるコンピュータ実施方法のフロー図である。 本発明の１つ以上の実施形態による対象者の超音波イメージングの概略図である。 本発明の１つ以上の実施形態による対象者の超音波イメージングシステムの概略図である。 本発明の１つ以上の実施形態による二次超音波データの一例を示す。 本発明の１つ以上の実施形態による肺のモデル化された表面上に投影された表面マップの生成された視覚表現の一例である。

本発明を、図を参照して説明する。

詳細な説明及び具体的な実施例は、装置、システム、及び方法の例示的な実施形態を示す一方で、例示のみを目的としたものであり、本発明の範囲を限定することを意図したものではないことが理解されるべきである。本発明の装置、システム、及び方法のこれらの及び他の特徴、態様並びに利点は、以下の説明、添付の特許請求の範囲、及び添付の図面からより深く理解されるようになるであろう。図は概略図に過ぎず、縮尺どおりに描かれていないことが理解されるべきである。また、図全体で同じ参照番号を使用して、同じ部分又は類似の部品を示すことが理解されるべきである。

本発明は、キャプチャされた超音波派生の情報を、それが対応する解剖学的構造に空間的に関連付ける手法で記録又は表現する方法に関する。この方法は、超音波検査の実行中に超音波プローブに関連する位置決め情報を取得し、これを使用して、キャプチャされたデータサンプル又はそこから派生した情報を、データサンプルの解剖学的位置情報と関連付けることに基づいている。この２つの間のリンクは、プローブの表面位置と表面の下にある解剖学的身体構造を関連付けることができる解剖学的モデルを使用して達成される。取得したデータのマップを、解剖学的身体の表面上の位置の関数として生成できる。つまり、実質的に、対象物の２Ｄ表面上にデータが投影される。

つまり、本発明の実施形態は、経験の浅い超音波検査技師によってイメージングが行われたとしても、結果は臨床的に許容可能であるように十分な品質となるような対象者を超音波イメージングする方法を提供する。この方法は、例えば、カメラ（例えば、スマートフォン又はタブレットのカメラ）を使用して超音波プローブをトラッキングしながら、対象者の身体表面上で超音波プローブを動かして超音波データをキャプチャすることを可能にする。経験の浅い超音波検査技師が不十分な品質の結果を得てしまう理由としては、例えば、超音波データからの二次情報を正しく解釈できないことがある。カメラトラッキングを使用する場合、例えば、画像処理を使用して、定義された座標系に対するプローブ位置が特定される。この情報から、プローブの位置を、一般的又はカスタマイズされた身体モデル（すなわち、解剖学的モデル）の表現に関連付けることができ、その後、キャプチャされた超音波データを、このデータも身体の表現に関連付けられるように処理できる。したがって、標的内部臓器／対象物のモデルを超音波スキャンから得られたデータ（例えば、二次超音波データ）と重ね合わせて、臨床使用のために経験豊富な超音波検査技師に提示できる。

図１を参照して、対象者２０８の内部解剖学的対象物の超音波検査に使用される、１つ以上の実施形態によるコンピュータ実施方法１００のフロー図が示されている。要約すると、方法１００は、超音波データを受信するステップ１０２と、二次超音波データを得るステップ１０４と、トラッキングデータを受信するステップ１０６と、解剖学的モデルにアクセスするステップ１１２と、プローブ位置を決定するステップ１０８と、二次データの表面マップを生成するステップ１１０とを含む。

本発明の一態様は方法を提供する。本発明のさらなる態様はコンピュータ、又はコンピュータ実施方法を実行するように構成された処理装置を提供する。本発明のさらなる態様は、プロセッサ上で実行されると、プロセッサに上記の方法を実行させるように構成されたコード手段を含むコンピュータプログラム製品を提供する。

超音波データを受信すること（１０２）は、第１の期間中に対象者の身体の表面上を移動した超音波プローブから収集した一連のデータサンプルを受信することを含む。第１の期間は検査期間に相当する。

超音波プローブは、超音波周波数の音波を発し、返された超音波エコーを検知できる任意のデバイスである。超音波プローブは１つ以上の超音波トランスデューサを含む。超音波プローブは超音波トランスデューサユニットとも呼ぶ。

例として、超音波データサンプルは超音波画像フレームを含む。或いは、超音波データサンプルは生エコーデータ（すなわち、ＲＦデータ）又は少なくとも部分的に後処理されたエコーデータである超音波エコーデータを含んでもよい。

実施例の１つの有利なセットでは、対象者の関心の内部解剖学的対象物は、対象者の肺の少なくとも一部を含む。しかし、これは一例に過ぎず、一般的な発明的概念は、あらゆる内部解剖学的対象物（例えば、任意の内部臓器又は臓器の一部）のイメージングに適用可能である。

二次超音波データを得ること（１０４）は、超音波データサンプルの各々から、各超音波データサンプル内に検出可能な特徴及び／又はアーチファクトに関連する二次データを得る（１０４）ために、所定の処理操作を適用することを含む。二次データは、各画像フレーム内の所定のタイプの画像特徴及び／又は画像アーチファクトの有無に関連している。所定の処理操作は、超音波画像の形で超音波データを分析し、超音波画像内の特定の画像特徴又は画像アーチファクトを検出するために使用できる自動アルゴリズムを含み得る。

ほんの一例として、深層学習アルゴリズムが使用される。一例として、超音波画像データから特徴やアーチファクトを特定又は抽出するための例示的なアルゴリズムが次の論文に概説されている。Ｃ．Ｂａｌｏｅｓｃｕ他、「Ａｕｔｏｍａｔｅｄ Ｌｕｎｇ Ｕｌｔｒａｓｏｕｎｄ Ｂ－Ｌｉｎｅ Ａｓｓｅｓｓｍｅｎｔ Ｕｓｉｎｇ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｌｇｏｒｉｔｈｍ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｕｌｔｒａｓｏｎｉｃｓ，Ｆｅｒｒｏｅｌｅｃｔｒｉｃｓ，ａｎｄ Ｆｒｅｑｕｅｎｃｙ Ｃｏｎｔｒｏｌ、第６７巻、第１１号、２３１２～２３２０ページ、２０２０年１１月。

二次データは、超音波データサンプルごとの少なくとも１つの二次データサンプルを含む。二次データは複数の二次データセットを含んでもよく、各二次データセットには、各超音波データサンプルの二次データサンプルが含まれている。方法１００は、二次データサンプルごとに、サンプルについて決定されたプローブ位置と解剖学的モデルとに基づいて、二次データサンプルが対応する解剖学的対象物の表面上の位置を決定することを含む。

超音波データが超音波肺データである１つの非限定的な実施例では、二次データは、肺スライディングアーチファクト、Ａラインアーチファクト、及びＢラインアーチファクトのうちの１つ以上の有無の表現を含む。

トラッキングデータを受信すること（１０６）は、検査期間中の身体表面上の超音波プローブの移動又は位置を表すトラッキングデータを受信することを含む。トラッキングデータは空間データである。視覚化データであってもよい。

例として、トラッキングデータは、第１の期間中の身体表面上のプローブの移動を表すカメラ画像データである。実施例の１つの特定のセットでは、カメラの画像データは、少なくとも１つのカメラを含む電話機やタブレットなどのモバイルデバイスから取得される。いくつかの実施例では、カメラデータは、３Ｄカメラデータ（例えば、ＲＧＢ－Ｄカメラデータ）であるが、これは必須ではない。カメラ画像データの代替としては、例えば電磁トラッキング手段、トラッキング可能なポーズを有する機械式アーム、例えばソナーのようなローカライザである音響トラッキング手段、又は任意の他の適切な位置決め装置などがある。

解剖学的モデルにアクセスすること（１１２）は、関心の解剖学的対象物の表現、関心の解剖学的対象物に重なる対象者の身体の表面の表現、及び解剖学的対象物と対象者の身体の表面との空間的関係の表現を含むモデルにアクセスすることを含む。任意選択で、モデルに対象者の身体の表面の１つ以上の視覚的ランドマークを含めてもよい。

解剖学的モデルにはさまざまなオプションがある。解剖学的モデルは、一般的な解剖学的モデルであっても、カスタマイズされた解剖学的モデルであってもよい。モデルがカスタマイズされている場合（すなわち、対象者の解剖学的構造に合わせて）、カスタマイズは事前に行われても、方法の一部として行われてもよい。方法の一部として行われる場合は、予備セットアップ段階の一部として行われても（例えば、超音波検査が開始する前に、第１の期間に及んで）、又は超音波データを受信したときにリアルタイムで行われてもよい。モデルのカスタマイズのオプションについては、後で詳述する。

プローブ位置を決定すること（１０８）は、時間の関数として対象者の身体の表面上の超音波プローブの位置を決定することを含む。決定されたプローブ位置はトラッキングデータに基づいている。このステップは、第１の期間中に、元の生の形式のトラッキングデータを、プローブの数値又は定量的な位置インジケータ（値又はベクトルなど）のセットに変換することを実質的に含む。例えば、検査期間全体の時間の関数として、プローブのベクトル座標位置のセットを得ることを含む。これらは特定の座標系（トラッキングシステムのネイティブ座標系及び／又はモデルによって具現化された座標系である）で表される。

使用するトラッキング技術によって、トラッキングデータに基づいてプローブの位置データを得る手法は異なる。位置はトラッキングシステムの座標系によって表され、これは、例えば、モデルの座標系に位置合わせされる。或いは、トラッキングシステムをモデル座標系に事前に位置合わせ又は事前に較正することで、トラッキングシステムの出力は、自動的にモデルの参照フレーム内のプローブの位置になる。詳細については、後に詳述する。

表面マップを生成すること（１１０）は、解剖学的対象物のモデル化された表面上に二次データ値又はサンプルを投影することを含む。この投影は、時間の関数としてのプローブ位置と、解剖学的モデルとに基づいている。

各二次データサンプルは、超音波プローブから収集したそれぞれの超音波データサンプルから決定される。対象者の身体の表面上の超音波プローブの時間の関数としての位置は、トラッキングデータから得られる。したがって、対象者の身体の表面上の各二次データ値の時間の関数としての位置を決定できる。前述したように、解剖学的モデルとの関連でプローブの時間の関数としての位置を決定できる。解剖学的モデルには、関心の解剖学的対象物の表面と対象者の身体の表面の両方が含まれるため、対象者の身体の表面上のプローブの位置は、関心の解剖学的対象物の表面上のプローブの位置に関連している。非限定的な実施例として、この関連は、マッピング関数を適用することで達成できる。例えば、対象者の身体の表面上の各位置と関心の解剖学的身体の表面上の位置との間に垂直線が描画される垂直マッピングを実行することで達成できる。したがって、各二次データ値は、対象者の身体の表面上の既知の位置から、関心の解剖学的身体の表面上の投影位置に投影できる。他の実施例では、例えば、身体表面から身体の中への超音波ビームの伝播方向を考慮する、身体表面の位置と解剖学的対象物の表面の位置とのより複雑なマッピング機能を使用することができる。

有利な実施例では、方法１００は、モデル化された解剖学的対象物の表面上への二次データの視覚的投影を含む表面マップの視覚表現を生成することをさらに含む。

一般に、表面マップは、任意の疾患の有無及び範囲を評価するために使用され、また、経時的な疾患の進行をモニタリングするためにも使用される。超音波画像の自動解析（すなわち、二次データを得ること）や生成された表面マップは、フォローアップや時間の経過に伴う対象者の変化の比較に使用できる。つまり、この方法は、対象者の特定の特性又は病理の標準化された空間表現を生成する手段を提供する。したがって、この方法は、疾患の空間的範囲の表現を作成し、時間の経過に伴う疾患の進行をモニタリングするという利点を提供する。

図２を参照して、上記の方法の入力データとして使用される並列超音波及びトラッキングデータの収集での使用に適したシステム２００の例が示されている。この図は、収集したデータの処理フローを含む、上記の方法のワークフローの例をさらに示す。このシステムは、本開示に概説した実施形態のいずれかに従って、又は本出願の任意の請求項に従ってコンピュータ実施方法を実行するように適応された処理装置２１６を含む。本発明の一態様は、単独で処理装置を提供する。別の態様は、トラッキング装置及び／又は超音波検知装置を含むシステムを提供する。

図２は、内部解剖学的対象物２１２の超音波イメージングを受けている対象者２０８の概略図を含む。内部解剖学的対象物は、例えば、肺であるか、又は心臓、肝臓、腎臓、結腸、若しくは他の軟組織臓器などの任意の他の臓器若しくは解剖学的身体である。

処理装置２１６は、入出力部２１８と、１つ以上のプロセッサ２２４とを含む。入出力部２１８は、システムのデータ収集ハードウェア（トラッキング装置や超音波イメージング装置など）と、処理装置の１つ以上のプロセッサとの間のインターフェースとして構成される。

図に示すシステム２００は、トラッキング装置２０２、２２０と、超音波検知装置２０６、２２２とを含む。トラッキング装置は空間視野（ＦＯＶ）２３８、すなわち、空間感度領域を有するトラッキングデバイス２０２を含む。トラッキングデバイスは１つ以上の検知素子を含む。トラッキングデバイスは関連のＦＯＶ２３８を表す空間データを収集する。いくつかの実施形態では、トラッキングデバイス２０２はカメラを含み、したがって、トラッキングデバイスの出力はカメラ画像データを含む。他の実施例では、トラッキングデバイス２０２は、ＬＩＤＡＲ検知システム、無線周波数検知、視覚周波数帯域外で動作する光学システム（赤外線（ＩＲ）カメラなど）、音響システム（ＳＯＮＡＲトランシーバなど）などの別の他の形式の空間検知装置、及び／又は任意の想到可能なリアルタイム位置特定／トラッキングシステム（ＲＴＬＳ／ＲＴＴＳ）を含んでいてもよい。いくつかの実施例では、トラッキングデバイスは、トラッキングされる超音波プローブ２０６に物理的に結合されたトランシーバとの通信に基づいて動作するように適応される。これは、例えば、電磁通信又は音響通信に基づいている。

図に示すシステム２００は、超音波検知インターフェース２２２に動作可能に結合された超音波プローブ２０６（又は超音波トランスデューサユニット）を含む超音波検知装置をさらに含む。超音波検知インターフェースは、１つ以上のプロセッサを含み、また、動作中に超音波プローブによって収集された生エコーデータ２１０を受信し、データの一部の後処理を実行するように適応される。或いは、インターフェースは、データを変更せずに直接処理装置の入出力部２１８に渡してもよい。

いくつかの実施例では、超音波検知インターフェース２２２は、収集した超音波データ２１０から超音波画像を得るために適応された１つ以上のプロセッサを含む。例えば、超音波データの収集でリアルタイムに超音波画像フレームを収集する。いくつかの実施例では、入出力部２１８に渡されるデータサンプルの各々は、超音波検知インターフェース２２２によって生成される超音波画像フレームを含む。最も典型的には、超音波装置は、超音波プローブ２０６と、データを処理するように適応された１つ以上のプロセッサを有するインターフェース２２２とを含むスタンドアロンの診断超音波イメージングシステム（例えば、トロリー搭載型）によって容易にされる。さらなる実施例では、超音波イメージングシステムは、タブレットコンピュータやスマートフォンなどのモバイルコンピューティングデバイスに動作可能に結合されたハンドヘルド超音波プローブによって実現される。

動作中、検査が行われる対象者２０８がトラッキングデバイス２０２の視野２３８内に位置決めされる。特に、超音波プローブ２０６が動く対象者の身体の表面２１４が、トラッキングデバイスの視野内にある必要がある。

次に、検査期間（第１の期間として前述）中に、内部解剖学的対象物２１２の超音波検査が実行される。検査期間中、対象者２０８の身体の表面２１４上の操作者による超音波プローブ２０６の移動がトラッキングデバイス２０２によってトラッキングされる。したがって、２つの時間的に同期したデータストリームが得られる。すなわち、１つはトラッキングデバイス２０２からの出力データ２０４であり、もう１つは超音波プローブ２０６からの超音波データ出力２１０である。各データストリームには、タイムスタンプを各々有する一連のデータサンプル又はデータサンプルのストリームが含まれる。トラッキング装置２０２、２２０、及び超音波検知装置２１０、２２２のクロック又はタイミングスキームが同期される。

システム２００は、トラッキングデバイス２０２からの直接出力を受信するように配置されたトラッキングインターフェース２２０を含む。例えば、トラッキングインターフェースは、トラッキングデバイス２０２からの生検知データを、視野２３８内、例えば、トラッキング装置の座標系内の超音波プローブ２０６のベクトル位置決めデータの形のトラッキングデータに変換する。

例として、トラッキングデバイス２０２がカメラ、又は少なくとも１つのカメラを含むモバイルデバイスを含む場合、トラッキングデバイス２０２は対象者２０８の表面に向けて配置される。カメラはハンドヘルド式であってもよいし、カメラは固定位置を必要としなくてもよい。カメラ２０２からの出力データ２０４は、カメラからの画像ストリームを含む。画像ストリームは、対象者に対する超音波プローブ２０６の位置を抽出するように構成された適切な方法を用いてトラッキングインターフェースによって解析される。カメラ画像データ内の対象物の位置決めをトラッキングするためのコンピュータビジョン方法が存在し、これについてはさらに詳しく説明する。

図２は、途中でトラッキングデバイス２０２からの出力データ２０４と超音波プローブ２０６からの超音波データ出力２１０とが、トラッキングインターフェース２２０及び超音波検知インターフェース２２２を経由して、処理装置の入出力部に渡されている様子を示しているが、これは必須ではない。さらなる実施例では、データは処理装置２１６に直接渡される。例えば、処理装置２１６は、方法の残りの部分での後続の使用のために、これらのシステムからの生データを取り扱う又は処理するためのローカル手段を含む。

いずれの場合も、１つ以上のプロセッサ２２４は、収集した超音波データ及び収集したトラッキングデータを入出力部２１８において受信するように適応される。

処理装置の１つ以上のプロセッサ２２４は、受信した超音波データに所定の処理操作を適用して、超音波データサンプルの各々から、受信した各超音波データサンプル内に検出可能な特徴及び／又はアーチファクトに関連する二次データを得る（２２８）。例えば、収集した超音波画像フレーム内に検出可能な画像アーチファクトに関連している。

所定の処理操作は、形状若しくはパターン検出アルゴリズム、セグメント化アルゴリズム、輪郭検出アルゴリズム、又は任意の他のタイプの画像解析技術など、１つ以上の画像解析アルゴリズムを含む。特定の実施例では、このアルゴリズムは、機械学習アルゴリズムである。

１つ以上のプロセッサ２２４は、受信したトラッキングデータを処理して、時間の関数として対象者の身体表面上のプローブ２０６の位置を決定する（２２６）ためにさらに適応されている。これは、例えば、時間の関数としてプローブのベクトル位置の形で表現される。この位置は、例えば、トラッキング装置にネイティブの座標系や、いくつかの実施例では、解剖学的モデルの座標系で表される。いくつかの実施例では、最初のステップでこれらの２つの座標系は互いに較正される。いくつかの実施例では、解剖学的モデル２３２はモデル座標系２４０を定義し、超音波プローブ２０６の位置はモデル座標系２４０に対して決定される。

１つ以上のプロセッサ２２４は、解剖学的モデル２３２にアクセスするためにさらに適応されている。解剖学的モデルは、例えば、処理装置２１６に含まれているローカルデータストア２３０に保存される。さらなる実施例では、解剖学的モデルは、処理装置が、例えば、有線又は無線であるネットワーク又はインターネット接続を介してモデルを取得するために通信するように適応されているリモートデータストアに保存されてもよい。取得した解剖学的モデルは、関心の解剖学的対象物２１２の表現、関心の解剖学的対象物に重なる対象者２０８の身体の表面２１４の表現、及び解剖学的対象物と対象者の身体の表面２１４との空間的関係の表現を含む。モデルには、好ましくは、対象者の身体の表面の複数の視覚的ランドマークが含まれている。以下でさらに説明するように、モデルは一般的なモデルであっても、対象者の解剖学的構造に合わせてカスタマイズされたモデルであってもよい。

１つ以上のプロセッサ２２４は、解剖学的対象物のモデル化された表面への二次データ値の投影を表す表面マップを生成する（２３４）ためにさらに適応されている。この投影は、時間の関数としてのプローブ位置と、解剖学的モデル２３２とに基づいている。

例として、表面マップの生成（２３４）は、超音波データ２１０の収集とプローブ位置の決定とでリアルタイムに実行される。１つ以上のプロセッサはさらに、モデル化された解剖学的対象物の表面上への二次データの視覚的投影を含む表面マップの視覚的表現をリアルタイムで生成する。リアルタイムで生成された表面マップは、操作者が検査の進行状況を観察できるように、ディスプレイデバイス２３６に表示される。

マップの生成は、所定のアルゴリズム又は処理操作を使用して達成される。これには、例えば、収集した二次データサンプルのセットの決定された身体表面の位置タグの、解剖学的対象物の表面の位置タグの対応するセットへのマッピングを可能にするマッピング関数が含まれる。これにより、解剖学的対象物のモデル化された表面全体にわたる二次データ値の効果的な２Ｄ空間マップが作成される。

上記の実施例では、表面マップの生成は、トラッキングデータ及び超音波検知データの収集とリアルタイムで行われるが、他の実施例では、検査期間中に収集されたトラッキングデータ及び超音波データのストリームは、処理装置による後の取得のために、ローカル又はリモートのデータストアに保存又はキャッシュされてもよいことに留意されたい。したがって、この方法は、トラッキングデータ及び超音波データの収集とリアルタイムで行われてもよいし、データストアから受信される前に収集したデータに基づいて「オフライン」で行うこともできる。

さらに、上記の実施例では、生成された表面マップはディスプレイデバイスに出力されるが、これは必須ではない。さらなる実施例では、生成された表面マップデータは、保存のためにローカル若しくはリモートのデータストア又はメモリに通信されてもよい。例えば、データベースに保存されてもよい。データベースは、ローカル又はリモートのデータストアに記録又は保存される。データストアへの保存は、表面マップをディスプレイに出力する代わりに又は表面マップをディスプレイに出力することに加えて行われる。例えば、スキャンを実行した操作者は経験が浅い場合は、操作者自身がディスプレイ上の表面マップを見る必要がない。これは、後に専門家によって解釈をオフラインで行うことができるからである。システムは、生成された表面マップを保存するために、ローカル又はリモートのデータストアとのデータ通信を可能にする通信インターフェースを含む。或いは、システムが、生成された表面マップを保存するためのデータストアを含んでもよい。

図３を参照して、トラッキング装置３０２と、超音波検知装置３０４と、前述の処理装置２１６とを含むシステム例２００のさらなる表現がブロック図形式で示されている。処理装置２１６の入出力部２１８は、使用時に、トラッキング装置３０２及び超音波検知装置３０４と通信可能に結合するように適応されている。

トラッキング装置３０２は、検査期間中に超音波プローブ２０６のトラッキングデータ２０４を収集するトラッキングデバイス２０２と、トラッキングインターフェース２２０とを含む。いくつかの実施形態では、トラッキングインターフェース２２０は、トラッキングデバイス２０２から検知データ（例えば、カメラ画像データ２０４）を受信するように配置され、また、例えば、時間の関数としてカメラ視野（ＦＯＶ）２３８の座標系内のプローブ２０６の座標位置を出力するように適応されているトラッキングプロセッサを含む。

超音波検知装置３０４は、検査期間中に超音波データを収集する超音波プローブ２０６と、超音波検知インターフェース２２２とを含む。

いくつかの実施例では、システム２００は、生成された表面マップ２３４の視覚表現を表示するディスプレイ２３６を含むユーザインターフェース２５０をさらに含む。その上又は或いは、トラッキング装置３０２によって収集されたトラッキングデータ、例えば、カメラ画像データを表示するように制御されてもよい。その上又は或いは、収集した超音波データストリーム（ライブ超音波画像など）を表示するように制御されてもよい。

任意選択で、ユーザインターフェース２５０は、ユーザ入力手段を含む。例えば、ユーザインターフェース２５０は、スタイラスやインターフェース２３６のユーザからの接触で使用するためのタッチセンシティブスクリーンを含むように構成されている。ユーザ入力手段は、ディスプレイ２３６の画面に表示される身体のカメラ画像に示されるユーザの身体の表面上の１つ以上の視覚的表面ランドマークの場所のユーザによる注釈付けを可能にするように適応されている。この入力は、以下でさらに説明するように、トラッキングシステムの座標系とモデルの座標系との位置合わせの一部として使用されるか、又はモデルを対象者の解剖学的構造に合わせてカスタマイズ若しくはフィッティングさせるために使用される。

前述したように、この方法では、身体表面上のプローブの位置を決定し、解剖学的モデルを使用して、この位置を表面下の解剖学的対象物に関連付けて、二次データ値の表面マップを生成する。カメラを使用してこれを達成するための１つの具体的なアプローチについて説明する。

この実施例では、トラッキングデバイス２０２はカメラである。カメラの出力は、超音波プローブ２０６を含む視野２３８を表すカメラ画像データである。このデータに基づいて、時間の関数としての身体表面上のプローブの位置が必要である。

カメラ画像データ内の対象物の位置決めをトラッキングする多種多様なコンピュータビジョン方法があり、当業者は適切な手段を認識するであろう。

例として、１つの方法はＳＬＡＭ（同時ローカリゼーション及びマッピング）である。ＳＬＡＭアルゴリズムは、最初に異なるカメラ位置から環境を解析することで、関連付けられた座標系と共に環境の３Ｄマップ及び／又はモデルを作成することができる。これは、マッピングされた環境に対するカメラ位置のトラッキングと、カメラの視野内でイメージングされた対象物の位置のトラッキングとの両方に使用されることができる。マッピングされた環境は、例えば、対象者の身体表面の３Ｄマップを含む。これは、対象者を複数の角度からカメラを使用してイメージングして、３ＤのＳＬＡＭマップを作成し、その後、カメラが固定位置に置かれるか、手で保持される（カメラがモバイルコンピューティングデバイスのカメラの場合など）事前の初期化又はセットアップルーチンを実行することで達成される。プローブの移動は、３Ｄマップの座標系内でリアルタイムにトラッキングされることができる。また、プローブに対するカメラ位置の移動もトラッキングできる。

場合によっては、ＳＬＡＭマップの初期較正又はセットアップは、異なる初期イメージング位置の各々における対象者に対するカメラの位置の指示を受信するステップをさらに含む。さらに、例えば、キャプチャした画像データのタッチスクリーン表現上の位置をユーザが指し示すことによって、対象者の身体表面上の１つ以上の視覚的表面ランドマークの位置の指示を受信することを含む。これは、３Ｄマップをイメージングされている空間に合わせて較正するのに役立つ。有利な実施例では、表面ランドマークは、解剖学的モデルで使用されるものと同じ表面ランドマークである。これについては、後述する。

ＳＬＡＭ方法の実装形態に関する詳細については、次の総説を参照されたい。Ｃ．Ｃａｄｅｎａ他、「Ｐａｓｔ，Ｐｒｅｓｅｎｔ，ａｎｄ Ｆｕｔｕｒｅ ｏｆ Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ：Ｔｏｗａｒｄｓ ｔｈｅ Ｒｏｂｕｓｔ－Ｐｅｒｃｅｐｔｉｏｎ Ａｇｅ」、ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｒｏｂｏｔｉｃｓ、第３２巻、第６号、２４ページ、２０１６年。

次のウェブページも参照されたい。こちらもＳＬＡＭ方法の実装形態について詳述している。ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｓｉｍｕｌｔａｎｅｏｕｓ＿ｌｏｃａｌｉｚａｔｉｏｎ＿ａｎｄ＿ｍａｐｐｉｎｇ。

上記は、カメラの視野内の対象物の位置決めをトラッキングするのに適したコンピュータビジョンアルゴリズムの一例に過ぎず、当業者はこの技術的特徴を実現するための他の方法を認識するであろう。

前述したように、トラッキングプロセッサが提供され、カメラ画像データを受信するように配置され、時間の関数としてカメラの視野（ＦＯＶ）の座標系内のプローブの位置座標を出力するように適応されている。

最終的に、解剖学的対象物のモデル化された表面上に二次データ値を投影するには、時間の関数としてのプローブの位置決めデータを、解剖学的モデルの座標系と空間的に位置合わせ又は較正する必要がある。したがって、結果として得られるプローブの位置座標は、対象者の身体の座標系、すなわち、解剖学的モデルの座標系内の座標に変換する必要がある。これは、カメラの座標系とモデルの座標系との間の事前較正ステップを使用して達成される。

事前較正を使用して伝達関数又は転置関数が生成され、これにより、トラッキングインターフェース２２０は、続いて、リアルタイムでカメラトラッキング座標系内のプローブの座標を解剖学的モデルの座標系に変換する。さらなるアプローチでは、これらの２つの座標系を較正段階において位置合わせ又はアライメントして、トラッキング座標系とモデル座標系が実質的に同じにされる。

いずれの場合も、いくつかの実施例では、位置合わせは、カメラ画像データ内に検出可能な所定の身体表面ランドマークを解剖学的モデル２３２内の対象者の身体表面ランドマークに位置合わせすることに基づいて行われる。これにより、カメラ画像トラッキングシステムのネイティブ座標系を解剖学的モデルの座標系と直接位置合わせするメカニズムが提供される。例えば、これは、ユーザが身体表面上の事前に定義されたさまざまなランドマーク位置にプローブを配置するように誘導される初期較正ステップを介して行われる。これらの既知の位置でのプローブのトラッキングシステムの座標が、これらの身体表面位置の解剖学的モデルの座標に対して位置合わせ、アライン、又は較正されることができる。

肺超音波検査の使用事例における表面の視覚的ランドマークには、乳首、腋窩部、胸骨上窩、及び／又は剣状突起が含まれるが、これらに限定されない。対象者の胸部の表面の視覚的ランドマークは、画像処理技術によって自動的に検出され、カメラ画像内に注釈が付けられる。ランドマークの自動検出に失敗した場合、システムは、操作者が静止画上の解剖学的ランドマークに手動で注釈を付けることを可能にする。注釈とカメラトラッキングシステムにおいて具現化された胸部の３Ｄマップとを組み合わせることで、ランドマークの３Ｄ位置が計算される。したがって、この方法は、カメラ画像データを処理して表面ランドマークを自動的に検出することを含むか、カメラ画像データの１つ以上の画像フレーム上の表面ランドマークのうちの１つ以上のユーザ指定位置を示すユーザ入力データを受信することを含む。

いくつかの特定の実施例では、方法１００はさらに、対象者２０８に対するトラッキングデバイス２０２の位置の指示を受信するステップを含む。これにより、プローブ位置を決定するために使用されるトラッキングデータの座標系と、対象者の解剖学的モデルの座標系との空間的関係を決定できる。

上述したように、１つ以上の有利な実施形態では、この方法は、肺イメージングに適用でき、得られた二次データは、肺スライディングアーチファクト、Ａラインアーチファクト、及びＢラインアーチファクトのうちの１つ以上の有無の表現を含む。

肺スライディングは、呼吸に伴う胸膜線のゆらぎによって認識される。これは、臓側胸膜と壁側胸膜との相互に対する動きに特徴的であり、したがって、臓側胸膜と壁側胸膜とが互いに接触し、肺が機能していることを示す徴候である。

Ａラインアーチファクトは、胸膜での超音波ビームの反射により発生する水平残響アーチファクトとして認識される。これは、健康な肺と気胸との両方における空気の有無を示す。

Ｂラインアーチファクトは、胸膜から出て画面の下部まで延びる明るい垂直線として現れる垂直残響アーチファクトとして認識される。Ｂラインは正常な肺に見られるが、Ｂラインの数の増加は間質液及び／又は肺水腫の徴候であり、肺炎を示している場合がある。ＣＯＶＩＤ－１９に特に関連する指標の１つは、超音波フレームのＢラインの総数である。Ｂラインの数を使用して、患者の状態と経時的な疾患の進行をモニタリングできる。

図４を参照して、対象者の肺のＢモード超音波画像フレームの例が示されている。図４のフレーム４０２に、肺の画像内のＡラインアーチファクトの例を示す。フレーム４０４に、肺の画像内のＢラインアーチファクトの例を示す。

ＡラインアーチファクトやＢラインアーチファクトなどの画像アーチファクトには３Ｄ情報が含まれないため、情報を失うことなく胸膜又は２Ｄ肺表面のモデルにマッピングできる。

図５に示すように、一実施形態に従って生成された表面マップ５００の視覚表現例のグレースケールバージョンを示している。この実施例では、関心の解剖学的対象物２１２が肺であり、表面マップによって表される二次データは、異なる位置でキャプチャした肺の超音波画像フレームに存在するＢラインの数である。

ここでは、得られた二次値は、解剖学的対象物のモデル化された表面上に投影されており、グレースケール値は、得られた二次値の大きさを示す。例えば、得られた二次データ値には、０～２５５のグレースケール値を割り当てることができる。ここで、０は黒を示し、２５５は白を示す。例えば、最大の二次データ値には、所望の最大又は最小のグレースケール値が割り当てられ、対応して、最小の二次データ値には、所望の最大又は最小のグレースケール値が割り当てられる。二次データが投影された領域は、図中、より暗い影の領域５１２として示されている。

さらなる実施例では、生成された表面マップは、カラー表面マップであり、異なる色が１つ以上の二次パラメータの異なる大きさを表す。或いは、異なる色が異なる二次パラメータを表し、色の強度又は透明度が二次データ値の大きさを表してもよい。

一般的に、表面マップの生成は、プローブ位置データを収集した二次データに時間的に位置合わせすることを含み、したがって、各二次データポイントにはプローブ位置が関連付けられている。位置決めデータ座標系又は参照フレームが（上記のように）解剖学的モデルの座標系に位置合わせされている場合、各二次データポイントには、解剖学的モデルの座標系内の座標プローブ位置が割り当てられることができる。この場合、表面マップの生成は、各二次データポイントの身体表面位置を対応する解剖学的対象物の表面位置にマッピングするマッピング又は投影操作を単に含む。これは、身体表面の下への下方の方向における解剖学的対象物の表面への各値の空間投影を含む。このようにして、各二次データポイントに、３Ｄモデル内の解剖学的対象物の表面上の座標位置が割り当てられることができる。

いくつかの実施例では、二次データが解剖学的対象物の表面上のすべてのポイントをカバーしていない場合に、補間を実行してもよい。しかしながら、これは必須ではない。

この方法は、二次データの１つ以上の表面マップを作成することを含む。

例として、肺のイメージングに適用した場合では、モデル化された肺の表面の複数の表面マップが生成される。各マップは、モデル化された肺表面上への１つ以上のタイプの超音波画像特徴又はアーチファクトの投影を含む。各表面マップは、Ａラインの有無に関する情報（バイナリ、論理、及び／又ははい／いいえ情報など）、フレーム内のＢラインの数、肺スライディングの有無（バイナリ、論理、及び／又ははい／いいえ情報など）、及び／又は二次データから得られる任意の他の情報のうちの１つ以上の表現又は投影を含む。

いくつかの実施例では、例えば、二次データタイプごとに視覚的に異なるインジケータやマーカー（例えば、カラーコーディング）を使用することによって、別々の表面マップの各々を１つの視覚表現で表示できる。或いは、複数のマップを並べて示してもよい。いくつかの実施形態では、表面マップは、データ収集とリアルタイムで作成されることができる。すなわち、検査中に段階的に作成される。いくつかの実施形態では、表面マップは、検査が完全に終了した後、前に記録されたデータに基づいてオフラインで作成される。

前述したように、実施形態は解剖学的モデル２３２を使用する。このモデルは、関心の解剖学的対象物の表現、関心の解剖学的対象物に重なる対象者の身体の表面の表現、及び解剖学的対象物と対象者の身体の表面との空間的関係の表現を含む。このモデルは、解剖学的対象物の少なくとも外側表面の形状及び構造の３Ｄ空間表現、並びに解剖学的対象物と身体表面との空間的関係を含んでもよい。

いくつかの実施例では、解剖学的モデルは、事前に生成された解剖学的対象物の一般的なモデルである。一般的とは、母集団ベースのモデル、すなわち、平均的な解剖学的構造に基づいており、検査対象の特定の対象者の解剖学的構造に合わせてカスタマイズされていないモデルを意味する。別の実施例では、解剖学的モデルはカスタマイズされた解剖学的モデルである。つまり、問題の対象者の解剖学的構造の特定の形状に合わせてカスタマイズされていることを意味する。

カスタマイズされた解剖学的モデル２３２は、例として、統計的形状モデルなどのソフトウェアを使用して作成でき、この場合、ソフトウェアモデルパラメータは、対象者の測定値に最適にフィッティングする解剖学的モデル２３２を作成するために適応される。例えば、パラメータは、対象者の身体表面上の自動的又は手動で検出された表面の視覚的ランドマークにフィッティングするように適応される。これらは、トラッキング装置の座標系を較正又は位置合わせする際に任意選択で使用されるものと同じ又は異なる表面の視覚的ランドマークであってもよい。

方法１００は、対象者の解剖学的モデル２３２をカスタマイズするステップを含む。このカスタマイズは、対象者の収集したカメラ画像データ、対象者の超音波データ、及び／又は対象者の測定データ若しくは個人的特徴データに基づいて、モデルの１つ以上の調整可能なフィッティングパラメータを対象者にフィッティングすることを含む。測定データには、身長、体重、胸囲、及び胴囲など、対象者の標準的な測定値が含まれる。個人的特徴データには、年齢、性別、民族性、関連する病歴などが含まれる。

このステップは、いくつかの実施例では、超音波データ及び／又はトラッキングデータの収集とリアルタイムで行われる。或いは、メインの方法が開始する前に予備セットアップ段階で行われてもよい。

トラッキングデータ２０４がカメラ画像データである場合、解剖学的モデルのフィッティングは、１つ以上のカメラ画像フレーム内のモデルに含まれる１つ以上の身体表面の視覚的ランドマークを特定し、ランドマークに基づいて初期モデルのパラメータを対象者の身体表面にフィッティングして、カスタマイズされた対象者モデルを得ることに基づいている。

解剖学的モデルのカスタマイズは、方法の予備セットアップ段階で実行される。このセットアップ段階は、例えば、超音波データを受信する前に実行される。このセットアップ段階は、解剖学的モデルの初期バージョンを取得すること（このモデルには複数の調整可能なフィッティングパラメータが含まれている）と、対象者の身体表面２１４の１つ以上のカメラ画像フレームを収集することと、１つ以上のカメラ画像フレーム内に１つ以上の表面ランドマークを特定することと、ランドマークに基づいて初期モデルのパラメータを対象者の身体表面２１４にフィッティングさせて、カスタマイズされた対象者モデルを得ることとを含む。この実施形態のセットでは、解剖学的モデルのカスタマイズは、方法の予備ステップとして行われる。モデルの初期バージョンは、例えば、解剖学的構造及び寸法の平均値を使用した一般的な母集団ベースモデルであってもよい。

その上又は或いは、モデルは、対象者の個人の医用画像データ、例えば、Ｘ線コンピュータ断層撮影（ＣＴ）スキャンデータなどのＣＴ医用画像データに基づいて、方法の開始前に対象者に合わせてカスタマイズすることもできる。身長、体重、年齢、性別などの対象者の非画像医用データに基づいてさらにカスタマイズできる。このようにして、方法１００が開始されると、アクセスされた解剖学的モデル２３２はすでに対象者の解剖学的構造に合わせてカスタマイズされている。

例として、ＣＴ画像データに基づいてカスタマイズされた解剖学的モデルを生成する方法について説明した次の論文を参照する。Ｔｈｏｍａｓ Ｂｌａｆｆｅｒｔ他、「Ｌｕｎｇ Ｌｏｂｅ ｍｏｄｅｌｉｎｇ ａｎｄ ｓｅｇｍｅｎｔａｔｉｏｎ ｗｉｔｈ ｉｎｄｉｖｉｄｕａｌｉｚｅｄ ｓｕｒｆａｃｅ ｍｅｓｈｅｓ」、Ｐｒｏｃ．ＳＰＩＥ６９１４、Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ２００８：Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、６９１４１Ｉ（２００８年３月１１日）。

いくつかの実施例では、モデルのカスタマイズは、超音波データ及び位置トラッキングデータの収集中にリアルタイムで、すなわち、オンザフライで行われる。カスタマイズは、超音波データ及びトラッキングデータの収集全体を通して繰り返し更新されてもよい。このようにして、モデルパラメータのフィッティングは、収集されているデータに基づいて、データ収集が進行するに連れて、繰り返し又は継続的に更新又は調整されることができる。有利な実施例では、モデルフィッティングは、解剖学的対象物の収集した超音波データに基づいて部分的に行われる。このようにして、モデルの身体表面部分だけでなく、モデルの内部解剖学的領域も対象者の解剖学的構造に合わせて最適にカスタマイズできる。

１つ以上の実施形態に従って、この方法は、超音波プローブを、超音波データを収集するために所定の位置の適切なセットに位置決めする際にユーザを誘導するためのユーザガイダンス情報を生成及び出力することを含む。例えば、この方法は、検査期間中に超音波スキャナの一連の標的位置を含む所定のスキャンプロトコルにアクセスすることと、対象者の身体表面２１４の画像表現に重ね合わせたスキャンプロトコルの標的プローブ位置を表す、ディスプレイデバイス２３６での表現用の表示出力を生成することとを含む。画像表現は、トラッキングデータ２０４がカメラ画像データである場合には、リアルタイムカメラ画像データによって提供されるか、又は、身体表面のグラフィック表現（身体表面のモデル表現など）である。

解剖学的モデル２３２には、解剖学的対象物をスキャンするための所定のスキャンプロトコル、すなわち、画像を撮るべき位置が含まれている。スキャンプロトコルは、対象者２０８のカスタマイズされた解剖学的モデル２３２及びカメラトラッキングシステムに位置合わせされ、これにより、超音波プローブを配置する場所を示す幾何学的情報をライブカメラストリームに重ねて表示できる。この方法及び／又はシステムのユーザが支援を必要としない場合、及び／又は経験がある場合は、このオーバーレイは省略できる。いくつかの実施例では、例えば、上記のガイダンス機能は選択的に作動又は作動解除される。

方法１００及び／又はシステムのユーザが支援を必要とする場合、及び／又は経験がない場合は、ユーザは、スキャンプロトコルを実行するための画面上の指示に従ってスキャンを開始できる。超音波プローブ２０６がカメラ画像内に可視であるため、指示及び／又はスキャンプロトコルを決定できる。超音波プローブ２０６の位置と形状がわかっているため、ソフトウェアは、対象者の身体表面に対する超音波プローブ２０６の３Ｄ位置及び向きを対象者の座標系でトラッキングできる。このソフトウェアは、超音波プローブ２０６を正しい位置でスキャンするようにユーザを誘導し、ユーザが所定のスキャンプロトコルから逸脱した場合には、ヒントを与えることができる。超音波画像ストリーム２１０及びプローブ位置のストリーム（対象者の座標系での）は同期的に記録される。したがって、各超音波フレームがキャプチャされた位置がわかる。これにより、経験の浅いユーザが、ポイントオブケアで超音波検査を行うことができる。リアルタイムで実行される場合、この表示出力は、標的プローブ位置で拡張された対象者の身体表面の拡張現実画像表現を実質的に提供する。

上記の本発明の実施形態は、処理装置を採用する。処理装置は、一般に、単一のプロセッサ又は複数のプロセッサを含む。処理装置は、単一の含有デバイス、構造体、又はユニット内に設置されても、複数の異なるデバイス、構造体、又はユニット間に分散されてもよい。したがって、特定のステップ又はタスクを実行するように適応又は構成されている処理装置への参照は、単独又は組み合わせのいずれかで、複数の処理コンポーネントのうちの任意の１つ又は複数によって実行されているそのステップ又はタスクに対応する。当業者は、そのような分散型処理装置をどのように実装できるかを理解するであろう。処理装置は、データを受信し、さらなるコンポーネントにデータを出力する通信モジュール又は入出力部を含む。いくつかの実施例では、処理装置は、トラッキング装置及び超音波イメージング装置のローカルにあっても、例えば、リモートコンピュータやサーバーによって実装されて、又はクラウドベースの処理システムによって実装されて、これらのシステムから物理的に離れていてもよい。

処理装置の１つ以上のプロセッサは、ソフトウェア及び／又はハードウェアを使用して、さまざまな手法で実装されて、必要なさまざまな機能を実行できる。典型的には、プロセッサは、ソフトウェア（マイクロコードなど）を使用してプログラムされて、必要な機能を実行する１つ以上のマイクロプロセッサを採用する。プロセッサは、いくつかの機能を行うための専用ハードウェアと、他の機能を行うための１つ以上のプログラムされたマイクロプロセッサ及び関連回路との組み合わせとして実装されてもよい。

本開示のさまざまな実施形態に採用できる回路の例としては、従来のマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、及びフィールドプログラマブルゲートアレイ（ＦＰＧＡ）が挙げられるが、これらに限定されない。

さまざまな実装形態では、プロセッサは、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、及びＥＥＰＲＯＭ（登録商標）などの揮発性及び不揮発性コンピュータメモリなどの１つ以上の記憶媒体と関連付けられ得る。記憶媒体は、１つ以上のプロセッサ及び／又はコントローラ上で実行されると、必要な機能を実行する１つ以上のプログラムで符号化され得る。さまざまな記憶媒体は、プロセッサ又はコントローラ内で固定されていても、そこに保存されている１つ以上のプログラムをプロセッサにロードできるように輸送可能であってもよい。

開示された実施形態の変形形態は、図面、開示、及び添付の特許請求の範囲の検討から、請求項に係る発明を実施する際に当業者によって理解され、実行され得る。特許請求の範囲において、語「含む」は、他の要素又はステップを排除するものではなく、単数形の要素は、複数を排除するものではない。

単一のプロセッサ又は他のユニットが、特許請求の範囲に記載されているいくつかのアイテムの機能を果たすこともできる。

特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせを有利に使用できないことを意味するものではない。

コンピュータプログラムは、他のハードウェアと共に又はその一部として供給される、光記憶媒体又は固体媒体などの任意の適切な媒体に保存／配布できるが、インターネット又は他の有線若しくはワイヤレス通信システムを介してなど、他の形式で配布することもできる。

「～に適応されている」という用語が、特許請求の範囲又は説明で使用されている場合、「～に適応されている」という用語は「～に構成されている」という用語と同等であることを意図していることに留意されたい。

特許請求の範囲の任意の参照符号は、範囲を限定するものと解釈されるべきではない。

Claims (15)

1. 対象者の内部解剖学的対象物の超音波検査に使用されるコンピュータ実施方法であって、
   第１の期間中に前記対象者の身体の表面上を移動した超音波プローブから収集した一連のデータサンプルを含む超音波データを受信するステップと、
   前記超音波データサンプルから、少なくとも前記超音波データサンプルのサブセット内に検出可能な特徴及び／又はアーチファクトに関連する二次データを得るために、所定の処理操作を適用するステップと、
   検査期間中の前記身体表面上の前記超音波プローブの移動を表すトラッキングデータを受信するステップと、
   解剖学的モデルにアクセスするステップであって、前記解剖学的モデルは、（ｉ）関心の解剖学的対象物、（ｉｉ）前記関心の解剖学的対象物に重なる前記身体の表面、及び（ｉｉｉ）前記解剖学的対象物と前記身体の前記表面との空間的関係の表現を含む、アクセスするステップと、
   前記トラッキングデータに基づいて、時間の関数として前記身体表面上のプローブ位置を決定するステップと、
   前記解剖学的対象物の表面上への前記二次データの投影を含む表面マップを生成するステップであって、前記投影は、時間の関数としての前記プローブ位置と、前記解剖学的モデルとに基づいている、生成するステップと、
   を含む、コンピュータ実施方法。
2. 前記トラッキングデータは、前記身体表面上の前記超音波プローブの移動を表すカメラ画像データである、請求項１に記載のコンピュータ実施方法。
3. モデル化された前記解剖学的対象物の前記表面上への前記二次データの視覚的投影を含む前記表面マップの視覚表現を生成するステップをさらに含む、請求項１又は２に記載のコンピュータ実施方法。
4. 前記超音波データサンプルは、超音波画像フレームであり、前記二次データは、各超音波画像フレーム内の所定のタイプの画像特徴及び／又は画像アーチファクトの有無に関連している、請求項１から３のいずれか一項に記載のコンピュータ実施方法。
5. 前記超音波データは、前記超音波プローブによるデータ収集でリアルタイムに受信され、前記トラッキングデータを受信するステップ及び前記プローブ位置を決定するステップは、前記超音波データの受信でリアルタイムに行われる、請求項１から４のいずれか一項に記載のコンピュータ実施方法。
6. 前記表面マップを生成するステップは、前記超音波データの収集及び前記プローブ位置の決定でリアルタイムに行われ、
   任意選択で、前記コンピュータ実施方法は、モデル化された前記解剖学的対象物の表面上への前記二次データの視覚的投影を含む前記表面マップの視覚表現をリアルタイムで生成するステップをさらに含む、請求項５に記載のコンピュータ実施方法。
7. 前記検査期間中に超音波スキャナの一連の標的位置を含む所定のスキャンプロトコルにアクセスするステップと、前記対象者の身体表面の画像表現に重ね合わせた前記所定のスキャンプロトコルの前記標的プローブ位置を表す、ディスプレイデバイスでの表現用の表示出力を生成するステップとを、さらに含む、請求項１から６のいずれか一項に記載のコンピュータ実施方法。
8. 前記対象者のアクセスした前記解剖学的モデルをカスタマイズするステップを含み、前記カスタマイズするステップは、前記対象者の収集したカメラ画像データ、前記対象者の超音波データ、及び／又は前記対象者の測定データに基づいて、アクセスした前記解剖学的モデルの１つ以上の調整可能なフィッティングパラメータを前記対象者にフィッティングするステップを含む、請求項１から７のいずれか一項に記載のコンピュータ実施方法。
9. 前記解剖学的モデルは、前記対象者に合わせてカスタマイズされた解剖学的モデルであり、前記コンピュータ実施方法は、カスタマイズされた前記解剖学的モデルを構成するための予備セットアップ段階をさらに含み、前記予備セットアップ段階は、前記超音波データを受信する前に行われ、かつ
   前記解剖学的モデルの初期バージョンを取得するステップであって、前記解剖学的モデルには、複数の調整可能なフィッティングパラメータが含まれ、前記解剖学的モデルは、１つ以上の身体表面の視覚的ランドマークを含む、取得するステップと、
   前記対象者の身体表面の１つ以上のカメラ画像フレームを収集するステップと、
   前記１つ以上のカメラ画像フレーム内の前記１つ以上の身体表面の視覚的ランドマークを特定するステップと、
   カスタマイズされた前記対象者モデルを得るために、前記視覚的ランドマークに基づいて、前記初期モデルの前記複数の調整可能なフィッティングパラメータを前記対象者の身体表面にフィッティングするステップと、
   を含む、請求項２から８のいずれか一項に記載のコンピュータ実施方法。
10. 前記１つ以上の身体表面の視覚的ランドマークを自動的に検出するために、前記カメラ画像データを処理するステップ、及び／又は、
    前記カメラ画像データの１つ以上の画像フレーム上の前記１つ以上の身体表面の視覚的ランドマークのうちの１つ以上のユーザ指定位置を示すユーザ入力データを受信するステップを含む、請求項９に記載のコンピュータ実施方法。
11. 前記関心の解剖学的対象物は肺であり、前記二次データは、肺スライディングアーチファクト、Ａラインアーチファクト、及びＢラインアーチファクトのうちの１つ以上の有無の表現を含む、請求項１から１０のいずれか一項に記載のコンピュータ実施方法。
12. コード手段を含むコンピュータプログラムであって、前記コード手段は、プロセッサ上で実行されると、前記プロセッサに、請求項１から１１のいずれか一項に記載のコンピュータ実施方法を行わせる、コンピュータプログラム。
13. 入出力部と、
    １つ以上のプロセッサとを含む、処理装置であって、前記１つ以上のプロセッサは、
    検査期間中に対象者の身体の表面上を移動した超音波プローブから収集した一連のデータサンプルを含む超音波データを、前記入出力部で受信することと、
    前記超音波データサンプルから、少なくとも前記超音波データサンプルのサブセット内に検出可能な特徴及び／又はアーチファクトに関連する二次データを得るために、所定の処理操作を適用することと、
    前記検査期間中の前記身体表面上の前記超音波プローブの前記移動を表すトラッキングデータを、前記入出力部で受信することと、
    解剖学的モデルにアクセスすることであって、前記解剖学的モデルは、（ｉ）関心の解剖学的対象物、（ｉｉ）前記関心の解剖学的対象物に重なる前記身体の表面、及び（ｉｉｉ）前記解剖学的対象物と前記身体の前記表面との空間的関係の表現を含む、アクセスすることと、
    前記トラッキングデータに基づいて、時間の関数として前記対象者の身体表面上のプローブ位置を決定することと、
    前記解剖学的対象物の表面上への前記二次データ値の投影を表す表面マップを生成することであって、前記投影は、時間の関数としての前記プローブ位置と、前記解剖学的モデルとに基づいている、生成することとを実行する、処理装置。
14. 超音波データを収集する超音波プローブを含む超音波検知装置と、
    検査期間中に前記超音波プローブのトラッキングデータを収集するトラッキング装置と、
    請求項１３に記載の処理装置とを含む、システムであって、
    前記処理装置の入出力部は、前記トラッキングデータを受信するために前記トラッキング装置と、前記超音波データを受信するために前記超音波検知装置とに通信可能に結合されている、システム。
15. 生成された表面マップの視覚表現を表示するユーザインターフェースをさらに含み、任意選択で、前記ユーザインターフェースはさらに、カメラ画像データからの１つ以上の画像フレームの各々における１つ以上の表面の視覚的ランドマークの位置のユーザによる注釈付けを可能にする、請求項１４に記載のシステム。

Images