JP2022524360A - 合成３ｄ超音波画像を取得するための方法及びシステム - Google Patents

Abstract

本発明は、関心領域の合成３Ｄ超音波画像を取得する方法を提供する。この方法は、対象者の関心領域から予備超音波データを取得し、その予備超音波データに基づいて関心領域内の解剖学的特徴を識別することを有する。その後、その解剖学的特徴に基づいて、第１のイメージング位置と１つ又は複数の追加イメージング位置とが決定される。第１のイメージング位置から第１の３Ｄ超音波画像が取得され、１つ又は複数の追加イメージング位置から１つ又は複数の追加３Ｄ超音波画像が取得され、第１の３Ｄ超音波画像の一部は１つ又は複数の追加３Ｄ超音波画像の一部と重複することによって解剖学的特徴を含む重複部分を形成する。解剖学的特徴に基づいて、第１の３Ｄ超音波画像と１つ又は複数の追加３Ｄ超音波画像との間で空間的位置合わせが実行され、その後、その空間的位置合わせに基づいて３Ｄ超音波画像が融合され、それによって合成３Ｄ超音波画像を生成する。

Description

本発明は、超音波イメージングの分野に関し、特に合成超音波イメージングの分野に関する。

通常の超音波検査は、物理的制約及び工学的制約に起因して小さい視野によって限定される。この限定を克服するために、合成超音波イメージングが開発され、それによって一連の超音波画像がスティッチングされて、より大きな視野を有する合成超音波画像を形成する。

例えば、３Ｄ超音波イメージングにおいて、一連の３Ｄ超音波画像をスティッチングすることは、大きな器官（又は胎児全体）又は近接する解剖領域のコンテキストにおける器官を視覚化するために使用される。これは、Ｄｙｅｒ等、「Ａ ｃｌｉｎｉｃａｌ ｓｙｓｔｅｍ ｆｏｒ ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ ｅｘｔｅｎｄｅｄ－ｆｉｅｌｄ－ｏｆ－ｖｉｅｗ ｕｌｔｒａｓｏｕｎｄ」、Ｂｒ Ｊ Ｒａｄｉｏｌ．、８５（１０１８）、２０１２年、９１９－９２４頁に記載されるように、例えば、妊娠第二期及び第三期での１回のボリューム取得ではキャプチャが不可能な妊娠子宮（胎児、胎座及び羊水を有する子宮）などの大きな解剖構造を視覚化するなどのいくつかの潜在的な臨床的利点をもたらす。

Ｒａｊｐｏｏｔ等、「Ｍｕｌｔｉ－ｖｉｅｗ ｆｕｓｉｏｎ ３－Ｄ ｅｃｈｏｃａｒｄｉｏｇｒａｐｈｙ： ｉｍｐｒｏｖｉｎｇ ｔｈｅ ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ ｑｕａｌｉｔｙ ｏｆ ｒｅａｌ－ｔｉｍｅ ３－Ｄ ｅｃｈｏｃａｒｄｉｏｇｒａｐｈｙ」、Ｕｌｔｒａｓｏｕｎｄ Ｍｅｄ Ｂｉｏ、３７、２０１１年、１０５６－７２頁などのいくつかの研究報告は、画像データのみを使用してボリュームをつなぎ合わせるための多くの洗練されたアルゴリズムについて論じている。

しかしながら、既存の技術は、結果として、関心領域の不正確なビューを生成する場合が多い。さらに、関心対象物の動き又は不正確なプローブの配置は、最終的な合成画像の画質を下げ得る。

したがって、正確で強固な合成超音波画像を取得する手段が必要とされる。

文献ＥＰ第２，８０７，９７８は、３Ｄ超音波イメージングを使用して合成３Ｄモデルを取得する方法を開示する。

本発明は、特許請求の範囲によって定義される。

本発明の一態様による例によれば、関心領域の合成３Ｄ超音波画像を取得するための方法であって、前記方法は、
対象者の関心領域から予備超音波データを取得するステップと、
前記予備超音波データに基づいて前記関心領域内の解剖学的特徴を識別するステップと、
前記解剖学的特徴に基づいて、第１のイメージング位置と１つ又は複数の追加イメージング位置とを決定するステップと、
前記第１のイメージング位置から第１の３Ｄ超音波画像を取得し、前記１つ又は複数の追加イメージング位置から１つ又は複数の追加３Ｄ超音波画像を取得するステップであって、前記第１の３Ｄ超音波画像の一部は前記１つ又は複数の追加３Ｄ超音波画像の一部と重複することによって重複部分を形成し、前記重複部分は前記解剖学的特徴を含むステップと、
前記解剖学的特徴に基づいて、前記第１の３Ｄ超音波画像と前記１つ又は複数の追加３Ｄ超音波画像との間の空間的位置合わせを実行するステップと、
前記空間的位置合わせに基づいて前記第１の３Ｄ超音波画像と前記１つ又は複数の追加３Ｄ超音波画像とを融合し、それによって合成３Ｄ超音波画像を生成するステップと、
を有する方法が提供される。

本方法は、合成３Ｄ超音波画像を取得する手段を提供する。

超音波イメージングは、通常、限られた視野によって限定される。複数の超音波画像、例えば３Ｄ超音波画像をともにスティッチングすることによって、視野を拡大することが可能である。ただし、複数の３Ｄ超音波画像をスティッチングする従来の方法は画像アーチファクトの影響を非常に受けやすい。

解剖学的特徴に基づいて３Ｄ超音波画像を融合することによって、最終的な合成画像中の画像アーチファクトの数を減らすことが可能であり、それによって合成３Ｄ超音波画像の正確性が改善する。

関心解剖学的特徴を含むように３Ｄ超音波画像の取得を案内するために、予備超音波データが取得される。

実施形態において、前記方法は、さらに、前記合成３Ｄ超音波画像に基づいて前記解剖学的特徴の動きを決定するステップを有する。

このように、合成３Ｄ超音波画像を生成する際に、動きが考慮される。

さらなる実施形態において、前記解剖学的特徴の動きを決定するステップは、
非剛体変換行列を前記合成３Ｄ超音波画像に適用するステップと、
変換された前記合成３Ｄ超音波画像に基づいてアーチファクトを識別するステップと、
を有する。

このようにして、変換行列によって生成された動きアーチファクトに基づいて、動きが検出される。

さらなる実施形態において、前記解剖学的特徴の動きを決定するステップは、前記アーチファクトを追跡するステップを有する。

このようにして、時間の経過に伴う解剖学的特徴の動きは監視される。

一構成において、前記空間的位置合わせを実行するステップは、前記第１の３Ｄ超音波画像及び前記１つ又は複数の追加３Ｄ超音波画像内に３Ｄ点群を生成するステップを有し、前記３Ｄ点群は前記第１の３Ｄ超音波画像内のサーフェス及び前記１つ又は複数の追加３Ｄ超音波画像内のサーフェスを表す。

このようにして、３Ｄ超音波画像内の様々なサーフェスが仮想空間にわたって分散された一連の点によって表される。このようにして、３Ｄ画像内の解剖学的特徴は、それらの点の分散に基づいて認識される。

一実施形態において、前記空間的位置合わせを実行するステップは、機械学習アルゴリズムを使用するステップを有する。

このようにして、例えば３Ｄ超音波画像内の解剖学的特徴を認識することによって、機械学習技術を使用して空間的位置合わせが実行される。

一実施形態において、前記機械学習アルゴリズムは、前記３Ｄ点群に基づいた２層構造のスティッチングを実行するように適応される。

一構成において、前記空間的位置合わせを実行するステップは、さらに、前記３Ｄ点群に基づいて確率マップを生成するステップを有し、前記確率マップは、前記第１の３Ｄ超音波画像及び前記１つ又は複数の追加３Ｄ超音波画像内の所与の点を占有する解剖学的特徴の信頼値を表す。

このようにして、３Ｄ点群に基づいて解剖学的特徴が所与の点に配置されている可能性を表す確率マップによって、３Ｄ超音波画像内の解剖学的特徴の位置が表される。

さらなる実施形態において、前記空間的位置合わせを実行するステップは、前記信頼値が所定の値よりも大きい場合、前記第１の３Ｄ超音波画像及び前記１つ又は複数の追加３Ｄ超音波画像内の前記解剖学的特徴の位置を識別するステップを有する。

信頼性閾値は、所与の適用の所望の正確性に応じて異なる。

一構成において、前記第１の３Ｄ超音波画像及び前記１つ又は複数の追加３Ｄ超音波画像を融合するステップは、前記確率マップに基づいて前記重複部分の３Ｄ信頼性マップを生成するステップを有する。

このようにして、３Ｄ超音波画像の重複部分内に解剖学的特徴を発見する可能性は、融合アルゴリズムへの入力として使用される。

一実施形態において、前記第１の３Ｄ超音波画像及び前記１つ又は複数の追加３Ｄ超音波画像を融合するステップは、前記第１の３Ｄ超音波画像及び前記１つ又は複数の追加３Ｄ超音波画像にポアソン融合を適用するステップを有する。

本発明の一態様による例によれば、コンピュータプログラムであって、前記コンピュータプログラムは、前記コンピュータプログラムがコンピュータ上で実行された場合、上述した方法を実施するコンピュータプログラムコード手段を有するコンピュータプログラムが提供される。

本発明の一態様による例によれば、処理ユニットが提供され、前記処理ユニットは、
対象者の関心領域から予備超音波データを取得し、
前記予備超音波データに基づいて前記関心領域内の解剖学的特徴を識別し、
前記解剖学的特徴に基づいて、第１のイメージング位置と１つ又は複数の追加イメージング位置とを決定し、
前記第１のイメージング位置から第１の３Ｄ超音波画像を取得し、前記１つ又は複数の追加イメージング位置から１つ又は複数の追加３Ｄ超音波画像を取得し、前記第１の３Ｄ超音波画像の一部は前記１つ又は複数の追加３Ｄ超音波画像の一部と重複することによって重複部分を形成し、前記重複部分は前記解剖学的特徴を含み、
前記解剖学的特徴に基づいて、前記第１の３Ｄ超音波画像と前記１つ又は複数の追加３Ｄ超音波画像との間の空間的位置合わせを実行し、
前記空間的位置合わせに基づいて前記第１の３Ｄ超音波画像と前記１つ又は複数の追加３Ｄ超音波画像とを融合し、それによって合成３Ｄ超音波画像を生成する、
ように適応される。

本発明の一態様による例によれば、超音波システムが提供され、前記超音波システムは、
上述したような処理ユニットと、
４Ｄ超音波データを取得するように適応された超音波プローブと、
を備える。

一実施形態において、前記超音波プローブは、
動きセンサと、
電磁トラッカと、
リープトラッカと、
のうちの１つ又は複数を備える。

これらのトラッカは、プローブ又は対象者の外的な動きによって引き起こされる動きアーチファクトを減らす又は除去するのを助け、それによってイメージング領域内に対して動きを分離する。

本発明の上記の態様及び他の態様は、以下で説明する実施形態から明らかとなり、これらを参照することによって明確になるであろう。

本発明のより良い理解のため、さらにどのように本発明が実行されるかをより明確に示すために、例示のみを目的として以下で添付図面を参照する。

一般的な動作を説明するために超音波診断イメージングシステムを示す図である。 本発明の方法を示す図である。 図２の方法による３Ｄ点群に基づいたボリュームスティッチングの概略図である。 剛体スティッチング方法及び非剛体スティッチング方法を使用して生成された合成画像間の比較を示す図である。

本発明は図を参照して説明される。

装置、システム及び方法の例示の実施形態を示す際の詳細な記載及び特定の例は、例示目的のみを意図するものであり、本発明の範囲を限定することを意図しないことを理解されたい。本発明の装置、システム及び方法の上記及び他の特徴、態様及び利点は、以下の記載、添付の特許請求の範囲及び添付図面からより良く理解されるようになる。図面は概略的に過ぎず、正確な縮尺ではないことを理解されたい。また、同一又は類似部分を示すために図面全体において同一の参照番号が使用されることを理解されたい。

本発明は、関心領域の合成３Ｄ超音波画像を取得する方法を提供する。この方法は、対象者の関心領域から予備超音波データを取得し、その予備超音波データに基づいて関心領域内の解剖学的特徴を識別することを有する。その後、その解剖学的特徴に基づいて、第１のイメージング位置と１つ又は複数の追加イメージング位置とが決定される。第１のイメージング位置から第１の３Ｄ超音波画像が取得され、１つ又は複数の追加イメージング位置から１つ又は複数の追加３Ｄ超音波画像が取得され、第１の３Ｄ超音波画像の一部は１つ又は複数の追加３Ｄ超音波画像の一部と重複することによって解剖学的特徴を含む重複部分を形成する。解剖学的特徴に基づいて、第１の３Ｄ超音波画像と１つ又は複数の追加３Ｄ超音波画像との間の空間的位置合わせが実行され、その後、その空間的位置合わせに基づいて３Ｄ超音波画像が融合され、それによって合成３Ｄ超音波画像を生成する。

本発明はトランスデューサアレイによって測定される信号の処理に関係するため、図１を参照し、システムの信号処理機能に着目して、例示の超音波システムの一般的な動作を最初に説明する。

このシステムは、超音波を送信してエコー情報を受信するためのトランスデューサアレイ６を有するアレイトランスデューサプローブ３４を有する。トランスデューサアレイ６は、ＣＭＵＴトランスデューサ、ＰＺＴ又はＰＶＤＦなどの材料で形成される圧電トランスデューサ、又はあらゆる他の適切なトランスデューサ技術を有する。本例において、トランスデューサアレイ６は、関心領域の２Ｄ平面又は三次元ボリュームのいずれかを走査できるトランスデューサ８の二次元アレイである。別の例において、トランスデューサアレイは、１Ｄアレイである。

トランスデューサアレイ６は、トランスデューサ素子による信号の受信を制御するマイクロビームフォーマ１２に結合される。マイクロビームフォーマは、米国特許第５，９９７，４７９号（Ｓａｖｏｒｄ等）、第６，０１３，０３２号（Ｓａｖｏｒｄ）、及び第６，６２３，４３２号（Ｐｏｗｅｒｓ等）に記載されるようなトランスデューサの一般的には「グループ」又は「パッチ」と呼ばれるサブアレイによって受信される信号の少なくとも部分的なビームフォーミングを行うことが可能である。

なお、このマイクロビームフォーマは全体的に任意である。さらに、システムは、マイクロビームフォーマ１２が結合可能でありアレイを送信モードと受信モードとで切り換える送受信（Ｔ／Ｒ）スイッチ１６を有し、マイクロビームフォーマが使用されておらずトランスデューサアレイが主システムビームフォーマによって直接動作される場合に主ビームフォーマ２０を高エネルギー送信信号から保護する。トランスデューサアレイ６からの超音波ビームの送信は、Ｔ／Ｒスイッチ１６によってマイクロビームフォーマと、ユーザインタフェース又は制御パネル３８のユーザ動作からの入力を受信できる主送信ビームフォーマ（不図示）とに結合されたトランスデューサコントローラ１８によって指示される。コントローラ１８は、送信モード時にアレイ６のトランスデューサ素子を（直接又はマイクロビームフォーマを介してのいずれかによって）駆動するように構成された送信回路を有し得る。

通常のライン毎のイメージングシーケンスにおいて、プローブ内のビームフォーミングシステムは以下のように動作する。送信時、ビームフォーマ（実施形態に応じてマイクロビームフォーマ又は主システムビームフォーマである）は、トランスデューサアレイ又はトランスデューサアレイのサブアパーチャをアクティブ化する。このサブアパーチャは、より大きなアレイ内のトランスデューサの一次元ライン又はトランスデューサの二次元パッチである。送信モードにおいて、アレイ又はアレイのサブアパーチャによって生成された超音波ビームの集束及びステアリングは以下のように制御される。

対象者からの後方散乱エコー信号を受信すると、受信信号を整列するために受信信号は受信ビームフォーミングが行われ（後述）、サブアパーチャが使用されている場合、サブアパーチャは、その後、例えば１つのトランスデューサ素子によってシフトされる。その後、シフトされたサブアパーチャはアクティブ化され、この処理は、トランスデューサアレイのトランスデューサ素子のすべてがアクティブ化されるまで反復される。

ライン（又はサブアパーチャ）毎に、最終的な超音波画像の関連ラインを形成するために使用される全受信信号は、受信期間における所与のサブアパーチャのトランスデューサ素子によって測定された電圧信号の合計となる。以下のビームフォーミング処理後の結果的なライン信号は、通常、無線周波数（ＲＦ）データと呼ばれる。その後、様々なサブアパーチャによって生成された各ライン信号（ＲＦデータセット）は、最終的な超音波画像のラインを生成する追加処理が実行される。時間の経過に伴うライン信号の振幅の変化は、深さに応じた超音波画像の輝度の変化に寄与し、高振幅ピークは、最終的な画像における明ピクセル（又はピクセルの集合）に対応する。ライン信号の始まり付近に現れるピークは浅い構造からのエコーを表す一方、ライン信号のそれ以降順次現れるピークは対象者体内において増加する深さにおける構造からのエコーを表す。

トランスデューサコントローラ１８によって制御される関数の１つは、ビームがステアリング及び集束される方向である。ビームは、トランスデューサアレイから（直交して）まっすぐ前方にステアリングされ、又はより広い視野のために様々な角度においてステアリングされる。送信ビームのステアリング及び集束は、トランスデューサ素子作動時間に応じて制御される。

一般的な超音波データ取得において、平面波イメージング及び「ビームステアード」イメージングという２つの方法がよく知られている。この２つの方法は、送信モード（「ビームステアード」イメージング）及び／又は受信モード（平面波イメージング及び「ビームステアード」イメージング）におけるビームフォーミングの存在によって特徴づけられる。

まず集束機能について説明すると、同時にトランスデューサ素子のすべてをアクティブ化することによって、トランスデューサアレイは、対象者の体内を進むにつれて発散する平面波を生成する。この場合、超音波のビームは、非集束のままである。トランスデューサのアクティブ化に対して位置に依存した時間遅延を組み込むことによって、ビームの波面を、集束帯と呼ばれる所望の点に収束させることが可能である。この集束帯は、横方向のビーム幅が送信ビーム幅の半分未満である点として定義される。このようにして、最終的な超音波画像の横方向の解像度が改善される。

例えば、時間遅延によりトランスデューサ素子が連続してアクティブ化された場合、最も外側の素子から始まりトランスデューサアレイの中央の素子で終了すると、中央の素子に沿ったプローブから所与の距離に集束帯が形成される。プローブからの集束帯の距離は、トランスデューサ素子のアクティブ化の各後続ラウンド間における時間遅延に応じて異なる。ビームが集束帯を通過後、発散し始めて、遠視野イメージング領域を形成する。なお、トランスデューサアレイに近接して配置された集束帯の場合、超音波ビームは遠視野で急速に発散し、最終的な画像にビーム幅アーチファクトが生じる。通常、トランスデューサアレイと集束帯との間に位置する近視野は、超音波ビームにおける大きな重なりのため、詳細はあまり示さない。したがって、集束帯の位置を変更することによって、最終的な画像の品質を顕著に変化させる。

なお、送信モードでは、超音波画像が複数の集束帯（それぞれは異なる送信焦点を有する）に分割されない限り、１つの焦点のみが定義される。

さらに、対象者体内からエコー信号を受信すると、受信集束を実行するために上述した処理の逆の処理を実行することが可能である。換言すれば、入力信号はトランスデューサ素子によって受信され、信号処理のためにシステムに渡される前に電子時間遅延を受ける。この最も単純な例は、遅延加算ビームフォーミングと呼ばれる。時間に応じてトランスデューサアレイの受信集束を動的に調整することが可能である。

ここでビームステアリングの機能を説明すると、トランスデューサ素子に対する時間遅延の正しい適用によって、超音波ビームがトランスデューサアレイを離れるときに超音波ビームに所望の角度を与えることが可能である。例えば、アレイの反対側で終わるシーケンスにおける残りのトランスデューサによって後続されるトランスデューサアレイの第１の側でトランスデューサをアクティブ化することによって、ビームの波面は第２の側に向かって角度が付けられる。トランスデューサアレイの法線に対するステアリング角度のサイズは、後続のトランスデューサ素子のアクティブ化間の時間遅延のサイズに依存する。

さらに、ステアリングされたビームを集束させることが可能であり、各トランスデューサ素子に適用される合計時間遅延は、集束及びステアリング時間遅延の両方の合計である。この場合、トランスデューサアレイは、フェーズドアレイと呼ばれる。

アクティブ化のためにＤＣバイアス電圧を必要とするＣＭＵＴトランスデューサの場合、トランスデューサコントローラ１８は、トランスデューサアレイのためのＤＣバイアス制御４５を制御するために結合される。ＤＣバイアス制御４５は、ＣＭＵＴトランスデューサ素子に対して印加されるＤＣバイアス電圧を設定する。

トランスデューサアレイの各トランスデューサ素子について、通常、チャンネルデータと呼ばれるアナログ超音波信号は受信チャンネルを通ってシステムに入る。受信チャンネルでは、部分的にビームフォーミングされた信号がマイクロビームフォーマ１２によってチャンネルデータから生成され、その後、主受信ビームフォーマ２０に渡され、トランスデューサの個々のパッチからの部分的にビームフォーミングされた信号が結合されて、無線周波数（ＲＦ）データと呼ばれる完全にビームフォーミングされた信号となる。各段階で実行されるビームフォーミングは、上述したように実行され、又は追加の機能を含む。例えば、主ビームフォーマ２０は１２８個のチャンネルを有し、そのそれぞれは数十又は数百のトランスデューサ素子のパッチから部分的にビームフォーミングされた信号を受信する。このようにして、トランスデューサアレイのうちの数千のトランスデューサによって受信された信号は、単一のビームフォーミングされた信号に効率的に寄与する。

ビームフォーミングされた受信信号は、信号プロセッサ２２に結合される。信号プロセッサ２２は、バンドパスフィルタリング、デシメーション、Ｉ及びＱ成分分離、組織とマイクロバブルから返された非線形（基本周波数の高調波）エコー信号の識別を可能とするために線形信号と非線形信号を分離するように作用する高調波信号分離などの様々な手法で受信エコー信号を処理できる。信号プロセッサは、さらに、スペックル低減、信号合成、及びノイズ除去などの追加の信号強調を実行する。信号プロセッサにおけるバンドパスフィルタはトラッキングフィルタとすることができ、エコー信号が増加する深さから受信されたときに通過帯域が高周波数帯域から低周波数帯域へスライドし、それによって、通常、解剖学的情報が不足している、より大きな深さからの高い周波数におけるノイズを除去する。

送信用及び受信用のビームフォーマは、異なるハードウェアで実施され、異なる機能を有してもよい。当然ながら、受信機ビームフォーマは、送信ビームフォーマの特性を考慮するように設計される。簡単にするため、図１では、受信機ビームフォーマ１２、２０のみが示される。完全なシステムにおいては、送信マイクロビームフォーマ及び主送信ビームフォーマを備えた送信チェーンも存在する。

マイクロビームフォーマ１２の機能は、アナログ信号経路の数を減らすために信号の最初の組み合わせを提供することである。これは、通常、アナログ領域で実行される。

最終的なビームフォーミングは主ビームフォーマ２０において行われ、通常、デジタル化の後である。

送信チャンネル及び受信チャンネルは、固定周波数帯域を有する同一のトランスデューサアレイ６を使用する。ただし、送信パルスが占有する帯域幅は、使用される送信ビームフォーミングに応じて異なり得る。受信チャンネルは、トランスデューサ帯域幅全体をキャプチャでき（従来のアプローチ）、又は、バンドパス処理を使用することによって、所望の情報（例えば主高調波の高調波など）を含む帯域幅のみを抽出できる。

その後、ＲＦ信号は、Ｂモード（すなわち輝度モード又は２Ｄイメージングモード）プロセッサ２６及びドップラープロセッサ２８に結合される。Ｂモードプロセッサ２６は、器官組織や血管などの体内の構造のイメージングのために受信超音波信号に対して振幅検出を実行する。ライン毎のイメージングの場合、各ライン（ビーム）は、関連するＲＦ信号によって表され、その振幅はＢモード画像のピクセルに割り当てられる輝度値を生成するために使用される。画像内のピクセルの正確な位置は、ＲＦ信号に沿った関連振幅測定の位置と、ＲＦ信号のライン（ビーム）番号によって決定される。そのような構造のＢモード画像は、高調波又は基本波画像モード、又は米国特許第６，２８３，９１９号（Ｒｏｕｎｄｈｉｌｌ等）及び米国特許第６，４５８，０８３号（Ｊａｇｏ等）に記載されるように両方の組み合わせで形成される。ドップラープロセッサ２８は、画像フィールド中の血球の流れなどの移動物質の検出のために、組織の動き及び血流から生じる時間的に異なる信号を処理する。ドップラープロセッサ２８は、通常、体内の選択された種類の物質から返されるエコーを通過させるか、拒絶するかが設定されるパラメータを有する壁フィルタを含む。

Ｂモードプロセッサ及びドップラープロセッサによって生成された構造信号及び動き信号は、スキャンコンバータ３２及びマルチプレーナリフォーマッタ４４に結合される。スキャンコンバータ３２は、エコー信号を、それらが所望の画像フォーマットで受信された空間関係に配置する。すなわち、スキャンコンバータは、円筒座標系から、画像ディスプレイ４０に超音波画像を表示するのに適したデカルト座標系にＲＦデータを変換するように作用する。Ｂモードイメージングの場合、所与の座標におけるピクセルの輝度は、その位置から受信されたＲＦ信号の振幅に比例する。例えば、スキャンコンバータは、エコー信号を、二次元（２Ｄ）扇形フォーマット、又はピラミッド形の三次元（３Ｄ）画像に構成する。スキャンコンバータは、Ｂモード構造画像を画像フィールド中の点における動きに対応する色でオーバーレイすることができ、ドップラー推定速度は所与の色を生成する。結合されたＢモード構造画像及びカラードップラー画像は、構造画像フィールド内の組織の動き及び血流を示す。米国特許第６，４４３，８９６号（Ｄｅｔｍｅｒ）に記載されるように、マルチプレーナリフォーマッタは、身体の体積領域の共通平面における点から受信されたエコーを、その平面の超音波画像に変換する。米国特許第６，５３０，８８５号（Ｅｎｔｒｅｋｉｎ等）に記載されるように、ボリュームレンダラ４２は、３Ｄデータセットのエコー信号を、所与の基準点から見たときの投影３Ｄ画像に変換する。

２Ｄ又は３Ｄ画像は、画像ディスプレイ４０上に表示するためのさらなる強調、バッファリング及び一時的な格納のために、スキャンコンバータ３２、マルチプレーナリフォーマッタ４４及びボリュームレンダラ４２から画像プロセッサ３０へ結合される。イメージングプロセッサは、例えば強い減衰器又は屈折によって引き起こされる音響シャドウイング、例えば弱い減衰器によって引き起こされる後方強調、例えば反射率の高い組織界面が近接して位置する場合の残響アーチファクトなど、特定のイメージングアーチファクトを最終的な超音波画像から除去するように適応される。さらに、画像プロセッサは、最終的な超音波画像のコントラストを改善するために、特定のスペックル低減機能を扱うように適応される。

イメージングのために使用されるのに加えて、ドップラープロセッサ２８によって生成された血流値及びＢモードプロセッサ２６によって生成された組織構造情報は、定量化プロセッサ３４に結合される。定量化プロセッサは、器官のサイズや妊娠期間などの構造的測定に加えて血流の容積流量などの異なる流動条件の測定値を生成する。定量化プロセッサは、測定が行われる対象の画像の解剖学的構造における点などの入力をユーザ制御パネル３８から受信する。

定量化プロセッサからの出力データは、ディプレイ４０上の画像での測定グラフィック及び値の再生のため、及びディスプレイ装置４０からの音声出力のために、グラフィックスプロセッサ３６に入力される。グラフィックスプロセッサ３６は、超音波画像とともに表示するためのグラフィックオーバーレイを生成する。これらのグラフィックオーバーレイは、患者名、画像日時、イメージングパラメータなどの標準的な識別情報を含み得る。これらの目的のため、グラフィックスプロセッサは、患者名などの入力をユーザインタフェース３８から受信する。ユーザインタフェースは、トランスデューサアレイ６からの超音波信号の生成を制御するため、したがってトランスデューサアレイ及び超音波システムによって生成される画像を制御するために送信コントローラ１８にも結合される。コントローラ１８の送信制御機能は、実行される機能の１つに過ぎない。コントローラ１８は、（ユーザによって与えられる）動作のモード、及び受信機アナログ／デジタル変換器における対応する必要な送信機構成及び帯域通過構成も考慮する。コントローラ１８は、固定された状態を有するステートマシンでもよい。

ユーザインタフェースは、マルチプレーナ再フォーマット（ＭＰＲ）画像の画像フィールドにおいて定量化測定を実行するために使用される複数のＭＰＲ画像の平面の選択及び制御のために、マルチプレーナリフォーマッタ４４にも結合される。

本明細書で説明された方法は、処理ユニット上で実行される。そのような処理ユニットは、図１を参照して上述されたシステムなどの超音波システム内に配置される。例えば、上述した画像プロセッサ３０は、以下で詳述する方法のステップの一部又は全部を実行する。若しくは、処理ユニットは、対象者に関係する入力を受け取るように適応された、監視システムなどのいずれかの適切なシステムに配置される。

図２は、関心領域の合成３Ｄ超音波画像を取得するための方法１００を示す。

本方法は、ステップ１１０において、対象者の関心領域から予備超音波データを取得することによって開始する。

関心領域から予備超音波データを取得するために、最初のスカウトスキャンが実行される。このスカウトスキャンは、いずれかの超音波プローブを使用して実行され、予備超音波データは、Ｂモード超音波データ及び／又はドップラー超音波データを含む。

ステップ１２０において、予備超音波データに基づいて関心領域内で解剖学的特徴が識別される。

換言すれば、予備超音波データは、さらなるイメージングのために関心領域内の解剖学的特徴を識別するために使用される。例えば、解剖学的特徴は、僧帽弁又は大動脈弁などの心臓の弁又は胎児である。予備超音波データは、関心領域内の解剖学的特徴の位置及び／又は向きを見つけるために使用される。

ステップ１３０において、その解剖学的特徴に基づいて、第１のイメージング位置及び１つ又は複数の追加イメージング位置が決定される。

換言すれば、スカウトスキャン中に取得された予備超音波データは、関心領域から解剖学的情報を導出するために使用され、その後、識別された解剖学的特徴に基づいて３Ｄ又は４Ｄの超音波データをキャプチャするために超音波プローブの動きを案内するために使用される。

これは、例えば、解剖学的特徴を含む可能性のある予備超音波データから２Ｄイメージング平面を選択し、取得対象の３Ｄボリュームを中心に置くために２箇所以上の超音波プローブ位置間において重複する解剖学的特徴を選択することによって実行される。この選択は、ユーザ入力を受信することによって手動で、又は、例えば心臓のアノーテーション付きモデルを使用して３Ｄモードにおいてモデルベースの最適平面識別によって自動的に実行される。

ステップ１４０において、第１のイメージング位置から第１の３Ｄ超音波画像が取得され、１つ又は複数の追加イメージング位置から１つ又は複数の追加３Ｄ超音波画像が取得される。第１の３Ｄ超音波画像の一部が１つ又は複数の追加３Ｄ超音波画像のそれぞれの一部と重複し、その重複領域が解剖学的特徴を含むように、画像が取得される。

解剖学的コンテキストに基づく上記の３Ｄ超音波画像の取得は、合成３Ｄ超音波画像を形成するための第１の３Ｄ超音波画像と１つ又は複数の追加３Ｄ超音波画像とのより正確な融合を実現する。さらに、本方法は画質の改善を実現し、関連する２Ｄ平面の系統的な取得は３Ｄ合成超音波画像の客観的な解釈を容易にする。

上述したように、第１の３Ｄ超音波画像及び１つ又は複数の追加３Ｄ超音波画像は、それぞれ、第１のイメージング位置及び追加イメージング位置から取得される。したがって、３Ｄ超音波画像を取得するために使用された超音波プローブは、第１のイメージング位置から１つ又は複数の追加イメージング位置へ移動する必要がある。

超音波プローブは、後で超音波取得中のプローブの動きに関係した画像アーチファクトを除去するために考慮されるプローブ及び対象者の動きを計測するために慣性センサを備える。慣性センサは、３Ｄ超音波取得モードにおいて超音波プローブのモータによって生成される磁界がセンサに影響を及ぼさないように配置される。

若しくは、プローブの動きを追跡するために、電磁トラッカ又はリープトラッカも超音波プローブ内で使用される。超音波データ及び動きセンサからのデータは同時に取得される。動きセンサからの回転情報は、ボリューム融合のために、後述する空間位置合わせアルゴリズムに入力される。重複領域からの近接する３Ｄボリュームにおける共通の解剖学的ランドマークは識別され、その後、動きセンサデータに基づいて空間位置合わせアルゴリズムにおける変換修正のために使用される。

ステップ１５０において、解剖学的特徴に基づいて、第１の３Ｄ超音波画像と１つ又は複数の追加３Ｄ超音波画像との間の空間的位置合わせが実行される。

換言すれば、第１の３Ｄ超音波画像の位置及び／又は向きは、１つ又は複数の追加３Ｄ超音波画像に関連して決定され、その逆も行われる。

空間的位置合わせの実行は、第１の３Ｄ超音波画像及び１つ又は複数の追加３Ｄ超音波画像内の３Ｄ点群を生成することを有し、３Ｄ点群は、第１の３Ｄ超音波画像内のサーフェス及び１つ又は複数の追加３Ｄ超音波画像内のサーフェスを表す。

この３Ｄ点群生成は以下のように実行される。心臓モデル又は胎児モデルなどの特定の解剖学的モデルを使用して、３Ｄ超音波画像内の関心スライス／ボリュームを識別するための分類モジュールを駆動する。これによって、解剖学的に駆動された点群演算のための探索空間が小さくなる。

その後、３Ｄ超音波画像内に３Ｄ点群を生成するために分類モジュールによって選択されたスライス／ボリューム上に解剖学的に駆動されたヒートマップを作成するために、セグメンテーションモジュールが使用される。この双方向のアプローチによって点群生成のために必要な探索空間が小さくなり、それによって本方法の演算効率が向上する。

３Ｄ点群に基づいて確率マップが作成され、この確率マップは、第１の３Ｄ超音波画像及び１つ又は複数の追加３Ｄ超音波画像内の所与の点を占有する解剖学的特徴の信頼値を表す。この信頼値が所定の閾値を上回った場合に解剖学的特徴は自動的に識別される。

上述した処理から導出された信頼値は、ボリュームの融合を行うための決定的要素として使用される、解剖学的特徴の３Ｄ信頼性マップを作成するために使用される。換言すれば、信頼性マップは解剖学的特徴の視覚化を（ピクセルレベルにおいても）改善し、３Ｄ超音波画像のより良好な選択的融合につながる。

空間的位置合わせは、例えば３Ｄ点群に基づいて第１の３Ｄ超音波画像及び１つ又は複数の追加３Ｄ超音波画像に対して２層構造のスティッチングを実行するように適応される機械学習アルゴリズムに基づく。

換言すれば、取得された３Ｄ超音波画像上における機械学習（特に深層学習）駆動の解剖学的可能性に基づく３Ｄ点群形成は、非剛***置合わせ技術を使用し解剖学的構造に特化したスティッチングを実行するために使用される。

Ｅｌｂａｚ等、「３Ｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｒｓｇｉｓｔｒａｔｉｏｎ ｆｏｒ Ｌｏｃａｌｉｚａｔｉｏｎ ｕｓｉｎｇ ａ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ａｕｔｏ－Ｅｎｃｏｄｅｒ」、ＩＥＥＥ Ｃｏｎｆ． ＣＶＰＲ、２０１７年、４６３１－４６４０頁に記載される技術などの点群に基づくスティッチングは、第１の３Ｄ超音波画像と第２の３Ｄ超音波画像との間の非剛体スティッチングを実行するために用いられる。３Ｄ超音波画像の重複部分内の重複ボクセルの、上述したものなどの確率マップは、合成３Ｄ超音波画像のスティッチングされたボリュームにおける最終的なボクセル選択のための中心的要素の役割を果たす。確率マップの使用によって、合成３Ｄ超音波画像の解剖学的表現の正確性が向上する。

単一方向に連続したターゲット－ソース対に基づく位置合わせなどの通常のスティッチング方法は、双方向近傍トポロジを強化する、より強固なスティッチング方法によって置き換えられる。

換言すれば、空間的位置合わせは、ボリューム取得の方向に沿って累積的に実行されない。むしろ、超音波プローブの配置及びその近傍の影響は、ターゲット－ソース選択の指標である。したがって、空間的位置合わせにおいて双方向位置合わせ手法が用いられてもよく、それによって取得の両方向からのエラー伝搬を低減する。

ステップ１６０において、第１の３Ｄ超音波画像と１つ又は複数の追加３Ｄ超音波画像とは、空間的位置合わせに基づいて融合され、それによって合成３Ｄ超音波画像を生成する。

上述したように、空間的位置合わせステップ中の第１の３Ｄ超音波画像及び１つ又は複数の追加３Ｄ超音波画像に対して、確率マップが作成される。これは、３Ｄ超音波画像の重複部分の３Ｄ信頼性マップのための基礎として使用される。

勾配空間画像処理技術であるポアソン融合を使用して融合が実行される。勾配空間画像処理技術は、直接ピクセル値ではなく隣接ピクセル間の差に対して作用する。

また、融合は、いずれかの適切な融合技術を使用して実行される。例えば、アルファ融合、ピラミッド融合、ラプラシアン融合などを使用して、融合は実行される。

空間的位置合わせステップに加えて、融合ステップにおいて機械学習又は深層学習のアルゴリズムを用いることが可能である。例えば、構造を認識し、認識された構造に応じた所与の手法で３Ｄ超音波画像を結合するように、機械学習アルゴリズムは訓練される。

ステップ１７０において、解剖学的特徴の動きは、合成３Ｄ超音波画像に基づいて決定される。この解剖学的特徴の動きの決定は、図４を参照して以下で詳述される。

なお、図３を参照して後述される例は２つの３Ｄ超音波画像に基づく合成３Ｄ超音波画像の生成を説明するが、合成３Ｄ超音波画像は、いずれかの数の取得３Ｄ超音波画像に基づいて生成される。

例えば、合成３Ｄ超音波画像を生成するために、３つの異なるイメージング位置から３つの３Ｄ超音波画像が取得される。

言い換えれば、合成３Ｄ超音波画像を生成するために、複数の３Ｄ超音波画像が融合される。

図３は、上述した方法による３Ｄ点群に基づくボリュームスティッチングの概略表現３００を示す。

図３は、合成３Ｄ超音波画像３３０を生成するために使用される第１の３Ｄ超音波画像３１０及び追加３Ｄ超音波画像３２０を示す。第１の３Ｄ超音波画像及び追加３Ｄ超音波画像は、共通解剖学的特徴を含む重複部分を有する、解剖学的対象物の２つの斜視図を示す。

第１の３Ｄ超音波画像及び第２の３Ｄ超音波画像に対して、２つのモジュール、すなわち分類モジュール及びセグメンテーションモジュールが適用される。分類モジュールは３Ｄボリュームの各２Ｄスライスにおける関連対象物の存在を識別し、セグメンテーションモジュールは点群の形態において分類モジュールによって選択された２Ｄスライス中の対象物を局所化する。

分類モジュールは、セグメンテーションモジュールを関心対象物又は解剖学的特徴の近傍内で動作するように制限するように作用する。その結果として、これは、そのサーフェスプロットが点群によって表される対象物を分離する。

それによって、その２Ｄスライス３３０が図３に示された合成３Ｄ超音波画像を形成するために融合される前に３Ｄ超音波画像のそれぞれにおいて３Ｄ点群が生成される。

図４は、剛体スティッチング方法４００を使用して生成された合成画像と非剛体スティッチング方法４１０を使用して生成された合成画像との比較を示す。

ボリュームスティッチングの実行中の剛***置合わせの使用は、その自然運動に起因する胎児（例えば手又は脚）又は心臓弁などの画像内の運動する解剖学的構造上に陰影アーチファクトを引き起こす。陰影アーチファクト４１５の例を画像４００に示す。

比較において、非剛***置合わせは、陰影アーチファクト４１５などの陰影アーチファクトを除去できる。画像４１０は、画像４００と同一の解剖学的特徴の合成画像を示す。ただし、画像４１０は非剛体スティッチング方法を使用して生成されるため、最終的な画像における陰影アーチファクトの存在は顕著に低減される。

上述したように、解剖学的特徴の動きに起因して、陰影アーチファクトは合成３Ｄ超音波画像において発生する。これらの陰影アーチファクトは、動きの回数を数えるために非剛体変換行列を合成３Ｄ超音波画像に適用することによってキャプチャされる。換言すれば、この明らかな位置合わせの異常／エラーは、３Ｄにおいて解剖学的動きを追跡するために使用される。

単純に多数の隣接３Ｄボリュームである４Ｄ超音波取得の場合、非剛体変換行列は、解剖学的動きを定量化及び／又は追跡するために使用される解剖学的特徴の動きの確率的軌跡を提供する。

開示の実施形態の変形は、図面、開示内容、及び添付の特許請求の範囲を吟味することによって、特許請求の範囲に記載の発明を実施する際に当業者によって理解及び実現されることが可能である。特許請求の範囲において、「有する」という用語は、他の要素又はステップを排除するものではなく、単数形は複数形を排除するものではない。単一のプロセッサ又は他のユニットは、特許請求の範囲に記載されるいくつかの項目の機能を果たす。特定の手段が互いに異なる従属項に記載されているという単なる事実は、それらの手段の組み合わせが効果的に使用されることができないことを示すものではない。コンピュータプログラムが上述されている場合、他のハードウェアとともに、又は他のハードウェアの一部として供給された光学格納媒体又はソリッドステート媒体などの適切な媒体上に格納／分散されてもよいが、インターネット又は他の有線又は無線通信システムを介してなど、他の形態で分散されてもよい。特許請求の範囲又は明細書において「適応される」という表現が使用されている場合、「適応される」という用語は「構成される」という用語と同等であることが意図されることに留意されたい。特許請求の範囲におけるあらゆる参照符号は、範囲を限定すると解釈されるべきではない。

Claims (15)

1. 関心領域の合成３Ｄ超音波画像を取得するための方法であって、前記方法は、
   対象者の関心領域から予備超音波データを取得するステップと、
   前記予備超音波データに基づいて前記関心領域内の解剖学的特徴を識別するステップと、
   前記解剖学的特徴に基づいて、第１のイメージング位置と１つ又は複数の追加イメージング位置とを決定するステップと、
   前記第１のイメージング位置から第１の３Ｄ超音波画像を取得し、前記１つ又は複数の追加イメージング位置から１つ又は複数の追加３Ｄ超音波画像を取得するステップであって、前記第１の３Ｄ超音波画像の一部は前記１つ又は複数の追加３Ｄ超音波画像の一部と重複することによって重複部分を形成し、前記重複部分は前記解剖学的特徴を含むステップと、
   前記解剖学的特徴に基づいて、前記第１の３Ｄ超音波画像と前記１つ又は複数の追加３Ｄ超音波画像との間の空間的位置合わせを実行するステップと、
   前記空間的位置合わせに基づいて前記第１の３Ｄ超音波画像と前記１つ又は複数の追加３Ｄ超音波画像とを融合し、それによって合成３Ｄ超音波画像を生成するステップと、
   を有する方法。
2. 前記方法は、さらに、前記合成３Ｄ超音波画像に基づいて前記解剖学的特徴の動きを決定するステップを有する、請求項１に記載の方法。
3. 前記解剖学的特徴の動きを決定するステップは、
   非剛体変換行列を前記合成３Ｄ超音波画像に適用するステップと、
   変換された前記合成３Ｄ超音波画像に基づいてアーチファクトを識別するステップと、
   を有する、請求項２に記載の方法。
4. 前記解剖学的特徴の動きを決定するステップは、前記アーチファクトを追跡するステップを有する、請求項３に記載の方法。
5. 前記空間的位置合わせを実行するステップは、前記第１の３Ｄ超音波画像及び前記１つ又は複数の追加３Ｄ超音波画像内に３Ｄ点群を生成するステップを有し、前記３Ｄ点群は前記第１の３Ｄ超音波画像内のサーフェス及び前記１つ又は複数の追加３Ｄ超音波画像内のサーフェスを表す、請求項１から４のいずれか一項に記載の方法。
6. 前記空間的位置合わせを実行するステップは、機械学習アルゴリズムを使用するステップを有する、請求項１から５のいずれか一項に記載の方法。
7. 前記機械学習アルゴリズムは、前記３Ｄ点群に基づいた２層構造のスティッチングを実行するように適応されている、請求項５に従属する請求項６に記載の方法。
8. 前記空間的位置合わせを実行するステップは、さらに、前記３Ｄ点群に基づいて確率マップを生成するステップを有し、前記確率マップは、前記第１の３Ｄ超音波画像及び前記１つ又は複数の追加３Ｄ超音波画像内の所与の点を占有する解剖学的特徴の信頼値を表す、請求項５から７のいずれか一項に記載の方法。
9. 前記空間的位置合わせを実行するステップは、前記信頼値が所定の値よりも大きい場合、前記第１の３Ｄ超音波画像及び前記１つ又は複数の追加３Ｄ超音波画像内の前記解剖学的特徴の位置を識別するステップを有する、請求項８に記載の方法。
10. 前記第１の３Ｄ超音波画像及び前記１つ又は複数の追加３Ｄ超音波画像を融合するステップは、前記確率マップに基づいて前記重複部分の３Ｄ信頼性マップを生成するステップを有する、請求項８又は９に記載の方法。
11. 前記第１の３Ｄ超音波画像及び前記１つ又は複数の追加３Ｄ超音波画像を融合するステップは、前記第１の３Ｄ超音波画像及び前記１つ又は複数の追加３Ｄ超音波画像にポアソン融合を適用するステップを有する、請求項１から１０のいずれか一項に記載の方法。
12. コンピュータ上で実行された場合、請求項１から１１のいずれか一項に記載の方法を実施するコンピュータプログラムコード手段を有する、コンピュータプログラム。
13. 対象者の関心領域から予備超音波データを取得し、
    前記予備超音波データに基づいて前記関心領域内の解剖学的特徴を識別し、
    前記解剖学的特徴に基づいて、第１のイメージング位置と１つ又は複数の追加イメージング位置とを決定し、
    前記第１のイメージング位置から第１の３Ｄ超音波画像を取得し、前記１つ又は複数の追加イメージング位置から１つ又は複数の追加３Ｄ超音波画像を取得し、前記第１の３Ｄ超音波画像の一部は前記１つ又は複数の追加３Ｄ超音波画像の一部と重複することによって重複部分を形成し、前記重複部分は前記解剖学的特徴を含み、
    前記解剖学的特徴に基づいて、前記第１の３Ｄ超音波画像と前記１つ又は複数の追加３Ｄ超音波画像との間の空間的位置合わせを実行し、
    前記空間的位置合わせに基づいて前記第１の３Ｄ超音波画像と前記１つ又は複数の追加３Ｄ超音波画像とを融合し、それによって合成３Ｄ超音波画像を生成する、
    処理ユニット。
14. 請求項１３に記載の処理ユニットと、４Ｄ超音波データを取得する超音波プローブとを備える、超音波システム。
15. 前記超音波プローブは、動きセンサと電磁トラッカとリープトラッカとのうちの１つ又は複数を備える、請求項１４に記載の超音波システム。

Images