JP7261870B2 - 超音波画像内のツールを追跡するためのシステム及び方法 - Google Patents

Description

本発明は超音波撮像の分野に関し、より具体的には、超音波画像内のツールを追跡する分野に関する。

超音波撮像は、ツール誘導アプリケーションのための最も一般的な撮像システムの1つである。超音波画像診断は、針、腹腔鏡、ステント、小線源治療に使用される放射性シードなどのツールを撮像するために使用されることがある。例えば、針が組織サンプルを採取し、患者の体内の標的組織に医薬又は電気エネルギーを送達するために使用されるので、超音波撮像は、麻酔学、組織切除における針誘導、又は生検誘導のために使用され得る。これらのプロシージャの間、針及びその先端の視覚化は患者に対するリスクを最小限にし、健康転帰を改善するために非常に重要である。

典型的には、2D超音波誘導は、処置が行われている間にツールを視覚化するために使用される。しかしながら、この画像モードには多くの欠点がある。特に、2D撮像は、限られた視野を有し、超音波撮像におけるツールの位置合わせ及びローカライゼーションが成功した後、ツールを動かすか又は標的を評価している間、処置を行う人の望ましくない手の動きは、ツール及び超音波トランスデューサの位置合わせ不良を引き起こすことがあるので、ツールの部分が超音波画像から除外される。これは、ツールの誤った配置につながる可能性がある。さらに、手技中に、超音波画像内のツールを探索することによって気をとられることがあるので、オペレータの集中は処置から逸らされ得る。

また、外部ツール追跡システムは追加の装置を必要とし、超音波撮像システムのコストを増加させるため、多くの欠点を有する。さらに、追加のセンサを備える特殊な針が必要とされる。医師に専用の針を使用させることは、プロシージャの費用を増大させる可能性がある。

3D超音波システムを利用する代替方法が提案されており、針を広い視野内で容易に捕らえることができ、高度な画像ベースの追跡システムが針を検出し、可視化する。しかしながら、これらの方法は3D超音波トランスデューサの利用を必要とし、これは、典型的には針誘導プロシージャでの使用には容易には利用できず、プロシージャのコストを増大させる可能性がある。

したがって、典型的な2D超音波撮像システムを利用する一方で、ツールを有する画像を確実に捕捉するためにユーザが必要とするスキルレベルを低減し、有意な追加のハードウェアを必要としないツールトラッキング方法が必要とされている。

米国特許出願公開第2002／049375号明細書は、プロセッサと、医用位置決めシステムと、二次元撮像システムと、検査される臓器監視インターフェースとを有する医用撮像及びナビゲーションシステムを開示している。

この発明は、請求項によって規定される。

本発明の一態様による例によれば、超音波画像内のツールの位置を監視する方法であって、前記方法は、,

超音波トランスデューサによって、複数の2D超音波画像を取得するステップであって、前記複数の2D超音波画像の少なくとも1つはツールの一部を有する、ステップと、

前記複数の2D超音波画像に基づいて3D超音波画像を生成するステップと、

前記3D超音波画像内の前記ツールの第1の位置を識別するステップと、

更なる2D超音波画像及び前記更なる2D超音波画像の捕捉中の前記超音波トランスデューサの前記位置に関する位置情報を取得するステップと、

前記更なる2D超音波画像及び前記位置情報に基づいて前記3D超音波画像を更新するステップと、

前記更新される3D超音波画像の撮像データのみに基づいて前記更新される3D超音波画像内の前記更なる2D超音波画像に対するツールの位置を識別するステップと
を有する、方法が提供される。

この方法は、超音波画像内で針のようなツールを追跡するための計算上効率的な方法を提供する。

典型的な方法は、ツールの画像を正確に捕捉するために高レベルのスキルを必要とする2D超音波画像、又はかさばり、高価であり、限られたリフレッシュレートを有する3Dトランスデューサ技術のみに依存する。

複数の2D画像に基づいて3D画像を生成することにより、ツールの追跡も簡単にしながら、超音波撮像システム上の計算負荷を低減することが可能である。

更に、引き続いて取得される2D画像を使用して3Dモデルを更新することにより、ツールは、移動することにつれて、また、引き続く2D画像が撮影される位置が移動するにつれて、追跡されることが可能になる。このようにして、この方法は、任意の既存の介入ツール及び2D超音波トランスデューサと共に使用され得る典型的な臨床ワークフローに必要とされる最小限の(又は全く)変化を伴う、従来の2D USトランスデューサを使用するツールの便利で、正確で、かつ迅速な誘導を提供する。

さらに、追加の2D超音波画像に対するツールの位置の決定は、ツールの位置に対してトランスデューサの位置を追跡することを可能にする。したがって、トランスデューサが操作されると、ツールに対するトランスデューサの相対位置が既知であり、それによって、追加の2D超音波画像内のツールのより単純で正確な取得が可能となる。さらに、追加の2D超音波画像は関心領域、例えば生検のための腫瘍を有することができるので、ツールは相対位置情報を使用して関心領域に誘導することができる。

さらに、ツールの識別は、更新される3D超音波画像の撮像データのみに基づくので、本方法を実行するために、医療用位置決めシステムなどの専用ツール追跡システムを必要としない。したがって、この方法は、追加の専用ハードウェアを必要とせずに、任意の超音波システムによって実行することができ、それによって、ツール追跡方法を利用する可用性及び利便性を増大させる。

一実施形態では、ツールの位置を識別するステップは、

更新される3D超音波画像内のツール影を識別するステップと、

ツール影に基づいてツールの位置を識別するステップと
を有する。

このようにして、ツールの位置は、更新される3D超音波画像の撮像データのみに基づいて識別されてもよい。

一実施形態では、追加の2D超音波画像が異なるトランスデューサ位置から複数の2D超音波画像のための位置まで受信され、本方法は，超音波トランスデューサの位置の変化を決定するステップをさらに含み、位置の変化は位置情報の少なくとも一部を形成する。

このようにして、ツール及びトランスデューサの両方の動きを考慮することができる。

さらなる実施形態では、超音波トランスデューサの位置における変化の決定は、

ブロックマッチング

特徴追跡、

運動追跡、

スペックル非相関、

特徴利用、

機械学習、及び

深層学習
の一つ又はそれより多くを使用して実行される。

このようにして、超音波トランスデューサの位置の変化を、画像処理又は動き追跡技術によって決定することが可能である。

構成において、追加の2D超音波画像の位置情報は、超音波トランスデューサに関する並進情報を有する。

このようにして、ツールに対するトランスデューサの位置をモニタリングすることが可能であり、それによって、超音波画像内のツールのモニタリングの精度を高めることが可能である。

さらなる、又は他の構成では、追加の2D超音波画像の位置情報が超音波トランスデューサに関する方向情報を有する。

このようにして、超音波画像内のツールのモニタリングの精度をさらに高めることができる。

一実施形態では、本方法は、更新される3D超音波画像内の追加の2D超音波画像に関するツールの位置をユーザに表示するステップをさらに有する。

このようにして、ユーザは、トランスデューサとツールとの更新される相対位置について知らされ得る。

一構成では、本方法は、更新される3D超音波画像をユーザに表示するステップをさらに有する。

このようにして、3D超音波画像のコンテキスト内のツールの位置を監視することが可能であり、それによって、ツールを操作するときにユーザが利用可能な情報を増加させる。

本発明の一態様による例によれば、コンピュータプログラムは、コンピュータ上で実行されるときに、上述の手法を実施するように適合されるコンピュータプログラムコード手段を有するコンピュータプログラムが提供される。

本発明の一態様による例によれば、超音波画像内のツールの位置を監視するように適合される超音波撮像システムであって、前記システムは、

複数の2D超音波画像を取得するように適合される超音波トランスデューサを有し、前記複数の2D超音波画像の少なくとも1つが前記ツールの一部を有する、超音波プローブと、

プロセッサであって、前記プロセッサは、

前記複数の2D超音波画像に基づいて3D超音波画像を生成し、

前記3D超音波画像内の前記ツールの第1の位置を識別し、

前記超音波プローブによって取得される更なる2D超音波画像と、前記更なる2D超音波画像の捕捉中の前記超音波トランスデューサの前記位置に関する位置情報とに基づいて前記3D超音波画像を更新し、

前記更新される3D超音波画像の撮像データのみに基づいて前記更新される3D超音波画像内の前記更なる2D超音波画像に対する前記ツールの位置を識別する
ように構成されるプロセッサと
を有する、超音波撮像システムが提供される。

一実施形態では、プロセッサは、

異なるトランスデューサ位置から前記複数の2D超音波画像に対する前記位置まで前記更なる2D超音波画像を受信し、

前記超音波プローブの位置の変化を決定し、前記位置における前記変化は、前記位置情報の少なくとも部分を形成する
ように更に適合される。

構成において、システムは、位置情報を取得するように構成されるセンサをさらに有する。

さらなる配置では、センサは加速度計又は位置センサである。

一実施形態では、システムは、更新される3D超音波画像内の追加の2D超音波画像に対するツールの位置をユーザに表示するように適合されるディスプレイをさらに備える。

本発明のこれら及び他の態様は以下に記載される実施形態から明らかになり、それを参照して説明される。本発明をより良く理解し、本発明をどのように実施することができるかをより明確に示すために、単なる例として、添付の図面を参照する。

一般的な動作を説明するための超音波診断システムを示す。 本発明の方法を示す。 本発明のさらなる方法を示す。 超音波トランスデューサ及びエコー強度の概略図を示す。 超音波トランスデューサ及びエコー強度の概略図を示す。

本発明は、図面を参照して説明される。

詳細な説明及び特定の例は、装置、システム、及び方法の例示的な実施形態を示しているが、例示のみを目的としたものであり、本発明の範囲を限定することを意図したものではないことを理解される。本発明の装置、システム、及び方法のこれら及び他の特徴、態様、及び利点は、以下の説明、添付の特許請求の範囲、及び添付の図面からより良く理解されるのであろう。図面は単に概略的なものであり、一定の縮尺で描かれていないことを理解される。また、同じ参照番号は同じ又は類似の部分を示すために、図面全体にわたって使用されることを理解される。

本発明は、超音波画像におけるツールの位置を監視する方法を提供する。本発明は、超音波トランスデューサによって、複数の2D超音波画像を取得するステップであって、前記複数の2D超音波画像の少なくとも1つはツールの一部を有する、ステップと、 前記複数の2D超音波画像から3D超音波画像を生成するステップとを含む。それから、ツールの第1の位置は、3D超音波画像内で識別される。それから、更なる2D超音波画像、及び更なる2D超音波画像の捕捉中の超音波トランスデューサの位置に関する位置情報が取得され、更なる2D超音波画像及び位置情報に基づいて3D超音波画像が更新される。それから、更なる2D超音波画像に対するツールの位置が、更新される3D超音波画像の撮像データのみに基づいて、更新される3D超音波画像内で識別される。

上述の方法が超音波画像システムにおいて使用され得るように、例示的な超音波システムの一般的な動作はまず、図1を参照して説明され、本発明はトランスデューサアレイによって測定される信号の処理に関するので、システムの信号処理機能に重点を置いて説明される。

このシステムは超音波を送信し、エコー情報を受信するためのトランスデューサアレイ6を有するアレイトランスデューサプローブ4を備える。トランスデューサアレイ6は、CMUTトランスデューサ、PZT又はPVDFなどの材料で形成される圧電トランスデューサ、又は任意の他の適切なトランスデューサ技術を備えることができる。この例では、トランスデューサアレイ6は、2D平面又は関心領域の3次元体積の何れかをスキャンすることができるトランスデューサ素子8の2次元アレイである。別の例では、トランスデューサアレイは1Dアレイであってもよい。

トランスデューサアレイ6は、トランスデューサ素子による信号の受信を制御するマイクロビームフォーマ12に結合されている。マイクロビームフォーマは、米国特許第5，997，479号(Savord ら)、第6，013，032号(Savord)、及び第6，623，432号(Powersら)に記載されているように、トランスデューサの「グループ」又は「パッチ」と概して呼ばれるサブアレイによって受信される信号の少なくとも部分的なビームフォーミングが可能である。

マイクロビームフォーマは、完全に任意選択であることに注意する必要がある。さらに、システムは送信／受信(T／R)スイッチ16を含み、マイクロビームフォーマ12は送信モードと受信モードとの間でアレイに結合することができ、かつそれを切り替えることができ、マイクロビームフォーマが使用されず、トランスデューサアレイが主システムビームフォーマによって直接操作される場合、メインビームフォーマ20を高エネルギー送信信号から保護する。トランスデューサアレイ6からの超音波ビームの送信はT／Rスイッチ16及びメイン送信ビームフォーマ(図示せず)によってマイクロビームフォーマに結合されるトランスデューサコントローラ18によって指示され、メイン送信ビームフォーマはユーザインターフェース又は制御パネル38のユーザ操作から入力を受け取ることができる。コントローラ18は、透過モード中にアレイ6のトランスデューサ素子(直接又はマイクロビームフォーマを介して)を駆動するように配置される送信回路を有することができる。

典型的なラインバイライン撮像シーケンスでは、プローブ内のビーム形成システムが以下のように動作してもよい。送信中、ビームフォーマ(実現に応じて、マイクロビームフォーマ又は主システムビームフォーマであってもよい)は、トランスデューサアレイ、又はトランスデューサアレイのサブアパーチャを起動する。サブアパーチャはトランスデューサの一次元線でもよいし、より大きなアレイ内のトランスデューサの二次元パッチでもよい。送信モードではアレイによって生成される超音波ビームの焦点合わせ及びステアリング、又はアレイのサブアパーチャは以下に説明するように制御される。被検体から後方散乱エコー信号を受信すると、受信信号は受信信号を位置合わせするために(以下に説明するように)受信ビームフォーミングを受け、サブアパーチャが使用されている場合、サブアパーチャは、例えば1つのトランスデューサ素子だけシフトされる。その後、シフトされるサブアパーチャが起動され、このプロセスは、トランスデューサアレイのトランスデューサ素子の全てが起動されるまで繰り返される。

各ライン(又はサブアパーチャ)について、最終的な超音波画像の関連する線を形成するために使用される全受信信号は、受信期間中に所与のサブアパーチャのトランスデューサ素子によって測定される電圧信号の合計である。以下のビーム成形プロセスに続いて得られるライン信号は、通常、無線周波数データと呼ばれる。それから、種々のサブアパーチャによって生成される各ライン信号(RFデータセット)は最終的な超音波画像の線を生成するために、付加的な処理を受ける。時間に伴うライン信号の振幅の変化は深度に伴う超音波画像の輝度の変化に寄与し、高振幅ピークは、最終画像における明るい画素(又は画素の集合)に対応する。ライン信号の開始付近に現れるピークは浅い構造からのエコーを表し、一方、ライン信号において次第に遅く現れるピークは、被検体内の深さが増大する構造からのエコーを表す。

トランスデューサ制御装置18によって制御される関数の1つは、ビームがステアリングされ、焦点が合わされる方向である。ビームはトランスデューサアレイから真っ直ぐ(直交して)前方に、又はより広い視野のために異なる角度でステアリングされてもよい。送信ビームのステアリング及び焦点は、トランスデューサ素子作動時間の関数として制御することができる。

一般的な超音波データ収集では平面波撮像と「ビームステアリング」撮像の2つの方法が区別されるが、これら2つの方法は送信モード(「ビームステアリング」撮像)及び／又は受信モード(平面波撮像及び「ビームステアリング」撮像)におけるビーム形成の存在によって区別される。

最初にフォーカシング機能を見ると、全てのトランスデューサ素子を同時に作動させることによって、トランスデューサアレイは、対象物を通過することにつれて発散する平面波を生成する。この場合、超音波のビームは未集束のままである。トランスデューサの活性化に位置依存時間遅延を導入することによって、焦点ゾーンと呼ばれる所望の点でビームの波面を収束させることが可能である。焦点ゾーンは、横方向ビーム幅が送信ビーム幅の半分未満である点として定義される。このようにして、最終的な超音波画像の横方向の分解能が改善される。

例えば、時間遅延によって、トランスデューサ素子が直列に活性化され、最も外側の素子で始まって、トランスデューサアレイの中心素子(複数可)において終わる場合、焦点ゾーンは、中心素子(複数可)と一直線上で、プローブから離れた所与の距離で形成されるのであろう。プローブからの焦点ゾーンの距離は、トランスデューサ素子活性化の各後続ラウンド間の時間遅延に応じて変化する。ビームは、焦点ゾーンを通過した後、発散し始め、遠視野撮像領域を形成する。トランスデューサアレイに近接して位置する焦点ゾーンについては、超音波ビームが最終的な画像においてビーム幅のアーチファクトをもたらす遠視野において迅速に発散することは留意される。典型的には、トランスデューサアレイと焦点ゾーンとの間に位置する近接場は、超音波ビームにおける大きな重複のために、ほとんど詳細を示さない。したがって、焦点ゾーンの位置を変化させることは、最終画像の品質に著しい変化をもたらす可能性がある。

送信モードでは、超音波画像が複数の焦点ゾーン(それぞれが異なる送信焦点を有し得る)に分割されない限り、1つの焦点のみが定義され得ることは留意される。

さらに、被検体内部からのエコー信号を受信すると、受信フォーカスを行うために上述した処理の逆を行うことができる。換言すれば、入ってくる信号は、トランスデューサ素子によって受信され、信号処理のためにシステムに渡される前に電子的な時間遅延を受けることができる。この最も単純な例は、遅延和ビームフォーミングと呼ばれる。時間の関数としてトランスデューサアレイの受信フォーカシングを動的に調整することが可能である。

ここで、ビームステアリングの機能を見ると、トランスデューサ素子に時間遅延を正しく適用することによって、トランスデューサアレイを離れるときに、超音波ビームに所望の角度を付与することが可能である。例えば、トランスデューサアレイの第1の側面上のトランスデューサを起動させ、続いて、残りのトランスデューサを、アレイの反対側で終了するシーケンスで起動させることによって、ビームの波面は、第2の側面に向かって角度が付けられることになる。トランスデューサアレイの法線に対するステアリング角度の大きさは、後続トランスデューサ素子の起動間の時間遅延の大きさに依存する。

さらに、ステアリングビームをフォーカスすることが可能であり、ここで、各トランスデューサ素子に適用される総時間遅延は、焦点時間遅延とステアリング時間遅延の両方の和である。この場合、トランスデューサアレイは、フェーズドアレイと呼ばれる。

それらの活性化のためにDCバイアス電圧を必要とするCMUTトランスデューサの場合、トランスデューサコントローラ18は、トランスデューサアレイのためのDCバイアス制御部45を制御するために結合することができる。DCバイアス制御部45は、CMUTトランスデューサ素子に印加されるDCバイアス電圧(s)を設定する。

トランスデューサアレイの各トランスデューサ素子に対して、典型的にはチャネルデータと呼ばれるアナログ超音波信号が、受信チャネルを介してシステムに入る。受信チャネルでは、部分的にビーム形成される信号がマイクロビームフォーマ12によってチャネルデータから生成され、それから、メイン受信ビームフォーマ20に渡され、そこで、トランスデューサの個々のパッチからの部分的にビーム形成される信号が、無線周波数データと呼ばれる完全にビーム形成される信号に結合される。各ステージで実行されるビームフォーミングは、上述のように実行されてもよく、又は追加の機能を含んでもよい。例えば、メインビームフォーマ20は128のチャネルを有してもよく、その各チャネルは十数個又は数百個のトランスデューサ素子のパッチから部分的にビーム形成される信号を受信する。このようにして、トランスデューサアレイの数千のトランスデューサによって受信される信号は、単一のビーム形成信号に効率的に寄与することができる。

ビーム形成される受信信号は、信号プロセッサ22に結合される。信号プロセッサ22は受信したエコー信号を、帯域通過フィルタリング、デシメーション、I及びQ成分分離、及び高調波信号分離のような様々な方法で処理することができ、これらの信号は組織及びマイクロバブルから戻される非線形(基本周波数の高次高調波)エコー信号の識別を可能にするように、線形及び非線形信号を分離するように作用する。また、信号プロセッサは、スペックル低減、シグナル複合化、及びノイズ除去などの更なる信号強調を行ってもよい。信号プロセッサ内のバンドパスフィルタは追跡フィルタとすることができ、その通過帯域はエコー信号が深度の増加から受信されるにつれて、より高い周波数帯域からより低い周波数帯域へとスライドし、それによって、典型的に解剖学的情報を欠くより大きな深度からより高い周波数におけるノイズを排除する。

送信及び受信のためのビームフォーマは、異なるハードウェアで実施され、異なる機能を有することができる。もちろん、受信器ビームフォーマは、送信ビームフォーマの特性を考慮に入れて設計される。図1では、単純化のために、受信器ビームフォーマ12、20のみが示されている。完全なシステムでは、送信マイクロビームフォーマを備えた送信チェーン、及び主送信ビームフォーマも存在するのであろう。

マイクロビームフォーマ12の機能は、アナログ信号経路の数を減少させるために信号の初期の組み合わせを提供することである。これは、典型的にはアナログ領域で実行される。

最終的なビーム成形は、メインビームフォーマ20で行われ、典型的にはデジタル化後である。

送信及び受信チャネルは、固定周波数帯域を有する同じトランスデューサアレイ6を使用する。しかしながら、送信パルスが占める帯域幅は、使用される送信ビームフォーミングに応じて変化し得る。受信チャネルはトランスデューサ帯域幅全体(これは古典的なアプローチ)を捕捉することができ、又は帯域処理を使用することによって、所望の情報(例えば、メイン高調波の高調波)を有する帯域幅のみを抽出することができる。

それから、RF信号は、Bモード(すなわち、輝度モード、又は2D撮像モード)プロセッサ26及びドップラープロセッサ28に結合され得る。Bモードプロセッサ26は、器官組織及び血管のような身体内の構造の撮像のために、受信される超音波信号に対して振幅検出を実行する。ラインバイライン画像の場合、各ライン(ビーム)は関連するRF信号によって表され、その振幅はBモード画像内の画素に割り当てられるべき輝度値を生成するために使用される。画像内の画素の正確な位置は、RF信号に沿った関連振幅測定の位置と、RF信号のライン(ビーム)数によって決まる。このような構造のBモード画像は、米国特許第6,283,919号(Roundhillら)及び米国特許第6,458,083号(Jagoら)に記載されているように、高調波又は基本波画像モード、又は両方組み合わせで形成することができる。ドップラープロセッサ28は画像フィールド内の血球の流れのような動く物体の検出のために、組織の動き及び血流から生じる時間的に異なる信号を処理する。ドップラープロセッサ28は、典型的には体内の選択される種類の材料から返されるエコーを通過させるか又は拒絶するように設定されるパラメータを有するウォールフィルタを有する。

Bモード及びドップラープロセッサによって生成される構造及び動き信号は、スキャンコンバータ32及びマルチプレーナリフォーマッタ44に結合される。スキャンコンバータ32は、エコー信号を所望の画像フォーマットで受信した空間関係に配置される。換言すれば、スキャンコンバータはRFデータを、円筒座標系から、超音波画像を画像ディスプレイ40に表示するのに適した直交座標系に変換するように作用する。Bモード撮像の場合、所与の座標における画素の明るさは、その位置から受信されるRF信号の振幅に比例する。例えば、スキャンコンバータは、エコー信号を二次元(2D)セクタ形状フォーマット又はピラミッド状三次元(3D)画像に配置することができる。スキャンコンバータは、画像フィールド内の点における動きに対応する色でBモード構造画像をオーバレイすることができ、所与の色を生成するためにドップラ推定速度が得られる。組み合わされるBモード構造画像及びカラードップラ画像は、構造画像フィールド内の組織及び血流の動きを描写する。
マルチリフォーマッタは米国特許第6,443,896号(Detmer)に記載されているように、身体の体積領域内の共通平面内の点から受け取ったエコーをその平面の超音波画像に変換する。ボリュームレンダラ42は米国特許第6,530,885号(Entrekinら)に記載されているように、3Dデータセットのエコー信号を所与の基準点から見た投影3D画像に変換する。

2D又は3D画像は、スキャンコンバータ32、マルチプレーナリフォーマッタ44、及びボリュームレンダラ42から画像処理装置30に結合され、画像ディスプレイ40上に表示するために、更に強調、バッファリング、及び一時記憶される。撮像プロセッサは例えば、強い減衰器又は屈折によって引き起こされる音響シャドーイング、例えば、弱い減衰器によって引き起こされる後方強調、例えば、高反射性組織界面が近接して位置する場合の残響アーチファクト等のような、特定の撮像アーチファクトを最終的な超音波画像から除去するように適合されてもよい。さらに、画像プロセッサは最終的な超音波画像のコントラストを改善するために、特定のスペックル低減機能を処理するように適合されてもよい。

撮像に使用されることに加えて、ドップラープロセッサ28によって生成される血流値及びBモードプロセッサ26によって生成される組織構造情報は、定量化プロセッサ34に結合される。定量化プロセッサは、器官のサイズ及び妊娠期間などの構造的測定に加えて、血流の体積速度などの異なる流動状態の測定値を生成する。定量化プロセッサは、測定値が行われるべき画像の解剖学的構造内の点のような、ユーザ制御パネル38からの入力を受け取ることができる。

定量化プロセッサからの出力データは、ディスプレイ40上の画像を用いて測定グラフィックス及び値を再生するため、及びディスプレイ装置40からのオーディオ出力のために、グラフィックスプロセッサ36に結合される。グラフィックスプロセッサ36は、超音波画像と共に表示するためのグラフィックオーバーレイを生成することもできる。これらのグラフィックオーバーレイは、患者名、画像の日時、撮像パラメータ等の標準的な識別情報を有することができる。これらの目的のために、グラフィックプロセッサは、患者名のような入力をユーザインターフェース38から受け取る。また、ユーザインタフェースはトランスデューサアレイ6からの超音波信号の生成、したがって、トランスデューサアレイ及び超音波システムによって生成される画像の生成を制御するために、送信コントローラ18に結合される。コントローラ18の送信制御機能は、実行される機能の1つに過ぎない。コントローラ18はまた、動作モード(ユーザによって与えられる)と、受信器アナログ－デジタル変換器における対応する必要な送信機構成及び帯域通過構成とを考慮する。コントローラ18は、固定状態を有するステートマシンとすることができる。

ユーザインターフェースは、MPR画像の画像フィールドにおいて定量化される測定を実行するために使用され得る複数のマルチプレーナリフォーマット(MPR)画像のプレーンの選択及び制御のために、マルチプレーナリフォーマッタ44にも結合される。

図2は、超音波画像内のツールの位置を監視するための方法100を示す。

この方法は、ステップ110において、複数の2D超音波画像の取得で始まる。複数の2D超音波画像は、図1を参照して上述したプローブのような超音波プローブ4によって捕捉することができる。

複数の2D超音波画像は、ツールの近傍で捕捉され、これは複数の2D超音波画像の少なくとも1つがツールの少なくとも一部を有することを意味する。一例として、ツールは、所与の標的領域から組織サンプルを収集するために使用される針であってもよい。標的領域の近傍から複数の2D超音波画像を取得することによって、針は、画像の少なくとも1つに捕捉されることになる。

それから、この方法はステップ120に進み、複数の2D超音波画像に基づいて3D超音波画像が生成される。2D超音波画像は、初期フリーハンド収集中に捕捉されてもよい。それから、2D超音波画像は画像スライスを形成することができ、ここで、完全な3D超音波画像を生成するために、画像データは、画像間で補間されてもよい。

3D超音波画像は、任意の適切な方法を使用して、複数の2D超音波画像から生成されてもよい。例えば、3D超音波画像は、R. Prevost らの 「3D freehand ultrasound without external tracking using deep learning」（Medical Image Analysis 48(2018)， 187－202）に記載されているような外挿法を使用して生成されてもよい。代わりに、Liu, G.ら(2018)の「Image Inpainting for Irregular Holes Using Partial Convolutions.」（ [online] Arxiv.org. Available at: https://arxiv.org/abs/1804.07723 [Accessed 10 Sep. 2018]）に記載されているような画像インペインティング方法を用いて3D超音波画像が生成されてもよい。

ステップ130において、ツールの第1の位置が3D超音波画像内で識別される。

画像ベースのツール検出技法は、3Dモデルにおいて、針などのツールを位置特定する。構築される3D体積内のツールローカライゼーションは、ツールの十分な長さがモデル内に捕捉されるとすぐに正常に実行され得る。2D USトランスデューサに対する針の相対位置は、完全なツールを正しく可視化するためにトランスデューサの操作を最適化するためにユーザに提供されてもよい。

3D超音波画像内のツールを識別するための潜在的な方法は、以下にさらに説明される図3を参照して、以下に議論される。

ステップ140において、更なる2D超音波画像が取得される。さらに、更なる2D超音波画像の取得中の超音波プローブの位置に関する位置情報が記録される。

例えば、複数の2D超音波画像の取得に続いて、ユーザは更なる2D超音波画像を捕捉するために、超音波プローブを動かすことができる。換言すれば、更なる2D超音波画像は、異なるトランスデューサ位置から複数の2D超音波画像の位置まで受信されてもよい。

言い換えると、更なる2D超音波画像の取得に先立つ超音波トランスデューサの位置の変化を決定し、位置情報の少なくとも一部を形成することができる。このようにして、3D超音波画像に対する付加的な2D超音波画像の位置を知ることができる。

超音波トランスデューサの位置の変化は、ブロックマッチング、特徴追跡、動き追跡、スペックル非相関化、特徴利用、機械学習、及び深層学習の1つ又は複数を使用して決定することができる。

動き追跡は、アドオン加速度計、超音波プローブに組み込まれた加速度計、又は位置センサ(例えば、光学運動センサ)などの専用運動センサによって実行することができる。

なお、動き追跡は、画像処理のみを用いて行ってもよい。例えば、横方向(被験者の表面を横切る方向)におけるトランスデューサの動きは、動き推定のために、2D超音波画像のような画像のシーケンス内のマッチングマクロブロックを位置決めする方法であるブロックマッチングアルゴリズムを使用して追跡されてもよい。このアルゴリズムは、画像、例えば、更なる2D超音波画像をマクロブロックに分割し、各マクロブロックを別の画像、例えば、複数の2D超音波画像の1つの対応するマクロブロックと比較することを有する。次に、1つの位置から別の位置へのマクロブロックの動きをモデル化するベクトルが生成される。それから、ベクトルを使用して、複数の2D超音波画像の取得と更なる2D超音波画像との間の超音波プローブの位置の変化を推定することができる。

さらに、仰角方向(被験者の表面に向かって、及びその表面から離れる方向)へのトランスデューサの動きも追跡され得る。超音波ビームはトランスデューサの仰角分解能によって規定される特定の厚さを有し、エコーは、ビームが組織構造と重なる各ビーム位置で画像平面に記録されることが知られている。この概念は、図4A及び4Bを参照してさらに説明され、以下でさらに説明される。

従って、トランスデューサが仰角方向に移動するとき、ビーム幅の厚さ内の構造の全てが異なる強度で画像平面上にレジストレーションされ、構造はビーム幅の中間に位置するときに最大強度を示し、ビームの重なりが最小のときに最小強度を示す。これにより、スペックルの相関除去(Li、M．の「2－Dスキャンデータを用いた3－D医用撮像のためのシステム及び方法」（米国特許第5，582，173号、出願番号529778(1995)）及びHassan Rivazらの「センサレスフリーハンド3D超音波のための新たな再構成及び特徴利用技術」（Proc. SPIE 7629, Medical Imaging 2010: Ultrasonic Imaging, Tomography, and Therapy, 76291D (12 March 2010)）に記載)及び特徴利用（R. James Housdenらの「非拘束フリーハンド3D超音波のセンサレス再構成」（Ultrasound in Medicine & Biology, Volume 33, Issue 3, 2007, Pages 408-419, ISSN 0301-5629））のような画像処理技術を用いて、画像平面から徐々に出現及び消滅する構造の追跡が可能になる。さらに、プローブの動きを推定するために、画像解析のために機械学習及び／又は深層学習アプローチを採用することが可能である。

さらに、超音波ビーム幅の厚さは、種々の追跡アルゴリズムの精度及び堅牢性を改善するために増加させることができる。

更なる2D超音波画像の位置情報は、超音波トランスデューサに関連する並進及び方向情報の両方を有することができる。並進は横方向又は仰角方向であってもよく、方向は超音波プローブの傾斜又は回転を含んでもよい。換言すれば、2D超音波画像の取得中に、超音波プローブの位置及び方向の両方を追跡することが可能である。

ステップ150では、ステップ140で取得される更なる2D超音波画像に基づいて、3D超音波画像が更新される。

更なる2D超音波画像は、複数の2D超音波画像の以前に取得される2D超音波画像に関するその相対位置及び方向を用いて、3D超音波画像にレジストレーションすることができる。それから、3D超音波画像を更新して、以前の2D超音波画像取得から構築される取得関心領域をモデル化することができる。3D超音波画像は、複数の2D超音波画像を用いて元の3D超音波画像が生成される態様と同様の方法で更新されてもよい。

言い換えれば、更なる2D超音波画像が取得されると、その位置は、生成される3D超音波画像に関して決定される。それから、3D超音波画像は、更なる2D超音波画像及びその位置情報を使用して更新される。

本方法はステップ160に進み、ここで、更なる2D超音波画像に対するツールの位置が、更新される3D超音波画像の撮像データのみに基づいて、更新される3D超音波画像内で識別される。

撮像データは、3D超音波画像の生成に関連する何れかのデータを有することができる。例えば、撮像データは複数の2D超音波画像の画素値、更なる2D超音波画像の画素値、3D超音波画像のボクセル値、更新される3D超音波画像のボクセル値、超音波プローブの撮像パラメータ、超音波画像に関連するメタデータ、画像捕捉中の超音波プローブの位置及び／又は方向、超音波画像に関連するユーザ入力、超音波画像内のセグメント化される構造等を有することができる。

例えば、ツールの位置は、複数の2D超音波画像及び更なる2D超音波画像の画素値のみに基づいて識別可能である。代替的に又は追加的に、ツールの位置は、更新される3D超音波画像のボクセル値に基づいて識別されてもよい。

言い換えれば、ツールの位置は、新たに取得される2D超音波画像に関して(3D超音波画像内で)決定される。

ツールの動きは、主に、被験者の組織内に位置するときに、所与の平面に制限される。従って、ツールが3D超音波画像内に位置する平面の位置は、ツールが移動するときに新たに取得される2D画像に関して大きく変化しない。

しかしながら、超音波画像を取得するために使用されるトランスデューサは制限されていない移動範囲を有するので、ツールに対するトランスデューサの位置は著しく変化し得る。

従って、トランスデューサの相対位置の識別(更なる2D超音波画像を取得するとき)及びツールは、所望の領域を撮像するためのトランスデューサと所望の領域に到達するためのツールとの両方の操作においてユーザをガイドする役割を果たしてもよい。

例として、組織サンプルは、被験体内の腫瘍から採取される必要があり得る。この場合、針のようなツールは腫瘍の既知の位置に近接したユーザによって挿入され、超音波トランスデューサはツール及び腫瘍を囲む領域を撮像するために使用される。

超音波トランスデューサは複数の2D超音波画像を取得し、この複数の2D超音波画像に基づいて3D超音波画像が生成される。針の位置は、3D超音波画像内で識別され、ユーザに示されてもよい。

ユーザはその後、更なる2D超音波画像を捕捉するために、超音波トランスデューサを動かすことができる。例えば、完全な腫瘍は、元の3D超音波画像内に含まれなくてもよい。したがって、ユーザは、所望の領域の画像を取得するためにトランスデューサを動かすことができる。新たに取得される2D超音波画像の位置は、ユーザに表示するために3D超音波画像を更新するために決定され、使用されてもよい。

さらに、ツールに対する新たに取得される2D超音波画像の位置も識別される。それから、これは、新たに取得される2D超音波画像内の領域とツールとの間の変位の指標を提供することができる。したがって、ユーザには、更なる2D超音波画像において撮像される領域にツールをどのように移動させるかの誘導を提供することができる。

ツール識別は、ステップ130のように実行されてもよい。画像ベースのツール検出技術は、2D USトランスデューサの現在の位置に関して、針のようなツールを3Dモデル内に定位させる。もう一度、潜在的なツール検出技術を、図3を参照して以下に説明する。

ステップ160に続いて、本方法は、新たな更なる2D超音波が取得されるステップ140に戻ることができる。換言すれば、3Dモデルは繰り返し更新され、ツールの位置は入力される2D超音波画像のシーケンスに基づいて追跡されてもよい。

さらに、ツールの第2の位置及び3D超音波画像をユーザに表示することができ、それによって、ユーザは、ツール及び超音波プローブを所望の位置に到達するように正確に操作することができる。

代わりに、トランスデューサの位置及び方向がツールを有する関心領域の1回限りの完全な3D超音波体積を構築するように決定されてもよい。それから、画像ベースのツール検出システムを利用して、体積内の他の重要な構造に関して3Dで針を可視化する。これは、注射又は生検の実施などの処置のために、ユーザが針先端の正確な配置に関する確認を求めているときに利用することができる。

図3は図2のステップ130をより詳細に示し、ここで、ツールの第1の位置は、3D超音波画像内で決定される。

ステップ132では、複数の2D超音波画像を用いて生成される3D超音波画像から一組の平面セクションが得られる。平面セクションは、超音波画像システムによって放射される超音波の透過方向に垂直でツールの下方に位置する生成される3D体積のセクションを表す。ツールの影は、3D画像のこれらの平面セクションにおいて最も見える。従って、ツールの位置を特定するためにこれらの平面セクションを使用することにより、ツール影の高速かつ正確な識別が可能になる。平面セクションは、3D画像の異なる深さで得られ、平面セクションのセットを提供する。平面セクションは単に、取得される複数の2D超音波画像であってもよい。

ステップ134では、ステップ132で得られた平面セクションを分析して、ツールの影を表し得る平面セクションの暗領域を検出する。ツールの下のセクションでは、ツールの影が3D画像の隣接する領域と比較して比較的暗い楕円形のブロブとして現れる。画像をノイズ除去し、負値スレッショルド、ライン検出、又はセグメンテーション技法などの分析技術を実行した後、ツール影に典型的な特性を有する暗い領域を識別することができる。さらなる強調は、暗領域のサイズ、幅及び形状を調べることによって実施されてもよく、ツールのサイズ、幅及び形状は既知であるため、影の期待されるサイズ、幅及び形状を計算することができることを意味する。しかしながら、平面セクションに存在するすべての暗領域がツールの影に対応するわけではない。したがって、検出される暗い領域のいくつかは、ツール影の一部を形成しない。

ステップ136では、ステップ134で検出される暗領域が処理されて、暗領域のどれがツール影に対応するかが識別される。少なくとも1つのツール影領域を識別することによって、体積の軸に沿った針の全長を表す3D超音波画像の平面の位置を決定することができる。

ツールセクション平面の位置は、単一の検出されるツール影領域、又は検出される全体的な影を一緒に形成する異なる平面セクションからの複数のツール影領域の位置に基づいて決定されてもよい。

ツールの影に対応する暗い領域を識別するために、平面セクションを処理する様々な方法がある。これらのツール影領域は、検出される暗い領域のサブセットである。このサブセットを識別するために、ランダムサンプル及びコンセンサスアルゴリズム(RANSAC)が、データセット上で実行される。RANSAC法では、フィッティングモデルが決定され、どの要素がフィッティングモデルと一致するかを決定するために、データセットの要素がチェックされる。ツール影領域サブセットは、最小限の外れ値を持つデータセットのサブセットである。

一例では、ツール影領域サブセットを位置決めするために、可能なツール平面が選択され、可能なツール平面セクションと一致するツール平面セクションに垂直なセクション内の検出される暗領域の数がカウントされる。代わりに、又は付加的に、可能なツール平面セクションと一致する暗領域を有する超音波画像システムによって放射される超音波の透過方向に垂直なセクションの数がカウントされる。

最大数のインライアを有する可能なツール平面が識別されるまで、このプロセスは数回繰り返されてもよく、これは実際のツール平面である。ツール平面セクションと交差する暗領域は、ツール影全体を形成するツール影領域である。従って、ツール影全体を有する平面を識別することにより、ツール影領域に基づいてツール平面セクションの方向は決定される。

ステップ138では、超音波ビームに並列で、検出される全体的な影の全長を有する体積のセクションが計算される。この部分はツール平面であり、全長針及び先端を含む。また、針の他の図は、ツール平面セクションの位置に基づいて配置されてもよい。このようにして、ツールの第1の位置を3D超音波画像内で識別することができる。さらに、この方法は、3D超音波画像内のツールの第2の位置を識別するために繰り返されてもよい。

図4Aは、ビーム幅xを有する超音波ビーム210を生成するための超音波トランスデューサ200を示す。撮像平面200は、超音波ビームの中心に示されている。

図4Bは一連の画像を示し、撮像標的230は超音波ビーム210内の様々な位置に位置し、波のピークは、超音波ビームの中心を表す。さらに、超音波ビーム内の所定の位置に位置するときに標的によって生成されるエコーの強度の表現が示されている。標的が位置1及び5に位置する場合、強度は最小であり、一方、標的が位置3(波のピークであり、したがって超音波ビームの中心)に位置する場合、エコー強度は最大である。

開示される実施形態に対する変形は図面、開示、及び添付の特許請求の範囲の検討から、特許請求される発明を実施する際に当業者によって理解され、実施されることができる。特許請求の範囲において、単語「有する」は他の要素又はステップを排除するものではなく、不定冠詞「a」又は「an」は複数を排除するものではない。単一のプロセッサ又は他のユニットは、特許請求の範囲に列挙されるいくつかのアイテムの機能を満たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。コンピュータプログラムは他のハードウェアと一緒に、又はその一部として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体上に記憶／配布することができるが、インターネット又は他の有線もしくは無線電気通信システムなどを介して、他の形態で配布することもできる。特許請求の範囲におけるいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。

Claims (15)

1. 超音波画像におけるツールの位置を監視するためのシステムの作動方法であって、前記システムは、超音波トランスデューサ及びプロセッサを有し、前記方法は、
   前記超音波トランスデューサが、複数の2D超音波画像を取得するステップであって、前記複数の2D超音波画像の少なくとも1つは前記ツールの一部を有する、ステップと、
   前記プロセッサが、前記複数の2D超音波画像に基づいて3D超音波画像を生成するステップと、
   前記プロセッサが、前記3D超音波画像内の前記ツールの第1の位置を識別するステップと、
   前記プロセッサが、更なる2D超音波画像及び前記更なる2D超音波画像の捕捉中の前記超音波トランスデューサの位置に関する位置情報を取得するステップと、
   前記プロセッサが、前記更なる2D超音波画像及び前記位置情報に基づいて前記3D超音波画像を更新するステップと、
   前記プロセッサが、前記更新される3D超音波画像の撮像データのみに基づいて前記更新される3D超音波画像内の前記更なる2D超音波画像に対する前記ツールの位置を識別するステップであって、前記撮像データは、3D超音波画像の生成に関連する何れかのデータを有する、ステップと
   を有する、方法。
2. 前記ツールの前記位置を識別するステップは、
   前記プロセッサが前記更新される3D超音波画像内のツール影を識別するステップと、
   前記プロセッサが前記ツール影に基づいて前記ツールの前記位置を識別するステップと
   を有する、請求項1に記載の方法。
3. 前記更なる2D超音波画像は、異なるトランスデューサ位置から前記複数の2D超音波画像の前記位置まで受信され、前記方法は、前記プロセッサが前記超音波トランスデューサの位置における変化を決定するステップをさらに有し、前記位置における変化は、前記位置情報の少なくとも部分を形成する、請求項1乃至2の何れか一項に記載の方法。
4. 前記超音波トランスデューサの位置における変化の前記決定は、
   ブロックマッチング
   特徴追跡、
   運動追跡、
   スペックル非相関、
   特徴利用、
   機械学習、及び
   深層学習
   の一つ又はそれより多くを使用して実行される、請求項3に記載の方法。
5. 前記更なる2D超音波画像の前記位置情報は、前記超音波トランスデューサに関する並進情報を有する、請求項1乃至4の何れか一項に記載の方法。
6. 前記更なる2D超音波画像の前記位置情報は、前記超音波トランスデューサに関する方向情報を有する、請求項1乃至5の何れか一項に記載の方法。
7. 前記方法は、前記システムがディスプレイを有し、前記ディスプレイが前記更新される3D超音波画像内の前記更なる2D超音波画像に対する前記ツールの前記位置をユーザに表示するステップをさらに有する、請求項1乃至6の何れか一項に記載の方法。
8. 前記方法は、前記ディスプレイが前記更新される3D超音波画像を前記ユーザに表示するステップをさらに有する、請求項7に記載の方法。
9. コンピュータプログラムであって、前記コンピュータプログラムがコンピュータ上で実行されるとき、請求項1乃至8の何れか一項に記載の方法を実行するように適合されるコンピュータプログラムコード手段を有する、コンピュータプログラム。
10. 超音波画像内のツールの位置を監視するように適合される超音波撮像システムであって、前記システムは、
    複数の2D超音波画像を取得するように適合される超音波トランスデューサを有し、前記複数の2D超音波画像の少なくとも1つが前記ツールの一部を有する、超音波プローブと、
    プロセッサであって、前記プロセッサは、
    前記複数の2D超音波画像に基づいて3D超音波画像を生成し、
    前記3D超音波画像内の前記ツールの第1の位置を識別し、
    前記超音波プローブによって取得される更なる2D超音波画像と、前記更なる2D超音波画像の捕捉中の前記超音波トランスデューサの位置に関する位置情報とに基づいて前記3D超音波画像を更新し、
    前記更新される3D超音波画像の撮像データのみに基づいて前記更新される3D超音波画像内の前記更なる2D超音波画像に対する前記ツールの位置を識別する
    ように構成されるプロセッサであって、前記撮像データは、3D超音波画像の生成に関連する何れかのデータを有する、プロセッサと
    を有する、超音波撮像システム。
11. 前記プロセッサは、
    異なるトランスデューサ位置から前記複数の2D超音波画像に対する前記位置まで前記更なる2D超音波画像を受信し、
    前記超音波プローブの位置の変化を決定し、位置における前記変化は、前記位置情報の少なくとも部分を形成する
    ように更に適合される、請求項10に記載のシステム。
12. 前記システムは、前記位置情報を取得するように適合されるセンサをさらに有する、請求項10乃至11の何れか一項に記載のシステム。
13. 前記センサは、加速度計又は位置センサである、請求項12に記載のシステム。
14. 前記システムは、前記更新される3D超音波画像内の前記更なる2D超音波画像に対する前記ツールの前記位置をユーザに表示するように適合されるディスプレイをさらに有する、請求項10乃至13の何れか一項に記載のシステム。
15. 前記ディスプレイは、前記更新される3D超音波画像を前記ユーザに表示するようにさらに適合される、請求項14に記載のシステム。

Images