JP2004507298A - Ultrasound diagnostic system with spatially synthesized panoramic images - Google Patents

Abstract

変換器がパノラマ画像範囲に関して移動するので、複数の異なる視線方向に電子的に操舵されるビームによって空間的に合成されたパノラマ超音波画像を生成する方法及び装置が記載されている。この入力されるエコー情報は、空間的に合成されたパノラマ画像を形成するために、合成され、その後、整列され、事前に取得されたエコー情報と結合される。代わりに、この入力されるエコー情報は、事前に取得されるエコー情報で整列されてもよく、その後、空間結合及びパノラマ画像を１つの処理で生成するように結合される。As the transducer moves with respect to the panoramic image area, a method and apparatus for generating a spatially synthesized panoramic ultrasound image with beams steered electronically in a plurality of different viewing directions is described. The input echo information is combined, then aligned and combined with the previously acquired echo information to form a spatially synthesized panoramic image. Alternatively, this incoming echo information may be aligned with the pre-acquired echo information and then combined to produce a spatial combination and a panoramic image in one process.

Description

【０００１】
【発明の属する技術分野】
本発明は、超音波診断画像システム、特に空間的に合成されたパノラマ画像（ｐａｎｏｒａｍｉｃ ｉｍａｇｅ）を生成する超音波診断画像システムに関する。
【０００２】
【従来の技術】
現在商業的に利用可能である超音波画像を処理及び表示する方法は、延在される視界又はパノラマ撮像として知られている。基本的なリアルタイム撮像モードにおいて、超音波変換器は、この変換器の開口（ａｐｅｒｔｕｒｅ）のすぐ前の身体の領域のリアルタイム画像を生成する。この変換器が身体上の他の位置へ移動するとき、画像は、新しい位置における変換器の開口の前方の領域の画像となる。すなわち、この変換器が身体に沿って移動するにつれて、超音波システムは、どんな任意の瞬間においても、変換器の開口の前方の領域の現在の画像を連続して生成する。パノラマ撮像は、変換器の開口の開始位置並びに終了位置、及びその間の全ての位置を含む変換器の開口の前方にあった領域の全てに及ぶ合成画像を生成する。パノラマ撮像は、Ｂアーム超音波スキャナによって初めは１２年以上も前から行われていて、このスキャナは、変換器が移動するにつれて、走査ラインを送り、受信する。各走査ラインの空間位置は、Ｂアーム内の位置センサによりトラッキングされ、走査ラインはその後、変換器の経路の下にある連続画像を形成するように組み立てられる。今日の商業的システムにおいて、使用される変換器は、連続的に走査し、画像フレームを取得するアレイ変換器である。Ｂアームの必要性は、それらの共通（重畳）する画像内容に基づいて連続する画像フレームを相関させることにより得られる。アレイ変換器は、連続する画像フレームが重畳し、同一平面（ｃｏ−ｐｌａｎｅｒ）にあるように経路を移動するとき、画像フレームを互いに整列させるのに一般的に十分な相関がある。整列される画像フレームは、変換器の移動経路の下にある組織の連続画像を形成するために、一緒に組み立てられる。パノラマ画像は、例えば米国特許番号第７，７８２，７６６号に記載の方法及び装置によってこのように生成される。
【０００３】
米国特許番号第５，５３８，００４号は、フレーム間の配列を利用する他の超音波表示技術を示す。この特許において、各々の新しいリアルタイム画像は先行する画像と整列され、次いで、変換器が異なる方位から病変部を眺める場合でも、観察者は同じ空間基準からの画像における組織を常に見ているように必要に応じて回転させる。この結果が画像安定化効果である。米国特許番号第５，５３８，００４号の出願人は、画像整列処理が例えば合成のような他の画像改善手順に用いられることを認識している。米国特許番号第５，５６６，６７４号において、この延在は、当該特許の図１に立証されるような異なる変換器の位置から身体の同じ組織の画像を取得することにより行われる。これら画像が整列され、その後、減少するシャドウィング及びスペックル（ｓｐｅｃｋｌｅ）を持つ新しい画像を形成するために合成される。
【０００４】
【発明が解決しようとする課題】
上記システムの好ましい特性の全てを結合する画像技術、すなわちシャドウィング及びスペックルが合成することにより減少するパノラマ画像を持つことが好ましい。しかしながら、異なる変換器の位置から画像を取得する、米国特許番号第５，５３８，００４号及び第５，５６６，６７４号により提示される技術は、数多くの欠点を有する。パノラマ撮像に対し変換器が移動する多くの経路は、例えば伏在静脈を撮像するときの脚のようにほぼ直線的である。前記画像のポイントがフレーム間の画像フレームの異なる走査ラインによって調べられる一方、２つの走査ラインの開口は、これら重畳する画像領域の走査ラインが略平行であるので、通常は高い相関性を持ち、あるならば合成効果を僅かに生成する。例えば腹部のような身体の他の領域において、胴体は一般的に、大きすぎる減衰を持つほど大きいので、身体の両側から同じ組織を見ることができない。従って、合成に必要とされる組織を考慮して、相違点は、単に変換器を移動するのではしばしば得られない。もしそれらができたとしても、それらを取得するのに必要とされる変換器の変位、組織の変形によって生じるこの変換器からの歪み及び２つの眺めが同一平面とはならない、故に相関しない可能性は、パノラマ撮像位置合わせアルゴリズムが失敗する可能性を全て増大させる。これらの欠点を持たない空間的に合成されたパノラマ画像を生成可能にすることが望まれる。
【０００５】
【課題を解決するための手段】
本発明の原理に従い、空間的に合成されたパノラマ超音波画像は、アレイ変換器が走査すべき領域に関して移動されるので、画像を取得することによって生成される。変換器が移動するので、走査ラインは、この変換器に対し複数の視線方向に電子的に操舵される。これら電子的に操舵された走査ラインは、空間的に合成されたパノラマ画像を形成するために整列され、結合される空間的に合成された画像を形成するために結合される。ある実施例において、空間的に合成された画像が初めに形成され、その後、パノラマ画像を形成するために整列され、結合される。他の実施例において、異なる視線方向の要素画像フレームが整列され、その後、ある結合ステップにおいて、空間的に合成されたパノラマ画像を形成するために結合され、このステップは、変換器の動きによるぼやけ（ｂｌｕｒｒｉｎｇ）を減少させる。最初のアプローチにおいて、空間的に合成された画像は、視線方向の完全なシーケンス毎に１回、新しい視線方向毎に１回又は視線方向の部分的な新しいシーケンスが走査された後の割合で生成される。
【０００６】
【発明の実施の形態】
図１は、本発明に従うパノラマ走査を示す。走査ヘッド１０は、この走査ヘッドの移動経路の下にある組織及び血管９２，９４，９６のパノラマ画像を生成するために身体の表面９４に沿って移動される。一般に、超音波用の接触媒質（図示せず）は、走査ヘッドの滑動と、この走査ヘッドと身体との間の超音波の進行との助けとなるように、この走査ヘッドと皮膚表面との間に与えられる。走査ヘッドはアレイ変換器１２を含み、この走査ヘッドは一般的に、連続する画像がある共通の画像内容を持つように、１４に示されるような変換器の画像平面に沿って移動する。走査ヘッドが移動するので、アレイ変換器は、複数の視線方向へ電子的に操舵される超音波ビームを送信及び受信するように動作する。図１は、Ａ，Ｂ及びＣで示される走査ラインによる３つのビーム操舵方向を示す。Ａの走査ラインは左に操舵され、Ｂの走査ラインは右に操舵され、Ｃの走査ラインはアレイ変換器から真っ直ぐ前方に操舵される。本実施例は、説明を明瞭にするために３つの操舵方向だけしか示さないが、構成される実施例において、９個までの異なる操舵方向が使用される。図１は、操舵された線形アレイ変換器の使用を説明しているが、米国特許出願（出願シリアル番号０９／５７７，０２１）に示されるような操舵された位相アレイ変換器又は操舵された湾曲アレイ変換器が用いられてもよい。多数のビームによって調べられる（ｉｎｔｅｒｒｏｇａｔｅ）身体のポイントは、このポイントからのエコー（ｅｃｈｏ）が結合されるときの空間合成の改善される画質を与えるために、大きく異なった視線方向で見られるように、このビーム操舵角は充分に異なる。異なって操舵されるビームの送信及び受信は、どんな順序でインターリーブされてもよいが、好ましい実施例において、同じ操舵方向の走査ラインからなる要素画像フレームは、以下に論じるように連続して取得される。走査ヘッドが図に示されるような方向１４へ移動するので、この走査ヘッドの下にある組織及び血管は、この図の右側部分９０に示されるような多数の視線方向の走査ラインを重複することにより調べられる。共通のポイントからのエコーは、空間合成を生成するために結合され、走査ヘッドの移動経路の下にある走査ラインは、空間的に合成されたパノラマ画像を生成するために１つの画像に組み立てられる。
【０００７】
この走査技術の利点は、空間的結合効果が信頼して得られるように、対象となっている組織が多数の既定の視線方向から素早く電子的に走査されることである。例えば脚部を下がるような、身体の平面に沿ったビーム操舵無しに線形のアレイ変換器を動かすことは、画像内のポイントが同じ視線方向から常に見られるような空間合成効果を生じさせない。アレイ変換器が沿って移動する身体の表面が湾曲している又はでこぼこである場合、ある空間合成が起こるが、前記効果は、変換器が移動した移動経路及び距離の不規則さの関数であるから、極端に変化し、画像の多くの領域が全く空間合成効果を示さない。ビーム操舵を持たない湾曲したアレイを用いたとしても、単に空間合成効果を生成するだけであり、あったとしても、それは変換器による移動距離の強い関数となる。電子ビーム操舵は、この変動の多くを削除することができ、全体のパノラマ画像に沿ってより一様な空間合成効果を確実に生じさせる。更なる利点は、素早く電子的に操舵される視線方向からのエコーを合成することは、パノラマ画像を作成している間、要素フレームの正確な位置合わせに頼る必要は無いことであり、これは基本画像の誤った位置合わせによって起こるぼやけ（ｂｌｕｒｒｉｎｇ）によるパノラマ画像結合に対する平均化を使用する限定因子によくなる。
【０００８】
図２を参照すると、本発明の原理に従って構成される超音波診断撮像システムが示されている。アレイ変換器１２を含む走査ヘッド１０は、破線の長方形及び平行四辺形により示される画像領域に異なる角度でビームを送信する。各グループが走査ヘッドに対し異なる角度で操舵されるＡ，Ｂ及びＣと付けられた走査ラインの３つのグループがこの図に示されている。ビームの送信は、送信器１４によって制御され、この送信器は、既定の原点から、前記アレイ変換器に沿って、既定の角度で各ビームを送信するために、アレイ変換器の素子の各々の位相及び始動時間を制御する。各走査ラインに沿って戻ってくるエコーは、前記アレイ変換器の素子により入力され、アナログ−デジタル変換をすることによりデジタル化され、デジタルビーム形成器１６に結合される。このデジタルビーム形成器は、各走査ラインに沿って集束されるコヒーレントデジタルエコーサンプルのシーケンスを形成するように前記アレイ変換器からのエコーを遅延させ、合計する。送信器１４及びビーム形成器１６は、システム制御器１８の制御下で動作し、この制御器は、超音波システムのユーザにより操作されるユーザーインターフェース２０における制御の設定に順に応答する。このシステム制御器は、所望の角度で所望する数の走査ラインのグループ、送信エネルギー及び周波数を送信するように送信器を制御する。このシステム制御器もデジタルビーム形成器を用いられる開口及び画像の深度に対する入力されたエコー信号を適当に遅延させ、結合するように制御する。
【０００９】
走査ラインエコー信号は、プログラム可能なデジタルフィルタ２２によってフィルタリングされ、このフィルタは、対象となる周波数の帯域を規定する。高調波造影剤の撮像又は組織の高調波撮像を実行するとき、フィルタ２２の通過帯域は、送信帯域の高調波を通過するように設定される。フィルタリングされた信号は、その後、検出器２４によって検出される。好ましい実施例において、フィルタ及び検出器は、入力される信号が多数の通過帯域に分割され、それぞれ検出され、周波数合成によって画像のスペックルを減少させるように再結合されるように、多数のフィルタ及び検出器を含んでいる。Ｂモード撮像に対し、検出器２４は、エコー信号の包絡線の振幅検出を実行する。ドップラー撮像に対し、エコーの集合が画像内の各ポイントにおいて検出され、組み立てられ、ドップラー変位又はドップラー電力強度を概算するためにドップラー処理される。
【００１０】
本発明の原理に従って、デジタルエコー信号は、処理器３０において空間的結合をすることにより処理される。これらデジタルエコー信号は、プリプロセッサ３２によって最初に前処理される。このプリプロセッサ３２は、所望するなら重み因子で信号サンプルを先に重み付けすることも可能である。これらサンプルは、特定の合成画像を作成するのに用いられる要素フレームの数の関数である重み因子によって先に重み付けられることが可能である。このプリプロセッサは、合成されたサンプル数又は画像数が変化する遷移をスムーズにするように、ある重複する画像の端部にあるエッジラインを重み付けることも可能である。この前処理された信号サンプルは、その後、リサンプラー（ｒｅｓａｍｐｌｅｒ）３４においてリサンプリングされる。このリサンプラー３４は、１つの要素フレームの概算又は表示空間のピクセルに対して空間的に再整列させることが可能である。これは、画像フレーム間に動きが存在する、画像内に動きが存在する、又は画像取得中に走査ヘッドの動きが存在するとき望ましい。しかしながら、以下に記載される実施例の多くは、この再整列が迂回され、基本画像がパノラマ画像を形成するように整列するとき、パノラマ画像処理器により実行される。
【００１１】
再サンプリング後、画像フレームは結合器３６により合成される。結合とは、合計、平均化、ピーク検出又は他の結合手段を有する。結合されているサンプルは、前記処理のこのステップにおいて結合される前に、重み付けされてもよい。最後に、後処理は、ポストプロセッサ（ｐｏｓｔ−ｐｒｏｃｅｓｓｏｒ）３８により実行される。ポストプロセッサは、結合された値を値の表示範囲に正規化する。後処理は、ルックアップテーブルによって最も簡単に実行することが可能であり、合成される値の範囲を合成画像の表示に適する値の範囲に圧縮及びマッピングを同時に行うことが可能である。
【００１２】
この合成処理は、概算データ空間又は表示ピクセル空間において実行されてもよい。これら合成画像は、概算形式又は表示ピクセル形式でメモリ（図示せず）に記憶される。概算形式で記憶される場合、画像は、表示用のメモリから再生されるとき、走査変換器４０によって走査変換される。これら走査変換器及びメモリは、米国特許番号第５，４８５，８４２号及び第５，８６０，９２４号に記載される空間的に合成された画像の三次元表示をさせるのに用いられてもよい。走査変換に続き、空間的に合成された画像は、表示のため、ビデオ処理器４４により処理され、画像表示器５０に表示される。
【００１３】
本発明の原理に従い、空間的に合成された画像データは、パノラマ画像を形成するのに用いられる。この画像データは、ＥＦＯＶ画像処理器７０に結合される。このＥＦＯＶ画像処理器は、概算データ（事前に走査変換された）画像又は表示データ（走査変換されたピクセルデータ）画像で動作し、パノラマモードの動作中に、それぞれ新しく取得された画像を入力し、以下により詳細に説明されるような、新しい画像と事前に取得されたパノラマ画像の基本画像との間の変位及び回転を計算する。ＥＦＯＶ画像処理器は、以下に記載されるような拡張画像メモリ７２において、事前に取得された基本画像での位置合わせにおける新しい画像を記憶する。パノラマ画像が新しい画像データを追加することによって延在される度に、拡張画像メモリ７２に記憶されるＥＦＯＶ画像データがこのメモリから抽出され、新しいパノラマ画像を形成するために結合器７４によって結合され、この結合器は、表示器５０で見るためのビデオ処理器４４に結合される。
【００１４】
図３は、図２の空間結合処理器３０の好ましい実施を説明する。この処理器３０は、一般用途のマイクロプロセッサ又はＣＰＵ、すなわち様々なやり方で画像データを処理する１つ以上のデジタル信号処理器６０によって好ましくは実施される。この処理器６０は、入力される画像データを重み付けすることが可能であり、例えば要素フレームから要素フレームへ空間的に整列するように画像データをリサンプリングすることが可能である。処理器６０は、個々の画像フレームをバッファリングする複数のフレームメモリ６２に、処理された画像フレームを向けさせる。フレームメモリ６２によって記憶されることが可能な画像フレームの数は、合成されるべき画像フレームの最大数、例えば１６個のフレームに少なくとも等しいことが好ましい。好ましくは、この処理器は、画像表示の深度、最大合成領域の深度、臨床応用、合成画像率、動作モード、走査ヘッドの動き、及び所与の瞬間に合成された画像の数を決める取得比率を含むパラメタを制御するよう応じる。この処理器は、累算器メモリ６４における合成画像として組み立てるためのフレームメモリ６２に記憶される要素フレームを選択する。新しい要素フレームを加えるときに一番古い要素フレームを取り除く、又は異なる合成画像を同時に累算する累算器メモリの様々な実施例は、米国特許出願（出願シリアル番号０９／３３５，１５９）に記載され、この米国特許出願の内容は参照することによってこれに含まれるものとする。累算器メモリ６４において形成された合成画像は、正規化回路６６によって重み付け又はマッピングされ、その後、所望の数の表示ビットに圧縮され、望むのであるなら、ＬＵＴ（Ｌｏｏｋ−Ｕｐ Ｔａｂｌｅ）６８によって再マッピングされる。完全に処理された合成画像は、その後、パノラマ画像の基本画像として形成及び表示のために走査変換器に送信される。
【００１５】
ＥＦＯＶ画像処理器７０は、例えば図４ａに示される部分的に重複する基本画像Ａ’、Ｂ’及びＣ’のシーケンスのような、空間合成処理器３０から基本画像を入力する。この処理器７０は、これらの重複（共通）する画像領域に基づき、ある基本画像から次の基本画像への変位を計算する。この変位を計算する位置合わせアルゴリズムは十分知られていて、ブロック整合、相関関係、正規化相関、差の絶対値の和、差の二乗和、勾配降下又は相互情報技術を含んでいる。代わりとして、ドップラー感知を含む、走査ヘッドの動き又は変位のセンサが、位置合わせパラメタを感知するのに用いられる。新しい基本画像をパノラマ画像における先行する基本画像に整列（位置合わせ）するために、変位の必要性が知られているとき、この新しい基本画像は、延在された画像を作成するために、他の画像と結合される。基本画像の重複領域は、平均化、中間フィルタリング、ピーク検出又は他の線形、非線形若しくは適応する処理のような技術によって結合される。これを行う１つのやり方は、事前に取得された基本画像から形成された単一のパノラマ画像が記憶される拡張画像メモリ７２としてバッファメモリを用いることである。この新しい基本画像は、その後、通常は重み付け又は平均化のある形式を介して、表示用の新しいパノラマ画像を作成するために、前記バッファ内のパノラマ画像に加えられる。新しい基本画像が一旦パノラマ画像に加えられると、それが融合され、パノラマ画像の全体を構成する一部となるので、もはや別々に認識することはできない。本発明の好ましい実施例において、履歴バッファが拡張画像メモリ７２に用いられ、このメモリにおいて、個々の基本画像のピクセルが別々に識別可能であり続ける。図５は、好ましい履歴バッファ１３０の構造を示す。頂面１３２に示される履歴バッファ１３０のｘ，ｙ座標は、表示されるパノラマ画像の最大視野に対応する。この履歴バッファの列の深度（ｃｏｌｕｍｎ ｄｅｐｔｈ）ｚは、パノラマ画像の各ピクセルを形成するように記憶され、結合される異なる基本画像のピクセルの最大数である。この説明される実施例において、この履歴バッファは、頂面１３２により示されるような６ピクセル分の深度となるように示される。構成される実施例において、この履歴バッファは、８から１６ピクセル分の深度でもよい。
【００１６】
図４ａに戻り参照すると、３つの例示的な基本画像Ａ’、Ｂ’及びＣ’が示され、これらは、パノラマ画像に対する初期の基本画像として取得される。画像Ａ’、Ｂ’及びＣ’を連続して取得するために走査ヘッドを左から右へ移動させるので、画像Ａ’が取得される最初の画像となる。画像Ａ’は、従って最初に履歴バッファ１３０に挿入され、図５に示されるようなバッファの左側に整列する。走査ヘッドが右から左へ移動した場合には、最初の画像Ａ’は、パノラマ画像が本実施例に示されるような左から右への代わりに、右から左へ延在するように、このバッファの右側に整列する。画像Ａ’が履歴バッファに挿入されるとき、それのｘ、ｙ座標の下にあるピクセル記憶領域（深度ｚ）を図６ａに示されるような画像Ａ’ピクセル値で完全に充填する。図６ａから６ｃは、図５における矢印７−７間の平面１４０における履歴バッファの断面図を示す。この履歴バッファの残りのピクセル記憶領域は、このとき無効な値に設定されつづける。
【００１７】
画像Ｂ’が次に取得され、上述されるような画像Ａ’と整列する。画像Ｂ’は、画像Ａ’に関するｘ、ｙ座標におけるその画像の整列位置における履歴バッファに記憶される。画像Ｂ’が画像Ａ’と重畳する場所は、図６ｂに示されるように、上方のピクセルはピクセルＢ’によって占められ、残りは依然として画像Ａ’ピクセル値によって占められるように、画像Ａ’ピクセルが１つのピクセル深度ずつ押し下げ（ｐｕｓｈ ｄｏｗｎ）られる。画像Ｂ’が画像Ａ’と重畳しない領域において、完全なピクセル深度は、画像Ｂ’ピクセル値で充填される。
【００１８】
画像Ｃ’が取得され、画像Ｂ’と整列するとき、前記押し下げ処理は、図６ｃに示されるように繰り返されている。３つの全ての画像が重畳する矢印１４２により示される列において、一番上のピクセルは、画像Ｃ’からなり、下にある次のピクセルはピクセルＢ’からなり、残りのピクセル深さは、画像Ａ’ピクセルで充填される。画像Ｂ’及びＣ’だけが重畳する画像領域において、前記列における一番上のピクセルは、画像Ｃ’ピクセルであり、その下にあるのは、画像Ｂ’ピクセルである。
【００１９】
追加の基本画像がパノラマ画像を拡大するために取得されると、この処理が続く。本実施例において６ピクセルである履歴バッファの有限深度は、如何なるピクセル位置においても、最新の６つの重畳画像に重畳することが可能な画像数に限定する。この位置における古い画像ピクセルは、ｚ軸方向においてＦＩＦＯ（ｆｉｒｓｔ ｉｎ， ｆｉｒｓｔ ｏｕｔ）バッファとして動作するバッファの底部から押し出される（“プッシュアウト”）。これは新しい基本画像をパノラマ画像に簡単に繰り返し加える上述の技術とは異なり、ここでは無制限数の重畳画像が一緒に融合される。この有限数の履歴バッファは、この履歴バッファの重畳において非常に古い画像がＦＩＦＯのプッシュダウン処理により取り除かれるので、パノラマ画像を簡単に繰り返し融合する技術と比較して、画像のかすみが減少するという利点を提供する。各基本画像が記憶され、その画像の位置がパノラマ画像からの後続する減算に対しトラッキングされない限り、基本画像がパノラマ画像に融合され、もはや別々に認識できない場合、これは不可能となる。さらに、履歴バッファは、走査中に走査方向が反転することを容易に許す。他の利点は、基本画像をパノラマ画像に結合させるアルゴリズムは変更することができ、異なるアルゴリズムが同じ拡張画像セットに与えられることができる。
【００２０】
新しい基本画像が履歴バッファに加えられる度に、結合アルゴリズムがこの履歴バッファにおけるピクセルの各列からパノラマ画像のピクセルを形成するために結合器７４によってピクセルデータに適用される。ｘ、ｙ座標において取得される第１画像のピクセルでの全体の列の初期充填は、初期画像に有利なピクセルデータの重み付けとなる。このような重み付けを望まない場合、履歴バッファにおける列は、１つのピクセル深度を同時に又は他の所望する深さの重み付けによって充填されるだけである。この結合アルゴリズムは、各列におけるピクセルデータの和、平均化若しくは中間フィルタリング処理、又はユーザにより自動的若しくは適応的に指定若しくは選択される幾つかの他の線形若しくは非線形フィルタリング関数（ＦＩＲ、ＩＩＲ、静止、条件、適応性）を生じさせる。基本画像Ａ’、Ｂ’及びＣ’に対するパノラマ画像は、図４ｂにおける輪郭１２０により示されるように明らかである。好ましい実施例において、現在、変換器の開口の下の領域の全て又は幾らか（例えば前縁（ｌｅａｄｉｎｇ ｅｄｇｅ））である最新の取得された画像の領域が、生のリアルタイム画像として表示され、これは組織の選択された経路に沿って走査ヘッドを移動させるときユーザの助けとなる。パノラマ画像の事前に取得された部分は、ハートゲート（ＥＣＧ信号）の助けを借りて同期方式で取得及び表示される場合、動画で表示されることも可能であるが、一般的には静止画像として表示される。
【００２１】
図７ａから７ｄは、空間的に合成されたパノラマ画像を形成するために、異なる視線方向から要素フレームを結合するための異なる技術を説明する。図７ａは、異なる操舵方向から取得される５つの要素フレームの取得シーケンスを説明する。第１要素フレームＡは、全て視線方向∠１に操舵される走査ラインで取得される。第２要素フレームＢは、全て視線方向∠２に操舵される走査ラインで取得される。第３要素フレームＣは、全て視線方向∠３に操舵される走査ラインで取得される。第４要素フレームＤは、全て視線方向∠４に操舵される走査ラインで取得される。第５要素フレームＥは、全て視線方向∠５に操舵される走査ラインで取得される。その後、このシーケンスは、視線方向∠１’に操舵される更なる要素フレームＡ、視線方向∠２’に操舵される更なる要素フレームＢ、視線方向∠３’に操舵される更なる要素フレームＣ等で繰り返す。この取得シーケンスを空間的に合成する１つのやり方は、５つの要素フレームからなる全く新しいシーケンスが取得され、その後図７ｂに示されるようにこれらを結合するまで待つことである。要素フレームＡ−Ｅは、視線方向∠１−∠５を結合したものである１つの空間的に合成された画像を形成するために結合される。要素フレームＡ−Ｅの新しいシーケンスが取得された後、これらは、視線方向∠１’−∠５’の新しい結合である第２の空間的に合成された画像（図示せず）を形成するために結合される。この技術の利点は、パノラマ画像用の基本画像として用いられる空間的に合成された画像各々が完全に異なる画像データから形成されることである。この技術の欠点は、新しい基本画像がパノラマ画像に加えられるフレームレートが空間的に合成された画像の要素フレームの数とこれらを取得するのに必要な時間とに比例して制限されるということであり、これはパノラマ画像の蓄積に不連続な外観を与える。
【００２２】
図７ｃは、より速いレートでパノラマ画像用の基本画像を供給する第２の合成技術を説明する。このシーケンスにおいて、空間的に合成された画像１６２は、視線方向∠１−∠５の最初に５つ取得された要素フレームを結合する。他の要素フレームが取得されるとき、第２の空間的に合成された画像１６４は、視線方向∠２−∠１’で作られる。空間的に合成された画像１６６は、視線方向∠３−∠２’で作られ、空間的に合成された画像１６８は、視線方向∠４−∠３’で作られる。パノラマ画像用の空間的に合成された基本画像は、これにより、先行する基本画像として画像データの５分の４を含む各基本画像を持つ要素フレーム取得レートで生成される。基本画像が速いレートでパノラマ画像に加えられるので、パノラマ画像の構築はよりスムーズになり、より連続的となるように見られるだろう。この合成技術は、最も古い要素フレームが取り去られ、新しい要素フレームが加えられる画像累算器メモリを含む上述の米国特許出願（出願シリアル番号０９／３３５，１５９）に記載される方法及び装置、又は要素フレームの異なるセットからなる合成画像を同時に生成する多数の画像累算器メモリを用いることにより実行される。
【００２３】
図７ｃの技術は、図８に作図される空間的に合成されたパノラマ画像処理に用いられている。完全な取得シーケンスを表す要素フレーム（本実施例において全ての∠Ａ−Ｅの１つの組）は、位置合わせの前に、最初に合成処理によって合成画像に結合される。これは、このシーケンス間の走査ヘッドの移動が無視できると仮定していて、そうでなければ合成された画像がぼやけてしまう。本実施例において、要素フレーム間の位置合わせは、合成される画像処理器では行われない。この合成処理は、操舵されるフレームの全シーケンスに対し、理想的には例えば上述の累算器方法によって取得フレームレートで繰り返される。走査ヘッドが移動するにつれて形成される合成画像のシーケンスは、その後、合成データからなる単一のパノラマ画像を生成するように、ＥＦＯＶ画像処理器７０の位置合わせアルゴリズム“レジスタ（Ｒｅｇｉｓｔｅｒ）”により処理される。このアプローチは、空間合成から生じるアーチファクトの減少が前記位置合わせアルゴリズムを非常にしっかりしたものとなるように必ず援助するという利点を持つ。その上、パノラマ画像の前縁におけるリアルタイムの要素は、更なる処理を必要とすること無く合成された画像を既に表している。
【００２４】
図７ｄは、図７ｂ及び７ｃの技術の中間である合成技術を説明する。この技術は、この技術の不連続な蓄積の外観を減少させる図７ｂよりも速いレートであるが、計算の複雑さを減少させる図７ｃよりも低いレートでパノラマ撮像用の空間的に合成された基本画像を生成する。図７ｄにおいて、空間的に合成された画像１７２は、視線方向∠１−∠５で形成される。次の空間的に合成された画像１７４は、複数の新しい視線方向が取得された後に形成され、視線方向∠４−∠３、で形成される。各空間的に合成された画像は、先行する空間的に合成された画像と同じ画像を幾つか含み、パノラマ画像は、パノラマ画像処理が多くの余分な画像データを処理しないように、複数（本実施例では３つ）の新しい視線方向を含む。新しい空間的に合成された画像が図７ｄの技術で生成される期間は、ユーザにより変更可能である。例えば、視線方向の数を９にする場合、ユーザは４又は５つの合成画像毎に生成される新しい空間的に合成された画像を持つことを決定する。視線方向の数が３つしかない場合、ユーザは、図７ｂの技術である３つのフレーム毎に空間的に合成された画像を生成することが好ましい。
【００２５】
図９は、操舵される合成フレームＡ−Ｅは、これらフレームが結合される前に、位置合わせアルゴリズム“レジスタ（Ｒｅｇｉｓｔｅｒ）”に直接入力され、これにより平坦な面に沿って走査されるときでさえも十分な空間合成を持つパノラマ画像を生成する空間的に合成されたパノラマ撮像処理を説明する。この処理において、単一の位置合わせステップは、パノラマ画像及び空間的結合を同時に生成するために、異なる視線方向の要素フレームをパノラマ画像に直接位置合わせする。パノラマ画像自体は、取得した最初のフレームＡまで戻ることが可能な位置合わせされた要素フレームの先行する組と各々の新しい要素フレームとを連続して位置合わせすることにより生成されることを忠告しておく。反対に、パノラマ画像のリアルタイム要素は、最新のフレームとＮ個の先行するフレーム（ここでＮは特有の操舵角の数である）とを位置合わせすることにより連続して更新される。
【００２６】
この方法の１つの内在する欠点は、フレーム間の位置合わせを決める大多数のアルゴリズムが、フレーム間における視野角に大きな違いがあるとき、信頼性が低くなることである。これは主に、例えば異方性のような超音波画像のアーチファクトの影響によるものであり、これは幾つかのターゲットからエコー及びシャドウに異なる角度から得られる画像における異なる位置又は異なる強度で現れる。図９に示されるシーケンスに対し、フレーム間の視野角における差は、角度の１つの完全なセット（フレームＥ）の終端部と次の組（フレームＡ’）の開始部との間の遷移以外は小さい。代わりの取得シーケンスは図１０に示され、これは、高い最小角度差を犠牲にして全てのフレーム間のより一様（であり小さな最大の）角度差を維持する。他の角度シーケンスは、位置合わせの確かさ及びビーム操舵のプログラミングにおいて別々の利点及び欠点を持つであろう。
【００２７】
図１１は、上記図９及び図１０に示される処理間の妥協案である空間的に合成されたパノラマ画像を説明する。この処理は、最初の空間的に合成された画像（例えばＡ，Ｃ，Ｅ）を生成するために、操舵される要素フレームのサブセット（本実施例では要素フレーム５つのサブセット３つ）を合成し、第２の空間的に合成された画像を生成するために、操舵されたフレームの残りのセット（例えばＢ，Ｃ，Ｄ）を合成することで後続する。説明される操舵シーケンスにおいて、操舵されないフレームＣは、パノラマ画像のリアルタイム（すなわち最新の画像データの）要素が操舵されないデータを常に含むことを保証するために全サブシーケンスに対し取得される。この処理は、空間的に合成された画像（Ａ，Ｃ，Ｅ及びＢ，Ｃ，Ｄ）が位置合わせアルゴリズムレジスタ（Ｒｅｇｉｓｔｅｒ）に順次入力される場合、連続的に繰り返される。このアプローチは、画像のアーチファクトを幾らか減少させ、それ故に前記位置合わせの確かさにおける改良を許容する一方、図８の処理と同じ位走査ヘッドを素早く動かすときの動きがぼやけない。
【００２８】
本発明の実施例において、空間合成用の要素フレームとパノラマ画像の電子画像とをできるだけ正確に位置合わせすることが望ましい。この能力は、上述されるように、ターゲットが、異なる角度から調べられるときに異なるエコーを戻し、これが位置合わせアルゴリズムに大きな要求を加えるので、異なる操舵方向を示す要素フレームが位置合わせされるとき、より困難である。図１２は、共通の操舵方向の要素フレームのみを位置合わせすることによってこの問題を扱う技術を説明する。図１２は、変換器が身体に沿って移動するにつれて取得される要素フレームＡ，Ｂ，Ｃ等のシーケンスを説明する。各要素フレームは、変換器及びそれの画像を新しい位置に移動した後に取得される。フレームＡとＤとの間の移動がフレームＡからフレームＢ、フレームＣ及びフレームＤへの移動を結合したものであることがわかる。これは、数学的には、
Ａ→Ｄ＝Ａ→Ｂ＋Ｂ→Ｃ＋Ｃ→Ｄ
として示される。共通の視線方向の他のフレーム間の移動は同様に、
Ｂ→Ｅ＝Ｂ→Ｃ＋Ｃ→Ｄ＋Ｄ→Ｅ
Ｃ→Ｆ＝Ｃ→Ｄ＋Ｄ→Ｅ＋Ｅ→Ｆ
Ｄ→Ｇ＝Ｄ→Ｅ＋Ｅ→Ｆ＋Ｆ→Ｇ
等と示される。各等式の左側にあるフレーム間の移動は、フレームの各対が同じ視線方向で取得されるので、位置合わせアルゴリズムに与えられる要求を楽にするパノラマ画像処理器の位置合わせアルゴリズムによって計算される。連続して取得される画像の移動は、このとき、同じ等式から計算される。例えば、移動Ｃ→Ｆ及びＤ→Ｇは、位置合わせアルゴリズムにより計算される。連続して取得されるフレームＦ→Ｇ間の移動は、
Ｄ→Ｇ−Ｃ→Ｆ＝Ｄ→Ｅ＋Ｅ→Ｆ＋Ｆ→Ｇ−Ｃ→Ｄ−Ｄ→Ｅ−Ｅ→Ｆ
Ｄ→Ｇ−Ｃ→Ｆ＝Ｆ→Ｇ−Ｃ→Ｄ
Ｆ→Ｇ＝Ｃ→Ｄ＋Ｄ→Ｇ−Ｃ→Ｆ
から計算される。Ｄ→Ｇ及びＣ→Ｆが位置合わせアルゴリズムにより決められ、Ｃ→Ｄは先行する等式から決められる場合、フレームＦからフレームＧへの移動は、最後の等式から決められる。従って、位置合わせアルゴリズムは、同じ等式から決められる異なる操舵方向の連続して取得される画像間のフレーム間の変位で共通に操舵されたフレーム間の移動を決めることを要請するだけである。
【００２９】
上記処理を開始するために、連続して取得されるフレームの２つの対の間の移動は、Ａ→Ｂ及びＢ→Ｃとなることを知らなければならない。これらのインターフレームの移動が一度分かると、その他は共通の視線方向のフレームを位置合わせし、同一の等式を用いることにより全て決めることができる。従って、この処理の外部において、位置合わせアルゴリズムは、本実施例ではＡからＢ及びＢからＣである異なる視線方向のフレーム間の移動を決めることを要請する。位置合わせアルゴリズムの作業を楽にするこの変化は、変換器は静止している間、この変換器が異なる視線方向のフレームの完全なシーケンスを少なくとも１つ取得することを許容するために、この変換器が移動し始める前に、ユーザがちょっとの間休止させる。これらフレーム間のフレーム間移動がこれにより零となり、結果的に、最初の等式は、零のあるフレーム間の値を有する。一度変換器が動き始めると、零ではない値が、同じ操舵方向のフレーム間の移動を計算することにより決められ、この処理が上述のように処理される。
【００３０】
第３の代替実施例として、これら移動は、図１２に示されるような３つの先行するフレームＡ’，Ｂ’及びＣ’で始めることによって近似され、これらフレームは、同じ視線方向で取得される。Ａ’からＢ’及びＢ’からＣ’への移動は、これら共通に操舵されるフレームを用いる位置合わせアルゴリズムにより決められ、その後、ＡからＢ及びＢからＣへの移動として使用される。移動の移動の略一定なレートと高いフレーム取得レートとを与えられる場合、シーケンスにおける第１フレームの移動に対する先行するフレーム間の移動を用いることが略正確となる。共通に操舵されるフレームの使用は、取得処理中に累積される移動エラーを概算し、望むような位置合わせ処理に調整を行わせるように繰り返される。
【００３１】
当業者は、上述の解説がプラス及びマイナスの符号を持つフレーム間移動の計算を簡単に説明しているが、フレーム間の移動が移動及び回転を含んで構成される実施例において、実際の計算は、より複雑な行列演算を含んでいることを認識するだろう。
【００３２】
図１２の技術は、数個だけの視線方向を計算に用いるとき、すなわち、要素フレームのシーケンスが比較的短いとき、最も正確となる。図１２の実施例において、要素フレームのシーケンスは、期間中に３つのフレームである。これは、この技術が共通に操舵されるフレームを整列する能力に頼るからであり、これらフレーム間にかなりの変換器の移動があり、それ故に位置合わせアルゴリズムを要求作業に置く２つのフレームを位置合わせするための僅かに共通する画像内容がある。故に、別々に操舵される要素フレームの数が小さいとき、この技術を適応して達成し、別々に操舵されるフレームの数が高い、例えば８又は９フレームであるとき、連続するフレームの位置合わせを単に試みるような異なる技術に変化させることが望ましい。
【００３３】
上述された実施例において位置合わせされたフレームは、全体の画像フレーム又は部分的な画像フレーム、すなわち減少する解像度又はライン密度からなる画像フレームでもよく、米国特許出願（出願シリアル番号０９／３３５，０６０）に記載されたような位置合わせ目的用の表示される画像フレーム間に移動される基準走査ラインでもよい。
【００３４】
特定の場合において用いられる方法の最終的な選択は、探針（ｐｒｏｂｅ）（及び／又はターゲット）の移動する速さに依存し、これは臨床的アプリケーションに依存し、角度に依存するアーチファクトに対し選択されるパノラマ画像の位置合わせアルゴリズムの固有の確かさである。一般的に、空間合成用の要素フレームを位置合わせするのに必要な正確さは、基本画像からパノラマ画像を形成するのに必要とされる位置合わせよりもより要求が厳しい。従って、前記探針がゆっくりと移動するとき、パノラマ画像を位置合わせする前に、空間的に計算されることが普通は好ましい。ぼやけた空間的に合成された画像を生成するようにこの探針が急いで移動するとき、パノラマ画像位置合わせ処理へ要素フレームを直接送り、このパノラマ位置合わせアルゴリズムができる限りぼやけを減少させることが好ましい。好ましい実施例において、この選択が、米国特許出願（出願シリアル番号０９／３３５，１５８）に記載されるような走査ヘッドの動く範囲を検出し、それに応じて空間合成及び／又はパノラマ位置合わせ処置を自動的に調節することによって適切に行われる。このパノラマ画像位置合わせ及び結合アルゴリズムは、米国特許出願（出願シリアル番号０９／３３５，０５８）に記載されるような空間合成の変数でよいような、走査ヘッドの動く範囲に応じて適切に変化してもよい。
【００３５】
パノラマ画像は基礎及び高調波モード、電力移動モード、ドップラー、グレイスケール並びに２Ｄ及び３Ｄ撮像モードを含む全ての超音波画像モードを用いて形成することが可能である。空間合成も同様に、これらモードの全てにおいて動作可能である。従って、空間的に合成された本発明の高調波画像は、超音波画像モードの全てにおいて形成することが可能である。
【図面の簡単な説明】
【図１】本発明の原理に従う空間的に合成されたパノラマ画像の走査を説明する。
【図２】本発明の原理に従い構成される超音波診断撮像システムを形成するブロック図を説明する。
【図３】図２の空間合成処理の好ましい実施例を形成するブロック図を説明する。
【図４ａ】パノラマ画像を形成する３つの重畳する基本素子を説明する。
【図４ｂ】パノラマ画像を形成する３つの重畳する基本素子を説明する。
【図５】パノラマ画像履歴バッファの構成を示す。
【図６ａ】連続する基本画像が図５の履歴バッファに挿入される方法を説明する。
【図６ｂ】連続する基本画像が図５の履歴バッファに挿入される方法を説明する。
【図６ｃ】連続する基本画像が図５の履歴バッファに挿入される方法を説明する。
【図７ａ】本発明の原理に従う空間的に合成されたパノラマ画像を形成するために、異なる視線方向から要素フレームを取得し、結合する異なる技術を説明する。
【図７ｂ】本発明の原理に従う空間的に合成されたパノラマ画像を形成するために、異なる視線方向から要素フレームを取得し、結合する異なる技術を説明する。
【図７ｃ】本発明の原理に従う空間的に合成されたパノラマ画像を形成するために、異なる視線方向から要素フレームを取得し、結合する異なる技術を説明する。
【図７ｄ】本発明の原理に従う空間的に合成されたパノラマ画像を形成するために、異なる視線方向から要素フレームを取得し、結合する異なる技術を説明する。
【図８】図７ｃに示されるように取得される要素フレームを合成し、位置合わせする処理を示す。
【図９】要素フレームを空間的に合成されたパノラマ画像に直接位置合わせ、結合する処置を示す。
【図１０】連続する要素フレーム間の最大の操舵角の差を減少させる異なる視線方向の要素フレームを取得する処理を示す。
【図１１】部分的に合成された画像が用いられる空間的に合成されたパノラマ撮像処理を示す。
【図１２】位置合わせアルゴリズムが同じ操舵方向のフレームおいてのみ動作するフレームのシーケンスを示す。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an ultrasonic diagnostic imaging system, and more particularly to an ultrasonic diagnostic imaging system that generates a spatially synthesized panoramic image.
[0002]
[Prior art]
A method of processing and displaying ultrasound images that is currently commercially available is known as extended field of view or panoramic imaging. In the basic real-time imaging mode, the ultrasound transducer produces a real-time image of the area of the body just before the transducer aperture. As the transducer moves to another location on the body, the image becomes an image of the area in front of the transducer aperture at the new location. That is, as the transducer moves along the body, the ultrasound system continuously produces a current image of the area in front of the transducer aperture at any given moment. Panoramic imaging produces a composite image that covers all of the area that was in front of the converter aperture, including the start and end positions of the converter aperture, and all positions in between. Panoramic imaging has been performed for over 12 years by B-arm ultrasound scanners, which send and receive scan lines as the transducer moves. The spatial position of each scan line is tracked by a position sensor in the B-arm, and the scan lines are then assembled to form a continuous image below the path of the transducer. In today's commercial systems, the transducers used are array transducers that scan continuously and acquire image frames. The need for B-arms is obtained by correlating successive image frames based on their common (superimposed) image content. The array converter is generally sufficiently correlated to align the image frames with each other as successive image frames overlap and move along a path such that they are co-planer. The image frames to be aligned are assembled together to form a continuous image of the tissue under the transducer's path of travel. Panoramic images are thus generated by the method and apparatus described in, for example, U.S. Patent No. 7,782,766.
[0003]
U.S. Pat. No. 5,538,004 shows another ultrasonic display technique that utilizes an arrangement between frames. In this patent, each new real-time image is aligned with the previous image, and then the observer always sees tissue in the image from the same spatial reference, even if the transducer views the lesion from a different orientation. Rotate if necessary. This result is the image stabilizing effect. Applicants in U.S. Pat. No. 5,538,004 have recognized that image alignment processing may be used for other image enhancement procedures, such as, for example, compositing. In U.S. Pat. No. 5,566,674, this extension is performed by acquiring images of the same tissue of the body from different transducer locations as evidenced in FIG. 1 of that patent. These images are aligned and then combined to form a new image with decreasing shadowing and speckle.
[0004]
[Problems to be solved by the invention]
It is preferred to have a panoramic image that combines all of the favorable characteristics of the above systems, i.e., shadowing and speckle are reduced by combining. However, the techniques presented by US Patent Nos. 5,538,004 and 5,566,674 for acquiring images from different transducer locations have a number of disadvantages. Many paths that the transducer travels for panoramic imaging are substantially straight, such as the legs when imaging saphenous veins. While the points of the image are examined by different scan lines of the image frame between frames, the aperture of the two scan lines is usually highly correlated since the scan lines of these overlapping image areas are substantially parallel, If it does, it will create a slight synthesis effect. In other areas of the body, such as the abdomen, the torso is generally large enough to have too much attenuation so that the same tissue cannot be seen from both sides of the body. Thus, differences are often not obtained simply by moving the transducer, taking into account the tissue required for the synthesis. Even if they do, the displacement of the transducer needed to acquire them, the distortion from this transducer caused by tissue deformation and the two views may not be coplanar and therefore uncorrelated Increases all the likelihood that the panoramic imaging registration algorithm will fail. It is desirable to be able to generate a spatially synthesized panoramic image that does not have these disadvantages.
[0005]
[Means for Solving the Problems]
In accordance with the principles of the present invention, a spatially synthesized panoramic ultrasound image is generated by acquiring an image as the array transducer is moved with respect to the area to be scanned. As the transducer moves, the scan line is steered electronically in a plurality of line-of-sight directions with respect to the transducer. These electronically steered scan lines are aligned to form a spatially composited panoramic image and combined to form a spatially composited image. In some embodiments, spatially composited images are first formed and then aligned and combined to form a panoramic image. In another embodiment, the elemental image frames of different line-of-sight directions are aligned and then combined in one combining step to form a spatially synthesized panoramic image, the step comprising blurring due to motion of the transducer. (Blurring). In the first approach, the spatially synthesized image is generated once for each complete gaze sequence, once for each new gaze direction, or at a rate after a partial new sequence of gaze directions has been scanned. Is done.
[0006]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 shows a panoramic scan according to the invention. The scanning head 10 is moved along a body surface 94 to generate a panoramic image of the tissue and blood vessels 92, 94, 96 under the path of movement of the scanning head. In general, an ultrasound couplant (not shown) is used to allow the scan head to slide and the skin surface to aid in the propagation of ultrasound between the scan head and the body. Given in between. The scan head includes an array transducer 12, which generally moves along the transducer image plane as shown at 14, such that successive images have some common image content. As the scanning head moves, the array transducer operates to transmit and receive ultrasound beams that are electronically steered in multiple line-of-sight directions. FIG. 1 shows three beam steering directions by scanning lines indicated by A, B and C. The A scan line is steered to the left, the B scan line is steered to the right, and the C scan line is steered straight forward from the array converter. Although this embodiment shows only three steering directions for clarity, up to nine different steering directions are used in the configured embodiment. FIG. 1 illustrates the use of a steered linear array transducer, but with a steered phased array transducer or steered curvature as shown in US patent application Ser. No. 09 / 577,021. An array converter may be used. The points of the body interrogated by multiple beams can be seen in greatly different gaze directions to give improved image quality of the spatial synthesis when the echoes from this point are combined. , The beam steering angles are sufficiently different. Although the transmission and reception of the differently steered beams may be interleaved in any order, in a preferred embodiment, elemental image frames consisting of scan lines of the same steering direction are acquired sequentially as discussed below. You. As the scan head moves in the direction 14 as shown, the tissue and blood vessels underneath the scan head overlap a number of line-of-sight scan lines as shown in the right portion 90 of the figure. Investigated by Echoes from common points are combined to create a spatial composition, and the scan lines below the path of travel of the scan head are assembled into one image to produce a spatially composed panoramic image. .
[0007]
The advantage of this scanning technique is that the tissue of interest is quickly and electronically scanned from a number of predefined line-of-sight directions so that spatial coupling effects can be reliably obtained. Moving the linear array transducer without beam steering along the plane of the body, e.g., descending the legs, does not create a spatial synthesis effect where points in the image are always seen from the same line of sight. If the surface of the body along which the array transducer moves is curved or bumpy, some spatial synthesis occurs, but the effect is a function of the irregularity of the path and distance traveled by the transducer. From the extreme, many areas of the image do not show any spatial synthesis effect at all. The use of a curved array without beam steering merely creates a spatial synthesis effect, if any, which is a strong function of the distance traveled by the transducer. Electron beam steering can eliminate much of this variation and ensures a more uniform spatial synthesis effect along the entire panoramic image. A further advantage is that synthesizing echoes from a quickly electronically steered line of sight need not rely on precise alignment of element frames while creating a panoramic image, It depends on the limiting factor using averaging for panoramic image combining due to blurring caused by misregistration of the base image.
[0008]
Referring to FIG. 2, an ultrasound diagnostic imaging system configured in accordance with the principles of the present invention is shown. The scan head 10 including the array transducer 12 transmits beams at different angles to the image area indicated by the dashed rectangle and the parallelogram. Three groups of scan lines labeled A, B and C are shown in this figure, each group being steered at a different angle with respect to the scan head. The transmission of the beams is controlled by a transmitter 14, which transmits each beam of the elements of the array transducer to transmit each beam at a predetermined angle along the array transducer from a predetermined origin. Control phase and start time. The echoes returning along each scan line are input by the elements of the array converter, digitized by analog-to-digital conversion, and coupled to the digital beamformer 16. The digital beamformer delays and sums the echoes from the array transducer to form a sequence of coherent digital echo samples that are focused along each scan line. The transmitter 14 and the beamformer 16 operate under the control of a system controller 18, which in turn responds to control settings on a user interface 20 operated by a user of the ultrasound system. The system controller controls the transmitter to transmit a desired number of groups of scan lines, transmit energy and frequency at a desired angle. This system controller also controls the input echo signals for the aperture and image depth used by the digital beamformer to be appropriately delayed and combined.
[0009]
The scan line echo signal is filtered by a programmable digital filter 22, which defines a band of frequencies of interest. When performing the imaging of the harmonic contrast agent or the harmonic imaging of the tissue, the pass band of the filter 22 is set to pass the harmonic of the transmission band. The filtered signal is then detected by detector 24. In a preferred embodiment, the filters and detectors include a number of filters such that the incoming signal is divided into a number of passbands, each detected and recombined to reduce image speckle by frequency synthesis. And a detector. For B-mode imaging, the detector 24 performs amplitude detection of the envelope of the echo signal. For Doppler imaging, a collection of echoes is detected at each point in the image, assembled, and Doppler processed to estimate Doppler displacement or Doppler power intensity.
[0010]
In accordance with the principles of the present invention, digital echo signals are processed in processor 30 by spatial combination. These digital echo signals are first preprocessed by the preprocessor 32. The preprocessor 32 can also pre-weight the signal samples with a weight factor if desired. These samples can be pre-weighted by a weighting factor that is a function of the number of component frames used to create a particular composite image. The preprocessor may also weight edge lines at the edges of certain overlapping images to smooth transitions where the number of synthesized samples or images changes. This preprocessed signal sample is then resampled in a resampler 34. The resampler 34 can be spatially realigned with respect to pixels in one elemental frame or pixels in display space. This is desirable when there is motion between image frames, there is motion in the image, or there is scanhead motion during image acquisition. However, many of the embodiments described below are performed by the panoramic image processor when this realignment is bypassed and the base images are aligned to form a panoramic image.
[0011]
After resampling, the image frames are combined by combiner 36. Coupling includes summing, averaging, peak detection or other means of coupling. The combined samples may be weighted before being combined in this step of the process. Finally, post-processing is performed by a post-processor 38. The post-processor normalizes the combined value to a display range of the value. Post-processing can be most easily performed by a look-up table, and the range of values to be combined can be simultaneously compressed and mapped to a range of values suitable for displaying a combined image.
[0012]
This combining process may be performed in approximate data space or display pixel space. These composite images are stored in a memory (not shown) in approximate format or display pixel format. When stored in approximate form, the image is scan converted by scan converter 40 when reconstructed from memory for display. These scan converters and memories may be used to provide a three-dimensional representation of a spatially synthesized image as described in U.S. Patent Nos. 5,485,842 and 5,860,924. . Following scan conversion, the spatially synthesized image is processed by the video processor 44 for display and displayed on the image display 50.
[0013]
In accordance with the principles of the present invention, spatially synthesized image data is used to form a panoramic image. This image data is coupled to the EFOV image processor 70. The EFOV image processor operates on an approximate data (pre-scan converted) image or a display data (scan converted pixel data) image and inputs each newly acquired image during operation in panoramic mode. , Calculate the displacement and rotation between the new image and the base image of the previously acquired panoramic image, as described in more detail below. The EFOV image processor stores the new image in registration with the pre-acquired base image in the extended image memory 72 as described below. Each time a panoramic image is extended by adding new image data, the EFOV image data stored in extended image memory 72 is extracted from this memory and combined by combiner 74 to form a new panoramic image. This combiner is coupled to a video processor 44 for viewing on a display 50.
[0014]
FIG. 3 illustrates a preferred implementation of the spatial combination processor 30 of FIG. This processor 30 is preferably implemented by a general purpose microprocessor or CPU, ie, one or more digital signal processors 60 that process the image data in various ways. The processor 60 can weight the input image data, and can resample the image data so as to be spatially aligned from element frame to element frame, for example. The processor 60 directs the processed image frames to a plurality of frame memories 62 that buffer individual image frames. Preferably, the number of image frames that can be stored by the frame memory 62 is at least equal to the maximum number of image frames to be combined, for example 16 frames. Preferably, the processor comprises an acquisition ratio that determines the depth of image display, the depth of the largest composite area, the clinical application, the composite image rate, the operating mode, the scan head movement, and the number of images composited at a given moment. Respond to control parameters including. This processor selects an element frame stored in the frame memory 62 to be assembled as a composite image in the accumulator memory 64. Various embodiments of accumulator memories that remove the oldest element frame when adding new element frames or accumulate different composite images simultaneously are described in US patent application Ser. No. 09 / 335,159. And the contents of this U.S. patent application are incorporated herein by reference. The composite image formed in accumulator memory 64 is weighted or mapped by normalization circuit 66 and then compressed into a desired number of display bits and, if desired, re-processed by a Look-Up Table (LUT) 68. Is mapped. The fully processed composite image is then sent to a scan converter for formation and display as a base image of a panoramic image.
[0015]
The EFOV image processor 70 receives basic images from the spatial synthesis processor 30, such as the sequence of partially overlapping basic images A ', B' and C 'shown in FIG. 4a. The processor 70 calculates a displacement from one basic image to the next basic image based on these overlapping (common) image regions. Alignment algorithms for calculating this displacement are well known and include block matching, correlation, normalized correlation, sum of absolute differences, sum of squares of differences, gradient descent or mutual information techniques. Alternatively, sensors of scan head movement or displacement, including Doppler sensing, are used to sense alignment parameters. When the need for displacement is known to align (align) the new base image with the preceding base image in the panoramic image, this new base image is used to create an extended image. Image. The overlapping regions of the base image are combined by techniques such as averaging, intermediate filtering, peak detection or other linear, non-linear or adaptive processing. One way to do this is to use a buffer memory as an extended image memory 72 in which a single panoramic image formed from previously acquired basic images is stored. This new elementary image is then added to the panoramic image in the buffer to create a new panoramic image for display, usually via some form of weighting or averaging. Once the new base image is added to the panoramic image, it can no longer be separately recognized as it is fused and becomes a part of the whole panoramic image. In a preferred embodiment of the present invention, a history buffer is used for the extended image memory 72, in which the individual elementary image pixels remain separately identifiable. FIG. 5 shows a preferred structure of the history buffer 130. The x and y coordinates of the history buffer 130 shown on the top surface 132 correspond to the maximum field of view of the displayed panoramic image. The column depth z of this history buffer column is the maximum number of pixels of different elementary images that are stored and combined to form each pixel of the panoramic image. In the described embodiment, the history buffer is shown to be 6 pixels deep, as indicated by the top surface 132. In a configured embodiment, this history buffer may be 8 to 16 pixels deep.
[0016]
Referring back to FIG. 4a, three exemplary elementary images A ′, B ′ and C ′ are shown, which are acquired as initial elementary images for the panoramic image. Since the scanning head is moved from left to right to successively acquire images A ', B' and C ', image A' is the first image acquired. Image A 'is therefore first inserted into the history buffer 130 and is aligned to the left side of the buffer as shown in FIG. If the scanning head moves from right to left, the first image A 'will be such that the panoramic image extends from right to left instead of from left to right as shown in this example. Align to right of buffer. When image A 'is inserted into the history buffer, it completely fills the pixel storage area (depth z) below its x, y coordinates with the image A' pixel values as shown in FIG. 6a. 6a to 6c show cross-sectional views of the history buffer in the plane 140 between arrows 7-7 in FIG. The remaining pixel storage areas of this history buffer are then kept set to invalid values.
[0017]
Image B 'is then acquired and aligned with image A' as described above. Image B 'is stored in the history buffer at the alignment of the image at the x, y coordinates for image A'. The place where image B 'overlaps with image A' is shown in FIG. 6b, where the upper pixel is occupied by pixel B 'and the rest is still occupied by image A' pixel values. Are pushed down by one pixel depth. In regions where image B 'does not overlap with image A', the full pixel depth is filled with image B 'pixel values.
[0018]
When image C 'is acquired and aligned with image B', the depression process is repeated as shown in Fig. 6c. In the column indicated by arrow 142 where all three images overlap, the top pixel consists of image C ′, the next pixel below consists of pixel B ′, and the remaining pixel depth is the image Filled with A 'pixels. In the image area where only the images B 'and C' overlap, the top pixel in the column is the image C 'pixel, and below it is the image B' pixel.
[0019]
This process continues as additional base images are acquired to enlarge the panoramic image. The finite depth of the history buffer, which is six pixels in this embodiment, is limited to the number of images that can be superimposed on the latest six superimposed images at any pixel position. The old image pixel at this location is pushed out ("push out") from the bottom of the buffer acting as a FIFO (first in, first out) buffer in the z-axis direction. This differs from the technique described above, which simply repeatedly adds a new base image to a panoramic image, where an unlimited number of superimposed images are fused together. This finite number of history buffers reduces the haze of the image as compared to the technique of easily and repeatedly fusing panoramic images because very old images are removed by the FIFO pushdown process in the superposition of the history buffer. Provide benefits. This is not possible if the elementary images are fused into the panoramic image and can no longer be recognized separately, unless each elementary image is stored and its position is tracked for subsequent subtraction from the panoramic image. In addition, the history buffer easily allows the scanning direction to be reversed during scanning. Another advantage is that the algorithm for combining the base image with the panoramic image can be changed and different algorithms can be given to the same set of extended images.
[0020]
Each time a new base image is added to the history buffer, a combining algorithm is applied to the pixel data by combiner 74 to form a pixel of the panoramic image from each row of pixels in the history buffer. The initial filling of the entire column with the pixels of the first image obtained at the x, y coordinates results in a weighting of the pixel data in favor of the initial image. If such weighting is not desired, the columns in the history buffer are only filled with one pixel depth simultaneously or with another desired depth weighting. This combining algorithm can be a summation, averaging or intermediate filtering process of the pixel data in each column, or some other linear or non-linear filtering function (FIR, IIR, static, etc.) that is automatically or adaptively specified or selected by the user. , Conditions, adaptability). The panoramic images for the base images A ′, B ′ and C ′ are evident as shown by the contour 120 in FIG. 4b. In a preferred embodiment, the area of the most recently acquired image that is currently all or some of the area under the aperture of the transducer (e.g., leading edge) is displayed as a raw real-time image, Assists the user in moving the scan head along a selected path of the tissue. The pre-acquired part of the panoramic image can be displayed as a moving image when acquired and displayed in a synchronous manner with the help of a heart gate (ECG signal), but is generally still image Will be displayed as
[0021]
7a to 7d illustrate different techniques for combining elemental frames from different viewing directions to form a spatially synthesized panoramic image. FIG. 7a illustrates an acquisition sequence of five element frames acquired from different steering directions. The first element frames A are all acquired by scanning lines that are steered in the line-of-sight direction # 1. The second element frames B are all acquired by scanning lines steered in the line-of-sight direction # 2. The third element frames C are all acquired by scanning lines that are steered in the line-of-sight direction # 3. The fourth element frames D are all acquired by scanning lines that are steered in the line-of-sight direction # 4. The fifth element frames E are all acquired by scanning lines steered in the line-of-sight direction # 5. Thereafter, the sequence comprises a further element frame A steered in the line of sight ∠1 ′, a further element frame B steered in the line of sight ∠2 ′, and a further element frame C steered in the line of sight ∠3 ′. Repeat with etc. One way to spatially combine this acquisition sequence is to wait until a completely new sequence of five element frames is acquired and then combined as shown in FIG. 7b. The element frames AE are combined to form one spatially synthesized image that is the combination of the line-of-sight directions ∠1-∠5. After a new sequence of element frames AE has been acquired, they form a second spatially synthesized image (not shown) that is a new combination of gaze directions ∠1′-∠5 ′. Is combined with The advantage of this technique is that each of the spatially synthesized images used as the base image for the panoramic image is formed from completely different image data. The disadvantage of this technique is that the frame rate at which the new base image is added to the panoramic image is limited in proportion to the number of elementary frames of the spatially synthesized image and the time required to acquire them Which gives a discontinuous appearance to the accumulation of panoramic images.
[0022]
FIG. 7c illustrates a second combining technique that provides a base image for a panoramic image at a faster rate. In this sequence, the spatially synthesized image 162 combines the first five acquired element frames in the gaze direction # 1- # 5. When another elemental frame is acquired, a second spatially synthesized image 164 is created in line-of-sight direction {2- {1} ". The spatially synthesized image 166 is created in the line-of-sight direction ∠3-∠2 ′, and the spatially synthesized image 168 is created in the line-of-sight direction ∠4-∠3 ′. The spatially synthesized basic image for the panoramic image is thereby generated at an element frame acquisition rate with each basic image containing four fifths of the image data as the preceding basic image. As the base image is added to the panoramic image at a faster rate, the construction of the panoramic image will appear to be smoother and more continuous. This synthesizing technique is based on the method and apparatus described in the above-mentioned U.S. patent application (Application Serial No. 09 / 335,159), which includes an image accumulator memory where the oldest element frames are removed and new element frames are added. Or, by using multiple image accumulator memories that simultaneously generate a composite image consisting of different sets of element frames.
[0023]
The technique of FIG. 7c is used for the spatially synthesized panoramic image processing depicted in FIG. The element frames representing the complete acquisition sequence (one set of all AE in this example) are first combined into a composite image by a compositing process before registration. This assumes that the movement of the scan head during this sequence is negligible, otherwise the synthesized image will be blurred. In this embodiment, the alignment between the element frames is not performed by the image processor to be synthesized. This combining process is repeated at the acquisition frame rate, ideally for example by the accumulator method described above, for the entire sequence of steered frames. The sequence of composite images formed as the scan head moves is then processed by the registration algorithm "Register" of the EFOV image processor 70 to generate a single panoramic image of the composite data. You. This approach has the advantage of always helping to reduce the artifacts resulting from spatial synthesis to make the registration algorithm very robust. Moreover, the real-time elements at the leading edge of the panoramic image already represent the synthesized image without any further processing.
[0024]
FIG. 7d illustrates a synthesis technique that is intermediate between the techniques of FIGS. 7b and 7c. This technique is spatially synthesized for panoramic imaging at a faster rate than FIG. 7b, which reduces the appearance of discontinuous accumulation of this technique, but at a lower rate than FIG. 7c, which reduces computational complexity. Generate a basic image. In FIG. 7D, the spatially synthesized image 172 is formed in the line-of-sight directions # 1- # 5. The next spatially synthesized image 174 is formed after a plurality of new gaze directions are acquired, and is formed with gaze directions # 4- # 3. Each spatially synthesized image contains some of the same images as the preceding spatially synthesized image, and a plurality of panoramic images are used so that the panoramic image processing does not process a lot of extra image data. 3 in the example). The period during which a new spatially synthesized image is generated with the technique of FIG. 7d can be changed by the user. For example, if the number of gaze directions is 9, the user decides to have a new spatially synthesized image generated every four or five synthesized images. If there are only three gaze directions, the user preferably generates a spatially synthesized image for every three frames, which is the technique of FIG. 7b.
[0025]
FIG. 9 shows that the steered composite frames AE are input directly into the registration algorithm "Register" before they are combined, so that they are scanned along a flat surface. Even a spatially synthesized panoramic imaging process that generates a panoramic image with sufficient spatial synthesis will be described. In this process, a single alignment step directly aligns elemental frames of different viewing directions with the panoramic image to generate the panoramic image and spatial combination simultaneously. Note that the panoramic image itself is generated by successively aligning each new element frame with the preceding set of aligned element frames that can return to the first frame A acquired. Keep it. Conversely, the real-time element of the panoramic image is continuously updated by aligning the current frame with the N previous frames, where N is the number of unique steering angles.
[0026]
One inherent disadvantage of this method is that the majority of algorithms for determining alignment between frames are less reliable when there is a large difference in viewing angle between frames. This is mainly due to the effects of ultrasound image artefacts, such as anisotropy, which appear at different locations or different intensities in the image obtained from different angles on echoes and shadows from several targets. For the sequence shown in FIG. 9, the difference in viewing angles between frames is different from the transition between the end of one complete set of angles (frame E) and the start of the next set (frame A ′). Is small. An alternative acquisition sequence is shown in FIG. 10, which maintains a more uniform (and small maximum) angle difference between all frames at the expense of a high minimum angle difference. Other angular sequences will have separate advantages and disadvantages in alignment certainty and beam steering programming.
[0027]
FIG. 11 illustrates a spatially synthesized panoramic image that is a compromise between the processes shown in FIGS. 9 and 10 above. This process combines a subset of the steered element frames (three in this embodiment, three subsets of five element frames) to generate the first spatially synthesized image (eg, A, C, E). , Followed by compositing the remaining set of steered frames (eg, B, C, D) to produce a second spatially composited image. In the described steering sequence, the unsteered frame C is obtained for the entire subsequence to ensure that the real-time (ie, the latest image data) elements of the panoramic image always include the unsteered data. This process is continuously repeated when the spatially synthesized images (A, C, E and B, C, D) are sequentially input to the registration algorithm register (Register). This approach reduces image artifacts somewhat, and thus allows for an improvement in the registration certainty, but does not blur the movement when moving the scan head as fast as the process of FIG.
[0028]
In an embodiment of the present invention, it is desirable to align the elemental frame for spatial synthesis with the electronic image of the panoramic image as accurately as possible. This capability, as described above, is that when target frames are aligned that indicate different steering directions, as the target returns different echoes when looked at from different angles, which adds great demands on the alignment algorithm, More difficult. FIG. 12 illustrates a technique that addresses this problem by aligning only element frames in a common steering direction. FIG. 12 illustrates a sequence of element frames A, B, C, etc. acquired as the transducer moves along the body. Each element frame is acquired after moving the transducer and its image to a new location. It can be seen that the movement between frames A and D is a combination of the movement from frame A to frames B, C and D. This is mathematically
A → D = A → B + B → C + C → D
As shown. Movement between other frames in a common gaze direction is likewise
B → E = B → C + C → D + D → E
C → F = C → D + D → E + E → F
D → G = D → E + E → F + F → G
And so on. The movement between frames on the left side of each equation is calculated by the registration algorithm of the panoramic image processor, which eases the demands placed on the registration algorithm, since each pair of frames is acquired with the same gaze direction. The movement of the continuously acquired images is then calculated from the same equation. For example, the movements C → F and D → G are calculated by a positioning algorithm. The movement between frames F → G that are continuously acquired is
D → GC → F = D → E + E → F + F → GC → DD → EE → F
D → GC → F = F → GC → D
F → G = C → D + D → GC → F
Is calculated from If D → G and C → F are determined by the registration algorithm and C → D is determined by the preceding equation, the movement from frame F to frame G is determined by the last equation. Thus, the registration algorithm only requires that the displacement between the commonly steered frames be determined by the displacement between the frames between successively acquired images in different steering directions determined from the same equation.
[0029]
To start the process, it must be known that the movement between two pairs of consecutively acquired frames is A → B and B → C. Once the movement of these inter-frames is known, all others can be determined by aligning frames in a common gaze direction and using the same equation. Therefore, outside of this process, the registration algorithm calls for determining movement between frames in different viewing directions, in this embodiment A to B and B to C. This change, which eases the task of the registration algorithm, is to allow the converter to acquire at least one complete sequence of frames in different viewing directions while the converter is stationary. The user pauses for a short while before starts moving. The inter-frame movement between these frames is thereby zero, and consequently the first equation has a value between certain zero frames. Once the transducer begins to move, a non-zero value is determined by calculating the movement between frames in the same steering direction, and the process is processed as described above.
[0030]
As a third alternative, these movements are approximated by starting with three preceding frames A ′, B ′ and C ′ as shown in FIG. 12, which are acquired in the same gaze direction . The movements from A 'to B' and B 'to C' are determined by an alignment algorithm using these commonly steered frames and are then used as the movements from A to B and B to C. Given a substantially constant rate of movement of the movement and a high frame acquisition rate, it will be substantially accurate to use the movement between the preceding frames relative to the movement of the first frame in the sequence. The use of commonly steered frames is repeated to approximate the movement errors accumulated during the acquisition process and to make the adjustment process as desired.
[0031]
One of ordinary skill in the art will appreciate that while the above description has briefly described the calculation of interframe movement with plus and minus signs, in embodiments where the movement between frames includes movement and rotation, the actual calculation may be performed. Will recognize that it involves more complex matrix operations.
[0032]
The technique of FIG. 12 is most accurate when only a few gaze directions are used in the calculation, ie when the sequence of element frames is relatively short. In the example of FIG. 12, the sequence of elemental frames is three frames during a period. This is because this technique relies on the ability to align commonly steered frames, and there is considerable transducer movement between these frames, thus positioning the two frames that place the alignment algorithm on demand. There is slightly common image content to match. Therefore, when the number of separately steered element frames is small, this technique is adaptively achieved, and when the number of separately steered frames is high, for example 8 or 9 frames, the alignment of consecutive frames It is desirable to change to a different technique that simply attempts to
[0033]
The aligned frames in the embodiments described above may be full image frames or partial image frames, i.e. image frames of decreasing resolution or line density, and are described in U.S. patent application Ser. No. 09 / 335,060. ) May be a reference scan line moved between displayed image frames for alignment purposes.
[0034]
The final choice of the method used in a particular case depends on the speed of movement of the probe (and / or target), which depends on the clinical application and on the angle-dependent artifacts This is the inherent certainty of the selected panorama image registration algorithm. In general, the accuracy required to align element frames for spatial compositing is more demanding than the alignment required to form a panoramic image from a base image. Therefore, when the probe moves slowly, it is usually preferred to calculate it spatially before aligning the panoramic image. When this tip moves abruptly to produce a blurred spatially synthesized image, it sends element frames directly to the panoramic image alignment process, and this panorama alignment algorithm may reduce blur as much as possible. preferable. In a preferred embodiment, this selection detects the range of motion of the scan head as described in US patent application Ser. No. 09 / 335,158 and performs spatial synthesis and / or panorama registration procedures accordingly. Properly done by automatically adjusting. This panoramic image registration and combining algorithm changes appropriately depending on the range of motion of the scan head, such as may be a variable for spatial synthesis as described in US patent application Ser. No. 09 / 335,058. May be.
[0035]
Panoramic images can be formed using all ultrasound image modes, including fundamental and harmonic modes, power transfer modes, Doppler, gray scale, and 2D and 3D imaging modes. Spatial synthesis is also operable in all of these modes. Thus, spatially synthesized harmonic images of the present invention can be formed in all of the ultrasound image modes.
[Brief description of the drawings]
FIG. 1 illustrates scanning of a spatially synthesized panoramic image according to the principles of the present invention.
FIG. 2 illustrates a block diagram forming an ultrasound diagnostic imaging system configured in accordance with the principles of the present invention.
FIG. 3 illustrates a block diagram forming a preferred embodiment of the spatial synthesis process of FIG. 2;
FIG. 4a illustrates three overlapping basic elements forming a panoramic image.
FIG. 4b illustrates three overlapping basic elements forming a panoramic image.
FIG. 5 shows a configuration of a panorama image history buffer.
FIG. 6a illustrates how successive basic images are inserted into the history buffer of FIG. 5;
FIG. 6b illustrates a method by which successive basic images are inserted into the history buffer of FIG.
FIG. 6c illustrates how successive basic images are inserted into the history buffer of FIG. 5;
FIG. 7a illustrates different techniques for acquiring and combining elemental frames from different viewing directions to form a spatially synthesized panoramic image in accordance with the principles of the present invention.
FIG. 7b illustrates different techniques for obtaining and combining elemental frames from different viewing directions to form a spatially synthesized panoramic image in accordance with the principles of the present invention.
FIG. 7c illustrates different techniques for obtaining and combining elemental frames from different viewing directions to form a spatially synthesized panoramic image in accordance with the principles of the present invention.
FIG. 7d illustrates different techniques for obtaining and combining elemental frames from different viewing directions to form a spatially synthesized panoramic image in accordance with the principles of the present invention.
FIG. 8 shows a process for synthesizing and aligning element frames obtained as shown in FIG. 7c.
FIG. 9 illustrates a procedure for directly aligning and combining elemental frames with a spatially synthesized panoramic image.
FIG. 10 shows a process of acquiring element frames in different viewing directions that reduce the maximum steering angle difference between successive element frames.
FIG. 11 shows a spatially synthesized panoramic imaging process using a partially synthesized image.
FIG. 12 shows a sequence of frames in which the alignment algorithm operates only in frames in the same steering direction.

Claims (11)

空間的に合成された超音波パノラマ画像を生成する方法において、
多数の視点方向から延在される画像領域におけるポイントを調べるために、アレイ変換器の開口が前記延在される画像領域に関して移動して、前記アレイ変換器の開口から複数の方向に複数の電子的に操舵されるビームを送信し、
前記送信に応じたエコーを入力し、
前記入力されたエコーを位置的にまとめ、及び
前記アレイ変換器の開口よりも大きいパノラマの空間的に合成された超音波画像を生成するために位置的に整列されたエコーを結合する、
ことを有する方法。In a method of generating a spatially synthesized ultrasonic panoramic image,
To examine points in an image area extending from multiple viewpoint directions, the aperture of the array transducer is moved with respect to the extended image area, and a plurality of electrons are moved in multiple directions from the aperture of the array transducer. Transmit a steerable beam,
Input the echo corresponding to the transmission,
Combining the input echoes spatially and combining the spatially aligned echoes to produce a panoramic spatially synthesized ultrasound image larger than the aperture of the array transducer;
Having a method. 請求項１に記載の方法において、結合は、
空間的に合成された画像を生成するために、多数の視線方向から調べられた画像領域におけるポイントからのエコーを結合し、
前記アレイ変換器の開口よりも大きいパノラマの空間的に合成された超音波画像を生成するために前記空間的に合成された画像と事前に取得された空間的に合成された画像とを結合する、
ことを含む方法。2. The method of claim 1, wherein the coupling is
Combining echoes from points in the image area examined from multiple gaze directions to generate a spatially synthesized image,
Combining the spatially synthesized image with a pre-acquired spatially synthesized image to generate a panoramic spatially synthesized ultrasound image larger than the aperture of the array transducer ,
A method that includes: 空間的に合成された超音波パノラマ画像を生成する請求項１又は２に記載の方法において、
移動する変換器の開口から、シーケンスの異なる要素画像フレームは、異なる視線方向に電子的に操舵された走査ラインを示す、当該要素画像フレームのシーケンスを入力し、
基本の空間的に合成された画像を生成するために複数の前記要素画像フレームを結合し、及び
空間的に合成された超音波パノラマ画像を生成するために前記基本の空間的に合成された画像と事前に取得された基本の空間的に合成された画像とを結合する、
ことを有する方法。The method according to claim 1 or 2, wherein a spatially synthesized ultrasonic panoramic image is generated.
From the moving transducer aperture, input a sequence of elemental image frames, wherein the different elemental image frames in the sequence show scan lines electronically steered in different gaze directions;
Combining a plurality of said elemental image frames to generate a base spatially synthesized image, and said base spatially synthesized image to generate a spatially synthesized ultrasonic panoramic image And the basic spatially synthesized image obtained in advance,
Having a method. 請求項３に記載の方法において、前記最初に述べた結合は、空間的な整列に基づき複数の要素画像フレームを結合することを有する方法。4. The method of claim 3, wherein said first combining comprises combining a plurality of component image frames based on spatial alignment. 請求項３に記載の方法において、整列は、ブロック整合、正規化相関、相関関係、差の絶対値の和、差の二乗和、勾配降下、相互情報処理、ドップラー検出、又は位置若しくは動きセンサの１つを利用する方法。4. The method according to claim 3, wherein the alignment comprises block matching, normalized correlation, correlation, sum of absolute differences, sum of squares of difference, gradient descent, mutual information processing, Doppler detection, or position or motion sensor. How to use one. 空間的に合成された超音波パノラマ画像を生成する請求項１又は２に記載の方法において、
移動する変換器の開口から、シーケンスの異なる要素画像フレームは、異なる視線方向に電子的に操舵された走査ラインを示す、当該要素画像フレームのシーケンスを入力し、
共通の視線方向を示す要素画像フレームを位置合わせし、
共通の視線方向を示す前記位置合わせされた要素画像フレームを用いることにより異なる視線方向を示す要素画像フレームを位置合わせし、及び
空間的に合成された超音波パノラマ画像を生成するために前記位置合わせされた要素画像を結合する、
ことを有する方法。The method according to claim 1 or 2, wherein a spatially synthesized ultrasonic panoramic image is generated.
From the moving transducer aperture, input a sequence of elemental image frames, wherein the different elemental image frames in the sequence show scan lines electronically steered in different gaze directions;
Align the element image frames that indicate the common gaze direction,
Aligning the element image frames showing different line-of-sight directions by using the aligned element image frames showing a common line-of-sight direction, and the aligning to generate a spatially synthesized ultrasonic panoramic image The combined element images,
Having a method. 画像フレームの反復シーケンスの連続する画像フレーム間の移動を決める請求項１又は２に記載の方法であって、各シーケンスは、異なる視線方向を示す複数の画像フレームを含む方法において、
画像フレームの複数の前記シーケンスを取得し、
位置合わせする値を決めるために２つのフレームの情報内容を比較することによって前記シーケンスのうちの１つのシーケンスの画像フレームを同じ視線方向を示す前記シーケンスの他のシーケンスの画像フレームと位置合わせし、及び
前記位置合わせする値を用いた計算によって異なる視線方向の連続する画像フレーム間の移動を決める、
ことを有する方法。3. A method as claimed in claim 1 or 2, wherein the movement between successive image frames of a repeating sequence of image frames is determined, wherein each sequence comprises a plurality of image frames indicating different gaze directions.
Obtaining a plurality of said sequences of image frames;
Aligning an image frame of one of said sequences with an image frame of another of said sequences indicating the same line-of-sight direction by comparing the information content of the two frames to determine a value to be aligned; And determining the movement between successive image frames in different viewing directions by calculation using the alignment values,
Having a method. 空間的に合成されたパノラマ画像を生成する超音波撮像システムにおいて、
アレイ変換器、
前記アレイ変換器に結合され、前記アレイ変換器が画像領域に関して移動されるので、前記アレイ変換器が複数の視線方向に電子的に操舵されるビームを送信させるように動作可能である送信制御器、
前記アレイ変換器に結合され、複数の視線方向に送信されるビームに応じて、コヒーレントなエコー信号を生成するビーム形成器、
画像領域内の共通のポイントから入力されるエコー信号を整列させる位置合わせ処理器、及び
空間的に合成されたパノラマ画像データを生成するために整列したエコー信号を結合させる結合器、
を有する超音波撮像システム。In an ultrasonic imaging system that generates a spatially synthesized panoramic image,
Array converter,
A transmission controller coupled to the array transducer and operable to cause the array transducer to transmit an electronically steered beam in a plurality of line-of-sight directions as the array transducer is moved with respect to an image area. ,
A beamformer coupled to the array transducer to generate a coherent echo signal in response to beams transmitted in a plurality of line-of-sight directions;
An alignment processor for aligning the echo signals input from a common point in the image area, and a combiner for combining the aligned echo signals to generate spatially synthesized panoramic image data;
An ultrasonic imaging system having: 請求項８に記載の超音波撮像システムにおいて、超音波撮像システムは更に、
前記ビーム形成器により生成された前記エコー信号に応答し、空間的に合成されたエコー信号を生成する空間合成処理器を有し、前記位置合わせ処理器及び前記結合器は、空間的に合成されたエコー信号に応じて動作する超音波撮像システム。The ultrasound imaging system according to claim 8, wherein the ultrasound imaging system further comprises:
A spatial synthesis processor responsive to the echo signal generated by the beamformer to generate a spatially synthesized echo signal, wherein the alignment processor and the combiner are spatially synthesized; Ultrasonic imaging system that operates in response to an echo signal. 前記送信制御器は、前記アレイ変換器が要素画像用のビームを送信させるように動作可能であり、異なる要素画像は、異なる視線方向に操舵されるビームを示す請求項８に記載の超音波撮像システム。9. The ultrasound imaging of claim 8, wherein the transmission controller is operable to cause the array converter to transmit beams for elemental images, wherein different elemental images indicate beams steered in different line-of-sight directions. system. 前記空間合成処理器は、異なる空間的に合成された画像用の要素画像を同時に組み立てる複数の画像メモリを含む請求項８に記載の超音波撮像システム。9. The ultrasonic imaging system according to claim 8, wherein the spatial synthesis processor includes a plurality of image memories that simultaneously assemble element images for different spatially synthesized images.

Images