JP3645727B2

JP3645727B2 - 超音波診断装置およびパノラマ画像を合成するプログラムおよびその記録媒体

Info

Publication number: JP3645727B2
Application number: JP01946299A
Authority: JP
Inventors: 孝文宮武; 晃朗長坂; 晋一郎梅村
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1999-01-28
Filing date: 1999-01-28
Publication date: 2005-05-11
Anticipated expiration: 2019-01-28
Also published as: JP2000217815A; EP1024455B1; US6328693B1; EP1024455A2; DE60041374D1; EP1024455A3; EP1956555A1

Description

【０００１】
【発明の属する技術分野】
本発明は、超音波によって得られた動画像を合成しパノラマ画像合成する方法及び装置、更に詳しくいえば、手動の超音波プローブ操作によって撮影された位置的に連続する複数の動画像フレーム列の画像を合成した画像（以下パノラマ画像と略称）を得る方法及び装置で、特に、超音波診断及びそれに使用する装置に好適なものである。
【０００２】
【従来の技術】
近年、超音波を使った診断の普及が進んでいる。超音波診断装置は、プローブを人体等の被検体の表面に当て、２〜１０ＭＨｚの超音波を体内に送り、臓器の表面等で反射された超音波を受信し、受信音波を信号処理することで、リアルタイムに患者の体内の臓器等の断層画像を表示する装置である。超音波を使った診断は外科手術やＸ線による診断に比べ患者に苦痛や悪影響を及ぼさず安全である。そのため、妊婦や幼児の診断において重要とされている。超音波診断装置の代表的な計測例に、胎児発育計測や循環器計測がある。これらの計測部位はプローブで一度に断層画像表示できる範囲を超えているため、プローブを被検体に沿ってスキャンさせながら断層画像をパノラマ的に表示させる機能が必要となる。１回の取り込みでは極めて狭い範囲の２次元断面画像しか得られないがプローブを位置センサーを有する機械的スキャナーに取り付け、人体を横切るようにスキャナーを移動させつつ断面画像を記憶すれば、人体等の被検体の上をプローブが動き終わった時に全ての記憶された断面画像から、全体のパノラマ画像を生成して表示できる。
【０００３】
しかし、機械的スキャナーに取り付けたプローブを、例えば、ふくらはぎ部、甲状腺部等、人体の曲面部に沿って正確に移動させるのは難しい。超音波は皮膚に塗られたゼリー状の物質の層を通して身体の中に伝達されるため、プローブは人体の皮膚と直接接触するように保持されなければならない。そのため、表面に凹凸がある部分を正確にスキャンさせるのは高度な操作技術が必要である。望ましいのは、手動でプローブを人体の表面に沿ってスキャンさせつつ、実時間で広範囲の断面画像を繋ぎあわせ、パノラマ的に表示できる装置の実現である。位置センサや回転センサを取り付けることなく画像を合成するためには、位置的に隣接する画像フレーム間の移動量や回転量を画像データから検出する必要がある。この検出には、画像間の動きベクトルを計算しなければならず、リアルタイム処理のためには高速の画像処理プロセッサが要求される。
【０００４】
さらに、超音波断層像を得る装置の操作性を向上させるためには、診断装置の使用者がプローブを手動で移動させながら、間違った部位を操作した場合でも、部分的に操作を修正するだけで、パノラマ画像が生成できる機能が必要である。例えば血流を計測する場合、ユーザは人体の表面から血管の上に沿って移動させる必要があるが、血管が細いのでプローブの位置が計測すべき血管の位置からずれる場合が生じる。このような場合、始めからプローブの操作をやり直すのではなく、途中での修正ができて、スキャンが再開できると操作性が確実に上がる。また、プローブを移動（スキャン）させている時に、視線をプローブ位置から離さずに断層画像が確認できる手段があると、正確な移動操作が可能になる。
【０００５】
しかしながら、望ましい超音波診断装置の実現は位置センサの取り付けられた機械的スキャナを必要としたり、あるいは高速の画像処理プロセッサを必要とする等、装置コストが大幅に高くなるという問題がある。
【０００６】
超音波診断装置に使用するパノラマ画像作成技術として相互に関連する超音波画像フレーム間動きベクトルを求め、その動きベクトルを利用して複数の画像フレーム繋ぎ合わせパノラマ画像を得る技術がＵ．Ｓ．Ｐ．５，５７７５，２８６号に開示されている。しかし上記Ｕ．Ｓ．Ｐ．に開示されているものは動きベクトルを求めるためいわゆる高度のブロックマッチング方法を用いるため、依然として信号処理量が多く、実時間処理を行うためには、高速信号処理装置を必要とする問題がある。
【０００７】
【発明が解決しようとする課題】
以上のように従来の超音波診断装置は人体に安全ではあるが、パノラマ的に全体の画像を表示させようとすると装置コストと操作性の点で問題があった。すなわち、部分的な断面画像から人体のパノラマ画像を得るためには、高速の画像処理プロセッサが必要となったり、正確にプローブを移動しないとパノラマ画像がとぎれる等の問題があった。
【０００８】
従って本発明の目的は、被検体の超音波撮像画像のパノラマ画像をリアルタイムで生成し、表示できるパノラマ画像の合成方法及びその方法を実施する低コストかつ操作性の優れた超音波パノラマ画像合成装置を提供することである。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、本発明の超音波像を合成しパノラマ画像を合成する方法は、人体等の被検体から超音波によって得られた位置的に近接した複数の画像フレーム、即ち動画像フレームの画像データを得て、上記複数の動画像フレームのそれぞれの特定の指定領域のデータから隣接する動画像フレーム間の位置関係データ即ち動画像フレーム間の移動量及び回転量を検出し、上記移動量及び回転量を用いて上記複数の動画像フレームを所定の位置で接合することによってパノラマ画像データを得て、必要によっては、上記パノラマ画像データを画像信号に変換し表示装置に表示する。
【００１０】
本発明の方法は、超音波プローブから得られた動画像データから直接位置関係データを求め、パノラマ画像データ得て、表示装置の表示画面に超音波プローブの移動と同時に表示するリアルタイム処理を行う場合の他に、一旦上記複数の動画像フレームのデータを蓄積手段に蓄積し、時間を経て上記蓄積手段のデータから上記パノラマ画像データを得て、表示手段に表示する形態も含む。
【００１１】
また、本発明のパノラマ画像を合成する画像合成装置は、位置的に相互に隣接する複数の動画像フレームの画像データを入力する手段と、上記複数の動画像データのそれぞれの特定の領域のデータから動画像フレーム間の位置関係データ即ち動画像フレーム間の移動量及び回転量を検出する動き検出手段と、上記移動量及び回転量を用いて上記複数の動画像フレームを所定の位置で接合することによってパノラマ画像データを得る信号処理装置と、上記パノラマ画像データを表示する表示装置をもち、上記動き検出手段は以下の処理を行う演算手段を有する。上記演算部は、連続する動画像フレームの画像の単一の指定された特定領域の投影分布を求め、隣接する動画像フレームの画像の単一の特定領域の投影分布間の相関によって上記移動量を求める信号処理手段と、
連続する動画像フレームそれぞれの１軸方向に分割された複数の特定部分領域の投影分布を求め、隣接する画像フレーム間のそれぞれ対応する上記特定部分領域の投影分布間の相関によって上記特定部分領域のそれぞれの移動量を求め、上記複数の特定部分領域の移動量の差から連続する動画像フレームの回転量データを求める信号処理手段とを有する。すなわち、プローブ操作の動きを画像データより検出する。
【００１２】
本発明によるパノラマ画像合成装置は、好ましい実施形態においては、上記複数の動画像フレームのデータを得る手段は、手動のプローブから取得した超音波データを画像データに変換する超音波・画像化手段で構成され、上記表示装置は上記パノラマ画像の表示と同時に上記複数の超音波画像データからの個々の画像フレームを動画像として表示する様に構成される。
【００１３】
また、本発明によるパノラマ画像合成装置の好ましい実施形態においては、上記動き検出手段及びパノラマ画像合成手段は、中央信号処理ユニット（ＣＰＵ）と、データ及び制御プログラムを記憶するメモリをもつコンピュータによって構成される。さらに上記パノラマ画像を蓄積する画像蓄積手段をも付加する。
【００１４】
更に操作性を高める好ましい形態によれば、上記プローブに、少なくとも、上記プローブの操作開始手段、操作リセット手段、上記動画像表示手段、及びパノラマ画像表示手段の少なくとも１つを取り付ける。
【００１５】
本発明の他の目的及び特徴は以下の説明によりに明らかにされる。また本発明は、超音波診断装置に特に有効であるので、以下の説明では超音波診断装置に付いて説明するが、他の用途にも実施できるものである。
【００１６】
【発明の実施の形態】
図１は、本発明による超音波像を合成しパノラマ画像を合成する装置の一実施形態である超音波診断装置の構成を示すブロック図である。
本実施形態には、超音波発振部１１０からの信号によって超音波ビーム２２０を被検体に照射し、また被検体からの反射ビームを受信するプローブ２００と、プローブ２００からの信号を動画像フレームデータにする画像化部１２０と、動画像データを処理する中央処理ユニット（以下、ＣＰＵと略称）１３０及び動画像、パノラマ画像の処理に必要なデータ１４０−２、制御プログラム１４０−１を格納するメモリ１４０と、パノラマ画像１５１等をディスプレイ１5０に表示するためのビデオメモリ１５５及びＤ／Ａ変換器１５６と、各機能部を結合するバス線路１３２とをもつ超音波診断装置１００を構成する。超音波診断装置１００は、インタフェース（Ｉ／Ｆ）を介して結合されるキーボード１６０、ポインティングデバイス１７０等の入出力装置、プリンタ１８０及び補助記憶装置１９０を備える。超音波診断装置１００のハード構成は、一般に知られているデジタルコンピュータの構成と同様である。
【００１７】
上記装置の構成において、超音波発振部１１０の発振周波数（２〜１０ＭＨｚ）はＣＰＵ１３０からの指示に従う。画像化部１２０で変換された画像データはメモリ１４０に取り込むと同時にビデオメモリ１５５に取り込まれる。ＲＡＭＡＤＣと呼ばれているＤ／Ａコンバータ１５６で、ビデオメモリ１５５に書かれた表示画像データをディスプレイ１５０の走査線スピードに合わせて逐次読出し、ディスプレイ１５０に描画する。
【００１８】
従って、ビデオメモリ１５５のデータを更新すると、その更新内容がディスプレイ１５０の表示画面に直ちに反映される。ディスプレイ１５０は、画像を表示するためのデバイスであり、例えば、小型のＣＲＴやプラズマディスプレイ、液晶タイプの表示デバイス等で構成される。画像の取り込みを、秒３０回程度の頻度で繰り返すことで、ディスプレイの一部に連続的な被検体の断層画像である動画像が表示される。
【００１９】
補助記憶装置１９０は、ハードディスク等の大容量記録装置であり、デジタルデータを半永久的に記録するための装置である。これは、ＰＣＭＣＩＡ方式のハードディスクカードのように記憶装置ごと本体１００から着脱できたり、あるいは、光磁気ディスク等のように、記録媒体のみを着脱できるタイプの記録装置であってもよい。
【００２０】
ＣＰＵ１３０は、超音波診断のための制御をはじめ、以下に説明する画像データを得たり、画像の動きの検出演算を行ったり、画像データを画像表示信号に変換し画像の表示形態を制御するための制御プログラムを実行する。制御プログラムは、メモリ１４０−１に常駐し、プログラムの実行に必要となるデータは、データメモリ１４０−２に必要に応じて格納される。プリンタ１８０は処理した画像や診断結果を印刷する。
【００２１】
上記超音波診断装置の構成において、取り込んだ動画像フレーム列をプローブ２００の移動操作（以下スキャンとも呼ぶ）に応じて動画像フレームを相互に接続する。メモリ１４０−１内に格納された制御プログラムによって、診断中に取り込まれた画像データをメモリ１４０に取り込みながら複数の画像フレームの指定部分を接続しパノラマ画像データを得て、逐次ビデオメモリ１５５に転送し、ディスプレィ１５０に１５１を表示する。さらに診断が終了すると、パノラマ画像データを補助記憶装置１９０に、画像データ構造体１９０−１として格納する。画像データ構造体１９０−１は画像の種別、画像のサイズ、診断日時、診断部位等の画像のヘッダー情報情報１９０−１−１、圧縮又は非圧縮されたパノラマ画像データ１９０−１−２が含まれる。
【００２２】
図２は、本発明による超音波診断装置の実施形態を説明するための概略図である。プローブ２００は体表（被検体の一部）２３０に沿って、プローブ２００の長手方向（矢印の曲線で示す）に手動で移動される。プローブ２００の移動で得た時間的に隣接する画像フレーム相互間の大部分の画素が一致している。ただし、後で図６に関連して説明するように、プローブの移動方向の移動距離に対応して画像間で位置がずれる。また、体表２３０の曲率に応じて画像間に回転ずれが生じる。そこで本実施形態の超音波診断装置１００では、動画像フレーム間の移動量及び回転量をＣＰＵ１３０及びプログラム１４０−１で構成される演算手段の信号処理により検出し、更に検出された移動量及び回転量を用いて、複数の動画像フレームを合成し、パノラマ画像データに変換し、ビデオメモリ１５５を介してパノラマ画像１５１としてディスプレィ１５０に逐次表示する。これにより位置センサを使用することなく、操作が容易なパノラマ画像合成装置が実現される。
【００２３】
図３は、上記実施形態における超音波診断装置のデイスプレィに表示される表示画面の一例を示す表示画面図である。
表示画面１５０は商標ウィンドウ３００、動画表示ウィンドウ３１０、パノラマ画像表示ウィンドウ３２０、操作指示ウインドウ３３０から構成される。ここで、商標ウィンドウ３００には装置名や著作権の所在等を表示する。動画表示ウィンドウ３１０は診断中の断層画像をリアルタイムで表示するウィンドウである。毎秒３０回フレームの頻度で画像を表示することで身体の内部の状態が動画として表示される。動画表示ウィンドウ３１０領域内の領域３１１は断層画像の有効領域である。上記断層画像（動画象フレーム）の有効領域は、超音波ビーム２２０を発信・受信するプローブ２００の形状がコンベックスタイプの場合には、図に示すような扇型の領域になる。図において上部が体表側、下部が身体内部側である。また、プローブ２００の形状がリニアタイプの場合には、有効領域３１１は長方形の領域になる。
【００２４】
領域３１２は断層画像３１１内に設定したパノラマ画像作成に利用する画像処理領域であって、長方形の図形として表示する。近接する動画像フレーム間の動き量と回転量を検出する画像データの信号処理はこの領域３１２のデータを使用して実行される。処理領域３１２の有効領域３１１に対する位置は、通常は固定であるが、プローブ２００を交換した場合、取り込まれる画像のサイズや位置が変わる場合があるので、それに合わせて処理領域を変更するように設定する。
【００２５】
領域３１３はパノラマ画像作成時に使用する断層画像の部分領域である。部分領域３１３は動画像として解像度の高い部分で、各フレームとも同じ位置に設定しておく。これらの画像処理領域３１２、３１３はユーザインタフェースによって、ユーザが自由に設定できる。
【００２６】
パノラマ画像表示ウィンドウ３２０は診断中の断層画像をリアルタイムでパノラマ化して画像の全体像を表示するウィンドウである。領域３２１はパノラマ画像であり、領域３２２は現在、操作中のプローブ２００の位置及び方向を示すカーソルである。
【００２７】
パノラマ画像３２１はプローブ２００の移動長によっては、パノラマ画像表示ウィンドウ３２０の枠内を超える場合もある。この場合は、作成中のパノラマ画像３２１がパノラマ画像表示ウィンドウ３２０に収まるように、スケーリングしながら表示することで解決できる。
【００２８】
操作指示ウインドウ３３０は、診断に必要な操作を指示するウィンドウであって、パノラマ画像表示を指示するボタン３３１、リセットボタン３３４、操作訂正ボタン３３５、保存ボタン３３６、印刷ボタン３３７、設定ボタン３３８をもつ。これらのボタンの選択はポインタ３３９をマウスなどのポインティングデバイス１７０を操作して、所望のボタン上でポインティングデバイス１７０をクリックすることで実行される。またディスプレィ１５０上にタッチパネルを装着して、直接、指で所望のボタンを押すように構成してもよい。図３のパノラマ画像３２１は診断の最終結果を示している。
【００２９】
図４は上記実施形態におけるパノラマ画像表示ウィンドウ３２０のパノラマ画像を示す。図４及び図３を参照しながら本発明による超音波診断装置の診断過程の操作及びパノラマ表示画像を説明する。超音波による診断は図３のパノラマボタン３３１を押すことで開始する。パノラマボタン３３１を押すと、パノラマ画像表示ウィンドウ３２０に表示されていた過去の画像はクリアされる。この状態から、体表２３０上をプローブ２００でスキャンするとパノラマ画像が逐次作成される。
【００３０】
図４(a)は、血管に沿ってプローブ２００をスキャンさせている途中のパノラマ画像を示している。図４(b)はプローブの位置が血管からずれて、血管部画像４００が途切れた例である。この状態で、パノラマボタン３３１を押すと、パノラマ画像作成が中断される。この状態でユーザは動画表示ウィンドウ３１０の画像を確認しつつ、プローブ２００の位置を修正して血管部４００の画像が表示されるようにする。その後、パノラマボタン３３１を押すと、パノラマ画像の作成処理を再開する。もし、血管部の画像４００の途切れが大きい場合は、パノラマ画像をさらに前の状態に戻す必要がある。その場合には操作訂正ボタン３３５を用いる。訂正ボタン３３５−１はパノラマ画像を前の状態に戻すボタンで、訂正ボタン３３５−１を押し続けると以前の状態にカーソル３２２が順次移動する。ボタン３３５−２は戻し過ぎたカーソルを前に進めるボタンである。
【００３１】
図４(c)は再開して血管部画像４００が接続された例であり、図４(d)は最終的に得られたパノラマ画像の例である。尚、パノラマ画像作成中にリセットボタン３３４を押すと、診断の最初の状態となり、パノラマ画像３２１はクリアされる。
【００３２】
上述のように本実施形態によれば、ユーザは診断途中のパノラマ画像を自由に訂正したり再開することが可能であるため、操作性の高い超音波診断装置が実現される。さらに、結果の保存や印刷も簡単に行える。保存ボタン３３６を押すと、パノラマ画像が補助記憶装置１９０に保存される。また、印刷ボタン３３７を押すことで、パノラマ画像をプリンタ１８０で印刷することができる。設定ボタン３３８は、画像処理領域３１２、３１３の設定や診断に必要な各種情報の入力に利用される。
【００３３】
図５は本発明による超音波診断装置の他の実施形態で使用するプローブを示す外観図である。本実施形態では、診断の操作性を向上させるため、プローブ２００と液晶ディスプレィ１５０を一体にし、即ちプローブ２００本体の一部に液晶ディスプレィ１５０を回転可能に取付け、図４で示したパノラマボタン３３１及びリセットボタン３３２とそれぞれ同等の機能を持つボタン２０１及びボタン２０２をプローブに設けている。本実施形態によれば、ボタン２０１及び２０２により診断の再開、中断が手元のプローブ２００に設けたボタン２０１及びボタン２０２の操作で実行できる。さらに、診断中、プローブ２００周辺から視線をそらす必要がなくなるので、診断が容易かつ正確に行える。
【００３４】
図６は本発明による超音波診断装置のプローブで得られた時間的に隣接する動画像フレーム間の幾何学的関係を示す。同図において曲線２３０は体表、画像領域５０５は時刻ｔの時取得した断層画像It、画像領域５０６は時刻ｔ＋１の時取得した断層画像Ｉｔ＋１である。体表２３０が曲面であるので、画像Ｉｔと画像Ｉｔ＋１は、図のような移動と回転の幾何学的関係が生じる、すなわち、画像Ｉｔの領域５０６の中心ｏを原点とし、画像Ｉｔの横軸５０３をＸｔ軸、それに直交する軸５０４をＹｔ軸とした座標系としたとき、画像Ｉｔ＋１はＸ軸に沿ってｄｘ移動５０８し、原点ｏの回りでｄΘ回転５０７する。この移動量ｄｘと回転量ｄΘから、以下の式で近接する画像フレーム間の幾何学的関係が記述できる。
【００３５】
ｐ’＝Ａｐ＋Ｂ
ここで、Ａは回転行列、Ｂはシフト量、ｐは画像Itの座標、ｐ’は画像It+1の座標である。
【００３６】
図７は本発明によるパノラマ画像合成装置の一実施形態における上記移動量検出の原理を説明する図である。同図において、画像領域５０５の画像Ｉｔ及び画像領域５０６の画像Ｉｔ＋１内の線分、折線等（血管等）は画像を示し、画像領域５０５及び５０６内の領域３１２はパノラマ画像作成に利用する画像処理領域である。画像Ｉｔと画像Ｉｔ＋１の間の画像の移動量ｄｘの検出は、それぞれの画像の領域３１２内の垂直方向への投影分布６０１及び６０２を求めた後、投影分布間の相関計算を行い、水平方向に位置をずらしながら以下に示す相関値Ｅ（ｄｘ）が最小となる位置を移動量ｄｘとする。相関値Ｅ（ｄｘ）は投影分布間の各要素の値の差分絶対値の総和で、次式で表せる。
【００３７】
【数１】

【００３８】
ここで、ｅ，ｓはｘ座標、Ｐｔは投影分布の振幅を表す。
【００３９】
本実施形態では、画像の移動量計算に２次元画像の一軸方向の投影分布というグローバルな特徴量を用いているため、安定に動き量が求められるとともに、演算量が極めて少ないので、通常のＣＰＵ１３０の能力でリアルタイムに移動量の検出ができる。
【００４０】
図８は本発明による診断装置の一実施形態における回転量検出の原理を説明するための図である。同図において、画像領域５０５及び５０６の画像は、図７のものと同じである。移動量検出のときは、画像処理領域３１２は１つ設定するだけで十分であったが、回転量の検出の場合は１つでは不十分であり２つ以上設定する必要がある。図８は６つの指定された部分領域７００ｉ（ｉ＝１…６）を垂直方向に整列して設定した例を示す。ここで下側から画像処理領域に１から６のｉ番号を付けておく。このような画像処理領域に対して、各部分領域７００ｉ毎に投影分布を求めて各移動量dxiを計算する。画像間で回転があると、原理的にはｉ番号順に各移動量は図８の下部に示す様に、領域の移動ベクトルが単調増加又は単調減少する。そこで、最も離れた領域間の移動量の差から以下に示す回転量ｄΘの式で回転量ｄΘを計算する。
【００４１】
【数２】

【００４２】
ここで、ｄｘ６、ｄｘ１及びｈｘはそれぞれ、部分領域７００６の移動量、部分領域７００１の移動量及び領域７００６と領域７００１との間の垂直方向の幅である。また移動量検出に使用する部分領域７００ｉは局所的に設定するので、移動量検出の信頼性は図７で示した移動量検出に比べて劣る。例えば、プローブ２００を移動しているときに、骨等に遭遇すると超音波ビームが体内をそれ以上通過しないため、それ以降の場所からはエコーが戻らない。そのため、得られた断層画像は骨以降の場所では暗くなる。暗くなる部分が各画像処理領域を大きく覆うと移動量は正しく求められなくなる。そこで、本実施形態では、各領域７００−ｉ毎に画素の評価を行い、暗い画素が多い場合は、移動量検出は行わないようにする。そして検出した移動量の信頼性を判定するために、ｉ番号順に各移動量の単調増加性又は単調減少性を調べて単調性が確認された場合のみ回転量の計算を行う。その際、回転量の計算には、移動量が求まっている最も距離の離れた部分領域間での移動量の差分値を用いる。
【００４３】
本実施形態では画像の回転量検出の演算に複数の部分領域を設定し、部分的に移動量が検出できない状況が発生しても、残りの画像処理領域から得られた移動量から回転量が計算されるため、信頼性が高くなる。実施例では６つの部分領域を設定しているが、６つのうち４つ検出ができなくても残りの２つから回転量が検出できるため、検出率は高くなる。また演算量は極めて少ないので、通常のＣＰＵの処理能力でリアルタイムに回転量検出ができる。
【００４４】
図９は超音波断層画像の一例を示す。断層画像領域５０５は上部が体表２３０側、即ちプローブ２００に接する側である。色彩部８０１は、カラードプラー法によって、血管部で血流が計測された部分であって、特別に色付けされる。灰色部８０２は超音波のエコーが戻ってきた部分である。暗部８０３は超音波のエコーが戻らなかった部分であって、超音波２２０を照射したときに、途中で骨や空洞があった場合に暗部が発生する。本実施形態では、移動量や回転量を検出する際、カラーフィルタを用い灰色部８０２のみを有効画素と見なして処理を行い、検出精度の劣化を防止する。
【００４５】
図１０は本発明による超音波診断装置を構成する制御プログラムの一実施例のフローチャートで、特に、診断中のパノラマ画像生成処理を中心にしたフローチャートを示す。このパノラマ画像生成処理の他にも、超音波発振の制御、診断箇所の図形表示、画像の検索等の処理もあるが、それらは、従来知られている動画像を得る超音波診断装置のものと同様の処理を行うので、詳細な説明は省く。なお、図１０の制御プログラム１４０−１は図１１と図１２に示す制御データ１４０−２を参照して実行される。なお、図１１と図１２の入力画像メモリ、パノラマ画素メモリ、X_Proj_Current,X_Proj_Last,Rotate_Proj_Current,Rotate_Count_Current,Rotate_Proj_Last,Rotate_Count_Last,Total_dx,Total_dΘ及びkはいずれもデータメモリ140-2の中に設けられるメモリ領域を示す。
【００４６】
図１０において、ステップ９００は初期化処理であり、デイスプレイ１５０上に超音波診断装置の初期画面表示を行う。ステップ９０５では、変数statusを０にリセットする。超音波診断装置の電源が入っている間（ステップ９１０）は、以下のパノラマ画像生成処理を行う。
【００４７】
まず、ステップ９１５で超音波画像即ち動画像の画像フレームの信号の取り込みを行い、配列入力画像メモリ１４０−２−１に格納する。入力画像メモリ１４０−２−１は、図１のメモリ１４０内にあり、図１１の入力画像メモリに示すように、高さ１〜Ｈ、幅１〜Ｗの画像のデータを格納する。この領域の超音波画像をディスプレイ１５０の動画表示ウィンドウ３１０に表示する（ステップ９２０）。ステップ９２５ではパノラマボタン３３１が押されたどうかをチェックし、以下のステップ９３０の判定処理を行う。
【００４８】
もしstatusが０でパノラマボタン３３１が押された場合は、パノラマ画像生成の開始処理９３１を実行する。ここでは、パノラマ画像表示ウィンドウ３２０に表示されていた以前のパノラマ画像を消去し、新しいパノラマ画像表示に備える。尚、この処理９３１の詳細は後で図１３を参照して説明する。次にステップ９３２で変数statusに１をセットし、パノラマ画像生成中の状態とする。
もし変数statusが１でパノラマボタン３３１が押された場合は、変数statusに２をセットするステップ９３３を実行し、パノラマ画像生成の中断状態とする。
【００４９】
もし変数statusが２でパノラマボタン３３１が押された場合は、ステップ９３４を実行し、変数statusに１をセットし、パノラマ画像生成の再開状態とする。
次にステップ９４０の判定処理で、リセットボタン３３４が押されたかどうかを判定し、押された場合はステップ９４１で既に説明したパノラマ画像生成の開始処理を実行し、変数statusに１をセットするステップ９４２を実行するし、パノラマ画像生成中の状態とする。
【００５０】
そして、ステップ９５０で状態がパノラマ画像生成中であるかどうかを判定する。もし変数statusが1であれば、パノラマ画像生成中であるので、ステップ９５１でパノラマ画像生成処理を行い、結果をパノラマ画像メモリ１４０−２−２に格納する。パノラマ画像メモリ１４０−２−２は、図１のメモリ１４０−２内にあり、図１１のパノラマ入力画像メモリに示すように、高さ１〜ＰＨ、幅１〜ＰＷの画像のデータを格納する。尚、ステップ９５１の処理の詳細は後で図１４を用いて説明する。そしてパノラマ画像メモリ１４０−２−２内に格納されているパノラマ画像データを画像表示信号に変換しパノラマ画像表示ウィンドウ３２０へ表示する。その際、現在のプローブ２００の位置と方向に関する情報をカーソル図形３２２をパノラマ画像表示ウィンドウ３２０に表示する。
【００５１】
次に、ステップ９６０で保存ボタン３３６が押されたかどうかを判定し、押された場合はステップ９６１を実行する。ステップ９６１はパノラマ画像保存処理であり、パノラマ画像メモリ１４０−２−２に格納された現在までに生成されているパノラマ画像データを補助記憶装置１９０に保存する。
次に、ステップ９７０で印刷ボタン３３７が押されたかどうかを判定し、押された場合はステップ９７１を実行する。ステップ９７１はパノラマ画像印刷処理であり、パノラマ画像メモリ１４０−２−２に格納された現在までに生成されているパノラマ画像をプリンタ１８０に出力する。
【００５２】
次に、ステップ９８０で設定ボタン３３８が押されたかどうかを判定し、押された場合はステップ９８１を実行する。ステップ９８１はパラメータ設定処理であり、特定領域３１２、画像合成領域３１３の設定や診断箇所、患者名等、各種情報の入力に利用される。
【００５３】
最後に、ステップ９９０でパノラマ画像生成が中断の状態、すなわち、変数statusが２で、操作訂正ボタン３３５が押されたかどうかを判定し、押された場合は、ステップ９９１で、現在表示中のカーソル３２２の位置を指定の位置へ移動させて表示する。すなわち、ボタン３３５−１が押され続けている間、過去に順次遡り、パノラマ画像の位置にカーソルを戻す。またボタン３３５−２が押され続けている間はそれとは逆の方向にカーソルを進める。このようにして、パノラマ画像生成の途中において、パノラマ画像の修正を行う。以上のステップ９１５からステップ９９１の処理を繰り返すことで、超音波画像のパノラマ画像が操作者の希望する状態で生成される。
【００５４】
図１３は、図１０のパノラマ画像生成の開始処理９３１の詳細を示すフローチャートである。まず、ステップ１０００でパノラマ画像生成に寄与した動画像フレームの総数をカウントする変数ｋを０にリセットする。変数ｋは図１２のメモリ１４０−２−１１に記憶される。次にステップ１０１０でパノラマ画像生成に使用する移動及び回転パラメータを格納するメモリ領域Total_dx１４０−２−９とメモリ領域Total_ｄΘ１４０−２−１０のそれぞれの先頭１の要素を０にリセットする（図１２）。そして、ステップ１０２０でパノラマ画像表示ウィンドウ３２０に表示中のパノラマ画像３２１を消去する。
【００５５】
その後、ステップ１０３０で入力した画像の部分領域３１３の画像データを、パノラマ画像を格納する配列パノラマ画像メモリ１４０−２−２に書き込む。この最初の画像フレームがパノラマ作成の基準の画像となり、以降の画像フレームの移動パラメータや回転パラメータは上記最初の画像フレームのデータとの相対的な差で表される。そして、ステップ１０４０でパノラマ画像表示ウィンドウ３２０にパノラマ画像メモリ１４０−２−２の内容を表示するとともにカーソル３２２も表示する。
【００５６】
図１４は、図１０のパノラマ画像生成処理９５１の詳細を示すフローチャートである。ステップ１１００から１１２０までは、連続する画像フレーム間の移動量ｄｘを求めるための処理である。
【００５７】
まずステップ１１００で入力画像メモリ１４−２−１に格納された画像の指定された特定領域３１２内の垂直方向の投影分布を計算し、メモリ領域X_Proj_Current１４０−２−３へ格納する。次にステップ１１０５でフレーム総数ｋが０よりも大きいかどうかを判定し、大きい場合はステップ１１１０、１１２０を実行する。ステップ１１１０では、現在入力した画像の投影分布をメモリ領域１４０−２−３と一つ前に入力した画像の投影分布をメモリ領域X_Proj_Last１４０−２−４の過去の投影分布との間で位置ｄｘをずらしながらマッチング即ち類似度演算を行う。そしてステップ１１２０で類似度の最も高い位置ｄｘを２つの時間的に連続する画像間の移動量とする。尚、このマッチングは具体的には前述の式(1)の計算をする。
【００５８】
ステップ１１３０から１１６５までは連続する画像フレーム間の回転量ｄΘを求めるための処理である。
ステップ１１３０で入力画像メモリ１４０−２−１に格納された画像の複数の部分領域７００i内の有効画素数すなわち超音波エコーが存在する灰色部８０２の画素を、それぞれの領域７００ｉで列毎にカウントし、メモリ領域Rotate_Proj_Current１４０−２−６に書き込む。そしてステップ１１４０で入力画像メモリ１４０−２−１に格納された画像の複数の部分領域７００ｉそれぞれ内の有効画素を対象とした垂直方向の投影分布を計算し、メモリ領域Rotate_Proj_Current１４０−２−５に書き込む。尚、通常投影分布の値は各列毎に足し込むことで計算できるが、ここではさらに、各列の有効画素数で正規化した値を配列に格納する。
【００５９】
次にステップ１１６０でフレーム総数ｋが０よりも大きいかどうかを判定し、大きい場合はステップ１１６１から１１６７を実行する。ステップ１１６１から１１６４では６つの領域７００ｉ（ｉ＝１…６）について、連続する画像フレーム間の局所的な移動量を計算する。まずステップ１１６２で領域iの有効画素数の割合が一定の値たとえば０．５以上かどうか判定する。一定値以上であれば、ステップ１１６３、１１６４を実行する。ステップ１１６３では、現在入力した画像の投影分布とメモリ領域Rotate_Proj_Current１４０−２−５と一つ前に入力した画像の投影分布とメモリ領域Rotate_Proj_Current１４０−２−７との間で位置ｄｘiをずらしながら類似度の演算を行う。そしてステップ１１６４で類似度の最も高いときの位置ｄｘiを２つの時間的に連続する画像間の領域iの移動量とする。
【００６０】
次に、ステップ１１６５で移動量が計算できた領域のうち最も距離が離れた領域間の移動量から図８に示す式により回転量ｄΘを計算する。
【００６１】
以上の処理で隣接する画像フレーム間の移動量ｄｘと回転量ｄΘが求められる。次にステップ１１６６で基準の画像と現在の画像との移動量及び回転量を計算する。これは、常に前の画像までの計算結果に今回算出したフレーム毎の移動量及び回転量を累積加算することで容易に計算できる。そしてステップ１１６７では基準の画像に対して、現在の画像の移動量及び回転量が分かっているので、まず画像の回転量と移動量に基づく座標変換を行って、パノラマ画像メモリ１４０−２−２に画像データを書き込む。以上の処理によって移動と回転を伴う画像列からパノラマ画像が生成される。
【００６２】
最後にステップ１１７０で次のパノラマ画像生成のための準備を行う。メモリ領域X_Proj_Current１４０−２−３のデータをメモリ領域X_Proj_Last１４０−２-４へ転送し、メモリ領域Rotate_Proj_Current１４０−２−５のデータをメモリ領域Rotate-Proj-Last１４０−２−７へ転送し、メモリ領域Rotate_Proj_Currentメモリ１４０−２−６のデータをメモリ領域Rotate_Count_Last１４０−２−８へ転送する。そしてパノラマ画像生成に使われた画像フレームの総数を計数する変数ｋを１だけ加算する。
【００６３】
以上述べたように、本発明のパノラマ画像生成方法は有効画素のみを対象に画像間の移動量及び回転量を検出するので、骨や空洞といった超音波を透過させない部分が診断中の画像に含まれていても、それらの部分の影響を検出結果に及ぼさないようにすることができる。また、画像特徴量は広い領域の投影分布を用いているため、ノイズの多い超音波画像に対して、移動量及び回転量を安定に検出することができる。さらに、移動量及び回転量の検出に使用する投影分布の計算量は極めて少ないので、安価なＣＰＵでリアルタイムに計算ができるという効果がある。
【００６４】
以上本発明の超音波像を合成しパノラマ画像を合成する方法及び装置を超音波診断装置の実施例によって説明したが、本発明は上記実施例に限定されるものではなく、動画像の発生源が位置的に変動する場合、動画像フレーム列を合成して合成画像を合成する場合に実施できることは明らかである。また上記実施例では、プローブ、超音波発信部、超音波画像化部とＣＰＵなどのコンピュータ部を一体的に接続した場合を示したが、一連の動画像フレームのデータを画像蓄積メモリに蓄積し、画像蓄積メモリの画像データを入力し、パノラマ画像を得る場合も含まれる。
【００６５】
【発明の効果】
本発明によれば、超音波診断装置等に実施した場合、診断中の動画像を自動的に合成してパノラマ画像を生成することができ、装置操作者のプローブ操作により得た断層画像列から、リアルタイムでパノラマ画像を作成できる。また、パノラマ画像の作成状況がディスプレィ上で刻々と確認できるとともに、診断中のプローブ操作の失敗を訂正することができる。また、好ましい実施形態ではプローブとディスプレィが一体になっているので、診断箇所から視線を離すことなく診断作業が行える。以上のように、本発明によれば高い操作性の超音波診断装置が実現される。
【図面の簡単な説明】
【図１】本発明による超音波像を合成しパノラマ画像を合成する装置の一実施形態である超音波診断装置の構成を示すブロック図である。
【図２】本発明による超音波診断装置の実施形態を説明するための概略図である。
【図３】上記実施形態における超音波診断装置のデイスプレィに表示される表示画面の一例を示す表示画面図である。
【図４】上記実施形態におけるパノラマ画像表示ウィンドウに表示されるパノラマ画像を示す図である。
【図５】本発明による超音波診断装置の他の実施形態で使用するプローブを示す外観図である。
【図６】本発明による超音波診断装置のプローブで得られた時間的に隣接する動画像フレーム間の幾何学的関係を示す図である。
【図７】本発明によるパノラマ画像合成装置の一実施形態における上記移動量検出の原理を説明する図である。
【図８】本発明によるパノラマ画像合成装置の一実施形態のおける回転量検出の原理を説明するための図である。
【図９】超音波断層画像の一例を示す図である。
【図１０】図１０の本発明のパノラマ画像生成処理９５１の詳細を示すフローチャートで
【図１１】本発明のパノラマ画像合成方法で実施する制御プログラムが参照する制御データの構造を説明する図である。
【図１２】本発明のパノラマ画像合成方法で実施する制御プログラムが参照する制御データの構造を説明する図である。
【図１３】図１０のパノラマ画像生成の開始処理９３１の詳細を示すフローチャートである。
【図１４】図１０のパノラマ画像生成処理９５１の詳細を示すフローチャートである。
【符号の説明】
１００…超音波診断装置、１１０…超音波発振部、１２０…超音波・画像化部、１３０…ＣＰＵ、１４０…メモリ、１３２…データバス、１５０…デイスプレィ、１５５……ビデオメモリ、１５６…D/Aコンバータ、１６０…キーボード、１７０…ポインティングデバイス、１８０…プリンタ、１９０…補助記憶装置、２００…プローブ。

Claims

超音波像を得るプローブとディスプレイを備え、上記プローブから得られた上記超音波像を構成する複数の動画像フレーム間の位置関係データを検出する手段と、上記位置関係データを用いてパノラマ画像データを得る手段と、上記複数の動画像フレームの画像データおよび上記パノラマ画像データを画像表示信号に変換し、上記ディスプレイに表示する画像表示手段と、上記各手段を制御する制御部を備えた超音波診断装置であって、
上記位置関係データを検出する手段は、上記複数の動画像フレーム毎に該動画像フレーム内の１の特定領域の信号から１軸方向の投影分布を第１の特徴量として求めて上記動画像フレーム間の移動量を求め、上記動画像フレームの中の複数の局部的部分領域の信号それぞれについて１軸方向の投影分布を第２の特徴量として求めて該複数の第２の特徴量から上記動画像フレーム間の回転量を求め、上記パノラマ画像データを得る手段は、該移動量と回転量とを用いて上記複数の動画像フレームを接合することによって上記パノラマ画像データを得ることを特徴とする超音波診断装置。
上記第２の特徴量は、上記特定領域を１軸方向に複数に分割した複数の特定部分領域毎に求めた複数の投影分布であって、上記位置関係データを検出する手段は、上記複数の投影分布のそれぞれについて上記複数の動画像フレーム間の相関を求め、上記複数の相関から上記複数の特定部分領域のそれぞれの移動量を求め、上記複数の移動量の差から上記回転量を求める手段を有することを特徴とする請求項１記載の超音波診断装置。
上記ディスプレイ内の上記パノラマ画像を表示する領域に現在処理中の動画像フレームの位置情報を表示する手段を有することを特徴とする請求項１又は２記載の超音波診断装置。
上記ディスプレイの上記複数の動画像フレームを表示する領域に上記パノラマ画像の作成に利用する画像処理領域を表示する手段を有することを特徴とする請求項１ないし３記載のいずれか一つに記載の超音波診断装置。
複数の動画像フレームの単一の特定領域における画像の投影分布間の相関から上記特定領域の移動量を求める手順と、
上記複数の動画像フレームのそれぞれの１軸方向に分割された複数の特定領域における投影分布のそれぞれについて上記複数の動画像フレーム間の相関を求め、上記複数の相関から上記複数の特定領域のそれぞれの移動量を求め、上記複数の移動量の差から回転量を求める手順と、上記移動量および上記回転量から上記複数の動画像フレーム間の位置関係データを検出する手順と、上記位置関係データを用いて上記複数の動画像フレームを所定の位置で接合する手順とを持つパノラマ画像を合成するプログラムを記憶した記録媒体。
超音波像を構成する複数の動画像フレームの画像データを得るステップと、上記複数の動画像フレーム間の位置関係データを検出するステップと、上記位置関係データを用いて上記複数の動画像フレームを所定の位置で接合することによってパノラマ画像を得るステップをコンピュータで実行させるプログラムであって、
上記位置関係データを検出するステップは、時間的に前後した２つの動画像フレームのうち前の第１の動画像フレームと後ろの第２の動画像フレームのそれぞれについて単一の特定領域の画素の一軸方向の投影分布を計算し、上記２つの投影分布のマッチングにより上記２つの動画像フレームの水平および垂直方向の移動量を求める第１ステップと、
上記位置関係データを求めようとする２つの動画像フレーム内のそれぞれの対応する位置に複数の分割領域を設け、上記複数の分割領域のそれぞれの投影分布を計算し、上記複数の分割領域の投影分布のマッチングにより上記２つの動画像フレームの上記複数の分割領域毎の移動量を求める第２ステップと、
上記第２ステップで得られた上記分割領域毎の移動量を用いて上記２つの動画像フレームの回転角を計算する第３ステップと、
上記第１ステップで得た移動量と上記第３ステップで得た回転角を用いて上記第２の動画像フレームの合成すべき画像領域を移動、回転し、パノラマ画像メモリ部に書き込む第４ステップと、
新しく入力される動画像フレームを上記第２の動画像フレームとして上記第１ステップないし第４ステップを繰り返し行うステップとを有することを特徴とするプログラム。
上記位置関係データを検出するステップ中の上記第２ステップでは上記複数の分割された領域のそれぞれの全画素に対する有効画素の割合を調べるステップと、上記有効画素の割合が一定値以上の上記分割領域の投影分布を計算するステップを有し、上記位置関係データを検出するステップ中の上記第３ステップでは上記複数の分割された部分領域毎の移動量のうち最も距離の離れた２つの分割領域の移動量を選択するステップと、上記２つの移動量の差から上記２つの動画像フレームの回転角を求めるステップを有することを特徴とする請求項6記載のプログラム。