JP3752921B2 - 超音波像の立体パノラマ画像合成装置 - Google Patents
超音波像の立体パノラマ画像合成装置 Download PDFInfo
- Publication number
- JP3752921B2 JP3752921B2 JP28768399A JP28768399A JP3752921B2 JP 3752921 B2 JP3752921 B2 JP 3752921B2 JP 28768399 A JP28768399 A JP 28768399A JP 28768399 A JP28768399 A JP 28768399A JP 3752921 B2 JP3752921 B2 JP 3752921B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- ultrasonic
- stereoscopic
- probe
- panorama
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
- G01S7/52053—Display arrangements
- G01S7/52057—Cathode ray tube displays
- G01S7/5206—Two-dimensional coordinated display of distance and direction; B-scan display
- G01S7/52065—Compound scan display, e.g. panoramic imaging
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
- Image Input (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、超音波像の立体パノラマ画像合成装置に関わり、特に手動のプローブ操作によって撮影された断層画像列から、実時間で３次元の立体パノラマ画像表示が可能な超音波像の立体パノラマ画像合成装置に関する。
【０００２】
【従来の技術】
近年、超音波を使った診断の普及が進んでいる。超音波診断装置は、プローブを体表に当て、２〜１０メガヘルツの超音波を体内に送り、臓器の表面などで反射された超音波を受信することで、リアルタイムに患者の体内の臓器などの断層画像を表示する装置である。超音波を使った診断は外科手術やＸ線による診断にくらべ患者に苦痛や悪影響を及ぼさず安全である。このことは特に妊婦や幼児の診断において重要とされている。
【０００３】
超音波診断装置の代表的な計測アプリケーションに、胎児発育計測や循環器計測がある。これらの計測部位はプローブで一度に断層画像表示できる範囲を超えているため、プローブを人体に沿ってスキャンさせながら断層画像を立体的でかつパノラマ的に表示させる機能が必要となる。１回の取り込みでは極めて狭い範囲の２次元断面画像しか得られないが、プローブをポジションセンサを有する機械的スキャナに取り付け、人体を横切るようにスキャナを移動させつつ断面画像を記憶すれば、人体の上を動き終わった時に全ての記憶された断面画像から、全体の立体パノラマ画像を生成して表示できる。
【０００４】
ところで、超音波は皮膚に塗られたゼリー状の物質の層を介して身体の中に伝達され、その反射波を受信するプローブは人体の皮膚と直接接触するように保持されなければならない。そのため、機械的スキャナに取り付けたプローブを、ふくらはぎ部、甲状腺部など、表面に凹凸がある人体の曲面部に沿って正確にスキャンさせるには高度な操作技術が必要である。
【０００５】
望ましいのは、手動でプローブを人体の表面に沿ってスキャンさせつつ、リアルタイムで断面画像を立体的に表示できる装置の実現である。ポジションセンサやローテーションセンサを取り付けることなく画像を合成するためには、画像から動き量や回転量を検出する必要がある。しかしながら、立体像を得るために、プローブを断層に直交する方向にずらしながら撮像した断層画像列には、プローブの動き量や回転量に関する情報が含まれておらず、画像間の相関演算等によって、上記情報を検出することは、現状では困難である。
【０００６】
【発明が解決しようとする課題】
以上のように従来の超音波診断装置は、立体パノラマ画像を表示させようとすると、ポジションセンサを有する機械的スキャナを必要とし、装置コストと操作性の点で問題があった。
【０００７】
本発明が解決しようとする課題は、超音波像の立体パノラマ画像をリアルタイムで生成できる、低コストかつ操作性の優れた超音波像の立体パノラマ画像合成装置の提供にある。
【０００８】
【課題を解決するための手段】
上記の課題を解決するため、直交する２方向からの超音波データを取得するプローブと上記プローブから取得した超音波データを画像に変換する超音波・画像化手段と、上記超音波・画像化手段で得られた画像を動画として表示する動画表示手段と、プローブの移動操作によって生成された特定の方向の画像間の移動量と回転量を検出する合成パラメータ検出手段と、上記合成パラメータ検出手段により検出した移動量と回転量に応じて、もう一方向の画像を３次元空間上に配置し、立体パノラマ画像として合成し、表示する立体パノラマ画像合成手段とを具備する。なお、プローブの超音波受信部の形状はＬ字型またはＴ字型のように、直角成分を含む形状とする。
【０００９】
上記合成パラメータ検出手段は、連続する画像間の投影分布を記憶する投影分布記憶手段と、連続する画像間のそれぞれの投影分布について、投影分布間の相関によって移動量を求める投影分布相関手段とを具備し、上記投影分布間の移動量を、プローブの移動操作による画像の移動量とする。そして、投影分布記憶手段に記憶する投影分布は画像を構成する画素の値を垂直方向に積分した結果を積分した個数で正規化しておく。さらに、投影分布の作成において、画素が特定の範囲の値のとき、有効画素とし、有効画素のみを投影分布の計算対象とする。
【００１０】
さらにまた、上記合成パラメータ検出手段は、複数の画像処理領域を設定し、連続する画像間において、投影分布を上記複数の画像処理領域分だけ記憶する投影分布記憶手段と、連続する画像間のそれぞれ対応する画像処理領域の投影分布について、投影分布間の相関によって、それぞれ移動量を求める投影分布相関手段とを具備し、上記複数の移動量の差から、プローブの移動操作による画像の回転量を推定する。そして、投影分布記憶手段に記憶する投影分布は画像を構成する画素の値を垂直方向に積分した結果を積分した個数で正規化しておく。さらに、投影分布の作成において、画素が特定の範囲の値のとき、有効画素とし、有効画素のみを投影分布の計算対象とする。また、回転量の推定には最も距離の離れた画像処理領域の組から得た移動量を利用する。
【００１１】
また、本発明の別の手段では、直交する２方向からの超音波データを取得するプローブと上記プローブから取得した超音波データを画像に変換する超音波・画像化手段と、上記超音波・画像化手段で得られた画像を動画として表示する動画表示手段と、
プローブの移動操作によって生成された特定の方向の画像間の移動量と回転量を検出する合成パラメータ検出手段と、上記合成パラメータ検出手段により検出した移動量と回転量に応じて、上記方向の画像を２次元平面上に配置し、パノラマ画像として合成し、表示するパノラマ画像合成手段と、上記合成パラメータ検出手段により検出した移動量と回転量に応じて、もう一方向の画像を３次元空間上に配置し、立体パノラマ画像として合成し、表示する立体パノラマ画像合成手段とを具備する。
【００１２】
【発明の実施の形態】
図１は、本発明を実現するための超音波像の立体パノラマ画像合成装置のシステム構成図の一例である。基本的には、現在汎用的に用いられているデジタルコンピュータのシステム構成と同じであり、それに加わる形で、所定周波数の超音波を発生させる超音波発振部１００や超音波エコーを受信して画像に変換する超音波・画像化部１２０などが備わる。
【００１３】
まず１１０は、所定周波数の超音波２１０−１を発生させる超音波発振部である。人間の耳には聞こえない２〜１０メガヘルツの超音波を発生させる。どのような周波数を発生するかはＣＰＵ１３０からの指示に従う。１２０はプローブ２００で受信した超音波エコー信号２１０−２を、デジタル画像に変換する超音波・画像化部である。
【００１４】
変換されたデジタル画像はメモリ１４０に取り込むと同時にビデオメモリ１５５に取り込まれる。ビデオメモリ１５５はディスプレイ１５０に表示される画像をデジタルデータとして格納する。１５６は、一般にＲＡＭＤＡＣとも呼ばれている種類のＤ／Ａコンバータであり、ビデオメモリ１５５に書かれたデータを走査線スピードに合わせて逐次読みとり、ディスプレイ１５０に描画する。したがって、ビデオメモリ１５５のデータを更新すると、その更新内容がディスプレイ１５０の表示内容に直ちに反映される。
【００１５】
ディスプレイ１５０は、画像を表示するためのデバイスであり、例えば、小型のＣＲＴやプラズマディスプレイであってもよいし、液晶タイプの表示デバイスであっても構わない。こうした画像の取り込みを、秒３０回程度の頻度で繰り返すことで、ディスプレイ上で連続的な動画の表示が行える。
【００１６】
補助記憶装置１１０は、ハードディスク等の大容量記録装置であり、デジタルデータを半永久的に記録するための装置である。これは、ＰＣＭＣＩＡ方式のハードディスクカードのように記憶装置ごと本体から着脱できたり、あるいは、光磁気ディスク等のように、記録媒体のみを着脱できるタイプの記録装置であっても構わない。
【００１７】
ＣＰＵ１３０は、診断のための制御をはじめ、本発明で説明する機能を実現するためのソフトウエアプログラムを実行する。プログラム１４０−１は、メモリ１４０に常駐し、プログラムの実行に必要となるデータ１４０−２もメモリ１４０に必要に応じて格納される。プリンタ１８０は処理した画像を印刷する。キーボード１６０、ポインティングデバイス１７０は情報入力デバイスである。入力情報は、ＣＰＵ１３０に伝えられ、適宜処理される。１３２は、以上述べた各デバイス間を相互につなぐデータバスである。
【００１８】
以上の超音波像の立体パノラマ画像合成装置のシステム構成において、本実施例では、取り込んだ画像系列をプローブのスキャン操作に応じて画像を合成する。まずメモリ１４０内に格納された制御プログラムによって、診断中に取り込まれた画像をメモリに取り込みながら画像を３次元空間で合成し、逐次ビデオメモリ１５５に転送し、ディスプレイ１５０に立体パノラマ画像１５１を表示する。さらに診断が終了すると、立体パノラマ画像を補助記憶装置１９０に、画像データ構造体１９０−１として格納する。１９０−１−１は、画像のヘッダー情報であり、画像の種別、画像のサイズ、診断日時、診断部位等の情報が含まれる。１９０−１−２は画像データであり、非圧縮または圧縮されて格納される。
【００１９】
図２は、本発明の装置の人体への適用例である。Ｌ字型のプローブ２００は、Ｘ−Ｚ軸の断面画像とＹ−Ｚ軸の断面画像を同時に取得することができる。体表３００に沿って、プローブをＸ軸方向に手動でスキャンして得た、Ｘ−Ｚ軸の断面画像は時間的に隣接する画像同士は大部分が一致しているという特徴がある。ただし、図５に示すように、スキャン方向の移動距離に対応して画像間で位置がずれる。また、体表３００の曲率に応じて画像間に回転ずれが生じる。そこで本発明の超音波像の立体パノラマ画像合成装置１００では画像間の移動量および回転量を画像処理により計算し、合成パラメータを得る。この合成パラメータを用いて、Ｙ−Ｚ軸の断面画像を３次元空間上に配置し、立体パノラマ画像として合成し、画像をディスプレイ１５０に逐次表示するようにする。これによりポジションセンサを使用することもなく、操作が容易な合成装置が提供できる。従来のプローブは一度には一方向の断面画像しか得られなかったが、本発明のＬ字型プローブでは、直交する２断面の画像が同時に得られるため、一方の断面画像を合成パラメータ検出目的に補助的に活用できるという効果がある。
【００２０】
図１４は本発明のプローブの別の一実施例であり、Ｔ字型プローブとなっている点が特徴である。本実施例のプローブは、体表に接する面が対称形であるので、体表に密着させたときに走査しやすく、かつ２方向からの超音波像を正確に受信しやすくなるという効果がある。
【００２１】
図３は本発明のディスプレイに表示される表示画面の一実施例である。表示画面は動画表示ウィンドウ３０１、操作指示ウィンドウ３３０から構成される。
【００２２】
動画表示ウィンドウ３０１は診断中の断層画像をリアルタイムで表示するウィンドウである。秒３０回の頻度で画像を表示することで身体の内部の状態が動画として観察できる。３０２は本発明で得られるＸ−Ｚ軸の断面画像表示領域であり、３０３はＹ−Ｚ軸の断面画像表示領域である。また３１２は移動量検出のための処理領域である。
【００２３】
操作指示ウィンドウ３３０は診断に必要な操作を指示するウィンドウであって、例えば立体パノラマボタン３３１、リセットボタン３３４、保存ボタン３３６、印刷ボタン３３７から構成される。これらのボタンの選択は、ポインタ３３９をポインティングデバイス１７０で操作し、所望のボタン上でポインティングデバイス１７０をクリックすることで達成できる。またディスプレイ上１５０上にタッチパネルを装着して、直接、指で所望のボタンを押すようにすることもできる。
【００２４】
まず、超音波による診断は立体パノラマボタン３３１を押すことで開始する。立体パノラマボタン３３１を押すと、図４の表示画面に変わる。パノラマ画像表示ウィンドウ３１０、立体パノラマ画像表示ウィンドウ３２０が現われ、最初に表示画面がクリアされる。この状態から、体表をプローブでスキャンするとパノラマ画像３１１、立体パノラマ画像３２１が逐次合成、表示される。図４は最終的に得られた立体パノラマ画像の例である。なお、立体パノラマ画像作成中にリセットボタン３３４を押すと、診断の最初の状態となり、立体パノラマ画像はクリアされる。さらに、結果の保存や印刷も簡単に行える。保存ボタン３３６を押すと、パノラマ画像と立体パノラマ画像が補助記憶装置１９０に保存される。また、印刷ボタン３３７を押すことで、パノラマ画像と立体パノラマ画像をプリンタ１８０で印刷することができる。
【００２５】
図５はＬ字型プローブを体表上でＸ軸方向にスキャンさせて取得した画像間の幾何学的関係を示す。３００は体表、５０５は時刻ｔのとき取得したＸ−Ｚ軸の断層画像Ｉｔ、５０６は時刻ｔ＋１の時取得したＸ−Ｚ軸の断層画像Ｉｔ＋１である。また、５０７は時刻ｔのとき取得したＹ−Ｚ軸の断層画像Ｊｔ、５０８は時刻ｔ＋１のとき取得したＹ−Ｚ軸の断層画像Ｊｔ＋１である。
【００２６】
体表３００が曲面であるので、画像Ｉｔと画像Ｉｔ＋１は、図のような移動と回転の幾何学的関係が生じる、すなわち、画像Ｉｔの中心Ｏを原点とし、画像Ｉｔの横軸をＸ軸、それに直交する軸をＹ軸とした座標系としたとき、画像Ｉｔ＋１はＸ軸に沿ってｄｘ移動し、原点Ｏの回りでｄΘ回転する。このｄｘとｄΘがわかると、以下の数１に示す式で画像間の幾何学的関係を記述できる。
【００２７】
【数１】
ｐ’＝Ａｐ ＋ Ｂ ……（１）
なお数１において、Ａは回転行列、Ｂはシフト量、ｐは画像Ｉｔの座標、ｐ’は画像Ｉｔ＋１の座標である。そして、この幾何学的関係がわかるので、画像Ｊｔを３次元空間上に正確に配置することができる。
【００２８】
図６は本発明の移動量検出の原理を示す。移動量の検出は画像Ｉｔおよび画像Ｉｔ＋１の垂直方向への投影分布を求めた後、投影分布間の相関計算を行い、水平方向に位置をずらしながら相関値が最小となる位置を移動量ｄｘとする。なお、投影分布は画像処理領域３１２の中だけで計算する。
【００２９】
相関値は図６に示す式のように、投影分布間の各要素の値の差分絶対値の総和である。本発明では画像の移動量計算に投影分布というグローバルな特徴量を用いているため、安定に動き量が求められるとともに、演算量が極めて少ないので、通常のＣＰＵ能力でリアルタイムに移動量検出ができるという効果がある。
【００３０】
図７は本発明の回転量検出の原理を示す。移動量検出のときは、画像処理領域は１つ設定するだけで十分であったが、回転量の検出の場合は１つでは不十分であり、２つ以上設定する必要がある。図７では６つの画像処理領域７００を垂直方向に整列して設定した例を示す。ここで下側から画像処理領域に１から６のＩＤ番号（図示略）を付けておく。このような画像処理領域に対して、各領域毎に投影分布を求めて各移動量ｄｘｉを計算する。画像間で回転があると、原理的にはＩＤ番号順に各移動量は単調増加または単調減少する。
【００３１】
そこで、最も離れた領域間の移動量の差から、図７に示す式で回転量ｄΘを計算する。ここでの移動量検出に使用する画像処理領域は局所的に設定するので、移動量検出の信頼性は図６で示した移動量検出に比べて劣る。たとえばプローブをスキャンしているときに、骨などに遭遇すると超音波ビームが体内をそれ以上通過しないため、それ以降の場所からはエコーが戻らない。そのため、得られた断層画像は骨以降の場所では暗くなる。暗くなる部分が各画像処理領域を大きく覆うと移動量は正しく求められなくなる。
【００３２】
そこで、本発明ではまず、各領域毎に画素の評価を行い、暗い画素が多い場合は、移動量検出は行わないようにする。そして検出した移動量の信頼性を判定するために、ＩＤ番号順に各移動量の単調増加性また単調減少性をチェックして単調性が確認された場合のみ回転量の計算を行う。その際、回転量の計算には、移動量が求まっている最も距離の離れた画像処理領域間での移動量の差分値を用いるようにする。本発明では画像の回転量計算に多数の画像処理領域を設定し、部分的に移動量が検出できない状況が発生しても、残りの画像処理領域から得られた移動量から回転量が計算されるため、信頼性が高くなる。本実施例では６つの画像処理領域を設定しているが、たとえば６つのうち４つ検出ができなくても残りの２つから回転量が検出できるため、検出率は高くなる。また演算量は極めて少ないので、通常のＣＰＵ能力でリアルタイムに回転量検出ができるという効果がある。
【００３３】
図８は超音波による断層画像の構造の一例を示す。断層画像５０５は上部が体表側である。色彩部８０１は、カラードプラー法によって、血管部で血流が計測された部分であって、特別に色付けされる。灰色部８０２は超音波のエコーが戻ってきた部分である。暗部８０３は超音波のエコーが戻らなかった部分であって、超音波を照射したときに、途中で骨や空洞があった場合に暗部が発生する。本発明では、移動量や回転量を検出する際、灰色部８０２のみを有効画素と見なして処理を行うことで、検出精度の劣化を防止する。
【００３４】
図９は本発明の立体パノラマ画像合成装置の制御プログラム１４０−１の一実施例であり、特に、診断中のパノラマ画像生成処理を中心にフローチャートで示す。なお、制御プログラム１４０−１は図１０と図１１に示す制御データ１４０−２を参照して、実行される。
【００３５】
図９において、ステップ９００は初期化処理であり、ディスプレイ上に立体パノラマ画像合成装置の初期画面表示を行う。そしてステップ９０５で、変数statusを０にリセットする。立体パノラマ画像合成装置の電源が入っている間（ステップ９１０）、以下の立体パノラマ画像生成処理を行う。
【００３６】
まず、ステップ９１５で超音波画像の取り込みを行い、配列Input_Image_Buf１４０−２−１に格納する。次にステップ９２０で取り込んだ超音波画像を動画表示ウィンドウ３０１に表示する。ステップ９２５では立体パノラマボタン３３１が押されたどうかをチェックし、以下のステップ９３０の判定処理を行う。
【００３７】
もしstatusが０で立体パノラマボタンが押された場合は、立体パノラマ画像生成の開始処理９３１を実行する。ここでは、パノラマ画像表示ウィンドウ３１０および立体パノラマ画像表示ウィンドウ３２０に表示されていた以前の画像を消去し、新しいパノラマ画像および立体パノラマ画像表示に備える。なお、この処理の詳細は後で図１２を参照して説明する。次にステップ９３２で変数statusに１をセットし、立体パノラマ画像生成中の状態とする。
【００３８】
もし変数statusが１で立体パノラマボタンが押された場合は、ステップ９３２を実行し、変数statusに０をセットし、立体パノラマ画像生成の終了状態とする。
【００３９】
次にステップ９４０の判定処理で、リセットボタン３３４が押されたかどうかを判定し、押された場合はステップ９４１で既に説明した立体パノラマ画像生成の開始処理を実行し、次にステップ９４２で変数statusに１をセットし、パノラマ画像生成中の状態とする。
【００４０】
そして、ステップ９５０で状態が立体パノラマ画像生成中であるかどうかを判定する。もし変数status＝１であれば立体パノラマ画像生成中であるので、ステップ９５１で立体パノラマ画像生成処理を行い、結果をPanoramic_Image_Buf１４０−２−２およびCubic_Image_Buf１４０−２−１２に格納する。なお、この処理の詳細は図１３を用いて後述する。そしてPanoramic_Image_Buf１４０−２−２およびCubic_Image_Buf１４０−２−１２内に格納されている各画像をパノラマ画像表示ウィンドウ３１０および立体パノラマ画像表示ウィンドウ３２０へ表示する。
【００４１】
次に、ステップ９６０で保存ボタン３３６が押されたかどうかを判定し、押された場合はステップ９６１を実行する。ステップ９６１は立体パノラマ画像保存処理であり、Panoramic_Image_Buf１４０−２−２およびCubic_Image_Buf１４０−２−１２に格納された現在までに生成されているパノラマ画像および立体パノラマ画像を補助記憶装置１９０に保存する。
【００４２】
次に、ステップ９７０で印刷ボタン３３７が押されたかどうかを判定し、押された場合はステップ９７１を実行する。ステップ９７１はパノラマ画像印刷処理であり、Panoramic_Image_Buf１４０−２−２およびCubic_Image_Buf１４０−２−１２に格納された現在までに生成されている各画像をプリンタ１８０に出力する。
【００４３】
以上のステップ９１５からステップ９７０の処理を繰り返すことで、超音波画像の立体パノラマ画像が合成できる。
【００４４】
図１２は立体パノラマ画像生成の開始処理９３１の詳細を示す。まず、ステップ１０００で立体パノラマ画像生成に寄与した画像の総数をカウントする変数ｋを０にリセットする。次にステップ１０１０で立体パノラマ画像生成に使用する移動および回転パラメータを格納する配列Total_ｄｘ１４０−２−９とTotal_ｄΘ１４０−２−１０（図１１）の先頭の要素を０にリセットする。そして、ステップ１０２０で立体パノラマ画像表示ウィンドウ３２０に表示中の立体パノラマ画像３２１を消去する。
【００４５】
その後、ステップ１０３０で入力した画像の部分領域３０２の画像を、パノラマ画像を格納する配列Panoramic_Image_Buf１４０−２−２（図１０）に書き込む。この最初の画像がパノラマ作成の基準の画像となり、以降の画像の移動パラメータや回転パラメータはこの画像との相対的な差である。そして、ステップ１０４０でパノラマ画像表示ウィンドウ３１０にPanoramic_Image_Bufの内容を表示する。
【００４６】
次に、ステップ１０５０で入力した画像の部分領域３０３の画像を、立体パノラマ画像を格納する配列Cubic_Image_Buf1４０−２−１２（図１１）に書き込む。そして、ステップ１０６０で立体パノラマ画像表示ウィンドウ３２０にCubic_Image_Bufの内容を表示する。
【００４７】
図１３は本発明の立体パノラマ画像生成処理９５１の詳細を示す。
【００４８】
ステップ１１００から１１２０までは、連続する画像間の移動量ｄｘを求めるための処理である。
【００４９】
まずステップ１１００でInput_Image_Buf１４０−２−１に格納された部分領域３０２の断面画像内の指定領域３１２の垂直方向の投影分布を計算し、配列X_Proj_Current１４０−２−３へ格納する。ここで、Input_Image_Bufには２方向の断面画像が１枚のフレームとして格納されている。
【００５０】
次にステップ１１０５でｋが０よりも大きいかどうかを判定し、大きい場合はステップ１１１０、１１２０を実行する。ステップ１１１０では、現在入力した画像の投影分布X_Proj_Current１４０−２−３と一つ前に入力した画像の投影分布X_Proj_Last１４０−２−４との間で位置ｄｘをずらしながらマッチングを行う（図１０）。そしてステップ１１２０で最もマッチングのとれた位置ｄｘを２つの時間的に連続する画像間の移動量とする。なお、このマッチングは具体的には図６に示した式で計算する。
【００５１】
ステップ１１３０から１１６５までは連続する画像間の回転量ｄΘを求めるための処理である。
【００５２】
まずステップ１１３０でInput_Image_Buf１４０−２−１内の領域３１２に格納された画像の複数の指定領域７００（図７）内の有効画素数すなわち超音波エコーが存在する灰色部８０２（図８）の画素を、それぞれの領域で列毎にカウントし、配列Rotate_Count_Current１４０−２−６に書き込む。そしてステップ１１４０で上記複数の指定領域７００内の有効画素を対象とした垂直方向の投影分布を計算し、配列Rotate_Proj_Current１４０−２−５に書き込む。なお、通常投影分布の値は各列毎に足し込むことで計算できるが、ここではさらに、各列の有効画素数で正規化した値を配列に格納する。
【００５３】
次にステップ１１６０でｋが０よりも大きいかどうかを判定し、大きい場合はステップ１１６１から１１６８を実行する。
【００５４】
ステップ１１６１から１１６４では６つの領域について、連続する画像間の局所的な移動量を計算する。まずステップ１１６２で領域ｉの有効画素数の割合が一定の値たとえば０．５以上かどうか判定する。一定値以上であれば、ステップ１１６３、１１６４を実行する。ステップ１１６３では、現在入力した画像の投影分布Rotate_Proj_Current１４０−２−５と一つ前に入力した画像の投影分布Rotate_Proj_Last１４０−２−７との間で位置ｄｘｉをずらしながらマッチングを行う。そしてステップ１１６４で最もマッチングのとれた位置ｄｘｉを２つの時間的に連続する画像間の領域ｉの移動量とする。
【００５５】
次に、ステップ１１６５で移動量が計算できた領域のうち最も距離が離れた領域間の移動量から図７に示す式により回転量ｄΘを計算する。
【００５６】
以上の処理で隣接する画像間の移動量ｄｘと回転量ｄΘが求められた。次にステップ１１６６で基準の画像と現在の画像との移動量および回転量を計算する。これは、常に前の画像までの計算結果に今回算出した移動量および回転量を加算することで容易に計算できる。そしてステップ１１６７では、入力画像の部分領域３０２の画像を、回転量と移動量に基づいて２次元座標変換を行い、配列Panoramic_Image_Buf１４０−２−２に画像を書き込む。これによって移動と回転を伴う断面画像列からパノラマ画像が生成可能になる。
【００５７】
次にステップ１１６８では、入力画像の部分領域３０３の画像を、回転量と移動量に基づいて３次元の座標変換を行い、配列Cubic_Image_Buf１４０−２−１２に画像を書き込む（図１１）。これによって移動と回転を伴う断面画像列から立体パノラマ画像が生成可能になる。なお、この状態では、配列Cubic_Image_Bufの立体パノラマ画像には画素値のない隙間も生じるので、隙間は周りの画素との間で線形補間することで補うようにする。
【００５８】
最後にステップ１１７０で次の立体パノラマ画像生成のための準備を行う。配列X_Proj_Currentの内容をX_Proj_Lastへ転送し、配列Rotate_Proj_Currentの内容をRotate_Proj_Lastへ転送し、配列Rotate_Count_Currentの内容をRotate_Count_Lastへ転送する。そして立体パノラマ画像生成に使われた画像の総数を計数する変数ｋを１だけ加算する。
【００５９】
以上述べたように、本発明の立体パノラマ画像合成装置はプローブから直交する断面画像が同時に得られるようにすることで、一方の断面画像列からプローブの移動量と回転量の計算が可能になった。その結果、上記合成パラメータを用いて、もう一方の断面画像列を３次元空間に配置して表示することが可能になり、従来、必要とされていたポジションセンサが不要になり、装置が安価になる効果が得られた。
【００６０】
図１５は、本発明の別の形態の超音波像の立体パノラマ画像合成装置のシステム構成図の一例である。基本的には図１の構成にある超音波像を生成する手段を持たず、外部からの映像信号１０００を取り込んで、それをＡ／Ｄ変換する手段１０１０を有する。他の手段は図１と同じであるので説明は省く。この装置構成によれば、従来の超音波診断装置にＬ字型のプローブを取り付けて体表を走査し、その時の超音波診断装置のディスプレイ上に表示されている映像信号を本装置に入力するだけで、超音波像の立体パノラマ画像が合成可能になる。この実施例では超音波像を生成する手段が不要になり、従来より超音波診断装置を保有しているユーザにとっては、安価な立体パノラマ画像合成装置が得られる。
【００６１】
【発明の効果】
本発明によれば、立体パノラマ画像合成用の断層画像の他に、合成パラメータ検出用の断層画像が同時に入力できるため、手動のプローブ操作から得た断層画像列から、ポジションセンサを使わず正確にリアルタイムで立体パノラマ画像の合成が可能になった。その結果、安価で操作性の高い装置が達成できる。
【図面の簡単な説明】
【図１】本発明の一実施例の立体パノラマ画像合成装置の構成を示すブロック図。
【図２】本発明の人体への適用例を示す斜視図。
【図３】本発明の実施例において表示される画面の一例を示す説明図。
【図４】合成過程における立体パノラマ表示画面の説明図。
【図５】Ｌ字型プローブを操作したときの画像間の幾何学的関係の説明図。
【図６】本発明の実施例における移動量検出の原理説明図。
【図７】本発明の実施例における回転量検出の原理説明図。
【図８】超音波画像の構造を表す説明図。
【図９】本発明の立体パノラマ画像合成装置の制御プログラムのフローチャート。
【図１０】本発明の制御プログラムが参照する制御データの構造の説明図。
【図１１】本発明の制御プログラムが参照する制御データの構造の説明図。
【図１２】本発明の立体パノラマ画像生成の開始処理の詳細を示すフローチャート。
【図１３】本発明の立体パノラマ画像生成処理の詳細を示すフローチャート。
【図１４】本発明の一実施例のＴ時型プローブの斜視図。
【図１５】本発明の別の形態の画像合成装置のシステム構成図を示すブロック図。
【符号の説明】
１００…立体パノラマ画像合成装置、１１０…超音波発振部、１２０…超音波・画像化部、１３０…ＣＰＵ、１４０…メモリ、１３２…データバス、１５０…ディスプレイ、１５５……ビデオメモリ、１５６…Ｄ／Ａコンバータ、１６０…キーボード、１７０…ポインティングデバイス、１８０…プリンタ、１９０…補助記憶装置、２００…プローブ。
【発明の属する技術分野】
本発明は、超音波像の立体パノラマ画像合成装置に関わり、特に手動のプローブ操作によって撮影された断層画像列から、実時間で３次元の立体パノラマ画像表示が可能な超音波像の立体パノラマ画像合成装置に関する。
【０００２】
【従来の技術】
近年、超音波を使った診断の普及が進んでいる。超音波診断装置は、プローブを体表に当て、２〜１０メガヘルツの超音波を体内に送り、臓器の表面などで反射された超音波を受信することで、リアルタイムに患者の体内の臓器などの断層画像を表示する装置である。超音波を使った診断は外科手術やＸ線による診断にくらべ患者に苦痛や悪影響を及ぼさず安全である。このことは特に妊婦や幼児の診断において重要とされている。
【０００３】
超音波診断装置の代表的な計測アプリケーションに、胎児発育計測や循環器計測がある。これらの計測部位はプローブで一度に断層画像表示できる範囲を超えているため、プローブを人体に沿ってスキャンさせながら断層画像を立体的でかつパノラマ的に表示させる機能が必要となる。１回の取り込みでは極めて狭い範囲の２次元断面画像しか得られないが、プローブをポジションセンサを有する機械的スキャナに取り付け、人体を横切るようにスキャナを移動させつつ断面画像を記憶すれば、人体の上を動き終わった時に全ての記憶された断面画像から、全体の立体パノラマ画像を生成して表示できる。
【０００４】
ところで、超音波は皮膚に塗られたゼリー状の物質の層を介して身体の中に伝達され、その反射波を受信するプローブは人体の皮膚と直接接触するように保持されなければならない。そのため、機械的スキャナに取り付けたプローブを、ふくらはぎ部、甲状腺部など、表面に凹凸がある人体の曲面部に沿って正確にスキャンさせるには高度な操作技術が必要である。
【０００５】
望ましいのは、手動でプローブを人体の表面に沿ってスキャンさせつつ、リアルタイムで断面画像を立体的に表示できる装置の実現である。ポジションセンサやローテーションセンサを取り付けることなく画像を合成するためには、画像から動き量や回転量を検出する必要がある。しかしながら、立体像を得るために、プローブを断層に直交する方向にずらしながら撮像した断層画像列には、プローブの動き量や回転量に関する情報が含まれておらず、画像間の相関演算等によって、上記情報を検出することは、現状では困難である。
【０００６】
【発明が解決しようとする課題】
以上のように従来の超音波診断装置は、立体パノラマ画像を表示させようとすると、ポジションセンサを有する機械的スキャナを必要とし、装置コストと操作性の点で問題があった。
【０００７】
本発明が解決しようとする課題は、超音波像の立体パノラマ画像をリアルタイムで生成できる、低コストかつ操作性の優れた超音波像の立体パノラマ画像合成装置の提供にある。
【０００８】
【課題を解決するための手段】
上記の課題を解決するため、直交する２方向からの超音波データを取得するプローブと上記プローブから取得した超音波データを画像に変換する超音波・画像化手段と、上記超音波・画像化手段で得られた画像を動画として表示する動画表示手段と、プローブの移動操作によって生成された特定の方向の画像間の移動量と回転量を検出する合成パラメータ検出手段と、上記合成パラメータ検出手段により検出した移動量と回転量に応じて、もう一方向の画像を３次元空間上に配置し、立体パノラマ画像として合成し、表示する立体パノラマ画像合成手段とを具備する。なお、プローブの超音波受信部の形状はＬ字型またはＴ字型のように、直角成分を含む形状とする。
【０００９】
上記合成パラメータ検出手段は、連続する画像間の投影分布を記憶する投影分布記憶手段と、連続する画像間のそれぞれの投影分布について、投影分布間の相関によって移動量を求める投影分布相関手段とを具備し、上記投影分布間の移動量を、プローブの移動操作による画像の移動量とする。そして、投影分布記憶手段に記憶する投影分布は画像を構成する画素の値を垂直方向に積分した結果を積分した個数で正規化しておく。さらに、投影分布の作成において、画素が特定の範囲の値のとき、有効画素とし、有効画素のみを投影分布の計算対象とする。
【００１０】
さらにまた、上記合成パラメータ検出手段は、複数の画像処理領域を設定し、連続する画像間において、投影分布を上記複数の画像処理領域分だけ記憶する投影分布記憶手段と、連続する画像間のそれぞれ対応する画像処理領域の投影分布について、投影分布間の相関によって、それぞれ移動量を求める投影分布相関手段とを具備し、上記複数の移動量の差から、プローブの移動操作による画像の回転量を推定する。そして、投影分布記憶手段に記憶する投影分布は画像を構成する画素の値を垂直方向に積分した結果を積分した個数で正規化しておく。さらに、投影分布の作成において、画素が特定の範囲の値のとき、有効画素とし、有効画素のみを投影分布の計算対象とする。また、回転量の推定には最も距離の離れた画像処理領域の組から得た移動量を利用する。
【００１１】
また、本発明の別の手段では、直交する２方向からの超音波データを取得するプローブと上記プローブから取得した超音波データを画像に変換する超音波・画像化手段と、上記超音波・画像化手段で得られた画像を動画として表示する動画表示手段と、
プローブの移動操作によって生成された特定の方向の画像間の移動量と回転量を検出する合成パラメータ検出手段と、上記合成パラメータ検出手段により検出した移動量と回転量に応じて、上記方向の画像を２次元平面上に配置し、パノラマ画像として合成し、表示するパノラマ画像合成手段と、上記合成パラメータ検出手段により検出した移動量と回転量に応じて、もう一方向の画像を３次元空間上に配置し、立体パノラマ画像として合成し、表示する立体パノラマ画像合成手段とを具備する。
【００１２】
【発明の実施の形態】
図１は、本発明を実現するための超音波像の立体パノラマ画像合成装置のシステム構成図の一例である。基本的には、現在汎用的に用いられているデジタルコンピュータのシステム構成と同じであり、それに加わる形で、所定周波数の超音波を発生させる超音波発振部１００や超音波エコーを受信して画像に変換する超音波・画像化部１２０などが備わる。
【００１３】
まず１１０は、所定周波数の超音波２１０−１を発生させる超音波発振部である。人間の耳には聞こえない２〜１０メガヘルツの超音波を発生させる。どのような周波数を発生するかはＣＰＵ１３０からの指示に従う。１２０はプローブ２００で受信した超音波エコー信号２１０−２を、デジタル画像に変換する超音波・画像化部である。
【００１４】
変換されたデジタル画像はメモリ１４０に取り込むと同時にビデオメモリ１５５に取り込まれる。ビデオメモリ１５５はディスプレイ１５０に表示される画像をデジタルデータとして格納する。１５６は、一般にＲＡＭＤＡＣとも呼ばれている種類のＤ／Ａコンバータであり、ビデオメモリ１５５に書かれたデータを走査線スピードに合わせて逐次読みとり、ディスプレイ１５０に描画する。したがって、ビデオメモリ１５５のデータを更新すると、その更新内容がディスプレイ１５０の表示内容に直ちに反映される。
【００１５】
ディスプレイ１５０は、画像を表示するためのデバイスであり、例えば、小型のＣＲＴやプラズマディスプレイであってもよいし、液晶タイプの表示デバイスであっても構わない。こうした画像の取り込みを、秒３０回程度の頻度で繰り返すことで、ディスプレイ上で連続的な動画の表示が行える。
【００１６】
補助記憶装置１１０は、ハードディスク等の大容量記録装置であり、デジタルデータを半永久的に記録するための装置である。これは、ＰＣＭＣＩＡ方式のハードディスクカードのように記憶装置ごと本体から着脱できたり、あるいは、光磁気ディスク等のように、記録媒体のみを着脱できるタイプの記録装置であっても構わない。
【００１７】
ＣＰＵ１３０は、診断のための制御をはじめ、本発明で説明する機能を実現するためのソフトウエアプログラムを実行する。プログラム１４０−１は、メモリ１４０に常駐し、プログラムの実行に必要となるデータ１４０−２もメモリ１４０に必要に応じて格納される。プリンタ１８０は処理した画像を印刷する。キーボード１６０、ポインティングデバイス１７０は情報入力デバイスである。入力情報は、ＣＰＵ１３０に伝えられ、適宜処理される。１３２は、以上述べた各デバイス間を相互につなぐデータバスである。
【００１８】
以上の超音波像の立体パノラマ画像合成装置のシステム構成において、本実施例では、取り込んだ画像系列をプローブのスキャン操作に応じて画像を合成する。まずメモリ１４０内に格納された制御プログラムによって、診断中に取り込まれた画像をメモリに取り込みながら画像を３次元空間で合成し、逐次ビデオメモリ１５５に転送し、ディスプレイ１５０に立体パノラマ画像１５１を表示する。さらに診断が終了すると、立体パノラマ画像を補助記憶装置１９０に、画像データ構造体１９０−１として格納する。１９０−１−１は、画像のヘッダー情報であり、画像の種別、画像のサイズ、診断日時、診断部位等の情報が含まれる。１９０−１−２は画像データであり、非圧縮または圧縮されて格納される。
【００１９】
図２は、本発明の装置の人体への適用例である。Ｌ字型のプローブ２００は、Ｘ−Ｚ軸の断面画像とＹ−Ｚ軸の断面画像を同時に取得することができる。体表３００に沿って、プローブをＸ軸方向に手動でスキャンして得た、Ｘ−Ｚ軸の断面画像は時間的に隣接する画像同士は大部分が一致しているという特徴がある。ただし、図５に示すように、スキャン方向の移動距離に対応して画像間で位置がずれる。また、体表３００の曲率に応じて画像間に回転ずれが生じる。そこで本発明の超音波像の立体パノラマ画像合成装置１００では画像間の移動量および回転量を画像処理により計算し、合成パラメータを得る。この合成パラメータを用いて、Ｙ−Ｚ軸の断面画像を３次元空間上に配置し、立体パノラマ画像として合成し、画像をディスプレイ１５０に逐次表示するようにする。これによりポジションセンサを使用することもなく、操作が容易な合成装置が提供できる。従来のプローブは一度には一方向の断面画像しか得られなかったが、本発明のＬ字型プローブでは、直交する２断面の画像が同時に得られるため、一方の断面画像を合成パラメータ検出目的に補助的に活用できるという効果がある。
【００２０】
図１４は本発明のプローブの別の一実施例であり、Ｔ字型プローブとなっている点が特徴である。本実施例のプローブは、体表に接する面が対称形であるので、体表に密着させたときに走査しやすく、かつ２方向からの超音波像を正確に受信しやすくなるという効果がある。
【００２１】
図３は本発明のディスプレイに表示される表示画面の一実施例である。表示画面は動画表示ウィンドウ３０１、操作指示ウィンドウ３３０から構成される。
【００２２】
動画表示ウィンドウ３０１は診断中の断層画像をリアルタイムで表示するウィンドウである。秒３０回の頻度で画像を表示することで身体の内部の状態が動画として観察できる。３０２は本発明で得られるＸ−Ｚ軸の断面画像表示領域であり、３０３はＹ−Ｚ軸の断面画像表示領域である。また３１２は移動量検出のための処理領域である。
【００２３】
操作指示ウィンドウ３３０は診断に必要な操作を指示するウィンドウであって、例えば立体パノラマボタン３３１、リセットボタン３３４、保存ボタン３３６、印刷ボタン３３７から構成される。これらのボタンの選択は、ポインタ３３９をポインティングデバイス１７０で操作し、所望のボタン上でポインティングデバイス１７０をクリックすることで達成できる。またディスプレイ上１５０上にタッチパネルを装着して、直接、指で所望のボタンを押すようにすることもできる。
【００２４】
まず、超音波による診断は立体パノラマボタン３３１を押すことで開始する。立体パノラマボタン３３１を押すと、図４の表示画面に変わる。パノラマ画像表示ウィンドウ３１０、立体パノラマ画像表示ウィンドウ３２０が現われ、最初に表示画面がクリアされる。この状態から、体表をプローブでスキャンするとパノラマ画像３１１、立体パノラマ画像３２１が逐次合成、表示される。図４は最終的に得られた立体パノラマ画像の例である。なお、立体パノラマ画像作成中にリセットボタン３３４を押すと、診断の最初の状態となり、立体パノラマ画像はクリアされる。さらに、結果の保存や印刷も簡単に行える。保存ボタン３３６を押すと、パノラマ画像と立体パノラマ画像が補助記憶装置１９０に保存される。また、印刷ボタン３３７を押すことで、パノラマ画像と立体パノラマ画像をプリンタ１８０で印刷することができる。
【００２５】
図５はＬ字型プローブを体表上でＸ軸方向にスキャンさせて取得した画像間の幾何学的関係を示す。３００は体表、５０５は時刻ｔのとき取得したＸ−Ｚ軸の断層画像Ｉｔ、５０６は時刻ｔ＋１の時取得したＸ−Ｚ軸の断層画像Ｉｔ＋１である。また、５０７は時刻ｔのとき取得したＹ−Ｚ軸の断層画像Ｊｔ、５０８は時刻ｔ＋１のとき取得したＹ−Ｚ軸の断層画像Ｊｔ＋１である。
【００２６】
体表３００が曲面であるので、画像Ｉｔと画像Ｉｔ＋１は、図のような移動と回転の幾何学的関係が生じる、すなわち、画像Ｉｔの中心Ｏを原点とし、画像Ｉｔの横軸をＸ軸、それに直交する軸をＹ軸とした座標系としたとき、画像Ｉｔ＋１はＸ軸に沿ってｄｘ移動し、原点Ｏの回りでｄΘ回転する。このｄｘとｄΘがわかると、以下の数１に示す式で画像間の幾何学的関係を記述できる。
【００２７】
【数１】
ｐ’＝Ａｐ ＋ Ｂ ……（１）
なお数１において、Ａは回転行列、Ｂはシフト量、ｐは画像Ｉｔの座標、ｐ’は画像Ｉｔ＋１の座標である。そして、この幾何学的関係がわかるので、画像Ｊｔを３次元空間上に正確に配置することができる。
【００２８】
図６は本発明の移動量検出の原理を示す。移動量の検出は画像Ｉｔおよび画像Ｉｔ＋１の垂直方向への投影分布を求めた後、投影分布間の相関計算を行い、水平方向に位置をずらしながら相関値が最小となる位置を移動量ｄｘとする。なお、投影分布は画像処理領域３１２の中だけで計算する。
【００２９】
相関値は図６に示す式のように、投影分布間の各要素の値の差分絶対値の総和である。本発明では画像の移動量計算に投影分布というグローバルな特徴量を用いているため、安定に動き量が求められるとともに、演算量が極めて少ないので、通常のＣＰＵ能力でリアルタイムに移動量検出ができるという効果がある。
【００３０】
図７は本発明の回転量検出の原理を示す。移動量検出のときは、画像処理領域は１つ設定するだけで十分であったが、回転量の検出の場合は１つでは不十分であり、２つ以上設定する必要がある。図７では６つの画像処理領域７００を垂直方向に整列して設定した例を示す。ここで下側から画像処理領域に１から６のＩＤ番号（図示略）を付けておく。このような画像処理領域に対して、各領域毎に投影分布を求めて各移動量ｄｘｉを計算する。画像間で回転があると、原理的にはＩＤ番号順に各移動量は単調増加または単調減少する。
【００３１】
そこで、最も離れた領域間の移動量の差から、図７に示す式で回転量ｄΘを計算する。ここでの移動量検出に使用する画像処理領域は局所的に設定するので、移動量検出の信頼性は図６で示した移動量検出に比べて劣る。たとえばプローブをスキャンしているときに、骨などに遭遇すると超音波ビームが体内をそれ以上通過しないため、それ以降の場所からはエコーが戻らない。そのため、得られた断層画像は骨以降の場所では暗くなる。暗くなる部分が各画像処理領域を大きく覆うと移動量は正しく求められなくなる。
【００３２】
そこで、本発明ではまず、各領域毎に画素の評価を行い、暗い画素が多い場合は、移動量検出は行わないようにする。そして検出した移動量の信頼性を判定するために、ＩＤ番号順に各移動量の単調増加性また単調減少性をチェックして単調性が確認された場合のみ回転量の計算を行う。その際、回転量の計算には、移動量が求まっている最も距離の離れた画像処理領域間での移動量の差分値を用いるようにする。本発明では画像の回転量計算に多数の画像処理領域を設定し、部分的に移動量が検出できない状況が発生しても、残りの画像処理領域から得られた移動量から回転量が計算されるため、信頼性が高くなる。本実施例では６つの画像処理領域を設定しているが、たとえば６つのうち４つ検出ができなくても残りの２つから回転量が検出できるため、検出率は高くなる。また演算量は極めて少ないので、通常のＣＰＵ能力でリアルタイムに回転量検出ができるという効果がある。
【００３３】
図８は超音波による断層画像の構造の一例を示す。断層画像５０５は上部が体表側である。色彩部８０１は、カラードプラー法によって、血管部で血流が計測された部分であって、特別に色付けされる。灰色部８０２は超音波のエコーが戻ってきた部分である。暗部８０３は超音波のエコーが戻らなかった部分であって、超音波を照射したときに、途中で骨や空洞があった場合に暗部が発生する。本発明では、移動量や回転量を検出する際、灰色部８０２のみを有効画素と見なして処理を行うことで、検出精度の劣化を防止する。
【００３４】
図９は本発明の立体パノラマ画像合成装置の制御プログラム１４０−１の一実施例であり、特に、診断中のパノラマ画像生成処理を中心にフローチャートで示す。なお、制御プログラム１４０−１は図１０と図１１に示す制御データ１４０−２を参照して、実行される。
【００３５】
図９において、ステップ９００は初期化処理であり、ディスプレイ上に立体パノラマ画像合成装置の初期画面表示を行う。そしてステップ９０５で、変数statusを０にリセットする。立体パノラマ画像合成装置の電源が入っている間（ステップ９１０）、以下の立体パノラマ画像生成処理を行う。
【００３６】
まず、ステップ９１５で超音波画像の取り込みを行い、配列Input_Image_Buf１４０−２−１に格納する。次にステップ９２０で取り込んだ超音波画像を動画表示ウィンドウ３０１に表示する。ステップ９２５では立体パノラマボタン３３１が押されたどうかをチェックし、以下のステップ９３０の判定処理を行う。
【００３７】
もしstatusが０で立体パノラマボタンが押された場合は、立体パノラマ画像生成の開始処理９３１を実行する。ここでは、パノラマ画像表示ウィンドウ３１０および立体パノラマ画像表示ウィンドウ３２０に表示されていた以前の画像を消去し、新しいパノラマ画像および立体パノラマ画像表示に備える。なお、この処理の詳細は後で図１２を参照して説明する。次にステップ９３２で変数statusに１をセットし、立体パノラマ画像生成中の状態とする。
【００３８】
もし変数statusが１で立体パノラマボタンが押された場合は、ステップ９３２を実行し、変数statusに０をセットし、立体パノラマ画像生成の終了状態とする。
【００３９】
次にステップ９４０の判定処理で、リセットボタン３３４が押されたかどうかを判定し、押された場合はステップ９４１で既に説明した立体パノラマ画像生成の開始処理を実行し、次にステップ９４２で変数statusに１をセットし、パノラマ画像生成中の状態とする。
【００４０】
そして、ステップ９５０で状態が立体パノラマ画像生成中であるかどうかを判定する。もし変数status＝１であれば立体パノラマ画像生成中であるので、ステップ９５１で立体パノラマ画像生成処理を行い、結果をPanoramic_Image_Buf１４０−２−２およびCubic_Image_Buf１４０−２−１２に格納する。なお、この処理の詳細は図１３を用いて後述する。そしてPanoramic_Image_Buf１４０−２−２およびCubic_Image_Buf１４０−２−１２内に格納されている各画像をパノラマ画像表示ウィンドウ３１０および立体パノラマ画像表示ウィンドウ３２０へ表示する。
【００４１】
次に、ステップ９６０で保存ボタン３３６が押されたかどうかを判定し、押された場合はステップ９６１を実行する。ステップ９６１は立体パノラマ画像保存処理であり、Panoramic_Image_Buf１４０−２−２およびCubic_Image_Buf１４０−２−１２に格納された現在までに生成されているパノラマ画像および立体パノラマ画像を補助記憶装置１９０に保存する。
【００４２】
次に、ステップ９７０で印刷ボタン３３７が押されたかどうかを判定し、押された場合はステップ９７１を実行する。ステップ９７１はパノラマ画像印刷処理であり、Panoramic_Image_Buf１４０−２−２およびCubic_Image_Buf１４０−２−１２に格納された現在までに生成されている各画像をプリンタ１８０に出力する。
【００４３】
以上のステップ９１５からステップ９７０の処理を繰り返すことで、超音波画像の立体パノラマ画像が合成できる。
【００４４】
図１２は立体パノラマ画像生成の開始処理９３１の詳細を示す。まず、ステップ１０００で立体パノラマ画像生成に寄与した画像の総数をカウントする変数ｋを０にリセットする。次にステップ１０１０で立体パノラマ画像生成に使用する移動および回転パラメータを格納する配列Total_ｄｘ１４０−２−９とTotal_ｄΘ１４０−２−１０（図１１）の先頭の要素を０にリセットする。そして、ステップ１０２０で立体パノラマ画像表示ウィンドウ３２０に表示中の立体パノラマ画像３２１を消去する。
【００４５】
その後、ステップ１０３０で入力した画像の部分領域３０２の画像を、パノラマ画像を格納する配列Panoramic_Image_Buf１４０−２−２（図１０）に書き込む。この最初の画像がパノラマ作成の基準の画像となり、以降の画像の移動パラメータや回転パラメータはこの画像との相対的な差である。そして、ステップ１０４０でパノラマ画像表示ウィンドウ３１０にPanoramic_Image_Bufの内容を表示する。
【００４６】
次に、ステップ１０５０で入力した画像の部分領域３０３の画像を、立体パノラマ画像を格納する配列Cubic_Image_Buf1４０−２−１２（図１１）に書き込む。そして、ステップ１０６０で立体パノラマ画像表示ウィンドウ３２０にCubic_Image_Bufの内容を表示する。
【００４７】
図１３は本発明の立体パノラマ画像生成処理９５１の詳細を示す。
【００４８】
ステップ１１００から１１２０までは、連続する画像間の移動量ｄｘを求めるための処理である。
【００４９】
まずステップ１１００でInput_Image_Buf１４０−２−１に格納された部分領域３０２の断面画像内の指定領域３１２の垂直方向の投影分布を計算し、配列X_Proj_Current１４０−２−３へ格納する。ここで、Input_Image_Bufには２方向の断面画像が１枚のフレームとして格納されている。
【００５０】
次にステップ１１０５でｋが０よりも大きいかどうかを判定し、大きい場合はステップ１１１０、１１２０を実行する。ステップ１１１０では、現在入力した画像の投影分布X_Proj_Current１４０−２−３と一つ前に入力した画像の投影分布X_Proj_Last１４０−２−４との間で位置ｄｘをずらしながらマッチングを行う（図１０）。そしてステップ１１２０で最もマッチングのとれた位置ｄｘを２つの時間的に連続する画像間の移動量とする。なお、このマッチングは具体的には図６に示した式で計算する。
【００５１】
ステップ１１３０から１１６５までは連続する画像間の回転量ｄΘを求めるための処理である。
【００５２】
まずステップ１１３０でInput_Image_Buf１４０−２−１内の領域３１２に格納された画像の複数の指定領域７００（図７）内の有効画素数すなわち超音波エコーが存在する灰色部８０２（図８）の画素を、それぞれの領域で列毎にカウントし、配列Rotate_Count_Current１４０−２−６に書き込む。そしてステップ１１４０で上記複数の指定領域７００内の有効画素を対象とした垂直方向の投影分布を計算し、配列Rotate_Proj_Current１４０−２−５に書き込む。なお、通常投影分布の値は各列毎に足し込むことで計算できるが、ここではさらに、各列の有効画素数で正規化した値を配列に格納する。
【００５３】
次にステップ１１６０でｋが０よりも大きいかどうかを判定し、大きい場合はステップ１１６１から１１６８を実行する。
【００５４】
ステップ１１６１から１１６４では６つの領域について、連続する画像間の局所的な移動量を計算する。まずステップ１１６２で領域ｉの有効画素数の割合が一定の値たとえば０．５以上かどうか判定する。一定値以上であれば、ステップ１１６３、１１６４を実行する。ステップ１１６３では、現在入力した画像の投影分布Rotate_Proj_Current１４０−２−５と一つ前に入力した画像の投影分布Rotate_Proj_Last１４０−２−７との間で位置ｄｘｉをずらしながらマッチングを行う。そしてステップ１１６４で最もマッチングのとれた位置ｄｘｉを２つの時間的に連続する画像間の領域ｉの移動量とする。
【００５５】
次に、ステップ１１６５で移動量が計算できた領域のうち最も距離が離れた領域間の移動量から図７に示す式により回転量ｄΘを計算する。
【００５６】
以上の処理で隣接する画像間の移動量ｄｘと回転量ｄΘが求められた。次にステップ１１６６で基準の画像と現在の画像との移動量および回転量を計算する。これは、常に前の画像までの計算結果に今回算出した移動量および回転量を加算することで容易に計算できる。そしてステップ１１６７では、入力画像の部分領域３０２の画像を、回転量と移動量に基づいて２次元座標変換を行い、配列Panoramic_Image_Buf１４０−２−２に画像を書き込む。これによって移動と回転を伴う断面画像列からパノラマ画像が生成可能になる。
【００５７】
次にステップ１１６８では、入力画像の部分領域３０３の画像を、回転量と移動量に基づいて３次元の座標変換を行い、配列Cubic_Image_Buf１４０−２−１２に画像を書き込む（図１１）。これによって移動と回転を伴う断面画像列から立体パノラマ画像が生成可能になる。なお、この状態では、配列Cubic_Image_Bufの立体パノラマ画像には画素値のない隙間も生じるので、隙間は周りの画素との間で線形補間することで補うようにする。
【００５８】
最後にステップ１１７０で次の立体パノラマ画像生成のための準備を行う。配列X_Proj_Currentの内容をX_Proj_Lastへ転送し、配列Rotate_Proj_Currentの内容をRotate_Proj_Lastへ転送し、配列Rotate_Count_Currentの内容をRotate_Count_Lastへ転送する。そして立体パノラマ画像生成に使われた画像の総数を計数する変数ｋを１だけ加算する。
【００５９】
以上述べたように、本発明の立体パノラマ画像合成装置はプローブから直交する断面画像が同時に得られるようにすることで、一方の断面画像列からプローブの移動量と回転量の計算が可能になった。その結果、上記合成パラメータを用いて、もう一方の断面画像列を３次元空間に配置して表示することが可能になり、従来、必要とされていたポジションセンサが不要になり、装置が安価になる効果が得られた。
【００６０】
図１５は、本発明の別の形態の超音波像の立体パノラマ画像合成装置のシステム構成図の一例である。基本的には図１の構成にある超音波像を生成する手段を持たず、外部からの映像信号１０００を取り込んで、それをＡ／Ｄ変換する手段１０１０を有する。他の手段は図１と同じであるので説明は省く。この装置構成によれば、従来の超音波診断装置にＬ字型のプローブを取り付けて体表を走査し、その時の超音波診断装置のディスプレイ上に表示されている映像信号を本装置に入力するだけで、超音波像の立体パノラマ画像が合成可能になる。この実施例では超音波像を生成する手段が不要になり、従来より超音波診断装置を保有しているユーザにとっては、安価な立体パノラマ画像合成装置が得られる。
【００６１】
【発明の効果】
本発明によれば、立体パノラマ画像合成用の断層画像の他に、合成パラメータ検出用の断層画像が同時に入力できるため、手動のプローブ操作から得た断層画像列から、ポジションセンサを使わず正確にリアルタイムで立体パノラマ画像の合成が可能になった。その結果、安価で操作性の高い装置が達成できる。
【図面の簡単な説明】
【図１】本発明の一実施例の立体パノラマ画像合成装置の構成を示すブロック図。
【図２】本発明の人体への適用例を示す斜視図。
【図３】本発明の実施例において表示される画面の一例を示す説明図。
【図４】合成過程における立体パノラマ表示画面の説明図。
【図５】Ｌ字型プローブを操作したときの画像間の幾何学的関係の説明図。
【図６】本発明の実施例における移動量検出の原理説明図。
【図７】本発明の実施例における回転量検出の原理説明図。
【図８】超音波画像の構造を表す説明図。
【図９】本発明の立体パノラマ画像合成装置の制御プログラムのフローチャート。
【図１０】本発明の制御プログラムが参照する制御データの構造の説明図。
【図１１】本発明の制御プログラムが参照する制御データの構造の説明図。
【図１２】本発明の立体パノラマ画像生成の開始処理の詳細を示すフローチャート。
【図１３】本発明の立体パノラマ画像生成処理の詳細を示すフローチャート。
【図１４】本発明の一実施例のＴ時型プローブの斜視図。
【図１５】本発明の別の形態の画像合成装置のシステム構成図を示すブロック図。
【符号の説明】
１００…立体パノラマ画像合成装置、１１０…超音波発振部、１２０…超音波・画像化部、１３０…ＣＰＵ、１４０…メモリ、１３２…データバス、１５０…ディスプレイ、１５５……ビデオメモリ、１５６…Ｄ／Ａコンバータ、１６０…キーボード、１７０…ポインティングデバイス、１８０…プリンタ、１９０…補助記憶装置、２００…プローブ。
Claims (9)
- 直交する２方向からの超音波データを取得するプローブと、
上記プローブから取得した超音波データを画像に変換する超音波画像化手段と、
上記プローブの移動操作によって生成された特定の方向の上記画像間の第１の移動量と回転量を検出する合成パラメータ検出手段と、
上記合成パラメータ検出手段により検出した上記第１の移動量と回転量に応じて、もう一方向の画像を３次元空間上に配置し、立体パノラマ画像を合成する立体パノラマ画像合成手段とを具備する超音波像の立体パノラマ画像合成装置であって、
上記合成パラメータ検出手段は、
連続する画像間において特定領域の投影分布の上記第１の移動量を検出し、
上記特定領域を分割した複数の画像処理領域の投影分布ごとに第２の移動量を求め、複数の上記第２の移動量から、上記プローブの移動操作による画像の上記回転量の推定を行うことを特徴とする超音波像の立体パノラマ画像合成装置。 - 上記複数の第２の移動量が上記複数の画像処理領の位置関係に基づき単調性を有するとき、上記回転量の推定を行うことを特徴とする請求項１に記載の超音波像の立体パノラマ画像合成装置。
- 上記回転量の推定を行うとき、最も距離の離れた２つの上記画像処理領域から得た第２の移動量の差を用いることを特徴とする請求項１又は２の何れかに記載の立体パノラマ画像合成装置。
- さらに上記画像を動画として表示する動画表示手段を有することを特徴とする請求項１乃至３の何れかに記載の立体パノラマ画像合成装置。
- 請求項１乃至４の何れかに記載のプローブの超音波受信部の形状はＬ字型であることを特徴とする超音波像の立体パノラマ画像合成装置。
- 請求項１乃至４の何れかに記載のプローブの超音波受信部の形状はＴ字型であることを特徴とする超音波像の立体パノラマ画像合成装置。
- 上記特定領域及び複数の画像処理領域の投影分布を記憶する投影分布記憶手段を更に有し、
該投影分布記憶手段に記憶する投影分布は画像を構成する画素の値を積分した結果を積分した個数で正規化しておくことを特徴とする請求項１乃至６の何れかに記載の超音波像の立体パノラマ画像合成装置。 - 請求項１乃至７の何れかに記載の投影分布の作成において、画素が特定の範囲の値のときを有効画素とし、該有効画素を投影分布の計算対象とすることを特徴とする超音波像の立体パノラマ画像合成装置。
- 請求項１乃至８の何れかに記載の動画表示手段上には、立体パノラマ画像作成に利用する画像処理領域を、図形として表示できるようにしたことを特徴とする超音波像の立体パノラマ画像合成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28768399A JP3752921B2 (ja) | 1999-10-08 | 1999-10-08 | 超音波像の立体パノラマ画像合成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28768399A JP3752921B2 (ja) | 1999-10-08 | 1999-10-08 | 超音波像の立体パノラマ画像合成装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001104312A JP2001104312A (ja) | 2001-04-17 |
| JP2001104312A5 JP2001104312A5 (ja) | 2004-11-04 |
| JP3752921B2 true JP3752921B2 (ja) | 2006-03-08 |
Family
ID=17720385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28768399A Expired - Fee Related JP3752921B2 (ja) | 1999-10-08 | 1999-10-08 | 超音波像の立体パノラマ画像合成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3752921B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2288934A2 (en) * | 2008-06-05 | 2011-03-02 | Koninklijke Philips Electronics N.V. | Extended field of view ultrasonic imaging with a two dimensional array probe |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003093382A (ja) * | 2001-09-26 | 2003-04-02 | Matsushita Electric Ind Co Ltd | 超音波診断装置 |
| JP4201311B2 (ja) * | 2002-03-12 | 2008-12-24 | 株式会社日立メディコ | 超音波診断装置 |
| US20060058651A1 (en) * | 2004-08-13 | 2006-03-16 | Chiao Richard Y | Method and apparatus for extending an ultrasound image field of view |
| JP5296975B2 (ja) * | 2006-11-20 | 2013-09-25 | 日立アロカメディカル株式会社 | 超音波診断装置 |
| JP5014051B2 (ja) | 2007-10-09 | 2012-08-29 | 株式会社ユネクス | 血管超音波画像測定方法 |
| WO2009147621A2 (en) * | 2008-06-05 | 2009-12-10 | Koninklijke Philips Electronics, N.V. | Extended field of view ultrasonic imaging with guided efov scanning |
| JP5355074B2 (ja) * | 2008-12-26 | 2013-11-27 | キヤノン株式会社 | ３次元形状データ処理装置、３次元形状データ処理方法及びプログラム |
| JP5222323B2 (ja) * | 2010-06-16 | 2013-06-26 | 日立アロカメディカル株式会社 | 超音波診断装置 |
| US9474505B2 (en) | 2012-03-16 | 2016-10-25 | Toshiba Medical Systems Corporation | Patient-probe-operator tracking method and apparatus for ultrasound imaging systems |
| CN108289656B (zh) * | 2015-12-03 | 2021-09-28 | 奥林巴斯株式会社 | 超声波诊断***、超声波诊断***的工作方法以及超声波诊断***的工作程序 |
-
1999
- 1999-10-08 JP JP28768399A patent/JP3752921B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2288934A2 (en) * | 2008-06-05 | 2011-03-02 | Koninklijke Philips Electronics N.V. | Extended field of view ultrasonic imaging with a two dimensional array probe |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001104312A (ja) | 2001-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3645727B2 (ja) | 超音波診断装置およびパノラマ画像を合成するプログラムおよびその記録媒体 | |
| EP1523940B1 (en) | Ultrasound diagnosis apparatus | |
| US5454371A (en) | Method and system for constructing and displaying three-dimensional images | |
| US7033320B2 (en) | Extended volume ultrasound data acquisition | |
| JP4324274B2 (ja) | 物体ボリュ―ムをイメ―ジングするシステム | |
| US5842473A (en) | Three-dimensional imaging system | |
| US6500123B1 (en) | Methods and systems for aligning views of image data | |
| JP4536869B2 (ja) | イメージング・システム及びイメージング方法 | |
| US20070255137A1 (en) | Extended volume ultrasound data display and measurement | |
| US6872181B2 (en) | Compound image display system and method | |
| US20090012394A1 (en) | User interface for ultrasound system | |
| JP5475516B2 (ja) | 超音波モーショントラッキング情報を表示するシステムおよび方法 | |
| US20100249592A1 (en) | System and method for compensating for motion when displaying ultrasound motion tracking information | |
| JP3752921B2 (ja) | 超音波像の立体パノラマ画像合成装置 | |
| JP4188921B2 (ja) | 超音波像診断装置及びそれに使用するプログラム | |
| JP2005152346A (ja) | 超音波診断システム | |
| JP2001017433A (ja) | 超音波診断装置及び超音波画像表示装置 | |
| WO2020246151A1 (ja) | ３次元超音波画像生成装置、方法、及びプログラム | |
| JP4868845B2 (ja) | 超音波診断装置、超音波計測方法 | |
| JPS636014B2 (ja) | ||
| JPH07327989A (ja) | 超音波診断装置 | |
| JP2000287976A (ja) | 超音波診断装置 | |
| Mohamed et al. | Using Game Controller as Position Tracking Sensor for 3D Freehand Ultrasound Imaging | |
| JPH07103994A (ja) | 超音波診断装置 | |
| JP2018175715A (ja) | 超音波診断装置、医用画像処理装置、及び医用画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050819 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050830 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051027 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051205 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081222 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091222 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101222 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101222 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111222 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111222 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121222 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131222 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |