JP4297561B2 - オパシティ設定方法、３次元像形成方法および装置並びに超音波撮像装置 - Google Patents
オパシティ設定方法、３次元像形成方法および装置並びに超音波撮像装置 Download PDFInfo
- Publication number
- JP4297561B2 JP4297561B2 JP19195399A JP19195399A JP4297561B2 JP 4297561 B2 JP4297561 B2 JP 4297561B2 JP 19195399 A JP19195399 A JP 19195399A JP 19195399 A JP19195399 A JP 19195399A JP 4297561 B2 JP4297561 B2 JP 4297561B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- dimensional
- opacity
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、オパシティ（ｏｐａｃｉｔｙ）設定方法、３次元像形成方法および装置並びに超音波撮像装置に関し、特に、ボリュームレンダリング（ｖｏｌｕｍｅ ｒｅｎｄｅｒｉｎｇ）により３次元像を形成するためのオパシティを設定する方法、３次元データ（ｄａｔａ）空間中の画像データからボリュームレンダリングにより３次元像を形成する方法および装置、並びに、そのような３次元像形成装置を備えた超音波撮像装置に関する。
【０００２】
【従来の技術】
超音波撮像装置は、撮像対象の内部を超音波ビーム（ｂｅａｍ）で走査してエコー（ｅｃｈｏ）を受信し、エコーの強度に対応した画像データを求め、それによっていわゆるＢモード（ｍｏｄｅ）画像を形成する。３次元撮像を行う場合は、撮像対象内の３次元領域を超音波で走査し、エコー受信信号から求めた３次元の画像データに基づいて、例えば血管の走行状態や管腔臓器の内壁等を示す３次元像が形成される。
【０００３】
血管走行を示す３次元像は、ＭＩＰ（Ｍｉｎｉｍｕｍ Ｉｎｔｅｎｓｉｔｙ Ｐｒｏｊｅｃｔｉｏｎ）像を求めることにより形成される。管腔臓器内壁を示す３次元像は、Ｂモード画像からサーフェースレンダリング（ｓｕｒｆａｃｅ ｒｅｎｄｅｒｉｎｇ）によって形成される。
【０００４】
ＭＩＰ像は、３次元データ空間中に設定した複数の視線に沿って画像データの最小値をそれぞれ求めて投影することによって形成する。サーフェースレンダリングでは、適宜の閾値を設定して該当する画像データの３次元的位置を求め、それら３次元的位置に基づいてサーフェース像を形成する。
【０００５】
【発明が解決しようとする課題】
超音波画像はエコーの強度分布を画像化したものであるから、画像データの値はエコー反射点における送波超音波の瞬時音圧やエコー受信のゲイン（ｇａｉｎ）等に左右され、同一組織を表す画像データは同一画像内でさえ同一の値を持つとは限らない。このため、３次元像は、事実上、血流のＭＩＰ像または液部との境界が明確な管腔臓器内壁等の表面像に限られ、血管走行を体内組織とともに描出した３次元像等を得ることは不可能であるという問題があった。
【０００６】
３次元像を形成する他の手法としてボリュームレンダリングがある。ボリュームレンダリングは、例えばＸ線ＣＴ（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ）装置等で撮影した画像データから３次元像を形成するのに用いられる。ボリュームレンダリングでは、予め画像データにその値に対応した規格値すなわちオパシティ（ｏｐａｃｉｔｙ）を割り付け、画像データとオパシティとを用い、３次元データ空間内に設定した複数の視線に沿って３次元像の画素値をそれぞれ計算する。
【０００７】
ボリュームレンダリングを行うためには画像データとオパシティの関係を適切に設定する必要があるが、超音波画像データはＣＴ画像データのように組織に固有の値を持たないので、画像データとオパシティとの適切な対応付けが困難である。このため、超音波画像データからはボリュームレンダリングにより良好な３次元像を得ることができないという問題があった。
【０００８】
また、超音波画像にはドップラシフト（Ｄｏｐｐｌｅｒ ｓｈｉｆｔ）を利用して血流等を画像化したドップラ画像もあるが、ドップラ画像の画像データはＢモード画像の画像データとは性格が異なり両者を統一的に取り扱うことができない。このため、血管走行を体内組織とともに描出した３次元像等をボリュームレンダリングによって得ることは不可能であるという問題があった。
【０００９】
本発明は上記の問題点を解決するためになされたもので、その目的は、超音波画像データからボリュームレンダリングにより良好な３次元像を得るためのオパシティ設定方法、３次元像形成方法および装置、並びに、そのような３次元像形成装置を備えた超音波撮像装置を実現することである。
【００１０】
【課題を解決するための手段】
（１）上記の課題を解決するための第１の観点での発明は、ボリュームレンダリングの計算に用いるオパシティを設定するに当たり、データ獲得方式が互いに異なる複数の画像データのレンジを直列に統合し、前記統合したレンジ全体を通じてオパシティを設定することを特徴とするオパシティ設定方法である。
【００１１】
（２）上記の課題を解決するための第２の観点での発明は、３次元データ空間中の画像データからボリュームレンダリングにより３次元像を形成するに当たり、データ獲得方式が互いに異なる複数の画像データのレンジを直列に統合し、前記統合したレンジ全体を通じてオパシティを設定し、前記レンジを統合した画像データおよび前記設定したオパシティを用いてボリュームレンダリングを行うことを特徴とする３次元像形成方法である。
【００１２】
（３）上記の課題を解決するための第３の観点での発明は、３次元データ空間中の画像データからボリュームレンダリングにより３次元像を形成する３次元像形成装置であって、データ獲得方式が互いに異なる複数の画像データのレンジを直列に統合するレンジ統合手段と、前記統合したレンジ全体を通じてオパシティを設定するオパシティ設定手段と、前記レンジを統合した画像データおよび前記設定したオパシティを用いてボリュームレンダリングを行う計算手段とを具備することを特徴とする３次元像形成装置である。
【００１３】
（４）上記の課題を解決するための第４の観点での発明は、超音波エコーに基づいて撮像対象につき３次元データ空間に属する画像データを獲得する画像データ獲得手段と、前記画像データに基づいて３次元像を形成する画像形成手段とを有する超音波撮像装置であって、前記画像形成手段として（３）に記載の３次元像形成装置を用いることを特徴とする超音波撮像装置である。
【００１４】
（５）上記の課題を解決するための第５の観点での発明は、前記画像データ獲得手段は少なくともＢモード方式およびドップラ方式により画像データをそれぞれ獲得することを特徴とする（４）に記載の超音波撮像装置である。
【００１５】
（６）上記の課題を解決するための第６の観点での発明は、前記形成した３次元像を前記画像データを獲得した方式ごとに表示態様を異にして表示する表示手段を具備することを特徴とする（４）または（５）に記載の超音波撮像装置である。
【００１６】
（７）上記の課題を解決するための他の観点での発明は、超音波エコーに基づいて撮像対象につき３次元データ空間に属する画像データを獲得し、前記画像データに基づいて３次元像を形成する超音波撮像方法であって、前記３次元像の形成を（２）に記載の３次元像形成方法を用いて行う特徴とする超音波撮像方法である。
【００１７】
（８）上記の課題を解決するための他の観点での発明は、前記画像データの獲得を少なくともＢモード方式およびドップラ方式により画それぞれ行うことを特徴とする（７）に記載の超音波撮像方法である。
【００１８】
（９）上記の課題を解決するための他の観点での発明は、前記形成した３次元像を前記画像データを獲得した方式ごとに表示態様を異にして表示することを特徴とする（７）または（８）に記載の超音波撮像方法である。
【００１９】
（作用）
本発明では、データ獲得方式を異にする複数の画像データのレンジを直列に統合し、この統合レンジ全体を通じてオパシティを設定することにより、カテゴリが異なる画像データをオパシティにより統一する。これによって、例えば血管走行等を体内組織とともに描出した３次元像を得る。
【００２０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本発明は実施の形態に限定されるものではない。図１に、超音波撮像装置のブロック（ｂｌｏｃｋ）図を示す。本装置は本発明の超音波撮像装置の実施の形態の一例である。本装置の構成によって、本発明の装置に関する実施の形態の一例が示される。本装置の動作によって、本発明の方法に関する実施の形態の一例が示される。
【００２１】
本装置の構成を説明する。同図に示すように、本装置は超音波プローブ２を有する。超音波プローブ２は、撮像対象１００に当接されて超音波の送受波に使用される。超音波プローブ２は、図示しない超音波トランスデューサアレイ（ｔｒａｎｓｄｕｃｅｒ ａｒｒａｙ）を有する。超音波トランスデューサアレイは複数の超音波トランスデューサで構成される。個々の超音波トランスデューサは、例えばＰＺＴ（チタン（Ｔｉ）酸ジルコン（Ｚｒ）酸鉛（Ｐｂ））セラミックス（ｃｅｒａｍｉｃｓ）等の圧電材料で構成される。
【００２２】
超音波プローブ２は送受信部６に接続されている。送受信部６は、超音波プローブ２の超音波トランスデューサアレイを駆動して超音波ビームを送信し、また、超音波トランスデューサアレイが受波したエコー（ｅｃｈｏ）を受信する。
【００２３】
送受信部６のブロック図を図２に示す。同図に示すように、送受信部６は信号発生ユニット６０２を有する。信号発生ユニット６０２は、パルス（ｐｕｌｓｅ）信号を所定の周期で繰り返し発生して送波ビームフォーマ６０４に入力する。送波ビームフォーマ６０４は入力信号に基づいて送波ビームフォーミング信号を生成する。送波ビームフォーミング信号は、超音波トランスデューサアレイにおいて送信アパーチャ（ａｐｅｒｔｕｒｅ）を構成する複数の超音波トランスデューサに与える複数のパルス信号であり、個々のパルス信号には超音波ビームの方位および焦点に対応した遅延時間が付与される。以下、送信アパーチャを送波アパーチャという。
【００２４】
送波ビームフォーマ６０４の出力信号は送受切換ユニット６０８を通じて送波アパーチャを構成する複数の超音波トランスデューサに駆動信号として与えられる。駆動信号が与えられた複数の超音波トランスデューサはそれぞれ超音波を発生し、それら超音波の波面合成により所定の方位への送波超音波ビームが形成される。送波超音波ビームは所定の距離に設定された焦点に収束する。
【００２５】
送波超音波のエコーが、超音波プローブ２の受信アパーチャを構成する複数の超音波トランスデューサでそれぞれ受波される。以下、受信アパーチャを受波アパーチャという。複数の超音波トランスデューサが受波した複数のエコー受波信号は、送受切換ユニット６０８を通じて受波ビームフォーマ６１０に入力される。受波ビームフォーマ６１０は、エコー受信音線の方位およびエコー受信の焦点に対応した遅延を個々のエコー受波信号に付与して加算し、所定の音線および焦点に合致したエコー受信信号を形成する。
【００２６】
送波ビームフォーマ６０４は、送波超音波ビームの方位を順次切り換えることにより音線順次の走査を行う。受波ビームフォーマ６１０は、受波音線の方位を順次切り換えることにより音線順次の受波の走査を行う。これにより、送受信部６は例えば図３に示すような走査を行う。すなわち、放射点２００からｚ方向に延びる超音波ビーム２０２が扇状の２次元領域２０６をθ方向に走査し、いわゆるセクタスキャン（ｓｅｃｔｏｒ ｓｃａｎ）を行う。
【００２７】
送波および受波のアパーチャを超音波トランスデューサアレイの一部を用いて形成するときは、このアパーチャをアレイに沿って順次移動させることにより、例えば図４に示すような走査を行うことができる。すなわち、放射点２００からｚ方向に発する超音波ビーム２０２が直線的な軌跡２０４上を移動することにより、矩形状の２次元領域２０６がｘ方向に走査され、いわゆるリニアスキャン（ｌｉｎｅａｒ ｓｃａｎ）が行われる。
【００２８】
なお、超音波トランスデューサアレイが、超音波送波方向に張り出した円弧に沿って形成されたいわゆるコンベックスアレイ（ｃｏｎｖｅｘ ａｒｒａｙ）である場合は、リニアスキャンと同様な信号操作により、例えば図５に示すように、超音波ビーム２０２の放射点２００が円弧状の軌跡２０４上を移動して扇面状の２次元領域２０６がθ方向に走査され、いわゆるコンベックススキャンが行えるのはいうまでもない。
【００２９】
超音波プローブ２はアクチュエータ（ａｃｔｕａｔｏｒ）８に連結されている。アクチュエータ８は、超音波プローブ２をθ方向（またはｘ方向、以下、θ方向で代表する）の音線走査方向とは直交する方向に移動させるようになっている。すなわち、アクチュエータ８はφ走査を行うものである。φ走査はθ走査と協調して行われ、例えばθ走査の１スキャンごとにφ走査を１ピッチ（ｐｉｔｃｈ）進めるようになっている。このようなφ走査により、撮像対象１００の複数の断面が順次に走査される。
【００３０】
φ走査は、例えば図６に示すように、超音波プローブ２をθ走査と直交する方向に平行移動させることによって行われる。なお、同図に示したｚ方向は音線方向である。これによって撮像対象１００の内部の３次元領域３０２が走査される。φ走査は、この他に、例えば図７に示すように、超音波プローブ２をφ方向に揺動させることによって行うようにしても良い。揺動の中心軸は、中心軸３００で示すように、θ走査の音線の発散点２０８を通るようにするのがθ走査とφ走査の角度の原点を一致させる点で好ましい。なお、φ走査は、必ずしもアクチュエータ８によらず、操作者が手動で行うようにしても良い。
【００３１】
送受信部６はＢモード（ｍｏｄｅ）処理部１０およびドップラ処理部１２に接続されている。送受信部６から出力される音線ごとのエコー受信信号は、Ｂモード処理部１０およびドップラ処理部１２に入力される。
【００３２】
Ｂモード処理部１０はＢモード画像データを形成するものである。Ｂモード処理部１０は、図８に示すように対数増幅ユニット１０２と包絡線検波ユニット１０４を備えている。Ｂモード処理部１０は、対数増幅ユニット１０２でエコー受信信号を対数増幅し、包絡線検波ユニット１０４で包絡線検波して音線上の個々の反射点でのエコーの強度を表す信号、すなわちＡスコープ（ｓｃｏｐｅ）信号を得て、このＡスコープ信号の各瞬時の振幅をそれぞれ輝度値として、Ｂモード画像データを形成するようになっている。
【００３３】
ドップラ処理部１２はドップラ画像データを形成するものである。ドップラ処理部１２は、図９に示すように直交検波ユニット１２０、ＭＴＩフィルタ（ｍｏｖｉｎｇ ｔａｒｇｅｔ ｉｎｄｉｃａｔｉｏｎ ｆｉｌｔｅｒ）１２２、自己相関ユニット１２４、平均流速演算ユニット１２６、分散演算ユニット１２８およびパワー（ｐｏｗｅｒ）演算ユニット１３０を備えている。
【００３４】
ドップラ処理部１２は、直交検波ユニット１２０でエコー受信信号を直交検波し、ＭＴＩフィルタ１２２でＭＴＩ処理し、自己相関ユニット１２４で自己相関演算を行い、平均流速演算ユニット１２６で自己相関演算結果から平均流速を求め、分散演算ユニット１２８で自己相関演算結果から流速の分散を求め、パワー演算ユニット１３０で自己相関演算結果からドプラ信号のパワーを求めるようになっている。
【００３５】
これによって、撮像対象１００内の血流等の平均流速とその分散およびドプラ信号のパワーを表すデータすなわちドップラ画像データがそれぞれ音線ごとに得られる。なお、流速は音線方向の成分として得られる。流れの方向は近づく方向と遠ざかる方向とが区別される。
【００３６】
以上の、超音波プローブ２、送受信部６、アクチュエータ８、Ｂモード処理部１０およびドップラ処理部１２は、本発明における画像データ獲得手段の実施の形態の一例である。
【００３７】
Ｂモード処理部１０およびドップラ処理部１２は画像処理部１４に接続されている。画像処理部１４は、本発明における画像形成手段の実施の形態の一例である。画像処理部１４は、図１０に示すように、バス（ｂｕｓ）１４０によって接続された音線データメモリ（ｄａｔａ ｍｅｍｏｒｙ）１４２、ディジタル・スキャンコンバータ（ＤＳＣ：ｄｉｇｉｔａｌ ｓｃａｎ ｃｏｎｖｅｒｔｅｒ）１４４、画像メモリ１４６および画像処理プロセッサ（ｐｒｏｃｅｓｓｏｒ）１４８を備えている。
【００３８】
Ｂモード処理部１０およびドップラ処理部１２から音線ごとに入力されたＢモード画像データおよびドップラ画像データは、音線データメモリ１４２にそれぞれ記憶される。撮像対象１００の走査が複数断面について順次に行われることにより、音線データメモリ１４２には複数断面の画像データがそれぞれ記憶される。以下、音線データメモリ１４２に記憶された断面ごとの画像データを音線データフレーム（ｄａｔａ ｆｒａｍｅ）という。
【００３９】
ＤＳＣ１４４は、走査変換により音線データ空間のデータを物理空間のデータに変換するものである。これによって、音線データ空間の画像データが物理空間の画像データに変換される。ＤＳＣ１４４によって変換された画像データが画像メモリ１４６に記憶される。すなわち、画像メモリ１４６は物理空間の画像データを記憶する。
【００４０】
画像処理プロセッサ１４８は、例えばコンピュータ（ｃｏｍｐｕｔｅｒ）等を用いて構成される。画像処理プロセッサ１４８は、Ｂモード処理部１０およびドップラ処理部１２からそれぞれ入力されるデータに基づいて、それぞれＢモード画像およびドップラ画像を構成する。また、それらの３次元像を形成する。
【００４１】
ドップラ画像としては、流速に分散を加味してカラー（ｃｏｌｏｒ）画像化したカラードップラ画像と、ドプラ信号のパワーを画像化したパワードップラ画像の２種類が形成される。以下、カラードップラ画像をＣＦＭ（ｃｏｌｅｒ ｆｌｏｗ ｍａｐｐｉｎｇ）像と呼ぶ。また、パワードップラ画像をＰＤＩ（ｐｏｗｅｒ Ｄｏｐｐｌｅｒ ｉｍａｇｉｎｇ）像と呼ぶ。
【００４２】
画像処理部１４には表示部１６が接続されている。表示部１６は画像処理部１４から画像信号が与えられ、それに基づいて画像を表示するようになっている。表示部１６は、本発明における表示手段の実施の形態の一例である。表示部１６は例えばグラフィック・ディスプレー（ｇｒａｐｈｉｃ ｄｉｓｐｌａｙ）等を用いて構成される。
【００４３】
以上の送受信部６、アクチュエータ８、Ｂモード処理部１０、ドップラ処理部１２、画像処理部１４および表示部１６は制御部１８に接続されている。制御部１８は、それら各部に制御信号を与えてその動作を制御するようになっている。制御部１８による制御の下で、Ｂモード動作およびドップラモード動作が実行される。
【００４４】
制御部１８には操作部２０が接続されている。操作部２０は操作者によって操作され、制御部１８に所望の指令や情報を入力するようになっている。操作部２０は、例えばキーボード（ｋｅｙｂｏａｒｄ）やその他の操作具を備えた操作パネル（ｐａｎｅｌ）で構成される。
【００４５】
本装置による超音波撮像の動作を説明する。操作者はアクチュエータ８に連結された超音波プローブ２を撮像対象１００の所望の個所に位置決めし、操作部２０を操作して例えばＢモードとドップラモードの併用による撮像動作を行わせる。以下、制御部１８による制御の下で撮像動作が遂行される。Ｂモード動作とドップラモード動作は時分割で交互に行われる。
【００４６】
Ｂモードにおいては、送受信部６は超音波プローブ２を通じて音線順次で撮像対象１００の内部をθ走査して逐一そのエコーを受信する。受信したエコーに基づいてＢモード処理部１０によりＢモード画像データが求められる。
【００４７】
ドップラモードにおいては、送受信部６は超音波プローブ２を通じて音線順次で撮像対象１００の内部をθ走査して逐一そのエコーを受信する。その際、１音線当たり複数回の超音波の送波とエコーの受信が行われる。ドップラ処理部１２は、エコー受信信号を直交検波ユニット１２０で直交検波し、ＭＴＩフィルタ１２２でＭＴＩ処理し、自己相関ユニット１２４で自己相関を求め、自己相関結果から、平均流速演算ユニット１２６で平均流速を求め、分散演算ユニット１２８で流速の分散を求め、パワー演算ユニット１３０でドプラ信号のパワーを求める。この算出値は、それぞれ、平均流速、分散およびドップラパワーを音線ごとに表すドップラ画像データとなる。なお、ＭＴＩフィルタ１２２でのＭＴＩ処理は１音線当たりの複数回のエコー受信信号を用いて行われる。
【００４８】
画像処理部１４は、Ｂモード処理部およびドップラ処理部１２から入力される音線ごとのＢモード画像データおよびドップラ画像データを音線データメモリ１４２にそれぞれ記憶する。
【００４９】
音線データメモリ１４２の各画像データは画像処理プロセッサ１４８により上記のように処理され、ＤＳＣ１４４で物理空間の画像データに変換されて画像メモリ１４６に記憶される。画像メモリ１４６には、Ｂモード画像、ＣＦＭ画像およびＰＤＩ画像がそれぞれ記憶される。Ｂモード画像は体内組織の断層像を表すものとなる。ＣＦＭ画像は血流速度分布を表すものとなる。ＰＤＩ画像は血管走行像を表すものとなる。これら各像が表示部１６により可視像として表示される。以下、血管走行像を血管像という。
【００５０】
その際、例えばＢモード画像とＣＦＭ画像の合成画像またはＢモード画像とＰＤＩ画像の合成画像を表示し、Ｂモード画像を背景としたＣＦＭ画像またはＢモード画像を背景としたＰＤＩ画像画像、すなわち、体内組織との位置関係が明確な流速分布像または血管走行像を表示する。操作者は表示画像を観察して撮像対象１００の内部状態を把握する。
【００５１】
φ走査の進行につれて、例えば図１１に模式的に示すように、３次元領域３０２の複数の断面９００〜９１０が順次走査される。３次元領域３０２には血管９２０およびその周辺の図示しない組織が含まれる。このような３次元領域３０２についてＢモード画像の音線データおよびドップラ画像の音線データがそれぞれ得られ、それらの音線データを記憶した複数の音線データフレームが順次音線データメモリ１４２内にそれぞれ形成される。
【００５２】
このような音線データについての、画像処理プロセッサ１４８およびＤＳＣ１４４による前述のような処理により、図１２に示すような３次元データ空間３０４が画像メモリ１４６内に形成される。３次元データ空間３０４は、Ｂモード画像、ＣＦＭ画像およびＰＤＩ画像についてそれぞれ形成されるが、そのうちのＰＤＩ画像を代表的に図示する。３次元データ空間３０４は互いに垂直な３つの座標軸ｘ，ｙ，ｚを有する。ＰＤＩ画像の３次元データ空間３０４には血管画像データ９２４が含まれる。
【００５３】
φ走査を終えた後で、操作者は３次元像の形成と表示を指令する。このような指令に基づいて、画像処理プロセッサ１４８により、３次元データ空間３０４の画像データから３次元像が形成される。３次元像の形成はボリュームレンダリングによって行われる。
【００５４】
ボリュームレンダリングによる３次元像形成に関わる画像処理プロセッサ１４８のブロック図を図１３に示す。同図に示す画像処理プロセッサ１４８は、本発明の３次元画像形成装置の実施の形態の一例である。本装置の構成によって、本発明の装置に関する実施の形態の一例が示される。本装置の動作によって、本発明の方法に関する実施の形態の一例が示される。
【００５５】
同図に示すように、画像処理プロセッサ１４８は、画像データ統合ユニット４８２、オパシティ設定ユニット４８４、視線設定ユニット４８６およびボリュームレンダリングユニット４８８を有する。これら各ユニットは例えばコンピュータプログラム等により実現される。
【００５６】
画像データ統合ユニット４８２は、本発明におけるレンジ（ｒａｎｇｅ）結合手段の実施の形態の一例である。画像データ統合ユニット４８２は、画像メモリ１４６に記憶されているデータ獲得方式が互いに異なる複数の画像データを統合して、新たな３次元データ空間を構成する。すなわち、例えばＢモード画像データとＣＦＭ画像データのように、カテゴリ（ｃａｔｅｇｏｒｙ）が異なる２種類の画像データを統合して共通の新たな３次元データ空間を構成する。あるいは、Ｂモード画像データとＰＤＩ画像データを統合して共通の新たな３次元データ空間を構成する。
【００５７】
その際、カテゴリが異なる画像データのレンジを直列に結合する。レンジの直列結合とは、例えば図１４に示すように、Ｂモード画像データのレンジが０−２５５であり、ＰＤＩ画像データのレンジが同じく０−２５５であるとすると、ＰＤＩ画像データの値にＢモード画像データのレンジの最大値２５５を加算して、それを新たなＰＤＩ画像データとすることである。
【００５８】
このようにすることにより、統合画像データは０−５１１のレンジを持つものとなり、その中でＢモード画像データは０−２５５の範囲の値をとり、ＰＤＩ画像データは２５６−５１１の範囲の値をとるものとなる。統合画像データを例えば１６ビット（ｂｉｔ）としたとき、下位の８ビットをＢモード画像データを割り当て、上位の８ビットをＰＤＩ画像データに割り当てるのが、以後の計算を容易にする点で好ましい。ＰＤＩ画像データについては適宜の閾値以下のものを切り捨てるのがノイズ等を除去する点で好ましい。また、ダイナミックレンジ（ｄｙｎａｍｉｃ ｒａｇｅ）を圧縮する点で好ましい。
【００５９】
ＰＤＩ画像データの代わりにＣＦＭ画像データを用いても良い。その場合も上記と同様にする。以下、ＰＤＩ画像データの例で説明するが、ＣＦＭ画像データの場合も同様になる。
【００６０】
オパシティ設定ユニット４８４は、ボリュームレンダリング用のオパシティの関数特性を設定する。オパシティ設定ユニット４８４は、本発明におけるオパシティ設定手段の実施の形態の一例である。オパシティ設定ユニット４８４は、例えば図１５に示すように、オパシティＯｐを、０−５１１のレンジを持つ統合画像データＣの関数として設定する。
【００６１】
オパシティの値は画像データの信号強度が高くなるほど大きくする。これによって、ＰＤＩ画像データにはＢモード画像データよりも大きなオパシティが与えられる。オパシティが大きいほど不透明度が高い。オパシティ１は完全な不透明である。オパシティ０は完全な透明である。
【００６２】
視線設定ユニット４８６は、統合画像データが存在する３次元データ空間をよぎる複数の視線を設定する。視線設定ユニット４８６による視線の設定を図１６によって説明する。同図に示すように、３次元データ空間３０６の観察方向３２を先ず設定する。これにより、求めるべき３次元像は観察方向３２に垂直に設定した投影面３４への投影像となる。
【００６３】
投影面３４は３次元像の画素位置を与える複数の格子点３６を有する。なお、複数の格子点への符号付けは１箇所で代表する。視線設定ユニット４８６は、格子点３６から観察方向３２に沿って３次元データ空間３０６をよぎる視線３８を設定する。なお、複数の視線への符号付けは１箇所で代表する。
【００６４】
ボリュームレンダリングユニット４８８は、オパシティ設定ユニット４８４が設定したオパシティと視線設定ユニット４８６が設定した視線を用い、３次元データ空間３０６の画像データからボリュームレンダリングにより３次元像を形成する。ボリュームレンダリングユニット４８８は、本発明における計算手段の実施の形態の一例である。ボリュームレンダリングユニット４８８は、次式により３次元像の画素値を計算する。
【００６５】
【数１】
【００６６】
ここで、
Ｃ（ｉ）：視線上の画像データ
Ｏｐ（Ｃ（ｉ））：オパシティ
添え字ｉｎおよびｏｕｔはそれぞれ計算入力および計算出力を表す。
【００６７】
（１）式に示すように、視線上の位置ｉにおける画像データＣ（ｉ）についてそれに対応するオパシティＯｐ（Ｃ（ｉ））との積を求め、位置ｉ−１までの計算値に係数を掛けたものと合算する。係数は１に関するオパシティの補数である。なお、視線上の位置ｉにない画像データについては、近傍の画像データから補間演算等により生成する。
【００６８】
画素値の計算は、オパシティＯｐ（Ｃ（ｉ））の視線方向での積算値が１に達したところで終了し、そのときの計算値をその視線の画素値とする。これを全ての視線について行って、投影面３４上の全ての格子点３６の画素値を得る。このような素値によって形成された３次元像が画像メモリ１４６を経て表示部１６に与えられ、可視像として表示される。
【００６９】
ＰＤＩ画像データにＢモード画像データよりも大きなオパシティを与えたことにより、３次元像はＰＤＩ画像を主としＢモード画像を従とした画像となる。すなわち、血管像を主とし周辺組織像を従とする３次元像が得られる。したがって、周辺組織との位置関係が明確な血管の３次元像を得ることができる。これによって、例えば癌組織等の病変部と血管走行状態との関係を把握することが可能になり診断上きわめて有益である。
【００７０】
なお、主画像と従画像の関係は、Ｂモード画像データとＰＤＩ画像データのレンジを直列結合するときの順序を変えることによって逆転させることができる。また、画像表示に当たっては、血管像と周辺組織像の表示態を異ならせ、例えば血管像をカラー表示とし周辺組織像をモノクローム（ｍｏｎｏｃｈｒｏｍｅ）表示とするのが、両者の識別を容易にする点で好ましい。
【００７１】
以上、ドップラシフトを利用して血管を撮像する例で説明したが、ドップラシフトに限らず、例えば造影剤を用いて血管を撮影した場合についても、同様にして血管走行状態を示す３次元像を得ることができる。
【００７２】
さらには、Ｂモード、ドップラモードおよび造影剤モードを併用して撮像を行い、３種類の画像データのレンジを直列に統合してオパシティを設定し、Ｂモード画像、ドップラ画像および造影画像の３種類を含む３次元像を形成するようにしても良い。その場合、３種類の画像をそれぞれ色分け等により表示態を異ならせることが識別を容易にする点で好ましい。
【００７３】
また、超音波プローブを機械的に変位させて３次元領域をスキャンする例について説明したが、３次元領域のスキャンはそれに限るものではなく、例えば超音波トランスデューサの２次元アレイを備えた超音波プローブにより、電子的に行うようにしても良いのはもちろんである。
【００７４】
【発明の効果】
以上詳細に説明したように、本発明によれば、超音波画像データからボリュームレンダリングにより良好な３次元像を得るためのオパシティ設定方法、３次元像形成方法および装置、並びに、そのような３次元像形成装置を備えた超音波撮像装置を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の一例の装置のブロック図である。
【図２】図１に示した装置の送受信部のブロック図である。
【図３】図２に示した送受信部による音線走査の模式図である。
【図４】図２に示した送受信部による音線走査の模式図である。
【図５】図２に示した送受信部による音線走査の模式図である。
【図６】図１に示した装置によるφ走査の模式図である。
【図７】図１に示した装置によるφ走査の模式図である。
【図８】図１に示した装置のＢモード処理部のブロック図である。
【図９】図１に示した装置のドプラ処理部のブロック図である。
【図１０】図１に示した装置の画像処理部のブロック図である。
【図１１】図１に示した装置による複数断面走査の模式図である。
【図１２】図１に示した装置によって得られる３次画像データの模式図である。
【図１３】図９に示した画像処理プロセッサのブロック図である。
【図１４】図１３に示した画像データ統合ユニットの機能説明図である。
【図１５】図１３に示したオパシティ設定ユニットが設定したオパシティの一例を示すグラフである。
【図１６】図１３に示した視線設定ユニットの機能説明図である。
【符号の説明】
２ 超音波プローブ
６ 送受信部
８ アクチュエータ
１０ Ｂモード処理部
１２ ドップラ処理部
１４ 画像処理部
１６ 表示部
１８ 制御部
２０ 操作部
１００ 撮像対象
１４０ バス
１４２ 音線データメモリ
１４４ ＤＳＣ
１４６ 画像メモリ
１４８ 画像処理プロセッサ
３０４ ３次元データ空間
４８２ 画像データ統合ユニット
４８４ オパシティ設定ユニット
４８６ 視線設定ユニット
４８８ ボリュームレンダリングユニット
９２４ 血管画像データ
【発明の属する技術分野】
本発明は、オパシティ（ｏｐａｃｉｔｙ）設定方法、３次元像形成方法および装置並びに超音波撮像装置に関し、特に、ボリュームレンダリング（ｖｏｌｕｍｅ ｒｅｎｄｅｒｉｎｇ）により３次元像を形成するためのオパシティを設定する方法、３次元データ（ｄａｔａ）空間中の画像データからボリュームレンダリングにより３次元像を形成する方法および装置、並びに、そのような３次元像形成装置を備えた超音波撮像装置に関する。
【０００２】
【従来の技術】
超音波撮像装置は、撮像対象の内部を超音波ビーム（ｂｅａｍ）で走査してエコー（ｅｃｈｏ）を受信し、エコーの強度に対応した画像データを求め、それによっていわゆるＢモード（ｍｏｄｅ）画像を形成する。３次元撮像を行う場合は、撮像対象内の３次元領域を超音波で走査し、エコー受信信号から求めた３次元の画像データに基づいて、例えば血管の走行状態や管腔臓器の内壁等を示す３次元像が形成される。
【０００３】
血管走行を示す３次元像は、ＭＩＰ（Ｍｉｎｉｍｕｍ Ｉｎｔｅｎｓｉｔｙ Ｐｒｏｊｅｃｔｉｏｎ）像を求めることにより形成される。管腔臓器内壁を示す３次元像は、Ｂモード画像からサーフェースレンダリング（ｓｕｒｆａｃｅ ｒｅｎｄｅｒｉｎｇ）によって形成される。
【０００４】
ＭＩＰ像は、３次元データ空間中に設定した複数の視線に沿って画像データの最小値をそれぞれ求めて投影することによって形成する。サーフェースレンダリングでは、適宜の閾値を設定して該当する画像データの３次元的位置を求め、それら３次元的位置に基づいてサーフェース像を形成する。
【０００５】
【発明が解決しようとする課題】
超音波画像はエコーの強度分布を画像化したものであるから、画像データの値はエコー反射点における送波超音波の瞬時音圧やエコー受信のゲイン（ｇａｉｎ）等に左右され、同一組織を表す画像データは同一画像内でさえ同一の値を持つとは限らない。このため、３次元像は、事実上、血流のＭＩＰ像または液部との境界が明確な管腔臓器内壁等の表面像に限られ、血管走行を体内組織とともに描出した３次元像等を得ることは不可能であるという問題があった。
【０００６】
３次元像を形成する他の手法としてボリュームレンダリングがある。ボリュームレンダリングは、例えばＸ線ＣＴ（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ）装置等で撮影した画像データから３次元像を形成するのに用いられる。ボリュームレンダリングでは、予め画像データにその値に対応した規格値すなわちオパシティ（ｏｐａｃｉｔｙ）を割り付け、画像データとオパシティとを用い、３次元データ空間内に設定した複数の視線に沿って３次元像の画素値をそれぞれ計算する。
【０００７】
ボリュームレンダリングを行うためには画像データとオパシティの関係を適切に設定する必要があるが、超音波画像データはＣＴ画像データのように組織に固有の値を持たないので、画像データとオパシティとの適切な対応付けが困難である。このため、超音波画像データからはボリュームレンダリングにより良好な３次元像を得ることができないという問題があった。
【０００８】
また、超音波画像にはドップラシフト（Ｄｏｐｐｌｅｒ ｓｈｉｆｔ）を利用して血流等を画像化したドップラ画像もあるが、ドップラ画像の画像データはＢモード画像の画像データとは性格が異なり両者を統一的に取り扱うことができない。このため、血管走行を体内組織とともに描出した３次元像等をボリュームレンダリングによって得ることは不可能であるという問題があった。
【０００９】
本発明は上記の問題点を解決するためになされたもので、その目的は、超音波画像データからボリュームレンダリングにより良好な３次元像を得るためのオパシティ設定方法、３次元像形成方法および装置、並びに、そのような３次元像形成装置を備えた超音波撮像装置を実現することである。
【００１０】
【課題を解決するための手段】
（１）上記の課題を解決するための第１の観点での発明は、ボリュームレンダリングの計算に用いるオパシティを設定するに当たり、データ獲得方式が互いに異なる複数の画像データのレンジを直列に統合し、前記統合したレンジ全体を通じてオパシティを設定することを特徴とするオパシティ設定方法である。
【００１１】
（２）上記の課題を解決するための第２の観点での発明は、３次元データ空間中の画像データからボリュームレンダリングにより３次元像を形成するに当たり、データ獲得方式が互いに異なる複数の画像データのレンジを直列に統合し、前記統合したレンジ全体を通じてオパシティを設定し、前記レンジを統合した画像データおよび前記設定したオパシティを用いてボリュームレンダリングを行うことを特徴とする３次元像形成方法である。
【００１２】
（３）上記の課題を解決するための第３の観点での発明は、３次元データ空間中の画像データからボリュームレンダリングにより３次元像を形成する３次元像形成装置であって、データ獲得方式が互いに異なる複数の画像データのレンジを直列に統合するレンジ統合手段と、前記統合したレンジ全体を通じてオパシティを設定するオパシティ設定手段と、前記レンジを統合した画像データおよび前記設定したオパシティを用いてボリュームレンダリングを行う計算手段とを具備することを特徴とする３次元像形成装置である。
【００１３】
（４）上記の課題を解決するための第４の観点での発明は、超音波エコーに基づいて撮像対象につき３次元データ空間に属する画像データを獲得する画像データ獲得手段と、前記画像データに基づいて３次元像を形成する画像形成手段とを有する超音波撮像装置であって、前記画像形成手段として（３）に記載の３次元像形成装置を用いることを特徴とする超音波撮像装置である。
【００１４】
（５）上記の課題を解決するための第５の観点での発明は、前記画像データ獲得手段は少なくともＢモード方式およびドップラ方式により画像データをそれぞれ獲得することを特徴とする（４）に記載の超音波撮像装置である。
【００１５】
（６）上記の課題を解決するための第６の観点での発明は、前記形成した３次元像を前記画像データを獲得した方式ごとに表示態様を異にして表示する表示手段を具備することを特徴とする（４）または（５）に記載の超音波撮像装置である。
【００１６】
（７）上記の課題を解決するための他の観点での発明は、超音波エコーに基づいて撮像対象につき３次元データ空間に属する画像データを獲得し、前記画像データに基づいて３次元像を形成する超音波撮像方法であって、前記３次元像の形成を（２）に記載の３次元像形成方法を用いて行う特徴とする超音波撮像方法である。
【００１７】
（８）上記の課題を解決するための他の観点での発明は、前記画像データの獲得を少なくともＢモード方式およびドップラ方式により画それぞれ行うことを特徴とする（７）に記載の超音波撮像方法である。
【００１８】
（９）上記の課題を解決するための他の観点での発明は、前記形成した３次元像を前記画像データを獲得した方式ごとに表示態様を異にして表示することを特徴とする（７）または（８）に記載の超音波撮像方法である。
【００１９】
（作用）
本発明では、データ獲得方式を異にする複数の画像データのレンジを直列に統合し、この統合レンジ全体を通じてオパシティを設定することにより、カテゴリが異なる画像データをオパシティにより統一する。これによって、例えば血管走行等を体内組織とともに描出した３次元像を得る。
【００２０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本発明は実施の形態に限定されるものではない。図１に、超音波撮像装置のブロック（ｂｌｏｃｋ）図を示す。本装置は本発明の超音波撮像装置の実施の形態の一例である。本装置の構成によって、本発明の装置に関する実施の形態の一例が示される。本装置の動作によって、本発明の方法に関する実施の形態の一例が示される。
【００２１】
本装置の構成を説明する。同図に示すように、本装置は超音波プローブ２を有する。超音波プローブ２は、撮像対象１００に当接されて超音波の送受波に使用される。超音波プローブ２は、図示しない超音波トランスデューサアレイ（ｔｒａｎｓｄｕｃｅｒ ａｒｒａｙ）を有する。超音波トランスデューサアレイは複数の超音波トランスデューサで構成される。個々の超音波トランスデューサは、例えばＰＺＴ（チタン（Ｔｉ）酸ジルコン（Ｚｒ）酸鉛（Ｐｂ））セラミックス（ｃｅｒａｍｉｃｓ）等の圧電材料で構成される。
【００２２】
超音波プローブ２は送受信部６に接続されている。送受信部６は、超音波プローブ２の超音波トランスデューサアレイを駆動して超音波ビームを送信し、また、超音波トランスデューサアレイが受波したエコー（ｅｃｈｏ）を受信する。
【００２３】
送受信部６のブロック図を図２に示す。同図に示すように、送受信部６は信号発生ユニット６０２を有する。信号発生ユニット６０２は、パルス（ｐｕｌｓｅ）信号を所定の周期で繰り返し発生して送波ビームフォーマ６０４に入力する。送波ビームフォーマ６０４は入力信号に基づいて送波ビームフォーミング信号を生成する。送波ビームフォーミング信号は、超音波トランスデューサアレイにおいて送信アパーチャ（ａｐｅｒｔｕｒｅ）を構成する複数の超音波トランスデューサに与える複数のパルス信号であり、個々のパルス信号には超音波ビームの方位および焦点に対応した遅延時間が付与される。以下、送信アパーチャを送波アパーチャという。
【００２４】
送波ビームフォーマ６０４の出力信号は送受切換ユニット６０８を通じて送波アパーチャを構成する複数の超音波トランスデューサに駆動信号として与えられる。駆動信号が与えられた複数の超音波トランスデューサはそれぞれ超音波を発生し、それら超音波の波面合成により所定の方位への送波超音波ビームが形成される。送波超音波ビームは所定の距離に設定された焦点に収束する。
【００２５】
送波超音波のエコーが、超音波プローブ２の受信アパーチャを構成する複数の超音波トランスデューサでそれぞれ受波される。以下、受信アパーチャを受波アパーチャという。複数の超音波トランスデューサが受波した複数のエコー受波信号は、送受切換ユニット６０８を通じて受波ビームフォーマ６１０に入力される。受波ビームフォーマ６１０は、エコー受信音線の方位およびエコー受信の焦点に対応した遅延を個々のエコー受波信号に付与して加算し、所定の音線および焦点に合致したエコー受信信号を形成する。
【００２６】
送波ビームフォーマ６０４は、送波超音波ビームの方位を順次切り換えることにより音線順次の走査を行う。受波ビームフォーマ６１０は、受波音線の方位を順次切り換えることにより音線順次の受波の走査を行う。これにより、送受信部６は例えば図３に示すような走査を行う。すなわち、放射点２００からｚ方向に延びる超音波ビーム２０２が扇状の２次元領域２０６をθ方向に走査し、いわゆるセクタスキャン（ｓｅｃｔｏｒ ｓｃａｎ）を行う。
【００２７】
送波および受波のアパーチャを超音波トランスデューサアレイの一部を用いて形成するときは、このアパーチャをアレイに沿って順次移動させることにより、例えば図４に示すような走査を行うことができる。すなわち、放射点２００からｚ方向に発する超音波ビーム２０２が直線的な軌跡２０４上を移動することにより、矩形状の２次元領域２０６がｘ方向に走査され、いわゆるリニアスキャン（ｌｉｎｅａｒ ｓｃａｎ）が行われる。
【００２８】
なお、超音波トランスデューサアレイが、超音波送波方向に張り出した円弧に沿って形成されたいわゆるコンベックスアレイ（ｃｏｎｖｅｘ ａｒｒａｙ）である場合は、リニアスキャンと同様な信号操作により、例えば図５に示すように、超音波ビーム２０２の放射点２００が円弧状の軌跡２０４上を移動して扇面状の２次元領域２０６がθ方向に走査され、いわゆるコンベックススキャンが行えるのはいうまでもない。
【００２９】
超音波プローブ２はアクチュエータ（ａｃｔｕａｔｏｒ）８に連結されている。アクチュエータ８は、超音波プローブ２をθ方向（またはｘ方向、以下、θ方向で代表する）の音線走査方向とは直交する方向に移動させるようになっている。すなわち、アクチュエータ８はφ走査を行うものである。φ走査はθ走査と協調して行われ、例えばθ走査の１スキャンごとにφ走査を１ピッチ（ｐｉｔｃｈ）進めるようになっている。このようなφ走査により、撮像対象１００の複数の断面が順次に走査される。
【００３０】
φ走査は、例えば図６に示すように、超音波プローブ２をθ走査と直交する方向に平行移動させることによって行われる。なお、同図に示したｚ方向は音線方向である。これによって撮像対象１００の内部の３次元領域３０２が走査される。φ走査は、この他に、例えば図７に示すように、超音波プローブ２をφ方向に揺動させることによって行うようにしても良い。揺動の中心軸は、中心軸３００で示すように、θ走査の音線の発散点２０８を通るようにするのがθ走査とφ走査の角度の原点を一致させる点で好ましい。なお、φ走査は、必ずしもアクチュエータ８によらず、操作者が手動で行うようにしても良い。
【００３１】
送受信部６はＢモード（ｍｏｄｅ）処理部１０およびドップラ処理部１２に接続されている。送受信部６から出力される音線ごとのエコー受信信号は、Ｂモード処理部１０およびドップラ処理部１２に入力される。
【００３２】
Ｂモード処理部１０はＢモード画像データを形成するものである。Ｂモード処理部１０は、図８に示すように対数増幅ユニット１０２と包絡線検波ユニット１０４を備えている。Ｂモード処理部１０は、対数増幅ユニット１０２でエコー受信信号を対数増幅し、包絡線検波ユニット１０４で包絡線検波して音線上の個々の反射点でのエコーの強度を表す信号、すなわちＡスコープ（ｓｃｏｐｅ）信号を得て、このＡスコープ信号の各瞬時の振幅をそれぞれ輝度値として、Ｂモード画像データを形成するようになっている。
【００３３】
ドップラ処理部１２はドップラ画像データを形成するものである。ドップラ処理部１２は、図９に示すように直交検波ユニット１２０、ＭＴＩフィルタ（ｍｏｖｉｎｇ ｔａｒｇｅｔ ｉｎｄｉｃａｔｉｏｎ ｆｉｌｔｅｒ）１２２、自己相関ユニット１２４、平均流速演算ユニット１２６、分散演算ユニット１２８およびパワー（ｐｏｗｅｒ）演算ユニット１３０を備えている。
【００３４】
ドップラ処理部１２は、直交検波ユニット１２０でエコー受信信号を直交検波し、ＭＴＩフィルタ１２２でＭＴＩ処理し、自己相関ユニット１２４で自己相関演算を行い、平均流速演算ユニット１２６で自己相関演算結果から平均流速を求め、分散演算ユニット１２８で自己相関演算結果から流速の分散を求め、パワー演算ユニット１３０で自己相関演算結果からドプラ信号のパワーを求めるようになっている。
【００３５】
これによって、撮像対象１００内の血流等の平均流速とその分散およびドプラ信号のパワーを表すデータすなわちドップラ画像データがそれぞれ音線ごとに得られる。なお、流速は音線方向の成分として得られる。流れの方向は近づく方向と遠ざかる方向とが区別される。
【００３６】
以上の、超音波プローブ２、送受信部６、アクチュエータ８、Ｂモード処理部１０およびドップラ処理部１２は、本発明における画像データ獲得手段の実施の形態の一例である。
【００３７】
Ｂモード処理部１０およびドップラ処理部１２は画像処理部１４に接続されている。画像処理部１４は、本発明における画像形成手段の実施の形態の一例である。画像処理部１４は、図１０に示すように、バス（ｂｕｓ）１４０によって接続された音線データメモリ（ｄａｔａ ｍｅｍｏｒｙ）１４２、ディジタル・スキャンコンバータ（ＤＳＣ：ｄｉｇｉｔａｌ ｓｃａｎ ｃｏｎｖｅｒｔｅｒ）１４４、画像メモリ１４６および画像処理プロセッサ（ｐｒｏｃｅｓｓｏｒ）１４８を備えている。
【００３８】
Ｂモード処理部１０およびドップラ処理部１２から音線ごとに入力されたＢモード画像データおよびドップラ画像データは、音線データメモリ１４２にそれぞれ記憶される。撮像対象１００の走査が複数断面について順次に行われることにより、音線データメモリ１４２には複数断面の画像データがそれぞれ記憶される。以下、音線データメモリ１４２に記憶された断面ごとの画像データを音線データフレーム（ｄａｔａ ｆｒａｍｅ）という。
【００３９】
ＤＳＣ１４４は、走査変換により音線データ空間のデータを物理空間のデータに変換するものである。これによって、音線データ空間の画像データが物理空間の画像データに変換される。ＤＳＣ１４４によって変換された画像データが画像メモリ１４６に記憶される。すなわち、画像メモリ１４６は物理空間の画像データを記憶する。
【００４０】
画像処理プロセッサ１４８は、例えばコンピュータ（ｃｏｍｐｕｔｅｒ）等を用いて構成される。画像処理プロセッサ１４８は、Ｂモード処理部１０およびドップラ処理部１２からそれぞれ入力されるデータに基づいて、それぞれＢモード画像およびドップラ画像を構成する。また、それらの３次元像を形成する。
【００４１】
ドップラ画像としては、流速に分散を加味してカラー（ｃｏｌｏｒ）画像化したカラードップラ画像と、ドプラ信号のパワーを画像化したパワードップラ画像の２種類が形成される。以下、カラードップラ画像をＣＦＭ（ｃｏｌｅｒ ｆｌｏｗ ｍａｐｐｉｎｇ）像と呼ぶ。また、パワードップラ画像をＰＤＩ（ｐｏｗｅｒ Ｄｏｐｐｌｅｒ ｉｍａｇｉｎｇ）像と呼ぶ。
【００４２】
画像処理部１４には表示部１６が接続されている。表示部１６は画像処理部１４から画像信号が与えられ、それに基づいて画像を表示するようになっている。表示部１６は、本発明における表示手段の実施の形態の一例である。表示部１６は例えばグラフィック・ディスプレー（ｇｒａｐｈｉｃ ｄｉｓｐｌａｙ）等を用いて構成される。
【００４３】
以上の送受信部６、アクチュエータ８、Ｂモード処理部１０、ドップラ処理部１２、画像処理部１４および表示部１６は制御部１８に接続されている。制御部１８は、それら各部に制御信号を与えてその動作を制御するようになっている。制御部１８による制御の下で、Ｂモード動作およびドップラモード動作が実行される。
【００４４】
制御部１８には操作部２０が接続されている。操作部２０は操作者によって操作され、制御部１８に所望の指令や情報を入力するようになっている。操作部２０は、例えばキーボード（ｋｅｙｂｏａｒｄ）やその他の操作具を備えた操作パネル（ｐａｎｅｌ）で構成される。
【００４５】
本装置による超音波撮像の動作を説明する。操作者はアクチュエータ８に連結された超音波プローブ２を撮像対象１００の所望の個所に位置決めし、操作部２０を操作して例えばＢモードとドップラモードの併用による撮像動作を行わせる。以下、制御部１８による制御の下で撮像動作が遂行される。Ｂモード動作とドップラモード動作は時分割で交互に行われる。
【００４６】
Ｂモードにおいては、送受信部６は超音波プローブ２を通じて音線順次で撮像対象１００の内部をθ走査して逐一そのエコーを受信する。受信したエコーに基づいてＢモード処理部１０によりＢモード画像データが求められる。
【００４７】
ドップラモードにおいては、送受信部６は超音波プローブ２を通じて音線順次で撮像対象１００の内部をθ走査して逐一そのエコーを受信する。その際、１音線当たり複数回の超音波の送波とエコーの受信が行われる。ドップラ処理部１２は、エコー受信信号を直交検波ユニット１２０で直交検波し、ＭＴＩフィルタ１２２でＭＴＩ処理し、自己相関ユニット１２４で自己相関を求め、自己相関結果から、平均流速演算ユニット１２６で平均流速を求め、分散演算ユニット１２８で流速の分散を求め、パワー演算ユニット１３０でドプラ信号のパワーを求める。この算出値は、それぞれ、平均流速、分散およびドップラパワーを音線ごとに表すドップラ画像データとなる。なお、ＭＴＩフィルタ１２２でのＭＴＩ処理は１音線当たりの複数回のエコー受信信号を用いて行われる。
【００４８】
画像処理部１４は、Ｂモード処理部およびドップラ処理部１２から入力される音線ごとのＢモード画像データおよびドップラ画像データを音線データメモリ１４２にそれぞれ記憶する。
【００４９】
音線データメモリ１４２の各画像データは画像処理プロセッサ１４８により上記のように処理され、ＤＳＣ１４４で物理空間の画像データに変換されて画像メモリ１４６に記憶される。画像メモリ１４６には、Ｂモード画像、ＣＦＭ画像およびＰＤＩ画像がそれぞれ記憶される。Ｂモード画像は体内組織の断層像を表すものとなる。ＣＦＭ画像は血流速度分布を表すものとなる。ＰＤＩ画像は血管走行像を表すものとなる。これら各像が表示部１６により可視像として表示される。以下、血管走行像を血管像という。
【００５０】
その際、例えばＢモード画像とＣＦＭ画像の合成画像またはＢモード画像とＰＤＩ画像の合成画像を表示し、Ｂモード画像を背景としたＣＦＭ画像またはＢモード画像を背景としたＰＤＩ画像画像、すなわち、体内組織との位置関係が明確な流速分布像または血管走行像を表示する。操作者は表示画像を観察して撮像対象１００の内部状態を把握する。
【００５１】
φ走査の進行につれて、例えば図１１に模式的に示すように、３次元領域３０２の複数の断面９００〜９１０が順次走査される。３次元領域３０２には血管９２０およびその周辺の図示しない組織が含まれる。このような３次元領域３０２についてＢモード画像の音線データおよびドップラ画像の音線データがそれぞれ得られ、それらの音線データを記憶した複数の音線データフレームが順次音線データメモリ１４２内にそれぞれ形成される。
【００５２】
このような音線データについての、画像処理プロセッサ１４８およびＤＳＣ１４４による前述のような処理により、図１２に示すような３次元データ空間３０４が画像メモリ１４６内に形成される。３次元データ空間３０４は、Ｂモード画像、ＣＦＭ画像およびＰＤＩ画像についてそれぞれ形成されるが、そのうちのＰＤＩ画像を代表的に図示する。３次元データ空間３０４は互いに垂直な３つの座標軸ｘ，ｙ，ｚを有する。ＰＤＩ画像の３次元データ空間３０４には血管画像データ９２４が含まれる。
【００５３】
φ走査を終えた後で、操作者は３次元像の形成と表示を指令する。このような指令に基づいて、画像処理プロセッサ１４８により、３次元データ空間３０４の画像データから３次元像が形成される。３次元像の形成はボリュームレンダリングによって行われる。
【００５４】
ボリュームレンダリングによる３次元像形成に関わる画像処理プロセッサ１４８のブロック図を図１３に示す。同図に示す画像処理プロセッサ１４８は、本発明の３次元画像形成装置の実施の形態の一例である。本装置の構成によって、本発明の装置に関する実施の形態の一例が示される。本装置の動作によって、本発明の方法に関する実施の形態の一例が示される。
【００５５】
同図に示すように、画像処理プロセッサ１４８は、画像データ統合ユニット４８２、オパシティ設定ユニット４８４、視線設定ユニット４８６およびボリュームレンダリングユニット４８８を有する。これら各ユニットは例えばコンピュータプログラム等により実現される。
【００５６】
画像データ統合ユニット４８２は、本発明におけるレンジ（ｒａｎｇｅ）結合手段の実施の形態の一例である。画像データ統合ユニット４８２は、画像メモリ１４６に記憶されているデータ獲得方式が互いに異なる複数の画像データを統合して、新たな３次元データ空間を構成する。すなわち、例えばＢモード画像データとＣＦＭ画像データのように、カテゴリ（ｃａｔｅｇｏｒｙ）が異なる２種類の画像データを統合して共通の新たな３次元データ空間を構成する。あるいは、Ｂモード画像データとＰＤＩ画像データを統合して共通の新たな３次元データ空間を構成する。
【００５７】
その際、カテゴリが異なる画像データのレンジを直列に結合する。レンジの直列結合とは、例えば図１４に示すように、Ｂモード画像データのレンジが０−２５５であり、ＰＤＩ画像データのレンジが同じく０−２５５であるとすると、ＰＤＩ画像データの値にＢモード画像データのレンジの最大値２５５を加算して、それを新たなＰＤＩ画像データとすることである。
【００５８】
このようにすることにより、統合画像データは０−５１１のレンジを持つものとなり、その中でＢモード画像データは０−２５５の範囲の値をとり、ＰＤＩ画像データは２５６−５１１の範囲の値をとるものとなる。統合画像データを例えば１６ビット（ｂｉｔ）としたとき、下位の８ビットをＢモード画像データを割り当て、上位の８ビットをＰＤＩ画像データに割り当てるのが、以後の計算を容易にする点で好ましい。ＰＤＩ画像データについては適宜の閾値以下のものを切り捨てるのがノイズ等を除去する点で好ましい。また、ダイナミックレンジ（ｄｙｎａｍｉｃ ｒａｇｅ）を圧縮する点で好ましい。
【００５９】
ＰＤＩ画像データの代わりにＣＦＭ画像データを用いても良い。その場合も上記と同様にする。以下、ＰＤＩ画像データの例で説明するが、ＣＦＭ画像データの場合も同様になる。
【００６０】
オパシティ設定ユニット４８４は、ボリュームレンダリング用のオパシティの関数特性を設定する。オパシティ設定ユニット４８４は、本発明におけるオパシティ設定手段の実施の形態の一例である。オパシティ設定ユニット４８４は、例えば図１５に示すように、オパシティＯｐを、０−５１１のレンジを持つ統合画像データＣの関数として設定する。
【００６１】
オパシティの値は画像データの信号強度が高くなるほど大きくする。これによって、ＰＤＩ画像データにはＢモード画像データよりも大きなオパシティが与えられる。オパシティが大きいほど不透明度が高い。オパシティ１は完全な不透明である。オパシティ０は完全な透明である。
【００６２】
視線設定ユニット４８６は、統合画像データが存在する３次元データ空間をよぎる複数の視線を設定する。視線設定ユニット４８６による視線の設定を図１６によって説明する。同図に示すように、３次元データ空間３０６の観察方向３２を先ず設定する。これにより、求めるべき３次元像は観察方向３２に垂直に設定した投影面３４への投影像となる。
【００６３】
投影面３４は３次元像の画素位置を与える複数の格子点３６を有する。なお、複数の格子点への符号付けは１箇所で代表する。視線設定ユニット４８６は、格子点３６から観察方向３２に沿って３次元データ空間３０６をよぎる視線３８を設定する。なお、複数の視線への符号付けは１箇所で代表する。
【００６４】
ボリュームレンダリングユニット４８８は、オパシティ設定ユニット４８４が設定したオパシティと視線設定ユニット４８６が設定した視線を用い、３次元データ空間３０６の画像データからボリュームレンダリングにより３次元像を形成する。ボリュームレンダリングユニット４８８は、本発明における計算手段の実施の形態の一例である。ボリュームレンダリングユニット４８８は、次式により３次元像の画素値を計算する。
【００６５】
【数１】
ここで、
Ｃ（ｉ）：視線上の画像データ
Ｏｐ（Ｃ（ｉ））：オパシティ
添え字ｉｎおよびｏｕｔはそれぞれ計算入力および計算出力を表す。
【００６７】
（１）式に示すように、視線上の位置ｉにおける画像データＣ（ｉ）についてそれに対応するオパシティＯｐ（Ｃ（ｉ））との積を求め、位置ｉ−１までの計算値に係数を掛けたものと合算する。係数は１に関するオパシティの補数である。なお、視線上の位置ｉにない画像データについては、近傍の画像データから補間演算等により生成する。
【００６８】
画素値の計算は、オパシティＯｐ（Ｃ（ｉ））の視線方向での積算値が１に達したところで終了し、そのときの計算値をその視線の画素値とする。これを全ての視線について行って、投影面３４上の全ての格子点３６の画素値を得る。このような素値によって形成された３次元像が画像メモリ１４６を経て表示部１６に与えられ、可視像として表示される。
【００６９】
ＰＤＩ画像データにＢモード画像データよりも大きなオパシティを与えたことにより、３次元像はＰＤＩ画像を主としＢモード画像を従とした画像となる。すなわち、血管像を主とし周辺組織像を従とする３次元像が得られる。したがって、周辺組織との位置関係が明確な血管の３次元像を得ることができる。これによって、例えば癌組織等の病変部と血管走行状態との関係を把握することが可能になり診断上きわめて有益である。
【００７０】
なお、主画像と従画像の関係は、Ｂモード画像データとＰＤＩ画像データのレンジを直列結合するときの順序を変えることによって逆転させることができる。また、画像表示に当たっては、血管像と周辺組織像の表示態を異ならせ、例えば血管像をカラー表示とし周辺組織像をモノクローム（ｍｏｎｏｃｈｒｏｍｅ）表示とするのが、両者の識別を容易にする点で好ましい。
【００７１】
以上、ドップラシフトを利用して血管を撮像する例で説明したが、ドップラシフトに限らず、例えば造影剤を用いて血管を撮影した場合についても、同様にして血管走行状態を示す３次元像を得ることができる。
【００７２】
さらには、Ｂモード、ドップラモードおよび造影剤モードを併用して撮像を行い、３種類の画像データのレンジを直列に統合してオパシティを設定し、Ｂモード画像、ドップラ画像および造影画像の３種類を含む３次元像を形成するようにしても良い。その場合、３種類の画像をそれぞれ色分け等により表示態を異ならせることが識別を容易にする点で好ましい。
【００７３】
また、超音波プローブを機械的に変位させて３次元領域をスキャンする例について説明したが、３次元領域のスキャンはそれに限るものではなく、例えば超音波トランスデューサの２次元アレイを備えた超音波プローブにより、電子的に行うようにしても良いのはもちろんである。
【００７４】
【発明の効果】
以上詳細に説明したように、本発明によれば、超音波画像データからボリュームレンダリングにより良好な３次元像を得るためのオパシティ設定方法、３次元像形成方法および装置、並びに、そのような３次元像形成装置を備えた超音波撮像装置を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の一例の装置のブロック図である。
【図２】図１に示した装置の送受信部のブロック図である。
【図３】図２に示した送受信部による音線走査の模式図である。
【図４】図２に示した送受信部による音線走査の模式図である。
【図５】図２に示した送受信部による音線走査の模式図である。
【図６】図１に示した装置によるφ走査の模式図である。
【図７】図１に示した装置によるφ走査の模式図である。
【図８】図１に示した装置のＢモード処理部のブロック図である。
【図９】図１に示した装置のドプラ処理部のブロック図である。
【図１０】図１に示した装置の画像処理部のブロック図である。
【図１１】図１に示した装置による複数断面走査の模式図である。
【図１２】図１に示した装置によって得られる３次画像データの模式図である。
【図１３】図９に示した画像処理プロセッサのブロック図である。
【図１４】図１３に示した画像データ統合ユニットの機能説明図である。
【図１５】図１３に示したオパシティ設定ユニットが設定したオパシティの一例を示すグラフである。
【図１６】図１３に示した視線設定ユニットの機能説明図である。
【符号の説明】
２ 超音波プローブ
６ 送受信部
８ アクチュエータ
１０ Ｂモード処理部
１２ ドップラ処理部
１４ 画像処理部
１６ 表示部
１８ 制御部
２０ 操作部
１００ 撮像対象
１４０ バス
１４２ 音線データメモリ
１４４ ＤＳＣ
１４６ 画像メモリ
１４８ 画像処理プロセッサ
３０４ ３次元データ空間
４８２ 画像データ統合ユニット
４８４ オパシティ設定ユニット
４８６ 視線設定ユニット
４８８ ボリュームレンダリングユニット
９２４ 血管画像データ
Claims (6)
- ボリュームレンダリングの計算に用いるオパシティを設定するに当たり、
データ獲得方式が互いに異なる複数の画像データのレンジを直列に統合し、
前記統合したレンジ全体を通じてオパシティを設定する、
ことを特徴とするオパシティ設定方法。 - ３次元データ空間中の画像データからボリュームレンダリングにより３次元像を形成するに当たり、
データ獲得方式が互いに異なる複数の画像データのレンジを直列に統合し、
前記統合したレンジ全体を通じてオパシティを設定し、
前記レンジを統合した画像データおよび前記設定したオパシティを用いてボリュームレンダリングを行う、
ことを特徴とする３次元像形成方法。 - ３次元データ空間中の画像データからボリュームレンダリングにより３次元像を形成する３次元像形成装置であって、
データ獲得方式が互いに異なる複数の画像データのレンジを直列に統合するレンジ統合手段と、
前記統合したレンジ全体を通じてオパシティを設定するオパシティ設定手段と、
前記レンジを統合した画像データおよび前記設定したオパシティを用いてボリュームレンダリングを行う計算手段と、
を具備することを特徴とする３次元像形成装置。 - 超音波エコーに基づいて撮像対象につき３次元データ空間に属する画像データを獲得する画像データ獲得手段と、前記画像データに基づいて３次元像を形成する画像形成手段とを有する超音波撮像装置であって、
前記画像形成手段として請求項３に記載の３次元像形成装置を用いる、
ことを特徴とする超音波撮像装置。 - 前記画像データ獲得手段は少なくともＢモード方式およびドップラ方式により画像データをそれぞれ獲得する、
ことを特徴とする請求項４に記載の超音波撮像装置。 - 前記形成した３次元像を前記画像データを獲得した方式ごとに表示態様を異にして表示する表示手段、
を具備することを特徴とする請求項４または請求項５に記載の超音波撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19195399A JP4297561B2 (ja) | 1999-07-06 | 1999-07-06 | オパシティ設定方法、３次元像形成方法および装置並びに超音波撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19195399A JP4297561B2 (ja) | 1999-07-06 | 1999-07-06 | オパシティ設定方法、３次元像形成方法および装置並びに超音波撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001017428A JP2001017428A (ja) | 2001-01-23 |
| JP4297561B2 true JP4297561B2 (ja) | 2009-07-15 |
Family
ID=16283209
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19195399A Expired - Lifetime JP4297561B2 (ja) | 1999-07-06 | 1999-07-06 | オパシティ設定方法、３次元像形成方法および装置並びに超音波撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4297561B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8728244B2 (en) | 2005-03-17 | 2014-05-20 | Sms Siemag Aktiengesellschaft | Method and device for descaling a metal strip |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4187499B2 (ja) * | 2002-10-18 | 2008-11-26 | オリンパス株式会社 | 超音波画像処理装置 |
| JP2004141514A (ja) * | 2002-10-28 | 2004-05-20 | Toshiba Corp | 画像処理装置及び超音波診断装置 |
| US7972269B2 (en) * | 2003-07-22 | 2011-07-05 | Hitachi Medical Corporation | Ultrasonographic device and ultrasonographic method |
| JP2005143733A (ja) * | 2003-11-13 | 2005-06-09 | Toshiba Corp | 超音波診断装置、３次元画像データ表示装置及び３次元画像データ表示方法 |
| WO2006030731A1 (ja) * | 2004-09-13 | 2006-03-23 | Hitachi Medical Corporation | 超音波撮像装置及び投影像生成方法 |
| US20070255138A1 (en) * | 2006-04-27 | 2007-11-01 | General Electric Company | Method and apparatus for 3D visualization of flow jets |
| JP5160825B2 (ja) | 2007-07-17 | 2013-03-13 | 日立アロカメディカル株式会社 | 超音波診断装置及び画像処理プログラム |
| JP5226978B2 (ja) | 2007-07-17 | 2013-07-03 | 日立アロカメディカル株式会社 | 超音波診断装置及び画像処理プログラム |
| JP2009028366A (ja) | 2007-07-27 | 2009-02-12 | Toshiba Corp | 超音波診断装置 |
-
1999
- 1999-07-06 JP JP19195399A patent/JP4297561B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8728244B2 (en) | 2005-03-17 | 2014-05-20 | Sms Siemag Aktiengesellschaft | Method and device for descaling a metal strip |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001017428A (ja) | 2001-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3878343B2 (ja) | ３次元超音波診断装置 | |
| US6951543B2 (en) | Automatic setup system and method for ultrasound imaging systems | |
| JP4969985B2 (ja) | 超音波診断装置、及び超音波診断装置の制御プログラム | |
| JP4413909B2 (ja) | ３次元超音波診断装置 | |
| JP5134787B2 (ja) | 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム | |
| JP6288996B2 (ja) | 超音波診断装置及び超音波イメージングプログラム | |
| JP5525930B2 (ja) | 三次元超音波画像を生成表示する超音波診断装置 | |
| JP2007020908A (ja) | 超音波診断装置及び超音波診断装置の制御プログラム | |
| US20050261583A1 (en) | Ultrasonic imaging apparatus, ultrasonic image processing method, and ultrasonic image processing program | |
| JP2010284218A (ja) | 超音波診断装置及び医用画像処理装置 | |
| JP2007513672A (ja) | ２次元アレイトランスデューサを用いる立体的超音波画像化システム | |
| JP4297561B2 (ja) | オパシティ設定方法、３次元像形成方法および装置並びに超音波撮像装置 | |
| JP5683860B2 (ja) | 超音波診断装置、超音波画像処理装置、超音波診断装置制御プログラム及び超音波画像処理プログラム | |
| JP2001128975A (ja) | 超音波診断装置 | |
| JPH10277030A (ja) | 超音波診断装置 | |
| KR20140131808A (ko) | 초음파 영상 장치 및 그 제어 방법 | |
| KR102545007B1 (ko) | 초음파 영상장치 및 그 제어방법 | |
| JP3712506B2 (ja) | 超音波撮像装置 | |
| JP4418052B2 (ja) | 超音波ビーム走査方法および装置並びに超音波撮像装置 | |
| JP4248673B2 (ja) | 超音波診断装置 | |
| JP5317391B2 (ja) | 超音波診断装置 | |
| JP3715745B2 (ja) | 超音波撮像装置 | |
| JP4310000B2 (ja) | ３次元像形成方法および装置並びに超音波撮像装置 | |
| JP3110001B2 (ja) | 投影像形成方法および超音波撮像装置 | |
| JP4645166B2 (ja) | 超音波診断装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060620 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090331 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090414 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4297561 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120424 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120424 Year of fee payment: 3 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120424 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120424 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120424 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130424 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130424 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140424 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |