JP2002191601A - パルス・ドプラ超音波撮像において移動する血管上にサンプル空間を固定する方法及び装置 - Google Patents

パルス・ドプラ超音波撮像において移動する血管上にサンプル空間を固定する方法及び装置

Info

Publication number
JP2002191601A
JP2002191601A JP2001278960A JP2001278960A JP2002191601A JP 2002191601 A JP2002191601 A JP 2002191601A JP 2001278960 A JP2001278960 A JP 2001278960A JP 2001278960 A JP2001278960 A JP 2001278960A JP 2002191601 A JP2002191601 A JP 2002191601A
Authority
JP
Japan
Prior art keywords
image
pixel values
image pixel
vessel segment
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001278960A
Other languages
English (en)
Other versions
JP5010078B2 (ja
JP2002191601A5 (ja
Inventor
Lihong Pan
リーホン・パン
Larry Y L Mo
ラリー・ワイ・エル・モー
Fang Dong
ファン・ドン
Cindy Andrews Owen
シンディー・アンドリュース・オーウェン
Robert Stanson
ロバート・スタンソン
Kjell Kristoffersen
キエール・クリストファーセン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Medical Systems Global Technology Co LLC
Original Assignee
GE Medical Systems Global Technology Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Medical Systems Global Technology Co LLC filed Critical GE Medical Systems Global Technology Co LLC
Publication of JP2002191601A publication Critical patent/JP2002191601A/ja
Publication of JP2002191601A5 publication Critical patent/JP2002191601A5/ja
Application granted granted Critical
Publication of JP5010078B2 publication Critical patent/JP5010078B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8979Combined Doppler and pulse-echo imaging systems
    • G01S15/8984Measuring the velocity vector
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06Measuring blood flow
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/488Diagnostic techniques involving Doppler signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8979Combined Doppler and pulse-echo imaging systems
    • G01S15/8986Combined Doppler and pulse-echo imaging systems with measures taken for suppressing velocity ambiguities, i.e. anti-aliasing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Hematology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 組織又はプローブの移動中にBモード画像又
はカラー・フロー画像において予め選択されている血管
位置にドプラ・サンプル・ゲート位置を自動的に維持す
る。 【解決手段】 血管位置が変化したときに自動的にサン
プル・ゲート(34、36)を選択された血管(30)
上に固定する。選択により、血管位置が変化したときに
血管勾配カーソル(28)を自動的に更新する。連続し
たフレームからの画像のパターン・マッチングを採用し
て、一つのフレームから次のフレームにかけて画像フレ
ーム内の血管がどれだけ並進し回転したかを決定する。
好ましくは、空間領域の撮像データに対して相互相関法
を適用して、画像フレーム間での対象の相対的な並進及
び/又は回転を決定するか、或いは周波数領域(すなわ
ちフーリエ領域)の撮像データにマッチド・フィルタ処
理法を適用して、画像フレーム間での対象の相対的な並
進及び/又は回転を決定する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は一般的には、運動す
る超音波散乱体の撮像に関する。具体的には、本発明
は、医療診断超音波撮像においてゲート又はサンプル空
間(以下「サンプル・ゲート」と呼ぶ)を配置する方法
に関する。
【0002】
【発明の技術的背景】優れた医療診断用超音波イメージ
ング・システムには、広範な撮像モード・セットが必要
である。これらのモードは臨床診断に用いられる主な撮
像モードであり、タイムライン・ドプラ、カラー・フロ
ー・ドプラ、Bモード及びMモードを含む。Bモードで
は、これらの超音波イメージング・システムは、ピクセ
ルの輝度がエコー反射の強度に基づいているような組織
の2次元画像を作成する。代替的に、カラー・フロー撮
像モードでは、体液(例えば血液)又は組織の運動を撮
像することができる。ドプラ効果を用いた心臓及び血管
での血流の測定は周知である。組織又は血液から後方散
乱体の速度を測定するために、後方散乱した超音波の位
相シフトを用いることができる。ドプラ・シフトを異な
る色を用いて表示して、流れの速度及び方向を表わして
もよい。スペクトル・ドプラ撮像モードでは、これらの
ドプラ周波数シフトのパワー・スペクトルを算出して、
速度−時間波形として視覚的に表示する。
【0003】ドプラ超音波の主な利点の一つは、血管内
の血流の非侵襲的且つ定量的な測定を可能にし得ること
である。音波エネルギを与えるビームと流れ軸との間の
角度(以下「ドプラ角」と呼ぶ)をθとすると、速度ベ
クトルの大きさを次の標準ドプラ方程式によって決定す
ることができる。
【0004】 v=cfd/(2f0cosθ) (1) ここで、cは血液内での音速であり、f0は送信周波数
であり、fdは、後方散乱した超音波信号における運動
に誘起されたドプラ周波数シフトである。
【0005】従来の超音波スペクトル・ドプラ撮像で
は、操作者が、カラー・フロー・データを伴う2次元画
像又は伴わない2次元画像においてサンプル・ゲートを
測定位置へ手動で配置することが必要である。操作者は
また、検査対象の血管の直径に対するサンプル・ゲート
の寸法を手動で調節する必要がある。多数回の送信ファ
イアリングにわたって取得された音波データから、ドプ
ラ周波数スペクトル・データが標準的な高速フーリエ変
換(FFT)スペクトル解析を介して取得される。
【0006】血流スペクトル解析用のパルス・ドプラ・
サンプル・ゲート(サンプル空間)の配置を誘導するた
めに、2次元Bモード画像又はカラー(速度若しくはパ
ワー)フロー画像を用いることができる。カラー・フロ
ーは通常、弱い流れ信号を比較的敏感に検出することが
できるため、比較的細い血管を撮像するのに用いられ
る。Bモード画像データを用いるかカラー・フロー画像
データを用いるかによらず、選択された血管位置にドプ
ラ・サンプル・ゲートを例えば10秒間にわたって維持
して、信頼性のある診断波形指標(例えば、心収縮期対
心拡張期比)計算を可能にできると望ましい。
【0007】しかしながら、実際には、プローブの移
動、並びに/又は心搏運動及び呼吸運動を含む患者の運
動が存在するため、サンプル・ゲートを関心のある血管
上に保持することはしばしば困難である。付随するアー
ティファクト又はデータの欠落を最小限に抑えるため
に、患者は数秒間にわたって呼吸を止めるようにしばし
ば求められるが、老年の患者又は疾患を持つ患者の一部
にとっては困難な場合がある。超音波技師はまた、プロ
ーブを移動させることにより手動で血管の移動を追尾し
ようとすることもある。尚、カラー・フロー撮像が起動
されている場合には、利用者は通例として、背景のBモ
ード画像の解剖学的構造ではなく、移動するカラー付き
の血管を追尾するのを望むことに留意されたい。しかし
ながら、実際には、プローブの移動又は患者の運動のた
め、腎臓のような器官においてカラー付きの血管の良好
なパルス・ドプラ・サンプリングを得るのは依然として
困難な課題となり得る。
【0008】スペクトル・ドプラ法では、ドプラ・ビー
ム・カーソル(ビーム中心線)と血管配向(すなわち勾
配)カーソルとの間の角度(すなわちドプラ角)を用い
て、上述の式(1)に従ってドプラ周波数シフトを速度
単位へ変換する。ドプラ角が血管の運動によって変化す
る場合には、正確な速度計算のためにドプラ角を更新す
る必要がある。
【0009】米国特許第5,365,929号は、関心
領域を走査するために多数のレンジ・ゲート及び多数の
ドプラ・ビームを利用することを記載している。多数の
サンプル空間について全パワー又は最大速度のような何
らかの信号特性を比較することにより、スキャナは自動
的に、完全なスペクトル解析及び表示に最良のサンプル
・ゲートを選択する。利用者にとっては、スキャナが、
ドプラ信号が何らかの意味で最適となる位置へサンプル
・ゲートを自動的に配置しているように見える。しかし
ながら、この方法の主な問題点は、多数のサンプル空間
を順位付けするために行なわれる信号特性の定義にあ
る。分かり易い選択肢は信号パワー又は速度であるが、
例えば、利用者が、最強でもなく最高でもない速度信号
を発生する血管の疾患部分を検査することを望む可能性
は高い。また、複式ドプラ検査においては、カラー・デ
ータが利用可能でない。
【0010】欧州特許出願第0842638 A2号
は、Bモード画像において血管壁を追尾し、次いで、サ
ンプル空間寸法を自動的に調節して、血管の全直径が常
に確実に網羅されるようにして体積流を推定する方法を
記載している。血管壁追尾はエッジ検出アルゴリズムに
基づいており、このアルゴリズムは血管が比較的太く、
明瞭に画定される壁を備えている場合には良好に作用し
得るが、但し、フレームからフレームにかけて2つの壁
の内側にサンプル空間の中心が留まっていることを条件
とする。
【0011】欧州特許出願第0985380 A1号
は、血流情報又はカラー・フロー情報に基づくドプラ・
サンプル・ゲートの自動的な配置方法を記載している。
様々な特定の応用の中でも、サンプル・ゲートが最初に
画像に出現したとき、或いはサンプル・ゲートが移動し
ているときに、サンプル・ゲート・カーソルを最適位置
へ自動的に設定するのにこの方法を用いることができ
る。最適位置は、最大速度、最大の流れセグメントの中
心点、又は次善の流れセグメントの中心点等を示すカラ
ー・フロー・ピクセルによって画定することができる。
換言すれば、この発明は、所与のカラー・フロー画像内
で最適なドプラ・サンプリング位置の選択を行なうこと
に関わるものであって、フレームからフレームにかけて
任意の所与の血管を追尾することに関わるものではな
い。
【0012】移動する血管上にパルス・ドプラ・サンプ
ル・ゲートを固定し、必要があればドプラ角を更新する
自動的な方法が提供されれば、明らかに、ドプラ血流研
究を促進し、且つ/又は検査速度を向上させることがで
きよう。
【0013】
【発明の概要】本発明は、組織又はプローブの移動中に
Bモード画像又はカラー・フロー画像において予め選択
されている血管位置にドプラ・サンプル・ゲートを自動
的に保持する方法及び装置に関する。本発明の目標は、
血管位置が変化したときに自動的にサンプル・ゲートを
選択された血管上に固定することにある。選択により、
血管位置が変化したときに血管勾配カーソルを自動的に
更新する。本方法は、連続したフレームからの画像のパ
ターン・マッチングを採用して、一つのフレームから次
のフレームにかけて画像フレーム内の血管がどれだけ並
進し回転したかを決定する。
【0014】本発明の一つの好適実施形態によれば、空
間領域の撮像データに適用される相互相関法を用いて、
画像フレーム間での物体の相対的な並進及び/又は回転
を決定する。もう一つの実施形態によれば、周波数領域
(すなわちフーリエ領域)の撮像データにマッチド・フ
ィルタ処理法を適用して、画像フレーム間での物体の相
対的な並進及び/又は回転を決定する。さらに他の好適
実施形態によれば、空間領域法と周波数領域法とを組み
合わせることにより画像位置合わせ(registration)を
行なう。例えば、先ず一方の方法を用いてスケーリング
及び回転位置合わせを行ない、次いで、他方の方法を用
いてx−y並進オフセットを求めることにより画像位置
合わせを行なう。
【0015】パターン・マッチング法であるため、本発
明は、明瞭な組織構造を示すBモード画像データ、Bモ
ード・フロー画像及びカラー・フロー画像について良好
に作用する。Bモード画像では明瞭に現われない比較的
細い血管(例えば腹部の血管)についてはカラー・フロ
ーを利用すると好ましい。カラー・フローを利用するも
う一つの利点は、カラー・フローを直接的に血管セグメ
ント化に用いて、パターン・マッチング演算用の二値
(フロー又は非フロー)画像を与えることができる点で
ある。
【0016】
【好適実施形態の詳細な説明】本発明の好適実施形態に
よるソフトウェアでプログラムされた超音波イメージン
グ・システムを図1に全体的に示す。データの主経路
は、トランスデューサ2からビームフォーマ・ボード4
へのアナログRF入力で開始する。ビームフォーマ・ボ
ード4は、送信ビーム形成(ビームフォーミング)及び
受信ビーム形成を受け持つ。ビームフォーマの信号入力
は、トランスデューサ素子からの低レベルのアナログR
F信号である。ビームフォーマ・ボード4は、ビームフ
ォーマ、復調器及びフィルタを含んでおり、取得された
データ・サンプルから形成されるI及びQの2つの加算
されたディジタル・ベースバンド受信ビームを出力す
る。これらのデータ・サンプルは、送信されたビームの
それぞれの焦点ゾーンから反射した超音波から導き出さ
れている。I及びQのデータは、送信波形の基本周波数
0を中心とする周波数帯域又は基本周波数の高調波
(若しくは低調波)周波数を通過させるフィルタ係数で
プログラムされているFIRフィルタへ送られる。
【0017】フィルタから出力された画像データは、中
間プロセッサ・サブシステムへ送られ、ここで、取得モ
ードに従って処理されて、処理済ベクトル・データとし
て出力される。典型的には、中間プロセッサ・サブシス
テムは、カラー・フロー・プロセッサ6と、Bモード・
プロセッサ8と、スペクトル・ドプラ・プロセッサ10
とを含んでいる。代替的には、ディジタル信号プロセッ
サ又はかかるプロセッサから成るアレイが、3つすべて
のモードで信号を処理するようにプログラムされていて
もよい。
【0018】Bモード・プロセッサ8は、ビームフォー
マ・ボード4からのI及びQのベースバンド・データを
対数圧縮された形態の信号包絡線へ変換する。Bモード
機能は、信号の包絡線の時間変化する振幅をグレイ・ス
ケールとして画像化するものである。ベースバンド信号
の包絡線は、I及びQが表わすベクトルの大きさであ
る。I及びQの位相角は、Bモード表示には用いられな
い。信号の大きさは、これら直交する成分の平方和の平
方根であり、すなわち(I2+Q21/2である。Bモー
ド強度データは、スキャン・コンバータ12内のBモー
ド音線メモリ(図示されていない)へ出力される。
【0019】スキャン・コンバータ12は、処理済のB
モード・ベクトル・データを受け取って、必要に応じて
補間すると共に、このデータをビデオ表示用のXYフォ
ーマットへ変換する。走査変換(スキャン・コンバー
ト)されたフレームはビデオ・プロセッサ14へ渡さ
れ、ビデオ・プロセッサ14はビデオ・データをビデオ
表示用のグレイ・スケール・マッピングへ写像(マッピ
ング)する。従来の超音波イメージング・システムは典
型的には、生の画像データの単純な伝達関数である多様
なグレイ・マップを用いてグレイ・レベルを表示する。
次いで、これらのグレイ・スケール画像フレームを表示
モニタ16へ送って表示する。
【0020】モニタ16によって表示されるBモード画
像は、画像フレームを成すデータから形成されており、
画像フレームにおいては、各々のデータが表示における
それぞれのピクセルの強度又は輝度を示している。1つ
の画像フレームは、例えば400×500のデータ配列
を含み、各々の強度データは、ピクセル輝度を示す8ビ
ットの二進数である。各々のピクセルは、呼び掛けを行
なった超音波パルスに応答したそれぞれのサンプル空間
の後方散乱体断面積と、用いられているグレイ・マップ
との関数である強度値を有している。表示画像は、被写
体を通る平面内での組織及び/又は血流を表わしてい
る。
【0021】撮像平面内での血液速度の実時間2次元画
像を形成するためには、カラー・フロー・プロセッサ6
が用いられる。血管及び心空間等の内部から反射した音
波の周波数は血球の速度に比例してシフトし、トランス
デューサへ近付く血球では正にシフトし、遠ざかる血球
では負にシフトする。血液速度は、特定のレンジ・ゲー
トにおいてファイアリングからファイアリングにかけて
の位相シフトを測定することにより算出される。画像内
で1つのレンジ・ゲートにおいてドプラ・スペクトルを
測定する代替としては、多数のベクトル位置及び各々の
ベクトルに沿った多数のレンジ・ゲートから平均血液速
度を算出し、この情報から2次元画像を形成する。カラ
ー・フロー・プロセッサ6は、ビームフォーマ・ボード
4から左右を加算した複素I/Qデータを受け取り、こ
のデータを処理して、操作者が画定した領域内のすべて
のサンプル空間について平均血液速度、分散(血液の乱
流を表わす)及び全予備正規化パワーを算出する。次い
で、これら3つの出力値を組み合わせて、1つの主出力
及び1つの副出力の2つの最終出力とする。主出力は、
速度又はパワーのいずれかとなる。副出力は、分散又は
パワーのいずれであってもよい。どの2つの値を表示す
るかは、操作者が選択する表示モードによって決定され
る。両方の値が、スキャン・コンバータ12内のカラー
音線メモリ(図示されていない)へ送られる。血液がト
ランスデューサに近付いて流れてくるときには後方散乱
した周波数の変化又はシフトは増大し、血液がトランス
デューサから遠ざかって流れていくときには減少する。
典型的には、カラー・フロー・モードは、何百もの隣接
したサンプル空間のすべてをBモード画像に重ね合わ
せ、色符号化して同時に表示し、各々のサンプル空間の
速度を表現する。
【0022】従来の超音波イメージング・システムのカ
ラー・フロー・モードでは、超音波トランスデューサ・
アレイが起動されて、一連のマルチ・サイクル(典型的
には、4サイクル〜8サイクル)のトーン・バーストを
送信する。これらのトーン・バーストは、同じ送信特性
で同じ送信焦点位置に集束されている。これらのトーン
・バーストは、一定のパルス繰り返し周波数(PRF)
でファイアリングされる。PRFは典型的には、キロヘ
ルツ・レンジにある。同じ送信焦点位置に集束されてい
る一連の送信ファイアリングを「パケット(packet)」
と呼ぶ。各々の送信ビームは、走査されている物体を通
して伝播し、血球のような超音波散乱体によって反射さ
れる。反射信号は、トランスデューサ・アレイの各素子
によって検出された後に、ビームフォーマによって受信
ビームとして形成される。
【0023】例えば、従来のカラー・ファイアリング系
列は同じ位置に沿った一連のファイアリング(例えばト
ーン・バースト)であり、各ファイアリングがそれぞれ
の受信信号 F1234 ... FM を発生する。ここで、Fiはi番目のファイアリングに
ついての受信信号であり、Mは1パケット内のファイア
リング数である。これらの受信信号は、コーナ・ターナ
・メモリ(corner turner memory)にロードされ、高域
通過フィルタ(ウォール・フィルタ)が、各ファイアリ
ングに跨がって各々の下降レンジ位置に対して適用さ
れ、すなわち「スロー・タイム(slow time)」で適用
される。(1,−1)のウォール・フィルタという最も
単純な例では、各々のレンジ点がフィルタ処理されて、
それぞれの差信号 (F1−F2) (F2−F3) (F3−F4) ...
(FM-1−FM) を発生し、これらの差がカラー・フロー速度推定器へ入
力される。典型的には、コーナ・ターナ・メモリ、ウォ
ール・フィルタ及びパラメータ(例えば速度)推定器
は、カラー・フロー・プロセッサ6内に組み込まれてい
る。
【0024】スキャン・コンバータ12内のカラー音線
メモリ及びBモード音線メモリはそれぞれ、カラー・フ
ロー・プロセッサ及びBモード・プロセッサから処理済
のディジタル・データを受け取る。スキャン・コンバー
タのこれらの構成要素はまた、カラー・フロー・データ
及びBモード・データの極座標(R−θ)セクタ・フォ
ーマット又はデカルト座標リニア・フォーマットから適
当にスケーリングされたデカルト座標の表示ピクセル・
データへの座標変換を行なって、変換後のデータはスキ
ャン・コンバータ内のXY表示メモリ(図示されていな
い)に記憶される。カラー・フロー画像は、移動する血
液等の物質の速度のカラー画像を白黒の解剖学的Bモー
ド画像の上にスーパインポーズ(重ね合わせ表示)する
ことにより形成される。
【0025】表示したい画像が1つのBモード・フレー
ムと1つのカラー・フロー・フレームとの組み合わせで
ある場合には、両方のフレームをビデオ・プロセッサ1
4へ渡すと、ビデオ・プロセッサ14はBモード・デー
タをグレイ・マップへ写像すると共にカラー・フロー・
データをカラー・マップへ写像してビデオ表示する。最
終的な表示画像では、カラーのピクセル・データがグレ
イ・スケールのピクセル・データの上にスーパインポー
ズされる。カラー・フロー・データ及び/又はBモード
・データの連続したフレームは、先入れ先出し方式でシ
ネ・メモリ24に記憶される。記憶は連続的であっても
よいし、或いは外部のトリガ事象の結果として生じても
よい。シネ・メモリ24は、バックグラウンドで稼働す
る循環的な画像バッファ様のものであり、画像データを
取り込んで、利用者に対して実時間で表示する。利用者
が(操作者インタフェイス22上の適当な装置の操作に
よって)システムをフリーズさせると、利用者は、シネ
・メモリに以前に取り込まれている画像データを観察す
ることができるようになる。
【0026】スペクトル・ドプラ撮像では、I及びQの
各成分は、特定の時間区間にわたって積分(加算)され
た後に、スペクトル・ドプラ・プロセッサ10によって
サンプリングされる。加算区間及び送信バースト長は併
せて、利用者によって指定されるサンプル空間(すなわ
ちサンプル・ゲート)の長さを画定する。「サム・アン
ド・ダンプ(sum and dump)」演算によれば、サンプル
空間から後方散乱したドプラ信号を効率的に得ることが
できる。ドプラ信号は、静止した組織又は極めて低速で
運動する組織に対応する信号内のあらゆるクラッタを除
去するウォール・フィルタを通過する。次いで、フィル
タ処理後の出力は、スペクトル解析器へ供給され、解析
器は典型的には、32乃至128のサンプルの移動式時
間ウィンドウにわたって高速フーリエ変換(FFT)を
行なう。各々のFFTパワー・スペクトルは圧縮された
後に、スペクトル・ドプラ・プロセッサ10によって図
形/タイムライン表示メモリ18へ出力される。ビデオ
・プロセッサ14は、圧縮されたスペクトル・ドプラ・
データを、ドプラ速度(周波数)対時間のスペクトログ
ラムにおける特定の時間点での単一のスペクトル線とし
てモニタ16に表示するためのグレイ・スケールへ写像
する。
【0027】システム制御は、ホスト・コンピュータ
(すなわちマスタ・コントローラ)20に集中化されて
おり、ホスト・コンピュータ20は、操作者インタフェ
イス22(例えば制御パネル)を介して操作者の入力を
受け取って、様々なサブシステムを制御する。ホスト・
コンピュータ20は、システム・レベルの制御作用を実
行する。ホスト・コンピュータ20は、操作者インタフ
ェイス22を介して操作者からの入力と共にシステム状
態の変更(例えばモード変更)を受け取り、適当なシス
テム変更を行なう。システム制御バス(図示されていな
い)が、ホスト・コンピュータから各サブシステムへの
インタフェイスを提供している。スキャン・コントロー
ラ(図示されていない)が、様々なサブシステムへ実時
間(音波ベクトル・レート)の制御入力を供給する。ス
キャン・コントローラは、音波フレーム取得用のベクト
ル系列及び同期の選択肢に従ってホスト・コンピュータ
によってプログラムされている。このようにして、スキ
ャン・コントローラは、ビーム分布及びビーム密度を制
御する。スキャン・コントローラは、ホスト・コンピュ
ータによって定義されたこれらのビーム・パラメータを
走査制御バス(図示されていない)を介して各サブシス
テムへ伝達する。
【0028】従来のシステムは、任意の超音波画像上に
図形記号をスーパインポーズする能力を有している。画
像フレーム上への図形のスーパインポーズは、ビデオ・
プロセッサ14において達成され、ビデオ・プロセッサ
14は、スキャン・コンバータ12内のXY表示メモリ
から超音波画像フレームを、また図形/タイムライン表
示メモリ18から図形データを受け取る。図形データ
は、ホスト・コンピュータ20によって、又は代替的に
はホスト・コンピュータによって他のサブシステムに同
期させられている専用の図形プロセッサによって、処理
されて、図形/タイムライン表示メモリ18へ入力され
る。ホスト・コンピュータは、操作者インタフェイス上
でシステム操作者によって操作されるトラックボールの
位置を監視し、トラックボールの位置によって決定され
るサンプル空間からスペクトル・ドプラ撮像データを取
得して、トラックボールの位置に対応する位置で表示画
像フレームにサンプル・ゲート・カーソルをスーパイン
ポーズするようにプログラムされている。同様に、ホス
ト・コンピュータは、操作者インタフェイス上のトグル
・スイッチの状態を監視して、トグル・スイッチの状態
の関数としてサンプル空間(及びサンプル・ゲート・カ
ーソル)の寸法を制御するようにプログラムされてい
る。
【0029】図2は、図1に示すシステムによって生成
される画像フレーム32を示している。フレーム32に
示す画像例は、従来の図形をスーパインポーズした状態
での血管の視覚表現30を含む。表示される図形には、
ドプラ・ビーム・カーソル(ビーム中心線)26、血管
勾配カーソル28、及びサンプル・ゲート頂部図形36
とサンプル・ゲート底部図形34とから成るドプラ・サ
ンプル・ゲート(サンプル空間)カーソルがある。後者
の形式のサンプル・ゲート・カーソルでは、サンプル・
ゲートの寸法は、図2の底部図形34と頂部図形36と
を離隔する距離によって表わされる。但し、サンプル・
ゲート・カーソルが異なる幾何形状を有していてもよ
く、この場合には、サンプル・ゲートの寸法がかかる図
形の一つの寸法、例えば、カーソルが円形である場合に
は直径に対応していてもよいことを当業者は容易に理解
されよう。画像32においてドプラ・ビーム・カーソル
26と、血管30上の血管勾配カーソル28との間のド
プラ角の推定値を用いて、前述の式(1)に従ってドプ
ラ周波数シフトを速度単位へ変換する。通常、図形と共
にドプラ角の値が表示される。
【0030】本発明の好適実施形態によれば、空間領域
での相互相関法及び/又は周波数領域でのマッチド・フ
ィルタ処理法を用いて、移動する血管の中心にサンプル
・ゲートの位置を自動的に固定する。図3に、この血管
追尾アルゴリズムの基本的な工程が示されており、以下
で詳細に説明する。
【0031】先ず、Bモード画像又はカラー・フロー画
像において、血管内の関心のある部位にサンプル・ゲー
ト・カーソルを配置する(例えばトラックボール制御に
よって。ステップ38)。次いで、カレントの画像フレ
ームを画像メモリから取得する(ステップ40)。カレ
ントの画像フレームはスキャン・コンバータ(図1の参
照番号12)内のXY表示メモリから読み込んでもよい
し、或いはシネ・メモリ(図1の参照番号24)から読
み込んでもよい。カレントの画像フレームがカラー・フ
ロー(速度又はパワー)画像である場合には、RGBピ
クセル・フォーマット又は他のカラー・ピクセル・フォ
ーマットを用いてよい。画像フレームよりも小さく、且
つサンプル・ゲート位置を中心とするピクセル・データ
のカーネルが画像フレームから抽出されて解析される
(ステップ42)。カーネルの寸法は、フレームからフ
レームにかけての血管の最大変位の推定値に基づいて予
め画定されるので、この予め画定されるカーネル寸法
は、画像の深さ及び/又はカラー・フロー・フレーム・
レートの関数として変化し得る。
【0032】画像がカラー・フロー・データを含んでい
る場合には(ステップ44)、カラー・ピクセル・デー
タの基準カーネルを先ず二値画像へ変換する(ステップ
46)。すなわち、フロー(カラー)が存在している場
合には各々のピクセルに値1を割り当て、フロー(カラ
ー)が存在してない場合には値0を割り当てる。選択に
より、二値化されたカーネルに、モルフォロジ・フィル
タ処理を1回以上にわたって施すと(ステップ48)、
存在している可能性のある微小構造のカラー雑音の殆ど
が封止される。一般的には、アダプティブ式閾値処理を
施した後の二値化された画像は、微小な孤立した多数の
構造から成っており雑音が極めて多い場合がある。これ
らの微小構造(殆どの場合、スペックル雑音)は、非線
形画像変換法であるモルフォロジ・フィルタを用いるこ
とにより除去することができる。モルフォロジ・フィル
タはディジタル画像処理の多くの教科書に教示されてい
る(例えば、ニューヨーク、Wiley社刊、William K. Pr
att著、“Digital Image Processing”、第2版を参照
されたい。)。基本的なモルフォロジ演算は、直接パタ
ーン・マッチング(「当たり又は外れ(hit or mis
s)」変換によって具現化されたり、或いはさらに効率
的なピクセル・スタッカ及びルックアップ・テーブル法
を用いることにより具現化されたりする。収縮(erosio
n)及び膨張(dilation)が基本的な二つのモルフォロ
ジ演算の代表であり、これらの演算を連続して用いる
と、スペックル雑音構造を封止するのに極めて実効的で
ある。基本的に、収縮フィルタの各回の通過毎に、連続
した明るい(「1」)領域の最外周のピクセル層が剥離
する。この作用は、スペックル雑音のような無関係な明
るい小構造を封止するのに役立つ。収縮演算はまた、あ
らゆる血流領域の最外周層も収縮させる。この望ましく
ない効果を相殺するために、収縮フィルタの各回の通過
の後に膨張と呼ばれる逆演算を適用する。膨張フィルタ
の効果は、存在する明るい物体にピクセル層を加え戻す
ことにある。収縮フィルタ処理によって完全に封止され
た(最早存在しない)スペックル雑音の空隙が膨張フィ
ルタによって再現することはない。実際には、収縮フィ
ルタを1回通過させた後に膨張フィルタを通過させる
と、スペックル雑音構造の大半を除去することができ
る。しかしながら、必要があれば、収縮及び膨張を更な
る回数にわたって実行してもよい。
【0033】カラー・フロー・カーネルを二値化した後
に、メモリから次のカラー・フロー画像フレームを検索
する(ステップ50)。カラー・フロー画像を用いる場
合には(ステップ52)、新たな画像フレーム内で予め
画定されている探索領域を二値化して(ステップ5
4)、前述の手法を用いてモルフォロジ・フィルタ処理
を施す(ステップ56)。次いで、空間的相互相関(若
しくはマッチド・フィルタ処理、又はこれらの組み合わ
せ)を実行して(ステップ58)、第一のフレームの基
準カーネルを第二の(新たな)フレームの探索領域内で
位置合わせする。第二のフレームの探索領域内に位置の
合ったカーネルが見つかった場合には(ステップ6
0)、オフセットから導き出された並進オフセット及び
回転オフセットを適用して、新たな血管位置、例えば新
たな血管中心位置を予測し或いは推定し、新たな血管位
置にある血管上の所定の点に対して所定の関係を有する
新たな位置へサンプル・ゲートを自動的に移動させる
(ステップ62)。例えば、サンプル・ゲートを新たな
血管位置にある血管の中心に配置することができる。表
示画面上のサンプル・ゲート・カーソルは、表示されて
いる画像フレーム上の対応する新たな位置へ移動する。
選択により、新たな血管位置の関数として血管勾配及び
ドプラ角を計算し直して、更新された血管勾配カーソル
を表示する(ステップ64)。関心のある血管が画像平
面の外部に移動して一致する構造を見出せない程になっ
た場合には、コンピュータはステップ50に戻って、こ
のステップからアルゴリズムを続行する。(この場合に
は、超音波技師がプローブを操作して血管を画像平面に
戻してもよいし、或いは心搏周期内の相対的に遅い時刻
に血管が再び自然に現われる場合もある。)サンプル・
ゲート位置が更新された後に、元のカーネルを基準カー
ネルに留めてもよいし、或いは新たな血管位置の周囲の
カーネルが新たな基準カーネルとなる(ステップ6
6)。次いで、コンピュータはステップ50へ戻る。
【0034】他方、コンピュータがステップ44におい
て、取得した第一の画像フレームにカラー・フロー・デ
ータが存在しないと決定した場合には、ステップ50に
おいて次のBモード画像フレームを取得する。次いで、
検索されたBモード画像フレームに対して、相互相関法
若しくはマッチドフィルタ処理法、又はこれらの組み合
わせのいずれかを用いて画像位置合わせ手順(ステップ
52)を施す。画像位置合わせは、第一のフレームから
のピクセル・データの基準カーネル、及び第二のフレー
ムからのピクセル・データの探索領域に対して実行され
る。第二のフレームの探索領域内に位置の合ったカーネ
ルが見つかった場合には(ステップ60)、オフセット
から導き出された並進オフセット及び回転オフセットを
適用して、新たな血管位置、例えば新たな血管中心位置
を予測し或いは推定し、サンプル・ゲートを新たな血管
位置へ自動的に移動させる(ステップ62)。表示画面
上のサンプル・ゲート・カーソルは、表示されている画
像フレーム上の対応する新たな位置へ移動する。選択に
より、新たな血管位置の関数として血管勾配及びドプラ
角を計算し直して、更新された血管勾配カーソルを表示
する(ステップ64)。
【0035】ステップ42に関して述べると、基準カー
ネルを画定するために様々な方法を用いることができ
る。並進運動が存在していない場合であっても、血管の
直径は心搏周期にわたって5%強だけ変化する可能性が
ある。計算時間を最短に抑え且つ選択された構造につい
ての相関又は一致度を最大限に高めるために、カーネル
寸法は、血管直径が最大となったときの血管構造を丁度
網羅するものとなるように選択すべきである。血管の寸
法(例えば直径)は、超音波画像用の標準的なエッジ検
出法を用いて推定することができる。また、カーネル寸
法を様々な雑音条件及び血管構造の下でアダプティブ方
式で変化させることもできる。一般的には、画像の雑音
が多くなるほど、カーネルを大きくしなければならな
い。カーネル寸法を大きくする代償は、計算経費が高く
なり、且つ/又は細い血管に対する感度が低下すること
である。
【0036】ステップ58について述べると、画像位置
合わせの様々な周知の方法を用いることができる。空間
領域におけるフレーム間相関については、「SAD(Su
m ofAbsolute Differences)」と呼ばれる計算効率のよ
いアルゴリズムが、IEEE Trans. Biomedical Engineeri
ng誌、第BME−34巻、第965頁〜第967頁(1
987年)のTrahey等の論文“Angle independent ultr
asonic detection of blood flow”によって教示されて
いる。もう一つの実効的な方法は、周波数領域(フーリ
エ領域)における位相単独(phase-only)マッチド・フ
ィルタ処理法であり、これについては後に詳述する。こ
の方法は、非剛性変換が関わっている場合に特に効率的
である。
【0037】空間領域法と周波数領域法とを組み合わせ
ることにより画像位置合わせを行なうことも可能であ
る。SAD法は並進オフセットを求める場合には相対的
に高速であるかも知れないが、心搏周期の下で血管の直
径が変化する場合のように画像フレームがスケール変化
を伴っている場合には比較的実効的でない。一方、位相
単独マッチド・フィルタは、スケーリング変換及び回転
変換の両方を取り扱う場合に相対的に実効的であり得
る。先ず位相単独マッチド・フィルタ位置合わせ法を用
いてスケーリング及び回転位置合わせを行ない、次い
で、SADアルゴリズムを用いてX−Y並進オフセット
を求めることによる複合的な方法であれば、両方の方法
から利点を得ることができる。
【0038】図4を参照して述べると、位相単独マッチ
ド・フィルタ処理を用いた公知の画像位置合わせアルゴ
リズムが以下のステップを含んでいる。メモリからカレ
ントで検索された画像フレームをテスト画像g(x,
y)として割り当てて、前回の画像フレームを基準画像
f(x,y)として割り当てる。ここで、x及びyはピ
クセル座標である。選択により、テスト画像及び基準画
像の両方をエッジ検出ブロック70に通す。テスト画像
及び基準画像(又はエッジ検出後のこれらの変化形態)
は、2次元高速フーリエ変換(FFT)72を用いて変
換されるように送られる。結果は周波数領域表現を有す
る2つの画像G(u,v)及びF(u,v)となる。2
次元FFT42の効率を高めるために、テスト画像デー
タ及び基準画像データを結合してもよい(「偶数位置−
奇数位置」分離として)。データはすべて実数であるの
で、テスト画像データ及び基準画像データの両方を変換
するために1回の2次元FFTしか必要でない。2次元
FFT72の後には、大きさ及び位相を有する複素デー
タが生成されており、ここでテスト画像データ及び基準
画像データを分離する。ステップ74において、テスト
画像及び基準画像の両方のスペクトルの大きさ(すなわ
ち絶対値)が極形式で対数変換されて、gp1(θ,λ)
及びfp1(θ,λ)という画像表現となる。ここで、θ
は周波数領域における極座標系の角度であり、λ=lo
g(ρ)であり、ρは周波数領域における極座標系の半
径距離である。ステップ74の極形式対数変換の後に、
テスト画像及び基準画像の極形式対数表現gp1(θ,
λ)及びfp1(θ,λ)に対して2次元FFTを実行す
る(ステップ76)。ステップ76の複素数の結果をG
p1(ξ,η)及びFp1(ξ,η)と表わすものとして、
次いで、これらの結果に対してフーリエ位相マッチング
・フィルタ78を作用させる。フィルタ78は、G
p1(ξ,η)及びFp1(ξ,η)から位相を抽出し、抽
出された位相間の差を決定し、この位相差に対して2次
元逆FFTを施し、2次元逆FFTの結果の最大値を求
めて、最大値のx座標及びy座標すなわちxmax1及びy
max1を決定する。検出された最大値の座標からスケーリ
ング・パラメータ及び回転パラメータが決定され、すな
わち回転角α=π(xmax1/Nx)及び
【0039】
【数1】 スケーリング係数σ=exp(ymax1/Ny) となる。ここで、Nx及びNyはそれぞれ、角度座標及び
極座標に沿った再サンプル総数である。次いで、算出さ
れた回転パラメータα及びスケーリング・パラメータσ
に従って、周波数領域のテスト画像G(u,v)を角度
−αだけ回転させると共にスケーリング係数σだけスケ
ーリングする。アルゴリズムの速度を高めるために、本
来の空間領域ではなく周波数領域においてテスト画像を
再回転及び再スケーリングする。このことにより、高速
のCPU又は専用の画像処理プロセッサを用いたとして
も極めて経費の高い1回の2次元FFT計算が不要にな
る。ホスト・コンピュータ又は他の信号処理ユニットが
これらの回転演算及びスケーリング演算を実行する場合
には、ホスト・コンピュータ又は他の信号処理ユニット
は、双一次補間のような何らかの特定の補間法を用いて
ディジタル画像データをあらためてサンプリングする。
次いで、下記の演算行列に従って回転及びスケーリング
を実行する。
【0040】
【数2】
【0041】ここで、σはスケーリング係数であり、θ
は回転角である。サンプリング速度は回転の原点から遠
い点については十分に高くなく、また回転の原点に近い
点については過度に高い可能性が大きいという事実があ
るため、回転変換によってディジタル画像にエイリアシ
ングが生ずる場合がある。この種のエイリアシングを防
止する一つの方法は、回転及びスケーリング行列Tを連
続した3つの演算に分離するものである。
【0042】
【数3】
【0043】ここで、Hx(−θ)はx軸に沿った横ず
れ変換(shear transformation)であり、S(σcos
θ,σsecθ)はx軸及びy軸の両方に沿ったスケー
リングであり、Hy(θ)はy軸に沿った逆横ずれ変換
である。このように、回転変換をx方向での横ずれ、x
方向及びy方向の両方でのスケーリング、並びにy方向
での逆横ずれという系列として表現することができる。
これらの横ずれ及びスケーリング変換であればエイリア
シングを導入することは一切ない。結果として、変換行
列Tを3つの基本的な演算に分離することにより、エイ
リアシングを防止することができる。これらの演算は、
アンチ・エイリアシング回転及びスケーリング・ブロッ
ク80(図4を参照)によって実行される。アンチ・エ
イリアシング回転及びスケーリング・ブロック80の出
力は、テスト画像に回転及びスケーリングを施した後の
周波数領域表現G′(u,v)となる。次いで、周波数
領域表現F(u,v)及びG′(u,v)に対して、フ
ーリエ位相マッチング・フィルタ82を作用させると、
このフィルタ82はF(u,v)及びG′(u,v)か
ら位相を抽出し、抽出された位相間の差を決定し、この
位相差に対して2次元逆FFTを施し、2次元逆FFT
の結果の最大値を求めた後に、最大値のx座標及びy座
標すなわちxmax2及びymax2を決定する。検出された最
大値の座標から並進パラメータが決定され、すなわちx
軸オフセットxoffset=xmax2及びy軸オフセットy
offset=ymax2となる。
【0044】連続した画像フレームの特徴に共通性が殆
どない場合には(これは、操作者がプローブを過度に速
く移動させたため一つのフレーム内の主要な解剖学的構
造が以降のフレームに全く存在しなくなることにより生
じ得る)、上述の方法は誤った回転パラメータ、スケー
リング・パラメータ及び並進パラメータを与える。位置
合わせの結果の正しさを評価し或いは予測するために
は、ブロック82によって決定される位相差最大値を、
位置合わせ精度閾値ブロック84(図4を参照)におい
て所定の閾値、例えば0.05と比較する。最大値が閾
値よりも小さい場合には、結果が正確でない可能性があ
る(図4においてNOと標示した出力によって示
す。)。この場合には、カレントの位置合わせパラメー
タを用いるべきでないので、システムはカレントのフレ
ームを無視して次のフレームを処理することになる。代
替的には、システムは極形式対数変換における再サンプ
リング速度を高めて、位相差の最大値が所定の閾値を上
回るまでカレントのフレームに対してアルゴリズムを繰
り返すことができる。
【0045】閾値を上回った場合には、(図4において
YESと標示した出力によって示す)、ホスト・コンピ
ュータ又は専用プロセッサは、算出されたパラメータに
従ってサンプル・ゲート・カーソルを移動させて、新た
な血管位置にサンプル・ゲート・カーソルを固定する。
明確に述べると、位置合わせから導き出された並進オフ
セット及び回転オフセットを適用して新たな血管位置を
予測する。次いで、サンプル・ゲート・カーソルを新た
な血管位置へ移動させる。図4に示す処理全体をメモリ
から検索された各々の新たな画像フレーム毎に繰り返す
と、移動する血管上にサンプル・ゲート・カーソルを自
動的に固定することが可能になる。
【0046】好適実施形態を参照して本発明を説明した
が、当業者であれば、発明の範囲から逸脱せずに本発明
の構成要素に様々な変形を施し、また本発明の構成要素
を均等構成で置換し得ることが理解されよう。加えて、
発明の本質的な範囲から逸脱せずに特定の状況を本発明
の教示に合わせる多くの改変を施してもよい。従って、
本発明は、本発明を実施するのに想到される最良の態様
として開示されている特定の実施形態に限定されている
訳ではなく、特許請求の範囲内に含まれるすべての実施
形態を包含するものとする。
【図面の簡単な説明】
【図1】本発明の好適実施形態によるソフトウェアでプ
ログラムすることのできる典型的な超音波イメージング
・システムのブロック図を示す概略図である。
【図2】サンプル・ゲート図形、ドプラ・ビーム・カー
ソル及び血管勾配カーソルをスーパインポーズした状態
での血管の一部の超音波画像を示す概略図である。
【図3】本発明の好適実施形態に従って、移動する血管
上にパルス・ドプラ・サンプル・ゲートを自動的に固定
するアルゴリズムの工程を示す流れ図である。
【図4】位相単独マッチド・フィルタ処理を用いた画像
位置合わせアルゴリズムの工程を示す流れ図である。
【符号の説明】
2 トランスデューサ 26 ドプラ・ビーム・カーソル 28 血管勾配カーソル 30 血管 32 画像フレーム 34 レンジ・ゲート底部図形 36 レンジ・ゲート頂部図形
フロントページの続き (72)発明者 リーホン・パン アメリカ合衆国、ウィスコンシン州、ブル ックフィールド、オールド・チャーチ・ロ ード、4790番 (72)発明者 ラリー・ワイ・エル・モー アメリカ合衆国、ウィスコンシン州、ワー ケシャー、サラトガ・ロード、1707番 (72)発明者 ファン・ドン アメリカ合衆国、ウィスコンシン州、ミド ルタウン、アパートメント・6、センチュ リー・アベニュー、5317番 (72)発明者 シンディー・アンドリュース・オーウェン アメリカ合衆国、テネシー州、メンフィ ス、ブエナ・ビスタ・プレイス、257番 (72)発明者 ロバート・スタンソン カナダ、アール0ジー・1ビー0、マニト バ、ラサール、ピー・オー・ボックス・ 767、キングズウッド・ドライブ、35番 (72)発明者 キエール・クリストファーセン ノルウェー、0379・オスロ、モンテベルオ ヴェイエン・7番 Fターム(参考) 4C301 CC02 DD01 DD04 EE08 EE13 JB06 JB08 JB28 JB34 JB35 JC06 JC13 KK07 KK09 KK22 5B057 AA07 BA05 CD20 CG09 DA07 DC34 DC38 5L096 BA06 BA13 DA05 EA21 FA34 GA55 HA05 JA03 JA13

Claims (30)

    【特許請求の範囲】
  1. 【請求項1】 試験被検体の血管セグメント上にサンプ
    ル・ゲートを固定する方法であって、 (a) 前記試験被検体から、該試験被検体の前記血管
    セグメントのそれぞれの画像を表わす画像ピクセル値を
    含む画像ピクセル値の第一及び第二の画像フレームを取
    得する工程と、 (b) 前記第一の画像フレームと第二の画像フレーム
    との間での前記血管セグメントの相対的な並進及び相対
    的な回転を決定するように前記画像ピクセル値の第一及
    び第二の画像フレームを処理する工程と、 (c) 前記相対的な並進及び前記相対的な回転の関数
    として前記血管セグメントの新たな位置を推定する工程
    と、 (d) 該推定された新たな位置にある前記血管セグメ
    ント内の所定の点に対して所定の位置関係を有する位置
    へスペクトル・ドプラ・サンプル・ゲートを移動させる
    工程とを備えた方法。
  2. 【請求項2】 前記処理する工程は画像位置合わせの工
    程を含んでいる請求項1に記載の方法。
  3. 【請求項3】 前記画像位置合わせの工程は空間領域に
    おけるフレーム間相関の工程を含んでいる請求項2に記
    載の方法。
  4. 【請求項4】 前記画像位置合わせの工程は周波数領域
    におけるマッチド・フィルタ処理の工程を含んでいる請
    求項2に記載の方法。
  5. 【請求項5】 前記処理する工程は、 前記第一の画像フレームから画像ピクセル値のカーネル
    を抽出する工程と、 前記第二の画像フレームから画像ピクセル値の探索領域
    を抽出する工程と、 前記カーネル内の前記画像ピクセル値に一致する画像ピ
    クセル値の集合について前記探索領域を探索する工程と
    を含んでいる請求項1に記載の方法。
  6. 【請求項6】 前記画像ピクセル値はBモード撮像を用
    いて取得されている請求項5に記載の方法。
  7. 【請求項7】 前記画像ピクセル値はカラー・フロー撮
    像を用いて取得されている請求項5に記載の方法。
  8. 【請求項8】 前記処理する工程は、前記探索する工程
    の前に、前記抽出されたカラー・フロー画像ピクセル値
    を二値化する工程をさらに含んでいる請求項7に記載の
    方法。
  9. 【請求項9】 前記処理する工程は前記二値化されたカ
    ラー・フロー画像ピクセル値をモルフォロジ・フィルタ
    処理する工程をさらに含んでいる請求項8に記載の方
    法。
  10. 【請求項10】 前記新たな位置での前記血管セグメン
    トの勾配を算出する工程をさらに含んでいる請求項1に
    記載の方法。
  11. 【請求項11】 前記サンプル・ゲートの移動先である
    前記位置に従って前記血管セグメントに対して配置され
    るサンプル・ゲート図形を、前記画像ピクセル値の第二
    の画像フレームから導き出された画像上にスーパインポ
    ーズして表示する工程をさらに含んでいる請求項1に記
    載の方法。
  12. 【請求項12】 多数のピクセルを含んでいる表示装置
    (16)、 試験被検体の血管セグメントのそれぞれの画像を表わす
    画像ピクセル値を含む画像ピクセル値の第一及び第二の
    画像フレームを記憶するメモリ(24)、並びに (a) 前記画像ピクセル値の第二のフレームから導き
    出された画像を表示するように前記表示装置を制御する
    工程と、 (b) 前記第一の画像フレームと第二の画像フレーム
    との間での前記血管セグメントの相対的な並進及び相対
    的な回転を決定するように前記画像ピクセル値の第一及
    び第二の画像フレームを処理する工程と、 (c) 前記相対的な並進及び前記相対的な回転の関数
    として前記血管セグメントの新たな位置を推定する工程
    と、 (d) 前記血管セグメントが前記推定された新たな位
    置に位置しているときの前記血管セグメント内の所定の
    点に対してスペクトル・ドプラ・サンプル・ゲートの位
    置を決定する工程とを実行するようにプログラムされて
    いるコンピュータ(20)を備えたシステム。
  13. 【請求項13】 前記コンピュータは、前記決定された
    位置に従って前記血管セグメントに対して配置されるサ
    ンプル・ゲート図形を、前記画像上にスーパインポーズ
    して表示するように前記表示装置を制御する工程を実行
    するようにさらにプログラムされている請求項12に記
    載のシステム。
  14. 【請求項14】 前記処理する工程は画像位置合わせの
    工程を含んでいる請求項12に記載のシステム。
  15. 【請求項15】 前記画像位置合わせの工程は空間領域
    におけるフレーム間相関の工程を含んでいる請求項14
    に記載のシステム。
  16. 【請求項16】 前記画像位置合わせの工程は周波数領
    域におけるマッチド・フィルタ処理の工程を含んでいる
    請求項14に記載のシステム。
  17. 【請求項17】 前記処理する工程は、前記第一の画像
    フレームから画像ピクセル値のカーネルを抽出する工程
    と、 前記第二の画像フレームから画像ピクセル値の探索領域
    を抽出する工程と、 前記カーネル内の前記画像ピクセル値に一致する画像ピ
    クセル値の集合について前記探索領域を探索する工程と
    を含んでいる請求項12に記載のシステム。
  18. 【請求項18】 前記画像ピクセル値はBモード・デー
    タを含んでいる請求項17に記載のシステム。
  19. 【請求項19】 前記画像ピクセル値はカラー・フロー
    ・データを含んでいる請求項17に記載のシステム。
  20. 【請求項20】 前記処理する工程は、前記探索する工
    程の前に、前記抽出されたカラー・フロー画像ピクセル
    値を二値化する工程をさらに含んでいる請求項19に記
    載のシステム。
  21. 【請求項21】 前記処理する工程は前記二値化された
    カラー・フロー画像ピクセル値をモルフォロジ・フィル
    タ処理する工程をさらに含んでいる請求項20に記載の
    システム。
  22. 【請求項22】 前記コンピュータは、前記新たな位置
    での前記血管セグメントの勾配を算出する工程を実行す
    るようにさらにプログラムされている請求項12に記載
    のシステム。
  23. 【請求項23】 多数のトランスデューサ素子を含んで
    いる超音波トランスデューサ・アレイ(2)と、 走査平面内に一連の超音波送信ビームを送信するよう
    に、選択されたトランスデューサ素子をパルス駆動する
    送信ビームフォーマ(4)と、 前記トランスデューサ・アレイの選択されたトランスデ
    ューサ素子に結合されており、それぞれのビーム送信に
    続いてそれぞれの受信信号を取得する受信ビームフォー
    マ(4)と、 前記受信信号から前記サンプル・ゲートに対応するスペ
    クトル・ドプラ・データを導き出すスペクトル・ドプラ
    ・プロセッサ(10)とをさらに含んでいる請求項12
    に記載のシステム。
  24. 【請求項24】 多数のピクセルを含んでいる表示装置
    (16)と、 試験被検体の前記血管セグメントのそれぞれの画像を表
    わす画像ピクセル値を含む画像ピクセル値の第一及び第
    二の画像フレームを記憶するメモリ(24)と、 前記画像ピクセル値の第二のフレームから導き出された
    画像を表示するように前記表示装置を制御する手段(2
    0)と、 前記第一の画像フレームと第二の画像フレームとの間で
    の前記血管セグメントの相対的な並進及び相対的な回転
    を決定するように前記画像ピクセル値の第一及び第二の
    画像フレームを処理する手段(20)と、 前記相対的な並進及び前記相対的な回転の関数として前
    記血管セグメントの新たな位置を推定する手段(20)
    と、 前記血管セグメントが前記推定された新たな位置に位置
    しているときの前記血管セグメント内の所定の点に対し
    てスペクトル・ドプラ・サンプル・ゲートの位置を決定
    する手段(20)とを備えたシステム。
  25. 【請求項25】 前記決定された位置に従って前記血管
    セグメントに対して配置されるサンプル・ゲート図形
    を、前記画像上にスーパインポーズして表示するように
    前記表示装置を制御する手段(20)をさらに含んでい
    る請求項24に記載のシステム。
  26. 【請求項26】 前記処理する手段は、 前記第一の画像フレームから画像ピクセル値のカーネル
    を抽出する手段と、 前記第二の画像フレームから画像ピクセル値の探索領域
    を抽出する手段と、 前記カーネル内の前記画像ピクセル値に一致する画像ピ
    クセル値の集合について前記探索領域を探索する手段と
    を含んでいる請求項24に記載のシステム。
  27. 【請求項27】 前記抽出された画像ピクセル値を二値
    化する手段(20)をさらに含んでいる請求項26に記
    載のシステム。
  28. 【請求項28】 前記二値化された画像ピクセル値をモ
    ルフォロジ・フィルタ処理する手段(20)をさらに含
    んでいる請求項27に記載のシステム。
  29. 【請求項29】 試験被検体の血管セグメントを表わす
    画像ピクセル値を含む画像ピクセル値の第一及び第二の
    画像フレームを取得する工程と、 該第一の画像フレームと第二の画像フレームとを比較す
    る工程と、 前記第一の画像フレームに対する前記第二の画像フレー
    ムの並進オフセット及び回転オフセットを決定する工程
    と、 該オフセットに基づいて、前記第二の画像フレームが取
    得された時刻での前記血管セグメントの位置を推定する
    工程と、 前記血管セグメントの前記推定された位置の関数として
    配置されるサンプル・ゲートにおけるスペクトル・ドプ
    ラ撮像データを取得する工程とを実行するようにプログ
    ラムされているコンピュータ(20)を備えた超音波イ
    メージング・システム。
  30. 【請求項30】 前記コンピュータは、前記血管セグメ
    ントの前記推定された位置の関数として配置されるサン
    プル・ゲート・カーソルを、前記画像ピクセル値の第二
    のフレームから導き出された画像上にスーパインポーズ
    するようにさらにプログラムされている請求項29に記
    載の超音波イメージング・システム。
JP2001278960A 2000-09-14 2001-09-14 パルス・ドプラ超音波撮像において移動する血管上にサンプル空間を固定する方法及び装置 Expired - Fee Related JP5010078B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/661,749 US6390984B1 (en) 2000-09-14 2000-09-14 Method and apparatus for locking sample volume onto moving vessel in pulsed doppler ultrasound imaging
US09/661749 2000-09-14

Publications (3)

Publication Number Publication Date
JP2002191601A true JP2002191601A (ja) 2002-07-09
JP2002191601A5 JP2002191601A5 (ja) 2008-10-30
JP5010078B2 JP5010078B2 (ja) 2012-08-29

Family

ID=24654956

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001278960A Expired - Fee Related JP5010078B2 (ja) 2000-09-14 2001-09-14 パルス・ドプラ超音波撮像において移動する血管上にサンプル空間を固定する方法及び装置

Country Status (4)

Country Link
US (1) US6390984B1 (ja)
EP (1) EP1189074B1 (ja)
JP (1) JP5010078B2 (ja)
DE (1) DE60122991T2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013206244A (ja) * 2012-03-29 2013-10-07 Fujifilm Corp 二次元画像生成装置ならびにその動作制御方法および動作制御プログラム
JP2014018663A (ja) * 2012-07-13 2014-02-03 Siemens Medical Solutions Usa Inc スペクトル・ドップラー超音波イメージングの自動ドップラー・ゲート配置
JP2018509229A (ja) * 2015-03-25 2018-04-05 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. セグメンテーション選択システム及びセグメンテーション選択方法

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3403917B2 (ja) * 1997-05-26 2003-05-06 株式会社日立メディコ 超音波断層装置
US7534209B2 (en) * 2000-05-26 2009-05-19 Physiosonics, Inc. Device and method for mapping and tracking blood flow and determining parameters of blood flow
US7399279B2 (en) * 1999-05-28 2008-07-15 Physiosonics, Inc Transmitter patterns for multi beam reception
US20060100530A1 (en) * 2000-11-28 2006-05-11 Allez Physionix Limited Systems and methods for non-invasive detection and monitoring of cardiac and blood parameters
US8175666B2 (en) 2002-04-26 2012-05-08 Grove Instruments, Inc. Three diode optical bridge system
US7003337B2 (en) * 2002-04-26 2006-02-21 Vivascan Corporation Non-invasive substance concentration measurement using and optical bridge
US20040215077A1 (en) * 2002-11-08 2004-10-28 Witt Jerome F. Color ensemble interleave with artifact elimination in time-gated anatomical imaging
US7399278B1 (en) 2003-05-05 2008-07-15 Los Angeles Biomedical Research Institute At Harbor-Ucla Medical Center Method and system for measuring amniotic fluid volume and/or assessing fetal weight
US7092749B2 (en) * 2003-06-11 2006-08-15 Siemens Medical Solutions Usa, Inc. System and method for adapting the behavior of a diagnostic medical ultrasound system based on anatomic features present in ultrasound images
US7578792B2 (en) * 2003-07-21 2009-08-25 Siemens Medical Solutions Usa, Inc. Automatic optimization in spectral Doppler ultrasound imaging
US20050054931A1 (en) * 2003-09-09 2005-03-10 Clark David W. Tracking clutter filter for spectral & audio doppler
JP4559770B2 (ja) * 2004-04-20 2010-10-13 株式会社東芝 超音波診断装置および超音波診断方法
ITPI20040066A1 (it) * 2004-09-21 2004-12-21 Cnr Consiglio Naz Delle Ricerche Metodo e dispositivo per la valutazione automatica di indici di funzionalita' cardiovascolare mediante elaborazione di immagini ecografiche
JP4886432B2 (ja) * 2006-09-04 2012-02-29 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置
US7729467B2 (en) 2007-03-22 2010-06-01 General Electric Company Methods and systems for attentuation correction in medical imaging
JP5160825B2 (ja) 2007-07-17 2013-03-13 日立アロカメディカル株式会社 超音波診断装置及び画像処理プログラム
JP5226978B2 (ja) * 2007-07-17 2013-07-03 日立アロカメディカル株式会社 超音波診断装置及び画像処理プログラム
KR101014563B1 (ko) * 2009-08-07 2011-02-16 주식회사 메디슨 혈관 세그먼테이션을 수행하는 초음파 시스템 및 방법
CN102551812B (zh) 2010-12-09 2015-11-25 Ge医疗***环球技术有限公司 超声容积探头导航与控制方法和装置及超声设备
US10908269B2 (en) * 2015-03-05 2021-02-02 Crystalview Medical Imaging Limited Clutter suppression in ultrasonic imaging systems
US10206651B2 (en) * 2015-09-30 2019-02-19 General Electric Company Methods and systems for measuring cardiac output
US20170086789A1 (en) * 2015-09-30 2017-03-30 General Electric Company Methods and systems for providing a mean velocity
CN105997148B (zh) * 2016-05-26 2019-01-29 飞依诺科技(苏州)有限公司 脉冲多普勒超高谱分辨率成像处理方法及处理***
CN109452954B (zh) * 2017-09-06 2022-05-03 深圳迈瑞生物医疗电子股份有限公司 超声成像方法及装置
JP7081143B2 (ja) * 2017-12-27 2022-06-07 セイコーエプソン株式会社 超音波装置、及び超音波測定方法
US11229420B2 (en) * 2018-11-16 2022-01-25 General Electric Company Method and system for tracking an anatomical structure over time based on pulsed-wave doppler signals of a multi-gated doppler signal
CN113838028B (zh) * 2021-09-24 2024-08-06 无锡祥生医疗科技股份有限公司 一种颈动脉超声自动多普勒方法、超声设备及存储介质
CN117201949B (zh) * 2023-11-08 2024-06-28 荣耀终端有限公司 图像处理方法、电子设备、分光设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6470029A (en) * 1987-09-11 1989-03-15 Hitachi Ltd Blood vessel tracking system
JPH05168626A (ja) * 1991-12-26 1993-07-02 Aloka Co Ltd 超音波診断装置
JPH05317313A (ja) * 1992-05-15 1993-12-03 Ken Ishihara 超音波診断装置
JPH06217975A (ja) * 1993-01-28 1994-08-09 Toshiba Medical Eng Co Ltd 超音波ドプラ診断装置
JPH0852137A (ja) * 1994-08-15 1996-02-27 Ge Yokogawa Medical Syst Ltd 流れ情報表示方法およびサンプリングボリューム位置の補正方法および超音波診断装置
JPH08103439A (ja) * 1994-10-04 1996-04-23 Konica Corp 画像の位置合わせ処理装置及び画像間処理装置
JPH08336517A (ja) * 1995-06-12 1996-12-24 Konica Corp 画像処理装置
JPH10134195A (ja) * 1996-10-31 1998-05-22 Yamatake Honeywell Co Ltd トラッキング装置
JPH10134194A (ja) * 1996-10-31 1998-05-22 Yamatake Honeywell Co Ltd トラッキング装置
JPH10216129A (ja) * 1996-11-08 1998-08-18 Atl Ultrasound Inc 超音波診断装置
US6068598A (en) * 1998-12-01 2000-05-30 General Electric Company Method and apparatus for automatic Doppler angle estimation in ultrasound imaging

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4937797A (en) 1988-11-14 1990-06-26 Hewlett-Packard Company Method and apparatus for controlling scan line direction in a linear array ultrasonic doppler scanning system
US5085220A (en) * 1989-10-05 1992-02-04 Spacelabs, Inc. Doppler flow sensing device and method for its use
US5365929A (en) 1993-10-04 1994-11-22 Advanced Technology Laboratories, Inc. Multiple sample volume spectral Doppler
US5615680A (en) * 1994-07-22 1997-04-01 Kabushiki Kaisha Toshiba Method of imaging in ultrasound diagnosis and diagnostic ultrasound system
US5690116A (en) 1994-12-07 1997-11-25 U.S. Philips Corporation Method for automatic measurement of the doppler angle and arrangement for carrying out the method
FR2757705B1 (fr) * 1996-12-20 1999-03-05 Labavia Appareil a courants de foucault
JP3403917B2 (ja) 1997-05-26 2003-05-06 株式会社日立メディコ 超音波断層装置
JP4215329B2 (ja) * 1999-01-29 2009-01-28 株式会社小松製作所 建設機械の騒音低減装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6470029A (en) * 1987-09-11 1989-03-15 Hitachi Ltd Blood vessel tracking system
JPH05168626A (ja) * 1991-12-26 1993-07-02 Aloka Co Ltd 超音波診断装置
JPH05317313A (ja) * 1992-05-15 1993-12-03 Ken Ishihara 超音波診断装置
JPH06217975A (ja) * 1993-01-28 1994-08-09 Toshiba Medical Eng Co Ltd 超音波ドプラ診断装置
JPH0852137A (ja) * 1994-08-15 1996-02-27 Ge Yokogawa Medical Syst Ltd 流れ情報表示方法およびサンプリングボリューム位置の補正方法および超音波診断装置
JPH08103439A (ja) * 1994-10-04 1996-04-23 Konica Corp 画像の位置合わせ処理装置及び画像間処理装置
JPH08336517A (ja) * 1995-06-12 1996-12-24 Konica Corp 画像処理装置
JPH10134195A (ja) * 1996-10-31 1998-05-22 Yamatake Honeywell Co Ltd トラッキング装置
JPH10134194A (ja) * 1996-10-31 1998-05-22 Yamatake Honeywell Co Ltd トラッキング装置
JPH10216129A (ja) * 1996-11-08 1998-08-18 Atl Ultrasound Inc 超音波診断装置
US6068598A (en) * 1998-12-01 2000-05-30 General Electric Company Method and apparatus for automatic Doppler angle estimation in ultrasound imaging

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013206244A (ja) * 2012-03-29 2013-10-07 Fujifilm Corp 二次元画像生成装置ならびにその動作制御方法および動作制御プログラム
JP2014018663A (ja) * 2012-07-13 2014-02-03 Siemens Medical Solutions Usa Inc スペクトル・ドップラー超音波イメージングの自動ドップラー・ゲート配置
JP2018509229A (ja) * 2015-03-25 2018-04-05 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. セグメンテーション選択システム及びセグメンテーション選択方法
JP2021102086A (ja) * 2015-03-25 2021-07-15 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 最適な超音波式臓器セグメンテーション
JP7313392B2 (ja) 2015-03-25 2023-07-24 コーニンクレッカ フィリップス エヌ ヴェ 最適な超音波式臓器セグメンテーション

Also Published As

Publication number Publication date
EP1189074A2 (en) 2002-03-20
DE60122991T2 (de) 2007-05-03
JP5010078B2 (ja) 2012-08-29
US6390984B1 (en) 2002-05-21
EP1189074A3 (en) 2004-06-30
EP1189074B1 (en) 2006-09-13
DE60122991D1 (de) 2006-10-26

Similar Documents

Publication Publication Date Title
JP5010078B2 (ja) パルス・ドプラ超音波撮像において移動する血管上にサンプル空間を固定する方法及び装置
US6322509B1 (en) Method and apparatus for automatic setting of sample gate in pulsed doppler ultrasound imaging
JP4831281B2 (ja) 超音波撮像における自動血管追尾のための方法及び装置
JP4531894B2 (ja) 超音波イメージングにおける自動ドプラ角推定方法及び装置
US5971927A (en) Ultrasonic diagnostic apparatus for obtaining blood data
JP7252206B2 (ja) 画像アーチファクト特定及び除去のための深層学習ネットワークを有する超音波システム
JP4749592B2 (ja) パルス・ドプラ超音波イメージングにおいてサンプル・ゲートを自動設定する方法及び装置
US8094893B2 (en) Segmentation tool for identifying flow regions in an image system
US6760486B1 (en) Flash artifact suppression in two-dimensional ultrasound imaging
JP4722283B2 (ja) 連続データ獲得を用いた超音波フロー・イメージングにおける運動の可視化のための方法および装置
JP2006187594A (ja) 超音波診断システム及び方法
JPH105225A (ja) 組織運動の超音波三次元走査及び装置
JP3402703B2 (ja) 超音波診断装置
JP3397748B2 (ja) カラードップラー映像システムにおけるカラー映像表示方法及び装置
JP6113892B2 (ja) 超音波診断装置、画像処理装置及び画像処理プログラム
JP4764209B2 (ja) 超音波信号解析装置、超音波信号解析方法、超音波解析プログラム、超音波診断装置、及び超音波診断装置の制御方法
JP3187008B2 (ja) 超音波カラードプラ断層装置
CN112867444A (zh) 用于引导对超声图像的采集的***和方法
US8545411B2 (en) Ultrasound system and method for adaptively performing clutter filtering
US20230355213A1 (en) Ultrasound image processing
US20200405264A1 (en) Region of interest positioning for longitudinal montioring in quantitative ultrasound
JPH08299334A (ja) 超音波診断装置
JPH0938083A (ja) 流れ情報表示方法および超音波診断装置
JPS61263442A (ja) 超音波診断装置における血流動態表示方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080911

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080911

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101118

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110301

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120508

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120601

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150608

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees