JP3878273B2 - Ultrasonic diagnostic equipment - Google Patents
Ultrasonic diagnostic equipment Download PDFInfo
- Publication number
- JP3878273B2 JP3878273B2 JP05141397A JP5141397A JP3878273B2 JP 3878273 B2 JP3878273 B2 JP 3878273B2 JP 05141397 A JP05141397 A JP 05141397A JP 5141397 A JP5141397 A JP 5141397A JP 3878273 B2 JP3878273 B2 JP 3878273B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- ultrasonic
- data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、超音波を利用して被検体内の診断部位について断層像を計測し表示する超音波診断装置において、例えば循環器などの動画像に周期が不規則な雑音が混入している場合にその雑音を判定し処理することができる超音波診断装置に関する。
【0002】
【従来の技術】
一般に、超音波診断装置で得られる超音波画像には、例えばスペックルノイズと呼ばれる周期が不規則な雑音が混入している。このスペックルノイズは、超音波の波長に比べて十分小さい生体組織の反射体群によりさまざまな位相で発生する散乱波が干渉してランダムに小輝点群が出現すると考えられている。そして、このスペックルノイズは、Bモード像の全域に本来の反射エコー信号に重畳して出現することが知られている。すなわち、例えば心臓の超音波画像において、心壁等の構造物の反射エコー信号にスペックルノイズが重なって本来の信号を乱し画像のチラツキ等の画質劣化を引き起こすと共に、心腔等の反射体が無い部位等にもスペックルノイズが出現して画質を劣化させるものであった。また、一般に、スペックルノイズは、生体内に分布する微小散乱体の配置により形状が大きく変化するとされており、生体組織が動くと上記スペックルノイズのパターンも変わることが知られている。しかし、そのパターンの変化の度合、方向、輝度などの変わり方は一様ではない。このことから、生体が動いている場合は、スペックルノイズは不規則な変化をすることが確認されている。
【0003】
このような事情に対処して、従来の超音波診断装置においては、図14に示すようなフレーム相関処理回路により経時的に重みを付けた加算平均化処理を行い、動画像のスペックルノイズを低減していた。このフレーム相関処理回路は、従来一般に「フレーム相関」又は「scc(スキャンコリレーション)走査相関」と呼ばれる手法でスペックルノイズを低減処理するもので、図14に示すように、例えば重み付け加算器から成る演算処理回路1と、Bモード像のデータを記録する機能を有するフレームメモリ2と、このフレームメモリ2の入力端子Dに入力される超音波画像のデータに同期して上記フレームメモリ2の番地を順次発生させる制御回路3とから構成されている。
【0004】
上記フレーム相関処理回路において、フレームメモリ2は、制御回路3により選択された番地に記録されていたデータ、つまり1フレーム前のデータを出力端子Eから出力する。この出力端子Eからの出力データは、前記演算処理回路1のB入力に入力する。次に、演算処理回路1は、図示外の超音波本体部から送出されA入力に入力してくる現時点でのデータと、上記B入力に入力する1フレーム前のデータとを相関処理し、その結果を出力端子Cより出力する。すると、この出力端子Cからの出力データは、新しい時相のデータとしてフレームメモリ2の入力端子Dへ送られる。次に、制御回路3は、上記フレームメモリ2に新しい時相のデータが入力された後に、これを前回と同一番地に記録するよう指示を出す。
【0005】
ここで、上記演算処理回路1で行われている相関処理について説明する。いま、演算処理回路1のA入力に入力される数値をaで表し、B入力に入力される数値をbで表し、出力端子Cに出現する演算結果をcとすると、
a・X+b・Y=c …(1)
の関係があるX,Yの相関係数により、重み付け加算平均の処理が行われる場合が多い。ここでは、X<1,Y<1であり、
X+Y=1 …(2)
の関係がある。一般には、被検体の診断部位や雑音の大小により上記相関係数X,Yを選定して使用している。
【0006】
【発明が解決しようとする課題】
しかし、このような従来の超音波診断装置におけるフレーム相関処理回路においては、図14に示す演算処理回路1のB入力に入力される画像データは1フレーム前の時相で既に演算処理されたものであるので、上記演算処理回路1の出力端子Cからの演算出力は、経時的に旧フレームの影響が長時間残留してしまうものであった。また、相関をとるフレームの画像データ、例えば輝度レベル等の高低により相関処理後の依存度が大幅に変化してしまうことがあった。すなわち、輝度の高いフレームの画像データは長く影響が残るが、輝度の低いフレームの画像データは非常に短時間で無関係となってしまうものであった。これでは、フレーム間で相関処理する時間間隔が不明となり、フレームの指定が不可能となる。従って、上記相関処理の効果は完全には推定できず、不確定要素となり、スペックルノイズ除去による画質の安定性は不十分であった。さらに、図14に示すフレーム相関処理回路においては、元の超音波画像の輝度レベル等のデータが演算処理回路1の相関処理により順次変化して行き、輝度に応じたフィルタ処理等が実行できないことがあった。そのため、輝度情報により処理のアルゴリズムを変更することができず、前述のように単純な重み付け加算程度しか行えなかった。
【0007】
そこで、本発明は、このような問題点に対処し、例えば循環器などの動画像に周期が不規則な雑音が混入している場合にその雑音を判定して低減処理し、特に高速で動く心壁や弁などの描出に適する超音波診断装置を提供することを目的とする。
【0008】
【課題を解決するための手段】
上記目的を達成するために、本発明による超音波診断装置は、被検体内に超音波を送受信する探触子と、超音波の送受信により得た反射エコー信号を処理し、この処理された反射エコー信号を用いて被検体内の超音波画像のデータを時系列に複数フレーム記録する超音波本体部と、この記録された超音波画像のデータを読み出し超音波ビームの走査線毎に書き込んで画像データを形成するディジタルスキャンコンバータ部と、この形成された画像データを画像として表示する画像表示部と、上記各構成要素の動作を制御する制御部とを有する超音波診断装置において、上記超音波本体部から出力される時系列の複数フレームの画像データを1フレーム毎に順次書き込む複数個並列の画像メモリと、上記画像メモリから読み出した複数の同一アドレスの画像データについて経時的に古いものから新しいものへ並び換えることにより経時的な相関を把握する相関回路部と、上記相関回路部で把握した上記同一アドレスの画像データの経時的なパターン情報により、上記画像データの性状を判定するデータ判定部と、上記データ判定部の判定結果により画像データに対し雑音成分を除去して上記ディジタルスキャンコンバータ部へ処理後の画像データを送出する画像処理部とを、備えたものである。
【0009】
また、他の手段による超音波診断装置は、被検体内に超音波を送受信する探触子と、超音波の送受信により得た反射エコー信号を処理し、この処理された反射エコー信号を用いて被検体内の超音波画像のデータを時系列に複数フレーム記録する超音波本体部と、この記録された超音波画像のデータを読み出し超音波ビームの走査線毎に書き込んで画像データを形成するディジタルスキャンコンバータ部と、この形成された画像データを画像として表示する画像表示部と、上記各構成要素の動作を制御する制御部とを有する超音波診断装置において、上記ディジタルスキャンコンバータ部から出力される時系列の複数フレームの画像データを1 フレーム毎に順次書き込む複数個並列の画像メモリと、上記画像メモリから読み出した複数の同一アドレスの画像データについて経時的に古いものから新しいものへ並び換えることにより経時的な相関を把握する相関回路部と、上記相関回路部で把握した上記同一アドレスの画像データの経時的なパターン情報により、上記画像データの性状を判定するデータ判定部と、上記データ判定部の判定結果により画像データに対し雑音成分を除去して上記画像表示部へ処理後の画像データを送出する画像処理部とを、備えたものである。
【0011】
【発明の実施の形態】
以下、本発明の実施の形態を添付図面に基づいて詳細に説明する。
図1は、本発明による超音波診断装置の全体構成を示すブロック図である。この超音波診断装置は、超音波を利用して被検体内の診断部位について断層像を計測し表示するもので、図1に示すように、探触子10と、超音波本体部11と、ディジタルスキャンコンバータ部(以下「DSC部」と略称する)12と、画像表示部13と、制御回路部14とを有し、さらに画像データ判定処理回路15を備えて成る。
【0012】
上記探触子10は、被検体内に超音波を送受信するもので、図示省略したがその内部には超音波の発生源であると共に反射エコーを受信して電気信号に変換する超音波振動子を有している。超音波本体部11は、上記探触子10を駆動して超音波を送受信させると共に得られた超音波画像のデータを記録するもので、図示省略したがその内部には、上記探触子10を駆動して超音波を発生させると共に受信した反射エコー信号を処理する超音波送受信部と、この超音波送受信部からの反射エコー信号をディジタル化し運動組織を含む被検体内の超音波画像のデータを時系列に複数フレームに記録するメモリ部とを有している。DSC部12は、上記メモリ部から読み出したディジタル信号を超音波ビームの走査線毎に書き込んで画像データを形成するもので、その内部にはディジタルの超音波走査線メモリ群と、そのメモリ制御器とを有している。また、画像表示部13は、上記DSC部12で形成され出力される画像データを入力してアナログ変換し画像として表示するもので、その内部にはD/A変換器と、テレビモニタとを有している。さらに、制御回路部14は、上記各構成要素の動作を制御する制御部となるもので、例えばCPU(中央処理装置)から成る。
【0013】
ここで、本発明においては、上記超音波本体部11とDSC部12との間に画像データ判定処理回路15が設けられている。この画像データ判定処理回路15は、連続した複数フレームの同一アドレスの画像データを経時的な相関を把握して並べ換え、この並べ換えた画像データをグラフ化し、このグラフのパターンにより上記画像データの性状を判定して、この判定結果により画像データに対し画像処理を施すもので、その内部構成は図2に示すように、複数個の画像メモリ16a〜16nと、相関回路部17と、メモリ18と、データ判定部19と、画像処理部20とから成る。
【0014】
上記複数個の画像メモリ16a〜16nは、前記超音波本体部11から出力される連続した複数フレームの画像データを1フレーム毎に順次入力して書き込むもので、複数個並列に設けられている。なお、この画像メモリ16a〜16nは、処理の目的及び精度等により任意の個数とすればよい。相関回路部17は、上記複数個の画像メモリ16a〜16nから読み出された複数の画像データを入力して経時的な相関を把握する相関手段となるもので、制御回路部14の制御により例えば経時的に古いものから新しいものへと正しく並び換えて画像データを出力するようになっている。メモリ18は、上記相関回路部17から出力された経時的な相関を把握した情報を記録するものである。また、データ判定部19は、上記相関回路部17で把握されメモリ18に記録された上記相関関係の情報を入力して当該画像データの性状を判定するデータ判定手段となるもので、例えばROMなどから成る。さらに、画像処理部20は、上記データ判定部19の判定結果を入力し、該判定結果により当該画像データに対し雑音成分を除去する等の画像処理を施す画像処理手段 となるもので、例えばROMなどから成る。そして、この画像処理部20からは、前記DSC部12へ上記処理後の画像データを送出するようになっている。
【0015】
次に、このように構成された超音波診断装置の動作について説明する。まず、前記超音波本体部11から出力された連続した複数フレームの画像データは、上記画像データ判定処理回路15内の複数個の画像メモリ16a〜16nに経時的に記録される。このとき、上記複数個の画像メモリ16a〜16nに記録される画像データは周期的に更新され、制御回路部14は指定した画像メモリに常に最新のデータが記録されるように制御している。そして、上記複数個の画像メモリ16a〜16nはそのアドレスが総て共通とされ、記録時には同一番地のデータが出力に現れる方式とされている。すなわち、画像メモリ16a〜16nへのデータ記録時には新旧フレームの同一番地のデータが同時に出力され、相関回路部17へ入力する。しかし、このデータは上記複数個の画像メモリ16a〜16nのうちどれが最新であるかは、制御回路部14により指示を受けなければわからない。そこで、上記相関回路部17は、制御回路部14から指示を受けて古いデータから新しいデータへと経時的に再配列し、この再配列後のデータにより経時的な相関を把握する。この相関回路部17で相関処理された結果は、相関関係の情報としてメモリ18に記録される。そして、このメモリ18内の相関結果は、画像データの相関関係を示すグラフとして画像表示部13に表示される。
【0016】
この画像表示部13に表示されるグラフの例を示すと、後述の図8〜図12のようになる。すなわち、図8は、(1)実際の生体組織の動きを反映したものに対応するグラフのパターンを示し、図9は、(2)多重反射などに依存するアーチファクトに対応するグラフのパターンを示し、図10は、(3)音波の干渉による雑音に対応するグラフのパターンを示し、図11は、(4)音場の乱れなどによる突発的な雑音に対応するグラフのパターンを示し、図12は、(5)電気的な雑音に対応するグラフのパターンを示している。操作者は、これらのグラフの表示を観察して注目している画素の性状を把握する。上記表示はあくまで判定基準の確認であり、実際の診断時の画質を改善するには、上記メモリ18からの相関関係の画像データをリアルタイムでデータ判定部19へ送り、このデータ判定部19で上記画像データの性状を判定する。
【0017】
上記データ判定部19は、ROMなどに記録されたファームウェアで構築すると、経験的に把握した上記のような各情報パターンを判定基準とすることが可能である。この場合、数値を判定基準とするのではなく上記グラフのパターンが判定基準であるので、輝度情報を3ビット程度に圧縮すれば、例えば8フレームの情報を入力しても24ビットなので現在あるメモリ素子で十分に実現可能な回路規模となる。更に、現在あるメモリ素子は、アクセスタイムが約100ナノ秒と高速であるので、リアルタイム性も十分確保できる。
【0018】
上記データ判定部19の詳細を図3を参照して説明する。このデータ判定部19は、例えば8本のアドレスラインLa1,La2,La3,…,La8を有すると共に、1本の出力ラインLoを有している。そして、上記各アドレスラインLa1〜La8には、それぞれアドレスA0〜A2,A3〜A5,A6〜A8,…,A21〜A23が割り当てられ、各アドレスラインLa1〜La8にはそれぞれ1フレームの画像データが入力され、合計8フレームの画像データが入力されるようになっている。また、出力ラインLoからは、判定結果のデータが出力されるようになっている。
【0019】
このような状態で、第1のアドレスラインLa1には、最も古い時相のフレームの画像データが3ビットに圧縮され入力されている。また、第2のアドレスラインLa2には、最も古い時相から1フレームだけ新しい時相の画像データが3ビットに圧縮され入力されている。さらに、第3のアドレスラインLa3には、最も古い時相から2フレームだけ新しい時相の画像データが3ビットに圧縮され入力されている。…そして、第8のアドレスラインLa8には、最新時相の画像データが3ビットに圧縮され入力されている。これにより、後述の図8〜図12に示した各時相f1〜f8の輝度情報を、データ判定部19のファームウェアを構築するROMのアドレスに割り当てることができる。
【0020】
そして、これらにより定義されたアドレスのデータをエンコードして、出力ラインLoから判定結果のデータとして例えば01,02,03,04,05を出力する。このとき、例えば出力01は図8に示す(1)実際の生体組織の動きを反映したものと判定したデータと決め、出力02は図9に示す(2)多重反射などに依存するアーチファクトと判定したデータと決め、出力03は図10に示す(3)音波の干渉による雑音と判定したデータと決め、出力04は図11に示す(4)音場の乱れなどによる突発的な雑音と判定したデータと決め、出力05は図12に示す(5)電気的な雑音と判定したデータと決めておけばよい。このような判定結果の出力により、当該画像データの性状が判明する。
【0021】
上記データ判定部19から出力された判定結果のデータは、図2に示す画像処理部20へ入力する。すると、この画像処理部20は、上記データ判定部19から入力した判定結果のデータ01,02,03,04,05に従い、所要の画像処理を行う。例えば、判定結果のデータ01が入力した場合は、上述のように(1)実際の生体組織の動きを反映した画像データであるので、最新時相の画像をそのまま出力する。しかし、他の判定結果のデータ02〜05が入力した場合は、上述の(2)〜(5)の雑音成分のデータであるので、その雑音成分を除去する等の画像処理を行う。これにより、画像表示部13に表示される画像の画質が改善される。
【0022】
次に、このように構成された超音波診断装置を使用して実施する画像データ判定処理方法について、図4〜図7を参照して説明する。この画像データ判定処理方法は、前述の超音波診断装置において、上記超音波本体部11のメモリ部から図4に示すように連続した複数フレームf1,f2,…,fnの画像データを同時に並列に読み出し、各フレームの同一アドレスの画像データを経時的な相関を把握して古いものから新しいものへf1,f2,…,fnのように正しく並べ換え、この並べ換えた画像データをグラフ化して表示し、この表示されたグラフのパターンにより上記画像データの性状を判定し、この判定結果により画像データに対し雑音低減等の画像処理を施すものである。
【0023】
例えば、図5に示す心臓の断層像5において、心壁6の内部の心腔内に出現するスペックルノイズ7は、上記心壁6などの組織よりも輝度が低い。また、上記スペックルノイズ7の輝度レベルの変化は不規則である。これを横軸を時間(フレーム番号)とし縦軸を輝度として時間変化に対する輝度変化の状況をグラフで示すと、図6のようになる。すなわち、心壁6などの組織の運動等においてはカーブC1に示すように輝度が高くそろっているが、スペックルノイズ7においてはカーブC2に示すように輝度が低くバラツイている。なお、図5において、符号8は生体組織上に出現するスペックルノイズを示している。図6のグラフからわかるように、時系列的に並んだ複数枚(複数フレーム)の画像データをもとに統計的手法を用いてスペックルノイズを判定することができる。
【0024】
ここで、図6に示す時間変化に対する輝度変化の状況を示すグラフにおいて、カーブC1に示す高輝度を保っていた生体内の組織からの輝度データが特定フレームのみ低い場合は、データの欠落であると判定する。さらに、図6において、カーブC2に示すスペックルノイズの輝度レベルを保っていた輝度データが突然に特定フレームのみ上昇した場合は、その他のノイズであると判定する。以上のことを基準として、複数フレームのデータを比較してスペックルノイズであるか否かの判定を行うことができる。
【0025】
次に、これらの判定基準により(a)スペックルノイズ、(b)データの欠落、(c)その他のノイズの判定を、複数フレームのデータを図7に示すようにグラフのパターンで分類して行う場合について説明する。この図7は、例えば5個のフレームf1〜f5の輝度データを用い、(a),(b),(c)図はスペックルノイズの判定を目的とした各フレームf1〜f5の同一番地(x,y)のデータを経時的に示したものである。図7では、フレームf1が最も新しい時相で、フレームf5が最も古い時相としている。
【0026】
初めに、図7(a)は、5個のデータf1〜f5が総て低い輝度レベルの範囲に分布しており、それぞれの輝度値はランダムで不規則であり、時間軸に対し不連続に存在している場合のパターンを示している。この(a)に示すグラフのパターンは、図5に示すように、心壁6の内部のように反射対象物の存在しない心腔内などに発生する「スペックルノイズ」7を特徴付けると判定できる。次に、図7(b)は、特定のフレーム、例えば第3フレームf3のみで一瞬輝度が低下した場合を示し、この時相のみがスペックルノイズのデータである場合のパターンを示している。この場合、フレームレートが低いときは、例えば心筋が拡張していくサイクルで心壁などが振動により超音波診断装置の探触子の視野から外れ、その後復旧した現象に対応している。また、フレームレートが高いときは、本来あるべきデータが電源回路等のゆらぎなどに起因して一瞬のみ欠落するいわゆる「黒抜けノイズ」と判定される。さらに、図7(c)は、特定フレーム、例えば第3フレームf3のみが高輝度で他のフレームはスペックルノイズの輝度レベルである場合のパターンを示している。この場合、フレームレートが低いときは、探触子の視野を強反射体、例えば弁先などが通過した場合に対応している。また、フレームレートが高いときは、超音波診断装置の回路の雑音や各種要因により音響的に混入した特異点雑音である「ペッパーノイズ」と判定される。
【0027】
このように各心時相の輝度情報が経時的に示すようなパターンを把握し、注目している時相の情報が実データかスペックルノイズ等であるか否かを判定することができる。そして、この判定結果により、当該画像データに対し雑音成分を除去する等の画像処理を施す。これにより、表示画像の画質が改善される。なお、図7に示す(a),(b),(c)の経時的なデータによるグラフのパターンは、実験的に求められるものである。また、図7は超音波画像の視野のある1点に注目したグラフであるが、実際には得られた超音波画像の視野全体について処理を行う。
【0028】
次に、連続する複数フレームの同一アドレスの画像データを経時的な相関を把握して並べ換え、各心時相の輝度情報が経時的に示すようなグラフのパターンを把握し、注目している時相の情報が実データかアーチファクトか或いは他のノイズ等であるかの判定を、上記グラフのパターンで分類して行う場合について説明する。この場合、連続する複数フレームの同一アドレスの経時的情報には、以下に示す種類のものが存在する。すなわち、
(1)実際の生体組織の動きを反映したもの
(2)多重反射などに依存するアーチファクト(音響的虚像)
(3)音波の干渉による雑音
(4)音場の乱れなどによる突発的な雑音
(5)電気的な雑音
などが存在する。これらの経時的情報は、単一時相の情報のみを観察していてもこれらの区別は不可能である。つまり、1枚のフリーズ画像からは上記の情報を抽出することは不可能である。
【0029】
これに対し、連続する複数フレームの画像情報をグラフ化すると、輝度等の経時的変化をパターン認識可能である。例えば、図8〜図12に示すように、横軸に時間つまり経時的なフレームの番号(例えば8フレームf1〜f8)をとり、縦軸に輝度をとって、時間変化に対する輝度変化の状況をグラフで示すと、上記の(1)から(5)までの各現象に対応したグラフのパターンを得ることができる。すなわち、(1)実際の生体組織の動きを反映したものに対応するグラフのパターンとして図8が、(2)多重反射などに依存するアーチファクトに対応するグラフのパターンとして図9が、(3)音波の干渉による雑音に対応するグラフのパターンとして図10が、(4)音場の乱れなどによる突発的な雑音に対応するグラフのパターンとして図11が、(5)電気的な雑音に対応するグラフのパターンとして図12が得られる。そして、これらのグラフは、上記の(1)から(5)までの各現象に独特のパターンを示している。
【0030】
従って、上記のように得られた各グラフを表示して、この表示されたグラフのパターンにより上記画像データの性状が上記の(1)から(5)までの各現象のいずれに該当するかを判定することができる。そして、この判定結果により、当該画像データに対し雑音成分を除去する等の画像処理を施す。これにより、表示画像の画質が改善される。
【0031】
図13は、本発明の超音波診断装置における画像データ判定処理回路15の他の設置例を示す全体構成のブロック図である。この設置例は、DSC部12と画像表示部13との間に画像データ判定処理回路15を設けたものである。図1の設置例では、超音波本体部11とDSC部12との間に画像データ判定処理回路15を設け、上記超音波本体部11より得たデータを超音波信号の送受信タイミングに同期して演算処理していたのに対し、図13の設置例では、DSC部12から出力されるフレーム画として完成されたデータ、すなわちテレビモニタなどに表示するため走査変換した画像データを、画像表示部13の表示のタイミングに同期して演算処理するものである。この場合は、図2に示す画像データ判定処理回路15の内部構成において、複数個の画像メモリ16a〜16nへの書き込み、読み出しのタイミングが走査変換後のタイミング、すなわち画像表示部13のテレビモニタなどへの表示タイミングに従っている。また、上記画像表示部13の表示用のフレーム画として上記複数個の画像メモリ16a〜16nの画像データを使用している。
【0032】
【発明の効果】
本発明は以上のように構成されたので、請求項1に係る発明によれば、超音波本体部から出力される時系列の複数フレームの画像データを複数個並列の画像メモリに1フレーム毎に順次書き込み、この画像メモリから読み出した複数の同一アドレスの画像データについて相関回路部で経時的に古いものから新しいものへ並び換えることにより経時的な相関を把握し、この相関回路部で把握した上記同一アドレスの画像データの経時的なパターン情報により、データ判定部で上記画像データの性状を判定し、このデータ判定部の判定結果により画像処理部で上記画像データに対し雑音成分を除去してディジタルスキャンコンバータ部へ処理後の画像データを送出することができる。従って、例えば循環器などの動画像に周期が不規則な雑音が混入している場合にその雑音を判定して低減処理することができ、特に高速で動く心壁や弁などの描出に適するものである。そして、上記周期が不規則な雑音等の除去により、画質を向上することができると共に画質の安定性を増すことができる。
【0033】
また、請求項2に係る発明によれば、ディジタルスキャンコンバータ部から出力される時系列の複数フレームの画像データを複数個並列の画像メモリに 1 フレーム毎に順次書き込み、この画像メモリから読み出した複数の同一アドレスの画像データについて相関回路部で経時的に古いものから新しいものへ並び換えることにより経時的な相関を把握し、この相関回路部で把握した上記同一アドレスの画像データの経時的なパターン情報により、データ判定部で上記画像データの性状を判定し、このデータ判定部の判定結果により画像処理部で上記画像データに対し雑音成分を除去して画像表示部へ処理後の画像データを送出することができる。従って、例えば循環器などの動画像に周期が不規則な雑音が混入している場合にその雑音を判定して低減処理することができ、特に高速で動く心壁や弁などの描出に適するものである。そして、上記周期が不規則な雑音等の除去により、画質を向上することができると共に画質の安定性を増すことができる。
【図面の簡単な説明】
【図1】 本発明による超音波診断装置の全体構成を示すブロック図である。
【図2】 上記超音波診断装置において画像データ判定処理回路の内部構成を示すブロック図である。
【図3】 上記画像データ判定処理回路におけるデータ判定部の詳細を示す説明図である。
【図4】 上記超音波診断装置を使用して実施する画像データ判定処理方法の原理を示す説明図である。
【図5】 被検体内の診断部位について収集した超音波断層像におけるスペックルノイズの分布状況を示す説明図である。
【図6】 収集した超音波画像の時間変化に対する輝度変化の状況を示すグラフである。
【図7】 スペックルノイズであるか否かの判定を複数フレームのデータをグラフのパターンで分類して行う場合を説明するグラフである。
【図8】 連続する複数フレームの画像情報について時間変化に対する輝度変化の状況をグラフで示すもので、実際の生体組織の動きを反映したものに対応するグラフのパターンを示す図である。
【図9】 同じく、多重反射などに依存するアーチファクトに対応するグラフのパターンを示す図である。
【図10】 同じく、音波の干渉による雑音に対応するグラフのパターンを示す図である。
【図11】 同じく、音場の乱れなどによる突発的な雑音に対応するグラフのパターンを示す図である。
【図12】 同じく、電気的な雑音に対応するグラフのパターンを示す図である。
【図13】 本発明の超音波診断装置における画像データ判定処理回路の他の設置例を示す全体構成のブロック図である。
【図14】 従来の超音波診断装置においてスペックルノイズを除去するためのフレーム相関処理回路を示すブロック図である。
【符号の説明】
10…探触子
11…超音波本体部
12…DSC部
13…画像表示部
14…制御回路部
15…画像データ判定処理回路
16a〜16n…画像メモリ
17…相関回路部
18…メモリ
19…データ判定部
20…画像処理部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an ultrasonic diagnostic apparatus that measures and displays a tomographic image of a diagnostic region in a subject using ultrasonic waves, for example, when a moving image of a circulatory organ or the like includes noise with an irregular period The noise is judged and processedbe able toThe present invention relates to an ultrasonic diagnostic apparatus.
[0002]
[Prior art]
In general, in an ultrasonic image obtained by an ultrasonic diagnostic apparatus, for example, noise with irregular periods called speckle noise is mixed. This speckle noise is considered to be that small bright spots appear randomly due to interference of scattered waves generated at various phases by a group of reflectors of a living tissue that is sufficiently smaller than the wavelength of ultrasonic waves. This speckle noise is known to appear superimposed on the original reflected echo signal over the entire area of the B-mode image. That is, for example, in an ultrasound image of the heart, speckle noise is superimposed on the reflected echo signal of a structure such as the heart wall, disturbing the original signal and causing image quality degradation such as flickering of the image, and reflectors such as the heart cavity Speckle noise also appears in parts where there is no noise and deteriorates the image quality. In general, speckle noise is considered to change its shape greatly depending on the arrangement of minute scatterers distributed in the living body, and it is known that the speckle noise pattern changes as the living tissue moves. However, the degree of change, direction, brightness, etc. of the pattern is not uniform. From this, it has been confirmed that speckle noise changes irregularly when the living body is moving.
[0003]
In response to such circumstances, the conventional ultrasonic diagnostic apparatus performs addition averaging processing weighted over time by a frame correlation processing circuit as shown in FIG. 14 to reduce speckle noise of moving images. It was reduced. This frame correlation processing circuit conventionally reduces speckle noise by a technique generally called “frame correlation” or “scc (scan correlation) scan correlation”. As shown in FIG. An
[0004]
In the frame correlation processing circuit, the
[0005]
Here, the correlation processing performed in the
a · X + b · Y = c (1)
In many cases, the weighted addition averaging process is performed by using the X and Y correlation coefficients. Here, X <1, Y <1,
X + Y = 1 (2)
There is a relationship. In general, the correlation coefficients X and Y are selected and used according to the diagnostic part of the subject and the level of noise.
[0006]
[Problems to be solved by the invention]
However, in the frame correlation processing circuit in such a conventional ultrasonic diagnostic apparatus, the image data input to the B input of the
[0007]
In view of this, the present invention addresses such a problem, for example, when noise having an irregular period is mixed in a moving image such as a circulator, the noise is determined and reduced, and the moving image moves particularly quickly. Suitable for drawing heart walls and valvesUltrasonic diagnostic equipmentThe purpose is to provide.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, an ultrasonic diagnostic apparatus according to the present invention processes a probe that transmits and receives ultrasonic waves in a subject, and a reflected echo signal obtained by transmitting and receiving ultrasonic waves,thisAn ultrasonic body for recording a plurality of frames of ultrasonic image data in the subject in time series using the processed reflected echo signals, and reading out the recorded ultrasonic image data for each scanning line of the ultrasonic beam In an ultrasonic diagnostic apparatus having a digital scan converter unit that writes image data to form image data, an image display unit that displays the formed image data as an image, and a control unit that controls the operation of each of the above-described components, Above ultrasonic bodyPartTime-series image data output fromA plurality of parallel image memories that sequentially write image data for each frame, and a plurality of image data at the same address read from the image memory are rearranged from old to new over time.Understanding the correlation over timeCorrelation circuitWhen,By the temporal pattern information of the image data of the same address grasped by the correlation circuit unit,Determine the properties of the image dataData judgment partWhen,Data determination unitThe noise component is removed from the image data based on the judgment resultImage processing unit for sending processed image data to the digital scan converter unitAre provided.
[0009]
In addition, an ultrasonic diagnostic apparatus using other means processes a probe that transmits and receives ultrasonic waves in a subject, a reflected echo signal obtained by transmitting and receiving ultrasonic waves, and uses the processed reflected echo signal. An ultrasonic main unit that records a plurality of frames of ultrasonic image data in a subject in time series, and a digital that reads out the recorded ultrasonic image data and writes it for each scanning line of the ultrasonic beam. In an ultrasonic diagnostic apparatus having a scan converter unit, an image display unit that displays the formed image data as an image, and a control unit that controls the operation of each of the above components,DeThe time series of multiple frames of image data output from the digital scan converter1 Every frameA plurality of parallel image memories for writing sequentially,the aboveMultiple read from image memoryOf the same addressAbout image dataBy rearranging from old to new over timeA correlation circuit section for grasping the correlation over time;the aboveWe grasped in correlation circuit partBy the time-dependent pattern information of the image data of the same address,A data determination unit for determining the properties of the image data;the aboveThe noise component is removed from the image data based on the judgment result of the data judgment unit.And send the processed image data to the image display unit.With the image processorTheIt is provided.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
FIG.The present inventionbyIt is a block diagram which shows the whole structure of an ultrasound diagnosing device. This ultrasound diagnostic apparatus measures and displays a tomographic image of a diagnostic site in a subject using ultrasound.FIG.As shown in FIG. 1, the
[0012]
The
[0013]
Here, in the present invention,,UpAn image data
[0014]
The plurality of
[0015]
Then configured like thisSuperThe operation of the ultrasonic diagnostic apparatus will be described. First, a plurality of consecutive frames of image data output from the
[0016]
An example of a graph displayed on the
[0017]
When the
[0018]
Details of the data determination unit 19FIG.Will be described with reference to FIG. For example, the
[0019]
In this state, the first address line La1The image data of the frame of the oldest time phase is compressed to 3 bits and inputted. Further, the second address line La2The image data of the new time phase by one frame from the oldest time phase is compressed to 3 bits and inputted. Further, the third address line LaThreeThe image data of the new time phase by 2 frames from the oldest time phase is compressed to 3 bits and inputted. ... and the eighth address line La8The latest time phase image data is compressed to 3 bits and inputted. ThisLaterofFIG.~FIG.Each time phase f shown in1~ F8Can be assigned to the ROM address for constructing the firmware of the
[0020]
Then, the data of the addresses defined by these are encoded, and for example, 01, 02, 03, 04, 05 are output from the output line Lo as the determination result data. At this time, for example, the output 01 isFIG.(1) The data determined to reflect the actual movement of the biological tissue is determined, and the output 02 isFIG.(2) Data determined as artifacts depending on multiple reflections, etc., and output 03 isFIG.(3) The data determined as noise caused by sound wave interference is determined, and the output 04 isFIG.(4) Data determined as sudden noise due to disturbance of the sound field, etc.FIG.(5) Data determined as electrical noise may be determined. The output of such determination results reveals the properties of the image data.
[0021]
The data of the determination result output from the
[0022]
Next, an image data determination processing method that is performed using the thus configured ultrasonic diagnostic apparatus will be described with reference to FIGS. This image data determination processing method is the same as that described above.In the ultrasonic diagnostic apparatus, the ultrasonic main body11From the memory part ofFIG.Multiple consecutive frames f as shown in1, F2,..., Fn are simultaneously read out in parallel, and the image data at the same address in each frame is grasped over time, and the oldest to the newest f1, F2,..., Fn are rearranged correctly, the rearranged image data is graphed and displayed, the characteristics of the image data are determined based on the displayed graph pattern, and noise is reduced with respect to the image data based on the determination result. The image processing is performed.
[0023]
For example,FIG.In the
[0024]
here,FIG.In the graph showing the situation of the luminance change with respect to the time change shown in FIG.1If the luminance data from the tissue in the living body that maintains the high luminance shown in FIG. 5 is low only in a specific frame, it is determined that the data is missing. further,FIG.In curve C2If the luminance data that maintains the luminance level of the speckle noise shown in Fig. 5 suddenly rises only in a specific frame, it is determined that the noise is other noise. Based on the above, it is possible to compare data of a plurality of frames and determine whether or not it is speckle noise.
[0025]
Next, according to these determination criteria, (a) speckle noise, (b) data loss, (c) other noise determination, multiple frame dataFIG.A case where classification is performed by a graph pattern as shown in FIG. thisFIG.For example, 5 frames f1~ FFive(A), (b), and (c) are diagrams showing each frame f for the purpose of determining speckle noise.1~ FFiveThe data of the same address (x, y) are shown over time.FIG.Then, frame f1Is the newest phase, frame fFiveIs the oldest phase.
[0026]
at first,FIG.(A) shows five pieces of data f1~ FFiveAre distributed in a range of low luminance levels, and each luminance value is random and irregular, and shows a pattern in which the luminance values are discontinuous with respect to the time axis. The pattern of the graph shown in (a) isFIG.As shown in FIG. 5, it can be determined that “speckle noise” 7 that occurs in the heart chamber where the reflection target does not exist, such as the inside of the
[0027]
In this way, it is possible to grasp a pattern such that the luminance information of each cardiac time phase shows with time and determine whether the information of the time phase of interest is actual data or speckle noise. Then, based on the determination result, image processing such as removing noise components is performed on the image data. Thereby, the image quality of the display image is improved. In addition,FIG.(A), (b), and (c), the graph pattern based on the time-lapse data shown in FIG. Also,FIG.Is a graph focusing on one point in the field of view of the ultrasonic image, but in practice, the entire field of view of the obtained ultrasonic image is processed.
[0028]
Next, when recognizing the pattern of the graph that the luminance information of each cardiac phase shows over time, rearrange the image data of the same address of multiple consecutive frames by recognizing the correlation over time, A case will be described in which the determination of whether the phase information is actual data, artifacts, or other noise is performed by classifying according to the pattern of the graph. In this case, there are the following types of information over time at the same address in a plurality of consecutive frames. That is,
(1) Reflecting actual biological tissue movement
(2) Artifacts depending on multiple reflections (acoustic virtual images)
(3) Noise caused by sound wave interference
(4) Sudden noise caused by disturbance of the sound field
(5) Electrical noise
Etc. exist. These temporal information cannot be distinguished even when only information of a single time phase is observed. That is, it is impossible to extract the above information from one freeze image.
[0029]
On the other hand, when the image information of a plurality of continuous frames is graphed, it is possible to recognize a change over time such as luminance. For example,FIG.~FIG.As shown in FIG. 4, the horizontal axis indicates time, that is, the number of frames over time (for example, 8 frames f).1~ F8), And the vertical axis represents the luminance, and the state of the luminance change with respect to the time change is shown in a graph, a graph pattern corresponding to each of the above phenomena (1) to (5) can be obtained. That is, (1) as a pattern of a graph corresponding to what reflects the actual movement of living tissueFIG.(2) As a graph pattern corresponding to artifacts that depend on multiple reflections, etc.FIG.(3) As a pattern of a graph corresponding to noise caused by sound wave interferenceFIG.(4) As a graph pattern corresponding to sudden noise due to disturbance of the sound field, etc.FIG.(5) As a graph pattern corresponding to electrical noiseFIG.Is obtained. These graphs show unique patterns for the above phenomena (1) to (5).
[0030]
Therefore, each graph obtained as described above is displayed, and it is determined which of the above phenomena (1) to (5) the property of the image data corresponds to the pattern of the displayed graph. Can be determined. Then, based on the determination result, image processing such as removing noise components is performed on the image data. Thereby, the image quality of the display image is improved.
[0031]
FIG.The present inventionIt is a block diagram of the whole structure which shows the other example of installation of the image data
[0032]
【The invention's effect】
Since the present invention is configured as described above, according to the invention of
[0033]
Claims2According to the invention according toDigital scan converter sectionTime-series image data output fromMultiple image memory in parallel 1 Every frameSequential writing, multiple read from this image memoryOf the same addressCorrelation circuit for image dataBy rearranging from old to new over timeThe correlation over time was grasped and grasped by this correlation circuit section.By the time-dependent pattern information of the image data of the same address,The data determination unit determines the characteristics of the image data, and the image processing unit removes noise components from the image data based on the determination result of the data determination unit.do itThe processed image data can be sent to the image display unit. Therefore, for example, when a moving image of a circulatory organ or the like contains noise with an irregular period, the noise can be judged and reduced, and is particularly suitable for rendering a heart wall or a valve that moves at high speed. It is. Then, by removing noise with irregular cycles, the image quality can be improved and the stability of the image quality can be increased.
[Brief description of the drawings]
[Figure 1]The block diagram which shows the whole structure of the ultrasound diagnosing device by this inventionIt is.
[Figure 2]Block diagram showing an internal configuration of an image data determination processing circuit in the ultrasonic diagnostic apparatusIt is.
[Fig. 3]Explanatory drawing which shows the detail of the data determination part in the said image data determination processing circuitIt is.
[Fig. 4]Explanatory drawing which shows the principle of the image data determination processing method implemented using the said ultrasonic diagnostic apparatusIt is.
[Figure 5]Explanatory drawing showing the distribution of speckle noise in ultrasonic tomograms collected for diagnostic sites in a subjectIt is.
[Fig. 6]A graph showing the state of brightness change with time of collected ultrasound imagesIt is.
[Fig. 7]Graph explaining the case of determining whether or not it is speckle noise by classifying multiple frames of data according to the pattern of the graphIt is.
[Fig. 8]This is a graph that shows the change in luminance with respect to time for a plurality of consecutive frames of image information, and reflects the actual movement of biological tissue.It is a figure which shows the pattern of a corresponding graph.
[Fig. 9]For artifacts that depend on multiple reflectionsIt is a figure which shows the pattern of a corresponding graph.
FIG. 10Similarly, the figure which shows the pattern of the graph corresponding to the noise due to the interference of the sound waveIt is.
FIG. 11Similarly, a diagram showing a graph pattern corresponding to sudden noise caused by disturbance of the sound field, etc.It is.
FIG.Similarly, the figure which shows the pattern of the graph corresponding to the electric noiseIt is.
FIG. 13The present inventionIt is a block diagram of the whole structure which shows the other example of installation of the image data determination processing circuit in the ultrasonic diagnostic apparatus.
FIG. 14 is a block diagram showing a frame correlation processing circuit for removing speckle noise in a conventional ultrasonic diagnostic apparatus.
[Explanation of symbols]
10 ... Probe
11 ... Ultrasonic body
12 ... DSC
13. Image display unit
14 ... Control circuit section
15. Image data determination processing circuit
16a to 16n: Image memory
17 ... Correlation circuit section
18 ... Memory
19: Data determination unit
20: Image processing unit
Claims (2)
上記超音波本体部から出力される時系列の複数フレームの画像データを1フレーム毎に順次書き込む複数個並列の画像メモリと、
上記画像メモリから読み出した複数の同一アドレスの画像データについて経時的に古いものから新しいものへ並び換えることにより経時的な相関を把握する相関回路部と、
上記相関回路部で把握した上記同一アドレスの画像データの経時的なパターン情報により、上記画像データの性状を判定するデータ判定部と、
上記データ判定部の判定結果により画像データに対し雑音成分を除去して上記ディジタルスキャンコンバータ部へ処理後の画像データを送出する画像処理部とを、
備えたことを特徴とする超音波診断装置。A probe for transmitting and receiving ultrasonic waves into the subject, processing the reflected echo signals obtained by transmitting and receiving ultrasonic waves, time-series data of the ultrasonic image in the object by using the processed echo signals An ultrasonic main body for recording a plurality of frames in the image, a digital scan converter for reading out the recorded ultrasonic image data and writing it for each scanning line of the ultrasonic beam, and forming the formed image data. In an ultrasonic diagnostic apparatus having an image display unit that displays an image and a control unit that controls the operation of each of the above components,
An image memory of a plurality parallel writing time sequential image data of a plurality of frames of sequence per frame output the ultrasonic body portion or al,
A correlation circuit unit that grasps a correlation over time by rearranging a plurality of image data at the same address read from the image memory from a new one to a new one over time;
A data determination unit for determining the properties of the image data based on the temporal pattern information of the image data at the same address grasped by the correlation circuit unit ;
An image processing unit that removes noise components from the image data based on the determination result of the data determination unit and sends the processed image data to the digital scan converter unit ,
An ultrasonic diagnostic apparatus comprising:
上記ディジタルスキャンコンバータ部から出力される時系列の複数フレームの画像データを1 フレーム毎に順次書き込む複数個並列の画像メモリと、
上記画像メモリから読み出した複数の同一アドレスの画像データについて経時的に古いものから新しいものへ並び換えることにより経時的な相関を把握する相関回路部と、
上記相関回路部で把握した上記同一アドレスの画像データの経時的なパターン情報により、上記画像データの性状を判定するデータ判定部と、
上記データ判定部の判定結果により画像データに対し雑音成分を除去して上記画像表示部へ処理後の画像データを送出する画像処理部とを、
備えたことを特徴とする超音波診断装置。A probe that transmits / receives ultrasonic waves to / from the subject and a reflected echo signal obtained by transmitting / receiving the ultrasonic waves are processed, and ultrasonic image data in the subject is time-series using the processed reflected echo signals. An ultrasonic main body for recording a plurality of frames in the image, a digital scan converter for reading out the recorded ultrasonic image data and writing it for each scanning line of the ultrasonic beam, and forming the formed image data. In an ultrasonic diagnostic apparatus having an image display unit that displays an image and a control unit that controls the operation of each of the above components,
A plurality parallel of the image memory write time sequence image data of a plurality of frames of a sequence for each frame outputted from the upper Kide I digital scan converter unit,
A correlation circuit to grasp the temporal correlation by rearranging the new one from those over time older the image data of a plurality of identical address read from the image memory,
A data determination unit for determining the properties of the image data based on the temporal pattern information of the image data at the same address grasped by the correlation circuit unit;
By removing a noise component with respect to the image data by the determination result of the data determination unit and an image processing unit for transmitting the processed image data to the image display unit,
An ultrasonic diagnostic apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05141397A JP3878273B2 (en) | 1997-03-06 | 1997-03-06 | Ultrasonic diagnostic equipment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05141397A JP3878273B2 (en) | 1997-03-06 | 1997-03-06 | Ultrasonic diagnostic equipment |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10243945A JPH10243945A (en) | 1998-09-14 |
JP3878273B2 true JP3878273B2 (en) | 2007-02-07 |
Family
ID=12886249
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP05141397A Expired - Fee Related JP3878273B2 (en) | 1997-03-06 | 1997-03-06 | Ultrasonic diagnostic equipment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3878273B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5481261B2 (en) * | 2010-04-06 | 2014-04-23 | 株式会社東芝 | Ultrasonic diagnostic apparatus and multiple detection program |
JP6413616B2 (en) * | 2013-11-06 | 2018-10-31 | コニカミノルタ株式会社 | Ultrasonic diagnostic apparatus, controller for ultrasonic diagnostic apparatus, and control method for ultrasonic diagnostic apparatus |
JP7199972B2 (en) * | 2019-01-11 | 2023-01-06 | キヤノン株式会社 | Information processing device, information processing method, program |
-
1997
- 1997-03-06 JP JP05141397A patent/JP3878273B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH10243945A (en) | 1998-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11672509B2 (en) | Shear wave elastrography method and apparatus for imaging an anisotropic medium | |
CA2764263C (en) | Method and apparatus for measuring heart contractility | |
JP3542858B2 (en) | Ultrasound diagnostic equipment | |
US7455640B2 (en) | Ultrasonic diagnostic apparatus | |
US6228030B1 (en) | Method of using ultrasound energy to locate the occurrence of predetermined event in the heart cycle or other physiologic cycle of the body | |
CN100421627C (en) | Ultrasound imaging apparatus and method of ultrasound imaging | |
JPS63317141A (en) | Ultrasonic diagnostic apparatus | |
EP0406909A2 (en) | Ultrasonic diagnosing apparatus | |
JP4275573B2 (en) | Ultrasonic diagnostic equipment | |
JP3878273B2 (en) | Ultrasonic diagnostic equipment | |
US7346228B2 (en) | Simultaneous generation of spatially compounded and non-compounded images | |
JPH10286256A (en) | Ultrasonic diagnostic device and filter | |
JPH04200457A (en) | Ultrasonic diagnosing apparatus | |
JPS61154651A (en) | Ultrasonic diagnostic apparatus | |
JP4079392B2 (en) | Ultrasonic diagnostic equipment | |
JP2007167351A (en) | Ultrasonographic instrument | |
JP5950271B2 (en) | Ultrasonic diagnostic equipment | |
JP7419081B2 (en) | Ultrasonic diagnostic equipment, image processing method, image processing method and program | |
JP3038616B2 (en) | Ultrasound diagnostic equipment | |
JP2939640B2 (en) | An ultrasonic diagnostic apparatus that displays a blood flow velocity distribution image in a subject two-dimensionally | |
JPH07323030A (en) | Ultrasonic diagnostic apparatus | |
JPH11290325A (en) | Ultrasonic diagnostic system | |
JP2791578B2 (en) | Ultrasonic Doppler device | |
JP2021115225A (en) | Ultrasonic diagnostic device, learning device, image processing method, and program | |
JP2003235843A (en) | Ultrasonic diagnostic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040305 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040305 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060612 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060627 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060825 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061031 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061102 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101110 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101110 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111110 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111110 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121110 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131110 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |