JP3671700B2 - Ultrasonic image generator - Google Patents
Ultrasonic image generator Download PDFInfo
- Publication number
- JP3671700B2 JP3671700B2 JP29043898A JP29043898A JP3671700B2 JP 3671700 B2 JP3671700 B2 JP 3671700B2 JP 29043898 A JP29043898 A JP 29043898A JP 29043898 A JP29043898 A JP 29043898A JP 3671700 B2 JP3671700 B2 JP 3671700B2
- Authority
- JP
- Japan
- Prior art keywords
- ultrasonic
- image
- unit
- dimensional
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、超音波振動子をヘリカル動作させる間に二次元ラジアル超音波画像を所定の方向に多数取得して、これらの二次元ラジアル超音波画像から立体画像を構築する三次元化処理を行うのに必要な単位画像と、それ以外の不要な画像とを選別して、単位画像のみを三次元化処理手段に取り込んで三次元化処理を行う超音波画像生成装置に関するものである。
【0002】
【従来の技術】
超音波検査は、超音波振動子を用いて患者の体内に超音波信号を送信し、体内組織の断層部分からの反射エコーを受信し、この反射エコーの受信信号を所定の処理を行うことによって、モニタ画面に体内組織の断層情報を超音波画像として表示するものである。体内の所定の範囲にわたって超音波走査を行うと、この走査範囲の二次元超音波画像、即ちBモード超音波画像が得られるが、この二次元超音波画像を所定方向に一定のピッチ間隔をもって多数取得した後に、これらの二次元超音波画像を画像処理することによって、三次元画像に変換して表示する手法は知られている。このように、二次元超音波画像を三次元化してモニタ画面に表示すると、体内組織構造の把握が容易になることから、超音波診断の精度が向上する。
【0003】
二次元超音波画像はX,Y直交2軸上に表現されるものであり、多数の二次元超音波画像を所定の方向に一定のピッチ間隔で並べると、この二次元超音波画像の並び方向をZ軸とした三次元座標軸(X,Y,Z)上に所定の広がりを有する空間的な表現が可能となる。超音波画像は、体内組織構造を輝度の差に基づいて濃淡で表示したものであることから、例えば前後の二次元超音波画像の輝度に基づいて線形補間を行えば、体内の組織構造を立体的に表示できる。また、三次元座標軸上の空間をボクセル化して、各ボクセルにおける濃淡情報を表示するようにしても、体内の組織構造を立体的に表示することができる。そして、これらの立体画像信号に基づいて所定の画像処理を行えば、関心のある臓器構造や体腔管内の組織構造等を抽出して表示することも可能になる。
【0004】
体腔内の超音波画像を取得するためのものとして、先端に超音波振動子を装着した可撓性コードを有する超音波プローブは従来から広く知られている。また、超音波プローブを体腔内に導くために、内視鏡の処置具挿通チャンネル等をガイド手段として用いる構成としたものもある。ガイド手段を用いるか否かはともかくとして、超音波プローブは、可撓性チューブの先端に超音波走査部を構成する先端キャップを連結して設け、この先端キャップ内に超音波振動子が設けられる。そして、この超音波振動子を先端キャップの軸線方向に直進させながら超音波走査を行う場合には、押し引き操作手段を超音波振動子に接続する等によって、この超音波振動子を遠隔操作で移動させるようにする。一方、超音波振動子を先端キャップ内で回転駆動すれば、回転方向の超音波走査が可能になる。これらの超音波振動子の走査は、それぞれリニア走査,ラジアル走査であり、従って各走査により得られる超音波画像は、それぞれリニア超音波画像,ラジアル超音波画像であって、これらはいずれも二次元超音波画像である。
【0005】
超音波振動子を直進駆動し、かつ回転駆動する構成とすれば、X,Y直交2軸上に表現可能な二次元超音波画像、つまり二次元ラジアル超音波画像を直進方向に向けて一定のピッチ間隔で並ぶようにして取得できる。ただし、超音波振動子を所定のピッチ間隔毎に間欠送りをして、停止中にそれを回転させるように構成すると、制御が極めて困難かつ面倒になる。このために、超音波振動子を連続的に回転させながら連続的に直進させるようにするのが一般的である。従って、超音波振動子の移動軌跡はこれらの動きを合成したヘリカルな動きとなる。
【0006】
遠隔操作により超音波振動子をヘリカル動作させるには、超音波プローブの基端部に操作部を連結して設けて、超音波振動子に密着コイル等からなるフレキシブルシャフトを連結し、このフレキシブルシャフトを可撓性チューブ内に挿通させて、操作部の内部に導くようにする。そして、操作部内にはモータ等の回転駆動手段を設けて、フレキシブルシャフトの基端部に接続する。さらに、フレキシブルシャフト及びその回転駆動手段からなるユニット全体を可撓性チューブの軸線方向に移動させる直進駆動手段を設ける。この場合、直進駆動手段は前述したユニットを往復移動させるものであり、かつその往復移動ストロークは予め所定の範囲に設定しておく。
【0007】
このように超音波振動子をヘリカル動作させると、超音波振動子が1回転する間に、直進方向(Z軸方向)にもある距離だけ移動する。従って、実際に得られるラジアル超音波画像は、このZ軸に対して正確に直交する方向の超音波画像、つまりX,Y直交2軸上の超音波画像が得られるのではなく、Z軸方向にある幅を持ったラジアル超音波画像となる。要するに、このラジアル超音波画像を擬似的なX,Y直交2軸上の二次元超音波画像とするが、ラジアル超音波画像の始端位置と終端位置とでは、Z軸方向の位置がずれているために、完全な形の二次元超音波画像とはならない。従って、ラジアル画像における原点位置(回転方向の始端位置と終端位置)の接合部の位置ずれを最小限に抑制するためには、超音波振動子をできるだけ高速で回転駆動する必要がある。そうすると、直進動作の全ストローク間を移動させた時に取得される二次元超音波画像の枚数は膨大なものになる。これら全ての二次元超音波画像を用いて三次元化処理を行うには、極めて膨大な信号処理量となり、信号処理が極めて複雑になることから、大型の信号処理装置を必要とし、しかも信号処理に多大の時間を必要とする。
【0008】
このように、多数得られた二次元超音波画像から三次元化処理するに当っての単位画像となるものを所定のピッチ間隔毎に選択し、それ以外の不要な画像を間引くようにすると、信号処理の簡略化を図ることができる。そして、どの画像を三次元化処理を行うための単位画像として選択し、どの画像を不要なものとして間引くかについて、いくつかの方式が提案されている。最も一般的に行われているのは、超音波振動子の直進方向への移動開始時点から所定の時間間隔毎に得られるラジアル超音波画像を単位画像とするものである。また、単位画像をそれ以外の画像と区別するために、超音波画像を生成する際に単位画像にマーカを付ける等により、不要な画像との識別するように構成したものもある。
【0009】
【発明が解決しようとする課題】
ところで、超音波プローブとして、前述したように、超音波振動子の回転方向及び直進方向への移動は、可撓性チューブ内に挿通させたフレキシブルシャフトが伝達部材となるが、超音波プローブは挿入経路に沿って曲がった状態となっており、また特に内視鏡の処置具挿通チャンネル等をガイド手段とする場合において、内視鏡の挿入部を構成するアングル部を湾曲操作した状態で、超音波振動子が駆動されることもある。このような場合には、フレキシブルシャフトと可撓性チューブとの間の摺動抵抗等により直進駆動手段に負荷が作用して、直進方向の動きが鈍くなる可能性もある。従って、時間管理により単位画像とそれ以外の画像とに分けていたのでは、リニア方向の移動速度が変化すると、前後の単位画像におけるZ軸方向における間隔が変化してしまい、これらの単位画像から生成した三次元超音波画像が実際より間延びしたものとなったり、縮こまったものとなったりする。一方、二次元超音波画像を取得する毎に、それを単位画像とするか否かの判定を行って、単位画像として選択されるものについてはマーカ等を付すようにすると、判定手段及びマーカ付与手段等が必要となる関係から、超音波画像を生成するための信号処理装置の構成が複雑になると共に信号処理も複雑になる等といった問題点がある。
【0010】
本発明は以上の点に鑑みてなされたものであって、その目的とするところは、簡単な構成によって、二次元超音波画像生成手段で得た多数の二次元超音波画像から三次元化処理を行う単位画像を容易に選別でき、しかも超音波振動子の直進方向への動き速度が変化しても、正確な三次元超音波画像を表示できるような単位画像を取得できるようにすることにある。
【0011】
【課題を解決するための手段】
前述した目的を達成するために、本発明は、ラジアル駆動モータと直進用モータとによって、遠隔操作で超音波振動子を連続的に回転させながら所定のストロークだけ直進方向に往復移動させるヘリカル動作を行う間に、この超音波振動子の前進ストローク端位置と後退ストローク端位置との間で複数の二次元ラジアル超音波画像を取得するようになし、このようにして取得した複数の二次元ラジアル超音波画像のうち、規則的なピッチ間隔毎に選択して単位画像となし、これら単位画像から三次元超音波画像信号を生成する三次元化処理手段とを備えたものであって、前記超音波振動子の回転角を検出するエンコーダを有し、このエンコーダに基準位置を設けて、この基準位置信号が出力される毎に1枚の二次元ラジアル超音波画像を取得する二次元超音波画像生成手段と、前記二次元超音波画像生成手段により前記超音波振動子の直進ストローク始端位置から終端位置までに得られた二次元ラジアル超音波画像の総数を計数する計数部と、前記三次元化処理手段に取り込む二次元ラジアル超音波画像の数を設定する単位画像数設定部と、前記計数部で取得した二次元ラジアル超音波画像の総数と前記単位画像数設定部で設定された画像数との比に基づき不要画像を間引いて、単位画像を抽出する画像抽出部とによって前記三次元化処理手段に入力される所定枚数の単位画像を選択する単位画像選択手段を備える構成としたことをその特徴とするものである。
【0012】
【発明の実施の形態】
以下、図面に基づいて本発明の実施の一形態について説明する。まず、図1及び図2には、二次元超音波画像生成手段の一例として、経内視鏡的に挿入される超音波検査装置が示されている。
【0013】
図1において、1は内視鏡を示し、この内視鏡1は本体操作部1aに体腔内への挿入部1bを連設してなるものである。内視鏡1には、その本体操作部1aの先端部分から挿入部1bの先端部にまでの間には、鉗子等の処置具を挿通するための処置具挿通チャンネル2が設けられて、処置具挿通チャンネル2は挿入部1bの先端に開口している。3は超音波プローブであって、この超音波プローブ3は、操作部4に処置具挿通チャンネル2内に挿入される可撓性を有するカテーテル5を連設してなるものであり、また操作部4には超音波観測装置6に着脱可能に接続されるケーブル7が引き出されている。
【0014】
図2に示したように、カテーテル5は先端が閉塞した可撓性チューブ8を有し、この可撓性チューブ8の内部には密着コイルからなるフレキシブルシャフト9が挿通されている。可撓性チューブ8の先端には硬性の先端キャップ8aが連設されており、この先端キャップ8a内に単板からなる超音波振動子10が設けられ、この超音波振動子10は取付部材11に搭載されている。そして、フレキシブルシャフト9の先端は、この先端キャップ8a内において、取付部材11に連結して設けられている。従って、先端キャップ8aの部位は超音波走査部を構成するものであり、先端キャップ8a内での超音波振動子10の動きは回転しながらその軸線方向に向けて所定のストロークだけ往復移動する、所謂ヘリカル動作することになる。
【0015】
また、カテーテル5の基端部に連結した操作部4は、そのケーシングの内部に回転軸12が設けられており、この回転軸12はケーシングに軸受13,13によって回転及び軸線方向に移動可能に支持されている。回転軸12の先端は、シール部材14を介して可撓性チューブ8の基端部内に延在されており、この部位でフレキシブルシャフト9に連結されている。また、回転軸12の基端部には駆動ユニット15が連結されている。駆動ユニット15は、操作部4内において回転不能で、回転軸12の軸線方向に移動可能に設けられており、回転軸12のうちの駆動ユニット15内の位置にはプーリ16が連結されている。駆動ユニット15内にはエンコーダ17aを付設したラジアル駆動モータ17が装着されており、このラジアル駆動モータ17には、プーリ16を回転駆動するための伝達部材としてプーリ18が接続されると共に、プーリ16,18間にタイミングベルト19が巻回して設けられている。さらに、回転軸12の基端部にはロータリコネクタ20が連結されており、超音波振動子10に接続し、フレキシブルシャフト9と共に回転する信号ケーブル(図示せず)は、ロータリコネクタ20を介して回転しないケーブル21に接続されるようになっている。
【0016】
ラジアル駆動モータ17によって回転軸12及びフレキシブルシャフト9を順次介して超音波振動子10が回転駆動されるが、さらに超音波振動子10を先端キャップ8a内という有限の範囲で、この先端キャップ8aの軸線方向に、つまり直進移動できるようになされている。このために、回転軸12には連動部材22が取り付けられており、この連動部材22はボールナット部22aを備え、このボールナット部22aにはねじ軸23が挿通されている。従って、ねじ軸23を回転させると、連動部材22が直進して、回転軸12及び駆動ユニット15が前進,後退することになる。このねじ軸23を回転駆動するために、正逆回転可能な直進用モータ24が接続されている。これによって、超音波振動子10を直進させることができ、従ってボールナット部22aを有する連動部材22とねじ軸23及びこのねじ軸23の回転駆動手段としての直進用モータ24とで直進駆動手段が構成される。
【0017】
そして、超音波振動子10の直進方向におけるストローク端位置を規制するために、一対のリミットスイッチ25a,25bを備えており、超音波振動子10の前進ストローク端に至ると、連動部材22によりリミットスイッチ25aがONするようになり、また後退ストローク端位置に至ると、連動部材22はリミットスイッチ25bをONさせることになる。従って、リミットスイッチ25a,25bのいずれかがONした時には、直進用モータ24の動作方向を反転させるように制御される。
【0018】
以上の構成を有する超音波プローブ3は、ラジアル駆動モータ17と直進用モータ24とを同時に作動させることによって、超音波振動子10をヘリカル動作させるが、超音波走査は回転方向のものとなし、従ってラジアル走査が行われることになる。回転方向のエンコーダ17aを設けたのはこのためであり、超音波振動子10は回転しながら直進することから、擬似的ではあるが、直進方向のストローク端間で多数の二次元ラジアル超音波画像信号が得られる。
【0019】
そこで、図3に超音波プローブ3を構成する超音波観測装置6の信号処理部6aにおける回路構成を示す。この信号処理部6aは二次元超音波画像信号処理部30を有し、この二次元超音波画像信号処理部30は、超音波送受信回路31と、振動子駆動回路32と、位置検出回路33と、超音波走査制御回路34と、超音波信号処理回路35とから構成される。
【0020】
超音波送受信回路31は、超音波振動子10における超音波の送受信を制御するためのものであって、この超音波送受信回路31は、送信モードと受信モードとが交互に切り換わる。送信モードでは、超音波振動子10にトリガ信号が入力され、このトリガ信号に基づいて超音波振動子10から体内に向けて超音波パルス信号が送信される。超音波パルス信号が送信されると、超音波送受信回路31は受信モードに切り換わる。体内に向けて送信された超音波パルス信号は、音響インピーダンスが異なる体内組織の断層部で反射エコーが発生して、超音波振動子10にこの反射エコーが受信されて電気信号に変換される。そして、この信号が超音波送受信回路31に伝送される。
【0021】
振動子駆動回路32は、超音波振動子10を回転駆動するためのラジアル駆動モータ17のON,OFF制御及びその回転速度を一定になるように制御するものであり、また位置検出回路33は、超音波振動子10の回転方向の位置、即ち回転角と、その直進方向の両ストローク端位置とを検出するものである。従って、位置検出回路33には、超音波振動子10の回転角を検出するためのエンコーダ17aと、直進ストロークの始端位置及び終端位置とを検出するためのリミットスイッチ25a,25bからの信号が取り込まれるようになっている。なお、直進ストロークの始端位置及び終端位置は、これ以外にも、例えばエンコーダ等で検出しても良い。
【0022】
超音波走査制御回路34は、位置検出回路33から出力される超音波振動子10の回転方向の位置検出信号に基づいて、超音波送受信回路31にトリガ信号を発生させるように制御する。また、超音波送受信回路31を介して超音波信号処理回路35に超音波反射エコー信号が取り込まれるが、エンコーダ17aはこの超音波反射エコー信号の回転方向の位置に関する信号として超音波信号処理回路35に取り込まれることになる。
【0023】
ここで、ラジアル走査を行う際には、超音波振動子10の絶対位置を検出するか、または走査始端位置及び終端位置を検出することが必要となる。回転角検出用のエンコーダ17aとしては、アブソリュートエンコーダを用いることもできるが、構造の簡単なインクリメンタルエンコーダを用いる場合には、このエンコーダ17aには基準位置表示部を設け、超音波振動子10の角度信号に加えて、この基準位置表示部に基づく基準位置信号も生成される。従って、基準位置信号が得られた時における超音波反射エコー信号から次の基準位置信号が出力される直前の超音波反射エコー信号までで1枚のラジアル超音波画像が形成される。
【0024】
超音波信号処理回路35は、前述したように、超音波送受信回路31から超音波反射エコー信号が入力され、かつ位置検出回路33からはラジアル走査の基準位置信号と、角度信号とが取り込まれて、二次元ラジアル超音波画像信号を生成するためのものであるから、超音波信号処理回路35はスキャンコンバータを有するものである。
【0025】
超音波振動子10は連続的に回転しながら直進するように駆動され、ヘリカル動作が行われ、従ってこの超音波振動子10からはほぼ連続的に超音波反射エコー信号が出力される。エンコーダ17aにおける基準位置信号が二次元ラジアル超音波画像信号の原点位置として用いられる。これと共に、超音波走査制御回路34からの同期信号が超音波信号処理回路35に取り込まれて、超音波画像信号における垂直同期信号(VD)及び水平同期信号(HD)とが生成される。従って、超音波振動子10が1回転する毎に超音波信号処理回路35から1枚分の二次元ラジアル超音波画像信号が出力され、この信号が画像メモリ36に順次取り込まれる。
【0026】
さらに、エンコーダ17aからの出力信号のうち、基準位置信号は計数器37に取り込まれるようになっており、この計数器37はリミットスイッチ25aまたは25bがONする毎にリセットされて、その時からエンコーダ17aの基準位置信号の数を計数するものである。従って、超音波振動子10の直進方向における一方のストローク端位置から他方のストローク端位置までに得た二次元ラジアル超音波画像の総数が計数器37により計数されることになる。そして、リミットスイッチ25aまたは25bがONする毎に、この計数器37で計数値に関する信号が画像メモリ36に取り込まれることになる。従って、画像メモリ36には超音波振動子10の直進方向における一方のストローク端位置から他方のストローク端位置までの間に取得したある枚数分の二次元ラジアル超音波画像信号と、その総数が記憶される。ここで、画像メモリ36は、例えばパーソナルコンピュータの内部メモリや、磁気ディスク、さらにはVTR(ビデオテープレコーダ)等からなる記録媒体等で構成できる。
【0027】
以上の構成によって、画像メモリ36には、多数の二次元超音波画像に関するデータが収録されているが、これらのデータから三次元超音波画像生成装置で三次元化処理が行われる。三次元化処理の手法としてはボクセルデータ化等種々の方式が開発されているが、例えば図4に示したような含カット面三次元超音波画像として表示することができる。この三次元超音波画像を生成するには、まずこの三次元化処理を行うための単位画像を選択し、そしてこれら単位画像から三次元超音波画像が構築される。そこで、図5に単位画像を取得して三次元化処理を行うための回路構成を示す。
【0028】
同図において、40は画像メモリ36に記録されている多数の二次元ラジアル超音波画像から三次元化処理を行うために用いられる単位画像を選択する単位画像選択部であって、この単位画像選択部40により画像メモリ36から読み出した多数の二次元超音波画像から所定のピッチ間隔毎に所定の枚数だけ単位画像を抽出して、それら以外を間引くようにして三次元画像生成装置50に取り込ませるように制御される。三次元画像生成装置50の入力部にはゲート回路51が設けられ、このゲート回路51をON,OFFすることにより画像メモリ36からの超音波画像信号の取り込みタイミングが設定される。
【0029】
単位画像選択部40は単位画像数設定部41を有し、この単位画像数設定部41では何枚の二次元ラジアル超音波画像に基づいて三次元化処理を行うか、つまり単位画像の数を設定するためのものである。この設定値は固定的なものであっても良いが、術者等が、三次元化処理の目的等の観点から、適宜設定できるようにするのが望ましい。
【0030】
単位画像数設定部41により設定された単位画像数は演算部42に取り込まれて、この演算部42で単位画像の取り込みピッチ間隔が設定される。このために、演算部42には、画像メモリ36に記憶されている二次元ラジアル超音波画像の枚数に関するデータが取り込まれて、単位画像数(Ns)と二次元ラジアル超音波画像の総数(Nt)とを除算、つまり(Nt/Ns)の演算を行って、画像メモリ36から読み出される二次元超音波画像データのうち、どのようなピッチ間隔で単位画像とするかの決定がなされる。ここで、(Nt/Ns)の演算を実行した結果、単位画像の取り込みピッチ間隔Psが求められる。
【0031】
演算部42で求めたピッチ間隔Psは単位画像数抽出指令部43に取り込まれる。単位画像数抽出指令部43は画像メモリ36からの出力信号のうち、垂直同期信号(VD)のみが取り込まれるようになっており、この垂直同期信号を計数して、ピッチ間隔Psに相当する数を計数する毎にゲート回路51におけるゲートが1枚の超音波画像信号が出力される間だけ開いて、三次元超音波画像生成装置50に単位画像のみを抽出して取り込ませ、それ以外の超音波画像が間引かれるようにする。
【0032】
以上のようにして、画像メモリ36からの超音波画像信号のうち、設定された枚数(Ns)分の単位画像が順次取り込まれ、これらの二次元ラジアル超音波画像信号に基づいて三次元超音波画像生成装置50で三次元化処理が行われる。
【0033】
而して、三次元超音波画像生成装置50は座標変換回路52を備え、所定のピッチ間隔Ps毎に単位画像がこの座標変換回路52に取り込まれる。座標変換回路52に単位画像が取り込まれると、この座標変換回路52で相互に60°をなす三次元座標軸(X,Y,Z)として表示されるように座標変換される。そして、このようにして座標変換された各単位画像はメモリ53に順次記憶されると共に、三次元化処理回路54により所定の信号処理が行われて、モニタ55に三次元的な表示がなされる。ここで、三次元化処理回路54では、円筒面形状にした三次元原画像を生成して、モニタ55に表示し、しかもこの円筒面の外面部分だけが表示される。また、この三次元原画像もメモリ53に記録する。
【0034】
三次元化処理回路54には、三次元画像表示制御回路56が接続されており、この三次元画像表示制御回路56は、例えばマウス等からなるカット面入力手段57が接続されるようになっており、このカット面入力手段57によりカット面の指定が行われると、三次元表示制御回路56において、モニタ55に表示されている三次元原画像に対してどの位置にどのようなカット面を入れるかが設定される。三次元化処理回路54においては、この信号に基づいてメモリ53からカット面に関するデータを読み出して、三次元原画像に対して、カット面の貼り付け及びカット面を入れたことによる隠れ面処理を行うことにより、図4から明らかなように、3つのカット面C1 ,C2 ,C3 を有する含カット面三次元超音波画像Iがモニタ54に表示されることになる。
【0035】
ここで、含カット面三次元超音波画像として例示した三次元画像を表示するに当って、三次元超音波画像の解像度等によっては、取得する単位画像の数を変える必要があるが、単位画像の数は単位画像数設定部41により任意の数に設定できる。従って、患部等の精査が必要な場合には多数の単位画像を取得するようになし、また格別精査が必要ではない場合には、取得する単位画像の数を少なくして、信号処理の高速化を図るようにする。
【0036】
以上のように、三次元化処理を行うために選択される単位画像を取得するに当って、二次元超音波画像生成手段を構成する超音波プローブ3で得た二次元ラジアル超音波画像の総数、つまりリミットスイッチ25aまたは25bがONした時からリミットスイッチ25bまたは25aがONするまでに得た二次元ラジアル超音波画像の数から必要な単位画像の数を演算することによって、取得する単位画像のピッチ間隔を設定するようにしている。
【0037】
ところで、超音波振動子10は先端キャップ8a内でヘリカル動作するが、この超音波振動子10の動きは超音波プローブ3の状態によっては一定ではない。例えば、超音波プローブ3が概略真直ぐな状態で、超音波振動子10が抵抗なく直進する際と、超音波プローブ3が曲がった状態で、フレキシブルシャフト9の軸線方向への動きに対する抵抗が大きくなって、直進用モータ24の負荷が大きく、超音波振動子10の直進方向の動きが遅くなった状態とでは、1回の直進ストロークで取得される超音波画像の数が変化する。例えば、超音波振動子10が抵抗なく直進した時に1回の直進ストロークで超音波振動子10が400回転するが、超音波プローブ3が複雑に曲がっており、可撓性チューブ8内でのフレキシブルシャフト9の軸線方向への移動に大きな抵抗があるために、1回の直進ストロークで2倍の時間を要したとする。そして、両走査時において、フレキシブルシャフト9の回転数が一定であったとすると、超音波振動子10は800回転することになる。
【0038】
以上の状態で、一定の時間経過する毎に単位画像を取り込むようにすると、超音波振動子10が低速で直進移動した時では、高速で直進移動した時と比較して、半分の距離だけで得た超音波画像があたかも1回の直進ストロークの全長から得た単位画像として三次元化処理されてしまう。従って、実際の体腔内の状態より大きく間延びした超音波画像となり、かつ設定された範囲の半分の情報しか表示されない。然るに、単位画像数(Ns)と二次元ラジアル超音波画像の総数(Nt)との除算(Ns/Nt)が演算されるようになっている。例えば、単位画像数(Ns)を20枚とすると、1回の直進ストロークで超音波振動子10が400回転した時には20枚毎に、また800回転した時には40枚毎に単位画像として三次元超音波画像生成装置50に取り込まれるから、1回の直進ストロークに要する時間が変化しても、常に1回の直進ストロークの長さ分をほぼ等分した位置の超音波画像が単位画像とされ、その間の超音波画像が間引かれるようになる。勿論、直進移動だけでなく、フレキシブルシャフト9の可撓性チューブ8の内面との摺動の影響で回転方向の移動速度も変化する可能性もあるが、いずれにしろ直進ストロークの全長を等分した位置の超音波画像が単位画像として選択される。
【0039】
なお、信号処理の簡素化のために、Ns/Ntの演算結果としては、小数点以下は切り捨てるようにするのが望ましい。ただし、二次元ラジアル超音波画像の取得数と単位画像数との比が小さい場合に、小数点以下を切り捨てると、信号処理を行って三次元超音波画像とした時に、直進ストロークの全長のうち、この三次元超音波画像を構成しない部分が無視し得ない長さとなることもある。この場合には、前述した演算を小数点以下1桁まで行い、この小数点以下の数値をnとした時に、ゲート回路51に出力されるトリガ信号をn/10回毎に1回分だけ遅らせて、取り込みタイミングを変化させるように設定すれば良い。
【0040】
以上のことから、三次元超音波画像生成装置50では、超音波振動子10の直進方向及び回転方向の速度が変化しても、常に直進ストロークのほぼ同じ位置の超音波画像を単位画像とすることができる。従って、三次元超音波画像として表現した時に正確な表示がなされ、超音波振動子10の動きにより前後の単位画像のZ軸方向における間隔が変化してしまい、間延びした画像や縮こまった画像等となることはない。
【0041】
【発明の効果】
以上説明したように、本発明は、二次元超音波画像生成手段で得た取得した二次元ラジアル超音波画像の総数と単位画像数設定部で設定された画像数との比に基づき不要画像を間引くようにして三次元化処理を行うために必要な単位画像を抽出する構成としたので、簡単な構成で、超音波振動子の走査ストローク毎にその動きの速度が変化しても、二次元超音波画像生成手段で得た多数の二次元超音波画像から三次元化処理を行う上で正しい単位画像を容易に選別できて、正確な三次元化表示が可能になる等の効果を奏する。
【図面の簡単な説明】
【図1】二次元超音波画像取得装置としての超音波プローブを内視鏡に組み込んだ状態を示す構成説明図である。
【図2】超音波プローブにおける操作部の断面図である。
【図3】二次元超音波画像から生成される三次元超音波画像の一例としての含カット面三次元超音波画像を示す説明図である。
【図4】超音波観測装置の信号処理部の回路構成図である。
【図5】三次元超音波画像の一例としての含カット面三次元超音波画像の表示態様を示す説明図である。
【符号の説明】
3 超音波プローブ
4 操作部
5 カテーテル
7 ケーブル
10 超音波振動子
12 回転軸
17 ラジアル駆動モータ
17a エンコーダ
23 ねじ軸
24 直進用モータ
25a,25b リミットスイッチ
30 二次元超音波画像信号処理部
36 画像メモリ
37 計数器
40 単位画像選択部
41 単位画像数設定部
42 演算部
43 同期分離回路
44 単位画像数抽出指令部
50 三次元超音波画像生成装置
51 ゲート回路[0001]
BACKGROUND OF THE INVENTION
The present invention performs a three-dimensionalization process for acquiring a large number of two-dimensional radial ultrasonic images in a predetermined direction while operating an ultrasonic transducer in a helical manner and constructing a stereoscopic image from these two-dimensional radial ultrasonic images. The present invention relates to an ultrasonic image generation apparatus that performs a three-dimensional process by selecting a unit image necessary for this and other unnecessary images and taking only the unit image into a three-dimensional processing means.
[0002]
[Prior art]
Ultrasonography uses an ultrasonic transducer to transmit an ultrasonic signal into the patient's body, receives a reflected echo from a tomographic part of the body tissue, and performs a predetermined process on the received signal of the reflected echo The tomographic information of the body tissue is displayed as an ultrasonic image on the monitor screen. When ultrasonic scanning is performed over a predetermined range in the body, a two-dimensional ultrasonic image in this scanning range, that is, a B-mode ultrasonic image, is obtained. A large number of two-dimensional ultrasonic images with a constant pitch interval in a predetermined direction are obtained. A technique for converting these two-dimensional ultrasonic images into three-dimensional images by performing image processing after the acquisition and displaying them is known. As described above, when the two-dimensional ultrasonic image is three-dimensionalized and displayed on the monitor screen, the body tissue structure can be easily grasped, so that the accuracy of ultrasonic diagnosis is improved.
[0003]
A two-dimensional ultrasonic image is represented on two X and Y orthogonal axes, and when a large number of two-dimensional ultrasonic images are arranged at a predetermined pitch interval in a predetermined direction, the arrangement direction of the two-dimensional ultrasonic images Spatial expression having a predetermined spread on the three-dimensional coordinate axes (X, Y, Z) with Z as the Z axis becomes possible. Since the ultrasound image is a display of the tissue structure in the body based on the difference in brightness, for example, if linear interpolation is performed based on the brightness of the two-dimensional ultrasound images before and after, the tissue structure in the body is stereoscopically displayed. Can be displayed. Further, even when the space on the three-dimensional coordinate axis is voxelized and the density information in each voxel is displayed, the tissue structure in the body can be displayed in a three-dimensional manner. If predetermined image processing is performed based on these stereoscopic image signals, it is possible to extract and display the organ structure of interest, the tissue structure in the body cavity tube, and the like.
[0004]
2. Description of the Related Art Conventionally, an ultrasonic probe having a flexible cord with an ultrasonic transducer attached to the tip is widely known as a means for acquiring an ultrasonic image in a body cavity. In addition, there is a configuration in which a treatment instrument insertion channel of an endoscope or the like is used as a guide means in order to guide the ultrasonic probe into a body cavity. Regardless of whether or not guide means is used, the ultrasonic probe is provided by connecting a tip cap constituting an ultrasonic scanning unit to the tip of the flexible tube, and an ultrasonic transducer is provided in the tip cap. . When performing ultrasonic scanning while moving the ultrasonic transducer straight in the axial direction of the tip cap, the ultrasonic transducer can be remotely operated by connecting a push-pull operation means to the ultrasonic transducer. Try to move it. On the other hand, if the ultrasonic transducer is rotationally driven within the tip cap, ultrasonic scanning in the rotational direction becomes possible. The scanning of these ultrasonic transducers is linear scanning and radial scanning, respectively. Therefore, the ultrasonic images obtained by each scanning are respectively linear ultrasonic images and radial ultrasonic images, both of which are two-dimensional. It is an ultrasound image.
[0005]
If the ultrasonic transducer is configured to be driven straight and rotated, a two-dimensional ultrasonic image that can be expressed on two axes orthogonal to X and Y, that is, a two-dimensional radial ultrasonic image, is directed in a straight direction. It can be obtained by arranging them at pitch intervals. However, if the ultrasonic transducer is configured to intermittently feed at predetermined pitch intervals and rotate while stopping, the control becomes extremely difficult and troublesome. For this purpose, it is common to continuously advance the ultrasonic transducer while continuously rotating it. Therefore, the movement trajectory of the ultrasonic transducer is a helical movement obtained by synthesizing these movements.
[0006]
In order to helically operate the ultrasonic transducer by remote operation, an operation unit is connected to the proximal end portion of the ultrasonic probe, and a flexible shaft made of a contact coil or the like is connected to the ultrasonic transducer, and this flexible shaft Is inserted into the flexible tube and guided to the inside of the operation unit. Then, a rotation driving means such as a motor is provided in the operation portion and connected to the base end portion of the flexible shaft. Further, a linear drive means for moving the entire unit comprising the flexible shaft and the rotational drive means in the axial direction of the flexible tube is provided. In this case, the rectilinear drive means reciprocates the unit described above, and the reciprocating stroke is set in a predetermined range in advance.
[0007]
When the ultrasonic vibrator is helically operated in this way, the ultrasonic vibrator moves by a certain distance in the straight direction (Z-axis direction) while rotating once. Therefore, the actually obtained radial ultrasonic image is not an ultrasonic image in a direction that is accurately orthogonal to the Z axis, that is, an ultrasonic image on two axes orthogonal to the X and Y axes. It becomes a radial ultrasonic image having a certain width. In short, this radial ultrasonic image is a pseudo two-dimensional ultrasonic image on two orthogonal X and Y axes, but the position in the Z-axis direction is shifted between the start position and the end position of the radial ultrasonic image. Therefore, it is not a complete two-dimensional ultrasound image. Therefore, in order to minimize the displacement of the joint portion between the origin positions (start position and end position in the rotation direction) in the radial image, it is necessary to rotate the ultrasonic transducer as fast as possible. Then, the number of two-dimensional ultrasonic images acquired when moving between all the strokes of the straight running operation becomes enormous. In order to perform three-dimensional processing using all these two-dimensional ultrasonic images, the amount of signal processing becomes extremely large and the signal processing becomes extremely complicated, so a large signal processing device is required, and signal processing is also required. Takes a lot of time.
[0008]
In this way, selecting a unit image for three-dimensional processing from a large number of obtained two-dimensional ultrasound images at predetermined pitch intervals, and thinning out other unnecessary images, Signal processing can be simplified. Several methods have been proposed as to which image is selected as a unit image for performing the three-dimensional processing and which image is thinned out as unnecessary. The most commonly performed method is to use a radial ultrasonic image obtained every predetermined time interval from the start of movement of the ultrasonic transducer in the straight direction as a unit image. In addition, in order to distinguish a unit image from other images, there is a configuration in which a unit image is distinguished from an unnecessary image by attaching a marker to the unit image when generating an ultrasonic image.
[0009]
[Problems to be solved by the invention]
By the way, as described above, as the ultrasonic probe, the movement of the ultrasonic transducer in the rotational direction and the straight direction is performed by a flexible shaft inserted into the flexible tube as a transmission member, but the ultrasonic probe is inserted. It is in a state of being bent along the route, and particularly when the treatment instrument insertion channel of the endoscope is used as the guide means, the angle portion constituting the insertion portion of the endoscope is bent and operated. The sonic transducer may be driven. In such a case, a load may act on the rectilinear drive means due to sliding resistance between the flexible shaft and the flexible tube, and the motion in the rectilinear direction may become slow. Therefore, in the case where the unit image is divided into other images by time management, when the moving speed in the linear direction changes, the interval in the Z-axis direction in the preceding and following unit images changes, and from these unit images The generated three-dimensional ultrasonic image may be longer than the actual one or may be shrunk. On the other hand, each time a two-dimensional ultrasound image is acquired, it is determined whether or not to use it as a unit image, and a marker or the like is attached to what is selected as the unit image. Due to the necessity of means and the like, there is a problem that the configuration of the signal processing apparatus for generating the ultrasonic image becomes complicated and the signal processing becomes complicated.
[0010]
The present invention has been made in view of the above points. The object of the present invention is to perform a three-dimensionalization process from a large number of two-dimensional ultrasonic images obtained by a two-dimensional ultrasonic image generation means with a simple configuration. The unit image can be easily selected, and the unit image can be acquired so that an accurate three-dimensional ultrasonic image can be displayed even if the moving speed of the ultrasonic transducer in the straight direction changes. is there.
[0011]
[Means for Solving the Problems]
In order to achieve the aforementioned object, the present invention provides: With a radial drive motor and a linear motor, While performing a helical motion that reciprocates in a straight line only by a predetermined stroke while continuously rotating the ultrasonic transducer by remote control, A plurality of two-dimensional radial ultrasonic images are acquired between the forward stroke end position and the backward stroke end position of the ultrasonic transducer. Of the plurality of two-dimensional radial ultrasonic images acquired in this way, , Select every regular pitch interval and no unit image, Comprising three-dimensional processing means for generating a three-dimensional ultrasonic image signal from these unit images, An encoder for detecting the rotation angle of the ultrasonic transducer, providing a reference position for the encoder, and acquiring a two-dimensional radial ultrasonic image each time the reference position signal is output; By the sound image generating means and the two-dimensional ultrasonic image generating means. A counting unit that counts the total number of two-dimensional radial ultrasonic images obtained from the start position to the end position of the straight line stroke of the ultrasonic transducer, and the number of two-dimensional radial ultrasonic images to be captured by the three-dimensional processing means. A unit image is set by thinning out unnecessary images based on a ratio between the number of unit image setting units to be set and the total number of two-dimensional radial ultrasound images acquired by the counting unit and the number of images set by the unit image number setting unit. An image extraction unit to extract and Unit image selection means for selecting a predetermined number of unit images input to the three-dimensional processing means by It is characterized by having a configuration comprising
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. First, FIG. 1 and FIG. 2 show an ultrasonic inspection apparatus inserted transendoscopically as an example of a two-dimensional ultrasonic image generation means.
[0013]
In FIG. 1,
[0014]
As shown in FIG. 2, the
[0015]
The operation unit 4 connected to the proximal end of the
[0016]
The
[0017]
A pair of
[0018]
The
[0019]
Therefore, FIG. 3 shows a circuit configuration of the
[0020]
The ultrasonic transmission /
[0021]
The
[0022]
The ultrasonic
[0023]
Here, when performing radial scanning, it is necessary to detect the absolute position of the
[0024]
As described above, the ultrasonic
[0025]
The
[0026]
Further, of the output signals from the
[0027]
With the above configuration, the
[0028]
In the figure,
[0029]
The unit
[0030]
The number of unit images set by the unit image
[0031]
The pitch interval Ps obtained by the
[0032]
As described above, a set number (Ns) of unit images are sequentially taken out of the ultrasonic image signals from the
[0033]
Thus, the three-dimensional ultrasonic
[0034]
A three-dimensional image
[0035]
Here, when displaying the three-dimensional image exemplified as the cut surface-containing three-dimensional ultrasonic image, depending on the resolution of the three-dimensional ultrasonic image, etc., it is necessary to change the number of unit images to be acquired. Can be set to an arbitrary number by the unit image
[0036]
As described above, the total number of two-dimensional radial ultrasonic images obtained by the
[0037]
By the way, although the
[0038]
In the above state, if a unit image is captured every time a certain time elapses, when the
[0039]
In order to simplify the signal processing, it is desirable to round off the fractional part of the calculation result of Ns / Nt. However, when the ratio between the number of acquired two-dimensional radial ultrasound images and the number of unit images is small, rounding off the decimal part, when performing signal processing to obtain a three-dimensional ultrasound image, A portion that does not constitute the three-dimensional ultrasonic image may have a length that cannot be ignored. In this case, the above-described calculation is performed up to one digit after the decimal point, and when the numerical value after the decimal point is n, the trigger signal output to the
[0040]
From the above, in the three-dimensional ultrasonic
[0041]
【The invention's effect】
As described above, according to the present invention, unnecessary images are generated based on the ratio between the total number of two-dimensional radial ultrasonic images acquired by the two-dimensional ultrasonic image generation unit and the number of images set by the unit image number setting unit. Since the unit image necessary for 3D processing is extracted by thinning out, even if the speed of movement changes with each scanning stroke of the ultrasonic transducer with a simple configuration, the two-dimensional When performing 3D processing from a large number of 2D ultrasound images obtained by the ultrasound image generating means, it is possible to easily select a correct unit image and to enable accurate 3D display.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram of a configuration showing a state in which an ultrasonic probe as a two-dimensional ultrasonic image acquisition device is incorporated in an endoscope.
FIG. 2 is a cross-sectional view of an operation unit in an ultrasonic probe.
FIG. 3 is an explanatory diagram showing a cut surface-containing three-dimensional ultrasonic image as an example of a three-dimensional ultrasonic image generated from a two-dimensional ultrasonic image.
FIG. 4 is a circuit configuration diagram of a signal processing unit of the ultrasonic observation apparatus.
FIG. 5 is an explanatory diagram showing a display mode of a cut-surface-containing three-dimensional ultrasonic image as an example of a three-dimensional ultrasonic image.
[Explanation of symbols]
3 Ultrasonic probe
4 Operation part
5 Catheter
7 Cable
10 Ultrasonic transducer
12 Rotating shaft
17 Radial drive motor
17a Encoder
23 Screw shaft
24 Linear motor
25a, 25b limit switch
30 Two-dimensional ultrasonic image signal processing unit
36 Image memory
37 counter
40 unit image selector
41 Unit image count setting section
42 Calculation unit
43 Sync separation circuit
44 Unit image number extraction command section
50 Three-dimensional ultrasonic image generator
51 Gate circuit
Claims (2)
前記超音波振動子の回転角を検出するエンコーダを有し、このエンコーダに基準位置を設けて、この基準位置信号が出力される毎に1枚の二次元ラジアル超音波画像を取得する二次元超音波画像生成手段と、
前記二次元超音波画像生成手段により前記超音波振動子の直進ストローク始端位置から終端位置までに得られた二次元ラジアル超音波画像の総数を計数する計数部と、前記三次元化処理手段に取り込む二次元ラジアル超音波画像の数を設定する単位画像数設定部と、前記計数部で取得した二次元ラジアル超音波画像の総数と前記単位画像数設定部で設定された画像数との比に基づき不要画像を間引いて、単位画像を抽出する画像抽出部とによって前記三次元化処理手段に入力される所定枚数の単位画像を選択する単位画像選択手段とを備える構成としたことを特徴とする超音波画像生成装置。While performing a helical operation to reciprocate in the straight direction by a predetermined stroke while continuously rotating the ultrasonic vibrator by remote control by the radial drive motor and the straight drive motor, the forward stroke end of this ultrasonic vibrator A plurality of 2D radial ultrasound images are acquired between the position and the reverse stroke end position, and a plurality of 2D radial ultrasound images acquired in this way are selected at regular pitch intervals. In a unit image, and having a three-dimensional processing means for generating a three-dimensional ultrasonic image signal from these unit images,
An encoder for detecting the rotation angle of the ultrasonic transducer, providing a reference position for the encoder, and acquiring a two-dimensional radial ultrasonic image each time the reference position signal is output; Sound image generation means;
A counting unit that counts the total number of two-dimensional radial ultrasonic images obtained from the straight stroke start end position to the end position of the ultrasonic transducer by the two-dimensional ultrasonic image generating means, and the three-dimensionalization processing means Based on a unit image number setting unit that sets the number of two-dimensional radial ultrasonic images, and a ratio between the total number of two-dimensional radial ultrasonic images acquired by the counting unit and the number of images set by the unit image number setting unit The image processing unit includes a unit image selection unit that selects a predetermined number of unit images to be input to the three-dimensional processing unit by an image extraction unit that thins out unnecessary images and extracts unit images. Sound image generation device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29043898A JP3671700B2 (en) | 1998-10-13 | 1998-10-13 | Ultrasonic image generator |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29043898A JP3671700B2 (en) | 1998-10-13 | 1998-10-13 | Ultrasonic image generator |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000116654A JP2000116654A (en) | 2000-04-25 |
JP3671700B2 true JP3671700B2 (en) | 2005-07-13 |
Family
ID=17756043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP29043898A Expired - Fee Related JP3671700B2 (en) | 1998-10-13 | 1998-10-13 | Ultrasonic image generator |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3671700B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4526102B2 (en) * | 2000-02-24 | 2010-08-18 | 株式会社日立メディコ | Image processing method and apparatus |
JP5451289B2 (en) * | 2009-09-28 | 2014-03-26 | テルモ株式会社 | Catheter and extension device |
JP5864182B2 (en) * | 2011-09-28 | 2016-02-17 | テルモ株式会社 | Motor drive device and diagnostic imaging device |
-
1998
- 1998-10-13 JP JP29043898A patent/JP3671700B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000116654A (en) | 2000-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3296193B2 (en) | Ultrasound image generator | |
JP3407169B2 (en) | Ultrasonic image stereoscopic display device and ultrasonic image stereoscopic display method | |
US5125410A (en) | Integrated ultrasonic diagnosis device utilizing intra-blood-vessel probe | |
US6685643B1 (en) | Method and device for recording ultrasonic images | |
JP3354619B2 (en) | Ultrasound diagnostic equipment | |
WO2004028375A1 (en) | Ultrasonograph | |
JP5393232B2 (en) | Three-dimensional image construction apparatus and operation method thereof | |
WO2005018459A1 (en) | System and method for 3-d imaging | |
JP4328077B2 (en) | Ultrasonic diagnostic equipment | |
WO2012017827A1 (en) | Ultrasonic imaging apparatus and three-dimensional image display method using ultrasonic image | |
JP4119497B2 (en) | Ultrasound diagnostic imaging equipment | |
JPH10262964A (en) | Ultrasonic diagnosis device | |
WO2005110237A1 (en) | Ultrasonic diagnosing apparatus and ultrasonic image display method | |
JP3671700B2 (en) | Ultrasonic image generator | |
JP4276825B2 (en) | Ultrasonic diagnostic equipment | |
JPH0829146B2 (en) | Ultrasonic probe | |
JP4197993B2 (en) | Ultrasonic diagnostic equipment | |
JP3277030B2 (en) | Ultrasound diagnostic equipment | |
JPH02189139A (en) | Internal visual ultrasonic diagnosing device | |
JP3340500B2 (en) | Ultrasound 3D diagnostic equipment | |
JPS62284635A (en) | Ultrasonic diagnostic apparatus | |
JPH05269132A (en) | Intracelom ultrasonic diagnostic device | |
JP4290805B2 (en) | Ultrasonic diagnostic equipment | |
JP4838449B2 (en) | Ultrasonic diagnostic equipment | |
JP2004209277A (en) | Ultrasonograph |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040405 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050329 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050411 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090428 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090428 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 5 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 5 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110428 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120428 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130428 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130428 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |