JP3683329B2 - 被写体のサーモグラフ画像情報にモアレトポグラフ画像情報を重ねる装置 - Google Patents
被写体のサーモグラフ画像情報にモアレトポグラフ画像情報を重ねる装置 Download PDFInfo
- Publication number
- JP3683329B2 JP3683329B2 JP05376796A JP5376796A JP3683329B2 JP 3683329 B2 JP3683329 B2 JP 3683329B2 JP 05376796 A JP05376796 A JP 05376796A JP 5376796 A JP5376796 A JP 5376796A JP 3683329 B2 JP3683329 B2 JP 3683329B2
- Authority
- JP
- Japan
- Prior art keywords
- image information
- subject
- moire
- topographic
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 claims description 48
- 230000002194 synthesizing effect Effects 0.000 claims description 14
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 230000010365 information processing Effects 0.000 claims description 9
- 238000003786 synthesis reaction Methods 0.000 claims description 9
- 238000001931 thermography Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 4
- 208000020084 Bone disease Diseases 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 206010061218 Inflammation Diseases 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229940124595 oriental medicine Drugs 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Radiation Pyrometers (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、被写体のモアレトポグラフ像を撮像する装置と、被写体各部の温度を測定し疑似カラー画像化するサーモグラフ装置の機能を一体化し、同一被写体のモアレ縞画像とサーモグラフ画像を重ねて評価することができる被写体のサーモグラフ画像情報にモアレトポグラフ画像情報を重ねる装置に関する。
【0002】
【従来の技術】
光源により被写体の前に配置した格子を介して照射し、被写体に形成された格子の影を前記光源とは離れた点から観測する、高崎宏による格子投影によるモアレ等高線図化法(特公昭54−32346)を利用したモアレトポグラフ装置が知られている。また観察しようとする立体面に投影格子の像をプロジェクタで投影し格子が投影された被写体の実像を検出格子の面に発生させてモアレトポグラフ像を形成して撮像するモアレトポグラフ装置も知られている。
前記装置は、診断や治療の対象とする人体の表面の高低を一目瞭然に観察または撮像できるから、体型の僅かな歪みの診断や記録等に使われている。そのため、スポーツ、医学、歯学、整体、整骨、東洋医学などの各方面にモアレトポグラフ装置が広く採り入れられている。
一方サーモグラフ装置は、赤外線の強度の像、物体の温度分布を可視像に返還する装置で、機器、材料、人物などの赤外線放射物体を疑似カラー化して可視像とすることができるから、人体の表面の温度の分布を疑似カラー表示で示すことができるので同様に診断に使われている。これらの装置を別個に購入するには、経費が掛かり過ぎるし、また装置設置場所でスペースを取り過ぎるなどの問題がある。しかしながら、従来はモアレトポグラフ装置とサーモグラフ装置は、別個に用意されてそれぞれの目的に使用されてきた。
【0003】
【発明が解決しようとする課題】
別々の装置出力から得られた画像を横に並べて対比させて見る方法では、例えば腫れて盛り上がっている箇所と、炎症で温度が高くなっている箇所との相対関係がはっきりせず、見落としたり判定に苦労するなどの問題がある。
同一被観察対象に対してサーモグラフ装置で人体表面温度を測定した疑似カラー表示とモアレトポグラフ装置による立体等高線を同時に観察または記録できると、発熱の部位と人体表面の位置関係が正しく把握できるはずである。
しかしながら、人体表面温度を測定した疑似カラー表示とモアレトポグラフ装置によるモアレトポグラフ像を同時に同一画面に重ねて再生する装置は提案されていない。
本発明の目的は、被写体のサーモグラフ画像情報とモアレトポグラフ画像情報とを重ねる装置を提供することにある。
【0004】
【課題を解決するための手段】
前記目的を達成するために、本発明による請求項1記載の被写体のサーモグラフ画像情報にモアレトポグラフ画像情報を重ねる装置は、被写体のサーモグラフ画像情報を取得するサーモグラフ画像情報撮像手段と、
前記被写体のモアレトポグラフ画像情報を取得するモアレトポグラフ画像情報撮像手段と、
前記サーモグラフ画像情報と前記被写体のモアレトポグラフ画像情報を処理して重ねる画像情報合成手段と、
前記画像情報合成手段の出力を再生する再生手段とから構成した被写体のサーモグラフ画像情報にモアレトポグラフ画像情報を重ねる装置において、
前記モアレトポグラフ画像情報撮像手段は、格子投影部と撮像部とから構成され、
前記サーモグラフ画像情報撮像手段は、前記投影部と前記撮像部との間に、好ましくは前記撮像部よりに配置されて構成されている。
本発明による請求項2記載の被写体のサーモグラフ画像情報にモアレトポグラフ画像情報を重ねる装置は、被写体のサーモグラフ画像情報を取得するサーモグラフ画像情報撮像手段と、
前記被写体のモアレトポグラフ画像情報を取得するモアレトポグラフ画像情報撮像手段と、
前記サーモグラフ画像情報と前記被写体のモアレトポグラフ画像情報を処理して重ねる画像情報合成手段と、
前記画像情報合成手段の出力を再生する再生手段とから構成した被写体のサーモグラフ画像情報にモアレトポグラフ画像情報を重ねる装置であって、
前記モアレトポグラフ画像情報撮像手段は、被写体の表面に基準格子縞を投影する投影部と、前記投影により前記被写体の表面に現れた投影格子縞からモアレトポグラフ像を形成し、形成された像を撮像しモアレトポグラフ映像信号を出力する撮像部とからなり、
前記サーモグラフ画像情報撮像手段は、被写体の疑似カラー映像信号を出力するサーモカメラであり、
前記画像情報合成手段は画像処理手段を含み前記モアレトポグラフ映像信号を前記疑似カラー映像信号に重ね、リアルタイムで出力する映像情報処理合成部とから構成されていることを特徴とする被写体のサーモグラフ画像情報にモアレトポグラフ画像情報を重ねる装置において、
前記画像情報合成手段は前記疑似カラー映像信号を前記モアレトポグラフ映像信号でゲートし、モアレトポグラフ映像信号の存在しないときにのみ前記疑似カラー映像信号を出力するように構成されている。
本発明による請求項3記載の被写体のサーモグラフ画像情報にモアレトポグラフ画像情報を重ねる装置は、請求項1または2記載の被写体のサーモグラフ画像情報にモアレトポ1ラフ画像情報を重ねる装置において、
被写体のサーモグラフ画像情報を取得するサーモグラフ画像情報撮像手段および前記被写体のモアレトポグラフ画像情報を取得するモアレトポグラフ画像情報撮像手段の出力は静止画像デジタル情報であり、
前記画像情報合成手段は、対応出力間でデジタル演算をすることにより画像デジタル情報を重ねるように構成されている。
【0005】
【発明の実施の形態】
以下、図面等を参照して本発明をさらに詳しく説明する。
図1は、本発明による被写体のサーモグラフ画像情報にモアレトポグラフ画像情報を重ねる装置の実施例の構成と機能の流れを示す説明図(系統図)である。
この実施例は、アナログビデオ信号を処理する例である。
被写体10のサーモグラフ画像情報はサーモグラフ画像情報撮像手段により撮像される。
【0006】
前記被写体10のモアレトポグラフ画像情報を取得するモアレトポグラフ画像情報撮像手段は、基準格子投影ユニット1とモアレトポグラフ像撮影ユニット2から構成されている。像撮影ユニット2が取得した画像情報であるアナログ映像出力と、前記サーモグラフ撮像ユニット3は画像情報合成手段を形成する画像情報処理合成部4に接続される。
画像情報処理合成部4の実施例としてアナログミキサを利用しており混合の比率は自由に変換することができ、出力はサーモグラフ撮像ユニット3のみ、モアレトポグラフ像撮影ユニット2のみ、任意の比率で両者を合成したものとすることができる。画像情報処理合成部4の出力は、再生手段を形成するビデオプリンタ5およびモニタ用ディスプレイ6に接続されている。使用者はこの実施例において混合比を調節し、動画の一コマを指定してその画面をビデオプリンタ5により印刷出力させることができる。
【0007】
次に前記実施例装置を使用し、人体表面の高低と各部の皮膚温度を同時に観察する場合を例にして各部の詳細をさらに説明する。
図1に示すように、基準格子投影ユニット1から、投影ユニット1のフィルム面相当位置にある基準格子を人体10上に拡大投影する。前記人体10の表面に拡大投影された基準格子像は撮影ユニット2内に結像される。この結像面には前記基準格子に対応する格子が設けられておりこの格子の位置にモアレトポグラフ像(実像)が形成される。この像は図示しないビデオカメラにより撮像され映像信号が出力される。人体10の表面から放射される赤外線を感知するサーモグラフ撮影ユニット(サーモグラフ撮影部)3は、前記撮影ユニット(モアレトポグラフ撮影部)2と、それぞれのレンズを人体10に正対させて上下直線上に沿って配置している。スタンド7は基準格子投影ユニット1とモアレトポグラフ像撮影ユニット2とサーモグラフ撮影ユニット3を支持するスタンドである。
【0008】
これらのユニットの配置は、水平方向に配置してもよく、その例を図2および図3に示す。図2では、人体11および基準格子投影ユニット1と、モアレ縞撮影ユニット2と、サーモグラフ撮影ユニット3は、上から見下ろした平面図として示してある。スタンド8は基準格子投影ユニット1とモアレ縞撮影ユニット2とサーモグラフ撮影ユニット3を支持する。
図3は、上方向からモアレ縞の基準格子を被写体12に投影し、上方向からモアレ縞の撮影とサーモグラフの撮影を行うもので、スタンド9は基準格子投影ユニット1とモアレ縞撮影ユニット2とサーモグラフ撮影ユニット3を支持する。サーモグラフ撮影ユニット3は、その出力とモアレ縞撮影ユニット2の出力とを合成した結果において、ずれ(視差)が少しでも小さくなるよう、基準格子投影ユニット1とモアレトポグラフ撮像ユニット2の間で好ましくは、撮像ユニット2よりに 配置されている。なお、前述したように基準格子投影ユニット1の光源ランプと投影レンズの間に、基準格子が配置されており、光源は前記格子に平行な線状の光源が好ましい。モアレトポグラフ像撮影ユニット2は、撮影レンズの結像位置に同様な格子が配置されているものを使用している。サーモグラフ撮影ユニット3は、走査形赤外線放射温度計で温度分布像に変換するものを使用している。ただしこれらの各ユニットはいずれも従来技術によるものであるので詳細な説明は省略する。
【0009】
図1において、画像情報処理合成部4で、モアレトポグラフ撮像ユニット2の出力とサーモグラフ撮影ユニット3の出力についてそれぞれ処理を行い、その結果得られた人体10上に現れたモアレ縞に関する情報と、サーモグラフ出力をカラー表示化した情報のそれぞれ対応する該当箇所が、表示部であるビデオプリンタ5およびモニタ用ディスプレイ6の表示画面上で一致させるための処理が行われ合成される。その処理は、画面上の拡大縮小、中心位置の移動、画面の微小回転などのうち適宜のものを選択して行い、各ユニットの機械的な配置や操作による調整結果を補正する。なお図示しないが、画像情報処理合成部4には、表示画面上で一致させるための画像情報処理に必要な簡単な入力操作部が付加されている。
【0010】
図1〜図3において、基準格子投影ユニット1から放射された光は図中の一点鎖線に囲まれた範囲のものが被写体10(あるいは11,12)に投影される。この縞模様は図中の2点鎖線に囲まれた範囲でモアレ縞撮影ユニット2に入り、モアレ縞撮影ユニット2内の基準格子(図示しない)の位置でモアレトポグラフ像が形成される。そして図示しないビデオカメラにより出力信号に変換され出力される。
一方、被写体の表面から放射される赤外線は図中の点線の範囲内のものがサーモグラフ撮影ユニット3に入り、走査されることにより各部の赤外線の強さに応じた信号をユニット外に出力する。このサーモグラフ撮像ユニット3は疑似カラー映像信号を4線式アナログRGB信号でNTSC方式で出力する。
【0011】
そして、図2および図3におけるモアレ縞撮影ユニット2とサーモグラフ撮影ユニット3の出力も、それぞれ図1の場合と同様に画像情報処理合成部4に接続され、画像情報処理合成部4によって処理される。両者が合成され、表示部を構成するビデオプリンタ5,モニタ用ディスプレイ6によって表示される。
【0012】
なお前記画像情報処理合成部4の例として、アナログミキサの例を示したが、サーモグラフ撮影ユニット3の出力をモアレトポグラフ像の信号でゲートするようにすることもできる。すなわち、モアレトポグラフ像が存在する水平走査期間はサーモグラフ撮影ユニット3の出力のみを送出し、モアレトポグラフ像が存在する水平走査期間はサーモグラフ撮影ユニット3の出力を禁止する。
【0013】
以上各撮影ユニット2、3のアナログ出力をリアルタイムで処理する例を示したが、デジタル出力を処理するようにすることも可能である。前記被写体のサーモグラフ画像情報を取得するサーモグラフ画像情報撮像手段3および前記被写体のモアレトポグラフ画像情報を取得するモアレトポグラフ画像情報撮像手段2の出力は静止画像情報としてデジタルビデオカメラで撮像し、それぞれフレームメモリに蓄積するか、一旦、ディスクに蓄積して、前記フレームメモリ等に蓄積されされた情報を前記画像情報合成手段によりデジタル画像処理して合成するように構成することも可能である。
前記画像情報合成手段によりデジタル画像処理して合成した情報をさらにディスク等に記録してこのディスクの内容を再生するように構成することもできる。また合成してデジタル画像信号記録媒体に記録しておくこともできる。
【0014】
図1から図3の説明では被写体が人体である場合について述べたが、被写体は人体以外でも良く、例えば工場生産における研究実験、あるいは障害原因の探究のために金属表面の歪みと温度分布の関係を調べるなどの用途に使用することもできる。
【0015】
【発明の効果】
以上詳しく説明したように本発明は、被写体のサーモグラフ画像情報にモアレトポグラフ画像情報を重ねて観察し記録することができるという効果がある。
したがって効率よく確実な観察、診断ができる装置が安価に供給され、かつ設置場所の所要面積も少なくて済む。
さらに、サーモグラフ撮影部をモアレトポグラフ投影部とモアレトポグラフ撮影部の間に好ましくはモアレトポグラフ撮影部よりに配置することで、視差を少なくして被写体のモアレトポグラフ像とサーモグラフの重畳をより容易にすることができる。
被写体のサーモグラフ画像情報とモアレトポグラフ画像情報をアナログ動画情報として取り込み、前記モアレトポグラフ映像信号を前記疑似カラー映像信号に重ね、リアルタイムで出力するように構成することができる。
前記画像情報合成手段は前記疑似カラー映像信号を前記モアレトポグラフ映像信号でゲートし、モアレトポグラフ映像信号の存在しないときにのみ前記疑似カラー映像信号を出力するように構成すると一層鮮明な重ね合わせ像が得られる。前記サーモグラフ画像情報とモアレトポグラフ画像情報をデジタルビデオ情報として取り込み処理して対応出力間でデジタル演算をすることにより画像デジタル情報を重ねることができる。
【図面の簡単な説明】
【図1】本発明による被写体のサーモグラフ画像情報にモアレトポグラフ画像情報を重ねる装置の一実施形態の構成例を示す図である。
【図2】図1の実施形態例の応用例を示す説明図である。
【図3】図1の実施形態例の他の応用例を示す説明図である。
【符号の説明】
1 基準格子投影ユニット
2 撮影ユニット
3 サーモグラフ撮影ユニット
4 画像情報処理合成部
5 ビデオプリンタ
6 モニタ用ディスプレイ
10,11,12 被写体
Claims (3)
- 被写体のサーモグラフ画像情報を取得するサーモグラフ画像情報撮像手段と、
前記被写体のモアレトポグラフ画像情報を取得するモアレトポグラフ画像情報撮像手段と、
前記サーモグラフ画像情報と前記被写体のモアレトポグラフ画像情報を処理して重ねる画像情報合成手段と、
前記画像情報合成手段の出力を再生する再生手段とから構成した被写体のサーモグラフ画像情報にモアレトポグラフ画像情報を重ねる装置において、
前記モアレトポグラフ画像情報撮像手段は、格子投影部と撮像部とから構成され、
前記サーモグラフ画像情報撮像手段は、前記投影部と前記撮像部との間に、好ましくは前記撮像部よりに配置されて構成されていることを特徴とする被写体のサーモグラフ画像情報にモアレトポグラフ画像情報を重ねる装置。 - 被写体のサーモグラフ画像情報を取得するサーモグラフ画像情報撮像手段と、
前記被写体のモアレトポグラフ画像情報を取得するモアレトポグラフ画像情報撮像手段と、
前記サーモグラフ画像情報と前記被写体のモアレトポグラフ画像情報を処理して重ねる画像情報合成手段と、
前記画像情報合成手段の出力を再生する再生手段とから構成した被写体のサーモグラフ画像情報にモアレトポグラフ画像情報を重ねる装置であって、
前記モアレトポグラフ画像情報撮像手段は、被写体の表面に基準格子縞を投影する投影部と、前記投影により前記被写体の表面に現れた投影格子縞からモアレトポグラフ像を形成し、形成された像を撮像しモアレトポグラフ映像信号を出力する撮像部とからなり、
前記サーモグラフ画像情報撮像手段は、被写体の疑似カラー映像信号を出力するサーモカメラであり、
前記画像情報合成手段は画像処理手段を含み前記モアレトポグラフ映像信号を前記疑似カラー映像信号に重ね、リアルタイムで出力する映像情報処理合成部とから構成されていることを特徴とする被写体のサーモグラフ画像情報にモアレトポグラフ画像情報を重ねる装置において、
前記画像情報合成手段は前記疑似カラー映像信号を前記モアレトポグラフ映像信号でゲートし、モアレトポグラフ映像信号の存在しないときにのみ前記疑似カラー映像信号を出力するように構成したことを特徴とする被写体のサーモグラフ画像情報にモアレトポグラフ画像情報を重ねる装置。 - 請求項1または2記載の被写体のサーモグラフ画像情報にモアレトポグラフ画像情報を重ねる装置において、
被写体のサーモグラフ画像情報を取得するサーモグラフ画像情報撮像手段および前記被写体のモアレトポグラフ画像情報を取得するモアレトポグラフ画像情報撮像手段の出力は静止画像デジタル情報であり、
前記画像情報合成手段は、対応出力間でデジタル演算をすることにより画像デジタル情報を重ねるように構成されている被写体のサーモグラフ画像情報にモアレトポグラフ画像情報を重ねる装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05376796A JP3683329B2 (ja) | 1996-02-16 | 1996-02-16 | 被写体のサーモグラフ画像情報にモアレトポグラフ画像情報を重ねる装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05376796A JP3683329B2 (ja) | 1996-02-16 | 1996-02-16 | 被写体のサーモグラフ画像情報にモアレトポグラフ画像情報を重ねる装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09220203A JPH09220203A (ja) | 1997-08-26 |
JP3683329B2 true JP3683329B2 (ja) | 2005-08-17 |
Family
ID=12951971
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP05376796A Expired - Fee Related JP3683329B2 (ja) | 1996-02-16 | 1996-02-16 | 被写体のサーモグラフ画像情報にモアレトポグラフ画像情報を重ねる装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3683329B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6344853B1 (en) | 2000-01-06 | 2002-02-05 | Alcone Marketing Group | Method and apparatus for selecting, modifying and superimposing one image on another |
JP3807721B2 (ja) | 2000-02-21 | 2006-08-09 | シャープ株式会社 | 画像合成装置 |
JP3598379B2 (ja) * | 2002-05-24 | 2004-12-08 | 独立行政法人情報通信研究機構 | 画像生体診断装置 |
CN101040288A (zh) * | 2004-07-07 | 2007-09-19 | 真实成像有限公司 | 3d热乳癌检测 |
KR100601998B1 (ko) * | 2005-06-20 | 2006-07-18 | 삼성전자주식회사 | 사용자의 신체정보 출력방법 및 장치 |
WO2016170973A1 (ja) * | 2015-04-20 | 2016-10-27 | シャープ株式会社 | 集積回路、及び測定装置 |
-
1996
- 1996-02-16 JP JP05376796A patent/JP3683329B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH09220203A (ja) | 1997-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104783757B (zh) | 聚焦扫描设备 | |
JP2824602B2 (ja) | デジタルパノラマx線撮影装置 | |
JP2599876B2 (ja) | 湾曲面の表面状態を決定する装置 | |
US4495949A (en) | Transillumination method | |
US5967979A (en) | Method and apparatus for photogrammetric assessment of biological tissue | |
US20030160970A1 (en) | Method and apparatus for high resolution 3D scanning | |
JP4485607B2 (ja) | 副画像から画像を合成する方法 | |
JPH0646977B2 (ja) | 計測用内視鏡 | |
JP5030335B2 (ja) | 医用画像表示装置 | |
CN103153167A (zh) | 三维暂存光学彩色图像摄取装置 | |
JP3683329B2 (ja) | 被写体のサーモグラフ画像情報にモアレトポグラフ画像情報を重ねる装置 | |
JP2006204329A (ja) | X線断層撮影装置 | |
JP4896311B2 (ja) | 眼底画像取得表示装置 | |
JP3763880B2 (ja) | 色補正方法 | |
Kagawa et al. | An active intraoral shape measurement scheme using a compact compound-eye camera with integrated pattern projectors | |
JP3624106B2 (ja) | デジタル撮影台 | |
JP4378003B2 (ja) | 撮像システム | |
JPH01101965A (ja) | 経内視鏡分光診断装置 | |
US7925331B2 (en) | Apparatus for displaying a tissue containing a fluorescent dye | |
JPS5969722A (ja) | 経内視鏡映像システム | |
KR102503831B1 (ko) | 3차원 구강내 열화상 영상 생성 시스템 및 방법 | |
JPH06331316A (ja) | 3次元計測方法及び画像処理装置 | |
KR20110033350A (ko) | 모션캡쳐 홀로그램 장치 | |
JP2869072B2 (ja) | ホログラフィックステレオグラムの作製方法 | |
JPS5813304Y2 (ja) | サ−モグラフイソウチ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050414 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050525 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090603 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100603 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |