JPH1098644A - 動き検出装置 - Google Patents
動き検出装置Info
- Publication number
- JPH1098644A JPH1098644A JP8249640A JP24964096A JPH1098644A JP H1098644 A JPH1098644 A JP H1098644A JP 8249640 A JP8249640 A JP 8249640A JP 24964096 A JP24964096 A JP 24964096A JP H1098644 A JPH1098644 A JP H1098644A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature point
- search range
- correlation operation
- correlation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Adjustment Of Camera Lenses (AREA)
- Image Analysis (AREA)
Abstract
な画像の動き量を検出するのに、代表点方式では、動き
量の検出が難しく、ブロックマッチング方式では、計算
時間がかかる。 【解決手段】 撮像部1を動かして撮像された時刻T1
の画像F1は、メモリ2及び特徴点抽出部3に取り込ま
れ、特徴点抽出部3で画像F1の特徴点が抽出され、次
フレームの開始時刻T2の画像F2は、メモリ2及び特
徴点抽出部3に取り込まれ、探索範囲決定部4により指
定された領域の画像F2と画像F1の特徴点とを相関演
算部5により演算され、動き量が出力される。
Description
の撮像装置を用いて連続的に画像を取り込んで結像面上
の被写体画像の動き量を検出する動き検出装置に関す
る。検出した動き量は、ビデオカメラの手ぶれ補正や取
り込んだ画像の合成に用いられる。
量を観測する手段として代表点方式が用いられている。
この方式は主にビデオカメラの手ぶれなどの動きの補償
に用いられているものである。図10に代表点方式の概
念図を示す。これは、連続して取り込んだ画像に対して
前フレームの画像の固定された位置に代表点を設定し、
さらに現フレームの画像に対し、2次元方向にずらしな
がら対応する画素で相関演算及び累積加算演算を行い、
演算値が最も高くなる量を動き量として検出するもので
ある。
れるように、設定した代表点でラプラシアンフイルタな
どを施し、輝度勾配を求め、その値を使って演算するこ
とにより精度が高くなるよう工夫したものもある。
施して、合成する位置をきめるブロックマッチング方式
を用いても動き量を検出することは可能である。図11
にブロックマッチング方式の概念図を示す。これは、前
フレームの画像の参照すべき特定領域を設定し、現フレ
ームの画像に対し、2次元方向にずらしながら相関演算
を行い、代表点方式と同様にして求めるものである。し
かしながら、代表点方式が数個の点で相関を求め累積加
算するのでよいのに対し、ブロックマッチング方式で
は、特定領域すべての累積加算が必要となり、より高速
な処理が必要となる。
方式では、ある代表点に対しては必ずある一定の輝度勾
配を有する必要がある。例えば文書画像の様に、白黒の
データを対象とする場合では、すべての代表点で輝度勾
配が低くなり、動き量がうまく検出されないという問題
がある。
が一様に分布している場合には有効であるが、そうでな
い場合、例えば背景の多い文書などは、輝度勾配の少な
い箇所が背景になってしまい、動き量の検出が難しくな
る。
量が多いため、実時間で動き量を検出するのが難しいと
いう問題がある。
度勾配が一様でないような、例えば文書画像に対して、
精度良く、高速に動き量を求めることのできる動き検出
装置を提供するものである。
出装置は、時系列に画像が入力されて各画像を記憶して
動き量を検出する動き検出装置であって、現フレームの
画像から輝度変化の高い箇所の特徴点を抽出する特徴点
抽出手段と、次フレームの画像の所定領域を相関演算の
ための探索範囲として決定する探索範囲決定手段と、上
記特徴点と上記探索範囲内の各画素との相関をとる相関
演算手段と、を備えたことを特徴とする。
1に記載の動き検出装置において、時系列に画像を入力
するための撮像手段をさらに備えたことを特徴とする。
1に記載の動き検出装置において、上記探索範囲決定手
段は、前フレームの画像と現フレーム画像から求めた動
き量に基づいて上記探索範囲を決定することを特徴とす
る。
1に記載の動き検出装置において、上記特徴点抽出手段
は、現フレームの画像から一方向の座標が一致する複数
の領域から輝度変化の高い箇所の特徴点を抽出し、上記
探索範囲決定手段は、次フレームの画像の上記各領域ご
とに相関演算のための探索範囲として決定し、上記相関
演算手段は、上記各領域ごとに相関演算を行うことを特
徴とする。
て図面を参照して説明する。図1は本実施の形態を示す
ブロック図で、1は画像を撮像する光学系やCCDなど
で構成される撮像部、2は撮像部1から転送された画像
データを格納するメモリ、3は画素演算に用いる点を抽
出する特徴点抽出部、4は相関演算の探索範囲を決定す
る探索範囲決定部、5は画素間の相関をとり、動き量を
出力する相関演算部、6は上記各部を制御する制御部で
ある。
て白地に黒の文字が書かれた文書画像を撮像する場合の
途中を示す図2を用いて説明する。図2は一定の時間間
隔で連続撮像された画像の途中を示している。
取り込み開始時間で、取り込まれた画像をF1,F2,
F3,...とする。T1T2間で、撮像部1から画像
F1が取り込まれ、メモリ2に格納され、同時に特徴点
抽出部3にも送られ、画像F1の特徴点が抽出される。
れ、メモリ2に格納され、同時に特徴点抽出部3に送ら
れ、画像F2のすべての特徴点が抽出される。また、T
2T3間では前フレームのT1T2間で抽出された画像
F1のすべての特徴点と、それらの特徴点ごとに対応す
る画像F2内の特定位置の近傍すべての画素と相関演算
部5で相関演算を行う。なお、画像F2内の特定位置
は、T1T2間の前フレームで求めた動き量で補正され
ている。以下、同様にして、現フレームの特徴点を参照
画像とし、次フレームの特定位置近傍の領域を探索画像
としてT3以降もT2T3間と同様な処理が繰り返され
る。
図3に、特徴点抽出部3の構成を示す。7は隣接画素を
同時に読み出すためのラインメモリ、8は輝度勾配を求
めるための加減算器、9は輝度の絶対値を得るための絶
対値演算器、10は輝度勾配が閾値を超えるかどうかを
調べる比較器、11は求めた特徴点の輝度値とその座標
値を格納する特徴点情報格納レジスタ、12は探索範囲
を制御するための探索範囲制御部である。
点について図4を用いて説明する。輝度勾配が高いと
は、隣接する画素の差が高いという意味で、文書画像に
おいては文字のエッジ部分が対応する。また相関演算と
して差の絶対値を用いるものとする。
部分を特徴点とすると、隣接する画素の輝度値がほぼ等
しいため、ある範囲での減算結果に対し、差が生じな
い。一方、輝度勾配の高い箇所を特徴点とすると、隣接
する画素の値が異なるため、ある範囲での減算結果に対
し、差が生ずるのである。具体的には、輝度変化の少な
い図8の特徴点1を採用し、探索範囲1の間で減算を行
うとすると、得られる結果は左下のグラフの様になり、
ほとんどの箇所で最小の値をとってしまうため、動き量
の決定は困難である。一方、図8の特徴点2を採用し、
探索範囲2の間で減算を行うとすると、得られる結果は
右下のグラフの様になり、ほぼ2点程度にしぼられる。
これは、さらに、他の特徴点をとり、その探索範囲との
減算結果を探索範囲の各画素ごとに累積加算することに
よって、動き量をしぼり込むことができることを示して
いる。
て説明する。本発明の特徴点抽出は、輝度勾配がある閾
値を越えるかどうかを、つまり、隣接する画素の絶対値
差が、ある閾値を越えるかどうかで判断する。そこであ
る閾値を越える場合、その特徴点の輝度値と座標値を探
索範囲決定部4に転送する。特徴点を検出する際に、ま
ず撮像部1からメモリ2にデータが転送されるのと同期
してラインメモリ7に一画素毎のデータが取り込まれ
る。ラインメモリ7は1ライン分のバッファを有してお
り、ある画素とその上下左右の画素が同時に加減算器8
から参照すべく構成する。そして、加減算器8では隣接
する画素値の差を求め、さらに絶対値演算器9で絶対値
を求め比較器10に転送する。比較器10では閾値より
高いかどうかの判断を行い、該当する画素の輝度値、座
標値、及びその特徴点を抽出した順序を示す特徴点番号
を特徴点情報格納レジスタ11に蓄える。
格納レジスタ11に格納されている座標より探索領域内
では新たな特徴点を格納しないことを実現するためのも
のである。これは、探索側の画像に対して参照側の特徴
点が唯一に決定されるように制御することにより実現さ
れ、具体的な制御は、特徴点情報格納レジスタ11に格
納された特徴点の座標値と求めようとしている特徴点の
座標値とのx,y方向の距離を求め、その距離が一定値
以下の場合には特徴点にしないようにすることにより実
現できる。この様に構成すると、特徴点の抽出は画像取
り込みと並行して実行することが可能となる。
て相関演算を行う動作について、図5,図6を用いて説
明する。図5は特徴点抽出部3によって求めた特徴点お
よび相関演算の概念を示したものである。左上の画像は
時刻T1に撮像された画像F1、右上の画像は時刻T2
に撮像された画像F2である。
である。13は特徴点抽出部3より転送された特徴点の
座標を蓄える座標値用レジスタ、14は相関演算部5で
求められた動き量を格納する前フレーム動き量格納部、
15は前フレームの動き量から補正した座標値を生成す
るアドレス生成器、16はアドレス生成器15と座標値
用レジスタ13の値から探索範囲の右上を原点とするア
ドレスおよび特徴点番号に変換するアドレス変換器であ
る。
特徴点を求め、T2で座標値用レジスタ13に格納され
る。次に、T2T3間で画像F2が撮像部1からメモリ
2に送られ画像F2の特徴点を求めるのと同時に、アド
レス生成器15で前フレームで求めた動き量を補正した
値がアドレス変換器16に送られる。なお、撮影の開始
時点では、動き量の初期値は0が設定される。アドレス
変換器16は、例えば特徴点の個数分の差分回路および
比較回路を有することで、どの特徴点か、および探索範
囲の中で相対位置はどこかを求め、相関演算部5に該当
するアドレスの輝度値と同期して送りだす。再び、図5
を用いて説明すると、特徴点抽出部3で「像」のにんべ
んの中程を特徴点であると決定し、座標値用レジスタ1
3に与えられる。アドレス生成器15は動き量分を補正
したアドレスに変換する。これは図5の画像F2′を生
成することである。
前フレームの動き量と等しいならば、特徴点と同じアド
レスが対応する点となるはずであり、前フレームの動き
量で補正した領域近傍を探索して相関演算を行うのがよ
い。そこでアドレス変換器16では、特徴点の座標値と
同じ座標値を中心とした、M×N画素の画像を生成す
る。これは、図5右下の画像に対応し、画像F1の特徴
点の輝度値と、撮像部より取り込まれた画像F2′のM
×N画素の輝度値とを相関演算した結果が出力される。
同一フレームでの他の特徴点についても、同様にM×N
画素の画像を生成して相関演算を行う。
を行う。例として相関演算部5は、下式
ここで、kは特徴点の個数、Mは横方向の動き量の探索
幅、Nは縦方向の動き量の探索幅、S(x,y)(i)
は動き量が(x,y)であるとした時のi番目の特徴点
に対応する探索側の画素の輝度値、R(i)は特徴点i
の輝度値である。
画像F1の特徴点座標(xR,yR)と画像F2′の特徴
点に対応する画素の座標(xT,yT)は xT=xR+x yT=yR+y なる関係がある。
図7は相関演算部5のブロック図である。17は特徴点
抽出部3で求められた特徴点の輝度値を格納する特徴点
用レジスタ、18は画素の相関を求める画素演算部、1
9は累積値を格納する累積メモリ、20は最小値を求め
る最小値検出部である。
によって、特徴点用レジスタ17の対応する特徴点が選
択され画素演算部18に送られる。同時に範囲内座標は
累積メモリ19の該当箇所を選択する。さらに輝度値が
与えられ、差和演算により相関値が求められ累積メモリ
19に返す。1フレームの処理が終了したら最小値検出
部20が累積メモリ19の探索側の画素M×Nの中から
相関値の最も少ない部分を選択し動き量として出力す
る。以上の様な構成により、実時間での高精度な動き検
出が可能となる。
が可能であるため、例えば探索範囲決定部4で出力され
る範囲内座標値の生成箇所を少し変更して、図8に示す
ように、参照側の矩形領域L1,L2をX座標が一致す
るように設定し、矩形領域L1,L2それぞれの特徴点
の抽出及び探索範囲を決定し、各領域ごとに相関演算を
行い、2つの動き量を検出することで角度を求めること
ができる。具体的には、図8に示すように、矩形領域L
1,L2から特徴量を求め、さらに探索側の画像と相関
演算を行い、矩形領域L1,L2に一致する矩形領域R
1,R2を求める次に、矩形領域R1,R2の相対位置
D1を求め、矩形領域L1,L2の中心座標間の距離D
2を求める。D1とD2から補正すべき角度は三角関数
を用いて検出される。
従来のブロックマッチング方式と比較して説明を行う。
間は、参照する画像の面積に比例する。また、相関演算
に必要な時間は、探索範囲の面積と特徴点の個数に比例
する。ここで参照する画像の面積を320×240画
素、抽出する特徴点の個数を25箇所、探索範囲を20
画素×20画素とすると、演算に要する時間は78,0
00×α+10,000×βとなる。ここで、αは輝度
勾配を求める際の一画素単位の演算量、βは画素の相関
を求める一画素単位の演算量である。
合は、20×20×320×240β=3,0720,
000βとなる。仮にαとβがほぼ同じ程度の演算量で
あると仮定すると、特徴点方式の演算に要する時間は8
8,000βとなりブロックマッチング方式は特徴点方
式の300倍以上の演算量が必要となる。
化を観測して参照面積を25程度に抑えれば演算量は同
等となるが、図9に示すように、探索側に同じ文字がほ
ぼ隣接している場合などではマッチングが困難になり、
動き量が決定できない場合があり、結果が著しく劣って
しまう。
度勾配が画像面に一様に存在していない場合でも、任意
の箇所を特徴点として相関演算することができるため、
文書などの背景が真っ白なものでも精度良く動き量の検
出が可能であり、代表点方式より精度的に優れている。
演算量が2桁程度少なくなり、フレームレートでのリア
ルタイム処理も可能である。
ための図である。
明するための図である。
ある。
めの図である。
る。
る。
Claims (4)
- 【請求項1】 時系列に画像が入力されて各画像を記憶
して動き量を検出する動き検出装置であって、 現フレームの画像から輝度変化の高い箇所の特徴点を抽
出する特徴点抽出手段と、 次フレームの画像の所定領域を相関演算のための探索範
囲として決定する探索範囲決定手段と、 上記特徴点と上記探索範囲内の各画素との相関をとる相
関演算手段と、を備えたことを特徴とする動き検出装
置。 - 【請求項2】 時系列に画像を入力するための撮像手段
をさらに備えたことを特徴とする請求項1に記載の動き
検出装置。 - 【請求項3】 上記探索範囲決定手段は、前フレームの
画像と現フレーム画像から求めた動き量に基づいて上記
探索範囲を決定することを特徴とする請求項1に記載の
動き検出装置。 - 【請求項4】 上記特徴点抽出手段は、現フレームの画
像から一方向の座標が一致する複数の領域から輝度変化
の高い箇所の特徴点を抽出し、上記探索範囲決定手段
は、次フレームの画像の上記各領域ごとに相関演算のた
めの探索範囲として決定し、上記相関演算手段は、上記
各領域ごとに相関演算を行うことを特徴とする請求項1
に記載の動き検出装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24964096A JP3534551B2 (ja) | 1996-09-20 | 1996-09-20 | 動き検出装置 |
PCT/JP1997/001029 WO1998012869A1 (fr) | 1996-09-20 | 1997-03-27 | Appareil de mesure de mouvement |
US09/269,033 US6650362B1 (en) | 1996-09-20 | 1997-03-27 | Movement detecting apparatus with feature point extractor based on luminance gradient in current frame |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24964096A JP3534551B2 (ja) | 1996-09-20 | 1996-09-20 | 動き検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1098644A true JPH1098644A (ja) | 1998-04-14 |
JP3534551B2 JP3534551B2 (ja) | 2004-06-07 |
Family
ID=17196035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24964096A Expired - Lifetime JP3534551B2 (ja) | 1996-09-20 | 1996-09-20 | 動き検出装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US6650362B1 (ja) |
JP (1) | JP3534551B2 (ja) |
WO (1) | WO1998012869A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008003674A (ja) * | 2006-06-20 | 2008-01-10 | Mitsubishi Electric Corp | 動きベクトル検出装置 |
CN104915629A (zh) * | 2014-03-13 | 2015-09-16 | 欧姆龙株式会社 | 图像处理装置以及图像处理方法 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3241028B2 (ja) * | 1999-12-22 | 2001-12-25 | 日本電気株式会社 | 画像撮像装置及びその画像撮像方法 |
US7554535B2 (en) * | 2001-10-05 | 2009-06-30 | Nec Corporation | Display apparatus, image display system, and terminal using the same |
US8159561B2 (en) * | 2003-10-10 | 2012-04-17 | Nikon Corporation | Digital camera with feature extraction device |
JP3862728B2 (ja) | 2005-03-24 | 2006-12-27 | 三菱電機株式会社 | 画像動きベクトル検出装置 |
JP4385077B1 (ja) * | 2008-08-27 | 2009-12-16 | 三菱電機株式会社 | 動きベクトル検出装置および画像処理装置 |
JP2011128990A (ja) * | 2009-12-18 | 2011-06-30 | Canon Inc | 画像処理装置とその方法 |
US9070042B2 (en) * | 2011-01-13 | 2015-06-30 | Panasonic Intellectual Property Management Co., Ltd. | Image processing apparatus, image processing method, and program thereof |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2648254B2 (fr) * | 1988-09-23 | 1991-08-30 | Thomson Csf | Procede et dispositif d'estimation de mouvement dans une sequence d'images animees |
JP3200089B2 (ja) | 1991-06-21 | 2001-08-20 | キヤノン株式会社 | 動きベクトル検出装置及び振れ補正装置 |
JPH05219420A (ja) | 1992-01-31 | 1993-08-27 | Hitachi Ltd | 撮像装置 |
JPH0686149A (ja) | 1992-08-31 | 1994-03-25 | Sony Corp | 動きベクトル検出装置及びビデオカメラ |
US5835641A (en) * | 1992-10-14 | 1998-11-10 | Mitsubishi Denki Kabushiki Kaisha | Image pick-up apparatus for detecting and enlarging registered objects |
FR2700037B1 (fr) * | 1992-12-24 | 1995-01-27 | Thomson Csf | Dispositif d'estimation hiérarchique du mouvement de séquence d'images. |
KR970011540B1 (ko) | 1993-03-03 | 1997-07-11 | 엘지전자 주식회사 | 캠코더의 영상보정장치 |
JPH0730796A (ja) * | 1993-07-14 | 1995-01-31 | Sony Corp | ビデオ信号追従処理システム |
EP0713331B1 (en) * | 1994-11-17 | 2001-03-14 | Canon Kabushiki Kaisha | Camera control device and method |
JP2902966B2 (ja) * | 1994-12-16 | 1999-06-07 | 三洋電機株式会社 | 手振れ補正装置およびそれを用いたビデオカメラ |
-
1996
- 1996-09-20 JP JP24964096A patent/JP3534551B2/ja not_active Expired - Lifetime
-
1997
- 1997-03-27 WO PCT/JP1997/001029 patent/WO1998012869A1/ja active Application Filing
- 1997-03-27 US US09/269,033 patent/US6650362B1/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008003674A (ja) * | 2006-06-20 | 2008-01-10 | Mitsubishi Electric Corp | 動きベクトル検出装置 |
CN104915629A (zh) * | 2014-03-13 | 2015-09-16 | 欧姆龙株式会社 | 图像处理装置以及图像处理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3534551B2 (ja) | 2004-06-07 |
US6650362B1 (en) | 2003-11-18 |
WO1998012869A1 (fr) | 1998-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4781233B2 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
US8274570B2 (en) | Image processing apparatus, image processing method, hand shake blur area estimation device, hand shake blur area estimation method, and program | |
JP4639555B2 (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
JP2010118862A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP7223079B2 (ja) | 画像処理装置およびその制御方法、ならびに撮像装置 | |
JP3866957B2 (ja) | 画像合成装置 | |
JPH09163217A (ja) | カメラ映像の動きベクトル検出装置および動きベクトル検出方法 | |
JP5839796B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
JP3534551B2 (ja) | 動き検出装置 | |
JP5173549B2 (ja) | 画像処理装置及び撮像装置 | |
JP6178646B2 (ja) | 撮像装置及び像振れ補正処理方法 | |
JP2007213191A (ja) | 動き検出プログラム、動き検出方法、動き検出装置、 | |
JP2021111929A (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
JP2003078808A (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
JP5451364B2 (ja) | 被写体追跡装置及びその制御方法 | |
JP6602089B2 (ja) | 画像処理装置及びその制御方法 | |
JP2001119622A (ja) | 撮像装置及びその制御方法 | |
JP2009065283A (ja) | 画像ぶれ補正装置 | |
JP2021047710A (ja) | 画像処理装置、画像処理方法、画像処理システム及びプログラム | |
JP2005295302A (ja) | カメラ画像処理装置 | |
CN110692235A (zh) | 图像处理装置、图像处理程序及图像处理方法 | |
JP2019045990A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
WO2023190686A1 (ja) | 画像処理装置および画像処理方法 | |
JP7278737B2 (ja) | 撮像装置及びその制御方法、並びにプログラム | |
JP2010118822A (ja) | 手ぶれ補正装置及び手ぶれ補正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040302 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040309 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080319 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090319 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100319 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100319 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110319 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120319 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120319 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130319 Year of fee payment: 9 |