JP2004213648A - 物体追尾方法及び物体追尾装置 - Google Patents
物体追尾方法及び物体追尾装置 Download PDFInfo
- Publication number
- JP2004213648A JP2004213648A JP2003422254A JP2003422254A JP2004213648A JP 2004213648 A JP2004213648 A JP 2004213648A JP 2003422254 A JP2003422254 A JP 2003422254A JP 2003422254 A JP2003422254 A JP 2003422254A JP 2004213648 A JP2004213648 A JP 2004213648A
- Authority
- JP
- Japan
- Prior art keywords
- image
- detected
- template
- imaging device
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【解決手段】 撮像装置から得られる画像信号に基づいて撮像画像中の物体を検出し追跡する物体追尾方法において、前記撮像装置から取得した画像から前記物体の一部を含む所定サイズのテンプレート画像を作成するテンプレート画像作成ステップと、前記撮像装置から異なる時刻に取得した2フレーム以上の画像に基づいて、該フレーム間での画像の変化領域を検出する画像変化検出ステップと、該検出された画像の変化領域に基づいて該物体の位置を検出し、該検出された物***置を前記テンプレート画像に代えて新たなテンプレート画像とする、物***置修正ステップとを備える。
【選択図】 図1
Description
を用いた遠隔モニタ方式の監視システム等の物体追尾システムは、従来から広く用いられているが、その多くは、監視員がモニタに表示される画像を見ながら監視を行なう、いわゆる有人監視方式の監視システムである。しかし、この有人監視方式の監視システムでは、監視員が常時モニタに表示される映像を見ていて、監視対象領域内に入り込んでくる人間や自動車などの侵入物体(検出物体)をリアルタイムで識別する必要があり、監視員に大きな負担がかかる。
この従来方式の侵入物体検出処理を図5のフローチャートを用いて説明する。
次に点線で囲ったステップ102は、差分法による侵入物体検出ステップであり、第1の画像入力ステップ102aでは、カメラから、例えば横320画素、高さ240画素の入力画像を取得する。次に、差分処理ステップ102bでは、第1の画像入力ステップ102aで得た入力画像と予め作成しておいた基準背景画像との各画素毎の輝度値の差分を差分画像の輝度値として算出する。次に、二値化処理ステップ102cでは、差分処理ステップ102bで得られた差分画像の画素値(差分値)について、画素毎に、所定のしきい値Th(例えば、Th=20)未満の画素値を“0”、しきい値Th以上の画素の画素値を“255”(1画素の画素値を8ビットで計算した)として二値化画像を取得する。次に、ラベリング処理ステップ102dでは、二値化処理ステップ102cで得られた二値化画像中の画素値“255”となる画素のかたまりを検出して各々に番号を付けて区別できるようにする。次に、侵入物体存在判定ステップ102eでは、ラベリング処理ステップ102dで番号付けされた画素値“255”となる画素のかたまりが所定の条件(例えば大きさ横20画素、高さ50画素以上)であれば当該監視対象領域内に侵入物体が存在すると判定する(以上差分法の説明した)。
次にテンプレート登録ステップ104では、ラベリング処理ステップ102dで番号付けされた画素値“255”となる画素のかたまりに基づいて、入力画像中の侵入物体の画像を切り出し、テンプレートとして登録する。
次に、切り出し器607では、二値化画像606中で番号付けされた画素値“255”のかたまり611の外接矩形を計算し、入力画像601の外接矩形の領域を切り出してテンプレート画像608を得る。テンプレート画像608では、入力画像601に映った人型の物体609の画像がテンプレート612として登録される。
第2の画像入力ステップ105では、第1の画像入力ステップ102aと同様に、カメラから、例えば横320画素、高さ240画素の入力画像を取得する。
また一致度が小さいということは、入力画像中でテンプレートに似た画像が無い、即ち、入力画像中に侵入物体が存在しないことを意味し、その場合は第1の画像入力ステップ102aに分岐して、差分法によって再び侵入物体を検出する処理を実行する。
なお、dx及びdyの絶対値によってパンモータやチルトモータの制御速度を変化させるようにしても良い(dxあるいはdyの絶対値が大きいほど制御速度を大きくする)。
ここまでの処理が実行されていく過程を、図7によって説明する。図7は、テンプレートマッチングを逐次実行することによって侵入物体の位置を追跡する一例を表す図である。図7において、701は時刻t0−1におけるテンプレート画像を表しており、701aは時刻t0−1におけるテンプレートであり、702は時刻t0における入力画像である。画像702において、702aは時刻t0−1における侵入物体の位置(テンプレート701aの位置)を示す矩形領域、702bはテンプレートマッチングの対象となる領域(探索領域)を示す矩形領域を表す。
本発明の目的は、上記従来技術の欠点を除去しうる物体追尾方法及び物体追尾装置を提供するにある。
また、本発明の物体追尾方法において、更に、前記検出された物***置と、前記撮像装置の撮像視野内の所定基準位置との関係に基づいて該撮像装置の撮像方向を制御するステップを備える。
また、本発明の物体追尾方法において、前記検出された物***置と、前記撮像装置の撮像視野内の所定基準位置との関係に基づいて該撮像装置の撮像方向を制御するステップを備える。
また、本発明の物体追尾方法において、前記画像変化検出ステップは、前記現在の物体検出位置に基づき該物体の位置を検出するための探索範囲を設定し、該設定された探索範囲において前記2フレーム間での画像の変化領域を検出し、前記物***置修正ステップは、該変化された探索範囲において所定値以上の差分が検出された領域を前記物体の位置として検出する。
また、本発明の物体追尾方法は、撮像装置から得られる画像信号に基づいて撮像画像中の物体を検出し追跡する物体追尾方法において、前記撮像装置から取得した画像から前記物体の一部を含む所定サイズのテンプレート画像を作成するテンプレート画像作成ステップと、前記撮像装置から異なる時刻に取得した2フレーム以上の画像に基づいて、該フレーム間での画像の変化領域を検出する画像変化検出ステップと、該検出された画像の変化領域に基づいて該物体の位置を検出し、該検出された物***置を前記テンプレート画像に代えて新たなテンプレート画像とする、物***置修正ステップとを備える。
また、本発明の物体追尾方法において、前記検出された物***置と、前記撮像装置の撮像視野内の所定基準位置との関係に基づいて該撮像装置の撮像方向を制御するステップを備える。
また、本発明の物体追尾方法において、前記画像変化検出ステップは、前記現在のテンプレート画像の位置に基づき該物体の位置を検出するための探索範囲を設定し、該設定された探索範囲において前記2フレーム間での画像の変化領域を検出し、前記物***置修正ステップは、該変化された探索範囲において所定値以上の差分が検出された領域を前記物体の位置として検出する。
また、本発明の侵入物体追尾方法は、監視対象領域に侵入する物体を監視対象領域を撮像して取得した画像信号に基づいて検出し、検出した結果に基づいて撮像装置を搭載するカメラ雲台を制御して侵入物体を追尾する方式の侵入物体追尾方法において、カメラ雲台の制御状態に応じて撮像装置から異なる時刻に取得した少なくとも2フレーム以上の画像信号に基づいて画像信号の変化領域を検出する画像信号変化検出ステップと、画像信号変化検出ステップで検出された画像信号の変化領域に基づいて侵入物体の正確な位置を検出して侵入物体の位置情報を修正する侵入物***置修正ステップとを備えることによって達成される。
先ず、図4は、本発明の一実施例が適用された監視システムのハードウエア構成の一例である。401は撮像装置である。撮像装置401はカメラ401aとズームレンズ401b、及びカメラ雲台(電動旋回台)401cで少なくとも構成されている。次に、402は処理装置で、画像入力部(画像入力I/F)402aと雲台制御部(雲台制御I/F)402b、レンズ制御部(レンズ制御I/F)402c、操作入力部(操作入力I/F)402d、画像メモリ402e、MPU(マイクロプロセッシングユニット、Micro Processing Unit)402f、ワークメモリ402g、外部入出力部(外部入出力I/F)402h、画像出力部(画像出力I/F)402i、警報出力部(警報出力I/F)402j、それにデータバス402kで構成され、これに、操作手段403と外部記憶装置404、画像モニタ405、更に警告灯406が組合わされている。
2のボタン404cで構成されている。そして、カメラ401aの出力は画像入力部
402aを介してデータバス402kに接続され、ズームレンズ401bの制御部はレンズ制御部402cを介してデータバス402kに接続され、カメラ401aを搭載するカメラ雲台401cは雲台制御部402bを介してデータバス402kに接続され、操作手段403の出力は操作入力部402dを介してデータバス402kに接続されている。
接続され、監視用の画像モニタ405は画像出力部402iを介してデータバス40
2kに接続され、警告灯406は警報出力部402jを介してデータバス402kに接続されている。一方、MPU402gとワークメモリ402gは、そのままデータバス402kに接続されている。
02g内で画像メモリ402eに蓄積された画像の解析を行なう。そして、この処理
結果に応じて、MPU402fは、ズームレンズ401bを制御し、カメラ雲台401cを制御して、カメラ401aの撮像視野を変えると共に、必要に応じて監視モニタ405に侵入物体検出結果の画像を表示し、警告灯406を点灯させる。
なお、本実施例では、式(2)、(3)で表される通り、x1もしくはy1をx0−d<x1<x0+d、y0−d<y1<y0+dと変化させた場合に、x1<x<x1+dx、y1<y<y1+dyにおいてhx(x)、hy(y)の累積値が最も大きくなるx1、y1を求めている。これに代わり、x0−d<x1<x0+d、y0−d<y1<y0+dと変化させる過程で式(2)のΣhx(x1+i)、i=0〜tx−1、式(3)のΣhy(y1+j)、j=0〜ty−1が所定のしきい値を超えた場合に式(2)、(3)の計算を中止し、その時のx1もしくはy1をテンプレートの補正位置としても良い。この場合、所定のしきい値とは、例えば累積値の最大値255×(dy+2d)(y軸に対しては255×(dx+2d))の30%の値を設定する。この値によって検出される範囲は、差分の最大累積値の30%以上の差分を含む部分となり、これによって式(2)、(3)の計算量を減らすことができる。
なお、カメラ雲台停止判定ステップ109によって、カメラ雲台401cが停止している場合にのみフレーム間差分処理ステップ110から侵入物***置修正ステップ115が実行されるようになっているが、フレーム間差分法は、異なる時刻に得られた2フレームの入力画像を比較することによって行なわれるため、カメラ雲台401cが動いている間はフレーム間差分を実行することができないためである。
この図3の処理プロセスは、図2で表される処理プロセスに、図5で示される従来法のテンプレートマッチングを用いた侵入物体追尾方法を組合わせたものであり、差分量判定ステップ113、及び侵入物体停止判定ステップ116以外は、すでに説明しているため、ここでは説明は省略する。ただし、差分量最大位置探索ステップ112については、図2の処理プロセスのステップ112とは若干異なるので、この点は図10を用いて後述する。
次に、侵入物体停止判定ステップ116では、検出した侵入物体の位置が所定時間(例えば10秒)変わらない場合には侵入物体検出処理ステップ102へ分岐し、検出した侵入物体の位置が変わっている場合にはテンプレート更新ステップ117へ分岐する。
ここで、図14(1)−(3)にテンプレートマッチング処理とカメラ雲台制御処理、フレーム間差分を利用した侵入物***置修正処理の動作タイミングを示す。図14(1)−(3)は、各処理の動作をある時刻t0から時刻t0+12にわたって表示した図である。1401は時間の流れを表す軸であり、テンプレートマッチングの処理サイクルに合わせてt0、t0+1…と目盛を付けてある。図14(1)に示す1402はテンプレートマッチング処理の動作を表し、1402において斜線で図示した時間帯、例えば時間帯1402a、1402bは、テンプレートマッチング処理ステップ106が実際に処理を行なっている時間である。次に、1403はカメラ雲台制御処理ステップ118の動作を表し、図14(2)に示す1403において斜線で図示した時間帯は、カメラ雲台が実際に動作している時間である。
探索範囲拡大ループ(ステップ111−114)は、図10(3)で示されるフレーム間差分による差分画像の投影範囲である探索領域1003bを段階的に(例えば、この例では5段階に)拡大する。本実施例では、1処理フレームにつき、探索範囲拡大処理(ステップ111から114まで)を複数回、例えば、5回繰り返す。上記第2の実施例では、探索範囲dをd=50として実行しているが、本実施例では、探索範囲拡大処理、即ち、探索ステップ111からステップ114までの処理を最初に実行する場合には、探索範囲dの初期値をd=10とする(ステップ111a)。次いで、2回目の探索範囲拡大処理ではステップ114aにおいて、d+10を新たなd(即ちd=20)とし、3回目の探索範囲拡大処理では同様にステップ114aでdを更新してd=30とし、段階的に探索範囲を拡大し、5回目の探索範囲拡大処理でd=50の探索範囲となるようにすることで、探索範囲を段階的に拡大することができる。なお、探索範囲拡大処理はステップ114bにより5回を超えないようにする。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
Claims (9)
- 撮像装置から得られる画像信号に基づいて撮像画像中の物体を検出し追跡する物体追尾方法において、
前記撮像装置から取得した画像から前記物体の一部を含む所定サイズのテンプレート画像を作成するテンプレート画像作成ステップと、
前記撮像装置から異なる時刻に取得した2フレーム以上の画像に基づいて、該フレーム間での画像の変化領域を検出する画像変化検出ステップと、
該検出された画像の変化領域に基づいて該物体の位置を検出し、該検出された物***置を前記テンプレート画像に代えて新たなテンプレート画像とする、物***置修正ステップとを備えることを特徴とする物体追尾方法。 - 請求項1記載の物体追尾方法において、
前記画像変化検出ステップは、前記撮像装置の制御状態の停止時において、前記撮像装置から異なる時刻に取得した2フレームの画像を比較することによって、画像の変化領域を検出することを特徴とする物体追尾方法。 - 請求項2記載の物体追尾方法において、
前記撮像装置の制御状態の停止とは、前記撮像装置の撮像方向が固定の状態を示すことを特徴とする物体追尾方法。 - 請求項1記載の物体追尾方法において、更に、
前記検出された物***置と、前記撮像装置の撮像視野内の所定基準位置との関係に基づいて該撮像装置の撮像方向を制御するステップを備えることを特徴とする物体追尾方法。 - 請求項1記載の物体追尾方法において、
前記画像変化検出ステップは、前記撮像装置から異なる時刻に取得した2フレームの画像を比較し、最も多い差分或いは所定値以上の差分が検出された領域を前記物体の位置として検出することを特徴とする物体追尾方法。 - 請求項5記載の物体追尾方法において、
前記画像変化検出ステップは、前記現在のテンプレート画像の位置に基づき該物体の位置を検出するための探索範囲を設定し、該設定された探索範囲において前記2フレーム間での画像の変化領域を検出し、
前記物***置修正ステップは、該変化された探索範囲において最も多い差分或いは所定値以上の差分が検出された領域を前記物体の位置として検出することを特徴とする物体追尾方法。 - 撮像装置から得られる画像信号に基づいて撮像画像中の物体を検出し追跡する物体追尾装置において、
該撮像装置が取得した映像信号を逐次画像信号に変換する画像入力部と、
前記画像入力部によって変換された前記画像信号を予め決めた手順で処理する
処理部とを備え、
前記処理部は、前記撮像装置から取得した画像から前記物体の一部を含む所定サイズのテンプレート画像を作成し、前記撮像装置から異なる時刻に取得した2フレーム以上の画像に基づいて、該フレーム間での画像の変化領域を検出し、該検出された画像の変化領域に基づいて該物体の位置を検出し、該検出された物***置を前記テンプレート画像に代えて新たなテンプレート画像とすることを特徴とする物体追尾装置。 - 請求項7記載の物体追尾装置において、
前記処理部は、前記撮像装置から異なる時刻に取得した2フレームの画像を比較し、最も多い差分或いは所定値以上の差分が検出された領域を前記物体の位置として検出することを特徴とする物体追尾装置。 - 請求項8記載の物体追尾装置において、
前記処理部は、前記現在のテンプレート画像の位置に基づき該物体の位置を検出するための探索範囲を設定し、該設定された探索範囲において前記2フレーム間での画像の変化領域を検出し、
該変化された探索範囲において最も多い差分或いは所定値以上の差分が検出された領域を前記物体の位置として検出することを特徴とする物体追尾装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003422254A JP3973623B2 (ja) | 2002-12-19 | 2003-12-19 | 物体追尾方法及び物体追尾装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002367852 | 2002-12-19 | ||
JP2003422254A JP3973623B2 (ja) | 2002-12-19 | 2003-12-19 | 物体追尾方法及び物体追尾装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004213648A true JP2004213648A (ja) | 2004-07-29 |
JP2004213648A5 JP2004213648A5 (ja) | 2005-05-26 |
JP3973623B2 JP3973623B2 (ja) | 2007-09-12 |
Family
ID=32828793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003422254A Expired - Fee Related JP3973623B2 (ja) | 2002-12-19 | 2003-12-19 | 物体追尾方法及び物体追尾装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3973623B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006258943A (ja) * | 2005-03-15 | 2006-09-28 | Fujinon Corp | オートフォーカスシステム |
JP2006267221A (ja) * | 2005-03-22 | 2006-10-05 | Fujinon Corp | オートフォーカスシステム |
JP2006267220A (ja) * | 2005-03-22 | 2006-10-05 | Fujinon Corp | オートフォーカスシステム |
JP2011053951A (ja) * | 2009-09-02 | 2011-03-17 | Canon Inc | 画像処理装置 |
JP2012063455A (ja) * | 2010-09-14 | 2012-03-29 | Nikon Corp | 画像追尾装置及び撮像装置 |
JP2013156855A (ja) * | 2012-01-30 | 2013-08-15 | Nippon Telegr & Teleph Corp <Ntt> | 移動体追跡方法及びコンピュータプログラム |
JP2015141635A (ja) * | 2014-01-29 | 2015-08-03 | セコム株式会社 | 物体検出センサ及びプログラム |
JP2016042328A (ja) * | 2014-08-19 | 2016-03-31 | 株式会社岩崎電機製作所 | 位置変化検出装置 |
JPWO2014061123A1 (ja) * | 2012-10-17 | 2016-09-05 | 富士通株式会社 | 画像処理装置、画像処理プログラムおよび画像処理方法 |
JP2019075156A (ja) * | 2015-06-26 | 2019-05-16 | ゲットアラート リミテッド | 多因子画像特徴登録及び追尾のための方法、回路、装置、システム、及び、関連するコンピュータで実行可能なコード |
CN112184750A (zh) * | 2019-06-13 | 2021-01-05 | 北京四维图新科技股份有限公司 | 基于视频图像的对象跟踪方法及装置 |
-
2003
- 2003-12-19 JP JP2003422254A patent/JP3973623B2/ja not_active Expired - Fee Related
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006258943A (ja) * | 2005-03-15 | 2006-09-28 | Fujinon Corp | オートフォーカスシステム |
JP2006267221A (ja) * | 2005-03-22 | 2006-10-05 | Fujinon Corp | オートフォーカスシステム |
JP2006267220A (ja) * | 2005-03-22 | 2006-10-05 | Fujinon Corp | オートフォーカスシステム |
JP2011053951A (ja) * | 2009-09-02 | 2011-03-17 | Canon Inc | 画像処理装置 |
JP2012063455A (ja) * | 2010-09-14 | 2012-03-29 | Nikon Corp | 画像追尾装置及び撮像装置 |
JP2013156855A (ja) * | 2012-01-30 | 2013-08-15 | Nippon Telegr & Teleph Corp <Ntt> | 移動体追跡方法及びコンピュータプログラム |
JPWO2014061123A1 (ja) * | 2012-10-17 | 2016-09-05 | 富士通株式会社 | 画像処理装置、画像処理プログラムおよび画像処理方法 |
JP2015141635A (ja) * | 2014-01-29 | 2015-08-03 | セコム株式会社 | 物体検出センサ及びプログラム |
JP2016042328A (ja) * | 2014-08-19 | 2016-03-31 | 株式会社岩崎電機製作所 | 位置変化検出装置 |
JP2019075156A (ja) * | 2015-06-26 | 2019-05-16 | ゲットアラート リミテッド | 多因子画像特徴登録及び追尾のための方法、回路、装置、システム、及び、関連するコンピュータで実行可能なコード |
CN112184750A (zh) * | 2019-06-13 | 2021-01-05 | 北京四维图新科技股份有限公司 | 基于视频图像的对象跟踪方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP3973623B2 (ja) | 2007-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7596240B2 (en) | Object tracking method and object tracking apparatus | |
JP3279479B2 (ja) | 映像監視方法及び装置 | |
JP3768073B2 (ja) | 物体追跡方法及び物体追跡装置 | |
JP4241742B2 (ja) | 自動追尾装置及び自動追尾方法 | |
US7400344B2 (en) | Object tracking method and object tracking apparatus | |
KR100676232B1 (ko) | 물체추적방법, 물체추적장치 및 물체추적을 행하기 위한 계산기의 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 | |
KR100738522B1 (ko) | 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체추출 장치 및 그 방법 | |
JP3644668B2 (ja) | 画像監視装置 | |
JP3973623B2 (ja) | 物体追尾方法及び物体追尾装置 | |
JP2006523043A (ja) | 監視を行なう方法及びシステム | |
US20160019700A1 (en) | Method for tracking a target in an image sequence, taking the dynamics of the target into consideration | |
JP2006229322A (ja) | 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム | |
JP2008009849A (ja) | 人物追跡装置 | |
KR20140055159A (ko) | Avm 시스템의 장애물 검출 장치 및 방법 | |
JP4578864B2 (ja) | 自動追尾装置及び自動追尾方法 | |
Ciliberto et al. | Reexamining lucas-kanade method for real-time independent motion detection: Application to the icub humanoid robot | |
JP3560326B2 (ja) | 物体追跡方法及び物体追跡装置 | |
JP2007274543A (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
JP4699056B2 (ja) | 自動追尾装置及び自動追尾方法 | |
JP3857558B2 (ja) | 物体追跡方法及び装置 | |
JP2006314061A (ja) | 画像処理装置及びノイズ判定方法 | |
JP4444746B2 (ja) | 物体追尾方法及び物体追尾装置 | |
JPH11345392A (ja) | 障害物検出装置及び障害物検出方法 | |
JP4302801B2 (ja) | 物体追跡方法及び物体追跡装置 | |
US20220237731A1 (en) | Apparatus and method for analyzing fisheye camera image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040826 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040826 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070305 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070327 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070612 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070612 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3973623 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100622 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110622 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120622 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130622 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140622 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |