JP4309900B2 - 映像監視システム - Google Patents
映像監視システム Download PDFInfo
- Publication number
- JP4309900B2 JP4309900B2 JP2006141374A JP2006141374A JP4309900B2 JP 4309900 B2 JP4309900 B2 JP 4309900B2 JP 2006141374 A JP2006141374 A JP 2006141374A JP 2006141374 A JP2006141374 A JP 2006141374A JP 4309900 B2 JP4309900 B2 JP 4309900B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- function
- target
- entire
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000006870 function Effects 0.000 claims description 151
- 238000012544 monitoring process Methods 0.000 claims description 74
- 238000001514 detection method Methods 0.000 description 35
- 230000015654 memory Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Alarm Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Description
そして、撮影カメラから入力される映像をもとに、監視領域の全体映像と、この全体映像中にあるターゲットの拡大映像を取得し、監視精度を高めたいといった要求がある。
従来技術では、監視領域全体の映像を取得するための広角カメラを設置するとともに、監視領域内の一区画についての拡大映像を取得するためのカメラを監視領域内の各区画(複数)に設置し、広角カメラで撮影した全体映像に基づいて着目したい部分があれば、その区画に設置されたカメラで撮影した拡大映像を取得し、監視領域全体の映像と、ターゲットの拡大映像とを取得するといった、複数カメラによる撮影監視システムが用いられていた。
しかし、複数のカメラを必要とする撮影監視システムでは、装置コスト、設置工事、メンテナンス、カメラ設置スペースなどの問題を抱えており、シンプルな構成が求められていた。
従って、モニタに表示された映像を観察する監視者が、監視領域の異常を的確に把握するためには、全体映像から状況に合わせて的確にターゲットを検出し、その拡大映像をモニタに表示することが望まれている。またモニタを観察する監視者の負担を軽減するために、検出したターゲットの位置を容易に把握できるように表示することが望まれている。
この実施例では、4台のカメラ1a〜1dを使用して監視領域全体を撮影し、各映像を連結することによって監視領域全体のカメラ映像を取得した。
各カメラ1a〜1dで撮影した映像は、それぞれA/D変換器2a〜2dに入力された後、同期メモリ3a〜3dに入力され、その後、連結部4に入力される。そして、連結部4において各カメラ映像を連結し、監視領域全体のカメラ映像を取得する。
つまり、フレームメモリ5に格納されたカメラ映像から、監視領域の全体映像を読み出す(切り出す)とともに、全体映像中から目的とする領域(以下、ターゲットという)の映像を読み出す(切り出す)ことによって、監視領域の全体映像と、ターゲットの拡大映像とをモニタに表示できるように構成した。
そして、モニタに監視領域の全体映像とターゲットの拡大映像を同時に表示するにあたって、カーソルポジションレジスタ7において、カーソルの表示/非表示を設定するとともに、カーソル表示の種類や色を設定し、その設定に基づいてカーソル表示部8で、全体映像中のターゲットの位置にカーソルを表示し、拡大表示されたターゲットの全体映像中の位置を容易に把握できるようにした。
図2(a)に示すカメラの配置例では、4台のカメラ(撮影画角30°)1a〜1dを扇状に配置して撮影し、連続性がある(互いに隣合う)4つのカメラ映像C1〜C4を取得する。そして前記各カメラ映像C1〜C4を連結部4に入力して映像を連結し、広域の監視領域全体のカメラ映像(撮影画角120°)を取得する。
図3は、この発明の実施形態による表示映像設定部6のブロック図を示すものである。
第2動き検出部12は、監視領域全体を撮影したカメラ映像の全体で動き検出を行い、動き検出したターゲットの数とその位置を検出する。
指定追尾設定部13は、マウスやキーボードやボタンなどの指示装置を用いてオペレータがモニタに表示された全体映像中にターゲットを指定した場合、そのターゲットの位置を検出する。
マニュアル追尾設定部14は、マウスやキーボードやボタンなどの指示装置を用いてオペレータがモニタに表示された全体映像中にターゲットを指定した場合、そのターゲットの位置をオペレータの指示に追随して検出する。
そして第1及び第2自動追尾部18a,18bを設け、追尾優先度判定部17で選択した2つのターゲットについて、優先順位が一番目のターゲットを第1自動追尾部18aで自動追尾し、優先順位が2番目のターゲットを第2自動追尾部18bで自動追尾するように設定した。
なお自動追尾したターゲットの動きが検出されなくなるまでターゲットを自動追尾する場合において、この実施例では、ターゲットが動き検出されなくなってから一定時間経過まではそのターゲットの自動追尾を継続し、一旦動き検出されなくなっても、動き検出されなくなってから一定時間経過前に動き検出された場合は、そのターゲットの自動追尾を継続して行う。
第1及び第2自動追尾部18a,18bでは、自動追尾したターゲットの動き検出が継続している場合は、動き検出したターゲットの位置情報を第1または第2切り出しカウンタ20a,20bに入力し、自動追尾したターゲットの動きが検出されなくなった場合は、動き検出されなくなってから一定時間経過までのあいだ、最後に動き検出したターゲットの位置情報を切り出しカウンタ20a,20bに入力する。そして上記のターゲットの位置情報をもとに、自動追尾したターゲットの映像が、フレームメモリ5に格納されているカメラ映像から切り出される。
また第1及び第2自動追尾部18a,18bにおいて、2つのターゲットを自動追尾する場合、各ターゲットの位置関係(左右関係)にあわせて2つの追尾画面に並列表示するため、第1及び第2自動追尾部18a,18bで自動追尾した各ターゲットの位置情報を表示位置判定部26に入力し、ターゲットの位置判定を行った。
また2つのターゲットを自動追尾する場合、互いのターゲットが近接したときに、モニタの拡大映像表示領域に設定された2つの追尾画面を結合し、2つのターゲットを包括して表示するため、表示位置判定部26に入力された各ターゲットの位置情報(第1及び第2自動追尾部18a,18bで自動追尾した各ターゲットの位置情報)を追尾画面判定部27に入力し、追尾画面の結合・分割を判定した。
例えば、図4に示す映像監視システムによる監視方法のように、監視領域全体を4台のカメラ1a〜1dで撮影したカメラ映像をもとに監視領域を監視するとともに、グループ化した2台のカメラ1a及び1bで撮影した特定区域に進入したターゲットを優先して監視する場合、前記特定区域内(グループ化したカメラ1a及び1bで撮影したカメラ映像)で動き検出したターゲットを自動追尾し、自動追尾したターゲットの拡大映像をモニタに表示するとともに、アラームを鳴らすように構成した。
この実施例では、カメラ映像をもとに特定区域の入口にセンスエリアを設定し(オペレータが映像内にセンスエリアを設定し)、このセンスエリアを通過して特定区域内にターゲットが進入し、第1動き検出部11によって前記ターゲットが検出され、第1または第2自動追尾部18a,18bでターゲットを自動追尾した場合、前記ターゲットの特定区域への進入をアラーム等を鳴らして監視者等に警告するため、第1または第2自動追尾部18a,18bによってターゲットを自動追尾しているあいだ、追尾ターゲット検出部33では検出信号を出力し、アラームを鳴らすように構成した。なおこの実施例では、グループ化したカメラ1a及び1bで撮影した特定区域の映像内でのみターゲットを自動追尾するように構成した。
この実施例では、オートパンカウンタ21に、オートパン機能による移動パターンやその速度を設定することによって、監視領域内を巡回するように経時的に移動する一定区画の位置情報(例えば一定区画の中心座標)を決定する。そしてこの位置情報は、第4切り出しカウンタ20dに入力され、第4切り出しカウンタ20dにおいて、位置情報と表示サイズに応じてオートパンによる映像の切り出し範囲が設定され、この切り出し範囲(読み出しアドレス)に基づいて、フレームメモリ5(図1を参照)に格納されたカメラ映像から映像を切り出し、オートパン機能による監視領域内の巡回移動映像をモニタに拡大表示する。
この実施例では、第3動き検出部で動き検出するにあたって、第1及び第2自動追尾部18a,18bで自動追尾したターゲットの映像範囲(自動追尾による切り出し範囲)を除いて動き検出した。
そして前記設定範囲において多数の動きが検出され、オートパン判定部28に設定した閾値を超えた場合、自動追尾機能によるターゲットの拡大表示を使用せず、オートパン機能による拡大表示を優先的に選択するように表示領域判定部30を設定し、この表示領域判定部30の情報に基づいて表示制御部31でマルチプレクサ32を制御して、フレームメモリ5からの映像の切り出しを制御した。
この実施例では、マウスやキーボードやボタンなどの指示装置を用いてオペレータがモニタの全体映像表示領域に表示された全体映像をもとにホームポジションとしてモニタ(全体映像)上でターゲットを指定した場合、そのホームポジション(ターゲット)の位置(例えば、オペレータが指定した位置座標)をホームポジションレジスタ22で検出する。
そしてこの位置情報は、第5切り出しカウンタ20eに入力され、第5切り出しカウンタ20eにおいて、位置情報と表示サイズに応じてホームポジション機能による映像の切り出し範囲が設定され、この切り出し範囲(読み出しアドレス)に基づいて、フレームメモリ5(図1を参照)に格納されたカメラ映像から映像を切り出し、監視領域内に設定したホームポジションの映像をモニタに拡大表示する。
また第6切り出しカウンタ20fには、モニタの全体映像表示領域に監視領域の全体映像を表示するための表示サイズが入力され、第6切り出しカウンタ20fは、フレームメモリ5に格納されているカメラ映像から監視領域全体を切り出す(読み出す)とともに、前記表示サイズに基づいて、モニタの全体映像表示領域に全体映像を表示する。
表示フレーム判定部23には、予め拡大映像表示領域全体のサイズが入力されており、この拡大映像表示領域全体のサイズと、自動追尾機能などの各機能で検出したターゲットの数とに基づいて、自動追尾機能、指定追尾機能、マニュアル追尾機能、オートパン機能、ホームポジション機能の各機能で検出したターゲットの表示サイズを算出する。なお、自動追尾機能及び指定追尾機能によって検出したターゲット(つまり第1及び第2自動追尾部で追尾したターゲット)の表示サイズは、前記表示フレーム判定部23で算出した表示サイズと、表示位置判定部26で検出したターゲットの位置関係(近接/離隔)とに基づいて算出され、第1及び第2切り出しカウンタ20a,20bに入力される。
そして第1及び第2自動追尾部18a,18bまたはマニュアル追尾部19で追尾したターゲットが存在しない場合は、拡大映像表示領域を分割せず、オートパン機能若しくはホームポジション機能によるターゲットの拡大映像を拡大映像表示領域に表示する。なお、オートパン機能とホームポジション機能の両方でターゲットを検出した場合は、表示項目判定部25に設定した優先度に従って、優先度の高いターゲットの映像を優先して表示する。
これによってよって、自動追尾機能、指定追尾機能、マニュアル追尾機能、オートパン機能、ホームポジション機能の各機能で検出したターゲットの拡大映像を、モニタの拡大映像表示領域を分割した画面にそれぞれ表示することができる。
表示フレーム判定部23に上限値を設定し、自動追尾機能、指定追尾機能、マニュアル追尾機能の各機能で検出したターゲットの総数が前記上限を超えた場合は、前記上限値をもとに表示サイズを算出し、この表示サイズと画面分割数をもとに表示領域判定部30でモニタ画面を構築し、拡大映像表示領域を上限値で分割するようにした。また表示優先度設定部24によって、自動追尾機能、指定追尾機能、マニュアル追尾機能、オートパン機能、ホームポジション機能の各機能の表示優先順位を表示項目判定部25に設定し、表示項目の優先順位が設定された表示項目判定部25に、表示フレーム判定部23で設定した画面分割数を入力した。
そして、前記表示項目判定部25に設定した優先順位と、表示項目判定部25に入力された画面分割数とに基づいて、表示制御部31でマルチプレクサ32を制御した。つまりマルチプレクサ32において、優先順位を高く設定した表示項目の映像を切り出すための切り出しカウンタを優先して選択し、選択した切り出しカウンタによってフレームメモリ5のカメラ映像から切り出し、ターゲットの映像を拡大表示した。
図7(a)に示すモニタ画面は、全体映像を表示するための全体映像表示領域と、ターゲットの拡大映像を表示するための拡大映像表示領域を設定するとともに、自動追尾機能、指定追尾機能、マニュアル追尾機能の各機能で検出したターゲットの数(2つ)にあわせて前記拡大映像表示領域を2つに分割し、上記各機能で検出したターゲットの拡大映像を表示したものである。
なお拡大映像表示領域の画面分割数に上限を設けた場合、前記上限値を超えるターゲットが検出された場合は、上限値で拡大映像表示領域を分割してモニタ画面を構築するとともに、表示項目判定部25に設定された表示項目の優先順位とオートパン判定部28の情報をもとに表示制御部31がマルチプレクサ32を制御して、優先順位の高い切り出しカウンタを選択し、画面分割数にあわせて算出した表示サイズに基づいてターゲットの映像を切り出し、拡大映像表示領域に各ターゲットの拡大映像を表示する。なお自動追尾機能や指定追尾機能で検出したターゲットの映像は、追尾画面判定部27で算出した表示サイズに基づいて切り出され、2つのターゲットが近接した場合は、拡大映像表示領域に設定された結合画面に2つのターゲットを包含した映像が拡大表示される。
また表示領域判定部30において、自動追尾機能、指定追尾機能、マニュアル追尾機能、オートパン機能、ホームポジション機能の機能毎に設定した表示位置をさらに分割し、各機能で検出した複数のターゲットをそれぞれの表示位置に表示するようにモニタ画面を構築してもよい。
また機能毎に設定した表示位置の分割数に上限を設け、前記各機能で検出したターゲットの数が前記分割数の上限を超えた場合は、機能毎に設定した表示位置を上限値で分割するとともに、優先度に従って機能毎にターゲットを選択するように、表示フレーム判定部23と表示項目判定部25とを設定してもよい。
つまり表示制御部31による制御によって、モニタの拡大映像表示領域には各機能で検出したターゲットの拡大映像が自動的に表示形式を切替えて表示される。
第2切り出しカウンタ20bには、第1自動追尾部18bで自動追尾したターゲットの位置情報と、追尾画面判定部27で算出した表示サイズ情報とが入力され、これらの情報に基づいて、フレームメモリ5に格納されたカメラ映像からの映像切り出し範囲(読み出しアドレス)を決定する。
また、自動追尾した2つのターゲットが近接し、追尾画面判定部27で画面の結合が設定された場合は、2つのターゲットの位置情報(ターゲットの外接矩形の中心のX座標および外接矩形上端のY座標)について、各X座標の中点座標(X座標)と、各Y座標のうち大きい方の座標(Y座標)とからなる位置情報を取得し、この位置情報と結合画面の表示サイズに基づいて、第1または第2切り出しカウンタ20a,20bのどちらか一方で、切り出し範囲(読み出しアドレス)を設定する。なお近接した2つのターゲットが離隔し、追尾画面判定部27で画面の分割が設定された場合は、自動追尾したターゲットの外接矩形の中心のX座標および外接矩形上端のY座標からなるそれぞれの位置情報と、追尾画面の表示サイズに基づいて、第1及び第2切り出しカウンタ20a,20bのそれぞれで、切り出し範囲(読み出しアドレス)を設定する。
2a〜2d A/D変換器
3a〜3d 同期メモリ
4 連結部
5 フレームメモリ
6 表示映像設定部
7 カーソルポジションレジスタ
8 カーソル表示部
9 D/A変換器
10 モニタ
11 第1動き検出部
12 第2動き検出部
13 指定追尾設定部
14 マニュアル追尾設定部
15 優先度設定部
16 第3動き検出部
17 追尾優先度判定部
18a,18b 第1,第2自動追尾部
19 マニュアル追尾部
20a〜20f 第1〜第6切り出しカウンタ
21 オートパンカウンタ
22 ホームポジションレジスタ
23 表示フレーム判定部
24 表示優先度設定部
25 表示項目判定部
26 表示位置判定部
27 追尾画面判定部
28 オートパン判定部
29 全体映像設定部
30 表示領域判定部
31 表示制御部
32 マルチプレクサ
Claims (3)
- 監視領域全体を撮影したカメラ映像をもとに、監視領域の全体映像をモニタの全体映像表示領域に表示するとともに、全体映像中のターゲットの拡大映像をモニタの拡大映像表示領域に表示する映像監視システムであって、
監視領域全体を撮影したカメラ映像をもとに、動き検出したターゲットを一定時間または動き検出しなくなるまで自動追尾し、その領域の映像を全体映像から切り出して拡大表示する自動追尾機能と、
監視領域全体を撮影したカメラ映像をもとにモニタに全体映像を表示し、この全体映像をもとにオペレータがモニタ(全体映像)上で指定したターゲットを一定時間または動き検出しなくなるまで自動追尾し、その領域の映像を全体映像から切り出して拡大表示する指定追尾機能と、
監視領域全体を撮影したカメラ映像をもとにモニタに全体映像を表示し、モニタに表示された映像をもとにオペレータがモニタ(全体映像)上で経時的に指定する位置を、オペレータの指定に追随して一定時間またはその指定がなくなるまで追尾し、その領域の映像を全体映像から切り出して拡大表示するマニュアル追尾機能と、
監視領域全体を撮影したカメラ映像をもとに、監視領域内を巡回するように経時的に移動する一定区画の映像を切り出して拡大表示するオートパン機能と、
監視領域全体を撮影したカメラ映像をもとにモニタに全体映像を表示し、この全体映像をもとにオペレータがモニタ(全体映像)上でターゲットを指定し、その領域の映像を全体映像から切り出して拡大表示するホームポジション機能とを有し、
自動追尾機能、指定追尾機能、マニュアル追尾機能、オートパン機能、ホームポジション機能によって検出したターゲットの数にあわせて拡大映像表示領域を分割し、上記各機能で検出したターゲットの拡大映像を表示することを特徴とする映像監視システム。 - 拡大映像表示領域の分割数に上限を設け、自動追尾機能、指定追尾機能、マニュアル追尾機能、オートパン機能、ホームポジション機能の各機能で検出したターゲットの総数が上限を超えた場合は、前記各機能の優先度に従って拡大表示するターゲットを選択することを特徴とする請求項1に記載の映像監視システム。
- 自動追尾機能、指定追尾機能、マニュアル追尾機能、オートパン機能、ホームポジション機能の各機能毎に拡大映像表示領域を分割するにあたって、前記機能毎の分割数に上限を設け、前記各機能で検出したターゲットの数が上限を超えた場合は、優先度に従って機能毎にターゲットを選択することを特徴とする請求項1に記載の映像監視システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006141374A JP4309900B2 (ja) | 2006-05-22 | 2006-05-22 | 映像監視システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006141374A JP4309900B2 (ja) | 2006-05-22 | 2006-05-22 | 映像監視システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003403520A Division JP3858018B2 (ja) | 2003-12-02 | 2003-12-02 | 映像監視システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006311578A JP2006311578A (ja) | 2006-11-09 |
JP4309900B2 true JP4309900B2 (ja) | 2009-08-05 |
Family
ID=37477799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006141374A Expired - Fee Related JP4309900B2 (ja) | 2006-05-22 | 2006-05-22 | 映像監視システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4309900B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4970062B2 (ja) * | 2007-01-23 | 2012-07-04 | 三菱電機株式会社 | 監視制御装置 |
KR100775867B1 (ko) | 2007-06-07 | 2007-11-13 | (주)동화이엔지 | 이동 물체 자동 추적 시스템 |
JP4959535B2 (ja) | 2007-12-13 | 2012-06-27 | 株式会社日立製作所 | 撮像装置 |
JP4715909B2 (ja) | 2008-12-04 | 2011-07-06 | ソニー株式会社 | 画像処理装置及び方法、画像処理システム、並びに、画像処理プログラム |
JP5851462B2 (ja) * | 2013-09-02 | 2016-02-03 | 日立マクセル株式会社 | 撮像装置 |
JP6568374B2 (ja) * | 2015-03-27 | 2019-08-28 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP7204356B2 (ja) * | 2018-06-28 | 2023-01-16 | セコム株式会社 | 監視装置 |
KR101987087B1 (ko) | 2018-11-21 | 2019-06-10 | 정희섭 | 공장에서의 제조물의 파손여부를 추적하기 위한 제조물 파손 추적 관리 장치 및 그 동작 방법 |
CN110703814B (zh) * | 2019-08-26 | 2023-03-10 | 安徽四创电子股份有限公司 | 一种水域探测监控过程中摄像机的调度方式 |
-
2006
- 2006-05-22 JP JP2006141374A patent/JP4309900B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006311578A (ja) | 2006-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4309900B2 (ja) | 映像監視システム | |
US10810438B2 (en) | Setting apparatus, output method, and non-transitory computer-readable storage medium | |
US9805265B2 (en) | Surveillance camera control device and video surveillance system | |
JP4912117B2 (ja) | 追跡機能付き撮像装置 | |
KR102164863B1 (ko) | 정보 처리장치 및 그 방법과, 컴퓨터 판독가능한 기억매체 | |
EP3016382B1 (en) | Monitoring methods and devices | |
CN103688292B (zh) | 图像显示装置和图像显示方法 | |
US10043359B2 (en) | Apparatus and method of monitoring moving objects | |
KR101530255B1 (ko) | 객체 자동 추적 장치가 구비된 cctv 시스템 | |
JP4722537B2 (ja) | 監視装置 | |
KR20130130544A (ko) | 감시 영상 표시 방법 및 시스템 | |
KR20090026937A (ko) | 복수의 이벤트 영상을 표시하는 통합 감시 시스템 및 이를이용한 복수의 이벤트 영상 표시 방법 | |
KR101778744B1 (ko) | 다중 카메라 입력의 합성을 통한 실시간 모니터링 시스템 | |
GB2527458A (en) | Device and method for monitoring moving entity | |
JP3858018B2 (ja) | 映像監視システム | |
JP2017125974A (ja) | 表示装置、表示方法及びプログラム | |
US8049748B2 (en) | System and method for digital video scan using 3-D geometry | |
KR101619956B1 (ko) | 감시카메라용 자동 다중 추적 영상처리장치 | |
JP2011145730A (ja) | 監視画面表示制御装置 | |
JP2006230024A (ja) | 映像監視システム | |
JP3639266B2 (ja) | 映像集約表示装置 | |
JP2005277726A (ja) | 画像監視装置 | |
JP2006129218A (ja) | 監視システム | |
KR101619953B1 (ko) | 감시카메라용 자동 다중 추적 영상처리방법 | |
KR101445361B1 (ko) | 현장 모니터링 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090421 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090508 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4309900 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |