JP4438065B2 - 撮影制御システム - Google Patents

撮影制御システム Download PDF

Info

Publication number
JP4438065B2
JP4438065B2 JP2004333537A JP2004333537A JP4438065B2 JP 4438065 B2 JP4438065 B2 JP 4438065B2 JP 2004333537 A JP2004333537 A JP 2004333537A JP 2004333537 A JP2004333537 A JP 2004333537A JP 4438065 B2 JP4438065 B2 JP 4438065B2
Authority
JP
Japan
Prior art keywords
mode
shooting
imaging
photographing
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004333537A
Other languages
English (en)
Other versions
JP2006148353A5 (ja
JP2006148353A (ja
Inventor
覚 沖西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2004333537A priority Critical patent/JP4438065B2/ja
Publication of JP2006148353A publication Critical patent/JP2006148353A/ja
Publication of JP2006148353A5 publication Critical patent/JP2006148353A5/ja
Application granted granted Critical
Publication of JP4438065B2 publication Critical patent/JP4438065B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮影方向やズーム位置等の撮影ポジションの変更が可能な撮影装置の制御システムに関し、さらに詳しくは、撮影装置の撮影モード切換を制御するシステムに関する。
カラー画像は形や明るさの情報だけではなく、色情報をも得られるため、モノクロ画像と比較して撮影対象の識別性が格段に優れている。このため、防犯、設備保守、介護等の監視用途を含めて、ほとんどの用途のカメラでカラー画像の撮影が行われる。
カラー撮影を行うカメラには、通常、赤外カットフィルタが用いられ、近赤外域(λ=約700nm以上)の光による色バランスの低下を防止して、高い色再現性を得ている。
ただし、暗い被写体の撮影を行う場合に、撮像素子からのカラー画像信号を大きく増幅するとノイズの多い画像となってしまい、被写体の輪郭や形状が不明瞭な画像が得られてしまう。このため、低照度下では、色情報を破棄して輝度信号のみ有するモノクロ画像を得るようにするとともに、赤外カットフィルタを除去して近赤外域の光も輝度情報に加えることで被写体の輪郭や形状をより鮮明にする所謂ナイトモードでの撮影が行われる場合がある(特許文献1参照)。
一方、監視用途では、ズーム機能を有するカメラを、パンニング(水平回転)およびチルティング(垂直回転)可能な雲台に搭載して、1台のカメラで所望の範囲の被写体を撮影できる所謂PTZ(Pan−Tilt−Zoom)カメラシステムが用いられている。そして、このようなPTZカメラシステムにも、上述したナイトモード機能が搭載され始めている。
また、PTZカメラシステムでは、予め所望の撮影ポジション(パン位置、チルト位置、ズーム位置)を複数記憶させておき、必要に応じて記憶された撮影ポジションを指定することによって又は各撮影ポジションを巡回的に自動指定することによって該指定ポジションでの撮影に素早くかつ確実に移行させる所謂プリセット機能を有していることが多い(特許文献2参照)。
特開2001−45512号公報(段落0028〜0032、図4等) 特開平4−323990号公報(段落0019、図1等)
PTZカメラシステムにおいては、撮影画像の欠損を可能な限り防ぎ、監視対象を常時明確に撮影できることが必要である。しかしながら、カラー撮影モードとモノクロ撮影モード(ナイトモード)との遷移時には、赤外カットフィルタやダミーガラスの移動に伴ってフィルタ枠やフィルタエッジが撮影光路を通過するために、画面の部分的欠損や乱れが発生する。
さらに、PTZカメラシステムにおいては、撮影ポジションの変更によって被写体の明るさが大きく変化する場合もあり、撮影モードの切り換えを頻繁に行う必要も生ずる。このような場合、撮影ポジションの切り換え毎にオペレータが被写体の明るさを判断して撮影モードを切り換えるのでは、オペレータにとって負担が大きい。
なお、上記特許文献1には、撮像素子の出力信号から得られた輝度情報に基づいてカラー撮影モードとナイトモードとを自動的に切り換える技術が提案されているが、PTZカメラシステムにおいて撮影ポジションが変更された後に、輝度情報を得て撮影モードの切り換えを開始するのでは、変更された撮影ポジションでの良好な撮影の開始が遅くなる。
本発明は、撮影ポジションの変更が可能な撮影装置において、各撮影ポジジョンに適した撮影モードでの撮影を、オペレータの負担が少なく、かつできるだけ早く開始することができるようにした撮影制御システムおよび撮影制御プログラムを提供することを目的の1つとしている。
1つの観点としての本発明は、撮影ポジションの変更が可能な監視用カメラを制御する撮影制御システム(撮影制御プログラム)であって、撮影ポジションに応じた監視用カメラの撮影モードを記憶するモード記憶手段(ステップ)と、撮影ポジションの変更に際して、撮影モードを、モード記憶手段に記憶された変更先の撮影ポジションに応じた撮影モードに変更するモード変更手段(ステップ)とを有し、かつ、モード変更手段は、撮影ポジションの変更動作中に撮影モードの変更を開始し、撮影ポジションの変更動作中に撮影モードの変更を完了する。
本発明によれば、予め撮影ポジションに応じた撮影モードを記憶させておき、撮影ポジションの変更に際して自動的に撮影モードが切り換えられるので、撮影モード選択のための輝度判定を行う必要がなくなり、また撮影ポジションの変更動作中に撮影モードの切り換えを開始することも可能となる。したがって、撮影ポジションの変更後、素早く最適な撮影モードでの撮影を開始することができる。
図1には、本発明の撮影制御システムによって制御される撮影装置(例えば、監視用のPZTカメラ)の外観を示している。該撮影装置は、カメラ本体1と、このカメラ本体1を垂直回転(以下、チルトという)および水平回転(以下、パンという)可能に支持する雲台とにより構成されている。該撮影装置と撮影制御システムとにより撮影システムが構成される。
6はサーボモータやDCモータなどのアクチュエータからなるチルト駆動部であり、チルト基台2に取り付けられている。チルト駆動部6は、その出力軸に取り付けられたウォーム7を回転させ、さらにチルト軸3に取り付けられたホイール8を回転させることで、カメラ本体1をチルト駆動する。
9はサーボモータやDCモータなどのアクチュエータからなるパン駆動部であり、パン基台4に取り付けられている。パン駆動部9は、その出力軸に取り付けられたウォーム10を回転させ、さらにパン軸5に取り付けられたホイール11を回転させることで、チルト基台2をパン駆動する。
このようにカメラ本体1がチルトおよびパン駆動されることにより、カメラ本体1に設けられた撮影レンズ15の向き、すなわち撮影方向が変化する。
図2には、カメラ本体1の構成を模式的に示している。最も物体側のレンズ15aから入射した光は、変倍レンズ16、可変絞り17、固定レンズ18、フォーカスレンズ19および光学フィルタとしての透過波長選択フィルタ20又は平行平面ガラス21を介して、CCDセンサやCMOSセンサ等の固体撮像素子22上に到達する。固体撮像素子22の受光面には、RGB等の色フィルタが画素単位で設けられており、該撮像素子22から出力される信号には色情報が含まれる。固体撮像素子22には、該撮像素子22から出力された信号に対して所定の処理を行って画像を生成する信号処理部30が電気的に接続されている。
変倍レンズ16は、ステップモータ等のアクチュエータからなるズーム駆動部23によって軸方向に駆動され、撮影画角を変化させる。
可変絞り17は、DCモータ、ステップモータやガルバノメータなどのアクチュエータからなる絞り駆動部24によって駆動され、絞り開口の面積を変化させることで入射光量を調節する。
フォーカスレンズ19は、ステップモータ等のアクチュエータからなるフォーカス駆動部25によって光軸方向に駆動され、被写体に対するフォーカス合わせを行う。なお、フォーカス駆動部25の制御は、コントラスト検出方式など公知の焦点検出方法により行われる。
赤外光吸収フィルタなどの波長選択フィルタ(透過波長選択手段)20および平行平面ガラス21は、ステップモータやソレノイド等のアクチュエータからなるフィルタ駆動部26によって光軸直交方向に駆動され、撮影光路内に対して選択的に挿入および取り出しがなされる。なお、波長選択フィルタ20は、赤外光吸収フィルタだけではなく、赤外光を反射する反射膜を蒸着したものを用いてもよい。また、入射光の吸収や反射の波長域は、通常600nmから750nmの間でカット開始波長が設定されるが、仕様に応じてこれを更に短波長側や長波長側に設定することも可能である。また、平行平面ガラス21は、波長選択フィルタ20が撮影光路内に挿入された場合と同じ光路長を保つための厚みを有している。
図3には、固体撮像素子22からの出力信号を処理する信号処理部30の構成を示している。固体撮像素子22から出力される信号は、アナログ信号処理部31、A/D変換回路32、DSP33および画像信号出力部34での信号処理を経て、モニタ37に表示されたり、ハードディスク、半導体メモリ等の画像記録装置38に記録されたりする。
アナログ信号処理部31は、固体撮像素子22から出力される信号に対して、ノイズ除去、ゲイン調整、プリニー処理等の所定のアナログ処理を施す。
A/D変換回路32は、アナログ信号処理部31からのアナログ信号をデジタル信号に変換する。
DSP33は、デジタル信号の処理を行うプロセッサであり、A/D変換回路32からのデジタル信号に所定の処理を施して画素毎の輝度信号と色信号を生成して出力する。
画像信号出力部34は、DSP33からの出力信号を利用して、カラービデオ信号又はモノクロビデオ信号を生成して出力する。
タイミングジェネレータ(T/G)36は、信号処理制御部35の制御を受けて固体撮像素子22からの信号の読み出しタイミングを決める信号を出力して、アナログ信号処理部31以下の処理系との同期や、所謂電子シャッタ速度といわれる電荷蓄積時間の制御等を行う。
信号処理制御部35は、所定のプログラムによって動作するマイクロプロセッサ等で構成される。上記構成は、全て信号処理制御部35によって統合的に動作制御が行われる。また、信号処理制御部35は、DSP33で生成された輝度信号のモニタ結果に基づいて、被写体の明るさを判定し、撮影画像の明るさを調整するために、必要に応じて、アナログ信号処理部31におけるゲイン調整を行ったり、タイミングジェネレータ36の制御による固体撮像素子22の電荷蓄積時間の制御を行ったり、絞り制御部39を介して可変絞り17の制御を行ったりする。

さらに、信号処理制御部35は、撮影モード制御部43からの撮影モード切り換え指令に基づいて、DSP33において色信号を生成するか否かの切り換えを行う。DSP33において色信号が生成される場合には画像はカラー画像として処理され、そうでない場合には輝度信号のみのモノクロ画像として処理されて出力される。
図4には、撮影装置全体の制御を行う撮影制御システムの中核をなすカメラ制御部40の構成を示している。カメラ制御部40は、所定のプログラムによって動作するコンピュータやマイクロプロセッサ等で構成される。カメラ制御部40は、撮影装置に対して電気ケーブルで接続されてもよいし、インターネット、イーサネット(登録商標)、LAN等のネットワークを介して接続されていてもよい。また、前述した信号処理部30と同一のプロセッサ内にカメラ制御部40を構成することも可能である。
PTZ制御部(ポジション変更手段)42は、前述したチルト駆動部6、パン駆動部9およびズーム駆動部23に電気的に接続され、図示しないエンコーダやポテンションメータ等の位置検知器により検出された回転角と回転数に基づいてパンおよびチルトの角度を検出することでカメラ本体1の方向、すなわち撮影方向をモニタする。また、同様に変倍レンズ16の位置を検知することで、ズーム位置ないし撮影画角(倍率)をモニタしている。
ここで、パン角度、チルト角度および撮影画角(ズーム位置)の組み合わせを撮影ポジション又は撮影範囲という。
また、PTZ制御部42に対して操作入力部41を通じてオペレータによりパン角度、チルト角度および撮影画角のアドレスが入力されることで、PTZ制御部42はチルト駆動部6、パン駆動部9およびズーム駆動部23を制御し、撮影ポジションを該アドレスに対応した撮影ポジションに変更する。
また、操作入力部41からオペレータにより撮影ポジションのメモリ指令が入力されると、PTZ制御部42は、その時点でのパン角度、チルト角度および撮影画角をひとまとまりのプリセット撮影ポジション情報(以下これを単にプリセット情報といい、該プリセット情報により示される撮影ポジションをプリセットアドレスという)として記憶部44に記憶させる。なお、操作入力部41からプリセット情報を構成するパン角度、チルト角度および撮影画角のアドレスを入力するようにしてもよい。
記憶部(モード記憶手段およびポジション記憶手段)44は、半導体メモリやハードディスク又はこれらに準ずる電気的なデータ記録装置により構成されている。
そして、PTZ制御部42は、操作入力部41からプリセットアドレスを指定する情報を含むポジション変更指令が入力されると、該プリセットアドレスに対応するプリセット情報を記憶部44から呼び出して、撮影ポジションが該プリセットアドレスに移動するように、チルト駆動部6、パン駆動部9およびズーム駆動部23を制御する。
さらに、PTZ制御部42は、アラーム装置47と接続されており、アラーム装置47からの入力があった場合には、予め記憶部44に記憶されているアラーム対応プリセット情報を呼び出し、撮影ポジションが該アラーム対応プリセット情報に示されるプリセットアドレスに移動するように、チルト駆動部6、パン駆動部9およびズーム駆動部23を制御する。
なお、PTZ制御部42は、後述する撮影モード制御部43に対して、プリセットアドレスへの移動開始を示すポジション移動開始情報と該移動先のプリセットアドレスを示すプリセット情報とが入力される。
撮影モード制御部(モード変更手段)43は、フィルタ駆動部26の状態をモニタすることで波長選択フィルタ20および平行平面ガラス21のどちらが撮影光路内に挿入されているのかを検出する。また、撮影モード制御部43は、信号処理制御部35によるDSP33に対する色信号の生成制御状態をモニタしており、これにより画像がカラー画像として処理されているのかモノクロ画像として処理されているのかを判別する。
さらに、撮影モード制御部43は、操作入力部41からの撮影モード指定信号に対して、フィルタ駆動部26を制御することで波長選択フィルタ20および平行平面ガラス21のどちらかを撮影光路内に挿入する。このとき、撮影モード指定信号がカラーモード(第1の撮影モード)を指定するものであれば、波長選択フィルタ20を撮影光路内に挿入し、かつ信号処理制御部35を介してDSP33に色信号を生成させて画像信号出力部34からカラービデオ信号(カラー画像)を出力させる。また、ナイトモード(第2の撮影モード)を指定するものであれば、平行平面ガラス21を撮影光路内に挿入し、かつDSP33における色信号の生成を停止させ、画像信号出力部34からモノクロビデオ信号(モノクロ画像)を出力させる。これにより、撮影モードの切り換えを行う。
また、撮影モード制御部43は、プリセットアドレス(撮影ポジション)ごとに操作入力部41からオペレータにより入力された撮影モードを、該プリセットアドレスに対応付けて記憶部44に保存する。なお、撮影モードは、撮影条件ともいう。
ここで、撮影モードをプリセットアドレス(プリセット情報)ごとに記憶させる方法の例を以下に説明する。まず、操作入力部(撮影範囲指定手段)41に設けられた「撮影モード追記スイッチ」が操作されると、撮影モード制御部43は「撮影モード追記モード」になる。そして、該追記モードで新たに操作入力部41から入力されたプリセットアドレス又は選択された既存のプリセットアドレスと、操作入力部41から入力された撮影モード指定信号に示される撮影モードとを対応付けて記憶部44に記憶させる。
プリセット情報と撮影モード情報とを対応付けて記憶部44に記憶させる方法としては、撮影モード情報にプリセット情報をヘッダー情報として付加したり、プリセット情報に撮影モード情報をヘッダー情報として付加したりすればよい。
さらに、撮影モード制御部43は、PTZ制御部42からポジション移動開始情報が入力されると、そのときに同じくPTZ制御部42から入力された移動先のプリセットアドレスを示すプリセット情報に基づいて、記憶部44から該プリセット情報に対応する撮影モードを読み出し、該撮影モードへのモード変更を行う。
ここで、撮影モード制御部43による撮影モードの変更のための制御は、ポジション移動開始情報が入力された直後から開始される。これにより、プリセットアドレスへの撮影ポジションの移動(変更)が開始されたとほぼ同時又はその直後から、言い換えれば、該変更動作中に開始される。
時計部46は、現在の時刻情報を撮影モード制御部43に入力する。
図5には、プリセットアドレスと撮影モードとの対応付け保存動作の流れを示している。この動作は、PTZ制御部42および撮影モード制御部43を含むコンピュータ又はプロセッサによりコンピュータプログラム(撮影制御プログラム)に従って実行される。このことは、後述する各フローチャートに示す動作についても同様である。
まず、オペレータが操作入力部41から所望の撮影ポジションであるパン角度、チルト角度および撮影画角(又はズーム位置)を入力すると、PTZ制御部42はチルト駆動部6、パン駆動部9およびズーム駆動部23を駆動して撮影装置を上記撮影ポジションへ移動させる(ステップ〈図ではSと略す〉501〜502)。
上記撮影ポジションへの移動後、オペレータが操作入力部41からプリセットアドレスに対して付与されるアドレス番号をメモリ指令として入力すると(ステップ503)、撮影モード追記モードになっている場合であって操作入力部41から撮影モードの指定が行われることに応じて(ステップ504〜505)、撮影モード制御部43は、現在の撮影ポジションであるパン角度、チルト角度および撮影画角(又はズーム位置)をステップ503で入力されたアドレス番号に対応するプリセットアドレス(プリセット情報)とし、さらにこれとステップ505で入力された撮影モードとの対応付けを行う(ステップ506)。
そして、PTZ制御部42は、現在の撮影ポジションであるパン角度、チルト角度および撮影画角(又はズーム位置)をプリセットアドレスとするプリセット情報を記憶部44へ記憶させる。また、撮影モード制御部43は、該プリセット情報とこれに対応付けられた撮影モード情報とを記憶部44に記憶させる(ステップ507)。
一方、ステップ504において、撮影モード追記モードになっていない場合には、PTZ制御部42は、現在の撮影ポジション(第1の撮影ポジション)であるパン角度、チルト角度および撮影画角(又はズーム位置)を、ステップ503で入力されたアドレス番号に対応するプリセットアドレス(プリセット情報)として記憶部44へ記憶させる(ステップ510)。
そしてこの後に撮影モード追記モードになった場合には(ステップ511)、操作入力部41を通じて指定されたアドレス番号に対応するプリセット情報を記憶部44から呼び出す(ステップ512)。そして、操作入力部41を通じて撮影モードの指定が行われれば(ステップ505)、ステップ506〜508にてプリセット情報と該撮影モードとを記憶部44に記憶させる。
他のプリセット情報の保存を行う場合にはステップ502へ戻り(ステップ508)、そうでなければ本ルーチンを終了する。
図6には、記憶されたプリセットアドレス(第2の撮影ポジション)への移動と撮影モードの変更動作の流れを示している。
オペレータが操作入力部41から所望のアドレス番号を入力すると(ステップ602)、PTZ制御部42は入力されたアドレス番号に対応するプリセット情報を記憶部44から呼び出す(ステップ603)。
これに応じてPTZ制御部42は、チルト駆動部6、パン駆動部9およびズーム駆動部23を駆動して撮影装置の該プリセット情報により示されるプリセットアドレスへの移動を開始する(ステップ604)。PTZ制御部42は、撮影モード制御部43に対してポジション移動開始情報と該プリセット情報を送る(ステップ605)。
ポジション移動開始情報を受け取った撮影モード制御部43は、記憶部44から該プリセット情報に対応する撮影モード情報を読み出し(ステップ606)、撮影モードの変更制御を開始する(ステップ607)。ここで、前述したように、撮影モードの変更制御は、少なくともプリセットアドレスへの移動中に開始される。
こうしてプリセットアドレスへの移動と撮影モードの変更が完了する(ステップ608)。なお、撮影モードの変更制御は、プリセットアドレスへの移動完了前、完了と同時又は完了後のいずれに終了してもよい。
さらに、撮影ポジションを他のプリセットアドレスに変更する場合には(ステップ609)、ステップ602へ戻り、そうでなければ本フローを終了する(ステップ610)。
図15を用いて本実施例の具体的な動作例について説明する。プリセットアドレスP1は、照明71により照明されたオフィス(室内)のデスク72が撮影されるように設定されており、撮影モードは、十分な被写体の明るさがあるのでカラーモードに設定されている。撮影ポジションがプリセットアドレスP1以外のアドレスにあり、撮影モードがナイトモードである状態で、操作入力部41によってプリセットアドレスP1が指定された場合、撮影ポジションがプリセットアドレスP1に移動する間にカラーモードへの変更が開始される。
また、プリセットアドレスP2では、被写体73が夜間の屋外風景であり、被写体照度が低いので、より鮮明な画像を得るためにナイトモードが設定されている。操作入力部41によりプリセットアドレスP1からP2へ変更が指示されると、プリセットアドレスP1からP2に撮影ポジションが移動する間にナイトモードへの切り換えが開始される。
また、プリセットアドレスP3は、プリセットアドレスP2での被写体73の一部74をズーム拡大したものに相当する。この場合、被写体75は夜間の屋外風景であるが、イルミネーションによって比較的明るくなっているため、カラーモードが設定されている。操作入力部41によりプリセットアドレスP2からP3へ変更が指示されると、プリセットアドレスP2からP3に撮影ポジションが移動する間にカラーモードへの切り換えが開始される。
また、プリセットアドレスP4では、暗い室内が撮影される。ここでは、該室内に侵入者76があった場合について説明する。暗い室内において侵入者76の画像を鮮明に捕らえるために、該プリセットアドレスP4では、ナイトモードが設定されている。例えば撮影ポジションがプリセットアドレスP1である状態で、侵入者76の侵入をアラーム装置45が検知し、撮影モード制御部43にアラーム信号が入力されると、予め記憶部44に記憶されているアラーム位置に対応するプリセットアドレスP4の情報に基づいて撮影ポジションがプリセットアドレスP4に移動し、該移動中にカラーモードからナイトモードへの切り換えが開始される。
本実施例では、図4に示した時計部46からの時刻情報を用いて、撮影モード制御部43での撮影モード設定をより精度良く行う場合について説明する。なお、本実施例のシステムにおける撮影モード制御部43以外の各構成部およびその動作は実施例1と同じである。
時計部46は、1日毎に24時間制の時刻情報を生成して撮影モード制御部43に入力する。実施例1にて説明した「撮影モード追記モード」においてプリセット情報に対応した撮影モード情報が操作入力部41から入力された場合、撮影モード制御部43は、該プリセット情報と該撮影モード情報と該撮影モードの入力時に時計部46から入力された時刻情報とを対応付けて記憶部44に記憶させる。これにより、同じプリセットアドレスに対して、時刻に応じた複数の撮影モードを設定することが可能となる。
そして、撮影モード制御部43は、PTZ制御部42から入力されるポジション移動開始情報とプリセット情報(プリセットアドレス、つまりは変更先の撮影ポジション)とに基づいて、記憶部44に保存された該プリセット情報に対応する複数の撮影モードを検索して読み出し、さらに時計部46から入力された現在(変更時)の時刻情報に応じた又は現在の時刻情報に対して以下のような関係を有する時刻情報に応じた撮影モードを選択して該撮影モードへの変更を行う。
ここで、時計部46からの現在時刻情報に基づいて撮影モードを選択する方法の例を説明する。図7に示すように、プリセットアドレスPnに対応する撮影モードとして、それぞれ時刻情報T1、T2、T3、T4に対応付けられた4つの撮影モードが検索された場合、T1、T2、T3、T4の値の大きさを互いに比較して、T1<T2<T3<T4のように時刻値の順位付けを行う。次に、時計部46から入力された現在時刻Tnと、T1、T2、T3、T4とを比較し、例えば、T1<Tn<T2である場合には、T1に対応する撮影モードであるカラーモードを選択する。同様に、T2<Tn<T3である場合には、T2に対応する撮影モードであるナイトモードを選択する。さらに、T3<Tn<T4である場合には、T3に対応する撮影モードであるカラーモードを選択する。また、Tn<T1の場合には、最も大きいT4に対応する撮影モードであるナイトモードを選択する。
図8には、本実施例における撮影モードの選択動作のためのフローチャートを示す。まず、撮影モード制御部43は、検索した複数の撮影モードのそれぞれに対応する時刻値群(以下、モード付帯時値群という)を相互に比較して、小さい時刻値から大きい時刻値へと整列させる(ステップ801〜802)。
次に、撮影モード制御部43は、時計部46から入力された現在の時刻値と上記モード付帯時刻値群とを比較する(ステップ803)。そして、現在時刻値のモード付帯時刻値群との大小関係を決定する(ステップ804)。
モード付帯時刻値群中に現在時刻値よりも小さな時刻値が存在する場合には(ステップ805)、現在時刻値の次に小さな時刻値を選択する(ステップ806)。モード付帯時刻値群中に現在時刻値よりも小さな時刻値が存在しない場合には、モード付帯時刻値群中で最大の時刻値を選択する(ステップ807)。
そして、ステップ806またはステップ807で決定されたモード付帯時刻値に対応する撮影モードを選択し(ステップ808)、本フローを終了する(ステップ809)。
図9には、プリセットアドレスと撮影モードと時刻情報との対応付け設定とこれらの保存動作の流れを示している。図9では、実施例1において図5で説明した動作中、ステップ505〜507に代わりステップ901〜904が適用される。その他は図5で述べた動作の流れに準ずる。
上記設定を開始するにあたり、オペレータにより操作入力部41から所望の撮影ポジションであるパン角度、チルト角度、撮影画角(又はズーム位置)が入力されると、PTZ制御部42は、チルト駆動部6、パン駆動部9およびズーム駆動部23を駆動して撮影装置を上記撮影ポジションに移動させる(ステップ501〜502)。
該撮影ポジションに移動した後、オペレータにより操作入力部41からプリセットアドレスに対して付与されるアドレス番号がメモリ指令として入力され(ステップ503)、撮影モード追記モードである場合において操作入力部41より撮影モードと時計部46からの時刻情報が入力されると(ステップ504、901〜902)、撮影モード制御部43は、ステップ503で入力されたアドレス番号において、現在の撮影ポジションであるプリセットアドレス(プリセット情報)と、ステップ902で入力された時刻情報(時刻値)と、ステップ901で入力された撮影モードとの対応付けを行う(ステップ903)。
そして、PTZ制御部42は、現在の撮影ポジションであるパン角度、チルト角度および撮影画角(又はズーム位置)を、ステップ903で入力されたアドレス番号に対応するプリセットアドレス(プリセット情報)として記憶部44へ記憶させる。また、撮影モード制御部43は、該プリセットアドレスおよび時刻値と対応付けられた撮影モード情報を記憶部44に記憶させる(ステップ904)。
一方、ステップ504において撮影モード追記モードになっていない場合には、PTZ制御部42は、現在の撮影ポジションであるパン角度、チルト角度および撮影画角(又はズーム位置)を、ステップ503で入力されたアドレス番号に対応するプリセットアドレス(プリセット情報)として記憶部44へ記憶させる(ステップ510)。
この後、撮影モード追記モードになった場合には(ステップ511)、操作入力部41において入力されたアドレス番号に対応するプリセットアドレス(プリセット情報)を記憶部44から呼び出す(ステップ512)。そして、操作入力部41において撮影モードの設定が行われれば(ステップ901)、上述したステップ902〜904及び508の動作が行われる。
なお、さらに他のプリセットアドレスの保存(登録)を行う場合には、ステップ502へ戻る。そうでなければ、本設定ルーチンを終了する。
図10には、本実施例におけるプリセットアドレスへの移動と撮影モードの変更動作の流れを示している。本実施例では、実施例1において図6で説明した動作に対して、ステップ606に代わりステップ1001〜1004が適用される。その他は図6で説明した動作の流れに準ずる。
オペレータが操作入力部41から所望のアドレス番号を入力すると(ステップ602)、PTZ制御部42は、入力されたアドレス番号に対応するプリセットアドレス(プリセット情報)を記憶部44から呼び出す(ステップ603)。
PTZ制御部42は、チルト駆動部6、パン駆動部9およびズーム駆動部23を駆動して該プリセットアドレスへの移動を開始する(ステップ604)。また、PTZ制御部42は、撮影モード制御部43に対してポジション移動開始情報とプリセット情報とを入力する(ステップ605)。
ポジション移動開始情報を受けた撮影モード制御部43は、記憶部44に保存されている該プリセット情報に対応する撮影モード情報を検索する(ステップ1001)。
そして、ステップ1001で、検索された複数の撮影モードに対して、図8におけるステップ801〜809の処理を行い、最も適切な時刻情報に対応する撮影モードを選択する(ステップ1003)。
続いて撮影モード制御部43は、ステップ1003で選択された撮影モードを記憶部44より読み出し(ステップ1004)、撮影モードの変更制御を開始する(ステップ607)。ここで、撮影モードの変更制御は、少なくともプリセットアドレスへの移動中に開始される。
こうしてプリセットアドレスへの移動と撮影モードの変更が完了する(ステップ608)。なお、撮影モードの変更制御は、プリセットアドレスへの移動完了前、完了と同時又は完了後のいずれに終了してもよい。
さらに、撮影ポジションを他のプリセットアドレスに変更する場合には(ステップ609)、ステップ602へ戻り、そうでなければ本フローを終了する(ステップ610)。
上記各実施例では、カラーモードとナイトモードの2つの撮影モードの切り換えを行う場合について説明したが、本実施例では、3つの目の撮影モードとして、被写体の明るさを判定してカラーモードとナイトモードを自動的に変更するオートナイトモードを有する場合について説明する。なお、基本的なシステム構成は上記各実施例と同じであるので、ここでは本実施例の特徴的な事項についてのみ説明する。
本実施例では、撮影モード制御部43は、信号処理制御部35を介してDSP33で生成される輝度信号の輝度値Yoをモニタしている。また、撮影モード制御部43は、被写体の明るさとして輝度値Yoに対する所定の評価を行い、その結果に基づいて撮影モードの変更を行う。
ここで、輝度値Yoに対する所定の評価の例を図11を用いて説明する。図11において、Y1は、ナイトモードからカラーモードへの変更を行う場合の輝度値の閾値である。Y2は、カラーモードからナイトモードへの変更を行う場合の輝度値の閾値である。両者の関係は、Y1>Y2である。
60は輝度値Yoの変化の軌跡を示している。カラーモードで輝度値Yoが低下して、61においてY2に至ると、撮影モード制御部43はカラーモードをナイトモードに変更する。さらに、ナイトモードで輝度値Yoが増加し、62においてY1に至ると、撮影モード制御部43はナイトモードをカラーモードに変更する。
本実施例におけるプリセット情報、撮影モード情報および時刻情報の対応付け保存と該保存の動作の流れは基本的に実施例1,2の図5および図9と同じであり、それぞれにおけるステップ505およびステップ901において設定される撮影モードの選択枝が、カラーモード、ナイトモードおよびオートナイトモードになる点で実施例1,2と異なる。
図12には、実施例2で説明した時刻情報を伴わない場合のプリセットアドレスへの移動と撮影モードの変更動作の流れを示している。図12では、図6にて説明した各ステップのうち、ステップ607に代えてステップ1201〜1202が適用される。また、ステップ608と609との間にステップ1203〜1205が挿入されている。その他のステップは図6で説明した流れに準ずるものである。
操作入力部41からオペレータ所望のアドレス番号が入力されると(ステップ602)、PTZ制御部42は入力されたアドレス番号に対応するプリセット情報を記憶部44から呼び出す(ステップ603)。そして、PTZ制御部42は、チルト駆動部6、パン駆動部9およびズーム駆動部23を駆動して該プリセットアドレスへの移動を開始する(ステップ604)。また、PTZ制御部42は、撮影モード制御部43へポジション移動開始情報と上記プリセット情報とを入力する(ステップ605)。
撮影モード制御部43は、記憶部44から該プリセット情報に対応する撮影モード情報を読み出す(ステップ606)。読み出した撮影モードがオートナイトモードである場合は(ステップ1201)、撮影モードの変更を行わずにプリセットアドレスへの移動を完了する(ステップ608)。また、プリセットアドレスへの移動完了後、撮影モードがオートナイトモードであれば(ステップ1203)、撮影モード制御部43は被写体の明るさYoを判定し(ステップ1204)、カラーモードまたはナイトモードへの変更を行う(ステップ1205)。
一方、ステップ1201において、撮影モードデーターがオートナイトモードでない場合には、カラーモード又はナイトモードへの変更制御を行う(ステップ1202)。この場合、プリセットアドレスへの移動中に撮影モードの変更が開始される。そして、プリセットアドレスへの移動および撮影モードの変更が完了し(ステップ608)、ステップ1201において撮影モードデーターがオートナイトモードでないので、ステップ1204、1205をスキップする。
さらに他のプリセットアドレスへの移動を行う場合には(ステップ609)、ステップ602へ戻り、そうでなければ本フローを終了する(ステップ610)。
図13には、本実施例において、実施例2のように時刻情報を伴う場合のプリセットアドレスへの移動と撮影モードの変更動作の流れを示している。
実施例2において図10を用いて説明した動作の流れに対して、本実施例では、ステップ607に代わり上述したステップ1201、1202が適用され、ステップ608とステップ609との間に上出したステップ1203〜1205が挿入される。その他は図10で述べた実施例2の動作の流れに準ずる。但し、S1001において抽出される撮影モードは、図14に示されるように、撮影モードとしてオートナイトモードが加わったものとなる。
上記各実施例では、撮影モード制御部43は、操作入力部41からプリセットアドレスの指定情報の入力を受けたPTZ制御部42からポジション移動開始情報とプリセットアドレスの入力を受けて、記憶部44から該プリセットアドレスに対応する撮影モードの検索および読み出しを行う場合について説明したが、操作入力部41からプリセットアドレスの入力を直接受けて、該プリセットアドレスに対応する撮影モードの検索と読み出しを行うようにしてもよい。
この場合、図6および図12に示したステップ602からはステップ606に進み、図10および図13に示したステップ602からはステップ1001に進む。
上記各実施例においては、カメラ本体1は光学的な変倍によって撮影ポジションの1つである撮影画角(撮影範囲)が変更される場合について説明したが、図16に示すように、撮影範囲100中の一部101を所謂電子ズームによって切り出して拡大することで、新たな撮影範囲102として指定することも可能である。
以上が本発明の実施例についての説明である。通常、PTZカメラのプリセットによる撮影ポジションの移動は高速であり、その間に得られる画像は高速で流れてしまい見辛いものである。また、オペレータは、原則的には、プリセットされた撮影ポジションでの撮影画像に対してのみ注意を払うので、撮影ポジションの移動中の撮影画像はあまり重要でない。このため、撮影ポジションの移動中の撮影画像に多少の画像欠損が生じても大きな支障はない。また、プリセットされた撮影ポジションでの被写体の明るさが、撮影ポジションがプリセットされたポジション間で巡回している間に急変することは希である。
そこで、本実施例においては、プリセットされた各撮影ポジションに対して、カラーモードやナイトモード等の撮影モードを対応付けて記憶しておき、撮影ポジションの移動中に移動先の撮影ポジションに対応する撮影モードへの切り換えを開始するようにしている。
また、上記実施例では、プリセットされた撮影ポジションでの明るさが、例えば日中と夜間で条件が変わる場合により適切に対応するため、撮影ポジションと時刻情報とに対して撮影モードを対応付けるようにしている。
また、上記実施例では、プリセットされた撮影ポジションの中で、被写体の明るさが時刻によらず頻繁に変化する場合にも対応できるように、オートナイトモードを併せ持ち、該撮影ポジションにおいて被写体の明るさを判別して、撮影モードの切り換えが行えるようにしている。
上記各実施例によれば、カラーモードとナイトモードを有し、被写体の明るさの連続的な時間的変化だけではなく、パン、チルト、ズーム等による撮影ポジションの移動に伴う被写体の明るさの変化により、頻繁な撮影モードの変更が行われる撮影装置において、以下の効果が得られる。
(1)撮影モードの切り換えに伴う画像欠損状態を緩和し、また撮影ポジションの移動完了から素早く最適な画像を得ることができる。したがって、オペレータの負担を大幅に軽減できる。
(2)時刻情報に応じた撮影モード制御をも行うことで、同一の撮影ポジションであっても時刻によって被写体の明るさが変化するような場合に、撮影モードの再設定の必要を回避したり、撮影モード設定の精度を高めたりすることができる。
(3)さらに撮影モードの自動選択機能であるオートナイトモードを所望の撮影ポジションにおいて選択できるようにすることで、時刻変化以外の被写体の明るさの変化に対応して最適な画像を得ることが可能になる。さらに、頻繁に明るさが変化する被写体に対しても、撮影モードの頻繁な変更するためのオペレータ操作を不要とすることができる。
なお、上記各実施例では、撮影ポジションをプリセットし、プリセットポジションへの移動に際して撮影モードを自動的に変更する場合について説明したが、本発明は、特にプリセットポジションへの移動に際してだけでなく、オペレータが任意に撮影ポジションを移動させているような場合にも、特定の撮影ポジションに移動する際に撮影モードが自動的に切り換わるようにしてもよい。
さらに、上記各実施例では、撮影モードとして、カラーモードおよびナイトモード(さらにはオートナイトモード)を有する場合について説明したが、本発明は、これら以外の撮影モードを含む場合にも適用することができる。
また、上記実施例から以下の発明も導くことができる。
(発明a)撮影装置の撮影光路に対して挿抜される透過波長選択手段および該透過波長選択手段を該撮影光路内へ挿入及び離脱させる挿脱手段を有する撮影装置と、
前記撮影装置の撮影する撮影範囲を変更する撮影範囲変更手段と、
該撮影範囲変更手段により変更される撮影範囲の中から撮影範囲を複数指定する撮影範囲指定手段と、
該撮影範囲指定手段により指定された複数の撮影範囲のそれぞれに対して、前記透過波長選択手段の前記撮影光路内への挿入または離脱の条件を設定する第1の設定手段と、
該第1の設定手段により設定された前記撮影範囲に対応する前記透過波長選択手段の前記撮影光路内への挿入または離脱の条件を撮影条件として記憶する第1の記憶手段と、
前記撮影範囲指定手段により指定された第1の撮影範囲から第2の撮影範囲に変更した場合に、前記第1の記憶手段に記憶された、該第1の撮影範囲に対応する第1撮影条件から該第2の撮影範囲に対応する第2撮影条件へ変更して、該第2撮影条件に基づいて前記挿脱手段を駆動する第1の駆動手段とを有することを特徴とする撮影制御システム。
(発明b)発明aにおいて、前記第1の撮影範囲から前記第2の撮影範囲への変更中に、前記第2撮影条件に基づいて前記挿脱手段を駆動する前記第1の駆動手段を有することを特徴とする。
(発明c)発明bにおいて、前記第1の撮影範囲から前記第2の撮影範囲への変更中に、前記第2撮影条件に基づいて前記挿脱手段の駆動を完了する前記第1の駆動手段を有することを特徴とする。
(発明d)発明aにおいて、
時刻の情報を発生する時計手段と、
該時計手段の発生する時刻情報と前記撮影条件との関連付け(対応付け)を行う前記第1の設定手段と、
前記第1の設定手段により設定された前記撮影条件と前記時刻情報を及び前記撮影条件と前記時刻情報の関連づけを記憶する前記第1の記憶手段と、
前記撮影範囲指定手段により指定された前記第1の撮影範囲から前記第2の撮影範囲に変更した場合に、前記第1の記憶手段に記憶された、前記第2の撮影範囲に対応し且つ、複数の異なる時刻情報がそれぞれ関連する前記透過波長選択手段の前記撮影光路内への挿入または離脱に関する複数の第2撮影条件の中から、前記時計手段から入力される現在時刻に対して所定の関係を有する時刻情報と関係付けられた単一の第2撮影条件を選択する選択手段とを有することを特徴とする。
(発明e)発明dにおいて、前記時計手段から入力される現在時刻の、前記複数の異なる時刻情報の中での現在時刻の順位を決定し、該現在時刻の順位の一つだけ下位の順位の時刻情報と関係付けられた前記単一の第2撮影条件を選択するか、または前記現在時刻の順位より下位の時刻情報が存在しない場合には前記複数の異なる時刻情報の中で最上位の時刻情報と関係付けられた前記単一の第2撮影条件を選択する前記選択手段を有することを特徴とする。
(発明f)発明aにおいて、前記撮影装置の撮影した画像信号に所定の処理を行い前記画像信号より輝度情報を生成して出力する輝度情報生成手段と、該輝度情報生成手段から入力された該輝度情報に対して所定の評価を行う輝度評価手段と、
該輝度評価手段の評価に基づいて前記挿脱手段に前記透過波長選択手段の前記撮影光路内への挿入または離脱を行わせる自動挿脱制御手段と、
前記撮影範囲指定手段により指定された複数の撮影範囲の個々に対して、前記透過波長選択手段の前記撮影光路内への挿入または離脱または前記自動挿脱制御手段の使用の条件を撮影条件として設定する前記第1の設定手段とを有することを特徴とする。
(発明g)発明fにおいて、前記第1の撮影範囲から前記第2の撮影範囲が変更された場合、前記第2撮影条件が前記自動挿脱制御手段の使用をすることになっている場合には、前記第1の撮影範囲から前記第2の撮影範囲への変更完了後に前記自動挿脱制御手段によって、前記挿脱手段に前記透過波長選択手段の前記撮影光路内への挿入または離脱を行わせ、前記第2撮影条件に基づいて前記第1の撮影範囲から前記第2の撮影範囲への変更中に前記挿脱手段の駆動を完了する前記第1の駆動手段を有することを特徴とする。
(発明h)発明a〜gにおいて、前記撮影装置の撮影した画像信号に所定の処理を行い、前記画像信号より輝度情報とカラー情報を生成して出力する画像情報生成手段と、前記透過波長選択手段の前記撮影光路内へ挿入または離脱のそれぞれの条件に対応して前記カラー情報の生成又は出力を許可又は禁止する制御を前記画像情報生成手段に対して行う画像情報生成制御手段を有することを特徴とする。
本発明の実施例1における撮影装置の斜視図。 実施例1におけるカメラ本体の構成図。 実施例1における画像信号処理部の構成図。 実施例1におけるカメラ制御部の構成図。 実施例1におけるカメラ制御部の動作を示すフローチャート。 実施例2におけるカメラ制御部の動作を示すフローチャート。 本発明の実施例2における撮影モードを示す図。 実施例2におけるカメラ制御部の動作を示すフローチャート。 実施例2におけるカメラ制御部の動作を示すフローチャート。 実施例2におけるカメラ制御部の動作を示すフローチャート。 オートナイトモードでの動作を説明するための図。 本発明の実施例3におけるカメラ制御部の動作を示すフローチャート。 実施例3におけるカメラ制御部の動作を示すフローチャート。 実施例3における撮影モードを示す図。 実施例1における使用例を示す図。 デジタルズームの説明図。
符号の説明
1 カメラ本体
2 チルト基台
4 パン基台
15 撮影レンズ
30 信号処理部
40 カメラ制御部
42 PZT制御部
43 撮影モード制御部
44 記憶部

Claims (5)

  1. 撮影ポジションの変更が可能な監視用カメラを制御する撮影制御システムであって、
    前記撮影ポジションに応じた前記監視用カメラの撮影モードを記憶するモード記憶手段と、前記撮影ポジションの変更に際して、前記撮影モードを、前記モード記憶手段に記憶された変更先の撮影ポジションに応じた撮影モードに変更するモード変更手段とを有し、かつ、
    前記モード変更手段は、前記撮影ポジションの変更動作中に前記撮影モードの変更を開始し、前記撮影ポジションの変更動作中に前記撮影モードの変更を完了することを特徴とする撮影制御システム。
  2. 前記モード変更手段は、前記撮影モードを、波長選択フィルタを用いて撮影を行うカラー撮影モードと、該波長選択フィルタを用いずに撮影を行うモノクロ撮影モードとに切り換えることを特徴とする請求項1に記載の撮影制御システム。
  3. 前記モード記憶手段は、前記撮影ポジションと時刻情報とに応じた前記撮影モードを記憶し、
    前記モード変更手段は、前記撮影ポジションの変更に際して、前記撮影モードを、前記モード記憶手段に記憶された変更先の撮影ポジションと、該変更時の時刻情報又は該変更時の時刻情報に対して所定の関係を有する時刻情報とに応じた撮影モードに変更することを特徴とする請求項1又は2に記載の撮影制御システム。
  4. 前記撮影モードとして、前記撮影装置の出力信号から得られる輝度情報に基づいて前記撮影モードを変更するモードを含むことを特徴とする請求項1乃至3の何れか一項に記載の撮影制御システム。
  5. 請求項1乃至4の何れか一項に記載の撮影制御システムと、
    該撮影制御システムにより制御される監視用カメラとを有することを特徴とする撮影システム。
JP2004333537A 2004-11-17 2004-11-17 撮影制御システム Expired - Fee Related JP4438065B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004333537A JP4438065B2 (ja) 2004-11-17 2004-11-17 撮影制御システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004333537A JP4438065B2 (ja) 2004-11-17 2004-11-17 撮影制御システム

Publications (3)

Publication Number Publication Date
JP2006148353A JP2006148353A (ja) 2006-06-08
JP2006148353A5 JP2006148353A5 (ja) 2007-12-27
JP4438065B2 true JP4438065B2 (ja) 2010-03-24

Family

ID=36627546

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004333537A Expired - Fee Related JP4438065B2 (ja) 2004-11-17 2004-11-17 撮影制御システム

Country Status (1)

Country Link
JP (1) JP4438065B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5034429B2 (ja) 2006-10-16 2012-09-26 ソニー株式会社 レンズ装置、撮像装置及び収差補正方法
JP4438847B2 (ja) 2007-09-28 2010-03-24 ソニー株式会社 撮像装置、撮像制御方法及び撮像制御プログラム
JP6388105B2 (ja) 2013-02-22 2018-09-12 パナソニックIpマネジメント株式会社 カメラ装置およびカメラ装置の制御方法
JP2019158500A (ja) 2018-03-12 2019-09-19 オムロン株式会社 外観検査システム、画像処理装置、撮像装置および検査方法

Also Published As

Publication number Publication date
JP2006148353A (ja) 2006-06-08

Similar Documents

Publication Publication Date Title
US7796182B2 (en) Image-taking apparatus and focusing method
KR101187756B1 (ko) 감시용 카메라의 프라이버시 마스크 표시 제어방법
JP4641424B2 (ja) 撮像装置
JP4214926B2 (ja) 電子スチルカメラ
US20070025714A1 (en) Image capturing apparatus
WO2007094219A1 (ja) 撮影装置および撮影方法
JP2007074388A (ja) 撮像装置及びそのプログラム
JP4986346B2 (ja) 撮像装置のレンズ駆動方法及び撮像装置並びにカメラシステム
JP4310309B2 (ja) 光学装置および光学装置の制御方法
JP2003051980A (ja) オートフォーカス装置及び撮像装置並びにカメラシステム
CA2231095A1 (en) Video camera with improved zoom capability
JP2010204585A (ja) 撮像装置及びその制御方法
JP4438065B2 (ja) 撮影制御システム
JP5108696B2 (ja) 撮像装置
JP4182864B2 (ja) 電子カメラ
JP2004086160A (ja) 光学装置
JP2007124278A (ja) 撮像装置
JP3243625B2 (ja) 撮像装置
JP2607536Y2 (ja) カメラのファインダ表示装置
JP2004093776A (ja) カメラ
JP4131948B2 (ja) ビデオカメラ
JP2001136429A (ja) 電子カメラ
JP2009037152A (ja) 合焦制御装置及び方法
KR100647551B1 (ko) 영상 카메라의 디지털 팬틸트 장치
JP2019129467A (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091222

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091226

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130115

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees