JP2005117343A - 監視システム - Google Patents
監視システム Download PDFInfo
- Publication number
- JP2005117343A JP2005117343A JP2003348711A JP2003348711A JP2005117343A JP 2005117343 A JP2005117343 A JP 2005117343A JP 2003348711 A JP2003348711 A JP 2003348711A JP 2003348711 A JP2003348711 A JP 2003348711A JP 2005117343 A JP2005117343 A JP 2005117343A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- image sensor
- moving object
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
【課題】 広角画像とその一部の拡大画像とを記録・表示させる監視システムを小型・軽量化し、拡大画像での動体の追尾制御も容易な構成を実現する。
【解決手段】 撮像部1では、入射レンズ系5からの光束をハーフミラー6で分割し、固定された第1撮像素子7と入射レンズ系5の光軸上の点を中心に球面に沿って移動可能な機構で支持された第2撮像素子8とへ導き、第1撮像素子7から広角画像を、第2撮像素子8から拡大画像を得る。データタ処理・制御部2では、各撮像素子7,8の画像データを取り込んで記録・表示させるが、撮像位置決定部27は広角画像中で動体を検出するとその動きを解析して次フレームでの予測位置を求め、そのデータをモータ駆動制御部29へ転送する。モータ駆動制御部29が撮像部1側の前記移動機構のモータ14,19を回動させることにより第2撮像素子8で動体を捕捉追尾させる。
【選択図】図1
【解決手段】 撮像部1では、入射レンズ系5からの光束をハーフミラー6で分割し、固定された第1撮像素子7と入射レンズ系5の光軸上の点を中心に球面に沿って移動可能な機構で支持された第2撮像素子8とへ導き、第1撮像素子7から広角画像を、第2撮像素子8から拡大画像を得る。データタ処理・制御部2では、各撮像素子7,8の画像データを取り込んで記録・表示させるが、撮像位置決定部27は広角画像中で動体を検出するとその動きを解析して次フレームでの予測位置を求め、そのデータをモータ駆動制御部29へ転送する。モータ駆動制御部29が撮像部1側の前記移動機構のモータ14,19を回動させることにより第2撮像素子8で動体を捕捉追尾させる。
【選択図】図1
Description
本発明は、広角の撮像画像から動体を検出し、その動体を拡大した撮像画像で捕らえながら追尾する方式の監視システムに関する。
近年、工業プラント等の施設だけでなく、小規模な商業施設や一般家庭においてもセキュリティ対策として監視システムの需要が高まっている。
その場合、極めて厳重な監視体制が要求されるような施設ではモニタ画像を常時監視するための設備と人員を配置させるが、前記の商業施設や一般家庭ではそのような態勢を採用することは困難である。
その場合、極めて厳重な監視体制が要求されるような施設ではモニタ画像を常時監視するための設備と人員を配置させるが、前記の商業施設や一般家庭ではそのような態勢を採用することは困難である。
従って、監視カメラから得られる画像信号から侵入者等の動体を検出し、その動き検出状態中にのみVTRやDVD等の記録装置によって自動録画を実行させたり、自動的にアラームを発生させたりすることが行われている。
また、広角の撮像画像だけでは侵入者等の容姿や動作の詳細が確認できないことが多いため、高い解像度で侵入者等を拡大した画像で撮像しながら追尾できるようなシステムも実現されている。
また、広角の撮像画像だけでは侵入者等の容姿や動作の詳細が確認できないことが多いため、高い解像度で侵入者等を拡大した画像で撮像しながら追尾できるようなシステムも実現されている。
そして、そのような監視システムに適用される撮像装置として、例えば、下記の特許文献1に開示された技術がある。
その撮像装置は、2つのビデオカメラを備えており、第1ビデオカメラは動体を含む画像を広角で撮像し、第2ビデオカメラで動体を追尾するようになっている。
第2ビデオカメラは、動体を追尾するために駆動制御部によってPAN−TILT・ズーム制御がなされるが、その制御は、第1ビデオカメラによる広角の撮像画像から動体を検出してその動きベクトルを求め、その動きベクトルについての各種データに基づいて動体の予測座標値を演算すると共にサイズ補正演算によりズーム率が求められ、それら予測座標値とズーム率を用いて実行される。
その撮像装置は、2つのビデオカメラを備えており、第1ビデオカメラは動体を含む画像を広角で撮像し、第2ビデオカメラで動体を追尾するようになっている。
第2ビデオカメラは、動体を追尾するために駆動制御部によってPAN−TILT・ズーム制御がなされるが、その制御は、第1ビデオカメラによる広角の撮像画像から動体を検出してその動きベクトルを求め、その動きベクトルについての各種データに基づいて動体の予測座標値を演算すると共にサイズ補正演算によりズーム率が求められ、それら予測座標値とズーム率を用いて実行される。
ところで、前記特許文献1の技術によると、独立した2つのビデオカメラが必要であり、大きな設置スペースを要すると共に、第2ビデオカメラ全体を駆動させるために強力で大きな機構が必要となる。
また、監視システムの中でビデオカメラの光学系が占めるコスト比率が大きく、独立した2つのビデオカメラを用いることはコストダウンを図る上で不利となる。
更に、各ビデオカメラの光軸が独立しているため、第1ビデオカメラの広角画像から動体の予測座標値等を求めてそのまま第2ビデオカメラの制御データとして用いると正確な追尾制御は行えず、前記特許文献1では触れていないが、実際には制御データについて複雑な補正処理が必要になる筈である。
そこで、本発明は、前記の各問題点に鑑みて、動体を高い解像度の拡大画像で正確に追尾できると共に、設置スペースが小さく、小型で安価な監視システムを提供することを目的として創作された。
また、監視システムの中でビデオカメラの光学系が占めるコスト比率が大きく、独立した2つのビデオカメラを用いることはコストダウンを図る上で不利となる。
更に、各ビデオカメラの光軸が独立しているため、第1ビデオカメラの広角画像から動体の予測座標値等を求めてそのまま第2ビデオカメラの制御データとして用いると正確な追尾制御は行えず、前記特許文献1では触れていないが、実際には制御データについて複雑な補正処理が必要になる筈である。
そこで、本発明は、前記の各問題点に鑑みて、動体を高い解像度の拡大画像で正確に追尾できると共に、設置スペースが小さく、小型で安価な監視システムを提供することを目的として創作された。
本発明は、入射レンズ系とその入射レンズ系で定まる像面との間に光束分割手段を配置し、前記光束分割手段で分割された後の一方の光束に係る像面に広角画像を得るための第1撮像素子を配置させ、前記第1撮像素子による広角画像の一部を前記第1撮像素子よりも高い解像度で撮像する第2撮像素子を前記光束分割手段で分割された後の他方の光束に係る像面に沿って移動可能な機構で支持すると共に、前記機構を介して前記第2撮像素子を移動させる駆動手段を設けた撮像部と、前記第1撮像素子から得られる広角画像の画像データに基づいて画像中に動体が存在するか否かを確認し、動体が存在した場合に、前記広角画像中における現フレームでの動体の中心座標とその動きベクトルとから次フレームでの動体の予測位置座標を求め、前記広角画像中における前記第2撮像素子の撮像位置を決定する撮像位置決定手段と、前記撮像位置決定手段が決定した撮像位置に基づいて前記撮像部の前記駆動手段を制御することにより、前記第2撮像素子を対応する位置へ移動させる駆動制御手段とを備え、前記第2撮像素子の撮像画像、若しくは前記第1撮像素子及び前記第2撮像素子の撮像画像を表示及び/又は記録することを特徴とする監視システムに係る。
本発明によれば、第1撮像素子と第2撮像素子は入射レンズ系と光束分割手段を共用しており、第1撮像素子は光束分割手段で分割された一方の光束から広角画像を、第2撮像素子は他方の光束から前記広角画像の一部を得るようになっている。
ここに、第2撮像素子は第1撮像素子よりも画素密度が高くなっており、第2撮像素子の撮像画像を拡大した場合にも高い解像度で精細な画像を得ることができる。
そして、第1撮像素子が得ている広角画像の画像データに基づいて動体の位置を予測することにより、第2撮像素子を前記他方の光束に係る像面に沿って移動させて動体を追尾するようになっている。
従って、従来技術の監視システムのように独立した2つのビデオカメラを必要とせず、単体として構成された監視システムが実現できる。また、1つの光束を分割して各撮像素子の画像を得るため、第2撮像素子の動体に対する追尾制御を簡単な演算で正確に行うことができる。
尚、光束分割手段としてはハーフミラー又はビームスプリッタが適用できる。
また、撮像部における第2撮像素子の移動機構としては、第2撮像素子を入射レンズ系の光軸上の1点を中心とした球面に沿って移動させる機構や、像面の位置で光軸に垂直な面に沿って移動させる機構等が採用できる。
ここに、第2撮像素子は第1撮像素子よりも画素密度が高くなっており、第2撮像素子の撮像画像を拡大した場合にも高い解像度で精細な画像を得ることができる。
そして、第1撮像素子が得ている広角画像の画像データに基づいて動体の位置を予測することにより、第2撮像素子を前記他方の光束に係る像面に沿って移動させて動体を追尾するようになっている。
従って、従来技術の監視システムのように独立した2つのビデオカメラを必要とせず、単体として構成された監視システムが実現できる。また、1つの光束を分割して各撮像素子の画像を得るため、第2撮像素子の動体に対する追尾制御を簡単な演算で正確に行うことができる。
尚、光束分割手段としてはハーフミラー又はビームスプリッタが適用できる。
また、撮像部における第2撮像素子の移動機構としては、第2撮像素子を入射レンズ系の光軸上の1点を中心とした球面に沿って移動させる機構や、像面の位置で光軸に垂直な面に沿って移動させる機構等が採用できる。
本発明において、前記撮像位置決定手段は、次フレームでの動体の予測位置座標が前記広角画像中における前記第2撮像素子の撮像領域内にある場合には、前記第2撮像素子の撮像位置を現フレームのまま維持させることが望ましい。
これは、動体の小さな動きに対して第2撮像素子の移動が過敏に行われるとその撮像画像が見づらいものになるからであり、次フレームにおいて動体が第2撮像素子の撮像領域に含まれている場合には、安定した撮像状態を維持させて動体の確認を容易にする。
これは、動体の小さな動きに対して第2撮像素子の移動が過敏に行われるとその撮像画像が見づらいものになるからであり、次フレームにおいて動体が第2撮像素子の撮像領域に含まれている場合には、安定した撮像状態を維持させて動体の確認を容易にする。
また、撮像位置決定手段においては、現フレームと次フレームでの前記第2撮像素子の各撮像位置間の予測距離を求めた後、それを前記第2撮像素子の実空間上での移動距離に換算し、その実空間上での移動距離が前記駆動手段による前記第2撮像素子の1フレーム時間での移動距離よりも大きい場合には、現フレームでは前記第2撮像素子の撮像位置をそのまま維持させ、次フレームを基準にした制御に委ねるようにすることが望ましい。
動体の速度が大きすぎると、たとえ第1撮像素子のフレーム内に捕捉できていても、第2撮像素子をそれに追従して移動させることができない場合もあり、そのような場合には、その状態を確認した上で、次フレームで第2撮像素子を追従させ得るかどうかを判断させるようにする。
動体の速度が大きすぎると、たとえ第1撮像素子のフレーム内に捕捉できていても、第2撮像素子をそれに追従して移動させることができない場合もあり、そのような場合には、その状態を確認した上で、次フレームで第2撮像素子を追従させ得るかどうかを判断させるようにする。
更に、複数の動体を対象とする場合には、前記撮像位置決定手段に次のような機能を持たせておけば、第2撮像素子による動体の合理的な追尾が可能になる。
即ち、前記撮像位置決定手段が、前記第1撮像素子から得られる広角画像中に複数の動き検出対象領域を設け、少なくとも2つの前記動き検出対象領域から動体が検出された場合に、各動体を包含する判別用方形領域を求めてその判別用方形領域と前記第2撮像素子の撮像領域の大きさを比較し、前記第2撮像素子の撮像領域の方が大きい場合には、前記第2撮像素子の撮像位置を前記判別用方形領域の中心位置に決定し、逆に、前記判別用方形領域の方が大きい場合には、前記広角画像中における各動体の中心座標とその動きベクトルを求め、前記動き検出対象領域から最先に離脱すると予測される動体を前記第2撮像素子の優先撮像対象とする。
この処理によると、広角画像中で求められた判別用方形領域は全ての動体を含んでおり、第2撮像素子の撮像領域がその判別用方形領域より大きければ第2撮像素子で全ての動体を捕捉し得ることになるため、判別用方形領域の中心位置に第2撮像素子の撮像位置を決定しておけば足りる。
一方、判別用方形領域が第2撮像素子の撮像領域より大きい場合には、全ての動体を捕捉できないため、この場合には動き検出対象領域から最先に離脱すると予測される動体を優先的な追尾対象とする。
これは、そのように予測される動体が一般的に最も注目すべき対象であることが多いからである。
即ち、前記撮像位置決定手段が、前記第1撮像素子から得られる広角画像中に複数の動き検出対象領域を設け、少なくとも2つの前記動き検出対象領域から動体が検出された場合に、各動体を包含する判別用方形領域を求めてその判別用方形領域と前記第2撮像素子の撮像領域の大きさを比較し、前記第2撮像素子の撮像領域の方が大きい場合には、前記第2撮像素子の撮像位置を前記判別用方形領域の中心位置に決定し、逆に、前記判別用方形領域の方が大きい場合には、前記広角画像中における各動体の中心座標とその動きベクトルを求め、前記動き検出対象領域から最先に離脱すると予測される動体を前記第2撮像素子の優先撮像対象とする。
この処理によると、広角画像中で求められた判別用方形領域は全ての動体を含んでおり、第2撮像素子の撮像領域がその判別用方形領域より大きければ第2撮像素子で全ての動体を捕捉し得ることになるため、判別用方形領域の中心位置に第2撮像素子の撮像位置を決定しておけば足りる。
一方、判別用方形領域が第2撮像素子の撮像領域より大きい場合には、全ての動体を捕捉できないため、この場合には動き検出対象領域から最先に離脱すると予測される動体を優先的な追尾対象とする。
これは、そのように予測される動体が一般的に最も注目すべき対象であることが多いからである。
本発明は、監視領域全体を撮像した広角画像と動体を高解像度で撮像した拡大画像とを記録及び/又は表示させる監視システムにおいて、それぞれの画像を得るための各撮像素子に対する入射光学系を単一化し、小型・軽量で設置スペースが小さいシステムを実現すると共に、その製造コストの低減化も実現する。
また、入射光学系が単一であることにより、動体に対する第2撮像素子の追尾制御を比較的簡単な演算で正確に行えるという利点もある。
更に、撮像位置決定手段での処理を工夫して第2撮像素子の移動制御を実行させるようにしたことにより、動体を安定した見易い画像で追尾でき、複数の動体が検出された場合にも優先順序を合理的に自動設定して追尾することを可能にする。
また、入射光学系が単一であることにより、動体に対する第2撮像素子の追尾制御を比較的簡単な演算で正確に行えるという利点もある。
更に、撮像位置決定手段での処理を工夫して第2撮像素子の移動制御を実行させるようにしたことにより、動体を安定した見易い画像で追尾でき、複数の動体が検出された場合にも優先順序を合理的に自動設定して追尾することを可能にする。
以下、本発明の監視システムの実施形態を図面に基づいて詳細に説明する。
[実施形態1]
先ず、図1はこの実施形態に係る監視システム全体の構成図を示し、大別すると撮像部1とデータ処理・制御部2と表示装置3とからなる。
撮像部1については、図1にその側面図だけを示してあるが、平面図及び正面図はそれぞれ図2及び図3に示されている。
この撮像部1における光学系は、入射レンズ系5と、ハーフミラー6と、第1撮像素子7と、第2撮像素子8とからなり、第2撮像素子8以外の要素は固定されている。
そして、入射レンズ系5を介して入射した光束はハーフミラー6で分割され、90°方向変換された光束は第1撮像素子7に像面を構成し、他方の透過した光束は第2撮像素子の移動位置に像面を構成するようになっている。
[実施形態1]
先ず、図1はこの実施形態に係る監視システム全体の構成図を示し、大別すると撮像部1とデータ処理・制御部2と表示装置3とからなる。
撮像部1については、図1にその側面図だけを示してあるが、平面図及び正面図はそれぞれ図2及び図3に示されている。
この撮像部1における光学系は、入射レンズ系5と、ハーフミラー6と、第1撮像素子7と、第2撮像素子8とからなり、第2撮像素子8以外の要素は固定されている。
そして、入射レンズ系5を介して入射した光束はハーフミラー6で分割され、90°方向変換された光束は第1撮像素子7に像面を構成し、他方の透過した光束は第2撮像素子の移動位置に像面を構成するようになっている。
また、第1撮像素子7は1/2インチサイズ、第2撮像素子8は1/6インチサイズとされており、撮像領域は前者が後者の3倍になっているが、各撮像素子7,8の画素数は同一であり(画素密度について第2撮像素子8が第1撮像素子7の3倍)、第2撮像素子8から得られる画像の解像度は第1撮像素子7のそれより3倍高くなっている。
従って、第1撮像素子7からは入射レンズ系5による監視エリアの広角画像が得られ、第2撮像素子8からはその一部の画像が得られるが、第2撮像素子8による画像はそれを3倍に拡大しても第1撮像素子7による拡大画像と同等の解像度で表示できる。
従って、第1撮像素子7からは入射レンズ系5による監視エリアの広角画像が得られ、第2撮像素子8からはその一部の画像が得られるが、第2撮像素子8による画像はそれを3倍に拡大しても第1撮像素子7による拡大画像と同等の解像度で表示できる。
次に、第2撮像素子8を移動させるための機構について説明する。
先ず、その移動機構は第2撮像素子8を垂直面内で旋回させる第1旋回機構と水平面内で旋回させる第2旋機構とからなり、それらの組み合わせによって第2撮像素子8を入射レンズ系5の光軸上の1点を中心とした球面に沿って移動させることができるようになっており、且つ、その球面は前記入射レンズ系5で定まる像面位置に設定されている。
先ず、その移動機構は第2撮像素子8を垂直面内で旋回させる第1旋回機構と水平面内で旋回させる第2旋機構とからなり、それらの組み合わせによって第2撮像素子8を入射レンズ系5の光軸上の1点を中心とした球面に沿って移動させることができるようになっており、且つ、その球面は前記入射レンズ系5で定まる像面位置に設定されている。
第1旋回機構についてみると、第2撮像素子8を取り付けたマウント部材8aを積載固定したアーム9を有している。
そのアーム9の両端部にはそれぞれ支持軸10a,10bが設けられており、各支持軸10a,10bを水平回動台11に立設せしめた各軸受部12a,12bによって軸支されている。
そして、一方の支持軸10a側にはウォームホィール13が固定されており、そのウォームホィール13に対しては水平回動台11に固設したステッピングモータ14の軸に取り付けたウォーム15が歯合せしめられている。
従って、ステッピングモータ14を正転/逆転駆動させることで支持軸10aを介してアーム9を回動させ、それによって第2撮像素子8を垂直面内で旋回させることが可能になっている。
そのアーム9の両端部にはそれぞれ支持軸10a,10bが設けられており、各支持軸10a,10bを水平回動台11に立設せしめた各軸受部12a,12bによって軸支されている。
そして、一方の支持軸10a側にはウォームホィール13が固定されており、そのウォームホィール13に対しては水平回動台11に固設したステッピングモータ14の軸に取り付けたウォーム15が歯合せしめられている。
従って、ステッピングモータ14を正転/逆転駆動させることで支持軸10aを介してアーム9を回動させ、それによって第2撮像素子8を垂直面内で旋回させることが可能になっている。
一方、第2旋回機構は前記第1旋回機構の水平回動台11を水平に保った状態で旋回させる機構であり、固定基台16に対して回動自在に立設せしめられた回動基軸17に対してウォームホィール18が固定されており、そのウォームホィール18に対して固定基台16に固設したステッピングモータ19の軸に取り付けたウォーム20が歯合せしめられている。
従って、ステッピングモータ19を正転/逆転駆動させることで回動基軸17を回動させ、それによって回動基軸17で支承されている第1旋回機構全体を旋回させることが可能になっている。
従って、ステッピングモータ19を正転/逆転駆動させることで回動基軸17を回動させ、それによって回動基軸17で支承されている第1旋回機構全体を旋回させることが可能になっている。
即ち、撮像部1における第2撮像素子8の移動機構は、各ステッピングモータ14,19の正転/逆転を制御することにより、第2撮像素子8球面に沿って移動させることができる。尚、この実施形態では各ウォーム15,20が各ステッピングモータ14,19の回転軸に直接取り付けられているが、各ステッピングモータ14,19が減速機構を介してウォーム15,20を回動させるようにしてもよい。
ところで、入射レンズ系5のように収束系の光学系においては、像面が光軸から離れるにつれてレンズ側に傾く傾向があり、その面は焦点を中心とした放物面で構成されて「ペッツバール面」と称されている。
一般に、レンズには前記ペッツバール面のような像面湾曲や各種の収差が発生し、非点収差だけを補正することは比較的容易であるが、像面湾曲も含めて補正することは困難であり、アナスティグマティック・レンズや特殊な構成による組合せレンズ等の高価な光学系を構成しなければならないためにコストアップを招く。
この実施形態のように、第2撮像素子8を光軸上の一点を中心とする球面上で移動させると、第2撮像素子8がペッツバール面に近似した位置を移動することになるため、前記のような像面湾曲の補正を行わずとも、入射レンズ系5が有している焦点深度に基づいて画像の歪みを補正できる。
ところで、入射レンズ系5のように収束系の光学系においては、像面が光軸から離れるにつれてレンズ側に傾く傾向があり、その面は焦点を中心とした放物面で構成されて「ペッツバール面」と称されている。
一般に、レンズには前記ペッツバール面のような像面湾曲や各種の収差が発生し、非点収差だけを補正することは比較的容易であるが、像面湾曲も含めて補正することは困難であり、アナスティグマティック・レンズや特殊な構成による組合せレンズ等の高価な光学系を構成しなければならないためにコストアップを招く。
この実施形態のように、第2撮像素子8を光軸上の一点を中心とする球面上で移動させると、第2撮像素子8がペッツバール面に近似した位置を移動することになるため、前記のような像面湾曲の補正を行わずとも、入射レンズ系5が有している焦点深度に基づいて画像の歪みを補正できる。
次に、データ処理・制御部2の構成とその動作について説明する。
このデータ処理・制御部2は、撮像部1の第1撮像素子7から得られる広角画像データを解析して動体の動きを予測し、その予測データに基づいて第2撮像素子8の移動制御を行うことにより動体の拡大画像を得る機能と、前記の広角画像と動体の拡大画像を記録・表示させる機能を備えている。
このデータ処理・制御部2は、撮像部1の第1撮像素子7から得られる広角画像データを解析して動体の動きを予測し、その予測データに基づいて第2撮像素子8の移動制御を行うことにより動体の拡大画像を得る機能と、前記の広角画像と動体の拡大画像を記録・表示させる機能を備えている。
そして、データ処理・制御部2は、第1撮像素子7の撮像信号を取り込んでディジタルデータに変換する画像入力インターフェイス(以下、「インターフェイス」は「I/F」と略す)21aと、画像入力I/F21aが変換した画像データが書き込まれる画像メモリ22aと、第2撮像素子8の撮像信号を取り込んでディジタルデータに変換する画像入力I/F21bと、画像入力I/F21bが変換した画像データが書き込まれる画像メモリ22bと、画像メモリ22a,22bの画像データを表示信号に変換して表示装置3へ出力させる出力I/F23と、動作のON/OFF設定や動き判定閾値等の動作条件のパラメータ設定を行うための操作部24と、操作部24からの入力を受け付ける設定入力I/F25と、設定入力I/Fが受け付けた設定値を記憶するパラメータ記憶部26と、パラメータ記憶部26の設定値に基づいて前記画像から動体を検出し、次フレームでの動体の予測位置を求めて第2撮像素子8による撮像位置を決定する撮像位置決定部27と、撮像位置決定部27が動体を検出した場合に各画像メモリ22a,22bの画像データを記録するデータ記録装置28と、撮像位置決定部27による撮像位置決定データに基づいて撮像部1側のステッピングモータ14,19の回動状態を制御するモータ駆動制御部29と、それらモジュールを統括的に制御するシステム制御部30とからなる。
この監視システムでは、前記の構成に基づいて、各画像メモリ22a,22bの画像データを表示装置3に表示させておくが、撮像位置決定部27で動体が検出されている状態においてのみ、データ記録装置28によって各撮像画像を記録媒体に録画させる。
尚、画像メモリ22aの画像データは第1撮像素子7による広角画像に係るものであり、画像メモリ22bの画像データは第2撮像素子8による画像であって、前記広角画像の一部を3倍の解像度で表示できるものであることから、出力I/F23による表示出力に際しては、通常は前記広角画像だけを表示させておき、撮像位置決定部27が動体を検出した場合にのみ第2撮像素子8の画像データを拡大表示させてもよい。
また、図1ではアラーム装置を設けていないが、アラーム装置を設けた場合には、撮像位置決定部27が動体を検出した場合にシステム制御部30がアラーム装置を起動させる。
尚、画像メモリ22aの画像データは第1撮像素子7による広角画像に係るものであり、画像メモリ22bの画像データは第2撮像素子8による画像であって、前記広角画像の一部を3倍の解像度で表示できるものであることから、出力I/F23による表示出力に際しては、通常は前記広角画像だけを表示させておき、撮像位置決定部27が動体を検出した場合にのみ第2撮像素子8の画像データを拡大表示させてもよい。
また、図1ではアラーム装置を設けていないが、アラーム装置を設けた場合には、撮像位置決定部27が動体を検出した場合にシステム制御部30がアラーム装置を起動させる。
以下、データ処理・制御部2の撮像位置決定部27による第1撮像素子7の広角画像に対する解析処理とそれに基づく撮像部1の制御について具体的に説明する。
撮像位置決定部27は図4に示すようなマイクロコンピュータ回路で構成されており、CPU31とROM32とRAM33とI/Oポート34がアドレスバス・データバスで接続された一般的なものである。
ここで、ROM32には予め撮像位置決定プログラムが格納せしめられており、RAM33には、ワークエリアと共に、少なくとも1フレーム分の画像データを記憶する領域と、動き判定のための閾値等のパラメータを取り込んで記憶する領域と、動き検出過程で得られる各種データを記憶する領域と、動き検出情報を記憶する領域が確保されている。また、I/Oポート34は、システム制御部30からの制御信号を受けると共に、画像メモリ22aの画像データと設定パラメータの入力を受け付け、第2撮像素子8の撮像位置データをモータ駆動制御部29へ出力する。
撮像位置決定部27は図4に示すようなマイクロコンピュータ回路で構成されており、CPU31とROM32とRAM33とI/Oポート34がアドレスバス・データバスで接続された一般的なものである。
ここで、ROM32には予め撮像位置決定プログラムが格納せしめられており、RAM33には、ワークエリアと共に、少なくとも1フレーム分の画像データを記憶する領域と、動き判定のための閾値等のパラメータを取り込んで記憶する領域と、動き検出過程で得られる各種データを記憶する領域と、動き検出情報を記憶する領域が確保されている。また、I/Oポート34は、システム制御部30からの制御信号を受けると共に、画像メモリ22aの画像データと設定パラメータの入力を受け付け、第2撮像素子8の撮像位置データをモータ駆動制御部29へ出力する。
図5のフローチャートは撮像位置決定部27のCPU31がROM32の撮像位置決定プログラムに基づいて実行する基本的動作手順を示す。
先ず、監視システムの稼動状態では、第1撮像素子7で撮像した画像データが画像入力I/F21aによって画像メモリ22aに書き込まれ、出力I/F21が画像メモリ22aから画像データを読み出して表示装置3に監視映像を表示させている。
また、操作部24から入力された動き判定閾値等のパラメータが予めパラメータ記憶部26に格納されているものとする。
先ず、監視システムの稼動状態では、第1撮像素子7で撮像した画像データが画像入力I/F21aによって画像メモリ22aに書き込まれ、出力I/F21が画像メモリ22aから画像データを読み出して表示装置3に監視映像を表示させている。
また、操作部24から入力された動き判定閾値等のパラメータが予めパラメータ記憶部26に格納されているものとする。
ここで、操作部24から動き検出動作のON指示がなされるとシステム制御部30が撮像位置決定部27を起動させ、撮像位置決定部27ではI/Oポート34を介してパラメータ記憶部26の設定パラメータをRAM33に読み込むと共に、以降のデータ処理のための初期設定を行う(S11,S12)。
そして、初期設定が完了すると直ちに画像メモリ22から画像データを1フレームずつRAM33に取り込み(S13,S14)、RAM33に展開した画像データに基づいて画像分割・輝度情報処理(S15)を実行する。
そして、初期設定が完了すると直ちに画像メモリ22から画像データを1フレームずつRAM33に取り込み(S13,S14)、RAM33に展開した画像データに基づいて画像分割・輝度情報処理(S15)を実行する。
この画像分割・輝度情報処理(S15)は図6のフローチャートに示す手順で実行される。
先ず、RAM33に取り込まれた画像フレーム:F(X)を、図7に示すように水平方向と垂直方向に均等区分し、m*n個の方形状のブロック:B(X)ij[但し、i=1〜m,j=1〜n]に分割する(S31)。
その場合、当然に各分割ブロック:B(X)ijには水平・垂直方向の区分数に応じて多数の画素が含まれている。
先ず、RAM33に取り込まれた画像フレーム:F(X)を、図7に示すように水平方向と垂直方向に均等区分し、m*n個の方形状のブロック:B(X)ij[但し、i=1〜m,j=1〜n]に分割する(S31)。
その場合、当然に各分割ブロック:B(X)ijには水平・垂直方向の区分数に応じて多数の画素が含まれている。
分割ブロック:B(X)ijの設定が完了すると、各分割ブロック:B(X)ij毎に全画素の輝度値を加算し、その加算値をブロック内に含まれている画素数で除算することにより各分割ブロック:B(X)ijについての輝度平均値:BLav(X)ijを求め、そのデータをRAM33にセーブする(S33,S34)。
また、この実施形態では、前記の輝度平均値:BLav(X)ijを求めてゆく順序が、水平方向に整列した各分割ブロック:B(X)ijについて左側から右側へ順次移行し、最上段の水平方向の分割ブロック群:B(X)ij[i=1,j=1〜n]から開始して、一段の処理が完了する度にその下段へ移行する方式に設定されており、最終的に右下の分割ブロック:B(X)mnの輝度平均値:BLav(X)mnを求めた段階で1フレーム分が終了することになっている(S32〜S38)。
また、この実施形態では、前記の輝度平均値:BLav(X)ijを求めてゆく順序が、水平方向に整列した各分割ブロック:B(X)ijについて左側から右側へ順次移行し、最上段の水平方向の分割ブロック群:B(X)ij[i=1,j=1〜n]から開始して、一段の処理が完了する度にその下段へ移行する方式に設定されており、最終的に右下の分割ブロック:B(X)mnの輝度平均値:BLav(X)mnを求めた段階で1フレーム分が終了することになっている(S32〜S38)。
そして、前記の一連の手順が完了すると、1フレーム分の分割ブロック:B(X)ijの輝度平均値:BLav(X)ijを全て加算し、その加算値:ΣB(X)ijを分割ブロックの数:m*nで除算することによりフレーム全体の輝度平均値:FLav(X)を求める(S39)。
また、求めたフレーム全体の輝度平均値:FLav(X)はRAM33にセーブされ(S40)、それによって画像分割・輝度情報処理(S15)手順を完了する
また、求めたフレーム全体の輝度平均値:FLav(X)はRAM33にセーブされ(S40)、それによって画像分割・輝度情報処理(S15)手順を完了する
ここで、図5に戻って、前フレームの輝度情報処理に係るデータがRAM33にセーブされているか否かを確認する(S16)。
前記の画像フレーム:F(X)の取り込み(S14)と画像分割・輝度情報処理(S15)が最初の画像フレーム:F(1)に係るものである場合には、前フレームに係る処理データがRAM33にセーブされていないため、輝度情報処理データは前フレームの情報としてRAM33にセーブされる(S16→S20)。
一方、第2番目以降に入力された画像フレーム:F(X)[X≧2]である場合には、既に直前の画像フレームに係る処理データがRAM33にセーブされている。
ここでは、前記のステップS14,S15の処理が第2番目以降の画像フレームについてなされたものとして、次の動きブロック検出処理(S17)を説明する。
前記の画像フレーム:F(X)の取り込み(S14)と画像分割・輝度情報処理(S15)が最初の画像フレーム:F(1)に係るものである場合には、前フレームに係る処理データがRAM33にセーブされていないため、輝度情報処理データは前フレームの情報としてRAM33にセーブされる(S16→S20)。
一方、第2番目以降に入力された画像フレーム:F(X)[X≧2]である場合には、既に直前の画像フレームに係る処理データがRAM33にセーブされている。
ここでは、前記のステップS14,S15の処理が第2番目以降の画像フレームについてなされたものとして、次の動きブロック検出処理(S17)を説明する。
この実施形態での動きブロック検出処理(S17)は図8のフローチャートに示される手順で実行される。
先ず、この段階では前フレーム:F(X-1)と現フレーム:F(X)について画像分割・輝度情報処理(S15)が実行されているため、RAM33には、前フレーム:F(X-1)の各分割ブロック:B(X-1)ij[i=1〜m,j=1〜n]に係る輝度平均値:BLav(X-1)ij[i=1〜m,j=1〜n]とそのフレーム:F(X-1)全体の輝度平均値:FLav(X-1)、及び現フレーム:F(X)の各分割ブロック:B(X)ij[i=1〜m,j=1〜n]に係る輝度平均値:BLav(X)ij[i=1〜m,j=1〜n]とそのフレーム:F(X)全体の輝度平均値:FLav(X)がセーブされている。
動きブロック検出処理では、最初に現フレーム:F(X)全体と前フレーム:F(X-1)全体の各輝度平均値の差:ΔFLav(X)=FLav(X)−FLav(X-1)を演算し、これをRAMに一旦セーブする(S41)。
先ず、この段階では前フレーム:F(X-1)と現フレーム:F(X)について画像分割・輝度情報処理(S15)が実行されているため、RAM33には、前フレーム:F(X-1)の各分割ブロック:B(X-1)ij[i=1〜m,j=1〜n]に係る輝度平均値:BLav(X-1)ij[i=1〜m,j=1〜n]とそのフレーム:F(X-1)全体の輝度平均値:FLav(X-1)、及び現フレーム:F(X)の各分割ブロック:B(X)ij[i=1〜m,j=1〜n]に係る輝度平均値:BLav(X)ij[i=1〜m,j=1〜n]とそのフレーム:F(X)全体の輝度平均値:FLav(X)がセーブされている。
動きブロック検出処理では、最初に現フレーム:F(X)全体と前フレーム:F(X-1)全体の各輝度平均値の差:ΔFLav(X)=FLav(X)−FLav(X-1)を演算し、これをRAMに一旦セーブする(S41)。
次に、現フレーム:F(X)の分割ブロック:B(X)ijに係る輝度平均値とその分割ブロック:B(X)ijと対応する位置にある前フレーム:F(X-1)の分割ブロック:B(X-1)ijに係る輝度平均値との差:ΔBLav(X)ij=BLav(X)ij−BLav(X-1)ijを演算する(S43)。
また、その分割ブロックに係る輝度平均値の差から前記のフレーム全体に係る輝度平均値の差を差し引いた値:ΔBLav(X)ij−ΔFLav(X)を演算し、その演算値を絶対値:|ΔBLav(X)ij−ΔFLav(X)|に変換する(S44,S45)。
また、その分割ブロックに係る輝度平均値の差から前記のフレーム全体に係る輝度平均値の差を差し引いた値:ΔBLav(X)ij−ΔFLav(X)を演算し、その演算値を絶対値:|ΔBLav(X)ij−ΔFLav(X)|に変換する(S44,S45)。
そして、この動きブロック検出処理では前記で求めた絶対値:|ΔBLav(X)ij−ΔFLav(X)|を分割ブロック:B(X)ijが動きを含むものであるか否かの判定対象とする。
具体的には、RAM33には設定パラメータとして前記の絶対値:|ΔBLav(X)ij−ΔFLav(X)|と比較するための閾値:Th0が格納されており、|ΔBLav(X)ij−ΔFLav(X)|>Th0の場合には「分割ブロック:B(X)ijは動きを含むものである」と判定し、逆に|ΔBLav(X)ij−ΔFLav(X)|≦Th0の場合には「分割ブロック:B(X)ijは動きを含まないものである」と判定する(S46,S47,S48)。
また、その分割ブロック:B(X)ijについての動き判定情報はRAM33にセーブされる(S49)。
具体的には、RAM33には設定パラメータとして前記の絶対値:|ΔBLav(X)ij−ΔFLav(X)|と比較するための閾値:Th0が格納されており、|ΔBLav(X)ij−ΔFLav(X)|>Th0の場合には「分割ブロック:B(X)ijは動きを含むものである」と判定し、逆に|ΔBLav(X)ij−ΔFLav(X)|≦Th0の場合には「分割ブロック:B(X)ijは動きを含まないものである」と判定する(S46,S47,S48)。
また、その分割ブロック:B(X)ijについての動き判定情報はRAM33にセーブされる(S49)。
ところで、前記の一連の動きブロック検出手順は画像フレーム:F(X)の各分割ブロック:B(X)ijについて順次実行されるが、その順序は上記の輝度情報処理手順(S32〜S38)で行った順序と同様であり、分割ブロック:B(X)11から開始して分割ブロック:B(X)mnで終了する(S42〜S52)。
そして、図5に戻って、撮像位置決定部27は上記処理で得られている各種情報を利用して動き方向を検出する(S18)。この動き方向検出処理の手順は図9のフローチャートに示される。
先ず、現フレーム:F(X)と前フレーム:F(X-1)に動きを含む分割ブロックが有るか否かを判断し、それが存在した場合には、それらフレーム:F(X),F(X-1)中における全ての動きを含む分割ブロックの水平方向及び垂直方向の中心座標をそれぞれ加算する(S61,S62)。
そして、前記の各加算値を画像フレームに設定した全分割ブロック数:m*nで除算し、現フレーム:F(X)と前フレーム:F(X-1)の関係における動きの中心座標を求め、その座標値をRAM33にセーブする(S63)。
先ず、現フレーム:F(X)と前フレーム:F(X-1)に動きを含む分割ブロックが有るか否かを判断し、それが存在した場合には、それらフレーム:F(X),F(X-1)中における全ての動きを含む分割ブロックの水平方向及び垂直方向の中心座標をそれぞれ加算する(S61,S62)。
そして、前記の各加算値を画像フレームに設定した全分割ブロック数:m*nで除算し、現フレーム:F(X)と前フレーム:F(X-1)の関係における動きの中心座標を求め、その座標値をRAM33にセーブする(S63)。
ところで、もし前フレーム:F(X-1)とその前のフレーム:F(X-2)に動きを含む分割ブロックが有れば、前記と同様の手順(S61〜S63)によってRAM33にはそれらのフレームに係る動きの中心座標がセーブされていることになる。
そこで、RAM33に各フレーム:F(X-1),F(X-2)に係る動きの中心座標がセーブされているか否かを確認し(S64)、セーブされていれば、その中心座標と前記の中心座標とから動き方向を求めてRAM33にセーブする(S65)。
尚、ステップS61で動きを含む分割ブロックが無い場合、及びステップS64でRAM33に中心座標がセーブされていない場合には本来的に動きが無かったことになり、次のフレーム:F(X+1)の処理がなされる段階でステップS61〜S65の手順が実行される。
そこで、RAM33に各フレーム:F(X-1),F(X-2)に係る動きの中心座標がセーブされているか否かを確認し(S64)、セーブされていれば、その中心座標と前記の中心座標とから動き方向を求めてRAM33にセーブする(S65)。
尚、ステップS61で動きを含む分割ブロックが無い場合、及びステップS64でRAM33に中心座標がセーブされていない場合には本来的に動きが無かったことになり、次のフレーム:F(X+1)の処理がなされる段階でステップS61〜S65の手順が実行される。
前記の一連の手順を具体的な画像フレーム:F(X-1),F(X),F(X+1)の動きを含む分割ブロックを対応させて表現すると図10のようになる。
同図の(A)では、右側に各フレームの画像が示されており、左側にはF(X-1)とF(X)の関係及びF(X)とF(X+1)の関係でみた動きを含む分割ブロック群と動きの中心位置を示すものである。
ここに、41,42,43はそれぞれフレーム:F(X-1),F(X),F(X+1)における動きを含む分割ブロック群であり、44は分割ブロック群41,42の動きの中心を、45は分割ブロック群42,43の動きの中心を示している。
従って、フレーム:F(X-1),F(X),F(X+1)における動き方向は、図10の(B)に示されるように、各動きの中心44,45を結ぶベクトルとして得られることになる。
同図の(A)では、右側に各フレームの画像が示されており、左側にはF(X-1)とF(X)の関係及びF(X)とF(X+1)の関係でみた動きを含む分割ブロック群と動きの中心位置を示すものである。
ここに、41,42,43はそれぞれフレーム:F(X-1),F(X),F(X+1)における動きを含む分割ブロック群であり、44は分割ブロック群41,42の動きの中心を、45は分割ブロック群42,43の動きの中心を示している。
従って、フレーム:F(X-1),F(X),F(X+1)における動き方向は、図10の(B)に示されるように、各動きの中心44,45を結ぶベクトルとして得られることになる。
再び図5に戻って、撮像位置決定部27はこの段階で第2撮像素子8の撮像位置制御処理を実行する(S19)。この処理手順は図11のフローチャートに示される。
先ず、撮像位置決定部27は上記の一連の手順により第1撮像素子7の広角画像中に動体が存在することを確認すると、現フレーム:F(X)と直前のフレーム:F(X-1)とから求まる動きの中心座標:P(X)に、現フレーム:F(X)と直前の2フレーム:F(X-1),F(X-2)とから求まる動き方向ベクトルを加算し、動体の次フレームF(X+1)での予測位置:Pe(X+1)を求めてRAM33にセーブする(S81,S82)。
先ず、撮像位置決定部27は上記の一連の手順により第1撮像素子7の広角画像中に動体が存在することを確認すると、現フレーム:F(X)と直前のフレーム:F(X-1)とから求まる動きの中心座標:P(X)に、現フレーム:F(X)と直前の2フレーム:F(X-1),F(X-2)とから求まる動き方向ベクトルを加算し、動体の次フレームF(X+1)での予測位置:Pe(X+1)を求めてRAM33にセーブする(S81,S82)。
そして、前記の予測位置:Pe(X+1)が第1撮像素子7の広角画面中に想定される第2撮像素子8の現在の撮像領域内に存在するか否かを確認する(S83)。
ここで、図12の(A)に示すように、予測位置:Pe(X+1)が第2撮像素子8の現在の撮像領域52内になった場合には、第2撮像素子8を移動させなくても次フレームで動体を捕捉できるため、そのままの状態を保たせて移動制御は行わない(S83でYの場合)。
一方、予測位置:Pe(X+1)が第2撮像素子8の現在の撮像領域52の外側になった場合には、その予測位置:Pe(X+1)が第1撮像素子7のフレーム51の内側に収まっているか否かを確認する(S83でN→S84)。
ここで、図12の(A)に示すように、予測位置:Pe(X+1)が第2撮像素子8の現在の撮像領域52内になった場合には、第2撮像素子8を移動させなくても次フレームで動体を捕捉できるため、そのままの状態を保たせて移動制御は行わない(S83でYの場合)。
一方、予測位置:Pe(X+1)が第2撮像素子8の現在の撮像領域52の外側になった場合には、その予測位置:Pe(X+1)が第1撮像素子7のフレーム51の内側に収まっているか否かを確認する(S83でN→S84)。
そして、図12の(B),(C)のように、予測位置:Pe(X+1)が第1撮像素子7のフレーム51内になっている場合には、撮像部1側における第2撮像素子8の移動制御速度との関係でフレーム周期内に第2撮像素子8を現在位置から予測位置:Pe(X+1)へ移動できるか否かを演算し、予め動体に対する追尾が可能であるかどうかを確認する(S85)。
具体的には、図12の(B)に示すように、現フレームにおける第2撮像素子8の撮像領域52の中心:P(X)と前記予測位置:Pe(X+1)との距離:dを演算し、更にその距離:dを図1〜図3に示した撮像部1の移動機構における第2撮像素子8の空間的移動距離:d'に換算し、撮像部1における第2撮像素子8の移動速度をv、フレーム周期をTfとした場合に、v*Tf>d'の関係が成立しているか否かを判断する。
尚、第1撮像素子7から画像データを画像メモリ22aへ取り込む時間や前記判断のための演算時間等が無視できないような場合には、それらの合計時間:Δtを考慮してv*(Tf−Δt)>d'が成立しているか否かを判断する。
具体的には、図12の(B)に示すように、現フレームにおける第2撮像素子8の撮像領域52の中心:P(X)と前記予測位置:Pe(X+1)との距離:dを演算し、更にその距離:dを図1〜図3に示した撮像部1の移動機構における第2撮像素子8の空間的移動距離:d'に換算し、撮像部1における第2撮像素子8の移動速度をv、フレーム周期をTfとした場合に、v*Tf>d'の関係が成立しているか否かを判断する。
尚、第1撮像素子7から画像データを画像メモリ22aへ取り込む時間や前記判断のための演算時間等が無視できないような場合には、それらの合計時間:Δtを考慮してv*(Tf−Δt)>d'が成立しているか否かを判断する。
そして、その確認の結果、v*Tf>d'(又はv*(Tf−Δt)>d')が成立して動体の追尾が可能な場合には、第2撮像素子8による撮像中心位置を前記予測位置:Pe(X+1)に決定する(S85→S86)。
一方、v*Tf≦d'(又はv*(Tf−Δt)≦d')の場合には、現フレームで撮像部1の移動機構による第2撮像素子8の追尾移動が不可能であるため、第2撮像素子8の移動制御を次フレーム以降に委ねる(S85でNの場合)。
例えば、動体の移動速度が極めて速く、図12の(D)に示すように前記距離:dが第1撮像素子7のフレーム51の対角線に近い距離であるような場合には、空間的移動距離:d'は相当に大きくなって追尾制御の限界を超えてしまうことがあり、そのような場合には次フレームで捕捉できるかどうかに委ねるようにする。
一方、v*Tf≦d'(又はv*(Tf−Δt)≦d')の場合には、現フレームで撮像部1の移動機構による第2撮像素子8の追尾移動が不可能であるため、第2撮像素子8の移動制御を次フレーム以降に委ねる(S85でNの場合)。
例えば、動体の移動速度が極めて速く、図12の(D)に示すように前記距離:dが第1撮像素子7のフレーム51の対角線に近い距離であるような場合には、空間的移動距離:d'は相当に大きくなって追尾制御の限界を超えてしまうことがあり、そのような場合には次フレームで捕捉できるかどうかに委ねるようにする。
ところで、前記ステップS84では予測位置:Pe(X+1)が第1撮像素子7のフレーム51の内側に収まっている場合について説明したが、図12の(E)に示すようにフレーム51の外側に外れてしまう場合もある(S84でNの場合)。
そのような場合には、同図の点:Po(X+1)のように、現フレームでの動きの中心座標:P(X)と次フレームでの予測位置:Pe(X+1)とを結ぶ線がフレーム51から離脱する位置を求め、その位置:Po(X+1)を第2撮像素子8による撮像中心位置に決定してRAM33にセーブする(S84→S87,S88)。
そのような場合には、同図の点:Po(X+1)のように、現フレームでの動きの中心座標:P(X)と次フレームでの予測位置:Pe(X+1)とを結ぶ線がフレーム51から離脱する位置を求め、その位置:Po(X+1)を第2撮像素子8による撮像中心位置に決定してRAM33にセーブする(S84→S87,S88)。
このようにして、第2撮像素子8による撮像中心位置[前記のPe(X+1)又はPo(X+1)]が決定されると、撮像位置決定部27はモータ駆動制御部29へそのデータを転送し、モータ駆動制御部29では転送された位置データに基づいて撮像部1側の各ステッピングモータ14,19を制御する(S89)。
即ち、図12の(B),(C),(E)に示すように、第2撮像素子8の撮像領域の中心が第1撮像素子7のフレーム51内で前記位置をとるように各ステッピングモータ14,19の回動量が制御され、動き予測に基づいた第2撮像素子8の新たな撮像領域52'が設定される。
即ち、図12の(B),(C),(E)に示すように、第2撮像素子8の撮像領域の中心が第1撮像素子7のフレーム51内で前記位置をとるように各ステッピングモータ14,19の回動量が制御され、動き予測に基づいた第2撮像素子8の新たな撮像領域52'が設定される。
撮像部1に対する第2撮像素子8の移動制御が完了すると、図5に戻って、撮像位置決定部27はRAM33において現フレームで得られた各種情報を前フレームの情報としてセーブし、動作停止指示がなければ、データ処理・制御部2では画像入力I/F21aが撮像部1の第1撮像素子7から次の画像フレームのデータの取り込みを行い、その画像データが画像メモリ22aに書き込まれる(S20,S21→S22→S14)。
また同時に、画像入力I/F21bが移動制御された第2撮像素子8から画像データを取り込んで画像メモリ22bに書き込むが、その画像データは追尾した撮像領域52を3倍の解像度で表示させることができるものである。
そして、上記のステップS14からステップS22は動作停止指示がなされるまでフレーム周期で繰り返し実行され、各画像メモリ22a,22bの画像データが書き換えられてゆく。
また同時に、画像入力I/F21bが移動制御された第2撮像素子8から画像データを取り込んで画像メモリ22bに書き込むが、その画像データは追尾した撮像領域52を3倍の解像度で表示させることができるものである。
そして、上記のステップS14からステップS22は動作停止指示がなされるまでフレーム周期で繰り返し実行され、各画像メモリ22a,22bの画像データが書き換えられてゆく。
従って、表示装置3では第1撮像素子7による広角画像と共に、動体を追尾する第2撮像素子8の拡大画像を高い解像度で表示させることができ、撮像位置決定部27による動体の検出期間中だけデータ記録装置28によって前記の各撮像画像を記録媒体に録画させることができる。
また、画像メモリ22aの容量を複数の画像フレームが記憶可能にしておき、順次更新する構成とすることで、動きを検出した時点から遡って記録させるようにもできる。
尚、アラーム装置が設けられている場合には、撮像位置決定部27が動きを含む分割ブロックがあると判定した際にアラーム音等を出力させて監視領域に異常が発生したことを通報する。
また、画像メモリ22aの容量を複数の画像フレームが記憶可能にしておき、順次更新する構成とすることで、動きを検出した時点から遡って記録させるようにもできる。
尚、アラーム装置が設けられている場合には、撮像位置決定部27が動きを含む分割ブロックがあると判定した際にアラーム音等を出力させて監視領域に異常が発生したことを通報する。
ところで、この実施形態の動きブロック検出処理においては、現フレーム:F(X)と前フレーム:F(X-1)の対応した各分割ブロックに係る輝度平均値の差から各フレームに係る全体の輝度平均値の差を差し引いた値の絶対値:|ΔBLav(X)ij−ΔFLav(X)|を設定閾値:Th0と比較することにより、現フレーム:F(X)に動きを含む分割ブロックがあるか否かを判定している。
即ち、分割ブロック同士の輝度平均値の差と各フレームに係る全体の輝度平均値の差との相対的差分を判定対象としている。
即ち、分割ブロック同士の輝度平均値の差と各フレームに係る全体の輝度平均値の差との相対的差分を判定対象としている。
ここで、監視領域の照明状態が変化した場合を想定してみると、その変化が影響した分割ブロック同士の輝度平均値の差:ΔBLav(X)ijが絶対値として大きくなるが、同時に前後の各画像フレーム全体の輝度平均値の差:ΔFLav(X)も絶対値として大きくなり、且つその+/−方向へ増大する傾向は同一である。
従って、この実施形態において判定対象となる|ΔBLav(X)ij−ΔFLav(X)|は照明状態の変化がキャンセルされたものとなり、照明状態の変化に影響を受けないで(照明状態の変化を分割ブロック内の動きとして検出することなく)、一定の閾値:Th0を適用することによって正確且つ安定的に動きブロック検出を行うことが可能になる。
従って、この実施形態において判定対象となる|ΔBLav(X)ij−ΔFLav(X)|は照明状態の変化がキャンセルされたものとなり、照明状態の変化に影響を受けないで(照明状態の変化を分割ブロック内の動きとして検出することなく)、一定の閾値:Th0を適用することによって正確且つ安定的に動きブロック検出を行うことが可能になる。
また、判定対象となる|ΔBLav(X)ij−ΔFLav(X)|は分割ブロック:B(X)ij,B(X-1)ijの輝度平均値:BLav(X)ij,BLav(X-)ijや画像フレーム:F(X),F(X-1)の全体的輝度平均値:FLav(X),FLav(X-1)に基づいて算出されているため、画像フレーム:F(X),F(X-1)中にフリッカー等のノイズが混在していてもその画素に係る大きな輝度値は平準化されて殆ど影響を及ぼさない。
更に、この実施形態では、画像分割・輝度情報処理(図5のS15)において画素の輝度を予め分割ブロック:BL(X)ij単位で平均化しておくため、その後の動きブロック検出処理(S17)のための演算量を低減できる。
更に、この実施形態では、画像分割・輝度情報処理(図5のS15)において画素の輝度を予め分割ブロック:BL(X)ij単位で平均化しておくため、その後の動きブロック検出処理(S17)のための演算量を低減できる。
尚、閾値:Th0の値は動きの検出感度を左右するが、例えば、8ビットで量子化された画像データの輝度値を0〜255として表現した場合に、Th0は約50に設定することが可能である。
この検出方式では、照明状態の変化が動き判定に与える影響が小さいため、前記の閾値:Th0≒50は通常の同様の判定方式の適用閾値よりも相当に小さいレベルになっており、高い検出感度を実現できることになる。
この検出方式では、照明状態の変化が動き判定に与える影響が小さいため、前記の閾値:Th0≒50は通常の同様の判定方式の適用閾値よりも相当に小さいレベルになっており、高い検出感度を実現できることになる。
[実施形態2]
前記実施形態1では検出した動体が1つである場合について説明したが、この実施形態は複数の動体を検出した場合における撮像位置決定部27での撮像位置制御処理に特徴がある。
但し、この実施形態では、図13に示すように、予め動きの検出対象領域が方形領域[abcd],[efgh]として設定されており、それら各領域データがパラメータ記憶部26に格納されている。
また、この実施形態では、実施形態1の場合と同様の処理についての説明は省略し、主に図5のステップS19に相当する第2撮像素子の撮像位置制御処理に相当する部分を説明する。
前記実施形態1では検出した動体が1つである場合について説明したが、この実施形態は複数の動体を検出した場合における撮像位置決定部27での撮像位置制御処理に特徴がある。
但し、この実施形態では、図13に示すように、予め動きの検出対象領域が方形領域[abcd],[efgh]として設定されており、それら各領域データがパラメータ記憶部26に格納されている。
また、この実施形態では、実施形態1の場合と同様の処理についての説明は省略し、主に図5のステップS19に相当する第2撮像素子の撮像位置制御処理に相当する部分を説明する。
この実施形態における撮像位置決定部27での撮像位置制御処理の手順は図14のフローチャートに示される。
先ず、実施形態1の場合と同様に、動きブロック検出処理(図5のステップS17)でRAM33にセーブされた分割ブロック:B(X)ijの内、動き有りと判定されたものに対して、動き方向検出処理(同ステップS18)でRAM33にセーブした動き方向ベクトルを加算し、次フレームでの各分割ブロックの予測位置を求める(S101)。
そして、この実施形態では、図13に示すように動きの検出対象領域を2つ設定しているため、各領域[abcd],[efgh]に動体がある場合には、動きのある分割ブロック群が複数求められることになる。
先ず、実施形態1の場合と同様に、動きブロック検出処理(図5のステップS17)でRAM33にセーブされた分割ブロック:B(X)ijの内、動き有りと判定されたものに対して、動き方向検出処理(同ステップS18)でRAM33にセーブした動き方向ベクトルを加算し、次フレームでの各分割ブロックの予測位置を求める(S101)。
そして、この実施形態では、図13に示すように動きの検出対象領域を2つ設定しているため、各領域[abcd],[efgh]に動体がある場合には、動きのある分割ブロック群が複数求められることになる。
そこで、次フレームでの分割ブロック群を包含する各動き方形領域を求め、更にそれらの動き方形領域を包含する判別用方形領域を求める(S102,S103)。
具体的には、図15に示すように、前記の各検出対象領域:[abcd],[efgh]において、それぞれ動きのある分割ブロックの予測位置(斜線を施したブロック)が求められた場合において、領域:[abcd]内における分割ブロック群を包含する動き方形領域61と領域:[efgh]内における分割ブロック群を包含する動き方形領域62とを求めると共に、それらの動き方形領域61,62を共に包含する判別用方形領域70を求める。
具体的には、図15に示すように、前記の各検出対象領域:[abcd],[efgh]において、それぞれ動きのある分割ブロックの予測位置(斜線を施したブロック)が求められた場合において、領域:[abcd]内における分割ブロック群を包含する動き方形領域61と領域:[efgh]内における分割ブロック群を包含する動き方形領域62とを求めると共に、それらの動き方形領域61,62を共に包含する判別用方形領域70を求める。
次に、前記判別用方形領域70と第2撮像素子8の撮像領域との大きさを比較する(S104)。
その比較結果において、判別用方形領域70が第2撮像素子8の撮像領域より小さい場合には、判別用方形領域70の中心座標を求め、第2撮像素子8による撮像中心位置をその中心座標として決定する(S104→S105)。
逆に、判別用方形領域70が第2撮像素子8の撮像領域以上の大きさであった場合には、各動き方形領域61,62がそれぞれを含んでいる動きの検出対象領域[abcd],[efgh]から離脱するタイミングを予測し、更に各タイミングの時系列順序を求める(S106,S107)。
この離脱のタイミングは、現フレームにおける各分割ブロック群の中心位置に動き方向検出処理で求めた動き方向ベクトルを1回又は複数回加算し、離脱するまでの加算回数に基づいて決定される。
そして、離脱のタイミングが最先の動き方形領域(61又は62)の中心座標を求め、第2撮像素子8による撮像中心位置をその中心座標として決定する(S108)。
その比較結果において、判別用方形領域70が第2撮像素子8の撮像領域より小さい場合には、判別用方形領域70の中心座標を求め、第2撮像素子8による撮像中心位置をその中心座標として決定する(S104→S105)。
逆に、判別用方形領域70が第2撮像素子8の撮像領域以上の大きさであった場合には、各動き方形領域61,62がそれぞれを含んでいる動きの検出対象領域[abcd],[efgh]から離脱するタイミングを予測し、更に各タイミングの時系列順序を求める(S106,S107)。
この離脱のタイミングは、現フレームにおける各分割ブロック群の中心位置に動き方向検出処理で求めた動き方向ベクトルを1回又は複数回加算し、離脱するまでの加算回数に基づいて決定される。
そして、離脱のタイミングが最先の動き方形領域(61又は62)の中心座標を求め、第2撮像素子8による撮像中心位置をその中心座標として決定する(S108)。
即ち、判別用方形領域70が第2撮像素子8の撮像領域より小さい場合には、次フレームにおいても各分割ブロック群を包含する動き方形領域61,62を第2撮像素子8の撮像領域に納めることができるため、第2撮像素子8による撮像中心位置を判別用方形領域70の中心座標をとしておけば、複数の動体を第2撮像素子8による拡大画像で捕捉でき、逆の場合には、動きの検出対象領域[abcd],[efgh]からより早く離脱する動体を優先的に追尾してゆくこととしている。
撮像位置決定部27による前記手順(S105又はS108)で決定された第2撮像素子8の撮像中心位置に関するデータはモータ駆動制御部29へ転送され、モータ駆動制御部29が転送された位置データに基づいて撮像部1側の各ステッピングモータ14,19を制御することは実施形態1の場合と同様である(S109)。
尚、この実施形態では、第1撮像素子7の撮像画面中に2つの動きの検出対象領域[abcd],[efgh]を設定しているが、更に多くの検出対象領域を設定しておいてもよく、その場合においても図14の手順に準じて第2撮像素子8の同様の移動制御が可能である。
1…撮像部、2…データ処理・制御部、3…表示装置、5…入射レンズ系、6…ハーフミラー、7…第1撮像素子、8…第2撮像素子、9…アーム、10a,10b…支持軸、11…水平回動台、12a,12b…軸受部、13,18…ウォームホィール、14,19…ステッピングモータ、15,20…ウォーム、16…固定基台、17…回動基軸、21a,21b…画像入力I/F、22a,22b…画像メモリ、23…出力I/F、24…操作部、25…設定入力I/F、26…パラメータ記憶部、27…撮像位置決定部、28…データ記録装置、29…モータ駆動制御部、30…システム制御部、31…CPU、32…ROM、33…RAM、34…I/Oポート、41,42,43…分割ブロック群、44,45…動きの中心位置、51…第1撮像素子のフレーム、52,52'…第2撮像素子の撮像領域、61,62…分割ブロック群を包含する動き方形領域、70…各動き方形領域を包含する判別用方形領域、[abcd],[efgh]…動きの検出対象領域。
Claims (4)
- 入射レンズ系とその入射レンズ系で定まる像面との間に光束分割手段を配置し、前記光束分割手段で分割された後の一方の光束に係る像面に広角画像を得るための第1撮像素子を配置させ、前記第1撮像素子による広角画像の一部を前記第1撮像素子よりも高い解像度で撮像する第2撮像素子を前記光束分割手段で分割された後の他方の光束に係る像面に沿って移動可能な機構で支持すると共に、前記機構を介して前記第2撮像素子を移動させる駆動手段を設けた撮像部と、
前記第1撮像素子から得られる広角画像の画像データに基づいて画像中に動体が存在するか否かを確認し、動体が存在した場合に、前記広角画像中における現フレームでの動体の中心座標とその動きベクトルとから次フレームでの動体の予測位置座標を求め、前記広角画像中における前記第2撮像素子の撮像位置を決定する撮像位置決定手段と、
前記撮像位置決定手段が決定した撮像位置に基づいて前記撮像部の前記駆動手段を制御することにより、前記第2撮像素子を対応する位置へ移動させる駆動制御手段とを備え、
前記第2撮像素子の撮像画像、若しくは前記第1撮像素子及び前記第2撮像素子の撮像画像を表示及び/又は記録することを特徴とする監視システム。 - 前記撮像位置決定手段において、次フレームでの動体の予測位置座標が前記広角画像中における前記第2撮像素子の撮像領域内にある場合には、前記第2撮像素子の撮像位置を現フレームのまま維持させることとした請求項1に記載の監視システム。
- 前記撮像位置決定手段において、現フレームと次フレームでの前記第2撮像素子の各撮像位置間の予測距離を求めた後、それを前記第2撮像素子の実空間上での移動距離に換算し、その実空間上での移動距離が前記駆動手段による前記第2撮像素子の1フレーム時間での移動距離よりも大きい場合には、現フレームでは前記第2撮像素子の撮像位置をそのまま維持させ、次フレームを基準にした制御に委ねることとした請求項1又は請求項2に記載の監視システム。
- 前記撮像位置決定手段において、前記第1撮像素子から得られる広角画像中に複数の動き検出対象領域を設け、少なくとも2つの前記動き検出対象領域から動体が検出された場合に、各動体を包含する判別用方形領域を求めてその判別用方形領域と前記第2撮像素子の撮像領域の大きさを比較し、前記第2撮像素子の撮像領域の方が大きい場合には、前記第2撮像素子の撮像位置を前記判別用方形領域の中心位置に決定し、逆に、前記判別用方形領域の方が大きい場合には、前記広角画像中における各動体の中心座標とその動きベクトルを求め、前記動き検出対象領域から最先に離脱すると予測される動体を前記第2撮像素子の優先撮像対象とすることとした請求項1、請求項2又は請求項3に記載の監視システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003348711A JP4228391B2 (ja) | 2003-10-07 | 2003-10-07 | 監視システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003348711A JP4228391B2 (ja) | 2003-10-07 | 2003-10-07 | 監視システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005117343A true JP2005117343A (ja) | 2005-04-28 |
JP4228391B2 JP4228391B2 (ja) | 2009-02-25 |
Family
ID=34540822
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003348711A Expired - Fee Related JP4228391B2 (ja) | 2003-10-07 | 2003-10-07 | 監視システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4228391B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007122275A (ja) * | 2005-10-26 | 2007-05-17 | Casio Comput Co Ltd | 動きベクトル検出装置及びそのプログラム |
WO2008079862A1 (en) * | 2006-12-20 | 2008-07-03 | Tempest Microsystems | A wide-angle, high-resolution imaging system |
JP2008187440A (ja) * | 2007-01-30 | 2008-08-14 | Fujifilm Corp | 撮像装置及び撮像装置の駆動方法 |
JP2010206275A (ja) * | 2009-02-27 | 2010-09-16 | Nikon Corp | 電子カメラ |
WO2010143788A1 (ko) * | 2009-06-10 | 2010-12-16 | 건국대학교 산학협력단 | 듀얼 카메라를 이용한 모니터링 시스템 및 그 방법 |
KR101060528B1 (ko) | 2011-05-06 | 2011-08-30 | 웅진보안시스템(주) | 보안시스템으로 적용되는 영상처리 시스템 및 그 운영방법 |
KR101061012B1 (ko) | 2009-05-13 | 2011-09-01 | (주)프로브디지털 | 광각영상을 이용한 이동물체추적 방법 |
JP2013058921A (ja) * | 2011-09-08 | 2013-03-28 | Olympus Imaging Corp | 撮影機器 |
CN111368593A (zh) * | 2018-12-25 | 2020-07-03 | 北京右划网络科技有限公司 | 一种马赛克处理方法、装置、电子设备及存储介质 |
-
2003
- 2003-10-07 JP JP2003348711A patent/JP4228391B2/ja not_active Expired - Fee Related
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007122275A (ja) * | 2005-10-26 | 2007-05-17 | Casio Comput Co Ltd | 動きベクトル検出装置及びそのプログラム |
US8320452B2 (en) | 2005-10-26 | 2012-11-27 | Casio Computer Co., Ltd. | Imaging apparatus with motion vector detecting function |
WO2008079862A1 (en) * | 2006-12-20 | 2008-07-03 | Tempest Microsystems | A wide-angle, high-resolution imaging system |
JP2008187440A (ja) * | 2007-01-30 | 2008-08-14 | Fujifilm Corp | 撮像装置及び撮像装置の駆動方法 |
JP2010206275A (ja) * | 2009-02-27 | 2010-09-16 | Nikon Corp | 電子カメラ |
KR101061012B1 (ko) | 2009-05-13 | 2011-09-01 | (주)프로브디지털 | 광각영상을 이용한 이동물체추적 방법 |
WO2010143788A1 (ko) * | 2009-06-10 | 2010-12-16 | 건국대학교 산학협력단 | 듀얼 카메라를 이용한 모니터링 시스템 및 그 방법 |
KR101060528B1 (ko) | 2011-05-06 | 2011-08-30 | 웅진보안시스템(주) | 보안시스템으로 적용되는 영상처리 시스템 및 그 운영방법 |
JP2013058921A (ja) * | 2011-09-08 | 2013-03-28 | Olympus Imaging Corp | 撮影機器 |
CN111368593A (zh) * | 2018-12-25 | 2020-07-03 | 北京右划网络科技有限公司 | 一种马赛克处理方法、装置、电子设备及存储介质 |
CN111368593B (zh) * | 2018-12-25 | 2023-11-28 | 北京右划网络科技有限公司 | 一种马赛克处理方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP4228391B2 (ja) | 2009-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4188394B2 (ja) | 監視カメラ装置及び監視カメラシステム | |
US8593533B2 (en) | Image processing apparatus, image-pickup apparatus, and image processing method | |
KR101339193B1 (ko) | 카메라 플랫폼 시스템 | |
JP5061444B2 (ja) | 撮像装置及び撮像方法 | |
JP6574645B2 (ja) | 撮像装置を制御する制御装置、撮像装置の制御方法、及びプログラム | |
US9091904B2 (en) | Camera device with rotary base | |
JP4475164B2 (ja) | 監視システム及び監視方法 | |
JP2004157979A (ja) | 画像の動き検出装置及びコンピュータプログラム | |
JP3253478B2 (ja) | 映像記録装置 | |
CN102870402B (zh) | 成像设备和成像方法 | |
JP2011142419A5 (ja) | ||
US20120057034A1 (en) | Imaging system and pixel signal readout method | |
JP4228391B2 (ja) | 監視システム | |
TW201813369A (zh) | 改良之監視攝影機方向控制 | |
JP4293236B2 (ja) | 撮像装置及び撮像方法 | |
JP2006295707A (ja) | 画像再生装置及び像ブレ補正プログラム | |
JP2007049266A (ja) | 画像撮像装置 | |
JP4134869B2 (ja) | 撮像装置 | |
KR100278989B1 (ko) | 폐쇄회로모니터링장치및방법 | |
JP2009027437A (ja) | 画像処理装置,画像処理方法及び撮像装置 | |
WO2024042944A1 (ja) | 制御装置、撮像システム、制御方法、及び制御プログラム | |
JP2014119699A (ja) | カメラ雲台装置及びそれのパン・チルト機能の角度補正方法 | |
JP2006229628A (ja) | 動き検出装置 | |
JPH03117278A (ja) | 撮影装置 | |
JP2005260778A (ja) | 監視カメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060331 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081110 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081123 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111212 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |