JP2005323046A - 監視システム、および監視カメラ - Google Patents

Abstract

【課題】 上位装置に接続されている監視カメラが多い場合であっても、上位装置において監視エリアを適正に監視でき、セキュリティの低下が防止できる監視システムを提供する。
【解決手段】 監視カメラ１は、撮像部１２で撮像している監視エリアの撮像画像を動画記憶部１５に記憶する。また、撮像画像に人物が撮像されていれば、撮像されている人物の顔画像を切り出し、静止画で切り出した顔画像をホスト装置２に送信する。さらに、監視カメラ１は、ホスト装置２からの要求に応じて、動画記憶部１５に記憶している動画をホスト装置２へ送信する。
【選択図】 図１

Description

この発明は、多数の人が出入りする、空港、銀行、オフィスビル、マンション等の施設のセキュリティを確保する監視システム、およびこの監視システムに適用される監視カメラに関する。

従来、多数の人が出入りする、空港、銀行、オフィスビル、マンション等の施設では、セキュリティを確保するために、監視カメラで撮像した撮像画像を用いて不審者等の出入りを監視する監視システムを利用している。従来の監視システムは、施設の出入り口や施設内の主要な場所等を監視エリアとし、監視カメラを監視エリア毎に設けている。また、警備室等にホスト装置を設け、このホスト装置で各監視エリアの撮像画像が確認できるように構成されている。具体的には、ＬＡＮやＩＰネットワーク等を介して監視カメラをホスト装置に接続している。監視カメラは、撮像している監視エリアの撮像画像を略リアルタイムにホスト装置に送信する。監視カメラからホスト装置に送信される撮像画像は動画である。ホスト装置は、監視カメラ毎に送信されてきた監視エリアの撮像画像（動画）を記憶する。

また、監視カメラから送信されてきた監視エリアの撮像画像に人物が撮像されていれば、この人物の顔画像を切り出して、予め記憶している登録者の顔画像と照合し、登録者であるかどうかを判定する顔照合機能をホスト装置に設け、セキュリティを高めた監視システムも実用化されている。登録者は、監視システムの用途に応じて設定される。例えば、監視システムを利用する施設がオフィスビルやマンション等であれば、施設内に出入りすることが許可されている人物を登録者にすればよく、また空港や銀行等であれば指名手配されている人物（犯罪者）を登録者にすればよい。ホスト装置は、顔照合の結果を出力する。例えば、顔照合した人物が施設内への出入りを許可していない人物であった場合や、指名手配されている犯罪者であった場合に警報等を行って、そのことを警備員に知らせる。これにより、警備員等が不信者に対して迅速に対応でき、セキュリティを高めることができる。

また、従来の監視システムでは、撮像画像に人物が撮像されているかどうかを検出し、人物が撮像されていれば、その撮像画像を記録媒体に記録することや（特許文献１参照）、背景画像である基準フレームと、撮像画像との差分画像を圧縮して記憶すること（特許文献２参照）で、監視カメラで撮像した人物の画像の記録漏れがなく、また撮像画像を記録するのに必要な記録媒体の記録容量を抑えることが提案されている。
特開２０００−１１５３８９号公報 特開２０００− １３７４２号公報

しかしながら、上位装置であるホスト装置に多数の監視カメラが接続されている監視システムでは、各監視カメラが監視エリアの撮像画像をリアルタイムに動画でホスト装置に送信することから、監視カメラとホスト装置とを接続するネットワークのトラフィックが大きい。このため、監視カメラからホスト装置に送信されてくる監視エリアの撮像画像に遅延や消失が生じる可能性が高い。監視カメラからホスト装置に送信されてくる監視エリアの撮像画像に遅延や消失が生じると、ホスト装置において監視エリアを適正に監視できず、セキュリティが低下するという問題がある。

一方、監視カメラからホスト装置へ送信する監視エリアの撮像画像を粗い画像にしたり、さらに圧縮して送信することで、トラフィックの増大を抑え、上記の問題を解決することも考えられるが、この方法では監視カメラからホスト装置に送信されてきた監視エリアの撮像画像が粗いので、この撮像画像から切り出した人物の顔画像では顔照合が適正に行えず、結果的にセキュリティの低下を防止することができない。

この発明の目的は、上位装置に接続されている監視カメラが多い場合であっても、上位装置において監視エリアを適正に監視でき、セキュリティの低下が防止できる監視システム、およびこの監視システムに適用される監視カメラを提供することにある。

この発明の監視システムは、上記課題を解決するために、以下の構成を備えている。

（１）監視エリアを撮像する撮像手段を備えた監視カメラと、この監視カメラに接続された上位装置と、を有する監視システムにおいて、
前記監視カメラは、前記撮像手段が撮像している前記監視エリアの撮像画像を動画で記憶する動画記憶手段と、
前記撮像手段が撮像している前記監視エリアの撮像画像に人物が撮像されていれば、この人物の顔画像を切り出す顔画像切出手段と、
前記顔画像切出手段が切り出した顔画像を静止画で上位装置へ送信する静止画送信手段と、を備え
前記上位装置は、前記監視カメラから静止画で送信されてきた顔画像について、この顔画像にかかる動画の取得要求が入力されたとき、この顔画像にかかる動画の送信を前記監視カメラに要求する動画要求手段を備え、
さらに、前記監視カメラは、前記動画記憶手段に記憶している前記監視エリアの動画を、前記上位装置からの動画の送信要求に応じて該上位装置に送信する動画送信手段を備えている。

この構成では、監視カメラは撮像手段により撮像している監視エリアの撮像画像を動画記憶手段に動画で記憶する。また、監視カメラは、顔画像切出手段により監視エリアの撮像画像に人物が撮像されていれば、この人物の顔画像を切り出し、ここで切り出した顔画像を静止画送信手段により上位装置へ静止画で送信する。

一方、上位装置は、監視カメラから静止画で送信されてきた顔画像について、この顔画像にかかる動画の取得要求が入力されると、この顔画像にかかる動画の送信を監視カメラに要求する。監視カメラは、上位装置からの要求に応じて、動画記憶手段に記憶している監視エリアの撮像画像を動画で送信する。

このように、監視カメラは、監視エリアの撮像画像に人物が撮像されている場合に、略リアルタイムにその人物の顔画像を切り出し、ここで切り出した顔画像を静止画で上位装置に送信する構成としたので、監視カメラから上位装置に送信する顔画像を粗くすることなく、監視カメラと上位装置とを接続するネットワークのトラフィックを十分に抑えることができる。したがって、上位装置において監視エリアを適正に監視できない事態になるのを防止でき、セキュリティを低下させることがない。

また、上位装置では、監視カメラから静止画で送信されてきた顔画像について、この顔画像にかかる動画を必要に応じて取得できるので、その人物が監視エリアを通行しているときの状況を動画で確認することができる。

（２）前記上位装置は、登録者の顔画像を記憶する顔画像記憶手段と、
前記監視カメラから静止画で送信されてきた顔画像と、前記顔画像記憶手段に記憶している登録者の顔画像と、を照合し、その結果を出力する顔照合手段と、を備えている。

この構成では、上位装置において、監視カメラから静止画で送信されてきた人物の顔画像と、登録者の顔画像とを照合し、その結果を出力するので、不審者等が検出された場合に、速やかにそのことを警備員等に通知でき、警備員等に迅速に対応させることができる。

（３）前記上位装置は、前記監視カメラから静止画で送信されてきた顔画像を記憶する顔画像記憶手段と、
前記顔画像記憶手段が記憶している顔画像を表示する表示手段と、を備え、
前記動画要求手段は、前記表示手段が表示している顔画像について、動画の取得要求にかかる入力を受け付ける。

この構成では、上位装置において、監視カメラから静止画で送信されてきた顔画像を顔画像記憶手段に記憶し、記憶している顔画像を表示手段に表示させることができる。また、表示手段が表示している顔画像について、動画要求手段が動画の取得要求にかかる入力を受け付ける。これにより、監視カメラから静止画で送信されてきた人物の顔画像の確認や、この人物が監視エリア通過したときの状況の確認が、監視カメラから顔画像が送信されてきたタイミングだけでなく、必要に応じていつでも行える。

（４）前記監視カメラは、顔画像切出手段が切り出した顔画像に対して、この顔画像切り出した画像を撮像した日時を示すタイムスタンプを付加するタイムスタンプ付加手段を備え、 前記静止画送信手段は、前記タイムスタンプが付加された顔画像を前記上位装置へ送信する。

この構成では、上位装置において、監視カメラから静止画で送信されてきた顔画像に付加されているタイムスタンプにより、この顔画像を切り出した画像が撮像された日時を確認することができる。

（５）前記上位装置の動画要求手段は、顔画像にかかる動画の送信を前記監視カメラに要求するとき、この顔画像に付加されている前記タイムスタンプを前記監視カメラに送信し、
前記監視カメラは、前記上位装置からの動画の送信要求に含まれているタイムスタンプが示す日時を挟んだ所定時間分の動画を前記上位装置へ送信する。

この構成では、監視カメラから上位装置へ送信する動画の量を抑えることができ、監視カメラと上位装置とを接続するネットワークのトラフィックを無駄に増大させるのを防止できる。また、所定時間は、タイムスタンプが示す時間を中心に４〜５ｓの動画であればよい。

（６）監視エリアを撮像する撮像手段を備えた監視カメラと、この監視カメラに接続された上位装置と、を有する監視システムにおいて、
前記監視カメラは、前記撮像手段が撮像している前記監視エリアの撮像画像を動画で送信する動画送信手段と、
前記撮像手段が撮像している前記監視エリアの撮像画像に人物が撮像されていれば、この人物の顔画像を切り出す顔画像切出手段と、
前記顔画像切出手段が切り出した顔画像を静止画で記憶する静止画記憶手段と、を備え、
前記動画送信手段は、動画を前記静止画送信手段が送信する顔画像よりも粗い画像で送信し、
また、前記上位装置は、前記監視カメラから送信されてきた動画に撮像されている人物について、顔画像の取得要求が入力されたとき、この人物にかかる顔画像の送信を前記監視カメラに要求する動画要求手段を備え、
さらに、前記監視カメラは、前記静止画記憶手段に記憶している人物の顔画像を、前記上位装置からの顔画像の送信要求に応じて該上位装置に送信する静止画送信手段を備えている。

この構成では、監視カメラは撮像手段により撮像している監視エリアの撮像画像を動画送信手段により上位装置へ動画を粗い画像で送信する。また、監視カメラは、顔画像切出手段により監視エリアの撮像画像に人物が撮像されていれば、この人物の顔画像を切り出し、ここで切り出した顔画像を静止画記憶手段に記憶する。

一方、上位装置は、監視カメラから送信されてきた動画に撮像されている人物ついて、顔画像の取得要求が入力されると、この顔画像の送信を監視カメラに要求する。監視カメラは、上位装置からの要求に応じて、静止画記憶手段に記憶している顔画像を静止画で送信する。

このように、監視カメラが、監視エリアの撮像画像を略リアルタイムに粗い画像の動画を上位装置に送信する構成としたので、監視カメラと上位装置とを接続するネットワークのトラフィックを十分に抑えることができる。また、監視カメラから上位装置へ送信する動画については、粗い画像とするだけでなく、圧縮することで、監視カメラと上位装置とを接続するネットワークのトラフィックを一層抑えることができる。また、上位装置において、監視カメラから送信されてきた動画に撮像されている人物の顔画像（静止画）を必要に応じて監視カメラから取得でき、またこの顔画像が動画のような粗い画像でないので、この顔画像を取得することにより、この人物についての顔照合が適正に行える。したがって、上位装置において監視エリアを適正に監視できない事態になるのを防止でき、セキュリティを低下させることがない。

この発明によれば、監視カメラと上位装置とを接続するネットワークのトラフィックを十分に抑えることができる。したがって、上位装置において監視エリアを適正に監視できない事態になるのを防止でき、セキュリティを低下させることがない。

以下、この発明の実施形態である監視システムについて説明する。

図１は、この発明の実施形態である監視システムの構成を示す図である。この実施形態の監視システムは、ネットワーク３を介して複数の監視カメラ１をホスト装置２に接続している。この監視システムは、空港、銀行、オフィスビル、マンション等の施設に出入りする人物や、施設内を通行する人物等を監視し、セキュリティを確保するために利用される。監視カメラ１は、監視エリア毎に設けられている。監視エリアは、施設の出入り口や施設内の主要な場所等である。ホスト装置２は警備室等に設置されており、警備員等が監視エリアの状況を確認できる構成である。ネットワーク３は、例えばＬＡＮやＩＰネットワークである。

図２は、この発明の実施形態である監視システムに適用されている監視カメラの構成を示す図である。監視カメラ１は、本体の動作を制御する制御部１１と、監視エリアを撮像する撮像部１２と、撮像部１２が撮像した監視エリアの撮像画像に人物が撮像されているかどうかを判定し、人物が撮像されていれば撮像されている人物の顔画像を静止画で切り出すＦａｃｅ Ｆｉｎｄｉｎｇモジュール１３（以下、ＦＦモジュール１３と言う。）と、撮像部１２で撮像している監視エリアの撮像画像を動画として取得し、これを圧縮する画像圧縮部１４と、画像圧縮部１４で圧縮した動画を記憶する動画記憶部１５と、ホスト装置２との間でネットワーク３を介して通信する通信部１６と、を備えている。

撮像部１２は、イメージセンサとしてＣＣＤを有している。撮像部１２が撮像している監視エリアの撮像画像は、ＦＦモジュール１３、および画像圧縮部１４に入力されている。ＦＦモジュール１３、および画像圧縮部１４は、予め定められた時間間隔、例えば０．３ｓ間隔、で入力されている撮像画像を取り込む。ＦＦモジュール１３、および画像圧縮部１４が撮像画像を取り込む時間間隔については、同じであってもよいし、異なっていてもよい。ＦＦモジュール１３は、取り込んだ撮像画像に人物が撮像されているかどうかを判定する機能、および人物が撮像されている場合に撮像されている人物の顔画像を切り出す機能を有している。このＦＦモジュール１３が、この発明で言う顔画像切出手段に相当する。ＦＦモジュール１３が撮像画像から切り出した顔画像（静止画）は、略リアルタイムに通信部１６からネットワーク３を介してホスト装置２へ送信される。ホスト装置２へ送信する顔画像には、撮像日時を示すタイムスタンプが付加されている。このタイムスタンプの詳細については後述する。また、画像圧縮部１４は、動画として取得している監視エリアの撮像画像をＭＰＥＧ４等で圧縮する。動画記憶部１５は、この圧縮された監視エリアの動画を記憶する。動画記憶部１５が記憶している動画にも、撮像された日時を示すタイムスタンプが適当な間隔で付加されており、動画記憶部１５が記憶している動画の撮像日時が判断できる。監視カメラ１は、ホスト装置２からの要求に応じて、動画記憶部１５に記憶している動画をホスト装置２に送信する。動画記憶部１５は、例えば記録媒体としてハードディスクを有している。

次に、この監視システムに適用されているホスト装置２の構成について説明する。図３は、この発明の実施形態である監視システムに適用されているホスト装置の構成を示す図である。ホスト装置２は、本体の動作を制御する制御部２１と、登録者毎に顔画像を記憶する登録者データ記憶部２２と、ネットワーク３を介して監視カメラ１と通信する通信部２３と、監視カメラ１から静止画で送信されてきた顔画像と、登録者データ記憶部２２に記憶している登録者の顔画像とを照合する顔照合部２４と、監視カメラ１から送信されてきたＭＰＥＧ４で圧縮された動画を伸長する画像伸長部２５と、監視カメラ１から送信されてきた顔画像や動画を表示する表示部２６と、監視カメラ１から静止画で送信されてきた顔画像を記憶する顔画像記憶部２７と、を備えている。

登録者データ記憶部２２は、登録者の顔画像として、目、鼻、口等の顔部品の特徴量を記憶している。登録者は、例えば施設に出入りすることが許可された人物であったり、指名手配されている犯罪者であり、監視システムの用途に応じて登録者を決定している。顔照合部２４は、監視カメラ１から静止画で送信されてきた顔画像から顔部品の特徴量を抽出し、登録者データ記憶部２２に記憶している各登録者の顔部品の特徴量との類似度を算出し、その類似度が最大で、且つ予め定めた閾値よりも大きい登録者を今回顔画像が送信されてきた人物であると判定する。また、類似度が予め定めた閾値よりも大きい登録者がいなければ、登録者でないと判定する。画像伸長部２５は、監視カメラ１から送信されてきた動画を伸長し、再生画像信号を生成する。表示部２６は、監視カメラ１から送信されてきた顔画像や動画（画像伸長部２５が生成した再生画像信号に基づく画像）を表示する。顔画像記憶部２７は、監視カメラ１から静止画で送信されてきた顔画像を記憶する。顔画像記憶部２７は、ハードディスク等の記録媒体を有している。

以下、この実施形態の監視システムの動作について説明する。

監視カメラ１は、監視エリアの撮像画像を略リアルタイムに処理する監視画像処理、およびホスト装置２からの要求に応じて動画記憶部１５に記憶している動画を送信する動画送信処理を並列に実行する。まず、監視カメラ１における監視画像処理について説明する。この監視画像処理は、撮像部１２が撮像している監視エリアの撮像画像を動画として動画記憶部１５に記憶する動画処理、および撮像画像に人物が撮像されていれば、その人物の顔画像を切り出してホスト装置２へ送信する顔画像送信処理の２つである。

図４は、動画処理を示すフローチャートである。監視カメラ１は、予め定めた一定時間間隔で、例えば０．３ｓ間隔で、撮像部１２が撮像している監視エリアの撮像画像を画像圧縮部１４に取り込む（ｓ１、ｓ２）。画像圧縮部１４では、一定時間間隔で取り込んでいる撮像画像を動画とし、これをＭＰＥＧ４等で圧縮する（ｓ３）。監視カメラ１は、この圧縮した動画を動画記憶部１５に記憶する（ｓ４）。動画記憶部１５に記憶した動画には適当な間隔で、例えば１〜２分間隔で、撮像日時を示すタイムスタンプが付加される。

監視カメラ装置１は、上記ｓ１〜ｓ４の処理を繰り返し実行することにより、監視エリアの動画を動画記憶部１５に記憶する。また、動画記憶部１５に記憶した動画に、適当な間隔で撮像日時を示すタイムスタンプを付加しているので、このタイムスタンプを参照することで動画記憶部１５に記憶している動画の撮像日時が判断できる。

次に、顔画像送信処理について説明する。図５は、この顔画像送信処理を示すフローチャートである。監視カメラ１は、予め定めた一定時間間隔で、例えば０．３ｓ間隔で、撮像部１２が撮像している監視エリアの撮像画像をＦＦモジュール１３に取り込む（ｓ１１、ｓ１２）。ＦＦモジュール１３は、前回取り込んだ撮像画像と今回取り込んだ撮像画像との差分を算出する（ｓ１３）。公知のように、人物が撮像されている場合、前回取り込んだ撮像画像と、今回取り込んだ撮像画像とでは、撮像されている人物の位置や姿勢等が変化していることから、その差分が大きくなる。

ＦＦモジュール１３は、ｓ１３で算出した差分が予め定めた閾値よりも大きければ（ｓ１４）、この撮像画像に人物が撮像されていると判定し、この撮像画像を図示していないバッファメモリに一時的に保存する（ｓ１５）。また、ＦＦモジュール１３は、ｓ１３で算出した差分が予め定めた閾値よりも大きくなければ、ｓ１９にジャンプしてバッファメモリをクリアする。ＦＦモジュール１３は、ｓ１５で撮像画像をバッファメモリに記憶すると、このバッファメモリに顔画像を切り出すのに適当なフレーム数の撮像画像が記憶されているかどうかを判定する（ｓ１６）。ｓ１６では、その人物の顔照合に用いるのに適正な顔画像が切り出せない撮像画像、例えば撮像されている人物の顔が切れていたり、顔の向きが適正でない撮像画像、から撮像された人物の顔画像を切り出さないように、バッファメモリに数フレーム、例えば４〜６フレーム、の撮像画像を記憶させるようにしている。言い換えれば、その人物の顔照合に用いるのに適正な顔画像の切り出しが行える撮像画像がバッファメモリに記憶される可能性を高めている。ＦＦモジュール１３は、ｓ１６でバッファメモリに顔画像の切出に適当なフレーム数の撮像画像が記憶されていないと判定すると、ｓ１１に戻って上記処理を繰り返し、このバッファメモリに顔画像を切り出すのに適当なフレーム数の撮像画像を記憶する。

なお、顔画像の切出に適当なフレーム数は、撮像されている人物が監視エリアを通過する時間（２〜３ｓ）内にＦＦモジュール１３が取り込むことができる撮像画像のフレーム数以下である。

一方、ｓ１６で、顔画像を切り出すのに適当なフレーム数の撮像画像がバッファメモリに記憶されていると判定すると、このバッファメモリに記憶されている複数フレームの撮像画像の中から、顔画像の切出に最適な撮像画像を選択する（ｓ１７）。ｓ１７では、撮像されている人物の顔が切れてなく、顔の向きが正面である撮像画像を選択する。ＦＦモジュール１３は、ｓ１７で選択した撮像画像から撮像されている人物の顔画像を切り出す（ｓ１８）。ｓ１８では、撮像画像から顔の形（楕円形状）を検出し、ここで検出した顔の形を含む範囲を今回撮像した人物の顔画像として切り出す。ＦＦモジュール１３は、ｓ１８で今回撮像した人物の顔画像を切り出すと、バッファメモリをクリアする（ｓ１９）。監視カメラ１は、ｓ１８で切り出した顔画像に撮像日時を示すタイムスタンプを付加し（ｓ２０）、これを通信部１６からホスト装置２へ送信し（ｓ２１）、ｓ１１に戻って上記処理を繰り返す。

これにより、監視カメラ１は、撮像部１２が撮像している監視エリアを通行する人物の顔画像を略リアルタイムにホスト装置２に送信することができる。言い換えれば、ホスト装置２では、監視エリアを通行する人物の顔画像が略リアルタイムに取得できる。また、監視カメラ１は、ホスト装置２に対して監視エリアの動画を送信するのではなく、切り出した顔画像を静止画で送信するので、監視カメラ１からホスト装置２へ送信するデータ量を十分に抑えられ、ホスト装置２に接続されている監視カメラ１が多い監視システムであっても、ホスト装置２と監視カメラ１とを接続するネットワーク３のトラフィックが十分に抑えられる。また、監視カメラ１からホスト装置２へ静止画で送信する顔画像については、粗い画像にしなくてもよいので、後述するホスト装置２における撮像された人物の顔照合も適正に行え、セキュリティを低下させることもない。

ここで、監視カメラ１から静止画で送信されてきた顔画像を受信したホスト装置２の動作について説明する。図６は、ホスト装置における顔画像受信処理を示すフローチャートである。ホスト装置２は、監視カメラ１から静止画で送信されてきた顔画像を受信すると、この顔画像を顔画像記憶部２７に記憶するとともに、表示部２６にこの顔画像を表示する（ｓ３１、ｓ３２）。顔画像記憶部２７に記憶した顔画像には、この顔画像を切り出した撮像画像の撮像日時を示すタイムスタンプが付加されている。ホスト装置２は、今回監視カメラ１から送信されてきた顔画像と、登録者データ記憶部２２に記憶している登録者の顔画像と、を照合する顔照合処理を行う（ｓ３３）。この顔照合処理は、例えば公知のＧａｂｏｒ Ｗａｖｅｌｅｔと、Ｇｒａｐｈ Ｍａｔｃｈｉｎｇ Ｍｅｔｈｏｄと、を使用して行う。ここでは、詳細な説明については省略するが、簡単に説明すると、監視カメラ１から送信されてきた顔画像から目、鼻、口等の顔部品の特徴量を抽出し、登録者データ記憶部２２に記憶している登録者毎に顔部品の特徴量との類似度を算出する。そして、算出した類似度が最大で、且つ予め定めた閾値よりも大きい登録者を今回顔画像が送信されてきた人物であると判定する。また、類似度が予め定めた閾値よりも大きい登録者がいなければ、登録者でないと判定する。

ホスト装置２は、ｓ３３にかかる顔照合処理の結果を出力する（ｓ３４）。ｓ３４では、顔照合の結果を表示部２６に表示したり、必要に応じて警報を行う。例えば、登録者以外の人物が出入りするのを禁止している施設であれば、ｓ３３の顔照合で、今回顔画像が送信されてきた人物が登録者でないと認証された場合に警報を行う。上述したように、監視カメラ１が略リアルタイムに監視エリアを通行する人物の顔画像をホスト装置２に送信しているので、その人物に対する顔照合が略リアルタイムに行える。したがって、不審者が施設に入ったこと等を、略リアルタイムに検出することができ、またそのことを速やかに警備員等に通知することができる。これにより、警備員等が不審者に対して速やかに対応することができ、施設のセキュリティを低下させることはない。

また、ホスト装置２は、顔画像記憶部２７に記憶している、監視カメラ１から静止画で送信されてきた顔画像を表示部２６に表示させることができる。表示部２７に顔画像を表示させた人物について、この人物が監視エリアを通行しているときの動画を監視カメラ１から取得できる。ホスト装置２が監視カメラ１から動画を取得する動画取得処理について説明する。図７はホスト装置における動画取得処理を示すフローチャートであり、図８はこれに対応する監視カメラの動画送信処理を示すフローチャートである。

警備員等が、監視エリアを通行しているときの状況を確認する必要があると判断した顔画像の人物について動画の取得要求をホスト装置２に入力する。具体的には、ホスト装置２の表示部２６に動画を取得する人物の顔画像を表示し、動画の取得を要求する入力操作を行う。ホスト装置２は、この動画の取得要求が入力されると、図７に示す動画取得処理を開始する。まず、今回動画の取得が要求された人物の顔画像に付加されているタイムスタンプを読み出す（ｓ４１）。ホスト装置１は、ｓ４１で読み出しタイプスタンプが示している日時の動画の送信要求を通信部２３から監視カメラ１に送信する（ｓ４２）。

監視カメラ１は、ホスト装置２からの動画の送信要求を受信すると（ｓ５１）、この送信要求に含まれているタイムスタンプが示す日時を読み出す（ｓ５２）。監視カメラ１は動画記憶部１５から、ｓ５２で読み出した日時を中心とする前後数秒、例えば４〜５秒、の動画を動画記憶部１５から読み出し（ｓ５３）、これを通信部１６からホスト装置２へ送信する（ｓ５４）。

ホスト装置２は、監視カメラ１から送信されてきた動画を受信すると（ｓ４３）、画像伸長部２５において受信した動画を伸長し、再生映像信号を生成する（ｓ４４）。ホスト装置２は、ｓ４４で生成した再生映像信号に基づく画像を表示部２６に表示する（ｓ４５）。

このように、ホスト装置２において、必要に応じて顔画像が静止画で送信されてきた人物について、監視エリアを通行しているときの動画像を取得し、確認することができる。言い換えれば、顔画像が静止画で送信されてきた人物について、監視エリアを通行しているときの状況がホスト装置２で確認できる。また、この動画送信要求に対して、監視カメラ１がホスト装置２に送信する動画は、数秒の動画であるので、監視カメラ１とホスト装置とを接続するネットワーク３のトラフィックについては、無用に増大させることがなく、十分に抑えられる。

なお、上記実施形態では、動画記憶部１５に監視エリアの動画を常時記憶するとしたが、上記顔画像送信処理において、ｓ８で顔画像を切り出した後、ｓ９でバッファメモリをクリアする前に、このバッファメモリに記憶している複数フレームの撮像画像を動画として圧縮し、動画記憶部１５に記憶するようにしてもよい。言い換えれば、撮像画像に人物が撮像されているときの動画を動画記憶部１５に記憶し、人物が撮像されていないときの監視エリアの動画を動画記憶部１５に記憶しない構成としてもよい。このようにすれば、動画記憶部１５に必要な記憶容量を抑えることができる。また、図４に示した動画像処理を常時行わなくてもよいので、監視カメラ１の負荷が低減できる。

次に、この発明の別の実施形態について説明する。この実施形態の監視システムは、上記実施形態と同様に図１に示した構成である。監視カメラ装置１は、上記実施形態の装置と略同じ構成であるが、図９に示すように、動画記憶部１５を備えていない点、および静止画記憶部１７を備えている点で異なっている。静止画記憶部１７は、ＦＦモジュール１３で切り出された人物の顔画像を記憶する。また、ホスト装置２は、上記実施形態の装置と略同じ構成であるが、図１０に示すように、顔画像記憶部２７を備えていない点、および動画記憶部２８を備えている点で異なっている。動画記憶部２８は、監視カメラ１から送信されてきた監視エリアの動画を記憶する。

以下、この実施形態の監視システムの動作について説明する。

監視カメラ１は、監視エリアの撮像画像を略リアルタイムに処理する監視画像処理、およびホスト装置２からの要求に応じて静止画記憶部１７に記憶している人物の顔画像を静止画をホスト装置２へ送信する静止画送信処理を並列に実行する。まず、監視カメラ１における監視画像処理について説明する。この監視画像処理には、撮像部１２が撮像している監視エリアの撮像画像を動画としてホスト装置２へ送信する動画送信処理、および撮像画像に人物が撮像されていれば、その人物の顔画像を切り出して静止画記憶部１７に記憶する顔画像記憶処理が含まれている。

図１１は、動画送信処理を示すフローチャートである。監視カメラ１は、予め定めた一定時間間隔で、例えば０．３ｓ間隔で、撮像部１２が撮像している監視エリアの撮像画像を画像圧縮部１４に取り込む（ｓ６１、ｓ６２）。画像圧縮部１４では、一定時間間隔で取り込んでいる撮像画像を動画とし、これをＭＰＥＧ４等で圧縮する（ｓ６３）。ｓ６３では、撮像画像を比較的粗い画像にして圧縮している。監視カメラ１は、画像圧縮部１４で圧縮した動画を通信部１６からネットワーク３を介してホスト装置２へ送信する（ｓ６４）。ホスト装置２へ送信している動画には、撮像日時を示すタイムスタンプが付加されている。

監視カメラ装置１は、上記ｓ１〜ｓ４の処理を繰り返し実行することにより、監視エリアの動画を略リアルタイムにホスト装置２へ送信する。また、ホスト装置２へ送信する動画については、粗い画像にしているので、ホスト装置２へ送信する動画のデータ量を十分に抑えることができる。したがって、ホスト装置２に接続されている監視カメラ１が多い監視システムであっても、ホスト装置２と監視カメラ１とを接続するネットワーク３のトラフィックが十分に抑えられる。また、ホスト装置２へ送信する動画には、撮像日時を示すタイムスタンプが付加されているので、ホスト装置２ではタイムスタンプを参照することで撮像日時を判断することができる。

次に、顔画像記憶処理について説明する。図１２は、この顔画像記憶処理を示すフローチャートである。監視カメラ１は、予め定めた一定時間間隔で、例えば０．３ｓ間隔で、撮像部１２が撮像している監視エリアの撮像画像をＦＦモジュール１３に取り込む（ｓ７１、ｓ７２）。ＦＦモジュール１３は、前回取り込んだ撮像画像と今回取り込んだ撮像画像との差分を算出する（ｓ７３）。ＦＦモジュール１３は、ｓ７３で算出した差分が予め定めた閾値よりも大きければ（ｓ７４）、この撮像画像に人物が撮像されていると判定し、この撮像画像を図示していないバッファメモリに一時的に保存する（ｓ７５）。また、ＦＦモジュール１３は、ｓ７３で算出した差分が予め定めた閾値よりも大きくなければ、ｓ７９にジャンプしてバッファメモリをクリアする。ＦＦモジュール１３は、ｓ７５で撮像画像をバッファメモリに記憶すると、このバッファメモリに顔画像を切り出すのに適当なフレーム数の撮像画像が記憶されているかどうかを判定する（ｓ７６）。ｓ７６では、その人物の顔照合に用いるのに適正な顔画像が切り出せない撮像画像、例えば撮像されている人物の顔が切れていたり、顔の向きが適正でない撮像画像、から撮像された人物の顔画像を切り出さないように、バッファメモリに数フレーム、例えば４〜６フレーム、の撮像画像を記憶させるようにしている。言い換えれば、その人物の顔照合に用いるのに適正な顔画像の切り出しが行える撮像画像がバッファメモリに記憶される可能性を高めている。ＦＦモジュール１３は、ｓ７６でバッファメモリに顔画像の切出に適当なフレーム数の撮像画像が記憶されていないと判定すると、ｓ７１に戻って上記処理を繰り返し、このバッファメモリに顔画像を切り出すのに適当なフレーム数の撮像画像を記憶する。

なお、顔画像の切出に適当なフレーム数は、撮像されている人物が監視エリアを通過する時間（２〜３ｓ）内にＦＦモジュール１３が取り込むことができる撮像画像のフレーム数以下である。

一方、ｓ７６で、顔画像を切り出すのに適当なフレーム数の撮像画像がバッファメモリに記憶されていると判定すると、このバッファメモリに記憶されている複数フレームの撮像画像の中から、顔画像の切出に最適な撮像画像を選択する（ｓ７７）。ｓ７７では、撮像されている人物の顔が切れてなく、顔の向きが正面である撮像画像を選択する。ＦＦモジュール１３は、ｓ７７で選択した撮像画像から撮像されている人物の顔画像を切り出す（ｓ７８）。ｓ７８では、撮像画像から顔の形（楕円形状）を検出し、ここで検出した顔の形を含む範囲を今回撮像した人物の顔画像として切り出す。また、撮像画像を粗くすることなく、顔画像を切り出す。言い換えれば、画像圧縮部１４は撮像画像を粗い画像にして圧縮した動画をホスト装置２に送信するが、ＦＦモジュール１３は撮像画像を粗い画像にすることなく、この撮像画像から顔画像を切り出す。ＦＦモジュール１３は、ｓ７８で今回撮像した人物の顔画像を切り出すと、バッファメモリをクリアする（ｓ７９）。監視カメラ１は、ｓ７８で切り出した顔画像に撮像日時を示すタイムスタンプを付加し（ｓ８０）、これを静止画記憶部１７に記憶し（ｓ８１）、ｓ７１に戻って上記処理を繰り返す。

これにより、監視カメラ１は、撮像部１２が撮像している監視エリアを通行する人物の顔画像を静止画で静止画記憶部１７に記憶することができる。また、この顔画像は、顔照合が適正に行える粗くない画像である。

ここで、監視カメラ１から送信されてきた動画を受信したホスト装置２の動作について説明する。図１３は、ホスト装置における動画受信処理を示すフローチャートである。ホスト装置２は、監視カメラ１から送信されてきた動画を受信すると、この動画を動画記憶部２８に記憶するとともに（ｓ９１）、画像伸長部２５において受信した動画を伸長し、再生映像信号を生成する（ｓ９２）。ホスト装置２は、ｓ９２で生成した再生映像信号に基づく動画を表示部２６に表示する（ｓ９３）。

このように、ホスト装置２において、監視エリアの動画が略リアルタイムに表示されるので、警備員等が監視エリアの状況をホスト装置２で略リアルタイムに確認できる。また、警備員等は、表示部２６に表示されている動画の人物について、顔照合が必要であると判断した場合、この人物について顔照合が適正に行える顔画像を取得することができる。以下、ホスト装置２において、顔照合が適正に行える顔画像を取得する顔画像取得処理について説明する。

図１４はホスト装置における顔画像取得処理を示すフローチャートであり、図１５はこれに対応する監視カメラの顔画像送信処理を示すフローチャートである。

警備員等が、監視エリアを通行している人物について、顔照合が必要であると判断したときに顔画像の取得要求をホスト装置２に入力する。具体的には、ホスト装置２の表示部２６に動画で表示されている人物について顔画像の取得を要求する入力操作を行う。ホスト装置２は、この顔画像の取得要求が入力されると、図１４に示す顔画像取得処理を開始する。まず、今回顔画像の取得が要求された人物の動画に付加されているタイムスタンプを読み出す（ｓ１０１）。ホスト装置１は、ｓ１０１で読み出しタイプスタンプが示している日時の顔画像の送信要求を通信部２３から監視カメラ１に送信する（ｓ１０２）。

監視カメラ１は、ホスト装置２からの顔画像の送信要求を受信すると（ｓ１１１）、この送信要求に含まれているタイムスタンプが示す日時を読み出す（ｓ１１２）。監視カメラ１は静止画記憶部１７から、ｓ１１２で読み出した日時に最も近いタイムスタンプが付加されている顔画像を読み出し（ｓ１１３）、この顔画像を静止画で通信部１６からホスト装置２へ送信する（ｓ１１４）。

ホスト装置２は、監視カメラ１から送信されてきた顔画像を受信すると（ｓ１０３）、表示部２６にこの顔画像を表示する（ｓ１０４）。そして、ホスト装置２は、今回監視カメラ１から送信されてきた顔画像と、登録者データ記憶部２２に記憶している登録者の顔画像と、を照合する顔照合処理を行う（ｓ１０５）。この顔照合処理は、上記実施形態と同様に、公知のＧａｂｏｒ Ｗａｖｅｌｅｔと、Ｇｒａｐｈ Ｍａｔｃｈｉｎｇ Ｍｅｔｈｏｄと、を使用して行う。ホスト装置２は、ｓ１０５にかかる顔照合処理の結果を出力する（ｓ１０６）。ｓ１０６では、顔照合の結果を表示部２６に表示したり、必要に応じて警報を行う。

このように、ホスト装置２では、監視カメラ１から顔照合が適正に行える顔画像を取得することができるので、セキュリティを低下させることがない。また、顔照合に用いる顔画像は、静止画で監視カメラ１からホスト装置２へ送信するので、監視カメラ１とホスト装置２とを接続するネットワーク３のトラフィックを無用に増大させない。したがって、ホスト装置２に接続されている監視カメラ１が多い監視システムであっても、ホスト装置２において監視エリアを適正に監視でき、セキュリティを低下させることがない。

この発明の実施形態である監視システムの構成を示す図である。 この発明の実施形態である監視システムに適用される監視カメラの構成を示す図である。 この発明の実施形態である監視システムに適用されるホスト装置の構成を示す図である。 この実施形態の監視カメラにおける動画処理を示すフローチャートである。 この実施形態の監視カメラにおける顔画像送信処理を示すフローチャートである。 この実施形態のホスト装置における顔画像受信処理を示すフローチャートである。 この実施形態のホスト装置における動画取得処理を示すフローチャートである。 この実施形態の監視カメラにおける動画送信処理を示すフローチャートである。 この発明の別の実施形態である監視システムに適用される監視カメラの構成を示す図である。 この発明の別の実施形態である監視システムに適用されるホスト装置の構成を示す図である。 別の実施形態の監視カメラにおける動画送信処理を示すフローチャートである。 別の実施形態の監視カメラにおける顔画像記憶処理を示すフローチャートである。 別の実施形態のホスト装置における動画受信処理を示すフローチャートである。 別の実施形態のホスト装置における顔画像取得処理を示すフローチャートである。 別の実施形態の監視カメラにおける顔画像送信処理を示すフローチャートである。

符号の説明

１−監視カメラ
２−ホスト装置
３−ネットワーク
１２−撮像部
１３−ＦＦモジュール
１４−画像圧縮部
１５−動画記憶部
１６−通信部
１７−静止画記憶部
２２−登録者記憶部
２３−通信部
２４−顔照合部
２５−画像伸長部
２６−表示部
２７−顔画像記憶部
２８−動画記憶部

Claims (8)

1. 監視エリアを撮像する撮像手段を備えた監視カメラと、この監視カメラに接続された上位装置と、を有する監視システムにおいて、
   前記監視カメラは、前記撮像手段が撮像している前記監視エリアの撮像画像を動画で記憶する動画記憶手段と、
   前記撮像手段が撮像している前記監視エリアの撮像画像に人物が撮像されていれば、この人物の顔画像を切り出す顔画像切出手段と、
   前記顔画像切出手段が切り出した顔画像を静止画で上位装置へ送信する静止画送信手段と、を備え
   前記上位装置は、前記監視カメラから静止画で送信されてきた顔画像について、この顔画像にかかる動画の取得要求が入力されたとき、この顔画像にかかる動画の送信を前記監視カメラに要求する動画要求手段を備え、
   さらに、前記監視カメラは、前記動画記憶手段に記憶している前記監視エリアの動画を、前記上位装置からの動画の送信要求に応じて該上位装置に送信する動画送信手段を備えている監視システム。
2. 前記上位装置は、登録者の顔画像を記憶する顔画像記憶手段と、
   前記監視カメラから静止画で送信されてきた顔画像と、前記顔画像記憶手段に記憶している登録者の顔画像と、を照合し、その結果を出力する顔照合手段と、を備えている請求項１に記載の監視システム
3. 前記上位装置は、前記監視カメラから静止画で送信されてきた顔画像を記憶する顔画像記憶手段と、
   前記顔画像記憶手段が記憶している顔画像を表示する表示手段と、を備え、
   前記動画要求手段は、前記表示手段が表示している顔画像について、動画の取得要求にかかる入力を受け付ける請求項１または２に記載の監視システム。
4. 前記監視カメラは、顔画像切出手段が切り出した顔画像に対して、この顔画像切り出した画像を撮像した日時を示すタイムスタンプを付加するタイムスタンプ付加手段を備え、 前記静止画送信手段は、前記タイムスタンプが付加された顔画像を前記上位装置へ送信する請求項１〜３のいずれかに記載の監視システム。
5. 前記上位装置の動画要求手段は、顔画像にかかる動画の送信を前記監視カメラに要求するとき、この顔画像に付加されている前記タイムスタンプを前記監視カメラに送信し、
   前記監視カメラは、前記上位装置からの動画の送信要求に含まれているタイムスタンプが示す日時を挟んだ所定時間分の動画を前記上位装置へ送信する請求項４に記載の監視システム。
6. 監視エリアを撮像する撮像手段と、
   前記撮像手段が撮像している前記監視エリアの撮像画像を動画で記憶する動画記憶手段と、
   前記撮像手段が撮像している前記監視エリアの撮像画像に人物が撮像されていれば、この人物の顔画像を切り出す顔画像切出手段と、
   前記顔画像切出手段が切り出した顔画像を静止画で上位装置へ送信する静止画送信手段と、
   前記動画記憶手段に記憶している前記監視エリアの動画を、前記上位装置からの要求に応じて該上位装置に送信する動画送信手段と、を備えた監視カメラ。
7. 監視エリアを撮像する撮像手段を備えた監視カメラと、この監視カメラに接続された上位装置と、を有する監視システムにおいて、
   前記監視カメラは、前記撮像手段が撮像している前記監視エリアの撮像画像を動画で送信する動画送信手段と、
   前記撮像手段が撮像している前記監視エリアの撮像画像に人物が撮像されていれば、この人物の顔画像を切り出す顔画像切出手段と、
   前記顔画像切出手段が切り出した顔画像を静止画で記憶する静止画記憶手段と、を備え、
   前記動画送信手段は、動画を前記静止画送信手段が送信する顔画像よりも粗い画像で送信し、
   また、前記上位装置は、前記監視カメラから送信されてきた動画に撮像されている人物について、顔画像の取得要求が入力されたとき、この人物にかかる顔画像の送信を前記監視カメラに要求する動画要求手段を備え、
   さらに、前記監視カメラは、前記静止画記憶手段に記憶している人物の顔画像を、前記上位装置からの顔画像の送信要求に応じて該上位装置に送信する静止画送信手段を備えている監視システム。
8. 監視エリアを撮像する撮像手段と、
   前記撮像手段が撮像している前記監視エリアの撮像画像を動画で送信する動画送信手段と、
   前記撮像手段が撮像している前記監視エリアの撮像画像に人物が撮像されていれば、この人物の顔画像を切り出す顔画像切出手段と、
   前記顔画像切出手段が切り出した顔画像を静止画で記憶する静止画記憶手段と
   前記静止画記憶手段に記憶している人物の顔画像を、前記上位装置からの要求に応じて該上位装置に送信する静止画送信手段と、を備え、
   前記動画送信手段は、動画を前記静止画送信手段が送信する顔画像よりも粗い画像で送信する監視カメラ。

Images