JP4148285B2 - 監視装置、フィルタ較正方法及びフィルタ較正プログラム - Google Patents

Description

本発明は、監視カメラから映像データとその映像データに関するデータ（メタデータ）を取得して、このメタデータのフィルタ処理を行い、フィルタ処理により得られたフィルタ処理結果に基づいて監視結果の出力を行う監視装置及びその監視装置におけるフィルタ較正方法、フィルタ較正プログラムに関する。

従来、監視カメラと制御装置とをネットワークを介して接続した監視システムが用いられている。このような監視システムにおいて、監視カメラは、撮影した映像データを、ネットワークを介して制御装置である監視装置に送信する。監視装置は、受信した映像データを記録するとともに、映像データを解析することで異常の発生を検出し、アラームを出力する。監視員は、モニタに表示される監視映像及び制御装置が出力したアラームの内容を確認しながら監視を行うことができる。

また近年の監視カメラは、監視装置に撮影した映像データを送信するだけでなく、撮影した映像データに関するメタデータ（例えば、アラーム情報や温度情報、カメラの画角情報）を生成して、監視装置にメタデータを送信する機能を有している。このような監視カメラを用いた監視システムにおいて、監視装置は、監視カメラから供給されたメタデータを、アラームを出力する特定の条件を設定したメタデータフィルタ（以下フィルタと称する）に通し、条件に合致した場合にアラームを出力する。メタデータフィルタには、例えばある場所への不審物の侵入や、ある境界線を通過する動体（オブジェクト）などを異常として検出するための条件が設定されている。

特許文献１には、ネットワークを介して監視端末（監視カメラ）から監視装置に監視映像の映像データを供給し、異常発生時の監視映像の確認等を監視装置で行う技術が記載されている。
特開２００３−２７４３９０号公報

ところで、この種の監視システムで監視を行う場合で、特に、特定の境界線を越えた物体の数を計測し、その数に応じてアラームを出力するフィルタを用いる場合には、実際に特定の境界線を越えた物体の数と、フィルタを通して得られた物体（オブジェクト）の数との間で誤差が生じてしまうことがある。実際には複数個の物体であるにも係わらず、例えば物体同士が近接していることにより、監視カメラにおいて１つのオブジェクトとして認識されてしまう場合には、実際の物体の数より、フィルタ処理を通して得られたオブジェクト数の方が少なくなってしまう。

また、監視対象の物体が人間である場合には、手や足などの局部の動きが検知されることにより、本来１つのオブジェクトとして認識されるべきものが複数のオブジェクトとして認識され、実際より多くカウントされてしまうという問題もある。さらに、瞬間的な明るさの変化等により生じたノイズにより、１つの物体が複数のオブジェクトとしてカウントされてしまうということもあった。

本発明はかかる点に鑑みてなされたものであり、フィルタ処理の精度を向上させることを目的とする。

本発明は、監視用撮像装置が撮像して出力する映像データを使用して監視を行う場合において、フィルタ設定情報をフィルタ設定部に保存し、フィルタ設定部から読み出した所定のフィルタ又は、新規に設定したフィルタに対応させて、少なくとも１つの仮想的なフィルタを自動で配置し、フィルタ設定部より読み出した所定のフィルタ又は新規に設定したフィルタと、仮想的なフィルタとを用いてフィルタ処理を行い、フィルタ処理の結果得られた各値の最頻値を算出し、最頻値が予め求めておいたフィルタ処理の結果得られるべき真の値と同一又は近似すると判断した場合に、仮想的なフィルタを正式なフィルタとしてフィルタ設定部に記憶するようにしたものである。

このようにしたことで、フィルタ設定部から読み出した所定のフィルタ又は、新規に設定したフィルタに加えて、新たにフィルタが設定されるようになり、全てのフィルタを通して得た値が、フィルタ処理の結果得られるべき真の値と同一又は近似した値となる。

本発明によると、フィルタ処理の精度が向上する。即ち、フィルタを設定するに際しての適切な場所を算出し、その場所にフィルタを設定するようにしたため、フィルタ処理を通して得られる数が正確なものになる。

以下、本発明を実施するための最良の形態について、添付図面を参照しながら説明する。以下に説明する実施形態は、撮影対象物を撮影した映像データとともにメタデータを生成する撮像装置（監視カメラ）から得られたメタデータを解析して、動体（オブジェクト）を検出し、検出したオブジェクトの数を算出する監視システムに適用した例としている。

図１は、本発明の一実施形態例における監視システムの接続構成を示した図である。図１（ａ）は、監視装置としてのクライアント端末が、監視カメラから出力されたデータを、ネットワークを介して取得するシステムであり、図１（ｂ）は、監視カメラから出力されたデータをサーバが取得し、クライアント端末に供給するシステム（サーバ／クライアントシステム）である。

まず図１（ａ）に示した監視システム１００について説明する。図１に示すように、監視システム１００は、１台、もしくは複数台の監視カメラを管理する。この例では２台としている。監視システム１００は、監視対象物を撮影し、映像データを生成するとともに映像データからメタデータを生成する監視カメラ１ａ，１ｂと、取得した映像データとメタデータを解析し、保存するとともにオブジェクトを検出するとその数を算出するクライアント端末３と、監視カメラ１ａ，１ｂとクライアント端末３とを接続するネットワーク２とで構成される。クライアント端末３が、ネットワーク２を介して監視カメラ１ａ，１ｂから取得したメタデータは、メタデータフィルタ（以下、「フィルタ」とも称する。）を介して解析される。フィルタ処理結果の内容によっては、クライアント端末３は、監視に適した監視映像が得られるように監視カメラ１ａ，１ｂの動作を制御するため、監視カメラ１ａ，１ｂに対して切替指示信号を供給する。

なお、監視カメラ、クライアント端末、サーバ及びクライアント端末の台数はこの例に限られないことは勿論である。

ここで、監視カメラ内で生成されるメタデータについて説明する。メタデータとは、監視カメラの撮像部（図示せず）で撮像された映像データの属性情報のことであり、例えば下記のようなものがある。
・オブジェクト情報（監視カメラで動体を検知した場合の、動体（オブジェクト）のＩＤや座標、サイズ等の情報）
・撮像時刻データ、監視カメラの向き情報（パン・チルト等）
・監視カメラの位置情報
・撮像された画像の署名情報
オブジェクト情報とは、メタデータ内にバイナリデータとして記載された情報を、構造体などの意味のあるデータ構造に展開した情報のことである。

メタデータフィルタとは、オブジェクト情報からアラーム情報を生成する場合の判断条件のことであり、アラーム情報とは、メタデータから展開したオブジェクト情報を元に、フィルタ処理をかけた後の情報のことである。アラーム情報は、複数フレームのメタデータを解析し、動体の位置の変化から速度を割り出したり、動体がある線を越えたか否かの確認をしたり、またはこれらを複合的に解析することで得られる。

フィルタの種類としては、例えば以下の７種類があり、このうち任意のフィルタの種類を選択することができる。
Appearance（存在）：物体（以下、オブジェクトとも称する）があるエリア内に存在するか否かを判別するためのフィルタ
Disappearance（消失）：物体があるエリア（領域）に現れ、エリアから出たか否かを判別するためのフィルタ
Passing（通過）：ある境界線を物体が超えたか否かを判別するためのフィルタ
Capacity（物体数制限）：あるエリア内の物体の数をカウントし、その累積数が所定値を超えたか否かを判別するためのフィルタ
Loitering（滞留）：所定の時間を超えて、あるエリア内に物体が滞留しているか否かを判別するためのフィルタ
Unattended（置き去り）：所定の時間を越えて、あるエリア内に侵入し動かない物体が存在するか否かを判別するためのフィルタ
Removed（持ち去り）：あるエリア内に存在した物体が取り除かれたことを検出するためのフィルタ

アラーム情報に含まれるデータとしては、上述したフィルタのうち“Capacity”等、検出されたオブジェクトの累計値を用いるフィルタを通して生成された“累積オブジェクト数”や、フィルタの条件に合致したオブジェクトの数である“オブジェクト数”、特定のフレーム内においてフィルタの条件に合致したオブジェクト数、フィルタの条件に合致したオブジェクトの属性情報（オブジェクトのＩＤ、Ｘ座標、Ｙ座標、サイズ）等がある。アラーム情報には、このように映像内の員数（人数）や、それらの統計が含まれ、レポート機能としても使用できる。

次に、図１（ａ）に示した監視カメラ１の詳細な構成を、図２の機能ブロック図を参照して説明する。監視カメラ１は、映像データ生成部２１と撮像動作切替部２２、メタデータ生成部２３とで構成される。まず、映像データ生成部２１を構成する各部の説明から行なう。撮像部２１２は、レンズ部２１１を通して撮像素子（図示せず）に結像された撮像光を光電変換して撮像信号Ｓｖを生成する。

撮像部２１２は、例えば図示しないプリアンプ部及びＡ／Ｄ（Analog／Digital）変換部を備え、プリアンプ部では、撮像信号Ｓｖの電気信号レベルの増幅や、相関二重サンプリングによるリセット雑音の除去を行ない、Ａ／Ｄ変換部では撮像信号Ｓｖをアナログ信号からデジタル信号に変換する。また、撮像部２１２では、供給された撮像信号Ｓｖのゲイン調整や黒レベルの安定化、ダイナミックレンジの調整等も行う。このように様々な処理が行なわれた撮像信号Ｓｖは、撮像信号処理部２１３に供給される。

撮像信号処理部２１３は、撮像部２１２から供給された撮像信号Ｓｖに対して種々の信号処理を行い、映像データＤｖを生成する。例えば、撮像信号Ｓｖのあるレベル以上を圧縮するニー補正、撮像信号Ｓｖのレベルを設定されたγカーブに従って補正するγ補正、撮像信号Ｓｖの信号レベルが所定範囲となるように制限するホワイトクリップ処理やブラッククリップ処理等を行う。そして映像データＤｖは、データ処理部２１４に供給される。

データ処理部２１４は、クライアント端末３等との通信を行なう際のデータ量を少なくするため、映像データＤｖに対して符号化処理を行なって映像データＤｔを生成する。さらに、データ処理部２１４は、生成した映像データＤｔを所定のデータ構造としてクライアント端末３に供給する。

撮像動作切替部２２は、クライアント端末３から入力される切替指示信号ＣＡに基づき、最適な撮像映像が得られるよう監視カメラ１の動作切替を行なう。撮像動作切替部２２は、例えば撮像部の撮像方向の切替を行なう他、レンズ部２１１に制御信号ＣＭａを供給してズーム比やアイリスの切替を行わせたり、撮像部２１２と撮像信号処理部２１３に制御信号ＣＭｂを供給して撮像映像のフレームレートの切替を行わせたり、さらにはデータ処理部２１４に制御信号ＣＭｃを供給して映像データの圧縮率の切替を行わせる等の処理を行なう。

メタデータ生成部２３は、監視対象に関する情報を示したメタデータＤｍの生成を行なう。動体を監視対象とする場合であれば、映像データ生成部２１で生成された映像データＤｖを用いて動体の検出を行い、動体が検出されているか否かを示す動体検知情報や、検出した動体の位置を示す動***置情報を生成し、これをオブジェクト情報としてメタデータに含める。このとき検出されたオブジェクトには、一意のＩＤが割り振られる。

なお、監視対象に関する情報は、動体に関連した情報に限られるものではなく、監視カメラで監視する領域の状態を示す情報であってもよい。例えば、監視する領域の温度や明るさ等の情報であってもよい。あるいは、監視する領域内で行われた操作等の情報であってもよい。温度を監視対象とする場合には温度測定結果をメタデータに含め、明るさを監視対象とする時には、メタデータ生成部２３は映像データＤｖに基づいて例えば監視映像の平均輝度を判別し、この判別結果をメタデータに含めるようにすればよい。

さらに、ＡＴＭ（Automated Teller Machine）やＰＯＳ（Point Of Sales）端末等を対象としてユーザが行なった操作を監視対象とする場合には、操作キーや操作パネル等を通じて行なわれたユーザ操作をメタデータに含めるようにすればよい。

また、メタデータ生成部２３は、撮像動作切替部２２から供給された撮像動作ＱＦ（例えば監視対象を撮像した時の撮像方向やズーム状態、映像データ生成部の設定情報等）や、時刻情報等をメタデータに含めることで、メタデータが生成された時刻や状況を記録として残すことができる。

ここで、映像データとメタデータの構成について説明する。映像データとメタデータは、それぞれデータ本体とリンク情報とで構成されている。データ本体は、映像データの場合、監視カメラ１ａ，１ｂが撮影した監視映像の映像データである。またメタデータの場合、監視対象を示す情報等と、この情報の記述方式を定義した属性情報を記述したものである。一方、リンク情報とは、映像データとメタデータとの関連付けを示す関連付け情報と、この情報の内容の記述方式を定義した属性情報等を記述したものである。

関連付け情報としては、例えば映像データを特定するためのタイムスタンプやシーケンス番号を使用する。タイムスタンプとは、映像データの生成時刻を与える情報（時刻情報）であり、シーケンス番号とは、コンテンツデータの生成順序を与える情報（順序情報）である。タイムスタンプの等しい監視映像が複数存在するような場合、タイムスタンプの等しい映像データの生成順序を識別することができる。また、関連付け情報には、映像データを生成する機器を特定するための情報（例えば製造会社名や機種名、製造番号等）を使用するものとしてもよい。

リンク情報やメタデータ本体の記述には、ウェブ（ＷＷＷ：World Wide Web）上で交換される情報を記述するために定義されたマークアップ言語を用いるものとする。マークアップ言語を用いると、ネットワーク２を介した情報の交換を容易に行うことができる。さらに、マークアップ言語として、例えば文書や電子データの交換に利用されているＸＭＬ（Extensible Markup Language）を用いることで、映像データとメタデータの交換も容易に行うことができる。ＸＭＬを用いるものとした場合、情報の記述方式を定義した属性情報は、例えばＸＭＬスキーマを使用する。

監視カメラ１ａ，１ｂで生成した映像データやメタデータは、１つのストリームとしてクライアント端末３に供給するものとしてもよく、映像データとメタデータを別のストリームで非同期にクライアント端末３に供給するものとしてもよい。

なお、図１（ｂ）に示すように、サーバ機能とクライアント機能を分割してサーバ１１とクライアント端末１２で構成された監視システムに適用しても、上述した図１（ａ）の例と同様の機能、効果を得ることができる。サーバ機能とクライアント機能を分割することで、処理性能が高いサーバ１１で大量にデータを処理し、処理性能が低いクライアント端末１２では専ら処理結果を閲覧するといった使い分けが可能となる。このように機能分散することでより柔軟性に富んだ監視システム１００を構築できるという効果がある。

次に、図１（ａ）に示したクライアント端末３の詳細な構成を、図３の機能ブロック図を参照して説明する。ただし、クライアント端末３の各機能ブロックは、ハードウェアで構成するものとしてもよく、またソフトウェアで構成するものとしてもよい。

クライアント端末３は、監視カメラ１ａ，１ｂとのデータ伝送を行なうネットワーク接続部１０１と、監視カメラ１ａ，１ｂから映像データを取得する映像バッファ部１０２と、監視カメラ１ａ，１ｂからメタデータを取得するメタデータバッファ部１０３と、フィルタ処理に応じたフィルタ設定を蓄積するフィルタ設定データベース１０７と、メタデータのフィルタ処理を行うフィルタ部としてのメタデータフィルタ部１０６と、メタデータフィルタの較正を行なうメタデータフィルタ較正部１１３と、監視カメラ１ａ，１ｂに設定変更を通知するルール切替部１０８と、映像データを蓄積する映像データ蓄積データベース１０４と、メタデータを蓄積するメタデータ蓄積データベース１０５と、映像データやメタデータ等を表示する表示部１１１と、映像データを表示部１１１で再生させるための処理を行なう映像データ処理部１０９と、メタデータを表示部１１１で再生させるための処理を行なうメタデータ処理部１１０と、メタデータと映像データとの再生を同期させる再生同期部１１２とを備えている。

映像バッファ部１０２は、監視カメラ１ａ，１ｂから映像データを取得し、符号化されている映像データの復号化処理を行う。そして、映像バッファ部１０２は、得られた映像データを映像バッファ部１０２に設けられている図示しないバッファに保持する。さらに、映像バッファ部１０２は、図示しないバッファに保持している映像データを順次、画像を表示する表示部１１１に供給する処理も行う。このように図示しないバッファに映像データを保持することで、監視カメラ１ａ，１ｂからの映像データの受信タイミングに依らず、表示部１１１に対して順次映像データを供給できる。また、映像バッファ部１０２は、後述するルール切替部１０８から供給される録画要求信号に基づき、保持している映像データを映像データ蓄積データベース１０４に蓄積させる。なお、映像データ蓄積データベース１０４には、符号化されている映像データを蓄積するようにし、後述する映像データ処理部１０９で復号化を行うようにしてもよい。

メタデータバッファ部１０３は、メタデータバッファ部１０３に設けられている図示しないバッファに、監視カメラ１ａ，１ｂから取得したメタデータを保持する。また、メタデータバッファ部１０３は、保持しているメタデータを表示部１１１に順次供給する。また、図示しないバッファに保持しているメタデータを後述するメタデータフィルタ部１０６に供給する処理も行う。このように図示しないバッファにメタデータを保持することで、監視カメラ１ａ，１ｂからのメタデータの受信タイミングに依らず、表示部１１１に対して順次メタデータを供給できる。また、映像データと同期させてメタデータを表示部１１１に供給できる。さらに、メタデータバッファ部１０３は、監視カメラ１ａ，１ｂから取得したメタデータをメタデータ蓄積データベース１０５に蓄積させる。ここで、メタデータをメタデータ蓄積データベース１０５に蓄積する際に、メタデータと同期する映像データの時刻情報を付加しておく。このようにすることで、メタデータの内容を読み出して時刻を判別しなくとも、付加されている時刻情報を利用して、所望の時刻のメタデータをメタデータ蓄積データベース１０５から読み出すことが可能となる。

フィルタ設定データベース１０７は、後述するメタデータフィルタ部１０６で行うフィルタ処理に応じたフィルタ設定を蓄積するとともに、フィルタ設定をメタデータフィルタ部１０６に供給する。このフィルタ設定とは、アラーム情報等の出力や監視カメラ１ａ，１ｂの撮像動作の切替を行う必要があるか否かの判断基準等を、メタデータに含まれている監視対象に関する情報ごとに示す設定である。このフィルタ設定を用いてメタデータのフィルタ処理を行うことで、監視対象に関する情報ごとにフィルタ処理結果を示すことができる。フィルタ処理結果には、アラーム情報等の出力を行う必要があることや、監視カメラ１ａ，１ｂの撮像動作の切替が必要であることが示される。

メタデータフィルタ部１０６は、フィルタ設定データベース１０７に蓄積されているフィルタ設定を用いてメタデータのフィルタ処理を行い、アラームを発生させるかどうかを判断する。そして、メタデータフィルタ部１０６は、メタデータバッファ部１０３で取得したメタデータ、あるいはメタデータ蓄積データベース１０５から供給されたメタデータのフィルタ処理を行い、フィルタ処理結果をルール切替部１０８に通知する。

メタデータフィルタ較正部１１３は、メタデータフィルタ部１０６を通して得られる、“オブジェクト数”や“累積オブジェクト数”等のアラーム情報の精度を向上させるための処理を行なう。メタデータフィルタ較正部１１３での処理の詳細については後述する。

ルール切替部１０８は、メタデータフィルタ部１０６から通知されたフィルタ処理結果に基づいて、設定変更信号を生成し、監視カメラ１ａ，１ｂに設定変更を通知する。例えば、メタデータフィルタ部１０６から得られたフィルタ処理結果に基づき、監視に適した監視映像が得られるように監視カメラ１ａ，１ｂの動作を切り替える指令を出力する。また、ルール切替部１０８は、フィルタ処理結果に基づいて映像データ蓄積データベース１０４に録画要求信号を供給して、映像バッファ部１０２で取得した映像データを映像データ蓄積データベース１０４に蓄積させる。

映像データ蓄積データベース１０４は、映像バッファ部１０２で取得された映像データを蓄積する。メタデータ蓄積データベース１０５は、メタデータバッファ部１０３で取得されたメタデータを蓄積する。

映像データ処理部１０９は、映像データ蓄積データベース１０４に蓄積されている映像データを表示部１１１に表示させるための処理を行う。即ち、映像データ処理部１０９は、ユーザによって指示された再生位置から順次映像データを読み出して、読み出した映像データを表示部１１１に供給する。また、映像データ処理部１０９は、再生している映像データの再生位置（再生時刻）を再生同期部１１２に供給する。

メタデータと映像データとの再生を同期させる再生同期部１１２は、映像データ処理部１０９から供給された再生位置と、メタデータ処理部１１０で、メタデータ蓄積データベース１０５に蓄積されているメタデータを再生するときの再生位置が同期するように、同期制御信号をメタデータ処理部１１０に供給して、メタデータ処理部１１０の動作を制御する。

メタデータ処理部１１０は、メタデータ蓄積データベース１０５に蓄積されているメタデータを表示部１１１に表示させるための処理を行う。即ち、メタデータ処理部１１０は、ユーザによって指示された再生位置から順次メタデータを読み出して、読み出したメタデータを表示部１１１に供給する。また、映像データとメタデータの双方を再生する場合、メタデータ処理部１１０は、上述したように、再生同期部１１２から供給された同期制御信号に基づいて再生動作を制御して、映像データに同期したメタデータを表示部１１１に出力する。

表示部１１１は、映像バッファ部１０２から供給されたライブ（生）の映像データや映像データ処理部１０９から供給された再生映像データ、メタデータバッファ部１０３から供給されたライブのメタデータやメタデータ処理部１１０から供給された再生メタデータを表示する。また、表示部１１１は、メタデータフィルタ部１０６からのフィルタ設定に基づき、監視映像やメタデータの映像やフィルタ設定の映像のいずれか、あるいはこれらを合成した映像を用いて、フィルタ処理結果に基づく監視結果を示す映像を表示（出力）する。

また、表示部１１１は、グラフィカルユーザインタフェース（ＧＵＩ：Graphical User Interface）としても機能する。使用者は、図示しない操作キーやマウス、リモートコントローラ等を用い表示部１１１に表示されたフィルタ設定メニュー等を選択することでフィルタを定義したり、各処理部の情報やアラーム情報の解析結果等をＧＵＩ表示したりすることができる。

図４は、本実施形態におけるクライアント端末３の表示部１１１による映像データとメタデータの表示例を示したものである。図４に示すように、監視カメラ１ａ，１ｂで撮像された映像データ１００１及びメタデータ１００２がネットワーク２を介してクライアント端末３へ供給される。監視カメラ１ａ，１ｂで生成されるメタデータの種類としては、時間、映像解析結果の動体情報（例えば、位置、種類、ステータスなど）、現在の監視カメラの状態などがある。また、クライアント端末もしくはサーバが持つソフトウェアモジュールを備え、監視カメラがネットワークを介さないで動作する場合も有効である。

クライアント端末３は、前述のように監視カメラ１ａ，１ｂから供給された映像データ１００１及びメタデータ１００２を取得、解析、保存する。クライアント端末３に入力された映像データ１００１及びメタデータ１００２は、映像データ蓄積データベース１０４、メタデータ蓄積データベース１０５に保存される。クライアント端末３は、フィルタ設定機能を有しており、表示部１１１に表示されるフィルタ設定画面（フィルタ設定メニュー）を通して各種フィルタの設定が行なわれ、その設定情報がフィルタ設定データベース１０７に保存される。

図４に示すフィルタ設定表示画面１００３ではフィルタの設定により生成されたラインＬＮ及びエリアＰＡが表示されている。矢印ＰＢは、ラインＬＮに対して検出すべきPassing（通過）方向を示している。

監視映像１００４は、表示部１１１によって映像データ１００１とフィルタとが重畳して表示された様子を示してある。ラインＬＮはPassing（通過）のフィルタとして設定してあり、このフィルタを通過したオブジェクトをカウントする設定がされている場合には、ラインＬＮを通過したオブジェクトの数が算出される。この画面においては、ラインＬＮを通過したオブジェクトとしてＭＢ１及びＭＢ２が検出されるため、オブジェクト数は２となる。

ところが、ある物体が監視カメラ１ａ，１ｂで認識され、オブジェクトとして生成される際に、オブジェクトは、図４でＭＢ１やＭＢ２として示されるように多角形（この場合は四角形）で認識されるため、オブジェクト同士が近接している場合等には、監視カメラ側で複数のオブジェクトを１つのオブジェクトとして認識してしまうことがある。

図５は、ある場所を監視カメラが天井から垂直下向きに撮像した場合の、映像の１フレームを示したものである。ここではラインＬＮ０がフィルタ（Passing）として設定してあり、ラインＬＮ０を通過するオブジェクトの数がカウントされる構成としてある。図５に示される画面上では、通行人Ｐ１〜Ｐ３を確認できるが、監視カメラにおいては、通行人Ｐ１〜Ｐ３が、オブジェクトＭＢ３及びオブジェクトＭＢ４の２つのオブジェクトとして認識されている様子が示されている。通行人Ｐ２とＰ３が近接していることにより、１つのオブジェクトとして認識されたためであり、通行人Ｐ２及びＰ３がオブジェクトＭＢ４として認識されたままラインＬＮ０を通過すると、ラインＬＮ０ではオブジェクト数が１としてカウントされてしまう。

本実施の形態においては、メタデータフィルタ部１０６で実際にフィルタ処理が行なわれる前段階で、フィルタ設定データベース１０７より抽出したフィルタ又は、新たに設定したフィルタに対して、その精度をより向上させることが可能であると想定される位置に仮想的なフィルタを自動で設定し、仮想的なフィルタを用いてフィルタ処理を行ない、より精度の高い情報を得ることができた場合に、仮想的に設定したフィルタを正式なフィルタとして採用することで、フィルタの較正処理（キャリブレーション）を行い、フィルタ処理結果の誤差を軽減するようにしたことを特徴とするものである。

まず、図６のフローチャートを参照して、メタデータフィルタ較正部１１３における、フィルタの較正処理について説明する。本例では、ある境界線（ライン）をオブジェクトが超えた場合に、その数をカウントするPassing（通過）のフィルタに対して較正を行なう場合の処理例を説明する。まず、フィルタ較正用に用いる映像を、映像データ蓄積データベース１０４もしくは映像バッファ部１０２から選択する（ステップＳ１１）。このとき選択する映像は、時間的にある一定の長さを持った映像データであるものとする。

次に、較正を行ないたい対象のフィルタを、フィルタ設定データベース１０７より選択、もしくは新規に設定する（ステップＳ１２）。このとき選択又は新規に設定されたフィルタは、例えば図５におけるラインＬＮ０のように画面中に固定のラインとして表示される。（新規設定の場合には、このようなラインを画面上に設定する）

次に、較正用映像データに、選択あるいは新規に設定したフィルタを適用した場合のオブジェクトの数を算出する（ステップＳ１３）。つまり、較正用映像データの開始から終了までの時間に、較正用画像の中の物体が、ステップＳ１２で選択したフィルタ（この場合はライン）上を通過する正確な数Ｔを算出する。正確な数とは、フィルタとして設定されたライン上を物体が通過した実質的な数であり、図５を用いて前述したように、物体同士が近接している場合においても、個々の物体を１つの物体としてカウントして得られる数である。正確な数の算出方法としては、ライン上を通過する物体の正確な数あるいは正確な数の近似値を算出可能な専用のシステムを用いるか、又は、人が目視で正確な数をカウントする手法を用いてもよい。

正確な数Ｔが求められた後は、ステップＳ１２で選択又は新規に設定されたフィルタに対して、その周囲に複数の仮想的なフィルタを補足的に設定することにより、それぞれのフィルタを通して得られたオブジェクトの数の多数決を採った値（最頻値）が、正確な数Ｔに近い値となるよう、メタデータフィルタ較正部１１３によって仮想的なフィルタの位置が選択され、配置される（ステップＳ１４）。この場合のフィルタ設定例を、図７に示してある。ラインＬＮ０は、ステップＳ１２で選択又は新規に設定されたフィルタであり、ラインＬＮ１とラインＬＮ２が、ここで新たに仮想的なフィルタとして設定されたフィルタである。

次に、メタデータフィルタ部１０６によって実際にフィルタ処理を行なわせ（ステップＳ１５）、メタデータフィルタ較正部１１３がラインＬＮ０〜ＬＮ２のそれぞれのフィルタで得られたオブジェクト数を抽出する（ステップＳ１６）。そして、ラインＬＮ０〜ＬＮ２のそれぞれのフィルタで得られたオブジェクト数の最頻値（モード）Ｆを算出する（ステップＳ１７）。ここで、正確な数Ｔと各フィルタで得られたオブジェクト数の最頻値Ｆとが比較され（ステップＳ１８）、Ｔ≠ＦであればステップＳ１４に戻り、Ｔ＝Ｆになるまで作業が続けられる。Ｔ＝Ｆであれば、仮想的に設定した複数のフィルタを正式なフィルタとして採用し、フィルタ設定データベース１０７に記憶させる（ステップＳ１９）。この場合、ＴとＦとが完全に一致するＴ＝Ｆでなく、Ｔに対してＦが近似値であるＴ≒Ｆの場合にも、仮想的なフィルタを正式なフィルタとして採用するようなアルゴリズムとしてもよい。

図７は、仮想的なフィルタが適切な位置に配置された場合の例として示された図である。ラインＬＮ０は、図６のステップＳ１２で選択又は新規に設定されたフィルタであり、仮想的なフィルタとして、ラインＬＮ１とＬＮ２とを追加してある（図６のステップＳ１４に対応）。フィルタ較正用映像としては、人Ｐ１〜人Ｐ３が画面下から上の方向に歩行する様子を天井から監視カメラが垂直下向き方向に撮影した映像データを使用してあり、図７〜図１５の各図が、フィルタ較正用映像の１フレームを示している。図７〜図１５の順番は、時系列での順番である。また、各図の右側に、各フィルタで得られたオブジェクト数のその時点での累計値を表示してある。

図７では、監視カメラによって、人Ｐ１がオブジェクトＭＢ３として認識され、人Ｐ２がオブジェクトＭＢ４として、人Ｐ３がオブジェクトＭＢ５として認識された様子を示してある。この時点では、いずれのオブジェクトもまだラインＬＮ０〜ＬＮ２を通過していないため、それぞれのフィルタで得られたオブジェクト数（つまり、それぞれのラインを通過したオブジェクト数）は、０として表示してある。

図８は、図７の画像の次のフレームの画像であり、オブジェクトＭＢ３として認識されている人Ｐ１が、仮想的に設定されたフィルタであるラインＬＮ２を通過している様子が示されている。このため、ラインＬＮ２での累積オブジェクト数が１となっている。

図９は、オブジェクトＭＢ３として認識されている人Ｐ１が、ラインＬＮ０を通過し、オブジェクトＭＢ４として認識されている人Ｐ２と、オブジェクトＭＢ５として認識されている人Ｐ３とがラインＬＮ２を通過中の様子を示してある。ラインＬＮ０での累積オブジェクト数は１となり、ラインＬＮ２での累積オブジェクト数は、この時点までにラインＬＮ２を通過したオブジェクトは、オブジェクトＭＢ３、ＭＢ４、ＭＢ５であるため、３となっている。

このように、人とオブジェクトとが１対１としてきちんと認識されれば、フィルタを通して得られるオブジェクト数と、フィルタであるラインを実際に通過した人の数とに誤差が生じることは無い。ところが、監視対象である人や物の動体のそれぞれが近接している場合には、異なる物体同士が監視カメラによって１つのオブジェクトとして認識されてしまうことがある。また、監視対象が人である場合には手や足などの局部の動きを検知してしまった場合に、１人の人間であっても別々のオブジェクトとして認識されてしまうこともある。図１０では、人Ｐ２と人Ｐ３とが１つのオブジェクトＭＢ４として認識されてしまっている様子が示されている。

図１０の時点で１つのオブジェクトＭＢ４として認識された人Ｐ２及び人Ｐ３が、次のフレームである図１１でも、オブジェクトＭＢ４と認識されたままでラインＬＮ０を通過している。このため、図１１の時点におけるラインＬＮ０での累積オブジェクト数は、オブジェクトＭＢ３とオブジェクトＭＢ４との合計値である２となっている。本来、ラインＬＮ０とラインＬＮ２での累積オブジェクト数は同数であるはずだが、ラインＬＮ０とラインＬＮ２との位置の違いにより、認識されるオブジェクトの数が異なってしまっている。

図１２では、オブジェクトＭＢ３として認識されている人Ｐ１がラインＬＮ１を通過中の様子が示されており、ラインＬＮ１における累積オブジェクト数は１となっている。図１３では、人Ｐ２がオブジェクトＭＢ６として、又、人Ｐ３がオブジェクトＭＢ４として、再び別々のオブジェクトとして認識された様子を示してある。次のフレームである図１４では、オブジェクトＭＢ４として認識されている人Ｐ３がラインＬＮ１を通過した様子が示してあり、ラインＬＮ１での累積オブジェクト数は、オブジェクトＭＢ２とオブジェクトＭＢ４の合計２となっている。

図１５では、オブジェクトＭＢ６として認識されている人Ｐ２が、ラインＬＮ１条を通過中の様子を示してあり、ラインＬＮ１での累計オブジェクト数は、オブジェクトＭＢ３，Ｍ４，及びＭＢ６の合計である３となっている。ここまでの処理は、図６のフローチャートでいえば、フィルタ実行のステップＳ１５及び、各フィルタ処理で得られたオブジェクト数の抽出を行なうステップＳ１６に対応する。ここで、各フィルタ処理で得られたオブジェクト数の最頻値Ｆが求められるわけだが（図６のステップＳ１７に対応）、図７の例では、ラインＬＮ１での累積オブジェクト数＝３、ラインＬＮ０での累積オブジェクト数＝２、ラインＬＮ１での累積オブジェクト数＝３であるため、最頻値は３となる。

図７〜図１５で実際にラインＬＮ０を通過した物体（人）の数は３であり、この値を予めＴとして用意しておき、ＴとＦとの比較を行なうことにより（図６のステップＳ１８に対応）、仮想的に設定したフィルタの配置位置の適切さを測ることができる。この場合、Ｔ＝Ｆ＝３であるため、仮想的に設置したフィルタ及び、較正の対象として選択又は新規に設定したフィルタの配置位置は適切であると判断される。よって、ラインＬＮ０〜ラインＬＮ２を正式なフィルタとして採用し、フィルタ設定データベース１０７に保存する（図６のステップＳ１９に対応）。ＴとＦとの誤差が大きい場合には、仮想的に設けたフィルタとしてのラインの位置を変更して再設置し、Ｔ＝Ｆ（あるいはＴ≒Ｆ）になるまで、図６におけるステップＳ１５〜Ｓ１８までの動作を繰り返す。

このようにして求められたフィルタを用いて実際のフィルタ処理を行なうことで、実際にフィルタ処理を行なった結果得られる累積オブジェクト数等の値が、実情に即した正確な値又はそれに近い値となる。

なお、図７〜図１５の例ではフィルタを３つ設定した例を示してあるが、設定するフィルタの数はこれに限られない。その場合、各フィルタで得られるオブジェクト数をＣ（１）〜Ｃ（ｎ）（ｎは整数）とすると、最頻値Ｆは、最頻値を求める関数ｆに代入することにより、Ｆ＝ｆ（Ｃ（１）…Ｃ（ｎ））として求められる。

また、仮想的なフィルタの設定を行なうにあたり、最適なフィルタ設定ができるよう、較正用映像データの再生速度の変更やズームの調整等を行うようにしてもよい。

さらに、上述した実施形態例における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムを、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させる。

また、上述した実施の形態においては、監視カメラから出力されるメタデータに対してフィルタ処理を行なう構成としたが、フィルタ処理の対象はメタデータに限定されるものではなく、他の様々な形態のデータに対してフィルタ処理を行なう場合にも適用可能である。例えば、映像データそのものに対して、直接フィルタ処理を行うようにして、解析などを行うようにしてもよい。

本発明の一実施の形態による監視システムの構成例を示す構成図である。 本発明の一実施の形態による監視カメラの内部構成例を示すブロック図である。 本発明の一実施の形態によるクライアント端末の内部構成例を示すブロック図である。 本発明の一実施の形態による映像データとメタデータの表示例を示す説明図である。 本発明の一実施の形態による監視画像の例を示す説明図である。 本発明の一実施の形態によるフィルタ較正処理例を示すフローチャートである。 本発明の一実施の形態による監視画像の例を示す説明図である。 本発明の一実施の形態による監視画像の例を示す説明図である。 本発明の一実施の形態による監視画像の例を示す説明図である。 本発明の一実施の形態による監視画像の例を示す説明図である。 本発明の一実施の形態による監視画像の例を示す説明図である。 本発明の一実施の形態による監視画像の例を示す説明図である。 本発明の一実施の形態による監視画像の例を示す説明図である。 本発明の一実施の形態による監視画像の例を示す説明図である。 本発明の一実施の形態による監視画像の例を示す説明図である。

符号の説明

１…監視カメラ、２…ネットワーク、３…クライアント端末、２１…映像データ生成部、２２…撮像動作切替部、２３…メタデータ生成部、１００…監視システム、１０１…ネットワーク接続部、１０２…映像バッファ部、１０３…メタデータバッファ部、１０４…映像データ蓄積データベース、１０５…メタデータ蓄積データベース、１０６…メタデータフィルタ部、１０７…フィルタ設定データベース、１０８…ルール切替部、１０９…映像データ処理部、１１０…メタデータ処理部、１１１…表示部、１１２…再生同期部、１１３…メタデータフィルタ較正部、２１１…レンズ部、２１２…撮像部、２１３…撮像信号処理部、２１４…データ処理部、１００１…映像データ、１００２…メタデータ、１００３…フィルタ設定表示画面、１００４…監視映像、ＬＮ…境界線、ＭＢ１,ＭＢ２,ＭＢ３…オブジェクト、ＰＡ…領域、ＰＢ…矢印

Claims (6)

1. 監視用撮像装置が撮像して出力する映像データを使用して監視を行う監視装置において、
   前記映像データを解析するためのフィルタ設定情報を保存するフィルタ設定部と、
   前記映像データが、前記フィルタ設定部に保存されたフィルタのフィルタ条件に合致するかの判断を行い、条件に合致した場合に前記映像データから検知されたオブジェクトの数を計数して該計数結果を出力するフィルタ処理を行なうフィルタ部と、
   前記フィルタ設定部から読み出した所定のフィルタ又は新規に設定したフィルタに対応させて、少なくとも１つの仮想的なフィルタを配置し、前記フィルタ設定部より読み出した所定のフィルタ又は新規に設定したフィルタと、該仮想的なフィルタとを用いたフィルタ処理を前記フィルタ部に行なわせ、前記フィルタ処理の結果得られた各値の最頻値を算出し、該最頻値が、予め求めておいた前記フィルタ処理の結果得られるべき真の値と同一又は近似すると判断した場合に、該仮想的なフィルタを正式なフィルタとして前記フィルタ設定部に保存するフィルタ較正処理を行なうフィルタ較正部とを備えたことを特徴とする
   監視装置。
2. 請求項１記載の監視装置において、
   前記フィルタは、前記監視用撮像装置が映像データと共に出力する、監視対象に関する情報を示したメタデータに対して設定されたフィルタであることを特徴とする
   監視装置。
3. 請求項１記載の監視装置において、
   前記仮想的なフィルタは、前記フィルタ設定部より読み出したフィルタ又は新規に設定したフィルタを用いて行なうフィルタ処理の精度を、より向上させると想定される位置に配置されることを特徴とする
   監視装置。
4. 請求項３記載の監視装置において、
   前記フィルタ較正部による前記仮想的なフィルタの設定は、前記最頻値と真の値とが同一又は近似すると判断できるまで、前記仮想的なフィルタの設定位置を変更して繰り返し行なわれることを特徴とする
   監視装置。
5. 監視用撮像装置から映像データを取得して、該映像データから検知された物体の数を計数して該計数結果を出力するフィルタ処理を行う場合に、該フィルタ処理に用いるフィルタの較正処理を行なうフィルタ較正方法において、
   前記フィルタの設定情報を保存し、
   前記保存されたフィルタの中から読み出した所定のフィルタ又は、新規に設定したフィルタに対応させて、少なくとも１つの仮想的なフィルタを設定し、
   前記所定のフィルタ又は新規に設定したフィルタと、該仮想的なフィルタとを用いたフィルタ処理を行い、前記フィルタ処理の結果得られた各値の最頻値を算出し、該最頻値が、予め求めておいた前記フィルタ処理の結果得られるべき真の値と同一又は近似すると判断した場合に、該仮想的なフィルタを正式なフィルタとして保存することを特徴とする
   フィルタ較正方法。
6. 監視用撮像装置から映像データを取得して、該映像データから検知された物体の数を計数して該計数結果を出力するフィルタ処理を行う場合に、該フィルタ処理に用いるフィルタの較正処理を行なうフィルタ較正プログラムにおいて、
   前記フィルタの設定情報を保存し、
   前記保存されたフィルタの中から読み出した所定のフィルタ又は、新規に設定したフィルタに対応させて、少なくとも１つの仮想的なフィルタを設定し、
   前記所定のフィルタ又は新規に設定したフィルタと、該仮想的なフィルタとを用いたフィルタ処理を行い、前記フィルタ処理の結果得られた各値の最頻値を算出し、該最頻値が、予め求めておいた前記フィルタ処理の結果得られるべき真の値と同一又は近似すると判断した場合に、該仮想的なフィルタを正式なフィルタとして保存することを特徴とする
   フィルタ較正プログラム。