JP2020136855A - 監視システム、監視支援装置、監視方法、監視支援方法及びプログラム - Google Patents

Abstract

【課題】検索対象の領域における人物検索が困難な場合においても、検索漏れを低減することを目的とする。【解決手段】異なる位置に設置された複数のカメラにより撮影された映像に基づいて、人物を監視する監視システムであって、複数のカメラの設置情報と、検索対象として設定された対象領域と、に基づいて、複数のカメラの中から、少なくとも１つのカメラを、対象領域を基準として定まる周辺領域の撮影を担当する担当カメラとして決定する担当カメラ決定手段と、担当カメラにより撮影された周辺領域の映像に基づいて、担当カメラの撮影方向を制御するカメラ制御手段とを有する。【選択図】図４

Description

本発明は、監視システム、監視支援装置、監視方法、監視支援方法及びプログラムに関する。

近年の監視カメラシステムの普及により、様々な場所で人物を撮影するケースが増加している。監視カメラシステムでは、リアルタイムで危険予知や事件発生の検知を行うだけでなく、蓄積された画像を見ることで、事件の容疑者や共犯者、迷子や行方不明者といった人物の捜索を網羅的に行うことができる。大量に蓄積された画像から高速に漏れを少なく対象を検索する技術として、顔照合技術や人物照合技術の検討が進んでいる。いずれの技術も、予め撮影された映像中から同一人物を照合するための特徴情報を抽出して蓄積しておき、指定された検索対象の人物の映像から同様に抽出した特徴情報と比較することで、同一人物か否かを判定する。

従来の人物の検索では、映像から検索可能な特徴量を抽出する必要がある。しかし、検索対象の領域において人が混雑しているため必要な特徴量に対応した映像を撮影できないような状況においては、精度よく人物検索を行うことができない。これに対し、特許文献１には、第１のカメラにより撮影された撮影画像において検出された人物の数が所定値よりも大きい場合に、第１のカメラの撮影領域を第２のカメラと第３のカメラとで分担して撮影する技術が開示されている。これにより、複数の人物を効率的に監視することができる。

特開２００５−１１７５４２号公報

しかしながら、検索対象の領域における混雑度が高い場合には、複数のカメラで分担しても、必要な特徴量を抽出できないこともある。また、検索対象の領域を撮影するカメラが設置されていない等、検索対象の領域の撮影が困難な場合もある。

本発明はこのような問題点に鑑みなされたもので、検索対象の領域における人物検索が困難な場合においても、検索漏れを低減することを目的とする。

そこで、本発明は、異なる位置に設置された複数のカメラにより撮影された映像に基づいて、人物を監視する監視システムであって、前記複数のカメラの設置情報と、検索対象として設定された対象領域と、に基づいて、前記複数のカメラの中から、少なくとも１つのカメラを、前記対象領域を基準として定まる周辺領域の撮影を担当する担当カメラとして決定する担当カメラ決定手段と、前記担当カメラにより撮影された前記周辺領域の映像に基づいて、前記担当カメラの撮影方向を制御するカメラ制御手段とを有することを特徴とする。

本発明によれば、検索対象の領域における人物検索が困難な場合においても、検索漏れを低減することができる。

第１の実施形態に係る監視システムの全体構成図である。 監視支援装置のハードウェア構成図である。 カメラ及び監視装置の機能構成図である。 監視支援処理を示すシーケンス図である。 監視領域の一例を示す図である。 監視領域の一例を示す図である。 監視領域の一例を示す図である。 第４の実施形態に係る監視支援装置の機能構成図である。 監視領域の一例を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。

（第１の実施形態）
図１は、第１の実施形態に係る監視システムの全体構成図である。監視システムは、複数のカメラ１００と、監視装置１１０と、監視支援装置１２０と、を有している。監視装置１１０は、複数のカメラ１００と通信可能であり、また監視支援装置１２０とも通信可能である。監視装置１１０とカメラ１００及び監視支援装置１２０は、例えばＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）等により接続されているものとする。

複数のカメラ１００は、監視領域に設置され、各カメラ１００により得られた映像は、監視装置１１０に送信される。監視装置１１０は、各カメラ１００を制御し、また各カメラ１００の映像を蓄積する。監視装置１１０はまた、カメラ１００の映像において人物検索を行う。監視支援装置１２０は、監視装置１１０から映像を取得し、映像に基づいて、人物検索を支援するための処理を行う。

図２は、監視支援装置１２０のハードウェア構成図である。監視支援装置１２０は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、外部記憶装置２０４と、入力デバイスインタフェース２０５と、出力デバイスインタフェース２０６と、を有している。ＣＰＵ２０１は、監視支援装置１２０の全体を制御する。ＲＯＭ２０２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ２０３は、外部記憶装置２０４などから供給されるプログラムやデータを一時記憶する。外部記憶装置２０４は、カメラ１００に固定して設置されたハードディスクドライブ（ＨＤＤ）やフラッシュメモリドライブ（ＳＳＤ）、又はカメラ１００に着脱可能な光ディスク、磁気や光カード、ＩＣカード、メモリカードなどである。外部記憶装置２０４により、処理結果を永続化したり、大規模データを保存したりすることができる。

入力デバイスインタフェース２０５は、ユーザの操作を受けてデータを入力するポインティングデバイスやキーボードなどの入力デバイス２０８とのインタフェースである。出力デバイスインタフェース２０６は、カメラ１００のプログラムの実行結果を出力するための、モニタなどの出力デバイス２０９とのインタフェースである。２０７は、カメラ１００の各ユニットを通信可能に接続するシステムバスである。監視装置１１０のハードウェア構成は、図２を参照しつつ説明した監視支援装置１２０のハードウェア構成と同様である。

図３は、カメラ１００及び監視装置１１０の機能構成図である。はじめに監視装置１１０について説明する。監視装置１１０は、通信処理部３０１と、映像データベース（ＤＢ）３０２と、人物検索部３０３と、カメラ制御部３０４と、を有している。

通信処理部３０１は、外部装置との通信を制御する。映像ＤＢ３０２は、各カメラ１００から受信した映像を蓄積する。人物検索部３０３は、映像ＤＢ３０２に蓄積されている映像において、人物検索を行う。人物検索部３０３は、例えば、カメラ１００により撮影された映像から人物部分を抽出し、抽出した人物映像から色成分、エッジ情報、方向、動き等、特徴的な要素をベクトル化した情報（特徴ベクトル）を生成し、このベクトルを予め蓄積しておく。そして、人物検索部３０３は、検索対象の映像と、蓄積されたベクトルとを用いて、蓄積しておいた上で距離近傍探索によって人物検索を行う。人物映像からの特徴ベクトルの生成には、近年であれば深層学習を利用した方法が広く用いられており、そのような手法を適用して抽出すればよい。なお、人物検索部３０３は、人物検索処理を行えばよく、人物検索処理における具体的な処理は実施形態に限定されるものではない。

カメラ制御部３０４は、各カメラ１００の制御性能に応じたパン・チルト・ズーム（以下、ＰＴＺと称する）を制御する。なお、カメラ制御部３０４は、複数のカメラ１００を識別可能であって、各カメラ１００を所望の状態に制御することができるものとする。カメラ制御部３０４は、通信処理部３０１を介して監視支援装置１２０から所定のカメラ１００に対する制御指示を取得し、制御指示に従い、制御指示に係るカメラ１００を制御する。

また、監視装置１１０の外部記憶装置２０４等の記憶部には、設定情報３０５が記憶されているものとする。ここで、設定情報３０５は、地図情報と設置情報とを含んでいる。地図情報は、複数のカメラ１００が設置された位置を含む地図を示す情報である。地図情報には、カメラ１００だけでなく、道路や建物等の位置が示されている。設置情報は、各カメラ１００の識別情報と、設置場所、制御情報を対応付けた情報である。ここで、設置場所は、地図上の位置を示す座標値である。制御性能情報は、対応するカメラ１００の撮影方向がわかる角度又は方位を示す情報、ＰＴＺといった制御に係る性能を示す情報である。

次に、監視支援装置１２０について説明する。監視支援装置１２０は、通信処理部３１１と、対象領域設定部３１２と、状況判定部３１３と、周辺領域設定部３１４と、担当カメラ決定部３１５と、人流解析部３１６と、撮影方向決定部３１７と、を有している。通信処理部３１１は、外部装置との通信を制御する。対象領域設定部３１２は、入力デバイス２０８を介したユーザ操作に応じて、人物検索の対象となる領域及び時間帯を設定する。以下、対象領域設定部３１２により設定された領域を対象領域と称する。

状況判定部３１３は、予め定められた条件に従い、対象領域設定部３１２により設定された対象領域が検索困難領域であるか否かを判定する。ここで、検索困難領域とは、人物検索に適した映像を得るのが困難な領域である。本実施形態においては、状況判定部３１３は、対象領域を撮影可能なカメラ１００が設置されていない場合に、対象領域を検索困難領域と判定するという条件に従い、検索困難領域であるか否かを判定するものとする。なお、状況判定部３１３は、通信処理部３１１を介して監視装置１１０から設定情報３０５を取得し、検索困難領域であるか否かの判定において設定情報３０５を参照するものとする。

また、状況判定部３１３が参照する条件は、実施形態に限定されるものではなく、管理者等が自由に設定可能であるものとする。例えば、対象領域を撮影可能なカメラ１００は存在するものの、事件、事故等の影響や、カメラ１００自体の不具合等により正常に撮影できない場合が考えられる。これに対応し、状況判定部３１３は、対象領域を撮影可能なカメラ１００が存在するものの、このカメラ１００が正常に撮影を行うことができない場合にも、対象領域を撮影困難領域と判定してもよい。

また、対象領域における人物の混雑度（密度）が高い場合には、対象領域の映像から、各人の画像を得ることが困難である。これに対応し、状況判定部３１３は、対象領域の密度が閾値以上の場合に対象領域を検索困難領域と判定するという条件を参照することとしてもよい。

周辺領域設定部３１４は、対象領域に基づいて、対象領域に替えて人物検索の対象とする周辺領域を設定する。本実施形態においては、周辺領域は、対象領域を中心とした、半径が所定の距離の領域とする。但し、周辺領域は、対象領域の位置を基準として定まる領域であればよく、実施形態に限定されるものではない。すなわち、周辺領域は必ずしも対象領域を含む必要はない。

担当カメラ決定部３１５は、対象領域が検索困難領域であると判定された場合に、複数のカメラ１００の中から担当カメラを決定する。ここで、担当カメラとは、周辺領域の撮影を担当することができるカメラである。具体的には、担当カメラ決定部３１５は、設定情報を参照し、周辺領域に設置されたカメラを担当カメラとして決定する。なお、他の例としては、担当カメラ決定部３１５は、ＰＴＺの制御による撮影可能範囲が周辺領域の少なくとも一部を含むカメラ１００を担当カメラとして決定してもよい。

人流解析部３１６は、担当カメラにより撮影された映像を、通信処理部３１１を介して監視装置１１０から取得する。そして、人流解析部３１６は、担当カメラにより撮影された映像を解析し、人流の方向と量（混雑度）を特定する。人流解析部３１６は、例えば、映像と人流の方向と量を対応付けた映像を大量に用意し、映像が入力されたときに、人流の方向と量を推定するような認識モデルを学習させる機械学習手法により、人流の方向と量を特定する。

なお、人流の方向と量を特定するための処理は特に限定されるものではない。他の例としては、人流解析部３１６は、レーザの照射に応じた反射波の計測により人物の距離を計測し、距離変化から人流の方向及び量を求めてもよい。また、他の例としては、監視範囲の床面に歩行状態を検出するセンサが設置されている場合には、人流解析部３１６は、このセンサの検知結果を取得し、検知結果から人流の方向及び量を特定してもよい。

撮影方向決定部３１７は、人流の方向と量に基づいて、各担当カメラの撮影方向を決定する。撮影方向決定部３１７の処理については後に詳述する。なお、撮影方向決定部３１７により各担当カメラの撮影方向が決定されると、各担当カメラの識別情報と撮影方向を対応付けた情報が撮影方向通知として監視装置１１０へ送信される。監視装置１１０のカメラ制御部３０４は、通信処理部３０１を介して撮影方向通知を受け取り、撮影方向通知に従い、各担当カメラのＰＴＺ制御を行う。

図４は、監視装置１１０及び監視支援装置１２０による監視支援処理を示すシーケンス図である。図５は、監視装置１１０に記憶されている設定情報に対応した監視領域の一例を示す図である。図５に示すように、監視領域は、道路を含んだ領域であり、複数のカメラ１００が設置されている。

Ｓ４００において、監視支援装置１２０の対象領域設定部３１２は、人物検索の対象となる対象領域を設定する。具体的には、監視支援装置１２０は、利用者からの要求に応じて、監視装置１１０が記憶している設定情報に含まれる地図情報を取得し、これを出力デバイス２０９に表示する。そして、利用者は、入力デバイス２０８を介したユーザ操作に応じて、地図上の地点や範囲を入力する。対象領域設定部３１２は、ユーザ操作に応じて入力された情報に従い、対象領域を設定する。なお、このとき、利用者はカメラ１００の設置状況を意識することなく、監視したい地点を指定すればよい。さらに、対象領域設定部３１２は、検索対象の時間帯も制限したい場合には、対象となる時間帯についても対象領域に紐付けて設定する。

次に、Ｓ４０１において、状況判定部３１３は、Ｓ４００において設定された対象領域が検索困難領域であるか否かを判定する。本処理は、領域判定処理の一例である。例えば、図５に示す状況において、領域５０１が対象領域として設定され、いずれのカメラ１００からも領域５０１を撮影することができないとする。この場合には、状況判定部３１３は、対象領域は検索困難領域であると判定する。状況判定部３１３は、対象領域が検索困難領域であると判定した場合には（Ｓ４０１でＹＥＳ）、処理をＳ４０２へ進める。状況判定部３１３は、対象領域が検索困難領域ではないと判定した場合には（Ｓ４０１でＮＯ）、監視支援処理を終了する。なお、監視支援処理を終了した場合には、各カメラ１００は、予め設定された撮影範囲の映像を撮影し、得られた映像は監視装置１１０の映像ＤＢ３０２に蓄積される。

Ｓ４０２において、周辺領域設定部３１４は、Ｓ４００において設定された対象領域を中心とした、半径が所定の距離の領域を周辺領域として設定する。図５の例においては、対象領域５０１を中心とした所定の距離を半径とする領域５０２が周辺領域として設定される。次に、Ｓ４０３において、担当カメラ決定部３１５は、周辺領域に設置されたカメラ１００を担当カメラとして決定する。図５の例では、カメラＡ〜Ｆの６台のカメラ１００が担当カメラとして決定される。なお、カメラＧは、周辺領域５０２の外側に設置されているため担当カメラから外れる。なお、各カメラ１００の設置位置については、担当カメラ決定部３１５は、通信処理部３１１を介して監視装置１１０から設定情報を取得し、これを参照するものとする。

次に、Ｓ４０４において、担当カメラ決定部３１５は、担当カメラのうち、撮影方向が決定されていない、１台の担当カメラを処理対象として選択する。次に、Ｓ４０５において、人流解析部３１６は、Ｓ３０３において選択された選択カメラにより撮影された映像を、通信処理部３１１を介して監視装置１１０から取得する。次に、Ｓ４０６において、人流解析部３１６は、取得した映像において、人流の方向と量を特定する。例えば、対象領域で犯罪が発生したとする。この場合には、周辺の人物は対象領域から遠ざかる方向に移動することが考えられる。また、犯人も対象領域から遠ざかる方向に移動することが考えられる。このため、例えば、カメラＡの映像からは、矢印Ｘ１で示すような人流の方向が特定される。また例えば、カメラＣの映像からは、矢印Ｘ２で示すような人流の方向が特定される。

次に、Ｓ４０７において、撮影方向決定部３１７は、人流の方向、すなわち人物の移動方向に基づいて、選択中の担当カメラの撮影方向を決定する。次に、Ｓ４０８において、通信処理部３１１は、Ｓ４０７において決定された撮影方向と、対応する担当カメラの識別情報とを含む撮影方向通知を監視装置１１０に送信する。監視装置１１０では、撮影方向通知を受信すると、Ｓ４１０において、カメラ制御部３０４は、撮影方向通知に示される担当カメラが撮影方向を向くようにＰＺＴ制御を行う。これにより、担当カメラでは、Ｓ４０７で決定された撮影方向の映像が撮影されるようになり、監視装置１１０の映像ＤＢ３０２には、担当カメラにより撮影された映像が蓄積される。Ｓ４１０において、カメラ制御部３０４はさらに、担当カメラの識別情報と、制御状態にあることを示す情報とを紐付けて記憶部に記憶しておく。監視装置１１０においては、カメラ制御が完了すると、カメラ制御の完了通知を監視支援装置１２０に送信する。

ここで、Ｓ４０７、Ｓ４０８、Ｓ４１０の処理について詳述する。担当カメラの映像から１つの人流のみが検出されたとする。この場合には、撮影方向決定部３１７は、この人流に正対するようにカメラ方向を設定する。例えば、図５の領域５０１において事件や事故が発生した場合には、領域５０１に密集していた人が矢印５０８で示すように領域５０１を中心として放射状に拡散することが考えられる。このような場合には、人流に正対する方向が各担当カメラの撮影方向として決定される。

図５の例では、破線で示すような向きに設置されていたカメラＡは、Ｓ４１０において、実線で示すように撮影方向が変更されるようにパン制御が行われる。カメラＣも同様に、Ｓ４１０において、破線で示す向きから実線で示す向きに撮影方向が変更されるようにパン制御が行われる。これにより、悪意を持って密集地点で事故や事件を起こした犯人やその関係者が、人混みに紛れて逃走するような場合にも、撮影方向が制御された担当カメラの映像において、犯人の正面画像を捉える可能性が高まる。さらには、犯人等検索対象人物の顔画像はブラックリストとして存在している可能性があるため、担当カメラの映像から、このような検索対象人物を検出する可能性が高まる。

また、領域５０１において事件や事故が発生し、領域５０１へ周囲から野次馬が集まる一方で、領域５０１から犯人が逃走するようなケースも想定される。このような場合に対応させる場合には、撮影方向決定部３１７は、人流の方向及び正対する方向の２方向を撮影できるように、各担当カメラの撮影方向を決定する。例えば、矢印Ｘ１で示すような人流の方向に着目すると、カメラＡの撮影方向を人流Ｘ１に正対する方向とし、カメラＦの撮影方向を人流の方向Ｘ１としてもよい。以上のように、撮影方向は、人流の方向に応じて定まればよく、撮影方向を決定するための具体的な条件は実施形態に限定されるものではない。

なお、本実施形態においては、撮影方向決定部３１７は、人流の量が閾値以上の場合に、人流が主な人流であると判断し、人流が主な人流である場合に、上記のように、人流の方向に基づいて、撮影方向を決定するものとする。すなわち、人流の量が閾値未満の場合には、人流の方向に応じて撮影方向を決定する処理は行わないものとする。これにより、重要な人流を優先して撮影できるようにする。

監視支援装置１２０では、Ｓ４０８の処理の後、Ｓ４０９において、担当カメラ決定部３１５は、すべての担当カメラについて、Ｓ４０５〜Ｓ４０８の処理を完了したか否かを判定する。担当カメラ決定部３１５は、すべての担当カメラについて処理が完了した場合には（Ｓ４０９でＹＥＳ）、監視支援処理を完了する。担当カメラ決定部３１５は、未処理の担当カメラが存在する場合には（Ｓ４０９でＮＯ）、処理をＳ４０４へ進める。この場合、Ｓ４０４において、未処理の担当カメラが選択され、Ｓ４０５以降の処理が継続する。

以上の処理により、担当カメラの撮影方向は適宜変更される。そして、人物の正面を向くよう制御された担当カメラにより撮影が行われ、映像ＤＢ３０２には、担当カメラにより撮影された映像が蓄積される。なお、担当カメラにより撮影された映像は、対象領域の位置情報に対応付けて記憶されるものとする。

なお、Ｓ４０７において決定された撮影方向での撮影は、対象領域に対する時間帯が設定された場合には、この時間帯が経過するまで継続し、時間帯が経過した時点で終了するものとする。そして、時間帯が経過した時点で、カメラ制御部３０４は、各担当カメラの撮影方向をデフォルトの向きに戻す。

次に、監視支援処理において設定された対象領域を目標領域とした検索が実行される場合について説明する。利用者は、検索を希望する領域（目標領域と称する）と、検索を希望する時間帯とを監視装置１１０の入力デバイス２０８を介して入力する。これらの情報が入力されると、監視装置１１０の人物検索部３０３は、指定された目標領域に対応付けられた担当カメラによる映像を映像ＤＢ３０２から抽出し、抽出した映像において、人物検索を行う。

担当カメラは、人流の方向に逆らう方向を撮影方向とする映像である。したがって、担当カメラによる映像においては、撮影方向の制御前に比べて、正面を向いた人物が写っている機会が増加している。したがって、正面向きの人物のクエリが入力された場合に、人物の照合に成功する可能性を向上させることができる。さらに、本実施形態の監視装置１１０は、クエリに合致する映像を検索できた場合には、間接的に検出された人物映像である旨を示しつつ、検索結果を利用者に提示する。これにより、利用者は、対象領域の検索結果の代替として、周辺領域における良好な検索結果を得ることができる。

以上のように、本実施形態に係る監視支援装置１２０は、人物検索の対象領域の撮影が困難な場合には、間接的に対象領域の人物を検索すべく周辺領域を設定し、周辺領域に位置するカメラを周辺領域の撮影を担当する担当カメラとして決定する。そして、担当カメラにより撮影された周辺領域の映像が映像ＤＢ３０２に蓄積される。これにより、別のカメラや目撃証言から得られた、対象人物の画像とのマッチングによる対象人物の検索が可能となる。すなわち、周辺領域における対象人物の検索により、対象領域における対象人物の検索が間接的に可能となり、検索対象の領域における人物検索が困難な場合においても、検索漏れを低減することができる。

さらに、目撃者が容易に確認できることから、対象人物の正面画像は検索条件として利用されることが多い。また、容疑者のブラックリストも正面を含む画像が多い。これらのことに対応し、実施形態においては、担当カメラが、人物の正面画像を撮影するようにカメラ制御が行われる。これにより、一般的な検索条件に対しても、マッチングの機会を増やすことができる。

第１の実施形態の第１の変形例について説明する。本実施形態においては、カメラ１００と監視装置１１０は、異なる装置であるものとしたが、カメラ１００と監視装置１１０は１つの装置として構成されるものとしてもよい。すなわち、図３に示す監視支援装置１２０の機能構成を監視装置１１０が有することとしてもよい。また、他の例としては、カメラ１００と監視装置１１０の各機能は、監視システムを構成する何れかの装置が有すればよく、各機能を有する装置については、実施形態に限定されるものではない。また、監視システムは、カメラにより撮影された映像又は映像から抽出された特徴量の蓄積までを行うものとし、人物探索については、別の装置が行うこととしてもよい。

次に、第２の変形例について説明する。撮影方向決定部３１７は、人流に基づいて、各担当カメラの撮影方向を決定すればよく、具体的な撮影方向は実施形態に限定されるものではない。例えば、複数の同程度の人流が映像中に現れているような場合もある。この場合には、撮影方向決定部３１７は、複数の人流それぞれに正対するようにパンを繰り返すように撮影方向を決定する。例えば、一定間隔でパンを繰り返すことで、一の担当カメラが撮影可能な複数の人流それぞれに対して正対した方向の撮影を行うようにしてもよい。

例えば、図５の領域５０１において事件や事故が発生する可能性を示唆する情報を得たとする。この場合には、担当カメラ決定部３１５は、領域５０１に対応したカメラの有無によらず、周辺のカメラを担当カメラとして決定する。そして、撮影方向決定部３１７は、領域５０１から離れる方向に移動する人物及び領域５０１へ向かう方向に移動する人物の両方を撮影するように各担当カメラの撮影方向を決定する。これにより、監視装置１１０は、担当カメラの映像から領域５０１への人物の出入りを監視することができる。これにより、例えばある人物が領域５０１に入った時間と領域５０１から得た時間を特定し易くなり、この場合、何れか一方の時間のみが特定できた場合よりも有益な情報となる。この場合には、人物の出入りを明らかにするために、映像ＤＢ３０２は、領域５０１へ向かう流れであるか、領域５０１から出てくる流れであるかを識別可能に、各映像を蓄積するものとする。人物検索部３０３は、領域５０１の検索を指示された場合に、同一人物の領域５０１への出入りを識別して検索結果を提示することとしてもよい。

さらに、第３の変形例としては、監視支援装置１２０は担当カメラの撮影方向だけでなく、ズームも制御してもよい。これにより、例えば、担当カメラは、人物の顔が映像全体における人物の顔の割合が所定以上となるような画像を撮影することができる。

（第２の実施形態）
第２の実施形態に係る監視システムについて、第１の実施形態に係る監視システムと異なる点を主に説明する。第２の実施形態に係る監視支援装置１２０においては、対象領域設定部３１２は、映像ＤＢ３０２に格納されている映像に基づいて、人流の方向及び量を解析し、人流の方向の異常及び人流の量の異常を検出する。そして、対象領域設定部３１２は、検出した異常に応じて対象領域を自動的に設定する。

より具体的には、対象領域設定部３１２は、例えば、５分毎というようにある単位期間毎の映像中の人流の方向及び量を記憶しておく。対象領域設定部３１２は、最後に得られた単位期間における人流の方向とその直前に得られた単位期間における人流の方向の差が閾値以上となる場合、すなわち、人流の方向に変化があった場合に、人流の方向の異常として検出する。そして、対象領域設定部３１２は、人流の方向の異常を検出した場合には、この人流の起点となる領域を対象領域として設定する。なお、変化を検出する処理は実施形態に限定されるものではない。他の例としては、対象領域設定部３１２は、最後に得られた単位期間における人流の方向と、その直前の所定の期間の人流の方向の平均値との差が閾値以上となる場合に、人流の方向の異常を検出してもよい。

また、対象領域設定部３１２は、最後に得られた単位期間における人流の量とその直前に得られた単位期間における人流の量の差が閾値以上となる場合に、人流の量の異常として検出する。そして、対象領域設定部３１２は、人流の量の異常を検出した場合には、人流の量の異常が生じた領域を対象領域として設定する。

人流の方向や量の短期間での大きな変化は、何らかの異常に起因する可能性が高い。そこで、第２の実施形態においては、このように、人流の方向や量の変化に応じて、対象領域を自動的に設定することとした。なお、本処理は、図４を参照しつつ説明した監視支援処理におけるＳ４００の処理である。なお、Ｓ４０１以降の処理については、第１の実施形態において説明したのと同様の処理である。

また、対象領域設定部３１２が自動的に設定する場合の対象領域のサイズについては、予め定められているものとする。なお、他の例としては、対象領域のサイズは、人流の方向や量の変化の程度や、人流の方向から定まる対象領域の位置の確からしさに応じて定まるものとしてもよい。例えば、道路の構造やカメラの位置によっては、人流の方向からその起点として局所的な領域が定まらない場合がある。このような場合には、局所的な領域が定まる場合に比べて対象領域のサイズを大きくする。これにより、異常が発生した箇所が監視対象から外れるのを避けることができる。

例えば、図６の例において、人流６０２において方向に変化があったと判断されたとする。この場合、対象領域設定部３１２は、これらの人流６０２の起点となる領域６０１を対象領域として設定する。なお、第２の実施形態に係る監視システムのこれ以外の構成及び処理は、第１の実施形態に係る監視システムの構成及び処理と同様である。このように、第２の実施形態に係る監視支援装置１２０は、監視領域内の映像に基づいて、対象領域を自動的に設定することができる。

次に、第２の実施形態の第１の変形例について説明する。対象領域を自動的に設定するための処理は、実施形態に限定されるものではない。他の例としては、例えば、対象領域設定部３１２は、映像において人流に替えて人物の数（混雑度）に応じて対象領域を設定してもよい。具体的には、対象領域設定部３１２は、まず人物の数を特定する。例えば、カメラ１００が高所に設置されている場合には、隠れの比較的少ない人物の頭部をカウントすることで人物の数とすればよい。そして、対象領域設定部３１２は、人物の数の変化が閾値以上になった場合に、変化があった領域を対象領域として設定してもよい。また、他の例としては、撮影された混雑映像と人物の概数とを対応付けた大量の映像を機械学習によって相互に関連付けた人数概数カウント器によって人物の数をカウントしてもよい。

また、第２の変形例としては、対象領域設定部３１２は、監視映像中の人物の存在している領域をサンプリングし、サンプリングした領域における人物の重なり判定を行うこととしてもよい。そして、対象領域設定部３１２は、重なりの程度が閾値以上の場合に、サンプリングした領域を対象領域として設定してもよい。対象領域設定部３１２は、人物映像中の人物部位特徴の検出をそれぞれ行い、検出できなかった部分の量により重なりを判定するものとする。また、他の例としては、カメラが深度情報を得られるものであれば、対象領域設定部３１２は、ピクセル毎の距離情報により、映像中の人物の前後関係によってセグメントを行い、重なりの判定を行ってもよい。

（第３の実施形態）
第３の実施形態に係る監視システムについて、他の実施形態に係る監視システムと異なる点を主に説明する。人物検索において参照される画像が人物の正面以外の向きの画像である場合も考えられる。このような場合は、正対する人物映像を撮影する機会を増やすだけでなく、一人の人物を多様な方向から捉えた映像を取得しておくことが望ましい。これに対し、第３の実施形態に係る監視システムは、周辺領域として、対象領域により近い第１の領域と、対象領域からの距離が第１の領域に比べて遠い第２の領域とを設定し、各領域に対応した担当カメラの映像を蓄積する。さらに、第３の実施形態の監視システムは、領域毎に異なる向きの人物画像を撮影するように撮影方向を決定する。

例えば、図７の例では、周辺領域設定部３１４は、対象領域７０１の周辺領域として、第１の領域７０２と第２の領域７０３を設定する。また、担当カメラ決定部３１５は、第１の領域７０２に位置するカメラＨ〜Ｌについては、人流に対し正対する撮影方向を決定し、第２の領域７０３のカメラＭ〜Ｏについては、人流の側面や背面を撮影するような撮影方向を決定する。なお、第３の実施形態に係る監視システムのこれ以外の構成及び処理は、他の実施形態に係る監視システムの構成及び処理と同様である。以上のように、第３の実施形態に係る監視システムによれば、周辺領域において、複数の向きの人物画像を撮影することができる。これにより、検索漏れを低減することができる。

第３の実施形態の第１の変形例について説明する。対象領域が混雑している場合などは、対象領域から離れる程対象領域との関連の薄い人物は増えるが、人流はスパースになると考えられる。そこで、周辺領域設定部３１４は、第３の実施形態において説明した処理とは逆の処理を行うこととしてもよい。すなわち、周辺領域設定部３１４は、第１の領域７０２のカメラに対し、人流の側面や背面を撮影するような撮影方向を決定し、第２の領域６０３のカメラに対し、人流の正面を撮影するような撮影方向を決定してもよい。

例えば、定常的に監視している地点が徐々に混雑して、一時的に監視困難な状況になった場合は、当該監視地点の監視目的に合わせるように制御する。後でどのような検索条件の画像が入力されるかを想定できないような場合は、監視システムは、第３の実施形態において説明したように、複数の方向からの映像を撮影するような制御を行う。

第２の変形例について説明する。第３の実施形態においては、監視支援装置１２０が人流に応じてどのような撮影方向を決定するかについては、予め定められているものとした。ただし、人流に応じて動的に決定されるものとしてもよく、またユーザ操作に応じて任意に設定、変更できることとしてもよい。また、人流に対して一方向の撮影のみを行うか、上記のように複数の方向の撮影を行うかについても、ユーザ操作に応じて任意に設定、変更できることとしてもよい。このように、カメラ制御のための条件を可変とすることで、状況に応じて人物検索の機会を向上させることができる。

（第４の実施形態）
次に、第４の実施形態に係る監視システムについて他の実施形態に係る監視システムと異なる点を主に説明する。第１の実施形態及び第２の実施形態において説明したように、カメラ制御を行うことで周辺領域の映像を蓄積することとしても、映像中の人物の重なりや動き、人物検出処理での漏れ等により、撮影された人物ごとに得られる情報にばらつきが生じる。第３の実施形態に係る監視支援装置１２０は、このような場合において、すでに多くの情報を得ている人物よりも、少ない情報しか得られていない人物からの情報を得ることを優先するようにカメラの撮影方向を制御する。

図８は、第４の実施形態に係る監視支援装置８００の機能構成図である。第３の実施形態に係る監視支援装置８００は、第１の実施形態の監視支援装置１２０の機能構成に加えて、人物管理部８０１と、人物ＤＢ８０２と、撮影機会判定部８０３と、を有している。

人物管理部８０１は、担当カメラ決定部３１５により決定された担当カメラにより撮影された映像を、通信処理部３１１を介して監視装置１１０から取得する。そして、人物管理部８０１は、映像から人物の特徴量を抽出し、これを人物の識別情報に対応付けて人物ＤＢ８０２に蓄積することで、周辺領域に存在する人物を管理する。なお、人物ＤＢ８０２に蓄積される情報は、人物の同一性を判定するための特徴情報とする。人物管理部８０１は、特徴量に基づいて、担当カメラで撮影された映像中の人物と人物ＤＢ８０２に蓄積される人物の同一性を判定し、人物ＤＢ８０２に蓄積されている人物と同一人物でない場合に、担当カメラで得られた人物を管理対象人物として選択する。

そして、撮影方向決定部３１７は、管理対象人物を優先して撮影するような撮影方向を決定する。この結果、カメラ制御部３０４は、管理対象人物を優先的に撮影するようなカメラ制御を行う。この場合のカメラ制御は、情報量が不足している人物の情報を増やすことが目的であるため、たとえば、管理対象人物の全身像を撮影できるまで、追跡を継続させることとする。また、他の例としては、カメラ制御部３０４は、管理対象人物の周辺をズーム撮影することとしてもよい。これにより、検索条件となる画像とマッチする情報を増やすことができる。

例えば、図９に示すカメラ９０１（破線）は、主な人流９０３に沿って正対するように制御されていたとする。この時、人物９０４が新規に撮影されて、十分な特徴量を有していないことが判明した場合、カメラ９０２のように人物９０４を追跡するように撮影方向を制御してもよい。

さらに、撮影機会判定部８０３は、管理対象人物と判定された人物の撮影機会があるか否かを判定する。撮影方向決定部３１７は、撮影機会判定部８０３により撮影機会がないと判定された場合に、管理対象人物を追跡するような撮影方向を決定する。これにより、撮影機会がない場合についてのみ、管理対象人物を追跡することになる。これにより、管理対象人物と判定されたすべての人物に対し、管理対象人物に応じたカメラ制御を行わずにすむため、処理コストを低減することができる。

例えば、図９の人物９０４は、周辺領域９００から外れる方向に移動しており、カメラ９０２により新規に撮影された人物である。このことから、その後は、撮影機会は少ないと考えられる。このように、撮影機会判定部８０３は、担当カメラにより撮影された映像に基づいて、撮影機会の有無を判定すればよい。また、例えば、方向９０５のように周辺領域９００の外側から周辺領域９００内に移動してきた人物が検出された場合には、この人物は対象領域との関係は少ないと考えられる。そこで、監視システムは、この人物については、追跡を行わないよう制御する。これにより、本実施例における関連カメラの範囲内に出現する人物照合処理の対象を絞ることができ、処理コストを抑制することができる。

なお、撮影機会の判定に係る処理は必須ではない。撮影機会に係る処理を行わない場合には、監視支援装置８００は、管理対象人物が検出された場合には、常に管理対象人物を撮影するような撮影方向を決定するものとすればよい。このように、撮影中の人物の取得済みの情報の量や内容に応じて、不足を補うようにカメラを制御することで、各人物あたりの情報量を増やすことができるようになるため、検索機会が向上する効果が期待できる。

（第５の実施形態）
次に、第５の実施形態に係る監視システムについて、他の実施形態に係る監視システムと異なる点を主に説明する。本実施形態においては、監視支援装置１２０の周辺領域設定部３１４は、担当カメラとして選択された各カメラの映像に基づいて、周辺領域の位置及びサイズのうち少なくとも一方を調整する。

例えば、図５の例において、担当カメラＡの映像中の人流量が他の担当カメラＢ〜Ｆの映像中の人流量に比べて所定の割合以上多いとする。この場合に、周辺領域設定部３１４は、担当カメラＡの方向に周辺領域の中心位置をずらすことで周辺領域の位置を変更する。また、他の例としては、この場合に、周辺領域設定部３１４は、担当カメラＡが位置する方向についてのみ、対象領域から周辺領域の外側の境界までの距離を長くすることで周辺領域のサイズを変更してもよい。また、他の例としては、地図上で道路がない範囲が周辺領域に含まれる場合に、道路がない範囲については周辺領域から除外してもよい。以上のように周辺領域が変更された場合に、担当カメラ決定部３１５は、担当カメラを再決定する。これにより、人流量の多い領域において担当カメラを増やすことができる。なお、第５の実施形態に係る監視システムのこれ以外の構成及び処理は、他の実施形態に係る監視システムの構成及び処理と同様である。

人流量が多い場合には、一台のカメラの撮影範囲だけでは撮影しきれない人物がでてくる可能性が高い。これに対し、本実施形態においては、人流量の多い領域を撮影するカメラを増やすことができるので、取得できる検索特徴が増えることが期待できる。

（第６の実施形態）
次に、第６の実施形態に係る監視システムについて、他の実施形態に係る監視システムと異なる点を主に説明する。本監視システムは、監視領域の所定の領域を定常的に監視するためのメインカメラと、上記実施形態において説明したように、対象領域が設定された場合に、担当カメラとして機能するための補助カメラと、をそれぞれ備える。これにより、補助カメラが対象領域に対応した周辺領域の撮影を開始した場合においても、メインカメラは、予め設定された監視状態を維持し、映像を蓄積することができる。なお、第６の実施形態の監視システムのこれ以外の構成及び処理は、他の実施形態に係る監視システムの構成及び処理と同様である。

また、第６の実施形態の変形例としては、例えば、メインカメラが担当カメラとして決定され、撮影方向決定部３１７により決定された撮影方向を向くように制御され、これに対応して、補助カメラはメインカメラと異なる方向を撮影するよう制御してもよい。これにより、人流を複数の方向から撮影することができる。また、複数の人流の正面を撮影することができる。これにより、取得できる検索特徴が増えることが期待できる。

本発明の目的は、実施例の機能を実現するソフトウエアのプログラムコードを記録した記録媒体を、装置に供給し、装置のコンピュータ、ＣＰＵまたはＭＰＵが記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成される。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することとなり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

プログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどを用いることができる。

また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているOperating System（ＯＳ）などが実際の処理を行うことによって、実施例の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードは、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれていてもよい。そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１００ カメラ
１１０ 監視装置
１２０ 監視支援装置

Claims (19)

1. 異なる位置に設置された複数のカメラにより撮影された映像に基づいて、人物を監視する監視システムであって、
   前記複数のカメラの設置情報と、検索対象として設定された対象領域と、に基づいて、前記複数のカメラの中から、少なくとも１つのカメラを、前記対象領域を基準として定まる周辺領域の撮影を担当する担当カメラとして決定する担当カメラ決定手段と、
   前記担当カメラにより撮影された前記周辺領域の映像に基づいて、前記担当カメラの撮影方向を制御するカメラ制御手段と
   を有することを特徴とする監視システム。
2. 前記カメラ制御手段は、前記周辺領域の映像における人物の移動方向に基づいて、前記担当カメラの撮影方向を制御することを特徴とする請求項１に記載の監視システム。
3. 前記複数のカメラの設置情報に基づいて、前記対象領域が検索困難な領域であるか否かを判定する領域判定手段をさらに有し、
   前記カメラ制御手段は、前記対象領域が前記検索困難な領域である場合に、前記担当カメラの撮影方向を制御することを特徴とする請求項１又は２に記載の監視システム。
4. 前記担当カメラ決定手段は、前記周辺領域を撮影可能なカメラを、前記担当カメラとして決定することを特徴とする請求項１乃至３の何れか１項に記載の監視システム。
5. 前記担当カメラ決定手段は、前記周辺領域に設定されたカメラを、前記担当カメラとして決定することを特徴とする請求項１乃至３の何れか１項に記載の監視システム。
6. ユーザ操作に応じて、前記対象領域を設定する領域設定手段をさらに有することを特徴とする請求項１乃至５の何れか１項に記載の監視システム。
7. 前記カメラにより撮影された映像に基づいて、前記対象領域を設定する領域設定手段をさらに有することを特徴とする請求項１乃至５の何れか１項に記載の監視システム。
8. 前記領域設定手段は、前記カメラにより撮影された映像における、人物の混雑度の変化及び人物の移動方向のうち少なくとも一方に基づいて、前記対象領域を設定することを特徴とする請求項７に記載の監視システム。
9. 前記担当カメラにより撮影された映像から人物の特徴量を抽出する抽出手段と、
   前記特徴量を記憶手段に格納する格納手段と
   をさらに有し、
   前記カメラ制御手段は、映像に含まれる人物の前記特徴量が前記格納手段に格納されていない場合に、前記人物の所定の画像を撮影するように前記担当カメラのパン・チルト・ズームのうち少なくとも１つを制御することを特徴とする請求項１乃至８の何れか１項に記載の監視システム。
10. 前記カメラ制御手段は、前記映像に含まれる人物の前記特徴量が前記格納手段に格納されておらず、かつ前記人物の位置及び移動方向のうち少なくとも一方が予め定められた条件を満たす場合に、前記人物の所定の画像を撮影するように前記担当カメラを制御することを特徴とする請求項９に記載の監視システム。
11. 前記カメラ制御手段は、前記人物の全身を撮影するよう制御することを特徴とする請求項９又は１０に記載の監視システム。
12. 前記カメラ制御手段は、前記人物の顔を撮影するよう制御することを特徴とする請求項９又は１０に記載の監視システム。
13. 前記カメラ制御手段は、映像全体における前記人物の顔の割合が所定以上となるような画像を撮影するよう制御することを特徴とする請求項１２に記載の監視システム。
14. 前記担当カメラ決定手段は、前記担当カメラにより撮影された映像に基づいて、前記担当カメラを変更することを特徴とする請求項１乃至１３の何れか１項に記載の監視システム。
15. 異なる位置に設置された複数のカメラにより撮影された映像に基づく人物の監視を支援する監視支援装置であって、
    前記複数のカメラの設置情報と、検索対象として設定された対象領域と、に基づいて、前記複数のカメラの中から、少なくとも１つのカメラを、前記対象領域を基準として定まる周辺領域の撮影を担当する担当カメラとして決定する担当カメラ決定手段と、
    前記担当カメラにより撮影された前記周辺領域の映像に基づいて、前記担当カメラの撮影方向を決定する撮影方向決定手段と
    を有することを特徴とする監視支援装置。
16. 異なる位置に設置された複数のカメラにより撮影された映像に基づいて、人物を監視する監視システムが実行する監視方法であって、
    前記複数のカメラの設置情報と、検索対象として設定された対象領域と、に基づいて、前記複数のカメラの中から、少なくとも１つのカメラを、前記対象領域を基準として定まる周辺領域の撮影を担当する担当カメラとして決定する担当カメラ決定ステップと、
    前記担当カメラにより撮影された前記周辺領域の映像に基づいて、前記担当カメラの撮影方向を制御するカメラ制御ステップと
    を含むことを特徴とする監視方法。
17. 異なる位置に設置された複数のカメラにより撮影された映像に基づく人物の監視を支援する監視支援装置が実行する監視支援方法であって、
    前記複数のカメラの設置情報と、検索対象として設定された対象領域と、に基づいて、前記複数のカメラの中から、少なくとも１つのカメラを、前記対象領域を基準として定まる周辺領域の撮影を担当する担当カメラとして決定する担当カメラ決定ステップと、
    前記担当カメラにより撮影された前記周辺領域の映像に基づいて、前記担当カメラの撮影方向を決定する撮影方向決定ステップと
    を含む監視支援方法。
18. コンピュータを、請求項１乃至１４の何れか１項に記載の監視システムの各手段として機能させるためのプログラム。
19. コンピュータを、請求項１５に記載の監視支援装置の各手段として機能させるためのプログラム。

Images