JP2019200718A - 監視装置、監視方法及びプログラム - Google Patents

Abstract

【課題】人物監視において、危険が生じる可能性がある場合に、適切に監視員等に通知することができる監視装置、監視方法及びプログラムを提供する。【解決手段】監視装置としての属性グループ検知装置は、撮影画像において人物を検出する検出手段としての人体検出部２０１と、撮影画像に基づいて、検出手段により検出された人物の属性を推定する属性推定手段としての属性推定部２０２と、属性推定手段による推定結果に基づいて、検出手段により検出された複数の人物を属性グループに分類する分類手段としてのグループ判定部２０３と、属性グループに属する人物の数に応じて、警告を出力するよう制御する出力処理手段としての外部通知部２０４とを有する。【選択図】図２

Description

本発明は、監視装置、監視方法及びプログラムに関する。

従来、監視カメラの撮影映像に基づいて、人物を監視する監視システムが知られている。例えば、特許文献１には、撮影画像に含まれる人物の特徴から監視対象者を特定し、その人物の滞在時間が一定時間以上になった場合に通知する技術が開示されている。また、特許文献２には、マーケティング等の観点から、不特定多数の人物が集まる場所で取得した動画像から人物と人物位置を検出し、位置関係から人物をグループ分けする技術が開示されている。

特開２００７−７４３３０号公報 特開２００６−９２３９６号公報

しかしながら、従来技術の監視システムにおいては、危険が生じる可能性のある状況を検知するのが難しいという問題があった。

本発明はこのような問題点に鑑みなされたもので、人物監視において、危険が生じる可能性がある場合に、適切に監視員等に通知することを目的とする。

そこで、本発明は、監視装置であって、撮影画像において人物を検出する検出手段と、前記撮影画像に基づいて、前記検出手段により検出された人物の属性を推定する属性推定手段と、前記属性推定手段による推定結果に基づいて、前記検出手段により検出された複数の人物を属性グループに分類する分類手段と、前記属性グループに属する人物の数に応じて、警告を出力するよう制御する出力処理手段とを有することを特徴とする。

本発明によれば、人物監視において、危険が生じる可能性がある場合に、適切に監視員等に通知することができる。

監視装置のハードウェア構成図である。 監視装置の機能構成図である。 監視処理を示すフローチャートである。 属性グループの説明図である。 表示画面例を示す図である。 第２の実施形態に係る監視装置の機能構成図である。 第２の実施形態に係る監視処理を示すフローチャートである。 グループ間距離の説明図である。 第３の実施形態に係る監視処理を示すフローチャートである。 変形例に説明図である。

以下、本発明の実施形態について図面に基づいて説明する。
図１は、監視装置１００のハードウェア構成図である。情報処理装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、表示部１０５と、入力部１０６と、通信部１０７とを有している。ＣＰＵ１０１は、ＲＯＭ１０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ１０４は、各種データや各種プログラム等を記憶する。表示部１０５は、各種情報を表示する。入力部１０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部１０７は、ネットワークを介して外部装置との通信処理を行う。

なお、後述する情報処理装置１００の機能や処理は、ＣＰＵ１０１がＲＯＭ１０２又はＨＤＤ１０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、他の例としては、ＣＰＵ１０１は、ＲＯＭ１０２等に替えて、ＳＤカード等の記録媒体に格納されているプログラムを読み出してもよい。

図２は、監視装置１００の機能構成図である。監視装置１００は、人体検出部２０１と、属性推定部２０２と、グループ判定部２０３と、外部通知部２０４と、設定部２０５と、を有している。人体検出部２０１は、外部から供給された撮影画像としての動画像や静止画像を取得する。なお、供給元は特に限定するものではなく、撮像装置や有線または無線を介して撮影画像を供給するサーバ装置であってもよい。また、供給元は外部に限るものではなく、人体検出部２０１は、自装置のメモリから撮影画像を取得してもよい。人体検出部２０１は、設定部２０５から、人体検出処理を行う領域の設定値を取得し、取得した撮影画像の設定領域に対して人体検出処理を行う。人体検出処理の具体的な処理方法は、取得した撮影画像に対して人体及び人体の位置を所定時間経過毎に検出するものであれば、いかなる形態のものであってもよい。

属性推定部２０２は、人体検出部２０１で検出された人体に対して、属性の推定を行う。推定を行う属性の種類は設定部２０５より設定される。本実施例では推定を行う属性情報として、年齢、性別を挙げるが、個人から得られる属性の情報であれば、特に限定するものではない。グループ判定部２０３は、属性推定部２０２より送出された属性情報より、設定部２０５より設定されたグループ分け属性に対して少数・多数の属性グループが存在するか否かの判定を行う。判定には設定部２０５より設定されたグループ分け閾値（人数又は割合）を用いる。グループ判定部２０３による判定結果は、外部通知部２０４へ送出される。

外部通知部２０４は、グループ判定部２０３の判定結果に応じて、アラート通知の出力を行うよう制御する。なお、アラート通知の出力先は、設定部２０５より選択される。アラート通知の出力先は、自装置が備える表示部１０５等の出力機器でもよく、他装置の出力機器であってもよい。アラート通知の出力先としての出力機器はスピーカであってもよい。出力先が表示部や外部の表示装置の場合には、出力するアラート通知をそのまま出力してもよく、アラート通知に対応したグラフィックスを出力してもよい。

なお、監視装置１００の機能や処理の少なくとも一部は、例えば複数のＣＰＵ、ＲＡＭ、ＲＯＭ、及びストレージを協働させることにより実現してもよい。また、他の例としては、監視装置１００の機能や処理の少なくとも一部は、ハードウェア回路を用いて実現してもよい。また、監視装置１００は、例えば監視カメラ等の撮影装置内に組み込まれた画像処理回路であってもよい。

図３は、監視装置１００による監視処理を示すフローチャートである。まず、Ｓ３０１において、設定部２０５は、属性グループの検知を行う際の各種パラメータの設定を行う。次に、Ｓ３０２において、人体検出部２０１は、人体検出を開始する。人体検出部２０１は、撮影画像を取得し、取得した撮影画像において、人体の検出を行う。人体検出部２０１は、人体の検出処理において、設定部２０５よりＳ３０１で設定された設定領域のパラメータを用いる。設定部２０５より設定されるパラメータは、人体検出に用いられるものであれば、特に限定されない。次に、Ｓ３０３において、ＣＰＵ１０１は、終了判定を行う。ＣＰＵ１０１は、撮影画像の入力がない場合に終了と判定する。ＣＰＵ１０１はまた、外部からのトリガーに応じて終了と判定する。ＣＰＵ１０１は、終了と判定すると（Ｓ３０３でＹＥＳ）、監視処理を終了する。ＣＰＵ１０１は、終了と判定しない場合には（Ｓ３０３でＮＯ）、処理をＳ３０４へ進める。

Ｓ３０４において、属性推定部２０２は、Ｓ３０２で検出された人体に対して、属性の推定を行う。属性推定部２０２は、属性の推定処理には、設定部２０５よりＳ３０１で設定されたパラメータを用いる。設定部２０５より設定されるパラメータは、属性推定に用いられるものであれば、特に限定されない。推定を行った各個人の属性情報はグループ判定部２０３へ送出される。Ｓ３０４の処理は、属性推定処理の一例である。

次に、Ｓ３０５において、グループ判定部２０３は、Ｓ３０４で推定された属性情報を用いて、Ｓ３０２において検出された複数の人物を複数のグループに分類する。なお、グループに分類するための条件は予め設定されているものとする。本実施形態のグループ判定部２０３は、大人と子供の属性グループに分類する。そして、グループ判定部２０３は、属性グループに属する人物の数が第１の人数閾値未満の場合に、この属性グループが少数の属性グループであると判定する。グループ判定部２０３はまた、属性グループに属する人物の数が第２の人数閾値以上の場合に、この属性グループが多数の属性グループであると判定する。そして、グループ判定部２０３は、少数の属性グループ及び多数の属性グループがそれぞれ１つ以上存在する場合には（Ｓ３０５でＹＥＳ）、処理をＳ３０６へ進める。グループ判定部２０３は、少数の属性グループ及び多数の属性グループの少なくとも一方が存在しない場合には（Ｓ３０５でＮＯ）、処理をＳ３０３へ進める。

Ｓ３０６において、外部通知部２０４は、警告を出力するよう制御する。外部通知部２０４は、例えば、表示部１０５に警告を示す警告情報を表示するよう制御する。なお、他の例としては、外部通知部２０４は、所定の通知先に対し警告を出力するよう制御してもよい。ＣＰＵ１０１は、Ｓ３０６の処理の後、処理をＳ３０３へ進める。ここで、Ｓ３０６の処理は、属性グループに属する人物の数に応じて、警告を出力するよう制御する出力処理の一例である。

例えば、図４に示すように、子の属性グループが多数の属性グループと判定され、大人の属性グループが少数の属性グループと判定されたとする。この場合には、Ｓ３０６において、警告が出力される。図４に示すように大勢の子供の中に大人がいるような場合には、大人が子供に近付き危険が生じる場合がある。大勢の男性の中に少数の女性がいる場合や、大勢の成人の中に少数の高齢者がいる場合にも同様である。

次に、監視処理に係るＵＩについて説明する。図５は、監視処理に係る表示画面例を示す図である。人体検出・属性推定設定に関し、ユーザは、領域設定ボタン５０１を押下し、監視映像５１０上に、検出領域５１１の設定を行うことができる。設定を行った検出領域５１１に対して、人体の検出と、属性の推定が行われると、その結果がテーブル５０２に表示される。

グループ分け設定に関し、ユーザは、プルダウンメニュー５０３からグループ分けを行う属性を選択し、分割を行う閾値を５０４にて設定する。プルダウンメニューでは、上述のとおり（子供，大人）、（男性，女性）、（成人，高齢者）など、年齢あるいは性別など様々な組み合わせを指定することが可能である。属性推定結果は、円グラフ５０５によりリアルタイムで表示される。属性グループ分け結果は、監視映像５１０上の検出された人体に対して色付けシルエット化された状態で表示され、リアルタイムに更新される。本処理は、第１のグループに属する人物と、第２のグループに属する人物とを識別可能に表示するよう制御する表示処理の一例である。このような表示をすることで、ユーザは一目で映像上のどこに少数・多数属性グループが存在するかが確認できる。アラート設定に関し、５０６の検知ランプがグループ分け判定された場合に点灯する。アラートの通知先は５０７のプルダウンメニューによって選択することができる。以上説明したように、ＵＩ上で適切な設定を行うことで、少数・多数属性グループの存在を効果的に把握することができる。

このように、危険が発生する可能性がある状況において、本実施形態に係る監視装置１００は、警告を出力することができる。すなわち、監視装置１００は、人物監視において、危険が生じる可能性がある場合に、適切に監視員等に通知することができる。

第１の実施形態の第１の変形例としては、監視装置１００は、複数の人物をグループに分類する際に、特定の人物を除外してもよい。特定人物について、検知設定部２０５により登録が行われているものとし、グループ判定部２０３は、登録された情報に従い、特定人物の判定を行う。そして、グループ判定部２０３は、特定人物と判定された人物については、グループの分類対象から除外する。すなわち、グループ判定部２０３は、予め登録された人物以外の人物を対象に分類を行う。これにより、例えば、警備員等除外したい人物をグループから除外することができる。したがって、危険が生じる可能性をより適切に判定することができる。

第２の変形例としては、監視装置１００は、監視カメラ等の撮像装置に組み込まれる画像処理回路であってもよい。この場合において、監視装置１００は、少数の属性グループと多数の属性グループとが存在すると判定された場合に、その後の処理を行うのに替えて、少数の属性グループの人物を、ＰＴＺ駆動により、追跡してもよい。少数の属性グループが複数人で構成される場合、監視装置１００は、構成員の重心位置が撮像範囲の中心にあたるようにＰＴＺ駆動を行う。こうすることで、属性グループが判定された後に、そのグループの動きの追跡を行うことができる。

第３の変形例としては、監視装置１００は、属性グループに属する人物の数に応じて、警告を出力するよう制御すればよく、そのための具体的な処理は実施形態に限定されるものではない。例えば、監視装置１００は、一の属性グループの人物の数と他の属性グループの人物の数の割合に応じて、出力を制限してもよい。

（第２の実施形態）
次に、第２の実施形態に係る監視装置１００について、第１の実施形態に係る監視装置１００と異なる点を主に説明する。図６は、第２の実施形態に係る監視装置１００の機能構成図である。第２の実施形態に係る監視装置１００は、第１の実施形態に係る監視装置１００の機能構成に加えて、距離判定部６０１をさらに有している。距離判定部５０１は、少数グループと多数グループの間の距離が距離閾値未満か否かを判定する。距離判定部６０１は、判定には、設定部２０５で設定された異なるグループの構成員同士の距離を使用する。

図７は、第２の実施形態に係る監視装置１００による監視処理を示すフローチャートである。なお、図６に示す監視処理の各処理のうち、図３を参照しつつ説明した第１の実施形態に係る監視処理の各処理と同一の処理には、同一の番号を付している。第１の実施形態において説明したように、Ｓ３０６において、外部通知部２０４は、警告を出力するよう制御する。なお、ここでは、後述の警告と区別するために、Ｓ３０６における警告を第１の警告と称する。Ｓ３０６の処理の後、Ｓ７０１において、距離判定部６０１は、グループ間距離を求める。ここで、グループ間距離は、図８に示すように、少数の属性グループに属する人物と、多数属性グループに属する人物の間の距離である。

本実施形態においては、距離判定部６０１は、少数グループに属する人物と多数属性グループに属する人物の間の距離のうち最小値をグループ間距離として求めるものとする。なお、他の例としては、グループ判定部２０３は、少数の属性グループに属する人物と多数の属性グループに属する人物の間の距離のうち最大値をグループ間距離として求めてもよい。また、グループ判定部２０３は、少数の属性グループに属する人物と多数の属性グループに属する人物の間の距離の平均値をグループ間距離として求めてもよい。

図７に戻り、Ｓ７０１において、距離判定部６０１は、さらに、グループ間距離が予め設定された距離閾値未満か否かを判定する。距離判定部６０１は、グループ間距離が距離閾値未満の場合には（Ｓ７０１でＹＥＳ）、処理をＳ７０２へ進める。距離判定部６０１は、グループ間距離が距離閾値以上の場合には（Ｓ７０１でＮＯ）、処理をＳ３０３へ進める。

Ｓ７０２において、外部通知部２０４は、警告を出力するよう制御する。本警告を第２の警告と称する。なお、第１の警告と第２の警告とは、互いに異なる警告であることをユーザが認識し得る情報であってもよい。ＣＰＵ１０１は、Ｓ７０２の処理の後、処理をＳ３０３へ進める。なお、第２の実施形態に係る監視装置１００のこれ以外の構成及び処理は、第１の実施形態に係る監視装置１００の構成及び処理と同様である。

少数の属性グループと多数の属性グループの間のグループ間距離が小さくなる程、危険が発生する可能性が高くなると考えられる。そこで、第２の実施形態に係る監視装置１００は、グループ間距離が距離閾値未満になった場合に、警告を出力するよう制御することとした。これにより、適切に監視員等に通知することができる。

（第３の実施形態）
次に、第３の実施形態に係る監視装置１００について、他の実施形態に係る監視装置１００と異なる点を主に説明する。第３の実施形態に係る監視装置１００は、グループ間距離に応じて、２段階で警告の出力を行うよう制御する。図９は、第３の実施形態に係る監視装置１００による監視処理を示すフローチャートである。なお、図６に示す監視処理の各処理のうち、図３を参照しつつ説明した第１の実施形態に係る監視処理の各処理と同一の処理には、同一の番号を付している。

第２の実施形態において説明したように、Ｓ３０６において、外部通知部２０４は、第１の警告を出力するよう制御する。そして、Ｓ３０６の処理の後、Ｓ９０１において、グループ判定部２０３は、グループ間距離を求め、グループ間距離が距離閾値未満か否かを判定する。なお、ここでは、後述の距離閾値と区別するために、Ｓ９０１において利用される距離閾値を第１の距離閾値と称する。グループ判定部２０３は、グループ間距離が第１の距離閾値未満の場合には（Ｓ９０１でＹＥＳ）、処理をＳ９０２へ進める。グループ判定部２０３は、グループ間距離が第１の距離閾値以上の場合には（Ｓ９０１でＮＯ）、処理をＳ３０３へ進める。Ｓ９０２において、外部通知部２０４は、第２の警告を出力するよう制御する。なお、Ｓ９０１及びＳ９０２の処理は、図６を参照しつつ説明したＳ７０１及びＳ７０２の処理と同様である。

Ｓ９０２の処理の後、Ｓ９０３において、グループ判定部２０３は、グループ間距離が第２の距離閾値未満か否かを判定する。ここで、第２の距離閾値は、第１の距離閾値に比べて小さい距離である。グループ判定部２０３は、グループ間距離が第２の距離閾値未満の場合には（Ｓ９０３でＹＥＳ）、処理をＳ９０４へ進める。グループ判定部２０３は、グループ間距離が第２の距離閾値以上の場合には（Ｓ９０３でＮＯ）、処理をＳ３０３へ進める。Ｓ９０４において、外部通知部２０４は、第３の警告を出力するよう制御し、その後処理をＳ３０３へ進める。第３の実施形態に係る監視装置１００のこれ以外の構成及び処理は、他の実施形態に係る監視装置１００の構成及び処理と同様である。

例えば、図８に示すように、少数の大人が子供に近付いていき、追いかける動作が発生する場合がある。このような場合に、第３の実施形態に係る監視装置１００によれば、第２の警告を出力した後で、追いかける動作により子供と大人の距離がさらに小さくなった場合に第３の警告を出力することができる。

第３の実施形態の第１の変形例としては、本実施形態においては、追いかける動作を検知するために、グループ間距離を参照したが、Ｓ９０３においては、追いかける動作を検知できればよく、そのための具体的な処理は実施形態に限定されるものではない。他の例としては、少数の属性グループの人物の移動速度に基づいて、追いかける動作の有無を検知してもよい。

第２の変形例としては、監視装置１００は、属性情報として感情を取得し、属性グループ判定の後に、さらなるアラートを行ってもよい。感情の取得としては、顔より表情を取得する方法が一般的に知られている。本例では怒り、恐れを扱う。監視装置１００は、グループ判定後に各グループの人物の感情を推定する。本処理は、感情推定処理の一例である。そして、監視装置１００は、怒り、恐れの割合が一定閾値以上の場合に、警告を出力するよう制御する。なお、割合の閾値は設定部２０５により予め設定されるものとする。このように、少数、多数の属性グループの存在だけでなく、グループの人物の感情を考慮することで、危険が生じる可能性をより適切に判定することができる。

さらに、上記の実施形態において、人体検出された人物の密度に応じて、処理を行うか否かを制御してもよい。人の密度が高い場合に、少数・多数属性グループの存在がより危険になり得ると予想される。そこで、本変形例に係る監視装置１００は、人体検出部２０１より検出された人体の大きさや画角などから、人の密度を算出する。

例えば、顔を確認するため監視カメラ映像では、斜めから撮影されることが多い。この場合、監視カメラに対し手前側の人は大きく、奥側の人は小さく映像上に表示される（例えば、図１０（ａ））。取得した映像を解析することで、検出された人の位置と大きさを得ることができる。監視装置１００は、この人の位置と大きさを用いて、一つ一つの領域の実地面積が同じになるように映像に対して領域を範囲指定し（例えば、図１０（ｂ））、範囲指定された領域毎の人数をカウントし、密度を算出する。本実施例では、領域内の人数をカウントして密度を算出するが、検出した人と人との距離を用いて密度を算出する方法や、複数の映像を学習し、学習を用いた密度を算出する方法を用いてもよい。そして、監視装置１００は、人の密度が一定以上の場合にのみ、属性推定処理以降の処理を行う。これにより、より危険度が高いと予想される場合にのみ、グループ判定を行うことができる。本処理は、人物の密度に応じて警告の出力を制限する出力処理の一例である。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 監視装置
２０１ 人体検出部
２０２ 属性推定部
２０３ グループ判定部
２０４ 外部通知部
２０５ 設定部

Claims (12)

1. 撮影画像において人物を検出する検出手段と、
   前記撮影画像に基づいて、前記検出手段により検出された人物の属性を推定する属性推定手段と、
   前記属性推定手段による推定結果に基づいて、前記検出手段により検出された複数の人物を属性グループに分類する分類手段と、
   前記属性グループに属する人物の数に応じて、警告を出力するよう制御する出力処理手段と
   を有することを特徴とする監視装置。
2. 前記出力処理手段は、属性グループに属する人物の数が第１の人数閾値未満の第１のグループと、属性グループに属する人物の数が第１の人数閾値よりも大きい第２の人数閾値以上の第２のグループがそれぞれ１つ以上存在する場合に、警告を出力するよう制御することを特徴とする請求項１に記載の監視装置。
3. 前記出力処理手段は、前記第１のグループに属する人物と前記第２のグループに属する人物の間の距離に応じて、警告を出力するよう制御することを特徴とする請求項２に記載の監視装置。
4. 前記出力処理手段は、前記第１のグループに属する人物と前記第２のグループに属する人物の間の距離が距離閾値未満の場合に、警告を出力するよう制御することを特徴とする請求項３に記載の監視装置。
5. 前記出力処理手段は、
   属性グループに属する人物の数が第１の人数閾値未満の第１のグループと、属性グループに属する人物の数が第１の人数閾値よりも大きい第２の人数閾値以上の第２のグループがそれぞれ１つ以上存在する場合に、第１の警告を出力するよう制御し、
   前記第１のグループに属する人物と前記第２のグループに属する人物の間の距離が第１の距離閾値未満になった場合に、第２の警告を出力するよう制御し、
   前記第１のグループに属する人物と前記第２のグループに属する人物の間の距離が第１の距離閾値よりも小さい第２の距離閾値未満になった場合に、第３の警告を出力するよう制御することを特徴とする請求項１に記載の監視装置。
6. 前記第１のグループに属する人物と前記第２のグループに属する人物を識別可能に表示するよう制御する表示処理手段をさらに有することを特徴とする請求項２に記載の監視装置。
7. 前記撮影画像に基づいて、前記第１のグループに属する人物及び前記第２のグループに属する人物のうち少なくとも一方の人物の感情を推定する感情推定手段をさらに有し、
   前記出力処理手段は、さらに人物の感情に応じて警告を出力するよう制御することを特徴とする請求項２乃至６の何れか１項に記載の監視装置。
8. 前記第１のグループに属する人物及び前記第２のグループに属する人物のうち少なくとも一方の人物を追跡する追跡手段をさらに有することを特徴とする請求項２に記載の監視装置。
9. 前記分類手段は、予め登録された人物以外の人物を対象に、分類を行うことを特徴とする請求項１乃至８の何れか１項に記載の監視装置。
10. 前記出力処理手段は、前記検出手段により検出された人物の密度に応じて、前記警告の出力を制限することを特徴とする請求項１乃至９の何れか１項に記載の監視装置。
11. 監視装置が実行する監視方法であって、
    撮影画像において人物を検出する検出ステップと、
    前記撮影画像に基づいて、前記検出ステップにおいて検出された人物の属性を推定する属性推定ステップと、
    前記属性推定ステップの推定結果に基づいて、前記検出ステップにおいて検出された複数の人物を属性グループに分類する分類ステップと、
    前記属性グループに属する人物の数に応じて、警告を出力するよう制御する出力処理ステップと
    を含むことを特徴とする監視方法。
12. コンピュータを、請求項１乃至１０の何れか１項に記載の監視装置の各手段として機能させるためのプログラム。

Images