JP6481617B2 - 回避行動検出装置、回避行動検出方法、およびプログラム - Google Patents

Description

本発明は、画像を用いて人の行動を解析する技術に関する。

監視画像を用いてそれに写る人物の状態を解析する様々な手法が提案されている。これら手法は、防犯、防災、異常検知等に利用される。

下記特許文献１は、入力画像を部分領域に分け、画像の動き情報及び画像のテクスチャ情報を用いて、各部分領域において人の有無を判定し、更に、当該画像から人物の流量傾向や異常混雑状態を判定する手法を提案する。下記非特許文献１では、オプティカルフローと呼ばれる技術を用いてビデオシーンの画素の動きを計測し、群衆の動きを推定する手法が提案されている。下記特許文献１の図６（ａ）によれば、特定エリアを避ける動きが推定されている。

特開２００９−１１０１５２号公報

Alan J. Lipton、"Intelligent Video Surveillance in Crowds"、[online]、Object Video White Paper、[2012年3月8日掲載（Data added）]、［2013年10月2日検索］、インターネット<URL: http://www.objectvideo.com/component/docman/doc_download/150-white-paper-flow-control.html?Itemid=>、ファイル名<OV_WP_FlowControl.pdf>

上述の特許文献１の提案手法は、画像に写る人数を把握するものであり、人の行動を解析するものではない。一方で、上述の非特許文献１の提案手法は、オプティカルフローから得られる画素の動き情報に基づいて群衆の動きを解析している。この提案手法は、非特許文献１の図６（ａ）、（ｂ）及び（ｃ）に示されるように、動き解析の対象を、１００人かそれ以上の群衆に限定していると考えられる。この提案手法は、画像の動き情報のみを用いているため、動きの情報量が多く得られる場合には、群衆の回避行動を検出することができるかもしれない。しかしながら、この提案手法では、一枚の画像に写る人の数が少ない（例えば２０人未満の）場合、動きの情報量が減り、結果として、解析精度が維持できない可能性がある。

１００人以上の群衆が存在する場所は特定の場所に限られる上、監視カメラもかなり引いた画角である必要がある。不審人物等を監視する場合、人物の特徴を画面上で確認できる必要があり、通常、人物が或る程度大きく映るように画角が決定される。この場合、それ程多くの人物を一画面に一度にとらえることは困難であり、非特許文献１の提案手法を適用することは困難である。また、一般的な通路や道路、部屋など、より人物が少ない場所においては、なおさら適用が難しい。

本発明は、このような事情に鑑みてなされたものであり、汎用的に画像を用いた人の回避行動の検出を行う技術を提供する。

本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。

第１の側面は、回避行動検出装置に関する。第１の側面に係る回避行動検出装置は、対象画像の複数の部分エリアに関し、人の混雑度をそれぞれ推定する推定部と、前記推定部により推定される前記複数の部分エリアそれぞれの前記混雑度を用いて、前記対象画像における前記混雑度の分布状況及び前記複数の部分エリアそれぞれの前記混雑度の時間推移を取得し、前記分布状況及び前記時間推移を用いて、人の回避行動を検出する検出部と、を有する。

第２の側面は、少なくとも１つのコンピュータにより実行される回避行動検出方法に関する。第２の側面に係る回避行動検出方法は、対象画像の複数の部分エリアに関し、人の混雑度をそれぞれ推定し、前記推定された前記複数の部分エリアそれぞれの混雑度を用いて、前記対象画像における前記混雑度の分布状況及び前記複数の部分エリアそれぞれの前記混雑度の時間推移を取得し、前記分布状況及び前記時間推移を用いて、人の回避行動を検出することを含む。

なお、本発明の他の側面としては、上記第２の側面の方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。

上記各側面によれば、汎用的に画像を用いた人の回避行動の検出を行う技術を提供することができる。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

本発明の実施形態における回避行動検出装置の処理構成例を概念的に示す図である。 第１実施形態における監視画像解析装置（解析装置）のハードウェア構成例を概念的に示す図である。 第１実施形態における監視画像解析装置（解析装置）の処理構成例を概念的に示す図である。 回避行動状態の検出手法の中の時間優先手法を概念的に示す図である。 回避行動状態の検出手法の中の空間優先手法を概念的に示す図である。 回避原因箇所を特定可能な表示要素が付加された監視画像の例を示す図である。 第１実施形態における監視画像解析装置（解析装置）の動作例（時間優先手法）を示すフローチャートである。 第１実施形態における監視画像解析装置（解析装置）の動作例（空間優先手法）を示すフローチャートである。 第２実施形態における監視画像解析装置（解析装置）の処理構成例を概念的に示す図である。 複数人の迂回行動の例とその例に対応する動き情報の例とを示す図である。 第２実施形態における監視画像解析装置（解析装置）の動作例（混雑度先行手法）を示すフローチャートである。 第２実施形態における監視画像解析装置（解析装置）の動作例（混雑度先行手法）を示すフローチャートである。 第２実施形態における監視画像解析装置（解析装置）の動作例（動き先行手法）を示すフローチャートである。 回避原因箇所を特定可能な表示要素が付加された監視画像の具体例を示す図である。 実施例における監視画像解析装置（解析装置）の処理構成を概念的に示す図である。

以下、本発明の実施の形態について説明する。なお、以下に挙げる実施形態は例示であり、本発明は以下の実施形態の構成に限定されない。

図１は、本発明の実施形態における回避行動検出装置の処理構成例を概念的に示す図である。図１に示されるように、回避行動検出装置１００は、対象画像の複数の部分エリアに関し、人の混雑度をそれぞれ推定する推定部１０１と、推定部１０１により推定される混雑度の分布状況及び時間推移を用いて、人の回避行動を検出する検出部１０２と、を有する。

図１に示される回避行動検出装置１００は、例えば、後述する詳細実施形態における監視画像解析装置１０と同様のハードウェア構成を有し、その監視画像解析装置１０と同様にプログラムが処理されることで、上述の各処理部が実現される。

本発明の実施形態では、回避行動検出装置１００のような少なくとも１つのコンピュータにより次のような回避行動検出方法が実行される。回避行動検出方法は、対象画像の複数の部分エリアに関し、人の混雑度をそれぞれ推定し、推定された混雑度の分布状況及び時間推移を用いて、人の回避行動を検出することを含む。また、本発明の実施形態は、上述の回避行動検出方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録した当該コンピュータが読み取り可能な記録媒体であってもよい。

このように、本実施形態では、対象画像の複数の部分エリアに関し、人の混雑度がそれぞれ推定される（推定部１０１）。対象画像は、撮像装置から得られる映像信号や動画ファイルからキャプチャされた静止画像である。また、対象画像は、人が移動又は滞留し得る場所を撮影して得られる。以降、対象画像に写るこのような場所を検出対象場所と表記する。本実施形態は、人が移動又は滞留し得る場所であれば、検出対象場所を制限しない。検出対象場所としては、例えば、通路、階段、道路、駅のホーム、部屋、ロビー等があり得る。本実施形態は、検出対象場所を複数人の動きが把握可能な位置から撮影して得られる画像であれば、対象画像の撮影位置を制限しないが、撮影位置は、検出対象場所を俯瞰可能な位置であることが望ましい。対象画像は、回避行動検出装置１００自身により生成されてもよいし、他の装置から取得されてもよい。

複数の部分エリアの各々は、対象画像の一部に相当する部分画像である。各部分エリアは、他の部分エリアと一部重複していてもよいし、他の部分エリアと重複しなくてもよい。また、当該複数の部分エリアは、対象画像の全てを覆い尽くすように配置されてもよいし、そうでなくてもよい。当該複数の部分エリアが対象画像の全てを覆い尽くさないように配置される場合、少なくとも１つの部分エリアの周囲に、他の部分エリアと接していない箇所が存在し得る。また、各部分エリアのサイズ及び形状は、同一でもよいし、異なっていてもよい。

各部分エリアの混雑度は、各部分エリアに存在する人の多さの度合いを示す指標値である。各部分エリアの混雑度は、その部分エリアに写る人の数で示されてもよいし、その部分エリアに写る人の数をその部分エリアのサイズで除算して得られる密度で示されてもよいし、人数及び密度の少なくとも一方を用いた計算により得られる値で示されてもよい。但し、本実施形態は、部分画像に写る人の数を推定する手法を制限しない。例えば、画像から人の頭部を検出する技術を用いる手法が用いられる。また、画像の小領域ごとに切り出した、複数人物が存在する画像（群衆パッチ）の特徴を、存在する人数毎に収集し、回帰学習させた人数推定器が用いられてもよい。この場合、部分エリアに含まれる画像の小領域ごとに人数推定器が適用され、得られた結果を合計して部分エリアに含まれる人数が推定される。但し、部分エリアと小領域が同じサイズの場合には、最後の加算は不要である。

本実施形態では、各時間の場面を写す対象画像が逐次取得され、上述のような、部分エリア毎の混雑度の推定が、逐次取得される各対象画像に対して、それぞれ実行される。そして、本実施形態では、推定された混雑度の分布状況及び時間推移を用いて、人の回避行動が検出される（検出部１０２）。混雑度の分布状況とは、対象画像内の各部分エリアの位置と各部分エリアの混雑度とにより示される、対象画像上における混雑度の分布の状態を意味する。混雑度の時間推移は、各時間の場面を写す各対象画像から推定される部分エリア毎の混雑度の時間変化を意味する。

部分エリア毎の混雑度の分布状況及び時間推移によれば、対象画像に写る検出対象場所の中の、複数人の動きの傾向を得ることができる。例えば、通常時は、検出対象場所には全体的に多くの人が存在する（移動する又は滞留する）が、特定の部分エリアのみ或る時点から存在する人数が減ったといった人の動きを得ることができる。このような人の動きは、当該特定の部分エリアを回避する行動であると推定することができる。更に、この推定により、当該特定の部分エリアを回避行動の原因が存在する回避原因箇所として特定することもできる。

なお、混雑度の時間推移のみ、又は、混雑度の分布状況のみでは、上述のように、人の回避行動を正確に検出することはできない。混雑度の時間推移のみでは、検出対象場所において、全体的に人が存在しなくなったのか、特定の部分エリアのみ人が存在しなくなったのかの区別がつかない。また、混雑度の分布状況のみでは、特定の部分エリアにおいて、偶然に一時的に人が存在しなくなったのか否かを区別できない。本実施形態では、部分エリア毎の混雑度の分布状況及び時間推移の両方を用いることで、人の回避行動を正確に検出することができる。

このように、本実施形態によれば、画像を用いて人の回避行動を検出することができる。本実施形態で検出される人の回避行動の検出は、当該回避行動の原因が存在する回避原因箇所の特定によっても実現され得る。回避原因箇所が特定されるということは、人の回避行動が検出されたことも含むと考えられる。

本実施形態では、人の回避行動を検出するために、画像から推定される部分エリア毎の混雑度の分布状況及び時間推移が用いられる。本実施形態では、混雑度の時間的変化及び周囲の混雑度の状況が把握できれば、対象画像に写る人数が大多数でなくとも、人の回避行動を検出することができる。従って、本実施形態によれば、一時的な動き情報のみを用いる手法に比べ、対象画像に依存せず人の回避行動を検出することができる。言い換えれば、本実施形態によれば、画像を用いた人の回避行動の検出を汎用化することができる。

上述の実施形態において、回避行動以外の、予め定められた行動を検出してもよい。この場合、推定部１０１が、画像の部分領域の混雑度を推定し、検出部１０２が、推定部１０１により推定される複数の部分領域の混雑度の時間推移を用いて、予め定められた行動を検出する。この場合、回避行動検出装置１００は、単に、情報処理装置と呼ぶことができる。

以下、上述の実施形態について更に詳細を説明する。以下、上述の実施形態の内容を含む詳細実施形態として、第１実施形態及び第２実施形態における監視画像解析装置を例示する。以下では、上述の実施形態と同じ内容については適宜省略する。但し、以下の詳細実施形態の内容は、監視画像解析装置のみに適用可能なわけではなく、画像を用いた人の回避行動の検出を行うあらゆる装置又はシステムに適用可能である。

［第１実施形態］
〔装置構成〕
図２は、第１実施形態における監視画像解析装置（以降、単に解析装置と表記する場合もある）１０のハードウェア構成例を概念的に示す図である。解析装置１０は、いわゆるコンピュータであり、例えば、バスで相互に接続される、ＣＰＵ（Central Processing Unit）１１、メモリ１２、入出力インタフェース（Ｉ／Ｆ）１３、通信ユニット１４等を有する。メモリ１２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ハードディスク等である。通信ユニット１４は、他のコンピュータや機器と信号のやりとりを行う。第１実施形態では、通信ユニット１４には監視カメラ１７が接続される。通信ユニット１４は、監視カメラ１７から映像信号を取得する。また、通信ユニット１４には、可搬型記録媒体等も接続され得る。

監視カメラ１７は、検出対象場所を撮影した映像信号を通信ユニット１４に送る。図２では、１台の監視カメラ１７が示されるが、複数台の監視カメラ１７が通信ユニット１４に接続されていてもよい。

入出力Ｉ／Ｆ１３は、表示装置１５、入力装置１６等のユーザインタフェース装置と接続可能である。表示装置１５は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイのような、ＣＰＵ１１やＧＰＵ（Graphics Processing Unit）（図示せず）等により処理された描画データに対応する画面を表示する装置である。入力装置１６は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置である。表示装置１５及び入力装置１６は一体化され、タッチパネルとして実現されてもよい。解析装置１０は、図２に示されない他の構成を更に有してもよい。解析装置１０のハードウェア構成は制限されない。

〔処理構成〕
図３は、第１実施形態における解析装置１０の処理構成例を概念的に示す図である。図３に示されるように、解析装置１０は、取得部２１、推定部２２、保持部２３、検出部２４、画像処理部２５、表示処理部２６等を有する。これら各処理部は、例えば、ＣＰＵ１１によりメモリ１２に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ１３又は通信ユニット１４を介してインストールされ、メモリ１２に格納されてもよい。

取得部２１は、監視画像を上述の対象画像として取得する。具体的には、取得部２１は、監視カメラ１７からの映像信号を任意のタイミングでキャプチャすることにより、監視画像を逐次取得する。任意のタイミングは例えば所定周期である。解析装置１０に監視カメラ１７が接続されない場合には、取得部２１は、可搬型記録媒体、他のコンピュータ等から通信ユニット１４を介して、監視画像を取得してもよい。例えば、取得部２１は、カメラで撮影した画像を一旦蓄積して配信する、画像蓄積・配信装置から監視画像を取得してもよいし、画像を蓄積し、再生する画像録画器から監視画像を取得してもよい。

推定部２２は、上述の推定部１０１に相当する。推定部２２は、取得部２１により逐次取得される監視画像の複数の部分エリアに関し、人の混雑度をそれぞれ推定する。当該複数の部分エリアについては上述したとおりである。例えば、推定部２２は、予め決められた区分け情報を用いて監視画像の各部分エリアを特定する。また、推定部２２は、監視画像上に所定のウィンドウを所定間隔毎にスライドさせることで、複数の部分エリアを特定することもできる。

混雑度及び混雑度の推定方法についても上述のとおりである。例えば、推定部２２は、群衆パッチを各部分エリアの部分画像にそれぞれ適用することにより、各部分エリアの人数をそれぞれ推定し、推定された人数を各部分エリアのサイズ（面積）で除算することにより、各部分エリアの混雑度をそれぞれ推定する。人の頭部を検出する手法では、人が重なっている場合や、監視カメラ１７に近過ぎる位置や遠く離れた位置にいる人の検出精度が低下する問題があるところ、この群衆パッチを用いる手法によれば、様々な場面について学習しているため、人数推定の精度を維持することができる。

推定部２２は、逐次取得される監視画像から推定された部分エリア毎の混雑度を逐次保持部２３に保持させる。これにより、保持部２３は、部分エリア毎の混雑度を時系列データとして保持する。例えば、保持部２３は、部分エリアの識別データ及びその部分エリアの混雑度のペアを時間順に保持する。

検出部２４は、保持部２３に保持される部分エリア毎の混雑度の時系列データを用いて、混雑度が閾値より低い非混雑状態が継続している対象部分エリア、及び、継続的な非混雑状態となっていない少なくとも１つの他の部分エリアが共存している状態を検出する。ここで、対象部分エリアは、１つの部分エリアであってもよいし、複数の部分エリアであってもよい。また、非混雑状態が継続しているとは、或る部分エリアにおいて、或る時から非混雑状態となり、最新の監視映像でもその非混雑状態が継続していることを意味する。共存とは、対象部分エリアの非混雑状態の継続中に、継続的な非混雑状態となっていない少なくとも１つの他の部分エリアがその対象部分エリアと共に存在することを意味する。以降、検出部２４により検出されるこのような状態を回避行動状態と表記する場合もある。検出部２４は、このような回避行動状態を検出すると、人の回避行動が発生していると判定することができる。

非混雑状態の判定に用いられる閾値は、各部分エリアにおける通常時の混雑度から決定される。この閾値は、予め検出部２４により保持されていてもよいし、入力画面等に基づいて入力装置１６をユーザが操作することにより入力された情報であってもよいし、可搬型記録媒体、他のコンピュータ等から通信ユニット１４を経由して取得された情報であってもよい。

検出対象場所によっては、月、日、曜日、時間帯、平日か週末か等によって標準混雑度が全く異なる場合があり得る。例えば、オフィスビルの廊下が検出対象場所である場合、早朝や深夜の時間帯では、就業時間に比べて、全体的に人が少ない。同様に、この検出対象場所では、平日よりも週末のほうが、全体的に人が少ない。このため、非混雑状態の判定に用いられる閾値は、上述のような所定時間単位毎の標準混雑度に基づいて決定されることが望ましい。この場合、検出部２４は、監視画像の部分エリアに関し設定される所定時間単位毎の標準混雑度の中の、監視画像が撮影された時間に対応する標準混雑度を用いて、閾値を決定する。

また、検出対象場所によっては、同じ時間単位内であっても、部分エリア毎に標準混雑度が異なる場合があり得る。例えば、立ち入ることができない部分エリア（障害物のある場所など）が存在する場合には、その部分エリアには人が存在し得ない。また、検出対象場所が通路の場合に、目的地への距離等によって、人が通行し易い又は通行を好む部分エリアとそうでない部分エリアとが存在し得る。このため、非混雑状態の判定に用いられる当該閾値は、部分エリア毎にそれぞれ設けられることが望ましい。この場合、上述の所定時間単位毎の前記標準混雑度は、更に、監視画像の部分エリア毎にそれぞれ設定される。そして、検出部２４は、当該標準混雑度の中の、監視画像の撮影時間に対応しかつ各部分エリアに対応する標準混雑度を用いて、各部分エリアについて閾値をそれぞれ決定する。

標準混雑度とは、その時間単位における標準的な混雑度を意味し、例えば、その時間単位における平均混雑度、最頻混雑度、混雑度の中央値などの混雑度の統計量、又は、これらの統計量を用いて算出される値が標準混雑度として用いられる。所定時間単位毎の標準混雑度は、予め検出部２４により保持されていてもよいし、ユーザ操作により入力された情報であってもよいし、可搬型記録媒体、他のコンピュータ等から取得された情報であってもよい。また、検出部２４は、当該標準混雑度に対して所定比率を掛けることにより、当該閾値を計算することができる。

検出部２４は、上述のような回避行動状態を検出すると、当該対象部分エリアを回避行動の原因が存在する回避原因箇所に決定する。対象部分エリアは、少なくとも１つの他の部分エリアが継続的な非混雑状態となっていないにもかかわらず、継続的な非混雑状態を示すため、複数人がその対象部分エリアを回避して行動していると考えることができるからである。

更に、検出部２４は、上述の回避行動状態として、当該対象部分エリアの周囲の複数の部分エリアが継続的な非混雑状態となっていない状態を検出するようにしてもよい。この場合、検出部２４は、混雑度が閾値より低い非混雑状態が継続している対象部分エリアと、継続的な非混雑状態となっていない、対象部分エリアの周囲の複数の部分エリアとが、共存している状態を回避行動状態として検出する。このようにすれば、検出対象場所において、人が明らかにその対象部分エリアのみを迂回する行動を取っている状態を検出することができるため、人の回避行動の検出及び回避原因箇所の特定を高精度に実現することができる。

検出部２４は、上述のような回避行動状態を、次のような手法で検出することができる。以下には、時間優先手法と空間優先手法とが例示される。

《時間優先手法》
検出部２４は、保持部２３に保持される混雑度の時間推移を用いて、非混雑状態が継続している対象部分エリアを特定し、次に、その対象部分エリアの非混雑状態の継続中に、継続的な非混雑状態となっていない、少なくとも１つの他の部分エリアが存在するか否かを判定する。

図４は、回避行動状態の検出手法の中の時間優先手法を概念的に示す図である。図４によれば、最初に、検出部２４は、時間Ｔ１以降に、継続的な非混雑状態を示している部分エリアＡ２を対象部分エリアとして特定し、次に、時間Ｔ１以降に、継続的な非混雑状態となっていない部分エリアＡ１及びＡ３を見つける。結果、検出部２４は、回避行動状態を検出することになる。このように、時間優先手法は、混雑度の時間推移を用いて、非混雑状態が継続している対象部分エリアを先に見つける手法である。

《空間優先手法》
検出部２４は、保持部２３に保持される或る時点の各部分エリアの混雑度に基づいて、非混雑状態を示す部分エリア及び混雑度が閾値より高い混雑状態を示す少なくとも１つの他の部分エリアが共存していることを検出し、次に、保持部２３に保持される混雑度の時系列データを用いて、非混雑状態を示す部分エリアが非混雑状態を継続しているか否かを判定する。

図５は、回避行動状態の検出手法の中の空間優先手法を概念的に示す図である。図５によれば、最初に、検出部２４は、或る時点の各部分エリアの混雑度に基づいて、非混雑状態を示す部分エリアＡ２と、その部分エリアＡ２の周囲の、混雑状態を示す部分エリアＡ１及びＡ３とが共存していることを検出する。次に、検出部２４は、混雑度の時間推移を用いて、その部分エリアＡ２が非混雑状態を継続していることを確認する。結果、検出部２４は、回避行動状態を検出することになる。このように、空間優先手法は、或る時点の混雑度の分布状況を用いて、非混雑状態を示す部分エリアと混雑状態を示す他の部分エリアとの共存を先に見つける手法である。

画像処理部２５は、検出部２４により回避原因箇所に決定された部分エリアの、監視画像内の位置情報に基づいて、監視画像上に回避原因箇所を特定可能な表示要素を付す。各部分エリアの監視画像内の位置情報は、例えば、部分エリアを特定する推定部２２により保持される。画像処理部２５により付される表示要素自体は、回避原因箇所を特定可能なものであれば、制限されない。この表示要素は、例えば、回避原因箇所に決定された部分エリアの周囲を囲む線、その部分エリア内に付される何らかのマーク（点、星、感嘆符など）、その部分エリアを指す矢印や吹き出しなどである。また、このような表示要素が付される元の監視画像は、取得部２１により取得された監視画像であって、上述の回避行動状態を示す複数の監視画像の中のいずれか１つである。

表示処理部２６は、画像処理部２５により表示要素が付された監視画像を表示装置１５に表示させる。
図６は、回避原因箇所を特定可能な表示要素が付加された監視画像の例を示す図である。図６の例によれば、検出対象場所である通路の或る箇所に実際の回避原因となる異常状態が発生しており、その箇所を含む部分エリアが回避原因箇所に決定される。但し、図６では、検出部２４により検出される回避原因箇所に対応する部分エリアそのものについては特に明示されていない。図６に示される監視画像には、画像処理部２５により、当該回避原因箇所を取り囲む四角形が表示要素として付されている。

〔動作例〕
図７及び図８は、第１実施形態における解析装置１０の動作例を示すフローチャートである。特に、図７は、時間優先手法の処理フローを示し、図８は、空間優先手法の処理フローを示す。以下の説明では、解析装置１０が当該方法の実行主体となるが、解析装置１０に含まれる上述の各処理部が実行主体となってもよいし、複数のコンピュータが実行主体となってもよい。

解析装置１０は、図７及び図８に示される処理フローとは別に、部分エリア毎の混雑度の時系列データを取得する処理を実行する。具体的には、解析装置１０は、撮影時間が異なる監視画像を逐次取得し、逐次取得される各監視画像から、部分エリア毎の混雑度をそれぞれ推定し、推定された部分エリア毎の混雑度を随時保持する。このような処理の内容は、解析装置１０の各処理部について説明したとおりである。これにより、解析装置１０は、図７及び図８に示される処理フローを実行する際には、部分エリア毎の混雑度の時系列データを既に保持している。

まず、図７を用いて、第１実施形態における回避行動検出方法について説明する。
解析装置１０は、保持部２３から部分エリア毎の混雑度の時系列データを取得する（Ｓ６１）。

解析装置１０は、取得された時系列データに基づいて、監視画像の複数の部分エリアの中から、混雑度が閾値より低い非混雑状態が継続している対象部分エリアを特定する（Ｓ６２）。閾値の決定手法や取得手法については上述したとおりである。

続いて、解析装置１０は、（Ｓ６２）で特定された対象部分エリアの非混雑状態の継続中に、継続的な非混雑状態となっていない他の部分エリアが存在するか否かを判定する（Ｓ６３）。

解析装置１０は、このような他の部分エリアが存在すると判定すると（Ｓ６４；ＹＥＳ）、（Ｓ６２）で特定された対象部分エリアを回避原因箇所に決定する（Ｓ６５）。言い換えると、解析装置１０は、（Ｓ６４；ＹＥＳ）の場合、回避行動状態を検出したことになり、ひいては、人の回避行動を検出したこととなる。

一方で、解析装置１０は、このような他の部分エリアが存在しないと判定すると（Ｓ６４；ＮＯ）、対象部分エリア以外の全ての部分エリアにおいても同様に非混雑状態を継続しているため、回避原因箇所なしと判定する（Ｓ６６）。この判定は、回避行動なしとの判定と同意である。

続いて、解析装置１０は、（Ｓ６５）で回避原因箇所に決定された部分エリアの、監視画像内の位置情報に基づいて、監視画像上に回避原因箇所を特定可能な表示要素を付す（Ｓ６７）。
解析装置１０は、その表示要素が付された監視画像を表示装置１５に表示させる。

次に、図８を用いて、第１実施形態における回避行動検出方法について説明する。
（Ｓ７１）は、図７に示される（Ｓ６１）と同様である。
解析装置１０は、取得された時系列データの中の或る時点の各部分エリアの混雑度に基づいて、非混雑状態を示す部分エリア及び混雑度が閾値より高い混雑状態を示す少なくとも１つの他の部分エリアが共存していることを検出する（Ｓ７２）。

続いて、解析装置１０は、当該時系列データに基づいて、（Ｓ７２）で検出された、非混雑状態を示す部分エリアが、非混雑状態を継続しているか否かを判定する（Ｓ７３）。

解析装置１０は、継続していると判定すると（Ｓ７４；ＹＥＳ）、その非混雑状態を示す部分エリアを回避原因箇所に決定する（Ｓ７５）。言い換えると、解析装置１０は、（Ｓ７４；ＹＥＳ）の場合、回避行動状態を検出したことになり、ひいては、人の回避行動を検出したこととなる。

一方で、解析装置１０は、継続していないと判定すると（Ｓ７４；ＮＯ）、その非混雑状態を示す部分エリアは一時的に非混雑状態となったに過ぎないため、回避原因箇所なしと判定する（Ｓ７６）。この判定は、回避行動なしとの判定と同意である。
以降、（Ｓ７７）及び（Ｓ７８）は、図７に示される（Ｓ６７）及び（Ｓ６８）と同様である。

〔第１実施形態の作用及び効果〕
上述したように第１実施形態では、撮影時間の異なる監視画像が逐次取得され、各監視画像に関し、部分エリア毎の混雑度がそれぞれ推定され、部分エリア毎の混雑度の時系列データが保持される。部分エリア毎の混雑度の時系列データによれば、混雑度の監視画像内の分布状況及び混雑度の時間推移を得ることができる。第１実施形態では、このような時系列データに基づいて、非混雑状態が継続している対象部分エリア、及び、継続的な非混雑状態となっていない少なくとも１つの他の部分エリアが共存している状態が回避行動状態として検出され、この検出により、当該対象部分エリアが回避原因箇所に決定される。このように、第１実施形態によれば、監視画像に写る検出対象場所に関し、人の回避行動を検出すると共に、回避行動原因箇所を特定することができる。

上述の回避行動状態は、混雑度の時間推移を用いて非混雑状態が継続している対象部分エリアを先に見つける手法（時間優先手法）、及び、或る時点の混雑度の分布状況を用いて、非混雑状態を示す部分エリアと混雑状態を示す他の部分エリアとの共存を先に見つける手法（空間優先手法）のいずれでも検出され得る。

また、第１実施形態では、各部分エリアの非混雑状態を判定するために用いられる閾値は、監視画像が撮影された時間に対応する標準混雑度を用いて決定されてもよい。更に、監視画像の撮影時間に対応しかつ各部分エリアに対応する標準混雑度に基づいて、各部分エリアについて閾値がそれぞれ決定されてもよい。このように、第１実施形態では、検出対象場所における人の存在に関する時間的な傾向や空間的な傾向に応じて、非混雑状態の判定が行われるため、非混雑状態と判定された部分エリアが回避原因箇所である確度を上げることができ、回避原因箇所の候補の数を減らすことができ、ひいては、処理負荷を低減することができる。

更に、第１実施形態では、回避原因箇所が見つかった場合、その回避原因箇所を特定可能な表示要素が付された監視画像が表示される。これにより、監視画像を見た者は、人の回避行動の発生と共に、その回避行動の原因箇所を即座に特定することができる。第１実施形態におけるこのような監視画像の表示形態は、異常な人物や異常な物を検出し、その検出された人や物にフォーカスを当てる形態（参考形態）とは、その考え方が全く異なる。参考形態では、検出対象が人や物であり、検出された対象にそのままフォーカスするものであるのに対して、第１実施形態では、検出対象が、人や物という物体そのものではなく、人の回避（迂回）行動という周囲の状況から見出される検出対象場所の中の一部の部分エリアであり、他の物との境界線を有しているわけではない。第１実施形態によれば、このような特定し難い対象を、監視画像内の部分エリアの位置情報を用いることで特定することができ、更に、その特定された対象に対して特定可能な表示要素を付して表示することができる。

［第２実施形態］
第２実施形態では、回避行動及び回避原因箇所の検出のために、混雑度の分布状況及び時間推移に加えて、画像の動き情報が更に用いられる。以下、第２実施形態における解析装置１０について、第１実施形態と異なる内容を中心に説明する。以下の説明では、第１実施形態と同様の内容については適宜省略する。

図９は、第２実施形態における解析装置１０の処理構成例を概念的に示す図である。図９に示されるように、解析装置１０は、第１実施形態の構成に加えて、解析部３１を更に有する。解析部３１についても、他の処理部と同様に、ＣＰＵ１１によりメモリ１２に格納されるプログラムが実行されることにより実現される。

解析部３１は、取得部２１により逐次取得される監視画像の動きを解析する。具体的には、解析部３１は、上記特許文献１及び上記非特許文献１に記載されているオプティカルフロー等のような周知の技術を用いて、監視画像間の画素の動きを測定する。或いは、解析部３１は、このように算出されたオプティカルフローを場所ごとに時間方向で平滑化した値を用いてもよい。第２実施形態では、解析部３１による動き解析の具体的手法は制限されない。

検出部２４は、解析部３１により得られる動き情報を更に用いて、上述の回避原因箇所を決定する。各実施形態で検出される人の回避行動は、或る特定の場所（回避原因箇所）を避ける行動であり、回避原因箇所を挟んで対向する位置では、平行な動きを示す可能性が高い。また、当該回避行動には、回避原因箇所の手前でそれまでの進路を変える動作、即ち、迂回行動が含まれる。更に、その迂回動作には、回避原因箇所の手前でそれまでの進路を変え、回避原因箇所を通過した後に再度進路を変える行動が含まれる場合もある。

図１０は、複数人の迂回行動の例とその例に対応する動き情報の例とを示す図である。図１０の例では、回避原因箇所の手前でそれまでの進路を変える動き（回避原因箇所に向かって複数の方向に分かれる動き）と、回避原因箇所を挟んで対向する位置で平行の動きと、回避原因箇所を通過した後に再度進路を変える動き（回避原因箇所を背に複数の方向から合流する動き）とが迂回行動として表われている。これにより、回避原因箇所の部分エリアＡ２を挟んで対向する部分エリアＡ１及びＡ３間で、動きの方向が平行であり、部分エリアＡ４で複数の方向に分かれる動きが示され（分離部分エリアＡ４）、部分エリアＡ５で複数の方向から合流する動きが示されている（合流部分エリアＡ５）。第２実施形態における検出部２４は、このような迂回行動を含む回避行動を、動き情報を用いて検出することで、回避原因箇所を決定する。

具体的には、検出部２４は、第１実施形態と同様に、混雑度の分布状況及び時間推移を用いて回避原因箇所を決定し、この決定結果に基づいて、当該動き情報を用いて、最終的な回避原因箇所を決定する手法（混雑度先行手法）を用いてもよいし、当該動き情報を用いて回避原因箇所を決定し、この決定結果に基づいて、混雑度の分布状況及び時間推移を用いて、最終的な回避原因箇所を決定する手法（動き先行手法）を用いてもよい。更に、検出部２４は、混雑度の分布状況及び時間推移を用いた回避原因箇所の決定と、動き情報を用いた回避原因箇所の決定とを別々に実施し、各決定結果に基づいて、最終的に回避原因箇所を決定するようにしてもよい。この場合、検出部２４は、各決定結果に対して、回避行動らしさを表す尤度をそれぞれ算出し、それらを掛け合せることで、総合的な尤度を算出し、その総合的な尤度に基づいて、最終的な回避行動の検出及び最終的な回避原因箇所の決定を行うようにしてもよい。

《混雑度先行手法》
検出部２４は、第１実施形態の手法で回避原因箇所に決定された対象部分エリアに関する監視画像内の位置情報を用いて、解析部３１により得られる動き情報に基づいて、対象部分エリアを挟んで対向する他の部分エリア間で動きの方向が平行か否かを判定し、この判定結果を用いて、対象部分エリアを最終的な回避原因箇所に決定する。検出部２４は、対象部分エリアを挟んで対向する他の部分エリアの各々に関し、動き方向のヒストグラムに基づいて、主要な動き方向を決定し、この動き方向が平行か否かを判定する。動き方向が平行とは、完全なる平行のみでなく、平行に近似する関係も含む。具体的には、例えば、主要な動き方向を表すベクトル間の角度を算出し、これが一定値以下であれば、平行に近いと判定することができる。また、主要な動き方向を表す単位ベクトル間の内積を算出し、これが一定値以下のときに平行に近いと判定することもできる。検出部２４は、動き方向が平行の場合に、対象部分エリアを最終的な回避原因箇所に決定し、動き方向が平行でない場合に、対象部分エリアを回避原因箇所でないと判定する。

検出部２４は、上述の判定に加えて、又は、上述の判定に置き換えて、若しくは、上述の判定と共に、図１０に示される分離部分エリア及び合流部分エリアの少なくとも一方の有無に基づいて、回避原因箇所を決定することもできる。この場合、検出部２４は、解析部３１により取得される動き情報に基づいて、対象部分エリア以外の、継続的な非混雑状態となっていない部分エリアに、対象部分エリアに向かって分かれる複数の動き方向を示す分離部分エリア、及び、対象部分エリアを背に合流する複数の動き方向を示す合流部分エリアの少なくとも一方が含まれるか否かを判定する。検出部２４は、分離部分エリア及び合流部分エリアの少なくとも一方が存在すれば、対象部分エリアを回避原因箇所に決定することができる。検出部２４は、対象部分エリアを挟んで対向する部分エリア間の動き方向が平行の場合で、かつ、分離部分エリア及び合流部分エリアの少なくとも一方が存在する場合にのみ、対象部分エリアを回避原因箇所に決定するようにしてもよい。なお、分離部分エリア、合流部分エリアにおいて該当する動きが存在するかどうかの判定では、部分エリア内の動き情報を一定時間集計し、頻度が高い動きの方向を求め、それが該当する動きと合致するかどうかをみればよい。あるいは、逆に、一定時間集計し、迂回エリアへ移動する動き、あるいは迂回エリアから移動してくる動きがないことを判定するようにしてもよい。この場合、さらに、近隣エリアへの動き、あるいは近隣エリアからの動きが存在することが確認できれば、より高い確度で、分離部分エリア、合流部分エリアを判定できる。

《動き先行手法》
この手法では、検出部２４は、解析部３１により取得される動き情報を用いて、監視画像内で静止領域、及び、静止領域を挟んで対向する位置に動きの方向が平行である平行動作領域が共存する状態を検出し、静止領域に対応する部分エリアが非混雑状態を継続していることを確認する。検出部２４は、その確認ができた場合に、静止領域に対応する部分エリアを回避原因箇所に決定し、その確認ができなかった場合に、回避原因箇所なしと判定する。

静止領域とは、動きの大きさが所定値より小さい、監視画像内の部分領域である。検出部２４は、静止領域及び平行動作領域を当該部分エリアを用いて検出してもよいし、部分エリアとは異なる範囲で検出してもよい。検出部２４は、部分エリアを用いる場合には、部分エリア毎の動き情報を決定すればよい。また、検出部２４は、部分エリアとは異なる範囲を用いる場合には、第１所定面積よりも大きく、かつ、動きの大きさが所定値より小さくなる最大限の部分領域を静止領域として検出すればよい。この場合、検出部２４は、第２所定面積よりも大きく、かつ、静止領域を挟んで対向する位置にあり、動きの方向が平行となる最大限の部分領域を平行動作領域として検出すればよい。

この手法においても、検出部２４は、図１０に示される分離部分エリア及び合流部分エリアの少なくとも一方の有無に基づいて、回避原因箇所を決定することもできる。具体的には、検出部２４は、動き情報を用いて、監視画像内で静止領域と、その静止領域の近傍に静止領域に向かって分かれる複数の動き方向を示す分離領域及び静止領域を背に合流する複数の動き方向を示す合流領域の少なくとも一方とが共存する状態を検出し、静止領域に対応する部分エリアが非混雑状態を継続していることを確認し、この確認結果に基づいて、静止領域に対応する部分エリアを回避原因箇所に決定する。分離領域及び合流領域の検出手法は、その動き方向が異なるのみであり、静止領域及び平行動作領域の検出手法と同様である。

〔動作例〕
図１１、図１２及び図１３は、第２実施形態における解析装置１０の動作例を示すフローチャートである。特に、図１１及び図１２は、混雑度先行手法の処理フローを示し、図１３は、動き先行手法の処理フローを示す。以下の説明では、解析装置１０が当該方法の実行主体となるが、解析装置１０に含まれる上述の各処理部が実行主体となってもよいし、複数のコンピュータが実行主体となってもよい。

図１１及び図１２では、（Ｓ６１）、（Ｓ６２）、（Ｓ６３）、（Ｓ６４）、（Ｓ６６）、（Ｓ６７）及び（Ｓ６８）の各工程は、図７に示される時間優先手法の各工程と同様である。第２実施形態では、それら各工程は、図８に示される（Ｓ７１）、（Ｓ７２）、（Ｓ７３）、（Ｓ７４）、（Ｓ７６）、（Ｓ７７）及び（Ｓ７８）に置き換えることもできる。

まず、図１１を用いて、第２実施形態における回避行動検出方法について説明する。
解析装置１０は、保持部２３から取得される部分エリア毎の混雑度の時系列データに基づいて、上述の回避行動状態を検出すると（Ｓ６４；ＹＥＳ）、（Ｓ１１１）以降を実行する。

解析装置１０は、逐次取得される監視画像の動きを解析する（Ｓ１１１）。画像の動きの解析手法については、上述の通り、オプティカルフロー等のような周知の技術が用いられる。ここでは、解析装置１０は、（Ｓ６２）で特定された対象部分エリアを挟んで対向する他の部分エリアに含まれる画素のみを対象に動き解析を実施してもよい。

解析装置１０は、（Ｓ６２）で特定された対象部分エリアを挟んで対向する他の部分エリア間で動きの方向が平行か否かを判定する（Ｓ１１２）。動き方向が平行とは、完全なる平行のみでなく、平行に近似する関係も含む。

解析装置１０は、動き方向が平行でないと判定すると（Ｓ１１３；ＮＯ）、回避原因箇所なしと判定する（Ｓ６６）。解析装置１０は、動き方向が平行であると判定すると（Ｓ１１３；ＹＥＳ）、その対象部分エリアを回避原因箇所に決定する（Ｓ６５）。

次に、図１２を用いて、第２実施形態における回避行動検出方法について説明する。図１２では、図１１に加えて、（Ｓ１２１）及び（Ｓ１２２）が更に実行される。この場合、解析装置１０は、（Ｓ６２）で特定された対象部分エリアを挟んで対向する他の部分エリア間で動きの方向が平行でないと判定すると（Ｓ１１３；ＮＯ）、対象部分エリア以外の部分エリアに、分離部分エリア及び合流部分エリアの少なくとも一方が含まれるか否かを判定する（Ｓ１２１）。分離部分エリア及び合流部分エリアの詳細については上述したとおりである。

解析装置１０は、少なくとも一方が含まれると判定すると（Ｓ１２２；ＹＥＳ）、その対象部分エリアを回避原因箇所に決定する（Ｓ６５）。一方、解析装置１０は、少なくとも一方が含まれないと判定すると（Ｓ１２２；ＮＯ）、回避原因箇所なしと判定する（Ｓ６６）。

このように、図１２の方法によれば、（Ｓ１１２）の判定及び（Ｓ１２１）の判定のいずれか一方が、正判定である場合に（（Ｓ１１３；ＹＥＳ）又は（Ｓ１２２；ＹＥＳ））、対象部分エリアが回避原因箇所に決定される。これにより、実際の回避原因が通路の壁際に生じている場合のように、回避原因箇所を挟んで対向する位置で平行な動きが生じ得ない場合であっても、迂回行動の一部を示す、回避原因箇所を背に複数の方向から合流する動き又は回避原因箇所に向かって複数の方向に分かれる動きを検出することにより、人の回避行動を検出することができ、かつ、回避原因箇所を決定することができる。

但し、第２実施形態において、（Ｓ１１２）の判定及び（Ｓ１２１）の判定の両方が、正判定である場合にのみ（（Ｓ１１３；ＹＥＳ）及び（Ｓ１２２；ＹＥＳ））、対象部分エリアが回避原因箇所に決定されるようにしてもよい。このようにすれば、明確な迂回動作が動き情報として検出される場合にのみ、対象部分エリアが回避原因箇所に決定されるため、回避行動及び回避原因箇所の検出精度を向上させることができる。

次に、図１３を用いて、第２実施形態における回避行動検出方法について説明する。図１３に示される方法では、監視画像の動き情報が先に検討される。

解析装置１０は、逐次取得される監視画像の動きを解析する（Ｓ１３１）。これは、図１１及び図１２に示される（Ｓ１１１）と同様である。

解析装置１０は、（Ｓ１３１）で取得された動き情報を用いて、監視画像内で静止領域、及び、静止領域を挟んで対向する位置に動きの方向が平行である平行動作領域が共存する状態を検出する（Ｓ１３２）。静止領域及び平行動作領域の詳細については上述したとおりである。

解析装置１０は、静止領域及び平行動作領域の共存が検出されない場合（Ｓ１３３；ＮＯ）、回避原因箇所なしと判定する（Ｓ１３８）。一方、解析装置１０は、静止領域及び平行動作領域の共存が検出された場合（Ｓ１３３；ＹＥＳ）、保持部２３から部分エリア毎の混雑度の時系列データを取得する（Ｓ１３４）。

解析装置１０は、取得された時系列データに基づいて、静止領域に対応する部分エリアが非混雑状態を継続していることを確認する（Ｓ１３５）。解析装置１０は、その確認ができた場合に（Ｓ１３６；ＹＥＳ）、静止領域に対応する部分エリアを回避原因箇所に決定し（Ｓ１３７）、その確認ができなかった場合に（Ｓ１３６；ＮＯ）、回避原因箇所なしと判定する（Ｓ１３８）。

図１３では、静止領域及び平行動作領域の共存が検出されたが、図１２に示されるように、静止領域と分離領域及び合流領域の少なくとも一方との共存が更に検出されるようにしてもよい。

〔第２実施形態の作用及び効果〕
上述のように、第２実施形態では、混雑度の分布状況及び時間推移に加えて、画像の動き情報が更に用いられて、回避行動及び回避原因箇所が検出される。画像の動き情報により、図１０に示されるような迂回行動を含む回避行動が確認される。具体的には、或る特定の部分領域（静止領域又は対象部分エリア）を挟んで対向する位置に相互に平行な動き方向を示す部分領域（平行動作領域又は他の部分エリア）が存在するか否かが判定される。また、その特定の部分領域に向かって分かれる複数の動き方向を示す部分領域（分離領域又は分離部分エリア）、及び、その特定の部分領域を背に合流する複数の動き方向を示す部分領域（合流領域又は合流部分エリア）の少なくとも一方が存在するか否かが判定される。

このように、第２実施形態によれば、画像の動き情報が更に用いられることで、回避行動及び回避原因箇所の検出精度を向上させることができる。

［変形例］
上述の各実施形態では、表示装置１５が解析装置１０に接続されていたが、表示装置１５は、他の装置に接続されており、解析装置１０から送られる画像データに基づいて、画面の表示を行うようにしてもよい。監視カメラ１７についても同様に、他の装置に接続されていてもよい。

以下に実施例を挙げ、上述の実施形態を更に詳細に説明する。以下の実施例では、回避原因箇所を特定可能な表示要素が付加された監視画像の具体例を挙げる。

図１４は、回避原因箇所を特定可能な表示要素が付加された監視画像の具体例を示す図である。実施例では、解析装置１０は、複数の監視カメラ１７の各々の検出対象場所を示す情報を持ち、人の回避行動の検出された検出対象場所に対応する位置に特定の表示要素（図１４の星マーク）を付した画像Ｐ１を表示装置１５に表示させる。この画像Ｐ１を見た者は、その特定表示要素が付された位置に回避行動を生じさせ得る何かが存在することを知ることができる。

解析装置１０は、その特定表示要素を選択するユーザ操作を検出すると、回避原因箇所を特定可能な表示要素が付加された監視画像Ｐ２を表示装置１５に表示させる。この監視画像Ｐ２には、図６と同様に、回避原因箇所を取り囲む四角形が表示要素として付されている。この画像Ｐ２を見た者は、その四角形を見ることで、回避原因箇所を即座に確認することができる。

更に、本実施例では、解析装置１０は、監視画像Ｐ２の動画再生（Play Video）ボタンを選択するユーザ操作を検出すると、監視画像Ｐ２を撮影した監視カメラ１７の現在の動画映像を流す画面Ｐ４を表示装置１５に表示させる。また、解析装置１０は、監視画像Ｐ２のズームインボタンを選択するユーザ操作を検出すると、回避原因箇所を撮影可能な監視カメラ１７に、その回避原因箇所を拡大撮影させる。このようにすれば、回避原因箇所を更に詳細に確認することができる。

図１５は、実施例における解析装置１０の処理構成を概念的に示す図である。実施例における解析装置１０は、上述の第２実施形態の構成に加えて、表示装置１５に表示される監視画像に対するユーザ操作に応じて、回避原因箇所を撮影可能な監視カメラ１７に、回避原因箇所を拡大撮影させる撮影指示部４１を更に有する。撮影指示部４１も他の処理部と同様に実現される。

図１４内の画像Ｐ２が例示するように、回避原因箇所は、回避行動が発生している領域に含まれる又はその領域と重なる可能性がある。よって、解析装置１０は、回避行動が発生している領域を示す指示手段を画像に付し（画像処理部２５）、その指示手段が付された画像を表示装置１５に表示させる（表示処理部２６）こともできる。

なお、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、本実施形態で実行される工程の実行順序は、その記載の順番に制限されない。本実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態及び各変形例は、内容が相反しない範囲で組み合わせることができる。

上記の各実施形態及び実施例並びに変形例の一部又は全部は、以下の付記のようにも特定され得る。但し、上述の内容が以下の記載に限定されるものではない。

（付記１）
対象画像の複数の部分エリアに関し、人の混雑度をそれぞれ推定する推定部と、
前記推定部により推定される前記混雑度の分布状況及び時間推移を用いて、人の回避行動を検出する検出部と、
を備える回避行動検出装置。
（付記２）
前記検出部は、
混雑度が閾値より低い非混雑状態が継続している対象部分エリア、及び、継続的な該非混雑状態となっていない少なくとも１つの他の部分エリアが共存している状態を検出し、
前記対象部分エリアを前記回避行動の原因が存在する回避原因箇所に決定する、
付記１に記載の回避行動検出装置。
（付記３）
前記検出部は、
前記混雑度の時間推移を用いて、前記非混雑状態が継続している対象部分エリアを特定し、
前記対象部分エリアの前記非混雑状態の継続中に、継続的な該非混雑状態となっていない、少なくとも１つの他の部分エリアが存在するか否かを判定する、
付記２に記載の回避行動検出装置。
（付記４）
前記検出部は、
或る時点の前記混雑度の前記分布状況に基づいて、前記非混雑状態を示す部分エリア及び混雑度が閾値より高い混雑状態を示す少なくとも１つの他の部分エリアが共存していることを検出し、
前記混雑度の時間推移を用いて、前記非混雑状態を示す前記部分エリアが前記非混雑状態を継続しているか否かを判定する、
付記２に記載の回避行動検出装置。
（付記５）
前記少なくとも１つの他の部分エリアは、前記対象部分エリアの周囲の複数の部分エリアである、
付記２から４のいずれか１つに記載の回避行動検出装置。
（付記６）
前記検出部は、前記対象画像の前記部分エリアに関し設定される所定時間単位毎の標準混雑度の中の、前記対象画像の撮影時間に対応する標準混雑度を用いて、前記閾値を決定する、
付記２から５のいずれか１つに記載の回避行動検出装置。
（付記７）
前記所定時間単位毎の前記標準混雑度は、更に、前記対象画像の部分エリア毎にそれぞれ設定されており、
前記検出部は、前記標準混雑度の中の、前記対象画像の撮影時間に対応しかつ前記各部分エリアに対応する標準混雑度を用いて、前記各部分エリアについて前記閾値をそれぞれ決定する、
付記６に記載の回避行動検出装置。
（付記８）
前記対象画像の動きを解析する解析部、
を更に備え、
前記検出部は、前記解析部により得られる動き情報を更に用いて、前記回避原因箇所を決定する、
付記２から７のいずれか１つに記載の回避行動検出装置。
（付記９）
前記検出部は、
前記動き情報に基づいて、前記対象部分エリアを挟んで対向する他の部分エリア間で動きの方向が平行か否かを判定し、
前記判定結果を用いて、前記対象部分エリアを前記回避原因箇所に決定する、
付記８に記載の回避行動検出装置。
（付記１０）
前記検出部は、
前記動き情報に基づいて、前記少なくとも１つの他の部分エリアに、前記対象部分エリアに向かって分かれる複数の動き方向を示す分離部分エリア、及び、前記対象部分エリアを背に合流する複数の動き方向を示す合流部分エリアの少なくとも一方が含まれるか否かを判定し、
前記判定結果を用いて、前記対象部分エリアを前記回避原因箇所に決定する、
付記８又は９に記載の回避行動検出装置。
（付記１１）
前記検出部は、
前記動き情報を用いて、前記対象画像内で静止領域、及び、該静止領域を挟んで対向する位置に動きの方向が平行である平行動作領域が共存する状態を検出し、
前記静止領域に対応する部分エリアが前記非混雑状態を継続していることを確認し、
前記確認結果に基づいて、前記静止領域に対応する部分エリアを前記回避原因箇所に決定する、
付記８に記載の回避行動検出装置。
（付記１２）
前記検出部は、
前記動き情報を用いて、前記対象画像内で静止領域と、該静止領域の近傍に該静止領域に向かって分かれる複数の動き方向を示す分離領域及び該静止領域を背に合流する複数の動き方向を示す合流領域の少なくとも一方とが共存する状態を検出し、
前記静止領域に対応する部分エリアが前記非混雑状態を継続していることを確認し、
前記確認結果に基づいて、前記静止領域に対応する部分エリアを前記回避原因箇所に決定する、
付記８に記載の回避行動検出装置。
（付記１３）
前記検出部により前記回避原因箇所に決定された部分エリアの、前記対象画像内の位置情報に基づいて、前記対象画像上に前記回避原因箇所を特定可能な表示要素を付す画像処理部と、
前記表示要素が付された前記対象画像を表示部に表示させる表示処理部と、
を更に備える付記２から１２のいずれか１つに記載の回避行動検出装置。
（付記１４）
前記表示部に表示される前記対象画像に対するユーザ操作に応じて、前記回避原因箇所を撮像可能な撮像装置に、前記回避原因箇所を拡大撮影させる撮影指示部、
を更に備える付記１３に記載の回避行動検出装置。
（付記１５）
人の回避行動の原因が存在する回避原因箇所を特定可能な表示要素を対象画像上に付す画像処理部と、
前記表示要素が付された前記対象画像を表示部に表示させる表示処理部と、
を備える回避原因処理装置。
（付記１６）
前記表示部に表示される前記対象画像に対するユーザ操作に応じて、前記回避原因箇所を撮像可能な撮像装置に、前記回避原因箇所を拡大撮影させる撮影指示部、
を更に備える付記１５に記載の回避原因処理装置。
（付記１７）
少なくとも１つのコンピュータに実行される回避行動検出方法において、
対象画像の複数の部分エリアに関し、人の混雑度をそれぞれ推定し、
前記推定された混雑度の分布状況及び時間推移を用いて、人の回避行動を検出する、
ことを含む回避行動検出方法。
（付記１８）
前記回避行動の検出は、
混雑度が閾値より低い非混雑状態が継続している対象部分エリア、及び、継続的な該非混雑状態となっていない少なくとも１つの他の部分エリアが共存している状態を検出し、
前記対象部分エリアを前記回避行動の原因が存在する回避原因箇所に決定する、
ことを含む付記１７に記載の回避行動検出方法。
（付記１９）
前記状態の検出は、
前記混雑度の時間推移を用いて、前記非混雑状態が継続している対象部分エリアを特定し、
前記対象部分エリアの前記非混雑状態の継続中に、継続的な該非混雑状態となっていない、少なくとも１つの他の部分エリアが存在するか否かを判定する、
ことを含む付記１８に記載の回避行動検出方法。
（付記２０）
前記状態の検出は、
或る時点の前記混雑度の前記分布状況に基づいて、前記非混雑状態を示す部分エリア及び混雑度が閾値より高い混雑状態を示す少なくとも１つの他の部分エリアが共存していることを検出し、
前記混雑度の時間推移を用いて、前記非混雑状態を示す前記部分エリアが前記非混雑状態を継続しているか否かを判定する、
ことを含む付記１８に記載の回避行動検出方法。
（付記２１）
前記少なくとも１つの他の部分エリアは、前記対象部分エリアの周囲の複数の部分エリアである、
付記１８から２０のいずれか１つに記載の回避行動検出方法。
（付記２２）
前記回避行動の検出は、前記対象画像の前記部分エリアに関し設定される所定時間単位毎の標準混雑度の中の、前記対象画像の撮影時間に対応する標準混雑度を用いて、前記閾値を決定することを含む、
付記１８から２１のいずれか１つに記載の回避行動検出方法。
（付記２３）
前記所定時間単位毎の前記標準混雑度は、更に、前記対象画像の部分エリア毎にそれぞれ設定されており、
前記閾値の決定は、前記標準混雑度の中の、前記対象画像の撮影時間に対応しかつ前記各部分エリアに対応する標準混雑度を用いて、前記各部分エリアについて前記閾値をそれぞれ決定する、
付記２２に記載の回避行動検出方法。
（付記２４）
前記対象画像の動きを解析する、
ことを更に含み、
前記回避行動の検出は、前記得られる動き情報を更に用いて、前記回避原因箇所を決定する、
付記１８から２３のいずれか１つに記載の回避行動検出方法。
（付記２５）
前記回避行動の検出は、
前記動き情報に基づいて、前記対象部分エリアを挟んで対向する他の部分エリア間で動きの方向が平行か否かを判定する、
ことを更に含み、
前記判定結果を用いて、前記対象部分エリアを前記回避原因箇所に決定する、
付記２４に記載の回避行動検出方法。
（付記２６）
前記回避行動の検出は、
前記動き情報に基づいて、前記少なくとも１つの他の部分エリアに、前記対象部分エリアに向かって分かれる複数の動き方向を示す分離部分エリア、及び、前記対象部分エリアを背に合流する複数の動き方向を示す合流部分エリアの少なくとも一方が含まれるか否かを判定する、
ことを更に含み、
前記判定結果を用いて、前記対象部分エリアを前記回避原因箇所に決定する、
付記２４又は２５に記載の回避行動検出方法。
（付記２７）
前記回避行動の検出は、
前記動き情報を用いて、前記対象画像内で静止領域、及び、該静止領域を挟んで対向する位置に動きの方向が平行である平行動作領域が共存する状態を検出し、
前記静止領域に対応する部分エリアが前記非混雑状態を継続していることを確認する、
ことを更に含み、
前記確認結果に基づいて、前記静止領域に対応する部分エリアを前記回避原因箇所に決定する、
付記２４に記載の回避行動検出方法。
（付記２８）
前記回避行動の検出は、
前記動き情報を用いて、前記対象画像内で静止領域と、該静止領域の近傍に該静止領域に向かって分かれる複数の動き方向を示す分離領域及び該静止領域を背に合流する複数の動き方向を示す合流領域の少なくとも一方とが共存する状態を検出し、
前記静止領域に対応する部分エリアが前記非混雑状態を継続していることを確認する、
ことを更に含み、
前記確認結果に基づいて、前記静止領域に対応する部分エリアを前記回避原因箇所に決定する、
付記２４に記載の回避行動検出方法。
（付記２９）
前記回避原因箇所に決定された部分エリアの、前記対象画像内の位置情報に基づいて、前記対象画像上に前記回避原因箇所を特定可能な表示要素を付し、
前記表示要素が付された前記対象画像を表示部に表示させる、
ことを更に含む付記１８から２８のいずれか１つに記載の回避行動検出方法。
（付記３０）
前記表示部に表示される前記対象画像に対するユーザ操作に応じて、前記回避原因箇所を撮像可能な撮像装置に、前記回避原因箇所を拡大撮影させる、
ことを更に含む付記２９に記載の回避行動検出方法。
（付記３１）
少なくとも１つのコンピュータにより実行される回避原因処理方法において、
人の回避行動の原因が存在する回避原因箇所を特定可能な表示要素を対象画像上に付し、
前記表示要素が付された前記対象画像を表示部に表示させる、
ことを含む回避原因処理方法。
（付記３２）
前記表示部に表示される前記対象画像に対するユーザ操作に応じて、前記回避原因箇所を撮像可能な撮像装置に、前記回避原因箇所を拡大撮影させる、
ことを更に含む付記３１に記載の回避原因処理方法。
（付記３３）
付記１７から３０のいずれか１つに記載の回避行動検出方法、又は、付記３１又は３２に記載の回避原因処理方法を少なくとも１つのコンピュータに実行させるプログラム又はそのプログラムをコンピュータに読み取り可能に記録する記録媒体。

（付記３４）
画像の部分領域の混雑度を推定する推定部と、
前記推定部により推定される複数の部分領域の混雑度の時間推移を用いて、予め定められた行動を検出する検出部と、
を備える情報処理装置。
（付記３５）
回避行動が発生している領域を示す指示手段を画像に付す画像処理部と、
前記指示手段が付された画像を表示する表示部と、
を備える情報処理装置。
（付記３６）
画像の部分領域の混雑度を推定し、
前記推定される複数の部分領域の混雑度の時間推移を用いて、予め定められた行動を検出する、
ことを含む方法。
（付記３７）
回避行動が発生している領域を示す指示手段を画像に付し、
前記指示手段が付された画像を表示する、
ことを含む方法。
（付記３８）
付記３６又は３７に記載の方法をコンピュータに実行させるプログラム又はそのプログラムをコンピュータに読み取り可能に記録する記録媒体。

この出願は、２０１３年１１月１１日に出願された日本出願特願２０１３−２３３４９３号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (19)

1. 対象画像の複数の部分エリアに関し、人の混雑度をそれぞれ推定する推定部と、
   前記推定部により推定される前記複数の部分エリアそれぞれの前記混雑度を用いて、前記対象画像における前記混雑度の分布状況及び前記複数の部分エリアそれぞれの前記混雑度の時間推移を取得し、前記分布状況及び前記時間推移を用いて、人の回避行動を検出する検出部と、
   を備える回避行動検出装置。
2. 前記検出部は、
   混雑度が閾値より低い非混雑状態が継続している対象部分エリア、及び、継続的な該非混雑状態となっていない少なくとも１つの他の部分エリアが共存している状態を検出し、
   前記対象部分エリアを前記回避行動の原因が存在する回避原因箇所に決定する、
   請求項１に記載の回避行動検出装置。
3. 前記検出部は、
   前記混雑度の時間推移を用いて、前記非混雑状態が継続している対象部分エリアを特定し、
   前記対象部分エリアの前記非混雑状態の継続中に、継続的な該非混雑状態となっていない、少なくとも１つの他の部分エリアが存在するか否かを判定する、
   請求項２に記載の回避行動検出装置。
4. 前記検出部は、
   或る時点の前記混雑度の前記分布状況に基づいて、前記非混雑状態を示す部分エリア及び混雑度が閾値より高い混雑状態を示す少なくとも１つの他の部分エリアが共存していることを検出し、
   前記混雑度の時間推移を用いて、前記非混雑状態を示す前記部分エリアが前記非混雑状態を継続しているか否かを判定する、
   請求項２に記載の回避行動検出装置。
5. 前記少なくとも１つの他の部分エリアは、前記対象部分エリアの周囲の複数の部分エリアである、
   請求項２から４のいずれか１つに記載の回避行動検出装置。
6. 前記検出部は、前記対象画像の前記部分エリアに関し設定される所定時間単位毎の標準混雑度の中の、前記対象画像の撮影時間に対応する標準混雑度を用いて、前記閾値を決定する、
   請求項２から５のいずれか１つに記載の回避行動検出装置。
7. 前記所定時間単位毎の前記標準混雑度は、更に、前記対象画像の部分エリア毎にそれぞれ設定されており、
   前記検出部は、前記標準混雑度の中の、前記対象画像の撮影時間に対応しかつ前記各部分エリアに対応する標準混雑度を用いて、前記各部分エリアについて前記閾値をそれぞれ決定する、
   請求項６に記載の回避行動検出装置。
8. 前記対象画像の動きを解析する解析部、
   を更に備え、
   前記検出部は、前記解析部により得られる動き情報を更に用いて、前記回避原因箇所を決定する、
   請求項２から７のいずれか１つに記載の回避行動検出装置。
9. 前記検出部は、
   前記動き情報に基づいて、前記対象部分エリアを挟んで対向する他の部分エリア間で動きの方向が平行か否かを判定し、
   前記判定結果を用いて、前記対象部分エリアを前記回避原因箇所に決定する、
   請求項８に記載の回避行動検出装置。
10. 前記検出部は、
    前記動き情報に基づいて、前記少なくとも１つの他の部分エリアに、前記対象部分エリアに向かって分かれる複数の動き方向を示す分離部分エリア、及び、前記対象部分エリアを背に合流する複数の動き方向を示す合流部分エリアの少なくとも一方が含まれるか否かを判定し、
    前記判定結果を用いて、前記対象部分エリアを前記回避原因箇所に決定する、
    請求項８又は９に記載の回避行動検出装置。
11. 前記検出部は、
    前記動き情報を用いて、前記対象画像内で静止領域、及び、該静止領域を挟んで対向する位置に動きの方向が平行である平行動作領域が共存する状態を検出し、
    前記静止領域に対応する部分エリアが前記非混雑状態を継続していることを確認し、
    前記確認結果に基づいて、前記静止領域に対応する部分エリアを前記回避原因箇所に決定する、
    請求項８に記載の回避行動検出装置。
12. 前記検出部は、
    前記動き情報を用いて、前記対象画像内で静止領域と、該静止領域の近傍に該静止領域に向かって分かれる複数の動き方向を示す分離領域及び該静止領域を背に合流する複数の動き方向を示す合流領域の少なくとも一方とが共存する状態を検出し、
    前記静止領域に対応する部分エリアが前記非混雑状態を継続していることを確認し、
    前記確認結果に基づいて、前記静止領域に対応する部分エリアを前記回避原因箇所に決定する、
    請求項８に記載の回避行動検出装置。
13. 前記検出部により前記回避原因箇所に決定された部分エリアの、前記対象画像内の位置情報に基づいて、前記対象画像上に前記回避原因箇所を特定可能な表示要素を付す画像処理部と、
    前記表示要素が付された前記対象画像を表示部に表示させる表示処理部と、
    を更に備える請求項２から１２のいずれか１つに記載の回避行動検出装置。
14. 前記表示部に表示される前記対象画像に対するユーザ操作に応じて、前記回避原因箇所を撮像可能な撮像装置に、前記回避原因箇所を拡大撮影させる撮影指示部、
    を更に備える請求項１３に記載の回避行動検出装置。
15. 人の回避行動の原因が存在する回避原因箇所を特定可能な表示要素を対象画像上に付す画像処理部と、
    前記表示要素が付された前記対象画像を表示部に表示させる表示処理部と、
    を更に備える、
    請求項１から１４のいずれか１項に記載の回避行動検出装置。
16. 前記表示部に表示される前記対象画像に対するユーザ操作に応じて、前記回避原因箇所を撮像可能な撮像装置に、前記回避原因箇所を拡大撮影させる撮影指示部、
    を更に備える請求項１５に記載の回避行動検出装置。
17. 少なくとも１つのコンピュータに実行される回避行動検出方法において、
    対象画像の複数の部分エリアに関し、人の混雑度をそれぞれ推定し、
    前記推定された前記複数の部分エリアそれぞれの混雑度を用いて、前記対象画像における前記混雑度の分布状況及び前記複数の部分エリアそれぞれの前記混雑度の時間推移を取得し、前記分布状況及び前記時間推移を用いて、人の回避行動を検出する、
    ことを含む回避行動検出方法。
18. 人の回避行動の原因が存在する回避原因箇所を特定可能な表示要素を対象画像上に付し、
    前記表示要素が付された前記対象画像を表示部に表示させる、
    ことを更に含む、
    請求項１７に記載の回避行動検出方法。
19. 請求項１７または１８に記載の回避行動検出方法を少なくとも１つのコンピュータに実行させるプログラム。

Images