JP2018180619A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】空間におけるオブジェクトの状況をより精度よく推定できる情報処理装置、情報処理方法及びプログラムを提供する。【解決手段】情報処理装置１００は、時系列上で連続する画像毎に、設定された複数の領域夫々に存在するオブジェクトの数の推定を行う第１の推定手段と、第１の推定手段による画像毎の推定の結果に基づいて、複数の領域夫々に存在するオブジェクトの流れを推定する第２の推定手段と、を有する。情報処理装置は、第２の推定手段により推定されたオブジェクトの流れに基づいて、異常が発生したか否かを判定する判定手段を更に有する【選択図】図２

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

近年、カメラで所定のエリアを撮影して、撮影した映像を解析することによって映像中の人物等のオブジェクトの数を計測、オブジェクトの流れを解析する技術が提案されている。このような技術は、公共の空間での人の混雑の検知、混雑時の人の流れを把握することでイベント時の混雑解消や災害時の避難誘導等への活用が期待されている。
映像中の人物の数を計測する方法としては、機械学習によって得られたニューラルネットワークを用いて画像からオブジェクトの数を推定する方法が知られている（非特許文献１参照）。また、複数カメラの監視映像から得られたオブジェクト数推定結果を利用して広域での混雑度を推定する方法も特許文献１で提案されている。一方、映像中のオブジェクトの流れを解析する方法としては、オプティカルフローの属性を集計して群衆の非定常状態を判定する方法が知られている（特許文献２参照）。

特開２０１５−１０３１０４号公報 特開２０１２−２２３７０号公報

Ｗａｎｇら． Ｄｅｅｐ Ｐｅｏｐｌｅ Ｃｏｕｎｔｉｎｇ ｉｎ Ｅｘｔｒｅｍｅｌｙ Ｄｅｎｓｅ Ｃｒｏｗｄｓ． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２３ｒｄ ＡＣＭ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ， ２０１５ Ｓｅｐｐ Ｈｏｃｈｒｅｉｔｅｒ ａｎｄ Ｊuｒｇｅｎ Ｓｃｈｍｉｄｈｕｂｅｒ． Ｌｏｎｇ ｓｈｏｒｔ−ｔｅｒｍ ｍｅｍｏｒｙ． Ｎｅｕｒａｌ ｃｏｍｐｕｔａｔｉｏｎ， １９９７

しかしながら、特許文献１、非特許文献１は映像中のオブジェクトの数を計測するものであり、オブジェクトの流れを把握することができない。したがって、その空間における異常等を十分に把握することができない。特許文献２は、オブジェクトの流れを把握することはできるものの、オブジェクト数を同時に把握することができない。したがって、非定常状態を精度よく判定することができない。以上のように従来の技術では、撮影範囲の空間におけるオブジェクトなどの状況を十分に把握することができない。
本発明の目的は、空間におけるオブジェクトの状況をより精度よく推定できるようにすることである。

本発明の情報処理装置は、時系列上で連続する画像毎に、設定された複数の領域夫々に存在するオブジェクトの数の推定を行う第１の推定手段と、前記第１の推定手段による前記画像毎の推定の結果に基づいて、前記複数の領域夫々に存在するオブジェクトの流れを推定する第２の推定手段と、を有する。

本発明によれば、空間におけるオブジェクトの状況をより精度よく推定することができる。

情報処理装置のハードウェア構成の一例を示す図である。 情報処理装置の機能構成の一例を示す図である。 情報処理装置の処理の一例を示すフローチャートである。 処理対象の画像の一例を示す図である。 画像の分割の一例を示す図である。 ニューラルネットワークの一例を示す図である。 特徴抽出部の詳細の一例を示す図である。 流れ推定部の詳細の一例を示す図である。 流れ推定部の処理の一例を示すフローチャートである。 オブジェクト数推定結果の一例を示す図である。 流れ推定結果の一例を示す図である。 異常判定結果の一例を示す図である。 流れ推定結果の一例を示す図である。

以下に、本発明の好ましい実施の形態を、図面に基づいて詳細に説明する。

＜実施形態１＞
図１は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示す図である。情報処理装置１００は、演算処理装置１１０、記憶装置１２０、入力装置１３０、出力装置１４０を含んで構成される。各構成要素は、互いに通信可能に構成され、バス等により接続されている。
演算処理装置１１０は、情報処理装置１００の動作を制御し、記憶装置１２０に格納されたプログラムの実行等を行う。演算処理装置１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等で構成される。記憶装置１２０は、磁気記憶装置、半導体メモリ等のストレージデバイスであり、演算処理装置１１０の動作に基づいて読み込まれたプログラム、長時間記憶しなくてはならないデータ等を記憶する。本実施形態では、演算処理装置１１０が、記憶装置１２０に格納されたプログラムの手順に従って処理を行うことによって、図２で後述する情報処理装置の機能及び図３、９で後述するフローチャートの処理等が実現される。記憶装置１２０は、また、情報処理装置１００が処理対象とする画像、検出結果等を記憶する。

入力装置１３０は、マウス、キーボード、タッチパネルデバイス、ボタン等であり、各種の指示を入力する。入力装置１３０は、また、カメラ等の撮像装置を含むこととしてもよい。その場合、演算処理装置１１０は、入力装置１３０である撮像装置により撮影された画像を取得することができる。出力装置１４０は、液晶パネル、外部モニタ等であり、各種の情報を出力する。
なお、情報処理装置１００のハードウェア構成は、図１に示す構成に限られるものではない。例えば、情報処理装置１００は、外部の情報処理装置やネットワークカメラ等の各種の装置との間で通信を行うためのＩ／Ｏ装置を備えてもよい。例えば、Ｉ／Ｏ装置は、メモリーカード、ＵＳＢケーブル等の入出力部、有線、無線等による送受信部である。

図２は、情報処理装置１００の機能構成の一例を示す図である。図２に示すように、情報処理装置１００は、画像取得部２１０、分割部２２０、オブジェクト数推定部２３０、特徴抽出部２４０、統合部２５０、流れ推定部２６０、判定部２７０、表示部２８０を含む。
画像取得部２１０は、入力装置１３０に含まれるカメラから、そのカメラにより撮影された画像データを取得する。画像データは、動画やライブ映像のような時系列上で連続する複数の画像を含む時系列画像のデータである。
分割部２２０は、画像取得部２１０により取得された時系列画像の夫々のフレーム画像を、複数の局所領域に分割する。以下では、分割部２２０による分割により分割された局所領域を、分割領域とする。

オブジェクト数推定部２３０は、時系列画像に含まれるフレーム画像毎に、分割領域夫々の中に存在するオブジェクトの数を推定する。
特徴抽出部２４０は、画像取得部２１０により取得された時系列画像のフレーム画像における分割領域夫々から動き特徴を抽出する。
統合部２５０は、オブジェクト数推定部２３０により推定された複数の分割領域のオブジェクト数の推定結果と、特徴抽出部２４０により抽出された動き特徴と、を統合する。

流れ推定部２６０は、画像取得部２１０により取得された時系列画像に含まれるフレーム画像毎に、統合部２５０により統合された結果を順次、入力として受け付け、受け付けた入力に基づいて分割領域夫々におけるオブジェクトの流れを推定する。
判定部２７０は、流れ推定部２６０により推定された複数の分割領域におけるオブジェクトの流れの変化に基づいて、異常が発生したか否かを判定する。
表示部２８０は、オブジェクト数推定部２３０、流れ推定部２６０による推定結果や判定部２７０による判定結果を示す情報を出力装置１４０等に表示する。

図３は、情報処理装置１００の処理の一例を示すフローチャートである。以下、本実施形態の情報処理装置１００の処理を、図３を用いて説明する。以下では、入力装置１３０に含まれる監視カメラにより図４に示すシーンが撮影された画像に対して画像中の群衆の解析処理を行う例について述べる。即ち、本実施形態では、数や流れを推定する対象であるオブジェクトは、人体である。しかし、数や流れを推定する対象であるオブジェクトは、動物、車両、貨物等の人体以外の他のオブジェクトでもよい。
Ｓ３１０において、画像取得部２１０は、入力装置１３０に含まれる監視カメラにより撮像された画像データを取得する。画像取得部２１０は、入力装置１３０に含まれる監視カメラから、ＲＧＢ各８ビットの画素からなる二次元データの形式の画像データを時系列に順次取得する。画像取得部２１０は、入力装置１３０に含まれる監視カメラから、ＪＰＥＧ形式等の他の形式の画像データを取得することとしてもよい。
Ｓ３２０において、分割部２２０は、画像取得部２１０により取得された画像データを複数の分割領域に分割する。分割部２２０により複数の分割領域に分割された画像の例を図５に示す。分割部２２０は、図５に示したように画像データを同じ大きさの複数の矩形の分割領域に等分割してもよいし、異なる大きさの分割領域に分割してもよい。また、分割部２２０は、分割領域同士が重なるように分割してもよいし、三角形や円形等の矩形以外の分割領域に分割してもよい。

Ｓ３３０において、オブジェクト数推定部２３０は、Ｓ３２０で分割された画像における各分割領域中のオブジェクトの数を推定する。本実施形態では、オブジェクト数推定部２３０は、分割領域毎に画像中の人物の人数を推定する。オブジェクト数推定部２３０は、推定方法として、非特許文献１にある深層ニューラルネットワークを用いる。
ニューラルネットワークの例を図６に示す。このニューラルネットワークでは、解像度Ｈ×Ｗの局所領域のＲＧＢ画像を入力として、５層構成の畳込み型ニューラルネットワークの演算が行われる。そして、その演算結果に対して、第６層、第７層の全結合ニューラルネットワークによる演算が行われることで、出力が得られる。図６中のｆ１〜ｆ５は、夫々第１層から第５層の畳込み演算のフィルタサイズを表す。また、ｄ１〜ｄ７は、夫々第１層から第７層の出力チャネル数を表す。最終層は、第７層の出力から人数推定値を取得する。オブジェクト数推定部２３０は、ニューラルネットワーク以外の方法で領域画像から特徴量を求めて人数を推定するようにしてもよい。オブジェクト数推定部２３０は、例えば、予め学習された識別器を用いて、各分割領域からオブジェクトを検出し、検出したオブジェクトの数をカウントすることで、各分割領域に存在するオブジェクトの数を推定することとしてもよい。

Ｓ３４０において、特徴抽出部２４０は、時系列上で連続した２フレーム画像について、Ｓ３２０で分割された分割領域夫々から動き特徴を抽出する。
本実施形態の特徴抽出部２４０の詳細の一例を図７に示す。図７に示すように、特徴抽出部２４０は、動きベクトル抽出部７１０、深層ニューラルネットワーク７２０を含む。動きベクトル抽出部７１０は、時系列上で連続した２フレーム画像の分割領域から画素毎の動きベクトルを抽出する。深層ニューラルネットワーク７２０は、図６に示したニューラルネットワークと同様の構成である。但し、ニューラルネットワークの入力は、解像度Ｈ×Ｗの分割領域の動きベクトルの水平、及び垂直方向成分であり、第７層は、動き特徴を出力する。
オブジェクト数推定部２３０、及び特徴抽出部２４０の出力値は、所定の範囲の値を［−１，１］の範囲に正規化した値となる。
Ｓ３３０、及びＳ３４０の処理は、Ｓ３２０で分割された夫々の分割領域に対して繰り返し行われる。その結果、複数の分割領域に対してオブジェクト数の推定結果と動き特徴とが得られる。また、Ｓ３３０及びＳ３４０の処理はどちらを先に行ってもよい。

Ｓ３５０において、統合部２５０は、Ｓ３３０で推定された複数の分割領域におけるオブジェクト数推定結果と、Ｓ３４０で抽出された動き特徴と、を統合する。本実施形態では、統合部２５０は、Ｓ３３０で推定されたオブジェクト数推定結果とともに、オブジェクト数推定部２３０の深層ニューラルネットワークの第７層の出力結果もＳ３６０での流れ推定に用いられる特徴量として統合する。統合部２５０は、分割領域数分のオブジェクト数推定結果、第７層の出力結果、動き特徴（動き特徴抽出手段４００の深層ニューラルネットワークの第７層の出力結果）を結合して一つの特徴ベクトルとする。特徴ベクトルは、複数の分割領域夫々についてのオブジェクトの数の推定の結果が統合された統合情報の一例である。そして、統合部２５０は、その特徴ベクトルを流れ推定部２６０に入力する。
しかし、統合部２５０は、Ｓ３３０で推定された複数の分割領域におけるオブジェクト数推定結果のみを統合し１つの特徴ベクトルとして、流れ推定部２６０に入力することとしてもよい。

Ｓ３６０において、流れ推定部２６０は、Ｓ３１０で取得された時系列画像の各フレーム画像についてＳ３５０で統合された結果である特徴ベクトルを順次入力として受け付け、受け付けた入力に基づいて、各分割領域の物体の流れを推定する。
本実施形態の流れ推定部２６０の詳細の一例を図８に示す。図８に示すように、流れ推定部２６０は、内部状態管理部８１０、内部状態更新部８２０、出力値算出部８３０を含む。内部状態管理部８１０は、記憶装置１２０に記憶された、過去の内部状態及び流れ推定部２６０により出力された過去の出力値を管理する。内部状態更新部８２０は、Ｓ３５０で統合された特徴ベクトルをＳ３１０で取得された時系列画像のフレーム画像毎に順次入力として受け付ける。そして、内部状態更新部８２０は、内部状態管理部８１０により管理されている過去の内部状態及び出力値に基づいて、内部状態を更新する。出力値算出部８３０は、内部状態更新部８２０により更新された内部状態を変換することで、出力値を算出する。
流れ推定部２６０は、図８に示すような機能を、非特許文献２で提案されているＬｏｎｇ ｓｈｏｒｔ−ｔｅｒｍ ｍｅｍｏｒｙ（ＬＳＴＭ）を用いて、実現できる。本実施形態では、流れ推定部２６０は、出力値算出部８３０により算出された出力値を、Ｓ３２０で分割された分割領域毎の代表動きベクトルとして出力する。流れ推定部２６０は、出力値を、所定の範囲の値を［−１，１］の範囲に正規化した値とする。

図９は、流れ推定部２６０の処理の一例を示すフローチャートである。図９を用いて、本実施形態の流れ推定部２６０の処理の詳細を説明する。
Ｓ９１０において、内部状態更新部８２０は、統合部２５０から入力された特徴ベクトルと、内部状態管理部８１０により管理されている過去の出力値と、に基づいて、新規の内部状態を生成する。内部状態更新部８２０は、統合部２５０から入力された時刻ｔにおける特徴ベクトルをＸ_t、過去の時刻（ｔ−１）における出力値をＹ_t-1とすると、新規内部状態Ｃ'を、以下の式１を用いて求める。

Ｓ９２０において、内部状態更新部８２０は、入力された特徴ベクトルと、内部状態管理部８１０により管理されている過去の出力値と、に基づいて、内部状態を更新する。内部状態更新部８２０は、時刻ｔ−１における過去の内部状態をＣ_t-1として、内部状態Ｃｔを、以下の式２、及び式３を用いて、取得する。式２、３におけるｆ_tは、過去の内部状態の忘却を制御する係数であり、［０，１］の範囲の値を取る。

Ｓ９３０において、内部状態更新部８２０は、Ｓ３５０で入力された特徴ベクトルと内部状態管理部８１０に管理されている過去の出力値とに基づいて、Ｓ９１０で求めた新規内部状態をどの程度記憶すべきかを判定し、内部状態を更新する。内部状態Ｃ_tを以下の式４、及び式５によって更新する。ここでｉ_tは新規内部状態の記憶を制御する係数であり、［０，１］の範囲の値を取る。

Ｓ９４０において、出力値算出部８３０は、入力された特徴ベクトルと、内部状態管理部８１０により管理されている過去の出力値と、に基づいて、内部状態を出力値に変換する。出力値算出部８３０は、時刻ｔでの出力値であるＹ_tを、以下の式６、及び式７を用いて求める。式６、式７中のｏ_tは、更新された内部状態の出力を制御する係数であり、［０，１］の範囲の値を取る。

なお、式１〜式７において、［、］は特徴ベクトルの結合、φは双曲線正接関数、σはシグモイド関数を表す。また、ｗ_C、ｂ_C、ｗ_f、ｂ_f、ｗ_i、ｂ_i、ｗ_o、ｂ_oは、事前学習により得られたパラメータである。
以上、説明したように、流れ推定部２６０は、時系列画像の複数の分割領域のオブジェクト数をフレーム画像毎に順次入力として受け付け、オブジェクトの流れを推定するようにした。本実施形態では、流れ推定部２６０は、分割領域夫々についてのオブジェクト数の推定結果の他に、時系列画像から抽出された分割領域夫々についての動き特徴も用いるようにしたので、より高精度にオブジェクトの流れを推定できる。
また、式５に示すように、内部状態Ｃｔは、特徴ベクトルＸ_tに対応する要素も含む。そこで、出力値算出部８３０は、内部状態から特徴ベクトルについての要素を取り出して、Ｓ３３０でのオブジェクト数の推定結果を更新してもよい。更新されたオブジェクト数の推定結果は、オブジェクト数推定部２３０により推定された結果を時系列に統合したものと等価であり、より高精度、かつ、より安定した推定結果となる。

Ｓ３７０において、判定部２７０は、Ｓ３６０で推定された複数の分割領域の物体の流れの変化に基づいて、異常が発生したか否かを判定する。本実施形態では、人の流れが急に変化した場合に異常が発生したとする。例えば、群衆の中で人が倒れた場合、映像中の特定方向への流れが、人が倒れた領域のみ停滞したり、向きが変わったりする。判定部２７０は、流れ推定部２６０が出力する代表動きベクトルの水平及び垂直成分からオブジェクトの流れの向きを求め、向きの変化を分割領域毎に求める。時刻ｔ、及び時刻ｔ−１での領域ｒでの代表動きベクトルを夫々（Ｖｘ_r,t，Ｖｙ_r,t），（Ｖｘ_r,t-1，Ｖｙ_r,t-1）とすると求める向きの変化量Δθ_r,tは、以下の式８のようになる。

式８中のＡｔａｎは、逆正接関数を示す。
判定部２７０は、分割領域毎に式８を用いて、向きの変化量を求めて、求めた変化量が所定の閾値を超えたか否かを判定する。そして、判定部２７０は、求めた変化量が所定の閾値を超えたと判定した場合、異常が発生したと判定する。また、判定部２７０は、求めた変化量が所定の閾値を超えていないと判定した場合、異常が発生していないと判定する。
本実施形態では、判定部２７０は、オブジェクトの流れの向きの変化から異常が発生したか否かを判定するようにした。しかし、判定部２７０は、オブジェクトの流れの向きの変化と、流れの大きさの変化と、に基づいて、異常が発生したか否かを判定してもよい。また、判定部２７０は、オブジェクトの流れの向きの変化と、オブジェクト数推定部２３０から出力されるオブジェクト数やオブジェクト数の変化と、に基づいて、異常が発生したか否かを判定してもよい。また、判定部２７０は、異常が発生したか否かの判定処理を、所定のルールに従って行うようにしてもよいし、事前学習を行ったニューラルネットやＬＳＴＭを用いて行うようにしてもよい。

Ｓ３８０において、表示部２８０は、Ｓ３３０、Ｓ３６０、Ｓ３７０の処理の結果を出力装置１４０に表示する。図１０、図１１、図１２は、夫々Ｓ３３０、Ｓ３６０、Ｓ３７０の処理の結果の一例の表示例を示す図である。表示部２８０は、入力装置１３０を介して操作に応じて、図１０〜１２の画面を切り替える。図１０において、分割領域の濃度は、濃い程人数が多い領域であることを示す。また、図１１の矢印は、各分割領域中の人数、流れの向き、速さを表している。図１１の矢印の幅は、広い程、人数が多いことを示す。図１１の矢印の方向は、オブジェクトの流れの向きを示す。図１１の矢印の長さは、長い程、オブジェクトの流れの速さが速いことを示す。このように、本実施形態では、オブジェクトの数と流れとを矢印の形状で表現しているが、矢印に代えて線分や三角形、矩形など他の図形の形状を用いて表現してもよい。図１２の点線の囲み枠は、異常が発生していると判定された分割領域を識別して示すものである。

以上説明したように、本実施形態では、情報処理装置１００は、時系列画像の複数の分割領域毎に含まれるオブジェクトの数を推定し、複数の分割領域の推定結果を統合してフレーム画像毎に順次、流れ推定部２６０に入力して物体の流れを推定した。これにより、情報処理装置１００は、時系列画像中のオブジェクトの数と、併せて、その情報を用いてオブジェクトの流れを推定できるため、その空間におけるオブジェクトの状況を精度良く把握することができる。
また、情報処理装置１００は、オブジェクトの流れの変化に基づいて、異常が発生したか否かの判定を行うことができる。
なお、本実施形態では、オブジェクト数推定部２３０及び特徴抽出部２４０は、ニューラルネットワークで構成されるとしたが、これに限るものではない。例えば、オブジェクト数推定部２３０は、人物を検出する識別器を用いて検出した人物の数を計測する方法を用いてもよい。特徴抽出部２４０は、動きベクトルそのものを動き特徴として抽出してもよい。

また、流れ推定部２６０は、複数の分割領域のオブジェクト数の推定結果を時系列に順次入力して流れを推定する方法であれば他の方法を用いてもよい。本実施形態では、流れ推定部２６０は、分割領域毎の代表動きベクトルを出力するようにしたが、分割領域毎に推定した流れの方向別の確率を出力するようにしてもよい。例えば、流れ推定部２６０は、方向を８分割し、夫々の方向について、その方向がオブジェクトの流れの方向である確率を、判定部２７０に出力することでより詳細な情報を伝えることができる。このとき、表示部２８０は、図１３に示すような表示態様で、流れ推定部２６０による推定結果を出力装置１４０に表示する。表示部２８０は、図１０に示したオブジェクト数推定部２３０による推定結果の画面中のある領域が入力装置１３０を介して指定された場合に、図１３のように流れの方向別の確率を表示するようにしてもよい。図１３中、灰色部分で塗られた面積が各方向の推定確率を表す。
本実施形態では、流れ推定部２６０は、推定結果を、表示部２８０を介して出力装置１４０に表示することで、出力することとした。しかし、流れ推定部２６０は、推定結果をファイル等として記憶装置１２０に記憶することで、出力してもよい。また、流れ推定部２６０は、推定結果を、設定された通知先に送信することで、出力してもよい。
以上、画像から人物を検出する場合に本実施形態の処理を適用する例について説明した。しかし、情報処理装置１００は、人物以外のオブジェクトについても、分割領域毎に数を推定し、流れを推定できる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

例えば、上述した情報処理装置１００の機能構成の一部又は全てをハードウェアとして情報処理装置１００に実装してもよい。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態を任意に組み合わせてもよい。

１００ 情報処理装置
１１０ 演算処理装置
２６０ 流れ推定部

Claims (14)

1. 時系列上で連続する画像毎に、設定された複数の領域夫々に存在するオブジェクトの数の推定を行う第１の推定手段と、
   前記第１の推定手段による前記画像毎の推定の結果に基づいて、前記複数の領域夫々に存在するオブジェクトの流れを推定する第２の推定手段と、
   を有する情報処理装置。
2. 前記時系列上で連続する画像毎に、前記第１の推定手段による前記複数の領域夫々についての推定されたオブジェクトの数を統合し、統合情報とする統合手段を更に有し、
   前記第２の推定手段は、前記統合手段により統合された前記統合情報に基づいて、前記複数の領域夫々に存在するオブジェクトの流れを推定する請求項１記載の情報処理装置。
3. オブジェクトの流れの推定に用いられる内部状態を記憶する記憶手段を更に有し、
   前記第２の推定手段は、前記統合手段により統合された前記統合情報と、前記記憶手段に記憶された前記内部状態と、に基づいて、前記記憶手段に記憶された前記内部状態を更新し、更新した前記内部状態に基づいて、前記複数の領域夫々に存在するオブジェクトの流れを推定する請求項２記載の情報処理装置。
4. 前記第２の推定手段は、更に、更新した前記内部状態に基づいて、前記第１の推定手段により推定されたオブジェクトの数を更新する請求項３記載の情報処理装置。
5. 前記第１の推定手段は、前記時系列上で連続する画像毎に、複数の層を含むニューラルネットワークを用いて、前記複数の領域夫々に存在するオブジェクトの数の推定を行い、
   前記統合手段は、前記時系列上で連続する画像毎に、前記第１の推定手段による前記複数の領域夫々についての推定の結果と、前記ニューラルネットワークに含まれる少なくとも１つの層の出力と、を統合し、前記統合情報とする請求項２乃至４何れか１項記載の情報処理装置。
6. 前記複数の画像に含まれる画像毎に、前記複数の領域夫々について、動き特徴の抽出を行う抽出手段を更に有し、
   前記統合手段は、前記複数の画像に含まれる画像毎に、前記第１の推定手段による前記複数の領域夫々について推定されたオブジェクトの数と、前記抽出手段により抽出された動き特徴と、を統合し、前記統合情報とする請求項２乃至５何れか１項記載の情報処理装置。
7. 前記第２の推定手段により推定されたオブジェクトの流れに基づいて、異常が発生したか否かを判定する判定手段を更に有する請求項１乃至６何れか１項記載の情報処理装置。
8. 前記複数の領域夫々について、前記第１の推定手段により推定されたオブジェクトの数、又は、前記第２の推定手段により推定されたオブジェクトの流れ、を出力する出力手段を更に有する請求項１乃至６何れか１項記載の情報処理装置。
9. 前記出力手段は、前記複数の領域夫々について、前記第１の推定手段により推定されたオブジェクトの数、又は、前記第２の推定手段により推定されたオブジェクトの流れ、を表示部に表示することで、出力する請求項８記載の情報処理装置。
10. 前記出力手段は、前記推定されたオブジェクトの数と流れとを図形の形状で表現する請求項９記載の情報処理装置。
11. 前記第２の推定手段により推定されたオブジェクトの流れに基づいて、異常が発生したか否かを判定する判定手段を更に有する請求項８乃至１０何れか１項記載の情報処理装置。
12. 前記出力手段は、前記複数の領域のうち前記判定手段により発生したと判定された異常が発生した領域を識別して表示する請求項１１記載の情報処理装置。
13. 情報処理装置が実行する情報処理方法であって、
    時系列上で連続する画像毎に、設定された複数の領域夫々に存在するオブジェクトの数の推定を行う第１の推定ステップと、
    前記第１の推定ステップでの前記画像毎の推定の結果に基づいて、前記複数の領域夫々に存在するオブジェクトの流れを推定する第２の推定ステップと、
    を含む情報処理方法。
14. コンピュータを、請求項１乃至１２何れか１項記載の情報処理装置の各手段として、機能させるためのプログラム。

Images