JP6976731B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本発明は、映像データ内の対象物の識別に用いられる識別モデルを生成する情報処理装置、情報処理方法、及びプログラムに関する。

従来、映像データから対象物の事象を識別（対象物やその対象物の状態を識別）する識別モデルを作成する手法が提案されている。この識別モデルを作成するには学習データが必要であるため、学習データの収集に時間を要する。また、収集した学習データが充分であるか確認する事は難しい。

それらに対し、非特許文献１では、予め検出対象のモデルを用意し、環境情報としてカメラ位置や背景画像などの情報を入力し、その環境に特化した学習サンプルをＣＧ（コンピュータグラフィック）で生成して追加学習を行う方法がある。これにより、環境に併せた学習データ作成のコストを低減させている。

土屋成光、山内悠嗣、山下隆義、藤吉弘亘、ハイブリッド型転移学習による物体検出における学習の効率化、信学技報、 ｖｏｌ．１１２，ｎｏ．３８５， ＰＲＭＵ２０１２−１２２．ｐｐ. ３２９−３３４，２０１３年１月

しかしながら、非特許文献１の技術では、設定したシーン（場面）において、実際には起こらない対象物の事象（対象物の状態）を表すデータをＣＧで作成する可能性がある。そのため、学習データに不要なデータが混入してしまい、識別時の未検知・誤検知が発生する要因となってしまう。

そこで、本発明は、シーン内の対象物の事象を精度良く識別できる識別モデルを生成可能にすることを目的とする。

本発明は、予め生成された、対象物の事象の特徴量を含む複数の事象データを保存する保存手段と、複数のシーンの情報を含むマップ情報を保存する情報保存手段と、前記情報保存手段に保存されている前記シーンの情報を基に、前記対象物の事象の特徴量を作成する特徴量作成手段と、前記特徴量作成手段にて作成された特徴量に類似した特徴量を含む事象データを、前記保存手段に保存されている事象データの中から選択する選択手段と、前記選択された事象データの特徴量を用いて、映像内の対象物の事象を識別する識別モデルを作成するモデル作成手段と、を有することを特徴とする。

本発明によれば、シーン内の対象物の事象を精度良く識別できる識別モデルを生成可能となる。

第１の実施形態の情報処理装置の概略構成図である。 第１の実施形態において対象物の正常な行動の入力例を示す図である。 正常な行動の行動データの一例を示す図である。 ハッシュ関数群を用いたデータ探索の説明図である。 収集された行動データと映像の合成例を示す図である。 データ保存部への登録例の説明図である。 第１の実施形態の情報処理装置の処理のフローチャートである。 第２の実施形態の情報処理装置の概略構成図である。 異常な行動の行動データの一例を示す図である。 ラベル選択による行動データの入力例の説明図である。 第２の実施形態の情報処理装置の処理のフローチャートである。 第３の実施形態の情報処理装置の概略構成図である。 マップ情報を用いた行動データ入力例の説明図である。 第３の実施形態の情報処理装置の処理のフローチャートである。

以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
＜第１の実施形態＞
図１（ａ）は第１の実施形態に関わる情報処理装置１００の概略的な構成例を示している。本実施形態の情報処理装置１００は、後述するように、映像シーンに生ずる対象物の事象が指定され、予め作成した対象物の事象データを保存するデータベースの中から、その指定された対象物の事象に類似した事象データを選択して識別モデルを作成する。また、第１の実施形態の情報処理装置１００では、識別モデルを作成する際、対象物の正常な事象に関する事象データを収集する。対象物の正常な事象としては、例えば交差点の映像シーンにおいて横断歩道上を歩く歩行者を対象物とした場合、その歩行者が横断歩道上を歩くような、横断歩道に対する歩行者の一般的な行動などを挙げることができる。もちろんこれは一例であり、対象物の正常な事象は、横断歩道を歩く歩行者の行動に限定されるものではない。なお、第１の実施形態では、映像シーンの例として屋外の交差点を撮影した映像を用いた説明を行うが、その他にも、映像シーンは、例えば商業施設や病院、介護施設、駅などの公共施設の屋内やその周辺等のシーンであってもよい。

以下、本実施形態の情報処理装置１００において、映像シーンにおいて対象物の正常な事象が指定されて識別モデルの生成を行う構成及び処理について説明する。
図１（ａ）に示す情報処理装置１００は、映像取得部１０１と、入力部１０２と、特徴量作成部１０３と、データ保存部１０４と、データ選択部１０５と、識別モデル作成部１０６と、識別モデル保存部１０７と、表示部１０８とを有して構成されている。

映像取得部１０１は、例えば交差点や公共施設などに設置された監視カメラ等により撮影した監視対象の映像データを取得し、その取得した映像データを表示部１０８と特徴量作成部１０３へと出力する。
図２は、映像取得部１０１にて取得された映像データが表示部１０８の画面に表示された表示例を示している。図２には、交差点に設置された監視カメラの映像のうち、連続したｎフレーム分の映像２０１−１〜２０１−ｎが、表示部１０８の画面上に表示されている例を示している。図２に例示したｎフレーム分の映像２０１−１〜２０１−ｎには、交差点の横断歩道上を歩行者２２１が歩く様子が映っているとする。なお、図２に示した画面内の枠２１１−１〜２１１−ｎと属性情報リスト２１２については後述する。

入力部１０２は、表示部１０８の画面表示を用いたＧＵＩ（グラフィカルユーザインターフェース）等を介したユーザからの入力指示等の情報取得を行う。すなわち本実施形態において、ユーザは、表示部１０８に表示されている映像を見つつ、入力部１０２を介して、対象物の正常な事象に関する指示を入力可能となされている。以下、図２に示した映像２０１−１〜２０１−ｎのように、歩行者２２１が交差点の横断歩道上を歩く行動を例に挙げ、ユーザによる対象物の正常な事象の指示入力例について説明する。

ここで、図２のように横断歩道上を歩く歩行者２２１の行動が対象物の正常な事象として指定される場合、ユーザからは、入力部１０２を介して、映像内の歩行者２２１を指定するための指示入力がなされる。入力部１０２を介してユーザから指示入力がなされると、情報処理装置１００は、その指示入力を基に、映像内の歩行者２２１に対して所定の枠を設定する。この時のユーザによる指示入力としては、例えばＧＵＩを介して映像上の対象物（歩行者２２１）の例えば左上の位置及び右下の位置を指示するような入力方法を用いることができる。情報処理装置１００は、入力部１０２を介してユーザから映像内の歩行者２２１の左上及び右下の位置指定がなされると、それら指定された位置を枠の左上の位置及び右下の位置とする矩形枠を設定する。なお、ユーザによる指定と枠の設定方法は、この例に限定されず、その他の方法が用いられてもよい。

本実施形態の場合、歩行者２２１に対する枠の設定は、連続するｎフレーム分の映像２０１−１〜２０１−ｎのそれぞれについて行われる。これにより、それらｎフレーム分の映像２０１−１〜２０１−ｎについて、それぞれ枠２１１−１〜２１１−ｎが設定される。なお、連続するｎフレームの最初の１フレームについてのみユーザによる位置指定がなされ、以降の２〜ｎフレームについては、情報処理装置１００が、下記の参考文献１に記載の公知の追尾技術により対象物を追尾することで枠を自動設定してもよい。対象物の追尾方法は、参考文献１の例に限定されるものではなく、他の追尾方法が用いられてもよい。本実施形態の情報処理装置１００は、前述のように映像２０１−１〜２０１−ｎに対して設定された枠２１１−１〜２１１−ｎの情報（以下、領域情報と呼ぶ。）を、対象物の事象に関する情報の一つとして取得する。

参考文献１：Ｍ．Ｉｓａｒｄ ａｎｄ Ａ． Ｂｌａｋｅ， Ｃｏｎｄｅｎｓａｔｉｏｎ − ｃｏｎｄｉｔｉｏｎａｌ ｄｅｎｓｉｔｙ ｐｒｏｐａｇａｔｉｏｎ ｆｏｒ ｖｉｓｕａｌ ｔｒａｃｋｉｎｇ， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ｖｏｌ．２９， ｎｏ．１， ｐｐ．５−２８， １９９８．

また、本実施形態の情報処理装置１００は、対象物の正常な事象に関する情報として、前述した領域情報とともに、対象物の属性情報をも取得する。属性情報としては、例えば、対象物を表すカテゴリ情報、天候等のような環境情報、時刻や時間帯のような時間情報などを挙げることができる。本実施形態の情報処理装置１００は、この属性情報についても、入力部１０２を介したユーザからの指示入力による情報取得が可能となされている。

図２に示した属性情報リスト２１２は、入力部１０２を介してユーザが属性情報を指定する際に用いられる。本実施形態の情報処理装置１００は、図２に示したような属性情報リスト２１２を画面上に表示させ、この属性情報リスト２１２から、入力部１０２を介してユーザが指定した属性情報を取得する。図２に例示した属性情報リスト２１２は、対象物のカテゴリ情報（例えば歩行者や自転車などの移動体を表すカテゴリ情報）、天候等を表す環境情報、時刻や時間帯等を表す時間情報を、ユーザが選択可能なプルダウンリストとなされている。したがって、ユーザは、図２の映像２０１−１〜２０１−ｎを見ながら、入力部１０２を介して属性情報リスト２１２のプルダウンリストを操作することにより、属性情報の指定を行うことができる。なお、図２の属性情報リスト２１２には、対象物の種類を指定するためのプルダウンリストも含まれているが、これについては後述する。属性情報は、図２の属性情報リスト２１２に挙げられている情報に限定されるものではなく、これら以外の属性情報の指定が可能になされていてもよい。本実施形態の情報処理装置１００は、属性情報リスト２１２からユーザが指定した属性情報を、対象物の正常な事象に関する情報の一つとして取得する。

そして、本実施形態の情報処理装置１００は、前述のように取得した領域情報（図２の例では枠２１１−１〜２１１−ｎの領域情報）と、属性情報（図２の例では属性情報リスト２１２にて指定された属性情報）とを、特徴量作成部１０３へ送る。

特徴量作成部１０３は、映像データから、映像内の対象物の事象における特徴量を作成する。例えば、特徴量作成部１０３は、映像データから対象物の動きベクトルを算出し、その対象物の動きベクトルの平均値を各要素とした特徴ベクトルを生成して、その特徴ベクトルを特徴量として作成する。図２の例の場合、特徴量作成部１０３は、歩行者２２１に対して設定された枠について、映像２０１−１〜２０１−ｎから動きベクトルを算出し、その動きベクトルの平均値を各要素とした特徴ベクトルを特徴量として作成する。また、特徴量作成部１０３は、例えば下記の参考文献２に示すＨＯＦ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｐｔｉｃａｌ Ｆｌｏｗ）、ＭＨＯＦ（Ｍｕｌｔｉ Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｐｔｉｃａｌ Ｆｌｏｗ）などによる特徴量を求めてもよい。なお、ＨＯＦ、ＭＨＯＦでは、動きベクトルを方向別に分けて強度を足し合わせてヒストグラムにした特徴量が得られる。その他にも、特徴量作成部１０３は、例えば下記の参考文献３に示すアピアランスの勾配強度を方向別にヒストグラムにしたＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）や、それ以外の特徴量を求めてもよい。本実施形態における特徴量は、これら記載した方法によるものに限定されるものではない。そして、特徴量作成部１０３は、前述のようにして作成した特徴量と前述の属性情報とを、取得された映像内の対象物の正常な事象に関する事象データとして、データ選択部１０５へと送る。

参考文献２：Ｊ．Ｐｅｒｓ， ｅｔ ａｌ， Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｐｔｉｃａｌ Ｆｌｏｗ ｆｏｒ Ｅｆｆｉｃｉｅｎｔ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ Ｂｏｄｙ Ｍｏｔｉｏｎ， Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｌｅｔｔｅｒｓ， ｖｏｌ．３１， ｎｏ．１１， ｐｐ．１３６９−１３７６，２０１０．
参考文献３：Ｎ．Ｄａｌａｌ ａｎｄ Ｂ． Ｔｒｉｇｇｓ， Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ， Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐｅｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）、ｐｐ．８８６−８９３，２００５．

データ保存部１０４には、監視カメラ等の映像データを基に予め生成された対象物の正常な事象に関する事象データとして、例えば図３に示すような行動データ３０１が保存されている。行動データ３０１には、監視カメラ等の映像から抽出された対象物の画像データと、前述したような特徴量と、対象物の属性情報を表すラベル情報とが保存（登録）されている。属性情報を表すラベル情報としては、対象物のカテゴリ（歩行者や自転車などのカテゴリ）、撮影時の天候（晴れ、曇り等）、時刻や時間帯（昼間、夕方等）などの情報が保存されている。また、行動データ３０１は、それら画像データと特徴量と属性情報ごとに、固有のデータＩＤ（識別情報）が付与されている。このデータ保存部１０４に保存されている行動データ３０１の登録処理については、後述するデータ登録装置３００の構成説明の際に述べる。

データ選択部１０５は、データ保存部１０４に保存されている行動データ３０１の中から、特徴量作成部１０３にて作成した対象物の事象（例えば歩行者の行動）の特徴量に類似した特徴量を含む行動データを収集する。収集方法としては、例えば、データ保存部１０４内の行動データ３０１の中から、映像内の対象物について入力された属性情報と一致する属性情報を探索し、その探索された属性情報に対応した行動データを収集するような方法を用いることができる。また例えば、特徴量作成部１０３にて作成した特徴量と、データ保存部１０４内の行動データ３０１の特徴量との間のユークリッド距離を算出し、そのユークリッド距離が所定の閾値以下となっている特徴量を含む行動データを収集する方法が用いられてもよい。これら収集された行動データは、特徴量作成部１０３にて特徴量が生成された対象物の行動に類似した行動のデータである。

また、データ選択部１０５は、例えば下記の参考文献４に記載のｐ−ｓｔａｂｌｅ ｈａｓｈｉｎｇなどの近似最近傍探索法を用いたデータ探索処理により、データ保存部１０４から行動データを収集してもよい。近似最近傍探索法を用いたデータ探索処理を行う場合、データ選択部１０５は、先ず、ハッシュ関数を下記の式（１）により作成する。なお、式（１）の「ａ」は、各次元の要素値であり、次元数はデータ保存部１０４に保存されている特徴量の次元数である。また、式（１）の「ｒ」は空間を分割する幅、「ｂ」は［０，ｒ］から一様に選ばれる実数である。

参考文献４：Ｍ． Ｄａｔａｒ， Ｎ． Ｉｍｍｏｒｌｉｃａ， Ｐ．Ｉｎｄｙｋ ａｎｄ Ｖ．Ｓ． Ｍｉｒｒｏｋｎｉ， Ｌｏｃａｌｉｔｙ−ｓｅｎｓｉｔｉｖｅ ｈａｓｈｉｎｇ ｓｃｈｅｍｅ ｂａｓｅｄ ｏｎ ｐ−ｓｔａｂｌｅ ｄｉｓｔｒｉｂｕｔｉｏｎ，Ｐｒｏｃｅｅｄｉｎｇｓ ２０ｔｈ ａｎｎｕａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｇｅｏｍｅｔｒｙ，ｐｐ．２５３−２６２，２００４．

データ選択部１０５は、このハッシュ関数を複数作成して、ハッシュ関数群を構成する。図４は、データ保存部１０４内の行動データ３０１の各特徴量（図４では特徴量４０１とする。）を図中の各黒丸（●）により表し、それら特徴量４０１が含まれる特徴空間を、ハッシュ関数群４０２により線形に分割した図を示している。また図４の例において、特徴量作成部１０３にて作成された特徴量４１１は、図４中の×印にて表されているとする。データ選択部１０５は、データ保存部１０４内の行動データ３０１の各特徴量４０１が何れのハッシュ関数による分割領域に属するかを決定し、また、特徴量作成部１０３にて作成された特徴量４１１が何れのハッシュ関数による分割領域に属するかを判定する。さらに、データ選択部１０５は、データ保存部１０４に保存されている行動データ３０１の各特徴量４０１の中で、特徴量作成部１０３にて作成された特徴量４１１が属する分割領域４１２内の特徴量４０１（４１３）を特定する。そして、データ選択部１０５は、データ保存部１０４に保存されている行動データ３０１の中から、それら特定した特徴量４０１（４１３）を含む行動データを収集する。これら収集出された行動データは、特徴量作成部１０３にて特徴量４１１が生成された対象物の行動に類似した行動のデータである。

次に、データ選択部１０５は、前述のようにしてデータ保存部１０４に保存されている行動データ３０１の中から収集した行動データを、識別モデルの作成に用いるか否か選択する。この選択方法としては、例えば図５に示すように、収集した各行動データに対応した各画像５１１を、個別に映像２０１に合成して表示部１０８の画面に表示させてユーザに確認させた上で選択させる方法を用いることができる。この映像合成の際、データ選択部１０５は、データ保存部１０４の行動データの作成時に取得された前述同様の領域情報の入力位置の情報を基に、対象物が移動している範囲を決定する。そして、データ選択部１０５は、その決定した範囲内において、映像２０１内で画像５１１をフレームごとの動きに合わせた異なる位置に合成する。フレームの切り替えは例えば入力部１０２を介したユーザによるフレーム切り替えの指示に応じて行われ、これにより、表示部１０８には、映像２０１内でフレームごとに画像５１１が移動していく様子が表示される。

また、図５に示すように、データ選択部１０５は、表示部１０８の画面上で、画像５１１が合成された映像２０１の例えば下部に、「選択する」のボタンアイコン５３１と「選択しない」のボタンアイコン５３２を表示させる。そして、入力部１０２を介してユーザにより「選択する」のボタンアイコン５３１への入力指示がなされた場合、データ選択部１０５は、その入力指示時の画像５１１に対応した行動データを識別モデルの作成時の学習用データとして選択する。一方、ユーザにより「選択しない」のボタンアイコン５３２への入力指示がなされた場合、データ選択部１０５は、その時の行動データを識別モデルの作成時の学習用データとして選択しない。本実施形態の場合、データ選択部１０５による前述した選択処理が、収集された行動データごとに繰り返し行われて、識別モデル学習用の複数の行動データの選択が行われる。

また、データ選択部１０５は、収集した各行動データの特徴量と、特徴量作成部１０３からの特徴量との間の距離を算出し、その距離に応じて行動データを分けて距離ごとに代表を選び、それの代表の行動データの画像を表示部１０８に表示させてもよい。この場合、それら代表の行動データの画像が表示され、それらの中からユーザにより選択された行動データが、識別モデルの作成時の学習用データとして選択される。

そして、本実施形態のデータ選択部１０５は、前述したように、データ保存部１０４から収集された行動データの中から、入力部１０２を介してユーザにより選択された行動データが、識別モデル作成部１０６へ送られる。

識別モデル作成部１０６は、前述のようにしてデータ選択部１０５にて選択された行動データを用いて、識別モデルを作成する。識別モデルの作成方法としては、例えば、ｋ−ｍｅａｎｓクラスタリング手法を用い、行動データのクラスタ情報を作成して識別モデルとする方法を用いることができる。この場合、クラスタ数は、識別モデル作成部１０６に入力された行動データ数に基づいて決定してもよい。そして、識別モデル作成部１０６では、各クラスタの重心位置、及びクラスタ範囲が識別モデルとして作成される。また、識別モデル作成部１０６は、識別モデルに対して或る行動データの特徴量が入力された場合、特徴空間上で距離が最も近いクラスタの範囲内であれば正常と判定し、範囲外であれば正常ではないと判定する識別モデルを作成することができる。なお、本実施形態において、識別モデル作成方法は、前述のｋ−ｍｅａｎｓクラスタリング手法には限定されず、別の識別モデル作成方法が用いられてもよい。

識別モデル作成部１０６により作成された識別モデルは、識別モデル保存部１０７に送られて保存されるとともに、表示部１０８にも出力される。この際、識別モデルとして出力されるのは、各クラスタの重心位置とクラスタの範囲（例えばクラスタの分散）である。

表示部１０８は、映像取得部１０１にて取得された映像を画面上に表示させるとともに、入力部１０２による入力内容の表示や、データ選択部１０５にて選択された行動データの画像の合成画像の表示などをも行う。また、表示部１０８には、識別モデル作成部１０６で作成した識別モデルがアイコン等により表示されてもよい。
以上が、図１（ａ）に示した本実施形態の情報処理装置１００の構成と処理である。

＜データ登録処理の構成と処理＞
図１（ｂ）は、図１（ａ）に示した情報処理装置１００から、データ保存部１０４にデータベースとして行動データを登録するデータ登録処理を行う構成部分を抜き出して示した図である。なお、図１（ｂ）の構成は図１（ａ）の情報処理装置１００とは別の装置であってもよい。以下、本実施形態では、図１（ｂ）に示す構成をデータ登録装置３００と呼ぶ。図１（ｂ）に示すように、データ登録装置３００は、映像取得部１０１と入力部１０２と特徴量作成部１０３と表示部１０８とデータ保存部１０４とで構成される。

映像取得部１０１は、前述したのと同様に、監視カメラ等からの映像データを取得し、その映像データは特徴量作成部１０３と表示部１０８へ送られる。図６は、映像取得部１０１にて取得された映像データの映像２０１が表示された表示部１０８の画面表示例を示している。

入力部１０２は、前述したのと同様に、表示部１０８の画面表示を用いたＧＵＩ等を介して、ユーザから対象物の正常な事象（例えば歩行者の行動）を指示する入力を取得する。図６は、対象物としての歩行者６２１が横断歩道を歩いている映像２０１から、歩行者６２１が横断歩道上を歩くような正常な事象としての行動が指定された例を示している。また、図６の画面上には、前述の図２で説明したのと同様にして、映像２０１内の歩行者６２１に対して枠６０１が設定され、さらに属性情報リスト６０２も表示される。そして、枠６０１の設定や属性情報リスト６０２を用いた属性情報の入力が完了し、例えばユーザにより「入力完了」のボタンアイコン６３１への入力指示が行われると、入力部１０２は、前述同様に、領域情報と属性情報等を特徴量作成部１０３へと出力する。一方、「入力完了」のボタンアイコン６３１への入力指示が行われていない場合、行動の指定と属性情報の設定が可能な状態が維持される。

特徴量作成部１０３は、前述したのと同様にして特徴量を作成する。そして、特徴量作成部１０３にて作成した特徴量と、入力部１０２による入力に応じた属性情報とが、データ保存部１０４へと出力される。

データ保存部１０４には、特徴量作成部１０３にて作成された特徴量と、入力部１０２からの属性情報とが対応付けられ、さらに、データＩＤ（識別情報）が割り当てられた行動データが保存される。また、特徴量については、例えば前述したｐ−ｓｔａｂｌｅ ｈａｓｈｉｎｇを用いたハッシュ値（各ハッシュ関数によって線形に分割された領域のどれに属するかの情報）が作成されて、これらのデータが保存される。
図１（ｂ）のデータ登録装置３００では、以上のようにしてデータ登録処理が行われることにより学習データベースが形成されている。

＜処理フローチャートの説明＞
以下、図７（ａ）〜図７（ｃ）に示すフローチャートを用いて、本実施形態の情報処理装置１００における処理の流れを説明する。図７（ａ）には識別モデル作成処理、図７（ｂ）にはデータ選択処理、図７（ｃ）にはデータ登録処理の各フローチャートを示す。なお、図７（ａ）〜図７（ｃ）のフローチャートでは、ステップＳ７０１〜ステップＳ７２６をそれぞれＳ７０１〜Ｓ７２６と略記する。また、図７（ａ）〜図７（ｃ）のフローチャートの処理は、ハードウェア構成又はソフトウェア構成により実行されてもよいし、一部がソフトウェア構成で残りがハードウェア構成により実現されてもよい。ソフトウェア構成により処理が実行される場合、図７（ａ）〜図７（ｃ）のフローチャートの処理は、不図示のＲＯＭ等に格納されているプログラムがＲＡＭ等に展開されてＣＰＵ等により実行される。本実施形態に係るプログラムは、ＲＯＭ等に予め用意される場合だけでなく、例えば着脱可能な半導体メモリから読み出されたり、不図示のインターネット等のネットワークからダウンロードされたりして、ＲＡＭ等にロードされてもよい。これらのことは、後述する他のフローチャートにおいても同様とする。

先ず図７（ａ）の識別モデル作成処理のフローチャートから説明する。
Ｓ７０１において、映像取得部１０１は、監視カメラ等から映像データを取得して、特徴量作成部１０３と表示部１０８へ出力する。Ｓ７０１の後、情報処理装置１００の処理はＳ７０２へと進む。
Ｓ７０２において、表示部１０８は、映像取得部１０１から送られてきた映像を表示する。Ｓ７０２の後、情報処理装置１００の処理はＳ７０３へと進む。

Ｓ７０３において、入力部１０２は、表示部１０８に表示されている映像内の対象物の事象に関するユーザの入力指示を基に、前述したように領域情報と属性情報を取得し、それら領域情報と属性情報を特徴量作成部１０３へと出力する。Ｓ７０３の後、情報処理装置１００はＳ７０４へと進む。

Ｓ７０４において、特徴量作成部１０３は、対象物の行動を表す前述した領域情報と属性情報を基に、前述したようにして特徴量を作成し、その特徴量の情報をデータ選択部１０５へと出力する。Ｓ７０４の後、情報処理装置１００の処理はＳ７０５へと進む。

Ｓ７０５において、データ選択部１０５は、前述したように、特徴量作成部１０３で作成された特徴量に類似する特徴量を持つ行動データをデータ保存部１０４のデータベースから選択する。データ選択部１０５におけるデータ選択処理の詳細な処理の流れは図７（ｂ）のフローチャートで説明する。Ｓ７０５の後、データ選択部１０５は、Ｓ７０６へと処理を進める。

Ｓ７０６において、データ選択部１０５は、入力部１０２を介してユーザから入力完了の指示がなされたか否かを判定する。そして、データ選択部１０５は、ユーザから入力完了の指示が入力されず、引き続き入力部１０２を介した対象物の行動に関する入力が行われる場合（ＮＯ）、情報処理装置１００の処理をＳ７０３に戻す。一方、データ選択部１０５は、ユーザから入力完了の指示が入力された場合（ＹＥＳ）、データ保存部１０４から選択された行動データを、識別モデルの作成に用いるデータとして識別モデル作成部１０６へと出力する。そして、Ｓ７０６で入力完了の指示が入力されたと判定された場合（ＹＥＳ）、情報処理装置１００の処理はＳ７０７へと進む。

Ｓ７０７において、識別モデル作成部１０６は、識別モデルの作成用の行動データを用いて、前述のように識別モデルを作成（つまり識別モデルを学習）する。そして、識別モデル作成部１０６は、その作成した識別モデルを識別モデル保存部１０７に保存させる。このＳ７０７の処理完了後、情報処理装置１００は、識別モデル作成処理を終了させる。

次に、図７（ｂ）のフローチャートに示すデータ選択処理（Ｓ７０６の処理）について説明する。なお、以下の説明では前述したハッシュ関数を用いる例を挙げる。
Ｓ７１１において、データ選択部１０５は、前述したＳ７０４の処理で取得された特徴量に対して、前述したようにハッシュ関数を適用してハッシュ値を算出する。そして、データ選択部１０５は、算出したハッシュ値に対し、データ保存部１０４に保存されている特徴量のハッシュ値が同一の行動データを収集する。データ選択部１０５は、Ｓ７１１にて行動データを収集できた場合、Ｓ７１２へと処理を進める。

Ｓ７１２において、データ選択部１０５は、参照する行動データに付与する番号を表すインデックスｉを初期化する。インデックスｉは、前述のように収集した行動データに対して順番に割り振られる例えば番号である。インデックスｉの初期化が完了すると、データ選択部１０５は、Ｓ７１３へと処理を進める。
Ｓ７１３に進むと、データ選択部１０５は、参照する行動データのインデックスｉが、収集した行動データ数Ｉを超えるか（ｉ＞Ｉ）否かを判定する。データ選択部１０５は、インデックスｉが、収集した行動データ数以下（ｉ≦Ｉ）である場合（ＮＯ）にはＳ７１４へと処理を進め、一方、収集した行動データ数Ｉを超える場合（ＹＥＳ）には図７（ｂ）の処理を終了する。

Ｓ７１４に進むと、データ選択部１０５は、収集した行動データの中で、インデックスｉの行動データに含まれる画像データの画像を、前述の図５で説明したように、映像取得部１０１にて取得された映像に対して合成する。Ｓ７１４の後、データ選択部１０５は、Ｓ７１５に処理を進める。

Ｓ７１５において、データ選択部１０５は、表示部１０８に画面表示された合成映像を見たユーザにより、入力部１０２を介して、インデックスｉの行動データの選択指示又は非選択の指示が入力されたか否かを判定する。データ選択部１０５は、例えば前述の図５の「選択する」のボタンアイコン５３１への入力指示がなされて、インデックスｉの行動データが選択された場合（ＹＥＳ）には、Ｓ７１６に処理を進める。一方、データ選択部１０５は、例えば図５の「選択しない」のボタンアイコン５３２への入力指示がなされたことで、非選択の指示がなされた場合（ＮＯ）には、Ｓ７１７に処理を進める。

Ｓ７１６に進むと、データ選択部１０５は、Ｓ７１５で選択されたインデックスｉの行動データを識別モデル作成用データに設定する。Ｓ７１６の後、データ選択部１０５は、Ｓ７１７へと処理を進める。

Ｓ７１７に進むと、データ選択部１０５は、次の行動データを参照するよう、インデックスｉをインクリメントする更新を行った後、Ｓ７１３へと処理を戻す。そして、収集した全ての行動データについてＳ７１４〜Ｓ７１６の処理が終わり、Ｓ７１７でインデックスｉが更新されると、そのインデックスｉは収集した行動データ数Ｉを超えることになる。したがって、収集した全ての行動データについてＳ７１４〜Ｓ７１６の処理が終わると、Ｓ７１３では収集した行動データ数Ｉを超えると判定（ＹＥＳ）されて、図７（ｂ）のフローチャートの処理は終了する。

次に、図７（ｃ）のフローチャートに示すデータ登録処理について説明する。なお、図７（ｃ）のフローチャートの処理は、図１（ｂ）のデータ登録装置３００にて行われる。
Ｓ７２１において、映像取得部１０１は、監視カメラから映像データを取得して、特徴量作成部１０３と表示部１０８へ出力する。Ｓ７２１の後、データ登録装置３００の処理はＳ７２２へと進む。
Ｓ７２２において、表示部１０８は、映像取得部１０１から送られてきた映像を表示する。この場合の映像は、入力部１０２を介したユーザからの操作により、表示するフレームが変更され、その変更されたフレームの映像が表示される。Ｓ７２２の後、データ登録装置３００の処理はＳ７２３へと進む。

Ｓ７２３において、入力部１０２は、表示部１０８に表示されている映像内の対象物の正常な事象に対するユーザの入力指示を基に、前述した領域情報と属性情報を取得し、それら領域情報と属性情報を特徴量作成部１０３へと出力する。正常な事象としての行動の入力は、前述したように、映像の各フレームに対して対象物（歩行者や自転車など）がある領域をＧＵＩ操作により入力することにより行われる。Ｓ７２３の後、データ登録装置３００はＳ７２４へと進む。

Ｓ７２４において、特徴量作成部１０３は、前述同様にして特徴量を作成する。そして、その作成された特徴量と属性情報は、データ保存部１０４へと送られる。Ｓ７２４の後、データ登録装置３００の処理はＳ７２５へと進む。

Ｓ７２５に進むと、データ保存部１０４は、前述したように、特徴量の情報及び登録情報について、データＩＤを割り当てて保存（登録）する。特徴量については、前述したように例えばハッシュ値が作成されて、これらの情報が保存される。このＳ７２５の後、データ登録装置３００の処理は、Ｓ７２６へと進む。

Ｓ７２６に進むと、入力部１０２は、ユーザから図６に例示した「入力完了」のボタンアイコン６３１への入力指示がなされたか否かを判定する。入力部１０２は、ユーザから入力完了の指示が入力されない場合（ＮＯ）にはＳ７２３に処理を戻す。一方、入力部１０２に入力完了の指示が入力された場合（ＹＥＳ）、データ登録装置３００は、図７（ｃ）のフローチャートの処理を終了する。なお、図６の例では図示していないが、画面内に例えば「継続」のボタンアイコンを設け、その「継続」のボタンアイコンへの入力指示が行われた場合に、Ｓ７２６でＮＯと判定されてＳ７２３の処理に戻るようにしてもよい。

以上説明したように、第１の実施形態の情報処理装置１００では、映像シーン内の対象物の事象としての行動やその状態を指定し、それらに類似する行動データを、予め作成して登録されているデータベースから収集する。そして、本実施形態においては、データベースから収集した行動データの中から、映像シーンに応じた適切な行動データを選択し、その選択した行動データを用いて識別モデルを作成している。すなわち、本実施形態の情報処理装置１００によれば、設置した監視カメラに対して、例えば学習用の映像データが少なくても、映像シーン内の対象物の事象を精度良く的確に識別できる識別モデルを作成することが可能となっている。

＜第２の実施形態＞
図８は、第２の実施形態に関わる情報処理装置８００の概略的な構成例を示している。
第２の実施形態の情報処理装置８００は、識別モデルを作成する際、対象物やその状態を識別するデータとして、第１の実施形態で説明した対象物の正常な事象に加えて、対象物の正常な事象とは異なる事象に応じた行動データをも収集する。第２の実施形態において、対象物の正常な事象とは異なる事象としては、一例として、歩行者や自転車などが対象物である場合、歩行者や自転車などが転倒、倒れこみ、横断禁止場所の横断などの行動が挙げられる。なお、第２の実施形態においても映像シーンの一例として屋外の交差点の映像シーンを用いて説明するが、その他の公共施設等の映像シーンなどであってもよい。以下の説明では、正常な事象とは異なる事象を「異常な事象」と表記し、対象物の異常な事象としての行動を「異常な行動」と表記することとする。そして、第２の実施形態の場合、正常な事象と異常な事象に関する情報の入力は、後述するラベルアイコンの選択入力により行われる。

以下、図８に示した第２の実施形態の情報処理装置８００において、対象物の正常な事象と異常な事象に関する情報の入力と行動データの収集、その収集した行動データに基づく識別モデルの生成を行う構成及び処理の説明を行う。なお、第２の実施形態の情報処理装置８００において、前述した第１の実施形態の情報処理装置１００の各構成と同一の構成については、同一の参照符号を付してその説明は省略する。第２の実施形態の情報処理装置８００の場合、データ選択部８０５、データ保存部８０４、識別モデル作成部８０６が、第１の実施形態の情報処理装置１００とは異なり、それ以外は第１の実施形態と同一の構成である。

また、第２の実施形態の場合は、前述した第１の実施形態で説明した対象物の正常な事象に関する入力処理に加えて、対象物の異常な事象に関する入力処理が行われる。対象物の異常な事象に関する入力処理では、対象物の事象の種類を表すラベル情報と、対象物の事象が異常な事象である場合のその異常な事象の意味を表すラベル情報の入力が行われる。対象物の事象の種類を表すラベル情報としては、対象物の事象が「正常」と「異常」の何れの種類に属するかを表す情報が用いられる。また、対象物の異常な事象の意味を表すラベル情報としては、対象物が歩行者等である場合の例えば「転倒」や「倒れこみ」、「横断禁止」などの情報が用いられる。したがって、第２の実施形態のデータ保存部８０４には、対象物の事象の種類を表すラベル情報と対象物の異常な事象の意味を表すラベル情報とを含む属性情報が記述された行動データが保存される。

図９は、対象物が歩行者等であり、その歩行者等の行動が異常な行動である場合の行動データ９０１の一例を示した図である。図９には、対象物の異常な行動を表した画像データ、その特徴量、異常な行動に関連付けられた各ラベル情報の属性情報に対して、固有のデータＩＤが割り当てられた行動データ９０１の例が挙げられている。図９の属性情報では、対象物の行動の種類を表すラベル情報として「異常」が、対象物を表すラベル情報として「歩行者」が、対象物の異常な行動の意味を表すラベル情報として「転倒」や「倒れこみ」、「横断禁止」が、記述された例を挙げている。したがって、第２の実施形態のデータ保存部８０４には、例えば図９に示すような行動データ９０１が保存されている。なお、図９には図示していないが、行動データ９０１には対象物の行動が正常である場合の情報も適宜記述される。

また第２の実施形態の場合も、データ選択部８０５では、入力部１０２を介したユーザからの入力指示に基づいて、識別モデルの作成に用いる行動データの選択が行われる。
図１０は、映像取得部１０１にて取得された映像データの映像１００１が表示された表示部１０８の表示例を示している。入力部１０２は、前述同様に、表示部１０８の画面表示を用いたＧＵＩ等を介して、ユーザから対象物に対する指示入力を取得する。図１０には、対象物としての歩行者１０２１が横断歩道を歩いている映像１００１の例を示している。第２の実施形態の場合、表示部１０８の画面には、映像データの映像１００１と前述同様の属性情報リスト１０１２の他に、データ保存部８０４に保存されている行動データの各ラベル情報をアイコンにより表したラベルリスト１００２も表示される。すなわち、ラベルリスト１００２は、データ保存部８０４に保存されている各行動データの属性情報のラベル情報を基に分類したリストとなされている。図１０には、ラベルリスト１００２として、正常な行動に対応した正常行動ラベルリスト、異常な行動に対応した異常行動ラベルリスト、及び、その他の行動ラベルリストが表示された例を挙げている。

第２の実施形態の場合、ユーザは、映像データの映像１００１を見ながら、入力部１０２を介したＧＵＩ操作により、ラベルリスト１００２の中のアイコン指示により行動データのラベル情報を入力する。図１０には、ユーザが入力部１０２を介して例えば横断禁止ラベルアイコン１００３を入力した例が示されている。すなわち、図１０の例のように、歩行者１０２１が横断歩道を歩いている場合において、横断禁止ラベルアイコン１００３の設定がなされると、その歩行者１０２１が横断歩道を歩く行動は異常行動であるとして行動データの設定が行われる。

また、本実施形態において、ラベルリスト１００２には、例えば交通信号機に対してラベル情報の入力を可能にするアイコンも用意されている。例えば、歩行者１０２１が歩いている横断歩道に直交した道路用の交通信号機１００４を例えば赤色点灯状態に設定し、その時の歩行者１０２１の行動に関する情報の入力を行うことで、併せて交通信号機１００４の情報が設定される。これにより、交通信号機１００４の状況変化にも対応した行動データの入力が可能となる。
そして、これらの入力が完了した場合、それら入力により設定された行動データが、識別モデル作成部８０６へと出力される。

第２の実施形態の識別モデル作成部８０６は、設定された行動データを用いて、前述同様に識別モデルの学習を行う。第２の実施形態の場合、各行動データには、正常又は異常の種類を表す属性情報が付与されている。このため、第２の実施形態の識別モデル作成部８０６は、正常のラベル情報をクラス「＋１」とし、異常のラベル情報をクラス「−１」として、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）手法を用いて識別モデルを作成する。これにより、入力された特徴量の行動データが、正常な行動か、又は、異常な行動かを判定可能な識別モデルが作成される。なお、識別モデルの作成には、Ａｄａｂｏｏｓｔなどの手法を用いることも可能である。

第２の実施形態の場合、前述したように属性情報には例えば交通信号機の状態を表す情報の入力も可能となされている。このため、例えば交通信号機が赤色点灯時に入力された情報を使って赤色点灯時の識別モデルを作成し、また例えば交通信号機が青色点灯時に入力された情報を使って青色点灯時の識別モデルを作成することも可能である。このように、交通信号機の点灯変化に対してそれぞれの識別モデルを作成しておくことにより、例えば、対象物やその行動の識別時に、交通信号機の情報を基に識別モデルを切り替えることで、より正しい正常・異常の行動判定を行うことも可能となる。

前述のようにして識別モデル作成部８０６にて作成された識別モデルのデータは、識別モデル保存部１０７へと送られて保存される。なお、本実施形態の場合、識別モデルはＳＶＭ手法を用いて作成されるので、複数のサポートベクターと、それぞれに対応する係数、及び、閾値が、識別モデル保存部１０７に保存される。

次に、図１１のフローチャートを参照しながら、第２の実施形態における識別モデル作成処理について詳細に説明する。なお、図１１において、前述の図７（ａ）のフローチャートと同じ処理ステップには同一の参照符号を付してそれらの説明は省略する。
図１１のフローチャートにおいて、Ｓ７０２の後、情報処理装置８００の処理は、Ｓ１１１３に進む。

Ｓ１１１３において、入力部１０２は、表示部１０８に表示されている対象物の事象に対するユーザの入力指示を基に、前述同様の領域情報と共に、その対象物の異常な行動に関する各ラベル情報を含む属性情報を取得する。Ｓ１１１３の後、入力部１０２の処理は、Ｓ１１１４へと進む。

Ｓ１１１４において、入力部１０２は、ユーザによる入力指示がなされた属性情報のラベル情報が、前述のラベルリスト１００２からの入力か否かを判定する。具体的には、入力部１０２は、ラベルリスト１００２内のラベルアイコンをユーザがクリック等することで何れかのラベルアイコンが選択されているかどうかにより、ラベルリスト１００２による入力か否かの判定を行う。なお、判定の方法はこの方法に限定されるものではない。Ｓ１１１４において、ラベルリスト１００２による入力であると判定された場合、ユーザによる入力部１０２を介した指示入力の情報はデータ選択部８０５へと送られ、情報処理装置８００の処理はＳ１１１５へと進む。一方、Ｓ１１１４において、ラベルリスト１００２による入力でない判定された場合、ユーザによる入力部１０２を介した指示入力の情報は特徴量作成部１０３へと送られ、情報処理装置８００の処理は前述したＳ７０５へと進む。なお、Ｓ７０４の処理に進んだ場合、情報処理装置８００の処理は、その後、前述したＳ７０５の処理へ進み、さらに前述したＳ７０６へと進む。

Ｓ１１１５の処理に進んだ場合、データ選択部８０５は、Ｓ１１１３にてユーザにより入力部１０２を介して入力されたラベルアイコンに応じたラベル情報を基に、データ保存部８０４から行動データを収集する。すなわち、データ選択部８０５は、データ保存部８０４内の各行動データの中から、ラベル情報を基に検索した行動データを収集し、その行動データを識別モデル作成部８０６に送る。Ｓ１１１５の後、情報処理装置８００の処理は、前述したＳ７０６へと進む。

Ｓ７０６において、前述したように入力が完了したと判定されると、情報処理装置８００の処理は、Ｓ１１１７へと進む。
Ｓ１１１７において、識別モデル作成部８０６は、識別モデルの作成用の行動データを用いて、識別モデルの学習を行う。第２の実施形態の場合、識別モデル作成部８０６は、入力された行動データの属性情報を用いて、正常な行動の行動データと、異常な行動の行動データとに分ける。そして、識別モデル作成部８０６は、前述したように、正常行動データをクラス「＋１」として、異常行動データをクラス「−１」とし、ＳＶＭを用いて識別モデルを作成する。このようにして作成された識別モデル（複数のサポートベクターと、それぞれに対応する係数、及び、閾値）は、識別モデル保存部１０７へと出力されて保存される。このＳ１１１７の処理完了後、情報処理装置８００は、図１１のフローチャートの識別モデル作成処理を終了させる。

以上説明したように、第２の実施形態の情報処理装置８００では、データ保存部８０４に保存されている行動データのラベル情報に応じたラベルアイコンを表示し、ユーザがラベルアイコンを選択することで対象物の行動に関する情報入力が行われる。すなわち、第２の実施形態の場合、ラベルアイコンの選択入力により、映像シーンの対象物の事象が正常か異常かを判定可能な識別モデルの作成が可能となる。

＜第３の実施形態＞
図１２は、第３の実施形態に関わる情報処理装置１２００の概略的な構成例を示している。
第３の実施形態の情報処理装置１２００は、前述した第１、第２の実施形態で説明したような監視カメラ等の映像の表示と共に、監視カメラ等により映像が取得される場所のマップ情報をも表示して、対象物の事象に関する情報の入力を可能にする例である。

以下、図１２に示す情報処理装置１２００において、複数のシーンの情報を含むマップ情報を用いて対象物の事象としての行動データを収集し、それら収集した行動データを基にした学習等により識別モデルを作成する構成及び処理の説明を行う。なお、本実施形態では、監視カメラ等が屋内の公共施設等に設置されている例を挙げて図示しているが、これには限定されず、例えば病院、介護施設、駅などの施設や、屋外等に設置されていてもよい。

図１２に示した情報処理装置１２００において、マップ情報保存部１２０１は、監視カメラ等が設置さている場所及びその周囲のマップ情報を保持している。マップ情報は、監視カメラ等が例えば建物の屋内に設置されている場合には、その建物の見取り図（ゾーニングマップ）の情報を含み、例えばＣＧなどの３次元データとして保存されている。また、マップ情報保存部１２０１には、建物に関する情報に対して、監視カメラの設置情報や、複数のシーンの情報として屋内の各エリアにおける対象物の行動データも併せて保存されている。これらシーン毎の行動データはＣＧで作成することができる。また、マップ情報は、監視カメラ等が屋外に設置されている場合には、その周囲の地図情報となされる。屋外の場合のマップ情報には、シーン毎の対象物の行動に関する情報として、例えば携帯電話機や車両などに搭載されているＧＰＳ（全地球無線測位システム）等の測位情報（移動情報）が含まれていてもよい。

図１３には、第３の実施形態の情報処理装置１２００の映像取得部１２０８にて取得された映像１３０６とマップ情報保存部１２０１から供給されたマップ１３０１とが、表示部１２０９に表示された例を示している。図１３の表示例において、映像１３０６は映像取得部１２０８にて取得された映像であり、マップ１３０１はマップ情報保存部１２０１から供給されたマップ情報に基づくゾーニングマップ等である。また、マップ情報保存部１２０１のマップ情報には、監視カメラの設置位置情報と、その監視カメラのカメラ情報も含まれる。監視カメラの設定位置情報にはカメラの設置高さやカメラの設置角度の情報が含まれ、カメラ情報にはカメラの画角、焦点距離、絞り、シャッタースピード、ＩＳＯ感度、画素数などのカメラパラメータの情報等が含まれている。したがって、図１３のマップ１３０１には、監視カメラの設置位置情報に基づく監視カメラ１３０２も表示される。なお、映像１３０６内のエリア１３０５についての説明は後述する。

また、マップ情報保存部１２０１のマップ情報には、マップ１３０１内でカメラ設置位置情報に応じたエリア１３０３内における正常な行動の対象物のデータも登録されている。マップ情報に含まれる対象物のデータには、その対象物の行動の３次元の動きデータも含まれている。図１３の例の場合、エリア１３０３内における正常な行動の対象物データとして、前後左右に動く歩行者と、止まっている人と、前後左右に動く車椅子に乗った人のデータが登録されており、それらを表すアイコン１３２１〜１３２３が表示されている。なお、マップ情報保存部１２０１には、正常行動のデータだけでなく、前述の第２の実施形態で説明したような、異常行動の場合の対象物のデータが登録されていてもよい。

図１２に説明を戻す。
座標変換部１２０２は、マップ情報保存部１２０１に登録されているマップ情報、カメラ設置情報、カメラ情報、対象物に関するデータを読み込む。そして、座標変換部１２０２は、カメラの設置位置情報に基づいて登録されているエリア１３０３とそのエリア１３０３内の対象物のデータに対し、映像１３０６の領域に表示するための座標変換を行う。具体的には、座標変換部１２０２は、カメラの設置位置を基準として、下記の式（２）を用い、エリア１３０３を映像１３０６内に透視投影変換することで、映像１３０６上のエリア１３０５を算出する。

なお、式（２）において、（ｘ，ｙ，ｚ）は映像１３０６内における座標、ｋは画素の有効サイズ、ｏは映像１３０６の中心（画像中心）、ｆはカメラの焦点距離、（Ｘ，Ｙ，Ｚ，１）はカメラ設置位置を基準とした時の座標系のデータである。また、座標変換部１２０２は、３次元のデータをカメラの座標系にデータに変換するのに下記の式（３）の演算を行う。

なお、式（３）において、（Ｘ，Ｙ，Ｚ）はデータ座標系での座標、ｔはデータ座標系を基準としたカメラの設置位置、θはカメラの設置角度、（Ｘ'，Ｙ'，Ｚ'）はカメラ座標系での座標である。

座標変換部１２０２は、図１３のマップ１３０１のエリア１３０３について、この座標変換の演算を行うことにより、映像１３０６内において対応するエリア１３０５の領域を設定することができる。また、座標変換部１２０２は、マップ１３０１のエリア１３０３内の対象物（アイコン１３２１，１３２２，１３２３）について、３次元の動きベクトルを同様に映像１３０６上の動きベクトルに変換する。そして、座標変換部１２０２により座標変換された情報は、特徴量作成部１２０３へ出力される。

特徴量作成部１２０３は、座標変換部１２０２にて変換された動きデータを基に、特徴量を作成する。具体的には、特徴量作成部１２０３は、座標変換部１２０２による変換で算出された映像１３０６上での動きデータから、ｎフレーム分の動きをベクトルの各要素とした特徴ベクトルを特徴量として求める。その他にも、特徴量作成部１２０３は、ｎフレーム分のＨＯＦ特徴量を作成して特徴量としてもよい。そして、特徴量作成部１２０３は、作成した特徴量をデータ選択部１２０５へと出力する。

データ保存部１２０４は、各行動データを保存している。本実施形態の場合、データ保存部１２０４には、前述した図３や図９で説明したのと同様の行動データが保存されている。
データ選択部１２０５は、特徴量作成部１２０３から取得した特徴量を用いて、前述した実施形態と同様に、類似する特徴量の行動データをデータ保存部１０４から選択する。そして、その選択された類似する行動データが識別モデル作成部１２０６へと送られる。
識別モデル作成部１２０６は、データ選択部１２０５で選択された行動データを用いて、前述した実施形態と同様に、識別モデルを作成する。なお、マップ情報保存部１２０１に異常行動のデータも登録されている場合、識別モデル作成部１２０６では前述同様のＳＶＭなどの２クラス識別モデルを作成することもできる。そして、その作成された識別モデルは、識別モデル保存部１２０７へ送られて保存される。また、識別モデルは、表示部１２０９へと送られてもよい。

第３の実施形態の映像取得部１２０８は、マップ情報保存部１２０１に登録されている監視カメラにより撮影された映像データを取得する。この映像データは表示部１２０９へと送られる。
表示部１２０９は、映像取得部１２０８からの映像と、識別モデル作成部１２０６で作成した識別モデルとを表示する。第３の実施形態の場合、表示部１２０９の画面には、図１３に示したように、映像１３０６のエリア１３０５に、識別モデルに応じたアイコン１３２１〜１３２３を重ねて表示する。これにより、ユーザは、識別結果を確認することができることになる。なお、図１３の例では、エリア１３０５上のアイコン１３２１〜１３２３は、マップ１３０１のエリア１３０３内のものと同様のものを例に挙げている。

以下、図１４のフローチャートを参照しながら、第３の実施形態の情報処理装置１２００における識別モデル作成から表示までの処理について詳細に説明する。
Ｓ１４０１において、座標変換部１２０２は、マップ情報保存部１２０１に登録されている前述したマップ情報、カメラの設置位置情報、カメラ情報、対象物のデータを読み込む。Ｓ１４０１の後、座標変換部１２０２の処理は、Ｓ１４０２へと進む。

Ｓ１４０２に進むと、座標変換部１２０２は、マップ情報保存部１２０１から取得したマップ情報、カメラ設定位置情報、カメラ情報、対象物のデータを用いて、前述したような座標変換処理を行う。そして、座標変換部１２０２は、座標変換により得られたデータを特徴量作成部１２０３へと出力する。Ｓ１４０２の後、情報処理装置１２００の処理は、Ｓ１４０３へと進む。

Ｓ１４０３において、特徴量作成部１２０３は、座標変換部１２０２にて変換されたデータを用いて前述したように特徴量を作成し、その作成した特徴量の情報をデータ選択部１２０５へと送る。Ｓ１４０３の後、情報処理装置１２００の処理はＳ１４０４へと進む。
Ｓ１４０４に進むと、データ選択部１２０５は、特徴量作成部１２０３から取得した特徴量を基に、前述したように類似する特徴量の行動データを選択し、その選択した行動データを識別モデル作成部１２０６へと送る。Ｓ１４０４の後、情報処理装置１２００の処理はＳ１４０５へと進む。
Ｓ１４０５において、識別モデル作成部１２０６は、前述したように、選択した行動データを用いて識別モデルを作成し、その作成した識別モデルのデータを識別モデル保存部１２０７と表示部１２０９に出力する。Ｓ１４０５の後、情報処理装置１２００の処理はＳ１４０６へと進む。

Ｓ１４０６において、表示部１２０９は、映像取得部１２０８から映像を取得し、識別モデル保存部１２０７から識別モデルの情報を取得する。なお、監視カメラが複数ある場合には、予め何れの監視カメラの映像を取得するかが選択されているとする。Ｓ１４０６の後、表示部１２０９は、Ｓ１４０７の処理として、映像取得部１２０８から取得した映像と、識別モデル保存部１２０７から取得した識別モデルを画面に表示する。この表示を見ることにより、ユーザは、どのような識別モデルが作成されたかを確認することができる。

以上説明したように、第３の実施形態の情報処理装置１２００によれば、マップ情報を基に、設置されている監視カメラに対応可能な識別モデルを自動で作成することができる。第３の実施形態の情報処理装置１２００においても、前述の実施形態と同様にシーン内の対象物の事象を精度良く識別できる識別モデルを生成可能である。

本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１ 映像取得部、 １０２ 入力部、 １０３ 特徴量作成部、１０４ データ保存部、１０５ データ選択部、 １０６ 識別モデル作成部、 １０７ 識別モデル保存部、 １０８ 表示部

Claims (7)

1. 予め生成された、対象物の事象の特徴量を含む複数の事象データを保存する保存手段と、
   複数のシーンの情報を含むマップ情報を保存する情報保存手段と、
   前記情報保存手段に保存されている前記シーンの情報を基に、前記対象物の事象の特徴量を作成する特徴量作成手段と、
   前記特徴量作成手段にて作成された特徴量に類似した特徴量を含む事象データを、前記保存手段に保存されている事象データの中から選択する選択手段と、
   前記選択された事象データの特徴量を用いて、映像内の対象物の事象を識別する識別モデルを作成するモデル作成手段と、
   を有することを特徴とする情報処理装置。
2. 前記情報保存手段は、前記シーンの情報に加えて、前記対象物の事象に関する情報と、前記マップ情報により指定されるカメラに関するカメラ情報とを保存していることを特徴
   とする請求項１に記載の情報処理装置。
3. 前記マップ情報により指定される前記カメラにて撮影された映像を取得する映像取得手段と、
   表示手段と、を有し、
   前記表示手段は、前記情報保存手段に保存されている前記シーンの情報、前記映像取得手段により取得された映像、および、前記識別モデルを表示することを特徴とする請求項２に記載の情報処理装置。
4. 前記保存手段は、前記対象物の正常な事象と前記対象物の異常な事象との、少なくとも何れかの事象データを、保存することを特徴とする請求項１から３の何れか１項に記載の情報処理装置。
5. 前記作成された識別モデルを保存するモデル保存手段を有し、
   前記モデル保存手段に保存された前記識別モデルを用いて、前記取得された映像内の前記対象物の事象に対する識別を行うことを特徴とする請求項３に記載の情報処理装置。
6. 予め生成された、対象物の事象の特徴量を含む複数の事象データを保存する保存工程と、
   複数のシーンの情報を含むマップ情報を保存する情報保存工程と、
   前記情報保存工程にて保存されている前記シーンの情報を基に、前記対象物の事象の特徴量を作成する特徴量作成工程と、
   前記特徴量作成工程にて作成された特徴量に類似した特徴量を含む事象データを、前記保存工程にて保存されている事象データの中から選択する選択工程と、
   前記選択された事象データの特徴量を用いて、映像内の対象物の事象を識別する識別モデルを作成するモデル作成工程と、
   を有することを特徴とする情報処理装置の情報処理方法。
7. コンピュータを、請求項１から５の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images