JP2018160219A - 移動経路予測装置、及び移動経路予測方法 - Google Patents

Abstract

【課題】人物の移動経路を正確に予測する。【解決手段】移動経路予測装置は、画像取得装置（ビデオカメラ）等のセンサによって取得される情報であるセンサ情報（時系列画像等）を取得し、センサ情報に基づき、人物の移動履歴に関する情報である移動履歴情報を生成し、人物の行動に関する情報である行動情報を記憶し、移動履歴情報と行動情報とに基づき、行動情報と当該人物が移動することが予測される移動経路である予測移動経路とを対応づけた情報を含む予測モデルを生成し、センサ情報等から取得される追跡対象者の行動情報に対応する予測移動経路を予測モデルから取得し、取得した予測移動経路を示す情報を出力する。移動経路予測装置は、例えば、画像取得装置から取得される時系列情報に基づき行動情報を生成する。【選択図】図３

Description

本発明は、移動経路予測装置、及び移動経路予測方法に関する。

特許文献１には、「異常挙動が生じる前にそれを予測することが可能な監視システムは存在していない。その種のシステムは、その種の侵害または事故が発生した後にそれらをレポートするのではなく、多様なセキュリティ侵害を防止して生命を救うことができる。」、「本発明は、監視デバイスによって観察されている移動物体の将来の場所を予測するための方法である。この方法は、その移動物体に対応する動きデータを監視デバイスから受取り、受取ったデータに基づいてメタデータを生成するステップを包含し、それにおいて当該メタデータは、その移動物体のタイムスタンプ、場所、および大きさを含む。さらにこの方法は、メタデータに基づいてデータ構造に対して少なくとも１つのウェーブレット変換を実行し、その少なくとも１つのウェーブレット変換に基づいてキーを生成するステップを包含する。この方法は、さらに、そのキーを使用して予測モデル・データベースのクエリを行うステップを包含し、それにおいて予測モデル・データベーは、学習済みデータに基づく予測モデルをストアしており、かつそれにおいて予測モデルは、それぞれ、学習済み軌跡の第１の部分に基づくモデル・キー、当該学習済み軌跡の第２の部分に基づくモデル予測、およびモデル・キーとモデル予測の間における相関に対応するカウントを含む。この方法は、前記予測モデル・データベースから少なくとも１つの予測モデルを受取るステップを含み、そのキーと受取る予測モデルのモデル・キーの類似性に基づいてそれを受取る。さらにこの方法は、受取ったモデル・キーおよび受取ったカウントに基づいて、その移動物体の少なくとも１つの将来の場所を生成するステップを包含する。」と記載されている。

特表２０１２−５１８８４６号公報

特許文献１には、ビデオ・データ等の監視データに基づきビデオ監視システム内における異常挙動を予測する方法について記載されている。ここで例えば犯罪者等の異常者と正常者とでは将来の移動経路が異なるため、ビデオ・データ等の監視データに基づき人物の移動経路を正確に予測する場合には人物がとる行動等の人物に関する情報についても考慮する必要がある。特許文献１では、監視データから生成した予測モデルに基づき移動物体の将来の場所を予測しているが、人物がとる行動等の人物に関する情報については何ら考慮されていない。

本発明は、こうした背景に鑑みてなされたもので、人物の移動経路を正確に予測することが可能な移動経路予測装置、及び移動経路予測方法を提供することを目的とする。

上記目的を達成するための本発明の一つは、移動経路予測装置であって、センサによって取得される情報であるセンサ情報を取得するセンサ情報取得部と、前記センサ情報に基づき、人物の移動履歴に関する情報である移動履歴情報を生成する移動履歴情報生成部と、人物の行動に関する情報である行動情報を記憶する情報記憶部と、前記移動履歴情報と前記行動情報とに基づき、前記行動情報と当該人物が移動することが予測される移動経路
である予測移動経路とを対応づけた情報を含む予測モデルを生成する予測モデル生成部と、追跡対象者の前記行動情報に対応する前記予測移動経路を前記予測モデルから取得する移動経路予測部と、取得した前記予測移動経路を示す情報を出力する予測結果出力部と、を備える。

その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄、及び図面により明らかにされる。

本発明によれば、人物の移動経路を正確に予測することができる。

第１実施形態として示す移動経路予測システムの構成を示す図である。 移動経路予測装置のハードウェアの一例である。 第１実施形態の移動経路予測装置のブロック図である。 移動経路予測処理を説明するフローチャートである。 移動軌跡情報生成処理を説明するフローチャートである。 移動軌跡情報の一例である。 行動情報生成処理を説明するフローチャートである。 動作モデル情報の一例である。 行動情報の一例である。 予測モデルの一例である。 予測移動経路の一例である。 予測結果表示画面の一例である。 予測モデル生成処理を説明するフローチャートである。 第２実施形態の移動経路予測システムの構成を示す図である。 第２実施形態の移動経路予測装置のブロック図である。 第３実施形態の移動経路予測システムの構成を示す図である。 携帯情報端末に表示される予測結果表示画面の一例である。

以下、実施形態について説明する。以下の説明において、同一の又は類似する構成について同一の符号を用いて重複した説明を省略することがある。

［第１実施形態］
図１に第１実施形態として示す移動経路予測システム１の構成を示している。同図に示すように、移動経路予測システム１は、一つ以上の画像取得装置２と、移動経路予測装置１００とを含む。移動経路予測システム１は、画像取得装置２から提供される情報に基づき、人物の移動軌跡に関する情報（以下、移動軌跡情報と称する。）、及び人物の行動に関する情報（以下、行動情報と称する。）を生成し、生成した移動軌跡情報及び行動情報に基づき人物（追跡対象者３）の将来の移動経路を予測し、予測した結果をユーザに提供（表示等）する。移動経路予測システム１は、例えば、ショッピングセンタやコンビニエンスストア等の店舗における不審者や子供の行動監視、福祉施設における障害者や老人等の行動監視に適用される。

画像取得装置２と移動経路予測装置１００は、例えば、有線又は無線の通信手段（ＬＡＮ（Local Area Network）、無線ＬＡＮ（Ｗｉ−Ｆｉ等）、ＵＳＢ（Universal Serial Bus Interface）等）を介して通信可能に接続している。画像取得装置２は、人物の移動軌跡情報や行動情報を取得するためのセンサの一例である。尚、例えば、監視カメラ等の画像取得装置２が現場に予め設置されている場合は画像取得装置２をセンサとして移動経路
予測システム１に利用することが可能であり、その場合はシステムの導入費用を削減することができる。

画像取得装置２は、監視対象領域の時系列的な画像（以下、時系列画像と称する。）を取得する。時系列画像は、時系列的に取得された画像（静止画）の集まりである。時系列画像を構成する各画像には夫々が取得（撮影）された日時を示す情報（例えば、タイムスタンプ）が付帯している。時系列画像は、例えば、映像（動画）から取得されるものであってもよい。

移動経路予測システム１を構成する複数の画像取得装置２は、互いに撮影範囲が異なるように設置位置、撮影方向、レンズ倍率等が設定されている。複数の画像取得装置２間で撮影範囲の一部が重複していてもよい。また画像取得装置２は、例えば、公知の動体検知等の仕組みと連携し、自動的に人物が存在する方向に撮影方向が向くように構成されたものであってもよい。

画像取得装置２としては、例えば、監視カメラ等のビデオカメラを想定しているが、時系列画像を取得可能なものであれば画像取得装置２の構成や種類は必ずしも限定されない。画像取得装置２は、例えば、夜間撮影が可能な赤外線カメラ等の暗視カメラや距離画像を取得可能なカメラ（タイムオブフライト（TOF: Time Of Flight）カメラ、ステレオカ
メラ等）であってもよい。画像取得装置２は、移動経路予測装置１００と通信するための有線方式又は無線方式の通信手段（ＬＡＮインタフェース（Local Area Network Interface）、ＵＳＢインタフェース（Universal Serial Bus Interface）、無線通信モジュール等）を備える。

移動経路予測装置１００は、画像取得装置２が取得した時系列画像に基づき、人物の移動軌跡情報や行動情報を取得し、取得した情報に基づき人物（追跡対象者３）の未来の移動経路を予測し、予測した結果をユーザに提供（表示等）する。尚、移動経路予測装置１００は、画像取得装置２が取得した時系列画像に基づき移動軌跡情報を取得する。また移動経路予測装置１００は、画像取得装置２が取得した時系列画像について、例えば、予め記憶している動作モデルとの間でパターンマッチングを行うことにより人物の行動情報を取得する。

図２に移動経路予測装置１００のハードウェアの一例を示す。同図に示すように、移動経路予測装置１００は、プロセッサ５１、主記憶装置５２、補助記憶装置５３、入力装置５４、出力装置５５、及び通信装置５６の各構成を有し、これらはバス等の通信手段を介して互いに通信可能に接続されている。移動経路予測装置１００は情報処理装置として機能することができる。

プロセッサ５１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）等を用いて構成されている。プロセッサ５１が、主記憶装置５２に格納されているプログラムを読み出して実行することにより、移動経路予測装置１００の全部又は一部の機能が実現される。主記憶装置５２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性半導体メモリ（ＮＶＲＡＭ（Non Volatile RAM））等であり、プログラムやデータを記憶する。

補助記憶装置５３は、例えば、ハードディスクドライブ、ＳＳＤ（Solid State Drive
）、光学式記憶装置（ＣＤ（Compact Disc）、ＤＶＤ(Digital Versatile Disc)等）、ストレージシステム、ＩＣカード、ＳＤメモリカードや光学式記録媒体等の記録媒体の読取／書込装置等である。補助記憶装置５３に格納されているプログラムやデータは主記憶装
置５２に随時ロードされる。補助記憶装置５３は、例えば、ネットワークストレージのように移動経路予測装置１００とは独立した構成としてもよい。

入力装置５４は、外部入力を受け付けるユーザインタフェースであり、例えば、キーボード、マウス、タッチパネル等である。尚、例えば、移動経路予測装置１００が、外部入力を通信装置５６を介して受け付ける構成としてもよい。

出力装置５５は、処理経過や処理結果等の各種情報を外部に提供するユーザインタフェースであり、例えば、画面表示装置（液晶ディスプレイ（Liquid Crystal Display）、プロジェクタ、グラフィックカード等）、印字装置等である。尚、例えば、移動経路予測装置１００が、処理経過や処理結果等の各種情報を通信装置５６を介して外部に提供する構成としてもよい。

通信装置５６は、画像取得装置２等の他の装置や素子との間の通信を実現する有線方式又は無線方式の通信インタフェースであり、例えば、ＮＩＣ（Network Interface Card）、無線通信モジュール等である。

図３は、移動経路予測装置１００が備える機能、及び移動経路予測装置１００が記憶する情報（データ）を示すブロック図である。同図に示すように、移動経路予測装置１００は、画像取得部３１１、移動軌跡情報生成部３１２、行動情報生成部３１３、移動経路予測部３１４、予測結果出力部３１６、予測モデル生成部３１５、及び情報記憶部３１７の各機能を備える。これらの機能は、例えば、移動経路予測装置１００のプロセッサ５１が、主記憶装置５２や補助記憶装置５３に格納されているプログラムを読み出して実行することにより実現される。またこれらの機能は、例えば、移動経路予測装置１００が備えるハードウェア（ＦＰＧＡ（Field-Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等）によって実現される。尚、移動経路予測装置１００は、これらの機能以外に、例えば、オペレーティングシステム、デバイスドライバ、ＤＢＭＳ（DataBase Management System）等を備えていてもよい。

情報記憶部３１７は、移動経路予測装置１００の機能の実現に用いる各種情報、具体的には、時系列画像３５１、移動軌跡情報３５２、行動情報３５３、動作モデル情報３５４、予測モデル３５５、及び予測結果３５６を記憶する。情報記憶部３１７は、これらの情報を、例えば、ファイルシステムやＤＢＭＳによって管理する。

上記機能のうち、画像取得部３１１は、画像取得装置２から送られてくる時系列画像３５１を取得する。移動軌跡情報生成部３１２は、時系列画像に基づき移動軌跡情報３５２を生成する。行動情報生成部３１３は、時系列画像に基づき行動情報３５３を生成する。移動経路予測部３１４は、移動軌跡情報３５２及び行動情報３５３に基づき、人物（追跡対象者３）の移動経路を予測する。予測モデル生成部３１５は、移動軌跡情報３５２及び行動情報３５３に基づき、人物の移動経路の予測に際して用いる予測モデル３５５を生成する。予測結果出力部３１６は、移動経路予測部３１４が予測した予測結果を示す情報（予測結果３５６）を生成して出力装置５５に出力する。

図４は、人物の移動経路の予測に際して移動経路予測装置１００が行う処理（以下、移動経路予測処理Ｓ４００と称する。）を説明するフローチャートである。以下、同図とともに移動経路予測処理Ｓ４００について説明する。

同図に示すように、まず移動経路予測装置１００の画像取得部３１１は、画像取得装置２から送られてくる時系列画像３５１を取得（受信）する（Ｓ４１１）。尚、画像取得部３１１は、時系列画像３５１を画像取得装置２からリアルタイムに受信することが望まし
いが、後述する人物の移動経路の予測に支障が出ない程度であれば時間差をもって時系列画像３５１を画像取得装置２から受信してもよい。

続いて、移動経路予測装置１００の移動軌跡情報生成部３１２が、時系列画像３５１に基づき人物の移動軌跡情報３５２を生成する処理（以下、移動軌跡情報生成処理Ｓ４１２と称する。）を行う。また移動経路予測装置１００の行動情報生成部３１３が行動情報３５３を生成する処理（以下、行動情報生成処理Ｓ４１３と称する。）を行う。尚、移動経路予測装置１００は、移動軌跡情報生成処理Ｓ４１２及び行動情報生成処理Ｓ４１３を並列処理として行ってもよいし、一方が終了した後に他方を開始する順次処理として行ってもよい。

図５は、移動軌跡情報生成処理Ｓ４１２の詳細を説明するフローチャートである。以下、同図とともに移動軌跡情報生成処理Ｓ４１２について説明する。

同図に示すように、移動軌跡情報生成部３１２は、まず図４のＳ４１１で取得した時系列画像３５１に基づき人物の移動軌跡を取得する（Ｓ５１１）。移動軌跡情報生成部３１２は、例えば、人物の特徴点を追跡する方法、オプティカルフローとクラスタリングを用いて人物の動きを捉える方法、色ヒストグラムを用いて人物を追跡する方法等により、人物の移動軌跡を取得する。移動軌跡を構成する各点の位置座標の取得は、例えば、画像取得装置２の設置位置や撮影方向、レンズ倍率等をパラメータとして、時系列画像に公知の位置推定アルゴリズムや画像解析アルゴリズム、ビデオ解析アルゴリズム等を適用することにより行う。

続いて、移動軌跡情報生成部３１２は、各画像取得装置２の時系列画像３５１から取得された、同一の人物についての軌跡を連結する。まず移動軌跡情報生成部３１２は、各画像取得装置２から取得した時系列画像３５１から、人物が写っている領域（以下、人物領域と称する。）を特定する（Ｓ５１２）。移動軌跡情報生成部３１２は、例えば、画像取得装置２が人物の特徴点を基準として所定範囲を切り出す方法、公知の人検出のアルゴリズムを利用する方法等により人物領域を特定する。

続いて、移動軌跡情報生成部３１２は、特定した人物領域の夫々について特徴量（以下、人物特徴量と称する。）を求める（Ｓ５１３）。移動軌跡情報生成部３１２は、例えば、色ヒストグラムやエッジ特徴量、ディープラーニング（Deep Learning）等の機械学習
手法により求めた特徴量等を人物特徴量として用いる。例えば、人物の向きや人物の姿勢等の情報（メタデータ）を人物特徴量として用いてもよい。また例えば、人の手や足などの人の部位（パーツ）毎の特徴量を人物特徴量として用いてもよい。

続いて、移動軌跡情報生成部３１２は、人物特徴量間の類似度を求める（Ｓ５１４）。移動軌跡情報生成部３１２は、例えば、ユークリッド距離やコサイン距離等のベクトル距離に基づく方法、距離学習（Metric Learning）等の機械学習の手法を用いて距離を状況
に応じて適応的に変化させる方法等により人物特徴量間の類似度を求める。

続いて、移動軌跡情報生成部３１２は、人物特徴量間の類似度が高い（類似度が予め設定した閾値を超える）時系列画像に基づく移動軌跡を組み合わせることにより人物の移動軌跡を連結する（Ｓ５１５）。尚、いずれの画像取得装置２にも写っていない範囲については、例えば、連結する各時系列画像の移動軌跡の開始点や終了点、開始点の時刻や終了点の時刻、人物が移動可能な範囲に関する情報を用いて移動軌跡を補完する。例えば、移動軌跡情報生成部３１２は、移動軌跡を時系列に並べ、隣り合う移動軌跡について、時間的に前の移動軌跡の終了点と時間的に後の軌跡の開始点とを最短距離で結んだものを移動軌跡として補完する。

情報記憶部３１７は、以上のようにして求めた移動軌跡を移動軌跡情報３５２として記憶する（Ｓ５１６）。

以上の処理によれば、複数の画像取得装置２から取得される時系列画像に基づき、監視対象となる領域の広範囲に亘って人物（追跡対象者３）の移動軌跡を取得することができる。そのため、例えば、監視対象である施設の全体における人物の移動経路を予測する仕組みを容易に実現することができる。

図６に移動軌跡情報生成部３１２が生成する移動軌跡情報３５２の一例を示している。同図に示すように、移動軌跡情報３５２は、軌跡ＩＤ６１１、画像取得装置ＩＤ６１２、ローカル座標６１３、ワールド座標６１４、及び取得日時６１５の各項目を有する一つ以上のレコードで構成されている。各レコードは、時系列画像から特定される、人物が存在していた場所（移動軌跡を構成する各点）に対応している。

上記項目のうち、軌跡ＩＤ６１１には、移動経路予測装置１００が求めた軌跡毎に付与される識別子（以下、軌跡ＩＤと称する。）が設定される。同じ人物の移動軌跡には同じ軌跡ＩＤが付与される。同じ軌跡ＩＤのレコードで表される各点を結ぶことで移動軌跡の全体が表される。

画像取得装置ＩＤ６１２には、当該レコードの内容の取得元となる時系列画像の提供元の画像取得装置２の識別子（以下、画像取得装置ＩＤと称する。）が設定される。

ローカル座標６１３には、当該レコードが表す点の位置を、画像取得装置２毎に個別に設定された座標系（以下、ローカル座標と称する。）で表した位置座標が設定される。

ワールド座標６１４には、当該レコードが表す点の位置を、複数の画像取得装置２について統一して（共通に）設定された座標系（以下、ワールド座標と称する。）で表した位置座標が設定される。本実施形態では、ローカル座標及びワールド座標を二次元座標（平面座標）としているが、ローカル座標及びワールド座標は三次元座標であってもよい。ローカル座標とワールド座標との間の変換は、例えば、複数の画像取得装置２の夫々の設置位置や撮影方向、レンズ倍率等に基づき生成した変換行列式（変換マップ）により行うことができる。

取得日時６１５には、当該レコードの元になる時系列画像が画像取得装置２によって取得された日時（時系列画像に付帯するタイムスタンプから取得される日時）が設定される。

尚、例えば、移動軌跡の変化が激しい期間（単位時間当たりの変化の発生回数が多い期間）においては短い時刻間隔で移動軌跡情報３５２のレコードを生成し、軌跡の時間変化が少ない期間単位時間当たりの変化の発生回数が少ない期間）においては長い時間間隔で移動軌跡情報３５２のレコードを生成するようにすれば、移動軌跡情報３５２のデータサイズの増大を抑制することができる。

図７は、図４に示した行動情報生成処理Ｓ４１３の詳細を説明するフローチャートである。以下、同図とともに行動情報生成処理Ｓ４１３について説明する。

まず移動経路予測装置１００の行動情報生成部３１３は、前述した図５のＳ５１２と同様の方法により、各画像取得装置２の時系列画像から、人物が写っている領域（以下、人物領域と称する。）を特定する（Ｓ７１１）。

続いて、行動情報生成部３１３は、特定した人物領域の夫々について、人物の動作に関する情報を検出する（Ｓ７１２）。例えば、行動情報生成部３１３は、人物領域に対して画像処理を行うことにより骨格情報（スケルトン情報）を抽出し、抽出した骨格情報から取得される関節の動きに関する情報から「物を持ち上げる動作」を検出する。また例えば、行動情報生成部３１３は、「狭い領域を往復」していることから「うろつき」の動作を検出する。

続いて、行動情報生成部３１３は、各人物領域について検出した動作に基づき、各人物領域について人物の行動を特定する（Ｓ７１３）。行動情報生成部３１３は、人物の一連の動作又は動作の組み合わせを動作モデル情報３５４と対照することにより行動を特定する。

図８に動作モデル情報３５４の一例を示す。同図に示すように、動作モデル情報３５４には、人物の動作又は動作の組み合わせ（動作８１１）と、行動８１２とを対応づけた一つ以上のレコードで構成されている。動作モデル情報３５４の内容は、例えば、入力装置５４や出力装置５５を用いて構成されるユーザインタフェースを介してユーザが設定する。また、例えば、ある行動に達するまでの動作を行う画像を学習データとし、当該学習データに基づき行動を自動的に特定することにより、移動経路予測装置１００が動作モデル情報３５４の内容を自動生成するようにしてもよい。

行動情報生成部３１３は、動作モデル情報３５４に基づき、例えば、人物領域から「物を持ち上げる」動作と「鞄にしまう」動作の双方を検出した場合、動作モデル情報３５４に基づき「万引き」の行動であると特定する。また行動情報生成部３１３は、「狭い領域を往復する」動作を検出した場合、動作モデル情報３５４に基づき「迷子」の行動であると特定する。

図７に戻り、続いて、情報記憶部３１７が、行動情報生成部３１３が特定した行動を行動情報３５３として記憶する。以上により、図４の行動情報生成処理Ｓ４１３が終了する。

図９に行動情報３５３の一例を示す。同図に示すように、行動情報３５３は、軌跡ＩＤ９１１、行動９１２、発生座標９１３、及び発生日時９１４の各項目を有する一つ以上のレコードで構成されている。

上記項目のうち、軌跡ＩＤ９１１には、前述した軌跡ＩＤが設定される。軌跡ＩＤにより、当該行動と当該行動を起こした人物の移動軌跡（移動軌跡情報３５２の軌跡ＩＤ６１１と同一の軌跡ＩＤが設定されているレコード）とが関連付けられる。

行動９１２には、前述した行動情報生成処理Ｓ４１３によって特定された行動が設定される。本例では、行動９１２に「万引き」、「迷子」、「立入り禁止区域侵入」が設定されている。

発生座標９１３には、当該レコードの行動が行われた場所を示すワールド座標で表された位置座標が設定される。

発生日時９１４には、当該行動が行われた日時（時系列画像に付帯するタイムスタンプから取得される日時）が設定される。

図４に戻り、続いて、移動経路予測装置１００の移動経路予測部３１４が、移動軌跡情
報３５２及び行動情報３５３の内容と、予測モデル３５５の内容とを対照することにより、人物（追跡対象者３）の移動経路を予測する（Ｓ４１４）。

図１０に予測モデル３５５の一例を示す。尚、予測モデル３５５の生成方法については後述する。

同図に示すように、予測モデル３５５は、予測ＩＤ１０１１、行動１０１２、発生座標１０１３、発生日時１０１４、予測移動経路１０１５、及び確率１０１６の各項目を有する一つ以上のレコードで構成されている。

上記項目のうち、予測ＩＤ１０１１には、予測結果（当該予測モデル３５５の各レコード）の識別子が設定される。

行動１０１２、発生座標１０１３、及び発生日時１０１４の各項目には、夫々、行動情報３５３における、行動９１２、発生座標９１３、及び発生日時９１４と同様の内容が設定される。尚、行動１０１２、発生座標１０１３、及び発生日時１０１４は、移動経路を予測しようとする人物（追跡対象者３）の行動（行動情報３５３の内容）に基づき予測移動経路１０１５及び確率１０１６を特定する際のキー項目となる。

予測移動経路１０１５には、予測される移動経路（以下、予測移動経路と称する。）を示す情報（本例では図１１の予測移動経路１０１５を特定する情報（後述の経路ＩＤ））が設定される。

図１１に予測移動経路１０１５に設定される情報の一例を示す。同図に示すように、予測移動経路１０１５には、経路ＩＤ１１１１、座標１１１２、及び順序１１１３の各項目を含む一つ以上のレコードからなる情報が設定される。このうち経路ＩＤ１１１１には、予測移動経路の識別子（以下、経路ＩＤと称する。）が設定される（予測モデル３５５の予測移動経路１０１５と同じ経路ＩＤが設定される。）。座標１１１２には、予測移動経路上の点の位置座標が設定される。順序１１１３には、各点を連結する順序を示す情報が設定される。各レコードが表す点を順序１１１３に従って並べることにより予測移動経路の全体が表現される。

図１０に戻り、確率１０１６には、人物（追跡対象者３）が当該予測移動経路を通る確率を示す情報が設定される。尚、移動軌跡の変化が激しい期間においては短い時刻間隔で予測モデル３５５のレコードを生成し、軌跡の時間変化が少ない期間においては長い時間間隔で予測モデル３５５のレコードを生成することで、予測モデル３５５のデータサイズの増大を抑制することができる。

図４に戻り、Ｓ４１４において、移動経路予測部３１４は、行動情報３５３を予測モデル３５５と対照し、人物（追跡対象者３）が起こした行動に対応するレコード（例えば、行動情報３５３の、行動９１２、発生座標９１３、及び発生日時９１４の組み合わせが一致するレコード）を予測モデル３５５から抽出する。

例えば、図９の行動情報３５３の軌跡ＩＤ９１１が「１」のレコードの場合、移動経路予測部３１４は、行動９１２に設定されている「万引き」が行動１０１２に設定されているレコードを予測モデル３５５から抽出する。この例では、図１０に示すレコードのうち１行目と２行目のレコード（予測ＩＤ１０１１が「１」のレコードと予測ＩＤ１０１１が「２」のレコード）が抽出される。

尚、発生座標９１３及び発生日時９１４については必ずしも完全に予測モデル３５５の
発生座標１０１３や発生日時１０１４と一致している必要はなく、例えば、所定の幅（許容範囲）をもって一致／不一致を判定してよい。尚、一致／不一致の判定に発生日時を用いることで、例えば、時間帯によって変化する混雑度等の現場の状況に応じて適切に移動軌跡を予測することが可能になる。

図４に戻り、続くＳ４１５では、移動経路予測装置１００の予測結果出力部３１６が、Ｓ４１４にて移動経路予測部３１４が抽出した予測モデル３５５のレコードの内容に基づき、人物（追跡対象者３）の移動経路の予測結果を示した情報を予測結果３５６として生成し、生成した予測結果３５６を出力装置５５に出力する。

図１２は、出力装置５５に出力する予測結果３５６の一例（以下、予測結果表示画面１２００と称する。）である。同図に示すように、予測結果表示画面１２００には、人物（追跡対象者３）が移動する領域周辺の地図情報（店舗内の俯瞰マップ等）に重ねて予測結果３５６が示されている。同図において、符号１２０１は行動（万引き）が行われた位置を、符号１２０２は人物（追跡対象者３）の現在位置を、符号１２０３は人物（追跡対象者３）の移動軌跡を、夫々示している。また符号１２０４及び符号１２０５で示す破線は、夫々人物（追跡対象者３）の予測移動経路を示している。尚、符号１２０４で示す破線は、図１０の予測ＩＤ１０１１が「１」のレコードの予測移動経路１０１５であり、確率１０１６の内容である「８０％」も併せて表示されている。また符号１２０５で示す破線は、図１０の予測ＩＤ１０１１が「２」のレコードの予測移動経路１０１５であり、確率１０１６の内容である「２０％」も併せて表示されている。

監視者等のユーザは、同図に示す予測結果表示画面１２００に基づき、人物（追跡対象者３）が、将来、符号１２０５で示す移動経路に沿って移動する可能性が高いことを知ることができる。そのため、例えば、当該移動経路に沿ったラインで監視等するのがよいと判断することができる。

［予測モデルの生成］
図１３は、前述した予測モデル３５５を生成する処理（以下、予測モデル生成処理Ｓ１３００と称する。）を説明するフローチャートである。以下、同図とともに予測モデル生成処理Ｓ１３００について説明する。

移動経路予測装置１００の予測モデル生成部３１５は、移動軌跡情報３５２から複数人分の移動軌跡を、また行動情報３５３から複数人分の行動情報を、夫々取得する（Ｓ１３１１，Ｓ１３１２）。続いて、予測モデル生成部３１５は、取得した移動軌跡と行動情報とを、軌跡ＩＤをキーとして関連付ける（Ｓ１３１３）。続いて、予測モデル生成部３１５は、関連付けたデータについて学習を行う。学習は、例えば、行動の発生日時や発生座標、及び人物のその後の移動経路等について統計的な性質を発見することにより行う（Ｓ１３１４）。続いて、予測モデル生成部３１５は、学習結果を予測モデル３５５として記憶する（Ｓ１３１５）。以上で予測モデル生成処理Ｓ１３００が終了する。

ところで、以上に説明した第１実施形態では、人物に関する情報として行動情報３５３を用いているが、属性情報（大人、男性、女性、子供、若者、老人等）を人物に関する情報として用いてもよい。属性情報を人物に関する情報として用いて予測モデル３５５を生成することで（例えば、「子ども」（属性情報）の「うろつき」を「迷子」として特定する）移動軌跡の予測精度を向上させることができる。尚、以上に説明した移動経路予測システム１では、移動軌跡情報３５２や行動情報３５３を取得するためのセンサとして、時系列画像３５１を取得する画像取得装置２（ビデオカメラ等）を用いているが、これを利用して、例えば、時系列画像３５１に基づき人物の年齢や性別などの属性情報を生成する機能（属性情報生成部）を移動経路予測装置１００に設けてもよい。

［第２実施形態］
図１４に第２実施形態の移動経路予測システム１の構成を示している。同図に示すように、第２実施形態の移動経路予測システム１は、一つ以上の携帯情報端末４、一つ以上の中継装置６、及び移動経路予測装置１００を含む。第１実施形態の移動経路予測システム１では、人物（追跡対象者３）の移動軌跡情報や行動情報を取得するセンサの一例としてビデオカメラ等の画像取得装置２を用いたが、第２実施形態では上記センサとして携帯情報端末４を用いる。

携帯情報端末４は、例えば、スマートフォン、携帯電話機、ＰＤＡ（Personal Digital
Assistant）等である。本実施形態では携帯情報端末４を人物が携帯して持ち歩くことを想定している。携帯情報端末４は、自身の位置を示す情報を出力する機能（無線ＬＡＮ（Ｗｉ−Ｆｉ等）やＧＰＳ（Global Positioning System）等による位置測定機能）を備え
る。中継装置６は、携帯情報端末４と移動経路予測装置１００とを通信可能に接続する装置であり、例えば、無線ＬＡＮのルータ（Router）である。尚、移動経路予測装置１００のハードウェアは第１実施形態と同様であるので説明を省略する。

図１５は、第２実施形態の移動経路予測装置１００が備える機能、及び第２実施形態の移動経路予測装置１００が記憶する情報（データ）を示すブロック図である。第１実施形態と異なり、第２実施形態の移動経路予測装置１００は、画像取得部３１１に代えて端末位置情報取得部３２１を備える。端末位置情報取得部３２１は、携帯情報端末４から送られてくる、携帯情報端末４の現在位置を示す情報を取得する。第１実施形態と異なり、情報記憶部３１７は、端末位置情報取得部３２１が取得した携帯情報端末４の現在位置を示す情報を時系列位置情報３６１として記憶する。

第２実施形態の移動軌跡情報生成部３１２は、時系列位置情報３６１に基づき移動軌跡情報３５２を生成する。第２実施形態の行動情報生成部３１３は、例えば、ユーザからの設定入力により行動情報３５３を生成する。第２実施形態の移動経路予測装置１００の他の構成については基本的に第１実施形態の移動経路予測装置１００と同様である。

第２実施形態の移動経路予測装置１００は、例えば、各携帯情報端末４に付与されている識別子（ＭＡＣアドレス、ＩＰアドレス）により各携帯情報端末４を識別する。尚、ＩＰアドレスを用いる場合には、例えば、中継装置６の通信可能エリアから外れるとＩＰアドレスが変化する可能性があるため、例えば、監視対象となるエリアが通信可能エリア内になるようにする。

以上のように、センサとして携帯情報端末４を用いた場合でも、人物（追跡対象者３）の移動経路を予測する構成を実現することができる。また第２実施形態の移動経路予測システム１では、移動経路予測装置１００が画像処理を行う必要がなく、第１実施形態の移動経路予測システム１に比べて移動経路予測装置１００の負荷を軽減することができる。

［第３実施形態］
図１６に第３実施形態の移動経路予測システム１の構成を示している。同図に示すように、第３実施形態の移動経路予測システム１は、第１実施形態の移動経路予測システム１が備える構成に加え、携帯情報端末４に予測結果３５６を提供するための構成を含む。

第３実施形態の移動経路予測装置１００の予測結果出力部３１６は、予測結果３５６を表示する画面として、携帯情報端末４に表示可能な形式の画面（以下、予測結果表示画面１７００）を生成する。第３実施形態の移動経路予測装置１００の通信装置５６は、通信手段（携帯電話網、インターネット、無線ＬＡＮ等）を介して携帯情報端末４と無線通信
し、予測結果表示画面１７００を携帯情報端末４に送信する。第３実施形態の移動経路予測装置１００の他の構成については基本的に第１実施形態の移動経路予測装置１００と同様である。

図１７に第３実施形態の移動経路予測装置１００の予測結果出力部３１６が出力する予測結果表示画面１７００の一例を示す。同図において、符号１７０１は行動（万引き）が行われた位置を、符号１７０２は人物（追跡対象者３）の現在位置を、符号１７０３は人物（追跡対象者３）の移動軌跡を、夫々示している。また符号１７０４及び符号１７０５で示す破線は、夫々人物（追跡対象者３）の予測移動経路を示している。

第３実施形態の移動経路予測システム１によれば、例えば、監視員等のユーザは、携帯情報端末４に表示される予測結果表示画面１７００を確認しながら人物（追跡対象者３）を効率よく追跡することができる。また移動経路予測装置１００が、例えば、画像取得装置２から送られてくる時系列画像に基づき予測結果表示画面１７００の内容をリアルタイムに更新することで、ユーザは現場の最新の状況に基づき人物（追跡対象者３）を追跡することができる。

ところで、本発明は上記の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また上記実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また上記の各構成、機能部、処理部、処理手段等は、それらの一部または全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、また
はＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また上記の各図において、制御線や情報線は説明上必要と考えられるものを示しており、必ずしも実装上の全ての制御線や情報線を示しているとは限らない。例えば、実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

また以上に説明した移動経路予測装置１００の各種機能部、各種処理部、各種データベースの配置形態は一例に過ぎない。各種機能部、各種処理部、各種データベースの配置形態は、移動経路予測装置１００が備えるハードウェアやソフトウェアの性能、処理効率、通信効率等の観点から最適な配置形態に変更し得る。

また前述したデータベースの構成（スキーマ（Schema）等）は、リソースの効率的な利用、処理効率向上、アクセス効率向上、検索効率向上等の観点から柔軟に変更し得る。

１ 移動経路予測システム、２ 画像取得装置、３ 追跡対象者、４ 携帯情報端末、６
中継装置、１００ 移動経路予測装置、３１１ 画像取得部、３１２ 移動軌跡情報生成部、３１３ 行動情報生成部、３１４ 移動経路予測部、３１５ 予測モデル生成部、３１６ 予測結果出力部、３１７ 情報記憶部、３５１ 時系列画像、３５２ 移動軌跡情報、３５３ 行動情報、３５４ 動作モデル情報、３５５ 予測モデル、３５６ 予測結果、Ｓ４００ 移動経路予測処理、Ｓ４１２ 移動軌跡情報生成処理、Ｓ４１３ 行動情報生成処理、１２００ 予測結果表示画面、Ｓ１３００ 予測モデル生成処理、１７０
０ 予測結果表示画面

Claims (15)

1. センサによって取得される情報であるセンサ情報を取得するセンサ情報取得部と、
   前記センサ情報に基づき、人物の移動履歴に関する情報である移動履歴情報を生成する移動履歴情報生成部と、
   人物の行動に関する情報である行動情報を記憶する情報記憶部と、
   前記移動履歴情報と前記行動情報とに基づき、前記行動情報と当該人物が移動することが予測される移動経路である予測移動経路とを対応づけた情報を含む予測モデルを生成する予測モデル生成部と、
   追跡対象者の前記行動情報に対応する前記予測移動経路を前記予測モデルから取得する移動経路予測部と、
   取得した前記予測移動経路を示す情報を出力する予測結果出力部と、
   を備える、移動経路予測装置。
2. 請求項１に記載の移動経路予測装置であって、
   前記センサ情報に基づき前記行動情報を生成する行動情報生成部を備え、
   前記移動経路予測部は、前記センサ情報に基づき生成された追跡対象者の前記行動情報に対応する前記予測移動経路を前記予測モデルから取得する、
   移動経路予測装置。
3. 請求項１に記載の移動経路予測装置であって、
   前記情報記憶部は、さらに人物の属性情報を記憶し、
   前記予測モデル生成部は、前記移動履歴情報、前記行動情報、及び前記属性情報に基づき、人物がとる行動及び属性情報と当該人物が移動することが予測される移動経路である予測移動経路とを対応づけた情報を含む予測モデルを生成し、
   前記移動経路予測部は、追跡対象者の前記行動情報及び前記属性情報に対応する前記予測移動経路を前記予測モデルから取得する、
   移動経路予測装置。
4. 請求項３に記載の移動経路予測装置であって、
   前記センサ情報に基づき前記属性情報を生成する属性情報生成部をさらに備える、
   移動経路予測装置。
5. 請求項１乃至４のいずれか一項に記載の移動経路予測装置であって、
   前記センサは一つ以上の画像取得装置であり、
   前記センサ情報取得部は、前記センサから時系列的な画像を前記センサ情報として取得し、
   前記移動履歴情報生成部は、前記時系列的な画像に基づき前記移動履歴情報を生成する、
   移動経路予測装置。
6. 請求項４に記載の移動経路予測装置であって、
   前記センサは一つ以上の画像取得装置であり、
   前記センサ情報取得部は、前記センサと通信することにより前記画像取得装置から時系列的な画像を前記センサ情報として取得し、
   前記属性情報生成部は、前記時系列的な画像に基づき前記属性情報を生成する、
   移動経路予測装置。
7. 請求項１に記載の移動経路予測装置であって、
   前記センサは現在位置を取得する機能を有する一つ以上の携帯情報端末であり、
   前記センサ情報取得部は、前記携帯情報端末から当該携帯情報端末の現在位置を示す情報を前記センサ情報として取得する、
   移動経路予測装置。
8. 請求項１乃至４のいずれか一項に記載の移動経路予測装置であって、
   携帯情報端末と通信する通信装置を備え、
   前記予測結果出力部は、前記予測移動経路を示す情報を記載した、前記携帯情報端末に表示可能な形式の画面を生成し、前記画面を前記携帯情報端末に送信する、
   移動経路予測装置。
9. 情報処理装置が、
   センサによって取得される情報であるセンサ情報を取得するステップ、
   前記センサ情報に基づき、人物の移動履歴に関する情報である移動履歴情報を生成するステップ、
   人物の行動に関する情報である行動情報を記憶するステップ、
   前記移動履歴情報と前記行動情報とに基づき、前記行動情報と当該人物が移動することが予測される移動経路である予測移動経路とを対応づけた情報を含む予測モデルを生成するステップ、
   追跡対象者の前記行動情報に対応する前記予測移動経路を前記予測モデルから取得するステップ、
   取得した前記予測移動経路を示す情報を出力するステップ、
   を実行する、移動経路予測方法。
10. 請求項９に記載の移動経路予測方法であって、
    前記情報処理装置が、
    前記センサ情報に基づき前記行動情報を生成するステップ、
    前記センサ情報に基づき生成された追跡対象者の前記行動情報に対応する前記予測移動経路を前記予測モデルから取得するステップ、
    を実行する、移動経路予測方法。
11. 請求項９に記載の移動経路予測方法であって、
    前記情報処理装置が、
    人物の属性情報を記憶するステップ、
    前記移動履歴情報、前記行動情報、及び前記属性情報に基づき、人物がとる行動及び属性情報と当該人物が移動することが予測される移動経路である予測移動経路とを対応づけた情報を含む予測モデルを生成するステップ、
    追跡対象者の前記行動情報及び前記属性情報に対応する前記予測移動経路を前記予測モデルから取得するステップ、
    をさらに実行する、移動経路予測方法。
12. 請求項１１に記載の移動経路予測方法であって、
    前記情報処理装置が、
    前記センサ情報に基づき前記属性情報を生成するステップ、
    をさらに実行する、移動経路予測方法。
13. 請求項９乃至１２のいずれか一項に記載の移動経路予測方法であって、
    前記センサは一つ以上の画像取得装置であり、
    前記情報処理装置が、
    前記センサから時系列的な画像を前記センサ情報として取得するステップ、
    前記時系列的な画像に基づき前記移動履歴情報を生成するステップ、
    をさらに実行する、移動経路予測方法。
14. 請求項１２に記載の移動経路予測方法であって、
    前記センサは一つ以上の画像取得装置であり、
    前記情報処理装置が、
    前記センサと通信することにより前記画像取得装置から時系列的な画像を前記センサ情報として取得するステップ、
    前記時系列的な画像に基づき前記属性情報を生成するステップ、
    をさらに実行する、移動経路予測方法。
15. 請求項９に記載の移動経路予測方法であって、
    前記センサは現在位置を取得する機能を有する一つ以上の携帯情報端末であり、
    前記情報処理装置が、前記携帯情報端末から当該携帯情報端末の現在位置を示す情報を前記センサ情報として取得するステップ、
    をさらに実行する、移動経路予測方法。