JP4802112B2 - トラッキング方法及びトラッキング装置 - Google Patents

Description

本発明は、トラッキング方法及びトラッキング装置に関する。

近年、ロボットのような自律移動体を、店舗や施設のような一般環境に導入することが検討されている。ロボットを一般環境に導入しようとする場合、ロボットの安全性の確保が問題となる。特に、ロボットと人間とが共存状態にある環境下では、ロボットが、人間を認知し、認知した人間に対して安全動作をとる必要がある。一方、ロボットのスムーズな移動動作等、ロボットの基本性能の確保も重要である。従って、ロボットを一般環境に導入しようとする場合には、安全性の確保と基本性能の確保との間のトレードオフが問題となる。

ロボットは、人間を認知した場合、その場に停止してその人物が遠ざかるのを待つか、その人物との間隔を十分に確保しつつその人物を回避しているのが現状である。しかし、小型店舗や小規模施設のような狭所では、ロボットと人間との間隔を十分に確保するのは難しい。従って、そのような場合、ロボットは、その場に停止して人間をやり過ごすしかない。しかし、このような動作戦略をとるロボットは、作業効率が悪く、実用に耐えられない。

このような動作戦略をとらざるを得ない理由の１つに、ロボットが知り得る他の移動体の移動情報が少ないことが挙げられる。従って、ロボットの一般環境導入を実現するためには、移動体の検出技術、移動体の追跡（トラッキング）技術、移動体の特徴解析技術、ロボットのインタラクション技術等の向上が重要となる。

空間内の移動体を検出するシステムとしては、監視カメラを用いたシステムやＩＤタグのような発信機を用いたシステムが考えられている。更には、これらのシステムを用いた人間検出、位置推定、移動する人間の動線検出、移動する人間の行動推定等も研究されており、移動体検出方法としては、オプティカルフローを用いた方法等が考えられている。しかしこの方法は、１台の自動車や１個のボールのような剛体単体の動きの検出には有効に働くが、人間のような多リンク構造の物体については、その内部の動きや他の人間との重なり合いの取り扱いが難しく、誤検出が生じやすい。特許文献１には、フローベクトルの時間平均化によって、移動体の特徴を抽出する方法が記載されている。しかしこの方法では、抽出したい特徴までもが時間平均化によって消失してしまう可能性がある。

また、カメラ画像から抽出された点をカメラ画面上から移動平面上へと変換し、物体の移動量推定を移動平面上で行うことも考えられている。特許文献２には、移動平面上での物体の移動量推定を速度ベクトルを用いて行い、当該物体の追跡（トラッキング）を行う方法が記載されている。しかしこの方法では、人間の有意な動作の中に含まれる無意味な動作も検出されてしまう可能性が高い。また、これを防止するよう前述と同様に上記速度ベクトルを単純に時間平均化すると、有意な動作まで消失してしまう可能性が高い。

特許文献１や特許文献２の方法は、客の動向調査や防犯対策を主目的としており、特許文献１や特許文献２の方法では、検出された移動体の位置座標、移動速度、滞在時間等の情報が獲得される。しかし、これらの情報は、店舗内や施設内を自律移動する自律移動体の動作を支援するものとしては十分ではない。また、これらの情報をクライアントのみが一方的に参照するものとすると、自律移動体の移動がクライアントの絶対的視点に基づく移動となってしまう可能性がある。
特開２００６−１２７１５７号公報 特開２００６−３３１８８号公報

本発明は、空間内の移動体を検出し、当該移動体をトラッキングするトラッキング方法及びトラッキング装置に関する新たな提案を行うことを課題とする。

本発明は例えば、空間内の移動体を検出し、検出された前記移動体をトラッキングし、トラッキングする前記移動体の位置判定を行い、前記位置判定により得られた位置データの高周波成分に基づいて、前記移動体についての移動予測を行うことを特徴とするトラッキング方法に係る。

本発明は例えば、空間内の移動体を検出する検出部と、検出された前記移動体をトラッキングするトラッキング部と、トラッキングする前記移動体の位置判定を行う判定部と、前記位置判定により得られた位置データの高周波成分に基づいて、前記移動体についての移動予測を行う予測部とを備えることを特徴とするトラッキング装置に係る。

本発明は、空間内の移動体を検出し、当該移動体をトラッキングするトラッキング方法及びトラッキング装置に関する新たな提案を行うものである。

図１は、トラッキングシステム１０１のシステム構成図である。当該トラッキングシステム１０１は、人間１１１Ａやロボット（自律移動体）１１１Ｂ等の様々な移動体１１１が行き来する空間に構築されている。当該空間としてここでは、平坦な床面を有し、人間やショッピングカートやロボットが行き来する店舗フロアを想定する。

図１のトラッキングシステム１０１には、空間内の移動体１１１を検出し、当該移動体１１１をトラッキングするトラッキング装置１２１が配置されている。当該トラッキング装置１２１は、入力部１３１と、記憶部１３２と、出力部１３３と、移動体検出部１４１と、位置判定部１４２と、動作特徴量抽出部１４３とを備える。移動体検出部１４１は、空間内の移動体１１１を検出し、当該移動体１１１をトラッキングするブロックであり、検出部及びトラッキング部の一例に相当する。位置判定部１４２は、当該移動体１１１の位置判定を行うブロックであり、判定部及び予測部の一例に相当する。動作特徴量抽出部１４３は、当該移動体１１１の動作特徴量を抽出するブロックであり、抽出部、フィルタリング部、及び区別部の一例に相当する。

入力部１３１には、空間内の移動体１１１を検出するための情報が入力される。移動体検出部１４１は、当該情報を利用して空間内の移動体１１１を検出・追跡し、位置判定部１４２は、当該移動体１１１の位置を判定し、動作特徴量抽出部１４３は、当該移動体１１１の動作特徴量を抽出する。位置の判定結果や動作特徴量の抽出結果は、記憶部１３２に記憶され、次の移動体検出の際に利用される。出力部１３３からは、当該移動体１１１についての移動予測の予測結果等が出力される。

図１のトラッキングシステム１０１には、空間内の移動体１１１を撮影するための１台以上のカメラ１５１と、空間内の移動体１１１から発信された信号を受信するための１本以上のアンテナ１５２が設置されている。トラッキング装置１２１は、各カメラ１５１により撮影された画像や各アンテナ１５２により受信された信号を、入力部１３１を介して取得可能である。これらのカメラ１５１やアンテナ１５２はそれぞれ、トラッキング装置１２１に装備されていてもよいし、店舗内に設置されていてもよい。

以下、トラッキング装置１２１が実行するトラッキング方法について、画像を利用した位置判定、信号を利用した位置判定、位置判定結果を利用した移動予測の順に説明する。
（１）画像を利用した位置判定
トラッキング装置１２１には、カメラ画像情報が入力される。トラッキング装置１２１には、カメラ画角内の画像が、画素単位に分割された画像情報としてある周期間隔で入力される。当該画像は、静止画像でも動画でもよい。トラッキング装置１２１には、空間内の移動体１１１を撮影した画像が入力される。トラッキング装置１２１は、当該画像から移動体１１１を検出し、当該移動体１１１が検出可能領域（カメラ視野角）内に存在する間、当該移動体１１１をトラッキングする。画像を利用した移動体検出には、他の方法による移動体検出と比べて、移動体１１１の形状や模様や色彩といった移動体１１１の様々な情報を獲得可能であるという利点がある。

本実施例では、図２のように、１台以上の広角なカメラ１５１が、店舗内の天井に設置されている。ここでは特に、光軸が鉛直下向きに向いた複数台のカメラ１５１Ａと、光軸が鉛直下向きから傾いた１台以上のカメラ１５１Ｂが設置されている。カメラ１５１Ａはそれぞれ、互いの視野がなるべく重複しないように配置される。カメラ１５１Ｂは、鉛直下向きからの傾きθが０度＜θ＜９０度となるように配置される。

トラッキング装置１２１は、各カメラ１５１の店舗内での設置位置，高さ，向き等を、ユーザが既知情報としてトラッキング装置１２１に入力するためのユーザインタフェースを具備する。当該ユーザインタフェースの例としては、キーボードやマウスやモニタ等が挙げられる。当該既知情報は、トラッキング装置１２１のストレージに保存される。当該ストレージの例としては、ハードディスクやフラッシュメモリ等が挙げられる。ユーザが設定可能な既知情報の例としては、各カメラ１５１の設置座標や姿勢，各カメラ１５１のレンズの歪みの補正値や画角の広さ，店舗内の壁や柱の位置や高さや大きさといった店舗構造情報等が挙げられる。

トラッキング装置１２１に既知情報を入力するユーザの具体例としては、トラッキングシステム１０１のシステム管理者が挙げられる。トラッキング装置１２１は、入力されて保存された店舗構造情報によって、当該トラッキング装置１２１が設置されている店舗の構造を認識することができる。更に、トラッキング装置１２１は、各カメラ１５１の設置データやレンズデータによって、各画像が、どのカメラ１５１が店舗内のどの部分を撮影した画像なのかを把握することができる。

トラッキング装置１２１は、カメラ１５１の設置後、差分処理用の基準画像である基本背景画像を取得することができる。当該基本背景画像はここでは、店舗内の照明の点灯状況や商品の陳列状況等を営業時の状態にしたうえで、人間１１１Ａやロボット１１１Ｂ等の移動体１１１の行き来が全く無い状態で撮影されるものとする。撮影された基本背景画像は、差分処理用の基準画像として記録される。

店舗の通常営業時において、トラッキング装置１２１には、カメラ１５１により撮影された画像がある周期間隔で入力される。トラッキング装置１２１は、当該画像に対応する基本背景画像を再生し、当該画像と当該基本背景画像との差分処理（相関比較）を行う。図３Ａと図３Ｂに、上記画像と上記基本背景画像の具体例を示す。当該差分処理により、図３Ｃのように、人間１１１Ａやロボット１１１Ｂ等の移動体１１１が上記画像から検出される。トラッキング装置１２１は、図３Ｄのように、上記画像と上記基本背景画像との相関値が閾値以下の領域（不一致領域）を、移動体１１１が存在する画像領域（移動体検出領域）として検出する。

トラッキング装置１２１は、図４Ａのように、差分処理により検出された移動体１１１に関して、テクスチャ上の幾何学模様に特徴点を設ける。更に、トラッキング装置１２１は、当該移動体１１１の動作に関する特徴量である動作特徴量（例えば速度や加速度）を抽出する。トラッキング装置１２１はここでは、上記移動体１１１の動作特徴量として、図４Ｂのように、上記特徴点の時間連続画像上における運動、即ち、上記移動体１１１のオプティカルフローを観測・抽出する。

更に、トラッキング装置１２１は、図４Ｃのように、当該オプティカルフローのフローベクトルの角度に基づいて、各移動体１１１を区別する。近接する一の特徴点と他の特徴点に関して、前者の特徴点のフローベクトルと後者の特徴点のフローベクトルとの角度がある閾値以内に収まる場合、前者の特徴点と後者の特徴点は同じ移動体１１１に属すると判断される。逆に、当該角度が当該閾値以内に収まらない場合には、前者の特徴点と後者の特徴点は異なる移動体１１１に属すると判断される。このようにして、同じ画像内の異なる移動体１１１同士が区別される。なお、同じ移動体検出領域に属する特徴点同士が異なる移動体１１１に属すると判断された場合、当該移動体検出領域は移動体１１１ごとに分割されることになり、分割により生じた各移動体検出領域はそれぞれ異なる識別名称で管理されることになる。

本実施例では特に、トラッキング装置１２１が、周波数フィルタ１６１（図１）により上記オプティカルフローのフローベクトルをフィルタリングする。図４Ｄ，図４Ｅには、フィルタリング前のあるフローベクトルのＸ成分及びＹ成分の時間変動が示されている。Ｘ方向及びＹ方向はここでは、画像の横方向及び縦方向に相当する。図４Ｄのフローベクトルは、人間の腕の特徴点のフローベクトルに相当し、図４Ｅのフローベクトルは、人間の胴の特徴点のフローベクトルに相当する。

周波数フィルタ１６１はここでは、カットオフ周波数ω_ｃのローパスフィルタである。当該カットオフ周波数ω_ｃは、人間の店舗内での通常移動に含まれると考えられる重心の周波数成分ω_１よりも大きく、人間の歩行時や動作時の腕の振りや脚の動きのピッチ動作に含まれると考えられる振動周波数成分ω_２よりも小さい周波数とする。即ち、ω_１＜ω_ｃ＜ω_２である。このように、周波数フィルタ１６１は、人間の動作周波数を考慮したローパスフィルタとなっている。

ω_１の値の例としては、０．１Ｈｚから１．０Ｈｚ程度の周波数が挙げられる。ω_２の値の例としては、２．０Ｈｚから５．０Ｈｚ程度の周波数が挙げられる。従って、ω_ｃの値の例としては、０．１Ｈｚから５．０Ｈｚ程度、好ましくは、１．０Ｈｚから２．０Ｈｚ程度の周波数が挙げられる。ローパスフィルタ１６１のフィルタリング作用は、式（１）のように表される。Ｆ_ｉｎはフィルタリング前のフローベクトル、Ｆ_ｏｕｔはフィルタリング後のフローベクトル、Ｌ（ω_ｃ）はローパスフィルタ１６１を表す。

図４Ｆ，図４Ｇに、フィルタリング後の上記フローベクトルのＸ成分及びＹ成分の時間変動を示す。周波数フィルタ１６１によって、フローベクトルの高周波成分が除去された事が解る。本実施例において、トラッキング装置１２１は、周波数フィルタ１６１によりフィルタリングされたオプティカルフローに基づいて、各移動体１１１を区別する。すなわち、本実施例では、周波数フィルタ１６１によってフィルタリングされたオプティカルフローに基づいて、同じ移動体１１１の部分同士が同じ移動体１１１と認識され、異なる移動体１１１の部分同士が異なる移動体１１１と認識される。これによって、本実施例では、一人の人間の胴体（低周波成分）と手足（高周波成分）が異なる移動体１１１として誤認識されてしまうことが抑制されると共に、複数の移動体１１１の区別が実現される。前者の効果は主に、カットオフ周波数より高周波の成分の除去に起因し、後者の効果は主に、カットオフ周波数より低周波の成分の残存に起因する。各移動体１１１の区別方法は上述の通りであり、各移動体１１１の区別は、上記オプティカルフローのフローベクトルの角度に基づいて行われる。

ここでの各移動体１１１の区別は、完璧である必要はない。実際、ここで１つの移動体と認識された移動体１１１は、後述のように、一人の人間に相当する場合もあれば、複数の人間の集団に相当する場合もある。前者の場合と後者の場合の判別については、後述のマッチング処理により実現される。

また、本実施例では、カメラ１５１により撮影された画像についても、周波数フィルタによるフィルタリングが行われる。トラッキング装置１２１は、上記の周波数ω_１よりも低いカットオフ周波数ω_ｃを有するローパスフィルタ１６２（図１）により、当該画像をフィルタリングする。そして、トラッキング装置１２１は、当該画像をローパスフィルタ１６２によりフィルタリングして得られた画像と、上記の基本背景画像とを重ね合わせることで、上記の基本背景画像を更新する。これにより、商品陳列状況の変化等の背景変動に強い背景除去処理（図３Ｃ）が実現される。

本実施例では、上記基本背景画像と上記画像とを所定の重み付けで重ね合わせる。具体的には、式（２）のように、上記基本背景画像の各画素値成分と上記画像の各画素値成分とを、１−Ｗ：Ｗの割合で足し合わせる。Ｇ_ｎｏｗは現在の画像、Ｇ_ｏｌｄは現在使用されている更新前の基本背景画像、Ｇ_ｎｅｗは次周期で使用する更新後の基本背景画像、Ｌ（ω_ｃ）はローパスフィルタ１６２を表す。Ｗ（時間重み付けの重み係数）については０＜Ｗ＜１が成り立ち、ω_ｃ（カットオフ周波数）についてはω_ｃ＜ω_１が成り立つ。こうして、トラッキング装置１２１は、基本背景画像を繰り返し更新して行く。

また、トラッキング装置１２１は、移動体が検出された画像領域（移動体検出領域、図３Ｄ）について、２値化やエッジ抽出（輪郭抽出）等の画像処理を実行する。画像処理前の画像領域を図５Ａに示し、画像処理後の画像領域を図５Ｂに示す。

次に、トラッキング装置１２１は、当該画像領域と照合処理用のサンプル画像との照合処理（マッチング処理）に先立ち、当該画像領域について周波数フィルタによるフィルタリングを行う。トラッキング装置１２１は、サンプル画像中の人間の輪郭線の最大周波数成分をカットオフ周波数とするローパスフィルタ１６３（図１）により、上記画像領域をフィルタリングする。これにより、図５Ｃのように、エッジ抽出がなされた上記画像領域についてのノイズ除去がなされる。更に、トラッキング装置１２１は、図５Ｄのように、当該画像領域のサイズの正規化を行う。これにより、当該画像領域のサイズが、サンプル画像と同じサイズに拡大又は縮小される。

そして、トラッキング装置１２１は、上記画像領域と上記サンプル画像とのマッチング処理を実行する。当該サンプル画像としては、人間の形状的特徴を表した輪郭線を有するようなテンプレート（人間形状特徴テンプレート）が使用される。従って、トラッキング装置１２１は、上記画像領域と上記サンプル画像とのマッチング処理によって、上記画像領域中の移動体１１１が一人の人間であるかどうかを判断することができる。

トラッキング装置１２１には予め、人間形状特徴データベース（図５Ｅ）として、多数のサンプル画像が用意されている。トラッキング装置１２１は、各画像領域について、少なくとも１種類のサンプル画像とのマッチング処理（相関比較）を行う。そして、いずれかのサンプル画像との相関値が閾値以上であれば、当該画像領域中の移動体１１１は一人の人間であると認識される。

このマッチング処理の処理フローを、図６に示した。トラッキング装置１２１は、ある画像領域について、あるサンプル画像（テンプレート）とのマッチング処理を行う（Ｓ１０１）。当該画像領域と当該サンプル画像との相関値が閾値以上である場合（Ｓ１０２）、当該画像領域中の移動体１１１は一人の人間であると判断される（Ｓ１０３）。

Ｓ１０１のようなマッチング処理が、使用対象のサンプル画像（テンプレート）がなくなるまで繰り返される（Ｓ１１１，１１２）。そして、いずれかのサンプル画像との相関値が閾値以上であれば（Ｓ１０２）、上記画像領域中の移動体１１１が一人の人間であるとの判断が得られる（Ｓ１０３）。一方、全てのサンプル画像との相関値が閾値未満である場合には、上記画像領域中の移動体１１１が一人の人間であるとの判断は得られず、Ｓ１２１に処理が進む。Ｓ１２１以降の処理については後述する。

上記マッチング処理により、上記画像領域中の移動体１１１が一人の人間であると判断された場合、トラッキング装置１２１は、当該移動体１１１に対して、当該移動体１１１に固有の識別ＩＤを与える。トラッキング装置１２１は更に、当該人物の各部位の絶対色情報や近傍との相対的な色関係等の色特徴、当該人物に係る画像の画像サイズや全画像内における座標等の幾何学特徴、当該人物に係る画像の各特徴点の座標等のテクスチャ特徴等、当該人物（移動体１１１）を特徴付ける特徴量である人物特徴量を取得する。ここで例示した色特徴、幾何学特徴、テクスチャ特徴等の人物特徴量は、いずれも上記の画像や画像領域からトラッキング装置１２１が画像処理や解析処理により取得可能である。

そして、トラッキング装置１２１は、上記移動体１１１について取得された人物特徴量を、上記移動体１１１に関連付けて管理する。具体的には、上記移動体１１１の人物特徴量が、上記移動体１１１の識別ＩＤに関連付けられて記憶され管理される事になる。そして、当該人物特徴量は、移動体１１１のトラッキング用の識別情報として使用される事になる。即ち、トラッキング装置１２１は、新たに検出された移動体の人物特徴量と既に記憶されている人物特徴量との相関値がある閾値を越える場合に、検出された移動体と記憶されている移動体とを同一の移動体と判断する。検出された移動体には、記憶されている移動体と同一の識別ＩＤが与えられる。本実施例では、このような移動体識別によって、同一移動体のトラッキングが実行されている。その後、当該人物特徴量は、重み関数及び時間依存の忘却係数により更新される。

一方、上記マッチング処理において、上記画像領域中の移動体１１１が一人の人間であるとの判断に至らなかった場合、トラッキング装置１２１は、図５Ｄの正規化前の当該画像領域の画像サイズを算出する（図６のＳ１２１）。そして、トラッキング装置１２１は、当該画像サイズが閾値以上であるかどうかを判断する（図６のＳ１２２）。これによって、トラッキング装置１２１は、上記画像領域中の移動体１１１が複数の人間の集団であるかどうかを判断することができる。

上記画像サイズが閾値以上である場合、トラッキング装置１２１は、上記移動体１１１を複数の人間の集団と判断し（Ｓ１２３）、上記画像サイズが閾値未満である場合、トラッキング装置１２１は、上記移動体１１１を一個の未知移動体と判断する（Ｓ１２４）。当該閾値は、標準的な人間一人あたりのサイズに相当する画像サイズに設定するが、当該画像サイズは、カメラの設置状況や画像領域のカメラ画面内における検出位置等に応じて変化する。

例えば、図２のカメラ１５１Ｂのように傾いたカメラでは、カメラ画面内の下方にある移動体ほど近くにあり、画面には大きく映り、カメラ画面内の上方にある移動体ほど遠くにあり、画面には小さく映る。従ってこの場合には、捉えられた移動体の高さに応じて、閾値を小さくする。閾値の変更比率については、画像の遠近法的性質に基づいて設定可能である。

同様に、図２のカメラ１５１Ａのように真下を向いたカメラでは、カメラ画面内の中央にある移動体ほど近くにあり、画面には大きく映り、カメラ画面内の周辺にある移動体ほど遠くにあり、画面には小さく映る。従ってこの場合には、捉えられた移動体の画面中心からの距離に応じて、閾値を小さくする。先程と同様、閾値の変更比率については、画像の遠近法的性質に基づいて設定可能である。

トラッキング装置１２１は、上記移動体１１１が複数の人間の集団と判断された場合、当該集団の密集の度合を表す密集度として、Ｓ１２１で算出した画像サイズとＳ１２２で使用した閾値との比を算出する。当該密集度は、その時刻（画像領域の検出時刻）のその場所（画像領域の検出位置）の状態量として記憶され管理される。当該密集度は例えば、移動体１１１の人物特徴量（この場合は集団特徴量）として使用可能である。

また、トラッキング装置１２１は、移動体１１１の位置を、当該移動体１１１が検出された画像領域（移動体検出領域，図３Ｄ）を利用して判定する。トラッキング装置１２１は、一人の人間であると判断された移動体１１１の位置を判定する場合には、当該移動体１１１の移動体検出領域内において代表点を１つ決定し、当該代表点を当該移動体１１１の現在位置と判定する。

図７Ａは、図２のカメラ１５１Ｂ（斜め見下ろしカメラ）により撮影された画像の一例である。当該画像内の画像領域については、当該画像領域内において当該画像の下端Ｂに最も近い点が、当該画像領域の代表点として決定される。図７Ａには、各画像領域Ｒの代表点Ｐが示されている。

図８Ａは、図２のカメラ１５１Ａ（垂直見下ろしカメラ）により撮影された画像の一例である。当該画像内の画像領域については、当該画像領域内において当該画像の中心Ａに最も近い点が、当該画像領域の代表点として決定される。図８Ａには、各画像領域Ｒの代表点Ｐが示されている。

図７Ａや図８Ａの方法によれば、移動体１１１の足元に相当する点が、画像領域の代表点に決定される。図７Ａの画像では、画像の下端Ｂ寄りに各移動体１１１の足元があり、図８Ａの画像では、画像の中心Ａ寄りに各移動体１１１の足元があるからである。本実施例では、移動体１１１同士の接近や衝突等の危険を問題としているので、各移動体１１１の位置を各移動体１１１の足元の位置で代表させることは適切であると考えられる。

なお、１つの画像領域内に、画像の下端Ｂに最も近い点や画像の中心Ａに最も近い点が複数存在する場合には、これらの点の中で、当該画像領域の重心に最も近い点が代表点として決定される。画像領域の重心に最も近い点を代表点とする代わりに、画像領域の中心線に最も近い点を代表点としても構わない。

また、図８Ａの方法においては、位置判定の前に、広角レンズの画像ひずみを補正することが望ましい。また、図８Ａの方法において、画像の中心Ａと重なる画像領域や画像の中心Ａに近い画像領域については、当該画像領域の重心点を当該画像領域の代表点としてもよい。

トラッキング装置１２１は、カメラの設置位置、姿勢、レンズ特性等を考慮しつつ、各移動体１１１の位置の判定結果に基づいて、図７Ｂや図８Ｂのような２次元仮想移動平面マップを作成する。即ち、図７Ａの画面から図７Ｂのマップへの座標変換Ｆ_ｂ、図８Ａの画面から図８Ｂのマップへの座標変換Ｆ_ａが実行される。

なお、トラッキング装置１２１は、各移動体１１１の位置や密集度を、その時刻（画像領域の検出時刻）のその場所（画像領域の検出位置）の状態量として、時系列順に記憶し管理する。

なお、本実施例では、ロボットやショッピングカートに発光体やマーカを設けておいてもよい。これにより、発光体の発光信号やマーカの色，模様，幾何学模様等が、カメラによって捉えられる事になる。これにより、移動体検出処理が容易化される。

以上、本節では画像を利用した位置判定について説明したが、次節では信号を利用した位置判定について説明する。

（２）信号を利用した位置判定
図１のトラッキングシステム１０１には、各移動体１１１の発信機から発信された電波信号を受信するための受信機が設けられている。トラッキング装置１２１では、当該電波信号の信号コードを解析することや、当該電波信号の強度を計測することが可能である。トラッキングシステム１０１には、図１のように、上記の電波信号を受信するための１本以上のアンテナ１５２が設けられている。トラッキング装置１２１では、カメラ１５１の場合と同様、各アンテナ１５２の設置位置等をユーザが既知情報として入力することが可能である。トラッキング装置１２１は、空間内の移動体１１１を、当該移動体１１１から発信された電波信号を利用して検出する。そしてトラッキング装置１２１は、当該移動体１１１が検出可能領域（電波信号を受信可能な領域）内に存在する間、当該移動体１１１をトラッキングする。信号を利用した移動体検出には、他の方法による移動体検出と比較して、移動体１１１の識別を可能にする情報を当該信号に含ませる事ができるという利点がある。当該情報の例としては、後述のＩＤコードが挙げられる。

本実施例では、店舗内の移動体１１１のうち、ロボットとショッピングカートに発信機が設けられている。また、本実施例では、各移動体１１１に、移動体１１１毎に異なるＩＤコード（移動体識別コード）が割り振られている。移動体１１１から発信される電波信号には、当該移動体１１１のＩＤコードが付加される。当該ＩＤコードは、移動体１１１のトラッキング用の識別情報として使用されることになる。トラッキング装置１２１は、当該ＩＤコードに基づいて移動体１１１と電波信号とを対応させ、移動体１１１をトラッキングする。

トラッキング装置１２１は、受信した電波信号の強度に基づき、図７Ｂや図８Ｂのような２次元仮想移動平面マップを作成する。具体的には、トラッキング装置１２１は先ず、電波信号を受信したアンテナ１５２の位置を中心とし、受信した電波信号の強度を半径とする円を描く。トラッキング装置１２１は次に、上記中心から上記電波信号の受信方向に向かう直線を描き、上記円と上記直線との交点を移動体１１１の位置と判定する。トラッキング装置１２１は、このような位置判定結果を利用して、２次元仮想移動平面マップを作成する。

なお、信号強度と距離との関係は、予め実験的に決定しておく事が可能である。また、個々のアンテナ１５２について信号強度と距離との関係を予め実験により詳細に測定しておく事で、理想的な同心円状の強度分布からのずれ補正を行う事も可能になる。

前節では画像を利用した位置判定について説明し、本節では信号を利用した位置判定について説明したが、本実施例のトラッキング装置１２１は、これらの位置判定方法を併用してもよい。

（３）位置判定結果を利用した移動予測
図１のトラッキング装置１２１は、トラッキング対象の各移動体１１１の位置判定により、各移動体１１１の位置データを得る事ができる。第１節で説明した位置判定（画像を利用した位置判定）によれば、各移動体１１１の位置データとして、上述のように、各移動体１１１の代表点の座標データが得られる。第２節で説明した位置判定（信号を利用した位置判定）によれば、各移動体１１１の位置データとして、上述のように、各移動体１１１から信号が発信された位置の座標データが得られる。本実施例において、図１のトラッキング装置１２１は、これらのいずれかの位置判定により得られた位置データに基づいて、各移動体１１１についての移動予測を行う。ここでは、当該位置データの高周波成分や低周波成分に基づいて、当該移動予測が行われる。

トラッキング装置１２１は、移動予測を行う際には先ず、移動体１１１の位置データの時系列データを取得する。具体的には、移動体１１１のＸ座標及びＹ座標の時系列データが取得される。当該Ｘ座標及びＹ座標の軸方向はそれぞれ、２次元仮想移動平面マップにおけるＸ座標及びＹ座標の軸方向とする。

トラッキング装置１２１は、次に、ハイパスフィルタ１６４（図１）による上記時系列データのフィルタリングと、ローパスフィルタ１６５（図１）による上記時系列データのフィルタリングとを行う。これらの周波数フィルタ１６４及び１６５は共に、人間の一般的な歩行動作に含まれる最大周波数成分（ノイズ成分は除く）をカットオフ周波数ω_ｃとする周波数フィルタである。即ち、ハイパスフィルタ１６４のカットオフ周波数ω_ｃと、ローパスフィルタ１６５のカットオフ周波数ω_ｃは、同じ周波数となっている。ハイパスフィルタ１６４はここでは、逐次計算型（１次遅れ型）のハイパスフィルタであり、ローパスフィルタ１６５はここでは、逐次計算型（１次遅れ型）のローパスフィルタである。

本実施例において、トラッキング装置１２１は、上記時系列データ（位置データ）をハイパスフィルタ１６４によりフィルタリングして得られたハイパス時系列データ（ハイパス位置データ）と、上記時系列データ（位置データ）をローパスフィルタ１６５によりフィルタリングして得られたローパス時系列データ（ローパス位置データ）とに基づいて、各移動体１１１についての移動予測を行う。当該移動予測は、ハイパス時系列データ及びローパス時系列データそのものに基づいて行われてもよいし、後述するように、ハイパス時系列データ及びローパス時系列データの派生データに基づいて行われてもよい。以下、当該移動予測についてより詳細に説明する。

ハイパス位置データとローパス位置データは共に、Ｘ成分とＹ成分からなる２次元ベクトルである。トラッキング装置１２１は、移動体１１１の移動に関する特徴量である移動特徴量（例えば速度や加速度）として、式（３）のような局所移動速度ベクトルＶ_{ｍｉｃｒｏ}と、式（４）のような大域移動速度ベクトルＶ_{ｍａｃｒｏ}とを算出する。Ｐは移動体１１１の位置データ、Ｈ（ω_ｃ）はハイパスフィルタ１６４、Ｌ（ω_ｃ）はローパスフィルタ１６５を表す。

局所移動速度ベクトルＶ_{ｍｉｃｒｏ}は、ハイパス位置データＨ（ω_ｃ）Ｐの微分量であり、移動体１１１の微視的な移動特徴を示す移動特徴量である。一方、大域移動速度ベクトルＶ_{ｍａｃｒｏ}は、ローパス位置データＬ（ω_ｃ）Ｐの微分量であり、移動体１１１の巨視的な移動特徴を示す移動特徴量である。これらの速度ベクトルは、位置データの時間微分量であるため、これらの速度ベクトルの算出には、位置データの時系列データが必要となる。トラッキング装置１２１は、算出された大域移動速度ベクトルＶ_{ｍａｃｒｏ}及び局所移動速度ベクトルＶ_{ｍｉｃｒｏ}を、位置データと同様に、移動体１１１に関連付けて時系列順に記憶し管理する。

図９に、大域移動速度ベクトルＶ_{ｍａｃｒｏ}に対して局所移動速度ベクトルＶ_{ｍｉｃｒｏ}がなす角度θ_Ｖを示す。当該角度θ_Ｖは、巨視的動作を行う移動体１１１がある瞬間に行った微視的動作による移動方向とみなす事ができる。当該角度θ_Ｖを、局所移動方位角と称する。トラッキング装置１２１は、当該角度θ_Ｖを算出し、当該角度θ_Ｖを、移動体１１１の移動特徴量として、移動体１１１に関連付けて時系列順に記憶し管理する。当該局所移動方位角θ_Ｖの算出式は、下記の式（５）のようになる。

トラッキング装置１２１は更に、局所移動速度ベクトルＶ_{ｍｉｃｒｏ}の絶対値に所定の重み係数Ｗを掛けた値Ｔを算出する。このＴを、大域移動速度方向から相対方位角θの方向の方位瞬時移動量と称する。当該方位瞬時移動量Ｔの算出式は、下記の式（６）のようになる。トラッキング装置１２１は、当該方位瞬時移動量Ｔを、移動体１１１の移動特徴量として、移動体１１１に関連付けて時系列順に記憶し管理する。

トラッキング装置１２１は更に、方位瞬時移動量Ｔと時間依存の忘却係数Ｄ（ｔ）との積を時間積分した値Ｐ（θ）を算出する。このＰ（θ）を、大域移動速度方向から相対方位角θの方向の局所移動予測域と称する。当該局所移動予測域Ｐ（θ）の算出式は、下記の式（７）のようになる。当該局所移動予測域Ｐ（θ）を、図１０に示す。トラッキング装置１２１は、当該局所移動予測域Ｐ（θ）を、移動体１１１の移動特徴量として、移動体１１１に関連付けて記憶し管理する。

トラッキング装置１２１は更に、局所移動予測域Ｐ（θ）を相対方位角θの全周にわたって積分した値Ｕを算出する。このＵを、移動体１１１の煩雑移動度と称する。当該煩雑移動度Ｕの算出式は、下記の式（８）のようになる。トラッキング装置１２１は、当該煩雑移動度Ｕを、移動体１１１の移動特徴量として、移動体１１１に関連付けて記憶し管理する。

煩雑移動度Ｕからは、移動体１１１が大きな移動の流れとは別の方向に突然動く可能性が解る。煩雑移動度Ｕが大きければ、移動体１１１が突然別の方向に動く可能性が高く、当該移動体１１１の近くの他の移動体１１１にとって危険が大きい。逆に煩雑移動度Ｕが小さければ、移動体１１１が突然別の方向に動く可能性は低く、当該移動体１１１の近くの他の移動体１１１にとって危険は小さい。このように、煩雑移動度Ｕは、移動体１１１が突然別の方向に動く可能性の高さを表すパラメータとなっている。

従って、トラッキング装置１２１では、煩雑移動度Ｕが導出された結果、移動体１１１が突然別の方向に動く可能性がどれくらいあるかという移動予測の予測結果が得られた事になる。即ち、トラッキング装置１２１は、煩雑移動度Ｕを導出するという形で、移動体１１１が突然別の方向に動く可能性がどれくらいあるかを予測するという形の移動予測を行っている。当該移動予測により得られた煩雑移動度Ｕという予測データからは、移動体１１１が突然別の方向に動く可能性の高さを知る事ができる。

トラッキング装置１２１は、煩雑移動度Ｕを算出するための位置データとして、現在の位置データと、その直前の数個分の位置データ（即ち過去の位置データ）とを利用する。これにより、トラッキング装置１２１は、移動体１１１の次回の移動（即ち未来の移動）についての予測を行う。過去の位置データとしては、記憶部１３２（図１）に時系列順に記憶されている位置データが利用される。過去の位置データの利用個数は、何個でも構わない。ただし、本実施例では、過去の位置データの利用個数を数個としているので、ハイパスフィルタ１６４とローパスフィルタ１６５として、逐次計算型（１次遅れ型）のハイパスフィルタとローパスフィルタが採用されている。

トラッキング装置１２１は、店舗内の各移動体１１１の煩雑移動度Ｕを、店舗内のロボット１１１Ｂに対して通知する。そして、ロボット１１１Ｂは、他の移動体１１１の近傍を通過する際に、当該移動体１１１の煩雑移動度Ｕを参照する。そして、ロボット１１１Ｂは、当該煩雑移動度Ｕが大きい場合には、当該移動体１１１の近傍を通過する際の当該移動体１１１との間隔を大きくとり、当該移動体１１１との衝突の危険に対処する。逆にロボット１１１Ｂは、当該煩雑移動度Ｕが小さい場合には、当該移動体１１１の近傍を通過する際の当該移動体１１１との間隔を大きくとる必要はなく、移動効率を妨げられずに済む。

このように、本実施例では、移動予測によって得られた予測データのロボット１１１Ｂへの通知により、ロボット１１１Ｂと他の移動体１１１との接近や衝突等の危険を、ロボット１１１Ｂの移動効率を確保しつつ抑制する事が可能になる。トラッキング装置１２１からロボット１１１Ｂへの通知方法の例としては、出力部１３３（図１）による無線通信が挙げられる。

トラッキング装置１２１は、以上の移動予測とは別の方式の移動予測を行ってもよい。ここでは、煩雑移動度Ｕに代わる移動特徴量の一例として、移動予測領域Ｓ（θ）を取り上げる。

移動予測領域Ｓ（θ）は、図１１のように、大域移動速度方向で最大となり、当該方向を中心として両側に開くように設けられる。移動予測領域Ｓ（θ）は、大域移動速度方向からの角度θが大きくなるほど、その方向成分の絶対値が小さくなるように設けられる。

トラッキング装置１２１は、この移動予測領域Ｓ（θ）を、移動体探索用の情報として利用する。移動体探索処理に関するフローチャートを、図１２に示す。トラッキング装置１２１は、移動体検出の際に、前回認識されていた移動体１１１の移動予測領域Ｓ（θ）内で移動体１１１を検出した場合（Ｓ２０１）、認識されていた移動体１１１の特徴量と検出された移動体１１１の特徴量との相関比較を優先的に行う（Ｓ２０２）。両者は、同じ移動体１１１である可能性が高いからである。両者の特徴量の相関値が閾値以上である場合には（Ｓ２０３）、両者は同じ移動体１１１であると判断される（Ｓ２０４）。両者の特徴量の相関値が閾値未満である場合には、当該閾値が許容閾値未満でない限り（Ｓ２１１）、上記相関比較を閾値を下げて再度行う（Ｓ２１２）。

トラッキング装置１２１は、以上の移動体探索処理において、移動予測領域Ｓ（θ）に代わり、これを局所移動予測域Ｐ（θ）により補正した補正移動予測領域Ｓ’（θ）を利用してもよい。これにより、個々の移動体１１１の移動特徴をより考慮した移動体探索処理が実現される。当該補正移動予測領域Ｓ’（θ）の算出式は、式（９）のようになる。当該補正移動予測領域Ｓ’（θ）を、図１３に示す。

トラッキング装置１２１は、各移動体１１１の位置判定で得られた位置データの時系列データを利用して、各移動体１１１の移動の様子を図１のモニタ１７１上にグラフィカルに表示する事ができる。この表示形式としては、図７Ｂや図８Ｂのような２次元仮想移動平面を表示し、各移動体１１１を表すシンボル（例えば「点」）を、各移動体１１１の位置データから求まる位置に表示するような表示形式が考えられる。本システムの監視員は、このモニタ１７１を監視する事で、店舗内の客やロボットやショッピングカートの動向をグラフィカルに把握する事ができる。

この際、トラッキング装置１２１は、算出された局所移動速度ベクトルＶ_{ｍｉｃｒｏ}、大域移動速度ベクトルＶ_{ｍａｃｒｏ}、移動煩雑度Ｕ、局所移動予測域Ｐ（θ）、移動予測領域Ｓ（θ）等を、各移動体１１１の移動の様子と共に図１のモニタ１７１上に表示する事ができる。これらの表示形式は、単なる数値表示でもよいし、上記と同様のグラフィカルな表示でもよい。グラフィカルな表示の例としては、図１０や図１１のような形での表示が挙げられる。本システムの監視員は、このモニタ１７１を監視する事で、店舗内の各移動体１１１がどのように移動するかを予測する事ができる。これにより例えば、当該監視員の行動により、客とロボットとの衝突を未然に防ぐ事が可能になる。

トラッキング装置１２１は、各移動体１１１の移動の様子や上記の移動特徴量（予測データ）を、ここではローカルのユーザインタフェース（トラッキング装置１２１のモニタ１７１）に出力しているが、リモートのユーザインタフェースに出力しても構わない。

トラッキング装置１２１は、各移動体１１１の位置判定で得られた位置データの時系列データや、算出された局所移動速度ベクトルＶ_{ｍｉｃｒｏ}、大域移動速度ベクトルＶ_{ｍａｃｒｏ}、移動煩雑度Ｕ、局所移動予測域Ｐ（θ）、移動予測領域Ｓ（θ）等を、通信インタフェースを介して外部に出力する事ができる。上述したロボットへの通知やリモートユーザインタフェースへの出力は、それぞれこの一例に相当する。当該通信インタフェースの例としては、有線ＬＡＮインタフェース、無線ＬＡＮインタフェース、ＵＳＢインタフェース等が挙げられる。上記の位置データや移動特徴量（予測データ）が出力される通信経路の例として、図１にネットワーク１７２を示す。

店舗内を自律移動する各ロボット１１１Ｂには、特定の明滅パターンの発光を繰り返す複数の赤外光発光装置と、特定の色と模様で描かれた複数のマーカが設けられている。各ロボット１１１Ｂには、該ロボット１１１Ｂを店舗内のどの方向からでも確認できるように、十分な数の赤外光発光装置とマーカが設けられている。トラッキング装置１２１は、各ロボット１１１Ｂの発光パターン及びマーカ特徴を、既知情報として所持している。トラッキング装置１２１は、ある発光パターン又はマーカ特徴を検知すると、対応するロボット１１１Ｂを特定すると共に、当該ロボット１１１Ｂの移動動作への介入が可能であると判断する。なお、当該動作介入の際の介入指令や介入手法等については、事前に両者間で整合性が取られているものを使用する事が想定されている。

以下、トラッキング装置１２１により実行される介入処理について、図１４に基づいて説明する。図１４は、介入処理に関するフローチャートである。

トラッキング装置１２１は、記憶されている位置データを利用して、位置が互いに近い移動体１１１同士を選び出し、これらを移動体ペアとして管理する（Ｓ３０１）。そして、トラッキング装置１１１は、これらの移動体１１１の間の距離が閾値以下となり（Ｓ３０２）、更に、これらの移動体１１１の大域移動速度ベクトルが互いに交差した状態になった場合（Ｓ３０３）、これらの移動体１１１が衝突軌道にあると判断する（Ｓ３０４）。この際、トラッキング装置１２１は、これらの移動体１１１の少なくとも一方が動作介入可能な移動体１１１であれば（Ｓ３１１）、これらの移動体１１１の少なくとも一方に対し緊急停止指令を出力する（Ｓ３１２）。すなわち、動作介入が行われる。緊急停止指令を受けた移動体１１１は、直ちに減速して停止する。これにより、移動体１１１同士の衝突が回避される。

以上のように、トラッキング装置１２１は、各ロボット１１１Ｂについて得られた移動特徴量（予測データ）に応じて、各ロボット１１１Ｂの移動動作への介入を行う。本実施例では、当該介入は、ネットワークを介したソケット通信で行われる。また、コード付き赤外リモコンのような手段で、非常停止介入を行う事も考えられる。また、本実施例の介入処理は、他律的に店舗内を移動するショッピングカートのような移動体１１１にも適用可能である。例えば、介入信号に反応して動作する車輪ロック機構によるブレーキシステムを、ショッピングカートに設ける事が考えられる。また、店員や作業員等の人間が介入対象の場合には、介入信号に反応して警告音を発生するインカムやイヤホンを、これらの人物に着用させる事が考えられる。更には、介入信号に反応して発光する回転灯を、店舗内の交差点等の要所に設ける事も考えられる。

なお、ロボット（自律移動体）への通知と動作介入は共に、ロボットと他の移動体との接近や衝突等の危険を、ロボットの移動効率を確保しつつ抑制する事が可能である。両者の違いは、危険判断の主体が、前者の場合には一般にロボット側であるのに対し、後者の場合には一般にトラッキング装置側であるという点である。前者の場合にはトラッキング装置の処理負担が軽減され、後者の場合にはロボットの処理負担が軽減される。

トラッキングシステムのシステム構成図である。 カメラの設置状況について説明するための図である。 移動体の検出処理について説明するための図である。 動作特徴量の抽出処理について説明するための図である。 移動体検出領域の画像処理について説明するための図である。 マッチング処理に関するフローチャート図である。 移動体の位置判定について説明するための図である。 移動体の位置判定について説明するための図である。 局所移動方位角について説明するための図である。 局所移動予測域について説明するための図である。 移動予測領域について説明するための図である。 移動体探索処理に関するフローチャート図である。 補正移動予測領域について説明するための図である。 介入処理に関するフローチャート図である。

符号の説明

１０１ トラッキングシステム
１１１ 移動体
１２１ トラッキング装置
１３１ 入力部
１３２ 記憶部
１３３ 出力部
１４１ 移動体検出部
１４２ 位置判定部
１４３ 動作特徴量抽出部
１５１ カメラ
１５２ アンテナ
１６１ 周波数フィルタ（ローパスフィルタ）
１６２ 周波数フィルタ（ローパスフィルタ）
１６３ 周波数フィルタ（ローパスフィルタ）
１６４ 周波数フィルタ（ハイパスフィルタ）
１６５ 周波数フィルタ（ローパスフィルタ）
１７１ モニタ
１７２ ネットワーク

Claims (10)

1. 空間内の移動体を検出し、
   検出された前記移動体をトラッキングし、
   トラッキングする前記移動体の位置判定を行い、
   前記位置判定により得られた前記移動体の位置データの高周波成分を時間微分する微分量計算と、前記微分量を時間積分する積分量計算とを通じて、前記移動体の微視的な移動に関する数量として、前記積分量に依存する数量を導出することにより、前記移動体についての移動予測を行うことを特徴とするトラッキング方法。
2. 前記検出では、前記空間内の前記移動体を、前記移動体を撮影した画像を利用して検出し、
   前記位置判定では、前記画像から前記移動体が検出された画像領域内にて代表点を決定し、前記代表点を前記移動体の位置と判定することを特徴とする請求項１記載のトラッキング方法。
3. 前記位置判定では、前記画像領域内において前記画像の下端に最も近い点を、前記代表点と決定することを特徴とする請求項２記載のトラッキング方法。
4. 前記位置判定では、前記画像領域内において前記画像の中心に最も近い点を、前記代表点と決定することを特徴とする請求項２記載のトラッキング方法。
5. 前記高周波成分として、前記位置データをハイパスフィルタによりフィルタリングして得られた前記移動体の位置データである、ハイパス位置データを用いることを特徴とする請求項１記載のトラッキング方法。
6. 前記移動予測では、さらに、前記位置データの低周波成分を時間微分する微分量計算を通じて、前記移動体の巨視的な移動に関する数量として、前記低周波成分の前記微分量に依存する数量を導出することにより、前記移動体についての移動予測を行うことを特徴とする請求項１乃至５のいずれか１項記載のトラッキング方法。
7. 前記移動予測では、前記位置データの高周波成分を時間微分する微分量計算と、前記微分量を時間積分する積分量計算と、前記位置データの低周波成分を時間微分する微分量計算とを通じて、前記移動体の微視的な移動に関する数量として、前記高周波成分の前記積分量と前記低周波成分の前記微分量とに依存する数量を導出することにより、前記移動体についての移動予測を行うことを特徴とする請求項１乃至５のいずれか１項記載のトラッキング方法。
8. 前記移動体の微視的な移動に関する数量は、前記高周波成分の前記微分量と前記低周波成分の前記微分量のなす角度と、前記高周波成分の前記積分量とに依存する数量であることを特徴とする請求項７記載のトラッキング方法。
9. 前記低周波成分として、前記位置データをローパスフィルタによりフィルタリングして得られた前記移動体の位置データである、ローパス位置データを用いることを特徴とする請求項６乃至８のいずれか１項記載のトラッキング方法。
10. 空間内の移動体を検出する検出部と、
    検出された前記移動体をトラッキングするトラッキング部と、
    トラッキングする前記移動体の位置判定を行う判定部と、
    前記位置判定により得られた前記移動体の位置データの高周波成分を時間微分する微分量計算と、前記微分量を時間積分する積分量計算とを通じて、前記移動体の微視的な移動に関する数量として、前記積分量に依存する数量を導出することにより、前記移動体についての移動予測を行う予測部とを備えることを特徴とするトラッキング装置。

Images