JP2015194915A - 移動体追跡装置、移動体追跡方法、移動体追跡システムおよびカメラ - Google Patents

Abstract

【課題】移動体の大局的な流れに逆行する移動体を正確に追跡することのできる移動体追跡装置を提供する。【解決手段】動画像を構成する画像間における移動体の動きを示す動きベクトルを取得する動きベクトル取得部２３と、動画像に含まれる移動体の大局的な移動方向を示す大局方向を取得する大局方向取得部２４と、動きベクトル取得部２３が取得した動きベクトルのうち大局方向と所定角度以上異なる向きを有する動きベクトルに基づいて、大局方向に逆行する移動体を追跡する逆行追跡部２５とを備える。【選択図】図２

Description

本発明は、監視カメラ等で撮像された画像から、移動体の大局的な流れに逆行する移動体を追跡する移動体追跡装置に関する。

従来、カメラで撮像された映像を処理することにより、移動体の動きを解析する方法が知られている。たとえば、時系列に連続した複数の画像から構成される映像から、移動体のｘ座標を算出し、ｘ−ｔマップを作成することにより移動体を追跡することにより、指定された方向に逆らって歩行する逆行者を検出する方法が知られている（たとえば、非特許文献１参照）。

新井啓之，安野貴之，水上緑，長谷山美紀，「映像からの逆行者検知方法」，社団法人電子情報通信学会，信学技報ＩＴＳ２００５−８４，ＩＥ２００５−２９１（２００６−０２），ｐｐ．２９−３４

しかしながら、非特許文献１に記載の方法では、移動体のｙ座標を無視して移動体の追跡が行われる。このため、逆行と捉えられる移動体の移動方向が制限される。たとえば、移動体の大局的な流れがｙ軸正の方向であり、ｙ軸負の方向に向かって移動する移動体がいたとしても、その移動体は逆行しているとは判定されない。

また、非特許文献１に記載の方法では、ハフ変換を用いてｘ−ｔマップ上で直線を検出することにより、移動体の追跡を行っている。ｘ−ｔマップ上では、等速運動する移動体は直線として現れるが、加速度的な動きをする移動体は曲線として現れる。このため、非特許文献１に記載の方法では、等速運動をしながら逆行する移動体を検出することはできるものの、加速度的な動きをしながら逆行する移動体を検出することができない。

本発明は、このような事情に鑑みてなされたものであり、移動体の移動方向や速度または加速度に制限を設けることなく、移動体の大局的な流れに逆行する移動体を正確に追跡することのできる移動体追跡装置等を提供することを目的とする。

上記目的を達成するために、本発明のある局面に係る移動体追跡装置は、動画像を構成する画像間における移動体の動きを示す動きベクトルを取得する動きベクトル取得部と、前記動画像に含まれる前記移動体の大局的な移動方向を示す大局方向を取得する大局方向取得部と、前記動きベクトル取得部が取得した前記動きベクトルのうち前記大局方向と所定角度以上異なる向きを有する動きベクトルに基づいて、前記大局方向に逆行する移動体を追跡する逆行追跡部とを備える。

なお、本発明は、このような特徴的な処理部を備える移動体追跡装置として実現することができるだけでなく、移動体追跡装置に含まれる特徴的な処理部が実行する処理をステップとする移動体追跡方法として実現することができる。また、移動体追跡装置に含まれる特徴的な処理部としてコンピュータを機能させるためのプログラムまたは移動体追跡方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読取可能な非一時的な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。また、本発明は、移動体追跡装置の一部又は全部を実現する半導体集積回路として実現したり、移動体追跡を含む移動体追跡システムとして実現したりすることもできる。

本発明によると、移動体の移動方向や速度または加速度に制限を設けることなく、移動体の大局的な流れに逆行する移動体を正確に追跡することができる。

本発明の実施の形態に係る移動体追跡装置を含む移動体追跡システムの構成を示す図である。 移動体追跡システムのハードウェア構成を示すブロック図である。 撮像部が撮像した動画像を構成する画像の一例を示す図である。 連続する２枚の画像間での人の動きを示す動きベクトルを、画像に重畳して示した図である。 大局方向と所定角度以上異なる向きを有する動きベクトルの求め方を説明するための図である。 クラスタを楕円のクラスタ枠で示す図である。 クラスタ枠に含まれる動きベクトルの平均ベクトルを示す図である。 ノイズを除去した後の、クラスタ枠に含まれる動きベクトルの平均ベクトルを示す図である。 連続する１０枚の画像における、大局方向に逆行する人の追跡結果を示す図である。 人の脚振りにより発生した動きベクトルから算出される平均ベクトルを追跡した結果を示す図である。 人が逆行していることを示す画像の一例を示す図である。 人が逆行していることを示す画像の他の一例を示す図である。 逆行している人の拡大画像の一例を示す図である。 移動体追跡装置が実行する逆行判定処理のフローチャートである。

最初に本発明の実施態様を列記して説明する。

（１）本発明の一態様に係る移動体追跡装置は、動画像を構成する画像間における移動体の動きを示す動きベクトルを取得する動きベクトル取得部と、前記動画像に含まれる前記移動体の大局的な移動方向を示す大局方向を取得する大局方向取得部と、前記動きベクトル取得部が取得した前記動きベクトルのうち前記大局方向と所定角度以上異なる向きを有する動きベクトルに基づいて、前記大局方向に逆行する移動体を追跡する逆行追跡部とを備える。

この構成によると、大局方向に制限を設けることなく、大局方向と所定角度以上異なる向きを有する動きベクトルに基づいて、大局方向に逆行する移動体を追跡している。また、移動体の速度にも制限を設けることなく、大局方向に逆行する移動体を追跡することができる。このため、移動体の移動方向や速度または加速度に制限を設けることなく、移動体の大局的な流れに逆行する移動体を正確に追跡することができる。

（２）また、前記逆行追跡部は、前記動きベクトル取得部が取得した動きベクトルのうち前記大局方向と所定角度以上異なる向きを有する動きベクトルを、当該動きベクトルの前記画像内での分布に基づいてクラスタに分類するクラスタリング部と、前記クラスタリング部が分類したクラスタごとに、当該クラスタに含まれる動きベクトルを代表するベクトルの方向に、当該クラスタに対応する移動体が移動したと判定することにより、前記大局方向に逆行する移動体を追跡する追跡部とを備えていてもよい。

この構成によると、クラスタリング部は、大局方向に逆行する方向の動きベクトルを、位置が近い動きベクトル同士が同一のクラスタに分類されるようにクラスタリングすることができる。このため、クラスタごとに移動体を追跡することにより、移動体の単位または移動体の集団の単位で逆行している移動体を追跡することができる。

（３）また、前記追跡部は、前記クラスタリング部が分類したクラスタごとに、当該クラスタに含まれる動きベクトルの平均ベクトルの方向との方向差が所定角度以内の動きベクトルを抽出し、抽出した動きベクトルの平均ベクトルの方向に、当該クラスタに対応する移動体が移動したと判定することにより、前記大局方向に逆行する移動体を追跡してもよい。

この構成によると、クラスタ内で平均ベクトルとの方向差が所定角度以内の動きベクトルを抽出している。つまり、方向差が所定角度よりも大きい動きベクトルはノイズとして除去している。このため、ノイズを除去したうえで、抽出した動きベクトルの平均ベクトルの方向に移動体を追跡することができる。よって、逆行している移動体を正確に追跡することができる。

（４）また、上述の移動体追跡装置は、さらに、前記動画像を構成する連続する所定枚数の画像に亘って前記追跡部が前記移動体を追跡可能な場合に、当該移動体が前記大局方向に逆行していると判定する逆行判定部を備えていてもよい。

この構成によると、長い時間継続して移動体を追跡できない場合には、その移動体が逆行しているとは判定しない。つまり、大局方向に移動する人の手の振りや脚振りなどにより、体の一部が大局方向に逆行する動きをしたとしても、これらの動きは継続性がないため、この人は逆行しているとは判定されない。よって、移動体が大局方向に逆行しているか否かを正確に判定することができる。

（５）また、前記逆行判定部は、前記動画像を構成する連続する前記所定枚数の画像に亘って前記追跡部が前記移動体を追跡可能であり、かつ当該移動体のサイズが第１閾値以上である場合に、当該移動体が前記大局方向に逆行していると判定してもよい。

この構成によると、移動体のサイズがあまりにも小さすぎる場合には、その移動体は移動体追跡装置が想定している移動体ではないと判断して追跡対象から排除することができる。

（６）また、前記逆行判定部は、前記動画像を構成する連続する前記所定枚数の画像に亘って前記追跡部が前記移動体を追跡可能であり、かつ当該移動体のサイズが第２閾値以下である場合に、当該移動体が前記大局方向に逆行していると判定してもよい。

この構成によると、移動体のサイズがあまりにも大きすぎる場合には、その移動体は移動体追跡装置が想定している移動体ではないと判断して追跡対象から排除することができる。

（７）また、上述の移動体追跡装置は、さらに、前記逆行判定部により前記移動体が前記大局方向に逆行していると判定された場合に、前記移動体が逆行していることを画像または音声によりユーザに提示する提示部を備えていてもよい。

この構成によると、ユーザは、画像を見たり、音声を聞いたりすることによって、移動体が逆行していることを知ることができる。よって、ユーザは、逆行している移動体に対して、逆行しないように注意等することができる。

（８）また、前記提示部は、（ｉ）移動体が逆行していることを示すメッセージを表示する、（ｉｉ）逆行している移動体を逆行していない移動体とは異なる態様で示した画像を表示する、（ｉｉｉ）逆行している移動体から構成される画像を表示する、（ｉｖ）逆行している移動体を含む領域を拡大した画像を表示する、または（ｖ）移動体が逆行していることを示す警告音を出力してもよい。

この構成によると、ユーザに対して、移動体が逆行していることを分かりやすく知らせることができる。このため、ユーザは、逆行している移動体に対して、逆行しないように迅速に注意等することができる。

（９）また、前記逆行追跡部は、前記大局方向があらかじめ定められた所定角度範囲内にない場合には、前記移動体を追跡しないようにしてもよい。

たとえば、時間帯によって通行方向が切り替えられる歩道を撮像していた場合には、通行方向の切り替わり時には様々な方向に向かう人が混在してしまい、大局方向が想定外の方向を示す場合がある。この構成によると、大局方向が想定外の方向を示す場合に、移動体を追跡しないようにしている。これにより、通行方向の切り替わり時において、逆行判定部２７が逆行している移動体を誤判定するのを防ぐことができる。

（１０）また、前記大局方向取得部は、前記動きベクトル取得部が取得した動きベクトルのうち、前記画像内の全部または一部の領域に含まれる動きベクトルの平均ベクトルの方向を、前記大局方向として算出してもよい。
この構成によると、簡単な計算により大局方向を算出することができる。

なお、大局方向の計算方法はこれに限定されず、例えば、動きベクトルの平均ベクトルの方向の代わりに、動きベクトルの最頻値ベクトルの方向を、大局方向として算出してもよい。

（１１）本発明の他の一態様に係る移動体追跡方法は、動画像を構成する画像間における移動体の動きを示す動きベクトルを取得するステップと、前記動画像に含まれる前記移動体の大局的な移動方向を示す大局方向を取得するステップと、取得した前記動きベクトルのうち前記大局方向と所定角度以上異なる向きを有する動きベクトルに基づいて、前記大局方向に逆行する移動体を追跡するステップとを含む。
この構成によると、上記（１）に示した移動体追跡装置と同様の作用、効果を奏することができる。

（１２）本発明のさらに他の一態様に係るプログラムは、動画像を構成する画像間における移動体の動きを示す動きベクトルを取得するステップと、前記動画像に含まれる前記移動体の大局的な移動方向を示す大局方向を取得するステップと、取得した前記動きベクトルのうち前記大局方向と所定角度以上異なる向きを有する動きベクトルに基づいて、前記大局方向に逆行する移動体を追跡するステップとをコンピュータに実行させるためのプログラムである。
この構成によると、上記（１）に示した移動体追跡装置と同様の作用、効果を奏することができる。

（１３）本発明の他の一態様に係る移動体追跡システムは、動画像を撮像するカメラと、前記カメラで撮像された前記動画像を処理する上述の移動体追跡装置とを備える。
この構成によると、カメラで撮像された動画像に基づいて、移動体が逆行しているか否かを判定することができる。

（１４）本発明のさらに他の一態様に係るカメラは、動画像を撮像する撮像部と、前記撮像部で撮像された前記動画像を処理する上述の移動体追跡装置とを備える。
この構成によると、１台のカメラで、動画像の撮像処理と、撮像した動画像に基づく移動体の逆行判定処理とを行うことができる。

（１５）本発明の他の一態様に係るカメラは、撮像方向および画角を調整可能な、動画像を撮像する撮像部と、上述の移動体追跡装置と、前記移動体追跡装置により移動体が逆行していると判定された場合に、逆行している前記移動体を拡大して撮像するように、前記撮像部の撮像方向および画角を調整する調整部とを備える。
この構成によると、動画像に基づく移動体の逆行判定処理と、逆行している移動体を拡大した画像の撮像処理とを行うことができる。

［本願発明の実施形態の詳細］
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、特許請求の範囲によって特定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

［１．移動体追跡システムの全体構成］
図１は、本発明の実施の形態に係る移動体追跡装置を含む移動体追跡システムの構成を示す図である。

移動体追跡システム１は、カメラで撮像された画像から、移動体の大局的な流れに逆行する移動体を追跡するシステムであり、カメラ１０と、移動体追跡装置２０と、表示装置３０と、スピーカー４０とを備える。以下の説明では、移動体は人であるとして説明するが、人以外の動物や車などの移動体にも本開示は適用可能である。

カメラ１０は、防犯を主目的として屋外や屋内に設置され、撮像領域の時系列の画像（以下、「動画像」という）を撮像する監視カメラである。図１では、路上を監視対象としてカメラ１０が設置される例を示している。カメラ１０は、通常、人の動きの流れがある場所などを俯瞰するために電柱や専用の柱状治具等に設置される。

移動体追跡装置２０は、インターネット５０やＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのコンピュータネットワークを介してカメラ１０と接続され、カメラ１０で撮像された動画像から、移動体の大局的な流れに逆行する移動体を追跡する装置である。移動体追跡装置２０は、たとえば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含むコンピュータにより構成される。なお、移動体追跡装置２０とカメラ１０とがケーブルで直接接続されていてもよい。

表示装置３０は、移動体追跡装置２０に接続され、カメラ１０で撮像された動画像および移動体追跡装置２０による処理結果を表示する。表示装置３０は、たとえば、液晶ディスプレイである。
スピーカー４０は、移動体追跡装置２０に接続され、移動体追跡装置２０による処理結果を音声として出力する。

移動体追跡装置２０、表示装置３０およびスピーカー４０は、たとえば、カメラ１０の設置場所とは異なる屋内などに設置され、移動体追跡装置２０は、移動体追跡システム１のユーザに対して表示装置３０またはスピーカー４０を通じて、移動体追跡装置２０による処理結果を提示する。

［２．移動体追跡システムのハードウェア構成］
図２は、移動体追跡システム１のハードウェア構成を示すブロック図である。

カメラ１０は、撮像部１１と、調整部１２とを備える。撮像部１１は、監視対象の画像を撮像するためにＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）およびレンズなどを備える。撮像部１１は、パン機能、チルト機能およびズーム機能を有し、撮像対象物を拡大した画像を撮像することができる。つまり、撮像部１１は、パン機能およびチルト機能により撮像対象物に撮像方向を変更するとともに、ズーム機能により画角を調整し、撮像対象物を拡大した画像を撮像する。

調整部１２は、後述する移動体追跡装置２０のカメラ制御部２９から出力される制御信号に基づいて、撮像部１１による撮像方向およびズーム倍率を制御する。その他にも調整部１２は、撮像部１１のフォーカスおよびシャッタースピードなどの調整を行う。

移動体追跡装置２０は、画像受付部２１と、画像記憶部２２と、動きベクトル取得部２３と、大局方向取得部２４と、逆行追跡部２５と、逆行判定部２７と、提示部２８と、カメラ制御部２９とを備える。

画像受付部２１は、カメラ１０の撮像部１１が撮像した動画像をインターネット５０を介して受信する。図３は、撮像部１１が撮像した動画像を構成する画像１１２の一例を示す図である。画像１１２には、歩いている１０人の人１０１〜１１０が映っている。このうち、人１０２以外の人１０１、１０３〜１１０は、紙面の右から左に向かう方向に移動しているが、人１０２は、これらの人１０１、１０３〜１１０の移動方向とは逆の方向（紙面の左から右に向かう方向）に移動している。つまり、人１０２は、人の大局的な流れに逆行している。

画像記憶部２２は、画像受付部２１が受信した画像１１２を記憶する。画像記憶部２２は、たとえば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの記憶装置により構成される。

動きベクトル取得部２３は、動画像を構成する画像間における移動体の動きを示す動きベクトルを取得する。図４は、連続する２枚の画像間での人の動きを示す動きベクトルを、画像１１２に重畳して示した図である。図４では、動きベクトル１１４および１１６を矢印で示しており、矢印の向きが動きベクトルの向きを示し、矢印の長さが動きベクトルの長さを示しているものとする。同図では、代表的な動きベクトルのみについて参照符号を付している。動きベクトル取得部２３は、画像１１２中のエッジ部分やコーナー部分などの特徴点について動きベクトルを算出する。つまり、動きベクトル取得部２３は、ブロックマッチング法または勾配法などを用いて、動きベクトルの分布を示すオプティカルフローを算出することで、人の特徴点の動きベクトルを算出する。

大局方向取得部２４は、動画像に含まれる移動体の大局的な移動方向を示す大局方向を取得する。つまり、大局方向取得部２４は、画像１１２に含まれる全ての動きベクトル１１４および１１６の平均ベクトルを算出し、算出した平均ベクトルが示す方向を大局方向として算出する。図４では、大局方向１１８を矢印で示しており、紙面上で右から左に向かう方向が大局方向１１８である。

逆行追跡部２５は、動きベクトル取得部２３が取得した動きベクトル１１４および１１６のうち大局方向１１８と所定角度以上異なる向きを有する動きベクトル１１６に基づいて、大局方向１１８に逆行する移動体を追跡する。この追跡処理を実現するために、逆行追跡部２５は、クラスタリング部２５Ａと、追跡部２５Ｂとを含む。

クラスタリング部２５Ａは、動きベクトル取得部２３が取得した動きベクトルのうち大局方向１１８と所定角度以上異なる向きを有する動きベクトルを、当該動きベクトルの画像１１２内での分布に基づいてクラスタに分類する。

図５は、大局方向１１８と所定角度以上異なる向きを有する動きベクトル１１６の求め方を説明するための図である。図５において、大局方向１１８は１８０°方向であるとする。このとき、クラスタリング部２５Ａは、一例として大局方向１１８と１２０°以上異なる向きを有する動きベクトル１１６を抽出する。つまり、クラスタリング部２５Ａは、ハッチングを施した向き（−６０°（３００°）以上６０°以下）を有する動きベクトル１１６を、大局方向１１８と１２０°以上異なる向きを有する動きベクトル１１６として抽出する。図４では、この動きベクトル１１６を実線の矢印で示している。また、それ以外の動きベクトル１１４を破線の矢印で示している。

クラスタリング部２５Ａは、動きベクトル１１６の始点間の距離が所定の距離閾値以下の動きベクトル１１６同士を同じクラスタに分類することにより、動きベクトル１１６をクラスタリングする。つまり、互いに近傍に位置する動きベクトル１１６同士を同じクラスタに分類する。図６は、クラスタを楕円のクラスタ枠で示す図である。人１０２の動きベクトル１１６からクラスタ枠１２０が生成される。クラスタ枠１２０は、たとえば、同一のクラスタに分類された動きベクトル１１６の分布の重心１２２を中心とし、同一のクラスタに分類された動きベクトル１１６を含むサイズの楕円である。クラスタリング部２５Ａは、クラスタ枠１２０に含まれる動きベクトル１１４も動きベクトル１１６と同じクラスタに分類する。

人１０５の脚振りによっても動きベクトル１１６は発生する。このため、クラスタリング部２５Ａは、人１０５の動きベクトル１１６についても、人１０２の動きベクトル１１６と同様にクラスタリングを行い、クラスタ枠１２４および重心１２６を設定する。クラスタリング部２５Ａは、人１０７および１０８についても同様に、クラスタ枠１２８および１３２と、重心１３０および１３４とを設定する。なお、クラスタ枠の形状は楕円には限定されず、円や矩形や多角形であってもよい。

追跡部２５Ｂは、クラスタリング部２５Ａが分類したクラスタごとに、当該クラスタに含まれる動きベクトルを代表するベクトルの方向に、当該クラスタに対応する移動体が移動したと判定することにより、大局方向１１８に逆行する移動体を追跡する。
以下、追跡部２５Ｂによる移動体の追跡処理を、図７〜図９を用いて具体的に説明する。

図７を参照して、追跡部２５Ｂは、クラスタ枠１２０に含まれる全ての動きベクトル１１４および１１６の平均ベクトル１３６を算出する。追跡部２５Ｂは、算出した平均ベクトル１３６の方向との方向差が所定角度以内の動きベクトルを抽出する。たとえば、所定角度を６０°とすると、動きベクトル１１４および１１６のうち、動きベクトル１１６のみが追跡部２５Ｂによって抽出される。このような処理により、クラスタ枠１２０の中から異質な向きを有する動きベクトル１１４をノイズとして除去することができる。

図８を参照して、追跡部２５Ｂは、抽出した動きベクトル１１６の平均ベクトル１３８を算出する。追跡部２５Ｂは、平均ベクトル１３８の方向にクラスタ枠１２０（クラスタ）に対応する人１０２が移動したと判定することにより、大局方向１１８に逆行する人１０２を追跡する。

図９Ａは、連続する１０枚の画像における、大局方向１１８に逆行する人１０２の追跡結果を示す図である。平均ベクトル１３８が連続的に紙面の左から右に向けて移動していることがわかる。

これに対して、図９Ｂは、人１０７の脚振りにより発生した動きベクトル１１６から算出される平均ベクトル１３８を追跡した結果を示している。脚振りにより一時的に脚は大局方向１１８と逆行する方向に移動するものの、その時間は長くは続かない。このため、数枚程度の連続した画像でしか、大局方向１１８に逆行する向きを有する平均ベクトル１３８を追跡することができない。

再度図２を参照して、逆行判定部２７は、動画像を構成する連続する所定枚数の画像に亘って追跡部２５Ｂが移動体を追跡可能な場合に、当該移動体が大局方向１１８に逆行していると判定する。たとえば、所定枚数を１０枚とした場合、図９Ａに示したように、追跡部２５Ｂは、１０枚の画像に亘って人１０２を追跡可能である。このため、逆行判定部２７は、人１０２が大局方向１１８に逆行していると判定する。一方、図９Ｂに示したように、追跡部２５Ｂは、２枚の画像に亘ってしか人１０７の脚部を追跡できない。このため、逆行判定部２７は、人１０７が逆行しているとは判定しない。人１０５または人１０８や、その他の人々についても同様に、逆行判定部２７は逆行しているとは判定しない。

なお、逆行判定部２７は、さらにサイズの基準を用いて移動体が逆行しているか否かを判定してもよい。移動体のサイズがあまりにも小さすぎたり、あまりに大きすぎたりする場合には、逆行判定部２７は、その移動体が、移動体追跡装置２０が想定している移動体、つまり人ではないと判定することができる。このため、逆行判定部２７は、所定枚数に亘って移動体を追跡可能であり、かつ、移動体のサイズが第１閾値以上であるという条件および移動体のサイズが第２閾値以下であるという条件のうちの一方の条件または両方の条件を満たす場合にのみ、人が逆行していると判定してもよい。ここで、クラスタ枠のサイズを移動体のサイズとみなしてもよいし、クラスタ枠の中から動きベクトル１１６を有する領域を分離することにより移動体の領域分割を行い、移動体のサイズを算出してもよい。

提示部２８は、逆行判定部２７により移動体が大局方向１１８に逆行していると判定された場合に、移動体が逆行していることを画像または音声によりユーザに提示する。たとえば、提示部２８は、図１０に示すような画像１４２を表示装置３０に表示する。提示部２８は、「流れに逆行している人がいます！」などの移動体が逆行していることを示すメッセージ１４４を表示する。また、提示部２８は、逆行している人１０２をそれ以外の人とは異なる態様で表示する。たとえば、人１０２を太枠で強調表示したり、人１０２を枠１４８で囲ったりする。

また、提示部２８は、図１１に示すような画像１５０を表示装置３０に表示してもよい。画像１５０では、逆行している人１０２が切り出されて表示されている。人１０２の切り出しは、大局方向１１８に逆行する動きベクトル１１６に基づいて、類似する動きベクトル１１６を有する領域を分離することにより行ってもよい。

また、提示部２８は、図３に示す画像１１２の中から逆行している人１０２を含む領域を切り出し、図１２に示すように切り出した領域を拡大した画像１５２を表示装置３０に表示してもよい。

また、提示部２８は、図１に示すようにスピーカー４０から「流れに逆行している人がいます」などの音声を出力したり、警告音を出力したりすることで、流れに逆行している人の存在をユーザに提示してもよい。

カメラ制御部２９は、逆行している人の拡大画像が撮像されるように、画像中の人の位置に応じて、カメラ１０の撮像方向を制御し、画像中の人のサイズに応じて、カメラ１０のズーム倍率を制御する。すなわち、カメラ制御部２９は、逆行している人が画像の中心に来るようにカメラ１０の撮像方向を制御し、逆行している人のサイズが小さいほど画角が狭くなるように、ズーム倍率を大きくする。カメラ制御部２９は、カメラ１０の撮像方向およびズーム倍率を制御するための信号を、インターネット５０を介してカメラ１０の調整部１２に出力する。制御信号を受け取ったカメラ１０の調整部１２は、撮像部１１の撮像方向およびズーム倍率を制御する。これにより、撮像部１１は、図１２に示すような逆行している人１０２を拡大した画像１５２を撮像することができる。

［３．移動体追跡装置の処理フロー］
次に移動体追跡装置２０による人が逆行しているか否かの判定処理の流れについて説明する。図１３は、移動体追跡装置２０が実行する逆行判定処理のフローチャートである。
画像受付部２１は、カメラ１０の撮像部１１が撮像した動画像のうち、図３に示すような画像１１２を受信し、画像記憶部２２に書き込む（Ｓ１）。

動きベクトル取得部２３は、画像記憶部２２に蓄積された時間的に連続する複数枚の画像からオプティカルフローを算出することにより、画像ごとに図４に示すような動きベクトル１１４および１１６を算出する（Ｓ２）。

大局方向取得部２４は、画像１１２に含まれる全ての動きベクトル１１４および１１６の平均ベクトルを算出し、算出した平均ベクトルが示す方向を大局方向１１８（図４）として算出する（Ｓ３）。

逆行追跡部２５は、大局方向１１８があらかじめ定められた所定角度範囲内にあるか否かを判定する（Ｓ４）。たとえば、人の通行方向が左方向に制限されている場合には、１５０°から２１０°までの角度範囲（図５）を所定角度範囲として設定してもよい。

大局方向１１８が所定角度範囲内にない場合には（Ｓ４でＮＯ）、逆行追跡部２５は、移動体の追跡処理は行わず、処理を終了する。たとえば、カメラ１０が、時間帯によって通行方向が切り替えられる歩道を撮像しており、図４において右方向を通行方向とする時間帯と左方向を通行方向とする時間帯とがあるものとする。このとき、通行方向の切り替わり時には、様々な方向に向かう人が混在してしまい、大局方向１１８が想定外の方向を示す場合がある。想定外の方向を示す大局方向１１８を用いて移動体の追跡処理を行ってしまうと、通行方向に沿って移動している人であるにもかかわらず、その人が逆行していると誤って判定してしまう場合がある。判定処理（Ｓ４）を実行することにより、誤った逆行判定を防ぐことができる。

大局方向１１８が所定角度範囲内にある場合には（Ｓ４でＹＥＳ）、クラスタリング部２５Ａは、動きベクトル取得部２３が取得した動きベクトル１１４および１１６のうち大局方向１１８と所定角度（たとえば、１２０°）以上異なる向きを有する動きベクトル１１６を、当該動きベクトル１１６の画像１１２内での分布に基づいてクラスタに分類する（Ｓ５）。つまり、上述したように、互いに近傍の位置にある動きベクトル１１６を同じクラスタに分類し、図６に示すようなクラスタ枠１２０を設定する。

図７に示すように、追跡部２５Ｂは、クラスタ枠１２０に含まれる全ての動きベクトル１１４および１１６の平均ベクトル１３６を算出する（Ｓ６）。

追跡部２５Ｂは、算出した平均ベクトル１３６の方向との方向差が所定角度（たとえば、６０°）以内の動きベクトル１１６を抽出することで、クラスタ枠１２０の中から異質な向きを有する動きベクトル１１４をノイズとして除去する（Ｓ７）。
図８を参照して、追跡部２５Ｂは、抽出した動きベクトル１１６の平均ベクトル１３８を算出する（Ｓ８）。

追跡部２５Ｂは、平均ベクトル１３８の方向にクラスタ枠１２０（クラスタ）に対応する移動体が移動したと判定することにより、大局方向１１８に逆行する移動体を追跡する（Ｓ９）。

逆行判定部２７は、移動体を所定枚数の画像に亘って追跡することができ、移動体のサイズが第１閾値以上であり、かつ移動体のサイズが第２閾値以下であるという条件を満たすか否かを判定する（Ｓ１０）。上記条件を満たさない場合には（Ｓ１０でＮＯ）、逆行している人はいないと判定されるため、以降の処理は実行されない。

上記条件を満たす場合には（Ｓ１０でＹＥＳ）、提示部２８は、移動体が逆行していることを画像または音声によりユーザに提示する（Ｓ１１）。たとえば、提示部２８は、図１０または図１１に示すような画像を表示装置３０に表示したり、人が逆行していることを示す音声メッセージをスピーカー４０から出力したりする。

カメラ制御部２９は、逆行している人１０２の拡大画像が撮像されるように、カメラ１０の撮像方向およびズーム倍率を制御する（Ｓ１２）。

［４．実施の形態の効果］
以上説明したように、本実施の形態によると、以下に説明する効果を奏することができる。
つまり、移動体追跡装置２０は、大局方向に制限を設けることなく、大局方向と所定角度以上異なる向きを有する動きベクトルに基づいて、大局方向に逆行する移動体を追跡している。また、移動体追跡装置２０は、移動体の速度にも制限を設けることなく、大局方向に逆行する移動体を追跡することができる。このため、移動体の移動方向や速度または加速度に制限を設けることなく、移動体の大局的な流れに逆行する移動体を正確に追跡することができる。

また、クラスタリング部２５Ａは、大局方向に逆行する方向の動きベクトルを、位置が近い動きベクトル同士が同一のクラスタに分類されるようにクラスタリングする。このため、クラスタごとに移動体を追跡することにより、移動体の単位または移動体の集団の単位で逆行している移動体を追跡することができる。

また、図７および図８を用いて説明したように、追跡部２５Ｂは、クラスタ内で平均ベクトル１３６の方向との方向差が所定角度以内の動きベクトル１１６を抽出している。つまり、方向差が所定角度よりも大きい動きベクトル１１４はノイズとして除去している。このため、ノイズを除去したうえで、抽出した動きベクトル１１６の平均ベクトル１３８の方向に移動体を追跡することができる。よって、逆行している移動体を正確に追跡することができる。

また、逆行判定部２７は、長い時間継続して移動体を追跡できない場合には、その移動体が逆行しているとは判定しない。つまり、大局方向に移動する人の手の振りや脚振りなどにより、体の一部が大局方向に逆行する動きをしたとしても、これらの動きは継続性がないため、この人は逆行しているとは判定されない。よって、移動体が大局方向に逆行しているか否かを正確に判定することができる。

また、逆行判定部２７は、移動体のサイズが閾値条件を満たすか否かを判定している。このため、長い間継続して移動体を追跡できたとしても、移動体のサイズがあまりにも小さすぎたり、あまりにも大きすぎたりする場合には、その移動体は移動体追跡装置２０が想定している移動体ではないと判断して追跡対象から排除することができる。

また、移動体が逆行していると判定された場合に、提示部２８が判定結果を画像または音声によりユーザに提示する。このため、ユーザは、画像を見たり、音声を聞いたりすることによって、移動体が逆行していることを知ることができる。よって、ユーザは、逆行している移動体に対して、逆行しないように注意等することができる。

また、移動体が逆行していると判定された場合に、提示部２８が、図１０〜図１２に示すような画像を提示したり、警告音を出力したりすることで、ユーザに対して、移動体が逆行していることを分かりやすく知らせることができる。このため、ユーザは、逆行している移動体に対して、逆行しないように迅速に注意等することができる。

また、時間帯によって通行方向が切り替えられる歩道を撮像していた場合には、通行方向の切り替わり時には様々な方向に向かう人が混在してしまい、大局方向が想定外の方向を示す場合がある。しかし、逆行追跡部２５は、大局方向が想定外の方向を示す場合に、移動体を追跡しないようにしている。これにより、通行方向の切り替わり時において、移動体が逆行していないにもかかわらず、逆行判定部２７が当該移動体が逆行していると誤って判定するのを防ぐことができる。

また、動きベクトルの平均ベクトルを大局方向として算出している。このため、簡単な計算により大局方向を算出することができる。

また、移動体追跡システム１は、カメラ１０で撮像された動画像に基づいて、移動体が逆行しているか否かを判定することができる。

［５．付記］
以上、本発明の実施の形態に係る移動体追跡装置を含む移動体追跡システムについて説明したが、本発明は、この実施の形態に限定されるものではない。

たとえば、大局方向取得部２４は、動きベクトルの平均ベクトルを大局方向として算出しているが、大局方向を外部から取得してもよい。たとえば、移動体追跡装置２０が、エスカレータの進行方向に逆行する人を判定する場合には、大局方向取得部２４は、あらかじめ定められたエスカレータの進行方向を大局方向として取得してもよい。

また、大局方向の計算方法は上記した方法に限定されず、例えば、動きベクトルの平均ベクトルの方向の代わりに、動きベクトルの最頻値ベクトルの方向を、大局方向として算出してもよい。

また、カメラ１０が撮像した画像の領域ごとに大局方向を設定してもよい。たとえば、画像の右半分と左半分とで処理を分けて、それぞれに大局方向を設定してもよい。これにより、たとえば、上りエスカレータと下りエスカレータとを同時に撮像した画像から、それぞれのエスカレータで逆行する人を検出することができる。

また、大局方向取得部２４は、画像全体に含まれる動きベクトルではなく、画像内のあらかじめ定められた領域に含まれる動きベクトルのみから大局方向を算出してもよい。
また、動きベクトル取得部２３は、動きベクトルを外部から取得してもよい。

また、図２に示した移動体追跡装置２０の構成において、一部の機能がコンピュータネットワーク上のサーバに設けられていてもよい。たとえば、移動体追跡装置２０は、サーバに入力画像を送信し、サーバから逆行の判定結果を取得してもよい。

また、カメラ１０は、撮像部１１を複数含む構成であってもよい。たとえば、カメラ１０は、広角の映像を撮像する撮像部１１と、パン機能、チルト機能およびズーム機能を備える撮像部１１とを含んでいてもよい。この場合、前者の撮像部１１が監視対象領域の映像を広角で撮像し、移動体追跡装置２０は、その映像に基づいて逆行判定処理を行う。逆行が検出された際には、移動体追跡装置２０からの指示に従いカメラ１０の調整部１２が後者の撮像部１１の撮像方向や画角などを調整することにより、後者の撮像部１１が逆行している人物を拡大した画像を撮像してもよい。

また、移動体追跡装置２０に示した機能がカメラ１０内に設けられていてもよい。この構成によると、１台のカメラで、動画像の撮像処理と、撮像した動画像に基づく移動体の逆行判定処理とを行うことができる。さらに、１台のカメラで動画像に基づく移動体の逆行判定処理と、逆行している移動体を拡大した画像の撮像処理とを行うことができる。

また、上記の移動体追跡装置２０は、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されてもよい。ＲＡＭまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、移動体追跡装置２０は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

さらに、上記の移動体追跡装置２０を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

さらに、上記コンピュータプログラムは、コンピュータ読取可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスクドライブ、ＣＤ−ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＡＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録されていてもよい。

また、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
さらに、上記実施の形態および上記変形例の少なくとも一部を任意に組み合わせるとしてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明は、監視カメラで撮像された映像から人の流れに逆行している人物を判定する監視システム等に用いると有益である。

１ 移動体追跡システム
１０ カメラ
１１ 撮像部
１２ 調整部
２０ 移動体追跡装置
２１ 画像受付部
２２ 画像記憶部
２３ 動きベクトル取得部
２４ 大局方向取得部
２５ 逆行追跡部
２５Ａ クラスタリング部
２５Ｂ 追跡部
２７ 逆行判定部
２８ 提示部
２９ カメラ制御部
３０ 表示装置
４０ スピーカー
５０ インターネット
１０１〜１１０ 人
１１２、１４２、１５０、１５２ 画像
１１４、１１６ 動きベクトル
１１８ 大局方向
１２０、１２４、１２８ クラスタ枠
１２２、１２６、１３０ 重心
１３６、１３８ 平均ベクトル
１４４ メッセージ
１４８ 枠

Claims (15)

1. 動画像を構成する画像間における移動体の動きを示す動きベクトルを取得する動きベクトル取得部と、
   前記動画像に含まれる前記移動体の大局的な移動方向を示す大局方向を取得する大局方向取得部と、
   前記動きベクトル取得部が取得した前記動きベクトルのうち前記大局方向と所定角度以上異なる向きを有する動きベクトルに基づいて、前記大局方向に逆行する移動体を追跡する逆行追跡部と
   を備える移動体追跡装置。
2. 前記逆行追跡部は、
   前記動きベクトル取得部が取得した動きベクトルのうち前記大局方向と所定角度以上異なる向きを有する動きベクトルを、当該動きベクトルの前記画像内での分布に基づいてクラスタに分類するクラスタリング部と、
   前記クラスタリング部が分類したクラスタごとに、当該クラスタに含まれる動きベクトルを代表するベクトルの方向に、当該クラスタに対応する移動体が移動したと判定することにより、前記大局方向に逆行する移動体を追跡する追跡部とを備える
   請求項１に記載の移動体追跡装置。
3. 前記追跡部は、前記クラスタリング部が分類したクラスタごとに、当該クラスタに含まれる動きベクトルの平均ベクトルの方向との方向差が所定角度以内の動きベクトルを抽出し、抽出した動きベクトルの平均ベクトルの方向に、当該クラスタに対応する移動体が移動したと判定することにより、前記大局方向に逆行する移動体を追跡する
   請求項２に記載の移動体追跡装置。
4. さらに、前記動画像を構成する連続する所定枚数の画像に亘って前記追跡部が前記移動体を追跡可能な場合に、当該移動体が前記大局方向に逆行していると判定する逆行判定部を備える
   請求項２または請求項３に記載の移動体追跡装置。
5. 前記逆行判定部は、前記動画像を構成する連続する前記所定枚数の画像に亘って前記追跡部が前記移動体を追跡可能であり、かつ当該移動体のサイズが第１閾値以上である場合に、当該移動体が前記大局方向に逆行していると判定する
   請求項４に記載の移動体追跡装置。
6. 前記逆行判定部は、前記動画像を構成する連続する前記所定枚数の画像に亘って前記追跡部が前記移動体を追跡可能であり、かつ当該移動体のサイズが第２閾値以下である場合に、当該移動体が前記大局方向に逆行していると判定する
   請求項４または請求項５に記載の移動体追跡装置。
7. さらに、前記逆行判定部により前記移動体が前記大局方向に逆行していると判定された場合に、前記移動体が逆行していることを画像または音声によりユーザに提示する提示部を備える
   請求項４〜請求項６のいずれか１項に記載の移動体追跡装置。
8. 前記提示部は、（ｉ）移動体が逆行していることを示すメッセージを表示する、（ｉｉ）逆行している移動体を逆行していない移動体とは異なる態様で示した画像を表示する、（ｉｉｉ）逆行している移動体から構成される画像を表示する、（ｉｖ）逆行している移動体を含む領域を拡大した画像を表示する、または（ｖ）移動体が逆行していることを示す警告音を出力する
   請求項７に記載の移動体追跡装置。
9. 前記逆行追跡部は、前記大局方向があらかじめ定められた所定角度範囲内にない場合には、前記移動体を追跡しない
   請求項１〜請求項８のいずれか１項に記載の移動体追跡装置。
10. 前記大局方向取得部は、前記動きベクトル取得部が取得した動きベクトルのうち、前記画像内の全部または一部の領域に含まれる動きベクトルの平均ベクトルの方向を、前記大局方向として算出する
    請求項１〜請求項９のいずれか１項に記載の移動体追跡装置。
11. 動画像を構成する画像間における移動体の動きを示す動きベクトルを取得するステップと、
    前記動画像に含まれる前記移動体の大局的な移動方向を示す大局方向を取得するステップと、
    取得した前記動きベクトルのうち前記大局方向と所定角度以上異なる向きを有する動きベクトルに基づいて、前記大局方向に逆行する移動体を追跡するステップと
    を含む移動体追跡方法。
12. 動画像を構成する画像間における移動体の動きを示す動きベクトルを取得するステップと、
    前記動画像に含まれる前記移動体の大局的な移動方向を示す大局方向を取得するステップと、
    取得した前記動きベクトルのうち前記大局方向と所定角度以上異なる向きを有する動きベクトルに基づいて、前記大局方向に逆行する移動体を追跡するステップと
    をコンピュータに実行させるためのプログラム。
13. 動画像を撮像するカメラと、
    前記カメラで撮像された前記動画像を処理する請求項１〜請求項１０のいずか１項に記載の移動体追跡装置と
    を備える移動体追跡システム。
14. 動画像を撮像する撮像部と、
    前記撮像部で撮像された前記動画像を処理する請求項１〜請求項１０のいずか１項に記載の移動体追跡装置と
    を備えるカメラ。
15. 撮像方向および画角を調整可能な、動画像を撮像する撮像部と、
    請求項４〜請求項８のいずれか１項に記載の移動体追跡装置と、
    前記移動体追跡装置により移動体が逆行していると判定された場合に、逆行している前記移動体を拡大して撮像するように、前記撮像部の撮像方向および画角を調整する調整部と
    を備えるカメラ。