JP4979840B2 - 移動体検出装置および移動体検出方法 - Google Patents

Description

本発明は、複数枚の画像から構成される動画像中の動き情報に基づき、画像中の移動体を検出する技術に関する。特に人物のように輪郭の形状が変化しながら移動する対象に対し、各移動軌跡がどれくらい、移動物の領域でなく静止物の領域上から算出された移動軌跡らしいか（以下、「静止物らしさ」という。）をあらわす指標を移動軌跡間の距離の重み付けに用い、移動体の領域を検出する移動体検出装置に関する。

移動体の像（以下、単に「移動体」という。）が含まれる画像から、画像中の移動体の領域を抽出することによって移動体を検出する領域抽出技術の研究開発が広く行われてきている。特に移動体が人である場合に、人の領域を抽出する技術は、デジタルビデオカメラやデジタルスチルカメラにおける焦点制御、画質改善処理、自動車の安全運転支援システム、または、ロボットにおける人との衝突回避制御もしくは警報などに、共通して利用される基礎技術である。

画像中の移動体の領域を抽出する技術のうち、一般的な手法として、（１）あらかじめ用意した移動体のモデルと画像中の移動体の候補領域との類似度を評価して、移動体の領域を特定する方法と、（２）画像を複数の小領域に分割して、領域ごとに特徴量を算出し、特徴量を基準として類似する領域を統合することで移動体の領域を特定する方法との２つがある。

前者の代表的な手法として、画像から移動体領域の候補を抽出したのち、抽出した移動体領域の候補に対し、あらかじめ用意した移動体モデルとの類似度を評価して、類似度が高い領域を移動体領域として抽出する手法がある。さらに、歩行する人物等のように、変形しながら移動する移動体の領域を抽出する場合、変形を考慮した移動体モデルを利用する手法がある。例えば、特許文献１では、移動体領域候補として複数の画像から移動体のシルエット画像を抽出する。そして、あらかじめパラメータ化した移動体の変形に関するモデルと、抽出したシルエット画像との類似度を評価し、類似度が高い領域とモデルのパラメータを推定する手法が開示されている。これによって、形状が周期的に変化しながら移動する人物に対しても、パラメータ化したモデルを当てはめることができるため、移動体の領域抽出を可能にしている。

後者の代表的な手法としては、画像を複数の小領域に一旦分割し、各小領域の画素の輝度値に基づいた特徴量を抽出したのち、複数の小領域間の特徴量の類似度を評価して、類似度が高い領域を同一の移動体領域として統合する手法がある。例えば、特許文献２では、画像を矩形の小領域に一旦分割し、小領域の輝度や動き情報に基づいて特徴量を算出し、特徴量の類似度の順番に基づいて小領域を統合することで、移動体の領域抽出を可能にしている。

特開平８−２１４２８９号公報 特開２００６−０３１１１４号公報

しかしながら、従来の領域抽出の技術は、例えば、複数の人物が歩行するシーンなどで、姿勢や大きさなどの変化により、移動体の形状が著しい変化をともなうような場合などに、正しく移動体を抽出することができないという問題がある。

特許文献１に示す、あらかじめ用意したモデルを用いる領域抽出手法では、画像から移動体領域の候補を抽出する必要がある。この時、適切に移動体領域候補を抽出できなければ、移動体をパラメータ化したモデルを正確に移動体領域候補に当てはめることが不可能になる。特に、上述のようなシーンにおいては、移動体の姿勢や大きさなどの変化により移動体の形状が大きく変化するため、移動体領域候補を適切に抽出することは困難である。さらに、移動体領域候補を適切に抽出できたとしても以下のような課題がある。

例えば、人物等を移動体とした場合、移動体のさまざまな姿勢や位置、大きさに起因する画像の変化の幅が非常に大きくなる。このため、移動体モデルのパラメータ化を行う際に膨大な数のパラメータが必要となる。さらに、カメラ動きを伴った画像では、背景の見えの変化が大きなものとなる。このことは、モデルの当てはめ誤りを誘発する。ゆえに、例えば、１つの移動体を複数の移動体として誤って領域抽出したり、抽出対象となる移動体が存在しない領域を移動体として誤って領域抽出したりするなど、正しく移動体を検出することができないという課題がある。

特許文献２に示す領域抽出手法では、特許文献１のようにモデルを作成する代わりに、小領域間の特徴量を用い、特徴量として用いる輝度値や動き情報が類似していない小領域を、異なる領域と判定することにより領域を抽出する。しかし、人物のような移動体では、場所によって輝度値が異なり、また、同一移動体上であっても例えば関節領域両端の小領域間などでは動きが異なる。そのために、同一の移動体上における複数の小領域であるのに、異なる移動体の領域として分離されて抽出されてしまい、正しく移動体を検出することができないといった課題があった。

さらに、移動するカメラで撮影された画像については、カメラ自身の動きによって、隣接する小領域間の動きの類似度が相対的に高くなるため、結果として移動体領域の抽出に失敗してしまう、という課題がある。

そこで本発明では、以上の課題を解決するためになされたものであり、形状が変化しながら移動する人物等の移動体を含み、かつ、移動するカメラで撮影された画像であっても、正しく移動体を検出できる移動体検出装置を提供することを目的とする。

本発明は上述の課題を解決するためになされたものであり、本発明のある局面に係る移動体検出装置は、各々が動画像中の各領域に対応する複数の移動軌跡から、移動体領域を検出する移動体検出装置であって、動画像を構成する２枚以上のピクチャ間における前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡の各々について、当該移動軌跡の静止物らしさを表す静止指標を算出する静止指標算出部と、前記移動軌跡間の類似度を表す距離を算出する距離算出部と、前記移動軌跡の静止指標および前記移動軌跡間の距離に基づいて、任意の静止物の移動軌跡間の距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の距離の比が、変換前と比べて大きくなるような変換処理を行ない、前記移動軌跡間の距離に基づいて、静止物の移動軌跡と移動体の移動軌跡とを分離することにより、移動体の移動軌跡に対応する移動体領域を検出する領域検出部とを備える。

この構成によると、移動軌跡の静止指標に基づいて上記変換処理を行なっている。このため、静止物の移動軌跡と移動体の移動軌跡とが分離しやすくなる。よって、形状が変化しながら移動する人物等の移動体を含み、かつ、移動するカメラで撮影された画像であっても、正しく移動体を検出することができる。

なお、本発明は、このような特徴的な処理部を備える移動体検出装置として実現することができるだけでなく、移動体検出装置に含まれる特徴的な処理部をステップとする移動体検出方法として実現することができる。また、移動体検出方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読取可能な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

本発明によると、形状が変化しながら移動する人物等の移動体を含み、かつ、移動するカメラで撮影された画像であっても、正しく移動体を検出することができる。

図１は、本発明の実施の形態に係る移動体検出装置の構成を示す図である。 図２は、コンピュータにより構成された移動体検出装置のハードウェア構成を示す図である。 図３は、移動体検出装置の動作の手順を示すフローチャートである。 図４は、撮影状況の例を示す図である。 図５Ａは、入力動画像を構成する１フレーム目のピクチャの例を示す図である。 図５Ｂは、入力動画像を構成する１フレーム目とＴフレーム目の間のフレームのピクチャの例を示す図である。 図５Ｃは、入力動画像を構成するＴフレーム目のピクチャの例を示す図である。 図６Ａは、動きベクトルの例を示す図である。 図６Ｂは、移動軌跡の例を示す図である。 図７は、移動体検出装置における静止指標算出部の構成を示す図である。 図８は、カメラ幾何拘束の分類を示す図である。 図９Ａは、エピポーラ拘束を説明する図である。 図９Ｂは、ホモグラフィ拘束を説明する図である。 図１０は、構造一致性拘束を説明する図である。 図１１Ａは、ピクチャ中の移動軌跡および対応する静止指標の大きさの例を示す図である。 図１１Ｂは、図１１Ａでの静止指標の大きさと矢印の太さとの関係を示す図である。 図１２は、移動体検出装置における距離算出部の構成を示す図である。 図１３Ａは、ピクチャ上の複数の移動軌跡の一例を示す図である。 図１３Ｂは、移動軌跡間のデータ分布とユークリッド距離について示す図である。 図１３Ｃは、移動軌跡間のデータ分布と測地距離について示す図である。 図１４は、移動軌跡間のユークリッド距離と測地距離について示す図である。 図１５は、移動体検出装置におけるサブクラス分類部の構成を示す図である。 図１６Ａは、ピクチャ上の複数の移動軌跡の一例を示す図である。 図１６Ｂは、移動軌跡からなる高次元空間の概念図である。 図１６Ｃは、領域数Ｍ＝２としたときの移動軌跡のサブクラスへの分類処理について説明する図である。 図１６Ｄは、領域数Ｍ＝３としたときの移動軌跡のサブクラスへの分類処理について説明する図である。 図１７は、重み付き距離算出部の構成を示す図である。 図１８は、サブクラス間測地距離について示す概念図である。 図１９Ａは、移動体および背景上にそれぞれ属する移動軌跡の例をシーン画像に重畳して示した概念図である。 図１９Ｂは、図１９Ａに示したシーン中に存在する移動軌跡について、サブクラス分類部でクラス分類を行った結果を高次元空間上で示した図である。 図１９Ｃは、静止指標付加部が各移動軌跡に対して静止または移動の判定を行った結果を示す図である。 図１９Ｄは、サブクラス単位で静止または移動の評価を行った結果を示す図である。 図１９Ｅは、重み付けルールを示す図である。 図１９Ｆは、重み付けルールにより算出した重み付き測地距離を、高次元空間上で示した図である。 図２０Ａは、高次元空間上の移動軌跡およびサブクラスを示す図である。 図２０Ｂは、サブクラスの分類結果を示す図である。 図２０Ｃは、サブクラスの統合結果の表示例を示す図である。 図２０Ｄは、サブクラスの統合結果の表示例を示す図である。 図２１は、実施の形態の変形例１に係る移動体検出装置の構成を示す図である。 図２２は、移動体検出装置における静止指標算出部の構成を示す図である。 図２３は、重み付き距離算出部の詳細な構成を示す図である。 図２４は、静止指標算出部の静止指標画像作成部が作成する画像の一例を示す図である。 図２５Ａは、領域分割結果の表示例を示す図である。 図２５Ｂは、領域分割結果の表示例を示す図である。 図２６Ａは、実施の形態の変形例２に係る移動体検出装置の構成を示す図である。 図２６Ｂは、サブクラス分類部の構成を示す図である。 図２７Ａは、実施の形態の変形例３に係る移動体検出装置の構成を示す図である。 図２７Ｂは、サブクラス分類部の構成を示す図である。 図２８Ａは、多次元空間における次元圧縮前の移動軌跡のデータ分布を示す図である。 図２８Ｂは、図２８Ａに示した移動軌跡の多次元空間を次元圧縮した空間を示す図である。 図２８Ｃは、クラスタリング処理を次元圧縮されたデータに適用した結果を示す図である。 図２８Ｄは、移動する人物のデータに対し、非線形空間上でクラスタリング処理を行った例を示す図である。 図２９Ａは、実施の形態の変形例４に係る移動体検出装置の構成を示す図である。 図２９Ｂは、サブクラス分類部の構成を示す図である。 図３０Ａは、移動軌跡の例を示す図である。 図３０Ｂは、移動軌跡からなる多次元空間を示す図である。 図３０Ｃは、ユークリッド距離の最大値よりも閾値が大きい場合のクラスタリング結果を示す図である。 図３０Ｄは、ある閾値Ｒ_１に対するクラスタリング結果を示す図である。 図３０Ｅは、閾値Ｒ_１よりも小さい閾値Ｒ_２に対するクラスタリング結果を示す図である。 図３１Ａは、実施の形態の変形例５に係る移動体検出装置の構成を示す図である。 図３１Ｂは、サブクラス分類部の構成を示す図である。 図３１Ｃは、サブクラス分類部の他の構成を示す図である。 図３１Ｄは、サブクラス分類部のさらに他の構成を示す図である。 図３２Ａは、実施の形態の変形例６に係る移動体検出装置の構成を示す図である。 図３２Ｂは、静止指標算出部の構成を示す図である。 図３３Ａは、実施の形態の変形例７に係る移動体検出装置の構成を示す図である。 図３３Ｂは、距離算出部の構成を示す図である。 図３３Ｃは、重み付き距離算出部の構成を示す図である。 図３３Ｄは、重み付き距離算出部の構成を示す図である。 図３４は、サブクラス間ユークリッド距離について示す概念図である。 図３５Ａは、実施の形態の変形例８に係る移動体検出装置の構成を示す図である。 図３５Ｂは、静止指標算出部と重み付き距離算出部の構成を示す図である。 図３６Ａは、カメラ動きが大きい場合の、高次元空間上のサブクラスの分布を示す概念図である。 図３６Ｂは、カメラ動きが小さい場合の、高次元空間上のサブクラスの分布を示す概念図である。 図３６Ｃは、サブクラス観測値距離への重み付けルールを示す図である。 図３６Ｄは、カメラ動きが大きい場合の、サブクラス間測値距離に重み付けを行なった後の、高次元空間上のサブクラスの分布を示す概念図である。 図３６Ｅは、カメラ動きが小さい場合の、サブクラス間測値距離に重み付けを行なった後の、高次元空間上のサブクラスの分布を示す概念図である。 図３７は、実施の形態の変形例９に係る移動体検出装置の構成を示す図である。 図３８は、実施の形態の変形例９に係る移動体検出装置の別の構成を示す図である。 図３９Ａは、実施の形態の変形例１０に係る移動体検出装置の構成を示す図である。 図３９Ｂは、重み付け距離算出部の構成を示す図である。 図４０は、本発明に必須の構成要素を備える移動体検出装置の構成を示す図である。

以下、本発明の実施の形態について、図面を用いて説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、構成要素、構成要素の接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、特許請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

本発明の一実施形態は、各々が動画像中の各領域に対応する複数の移動軌跡から、移動体領域を検出する移動体検出装置であって、動画像を構成する２枚以上のピクチャ間における前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡の各々について、当該移動軌跡の静止物らしさを表す静止指標を算出する静止指標算出部と、前記移動軌跡間の類似度を表す距離を算出する距離算出部と、前記移動軌跡の静止指標および前記移動軌跡間の距離に基づいて、任意の静止物の移動軌跡間の距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の距離の比が、変換前と比べて大きくなるような変換処理を行ない、前記移動軌跡間の距離に基づいて、静止物の移動軌跡と移動体の移動軌跡とを分離することにより、移動体の移動軌跡に対応する移動体領域を検出する領域検出部とを備える。

好ましくは、領域検出部は任意の静止物の移動軌跡間の測地距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の測地距離の比が、変換前と比べて大きくなるような変換処理を行ない、前記移動軌跡間の測地距離に基づいて、静止物の移動軌跡と移動体の移動軌跡とを分離することにより、移動体の移動軌跡に対応する移動体領域を検出するもので、前記測地距離は、２つの移動軌跡以外の移動軌跡を中継点として前記２つの移動軌跡の一方から他方にたどりつく経路の距離である。

この構成によると、移動軌跡の静止指標に基づいて上記変換処理を行なっている。このため、静止物の移動軌跡と移動体の移動軌跡とが分離しやすくなる。よって、形状が変化しながら移動する人物等の移動体を含み、かつ、移動するカメラで撮影された画像であっても、正しく移動体を検出することができる。

好ましくは、前記静止指標算出部は、前記複数の移動軌跡から各移動軌跡が静止物の移動軌跡である場合に成立する幾何拘束を推定し、推定した前記幾何拘束を満たす度合いを前記静止指標として算出する。

さらに好ましくは、前記静止指標算出部は、複数の移動軌跡からエピポーラ拘束、ホモグラフィ拘束、三重線形拘束および構造一致性拘束のいずれかの幾何拘束を推定し、推定した前記幾何拘束を満たす度合いを前記静止指標として算出する。

また、前記領域検出部は、前記移動軌跡間の距離に基づいて、前記移動軌跡間の測地距離を算出し、前記移動軌跡の静止指標に基づいて、算出した各測地距離に対して、重み付け前に比べ、任意の静止物の移動軌跡間の測地距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の測地距離の比が大きくなるような重みを付けることにより、重み付き測地距離を算出する重み付き距離算出部と、前記重み付き距離算出部が算出した前記重み付き測地距離に基づいて、前記重み付き測地距離が所定の閾値以上となる移動軌跡同士を異なるクラスに分類することにより、各ピクチャ上の静止物の領域と移動体の領域を分割する領域分割部とを含んでいてもよい。

移動するカメラで撮影した動画像中において、人物のように、姿勢や位置、大きさなどが時間的に変化するような移動体に対しても、移動軌跡の静止物らしさを表す評価値を、移動軌跡間の測地距離への重み付けに利用することで、画像中の移動体を確実に検出することができる。

好ましくは、前記距離算出部は、移動軌跡間の類似度を表す測地距離を算出し、前記重み付き距離算出部は、前記静止指標に基づいて、前記距離算出部が算出した前記測地距離に対して、重み付け前に比べ、任意の静止物の移動軌跡間の測地距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の測地距離の比が大きくなるような重みを付けることにより、前記重み付き測地距離を算出する。

移動軌跡間の測地距離に対して、静止指標に基づく重みをかけたものを、重み付き測地距離として算出している。これにより、測地距離を求めた後の後処理として、静止物らしさを反映した測地距離の導出を簡易に実現できる。

また、前記距離算出部は、移動軌跡間の類似度を表す線形距離を算出し、前記重み付き距離算出部は、前記静止指標に基づいて、前記距離算出部が算出した前記線形距離に対して、重み付け前に比べ、任意の静止物の移動軌跡間の線形距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の線形距離の比が大きくなるような重みを付けることにより、重み付き線形距離を算出し、算出した前記重み付き線形距離から前記重み付き測地距離を算出してもよい。

これにより、線形距離を重み付けするだけで、つまり、重み付き距離算出部における前処理として重み付き線形距離を算出するだけで、静止物らしさを反映した測地距離の算出を実現できる。

また、前記領域検出部は、前記移動軌跡間の距離に基づいて、前記移動軌跡間の測地距離を算出する重み付き距離算出部と、静止物の移動領域と移動体の移動領域を異なるクラスに分類するか否かを判断するために用いられる前記測地距離の閾値に対して、前記静止指標に基づく重みを付けることにより得られる重み付き閾値と前記重み付き距離算出部が算出した前記測地距離との比較結果から静止物の移動軌跡と移動体の移動軌跡とを分離することにより、各ピクチャ上の静止物の領域と移動体の領域を分割する領域分割部とを含んでいてもよい。

この構成によると、距離に重みを掛けて重み付き距離を算出するのではなく、閾値に重み付けを行っている。このため、重み付き距離を算出するのに必要な演算時間や重み付き距離を保持するためのメモリ容量を削減することができる。

具体的には、前記領域分割部は、２つの移動軌跡の静止指標がそれぞれ「静止物」および「静止物」を表す値であるときの前記測地距離の閾値に対する重みを、２つの移動軌跡の静止指標がそれぞれ「移動体」および「静止物」を表す値であるときの前記測地距離の閾値に対する重みよりも大きくする。

また、上述の移動体検出装置は、さらに、前記複数の移動軌跡を、各々が類似する移動軌跡の部分集合である複数のサブクラスに分類するサブクラス分類部を備え、前記重み付き距離算出部は、移動軌跡の静止指標、移動軌跡間の距離、およびサブクラスの分類結果に基づいて、前記静止指標に基づく前記重みが付けられたサブクラス間の測地距離を算出し、前記領域分割部は、前記重み付き距離算出部が算出した前記サブクラス間の測地距離に基づいて、静止物のサブクラスと移動体のサブクラスとを分離することにより、各ピクチャ上の静止物の領域と移動体の領域を分割してもよい。

この構成によると、サブクラスごとに静止物の領域および移動体の領域のいずれかに分類される。各サブクラスは類似する移動軌跡の部分集合である。このため、より正しく移動体の領域を求めることができる。

好ましくは、前記距離算出部は、移動軌跡間の類似度を表す測地距離を算出し、前記重み付き距離算出部は、サブクラス間の測地距離の代表値に対して、サブクラスに含まれる移動軌跡の静止指標の代表値に基づく重みをかけることにより、前記サブクラス間の測地距離を算出する。

この構成では、サブクラス間の測地距離の代表値に対して重みを掛けている。このため、静止物らしさを反映したサブクラス間の測地距離の導出を簡易に実現できる。

また、前記距離算出部は、移動軌跡間の類似度を表す線形距離を算出し、前記重み付き距離算出部は、サブクラス間の線形距離の代表値に対して、サブクラスに含まれる移動軌跡の静止指標の代表値に基づく重みをかけ、重み付けされたサブクラス間の線形距離の代表値に基づいて、前記サブクラス間の測地距離を算出してもよい。

この構成では、サブクラス間の線形距離の代表値に対して重みを掛けた上で、サブクラス間の測地距離を算出している。このため、静止物らしさを反映したサブクラス間の測地距離の導出を簡易に実現できる。

また、前記重み付き距離算出部は、２つのサブクラス間で、前記２つのサブクラスに含まれる移動軌跡の静止指標の代表値がそれぞれ「移動体」および「静止物」を表す値であったときに、前記サブクラス間の測地距離の前記重みを、１よりも大きい値に設定してもよい。

さらに、前記重み付き距離算出部は、２つのサブクラス間で、前記２つのサブクラスに含まれる移動軌跡の静止指標の代表値がそれぞれ「静止物」および「静止物」を表す値であったときに、前記サブクラス間の測地距離の前記重みを、１未満の値に設定してもよい。

さらにまた、前記重み付き距離算出部は、２つのサブクラス間で、前記２つのサブクラスに含まれる移動軌跡の静止指標の代表値がそれぞれ「移動体」および「移動体」を表す値であったときに、前記サブクラス間の測地距離の前記重みを、１に設定してもよい。

このような簡単な重み付けのルールを設けることで、単純な重み設定で移動体の領域と静止物の領域とを分離することができる。

また、前記サブクラス分類部は、移動軌跡間の類似度に基づいて、各移動軌跡を前記複数のサブクラスのいずれかに分類してもよい。

また、前記サブクラス分類部は、移動軌跡間での、各移動軌跡に属するブロック同士の輝度の類似度に基づいて、各移動軌跡を前記複数のサブクラスのいずれかに分類してもよい。

また、前記サブクラス分類部は、前記移動軌跡間の測地距離を算出する第２距離算出部と、前記第２距離算出部が算出した前記移動軌跡間の測地距離の次元圧縮を行い、次元圧縮された前記移動軌跡間の測地距離に基づいて、各移動軌跡を前記複数のサブクラスのいずれかに分類するクラスタリング部とを含んでいてもよい。

測地距離の次元圧縮を行うことにより、膨大な計算が必要とせずに、非線形空間でクラスタリングを行うことによって、特に、形状が変化しながら移動する人物等を含むピクチャにおいても安定にクラスタリングできる。

また、前記サブクラス分類部は、前記複数の移動軌跡のそれぞれについて、当該移動軌跡から他の移動軌跡までの複数の距離のうち、前記所定の距離閾値以下の距離を選択し、選択しなかった距離を無限大に変更する非線形化をした後に、当該移動軌跡から他の移動軌跡までの最短経路を求めることにより、前記測地距離を算出し、移動軌跡間の測地距離が有限の値となる移動軌跡の集まりを同一のサブクラスに分類することにより、各移動軌跡を前記複数のサブクラスのいずれかに分類してもよい。

測地距離が無限大となる移動軌跡の組は不連続とすることによって、不連続点をもとに移動軌跡をサブクラスに分類することができる。

また、前記静止指標算出部は、静止物の移動軌跡に対して成立する幾何拘束を推定するための移動軌跡から前記幾何拘束を推定し、推定した前記幾何拘束に基づいて、前記距離算出部において距離を算出するのに用いられる各移動軌跡の静止指標を算出してもよい。

幾何拘束を推定するための移動軌跡から幾何拘束を推定している。このため、より安定にかつ正確な幾何拘束を求めることができるため、より安定かつ正しく移動体の検出を行うことができる。

好ましくは、上述の移動体検出装置は、さらに、前記動画像を撮影するカメラの動き情報を取得するカメラ動き取得部を備え、前記重み付き距離算出部は、前記カメラの動きの大きさに基づいて、重み付けの際の静止指標の重みを変化させる。

具体的には、前記重み付き距離算出部は、前記カメラの動きが大きいほど、静止物の移動軌跡と移動体の移動軌跡との間の距離の重み付けを大きくする。

カメラの動き情報を取得することにより、静止指標の算出を正確に行うことができる。このため、正しく移動体を検出することができる。

また、上述の移動体検出装置は、さらに、前記動画像を撮影するカメラの動き情報を取得するカメラ動き取得部を備え、前記重み付き距離算出部は、前記２つのサブクラスの静止指標の代表値がそれぞれ「移動体」および「静止物」を表す値であったときに、前記２つのサブクラス間の測地距離に重み付けを行い、前記カメラの動きが所定の閾値以上の場合の重みをＷＢとし、前記カメラの動きが前記所定の閾値よりも小さい場合の重みをＷＳとした場合に、ＷＢ＞ＷＳ＞１の関係を満たすようにしてもよい。

さらに、上述の移動体検出装置は、さらに、前記動画像を撮影するカメラの動き情報を取得するカメラ動き取得部を備え、前記重み付き距離算出部は、前記２つのサブクラスの静止指標の代表値がそれぞれ「静止物」および「静止物」を表す値であったときに、前記２つのサブクラス間の測地距離に重み付けを行い、前記カメラの動きが所定の閾値以上の場合の重みをＷＢとし、前記カメラの動きが前記所定の閾値よりも小さい場合の重みをＷＳとした場合に、ＷＢ＜ＷＳ＜１の関係を満たすようにしてもよい。

この構成によると、カメラの動きが大きい場合と小さい場合とで適切に重みを変更することができる。このため、正しく移動体を検出することができる。

好ましくは、前記カメラ動き取得部は、カメラに対する操作制御信号から前記カメラの動き情報を取得する。

カメラの動き情報をカメラの操作制御信号から取得することにより、カメラの動きが大きい場合であっても、正確なカメラの動き情報を取得することができる。よって、正しく移動体の領域を求めることができる。

また、前記カメラ動き取得部は、車載センサから前記カメラの動き情報を取得してもよい。

例えば、車輪速・舵角といった車体の操作情報を電子的に取得できればなおよい。車載カメラの場合、車載センサからカメラの動き情報を取得できれば、安定してカメラの動き情報を取得でき、正しく移動体の領域を求めることができる。なお、多くの場合、車載カメラは固定されているため、ＧＰＳからカメラ位置の情報を求めることもできる。

また、前記重み付き距離算出部は、さらに、前記移動軌跡の静止指標と静止指標閾値とを比較することにより、前記静止指標閾値以下の静止指標を有する前記移動軌跡を静止物の移動軌跡と判断し、前記静止指標閾値よりも大きい静止指標を有する前記移動軌跡を移動体の移動軌跡と判断してもよい。

また、前記重み付き距離算出部は、静止指標閾値を受け付ける閾値入力部を含み、前記移動軌跡の静止指標と前記閾値入力部が受け付けた前記静止指標閾値とを比較することにより、前記静止指標閾値以下の静止指標を有する前記移動軌跡を静止物の移動軌跡と判断し、前記静止指標閾値よりも大きい静止指標を有する前記移動軌跡を移動体の移動軌跡と判断し、前記領域検出部は、さらに、検出した前記移動体領域を前記表示部に表示させても良い。

これにより、移動体領域の検出結果を確認しながら、静止指標閾値を変更することができるため、より早く最適な静止指標閾値を決定することができる。

また、前記静止指標算出部は、さらに、前記ピクチャを構成する各ブロックを、算出した前記静止指標の値に応じた表示態様で、表示部に表示させても良い。

静止指標閾値は静止指標の値の分布に大きく依存するといえる。したがって、静止指標の値とその画像上での分布が確認できれば、領域分割処理を最後まで行なうことなく、静止指標閾値を調整できる。これにより、より早く最適な静止指標閾値を決定することができる。

なお、本発明の移動体検出装置は、各処理部をハードウェアにより構成することにより実現されるだけでなく、上記各処理部が実行する処理をステップとする移動体検出方法として実現したり、移動体検出方法が含むステップをコンピュータに実行させるためのプログラムとして実現したり、そのプログラムを格納したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体として実現したり、動画像において動きをもつオブジェクトの領域を抽出、または、分割する画像処理装置等として実現することもできる。

図１は、本実施の形態に係る移動体検出装置の構成を示す図である。図１に示されるように、移動体検出装置１００は、画像入力部１０１、移動軌跡算出部１０２、静止指標算出部１０３、距離算出部１０４、サブクラス分類部１０５、重み付き距離算出部１０６、および領域分割部１０７を備える。移動体検出装置１００は、動画像中の移動体領域の全部又は一部の領域を特定する領域分割をすることによって動画像中の移動体を検出する装置である。つまり、移動体検出装置１００は、動画像中の複数の領域にそれぞれ対応する複数の移動軌跡から、移動体に対応する領域を検出する装置である。本実施の形態では、移動体検出装置１００は、カメラ１１０で撮影した動画像を入力として受け、動画像中の移動体領域を検出し、検出結果に基づいてピクチャを生成して出力する。ディスプレイ１２０は、移動体検出装置１００から出力されるピクチャを表示する。本明細書中では、ピクチャのことを画像ともいう。

画像入力部１０１は、動画像を構成する複数枚のピクチャの入力を受け付ける処理部であり、例えば、カメラ、または、カメラと接続された通信インタフェース等である。

移動軌跡算出部１０２は、画像入力部１０１で受け付けた複数枚のピクチャをもとに、複数枚のピクチャ間の対応点を複数求め、複数の移動軌跡として出力する処理部である。つまり、移動軌跡算出部１０２は、画像入力部１０１で受け付けられたピクチャを構成する１個以上の画素からなるブロックごとに、動画像を構成する時間的に隣接する２枚のピクチャ間での当該ブロックの動きを検出し、検出した動きを前記複数枚のピクチャについて連結することで、複数の移動軌跡を算出する。ピクチャ間の対応点は、ピクチャの１画素ごとに対応点を求めてもよいし、ピクチャ内の隣接する複数の画素（ブロック）ごとに１つの対応点を求めるとしてもよい。本明細書では、ある対応点が、１画素ごとに求められたか、複数の画素に対して１つ求められたかを区別しない。また、あるピクチャの画素ｉに対応する他のピクチャの対応点、および、あるピクチャのブロックｉに対応する他のピクチャの対応点を、いずれも画素ｉの移動軌跡と呼ぶものとする。

静止指標算出部１０３は、移動軌跡算出部１０２で求めた移動軌跡の各々に対し、幾何拘束を適用し、各移動軌跡の静止物らしさを表す静止指標を求める処理部である。つまり、静止指標算出部１０３は、動画像を構成する２枚以上のピクチャ間におけるピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡の各々について、当該移動軌跡の静止物らしさを表す静止指標を算出する。静止指標に用いる幾何拘束に関しては、詳しくは後述する。

距離算出部１０４は、移動軌跡算出部１０２で求めた複数の移動軌跡から、Ｔ枚（Ｔ＞＝２）のピクチャ間にわたる対応点である移動軌跡をＮ個抽出し、抽出した移動軌跡より、２つの移動軌跡間の類似度を表す距離を算出する。

なお、本明細書における２つの移動軌跡間の「距離」は、対応する２次元画像空間における２点の間の距離だけでなく、後述するように、多次元のデータ間の算術的な距離を含む。なお、一般的に距離と類似度は相反する関係がある。すなわち、２つのデータ間の距離が小さい場合、類似度が高く、逆に２つのデータの距離が大きい場合、類似度が低いものとする。

また、本明細書において「線形距離」及び「測地距離」の２種類の距離を定義しているが、「線形距離」は２つのデータ間のみから求まる距離のことを指し、「測地距離」は、後述するように２つのデータ以外の点を経由することで求められる距離のことを指す。

なお、本明細書における「線形距離」は、一般的に用いられる「線形距離」を包含する、より広い概念の距離であり、すなわち移動軌跡間のピクチャ座標における位置、速度、加速度等といった幾何的な類似度を表す指標となる距離である。「線形距離」の代表的なものとして本明細書では「ユークリッド距離」を以降説明のため用いる。前記の距離の詳細な例については、距離算出部１０４の説明の部分にて後述する。

なお、本明細書において「静止」、「移動」とは、特に断りが無い限り、地球（地面）に固定した世界座標系を基準として、世界座標系における位置が、時間的に変化しない対象物を静止物、時間的に変化する対象物を移動体として説明する。ただし、「静止」、「移動」の基準を上記に限定するものではなく、例えば、移動する車両の内部を車内に設置されたカメラで撮影する場合などは、車両に固定された世界座標系を基準として、その位置が時間的に変化しない対象物を静止物、時間的に変化する対象物を移動体と扱っても良い。

サブクラス分類部１０５は、移動軌跡算出部１０２で求めた複数の移動軌跡に対して、軌跡間距離、あるいは速度などの類似度をもとに、複数の移動軌跡を、各々が少なくとも１つの移動軌跡を含む複数のサブクラスにクラスタリングする。つまり、サブクラス分類部１０５は、動画像を構成する複数枚のピクチャにわたる、各々がピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類する。

重み付き距離算出部１０６は、静止指標算出部１０３の出力である各移動軌跡に付随する静止指標と、距離算出部１０４の出力である各移動軌跡間の距離と、サブクラス分類部１０５の出力である各移動軌跡がどのサブクラスに属するかのラベル情報とに基づき、静止指標で重み付けされたサブクラス間の測地距離（以下、適宜「サブクラス間測地距離」という。）を算出する。

つまり、重み付き距離算出部１０６は、移動軌跡間の距離に基づいて、移動軌跡間の測地距離を算出し、移動軌跡の静止指標に基づいて、算出した各測地距離に対して、重み付け前に比べ、任意の静止物の移動軌跡間の測地距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の測地距離の比が大きくなるような重みを付けることにより、重み付き測地距離を算出する。

具体的には、重み付き距離算出部１０６は、まず各移動軌跡間の測地距離を求めたのち、サブクラス間での代表測地距離を求める。また、重み付き距離算出部１０６は、各サブクラスにおける静止指標の代表値を求める。重み付き距離算出部１０６は、サブクラスの静止指標が、予め定めた静止指標閾値を超えるか超えないかにより、各サブクラスが移動体らしいか、静止物らしいかを求め、求めた結果を重みとしてサブクラス間の代表測地距離にかけることで、サブクラス間の測地距離を算出する。つまり、重み付き距離算出部１０６は、サブクラスの静止指標と静止指標閾値とを比較することにより、静止指標閾値以下の静止指標を有するサブクラスを静止物のサブクラスと判断し、静止指標閾値よりも大きい静止指標を有するサブクラスを移動体のサブクラスと判断する。静止指標の条件や、重み付けの基準などについて、詳しくは後述する。

最後に、領域分割部１０７は、重み付き距離算出部１０６より算出されたサブクラス間測地距離に基づき、複数のサブクラスの領域統合を行い、最終的に得られた領域分割結果を、例えば、特定された領域ごとに異なる表示態様となるように、画像処理を施し、ディスプレイ１２０などに表示可能な形式として出力する。つまり、領域分割部１０７は、重み付き距離算出部１０６が算出した重み付き測地距離に基づいて、重み付き測地距離が所定の閾値以上となる移動軌跡同士を異なるクラスに分類することにより、各ピクチャ上の静止物の領域と移動体の領域を分割する。

本明細書において、「領域抽出」とは、ある特定の対象物が存在する画像領域を抽出する検出技術と、対象物が何であるかの区別なくピクチャ中の領域を分割する領域分割技術との、両者を含んでいる。検出技術と領域分割技術とは共通する部分が多いため、本明細書においては両者を区別しない。

また、本明細書において、「移動体検出」とは、基準となる座標系に対して移動している物体が存在する画像領域のみを特定する検出技術と、相対的に異なる移動をしている物体ごとにピクチャ中の領域を分割する領域分割技術の両者を含んでいる。

なお、移動体検出装置１００を構成する各構成要素（画像入力部１０１、移動軌跡算出部１０２、静止指標算出部１０３、距離算出部１０４、サブクラス分類部１０５、重み付き距離算出部１０６、領域分割部１０７）は、コンピュータ上で実行されるプログラム等のソフトウェアで実現されてもよいし、電子回路または集積回路等のハードウェアで実現されてもよい。図２は、ソフトウェアによって実現された本実施の形態に係る移動体検出装置のハードウェア構成を示す図である。図２において、カメラ１１０はピクチャを撮影して出力し、コンピュータ２００はピクチャを取得して移動体抽出処理を行って、領域抽出結果を表示するピクチャを生成する。ディスプレイ１２０はコンピュータ２００で生成されたピクチャを取得して表示する。コンピュータ２００は、Ｉ／Ｆ（インタフェース）２０１、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０４、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２０５およびビデオカード２０６を含む。コンピュータ２００を動作させるプログラムは、ＲＯＭ２０３またはＨＤＤ２０５にあらかじめ保持されている。プログラムは、プロセッサであるＣＰＵ２０２によって、ＲＯＭ２０３またはＨＤＤ２０５からＲＡＭ２０４に読み出されて展開される。ＣＰＵ２０２はＲＡＭ２０４に展開されたプログラム中のコード化された各命令を実行する。Ｉ／Ｆ２０１は、プログラムの実行に応じて、カメラ１１０で撮影されたピクチャを、ＲＡＭ２０４へ取り込む。ビデオカード２０６は、プログラムの実行に応じて生成されたピクチャを出力し、ディスプレイ１２０がそのピクチャを表示する。

なお、コンピュータプログラムは、半導体であるＲＯＭ２０３またはＨＤＤ２０５に限られず、例えばＣＤ―ＲＯＭに格納されていてもよい。また、有線や無線のネットワーク、放送などを介して伝送され、コンピュータのＲＡＭ２０４に取り込まれてもよい。

以下、本実施の形態に係る移動体検出装置１００の動作を、図３を用いて説明する。

図３は、本実施の形態に係る移動体検出装置１００の動作を表すフローチャートである。

図３において、７つのステップＳ３０１〜Ｓ３０７は、それぞれ図１の各処理部１０１〜１０７に対応している。すなわち、画像入力部１０１は画像入力ステップＳ３０１、移動軌跡算出部１０２は移動軌跡算出ステップＳ３０２、静止指標算出部１０３は静止指標算出ステップＳ３０３、距離算出部１０４は距離算出ステップＳ３０４、サブクラス分類部１０５はサブクラス分類ステップＳ３０５、重み付き距離算出部１０６は距離算出ステップＳ３０６、領域分割部１０７は領域分割ステップＳ３０７の各動作を実行する。

最初に、画像入力ステップＳ３０１が、画像入力部１０１により実行される。つまり、画像入力部１０１は、カメラ１１０から、動画像を構成する複数のピクチャを取得する。本実施の形態では、カメラ１１０から取得される動画像は３０フレーム／秒の動画像である。

図４は、撮影状況の一例を示す図である。また、図５Ａ〜図５Ｃは、カメラ１１０によって、図４の撮影状況を撮影して取得した複数のピクチャの例を示す。画像入力部１０１により、１フレームからＴフレームまでのＴ枚（Ｔ＞＝２）のピクチャが入力されたものとする。本実施の形態では、ピクチャの数Ｔはあらかじめ定められており、３０フレーム（Ｔ＝３０）とする。図５Ａは１フレーム目のピクチャを示し、図５ＣはＴフレーム目のピクチャを示し、図５Ｂは１フレーム目とＴフレーム目の間のフレームのピクチャを示す。

次に、移動軌跡算出ステップＳ３０２が、移動軌跡算出部１０２により実行される。つまり、移動軌跡算出部１０２は、画像入力部１０１から複数のピクチャを入力し、ピクチャ間の画素の動き情報（対応点）を検出して、移動軌跡を生成して出力する。複数のピクチャ間の画素の動き情報（対応点）を求める手法として、ここでは１フレームのピクチャ上における全ての画素（Ｉ個）を基準として、２フレームからＴフレームまでの（Ｔ−１）枚のピクチャ上の対応する画素を求める。

以下、本実施の形態では、画素単位の処理について説明するが、複数の画素からなるブロック単位で処理をする場合には、（ｉ）ブロック内で画素値を合計したり、（ｉｉ）ブロック内の画素値の平均値を求めたり、（ｉｉｉ）ブロック内の画素値の中央値を求めたりすることで、ブロックに対応するデータ（代表値）を求め、得られた代表値を用いて画素単位の処理と同様に処理すればよい。

例えば、ステップＳ３０１にてＴ枚のピクチャが入力されたと仮定すると、移動軌跡算出部１０２は、ｔフレームとｔ＋１フレームの２枚のピクチャを用いて、画素ｉの動きベクトルとして対応点の画素座標値（ｘ_t ⁱ，ｙ_t ⁱ，ｘ_t+1 ⁱ，ｙ_t+1 ⁱ）を推定する。ここでは、必ずしもフレームが連続している必要はなく、例えば、ｔフレームとｔ＋ｎフレームの２枚のピクチャを用いて画素の動きを求めてもよい。ただし、ｎは１以上の整数である。

上記した複数のピクチャ間の対応点を算出する具体的な手法としては、非特許文献１または非特許文献２などに開示されている方法を用いてもよい。ともに、オプティカルフローを計算することにより動きベクトルを算出する手法であり、非特許文献１は階層的なブロックマッチングをベースに、オプティカルフローを算出する。画素間の滑らかさを拘束条件とするため、隣り合うオプティカルフロー間で動きベクトルが滑らかに変化するようなオプティカルフローを得る。特に急峻な動きや遮蔽がない場合に効率的かつ正確な対応点が求められる。また、推定の信頼度を計算できるため、後述するように、信頼度がある閾値より低い対応点を以降の処理より除くことで、全動きベクトルに対する誤った動きベクトルの割合を低減でき、より正確な移動体検出を行えるという効果がある。

これに対して、非特許文献２はグラフカットベースのオプティカルフロー算出手法であり、計算コストは高いが、正確な対応点がピクチャ上で密に求まる。また、この手法によると、オクルージョンの領域も推定できるため、後述するようにオクルージョン領域に位置する対応点を以降の処理より除くことで、全動きベクトルに対する誤った動きベクトルの割合を低減でき、より正確な移動体検出を行えるという効果がある。さらなる詳細は各文献に記載されているため、その詳細な説明は省略する。
Ｐ．Ａｎａｎｄａｎ，"Ａ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｆｒａｍｅｗｏｒｋ ａｎｄ ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ Ｍｅａｓｕｒｅｍｅｎｔ ｏｆ Ｖｉｓｕａｌ Ｍｏｔｉｏｎ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｖｏｌ．２， ｐｐ．２８３−３１０，１９８９ Ｖｌａｄｉｍｉｒ Ｋｏｌｍｏｇｏｒｏｖ ａｎｄ Ｒａｍｉｎ Ｚａｂｉｈ， "Ｃｏｍｐｕｔｉｎｇ Ｖｉｓｕａｌ Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ ｗｉｔｈ Ｏｃｃｌｕｓｉｏｎｓ ｖｉａ Ｇｒａｐｈ Ｃｕｔｓ"， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２００１

さらに、移動軌跡算出部１０２は、画素の動きとして、前記動きベクトルの代わりにアフィンパラメータを推定してもよい。この時、すべての画素について動き情報を求めてもよい。また、より高速に処理を行いたい場合には、ピクチャをグリッドに区切って一定間隔のグリッド上の画素についてのみ動き情報を求めてもよいし、上述したように、ピクチャをブロックに区切ってブロックごとに動き情報を求めてもよい。

さらに、非特許文献１の開示技術を用いて動きベクトルを算出する場合は、前述したようにその信頼度を計算することができるため信頼度の高い動き情報を持つ画素のみを用いてもよい。また、非特許文献２の開示技術を用いて動きベクトルを算出する場合は、前述したようにオクルージョンを推定することができる。そのため、遮蔽（しゃへい）されていない画素の動き情報のみを用いてもよい。

さらに、画素の動きを算出する手法として、前記したブロックの並進移動を仮定して動きベクトルを算出する方法の代わりに、ブロックのアフィン変形を仮定して動きベクトルを算出する方法を用いてもよい。アフィン変形を仮定して動きベクトルを算出する方法は、非特許文献３の開示技術を用いて実現することができる。
Ｊｉａｎｂｏ Ｓｈｉ ａｎｄ Ｃａｒｌｏ Ｔｏｍａｓｉ "Ｇｏｏｄ Ｆｅａｔｕｒｅｓ ｔｏ Ｔｒａｃｋ"， ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ５９３−６００，１９９４

上記手法では、ｔフレームとｔ＋１フレームのピクチャの画素ｉ近傍の動きに相当するアフィンパラメータＡ_t ⁱを推定する。画素ｉについて、ｔフレームとｔ＋１フレームにおけるピクチャ上での画素位置ｘ_t ⁱとｘ_t+1 ⁱは（式１）に示す関係がある。

上記手法では、特に回転運動をする物体に対して、並進移動を仮定して動きベクトルを算出する手法を用いる場合よりも、高精度に画素ｉの動きを推定することができる。

そして、移動軌跡算出部１０２は、時間的に異なるＴ枚のピクチャ間で算出された前記画素の対応点から移動軌跡ｉを算出する。以下、画素ｉの移動軌跡を、移動軌跡ｉと呼ぶこととする。図６Ａに示すように、移動軌跡算出部１０２は、ｔフレームの入力ピクチャ６０１の画素ｉ６０３ａ、画素ｋ６０３ｂに基づきステップＳ３０２において算出された動きベクトル情報６０２を用いて、画素ｉ６０３ａ、画素ｋ６０３ｂの動きを追跡し、画素ｉ６０３ａ、画素ｋ６０３ｂの対応点を求める。この時、移動軌跡算出部１０２は、１フレームのピクチャ上のある画素ｉの座標値（ｘ₁ ⁱ，ｙ₁ ⁱ）と、ｔフレームにおける画素ｉの対応点の画素座標値（ｘ_t ⁱ，ｙ_t ⁱ）とから、（式２）のように移動軌跡ｘⁱを算出する。

本実施の形態において、移動軌跡ｘⁱは、１フレームからＴフレームまでのＴ枚のピクチャ間にわたる対応点であるものとする。

図６Ｂは、移動軌跡の例を示す。移動軌跡算出部１０２に入力された動画像は、Ｔ枚のピクチャ６０４で構成されている。このとき移動軌跡ｘⁱ６０６ａ、ｘ^k６０６ｂは、１フレームのある画素ｉ６０５ａ、画素ｋ６０５ｂにそれぞれ対応する、２フレームからＴフレームのピクチャ上の対応点の集まりである。移動軌跡ｘⁱ６０６ａ、ｘ^k６０６ｂは、各ピクチャのピクチャ座標値を要素とするベクトルで表される。

なお、移動軌跡算出部１０２においてピクチャ間の対応点を求める際、ピクチャの全ての画素ごとに対応点を求める代わりに、ピクチャ内の隣接する複数の画素（ブロック）ごとに対応点を求めるものとしてもよい。本明細書において、ある対応点が１画素ごとに求められたものか、または複数の画素に対して１つの対応点が求められたかを区別しない。また、あるピクチャの画素ｉに対応する他のピクチャの対応点、および、あるピクチャのブロックｉに対応する他のピクチャの対応点を、いずれも画素ｉの移動軌跡と呼ぶものとする。

次に、静止指標算出ステップＳ３０３は、静止指標算出部１０３により実行される。つまり、静止指標算出部１０３は、移動軌跡算出部１０２で算出された複数の移動軌跡のそれぞれについて静止指標を算出する。ここで移動軌跡の静止指標とは、ある移動軌跡が静止物上の移動軌跡である尤もらしさを表す指標である。

静止指標算出部１０３は、静止物上の移動軌跡が満たすべき幾何拘束を推定したのち、求めた幾何拘束を各移動軌跡が満たす度合いを表す誤差を求め、この誤差を静止指標とする。すなわち、ある移動軌跡の静止指標の値が小さい（誤差が小さいほど）、静止物上の移動軌跡である尤もらしさは高いことを表す。逆に、ある移動軌跡の静止指標の値が大きい（誤差が大きい）ほど、静止物上の軌跡である尤もらしさは低いことを表すものとする。

図７は、静止指標算出部１０３の構成を示す。静止指標算出部１０３は、各フレーム間で静止物体上の対応点が満たすべき幾何拘束を推定する幾何拘束推定部７０１と、幾何拘束を元に、移動軌跡の静止物らしさからの外れ具合、すなわち移動軌跡の移動体らしさ（以下、「移動体らしさ」という）の度合いを表す幾何拘束誤差を算出する誤差算出部７０２とを含む。

以下、静止指標算出部１０３で用いる幾何拘束について説明する。

幾何拘束については、図８に示すように、様々な拘束が知られている。

「２眼」または「３眼」は、フレーム数あるいはカメラの数についての条件を示す。「２眼」は、２枚の画像間において成立する拘束のことを示し、例えば、１台のカメラを使ったものでも、動画像のように時間をずらして撮影された画像が複数枚あればよい。同様に、「３眼」は、３枚の画像間において成立する拘束のことを示す。複数枚の画像は、連続した異なるフレームから取得してもよいし、複数台カメラがある場合は、それぞれから１枚ないし複数枚の画像を取得して利用しても良い。なお、本実施の形態では、連続フレームから取得した画像を利用するものとする。

以上の大分類についてそれぞれ代表的なものを２つずつ、計４つの拘束の種類を図８に示す。

エピポーラ拘束（Ｅｐｉｐｏｌａｒ Ｃｏｎｓｔｒａｉｎｔ）は、カメラ幾何拘束のなかでも最も標準的に用いられる拘束条件である。エピポーラ拘束は、疎な対応点に対してうまく働くが、正確な対応点が好ましく、また、フレーム間でのカメラ位置の基線長が大きいほうが好ましい、という特徴がある。

図９Ａはエピポーラ拘束について説明するための図である。

第１フレームの画像上の点ｐ₁ ⁱに射影される静止点Ｘは、第２フレームの画像上では、エピポーラ線と呼ばれるエピポールｅ₂を通る直線ｌ₂上に、存在する点ｐ₂ ⁱに射影される。したがって、対応点ｐ₂ ⁱがエピポーラ線ｌ₂から一定閾値以上の距離を外れた場合、その対応点は静止物ではなく、移動体上の点である、と判定できる。なお、一定の閾値については、対応点の誤差等のノイズにもよるが、一般的には０〜数画素の範囲内で設定される。

エピポーラ拘束は、３×３行列で表される基礎行列Ｆ_1,2によって以下のように与えられる。

ここで、ｐ₁ ⁱは、（ｘ₁ ⁱ，ｙ₁ ⁱ，１）の形式で示される第１フレームの画像上の画素ｉの画素位置、ｐ₂ ⁱは、同じく（ｘ₂ ⁱ，ｙ₂ ⁱ，１）の形式で示される、ｐ₁ ⁱに対応する第２フレームの画像上の対応点画素位置である。ｌ₁ ⁱ，ｌ₂ ⁱはエピポーラ線である。

一般的に基礎行列Ｆ（（式５）では基礎行列Ｆ_1,2）は、８点法、６点法等でＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）等の繰り返し計算により推定される。特に、シーンに立体点が多い場合は、８点の対応点から基礎行列Ｆを計算により求めて推定する８点法を用い、平面上の点が多い場合は、ホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）行列を利用してエピポールを求める６点法を用いると、より安定に基礎行列Ｆを推定できる。

図９Ｂはホモグラフィ拘束について説明するための図である。

ホモグラフィ拘束は、例えば被写体が平面で仮定される場合や、カメラの動きが回転のみの場合などに成り立つ拘束条件である。ホモグラフィ拘束は、カメラ動きは小さくてもよく、またノイズにも強く、密な対応点に適している。

図９Ｂに示すように、あるシーン平面π上の点Ｘπが射影された第１フレームの画像での点ｐ₁ ⁱと第２フレームの画像での点ｐ₂ ⁱとについて、３×３行列で表されるホモグラフィ行列Ｈ_1,2による以下の変換式が成立する。

ここで、ｐ₁ ⁱは、（ｘ₁ ⁱ，ｙ₁ ⁱ，１）の形式で示される第１フレームの画像上の点ｐ₁の画素位置、ｐ₂ ⁱは、同じく（ｘ₂ ⁱ，ｙ₂ ⁱ，１）の形式で示される、点ｐ₁に対応する第２フレームの画像上の点ｐ₂の画素位置を示す。一般的にはホモグラフィ行列Ｈ（（式６）ではＨ_1,2）は、平面上の４点以上の点を用いて、ＲＡＮＳＡＣなどを用いて画像から推定することができる。

したがって、対応点が変換式から外れていれば、３次元点Ｘπは平面から外れているということになる。シーンを平面であると仮定している場合は、静止指標算出部１０３は、ホモグラフィ変換式から外れた対応点は、移動体上の点であると判定する。

三重線形（Ｔｒｉｌｉｎｅａｒ）拘束は、２眼間で成り立つエピポーラ拘束を、３眼間での拘束条件に発展させたものである。三重線形拘束は、ある空間の静止点に対応する３枚のフレームの画像上での対応点について考えた場合、第１フレームでのカメラ中心と第１フレームの画像上の対応点とを結ぶ直線、第２フレームでのカメラ中心と第２フレームの画像上の対応点とを結ぶ直線、及び第３フレームでのカメラ中心と第３フレームの画像上の対応点とを結ぶ直線が、１点で交わるための拘束条件を与えるものである。この拘束はｔｒｉｆｏｃａｌ ｔｅｎｓｏｒと呼ばれるテンソルにより表現されるもので、第１フレームの画像上で点ｐ₁ ⁱ、第２フレームの画像上で点ｐ₂ ⁱ、第３フレームの画像上で点ｐ₃ ⁱに射影されているある３次元空間上の静止点Ｘについて、３×３行列で表されるテンソルＴ_ｊ（ｊ＝１〜３）によって以下の（式７）が成り立つ。

ここでｐ₁ ^i(j)は、ｐ₁ ⁱのｊ番目の成分を示すものとする。また、０_3×3は、全ての成分が０である３×３の行列である。一般的には、Ｔ_ｊは、７点の対応点を用いて線型方程式を解き、ＬＭｅｄＳなどによる繰り返し計算を行うことで求めることができる。

エピポーラ拘束、ホモグラフィ拘束、三重線形拘束について、より詳しい説明は、非特許文献４に記載されているため、詳細は省略する。

図１０は、構造一致性拘束（Ｓｔｒｕｃｔｕｒｅ Ｃｏｎｓｉｓｔｅｎｃｙ Ｃｏｎｓｔｒａｉｎｔ）について説明するための図である。

構造一致性拘束は、ホモグラフィ拘束を発展させたものであり、射影デプス（Ｐｒｏｊｅｃｔｉｖｅ Ｄｅｐｔｈ）と呼ばれるホモグラフィ面πからの相対的なデプスを用い、静止物の拘束条件とするものである。図１０に示すように、第１フレームの画像上の点ｘに写る３次元点Ｘを、そのまま第２フレームの画像上に射影した点は点ｘ’となるが、もしＸが、Ｘπ’で示される平面π上の点であっても、第２フレームの画像上では点ｘ’に投影される。このとき、第１フレームの画像上ではＸπ’は、点ｘ^〜に写る。Ｘが、ｘ’とＸπ’とを結ぶ直線に沿って、平面πから離れれば離れるほど、ｘ^〜とｘとの間の距離は大きくなる。このとき、図１０に示すように、ｘ、ｘ^〜、ｘ’、およびエピポールｅ、ｅ’はそれぞれ第１フレームにおけるカメラ１１０の位置Ｃ１と、第２フレームにおけるカメラ１１０の位置Ｃ２と点Ｘとがなす平面上に必ず存在する。すなわち、点ｘおよびエピポールｅの距離と、点ｘ^〜およびエピポールｅの距離との比に着目することで、参照平面πを基準とした相対的なデプス表現（射影デプス）を実現できる。

このとき、射影デプスの値ｋ₁₂ ⁱは、以下の式で計算される。

ここで、ｐ₁ ⁱは、（ｘ₁ ⁱ，ｙ₁ ⁱ，１）の形式で示される第１フレームの画像上の点の画素位置を示す。ｅ₁は（ｕ，ｖ，１）の形式で示される、第１フレームの画像上のエピポールの画素位置を示す。Ｈ₂₁は、参照平面π上の点について、第２フレームの画像上の点を、第１フレームの画像上の点に射影する３×３のホモグラフィ行列を示す、ｐ₂ ⁱは、（ｘ₂ ⁱ，ｙ₂ ⁱ，１）の形式で示される、ｐ₁ ⁱに対応する第２フレームの画像上の点の画素位置を示す。これらより、対応点の存在する全てのピクセルについて、射影デプスｋ₁₂ ⁱを求めることができる。

ここで、静止物に対する幾何拘束を推定するには最低３フレームの画像を用いる必要がある。点Ｘが静止しているときには、以下に示すように、画像上の点と射影デプスについて、４×４行列Ｇ_{１，２，３}を介した以下のバイリニアな拘束式が成立する。

なお、ｐ₁ ⁱとｐ₂ ⁱは前述のとおり対応点関係にあるものとし、ｋ₂₃ ⁱは、ｋ₁₂ ⁱ同様に第２フレームの画像と第３フレームの画像の対応点の間で求められる射影デプスである。

したがって、このＧ_{１，２，３}を画像から推定し、画像中で拘束式を満たさない画素を求めることで、各画素について、静止物と移動体のどちらに属するかを推定することができる。Ｇ_{１，２，３}は、１５点を用いて、ＬＭｅｄＳなどによる繰り返し計算などで推定することができる。

構造一致性拘束について、より詳しい説明は、非特許文献５に記載されているため、これ以上の詳細な説明は省略する。
Ｒｉｃｈａｒｄ Ｈａｒｔｌｅｙ ａｎｄ Ａｎｄｒｅｗ Ｚｉｓｓｅｒｍａｎ，"Ｍｕｌｔｉｐｌｅ−Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ"，ｓｅｃｏｎｄ ｅｄ．Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖ． Ｐｒｅｓｓ， ２００３ Ｃｈａｎｇ Ｙｕａｎ，Ｇｅｒａｒｄ Ｍｅｄｉｏｎｉ，Ｊｉｎｍａｎ Ｋａｎｇ ａｎｄ Ｉｓａａｃ Ｃｏｈｅｎ，"Ｄｅｔｅｃｔｉｎｇ Ｍｏｔｉｏｎ Ｒｅｇｉｏｎｓ ｉｎ ｔｈｅ Ｐｒｅｓｅｎｃｅ ｏｆ ａ Ｓｔｒｏｎｇ Ｐａｒａｌｌａｘ ｆｒｏｍ ａ Ｍｏｖｉｎｇ Ｃａｍｅｒａ ｂｙ Ｍｕｌｔｉｖｉｅｗ Ｇｅｏｍｅｔｒｉｃ Ｃｏｎｓｔｒａｉｎｔｓ"，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ Ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２９，Ｎｏ．９，Ｓｅｐｔｅｍｂｅｒ ２００７

以上が静止指標算出部１０３で用いる幾何拘束の例である。

幾何拘束推定部７０１は、上述した幾何拘束を推定する。どの幾何拘束を用いるかは、シーンおよび状況によって利用者が選択してもよい。

ホモグラフィ拘束を利用する場合は、画像からホモグラフィＨを推定し、エピポール拘束を用いる場合は、基礎行列Ｆを推定し、構造一致性拘束を用いる場合は、行列Ｇを推定し、それぞれ誤差算出部７０２へ出力する。

誤差算出部７０２は、幾何拘束推定部７０１が推定した幾何拘束を元に、各画素に対応する移動軌跡の静止物らしさを表す静止指標Ｅを算出する。

幾何拘束を満たさない点は、静止物である可能性が低いと言えるため、推定した幾何拘束を元に、各画素に対応する移動軌跡の静止物らしさからの外れ具合、すなわち移動体らしさの度合いを表す幾何拘束誤差を、静止物らしさの静止指標Ｅとして算出する。静止指標Ｅは、静止物に対して理想的に０となるような評価値を利用する。

本実施の形態において、静止指標Ｅを算出するための幾何拘束として、エピポーラ拘束を利用する。具体的には、ある画素ｉについての第１フレームから第Ｔフレームまでの静止指標Ｅ（ｉ）として以下の（式１０）を用いる。

なお、ホモグラフィ拘束を利用する場合は、以下の式の値を静止指標Ｅ（ｉ）とすればよい。画像平面上における、最投影誤差が評価値になっている。

なお、構造一致性拘束を利用する場合は、以下の式の値を静止指標Ｅ（ｉ）とすればよい。バイリニア拘束式の値が評価値になっている。

もちろん、ここに挙げた以外にも、静止物に対して０になり、移動体に対して０以外の値をとるような指標であれば、静止物らしさの静止指標Ｅとして利用してよい。つまり、静止物上の移動軌跡に対して理想的に０となる評価値であって、かつ、より静止物らしくない、例えば、より速い速度で移動するような移動体上の移動軌跡に対しては、０から＋方向へより大きくなるような評価値をとる指標であれば、その評価値を静止指標Ｅとして利用できる。

なお、ここでは静止指標Ｅとして単一の幾何拘束を用いる例を示したが、複数の幾何拘束及び幾何拘束誤差を同時に静止指標Ｅに組み込んで利用しても良い。例えば、ホモグラフィ拘束とエピポール拘束を同時に利用する場合は、以下の（式１３）によって静止指標Ｅを求めることができる。ここで、λ₁とλ₂は、各幾何拘束誤差値のバランスを指定するための値であり、例えばどちらも１とすることができる。単一の幾何拘束誤差では誤差感度が低い部分が生じるが、複数の誤差を利用することで、誤差感度のバラつきをカバーすることができ、より安定に静止指標Ｅの値を求めることができる。

移動軌跡の静止物らしさを示す静止指標Ｅの例を図１１Ａに示す。図中では、移動軌跡の静止物らしさを示す静止指標Ｅの大きさを、矢印の線の太さによって表している。つまり、図１１Ｂに示すように、矢印の線が細いほど静止指標Ｅが小さく静止物らしい。なお、カメラ自身が前方へ移動しているため、背景の移動軌跡においても、大きな動きが生じている。また、矢印の方向は移動軌跡の方向を示している。

図１１Ａに示すように、ほとんどの場合、移動体上の移動軌跡では静止指標Ｅが大きな値となり、背景上の移動軌跡では静止指標Ｅが小さな値となる。例えば、右側の歩行人物１１０１の脚部上の移動軌跡における静止指標Ｅｉは大きく（例えばＫＬＴ（Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ）対応点とエピポーラ拘束を用いた場合、動きの大きさにも依存するが、例えば静止指標Ｅｉは５程度）、背景上の移動軌跡における静止指標Ｅｊは小さくなる（例えばＫＬＴ対応点とエピポーラ拘束を用いた場合、大きくても静止指標Ｅｊは０．５程度）。このように、移動体上の移動軌跡と静止物上の移動軌跡とでは、静止指標Ｅの大きさが大きく異なる場合、静止指標Ｅに基づいて、移動体上の移動軌跡と背景上の移動軌跡とを区別できるといえる。

しかし、移動体上の移動軌跡であっても、偶然に背景上の移動軌跡に近くなり、その結果、静止指標Ｅが小さくなる場合がある。例えば、左側の歩行人物１１０２上の移動軌跡の静止指標Ｅｋは、偶然背景と類似した軌跡になったために静止指標Ｅの値が小さくなっている。さらには、背景上の移動軌跡であっても、移動軌跡算出の誤差によって、静止指標Ｅの値が大きくなる場合がある。このように、移動軌跡の静止物らしさを示す静止指標Ｅには、移動体上の移動軌跡の静止指標（例えば、Ｅｋ）と、背景上の移動軌跡の静止指標（例えばＥｊ）の値が近くなる場合がある。その結果、移動体上の移動軌跡であっても、背景として誤検出されてしまうことがある。

このような誤検出を防ぐため、本実施の形態では、移動軌跡の静止物らしさを示す静止指標に加えて、移動軌跡間の類似度を加味して移動軌跡をクラスタリングすることで、安定に移動体を検出することを目指す。より具体的には、移動軌跡の静止物らしさを示す静止指標を、後述する移動軌跡間の類似度に基づいたクラスタリングへの重み付けとして用いる。

次に、距離算出ステップＳ３０４は、距離算出部１０４によって実行される。つまり、距離算出部１０４は、移動軌跡算出部１０２が算出した複数の移動軌跡ｘⁱを用いて、移動軌跡間の類似性を表す距離を算出する。すなわち、画素ｉの移動軌跡と画素ｊの移動軌跡との間のユークリッド距離ｆ（ｉ，ｊ）および測地距離ｇ（ｉ，ｊ）を段階的に算出する。ここで、ユークリッド距離、測地距離はともに、移動軌跡の類似性を表す距離であるため、全く等しい移動軌跡間ではどちらも０となり、逆に移動軌跡間の類似性が低いほど、正のより大きな距離値（∞含む）をとるような距離である。

以下、距離算出部１０４において、移動軌跡間の類似度を表す距離を算出する方法について、図１２を参照しながら説明する。

図１２（ａ）は、距離算出部１０４の構成の一例を示す図である。距離算出部１０４は、ユークリッド距離算出部１２０１と、移動軌跡間測地距離算出部１２０２とを含む。

図１２（ａ）の構成によれば、ユークリッド距離算出部１２０１は、（式１４）により、画素ｉの移動軌跡と画素ｊの移動軌跡とのユークリッド距離ｆ（ｉ，ｊ）を算出する。

ここで（式１４）によって算出されるユークリッド距離ｆ（ｉ，ｊ）は、表記の都合上、全ての移動軌跡間について定義したが、ユークリッド距離として有限な値となるのは、Ｎ個の移動軌跡ｘⁱの間でのみとなる。

なお、本実施の形態におけるユークリッド距離は、（式１４）によって算出するとしたが、この式に限定するものではない。ユークリッド距離は、（式１４）と同様に、移動軌跡間のピクチャ座標における位置、動き、加速度、回転速度などのような、幾何的な類似度を表す指標であればよく、例えば、下記の（式１５）を用いてもよい。

（式１５）において、ｗは重み係数であり、設計者が設定するパラメータである。上記（式１５）の移動軌跡間のユークリッド距離ｆ（ｉ，ｊ）は、移動軌跡間におけるピクチャ座標の距離の時間平均に、ピクチャ座標の距離の時間変動成分を加えたものである。特に移動軌跡間距離の時間変動成分は、移動軌跡の動きの類似度を示すものであり、これによって、形状変化を伴うような場合でも、より正確に移動軌跡間の類似度を捉えることができる。

以上の手順で算出した移動軌跡間のユークリッド距離ｆ（ｉ，ｊ）の集まりを、ユークリッド距離マトリクスＦ_ｄｉｓｔとして表す。

続いて、距離算出部１０４の移動軌跡間測地距離算出部１２０２は、移動軌跡間のユークリッド距離ｆ（ｉ，ｊ）から測地距離ｇ（ｉ，ｊ）を算出する。

以降、移動軌跡間測地距離算出部１２０２において、ユークリッド距離ｆ（ｉ，ｊ）から測地距離ｇ（ｉ，ｊ）を算出する動作を詳しく説明する。

まず、移動軌跡間測地距離算出部１２０２は、ユークリッド距離算出部１２０１が算出したユークリッド距離ｆ（ｉ，ｊ）に対してあらかじめ定められた閾値Ｒを用いて、（式１７）で示される非線形化された距離ｆ´（ｉ，ｊ）を算出する。

次に、移動軌跡間測地距離算出部１２０２は、非線形化された距離ｆ´（ｉ，ｊ）から、測地距離を算出する。「測地距離」とは、ある空間に定義された複数のデータ点について、それらのデータ点間の接続、及び接続されたデータ点間の距離が得られているときに、ある２つのデータ点間を結び得る全ての経路の距離のうちの最短の距離である。

したがって、移動軌跡間測地距離算出部１２０２は、第ｉの移動軌跡ｘⁱから第ｊの移動軌跡ｘ^jまでの測地距離の算出においては、他の複数の移動軌跡のいずれかを中継点として第ｉの移動軌跡ｘⁱから第ｊの移動軌跡ｘ^jに辿りつく全ての経路のうちの最短の経路を、測地距離として算出する。

例えば、移動軌跡ｘⁱと移動軌跡ｘ^jの２点間を直接結ぶノードの距離ｆ´（ｉ，ｊ）が得られているとする。このとき移動軌跡ｘⁱと移動軌跡ｘ^jの２点間を結ぶ経路は、２点を直接結ぶノード以外に、別の移動軌跡ｘ^sを中継する経路もある。この経路の距離をｆ´（ｉ，ｓ）＋ｆ´（ｓ，ｊ）とする。このような移動軌跡ｘⁱと移動軌跡ｘ^jの２点間を結ぶ経路は複数あり、それらの距離のうちで最も短い距離を測地距離ｇ（ｉ，ｊ）として算出する（式１８）。

（式１８）において、ｍｉｎ（ｘ，ｙ，…）は、値ｘと値ｙなどのうち最も小さい値を返す関数である。また、ｓは、移動軌跡ｘ^sであり、移動軌跡ｘⁱから移動軌跡ｘ^jに辿（たど）りつくための中継点である。ここで、ｆ´（ｉ，ｓ）＋ｆ´（ｓ，ｊ）における中継点ｓは１点に限るものではない。

上述した測地距離の算出における２点間の最短経路を探索する手法の詳細は、例えば非特許文献６のダイクストラ法が広く知られているため、ここでは処理手順の詳細説明を省略する。
Ｅ．Ｗ．Ｄｉｊｋｓｔｒａ，"Ａ ｎｏｔｅ ｏｎ ｔｗｏ ｐｒｏｂｌｅｍｓ ｉｎ ｃｏｎｎｅｘｉｏｎ ｗｉｔｈ ｇｒａｐｈｓ"，Ｎｕｍｅｒｉｓｃｈｅ Ｍａｔｈｅｍａｔｉｋ，ｐｐ．２６９−２７１，１９５９

上記した手順により、移動軌跡間測地距離算出部１２０２は、長時間継続する移動軌跡間のユークリッド距離ｆ（ｉ，ｊ）から測地距離ｇ（ｉ，ｊ）を算出する。なお、測地距離の計算方法は、前記（式１７）及び（式１８）に限定されるものではない。

なお、ユークリッド距離と測地距離の最も異なる点は、距離を求める２データ点と、他のデータ点との間の関係である。他のデータ点の状態に左右されることなく、２つのデータ点のみから定義されるのがユークリッド距離であり、それに対して、２つのデータ点、及び２つのデータ点間を結び得る経路上にある他のデータ点を含む距離として定義される、すなわち他のデータ点の状態から影響を受ける可能性があるのが測地距離である。

算出した移動軌跡間の測地距離ｇ（ｉ，ｊ）の集まりを、測地距離マトリクスＧ_distとして表す（式１９）。

以上の手順によって、移動軌跡間測地距離算出部１２０２は、Ｎ個の移動軌跡間の類似度を表す測地距離ｇ（ｉ，ｊ）を算出し、測地距離マトリクスＧ_distとして出力する。

上記した複数の移動軌跡間のユークリッド距離から測地距離を算出する処理について、図１３Ａ〜図１３Ｃの概念図を用いて説明する。

図１３Ａは、ピクチャ上の複数の移動軌跡の一例を示す図である。なお移動軌跡は、背景領域においても算出されるが、表記を容易にするため、ここでは背景領域の移動軌跡を図示しないものとする。

図１３Ｂは、各々が（式２）で示される複数の移動軌跡のデータの分布を示した図である。図１３Ｂ中の「×」印の各データ点は、（式２）で示した画素ｉの移動軌跡ｘⁱに相当する。移動軌跡ｘⁱは独立したＴ×２個の変数からなるベクトルである。したがって、移動軌跡は、本来は最大で（Ｔ×２）次元空間のデータであるが、図１３Ｂでは表記の都合上、３次元空間の点として表している。

図１３Ｂ中の矢印１３０１は、（式１４）で得られる移動軌跡ｘⁱと移動軌跡ｘ^jとの間のユークリッド距離ｆ（ｉ，ｊ）を表す。すなわちデータ点ｉとデータ点ｊとのユークリッド距離１３０１は、データ間を直接結んだ距離になる。

一方、図１３Ｃ中の矢印１３０２は、（式１８）で得られる移動軌跡ｘⁱと移動軌跡ｘ^jとの間の測地距離ｇ（ｉ，ｊ）を表す。図１３Ｃに示すように、データ点ｉとデータ点ｊとの測地距離１３０２は、中継のデータ点ｓを辿った距離となる。

次に、ユークリッド距離ｆ（ｉ，ｊ）と、（式１８）により算出した測地距離ｇ（ｉ，ｊ）の特徴を、図１４（ａ）及び図１４（ｂ）の概念図を用いてより詳しく説明する。

ピクチャ内の移動体について、頭部の移動軌跡ｘⁱと手先部の移動軌跡ｘ^jとのユークリッド距離を、図１４（ａ）中の矢印１４０１で示す。同図から明らかであるように、移動軌跡間のユークリッド距離１４０１は、距離を求める対象である２つの移動軌跡ｘⁱ、ｘ^jにのみ依存し、他の移動軌跡とは無関係な距離となる。

一方、頭部の移動軌跡ｘⁱと手先部の移動軌跡ｘ^jとの測地距離１４０２を、図１４（ｂ）に示す。この場合、距離を求める対象である２つの移動軌跡ｘⁱ、ｘ^jだけでなく、太矢印１４０２で示すように、ｘ^sをはじめとする近傍の複数の移動軌跡を経由して移動軌跡ｘ^jにたどり着く。したがって、測地距離１４０２は、経由した複数の移動軌跡間の距離の和となるため、移動軌跡ｘⁱ、ｘ^j以外の移動軌跡の影響を受ける。

言い換えると図１４（ａ）のユークリッド距離１４０１は、他の移動軌跡の分布をまったく反映していない。このため、人物のように関節で繋がった移動体において、移動軌跡間の距離は、その形状には依存しない値をとる。これに対して、図１４（ｂ）に示される測地距離１４０２では、他の移動軌跡を反映した距離となっている。したがって関節で繋がった移動体において、移動軌跡間の距離は、移動体の形状に依存する値をとる。すなわち関節における繋がりが情報として距離に含まれるため、人のような形状が変化する移動体検出にも利用できる。

前述したように、（式２）で示される移動軌跡ｘⁱは、数学的には最大で（Ｔ×２）次元空間のデータである。しかし、実際にピクチャから求められる移動軌跡は、図１３Ｂおよび図１３Ｃのように（Ｔ×２）次元空間のごく一部に局在化する性質をもつことが、発明者の実験によっても確認されている。このような性質をもつ移動軌跡に対して、複数の移動軌跡間の類似度を表す距離の尺度としては、データの分布とは無関係に２データ間の距離のみを求めたものであるユークリッド距離（図１４（ａ）のユークリッド距離１４０１）よりも、近傍のデータの粗密を反映した測地距離（図１４（ｂ）の測地距離１４０２）の方が、適していると言える。

なお、移動軌跡間測地距離算出部１２０２において、ユークリッド距離から測地距離を求める手法として、（式１７）および（式１８）を用いる手法を示したが、測地距離の算出方法をこれに限定するものではない。

例えば、あらかじめ定めたＫ個の閾値Ｒｋの代わりに、あらかじめ定めたＫ個の閾値Ｎｋを用いる。そして、ユークリッド距離ｆ（ｉ，ｊ）から非線形化した距離ｆ´ｋ（ｉ，ｊ）を求める処理として、以下の処理を行ってもよい。つまり、閾値Ｒｋ以上のユークリッド距離ｆ（ｉ，ｊ）を無限大に置き換える（式１７）の処理の代わりに、ある移動軌跡ｘⁱと他の（Ｉ−１）個の移動軌跡とのユークリッド距離ｆ（ｉ，ｊ）のうちで、小さいほうからＮｋ番目のユークリッド距離よりも大きいユークリッド距離を無限大で置き換えることによって、非線形化した距離ｆ´ｋ（ｉ，ｊ）を算出してもよい。

また、ユークリッド距離を無限大に置き換える処理の代わりに、小さいほうからｋ番目の移動軌跡とのユークリッド距離よりも大きい移動軌跡とのユークリッド距離を無限大で置き換えることによって、非線形化した距離ｆ´ｋ（ｉ，ｊ）を算出するとしてもよい。

次に、サブクラス分類ステップＳ３０５は、サブクラス分類部１０５により実行される。つまり、サブクラス分類部１０５は、移動軌跡算出部１０２で算出された移動軌跡の集まりを、輝度、または移動軌跡の類似度等の、ある指標によりクラスタリングすることで、サブクラスを生成する。

本実施の形態においてサブクラス分類部１０５は、図１５に示すように、移動軌跡間のユークリッド距離を求めるユークリッド距離算出部１５０１と、ユークリッド距離を元にクラスタリングを行うクラスタリング部１５０２とを含む。

ユークリッド距離算出部１５０１の処理は、距離算出部１０４におけるユークリッド距離算出部１２０１と全く同じ処理であるため、ここでは説明を省略する。

クラスタリング部１５０２は、ユークリッド距離算出部１５０１で算出した移動軌跡ｉと移動軌跡ｊとのユークリッド距離ｆ（ｉ，ｊ）を用い、ｆ（ｉ，ｊ）が小さい順に移動軌跡ｉと移動軌跡ｊとを同一クラスとして束ねていく処理を繰り返すことによってクラスタリングを行う。

図１６Ａの移動軌跡ａ〜ｈに示すように、移動軌跡は同一被写体上であっても、姿勢変化によって部位ごとにそれぞれ異なったものとなる。しかしながら、関節で繋がった物体である限り、特に近傍における移動軌跡は高い類似性を保持していると仮定できる。ここで、高い類似性とは、移動軌跡ｉと移動軌跡ｊとのユークリッド距離ｆ（ｉ，ｊ）が小さいことを意味する。さらに、ユークリッド距離ｆ（ｉ，ｊ）が小さいことは、移動軌跡ｉと移動軌跡ｊとが、移動軌跡からなる高次元空間上に近距離に分布していると解釈することができる。

図１６Ｂに、移動軌跡からなる高次元空間の概念図を示す。概念図では、説明を容易にするため、３次元空間としたが、実際には、（式２）に示したベクトルの各要素が各次元と対応する。つまり、高次元空間は、次元数が２×Ｔの空間である。また、説明の簡略化のため移動軌跡を移動軌跡ａ〜ｈの８本としているが、実際には、画素ごとに求めた移動軌跡を用いてもよいし、ブロック単位で求めた移動軌跡を用いてもよい。ここで、図１６Ｂに示す移動軌跡からなる高次元空間上のデータ点は、それぞれ（式２）に示した一つの移動軌跡に対応する。すなわち、１枚のピクチャ上の領域だけではなく時間的に異なる複数枚のピクチャに渡って画素を追跡した結果に対応する。

そして、移動軌跡からなる高次元空間上の分布の連続性によって移動軌跡をクラスタリングしていくことによって、移動軌跡間の距離の不連続性をもとにクラスタリングを行う。その結果、各クラスは、個別の被写体または被写体の一部に対応することが期待でき、被写体の検出と領域分割を行うことができる。

まず、分割する各領域を次のように表現する。

ここで、Ｍは、領域数であり、利用するシーンに応じて経験的に決定される。

まず、サブクラス分類部１０５は、ユークリッド距離ｆ（ｉ，ｊ）が小さい順に、互いに異なる移動軌跡ｉと移動軌跡ｊとを同一領域ラベルθ_mとする処理を行う。この処理を行う上で、移動軌跡ｉまたは移動軌跡ｊの一方が既に領域θ_kに属している場合には、まだ領域ラベルが付与されていない画素も領域θ_kに属するようにする。さらに、既に移動軌跡ｉと移動軌跡ｊとがそれぞれ異なる領域に属している場合には、領域ラベルを統合する。次に、すべての移動軌跡に対してラベル付けがされ、かつ領域数が規定のＭになっているか否かを判断し、その条件が満たされていない場合には、前述のユークリッド距離ｆ（ｉ，ｊ）が小さい順に移動軌跡ｉと移動軌跡ｊとを同一領域ラベルθ_mとする処理を繰り返す。なお、各領域に属する移動軌跡の数が閾値Ｔ_cluster個以下となる領域については、外れ値（Ｏｕｔｌｉｅｒ）として扱い、その後の処理に用いないよう廃棄してもよい。

サブクラス分類処理の具体例を図１６Ｃ、図１６Ｄを用いて説明する。簡単のため、Ｍ＝２とした場合（図１６Ｃ）と、Ｍ＝３とした場合（図１６Ｄ）について説明する。実際のサブクラス分類時には、十分に移動体の領域を細かな単位に分割するような、より大きなＭを利用することになる。ここで、図１６Ａ〜図１６Ｄの例では、移動軌跡ａと移動軌跡ｂとの距離をｆ（ａ，ｂ）とした時に、ｆ（ａ，ｂ）＜ｆ（ｇ，ｈ）＜ｆ（ｄ，ｅ）＜ｆ（ｂ，ｃ）＜ｆ（ｆ，ｇ）＜ｆ（ｃ，ｄ）である。まず、Ｍ＝２の例について図１６Ｃを用いて説明する。サブクラス分類部１０５は、移動軌跡ａと移動軌跡ｂとの距離ｆ（ａ，ｂ）が最小であるため、移動軌跡ａと移動軌跡ｂに同一の領域ラベルθ₁を付与する。次に、移動軌跡ｇと移動軌跡ｈとの距離ｆ（ｇ，ｈ）が２番目に小さいため、サブクラス分類部１０５は、移動軌跡ｇと移動軌跡ｈに同一の領域ラベルθ₂を付与する。さらに、サブクラス分類部１０５は、３番目に小さい距離である移動軌跡ｄと移動軌跡ｅに対して、同一の領域ラベルθ₃を付与する。次に距離が小さいのは、移動軌跡ｂと移動軌跡ｃとの距離ｆ（ｂ，ｃ）である。ここでは、移動軌跡ｂがすでにラベル付けされているため、サブクラス分類部１０５は、移動軌跡ｃに移動軌跡ｂと同一の領域ラベルθ₁を付与する。次に距離が小さいのは、移動軌跡ｆと移動軌跡ｇとの距離ｆ（ｆ，ｇ）である。サブクラス分類部１０５は、ｆ（ｂ，ｃ）の場合と同様に、移動軌跡ｆに対して移動軌跡ｇと同一の領域ラベルθ₃を付与する。ここでＭ＝３とした場合は、すべての移動軌跡にラベルが付与され、Ｍ＝３となると判断されるため、処理を終了する。

Ｍ＝２という条件設定をした場合には、現在のクラス分類ではその条件を満たさない。このため、サブクラス分類部１０５は、再度、次に小さい距離をなす移動軌跡ｃと移動軌跡ｄについて移動軌跡ｃが属する領域ラベルθ₁と移動軌跡ｄが属する領域ラベルθ₃とを統合する。また、サブクラス分類部１０５は、移動軌跡ａからｅに対して、領域ラベルθ₁を付与する。ここで、すべての移動軌跡にラベルが付与され、Ｍ＝２となると判断されるため、処理を終了する。

本実施の形態では、移動軌跡に対して（式１４）または（式１５）のような距離を計算することによって、画素の位置と動きの類似性とを考慮した領域分割が可能になる。そのため、図１６Ｃのような例において、Ｍ＝２の場合は、左側の人物の動きが、背景の動きと相対的に類似することが反映されて、移動軌跡は、右の人物と、背景および左の人物との２つに分離される。さらに、図１６ＤのＭ＝３の場合は、Ｍ＝２の場合に加えて、左側の人物の動きと背景の動きの違いが反映され、移動軌跡を、背景と、左の人物と、右の人物とに分離することが可能になる。同様に、より大きいＭを利用することにより、サブクラス内に関節を含まないような細かい小領域にまで、移動軌跡をクラスタリングすることができる。

このように、類似した移動軌跡に対して、順々に領域ラベルを付与することによって、高次元空間上で連続している移動軌跡を一つのクラスと判断し、移動軌跡間の距離が大きいところを不連続点として、それぞれのクラスを分離することができる。そして、各クラスに属する移動軌跡を、移動体検出に利用することが可能となる。

なお、以上の説明においては、サブクラス分類部１０５は、移動軌跡算出部１０２で算出された移動軌跡の集まりを、輝度、または移動軌跡の類似度等の、ある指標によりクラスタリングすることで、サブクラスを生成するとしたが、必ずしもサブクラスが複数の移動軌跡を含んでいる必要はない。すなわち、サブクラスがそれぞれが１つの移動軌跡からなるサブクラス分類を行ってもよい。

次に、距離算出ステップＳ３０６は、重み付き距離算出部１０６によって実行される。重み付き距離算出部１０６は、図１７に示すように、代表測地距離算出部１７０１と、静止指標付加部１７０２とを含む。

代表測地距離算出部１７０１は、距離算出部１０４で算出された測地距離、ユークリッド距離を元に、サブクラス分類部１０５で生成されたサブクラス間での測地距離の代表値（代表測地距離）を算出する。続く静止指標付加部１７０２は、静止指標算出部１０３で算出した各画素の静止指標を元に、各サブクラスに含まれる移動軌跡の静止物らしさを示す静止指標を求め、求めた静止物らしさを示す静止指標に基づき、代表測地距離算出部１７０１が算出した各サブクラス間の代表測地距離に重み付けを行う。

まず、代表測地距離算出部１７０１の動作について詳しく説明する。

図１８に、サブクラス分類部１０５で生成された複数のクラスのうち、近接する２つのサブクラスθ_i、θ_jを示す。なお、簡単のため以下の説明では、「サブクラス」を「クラス」とのみ表記する。

クラスθ_i、θ_jに含まれる移動軌跡の集まりをそれぞれＩ、Ｊとし、クラスθ_i、θ_jが含む移動軌跡の個数をそれぞれＮｉ、Ｎｊとすると、Ｉ、Ｊはそれぞれ以下の（式２１）、（式２２）で表せる。

なお、（式２１）、（式２２）に含まれるｘⁱは、（式２）同様、多次元ベクトルの形式で表された移動軌跡である。

ここで、Ｉに含まれる移動軌跡と、Ｊに含まれる移動軌跡との間で求められる距離を、クラス間距離と定義する。ここで、「距離」とはユークリッド距離、測地距離をともに含む概念であるとする。

図１８に、クラス間測地距離の代表値（代表測地距離）の概念図を示す。クラスθ_iから移動軌跡ｘⁱ³１８０１を、クラスθ_jから移動軌跡ｘ^j1１８０２を選択した場合、この２移動軌跡間の測地距離はｇ₃₁（＝ｇ（ｉ₃，ｊ₁））として求まる。これを、Ｉ，Ｊ間における全ての移動軌跡の組み合わせについて計算すると、以下の（式２３）に示すような、複数の測地距離ｇが得られる。

本明細書における移動体領域検出は、Ｉ、Ｊに示すようなクラス内の単一移動軌跡の集まりに着目し、クラス単位のマクロな距離に基づいて動作することで、ピクセル単位で処理をするために生じてしまう静止指標のノイズ・誤検出に対処できる。したがって、クラス間距離の代表値を算出することが望ましい。すなわち、クラス間距離の代表値は、複数クラスに対して、各クラス間の動きまたは位置的な関係を近似できるような代表値であることが望ましい。

前述の望ましい条件を満たす代表距離については、各クラスの移動軌跡間の測地距離の平均値を代表値として用いることができる。これは、複数クラス間において、各クラスが含む移動軌跡間の全組み合わせにあたる複数の測地距離を求め、それらを平均して得られるものである。この場合、代表測地距離Ｇ（θ_i，θ_j）は以下の（式２４）で算出できる。

なお、（式２４）において、測地距離の中に無限大をとるものが含まれる場合（ｇ（ｉ，ｊ）＝∞となる距離）、平均値の計算からはそれらの点を除くものとする。

あるいは、すべてのｇ（ｉ，ｊ）から、それぞれ無限大を除いた最大値ｇｍａｘを求め、ｇ（ｉ，ｊ）＝∞となる距離をｇｍａｘと置き換えて平均値の計算を行っても良い。あるいは、ｇ（ｉ，ｊ）≠∞となるよう、測地距離の計算のみを再度やりなおしてもよい。

なお、この代表測地距離については測地距離の平均値に限るものではない。

以下に示すように、各クラスの移動軌跡間の測地距離の中央値を代表値として用いることもできる。これは、複数クラス間において、各クラスが含む移動軌跡間の全組み合わせにあたる複数の測地距離を求め、それらのメジアンをとって得られるものである。ユークリッド距離の代表値についても、同様に求めて用いることができる。この場合、代表測地距離Ｇ（θ_i，θ_j）は以下の（式２５）で算出できる。

なお、（式２５）において、

は、整数ラベルｉ（ｉ＝１〜Ｎｉ）、整数ラベルｊ（ｊ＝１〜Ｎｊ）に対応する複数の値を有するｇ（ｉ，ｊ）の中央値を返す関数である。

なお、測地距離の中に無限大をとるものが含まれる場合（ｇ（ｉ，ｊ）＝∞）、前述の平均値の計算同様に、中央値の計算からそれらの点を除く。あるいは、すべてのｇ（ｉ，ｊ）から、それぞれ無限大を除いた最大値ｇｍａｘを求め、ｇ（ｉ，ｊ）＝∞となる距離をｇｍａｘと置き換えて中央値の計算を行っても良い。あるいは、ｇ（ｉ，ｊ）≠∞となるよう、測地距離計算のみ再度やりなおしてもよい。

また、以下の（式２７）に示すように、代表測地距離として、各クラスの移動軌跡間の測地距離の最頻値を代表値として用いることもできる。これらの代表値は、複数クラス間において、各クラスが含む移動軌跡間の全組み合わせにあたる複数の測地距離を求めた際に、それらの中でもっとも高頻度で現れる値である。

なお、（式２７）において、

は、整数ラベルｉ（ｉ＝１〜Ｎｉ）、整数ラベルｊ（ｊ＝１〜Ｎｊ）に対応する複数の値を有するｇ（ｉ，ｊ）の最頻値を返す関数である。

なお、測地距離の中に無限大をとるものが含まれる場合（ｇ（ｉ，ｊ）＝∞）、前述の平均値の計算同様に、最頻値の計算からそれらの点を除く。あるいは、すべてのｇ（ｉ，ｊ）から、それぞれ無限大を除いた最大値ｇｍａｘを求め、ｇ（ｉ，ｊ）＝∞となる距離をｇｍａｘと置き換えて最頻値の計算を行っても良い。あるいは、ｇ（ｉ，ｊ）≠∞となるよう、測地距離計算のみ再度やりなおしてもよい。

次に、静止指標付加部１７０２の動作について詳しく説明する。静止指標付加部１７０２は、各クラスに属する移動軌跡の静止指標に基づき、各クラス間の代表測地距離Ｇに対し重み付けを行う。以下、図１９Ａ〜図１９Ｅを参照しながら説明する。

図１９Ａは、移動体および背景上にそれぞれ属する移動軌跡の例をシーン画像に重畳して示した概念図である。分かりやすいように、左側の人物Ａに対応する移動軌跡には“□”、右側の人物Ｂに対応する移動軌跡には“△”、背景に対応する移動軌跡には“×”を付して示している。なお、図１９Ａでは代表的な８本の移動軌跡のみを示しており、実際はより多い数の移動軌跡が存在する。ここでは、見やすくするためその他の移動軌跡を省略して示している。

図１９Ｂは、図１９Ａに示したシーン中に存在する移動軌跡について、サブクラス分類部１０５でクラス分類を行った結果を高次元空間上で示している。ここでも、見易さのため、代表的な移動軌跡について２次元空間上で示す。

シーン中の移動軌跡は、移動体や背景などの被写体自身の動き成分に、カメラの動き成分が加わったものとして観測される。そのため、カメラの動きが大きいほど、移動軌跡の分布（例えば図１９Ｂに示す移動軌跡の分布）においてカメラ動き成分が支配的になり、移動体上の移動軌跡と背景の移動軌跡との区別が困難になる。

例えば、図１９Ａのようにカメラ自身が前方へ大きく動く場合、背景は湧き出し点を中心とした放射状の移動軌跡となる。その結果、図１９Ｂに示す移動軌跡の分布のように、移動体上の移動軌跡と背景の移動軌跡との類似度、および、移動体上の移動軌跡のサブクラスと背景の移動軌跡のサブクラスとの間の類似度が、相対的に高くなる、すなわち、測地距離が短くなってしまう場合がある。言い換えると、カメラの動きが大きいほど、図１９Ｂに示す移動軌跡の分布において、背景の移動軌跡の分布と移動体の移動軌跡の分布とが近づくため、背景のサブクラスと、移動体のサブクラスを、分離統合することができない。

また、図１９Ｃに、静止指標付加部１７０２が各移動軌跡に対して静止または移動の判定を行った結果を示す。図１９Ｃ上に示す移動軌跡は、図１９Ｂに示す移動軌跡と同じものをそれぞれ、２次元空間上の同じ位置に表示している。

ここで、各移動軌跡の静止または移動の判定結果を表す指標を静止判定値Ｅ_MSとする。静止指標付加部１７０２は、各移動軌跡の静止指標Ｅが、ある設定した閾値ＴＨ_MSよりも大きい場合は、移動体と判定、すなわち静止判定値Ｅ_MS＝１とし、それ以外の場合は、静止物であると判定、すなわち静止判定値Ｅ_MS＝０とする（式２９）。閾値ＴＨ_MSについては、シーンや経験により利用者が設定できるが、ここではＴＨ_MS＝１０^-5に設定するものとする。

なお、静止または移動の判定に用いる静止判定値Ｅ_MSは、ここでは０または１の２値で示したが、これは一例であり、静止物、移動体について異なる値であれば前述の２値でなくともよい。

図１９Ｂと図１９Ｃに属する各移動軌跡について、静止または移動の判定結果と実際の結果とを比較すると、移動軌跡１９０１のように、実際は静止物上の移動軌跡であるのに、移動体と誤判定（静止判定値Ｅ_MS＝１）されたり、逆に、移動軌跡１９０２のように、実際は移動体上の移動軌跡であるのに、静止物と誤判定（静止判定値Ｅ_MS＝０）されたりしているケースがあることが分かる。実際に、発明者らの実験においても、同様の事象が確認されている。

そこで、図１９Ｄに示すように、静止指標付加部１７０２は、サブクラス単位で静止または移動の評価を行い、誤判定を修正する。

各サブクラスは、多くの場合、移動体上の小領域、もしくは背景上の小領域として求められる。すなわち、サブクラス内の移動軌跡は全て移動体、もしくは全て静止物、となる、と仮定できる。したがって、静止指標付加部１７０２は、サブクラス単位で静止または移動の評価を行うことで、前述した、図１９Ｃ移動軌跡１９０１および１９０２にみられるような誤判定を修正する。ここで、サブクラス単位の静止または移動の評価判定結果を表す評価値を、サブクラス間静止判定値Ｅ_SUB-MSとする。サブクラス間静止判定値Ｅ_SUB-MSは、移動軌跡の静止判定値Ｅ_MSと同様に、０または１の２値を取るものとする。

サブクラス単位の静止または移動の評価の方法としては、例えば最も簡易な例として、多数決が挙げられる。具体的には、静止指標付加部１７０２は、あるサブクラス内の移動軌跡について、静止判定値Ｅ_MS＝１である移動軌跡の方が多い場合は、そのサブクラス単位の静止または移動の評価を、「移動」、すなわちサブクラス間静止判定値Ｅ_SUB-MS＝１とする。逆に、あるサブクラス内の移動軌跡について、「静止」と判定された移動軌跡の方が多いか、数が同じである場合は、そのサブクラス単位の静止または移動の評価を、「静止」、すなわちサブクラス間静止判定値Ｅ_SUB-MS＝０とする（式３０）。これにより、図１９Ｄに示すように、移動体上の各サブクラスではサブクラス間静止判定値Ｅ_SUB-MS＝１と判断され、静止物上の各サブクラスではサブクラス間静止判定値Ｅ_SUB-MS＝０と判断され、誤判定の影響を除去できる。

なお、ここではサブクラス間静止判定値Ｅ_SUB-MSを、２値の静止判定値Ｅ_MSより求める２値の評価値としたが、以下のようにしてもよい。

すなわち、サブクラス間静止判定値Ｅ_SUB-MSを２値とし、多値の静止評価値Ｅの平均値と、あらかじめ定めた閾値ＴＨ_Eとの大小判定によりサブクラス間静止判定値Ｅ_SUB-MSを求めるというものである（式３１）。

このようにすることで、静止判定値Ｅ_MSの保持のためのメモリ量を節約できる。

本発明の目的は、移動体を背景から分離することである。図１９Ｂに示すように高次元空間上で近接した移動体上のサブクラスと、背景上のサブクラスを、分離統合可能な状態にするためには、互いに静止背景であるサブクラス同士は互いにより近づき、逆に、それぞれ移動体と背景であるサブクラスの間はより離れるような、新たなサブクラス間距離が求まることが望ましい。

そこで、静止指標付加部１７０２は、図１９Ｅに示すような重み付けルールを設定し、サブクラスθ_i，θ_j間で定義される新たなサブクラス間距離である、重み付き測地距離Ｇ_w（θ_i，θ_j）を算出する（式３２，式３３）。

すなわち、２つのサブクラスのサブクラス間静止判定値Ｅ_SUB-MSが、どちらも０であれば、どちらも静止物のサブクラスであり、同じ静止背景に属するといえる。したがって、サブクラス間の距離を近づけてやればよい。そこで、静止指標付加部１７０２は、サブクラス間の代表測地距離Ｇ（θ_i，θ_j）に対して、距離を短くする（近づける）重みＷをかけるものとする。すなわち、Ｗ＜１となるような重みＷｍｉｎをかける。

Ｇ_w（θ_i，θ_j）＝Ｗｍｉｎ・Ｇ（θ_i，θ_j）＜Ｇ（θ_i，θ_j）

また、ある２つのサブクラスのサブクラス間静止判定値Ｅ_SUB-MSが、一方が０、もう一方が１である場合は、それぞれ背景のサブクラスと移動体のサブクラス、すなわち異なる物体のサブクラスである可能性が高いため、サブクラス間の距離を遠ざけてやればよい。そこで、静止指標付加部１７０２は、サブクラス間の代表測地距離Ｇ（θ_i，θ_j）に対して、距離を長くする（遠ざける）ような重みＷをかけるものとする。すなわち、Ｗ＞１となるような重みＷｍａｘをかける。

Ｇ_w（θ_i，θ_j）＝Ｗｍａｘ・Ｇ（θ_i，θ_j）＞Ｇ（θ_i，θ_j）

また、ある２つのサブクラス間のサブクラス間静止判定値Ｅ_SUB-MSが、どちらも１であれば、どちらも移動体のサブクラスである。しかし、背景の場合と異なり、その２つのサブクラスが、同じ移動体上のサブクラスであるか、異なる移動体上のサブクラスかは、サブクラス間静止判定値Ｅ_SUB-MSのみからは判定できない。したがって、重み付けは行わないものとする。すなわち、静止指標付加部１７０２は、サブクラス間の代表測地距離Ｇ（θ_i，θ_j）に対して、Ｗ＝１となるような重みＷｎｅｕをかける。

Ｇ_w（θ_i，θ_j）＝Ｗｎｅｕ・Ｇ（θ_i，θ_j）＝Ｇ（θ_i，θ_j）

なお、説明を容易にするため、ここではサブクラス間静止判定値Ｅ_SUB-MSを、静止判定値Ｅ_MSより求めた２値の評価値としたが、サブクラス間静止判定値Ｅ_SUB-MSを多値としてもよい。例えば、サブクラス間静止判定値Ｅ_SUB-MSは以下の式３４のように静止評価値Ｅより直接求めるとしてもよい。

このようにすることで、より各移動軌跡における静止評価値Ｅの値が反映された形で、サブクラスの静止移動判定を行える。

この場合、重み付けルールを定義する（式３３）は、（式３５）のようになる。すなわち、２つのサブクラスのサブクラス間静止判定値Ｅ_SUB-MSが、どちらもある閾値Ｔｈ_SUB-MS以下であれば、どちらも静止物のサブクラスの場合の重みＷｍｉｎをかけ、２つのサブクラスのサブクラス間静止判定値Ｅ_SUB-MSが、どちらもある閾値Ｔｈ_SUB-MS以上である場合は、どちらも移動体のサブクラスの場合とし、Ｗ＝１となるような重みＷｎｅｕをかけ、それ以外の場合は、それぞれ背景のサブクラスと移動体のサブクラスである場合の重みＷｍａｘをかけるものとする。

なお、重みＷ（θ_ｉ，θ_ｊ）についても説明を容易にするためここではＷｍｉｎ，Ｗｍａｘ，１の３値としたが、多値としてもよい。例えば、サブクラス間静止判定値Ｅ_SUB-MS（θ_ｉ）、Ｅ_SUB-MS（θ_ｊ）が、ともに０に近づくほど、重みＷ（θ_ｉ，θ_ｊ）がＷｍｉｎに近づき、サブクラス間静止判定値Ｅ_SUB-MS（θ_ｉ）、Ｅ_SUB-MS（θ_ｊ）が、ともに大きくなるほど、重みＷ（θ_ｉ，θ_ｊ）が１に近づき、サブクラス間静止判定値Ｅ_SUB-MS（θ_ｉ）、Ｅ_SUB-MS（θ_ｊ）の一方が０に近づき、他方が大きくなるほど、重みＷ（θ_ｉ，θｊ）がＷｍａｘに近づくような、多値の値であればよい。

なお、（式３５）の代わりに、２つのサブクラスがともに静止物である場合にサブクラス間の距離を短くする重み付けを行う（式３６）、または、２つのサブクラスの一方が背景で他方が静止物である場合にサブクラス間の距離を長くする重み付けを行う（式３７）を用いてもよい。

なお、上述した（式３６）の重みＷ（θ_ｉ，θ_ｊ）についてＷｍｉｎ，１の２値としたが、多値としてもよい。例えば、サブクラス間静止判定値Ｅ_SUB-MS（θ_ｉ）、Ｅ_SUB-MS（θ_ｊ）が、ともに０に近づくほど、重みＷ（θ_ｉ，θ_ｊ）がＷｍｉｎに近づき、その他の場合は重みＷ（θ_ｉ，θ_ｊ）が１に近づくような、多値の値であればよい。

なお、上述した（式３７）の重みＷ（θ_ｉ，θ_ｊ）についてＷｍａｘ、１の２値としたが、多値としてもよい。例えば、サブクラス間静止判定値Ｅ_SUB-MS（θ_ｉ）、Ｅ_SUB-MS（θ_ｊ）の一方が０に近づき、他方が大きくなるほど、重みＷ（θ_ｉ，θ_ｊ）がＷｍａｘに近づき、その他の場合は重みＷ（θ_ｉ，θ_ｊ）が１に近づくような、多値の値であればよい。

なお、Ｗｍａｘ，Ｗｍｉｎの値については、カメラ動きの大きさや、移動体の動く速度等にもよるが、例えば、カメラ側が時速１ｋｍで直進する場合は、Ｗｍａｘ＝５、Ｗｍｉｎ＝０．０１を用いることができる。

さらには、サブクラス間静止判定値Ｅ_SUB-MSの信頼度によって、重みを変化させることで、より正しく移動体を背景から分離できる。

もし、サブクラス間静止判定値Ｅ_SUB-MSの信頼度が低い場合、誤判定が起こり、サブクラス間の代表測地距離Ｇ（θ_i，θ_j）に逆方向の重みがかかってしまう可能性がある。

そこで、例えばエピポール誤差を静止指標Ｅとして利用した場合を考えると、特に直進する車に対して、例えば細い路地などで真正面に小さな移動体が存在するような場合、エピポーラ線上の移動体は検出ミスが起こりやすい。このため、静止指標Ｅの信頼度は低くなる。したがって、このような場合は、予めＷｍｉｎ＝０．１、Ｗｍａｘ＝２．５にするなど、Ｗｍｉｎ、Ｗｍａｘをより１に近い値にすることで、誤検出および検出ミスが、重み付き測地距離Ｇ_w（θ_i，θ_j）へ与える悪影響を低減することができる。

逆に、サブクラス間静止判定値Ｅ_SUB-MSの信頼度が高い場合（例えば前述のエピポール誤差の場合、大通りの車道など、真正面に人物のような小さな移動体があらわれにくいような場合）は、逆にＷｍｉｎ＝０．００１、Ｗｍａｘ＝１０にするなど、Ｗｍｉｎ、Ｗｍａｘをより１から遠い値にすればよい。特に、サブクラス間静止判定値Ｅ_SUB-MSが完全に正しく与えられた場合は、Ｗｍａｘ＝∞、とすれば、容易に、移動体を背景から分離することができる。

以上の重み付けルールにより算出した重み付き測地距離Ｇ_w（θ_i，θ_j）を、高次元空間上で示した図を図１９Ｆに示す。図１９Ｂと同様、高次元を便宜上２次元で表示している。

背景に属するサブクラスが、各移動体に属するサブクラスから遠ざかり、図１９Ｂに比べて、移動体と背景の分離が容易に分離可能な状態になったことが分かる。

最後に、領域分割ステップＳ３０７では、領域分割部１０７は、サブクラス分類部１０５で生成された複数のサブクラスθ_p（ｐ＜＝ｍ，ｍ：サブクラス数）を領域分割候補とする。領域分割部１０７は、サブクラスθ_pの領域分割の評価値として、重み付き距離算出部１０６で算出されたサブクラス間の重み付き測地距離Ｇ_w（θ_p，θ_q）に基づいて、サブクラスθ_pの領域分割候補を別個のクラスタとして分割するか否かを判断する。

なお、ここまでサブクラスθ_p，θ_q間の距離として“重み付き測地距離Ｇ_w（θ_p，θ_q）”を用いているが、以下では説明のため、サブクラス間の“重み付き測地距離Ｇ_w（θ_p，θ_q）”を、“サブクラス間測地距離ｈ_p,q”と表記する（ｑ＜＝ｍ、ｍ：サブクラス数）。

具体的には、領域分割部１０７は、サブクラス間測地距離ｈ_p,qが、あらかじめ定められた閾値Ｈｔ以上の場合、対応する２つのサブクラスθ_p、θ_qは、そのサブクラス間の距離が十分離れているクラスとして選択し、個別のクラスとして確定する。

一方、領域分割部１０７は、サブクラス間測地距離ｈ_p,qが、あらかじめ定められた閾値Ｈｔより小さい場合、対応する２つのサブクラスθ_p、θ_qは、同一のクラスとして確定する。つまり、この場合には、分割しないと確定する。そして、領域分割部１０７は、領域分割候補の全てのサブクラスに対して、分割するか否かを判定した後、異なるクラスに属する移動軌跡には異なるラベルθ_mを割り当て、移動軌跡の領域分割情報として出力する。

例えば、図２０Ａに示されるクラス数７のサブクラスについて、各サブクラス間測地距離をｈ_p,qとする（ｐ＝０〜６，ｑ＝０〜６，ｍ＝７）。実際には、サブクラスの数はもっと多いことがあるが、ここでは見やすさのために７つのサブクラスのみ表示する。

図２０Ａに示される，図１９Ａの人物Ａに対応するクラス数２のサブクラス間の測地距離をｈ_1,2とする。ここで、ｈ_1,2≧Ｈｔであるとすると、対応するサブクラスθ₁およびθ₂は、分割される。逆に、ｈ_1,2＜Ｈｔであるとすると、対応するサブクラスθ₁およびθ₂は、分割される。

領域分割部１０７では、以上の手順により、閾値Ｈｔによりラベルを割り当てた移動軌跡のクラスタθ_pから、画像を生成して、ディスプレイ１２０に表示する。

本実施の形態において領域分割部１０７は、画像入力部１０１で受け付けた動画像に対して、統合したサブクラスの結果が視認できる表示態様となるように、入力ピクチャに画像処理を施して出力し、ディスプレイ１２０に表示する。

図２０Ｂ〜図２０Ｄに、領域分割部１０７で生成したピクチャの例を示す。

なお、本実施の形態の移動体検出装置１００の領域分割部１０７において、閾値Ｈｔはあらかじめ定められているものとしたが、これに限定されるものではない。具体的には、領域抽出したい移動体の動きの大きさに応じて閾値Ｈｔを変化させても良いし、移動体が人であるのか車であるのかに応じて閾値Ｈｔを変更しても良い。

閾値Ｈｔは、ある２つの領域分割候補に対して、それらを異なる領域とするか同じ領域とするかの評価基準に相当する。例えば、２つの領域分割候補が２つの移動体にそれぞれ対応する場合、閾値Ｈｔを小さくすることで、２つの移動体の相対的な位置や動きの違いが小さい場合においても、異なる２つの領域として抽出することができる。逆に、閾値Ｈｔを大きくすることで、この２つの移動体の相対的な位置や動きが大きい場合にのみ、２つの領域として抽出することができることとなる。すなわち、閾値Ｈｔの大小によって、領域抽出する対象を変えることができるという効果がある。

図２０Ｂ〜図２０Ｄに、以上の処理を行い、結果をディスプレイに表示した例を示す。サブクラス分類部１０５で算出された各サブクラスに対し、同一移動体として抽出されたサブクラスごとに、一つの移動体であるものとして色分けを行うと、図２０Ｂのように表示されるサブクラス分類結果について、サブクラス統合結果を図２０Ｃのように表示することができる。

この例では、２つの移動体が２種類に色分けされて表示されている。このような表示形態にすることで、ピクチャ中の移動体を正しく検出し、その結果をわかりやすく表示できる効果がある。

移動体の位置を視認するためには、少なくともそのおおまかな位置が提示される必要がある。したがって、領域全体を色分けする必要は必ずしもないため、図２０Ｄのように、外枠のみ表示するとしてもよい。メリットとしては、移動体そのものの見え方をほとんど変化させずに、移動体領域を提示することができる。

なお、領域分割部１０７において、ピクチャを生成する手順として、移動軌跡のピクチャ座標位置の画素をセグメント領域に応じた色で描画するとしたが、ピクチャを生成する方法をこれに限定するものではない。具体的には、移動軌跡の数とピクチャ全体の画素数とが同数であれば、上述した方法によりピクチャ中の全画素をクラスに応じた色で描画することができる。一方、移動軌跡の数がピクチャ全体の画素数より少ない場合、どの移動軌跡のピクチャ座標位置とも一致しない画素が存在する。

このような移動軌跡のピクチャ座標位置と一致しない画素については、別の方法で描画しても良い。例えば、移動軌跡算出部１０２において、ある移動軌跡を生成するための動き検出に用いたブロックに属する画素は、その移動軌跡が属するサブクラスと同じ色で描画するとしても良い。

また、移動軌跡のピクチャ座標位置と一致しない画素を描画する別の方法として、最近傍の移動軌跡の属するサブクラスと同じ色で描画するとしても良い。

また、移動軌跡のピクチャ座標位置と一致しない画素を描画する別の方法として、複数の移動軌跡のピクチャ座標位置（点）の間を、Ｄｅｌａｕｎａｙ三角メッシュ生成法にて結び、同一のクラスに属する３点に囲まれる３角形に含まれる画素を、そのクラスと同じ色で描画するとしても良い。

なお、連続して入力される動画像に対して処理を行う場合は、上述したステップＳ３０１〜Ｓ３０７の動作を、Ｔ枚のピクチャが入力されるたびに繰り返し行うとしても良い。

以上のようにして、本実施の形態に係る移動体検出装置及び方法によれば、ピクチャ内のサブクラス間の移動軌跡の測地距離の代表値と、各サブクラスの移動軌跡の静止指標に基づいて移動体領域の判定を行うことによって、ピクチャ中を移動する物体の領域を時間的に追跡した結果として、移動体の姿勢によらずに、ピクチャ中の移動体領域を検出することができる。

なお、ここでは重み付き距離算出部１０６における測地距離への重み付け、および領域分割部１０７における領域分割の処理をサブクラスに対して行っているが、必ずしもサブクラスに基づいた領域分割処理を行う必要はない。

すなわち、重み付き距離算出部１０６の静止指標付加部１７０２で、サブクラス間の代表測地距離に重み付けを行うかわりに、各サブクラスに対応する全ての移動軌跡間の測地距離に対し、各測地距離に対応するサブクラス間の代表測地距離に与えた重みと同じ重みを用いて重み付けを行い、重み付き移動軌跡間測地距離を算出し、さらに領域分割部１０７で、重み付き測地距離Ｇｗではなく、重み付き移動軌跡間測地距離に基づいて領域分割を行うとしてもよい。この場合の領域分割方法としては、例えばサブクラス分類部１０５及びその変形例と同様の処理を重み付き移動軌跡間測地距離に対して行うことで、ピクチャを領域分割し、移動体を背景から分離することができる。

特に、測地距離に対して上記した重み付けを行っているつまり、移動軌跡の静止指標および移動軌跡間の距離に基づいて、任意の静止物の移動軌跡間の測地距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の測地距離の比が、変換前と比べて大きくなるような変換処理を行った上で、静止物の移動軌跡と移動体の移動軌跡とを分離することにより、移動体の移動軌跡に対応する移動体領域を検出している。

言い換えれば、移動軌跡間の距離に基づいて、移動軌跡間の測地距離を算出し、移動軌跡の静止指標に基づいて、算出した各測地距離に対して、重み付け前に比べ、任意の静止物の移動軌跡間の測地距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の測地距離の比が大きくなるような重みを付けることにより、重み付き移動軌跡間測地距離を算出している。その上で、静止物の移動軌跡と移動体の移動軌跡とを分離することにより、移動体の移動軌跡に対応する移動体領域を検出している。

このため、静止物の移動軌跡と移動体の移動軌跡とが分離しやすくなる。よって、形状が変化しながら移動する人物等の移動体を含み、かつ、移動するカメラで撮影された画像であっても、正しく移動体を検出することができる。

また、前処理として人物候補領域を設定する必要がないため、人物候補領域の検出ミスに起因する領域抽出の失敗がない。

以上のように、膨大なパラメータのフィッティングを必要とせずに、領域間測地距離に基づいてクラスタリングを行うことによって、安定に、形状が変化しながら移動する人物等を含むピクチャから移動体を正しく検出可能となる。

なお、本実施の形態の移動体検出装置において、距離算出部１０４が距離を算出し、重み付き距離算出部１０６に入力するとしたが、距離の代わりに、距離の時間変化を用いることもできる。

すなわち、ｔフレーム〜２ｔフレームの移動軌跡から求めた距離と、２ｔフレーム〜３ｔフレームの移動軌跡から求めた距離の差分を距離の時間変化と呼び、これをｔフレーム〜２ｔフレームの移動軌跡の代わりに用いることでも同様の効果を得ることができる。

なお、本実施の形態の移動体検出装置において、距離算出部１０４が、移動軌跡算出部１０２で生成した移動軌跡から抽出する、移動軌跡のピクチャ数Ｔは、Ｔ＝３０としたが、この数値に限定するものではない。例えば、検出すべき移動体の種類や状態に応じて別の数値を用いても良い。例えば、検出する対象が歩行者と仮定できる場合、平均的な歩行周期が約１秒（３０フレーム）であることから、Ｔ＝３０フレームのピクチャにわたる移動軌跡は、人の歩行１周期に対応する。このように、検出すべき対象が周期的な変形を伴う移動体である場合、距離算出部１０４において抽出する移動軌跡のピクチャ数Ｔを、移動体の変形周期に対応するピクチャ数とすることで、移動体の変形の影響を受けにくくなり、移動体をより正しく抽出することができるという効果がある。また遮蔽などの影響により、ピクチャ数Ｔにわたる移動軌跡が算出できないピクチャ中の移動体領域が存在する場合について、移動軌跡が算出可能な最大のピクチャ数をＳ（Ｓ＜Ｔ）とすることで、移動体の領域をより詳細に検出可能になるという効果がある。

なお、本実施の形態の移動体検出装置において、距離算出部１０４が抽出する移動軌跡を得るためのピクチャの枚数Ｔは、あらかじめ定められており、一定であるものとして説明したが、それぞれの移動軌跡の算出に利用するピクチャ数Ｔを、動的に変化させても良い。

移動軌跡のピクチャ数Ｔを動的に変化させる手法としては、例えば、移動軌跡個数の上限値をあらかじめ定めておき、これらの上限値を大きく超えないようにピクチャ数Ｔを動的に変化させるとしても良い。具体的には、移動軌跡の個数の上限値Ｎｍａｘをあらかじめ定めておき、距離算出部１０４において、あらかじめ定められたピクチャ数Ｔにわたる移動軌跡から抽出した移動軌跡の個数が、Ｎｍａｘを超えた場合に、ピクチャ数Ｔを増加させるとしてもよい。ここで移動軌跡の数が多いということは、動画像中の変化が小さい、被写体の動きが小さい、動きによる遮蔽領域が少ない、などの理由により、全ピクチャにわたる対応点が多く算出可能であることに相当する。このような場合、ピクチャ数Ｔを増加させることで、移動領域により多くの動きの情報が含まれることによって移動体を正しく検出できるという効果が期待できる。

また、移動軌跡のピクチャ数Ｔを動的に変化させる別の手法としては、例えば、移動軌跡個数の下限値をあらかじめ定めておき、これらの下限値を下回らないようにピクチャ数Ｔを動的に変化させるとしても良い。具体的には、移動軌跡の個数の下限値Ｎｍｉｎをあらかじめ定めておき距離算出部１０４において、あらかじめ定められたピクチャ数Ｔにわたる移動軌跡の個数がＮｍｉｎを下回った場合に、移動軌跡の個数がＮｍｉｎを超えるように、より小さいピクチャ数Ｔを用いる、としても良い。このような処理を行うと、移動軌跡があらかじめ定められた移動軌跡数を下回らないようにすることができる。そのため、例えば動画像中の被写体の動きによる遮蔽によって移動軌跡の個数が相対的に小さくなる動画像に対しても、移動軌跡が極端に少なくなるということが発生しにくくなる。その結果、領域分割ができないということが発生しにくくなるという効果がある。
なお、本実施の形態では線形距離としてユークリッド距離を用いたが、前述した通り、ユークリッド距離に限るものではない。前述の線形距離で定義される任意の距離指標を用いて得られる形態も本発明に含まれるものとする。

なお、本発明に係る移動体検出装置及び方法は、上記実施の形態に限定されるものではなく、上記実施の形態に対して当業者が思いつく変形を施して得られる形態や、後述する各種変形例を含む複数の形態における構成要素を任意に組み合わせて得られる形態も本発明に含まれる。

（変形例１）
次に、本発明の実施の形態の変形例１に係る移動体検出装置について説明する。

本変形例に係る移動体検出装置では、静止判定値Ｅ_ＭＳを求める際に利用する閾値ＴＨ_ＭＳを調整するためのインタフェースを備えている。

先に述べたとおり、静止判定値Ｅ_ＭＳを求める際に利用する閾値ＴＨ_ＭＳの値については、カメラ動きの大きさや、移動体の動く速度等により最適な値が異なる。そのため、実際には、撮像シーンやカメラセッティングが変わるような場合に、予め設定しておいたある固定の閾値ＴＨ_ＭＳは最適とはならず、固定の閾値ＴＨ_ＭＳを用いた場合には正確に移動体を検出することができない場合が起こりうる。

そのような場合、最適な閾値ＴＨ_ＭＳを求めるために、ユーザは、以下のような手順を踏まなければならない。まず、移動体検出装置１００は、固定の閾値ＴＨ_ＭＳに基づいてサブクラス間静止判定値Ｅ_{ＳＵＢ−ＭＳ}を算出し、算出したサブクラス間静止判定値Ｅ_{ＳＵＢ−ＭＳ}に基づきサブクラス間距離に重み付けをする等の処理を行なうことにより、ディスプレイ１２０に領域分割の結果を表示する。ユーザは、表示された領域分割の結果を確認した上で、閾値ＴＨ_ＭＳを試行錯誤的に入力する。その後、移動体検出装置１００による領域分割が再度実行され、表示された領域分割の結果を確認した上で、再度閾値ＴＨ_ＭＳを入力するという手順が繰返し行われる。このように、試行錯誤的に閾値ＴＨ_ＭＳを入力しながら、領域分割および閾値ＴＨ_ＭＳの入力という手順を繰り返すことにより、最適な閾値ＴＨ_ＭＳを求める必要がある。

ただし、閾値ＴＨ_ＭＳは、静止指標Ｅの値に対して適用される閾値である。つまり、閾値ＴＨ_ＭＳは静止指標Ｅの値の分布に大きく依存するといえる。したがって、静止指標Ｅの値とその画像上での分布が確認できれば、領域分割処理を最後まで行なうことなく、閾値ＴＨ_ＭＳを調整できる。これにより、より早く最適な閾値ＴＨ_ＭＳを決定することができる。

図２１は、変形例１に係る移動体検出装置１００Ｌの構成を示すブロック図である。移動体検出装置１００Ｌは、図１に示した移動体検出装置１００の構成において、静止指標算出部１０３および重み付き距離算出部１０６の代わりに、静止指標算出部１０３Ａおよび重み付き距離算出部１０６Ａをそれぞれ用いた構成である。

以下では、上述の実施の形態と異なる点を中心に説明し、共通する点については説明を省略する。

図２２は、静止指標算出部１０３Ａの詳細な構成を示すブロック図である。

静止指標算出部１０３Ａは、図７に示した静止指標算出部１０３に、さらに、静止指標画像作成部７０３が加えられた構成を有する。静止指標画像作成部７０３は、ピクチャを構成する各ブロックを、算出した静止指標の値に応じた表示態様で、ディスプレイ１２０に表示させる。静止指標画像作成部７０３が実行する処理の詳細については後述する。

図２３は、重み付き距離算出部１０６Ａの詳細な構成を示すブロック図である。

重み付き距離算出部１０６Ａは、図１７に示した重み付き距離算出部１０６に、閾値入力部１７０３が加えられ、静止指標付加部１７０２の代わりに静止指標付加部１７０２Ａを用いた構成を有する。閾値入力部１７０３は、ユーザが入力した静止指標閾値を受け付ける処理部であり、例えば、キーボードやマウスなどから構成されていても良い。静止指標付加部１７０２Ａは、静止指標付加部１７０２と同様の方法により静止指標を求め、静止指標に基づいて、各サブクラス間の代表測地距離に重み付けを行う。ただし、このときに用いる静止指標の閾値ＴＨ_ＭＳが閾値入力部１７０３が受け付けたものである点が、静止指標付加部１７０２とは異なる。

図２４は、静止指標算出部１０３Ａの静止指標画像作成部７０３が作成する画像の一例を示す図である。例えば、静止指標画像作成部７０３は、静止指標Ｅの値を５段階に分類し、ディスプレイ１２０上に、各ブロックに静止指標Ｅの段階に応じたハッチングを施した画像を表示する。なお、静止指標画像作成部７０３は、ディスプレイ１２０上に、静止指標Ｅの値に応じた色相グラデーション表示を行っても良い。また、静止指標画像作成部７０３は、閾値入力部を備え、閾値入力部からユーザが別途入力した閾値を用いて静止指標Ｅの値を２値化表示することもできる。例えば、ユーザが入力した閾値より大きい静止指標Ｅをもつ画素を赤色で表示し、それ以外の値の静止指標Ｅを持つ画素を青色等で表示しても良い。このようにすることで、実際にある閾値を入力した際の、静止判定値Ｅ_ＭＳの値がどのようになるかを簡単に視認しながら閾値を決めることができる。

また、閾値入力部１７０３は、任意のタイミングでユーザが入力する閾値ＴＨ_ＭＳを受け付ける。静止指標付加部１７０２Ａは、入力された閾値ＴＨ_ＭＳを用いて静止判定値Ｅ_ＭＳを算出し、領域分割部１０７が領域分割を行い、結果をディスプレイ１２０に表示する。例えば、図２５Ａに示すように、ディスプレイ１２０にスライダ２２１１を表示させる。ユーザは、スライダ２２１１を左右に移動させることにより閾値ＴＨ_ＭＳの入力を行う。図２５Ａのように閾値ＴＨ_ＭＳを大きい値に設定した場合には、例えば、静止指標Ｅが大きい移動体２１１１が領域抽出される。これに対して、図２５Ｂのように、スライダ２２１１を左に移動させることにより閾値ＴＨ_ＭＳを小さい値に設定した場合には、静止指標Ｅが大きい移動体２１１１に加え、静止指標Ｅが小さい移動体２１１０とノイズ２１１２とが領域抽出される。このように、ユーザは、スライダ２２１１を移動させながら閾値ＴＨ_ＭＳを変更することにより、簡単に領域分割の結果を視認しながら閾値ＴＨ_ＭＳを決定することができる。

これにより、撮像シーンや、カメラセッティングか変わるごとにユーザが決定した最適な閾値を、すぐに移動体検出装置のパラメータとして反映させることができる。

（変形例２）
次に、本発明の実施の形態の変形例２に係る移動体検出装置について説明する。

上記実施の形態で説明した移動体検出装置１００において、サブクラス分類部１０５は、（式１４）で算出したユークリッド距離ｆ（ｉ，ｊ）に基づいてサブクラスを求めるとして説明した。しかし、サブクラス分類部１０５の動作をこれに限定するものではない。つまり、サブクラス分類部１０５は、移動軌跡間での、各移動軌跡に属するブロック同士の色類似度に基づいて、複数の移動軌跡を複数のサブクラスに分類してもよい。以下で、画素の色類似度を元に移動軌跡のクラスタリングを行う例について説明する。

図２６Ａは、実施の形態の変形例２に係る移動体検出装置の構成を示す図である。図２６Ａに示すように、この移動体検出装置１００Ａは、画像入力部１０１、移動軌跡算出部１０２、静止指標算出部１０３、距離算出部１０４、サブクラス分類部２１０１、重み付き距離算出部１０６、及び領域分割部１０７を含む。

サブクラス分類部２１０１以外の処理部については、上記実施の形態と同じであるため、説明を省略する。

サブクラス分類部２１０１にてサブクラスを算出する手法として、上記実施の形態で説明した類似移動軌跡のラベリングによりサブクラスを算出する方法の代わりに、画素の色類似度をもとに、いわゆる”ｓｕｐｅｒｐｉｘｅｌ”と呼ばれる複数のサブクラスにピクチャを分割する方法を用いてもよい。ｓｕｐｅｒｐｉｘｅｌを算出する方法については、グラフベースの手法などを用いることができる。処理手順の詳細説明は非特許文献７等に記載されているため省略するが、ピクチャのグラフ表現に基づいて各領域間の境界を推定することで、効率的かつグローバルな特徴を保持しながらピクチャを小領域に分割するというものであり、遮蔽に強いためよりロバストな分割ができるという効果がある。
Ｐｅｄｒｏ Ｆ． Ｆｅｌｚｅｎｓｚｗａｌｂ ａｎｄ Ｄａｎｉｅｌ Ｐ． Ｈｕｔｔｅｎｌｏｃｈｅｒ "Ｅｆｆｉｃｉｅｎｔ Ｇｒａｐｈ−Ｂａｓｅｄ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ"， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ，Ｖｏｌ．５９，Ｎｏ．２，ｐｐ．１６７−１８１，Ｓｅｐｔ，２００４

本実施の形態の変形例２におけるサブクラス分類部２１０１の構成を図２６Ｂに示す。サブクラス分類部２１０１は、クラスタリング部２１０２を含む。クラスタリング部２１０２は、上述の色類似度を基に、ピクチャを複数のサブクラスに分類する。本変形例のサブクラス分類部２１０１の構成では、図１５に示したサブクラス分類部１０５の構成と比較して、ユークリッド距離算出部が必要ないため、より簡易な構成で、高速にサブクラスへの分類を行うことができるという効果がある。また、特に移動体と背景の色が異なるようなシーンにおいては、各サブクラスが移動体のみ、または背景のみで構成される可能性が高くなる（色が異なると、別のサブクラスに分離される確率が高い）ため、サブクラス単位のサブクラス間静止判定値Ｅ_SUB-MSをより正しく求めることができる効果がある。

以上の手順によりピクチャをサブクラスに分離し、各サブクラスに属する移動軌跡を、移動体域検出に利用することが可能となる。

（変形例３）
次に、本発明の実施の形態の変形例３に係る移動体検出装置について説明する。

上記実施の形態で説明した移動体検出装置１００において、サブクラス分類部１０５は、（式１４）にて算出したユークリッド距離ｆ（ｉ，ｊ）に基づいてサブクラスを求めるとして説明した。しかし、サブクラス分類部１０５の動作をこれに限定するものではない。以下で測地距離ｇ（ｉ，ｊ）の次元圧縮を行うことによって、サブクラスへの分類を行う例について説明する。

図２７Ａは、実施の形態の変形例３に係る移動体検出装置の構成を示す図である。この移動体検出装置１００Ｂは、画像入力部１０１、移動軌跡算出部１０２、静止指標算出部１０３、距離算出部１０４、サブクラス分類部２２０１、重み付き距離算出部１０６、及び領域分割部１０７を含む。

サブクラス分類部２２０１以外の処理部については、上記実施の形態と同じであるため、説明を省略する。

本実施の形態の変形例３におけるサブクラス分類部２２０１の構成を図２７Ｂに示す。サブクラス分類部２２０１は、第２距離算出部２２０２と、クラスタリング部２２０３とを含む。サブクラス分類部２２０１は、図１５に示したサブクラス分類部１０５の構成と異なり、ユークリッド距離算出部１５０１の代わりに、第２距離算出部２２０２を備えている。第２距離算出部２２０２は、移動軌跡算出部１０２で算出した移動軌跡から、（式１４）に従ってユークリッド距離ｆ（ｉ，ｊ）を算出したのち、（式１７）、（式１８）に従って測地距離ｇ（ｉ，ｊ）を求める。なお、ここでの測地距離ｇ（ｉ，ｊ）の算出手順は、上記実施の形態で記した距離算出部１０４での動作と同じため、説明を省略する。

続いて、クラスタリング部２２０３は、算出した測地距離ｇ（ｉ，ｊ）の次元圧縮を行ったのち、次元圧縮された測地距離を用いて、クラス数を所与としてクラス内分散が最小となるように移動軌跡をクラスタリングする。

次元圧縮は、Ｙｏｕｎｇ−Ｈｏｕｓｅｈｏｌｄｅｒ変換を行った後、Ｅｉｇｅｎ ｓｙｓｔｅｍを求めることで実現できる。次元圧縮により、多次元空間に分布するデータを低次元空間に効率良く射影するための方法である。以降、クラスタリング部２２０３において、測地距離ｇ（ｉ，ｊ）の次元圧縮を行い、移動軌跡をクラスタリングする手順について示す。

測地距離ｇ（ｉ，ｊ）の構成するマトリクスを測地距離マトリクスＧとする（式３８）。

クラスタリング部２２０３は、まず測地距離マトリクスＧに対して、中心化行列Ｈを両側からかけるＹｏｕｎｇ−Ｈｏｕｓｅｈｏｌｄｅｒ変換を行う。これは、距離マトリクスが点間距離からなる距離行列であるのに対して、重心を原点とした距離マトリクスに変換するために行うものである。

ここで、Ｈは中心化行列であり、

である。Ｉは単位行列、Ｎは移動軌跡の数である。

また、

である。

次に、クラスタリング部２２０３は、次元圧縮を行うために、τ（Ｇ）に対するＰ個の固有ベクトル（ｅｉｇｅｎ ｖｅｃｔｏｒ）ｅ_pおよびそれに対応する固有値（ｅｉｇｅｎ ｖａｌｕｅ）λ_pを算出する。

これにより、測地距離ｇ（ｉ，ｊ）について

とすると、測地距離ｇⁱを次元圧縮された空間上に射影した結果は、データｚ_p ⁱとして以下のように表すことができる。

なお、ｅ_p ⁱは、ｐ番目の固有ベクトルｅ_pのｉ番目の要素である。固有ベクトルの数Ｐは、利用するシーンに応じて実験的に決定しても良いし、以下のように固有値λ_pから寄与率ａ_pを算出し、それに基づいて決定しても良い。

ここで、Ｐは利用する固有ベクトルの数、すなわち圧縮された空間の次元数である。Ｎは全固有ベクトルの数である。そこで、寄与率ａ_pが一定値以上となる時のＰを固有ベクトルの数とすれば良い。

以上のようにクラスタリング部２２０３は、（式３９）から（式４４）の処理により、測地距離ｇ（ｉ，ｊ）の次元圧縮を行う。第２距離算出部２２０２において算出した測地距離ｇⁱおよび対応する仮想的な移動軌跡を、固有ベクトルｅ_pで張られる次元圧縮された空間上のデータｚ_p ⁱと対応付けることができる。

図２８Ａ〜図２８Ｄを用いて、人物の歩行画像を入力とした場合の画素ｉの時間的移動軌跡が非線形に次元圧縮された空間に射影される処理について説明する。図２８Ａは、多次元空間における次元圧縮前の移動軌跡のデータ分布を示す図である。同図では、説明を容易にするため、多次元空間を３次元空間としたが、実際には、（式２）に示したベクトルの各要素が各次元と対応する。図２８Ｂは、図２８Ａに示した移動軌跡の多次元空間を次元圧縮した空間を示す。図２８Ｂの横軸、縦軸は、それぞれ固有ベクトルｅ₁、ｅ₂である。２次元上に射影された点（ｚ₁ ⁱ，ｚ₂ ⁱ）は、測地距離ｇⁱを射影したものである。ここで、非線形空間上のデータｚ_p ⁱとピクチャ上での画素ｉの移動軌跡ｘⁱとは一対一の対応関係にある。このため、（ｚ₁ ⁱ，ｚ₂ ⁱ）は、画素ｉの移動軌跡ｘⁱに対応していると捉えることができる。なお、ここでは結果を可視化するために非線形空間の次元数を２次元としたが、前述のように、次元数は必ずしも２次元である必要は無いし、高い次元数の方がより高い精度でデータを射影することができる。

次に、クラスタリング部２２０３は、図２８Ｂに示したような移動軌跡を次元圧縮したデータｚ_p ⁱに対してクラスタリングを行うことで、移動軌跡のクラスタリングを行う。本実施の形態の変形例３では、クラス数を所与としてクラス内分散が最小となるように移動軌跡をクラスタリングする手法を用いるものとする。

まず、サブクラスを次のように表現する。

ここで、Ｍは、サブクラス数であり利用するシーンに応じて経験的に決定される。

それぞれのサブクラスθ_mは、パラメータ

及びパラメータＺ_mで表現する。ここで、パラメータ

は、次元圧縮された空間におけるサブクラスθ_mに属するデータの座標値の平均値、パラメータＺ_mは、サブクラスθ_mに属するデータの座標値に関する共分散行列である。パラメータ

の初期値はランダムに決定しても良いし、圧縮された非線形空間中をグリッドで等間隔に分割するなどして、その交点の座標値を初期値としても良い。

なお、パラメータ

及びパラメータＺ_mは、以下の（式４６）及び（式４７）のように表すことができる。

ここで、Ｃ_mは圧縮された非線形空間上でサブクラスθ_mに属するデータ数である。

以下、具体的なクラスタリングの方法について説明する。まず、以下の（式４８）の距離関数を用いて、データｚ_iが属するサブクラスθ_mを求める。

ここで、ψ_m（ｚ_i）は、画素ｉの移動軌跡に対応するデータｚ_iとそれぞれのサブクラスθ_mとの距離を示すものである。各データは、距離ψ_m（ｚ_i）が最小値をとるサブクラスθ_mに属するものとする。なお、φ_m（ｚ_i）はマハラノビス距離であり、

である。また、φ_m（ｚ_i）をψ_m（ｚ_i）の代わりとして用いても構わない。

また、ｐ（ｚ_i）は、尤度関数の枠組みにおけるｚ_iの事前確率である。したがって、ｐ（ｚ_i）は、一定値としても構わないし、対象シーンが人物など決まった被写体を含むことが既知である場合、人物部位の形状や面積比等をもとにあらかじめ設定しても良い。特にデータｚ_iの密度に偏りがある場合には有効である。例えば、データｚ_iの密度が高いことが分かっているときに、密なデータｚ_iを同じサブクラスにしたい場合は、対応する事前確率ｐ（ｚ_i）を大きく設定すればよい。逆にデータｚ_iを細かく異なるサブクラスに分割したい場合は、対応する事前確率ｐ（ｚ_i）を小さく設定すればよい。なお、ここでのデータｚ_iの密度は、画像空間上の密度でもよいし、圧縮された非線形空間上の密度でもよい。

次に、（式４８）の計算結果から、サブクラスθ_mに属するデータｚ_iを用いて、以下のようにサブクラスθ_mのパラメータ

及びパラメータＺ_mを更新する。

ここで、ｚ_cmは、サブクラスθ_mに属する圧縮された非線形空間上のデータである。また、ωはサブクラスθ_mに対する重み係数であり、ω＝１としても良いし、入力データの平均値からのずれ具合によってωの値を調整しても良い。このように、（式４８）から（式５１）の距離計算およびパラメータ更新を規定回数繰り返すことによって、非線形空間上の各データが属するサブクラスθ_mを得ることができる。なお、上記に加えて、ｋ−ｍｅａｎ、競合学習など、他のクラスタリング方法を用いても構わない。上記のクラスタリング処理を図２８Ｂに示したような次元圧縮したデータに適用した結果を、図２８Ｃに示す。データ点がサブクラス化されていることがわかる。

図２８Ｄに移動する人物のデータに対し、同様に非線形空間上でクラスタリング処理を行った例を示す。なお、次元圧縮したデータ分布図に、対応する人物領域を併記している。圧縮された非線形空間上でのサブクラスθ₁からθ₂についてピクチャ上での対応を見ると、θ₁は人物頭部、θ₂は人物胴体、というように、人体の各パーツに、各サブクラスが対応している。

ここで、人体の各パーツが圧縮された非線形空間上のサブクラスに対応するのは、時間的に連続した複数枚のピクチャに渡って画素を追跡したことによる。圧縮された非線形空間上でクラスタリングを行うことによって、ピクチャ中を移動する物体の領域を時間的に追跡した結果として、ピクチャ中の移動する被写体ごとに画像領域を抽出することができる。

本実施の形態の変形例３では、次元圧縮を行うことにより、膨大なパラメータフィッティングを必要とせずに、非線形空間でクラスタリングを行うことによって、特に、形状が変化しながら移動する人物等を含むピクチャにおいても安定にクラスタリングできる。したがって、サブクラス単位の静止指標Ｅ_SUB-MSをより正しく求められるという効果がある。

なお、本実施の形態では２点間を結ぶ線形距離としてユークリッド距離を用いたが、前述した通り、線形距離はユークリッド距離に限るものではない。前述の線形距離で定義される任意の距離指標を用いて得られる形態も本発明に含まれるものとする。

（変形例４）
次に、本発明の実施の形態の変形例４に係る移動体検出装置について説明する。

上記実施の形態で説明した移動体検出装置１００において、サブクラス分類部１０５は、ユークリッド距離ｆ（ｉ，ｊ）に基づいてサブクラスを算出するものとして説明した。しかし、サブクラス分類部１０５の動作をこれに限定するものではない。以下、測地距離を複数生成することで、サブクラスの候補を生成し、それらの候補から選択してサブクラスの分類を行う例について説明する。

図２９Ａは、実施の形態の変形例４に係る移動体検出装置の構成を示す図である。図２９Ａに示すように、この移動体検出装置１００Ｃは、画像入力部１０１、移動軌跡算出部１０２、静止指標算出部１０３、距離算出部１０４、サブクラス分類部２４０１、重み付き距離算出部１０６、及び領域分割部１０７を含む。

サブクラス分類部２４０１以外の構成要素については、上記実施の形態と同じであるため、説明を省略する。本実施の形態の変形例４におけるサブクラス分類部２４０１の構成を図２９Ｂに示す。

サブクラス分類部２４０１は、複数の移動軌跡のそれぞれについて、当該移動軌跡から他の移動軌跡までの複数の距離のうち、所定の距離閾値以下の距離を選択し、選択しなかった距離を無限大に変更する非線形化をした後に、当該移動軌跡から他の移動軌跡までの最短経路を求めることにより、測地距離を算出し、移動軌跡間の測地距離が有限の値となる移動軌跡の集まりを同一のサブクラスに分類することにより、各移動軌跡を複数のサブクラスのいずれかに分類する。

サブクラス分類部２４０１は、第３距離算出部２４０２、サブクラス候補生成部２４０３およびサブクラス候補選択部２４０４を備える。

サブクラス分類部２４０１では、まず第３距離算出部２４０２にて、移動軌跡算出部１０２で算出した移動軌跡からユークリッド距離ｆ（ｉ，ｊ）を算出したのち、算出した距離マトリクスに対して、複数の判断基準を設けて測地距離変換を行い、測地距離ｇ（ｉ，ｊ）を求める。次にサブクラス候補生成部２４０３で、移動軌跡間の距離の分布における不連続点を閾値によって検出し、検出した不連続点よりも小さい測地距離だけ離れた移動軌跡どうしが一つのクラスとなるように、連続に分布する移動軌跡をクラスタリングすることによって、前記閾値に対するサブクラスの候補を生成する。最後に、サブクラス候補選択部２４０４において、クラス数についての指示を取得し、取得したクラス数に近い個数の領域に分割された領域抽出候補を、サブクラス候補生成部２４０３で生成された複数の領域抽出候補から選択し、選択したサブクラス候補を、移動軌跡算出部１０２で算出された移動軌跡からサブクラス化した結果として出力する。すなわち、サブクラス候補生成部２４０３で生成した、それぞれの前記閾値に対する領域抽出の候補から、あらかじめ定めたクラス数に最も近いクラスタリング結果を選択する。

以下、サブクラス分類部２４０１の動作について説明する。

まず第３距離算出部２４０２において、ユークリッド距離ｆ（ｉ，ｊ）を算出する。この手順は上記実施の形態で説明したユークリッド距離算出部１５０１と同じであるため、説明を省略する。第３距離算出部２４０２は、求めたユークリッド距離ｆ（ｉ，ｊ）に対してＫ個の閾値Ｒ_kを定める。第３距離算出部２４０２は、それぞれの定めた閾値Ｒ_kに対して非線形化処理を行い閾値Ｒ_kに対する測地距離であるところのｇ^k（ｉ，ｊ）を算出する。ここで、各閾値Ｒ_kに対応する測地距離ｇ^k（ｉ，ｊ）の算出手順は、上記実施の形態で記した距離算出部１０４での動作と同じであるため、説明を省略する。

次に、サブクラス候補生成部２４０３は、それぞれの閾値Ｒ_kに対応する測地距離マトリクスｇ^k（ｉ，ｊ）を用いて、不連続点を検出することによってサブクラス候補生成を行う。具体的には、サブクラス候補生成部２４０３は、ｇ^k（ｉ，ｊ）が無限大となる移動軌跡ｉと移動軌跡ｊの間を不連続点とする。上記手順について、図３０Ａ〜図３０Ｅを参照して説明する。図３０Ａに移動軌跡ａ〜ｈを示し、図３０Ｂに移動軌跡ａ〜ｈからなる多次元空間の概念図を示す。

もし閾値Ｒ_kが十分に大きな値である場合、例えば、ユークリッド距離ｆ（ｉ，ｊ）の最大値よりも閾値Ｒ_kが大きい場合には、測地距離ｇ^k（ｉ，ｊ）は、すべてのｉ，ｊの組合せにおいて無限大にならない。すなわち、不連続点が１点もないため、図３０Ｃに示すようにサブクラスは１個と判断できる。一方、閾値Ｒ_kが十分に小さい場合、具体的には、ｆ（ｉ，ｊ）の最小値よりも閾値Ｒ_kが小さい場合には、すべてのｉ，ｊの組合せにおいてｇ^k（ｉ，ｊ）が無限大となる。すなわち、サブクラス数は移動軌跡の数と同数となる。したがって、閾値Ｒ_kをｆ（ｉ，ｊ）の最大値と最小値の間の値に設定して、それぞれサブクラス分類を行うことが効率的である。図３０Ｄ、図３０Ｅにそのようにして定めた閾値を適用した例を示す。

閾値をＲ₁として設定した場合、図３０Ｄのように測地距離ｇ¹（ｅ，ｆ）は無限大となる。そこで、サブクラス候補生成部２４０３は、移動軌跡ｅと移動軌跡ｆとの間を不連続点と判定する。この結果、移動軌跡ａからｄの各移動軌跡と移動軌跡ｅとの測地距離は不連続点を通らないため無限大の値を取らず、逆に移動軌跡ｆからｈの各移動軌跡と移動軌跡ａからｅの各移動軌跡との測地距離は、不連続点ｇ¹（ｅ，ｆ）を通るためそれぞれ無限大となる。このように、測地距離が無限大とならない移動軌跡ｉと移動軌跡ｊの組は同じサブクラスに属すると判定し、無限大となる場合は別のサブクラスに属すると判定する。これによって、図３０Ｄに示すように、データ点はθ₁、θ₂の２つのサブクラスに分離される。さらに、別の閾値をＲ₂（ただし、Ｒ₁＞Ｒ₂）と定めた例について、図３０Ｅに示す。それぞれ、移動軌跡ｃと移動軌跡ｄとの間、移動軌跡ｅと移動軌跡ｆとの間、移動軌跡ｆと移動軌跡ｇとの間が不連続点であると判定し、図３０Ｄの場合と同様に測地距離が無限大となる組と無限大にならない組とを整理してθ₁、θ₂、θ₃、θ₄の合計４つのサブクラスに分離される。

以上の処理により、サブクラス候補生成部２４０３は、複数の閾値Ｒ_kに対して、測地距離が無限大とならない移動軌跡の組は連続とすることで同じサブクラスと判定することができる。また測地距離が無限大となる移動軌跡の組は不連続とすることによって、不連続点をもとにサブクラス候補を複数生成することができる。

次に、サブクラス候補選択部２４０４は、サブクラス候補生成部２４０３でのサブクラス候補生成結果より、あらかじめ設定した数に最も近いクラス数となったサブクラス候補を、最終結果として選択する。図３０Ａ〜図３０Ｂの例で説明すると、クラス数Ｍ＝４と設定した場合には、閾値Ｒ₂の時のサブクラス候補（図３０Ｅ）が選択される。また、クラス数Ｍ＝２と設定した場合には、閾値Ｒ₁の時のサブクラス候補（図３０Ｄ）が選択され、各移動軌跡について、指定したサブクラス数に最も近くなるようサブクラス分類が実行される。なお、クラス数Ｍについてはここでは２、４を取り上げたが、実際はより多い数が望ましく、シーンの状況や経験によって任意に定めることができる。

なお、本実施の形態の変形例４では、ユークリッド距離と測地距離を利用することによって、画素の位置と動きの類似性とを考慮したサブクラス分類が可能となる。図３０Ａ〜図３０Ｂの例では、クラス数Ｍ＝２と設定した場合には、下半身の動きが上半身の動きと大きく異なることが反映されて、上半身と下半身とが別々のサブクラスとなる。またクラス数Ｍ＝４と設定した場合には、Ｍ＝２の場合に加えて、頭部の動きと腕の動きの違い、上腿と下腿との動きの違いが反映され、頭部、腕、上腿（じょうたい）、下腿（かたい）が別々のサブクラスとなる。

なお、閾値Ｒ_kの数は何種類用意してもかまわない。また、設定したクラス数と同数のサブクラス候補がない場合には、最も近いサブクラス数となったものを選択してもよいし、設定したクラス数よりも小さいクラス数の中から一番近いサブクラス数となったサブクラス候補を選択してもよい。また同様に、設定したクラス数よりも大きいクラス数の中から一番近いサブクラス数となったサブクラス候補を選択してもよい。

このように、複数の閾値に対して、測地距離を用いて算出した不連続点をもとにサブクラス候補生成を行い、規定したクラス数に最も近いサブクラス候補を選択することによってサブクラス分類を行うことができる。

（変形例５）
次に、本発明の実施の形態の変形例５に係る移動体検出装置について説明する。

上記実施の形態で説明した移動体検出装置１００において、サブクラス分類部１０５は、（式１４）で算出したユークリッド距離ｆ（ｉ，ｊ）に基づいてサブクラスを求めるとして説明した。しかし、サブクラス分類部１０５の動作をこれに限定するものではない。つまり、サブクラス分類部１０５では、ユークリッド距離算出部１５０１がユークリッド距離の算出を行っていたが、距離算出部１０４でもユークリッド距離の算出は行われている。このため、本実施の形態の変形例５では、サブクラス分類部における距離算出を省略し、距離算出部１０４で算出された距離を用いてサブクラス分類処理を行なうこととする。

図３１Ａは、実施の形態の変形例５に係る移動体検出装置の構成を示す図である。図３１Ａに示すように、この移動体検出装置１００Ｄは、画像入力部１０１、移動軌跡算出部１０２、静止指標算出部１０３、距離算出部１０４、サブクラス分類部２６０１、重み付き距離算出部１０６、及び領域分割部１０７を含む。なお、サブクラス分類部２６０１の代わりにサブクラス分類部２６０２を用いても良いし、サブクラス分類部２６０３を用いても良い。

サブクラス分類部２６０１、２６０２または２６０３以外の処理部については、上記実施の形態と同じであるため、説明を省略する。

図３１Ｂ〜図３１Ｄに、サブクラス分類部２６０１〜２６０３の構成をそれぞれ示す。それぞれ、実施の形態、実施の形態の変形例３、実施の形態の変形例４に対応する。それぞれを順に説明する。

図３１Ｂに示すサブクラス分類部２６０１は、ユークリッド距離ロード部２６０４及びクラスタリング部１５０２を含む。クラスタリング部１５０２の動作については、図１５に示すクラスタリング部１５０２と同様であるため、説明を省略する。

この構成では、距離算出部１０４の備えるユークリッド距離算出部１２０１が、算出したユークリッド距離ｆ（ｉ，ｊ）を先にメモリ（図示せず）に格納しておき、サブクラス分類部２６０１が備えるユークリッド距離ロード部２６０４が、メモリに格納されたユークリッド距離ｆ（ｉ，ｊ）を、メモリからロードする。クラスタリング部１５０２は、ユークリッド距離ロード部２６０４がメモリからロードしたユークリッド距離ｆ（ｉ，ｊ）を用いて、移動軌跡のクラスタリングを行う。これにより、新たにユークリッド距離を計算する手間を省くことができ、より高速な処理が実現できる。

図３１Ｃに示すサブクラス分類部２６０２は、距離ロード部２６０５及びクラスタリング部２２０３を含む。クラスタリング部２２０３の動作については、図２７Ｂに示す、実施の形態の変形例３におけるクラスタリング部２２０３と同様であるため、説明を省略する。

この構成では、距離算出部１０４が備えるユークリッド距離算出部１２０１及び移動軌跡間測地距離算出部１２０２が、それぞれ算出したユークリッド距離ｆ（ｉ，ｊ）及び測地距離ｇ（ｉ，ｊ）を先にメモリ（図示せず）に格納しておき、サブクラス分類部２６０２が備える距離ロード部２６０５が、メモリに格納されたユークリッド距離ｆ（ｉ，ｊ）及び測地距離ｇ（ｉ，ｊ）を、メモリからロードする。クラスタリング部２２０３は、距離ロード部２６０５がメモリからロードしたユークリッド距離ｆ（ｉ，ｊ）及び測地距離ｇ（ｉ，ｊ）を用いて、移動軌跡のクラスタリングを行う。これにより、新たにユークリッド距離及び測地距離を計算する手間を省くことができ、より高速な処理が実現できる。

図３１Ｄに示すサブクラス分類部２６０３は、距離ロード部２６０５、サブクラス候補生成部２４０３及びサブクラス候補選択部２４０４を含む。サブクラス候補生成部２４０３、およびサブクラス候補選択部２４０４の動作については、図２９Ｂに示す、実施の形態の変形例４におけるサブクラス候補生成部２４０３、サブクラス候補選択部２４０４と同様であるため、説明を省略する。

この構成では、距離算出部１０４が備えるユークリッド距離算出部１２０１及び移動軌跡間測地距離算出部１２０２が、それぞれ算出したユークリッド距離ｆ（ｉ，ｊ）及び測地距離ｇ（ｉ，ｊ）を先にメモリ（図示せず）に格納しておき、サブクラス分類部２６０３が備える距離ロード部２６０５が、メモリに格納されたユークリッド距離ｆ（ｉ，ｊ）及び測地距離ｇ（ｉ，ｊ）を、メモリからロードする。サブクラス候補生成部２４０３は、距離ロード部２６０５がメモリからロードしたユークリッド距離ｆ（ｉ，ｊ）及び測地距離ｇ（ｉ，ｊ）を用いて、サブクラス候補選択部２４０４と共に、移動軌跡のクラスタリングを行う。これにより、新たにユークリッド距離及び測地距離を計算する手間を省くことができ、より高速な処理が実現できる。

（変形例６）
次に、本発明の実施の形態の変形例６に係る移動体検出装置について説明する。

上記実施の形態で説明した移動体検出装置１００において、静止指標算出部１０３に含まれる幾何拘束推定部７０１は、移動軌跡算出部１０２が求めた移動軌跡に基づいて幾何拘束を求めるとして説明した。

しかし、静止指標算出部１０３の動作をこれに限定するものではない。つまり、静止指標算出部１０３は、移動軌跡算出部１０２とは別に、画像入力部１０１が入力として受け付けた動画像から別途求めた移動軌跡を用いて、幾何拘束の推定を行ってもよい。

以下で、幾何拘束推定用の移動軌跡を別途算出する例について説明する。

図３２Ａは、実施の形態の変形例６に係る移動体検出装置の構成を示す図である。

図３２Ａに示すように、この移動体検出装置１００Ｅは、画像入力部１０１、移動軌跡算出部１０２、幾何拘束推定用移動軌跡算出部２７０１、静止指標算出部２７０２、距離算出部１０４、サブクラス分類部１０５、重み付き距離算出部１０６、及び領域分割部１０７を含む。

幾何拘束推定用移動軌跡算出部２７０１、及び静止指標算出部２７０２以外の処理部については、上記実施の形態と同じであるため、説明を省略する。

図３２Ｂに、静止指標算出部２７０２の構成を示す。幾何拘束推定用移動軌跡算出部２７０１からの流れも含め、以下で説明する。

前述した幾何拘束の推定については、推定の安定性や推定結果が、移動軌跡から取り出した対応点の精度に依存することが知られている。すなわち、誤差の多いデータよりもできるだけ誤差の少ないデータを利用することで、より正しい幾何拘束が得られる。発明者らの実験によっても、対応点精度が悪い場合に、推定の結果や安定性が低下していることが確認できている。一般的には、ＫＬＴやＬＫ（Ｌｕｃａｓ−Ｋａｎａｄｅ）といった疎な対応点取得手法は、疎であるというデメリットはあるが、その代わりに精度のよい対応点取得が可能である。

一方、サブクラス分類部１０５においては、正しく移動軌跡をクラス分類するためには、できるだけ画像上で均一かつ、密な移動軌跡が取得できていることが望ましい。したがって、サブクラス分類部１０５に、前述の疎な対応点を利用するべきではないと考えられる。

以上のことより、本実施の形態の変形例６においては、幾何拘束の推定のみを、別途取得した、疎で精度の高い対応点を用いて行うことで、より精度よく幾何拘束を推定するものとする。疎な対応点取得手法としては、ＫＬＴ（Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ）トラッカーなどがある。

ＫＬＴトラッカーは、以下の（式５２）に基づいて、画像間の類似度を算出するものである。なお、ｐは（ｕ，ｖ）の形式で示される画素位置、ｚは（ｕ，ｖ）の形式で示される対応点の画素間での移動量、ｅは最小化すべき誤差成分である。

（式５２）を最小化するｚを解くことで、移動量ｚを得る。対応点の取得方法について、より詳しくは、非特許文献８に示されているため、これ以上の詳細な説明は省略する。
"Ａｎ Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｔｈｅ Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ Ｆｅａｔｕｒｅ Ｔｒａｃｋｅｒ"，ｈｔｔｐ：／／ｗｗｗ．ｃｅｓ．ｃｌｅｍｓｏｎ．ｅｄｕ／〜ｓｔｂ／ｋｌｔ／，２００６

図３２Ｂに示すように、静止指標算出部２７０２は幾何拘束推定部７０１および誤差算出部７０２を含む。幾何拘束推定部７０１および誤差算出部７０２の動作については、図７に示す幾何拘束推定部７０１および誤差算出部７０２と同様であるため、ここでは説明を省略する。

静止指標算出部２７０２の幾何拘束推定部７０１は、幾何拘束推定用移動軌跡算出部２７０１が算出した移動軌跡を、入力として受け、幾何拘束を推定する。続いて、誤差算出部７０２は、幾何拘束推定部７０１で推定された幾何拘束を、移動軌跡算出部１０２で算出された移動軌跡に対して適用し、各移動軌跡に対して静止指標Ｅを求める。以上の手順で求められた静止指標を用いて、続く重み付き距離算出部１０６以降において処理が実行される。

上記構成によると、より安定にかつ正確な幾何拘束を求めることができるため、より安定かつ正しく移動体の検出が行えるという効果がある。したがって、静止指標Ｅの信頼度がより高くなり、その結果、サブクラス単位の静止指標Ｅ_SUB-MSをより正しく求められるという効果がある。

（変形例７）
次に、本発明の実施の形態の変形例７に係る移動体検出装置について説明する。

上記実施の形態で説明した移動体検出装置１００において、重み付き距離算出部１０６は、距離算出部１０４で算出した測地距離ｇ（ｉ，ｊ）及び静止指標算出部１０３で算出した静止指標Ｅに基づいて、サブクラス間測地距離を重み付けして求めるとして説明した。しかし、距離算出部１０４、および重み付き距離算出部１０６の動作をこれに限定するものではない。つまり、距離算出部１０４は移動軌跡間のユークリッド距離を求め、また、重み付き距離算出部１０６は、サブクラス間ユークリッド距離を求め、サブクラス内移動軌跡の静止指標に基づきサブクラスの静止または移動の判定を行い、判定結果に基づき、サブクラス間ユークリッド距離に重み付けを行い、最後にサブクラス間のユークリッド距離から、サブクラス間測地距離を求めるものとしてもよい。

本実施の形態の変形例７の動作について、図３３Ａ〜図３３Ｄを参照しながら説明する。

図３３Ａは、実施の形態の変形例７に係る移動体検出装置の構成を示す図である。図３３Ａに示すように、この移動体検出装置１００Ｆは、画像入力部１０１、移動軌跡算出部１０２、静止指標算出部１０３、距離算出部２８０１、サブクラス分類部１０５、重み付き距離算出部２８０２、及び領域分割部１０７を含む。

距離算出部２８０１、及び重み付き距離算出部２８０２以外の処理部については、上記実施の形態と同じであるため、説明を省略する。

距離算出部２８０１は、移動軌跡間のユークリッド距離を算出する。図３３Ｂに、距離算出部２８０１の構成を示す。距離算出部は、ユークリッド距離算出部１５０１を含む。ユークリッド距離算出部１５０１の処理については、図１５で説明したユークリッド距離算出部１５０１と同様であるため、説明を省略する。

重み付き距離算出部２８０２は、静止指標に基づいて、距離算出部２８０１が算出したユークリッド距離に対して、重み付け前に比べ、任意の静止物の移動軌跡間のユークリッド距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間のユークリッド距離の比が大きくなるような重みを付けることにより、重み付きユークリッド距離を算出し、算出した重み付きユークリッド距離から重み付き測地距離を算出する。

図３３Ｃに、重み付き距離算出部２８０２の構成を示す。本変形例の重み付き距離算出部２８０２はサブクラス間ユークリッド距離算出部２８０３、静止指標付加部２８０４、及びサブクラス間重み付き測地距離算出部２８０５を備える。

まず、サブクラス間ユークリッド距離算出部２８０３の動作について説明する。

図３４に、サブクラス分類部１０５で生成された複数のクラスのうち、近接する２つのサブクラスθ_i、θ_jを示す。なお、簡単のため以下の説明では、「サブクラス」を「クラス」とのみ表記する。

クラスθ_i、θ_jに含まれる移動軌跡の集まりをそれぞれＩ、Ｊとし、クラスθ_i、θ_jが含む移動軌跡の個数をそれぞれＮｉ、Ｎｊとすると、Ｉ、Ｊはそれぞれ図１３Ａ〜図１３Ｃの説明に用いた（式２１）・（式２２）で表せる。

なお、（式２１）、（式２２）に含まれるｘⁱは、（式２）同様、多次元ベクトルの形式で表された移動軌跡である。

ここで、Ｉに含まれる移動軌跡と、Ｊに含まれる移動軌跡との間で求められる距離を、クラス間距離と定義する。ここで、「距離」とはユークリッド距離、測地距離をともに含む概念であるとする。

図３４に、クラス間ユークリッド距離の代表値（代表ユークリッド距離）の概念図を示す。クラスθ_iから移動軌跡ｘⁱ³１８０１を、クラスθ_jから移動軌跡ｘ^j1１８０２を選択した場合、この２移動軌跡間のユークリッド距離はｆ₃₁（＝ｆ（ｉ₃，ｊ₁））として求まる。これを、Ｉ，Ｊ間における全ての移動軌跡の組み合わせについて計算すると、以下の（式５３）に示すような、複数のユークリッド距離ｆが得られる。

本明細書における移動体領域検出は、Ｉ、Ｊに示すようなクラス内の単一移動軌跡の集まりに着目し、クラス単位のマクロな距離に基づいて動作することで、ピクセル単位で処理をするために生じてしまう静止指標のノイズ・誤検出に対処できる。したがって、クラス間距離の代表値を算出することが望ましい。すなわち、クラス間距離の代表値は、図３４に示すように、複数クラスに対して、クラス間の動きまたは位置的な関係を近似できるような代表値であることが望ましい。

前述の望ましい条件を満たす代表距離については、各クラスの移動軌跡間のユークリッド距離の平均値を代表値として用いることができる。これは、複数クラス間において、各クラスが含む移動軌跡間の全組み合わせにあたる複数のユークリッド距離を求め、それらを平均して得られるものである。この場合、代表ユークリッド距離Ｆ（θ_i，θ_j）は以下の（式５４）で算出できる。

なお、この代表ユークリッド距離についてはユークリッド距離の平均値に限るものではない。

以下に示すように、各クラスの移動軌跡間のユークリッド距離の中央値を代表値として用いることもできる。これは、複数クラス間において、各クラスが含む移動軌跡間の全組み合わせにあたる複数のユークリッド距離を求め、それらのメジアンをとって得られるものである。この場合、代表ユークリッド距離Ｆ（θ_i，θ_j）は以下の（式５５）で算出できる。

なお、（式５５）において、

は、整数ラベルｉ（ｉ＝１〜Ｎｉ）、整数ラベルｊ（ｊ＝１〜Ｎｊ）に対応する複数の値を有するｆ（ｉ，ｊ）の中央値を返す関数である。

また、以下の（式５７）に示すように、代表ユークリッド距離として、各クラスの移動軌跡間のユークリッド距離の最頻値を代表値として用いることもできる。これらの代表値は、複数クラス間において、各クラスが含む移動軌跡間の全組み合わせにあたる複数のユークリッド距離を求めた際に、それらの中でもっとも高頻度で現れる値である。

なお、（式５７）において、

は、整数ラベルｉ（ｉ＝１〜Ｎｉ）、整数ラベルｊ（ｊ＝１〜Ｎｊ）に対応する複数の値を有するｆ（ｉ，ｊ）の最頻値を返す関数である。

次に、静止指標付加部２８０４の動作について詳しく説明する。静止指標付加部２８０４は、各クラスに属する移動軌跡の静止指標に基づき、各サブクラス間の代表ユークリッド距離Ｆ（θ_i，θ_j）に対し重み付けを行う。

重み付けの手順、基準については、図１９Ｅで説明したものと同様であるため詳細な説明は省略する。重み付け後、サブクラス間の代表ユークリッド距離は、移動体同士は近くなり、移動体と背景は距離が遠くなっている。

最後に、重み付けされた代表ユークリッド距離Ｆ（θ_i，θ_j）について、サブクラス間重み付き測地距離算出部２８０５にて、サブクラス間測地距離を算出する。代表ユークリッド距離から測地距離を求める手順については、距離算出部１０４の説明において詳しく記載している。すなわち、距離算出部１０４の移動軌跡間測地距離算出部１２０２と同じ処理を行えばよい。処理の単位が移動軌跡単位か、サブクラス単位かの差があるだけで、同じ処理で測地距離を求めることが可能である。

なお、重み付き距離算出部２８０２は必ずしもサブクラス間重み付き測地距離算出部２８０５を含んでいなくともよい。測地距離は特に人物など変形の激しい移動体の表現に適しているが、動画像中の移動体の変形の激しさによっては、測地距離を用いなくともユークリッド距離のみで検出を行えることがある。この場合の、重み付き距離算出部２８０６の構成を図３３Ｄに示す。

重み付き距離算出部２８０６は、静止指標に基づいて、距離算出部２８０１が算出したユークリッド距離に対して、重み付け前に比べ、任意の静止物の移動軌跡間のユークリッド距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間のユークリッド距離の比が大きくなるような重みを付けることにより、重み付きユークリッド距離を算出する。

本変形例の重み付き距離算出部２８０６は、サブクラス間ユークリッド距離算出部２８０３、静止指標付加部２８０４を備える。

以上の構成によれば、サブクラス間測地距離の算出が不要になるため、計算量が削減できるという効果がある。

なお、前述の通り、サブクラスとは、サブクラス分類部１０５によって、移動軌跡算出部１０２で算出された移動軌跡の集まりを、輝度、または移動軌跡の類似度等の、ある指標によりクラスタリングすることで生成されるとしたが、必ずしもサブクラスが複数の移動軌跡を含んでいる必要はない。すなわち、サブクラスがそれぞれ１つの移動軌跡からなるサブクラス分類を行ってもよい。

以上の手順により移動体検出を行うことで、サブクラス分類部が出力したサブクラス数が、全移動軌跡数に比べて小さい場合、測地距離の計算量を削減することができるという効果がある。

（変形例８）
次に、本発明の実施の形態の変形例８に係る移動体検出装置について説明する。

上記実施の形態で説明した移動体検出装置１００において、重み付き距離算出部１０６は、距離算出部１０４で算出した測地距離ｇ（ｉ，ｊ）及び静止指標算出部１０３で算出した静止指標Ｅに基づいて、サブクラス間測地距離を重み付けするとして説明した。

しかし、静止指標算出部１０３および重み付き距離算出部１０６の動作をこれに限定するものではない。つまり、静止指標算出部１０３は、画像からカメラ１１０の動き情報を取得するカメラ動き取得部を備え、画像から検出したカメラ動きを重み付き距離算出部１０６に出力するとしてもよい。また、重み付き距離算出部１０６は、サブクラス間測地距離と、サブクラス内の移動軌跡の静止指標に基づき、サブクラスの静止または移動の判定を行い、判定結果とカメラ動きの情報に基づき、サブクラス間測地距離に重み付けを行い、サブクラス間測地距離を求めるものとしてもよい。

以下で、カメラ動きの情報を推定し、サブクラス間測地距離の重み付けに利用する例について説明する。

図３５Ａは、実施の形態の変形例８に係る移動体検出装置の構成を示す図である。図３５Ａに示すように、この移動体検出装置１００Ｇは、画像入力部１０１、移動軌跡算出部１０２、静止指標算出部３００１、距離算出部１０４、サブクラス分類部１０５、重み付き距離算出部３００２、及び領域分割部１０７を含む。

静止指標算出部３００１及び重み付き距離算出部３００２以外の処理部については、上記実施の形態と同じであるため、説明を省略する。

図３５Ｂに、静止指標算出部３００１の構成を示す。本変形例の静止指標算出部３００１は、カメラ動き取得部３００３、幾何拘束推定部３００４、及び誤差算出部７０２を備えている。誤差算出部７０２の動作は、図７で説明した誤差算出部７０２の動作と同じであるため、ここでは説明を省略する。

まず、カメラ動き取得部３００３の動作について説明する。カメラ動き取得部３００３は、画像の動き情報からカメラ動きの情報を推定する。つまり、カメラ動き取得部３００３は、移動軌跡算出部１０２で算出した移動軌跡より各フレーム間の対応点を抽出し、各フレーム間におけるカメラ動きの情報を推定する。

カメラ動きの情報の推定手法は様々なものがあるが、例えば、８点法で基礎行列Ｆを求め、そこから動き推定をするという方法がある。対応点から８点のサンプルを選び、ＲＡＮＳＡＣにより行列を推定する８点法は、基礎行列推定によく用いられる手法として知られている。カメラのキャリブレーションを行って、キャリブレーション行列を求めておけば、推定した基礎行列とカメラのキャリブレーション行列から本行列（Ｅ行列）を求め、Ｅ行列の特異値分解を行うことでカメラ動きの情報を推定できる。

以上の動き推定手法については、詳しくは非特許文献４に記載されているため、これ以上の詳細な説明は省略する。もちろん、上記の手法以外にも、例えば非特許文献９に記載されているように、対応点と平面から動き推定を行ってもよい。その他、画像からフレーム間のカメラ動きの情報を推定する手法であれば、本実施の形態の動き推定に利用することができる。
「画像理解−３次元認識の数理−」金谷健一著、森北出版、１９９０

幾何拘束推定部３００４は、カメラ動き取得部３００３が推定したカメラ動きの情報を利用して幾何拘束を推定することができる。例えば、（式４）及び（式５）に示したエピポーラ拘束式には、カメラ動き取得部３００３で推定した基礎行列Ｆをそのまま用いることができるし、ホモグラフィ拘束や、構造一致性拘束式に用いられる射影デプス（式８）に含まれるホモグラフィ行列及びエピポールも、カメラ動き取得部３００３が推定したカメラ動きの情報から求めることができる。詳しい変換については、同じく非特許文献４に詳しいため説明を省略する。以上の手順により、幾何拘束推定部３００４の処理が簡易になるという効果がある。さらに、幾何拘束推定部３００４で推定した幾何拘束を用い、誤差算出部７０２は、各移動軌跡の静止指標Ｅを算出する。誤差算出部７０２は求めた静止指標Ｅを重み付き距離算出部３００２へ出力し、カメラ動き取得部３００３は求めたカメラ動きの情報を重み付き距離算出部３００２へ出力する。

続いて、重み付き距離算出部３００２は、図１７の重み付き距離算出部１０６と同様に、サブクラス間測地距離を算出する。ここまでは、重み付き距離算出部３００２も、重み付き距離算出部１０６も同じ動作を行う。

ここで、カメラ動きが大きい場合と小さい場合の、高次元空間上のサブクラスの分布の概念図を図３６Ａおよび図３６Ｂに示す。実際には高次元空間であるが、見やすさのため二次元で表示している。カメラ動きが大きい場合の分布を図３６Ａ、カメラ動きが小さい場合の分布を図３６Ｂに示す。カメラ動きが大きくなると、相対的に背景の動き成分が大きくなり、背景の分布が広がるため、図３６Ａのように移動体と背景の間で、どうしても距離が近くなってしまう。逆に、カメラ動きが小さい場合は図３６Ｂのように、背景は移動体から遠い位置に分布する。これらの分布の違いに対処するため、前述の重み付けルールを、カメラ動きの大きさによって変化させることとする。

具体的には、図３６Ｃに示すように、２つのサブクラスが「静止」同士であった場合、
Ｗ_B＜Ｗ_S＜１
（Ｗ_B：カメラ動き大のときの重み、Ｗ_S：カメラ動き小のときの重み）
となる重みＷ_BまたはＷ_Sをサブクラス間測地距離にかける。サブクラスが「静止」と「移動」であった場合（異なる分類）、
Ｗ_B＞Ｗ_S＞１
（Ｗ_B：カメラ動き大のときの重み、Ｗ_S：カメラ動き小のときの重み）
となる重みＷ_BまたはＷ_Sをサブクラス間測地距離にかける。つまり、カメラ動きが大きい場合に、より静止物のサブクラス同士が近づき、より移動体のサブクラスと静止物のサブクラスが離れるような重みを設定する。

具体的には、カメラ動きが大きいか小さいかの基準は、動画像から検出したい移動体の移動速度に依存する。例えば人物を移動体として検出したい場合は、人物の平均的な移動速度は３ｋｍ／ｈであるため、カメラ動きが３ｋｍ／ｈ以上の場合は「カメラ動きが大きい」と判断し、よりカメラ動きが大きくなるほど、サブクラス静止または移動の判定結果を表す静止判定値Ｅ_MSが両方０（静止）の移動軌跡ペア間の測地距離に適用する重みＷは小さく（ただしＷ＜１）、静止判定値Ｅ_MSが０と１（静止と移動）の移動軌跡ペア間の測地距離に適用する重みＷは大きく（ただしＷ＞１）すればよい。

また、カメラ動きが３ｋｍ／ｈより小さい場合は「カメラ動きが小さい」と判断し、よりカメラ動きが小さくなるほど、静止判定値Ｅ_MSが両方０の移動軌跡ペア間の測地距離に適用する重みＷを大きく（ただしＷ＜１）、静止判定値Ｅ_MSが０と１の移動軌跡ペア間の測地距離に適用する重みＷを小さく（ただしＷ＞１）すればよい。

例えば、カメラ動きが大きい場合、例えば５ｋｍ／ｈであった場合は、サブクラスが「静止」同士の移動軌跡ペア間の測地距離に適用する重みＷをＷ＝０．００５とし、サブクラスが「静止」と「移動」の移動軌跡ペア間の測地距離に適用する重みＷをＷ＝１０とする。また、カメラ動きが小さい場合、例えば０．２ｋｍ／ｈに相当する距離であった場合は、サブクラスが「静止」同士の移動軌跡ペア間の測地距離に適用する重みＷをＷ＝０．０５とし、サブクラスが「静止」と「移動」の移動軌跡ペア間の測地距離に適用する重みＷをＷ＝１などとすればよい。

以上のように設定した重み付けにより、サブクラス間測地距離が変化した結果の例を図３６Ｄ及び図３６Ｅに示す。図３６Ｄは、カメラ動きが大の場合の重みに従いサブクラス間測地距離の重み付けを行った後のサブクラスの分布を示し、図３６Ｅは、カメラ動きが小の場合の重みに従いサブクラス間測地距離の重み付けを行った後のサブクラスの分布を示している。このように適切に重み付けを変化させることで、カメラ動きの大きさによらず、サブクラス間の測地距離が求まっていることが分かる。

なお、Ｗの大きさについては、例えば、ある特定のカメラ動き下であらかじめ設定した重みＷ_refに対し、カメラ動きの絶対値の比を、重みＷ_refに乗算または除算することで、重み付けルールを変更するとしてもよい。

以上の構成により、サブクラス間の重み付き測地距離Ｇ_wに対する、カメラ動きの大きさ変動の影響を低減することができるため、安定した移動体検出が実現できる。

なお、本実施の形態では、カメラ動き取得部でカメラ動きの情報そのものを求めるとしたが、カメラ動きの代わりに移動軌跡の大きさ（移動軌跡により求められる移動量）の平均値を求め、カメラ動きの代わりに用いてもよい。カメラ動きが大きくなると、平均的には背景上の移動軌跡の大きさも大きくなるため、近似的にカメラ動きの大小に比例した値を得ることができる。例えば、事前に、実際のカメラ動きと、おおよその移動軌跡の大きさの平均値との関係性を取得しておくことで、移動軌跡の大きさの平均値をカメラ動きに対応する評価値として用いることができる。

（変形例９）
次に、本発明の実施の形態の変形例９に係る移動体検出装置について説明する。

変形例８で説明した移動体検出装置１００Ｇにおいて、カメラ動き取得部３００３は、静止指標算出部３００１に含まれ、画像からカメラ動きの情報を推定するものとして説明した。しかし、カメラ動き取得部３００３の動作をこれに限定するものではない。

つまり、カメラ動き取得部３００３は、カメラに設置したセンサにより、電子的或いは物理的に、カメラ動きの情報を取得するとしてもよいし、カメラの操作制御信号からカメラ動きの情報を取得するとしてもよい。

図３７は、実施の形態の変形例９に係る移動体検出装置の構成を示す図である。図３７に示すように、この移動体検出装置１００Ｈは、画像入力部１０１、移動軌跡算出部１０２、静止指標算出部１０３、距離算出部１０４、サブクラス分類部１０５、重み付き距離算出部３１０２、及び領域分割部１０７を含む。

カメラ動き取得部３１０１及び重み付き距離算出部３１０２以外の処理部については、変形例８と同じであるため、説明を省略する。

カメラ動き取得部３１０１は、カメラに設置したセンサから、電子的或いは物理的に、カメラ動きの情報を取得する。続いて、重み付き距離算出部３１０２は、静止指標算出部１０３から静止指標Ｅ、距離算出部１０４から各移動軌跡間の距離、サブクラス分類部１０５からサブクラス分類情報（ラベル情報）に加え、カメラ動き取得部３１０１からカメラ動き取得部３１０１が取得したカメラ動きの情報を受け付ける。変形例８と同様に、サブクラス間測地距離に対する重みＷを、カメラ動きの情報に基づき変化させる。処理の詳細は変形例８と同様であるため説明を省略する。この構成によると、重み付き距離算出部３１０２は、実際のカメラ動きの情報を取得できるので、より正しく移動体の検出が行える。

なお、カメラ動き取得部３１０１におけるカメラ動きの情報の取得は、必ずしもカメラに設置したセンサである必要はなく、カメラが設置された移動車輌等に別途設置されたセンサによってもよい。特に移動車輌が車の場合には、車載センサを用いることができる。カメラ、及び別途設置されたセンサの位置関係が既知であれば、座標変換を行うことによって、センサで取得した移動体動きの情報を、簡単にカメラ動きの情報に変換し利用することができる。このように、センサがカメラとは別に設置されている場合の移動体検出装置の構成図を図３８に示す。つまり、移動体検出装置１００Ｉは、図３７に示した移動体検出装置１００Ｈにおいてカメラ動き取得部３１０１の代わりにカメラ動き取得部３２０１を備えている。カメラ動き取得部３２０１は、車などの移動車輌上に設けられた移動体上センサ３２０２からセンサ情報を取得し、カメラ座標系への座標変換を行い、移動体の動き情報をカメラ動きの情報として出力すればよい。この構成によれば、カメラ本体からの動きの取得が困難である場合でも、カメラが設置された移動車輌に別途センサを設けることでカメラ動きの情報を取得できるようになる。なお、移動車輌が車の場合に用いられる移動体上センサ３２０２としては、具体的には、走行距離と操舵角とを検出するセンサとしてもよい。なお、ここではカメラの搭載先を移動車輌としたが、移動し、かつカメラを搭載し、カメラ動きを検出できるものであれば、もちろん車輌でなくともよい。

（変形例１０）
次に、本発明の実施の形態の変形例１０に係る移動体検出装置について、図３９Ａおよび図３９Ｂを参照しながら説明する。

上記実施の形態で説明した移動体検出装置１００において、重み付き距離算出部１０６は、代表測地距離算出部１７０１と静止指標付加部１７０２を含み、静止指標に基づいて代表測地距離に重み付けを行い、領域分割部１０７は、重み付けされた代表測地距離に対して領域分割を行うとして説明した。しかし、重み付き距離算出部１０６と領域分割部１０７の動作をこれに限定するものではない。

重み付き距離算出部１０６で、各サブクラスの代表測地距離と代表静止指標を求めて領域分割部へ出力し、領域分割部１０７において、クラスタリング閾値に対して代表静止指標に基づく重み付けを行ってもよい。

図３９Ａは、実施の形態の変形例１０に係る移動体検出装置の構成を示す図である。

図３９Ａに示すように、この移動体検出装置１００Ｊは、画像入力部１０１、移動軌跡算出部１０２、静止指標算出部１０３、距離算出部１０４、サブクラス分類部１０５、重み付き距離算出部３４０１、及び領域分割部３４０２を含む。

重み付き距離算出部３４０１及び領域分割部３４０２以外の処理部については、上記実施の形態と同じであるため、説明を省略する。

重み付き距離算出部３４０１は、移動軌跡間の距離に基づいて、移動軌跡間の測地距離を算出する。

領域分割部３４０２は、静止物の移動領域と移動体の移動領域を異なるクラスに分類するか否かを判断するために用いられる測地距離の閾値に対して、静止指標に基づく重みを付けることにより得られる重み付き閾値と重み付き距離算出部３４０１が算出した測地距離との比較結果から静止物の移動軌跡と移動体の移動軌跡とを分離することにより、各ピクチャ上の静止物の領域と移動体の領域を分割する。

領域分割部３４０２は、２つの移動軌跡の静止指標がそれぞれ「静止物」および「静止物」を表す値であるときの測地距離の閾値に対する重みを、２つの移動軌跡の静止指標がそれぞれ「移動体」および「静止物」を表す値であるときの測地距離の閾値に対する重みよりも大きくする。

図３９Ｂに示すように、重み付き距離算出部３４０１は、代表測地距離算出部１７０１と代表静止指標算出部３４０３を含む。代表測地距離算出部１７０１の動作は上記実施の形態と同じであるため、その説明を省略する。

代表静止指標算出部３４０３の動作について詳しく説明する。代表静止指標算出部３４０３は、各クラスに属する移動軌跡の静止指標について、その代表値を求める。

すなわち上記実施の形態における静止指標付加部１７０２の動作の、前半部分（各サブクラスにつき、１つの静止指標を求めるという部分）と同じ処理であり、サブクラス単位での静止または移動の評価を行うことで、ピクセル単位に生じる静止指標の誤判定を修正する。

サブクラス単位の静止または移動の評価の方法としては、例えば最も簡易な例として、多数決が挙げられる。具体的には、代表静止指標算出部３４０３は、あるサブクラス内の移動軌跡について、静止判定値Ｅ_MS＝１（移動）である移動軌跡の方が多い場合は、そのサブクラス単位の静止または移動の評価を、「移動」、すなわちサブクラス間静止判定値Ｅ_SUB-MS＝１とする。逆に、あるサブクラス内の移動軌跡について、「静止」と判定された移動軌跡の方が多いか、「静止」と判定された移動軌跡と「移動」と判定された移動軌跡との数が同じである場合は、そのサブクラス単位の静止または移動の評価を、「静止」、すなわちサブクラス間静止判定値Ｅ_SUB-MS＝０とする。以上により、図１９Ｄに示すように、移動体上の各サブクラスについてはサブクラス間静止判定値Ｅ_SUB-MS＝１と判定され、静止物上の各サブクラスについてはサブクラス間静止判定値Ｅ_SUB-MS＝０と判定され、誤判定の影響を除去できる。

以上により、各サブクラス間に、１つのサブクラス間静止判定値Ｅ_SUB-MS、すなわちサブクラス単位の静止または移動の評価の値が付与される。重み付き距離算出部３４０１は、サブクラス間静止判定値Ｅ_SUB-MSと、サブクラス間測地距離ｈ_p,qを、領域分割部３４０２に出力する。

領域分割部３４０２は、サブクラス分類部１０５で生成された複数のサブクラスθ_p（ｐ＜＝ｍ，ｍ：サブクラス数）を領域分割候補とする。領域分割部３４０２は、サブクラスθ_pの領域分割の評価値として、重み付き距離算出部３４０１で算出されたサブクラス間測地距離ｈ_p,qを用い、また領域分割のための閾値の重み付けとしてサブクラス間静止判定値Ｅ_SUB-MSを利用し、サブクラスθ_pの領域分割候補を、別個のクラスタとして分割するか否かを判断する。

具体的には、領域分割部３４０２は、サブクラス間測地距離ｈ_p,qが、あらかじめ定められた閾値Ｈｔ以上の場合、対応する２つのサブクラスθ_p、θ_qは、そのサブクラス間の距離が十分離れているクラスとして選択し、個別のクラスとして確定する。

一方、領域分割部３４０２は、サブクラス間測地距離ｈ_p,qが、あらかじめ定められた閾値Ｈｔより小さい場合、対応する２つのサブクラスθ_p、θ_qは、同一のクラスとして確定する。つまり、この場合には、分割しないと確定する。そして、領域分割部３４０２は、領域分割候補の全てのサブクラスに対して、分割するか否かを判定した後、異なるクラスに属する移動軌跡には異なるラベルθ_mを割り当て、移動軌跡の領域分割情報として出力する。

ここで、予め定められた閾値Ｈｔに対して、以下に示すような重み付けルールを設定する。

２つのサブクラスのサブクラス間静止判定値Ｅ_SUB-MSが、どちらも０であれば、どちらも静止物のサブクラスであり、同じ静止背景に属するといえる。したがって、サブクラス間がより統合されやすくなるような処理をするとよい。そこで、サブクラスの領域分割判定のための閾値Ｈｔに対し、サブクラス間測地距離を近づけるための重みＹをかける。つまり、領域分割部３４０２は、上記実施形態におけるＷｍｉｎを用いて、Ｙｍｉｎ＝１／Ｗｍｉｎとなるような重みＹｍｉｎを、閾値Ｈｔに対してかけるとよい。重み付け閾値をＨｔｗ（ｐ，ｑ）とすると、
Ｈｔｗ（ｐ，ｑ）＝Ｙｍｉｎ・Ｈｔ
となる。

また、ある２つのサブクラスのサブクラス間静止判定値Ｅ_SUB-MSが、一方が０、もう一方が１である場合は、それぞれ背景のサブクラスと移動体のサブクラス、すなわち異なる物体のサブクラスである可能性が高いため、サブクラス間がより統合されにくくなるような処理をするとよい。そこで、閾値Ｈｔに対して、サブクラス間測地距離を遠ざけるような重みＹをかける。つまり、領域分割部３４０２は、Ｙｍｉｎと同様に、上記実施形態におけるＷｍａｘを用いて、Ｙｍａｘ＝１／Ｗｍａｘとなるような重みＹｍａｘを、閾値Ｈｔに対してかける。重み付け閾値をＨｔｗ（ｐ，ｑ）とすると、
Ｈｔｗ（ｐ，ｑ）＝Ｙｍａｘ・Ｈｔ
となる。

また、ある２つのサブクラスのサブクラス間静止判定値Ｅ_SUB-MSが、どちらも１であれば、どちらも移動体のサブクラスである。しかし、背景の場合と異なり、その２つのサブクラスが、同じ移動体上のサブクラスであるか、異なる移動体上のサブクラスかは、サブクラス間静止判定値Ｅ_SUB-MSのみからは判定できない。したがって、重み付けは行わないものとする。すなわち、領域分割部３４０２は、サブクラス間のクラスタリング閾値に対して、Ｙ＝１となるような重みＹｎｅｕをかける。重み付け閾値をＨｔｗ（ｐ，ｑ）とすると、
Ｈｔｗ（ｐ，ｑ）＝Ｙｎｅｕ・Ｈｔ
となる。

なお、上述した、２つのサブクラスがともに静止物である場合にサブクラス間を統合されやすくする重み付けと、２つのサブクラスの一方が背景で他方が静止物である場合にサブクラス間を統合されにくくする重み付けは、どちらか一方のみを行ってもよいし、両者を同時に行ってもよい。

なお、Ｙｍａｘ、Ｙｍｉｎの値については、カメラ動きの大きさや、移動体の動く速度等にもよるが、例えば、カメラが時速１ｋｍで直進する場合は、上記実施の形態のＷｍａｘ、Ｗｍｉｎより、Ｙｍａｘ＝０．２、Ｙｍｉｎ＝１００を用いることができる。

さらには、サブクラスのサブクラス間静止判定値Ｅ_SUB-MSの信頼度によって、重みを変化させることで、より正しく移動体を背景から分離できる。

もし、サブクラス間静止判定値Ｅ_SUB-MSの信頼度が低い場合（例えばエピポール誤差を用いる場合に、特に直進する車に対して、例えば細い路地などで真正面に小さな移動体が存在するような場合）、誤判定が起こってしまう可能性がある。このような場合、予めＹｍａｘ＝０．４、Ｙｍｉｎ＝１０にするなど、Ｙｍａｘ、Ｙｍｉｎをより１に近い値にすることで、誤検出および検出ミスを低減することができる。

逆に、サブクラス間静止判定値Ｅ_SUB-MSの信頼度が高い場合（例えば前述のエピポール誤差の場合、大通りの車道など、真正面に人物のような小さな移動体があらわれにくいような場合）は、逆にＹｍａｘ＝０．１、Ｙｍｉｎ＝１０００にするなど、Ｙｍａｘ、Ｙｍｉｎをより１から遠い値にすればよい。

特に、サブクラス間静止判定値Ｅ_SUB-MSが完全に正しく与えられた場合は、Ｙｍａｘ＝０とすれば、容易に、移動体を背景から分離することができる。

以上のようにして、各サブクラス間の領域分割のための閾値に重み付けを行うことで、上記実施の形態における、測地距離への重み付けと同じ効果を得ることができる。

最後に、領域分割部３４０２は、重み付けした閾値を用いて、上記実施の形態の領域分割部１０７の処理と同様に、サブクラス間測地距離ｈ_p,qと、重み付け閾値Ｈｔｗ（ｐ，ｑ）とを比較し、ｈ_p,q≧Ｈｔｗ（ｐ，ｑ）であった場合、対応するサブクラスθ_p、θ_qを、分割すると判断し、逆に、ｈ_p,q＜Ｈｔｗ（ｐ，ｑ）であった場合、対応するサブクラスθ_p、θ_qを、分割しない、つまり統合すると判断する。

以上の手順により、測地距離の値を直接変更することなく、閾値の変更のみで、上記実施の形態の移動体検出装置１００と同様の効果を得ることができる。特に、重み付け後の測地距離を保持しない、すなわちサブクラス数が多い場合などに、重み付け前の測地距離と重み付け後の測地距離の両方をメモリに保持する必要がないため、よりメモリ効率がよいという効果がある。

以上のようにして、本実施の形態及びその変形例に係る移動体検出装置及びその方法では、画素間の距離または移動軌跡の類似度に基づいてサブクラス化を行い、さらにサブクラス間の代表距離と、移動軌跡の静止指標から、移動体の姿勢によらずに、移動体を含むピクチャの領域分割をすることができる。

また、前処理として人物候補領域を設定する必要がないため、人物候補領域の検出ミスに起因する領域分割の失敗がない。したがって、膨大なパラメータのフィッティングを必要とせずに、形状が変化しながら移動する人物等を含むピクチャに対しても正しく移動体の検出を行えることとなる。

また、上記実施の形態に係る移動体検出装置１００は、画像入力部１０１、移動軌跡算出部１０２及びサブクラス分類部１０５を備えたが、本発明は、これらの構成要素を必須とするものではない。図４０は、本発明に必須の構成要素を備える移動体検出装置の構成を示す図である。移動体検出装置１００Ｋは、静止指標算出部１０３と、距離算出部１０４と、重み付き距離算出部１０６と、領域分割部１０７とを備える。つまり、動画像を構成する複数のブロックのそれぞれにおけるピクチャの移動軌跡が予め算出されている場合には、移動体検出装置１００は、外部から、そのような移動軌跡を取得し、取得した移動軌跡に対して、ステップＳ３０３、Ｓ３０４、Ｓ３０６およびＳ３０７の処理を実行してもよい。また、移動軌跡をサブクラスに分類することなく、重み付き距離算出部１０６は、全ての移動軌跡間で測地距離を算出することとしてもよい。なお、請求の範囲では、重み付き距離算出部１０６および領域分割部１０７をあわせて領域検出部と呼んでいる。

また、本発明は、移動体検出装置として実現されたが、移動体検出装置１００の機能を持つものであれば、動画像において関節状動きをもつオブジェクトの領域を抽出、または、分割する画像処理装置として実現することができるのは言うまでもない。

なお、本実施の形態では線形距離としてユークリッド距離を用いたが、前述した通り、ユークリッド距離に限るものではない。前述の線形距離で定義される任意の距離指標を用いて得られる形態も本発明に含まれるものとする。

また、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしても良い。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしても良い。

また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。

さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な不揮発性の記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、半導体メモリなどに記録したものとしても良い。また、これらの不揮発性の記録媒体に記録されている上記デジタル信号であるとしても良い。

また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。

また、上記プログラムまたは上記デジタル信号を上記不揮発性の記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。

さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしても良い。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

本発明は、複数枚のピクチャにおける動きに基づいて、形状が変化しながら移動する人物等の移動体を含むピクチャを領域抽出することによってピクチャ中の移動体を検出する移動体検出装置として、例えば、運動解析装置、監視装置、ビデオカメラやＴＶ等のＡＶ機器に内蔵させる移動体検出装置等として利用することが可能である。

１００、１００Ａ〜１００Ｌ 移動体検出装置
１０１ 画像入力部
１０２ 移動軌跡算出部
１０３、１０３Ａ、２７０２、３００１ 静止指標算出部
１０４ 距離算出部
１０５、２１０１、２２０１、２４０１、２６０１、２６０２、２６０３ サブクラス分類部
１０６、１０６Ａ、２８０２、２８０６、３００２、３１０２、３４０１ 重み付き距離算出部出部
１０７、３４０２ 領域分割部
１１０ カメラ
１２０ ディスプレイ
２００ コンピュータ
２０１ Ｉ／Ｆ
２０２ ＣＰＵ
２０３ ＲＯＭ
２０４ ＲＡＭ
２０５ ＨＤＤ
２０６ ビデオカード
７０１、３００４ 幾何拘束推定部
７０２ 誤差算出部
７０３ 静止指標画像作成部
１２０１、１５０１、２８０１ ユークリッド距離算出部
１２０２ 移動軌跡間測地距離算出部
１５０２、２１０２、２２０３ クラスタリング部
１７０１ 代表測地距離算出部
１７０２、１７０２Ａ、２８０４ 静止指標付加部
１７０３ 閾値入力部
２２０２ 第２距離算出部
２４０２ 第３距離算出部
２４０３ サブクラス候補生成部
２４０４ サブクラス候補選択部
２６０４ ユークリッド距離ロード部
２６０５ 距離ロード部
２７０１ 幾何拘束推定用移動軌跡算出部
２８０３ サブクラス間ユークリッド距離算出部
２８０５ サブクラス間重み付き測地距離算出部
３００３、３１０１、３２０１ カメラ動き取得部
３２０２ 移動体上センサ
３４０３ 代表静止指標算出部

Claims (32)

1. 各々が動画像中の各領域に対応する複数の移動軌跡から、移動体領域を検出する移動体検出装置であって、
   動画像を構成する２枚以上のピクチャ間における前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡の各々について、当該移動軌跡の静止物の移動軌跡らしさを表す静止指標を算出する静止指標算出部と、
   前記移動軌跡間の類似度を表す距離を算出する距離算出部と、
   前記移動軌跡の静止指標および前記移動軌跡間の距離に基づいて、任意の静止物の移動軌跡間の距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の距離の比が、変換前と比べて大きくなるような変換処理を行ない、前記変換した移動軌跡間の距離に基づいて、静止物の移動軌跡と移動体の移動軌跡とを分離することにより、移動体の移動軌跡に対応する移動体領域を検出する領域検出部と
   を備える移動体検出装置。
2. 前記距離算出部は、前記移動軌跡間の距離に基づいて、２つの移動軌跡以外の移動軌跡を中継点として前記２つの移動軌跡の一方から他方にたどりつく経路の距離である測地距離を算出し、
   前記領域検出部は、前記移動軌跡の静止指標および前記移動軌跡間の測地距離に基づいて、任意の静止物の移動軌跡間の測地距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の測地距離の比が、変換前と比べて大きくなるような変換処理を行ない、前記移動軌跡間の測地距離に基づいて、静止物の移動軌跡と移動体の移動軌跡とを分離することにより、移動体の移動軌跡に対応する移動体領域を検出する
   請求項１記載の移動体検出装置。
3. 前記静止指標算出部は、前記複数の移動軌跡から各移動軌跡が静止物の移動軌跡である場合に成立する幾何拘束を推定し、推定した前記幾何拘束を満たす度合いを前記静止指標として算出する
   請求項１記載の移動体検出装置。
4. 前記静止指標算出部は、複数の移動軌跡からエピポーラ拘束、ホモグラフィ拘束、三重線形拘束および構造一致性拘束のいずれかの幾何拘束を推定し、推定した前記幾何拘束を満たす度合いを前記静止指標として算出する
   請求項３記載の移動体検出装置。
5. 前記領域検出部は、
   前記移動軌跡間の距離に基づいて、前記移動軌跡間の測地距離を算出し、前記移動軌跡の静止指標に基づいて、算出した各測地距離に対して、重み付け前に比べ、任意の静止物の移動軌跡間の測地距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の測地距離の比が大きくなるような重みを付けることにより、重み付き測地距離を算出する重み付き距離算出部と、
   前記重み付き距離算出部が算出した前記重み付き測地距離に基づいて、前記重み付き測地距離が所定の閾値以上となる移動軌跡同士を異なるクラスに分類することにより、各ピクチャ上の静止物の領域と移動体の領域を分割する領域分割部とを含む
   請求項１〜４のいずれか１項に記載の移動体検出装置。
6. 前記距離算出部は、移動軌跡間の類似度を表す測地距離を算出し、
   前記重み付き距離算出部は、前記静止指標に基づいて、前記距離算出部が算出した前記測地距離に対して、重み付け前に比べ、任意の静止物の移動軌跡間の測地距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の測地距離の比が大きくなるような重みを付けることにより、前記重み付き測地距離を算出する
   請求項５記載の移動体検出装置。
7. 前記距離算出部は、移動軌跡間の類似度を表す線形距離を算出し、
   前記重み付き距離算出部は、前記静止指標に基づいて、前記距離算出部が算出した前記線形距離に対して、重み付け前に比べ、任意の静止物の移動軌跡間の線形距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の線形距離の比が大きくなるような重みを付けることにより、重み付き線形距離を算出し、算出した前記重み付き線形距離から前記重み付き測地距離を算出する
   請求項５記載の移動体検出装置。
8. 前記領域検出部は、
   前記移動軌跡間の距離に基づいて、前記移動軌跡間の測地距離を算出する重み付き距離算出部と、
   静止物の移動領域と移動体の移動領域を異なるクラスに分類するか否かを判断するために用いられる前記測地距離の閾値に対して、前記静止指標に基づく重みを付けることにより得られる重み付き閾値と前記重み付き距離算出部が算出した前記測地距離との比較結果から静止物の移動軌跡と移動体の移動軌跡とを分離することにより、各ピクチャ上の静止物の領域と移動体の領域を分割する領域分割部とを含む
   請求項１〜４のいずれか１項に記載の移動体検出装置。
9. 前記領域分割部は、２つの移動軌跡の静止指標がそれぞれ「静止物」および「静止物」を表す値であるときの前記測地距離の閾値に対する重みを、２つの移動軌跡の静止指標がそれぞれ「移動体」および「静止物」を表す値であるときの前記測地距離の閾値に対する重みよりも大きくする
   請求項８記載の移動体検出装置。
10. さらに、前記複数の移動軌跡を、各々が類似する移動軌跡の部分集合である複数のサブクラスに分類するサブクラス分類部を備え、
    前記重み付き距離算出部は、移動軌跡の静止指標、移動軌跡間の距離、およびサブクラスの分類結果に基づいて、前記静止指標に基づく前記重みが付けられた前記移動軌跡間の測地距離を算出し、
    前記領域分割部は、前記重み付き距離算出部が算出した前記重み付けされた測地距離に基づいて、静止物の移動軌跡と移動体の移動軌跡とを分離することにより、各ピクチャ上の静止物の領域と移動体の領域を分割する
    請求項５記載の移動体検出装置。
11. さらに、前記複数の移動軌跡を、各々が類似する移動軌跡の部分集合である複数のサブクラスに分類するサブクラス分類部を備え、
    前記重み付き距離算出部は、移動軌跡の静止指標、移動軌跡間の距離、およびサブクラスの分類結果に基づいて、前記静止指標に基づく前記重みが付けられたサブクラス間の測地距離を算出し、
    前記領域分割部は、前記重み付き距離算出部が算出した前記サブクラス間の測地距離に基づいて、静止物のサブクラスと移動体のサブクラスとを分離することにより、各ピクチャ上の静止物の領域と移動体の領域を分割する
    請求項５記載の移動体検出装置。
12. 前記距離算出部は、移動軌跡間の類似度を表す測地距離を算出し、
    前記重み付き距離算出部は、サブクラス間の測地距離の代表値に対して、サブクラスに含まれる移動軌跡の静止指標の代表値に基づく重みをかけることにより、前記サブクラス間の測地距離を算出する
    請求項１１記載の移動体検出装置。
13. 前記距離算出部は、移動軌跡間の類似度を表す線形距離を算出し、
    前記重み付き距離算出部は、サブクラス間の線形距離の代表値に対して、サブクラスに含まれる移動軌跡の静止指標の代表値に基づく重みをかけ、重み付けされたサブクラス間の線形距離の代表値に基づいて、前記サブクラス間の測地距離を算出する
    請求項１１記載の移動体検出装置。
14. 前記重み付き距離算出部は、２つのサブクラス間で、前記２つのサブクラスに含まれる移動軌跡の静止指標の代表値がそれぞれ「移動体」および「静止物」を表す値であったときに、前記サブクラス間の測地距離の前記重みを、１よりも大きい値に設定する
    請求項１１記載の移動体検出装置。
15. 前記重み付き距離算出部は、２つのサブクラス間で、前記２つのサブクラスに含まれる移動軌跡の静止指標の代表値がそれぞれ「静止物」および「静止物」を表す値であったときに、前記サブクラス間の測地距離の前記重みを、１未満の値に設定する
    請求項１１または１４に記載の移動体検出装置。
16. 前記重み付き距離算出部は、２つのサブクラス間で、前記２つのサブクラスに含まれる移動軌跡の静止指標の代表値がそれぞれ「移動体」および「移動体」を表す値であったときに、前記サブクラス間の測地距離の前記重みを、１に設定する
    請求項１４または１５に記載の移動体検出装置。
17. 前記サブクラス分類部は、移動軌跡間の類似度に基づいて、各移動軌跡を前記複数のサブクラスのいずれかに分類する
    請求項１０または１１記載の移動体検出装置。
18. 前記サブクラス分類部は、移動軌跡間での、各移動軌跡に属するブロック同士の輝度の類似度に基づいて、各移動軌跡を前記複数のサブクラスのいずれかに分類する
    請求項１０または１１記載の移動体検出装置。
19. 前記サブクラス分類部は、
    前記移動軌跡間の測地距離を算出する第２距離算出部と、
    前記第２距離算出部が算出した前記移動軌跡間の測地距離の次元圧縮を行い、次元圧縮された前記移動軌跡間の測地距離に基づいて、各移動軌跡を前記複数のサブクラスのいずれかに分類するクラスタリング部とを含む
    請求項１０または１１記載の移動体検出装置。
20. 前記サブクラス分類部は、前記複数の移動軌跡のそれぞれについて、当該移動軌跡から他の移動軌跡までの複数の距離のうち、前記所定の距離閾値以下の距離を選択し、選択しなかった距離を無限大に変更する非線形化をした後に、当該移動軌跡から他の移動軌跡までの最短経路を求めることにより、前記測地距離を算出し、移動軌跡間の測地距離が有限の値となる移動軌跡の集まりを同一のサブクラスに分類することにより、各移動軌跡を前記複数のサブクラスのいずれかに分類する
    請求項１０または１１記載の移動体検出装置。
21. 前記静止指標算出部は、静止物の移動軌跡に対して成立する幾何拘束を推定するための移動軌跡から前記幾何拘束を推定し、推定した前記幾何拘束に基づいて、前記距離算出部において距離を算出するのに用いられる各移動軌跡の静止指標を算出する
    請求項１〜２０のいずれか１項に記載の移動体検出装置。
22. さらに、前記動画像を撮影するカメラの動き情報を取得するカメラ動き取得部を備え、
    前記重み付き距離算出部は、前記カメラの動き情報の大きさに基づいて、重み付けの際の静止指標の重みを変化させる
    請求項５記載の移動体検出装置。
23. 前記重み付き距離算出部は、前記カメラの動き情報が大きいほど、静止物の移動軌跡と移動体の移動軌跡との間の距離の重み付けを大きくする
    請求項２２記載の移動体検出装置。
24. さらに、前記動画像を撮影するカメラの動き情報を取得するカメラ動き取得部を備え、
    前記重み付き距離算出部は、前記２つのサブクラスの静止指標の代表値がそれぞれ「移動体」および「静止物」を表す値であったときに、前記２つのサブクラス間の測地距離に重み付けを行い、
    前記カメラの動き情報が所定の閾値以上の場合の重みをＷＢとし、前記カメラの動き情報が前記所定の閾値よりも小さい場合の重みをＷＳとした場合に、ＷＢ＞ＷＳ＞１の関係を満たす
    請求項１１記載の移動体検出装置。
25. さらに、前記動画像を撮影するカメラの動き情報を取得するカメラ動き取得部を備え、
    前記重み付き距離算出部は、前記２つのサブクラスの静止指標の代表値がそれぞれ「静止物」および「静止物」を表す値であったときに、前記２つのサブクラス間の測地距離に重み付けを行い、
    前記カメラの動き情報が所定の閾値以上の場合の重みをＷＢとし、前記カメラの動き情報が前記所定の閾値よりも小さい場合の重みをＷＳとした場合に、ＷＢ＜ＷＳ＜１の関係を満たす
    請求項１１記載の移動体検出装置。
26. 前記カメラ動き取得部は、カメラに対する操作制御信号から前記カメラの動き情報を取得する
    請求項２２〜２５のいずれか１項に記載の移動体検出装置。
27. 前記カメラ動き取得部は、車載センサから前記カメラの動き情報を取得する
    請求項２２〜２５のいずれか１項に記載の移動体検出装置。
28. 前記重み付き距離算出部は、さらに、前記移動軌跡の静止指標と静止指標閾値とを比較することにより、前記静止指標閾値以下の静止指標を有する前記移動軌跡を静止物の移動軌跡と判断し、前記静止指標閾値よりも大きい静止指標を有する前記移動軌跡を移動体の移動軌跡と判断する
    請求項５〜２０および２２〜２７のいずれか１項に記載の移動体検出装置。
29. 前記重み付き距離算出部は、静止指標閾値を受け付ける閾値入力部を含み、前記移動軌跡の静止指標と前記閾値入力部が受け付けた前記静止指標閾値とを比較することにより、前記静止指標閾値以下の静止指標を有する前記移動軌跡を静止物の移動軌跡と判断し、前記静止指標閾値よりも大きい静止指標を有する前記移動軌跡を移動体の移動軌跡と判断し、
    前記領域検出部は、さらに、検出した前記移動体領域を前記表示部に表示させる
    請求項２８に記載の移動体検出装置。
30. 前記静止指標算出部は、さらに、前記ピクチャを構成する各ブロックを、算出した前記静止指標の値に応じた表示態様で、表示部に表示させる
    請求項１〜２９のいずれか１項に記載の移動体検出装置。
31. 各々が動画像中の各領域に対応する複数の移動軌跡から、移動体領域を検出する移動体検出方法であって、
    動画像を構成する２枚以上のピクチャ間における前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡の各々について、当該移動軌跡の静止物の移動軌跡らしさを表す静止指標を算出する静止指標算出ステップと、
    前記移動軌跡間の類似度を表す距離を算出する距離算出ステップと、
    前記移動軌跡の静止指標および前記移動軌跡間の距離に基づいて、任意の静止物の移動軌跡間の距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の距離の比が、変換前と比べて大きくなるような変換処理を行ない、前記移動軌跡間の距離に基づいて、静止物の移動軌跡と移動体の移動軌跡とを分離することにより、移動体の移動軌跡に対応する移動体領域を検出する領域検出ステップと
    を含む、
    移動体検出方法。
32. 各々が動画像中の各領域に対応する複数の移動軌跡から、移動体領域を検出するためのプログラムであって、
    請求項３１に記載の移動体検出方法に含まれるステップをコンピュータに実行させるためのプログラム。

Images