JP4456181B1 - 移動体検出方法及び移動体検出装置 - Google Patents

Abstract

形状が変化しながら移動する人物等の被写体を含む画像に対しても、正しく領域分割することができる移動体検出方法を提供する。
動画像を構成する複数枚のピクチャを受け付けるステップ（Ｓ１０１）と、ピクチャを構成する１個以上の画素からなるブロックごとに、時間的に隣接する２枚のピクチャ間での画像の動きを検出し、検出した動きを複数枚のピクチャについて連結することで、移動軌跡を算出するステップ（Ｓ１０２及びＳ１０３）と、算出された複数の移動軌跡について、移動軌跡間の類似性を表す距離を算出するステップ（Ｓ１０４）と、算出された距離のうち、閾値よりも小さい距離を連結することで測地距離に変換し、得られた測地距離の分布における不連続点を検出し、検出した不連続点よりも小さい測地距離だけ離れた移動軌跡を一つのクラスタとすることによって領域分割をするステップ（Ｓ１０５及びＳ１０６）とを含む。
【選択図】図７

Description

本発明は、画像中の移動体を検出する方法に関し、特に複数枚の画像から構成される動画像から、画像の動き情報に基づいて、形状が変化しながら移動する人物等の移動体の全部又は一部の領域を特定する領域分割をすることによって移動体を検出する方法に関する。

画像に基づいて、形状が変化しながら移動する人物等の移動体を検出したり、移動体を含む画像の領域分割を行う技術の１つとして、画像から対象物の候補領域を抽出する手法と、抽出した対象物の候補領域に対しあらかじめ用意した対象物モデルを当てはめる手法とを組合せた方法がある（例えば、特許文献１及び非特許文献１参照）。例えば、特許文献１では、対象物候補領域として複数の画像から人物等の対象物のシルエット画像を抽出し、前記対象物に関する知識から対象物の部位をあらかじめパラメータ化した人物等の対象物に関するモデルを用いて、抽出したシルエット画像に対してそのモデルを当てはめる方法が開示されている。これによって、形状が変化しながら移動する人物等の移動体に対してパラメータ化したモデルを当てはめることができるため、移動体の検出及び領域分割が可能となる。

また、非特許文献１では、固定された１つの移動体を複数の視点から撮影した画像を入力として、各画像における画素値データとその他の画像の画素値データとのユークリッド距離を計算し、それを測地距離変換を行った後、次元圧縮を行うことによって、類似した視点から撮影した画像が２次元空間上で近距離となるように射影することを可能にする方法が開示されている。ここでは、従来のＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）等の線形次元圧縮方法と比較して、測地距離変換によって、より低次元に圧縮可能であり、さらに、非線形に分布するデータに対しても取扱いが可能なことが示されている。

特開平８−２１４２８９号公報

Joshua Tenenbaum, Vin de Silva, John Langford, "A Global Geometric Framework for Nonlinear Dimensionality Reduction", Science, VOL290, pp.2319-2322,22 December, 2000

しかしながら、上記特許文献１の技術では、特に街頭等、人物等の移動体が行き交うシーンにおいて、正しく移動体を検出することができないという問題がある。上記特許文献１に代表される移動体検出手法は、前述のように画像から対象物候補領域を抽出する必要がある。この時、正しく対象物候補領域を抽出できなければ、対象物をパラメータ化したモデルを正確に対象物候補領域に当てはめることが不可能になる。特に、混雑したシーンにおいては、対象物候補領域を正しく抽出することは困難である。例えば、画像上でさまざまな大きさの移動体が混在するような場合には、複数の移動体を１つの移動体として誤って対象物候補領域として抽出したり、抽出対象となる移動体が存在しない領域を対象物候補領域として誤って抽出したりするといった問題がある。また、移動体の一部が隠れる場合にも同様に、複数の移動体を一つの対象物候補領域として抽出したり、対象物候補領域として抽出することができないといった問題がある。さらに、対象物候補領域を正しく抽出できたとしても以下のような課題がある。特に人物等の多関節物体を対象物とした場合、対象物の様々な姿勢あるいは大きさに起因する画像上での見えのバリエーションが非常に大きいため、対象物モデルのパラメータ化を行う際に膨大な数のパラメータが必要となる。このことは、モデルの当てはめミスを誘発する。そのため、実際とは異なる姿勢に対応する対象物モデルが当てはめられることにより、領域分割が正しく行われないといった問題がある。

一方で、非特許文献１に代表される移動体検出手法では、画像間の距離を入力として非線形処理を行うことにより、効率良く圧縮された低次元空間に画像データを射影することができる。さらには、測地距離変換と次元圧縮により連続的かつ非線形に分布するデータを効率良く表現することができる。しかしながら、非特許文献１の主な目的は、複数の画像を低次元空間に射影することで画像間の類似性を可視化することにあり、形状が変化する人物等の多関節物体における様々な姿勢変化に対応しながら、正しく移動体を検出する方法は開示されていない。

そこで、本発明は、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、正しく領域分割することができる移動体検出方法及び移動体検出装置を提供することを目的とする。

この課題を解決するために本発明は、動画像中の移動体の全部又は一部の領域を特定する領域分割をすることによって動画像中の移動体を検出する方法であって、動画像を構成する複数枚のピクチャを受け付ける画像入力ステップと、前記ピクチャを構成する１個以上の画素からなるブロックごとに、時間的に隣接する２枚のピクチャ間での画像の動きを検出し、検出した動きを前記複数枚のピクチャについて連結することで、移動軌跡を算出する動き解析ステップと、前記動き解析ステップで算出された複数の移動軌跡について、移動軌跡間の類似性を表す距離を算出する距離算出ステップと、前記距離算出ステップで算出された距離のうち、予め定められた閾値よりも小さい距離を連結することで、前記距離算出ステップで算出された距離を測地距離に変換し、得られた測地距離の分布における不連続点を検出し、検出した不連続点よりも小さい測地距離だけ離れた移動軌跡を一つのクラスタとすることによって前記領域分割をする領域分割ステップと、前記領域分割ステップで領域分割された結果を出力する出力ステップとを含む。

なお、本発明は、上記移動体検出方法として実現できるだけでなく、上記各ステップを構成要素とする移動体検出装置、上記各ステップをコンピュータに実行させるプログラム、そのプログラムを格納したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体等として実現することもできる。

上記の方法及び装置等により、形状が変化しながら移動する人物等の移動体を正確に検出及び部位を領域分割することができる。さらに、検出と領域分割を行った結果を用いて、移動体の移動予測等を行うことも可能である。

図１は、本発明の実施の形態１における移動体検出装置の基本構成を示す機能ブロック図である。 図２は、本発明に係る移動体検出装置のハードウェア構成を示すブロック図である。 図３は、本発明の実施の形態１における移動体検出装置の基本動作を示すフローチャートである。 図４は、本発明の実施の形態１における動き解析部の処理例を示す図である。 図５（ａ）〜（ｃ）は、本発明の実施の形態１における領域分割部の測地距離の効果の一例を示す図である。 図６（ａ）及び（ｂ）は、本発明の実施の形態１における領域分割部の測地距離の効果の一例を示す図である。 図７（ａ）〜（ｃ）は、本発明の実施の形態１における領域分割部の処理例を示す図である。 図８は、本発明の実施の形態１の変形例における移動体検出装置の基本動作を示すフローチャートである。 図９（ａ）〜（ｄ）は、本発明の実施の形態１の変形例における領域分割部の処理例を示す図である。 図１０は、本発明の実施の形態２における移動体検出装置の基本構成を示す機能ブロック図である。 図１１は、本発明の実施の形態２における移動体検出装置の基本動作を示すフローチャートである。 図１２（ａ）〜（ｆ）は、本発明の実施の形態２における領域分割部の処理例を示す図である。 図１３（ａ）〜（ｃ）は、本発明の実施の形態２における領域分割部の階層的なクラスタリング処理例を示す図である。 図１４は、本発明の実施の形態１及び２の第１変形例における移動体検出装置の構成例を示す機能ブロック図である。 図１５（ａ）及び（ｂ）は、本発明の実施の形態１及び２の第１変形例における画像表示部の表示例を示す図である。 図１６は、本発明の実施の形態１及び２の第２変形例における移動体検出装置の構成例を示す機能ブロック図である。 図１７は、本発明の実施の形態１及び２の第２変形例における記録・送信データの一例を示す図である。 図１８は、本発明の実施の形態３における移動体検出装置の構成例を示す機能ブロック図である。 図１９は、本発明の実施の形態３における移動体検出装置の基本動作を示すフローチャートである。 図２０は、本発明の実施の形態３における動き予測の一例を示す図である。 図２１（ａ）〜（ｃ）は、本発明の実施の形態２の方法によって分離可能な図形の一例を示す図である。

本発明の一実施形態は、動画像中の移動体の全部又は一部の領域を特定する領域分割をすることによって動画像中の移動体を検出する方法であって、動画像を構成する複数枚のピクチャを受け付ける画像入力ステップと、前記ピクチャを構成する１個以上の画素からなるブロックごとに、時間的に隣接する２枚のピクチャ間での画像の動きを検出し、検出した動きを前記複数枚のピクチャについて連結することで、移動軌跡を算出する動き解析ステップと、前記動き解析ステップで算出された複数の移動軌跡について、移動軌跡間の類似性を表す距離を算出する距離算出ステップと、前記距離算出ステップで算出された距離のうち、予め定められた閾値よりも小さい距離を連結することで、前記距離算出ステップで算出された距離を測地距離に変換し、得られた測地距離の分布における不連続点を検出し、検出した不連続点よりも小さい測地距離だけ離れた移動軌跡を一つのクラスタとすることによって前記領域分割をする領域分割ステップと、前記領域分割ステップで領域分割された結果を出力する出力ステップとを含む。これにより、不連続点よりも小さい測地距離だけ離れた移動軌跡どうしが一つのクラスタとなるので、直線的な距離であるユークリッド距離を用いたクラスタリングに比べ、移動軌跡間の類似性に関して、時空間的な連続性を考慮したクラスタリングが行われる。そのため、ピクチャにおける各ブロックが同一の物体（又は部位）に属するか別個の物体（又は部位）に属するかが確実に弁別される。その結果、動きの異なる複数の部位からなる人物等の多関節物体を移動体として検出する場合であっても、正確な領域分割が行われ、移動体が確実に検出される。つまり、形状が変化しながら移動する人物等の移動体に対しても正しく領域分割し、これによって画像中の移動体を確実に検出することが可能である。

なお、測地距離変換のより詳細な方法として、前記領域分割ステップでは、前記距離から前記測地距離への変換において、第１の移動軌跡と第２の移動軌跡との間の距離を測地距離に変換する場合には、前記距離算出ステップで算出された距離のうち、前記予め定められた閾値よりも小さい距離だけ離れた移動軌跡をたどりながら前記第１の移動軌跡から前記第２の移動軌跡に至る経路の距離を、測地距離として算出するのが好ましい。

また、本発明のより好ましい形態は、前記領域分割ステップでは、前記距離算出ステップで算出された距離を測地距離に変換するときに、前記複数の移動軌跡の分布における密集度が大きいほど小さい測地距離となるような重み付けをしたうえで、前記変換をする構成としたものであり、移動軌跡の分布の密集度を用いて距離変換を行うことにより、類似性の高い移動軌跡をより高精度に同一クラスタとすることで、特に形状が変化しながら移動する人物等の移動体に対しても確実に検出し、同時に正しく領域分割を行うことが可能である。

また、領域分割ステップの具体的な手法の他の一つとして、前記領域分割ステップは、前記領域分割に用いられる閾値を複数生成し、生成した複数の閾値のそれぞれについて、前記距離算出ステップで算出された距離のうち、当該閾値よりも小さい距離を連結することで、前記距離算出ステップで算出された距離を前記測地距離に変換し、得られた複数の測地距離の分布における不連続点を検出し、検出した不連続点よりも小さい測地距離だけ離れた移動軌跡を一つのクラスタとすることによって前記領域分割をし、その領域分割の結果を領域分割候補として生成する領域分割候補生成ステップと、クラス数についての指示を取得し、所得したクラス数と同じもしくは最も近い個数の領域に分割された領域分割候補を前記領域分割候補生成ステップで生成された複数の領域分割候補から選択し、選択した領域分割候補を前記領域分割の結果として出力する領域分割候補選択ステップを含んでもよい。これによって、予め生成した複数の判断基準のそれぞれについてクラスタリングが行われるので、それら複数のクラスタリングから、所望の個数のクラスタが生成される。

本発明のより好ましい形態は、前記領域分割候補生成ステップでは、前記距離算出ステップで算出された複数の距離における最大値と最小値との間の複数の値を、前記閾値として、生成する構成としたものであり、これにより、閾値を効果的に設定することで、特に形状が変化しながら移動する人物等の移動体に対しても確実かつより高速に検出し、同時に正しく領域分割を行うことが可能である。

本発明のより好ましい形態は、前記領域分割候補生成ステップでは、前記距離算出ステップで算出された複数の距離について、閾値を大きい値から小さい値の順に並べた場合における最初の不連続点を検出し、検出した不連続点よりも小さい複数の値を、前記複数の閾値として、生成する構成としたものであり、これにより、閾値を効果的に設定することで、特に形状が変化しながら移動する人物等の移動体に対しても確実かつより高速に検出し、同時に正しく領域分割を行うことが可能である。

本発明のより好ましい形態は、前記領域分割候補生成ステップでは、前記距離算出ステップで算出された複数の距離について不連続点の検出を行い、閾値の大小に基づいて階層的に前記領域分割をする構成としたものであり、これにより、階層的にクラスタリングを行うことによって、特に形状が変化しながら移動する人物等の被写体に対して、被写体の画像上での位置を特定する粗い移動体抽出から、被写体の詳細な動きに基づいた精細な移動体抽出までを行うことが可能である。

本発明のより好ましい形態は、前記領域分割候補生成ステップでは、前記距離算出ステップで算出された複数の距離について、閾値を大きい値から不連続点の検出を行い、分割されたクラスタに対して、それぞれ、より小さな閾値を用いて不連続点の検出を行い、階層的に前記領域分割をする構成としたものであり、これにより、閾値を大きい値から順に階層的にクラスタリングを行うことによって、特に形状が変化しながら移動する人物等の被写体に対して、被写体の画像上での位置を特定する粗い移動体抽出から、被写体の詳細な動きに基づいた精細な移動体抽出までをより少ない計算量で行うことが可能である。

本発明のより好ましい形態は、前記領域分割候補生成ステップでは、前記距離算出ステップで算出された複数の距離の平均値又は中央値を中心に増加及び減少させて得られる複数の値を、前記複数の閾値として、生成する構成としたものであり、これにより、閾値を効果的に設定することで、特に形状が変化しながら移動する人物等の移動体に対しても確実かつより高速に検出し、同時に正しく領域分割を行うことが可能である。

本発明のより好ましい形態は、前記領域分割候補生成ステップでは、前記動き解析ステップで算出された複数の移動軌跡のそれぞれについて、当該移動軌跡との距離がＮ番目に小さい距離を特定し、特定した複数の距離について大きい順から選択した複数の値を、前記複数の閾値として、生成する構成としたものであり、これにより、閾値を効果的に設定することで、特に形状が変化しながら移動する人物等の移動体に対しても確実かつより高速に検出し、同時に正しく領域分割を行うことが可能である。

本発明のより好ましい形態は、前記領域分割ステップでは、前記動き解析ステップで算出された複数の移動軌跡のそれぞれについて、前記距離が小さい順に予め定められた個数の移動軌跡を選択し、選択されなかった移動軌跡との距離を無限大に変更する非線形化をした後に、前記複数の距離のそれぞれを測地距離に変換する構成としたものであり、これにより、選択された距離と選択されなかった距離とが非線形な関係となるため、線形距離と比較して、移動軌跡間の類似／非類似が強調されることとなり、人物のように関節で繋がった物体の動きを正しく表現することが可能となる。

本発明のより好ましい形態は、前記領域分割ステップでは、前記動き解析ステップで算出された複数の移動軌跡のそれぞれについて、前記距離が予め定められた閾値以下の移動軌跡を選択し、選択されなかった移動軌跡との距離を無限大に変更する非線形化をした後に、前記複数の距離のそれぞれを測地距離に変換する構成としたものであり、これにより、選択された距離と選択されなかった距離とが非線形な関係となるため、線形距離と比較して、移動軌跡間の類似／非類似が強調されることとなり、人物のように関節で繋がった物体の動きを正しく表現することが可能となる。

本発明のより好ましい形態は、前記動き解析ステップでは、前記動きの検出として、前記動きを示す２次元動きベクトル又はアフィンパラメータを算出する構成としたものであり、これにより、動きベクトルもしくはアフィンパラメータによりブロックの動きを解析することで、ブロックの移動軌跡を算出することが可能になる。

本発明のより好ましい形態は、前記距離算出ステップでは、前記距離の算出として、前記ブロックの移動軌跡間の類似性に加えて、前記ピクチャでの前記ブロック間の距離及び前記ブロックどうしを接続する直線の傾斜を示す角度の少なくとも１つを算出する構成としたものであり、これにより、人物のように関節を軸とした回転運動を伴いながら形状が変化する移動物体の動きを効率良く捉えることが可能になる。

本発明の一実施形態は、前記出力ステップは、前記領域分割ステップで得られた領域分割の結果を、前記画像入力ステップで受け付けたピクチャに重ねて表示する表示ステップを含む構成としたものであり、これにより、領域分割した部位を画像上に表示することによって、スポーツにおけるフォームの修正あるいはリハビリテーションにおける歩行の矯正等に応用が可能である。

本発明の一実施形態は、前記画像入力ステップでは、２つ以上の移動体が含まれる動画像を受け付け、前記領域分割ステップでは、前記２以上の移動体について前記領域分割をすることで、２以上の移動体を検出する構成としたものであり、これにより、形状が変化しながら移動する複数の移動体を含む画像に対しても、正しく複数の移動物体を検出することが可能である。

本発明の一実施形態は、前記移動体検出方法はさらに、前記領域分割ステップで特定された領域を構成するブロックの移動軌跡から、当該領域を代表する移動軌跡を算出し、算出した代表の移動軌跡に従って当該領域が移動すると予測することで、前記移動体の動きを予測する動き予測ステップを含む構成としたものであり、これにより、複数のブロックの移動軌跡を代表する軌跡を用いて移動体の動きを予測することにより、ノイズ耐性の高い動き予測が可能となる。

本発明の一実施形態は、前記出力ステップは、前記領域分割ステップでの領域分割の結果に基づいて、前記画像入力ステップで受け付けたピクチャにおける領域を特定し、特定した領域ごとに、対応する領域分割の結果を、記憶手段に記録する、又は、送信する記録・送信ステップを含む構成としたものであり、これにより、検出した移動体画像を分割した領域に基づいてそれぞれ別々に保持することによって、各移動体画像の中から必要な部分の画像のみを選択して保存したり、外部に出力したりすることによって、図形要素として効率的な保存及び出力が可能になる。そのため、携帯電話等、処理能力の限られた機器に保存及び送信する場合に有効に作用する。

本発明の一実施形態は、動画像を構成する複数枚のピクチャを受け付ける画像入力ステップと、前記ピクチャを構成する１個以上の画素からなるブロックごとに、時間的に隣接する２枚のピクチャ間での画像の動きを検出し、検出した動きを前記複数枚のピクチャについて連結することで、移動軌跡を算出する動き解析ステップと、前記動き解析ステップで算出された複数の移動軌跡について、移動軌跡間の類似性を表す距離を算出する距離算出ステップと、前記距離算出ステップで算出された距離が小さい順に移動軌跡のペアを同一クラスタとして統合する処理をクラスタ数が規定の数になるまで繰り返すことによって、距離が一定以上離れた不連続点をクラスタの境界として前記領域分割をする領域分割ステップと、前記領域分割ステップでの領域分割の結果を出力する出力ステップとを含む。これにより、距離が小さい順に移動軌跡のペアを統合する処理をクラスタ数が規定の数になるまで繰り返すことによって、距離が一定以上離れた不連続点をクラスタの境界として得ることができる。結果として、移動軌跡間の類似性に関する連続性を考慮したクラスタリングが行われ、移動体を検出することが可能である。

以下、本発明の実施の形態について、図面を用いて説明する。

（実施の形態１）
図１は、実施の形態１における移動体検出装置１００の構成を示す機能ブロック図である。図１に示されるように、この移動体検出装置１００は、画像入力部１０１、動き解析部１０２、距離算出部１０３、領域分割部１０４、出力部１０５を備える。そして、この移動体検出装置１００は、動画像中の移動体の全部又は一部の領域を特定する領域分割をすることによって動画像中の移動体を検出する。

画像入力部１０１は、動画像を構成する時間的に異なる複数枚の画像（ピクチャ）の入力を受け付ける処理部であり、例えば、ビデオカメラ、あるいは、ビデオカメラと接続された通信インターフェース等である。

動き解析部１０２は、画像入力部１０１で受け付けたピクチャを構成する１個以上の画素からなるブロックごとに、時間的に隣接する２枚のピクチャ間での画像の動きを検出し、検出した動きを複数枚のピクチャについて連結することで、移動軌跡を算出する処理部である。

距離算出部１０３は、移動する物体の形状変化を捉えるために、動き解析部１０２で算出したブロックiの移動軌跡と、i以外のブロックの移動軌跡とを用いて、ブロックの動きの類似性を表す距離を算出する処理部である。例えば、Ｎ個のブロックの移動軌跡を用いた場合、算出される距離はＮ×Ｎの距離マトリクスとなる。ここでは、ブロックの動きの類似性を評価する距離を計算することによって、ブロック間の距離が動きによって変化する移動体、特に、関節物体のように形状が変化しながら移動する人物等の物体の動きを距離マトリクスとして表現することが可能である。なお、以降の説明では、ブロックiの移動軌跡を移動軌跡iと呼ぶこととする。このように、本明細書における「距離」は、２次元空間における２点間の距離だけでなく、多次元のデータ間の算術的な距離を含み、１つの値、あるいは、複数の値の集合（距離マトリクス）である。

領域分割部１０４は、領域分割に用いられる閾値を用いて、動き解析部１０２で算出された複数の移動軌跡をクラスタリングすることによって領域分割を行う処理部である。具体的には、この領域分割部１０４は、距離算出部１０３で算出した距離マトリクスに対してデータの連続性に関する閾値を用いて測地距離変換を適用し、つまり、距離算出部１０３で算出された複数の距離のうち当該閾値よりも小さい距離を連結することで複数の距離のそれぞれを測地距離に変換し、それぞれの閾値における測地距離変換後の移動軌跡間の距離の分布における不連続点を検出し、検出した不連続点よりも小さい測地距離だけ離れた移動軌跡どうしが一つのクラスタとなるように、連続に分布する移動軌跡をクラスタリングすることによって、前記閾値に対する領域分割を行う。

なお、この領域分割部１０４は、距離算出部１０３で算出された距離（距離マトリクス）から測地距離への変換（測地距離変換）において、第１の移動軌跡と第２の移動軌跡との間の距離を測地距離に変換する場合には、距離算出部１０３で算出された距離のうち、予め定められた閾値よりも小さい距離だけ離れた移動軌跡をたどりながら第１の移動軌跡から第２の移動軌跡に至る経路の距離を、測地距離として算出する。

出力部１０５では、領域分割部１０４で行った動画像中の移動体の検出結果もしくは、画像の領域分割結果を出力するメモリや記録媒体への書き込み処理部、あるいは、ディスプレイ装置に出力する出力インターフェース等である。

本明細書において、領域分割を行った結果の各領域は、それぞれの移動体に対応するため、各移動体の検出と、画像中の複数の移動体領域をそれぞれ分割する領域分割とは、特に区別しない。つまり、「移動体の検出」という処理が、即ち、「領域分割」という処理に相当する。

なお、この移動体検出装置１００を構成する各構成要素（画像入力部１０１、動き解析部１０２、距離算出部１０３、領域分割部１０４、出力部１０５）は、図２に示されるように、カメラ２００１から送られてくる画像を取得するインターフェース（Ｉ／Ｆ）２００４、ＣＰＵ２００５、ＲＡＭ２００７、ＲＯＭ２００６、ハードディスク２００８、ディスプレイ２００３に映像信号を出力するビデオカード２００９等を備えるコンピュータ２００２上で実行されるプログラム等のソフトウェアで実現されてもよいし、電子回路等のハードウェアで実現されてもよい。つまり、本実施の形態における構成要素のうち、ディスプレイ装置等の入出力部を除く構成要素については、コンピュータで実行されるプログラム及びデータ（つまり、ソフトウェア）で実現してもよいし、電子回路、メモリ及び記録媒体等のハードウェアで実現してもよいし、それらの混在で実現してもよい。以下、他の実施の形態における移動体検出装置についても同様である。

以下に、本発明の移動体検出方法、つまり、移動体検出装置１００の動作について、図３のフローチャートを用いて移動する移動体を検出（つまり、領域分割）する例について詳細に説明する。

まず、ステップＳ１０１にて、画像入力部１０１は、複数枚のピクチャを受け付ける。

次に、ステップＳ１０２にて、動き解析部１０２は、少なくとも２枚のピクチャからブロックの動きを算出する。なお、ここでは、ブロックの動きを算出する一例として、画素の動きを算出する。以下、本実施の形態では、ブロック単位の処理の一例として、画素単位の処理を説明する。なお、複数の画素からなるブロック単位で処理をする場合には、（i）画素に対応するデータをブロック分だけ合計したり、（ii）ブロック分の平均値を求めたり、(iii)ブロックの中心値を求めることで、ブロックに対応するデータ（代表値）を求め、得られた代表値を用いて画素単位の処理と同様に処理すればよい。なお、本明細書で、「ブロックの動き」及び「画素の動き」とは、それぞれ、「画像のブロックごとでの動き」及び「画像の画素ごとでの動き」を意味する。

まず、画素の動きをオプティカルフロー計算により算出する例について説明する。オプティカルフロー計算による動きベクトルの算出は、非特許文献２もしくは非特許文献３および非特許文献４に開示された技術を用いることができる。

Ｐ．Ａｎａｎｄａｎ，"Ａ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｆｒａｍｅｗｏｒｋ ａｎｄ ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ Ｍｅａｓｕｒｅｍｅｎｔ ｏｆ Ｖｉｓｕａｌ Ｍｏｔｉｏｎ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，Ｖｏｌ．２，ｐｐ．２８３−３１０，１９８９

Ｖｌａｄｉｍｉｒ Ｋｏｌｍｏｇｏｒｏｖ ａｎｄ Ｒａｍｉｎ Ｚａｂｉｈ，"Ｃｏｍｐｕｔｉｎｇ Ｖｉｓｕａｌ Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ ｗｉｔｈ Ｏｃｃｌｕｓｉｏｎｓ ｖｉａ Ｇｒａｐｈ Ｃｕｔｓ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２００１

Ｔｈｏｍａｓ Ｐｏｃｋ，Ｍａｒｔｉｎ Ｕｒｓｃｈｌｅｒ，Ｃｈｒｉｓｔｏｐｈｅｒ Ｚａｃｈ，Ｒｅｉｎｈａｒｄ Ｂｅｉｃｈｅｌ ａｎｄ Ｈｏｒｓｔ Ｂｉｓｃｈｏｆ，"Ａ Ｄｕａｌｉｔｙ Ｂａｓｅｄ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ＴＶ−Ｌ１−Ｏｐｔｉｃａｌ−Ｆｌｏｗ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ，２００７

例えば、ステップＳ１０１にてＴ枚のピクチャが入力されたと仮定すると、動き解析部１０２は、時刻ｔと時刻ｔ＋１に入力されたピクチャを用いて、画素iの動きベクトル（ｕⁱ _t,ｖⁱ _t）を推定する。ここでは、必ずしもフレームが連続している必要はなく、例えば、時刻ｔと時刻ｔ＋ｎに入力されたピクチャを用いて画素の動きを求めてもよい。ただし、ｎは１以上の整数である。さらに、画素の動きとして、前記２次元動きベクトルの代わりにアフィンパラメータを推定してもよい。この時、すべての画素について動き情報を求めてもよい。また、より高速に処理を行いたい場合には、画像をグリッドに区切って一定間隔のグリッド上の画素についてのみ動き情報を求めてもよいし、上述したように、画像をブロックに区切ってブロックごとに動き情報を求めてもよい。さらに、非特許文献２を用いて動きベクトルを算出する場合は、その信頼度を計算することができるため信頼度の高い動き情報を持つ画素のみを用いてもよい。また、非特許文献３を用いて動きベクトルを算出する場合は、オクルージョンを推定することができる。そのため、遮蔽（しゃへい）されていない画素の動き情報のみを用いてもよい。また、非特許文献４は、高速に処理できることが知られており、処理の高速化が必要な場合に用いてもよい。

さらに、画素の動きを算出する手法として、前記したブロックの並進移動を仮定して動きベクトルを算出する方法の代わりに、ブロックのアフィン変形を仮定して動きベクトルを算出する方法を用いてもよい。アフィン変形を仮定して動きベクトルを算出する方法は、非特許文献５に開示された技術を用いることができる。

Ｊｉａｎｂｏ Ｓｈｉ ａｎｄ Ｃａｒｌｏ Ｔｏｍａｓｉ，"Ｇｏｏｄ Ｆｅａｔｕｒｅｓ ｔｏ Ｔｒａｃｋ"，ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ５９３−６００，１９９４

上記手法は、時刻ｔと時刻ｔ＋１に入力されたピクチャの画素i近傍の動きに相当するアフィンパラメータＡⁱ _tを推定する。画素iについて、時刻ｔと時刻ｔ＋１におけるピクチャ上での画素位置ｘⁱ _tとｘⁱ _t+1は次の関係がある。

上記手法は、特に回転運動をする物体に対して、並進移動を仮定して動きベクトルを算出する手法を用いる場合よりも、高精度に画素iの動きを推定することができる。

次に、ステップＳ１０３にて、動き解析部１０２は、ステップＳ１０２で算出した動き情報を用いて、時間的に異なる複数枚のピクチャに対して前記画素の動きから移動軌跡iを算出する。以下、画素iの移動軌跡を移動軌跡iと呼ぶこととする。図４に示すように、時刻ｔにおける入力画像３０１の画素i３０３からステップＳ１０２で算出した動き情報３０２を用いて、画素iの動きを追跡する。この時、画素iが通った時刻ｔにおけるピクチャ上での画素位置(ｘⁱ _t,ｙⁱ _t)を用いて、以下のように移動軌跡iを算出する。

ここで、Ｔは移動軌跡の算出に用いたピクチャの枚数である。

次に、ステップＳ１０４にて、距離算出部１０３は、上記式２で算出した移動軌跡iを用いて画素の動きの類似性を含む距離マトリクスを算出する。移動軌跡iと移動軌跡jとの線形距離ｆ（ｉ,ｊ）は以下の式３のように算出できる。

ここで、ｗは重み係数であり、設計者が設定するパラメータである。さらに、上記式３は、次の式４のように変形してもよい。

また、ｐｔｎ_ij,ｍｔｎ_ijについては、それぞれ、以下の式５及び式６に示す。

ここで、

上記のように、上記式３に示されるように、上記式５に示した移動軌跡間距離の時間平均値に加えて、上記式６に示した移動軌跡間距離の時間的ばらつきを前記線形距離ｆ（ｉ,ｊ）の要素とする。特に上記式６に示した移動軌跡間距離の時間的ばらつきは、画素の動きの類似性を示すものであり、これによって、画素間のなす距離の関係が時間的に変化しない剛体だけでなく、関節物体等の形状変化を捉えることができる。なお、上記式６の代わりに下記の式８から式１３のような時間変動成分を用いることで、同様の効果が期待できる。

ここで、

であり、ｕ^t _iは、時刻ｔからｔ＋１への動きベクトル（ｕⁱ _t,ｖⁱ _t）、＜ｕ^t _i・ｕ^t _i＞は内積である。

また、以下のような計算を用いてもよい。

ここで、

ここで、

である。

次に、領域分割部１０４は、ステップＳ１０５（測地距離変換）とＳ１０６（領域分割）とを実行する。具体的には、Ｓ１０５では、領域分割部１０４は、上記式３もしくは上記式４で算出した線形距離ｆ（ｉ,ｊ）に対して閾値Ｒを用いて、その閾値に対して以下の式１４のように非線形化処理を行いｆ'（ｉ,ｊ）を算出する。

つまり、領域分割部１０４は、移動軌跡iに着目した時に移動軌跡iとの線形距離が小さい順にＲ個の移動軌跡jを選択し、選択された移動軌跡ｊとの距離は変更せず、一方、選択されなかった移動軌跡ｊとの距離を無限大に変更する。なお、ここでは、線形距離ｆ（ｉ,ｊ）が小さい順に選択したが、次式のように閾値Ｒを設定してもよい。

つまり、領域分割部１０４は、上記式１４に示すように、動き解析部１０２で算出された複数の移動軌跡のそれぞれについて、距離が小さい順に予め定められた個数の移動軌跡を選択し、選択されなかった移動軌跡との距離を無限大に変更する非線形化をした後に、複数の距離のそれぞれを測地距離に変換してもよいし、上記式１５に示すように、移動軌跡iに着目した時に、動き解析部１０２で算出された複数の移動軌跡jのそれぞれについて、距離が予め定められた閾値以下の移動軌跡jを選択し、選択されなかった移動軌跡との距離を無限大に変更する非線形化をした後に、複数の距離のそれぞれを測地距離に変換してもよい。

なお、距離の非線形化に関しては、上記の関数に限定されるものではなく、移動軌跡iと移動軌跡ｊに関する距離に対して非線形変換を行うものであれば何でもよい。

さらには、線形距離ｆ（ｉ,ｊ）に対して、以下のように式１６及び式１７を用いて計算した重みを掛け算して重み付けを行った後に式１４もしくは式１５の処理を行ってもよい。

ここで、NNは移動軌跡の近傍点について処理することを示し、移動軌跡a及びｂに対して、移動軌跡ｊ及びiからそれぞれ一定距離以内にある移動軌跡もしくは、距離が小さい順にＮ個の移動軌跡を用いて計算することを示す。すなわち、Ｎ_a、Ｎ_bは、一定距離以内にある移動軌跡の数もしくは、前記Ｎである。なお、ｚは設計者が設定する。

また、上記式１６の代わりに次の式１７のように分散を用いてもよい。

ここで、

であり、近傍点については、上記式１６の場合と同じである。

上記式１６や上記式１７の重みを用いてｆ（ｉ,ｊ）を変換することによって、移動軌跡i及びｊと類似した移動軌跡が空間的に密集している場合（距離が近い移動軌跡の場合）には、ｆ（ｉ,ｊ）を相対的に小さく、また、空間的に疎な場合（距離が遠い移動軌跡の場合）には、密集している場合と比較してｆ（ｉ,ｊ）が相対的に大きくなる。つまり、領域分割部１０４は、距離算出部１０３で算出された複数の距離のそれぞれを測地距離に変換するときに、動き解析部１０２で算出された複数の移動軌跡の分布における密集度が大きいほど小さい測地距離となるような重み付けをしたうえで、測地距離への変換をする。これによって、画素の移動軌跡の分布の密集度を考慮した距離変換が可能になる。

次に、領域分割部１０４は、非線形化された距離ｆ'（ｉ,ｊ）を用いて、次式のように測地距離を算出する。

なお、min（ｘ，ｙ）は、値ｘと値ｙのうち小さい方を返す関数である。また、ｓは、移動軌跡ｓであり、移動軌跡iから移動軌跡jに辿（たど）りつくための中継点である。ここで、ｆ'（ｉ,ｓ）＋ｆ'（ｓ,ｊ）における中継点ｓは１点に限るものではない。この方法は、ダイクストラ法と呼ばれる最短経路探索手法であり、以下の非特許文献６に記載されている。

E.W.Dijkstra, " A note on two problems in connexion with graphs", Numerische Mathematik, pp.269-271, 1959

ここで、上記式１４及び上記式１５に示した非線形化処理について、図５（ａ）〜（ｃ）の概念図を用いて説明する。ここでは、上記式１５に示された非線形処理について説明するが、他の非線形化処理を行っても同様の効果が期待できる。

まず、図５（ａ）は２次元のデータ分布を示す。ここで、それぞれのデータ点は、上記式３もしくは上記式４に示した移動軌跡iに相当する。上記式１４から上記式１７の非線形化処理を行わない場合には、図５（ｂ）に示したように、データ点iとデータ点ｊとの距離は、データ点iとデータ点ｋとの距離よりも小さくなる。しかしながら、図５（ｃ）に示すように、例えば、上記式１５の処理及び上記式１７の処理を行うことによって、データ点iとデータ点ｊとの距離は、ユークリッド距離ではなく、測地距離と呼ばれるデータ点を矢印のように辿（たど）った距離となる。結果として、ユークリッド距離を用いる場合と異なり、データ点iとデータ点ｊとの距離は、データ点iとデータ点ｋとの距離よりも大きくなる。

ここで、このような上記式１４から上記式１７に示した測地距離変換の特徴を図６（ａ）及び（ｂ）の概念図を用いて説明する。ここでは、線形距離ｆ（ｉ,ｊ）と測地距離ｇ（ｉ,ｊ）の違いを分かりやすく説明するため、上記式５に示すような時刻ｔにおける移動軌跡間距離を例とする。実際には、移動軌跡間距離に加えて、上記式３に示したように画素の動きの類似性として移動軌跡間距離の変動成分を用いることにより、関節物体等の形状だけではなく形状変化をも捉えることができる。図６（ａ）は、上記式１４から上記式１７の処理を行わない場合の例である。例えば、頭部の画素i８０２と手先部の画素ｊ８０３との距離は、線形距離８０１に示す距離となる。一方、上記式１４から上記式１７のような非線形処理を行うことによって、閾値Ｒが適切に設定されていれば、図６（ｂ）に示されるように、頭部の画素i８０２と手先部の画素ｊ８０３との距離は、画素ｋ８０４を通って画素ｊにたどり着くまでの矢印で示したような線形和としての距離となる。そのため、線形距離８０１では人物のような関節物体の関節が繋がった形状をデータとして連続的に表現できないのに対して、関節が繋がった形状を距離として連続性を表現することが可能となる。なお、測地距離の計算方法は、上記式１７に限定されるものではない。

次に、ステップＳ１０６では、領域分割部１０４は、ステップＳ１０５で閾値Ｒに対応する測地距離変換を行ったｇ（ｉ,ｊ）を用いて、不連続点を検出することによってクラスタリングを行う。ここでは、ｇ（ｉ,ｊ）が無限大となる移動軌跡iと移動軌跡jの間が不連続点である。閾値Ｒに対して得た測地距離変換の結果の例を図７（ａ）〜（ｃ）を用いて説明する。ここで、図７（ａ）は移動軌跡ａ〜ｈを示す図であり、図７（ｂ）は、図７（ａ）に示した移動軌跡ａ〜ｈを表す高次元空間の概念図である。なお、図７（ａ）では、移動軌跡ａ〜ｈの数を８本としたが、実際には、各画素に対応する移動軌跡を用いてもよいし、ブロック単位で求めた移動軌跡を用いてもよい。ここで、移動軌跡ａ〜ｈを表す高次元空間の１点が、上記式２に示した一つの移動軌跡に対応する。すなわち、高次元空間上の点は、１枚のピクチャ上の領域だけではなく時間的に異なる複数枚のピクチャに渡って画素を追跡した結果である。さらに、高次元空間上で、点と点との距離は、ベクトル間のユークリッド距離ではなく、上記式２０に示すような測地距離に対応する。

図７（ｃ）は、クラスタリング結果を示す図である。ここで、図７（ｃ）において、上記式３もしくは上記式４に示した移動軌跡aと移動軌跡ｂとの距離をｆ（ａ,ｂ）とした時に、ｆ（e,ｆ）>ｆ（ｃ,ｄ）>ｆ（ｆ,ｇ）>ｆ（ｂ,ｃ）とする。また、閾値をＲとして設定した場合に、距離ｆ（ｆ,ｇ）は、閾値Ｒよりも大きな値を持つとする。この場合、上記式１７によって測地距離を求めてもｇ（ｅ,ｆ）、ｇ（ｃ,ｄ）、ｇ（ｆ,ｇ）はそれぞれ無限大となる。よって、領域分割部１０４は、移動軌跡ｃと移動軌跡ｄとの間、移動軌跡eと移動軌跡ｆとの間、移動軌跡ｆと移動軌跡ｇとの間が不連続点であると判定する。この結果、移動軌跡ａ，ｂ，ｃは、互いに不連続点を通らずに辿ることができるため、無限大の値はとらず、逆に、例えば、移動軌跡ａ，ｂ，ｃから、他の移動軌跡に対しては、不連続点ｇ（ｃ,ｄ）を通るため無限大となる。このように、測地距離が無限大とならない移動軌跡iと移動軌跡jの組は同じクラスタとし、無限大となる場合は別のクラスタとする。そして、測地距離が無限大となる組と無限大にならない組とを整理して、θ₁、θ₂、θ₃、θ₄の合計４つのクラスタに分離することができる。

ここで、閾値Ｒの性質について述べる。閾値Ｒが小さいほど、画像上でより小さな移動体を検出可能となる一方で、誤検出（フォルスポジティブ）が増加するというトレードオフがある。そこで、例えば、監視用途等、移動体検出を行いたい範囲が事前に分かっている場合には、検出したい移動体の最小サイズとその画像上での動きに合わせて閾値Ｒを設定すればよい。また、シーンに合わせて、閾値Ｒを変えながら検出率と誤検出率を算出し、検出率と誤検出率が等しくなる、すなわちＥＥＲ（Equal Error Rate）となる閾値Ｒを選択することも可能であるし、検出率を優先したり、誤検出率を小さくすることを優先して閾値Ｒを選択することも可能である。

以上の処理によって、領域分割部１０４は、測地距離が無限大とならない移動軌跡の組は連続とすることで同じクラスタと判定することができ、測地距離が無限大となる移動軌跡の組は不連続とすることによって、不連続点をもとにクラスタを分離することができる。

出力部１０５では、Ｓ１０６でクラスタに分離された移動軌跡を、領域分割の結果として、装置の内部（メモリ等）又は外部（記録媒体、ディスプレイ装置等）に出力する。これによって、移動体を検出することができる。

なお、本実施の形態では、移動軌跡に対して上記式３もしくは上記式４のような距離を計算することによって、画素の位置と動きの類似性とを考慮した領域分割が可能になる。そのため、図７（ａ）〜（ｃ）に示される例では、頭部の動きと腕の動きの違い、上腿と下腿との動きの違いが反映され、頭部、腕、上腿（じょうたい）、下腿（かたい）を別々のクラスタとして領域分割することができる。さらに、本方法は、同様の方法によって、一つの移動体のボディパーツの検出、領域分割だけでなく、複数人が存在するシーンにおいて、それぞれの移動体を検出、領域分割することも可能である。

このように、測地距離を用いて算出した不連続点をもとにクラスタリングを行うことで、結果として移動体を検出及び領域分割を行うことができる。

以上のようにして、画素間の距離あるいは移動軌跡の類似性に基づいてクラスタリングを行うことによって、類似する移動軌跡がまとめられて領域分割が行われるので、距離が近く、かつ、類似する動きをする部位が一つの領域として認識され、動画像中を移動する物体の領域を時間的に追跡した結果として、関節物体の姿勢によらずに、動画像中の移動体もしくは、移動体の部位の検出、移動体を含む画像の領域分割をすることができる。また、前処理として人物候補領域を設定する必要がなく、移動軌跡の類似性に基づいて複数の閾値を用いてクラスタリングを行うため、画像中でさまざまな大きさの移動体が存在する場合や、移動体の一部が隠れている場合に特に問題となる人物候補領域の検出ミス、それに起因する領域分割の失敗がない。さらには、不連続点に基づいたクラスタリングは、クラスタサイズの大きさに影響を受けないクラスタリングが可能であるため、大きな被写体と小さな被写体が混在する場合や、大きな動きの被写体と小さな動きの被写体が混在する場合においても、確実に抽出することが可能である。

以上のように、膨大なパラメータのフィッティングを必要とせずに、非線形空間でクラスタリングを行うことによって、形状が変化しながら移動する人物等を含む動画像に対しても正しく領域分割し、これによって動画像中の移動体の検出を行うことが可能となる。

なお、本発明に係る移動体検出装置は、本実施の形態における測地距離の不連続点にもとづいた領域分割とは異なる方法で領域分割をしてもよい。以下、実施の形態１における領域分割と異なる方法、ここでは、測地距離への変換をすることなく領域分割をする方法について、実施の形態１の変形例として説明する。

本変形例に係る移動体検出装置の構成は、基本的には、図１に示されるように、画像入力部１０１、動き解析部１０２、距離算出部１０３、領域分割部１０４、出力部１０５を備える。そして、この移動体検出装置１００は、動画像中の移動体の全部又は一部の領域を特定する領域分割をすることによって動画像中の移動体を検出する。画像入力部１０１、動き解析部１０２、距離算出部１０３は実施の形態１と同様であるため説明を省略する。本変形例に係る領域分割部１０４は、実施の形態１と異なる方法で、領域分割をする。以下、本変形例に係る領域分割部１０４を中心に説明する。

図８は、本発明の実施の形態１の変形例における移動体検出装置の基本動作を示すフローチャートである。なお、本図において、ステップＳ１０１〜Ｓ１０４は、図３のステップＳ１０１〜Ｓ１０４と同じであるので、説明を省略する。

本変形例に係る領域分割部１０４は、ステップＳ２０５（クラスタリング）とＳ２０６（ラベル付け）とを実行する。ステップＳ２０５では、領域分割部１０４は、上記式３もしくは上記式４で算出した移動軌跡iと移動軌跡jとの距離ｆ（ｉ,ｊ）を用いて、ｆ（ｉ,ｊ）が小さい順に移動軌跡iと移動軌跡jとを同一クラスとして結合する処理を繰り返すことによってクラスタリングを行う。図９（ａ）に示すように、移動軌跡ａ〜ｈは、同一移動体であっても、姿勢変化によって大きく変化する。しかしながら、関節で繋がった物体である限り、特に近傍における移動軌跡は高い類似性を保持していることを仮定することができる。ここで、高い類似性とは、移動軌跡iと移動軌跡jとの距離ｆ（ｉ,ｊ）が小さいことを意味する。さらに、ｆ（ｉ,ｊ）が小さいことは、移動軌跡iと移動軌跡jとが移動軌跡からなる高次元空間上に近距離に分布していると解釈することができる。図９（ｂ）は、移動軌跡ａ〜ｈを表す高次元空間の概念図である。なお、この概念図では、説明を容易にするため、３次元空間としたが、実際には、上記式２に示したベクトルの各要素が各次元と対応する。また、移動軌跡ａ〜ｈの数を８本としたが、実際には、各画素に対応する移動軌跡を用いてもよいし、ブロック単位で求めた移動軌跡を用いてもよい。ここで、移動軌跡ａ〜ｈを表す高次元空間の１点が、それぞれ上記式２に示した一つの移動軌跡に対応する。すなわち、高次元空間上の点は、１枚のピクチャ上の領域だけではなく時間的に異なる複数枚のピクチャに渡って画素を追跡した結果である。さらに、高次元空間上で、点と点との距離は、上記式２に示したベクトル間のユークリッド距離ではなく、上記式３もしくは上記式４に示すような距離に対応する。

そして、領域分割部１０４は、移動軌跡からなる高次元空間上の分布の連続性によって移動軌跡をクラスタリングしていくことによって、移動軌跡間の距離の不連続性をもとにクラスタリングを行う。その結果、各クラスタは、個別の移動体もしくは移動体の一部に対応することが期待でき、移動体の検出と領域分割を行うことができる。

まず、分割する各領域を次のように表現する。

ここで、Ｍは、領域数であり利用するシーンに応じて経験的に決定する。

まず、自分自身を除くｆ（ｉ,ｊ）が小さい順に移動軌跡iと移動軌跡jとを同一領域ラベルθ_mとする処理を行う。この処理を行う上で、移動軌跡iもしくは移動軌跡jの一方が既に領域θ_kに属している場合には、まだ領域ラベルが付与されていない画素も領域θ_kに属するようにする。さらに、既に移動軌跡iと移動軌跡jとがそれぞれ異なる領域に属している場合には、領域ラベルを統合する。

ステップＳ２０６では、領域分割部１０４は、ステップＳ２０５で行った処理に対して、すべての移動軌跡に対してラベル付けをし、かつ領域数が規定のＭになっているか否かを判断する。ここで、ステップＳ２０６における条件が満たされていない場合には、領域分割部１０４は、ステップＳ２０５のｆ（ｉ,ｊ）が小さい順に移動軌跡iと移動軌跡jとを同一領域ラベルθ_mとする処理を繰り返す。なお、各領域に属する移動軌跡の数が閾値Ｎ個以下であれば、外れ値（Outlier）として扱うことで領域から除外してもよい。

ここで、ステップＳ２０５とステップＳ２０６の処理の具体例を図９（ｃ）及び（ｄ）を用いて説明する。Ｍ＝２とした場合と、Ｍ＝３とした場合について説明する。ここで、図９（ｂ）に示される例では、移動軌跡aと移動軌跡ｂとの距離をｆ（ａ,ｂ）とした時に、ｆ（ａ,ｂ）<ｆ（ｇ,ｈ）<ｆ（ｄ,ｅ）<ｆ（ｂ,ｃ）<ｆ（ｆ,ｇ）<ｆ（ｃ,ｄ）とする。まず、Ｍ＝２の例について図９（ｃ）を用いて説明する。ここでは、ステップＳ２０５において、移動軌跡aと移動軌跡bとの距離ｆ（ａ,ｂ）が最小であるため、領域分割部１０４は、移動軌跡aと移動軌跡bに同一の領域ラベルθ₁を付与する。次に、移動軌跡ｇと移動軌跡ｈとの距離ｆ（ｇ,ｈ）が２番目に小さいため、領域分割部１０４は、同一の領域ラベルθ₂を付与する。さらに、３番目に小さい距離である移動軌跡ｄと移動軌跡eに対して、領域分割部１０４は、同一の領域ラベルθ₃を付与する。次に距離が小さいのは、移動軌跡ｂと移動軌跡ｃとの距離ｆ（ｂ,ｃ）である。ここでは、移動軌跡ｂがすでにラベル付けされているため、領域分割部１０４は、移動軌跡ｃに移動軌跡ｂと同一の領域ラベルθ₁を付与する。次に距離が小さいのは、移動軌跡ｆと移動軌跡ｇとの距離ｆ（ｆ,ｇ）である。ここでは、ｆ（ｂ,ｃ）の場合と同様に、領域分割部１０４は、移動軌跡ｆに対して移動軌跡ｇと同一の領域ラベルθ₃を付与する。ここでＭ＝３とした場合は、ステップＳ２０６にて、すべての移動軌跡にラベルが付与され、Ｍ＝３となると判断されるため、出力部１０５にて、各移動軌跡にラベル付けした結果を出力して処理を終了する。

一方、Ｍ＝２と設定した場合には、ステップＳ２０６にて条件を満たさないことが起こる。そこで、再度ステップＳ２０５にて、領域分割部１０４は、次に小さい距離をなす移動軌跡ｃと移動軌跡ｄについて移動軌跡ｃが属する領域ラベルθ₁と移動軌跡ｄが属する領域ラベルθ₃とを統合して、移動軌跡aからeの移動軌跡に対して、領域ラベルθ₁を付与する。そして、ステップＳ２０６にて、領域分割部１０４により、すべての移動軌跡にラベルが付与され、Ｍ＝２となると判断されるため、出力部１０５にて、各移動軌跡にラベル付けした結果を出力して処理を終了する。

このように、本実施の形態１の変形例では、移動軌跡に対して上記式３もしくは上記式４のような距離を計算することによって、画素の位置と動きの類似性とを考慮した領域分割が可能になる。そのため、図９（ａ）〜（ｄ）に示される例において、Ｍ＝２の場合は、下半身の動きが上半身の動きと大きく異なることが反映されて、上半身と下半身とに分離される。さらに、Ｍ＝３の場合は、Ｍ＝２の場合に加えて、頭部の動きと腕の動きの違いが反映され、上半身、腕、下半身とを分離することが可能になる。

このように、類似した移動軌跡に対して、順々に領域ラベルを付与することによって、高次元空間上で連続している移動軌跡を一つのクラスタと判断し、移動軌跡間の距離が大きいところを不連続点として、それぞれのクラスタを分離することが可能となる。その結果、各クラスタに属する移動軌跡が移動体検出及び領域分割に対応する。

もちろん、本方法は、同様の方法によって、一つの移動体のボディパーツの検出、領域分割だけでなく、複数人が存在するシーンにおいて、それぞれの移動体を検出、領域分割することも可能である。

以上のようにして、画素間の距離あるいは移動軌跡の類似性に基づいてクラスタリングを行うことによって、類似する移動軌跡がまとめられて領域分割が行われるので、距離が近く、かつ同様の動きをする部位が一つの領域として認識され、動画像中を移動する物体の領域を時間的に追跡した結果として、関節物体の姿勢によらずに、動画像中の移動体もしくは、移動体の部位の検出、移動体を含む画像の領域分割を行うことができる。また、前処理として人物候補領域を設定する必要がなく、移動軌跡の類似性に基づいてクラスタリングを行うため、画像中でさまざまな大きさの移動体が存在する場合や、移動体の一部が隠れている場合に特に問題となる人物候補領域の検出ミス、それに起因する領域分割の失敗がない。

以上のように、膨大なパラメータのフィッティングを必要とせずに、非線形空間でクラスタリングを行うことによって、形状が変化しながら移動する人物等を含む画像に対しても正しく領域分割し、これによって動画像中の移動体の検出を行うことが可能となる。

（実施の形態２）
次に、上記実施の形態１で行った非線形空間上での領域分割を、実施の形態１とは異なる方法で実現する方法について、実施の形態２として説明する。

図１０は、実施の形態２における移動体検出装置１００ａの構成を示す機能ブロック図である。本移動体検出装置１００ａは、図１０に示すように、画像入力部１０１、動き解析部１０２、距離算出部１０３、領域分割部１０４ａ（領域分割候補生成部５０１と領域分割候補選択部５０２）及び出力部１０５を備える。画像入力部１０１、動き解析部１０２、距離算出部１０３は実施の形態１と同様であるため説明を省略する。

領域分割部１０４ａは、距離算出部１０３で算出された距離に基づいて、類似する移動軌跡をもつブロックから構成される領域を特定することによって領域分割をする点で、実施の形態１の領域分割部１０４と同じであるが、その具体的な処理が異なる。そのために、この領域分割部１０４ａは、領域分割候補生成部５０１と領域分割候補選択部５０２とを備える。

領域分割候補生成部５０１は、領域分割に用いられる判断基準を複数個生成し、生成した複数個の判断基準のそれぞれについて、当該判断基準を用いて、動き解析部１０２で算出された複数の移動軌跡をクラスタリングすることによって領域分割をし、その領域分割の結果を領域分割候補として生成する処理部である。具体的には、この領域分割候補生成部５０１は、距離算出部１０３で算出した距離マトリクスに対してデータの連続性に関する閾値を用いて測地距離変換を適用し、つまり、距離算出部１０３で算出された複数の距離のうち当該閾値よりも小さい距離を連結することで複数の距離のそれぞれを測地距離に変換し、それぞれの閾値における測地距離変換後の移動軌跡間の距離の分布における不連続点を検出し、検出した不連続点よりも小さい測地距離だけ離れた移動軌跡どうしが一つのクラスタとなるように、連続に分布する移動軌跡をクラスタリングすることによって、前記閾値に対する領域分割の候補を生成する。ここでは、前記閾値の設定によって、領域分割数が変化する。

領域分割候補選択部５０２は、クラス数についての指示（あるいは、予め設定されたクラス数）を取得し、取得したクラス数に近い個数の領域に分割された領域分割候補を、領域分割候補生成部５０１で生成された複数の領域分割候補から選択し、選択した領域分割候補を、距離算出部１０３で算出された距離に基づく領域分割の結果として出力する処理部である。具体的には、この領域分割候補選択部５０２は、領域分割候補生成部５０１で生成した、それぞれの前記閾値に対する領域分割の候補から、あらかじめ定めたクラス数に最も近い領域分割結果を選択する。すなわち、クラス数に応じた閾値による領域分割結果を選択することになる。

出力部１０５は、実施の形態１と同様である。この出力部１０５からの出力により、最終的な移動体の検出と領域分割結果を得ることができる。

以下に、本発明の移動体検出方法、つまり、移動体検出装置１００ａの動作について、図１１のフローチャートを用いて移動する移動体を検出、領域分割する例について詳細に説明する。ステップＳ１０１からＳ１０４までは、実施の形態１と同様であるため説明を省略する。

領域分割候補生成部５０１は、ステップＳ６０１（測地距離変換）とステップＳ６０２（クラスタリング）とを実行する。ステップＳ６０１では、領域分割候補生成部５０１は、上記式３もしくは上記式４で算出した線形距離ｆ（ｉ,ｊ）に対してK個の閾値R_kを用いて、それぞれの閾値R_kに対して以下のように非線形化処理を行いｆ'_k（ｉ,ｊ）を算出する。

つまり、領域分割候補生成部５０１は、移動軌跡iに着目した時に移動軌跡iとの線形距離が小さい順にR_k個の移動軌跡jを選択し、選択された移動軌跡ｊとの距離は変更せず、選択されなかった移動軌跡ｊとの距離を無限大に変更する。なお、ここでは、線形距離が小さい順に選択したが、次式のように閾値R_kを設定してもよい。

つまり、領域分割候補生成部５０１は、上記式２２に示すように、動き解析部１０２で算出された複数の移動軌跡のそれぞれについて、距離が小さい順に予め定められた個数の移動軌跡を選択し、選択されなかった移動軌跡との距離を無限大に変更する非線形化をした後に、複数の距離のそれぞれを測地距離に変換してもよいし、上記式２３に示すように、動き解析部１０２で算出された複数の移動軌跡のそれぞれについて、距離が予め定められた閾値以下の移動軌跡を選択し、選択されなかった移動軌跡との距離を無限大に変更する非線形化をした後に、複数の距離のそれぞれを測地距離に変換してもよい。

なお、距離の非線形化に関しては、上記の関数に限定されるものではなく、移動軌跡iと移動軌跡ｊに関する距離に対して非線形変換を行うものであれば何でもよい。

さらには、線形距離ｆ（ｉ,ｊ）に対して、前述した式１６及び式１７を用いて計算した重みを掛け算して重み付けを行った後に上記式２２もしくは上記式２３の処理を行ってもよい。

上記式１７や上記式１８の重みを用いてｆ（ｉ,ｊ）を変換することによって、移動軌跡i及びｊと類似した移動軌跡が空間的に密集している場合（距離が近い移動軌跡の場合）には、ｆ（ｉ,ｊ）を相対的に小さく、また、空間的に疎な場合（距離が遠い移動軌跡の場合）には、密集している場合と比較してｆ（ｉ,ｊ）が相対的に大きくなる。つまり、距離算出部１０３で算出された複数の距離のそれぞれを測地距離に変換するときに、動き解析部１０２で算出された複数の移動軌跡の分布における密集度が大きいほど小さい測地距離となるような重み付けをしたうえで、測地距離への変換をする。これによって、画素の移動軌跡の分布の密集度を考慮した距離変換が可能になる。

次に、非線形化された距離ｆ'_k（ｉ,ｊ）を用いて、領域分割候補生成部５０１は、次式のように測地距離を算出する。

なお、min（ｘ，ｙ）は、値ｘと値ｙのうち小さい方を返す関数である。また、ｓは、移動軌跡ｓであり、移動軌跡iから移動軌跡jに辿（たど）りつくための中継点である。ここで、ｆ'_k（ｉ,ｓ）＋ｆ'_k（ｓ,ｊ）における中継点ｓは１点に限るものではない。なお、ｋは複数の閾値R_kに対応する。この方法は、前述したようにダイクストラ法と呼ばれる最短経路探索手法である。

次に、ステップＳ６０２では、領域分割候補生成部５０１にて、それぞれの閾値R_kに対応する測地距離変換を行ったｇ_k（ｉ,ｊ）を用いて、不連続点を検出することによってクラスタリングを行う。ここでは、ｇ_k（ｉ,ｊ）が無限大となる移動軌跡iと移動軌跡jの間が不連続点である。複数の閾値R_kに対して得た測地距離変換の結果の例を図１２（ａ）〜（ｆ）を用いて説明する。ここで、図１２（ａ）は移動軌跡ａ〜ｈを示す図であり、図１２（ｂ）は、図１２（ａ）に示した移動軌跡ａ〜ｈを表す高次元空間の概念図である。また、移動軌跡ａ〜ｈの数を８本としたが、実際には、各画素に対応する移動軌跡を用いてもよいし、ブロック単位で求めた移動軌跡を用いてもよい。ここで、移動軌跡ａ〜ｈを表す高次元空間の１点が、それぞれ上記式２に示した一つの移動軌跡に対応する。すなわち、高次元空間上の点は、１枚のピクチャ上の領域だけではなく時間的に異なる複数枚のピクチャに渡って画素を追跡した結果である。さらに、高次元空間上で、点と点との距離は、ベクトル間のユークリッド距離ではなく、上記式２１に示すような測地距離に対応する。

閾値R_kが十分に大きな値である場合、例えば、上記式１６においてｆ（ｉ,ｊ）の最大値よりも閾値R_kが大きい場合には、図１２（ｃ）に示すように測地距離ｇ_k（ｉ,ｊ）は、すべてのi,jの組合せにおいて無限大にならない。すなわち、不連続点が１点もないためクラスタは１個と判断できる。一方、閾値R_kが十分に小さい場合、具体的には、上記式１６においてｆ（ｉ,ｊ）の最小値よりも閾値R_kが小さい場合には、すべてのi,jの組合せにおいてｇ_k（ｉ,ｊ）が無限大となる。すなわち、クラスタ数は移動軌跡の数と同数となる。ここでは、閾値R_kをｆ（ｉ,ｊ）の最大値と最小値の間の値に設定して、それぞれクラスタリングを行うことが効率的である。図１２（ｄ）に示される例について説明する。ここで、図１２（ｂ）において、上記式３もしくは上記式４に示した移動軌跡aと移動軌跡ｂとの距離をｆ（ａ,ｂ）とした時に、ｆ（e,ｆ）>ｆ（ｃ,ｄ）>ｆ（ｆ,ｇ）>ｆ（ｂ,ｃ）とする。また、閾値をR₁として設定した場合に、距離ｆ（e,ｆ）は、閾値R₁よりも大きな値を持つとする。この場合、上記式１８によって測地距離を求めてもｇ₁（ｅ,ｆ）は無限大となる。そこで、領域分割候補生成部５０１は、移動軌跡eと移動軌跡ｆとの間を不連続点と判定する。この結果、移動軌跡aからｄと移動軌跡eとの測地距離は不連続点を通らないため無限大の値を取らず、逆に移動軌跡ｆからｈの各移動軌跡と移動軌跡aからeの各移動軌跡との測地距離は、不連続点ｇ₁（ｅ,ｆ）を通るためそれぞれ無限大となる。このように、領域分割候補生成部５０１は、測地距離が無限大とならない移動軌跡iと移動軌跡jの組は同じクラスタとし、無限大となる場合は別のクラスタとする。これによって、図１２（ｄ）のようにθ₁、θ₂の２つのクラスタに分離することができる。さらに、いま、図１２（ｅ）に示すように、閾値をＲ₂（ただし、R₁＞R₂）とした場合に、無限大となる測地距離は、ｇ₂（ｃ,ｄ）、ｇ₂（ｅ,ｆ）、ｇ₂（ｆ,ｇ）であったとする。この場合には、領域分割候補生成部５０１は、それぞれ、移動軌跡ｃと移動軌跡ｄとの間、移動軌跡eと移動軌跡ｆとの間、移動軌跡ｆと移動軌跡ｇとの間が不連続点であると判定し、図１２（ｄ）に示される例の場合と同様に測地距離が無限大となる組と無限大にならない組とを整理して、θ₁、θ₂、θ₃、θ₄の合計４つのクラスタに分離する。以上の処理によって、測地距離が無限大とならない移動軌跡の組は連続とすることで同じクラスタと判定することができ、測地距離が無限大となる移動軌跡の組は不連続とすることによって、不連続点をもとにクラスタを分離することができる。なお、閾値Ｒ_kの設定方法については、ｆ（ｉ,ｊ）の最小値から最大値の間を均等にＫ個設定することによって、すべての移動軌跡が一つのクラスタと判定されたり、各移動軌跡がそれぞれ個別のクラスタと判断される危険性を減らすといった効果がある。つまり、領域分割候補生成部５０１は、距離算出部１０３で算出された複数の距離における最大値と最小値との間の複数の値を、複数の領域分割候補を生成するための複数の閾値として生成してもよい。

さらに、ｆ（ｉ,ｊ）の平均値あるいはメディアンを中心に一定間隔で増加、減少させた値を用いてもよい。ｆ（ｉ,ｊ）の値が比較的均一な場合には、より効率的に不連続点に対応する閾値を決定することができる。つまり、領域分割候補生成部５０１は、距離算出部１０３で算出された複数の距離の平均値又は中央値を中心に増加及び減少させて得られる複数の値を、複数の領域分割候補を生成するための複数の閾値として生成してもよい。

また、最大値から一定間隔で値を減少させていき、最初に不連続点を検出した時の値をもとに、より小さい値をＫ−１個、閾値として決定してもよい。これにより、すべての移動軌跡が一つのクラスタと判定される危険性がなくなるといった効果がある。

さらには、ステップＳ６０１とステップＳ６０２とを閾値Ｒ_kを小さくしながら繰り返しても良い。例えば、図１２（ｄ）に示される例のように、領域分割候補生成部５０１は、閾値Ｒ₁で、ステップＳ６０１とステップＳ６０２で、移動軌跡のクラスタリングを行い、次に、ステップＳ６０１で、図１２（ｅ）に示される例のように、閾値Ｒ₁で抽出したそれぞれのクラスタに対応するｆ（ｉ,ｊ）（ここで、i,jは同一クラスタに属する移動軌跡）を、閾値Ｒ₁より小さな閾値Ｒ₂を用いてそれぞれ測地距離に変換し、ステップＳ６０２で、それぞれのクラスタに対応するｇ（ｉ,ｊ）（ここで、i,jは同一クラスタに属する移動軌跡）から、不連続点を検出することでクラスタリングを行うことができる。このように、閾値Ｒ_kを小さくしながら、測地距離への変換と不連続点の検出を、それぞれのクラスタに属する移動軌跡に対して行うことによって、図１２（ｆ）に示すような階層的なクラスタリングが可能になる。もちろん、逆に、閾値を小さな値から順に大きくしてクラスタリングを行うことによって、同様に階層的なクラスタリングが可能になる。ただし、閾値を大きな値から小さくしていくことによって、より大きな閾値で抽出したクラスタに対してのみ、より小さい閾値での測地距離への変換と不連続点の検出処理を行えば良いため、より少ない計算量で処理を行うことができるという効果がある。具体的には、図１２（ｆ）に示すように、閾値Ｒ₂によるクラスタリングは、閾値Ｒ₁で抽出されたクラスタそれぞれについて行えばよいため、計算に用いるｆ（ｉ,ｊ）（ここで、i,jは同一クラスタに属する移動軌跡）のトータルでのサイズをより小さくすることができる。そのため、計算量もより少なくてすむ。

そして、上記のように階層的なクラスタリングを行えば、図１３（ａ）〜（ｃ）に示すように、シーンの構造をツリー構造として表すことも可能である。例えば、図１３（ａ）の入力に対して、閾値Ｒ₁でクラスタリングを行うと、図１３（ｃ）に示すように、クラスタθ₁とθ₂が抽出される。さらに、閾値をより小さなＲ₂としてクラスタリングを行うと、より小さな被写体であるクラスタθ₃を抽出することができる。このように、よりカメラから離れた被写体や動きの小さな被写体がより小さな閾値によって抽出されることになるため、このようなシーンの構造を階層構造として獲得することができるという効果がある。例えば、衝突の危険性等を閾値の大きさで表現することも可能である。なお、ここでθ₀は、背景に対応する。ここで、カメラが固定の場合は、動きのある移動軌跡のみを用いることで、移動物体のみを抽出することも可能であるし、カメラが動く場合には、最も移動軌跡数の大きいクラスタを背景としても良い。

さらに、上記の例よりも閾値を小さくしてクラスタリングを行った例を図１３（ｂ）を用いて説明する。ここでは、簡単のためクラスタθ₂について説明するが、すべてのクラスタについてより小さな閾値でクラスタリングを行っても良いし、利用者が指示したクラスタ（被写体）に対して、クラスタリングを行っても良い。まず、クラスタθ₂に対して、より小さな閾値Ｒ₃でクラスタリングを行うと、図１３（ｃ）右側に示すように、右脚、左脚と上半身とに分類することができる。一般的に、歩行は、脚の動きが大きいために、他の部位と比較して大きな閾値で抽出される。さらに、より小さな閾値Ｒ₄でクラスタリングを行うと、右脚、左脚がそれぞれ上腿（θ₅、θ₇）、下腿（θ₆、θ₈）に分類され、上半身から腕（θ₃）が抽出される。さらに、より小さな閾値Ｒ₅でクラスタリングを行うと、上半身を頭部（θ₁）、胸部（θ₂）、腹部（θ₄）にクラスタリングすることができる。以上のように、動きの不連続さを反映した階層構造によるクラスタリングが可能になる。これによって、ユーザが見たい粒度で被写体の各部位の動きを見ることができるという効果がある。

すなわち、閾値を小さくしながら処理する場合は、一旦抽出されたクラスタに対して、より小さな閾値でそれぞれのクラスタをより詳細にクラスタリングすることで、すべての移動軌跡の分布を反映した階層的なクラスタリングが実現できる。

また、領域分割候補生成部５０１は、距離算出部１０３で算出された複数の距離について、大きい値から小さい値の順に並べた場合における最初の不連続点を検出し、検出した不連続点よりも小さい複数の値を、複数の領域分割候補を生成するための複数の閾値として生成してもよい。

さらには、次のように閾値Ｒ_kを設定してもよい。まず、移動軌跡iとＮ番目に小さい距離となる移動軌跡ｊを算出し、その値を閾値Ｒ_kとして設定し、Ｒ_kが大きい順に処理を行ってもよい。この場合、Ｎは、例えば処理に用いる移動軌跡の数を設定したいクラスタ数で割った値とすることで、希望のクラスタ数に近いクラスタ数となる閾値Ｒ_kを設定しやすくなる効果がある。つまり、領域分割候補生成部５０１は、動き解析部１０２で算出された複数の移動軌跡のそれぞれについて、当該移動軌跡との距離がＮ番目に小さい距離を特定し、特定した複数の距離について大きい順から選択した複数の値を、複数の領域分割候補を生成するための複数の閾値として生成してもよい。

次に、ステップＳ６０３にて、領域分割候補選択部５０２は、ステップＳ６０２で行った複数のクラスタリング結果から、あらかじめ設定したクラス数に最も近いクラスタ数となったクラスタリング結果を選択する。図１２（ａ）〜（ｆ）に示される例で説明すると、クラス数Ｍ＝４と設定した場合には、閾値Ｒ₂の時のクラスタリング結果（図１２（ｅ）)が選択される。また、クラス数Ｍ＝２と設定した場合には、閾値Ｒ₁の時のクラスタリング結果（図１２（ｃ））が選択され、出力部１０５にて、各移動軌跡にラベル付けした結果を出力する。

なお、本実施の形態では、移動軌跡に対して上記式３もしくは上記式４のような距離を計算することによって、画素の位置と動きの類似性とを考慮した領域分割が可能になる。そのため、図１２（ａ）〜（ｆ）の例では、クラス数Ｍ＝２と設定した場合には、下半身の動きが上半身の動きと大きく異なることが反映されて、上半身と下半身とが別々のクラスタとして領域分割でき、クラス数Ｍ＝４と設定した場合には、Ｍ＝２の場合に加えて、頭部の動きと腕の動きの違い、上腿と下腿との動きの違いが反映され、頭部、腕、上腿（じょうたい）、下腿（かたい）を別々のクラスタとして領域分割することができる。

なお、ここでは、閾値の数は２個に限るものではなく、何種類用意してもかまわない。また、設定したクラス数と同数のクラスタリング結果がない場合には、最も近いクラスタ数となったものを選択してもよいし、設定したクラス数よりも小さいクラス数の中から一番近いクラスタ数となったクラスタリング結果を選択してもよいし、同様に、設定したクラス数よりも大きいクラス数の中から一番近いクラスタ数となったクラスタリング結果を選択してもよい。

また、複数の閾値Ｒ_kを用いることによって、図１２（ｆ）に示すように、閾値Ｒ₁の時のクラスタリング結果と閾値Ｒ₂の時のクラスタリング結果を階層構造として得ることができるという効果がある。例えば、Ｍ＝２、閾値Ｒ₁の場合のクラスタリングでは、上半身と下半身に分離され、Ｍ＝４、閾値Ｒ₂の場合のクラスタリングでは、頭、腕等の各ボディパーツに分離される。そこで、Ｍ＝２、閾値Ｒ₁で上半身に分離されたクラスタθ₁と、Ｍ＝４、閾値Ｒ₂で頭部に分離されたクラスタθ₁と腕に分離されたクラスタθ₄とは、図１２（ｆ）に示すように階層関係として得ることができる。このように、画像中の被写体の構造を階層構造として抽出することも可能である。

さらに、本方法は、同様の方法によって、一つの移動体のボディパーツの検出、領域分割だけでなく、複数人が存在するシーンにおいて、それぞれの移動体を検出、領域分割することも可能である。

このように、複数の閾値に対して、測地距離を用いて算出した不連続点をもとにクラスタリングを行い、規定したクラス数に最も近いクラスタリング結果を選択することによって、結果として検出及び領域分割を行うことができる。

以上のようにして、画素間の距離あるいは移動軌跡の類似性に基づいてクラスタリングを行うことによって、類似する移動軌跡がまとめられて領域分割が行われるので、距離が近く、かつ類似する動きをする部位が一つの領域として認識され、動画像中を移動する物体の領域を時間的に追跡した結果として、関節物体の姿勢によらずに、動画像中の移動体もしくは、移動体の部位の検出、移動体を含む画像の領域分割をすることができる。また、前処理として人物候補領域を設定する必要がなく、移動軌跡の類似性に基づいて複数の閾値を用いてクラスタリングを行うため、画像中でさまざまな大きさの移動体が存在する場合や、移動体の一部が隠れている場合に特に問題となる人物候補領域の検出ミス、それに起因する領域分割の失敗がない。

さらには、本実施の形態における不連続点に基づいたクラスタリングは、クラスタサイズの大きさに影響を受けないクラスタリングが可能であるため、大きな被写体と小さな被写体が混在する場合や、大きな動きの被写体と小さな動きの被写体が混在する場合においても、確実に抽出することが可能である。また、閾値を減少させながらクラスタリングを行うことで、粗いクラスタリングから詳細なクラスタリングまでを階層的に行うことができるため、シーンの構造や被写体のボディの構造を階層的に抽出することが可能になる。これにより、画像中の被写体の存在位置を抽出するような粗い画像の解析から、特定の画像領域や被写体領域の詳細な解析までを同一の方式で行えるという効果がある。また、抽出した階層構造は、すべての移動軌跡のデータ構造を示すことになるため、入力画像におけるシーンの構造を表すことも可能である。

以上のように、膨大なパラメータのフィッティングを必要とせずに、非線形空間でクラスタリングを行うことによって、形状が変化しながら移動する人物等を含む動画像に対しても正しく領域分割し、これによって動画像中の移動体の検出を行うことが可能となる。

（実施の形態１及び２の第１変形例）
次に、本発明の実施の形態１及び２の第１変形例における移動体検出装置について説明する。ここでは、実施の形態１及び２において移動体を検出及び部位を領域分割した結果を画像として表示する機能を付加した例について説明する。ここでは、実施の形態１における変形例について述べるが、実施の形態１の変形例、実施の形態２においても同様に適用可能である。このような第１変形例に係る移動体検出装置１００ｂは、図１４の機能ブロック図に示すように、画像入力部１０１、動き解析部１０２、距離算出部１０３、領域分割部１０４及び出力部１０５ａを備える。ここで、出力部１０５ａは、実施の形態１における出力部１０５の機能に加えて、画像表示部１００１を有し、その画像表示部１００１によって、分割した領域を画像としてモニタ等に表示することが可能である。

画像表示部１００１は、領域分割部１０４で得られた領域分割の結果を、画像入力部１０１で受け付けた動画像（ピクチャ）に重ねて表示する処理部であり、例えば、ＬＣＤ等のディスプレイ及びその表示制御部からなる。図１５（ａ）及び（ｂ）は、画像表示部１００１による表示例を示す図である。ここでは、図１５（ａ）にＭ＝３として移動体をそれぞれ領域分割した例を、図１５（ｂ）にＭ＝８として、１つの移動体の領域分割を行った例を示す。このように、領域θ_mに対応する画像上での領域を色分け等して、分割された領域をそれぞれ区別できるようにしてモニタ等に表示する。図１５（ａ）のように移動体ごとに色分けして表示してもよいし、図１５（ｂ）のように、部位ごとに別個に表示してもよい。つまり、図１５（ａ）及び（ｂ）から分かるように、本発明に係る移動体検出装置は、上述した領域分割によって、複数の移動体を検出することもできるし（図１５（ａ））、一つの移動体を構成する複数の部分を検出する、つまり、一つの移動体に対して領域を分割することもできる（図１５（ｂ））。

ここで、上記式２に示した移動軌跡iは、アウトライアを除いて領域θ_mのいずれかに対応する。そのため、領域θ_mに属する移動軌跡iに基づいてピクチャ上の画素を選択し、領域ラベルｍに基づいて色分け等を行えば容易に分割した領域を画像上に表示することができる。これによって、実施の形態１及び２で説明した、形状が変化しながら移動する人物等を含む動画像に対しても正しく領域分割できるという効果に加えて、分割した領域を動画像上に表示することで、ユーザがそれぞれの移動体もしくは移動体の部位、さらにはその動きを区別しやすくなるという効果がある。

（実施の形態１及び２の第２変形例）
次に、本発明の実施の形態１及び２の第２変形例における移動体検出装置について説明する。ここでは、実施の形態１及び２において移動体を検出及び部位を領域分割した結果をそれぞれ分割した領域ごとに記録・送信する機能を付加した例について説明する。ここでは、実施の形態１における変形例について述べるが、実施の形態１の変形例、実施の形態２においても同様に適用可能である。このような第２変形例に係る移動体検出装置１００ｃは、図１６の機能ブロック図に示すように、画像入力部１０１、動き解析部１０２、距離算出部１０３、領域分割部１０４及び出力部１０５ｂを備える。ここで、出力部１０５ｂは、実施の形態１における出力部１０５の機能に加えて、記録・送信部１２０１を有する。

記録・送信部１２０１は、領域分割部１０４での領域分割の結果に基づいて、画像入力部１０１で受け付けたピクチャにおける領域を特定し、特定した領域ごとに、対応する領域分割の結果を、メモリやハードディスク等の記録媒体に記録する、又は、通信インターフェース等を介して外部に送信する処理部である。つまり、この記録・送信部１２０１は、画像表示の場合と同様に、領域分割した結果画像を領域ラベルθ_mに応じてそれぞれ別々に記録・送信する。また、各領域に属する動き情報を以下のように平均化することで、動き情報を圧縮することも可能である。通常であれば画素ごとに動き情報を保持する必要があるが、以下の処理を行えば１つの領域に対して１つの動きを保持するだけでよい。例えば、動き情報として画素iの動きベクトル（ｕⁱ _t,ｖⁱ _t）を用いた場合には、以下のように分割された領域ごとに平均化した動き情報を計算することができる。

ここで、Ｃ_mは、領域θ_mに属する画素数もしくは移動軌跡の数である。ｕ^Cm _t,ｖ^Cm _tは、それぞれ、領域θ_mに属する画素の動きベクトルである。図１７に図１５（ａ）に示される処理結果について時刻Ｔからｔ枚の画像を入力として領域分割を行い、その結果を用いてセグメント領域を記録、送信する例を示す。識別子として各領域ラベルθ_mと、各領域ラベルθ₁からθ₃に属する時刻Ｔにおけるピクチャの画素位置と画素値、そして、各領域ラベルに対応する時刻Ｔから時刻Ｔ＋ｔまでの動きベクトルｕ^m _T,ｖ^m _T,ｕ^m _T+1,ｖ^m _T+1,…,ｕ^m _T+t,ｖ^m _T+tを記録、送信する。もちろん、画像の画素位置と画素値を用いる代わりに、時刻Ｔにおける１枚のピクチャに対して、画素ごとに各領域ラベルを付けて送信してもかまわない。これにより、動き情報を領域数分送信するだけで済むために、ピクチャをｔ枚送信する場合と比べて、効率よく記録、送信することができるといった効果がある。特には、領域数が画素数に比べて少なければ少ないほど効率がよい。さらには、図１３（ｃ）に示したように、階層的なクラスタリング結果に応じて、記録、送信しても良い。たとえば、データの記憶容量や転送容量が小さい場合は、より大きな閾値でのクラスタリング結果に対応する動きベクトルを記録、送信しても良いし、階層順に粗いクラスタリング結果に基づいた動きベクトルから、詳細なクラスタリング結果に基づいた動きベクトルを順次、記録、送信しても良い。このように、記録時間や送信容量に適応的な記録、送信が可能になるという効果がある。

なお、アフィン動きを用いて動き情報を圧縮する場合は上記、式２５及び上記式２６の代わりに、アフィン動きに基づいて移動した画素位置の平均値を計算するとよい。以上のようにして、画素の動き情報を圧縮しながら領域の記録、送信が可能である。これによって、実施の形態１及び２で説明した、形状が変化しながら移動する人物等を含む動画像に対しても正しく領域分割できるという効果に加えて、それぞれの領域に対して１つの動き情報を用いることで高い符号化効率を実現できるという効果がある。

さらには、別途、セグメント領域復元部を設けることによって、送信、記録した情報を復元することも可能である。具体的には、図１５（ａ）及び（ｂ）に示した各領域ラベルに対応する画素位置と画素値から、時刻Ｔのピクチャを復元する。さらに、画素の移動軌跡情報を用いて、時刻Ｔの各画素を移動させることによって、時刻Ｔ＋１からＴ＋ｔのピクチャを復元することが可能である。ここで、固定カメラを用いる場合には、画素の移動軌跡情報が０でない情報のみを用い、さらにセグメント領域復元部にて背景画像をあらかじめ取得、保持しておくことで、復元した画像を背景画像に上書きしても良い。これにより、効率よく送信、記録された情報を用いて、低計算量でピクチャとして復元できるといった効果がある。

（実施の形態１及び２の第３変形例）
次に、本発明の実施の形態１及び２の第３変形例における移動体検出装置について説明する。ここでは、２つ以上の距離尺度を用いることで、検出と領域分割をより高精度に実現する例について説明する。ここでは、実施の形態１における変形例について述べるが、実施の形態１の変形例、実施の形態２においても同様に適用可能である。このような第３変形例に係る移動体検出装置は、実施の形態１と同じ構成であるため、その構成の説明は省略する。

実施の形態１及び２と異なる点は、距離算出部１０３での処理である。

距離算出部１０３では、より高精度に処理するために、追加のパラメータを用いている点が実施の形態１と異なる。以下、実施の形態１と異なる点を中心に説明する。

距離算出部１０３は、移動軌跡間の画像上での距離及びその変動に関する距離尺度と、画素間が画像上で成す角度（つまり、画素どうしを接続する直線の傾斜角度（その直線とピクチャの横軸とが成す角度））及びその変動に関する距離尺度とを用い、それぞれの距離尺度について距離マトリクスを算出する。そして、両マトリクスを統合することによって、より高精度な処理を実現する。

ここでは、図３に示した処理のフローチャートに沿って説明する。まず、ステップＳ１０１からＳ１０３までは実施の形態１と同じであるため、説明を省略する。

次に、ステップＳ１０４にて、距離算出部１０３は、上記式２で算出した移動軌跡iを用いて画素動きの類似性を含む距離マトリクスを算出する。ここでは、上記式３もしくは上記式４に示した距離ｆ（ｉ,ｊ）に加えて、２つ目の距離尺度として、画素iと画素ｊが成す角度に基づいた、以下の式２７で示される距離ｆ₂（ｉ,ｊ）を用いる例について説明する。

ここで、ｗ_aは重み係数であり、設計者が設定するパラメータである。また、ａ＿ｍｅａｎ_ij、ａ＿ｖａｒ_ijについては以下に示す。

ここで、

上記のように、画素iと画素ｊが成す角度及びその変動成分を用いて画素の動きの類似性を表現することができる。これによって、剛体のみならず、関節物体等の特に回転運動を伴う形状変化を捉えることができる。

なお、ｆ₂（ｉ,ｊ）は、画素動きの類似性を評価できる距離値であれば何を用いてもよく、例えば 上記式２８〜式３０の代わりに下記の式３１から式３３を用いてもよいし、下記の式３３の代わりに上記式２のアフィンパラメータＡⁱ _tを用いた下記の式３４を用いてもよい。下記式３１から式３３は、画素iと画素ｊの動きベクトルの角度差及びその変動成分を用いて画素の動きの類似性を表現することができる。これによって、回転を含む動きの変化を捉えることができる。下記式３４は、画素iと画素ｊの近傍ブロックのアフィンパラメータの差及びその変動成分を用いて画素の動きの類似性を表現することができる。これによって、回転、並進移動、スケール変化を含む動きの変化を捉えることができる。

ただし、

次に、次式３５のように、上記式３で求めた距離マトリクスに上記式２７で算出した距離マトリクスを追加する。ここでは、画素間の距離と画素間が成す角度の２つについて説明するが、他の画素動きの類似性を表現した距離を用いて３つ以上の距離を求めてもかまわない。

ここで、ｗは、設計者が設定する重み係数である。

上記式３５で算出した距離マトリクスを用いて、ステップＳ１０５以降、同様の処理を行えばよいため以降の説明を省略する。

以上のようにして、本実施の形態の移動体検出装置によれば、画素間の画像上での距離及びその変動に関する距離尺度と、画素間が画像上で成す角度及びその変動に関する距離尺度とを用い、それぞれの距離尺度について距離マトリクスを算出し、それぞれの距離マトリクスを統合した後、連続性に基づいてクラスタリングを行うことで、より高精度に動画像中を移動する物体の領域を時間的に追跡した結果として検出、領域分割することができる。さらに、画素間がピクチャ上で成す角度とその変動を距離尺度として用いることによって、特に関節運動に起因する回転運動をより正確に捉えることができる。また、前処理として人物候補領域を設定する必要がなく、移動軌跡の類似性に基づいてクラスタリングを行うため、画像中でさまざまな大きさの移動体が存在する場合や、移動体の一部が隠れている場合に特に問題となる人物候補領域の検出ミス、それに起因する領域分割の失敗がない。

以上のようにして、より高精度に、形状が変化しながら移動する人物等の移動体を検出及び部位を領域分割することができる。

（実施の形態３）
本実施の形態では、実施の形態１及び２で説明した移動体検出方法を用いて、移動体を検出及び領域分割を行った結果から、移動体の動きを予測する機能を付加した移動体検出装置について説明する。ここでは、実施の形態１に沿って説明するが、実施の形態１、２、それらの変形例においても同様に実現可能である。

図１８は、実施の形態３における移動体検出装置１００ｄの構成を示す機能ブロック図である。図１８に示すように、本実施の形態における移動体検出装置１００ｄは、画像入力部１０１、動き解析部１０２、距離算出部１０３、領域分割部１０４、出力部１０５に動き予測部１４０１を付加することによって、移動体の動きを予測する機能を有する。

動き予測部１４０１は、領域分割した結果から、各領域に含まれる画素の移動軌跡から代表軌跡を算出し、前記代表軌跡をもとに移動体の動きを予測する。図１９に実施の形態３による処理のフローチャートを示す。ステップＳ１０１からＳ１０６までは、実施の形態１と同様であるため説明を省略する。

次に、ステップＳ１５０１では、動き予測部１４０１は、ステップＳ１０５及びＳ１０６で行った領域分割結果を用いて、以下のようにクラスタの代表点及びその代表軌跡を求める。

ここで、領域θ_mに属する画素の移動軌跡をｘ^Cmと表現することとする。次の式３６のように、クラスタ領域θ_mごとに代表の移動軌跡を求める。ここでは、代表の移動軌跡として、平均移動軌跡を算出する例について説明するが、下記の計算に対して画素の移動軌跡ｘ^Cmごとに重み付け等を行ってもよいし、画像上でのクラスタの重心に対応する画素の移動軌跡を代表の移動軌跡としてもよい。

ここで、Ｃ_mは、領域θ_mに属する画素数もしくは画素の移動軌跡の数である。

図２０に上記式３６に基づいてクラスタ領域θ_mごとに代表の移動軌跡を求める例を示す。ただし、見やすさを考慮して、頭部に対応するクラスタ領域θ₁と脚部に対応するクラスタ領域θ₈に関する代表の移動軌跡のみを示している。図中の×は、それぞれ時刻ｔに対応するｘ^m-の要素であり画素位置を示している。さらに、上記式３や上記式４に示したように、非線形空間上でのクラスタリングによる領域分割は、画素動きの類似性を考慮して行われるため、単純に近接した画素の移動軌跡の時間平均を求めるような方法と比較して、動きが類似した画素の移動軌跡のみを用いて算出できるため、より高精度に代表の移動軌跡を求めることができる。このように、クラスタ領域ごとに代表の移動軌跡を求めることによって、部位ごとの動きを正確かつ簡便に表現することができる。

次に、ステップＳ１５０２では、動き予測部１４０１は、ステップＳ１５０１にて算出した代表の移動軌跡から、時刻Ｔより先の時刻における移動体の位置を予測する。初めに、代表の移動軌跡から加速度を算出し、Ｔ＋１以降の移動体の位置を予測する例について説明する。３枚以上の時系列画像が入力された場合は、次の式３７のように代表の移動軌跡ｘ^m-ごとに加速度ベクトルｓ^mを得ることができる。

ここで、ｕ^m _tは動きベクトルであり、次の式３８のように表すことができる。

上記式３７の加速度ベクトルを用いて、図２０にて破線の矢印及び○で示したように、移動体の部位ごとに、時刻Ｔ＋t'における移動体の部位位置ｐｏｓ_m（Ｔ＋t'）を以下の式３９のように予測することができる。ここでは、移動体の部位を例として挙げたが、図１５（ａ）及び（ｂ）に示した検出例から、移動体ごとの位置を予測することも可能である。

そして、出力部１０５にて、ステップＳ１５０２で予測した移動体の位置や移動体部位の位置を出力する。これにより、加速度を加味した予測が可能である。動きが急激に早くなったり、急激に止まったりといった場合に、その加速度を反映して移動体の位置を予測することができるといった効果がある。また、動きベクトルの代わりにアフィンパラメータを用いてもかまわない。アフィンパラメータは、回転運動を含む動きの表現が可能であり、腕あるいは足の回旋運動の表現に適しているため、特に関節物体の位置をより正確に予測することができる。

さらに、前述した動きベクトルと加速度の代わりに、代表の移動軌跡ｘ^mに対して直接Ｎ次関数をフィッティングすることも可能である。Ｔ枚の時系列に並んだ画像を入力とした場合、ｘ^m-に含まれるＴ個の画像上での位置情報に対してＮ次の関数でフィッティングすることができる。これにより、フィッティングした関数の値に沿うように、時刻（Ｔ＋ｔ'）における画像上での位置ｐｏｓ_m（Ｔ＋t'）を推定することが可能である。具体的には、関数でフィッティングすることによって、より滑らかな動きを表現することが可能となるため、より高精度な予測が可能となる。特には、フィッティングした関数に沿った予測が可能であるため、フィッティングした関数が本来の動きが近い場合に動き予測の精度が高い。もちろん、これらの画像上での位置予測は、時間的内挿にも利用可能である。

以上のように、本実施の形態によれば、動きが類似した画素の移動軌跡を同一のクラスタとして算出できるため、高精度に代表の移動軌跡を求めることができる。特に関節物体等に対して部位ごとの動きを表現することが可能であり、前処理として人物候補領域を設定することなく、高精度に移動体の部位位置を予測することが可能であるという効果がある。

以上、本発明に係る移動体検出方法及び移動体検出装置について、実施の形態及びその変形例に基づいて説明したが、本発明は、これらの実施の形態及び変形例に限定されるものではない。当業者が思いつく各種変形を、本発明の趣旨を逸脱しない範囲で各実施の形態に施して実現される形態も本発明に含まれる。

また、これまでに説明した全ての実施の形態及び全ての変形例における特徴的な構成要素を任意に組合せて実現される形態も本発明に含まれる。

（測地距離変換の補足）
最後に、測地距離変換を用いた領域分割によって分割される画像上の領域の性質について説明する。ここでは、一例として、実施の形態２で説明した方法を用いた場合に、領域分割可能な移動体の性質について補足する。図２１（ａ）〜（ｃ）に実施の形態２の方法を用いた場合に分離可能な図形の一例を示す。実施の形態２の方法を用いることで、それぞれ図形θ₁とθ₂とに領域分割することが可能である。ここでは、図２１（ａ）〜（ｃ）に示したそれぞれの図形θ₁とθ₂の移動方向は、同一であっても、異なっていてもかまわない。ただし、図形θ₁に属する画素はすべて同じ動きであり、かつ図形θ₂に属する画素はすべて同じ動きであることが条件である。

実施の形態２におけるステップＳ６０１では、図５に示したような特徴を持つ測地距離変換を行う。これによって、通常のユークリッド距離とは異なり、移動軌跡から移動軌跡を辿（たど）った距離を算出することができるという特徴がある。そのため、図２１（ａ）から（ｃ）に共通するように湾曲した形状に対して、その形状に沿った距離を算出することができる。

さらに、ステップＳ６０２では、測地距離が無限大となる移動軌跡と移動軌跡の間を不連続点としてクラスタリングを行う。このため、移動軌跡と移動軌跡の間に閾値以上の距離がある場合には、その不連続点をもとに、それぞれθ₁とθ₂とを領域分割することが可能である。

以上のように、測地距離変換を伴う領域分割を用いれば、湾曲した形状を含む移動体でかつ一定の不連続点がある場合に、不連続点をもとに領域を分割することが可能である。

一方で、ステップＳ６０１の処理を行わない場合には、θ₁に属する移動軌跡とθ₂に属する移動軌跡との距離がユークリッド距離で算出されるため、図５で説明した場合と同様に、点iと点jの距離は、点iと点ｋの距離より大きくなる。すなわち、同一クラスに属している点間の距離が別クラスに属している点間の距離よりも大きくなる。さらに、ステップＳ６０２の処理にて、測地距離変換を行わないとデータを辿（たど）る処理を行わないために、隣接する移動軌跡と移動軌跡の間が不連続か連続かを判断することができない。そのため、図２１（ａ）〜（ｃ）に示すような例では、湾曲した形状を含む移動体でかつ一定の不連続点がある場合に、不連続点をもとに領域を分割することは難しい。

よって、本発明に係る移動体検出方法及び装置では、このような測地距離を用いたクラスタリングにより、直線的な距離であるユークリッド距離を用いたクラスタリングに比べ、移動軌跡間の類似性に関する連続性を考慮したクラスタリングが行われ、入り組んだ複雑な関係の領域どうしであっても、同一の物体（又は部位）に属するか別個の物体（又は部位）に属するかが確実に弁別される。

本発明は、動画像中の移動体の全部又は一部を検出する装置、つまり、複数枚の画像における１個以上の画素からなるブロックの動きに基づいて、形状が変化しながら移動する人物等の移動体を含む画像を領域分割することによって画像中の移動体を検出する移動体検出装置として、例えば、運動解析装置、監視装置、ビデオカメラあるいはＴＶ等のＡＶ機器に内蔵させる移動体検出装置等として利用することが可能である。

１００、１００ａ〜１００ｄ 移動体検出装置
１０１ 画像入力部
１０２ 動き解析部
１０３ 距離算出部
１０４、１０４ａ 領域分割部
１０５、１０５ａ、１０５ｂ 出力部
５０１ 領域分割候補生成部
５０２ 領域分割候補選択部
１００１ 画像表示部
１２０１ 記録・送信部
１４０１ 動き予測部

Claims (21)

1. 動画像中の移動体の全部又は一部の領域を分割することによって動画像中の移動体を検出する方法であって、
   動画像を構成する複数枚のピクチャを受け付ける画像入力ステップと、
   前記ピクチャを構成する１個以上の画素からなるブロックごとに、時間的に隣接する２枚のピクチャ間での画像の動きを検出し、検出した動きを前記複数枚のピクチャについて連結することで、移動軌跡を算出する動き解析ステップと、
   前記動き解析ステップで算出された複数の移動軌跡について、移動軌跡間の類似性を表す距離を算出する距離算出ステップと、
   前記距離算出ステップで算出された距離のうち、予め定められた閾値よりも小さい距離を連結することで、前記距離算出ステップで算出された距離を測地距離に変換し、得られた測地距離の分布における不連続点を検出し、検出した不連続点よりも小さい測地距離だけ離れた移動軌跡を一つのクラスタとすることによって前記領域分割をする領域分割ステップと、
   前記領域分割ステップで領域分割された結果を出力する出力ステップと
   を含む移動体検出方法。
2. 前記領域分割ステップでは、前記距離から前記測地距離への変換において、第１の移動軌跡と第２の移動軌跡との間の距離を測地距離に変換する場合には、前記距離算出ステップで算出された距離のうち、前記予め定められた閾値よりも小さい距離だけ離れた移動軌跡をたどりながら前記第１の移動軌跡から前記第２の移動軌跡に至る経路の距離を、測地距離として算出する
   請求項１記載の移動体検出方法。
3. 前記領域分割ステップでは、前記距離算出ステップで算出された距離を測地距離に変換するときに、前記複数の移動軌跡の分布における密集度が大きいほど小さい測地距離となるような重み付けをしたうえで、前記変換をする
   請求項１記載の移動体検出方法。
4. 前記領域分割ステップは、前記領域分割に用いられる閾値を複数生成し、生成した複数の閾値のそれぞれについて、前記距離算出ステップで算出された距離のうち、当該閾値よりも小さい距離を連結することで、前記距離算出ステップで算出された距離を前記測地距離に変換し、得られた複数の測地距離の分布における不連続点を検出し、検出した不連続点よりも小さい測地距離だけ離れた移動軌跡を一つのクラスタとすることによって前記領域分割をし、その領域分割の結果を領域分割候補として生成する領域分割候補生成ステップと、
   クラス数についての指示を取得し、所得したクラス数と同じもしくは最も近い個数の領域に分割された領域分割候補を前記領域分割候補生成ステップで生成された複数の領域分割候補から選択し、選択した領域分割候補を前記領域分割の結果として出力する領域分割候補選択ステップを含む
   請求項１記載の移動体検出方法。
5. 前記領域分割候補生成ステップでは、前記距離算出ステップで算出された複数の距離における最大値と最小値との間の複数の値を、前記閾値として、生成する
   請求項４記載の移動体検出方法。
6. 前記領域分割候補生成ステップでは、前記距離算出ステップで算出された複数の距離について、閾値を大きい値から小さい値の順に並べた場合における最初の不連続点を検出し、検出した不連続点よりも小さい複数の値を、前記複数の閾値として、生成する
   請求項４記載の移動体検出方法。
7. 前記領域分割候補生成ステップでは、前記距離算出ステップで算出された複数の距離について不連続点の検出を行い、閾値の大小に基づいて階層的に前記領域分割をする
   請求項４記載の移動体検出方法。
8. 前記領域分割候補生成ステップでは、前記距離算出ステップで算出された複数の距離について、閾値を大きい値から不連続点の検出を行い、分割されたクラスタに対して、それぞれ、より小さな閾値を用いて不連続点の検出を行い、階層的に前記領域分割をする
   請求項７記載の移動体検出方法。
9. 前記領域分割候補生成ステップでは、前記距離算出ステップで算出された複数の距離の平均値又は中央値を中心に増加及び減少させて得られる複数の値を、前記複数の閾値として、生成する
   請求項４記載の移動体検出方法。
10. 前記領域分割候補生成ステップでは、前記動き解析ステップで算出された複数の移動軌跡のそれぞれについて、当該移動軌跡との距離がＮ番目に小さい距離を特定し、特定した複数の距離について大きい順から選択した複数の値を、前記複数の閾値として、生成する
    請求項４記載の移動体検出方法。
11. 前記領域分割ステップでは、前記動き解析ステップで算出された複数の移動軌跡のそれぞれについて、前記距離が小さい順に予め定められた個数の移動軌跡を選択し、選択されなかった移動軌跡との距離を無限大に変更する非線形化をした後に、前記複数の距離のそれぞれを測地距離に変換する
    請求項１記載の移動体検出方法。
12. 前記領域分割ステップでは、前記動き解析ステップで算出された複数の移動軌跡のそれぞれについて、前記距離が予め定められた閾値以下の移動軌跡を選択し、選択されなかった移動軌跡との距離を無限大に変更する非線形化をした後に、前記複数の距離のそれぞれを測地距離に変換する
    請求項１記載の移動体検出方法。
13. 前記動き解析ステップでは、前記動きの検出として、前記動きを示す２次元動きベクトル又はアフィンパラメータを算出する
    請求項１記載の移動体検出方法。
14. 前記距離算出ステップでは、前記距離の算出として、前記ブロックの移動軌跡間の類似性に加えて、前記ピクチャでの前記ブロック間の距離及び前記ブロックどうしを接続する直線の傾斜を示す角度の少なくとも１つを算出する
    請求項１記載の移動体検出方法。
15. 前記出力ステップは、前記領域分割ステップで得られた領域分割の結果を、前記画像入力ステップで受け付けたピクチャに重ねて表示する表示ステップを含む
    請求項１記載の移動体検出方法。
16. 前記画像入力ステップでは、２つ以上の移動体が含まれる動画像を受け付け、
    前記領域分割ステップでは、前記２以上の移動体について前記領域分割をすることで、２以上の移動体を検出する
    請求項１記載の移動体検出方法。
17. 前記移動体検出方法はさらに、前記領域分割ステップで特定された領域を構成するブロックの移動軌跡から、当該領域を代表する移動軌跡を算出し、算出した代表の移動軌跡に従って当該領域が移動すると予測することで、前記移動体の動きを予測する動き予測ステップを含む
    請求項１記載の移動体検出方法。
18. 前記出力ステップは、前記領域分割ステップでの領域分割の結果に基づいて、前記画像入力ステップで受け付けたピクチャにおける領域を特定し、特定した領域ごとに、対応する領域分割の結果を、記憶手段に記録する、又は、送信する記録・送信ステップを含む
    請求項１記載の移動体検出方法。
19. 動画像中の移動体の全部又は一部の領域を分割することによって動画像中の移動体を検出する移動体検出装置であって、
    動画像を構成する複数枚のピクチャを受け付ける画像入力部と、
    前記ピクチャを構成する１個以上の画素からなるブロックごとに、時間的に隣接する２枚のピクチャ間での画像の動きを検出し、検出した動きを前記複数枚のピクチャについて連結することで、移動軌跡を算出する動き解析部と、
    前記動き解析部で算出された複数の移動軌跡について、移動軌跡間の類似性を表す距離を算出する距離算出部と、
    前記距離算出部で算出された距離のうち、予め定められた閾値よりも小さい距離を連結することで、前記距離算出部で算出された距離を測地距離に変換し、得られた測地距離の分布における不連続点を検出し、検出した不連続点よりも小さい測地距離だけ離れた移動軌跡を一つのクラスタとすることによって前記領域分割をする領域分割部と、
    前記領域分割部で領域分割された結果を出力する出力部と
    を備える移動体検出装置。
20. 動画像中の移動体の全部又は一部の領域を分割することによって動画像中の移動体を検出する移動体検出装置のためのプログラムであって、
    請求項１記載の移動体検出方法に含まれるステップをコンピュータに実行させるプログラム。
21. 動画像を構成する複数枚のピクチャを受け付ける画像入力ステップと、
    前記ピクチャを構成する１個以上の画素からなるブロックごとに、時間的に隣接する２枚のピクチャ間での画像の動きを検出し、検出した動きを前記複数枚のピクチャについて連結することで、移動軌跡を算出する動き解析ステップと、
    前記動き解析ステップで算出された複数の移動軌跡について、移動軌跡間の類似性を表す距離を算出する距離算出ステップと、
    前記距離算出ステップで算出された距離が小さい順に移動軌跡のペアを同一クラスタとして統合する処理をクラスタ数が規定の数になるまで繰り返すことによって、距離が一定以上離れた不連続点をクラスタの境界として前記領域分割をする領域分割ステップと、
    前記領域分割ステップでの領域分割の結果を出力する出力ステップと
    を含む移動体検出方法。

Images