JP5102410B2 - 移動体検出装置および移動体検出方法 - Google Patents

Description

本発明は、画像中の移動体の領域を特定することによって移動体を検出する画像処理技術に関し、特に、遮蔽の起きやすい環境下において、動画像中の動き情報に基づいて移動体を検出、抽出する移動体検出装置等に関する。

従来、移動体の像（以下、単に「移動体」という。）が含まれる画像から、画像中の移動体の領域を抽出することによって移動体を検出する領域抽出技術の研究開発が広く行われてきている。移動体の領域を抽出する技術は、デジタルビデオカメラもしくはデジタルスチルカメラにおける焦点制御、画質改善処理、自動車の安全運転支援システム、または、ロボットにおける移動体との衝突回避制御もしくは衝突回避のための警報などに、共通して利用される基礎技術である。

画像中の移動体を検出する技術のうち一般的な手法として、例えば非特許文献１のように、あらかじめ移動体に関する形状情報を学習しておき、画像中をスキャンしながら、学習した形状情報と画像中の領域とのマッチングを行い、マッチング度が高い領域を検出対象物体として抽出する手法がある。

また、非特許文献２から５では、遮蔽の起こりやすい混雑シーンにおいて、移動体を追跡する方法が開示されている。これらの方法は、非特許文献１とは異なり、形状情報は用いずに、動画像から移動軌跡を抽出し、移動軌跡の類似性に基づいて各移動軌跡をクラスタリングすることで、異なる動きをする移動体をそれぞれクラスとして抽出、追跡することができる。特に、形状情報を用いた移動体抽出方法では抽出が難しい遮蔽物体の追跡に対して効果がある。

Ｂ．Ｌｅｉｂｅ， Ｋ．Ｓｃｈｉｎｄｌｅｒ， Ｎ．Ｃｏｒｎｅｌｌｉｓ ａｎｄ Ｌ．Ｖａｎ Ｇｏｏｌ， "Ｃｏｕｐｌｅｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ ｆｒｏｍ Ｓｔａｔｉｃ Ｃａｍｅｒａｓ ａｎｄ Ｍｏｖｉｎｇ Ｖｅｈｉｃｌｅｓ"， ＩＥＥＥ Ｔｒａｎｓ． Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ Ｖｏｌ．３０， Ｎｏ．１０， １６８３−１６９８， ２００８ Ｇ． Ｊ． Ｂｒｏｓｔｏｗ ａｎｄ Ｒ． Ｃｉｐｏｌｌａ， "Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｂａｙｅｓｉａｎ Ｄｅｔｅｃｔｉｏｎ ｏｆ Ｉｎｄｅｐｅｎｄｅｎｔ Ｍｏｔｉｏｎ ｉｎ Ｃｒｏｗｄｓ"， Ｉｎ Ｐｒｏｃ． ｏｆ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２００６ Ｌ． Ｋｒａｔｚ ａｎｄ Ｋ． Ｎｉｓｈｉｎｏ， "Ｔｒａｃｋｉｎｇ ｗｉｔｈ Ｌｏｃａｌ Ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｐａｔｔｅｒｎｓ ｉｎ Ｅｘｔｒｅｍｅｌｙ Ｃｒｏｗｄｅｄ Ｓｃｅｎｅｓ"， Ｉｎ Ｐｒｏｃ． ｏｆ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２０１０ Ｖ． Ｒａｂａｕｄ ａｎｄ Ｓ． Ｂｅｌｏｎｇｉｅ， "Ｃｏｕｎｔｉｎｇ Ｃｒｏｗｄｅｄ Ｍｏｖｉｎｇ Ｏｂｊｅｃｔｓ"， Ｉｎ Ｐｒｏｃ． ｏｆ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２００６ Ｄ． Ｓｕｇｉｍｕｒａ， Ｋ． Ｋｉｔａｎｉ， Ｔ． Ｏｋａｂｅ， Ｙ． Ｓａｔｏ， ａｎｄ Ａ． Ｓｕｇｉｍｏｔｏ， "Ｕｓｉｎｇ Ｉｎｄｉｖｉｄｕａｌｉｔｙ ｔｏ Ｔｒａｃｋ Ｉｎｄｉｖｉｄｕａｌｓ： Ｃｌｕｓｔｅｒｉｎｇ Ｉｎｄｉｖｉｄｕａｌ Ｔｒａｊｅｃｔｏｒｉｅｓ ｉｎ Ｃｒｏｗｄｓ ｕｓｉｎｇ Ｌｏｃａｌ Ａｐｐｅａｒａｎｃｅ ａｎｄ Ｆｒｅｑｕｅｎｃｙ Ｔｒａｉｔ"， Ｉｎ Ｐｒｏｃ． ｏｆ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ２００９

しかしながら、上述した特許文献１に記載の手法によると、特に混雑環境下等の遮蔽が起こりやすいシーンにおいては、移動体の形状情報の一部しか見えない場合が起こり、前記マッチング度が低くなることが原因で検出対象物体を検出できないといった問題がある。

また、上述した非特許文献２から５に代表される混雑下での移動体追跡の技術は、領域抽出ではなく移動体の追跡に主眼が置かれているため、長期間移動体の一部が遮蔽されないシーンを前提としている。すなわち、各移動体の一部が遮蔽されずに追跡可能である場合において利用可能な手法である。そのため、高い位置に設置されたカメラから俯瞰的に撮影したシーン等に限定されるといった問題がある。

そこで本発明は、カメラの撮影位置限定の課題と誤検出の課題とを解決し、遮蔽の起こりやすい環境下においても適切に移動体を検出、抽出可能な移動体検出装置および移動体検出方法を提供することを目的とする。

上記目的を達成するために、本発明の一態様に係る移動体検出装置は、動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出する移動体検出装置であって、動画像を構成する少なくとも３枚のピクチャからなる複数枚のピクチャを受け付ける画像入力部と、前記複数枚のピクチャから、少なくとも２枚のピクチャから構成される画像サブセットを複数抜き出し、画像サブセットごとに当該画像サブセットに含まれるピクチャ間で、ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である移動軌跡を複数算出する移動軌跡算出部と、画像サブセットごとに、当該画像サブセットに含まれる前記移動軌跡算出部で算出された複数の移動軌跡をサブクラスに分類するサブクラス分類部と、任意の２つのサブクラスの間で、同一の移動軌跡を共有している程度を示す移動軌跡の共有割合を算出し、前記共有割合に基づいて、サブクラス間の類似度を計算するサブクラス間類似度計算部と、前記サブクラス間類似度計算部が計算したサブクラス間の類似度がより高いサブクラスの集まりほど、より同一のクラスに分類されるように、サブクラスをクラスに分類することにより、同一のクラスに含まれる移動軌跡に対応するブロック同士を移動体の領域として特定することによって動画像中の移動体を検出する移動体検出部とを備える。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、またはコンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、およびコンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明により、カメラの撮影位置限定の課題と誤検出の課題とを解決し、遮蔽の起こりやすい環境下においても適切に移動体を検出、抽出することができる。

図１Ａは、本発明が解決する課題の一例を示す図である。 図１Ｂは、本発明が解決する課題の一例を示す図である。 図２は、本発明の実施の形態１における移動体検出装置の基本構成を示す図である。 図３は、本発明の実施の形態１における移動体検出装置をソフトウェアで実現する場合における、ソフトウェアを実行するハードウェアの構成図である。 図４は、本発明の実施の形態１における移動体検出装置の基本動作を示すフローチャートである。 図５Ａは、本発明の実施の形態１における画像サブセットへの分割方法の処理例を示す図である。 図５Ｂは、本発明の実施の形態１における移動軌跡算出部の処理例を示す図である。 図６は、本発明の実施の形態１におけるサブクラスラベル付与部の処理例を示す図である。 図７Ａは、本発明の実施の形態１における移動軌跡の共有割合の算出例を示す図である。 図７Ｂは、本発明の実施の形態１における移動軌跡の共有割合の算出例を示す図である。 図８Ａは、本発明の実施の形態１におけるラベル伝播部および移動体検出部の処理例を示す図である。 図８Ｂは、本発明の実施の形態１におけるラベル伝播部および移動体検出部の処理例を示す図である。 図８Ｃは、本発明の実施の形態１におけるラベル伝播部および移動体検出部の処理例を示す図である。 図９は、人物歩行における歩調についての説明図である。 図１０は、本発明の実施の形態２における移動体検出装置の基本構成を示す図である。 図１１は、本発明の実施の形態２における移動体検出装置の基本動作を示すフローチャートである。 図１２は、本発明の実施の形態２におけるサブクラスラベル付与部の処理例を示す図である。 図１３は、本発明の実施の形態３における移動体検出装置の構成を示す図である。 図１４は、本発明の実施の形態３における移動体検出装置の基本動作を示すフローチャートである。 図１５は、本発明の実施の形態３における測地距離の効果の一例を示す図である。 図１６は、本発明の実施の形態３におけるサブクラスラベル付与部の処理例を示す図である。 図１７は、本発明の実施の形態３におけるサブクラスラベル付与部の処理例を示す図である。 図１８は、本発明の実施の形態４における移動体検出装置の基本構成を示す図である。 図１９は、本発明の実施の形態４における移動体検出装置の基本動作を示すフローチャートである。 図２０は、本発明の実施の形態４における移動軌跡リカバリ部の処理例を示す図である。 図２１は、本発明の実施の形態１から４の第１変形例における移動体検出装置の基本構成を示す図である。 図２２は、本発明の実施の形態１から４の第１変形例における記録・送信データの一例を示す図である。 図２３は、本発明の実施の形態１から４の第２変形例における移動体検出装置の構成例を示す図である。 図２４は、本発明の実施の形態１から４の第２変形例における移動体検出装置の基本動作を示すフローチャートである。 図２５は、本発明の実施の形態１から４の第２変形例における動き予測の一例を示す図である。

（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、先行技術文献に関し、以下の問題が生じることを見出した。

車載カメラや可搬型のカメラの多くは、比較的低い場所からの撮影に用いられることが多い。特に、低い位置から混雑したシーンを撮影する場合においては、高い位置から俯瞰的に撮影したシーンと比べて、手前に存在する移動体によって奥の移動体が遮蔽されやすい。そのため、図１Ａおよび図１Ｂに示すように、ガードレールまたは他の物体等による遮蔽が起きやすい環境下においては、長時間移動体を追跡することが難しいという問題が生じることを見出した。この問題に対して、短時間の動き情報をもとに前記移動体追跡の技術を適用すると、図１Ａおよび図１Ｂに示すような例において誤検出が発生することが課題となることを見出した。例えば、一時的にガードレールまたは人等によって移動体の一部が遮蔽された場合においては、検出結果ａ−１、ａ−２および検出結果ｂ−１、ｂ−２のように移動体の頭部と脚部が別々の移動体として抽出され、本来一つの移動体が二つの移動体として検出される誤検出が問題となることを見出した。例えば、図１Ａでは、長い時間にわたって移動軌跡を求めると、遮蔽が起こった時刻以降の時刻では移動軌跡が途切れてしまう。このため、人物の腰部、脚部、頭部などで遮蔽が順次起こると、結果として移動軌跡が求められないという問題が生じることを見出した。つまり、長い時間にわたって移動軌跡を求めると密な移動軌跡を求めることができないという問題が生じることを見出した。

このような問題を解決するために、本発明の一態様に係る移動体検出装置は、動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出する移動体検出装置であって、動画像を構成する少なくとも３枚のピクチャからなる複数枚のピクチャを受け付ける画像入力部と、前記複数枚のピクチャから、少なくとも２枚のピクチャから構成される画像サブセットを複数抜き出し、画像サブセットごとに当該画像サブセットに含まれるピクチャ間で、ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である移動軌跡を複数算出する移動軌跡算出部と、画像サブセットごとに、当該画像サブセットに含まれる前記移動軌跡算出部で算出された複数の移動軌跡をサブクラスに分類するサブクラス分類部と、任意の２つのサブクラスの間で、同一の移動軌跡を共有している程度を示す移動軌跡の共有割合を算出し、前記共有割合に基づいて、サブクラス間の類似度を計算するサブクラス間類似度計算部と、前記サブクラス間類似度計算部が計算したサブクラス間の類似度がより高いサブクラスの集まりほど、より同一のクラスに分類されるように、サブクラスをクラスに分類することにより、同一のクラスに含まれる移動軌跡に対応するブロック同士を移動体の領域として特定することによって動画像中の移動体を検出する移動体検出部とを備える。

この構成によると、画像サブセットごとに移動軌跡を算出している。このように短い時間間隔で移動軌跡を算出することで、画像サブセット内では密な移動軌跡を算出することができる。このような密な移動軌跡をサブクラスに分類し、共有割合に基づいてサブクラス間の類似度を計算することにより、遮蔽が起こったとしても適切に移動体を検出することができる。例えば、第１の画像サブセットにおいて第１のサブクラスに分類されていた移動軌跡が遮蔽の影響により次の時刻の第２の画像サブセットにおいて第２のサブクラスおよび第３のサブクラスに分離した場合であっても、第１のサブクラスと第２のサブクラスとの間の共有割合および第１のサブクラスと第３のサブクラスとの間の共有割合はともに高くなる。このため、共有割合に基づいて計算されたサブクラス間の類似度を用いてサブクラスのクラス分類を行うと、第１〜第３のサブクラスには同一のクラスに分類され、同一の移動体として検出される。よって、カメラの撮影位置限定の課題と誤検出の課題とを解決し、遮蔽の起こりやすい環境下においても適切に移動体を検出、抽出することができる。

例えば、前記サブクラス分類部は、画像サブセットごとに、当該画像サブセットに含まれる前記移動軌跡算出部で算出された複数の移動軌跡をサブクラスに分類し、各移動軌跡に当該移動軌跡が分類されたサブクラスの識別子であるサブクラスラベルを付与するサブクラスラベル付与部を含み、前記サブクラス間類似度計算部は、すべてのサブクラスの中から任意に選択される第１及び第２のサブクラスの間で、同一のブロックの動きを示す移動軌跡を共有している程度を示す移動軌跡の共有割合を算出し、前記共有割合がより高いほど前記第１及び第２のサブクラスに同一のサブクラスラベルをより再付与することで、サブクラスラベルをサブクラス間で伝播するラベル伝播部を含み、前記移動体検出部は、同一のサブクラスラベルが付与されたサブクラスの集まりを同一のクラスに分類することにより、同一のクラスに含まれる移動軌跡に対応するブロック同士を移動体の領域として特定することによって動画像中の移動体を検出しても良い。

この構成によると、画像サブセットごとに移動軌跡を算出している。このように短い時間間隔で移動軌跡を算出することで、画像サブセット内では密な移動軌跡を算出することができる。このような密な移動軌跡をサブクラスに分類し、共有割合に基づいてサブクラスラベルをサブクラスラベル間で伝播することにより、遮蔽が起こったとしても適切に移動体を検出することができる。例えば、第１の画像サブセットにおいて第１のサブクラスに分類されていた移動軌跡が遮蔽の影響により次の時刻の第２の画像サブセットにおいて第２のサブクラスおよび第３のサブクラスに分離した場合であっても、第１のサブクラスと第２のサブクラスとの間の共有割合および第１のサブクラスと第３のサブクラスとの間の共有割合はともに高くなる。サブクラスラベルの伝播処理を行なうことにより、第１〜第３のサブクラスには同一のサブクラスラベルが再付与され、同一の移動体として検出される。よって、カメラの撮影位置限定の課題と誤検出の課題とを解決し、遮蔽の起こりやすい環境下においても適切に移動体を検出、抽出することができる。

つまり、従来の移動軌跡のクラスタリング法と比較して、時間的に短い移動軌跡をサブクラスに分類し、サブクラス間の時間的な関連の強さを移動軌跡の共有割合として用い、得られたサブクラスラベルを伝播することにより、時間的に関連の強いサブクラスラベルを同一のクラスラベルに更新することによって、時間的にコヒーレンシーを保った領域抽出が可能となる。そのため、一時的に２つに分離された１つの移動体を、１つの移動体として同一のラベルを付与することが可能となり、移動体検出において誤検出を削減できるという効果がある。さらには、時間的に短い移動軌跡を用いるために、遮蔽が頻繁に起こるシーンにおいて、対応点が消滅し移動軌跡が算出できなくなる危険性を減らすことができる。それにより、より高密度に移動体を抽出することが可能になり、検出精度を向上できる。さらに、移動体を検出するだけでなく、移動体を画像中から抽出ことも可能である。

また、前記移動軌跡算出部は、時間的に隣接する画像サブセット間で一部のピクチャが重なるように、前記複数枚のピクチャから、複数の画像サブセットを抜き出し、画像サブセットごとに当該画像サブセットに含まれるピクチャ間で、ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である移動軌跡を複数算出し、前記ラベル伝播部は、前記第１及び第２のサブクラス間で共有するピクチャにおいて同一の位置を通る移動軌跡の前記第１及び第２のサブクラスに含まれる移動軌跡に対する割合がより大きいほど、前記第１及び第２のサブクラスの間の移動軌跡の共有割合がより高いと判断し、前記移動軌跡の共有割合がより高いほど前記第１及び第２のサブクラスに同一のサブクラスラベルをより再付与することで、サブクラスラベルをサブクラス間で伝播するとしても良い。

時間的に隣接する画像サブセット間でピクチャが重なるように画像サブセットを抜き出している。このため、時間的に隣接する画像サブセット間の重なり合い(オーバーラップ)を有するピクチャにおいては、移動軌跡が同じになる。よって、第１及び第２のサブクラス間での共有割合を簡単に算出することができる。

また、前記ラベル伝播部は、さらに、サブクラスに含まれる移動軌跡の数または当該サブクラスに含まれる移動軌跡が構成する空間的な大きさに対応する値であるサブクラスの信頼度がより大きいサブクラスほど前記サブクラスラベル付与部が付与したサブクラスラベルと同一のサブクラスラベルをより再付与することで、サブクラスラベルをサブクラス間で伝播するとしても良い。

サブクラスの信頼度を用いることにより、より高精度に時間的にコヒーレンシーを有する領域分割を行うことができる。このため、移動体を正しく領域抽出し、これによって画像中の移動体を確実に検出することが可能である。

また、上述の移動体検出装置は、さらに、前記移動軌跡算出部で算出された移動軌跡のうち、画像サブセットを構成するピクチャの枚数よりも少ないピクチャの枚数でしか算出することができなかった移動軌跡を保持する保持部と、前記保持部に保持されている移動軌跡を、当該移動軌跡に連続する他の移動軌跡が属するクラスと同一のクラスに分類する移動軌跡リカバリ部とを備え、前記移動体検出部は、さらに、前記移動軌跡リカバリ部により分類された移動軌跡を含めて同一のクラスに含まれる移動軌跡に対応するブロック同士を移動体の領域として特定することによって動画像中の移動体を検出するとしても良い。

サブクラスの生成時に用いなかった移動軌跡を、その移動軌跡に連続する他の移動軌跡が属するクラスに分類することにより、より高密度に移動体を抽出することが可能になる。

また、前記サブクラスラベル付与部は、画像サブセットごとに、当該画像サブセットに含まれる前記移動軌跡算出部で算出された複数の移動軌跡のうち類似する移動軌跡を同一のサブクラスに分類することにより、前記複数の移動軌跡をサブクラスに分類し、各移動軌跡に当該移動軌跡が分類されたサブクラスの識別子であるサブクラスラベルを付与するとしても良い。具体的には、前記サブクラスラベル付与部は、画像サブセットごとに、当該画像サブセットに含まれる前記移動軌跡算出部で算出された複数の移動軌跡のうち最も類似する移動軌跡の組み合わせを同一のサブクラスに分類する処理を、規定回数または前記複数の移動軌跡が規定のサブクラス数に分類されるまで繰り返し実行することによって、前記複数の移動軌跡をサブクラスに分類し、各移動軌跡に当該移動軌跡が分類されたサブクラスの識別子であるサブクラスラベルを付与するとしても良い。

これにより、類似する移動軌跡を同一のサブクラスに分類することが可能になる。

また、前記サブクラスラベル付与部は、（ａ）前記移動軌跡算出部で算出された複数の移動軌跡について、移動軌跡間の類似性を表す距離を算出し、（ｂ）算出された距離のうち、予め定められた閾値よりも小さい距離を連結することで、前記算出された距離を測地距離に変換し、（ｃ）画像サブセットごとに、当該画像サブセットに含まれる前記移動軌跡算出部で算出された複数の移動軌跡のうち、任意の２つの移動軌跡について、それ以外の移動軌跡を中継点として前記２つの移動軌跡の一方から他方にたどりつく経路の距離である測地距離を算出し、得られた測地距離の分布における不連続点を検出し、検出した不連続点よりも小さい測地距離だけ離れた移動軌跡を一つのクラスタとすることによって同一のサブクラスに分類する処理を行うことによって、前記複数の移動軌跡をサブクラスに分類し、各移動軌跡に当該移動軌跡が分類されたサブクラスの識別子であるサブクラスラベルを付与するとしても良い。

このように移動軌跡間の類似性を表すために移動軌跡間の測地距離を用いることによって、人物等の関節物体に対して、より正確に移動体を検出、抽出することが可能となる。

さらに、サブクラスの生成方法に関して、別の好ましい形態は、前記サブクラスラベル付与部は、画像サブセットごとに、当該画像サブセットに含まれる少なくとも一枚の画像から、エッジ、色、輝度の少なくとも一つを用いて、画像を複数の領域に分割しサブクラスを生成し、分割した領域を通る移動軌跡に対して、それぞれサブクラスラベルを付与するとしたものである。

このようにエッジ、輝度、色等の画像の空間的な情報を用いて移動軌跡をサブクラスに分類することも可能である。

また、上述の移動体検出装置は、さらに、前記画像入力部において受け付けられた前記複数枚のピクチャのうちの少なくとも１枚のピクチャに対して、前記移動体検出部で同一のクラスに分類された移動体領域ごとに、他の移動体領域と異なる表示態様となるように画像処理を施し、画像処理が施されたピクチャを出力する出力部を備えるとしても良い。

ＡＶ（Ａｕｄｉｏ／Ｖｉｓｕａｌ）機器、画像監視装置等において、抽出した移動体をそれぞれ画像上に表示することができる。このため、ユーザーが移動体を認識しやすくなる。

また、上述の移動体検出装置は、さらに、前記移動体検出部による移動体の検出結果を、記録装置に書き込む、または、伝送路を介して外部に送信する記録・送信部を備えるとしても良い。

例えば、各移動体画像の中から必要な移動体画像のみを選択して保存したり、外部に出力したりすることによって、図形要素として効率的な保存及び出力が可能になる。そのため、携帯電話等、処理能力の限られた機器に、移動体画像を保存及び送信する場合に有効に作用する。

また、上述の移動体検出装置は、さらに、前記移動体検出部により特定されたクラスを構成する移動軌跡のうち、当該クラスを代表する代表移動軌跡を算出し、算出した前記代表移動軌跡に従って、当該クラスに対応する移動体の領域が、ピクチャ間で移動すると予測することにより、前記移動体の動きを予測する動き予測部を備えるとしても良い。

複数のブロックの移動軌跡を代表する軌跡を用いて移動体の動きを予測することにより、ノイズ耐性の高い動き予測が可能となる。

また、前記サブクラス間類似度計算部は、サブクラス間の移動軌跡の共有割合を要素とする行列Ｗに、サブクラス間の類似度を要素とする行列Ｚを繰返し掛け合わせることにより、サブクラス間の類似度を要素とする行列Ｚを更新することで、サブクラス間の類似度を計算しても良い。

サブクラス間の類似度の計算を行列間の掛け算で行うことができるため、高速にサブクラス間の類似度を計算することができる。

また、前記サブクラス間類似度計算部は、さらに、更新後の行列Ｚに、サブクラスに含まれる移動軌跡の数または当該サブクラスに含まれる移動軌跡が構成する空間的な大きさに対応する値であるサブクラスの信頼度を要素とする行列Ｙを重み付け加算することで、サブクラス間の類似度を計算しても良い。

サブクラスの信頼度を加味してサブクラス間の類似度を計算することにより、サブクラス間の類似度の信頼性を高めることができる。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
以下、本発明の実施の形態について、図面を用いて説明する。

図２は、実施の形態１における移動体検出装置の構成を示す図である。図２に示されるように、この移動体検出装置２００は、画像入力部２０１、移動軌跡算出部２０２、サブクラス分類部２１３、サブクラス間類似度計算部２１４Ａ、移動体検出部２０４Ｂおよび出力部２０５を備える。

この移動体検出装置２００は、移動軌跡を用いて、動画像中の移動体の全部又は一部の領域を特定するクラス分類をすることによって動画像中の移動体を検出する装置である。つまり、移動体検出装置２００は、動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出する装置である。

画像入力部２０１は、動画像を構成する時間的に異なる複数枚のピクチャの入力を受け付ける処理部であり、例えば、ビデオカメラ、あるいは、ビデオカメラと接続された通信インターフェース等である。つまり、画像入力部２０１は、動画像を構成する少なくとも３枚のピクチャからなる複数枚のピクチャを受け付ける。以下、ピクチャのことを画像ともいう。

移動軌跡算出部２０２は、画像入力部２０１で受け付けた少なくとも３枚のピクチャを、複数の画像サブセットに分割する。ここで、画像サブセットは、少なくとも２枚のピクチャからなるものとする。そして、移動軌跡算出部２０２は、画像サブセットごとに移動軌跡を算出する。移動軌跡算出部２０２は、ピクチャを構成する１個以上の画素からなるブロックごとに、少なくとも２枚のピクチャ間での画像の動きを検出し、検出した動きを複数枚のピクチャについて連結することで、移動軌跡を算出する。つまり、ブロックとは、移動軌跡を算出する単位であり、１個以上の画素の集まりである。つまり、移動軌跡算出部２０２は、複数枚のピクチャから、少なくとも２枚のピクチャから構成される画像サブセットを複数抜き出し、画像サブセットごとに当該画像サブセットに含まれるピクチャ間で、ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である移動軌跡を複数算出する。

サブクラス分類部２１３は、画像サブセットごとに、当該画像サブセットに含まれる前記移動軌跡算出部で算出された複数の移動軌跡をサブクラスに分類する。サブクラス分類部２１３は、サブクラスラベル付与部２０３を含む。サブクラスラベル付与部２０３は、画像サブセットごとに、当該画像サブセットに含まれる移動軌跡算出部２０２で算出された複数の移動軌跡をサブクラスに分類し、各移動軌跡に当該移動軌跡が分類されたサブクラスの識別子であるサブクラスラベルを付与する。

サブクラス間類似度計算部２１４Ａは、任意の２つのサブクラスの間で、同一の移動軌跡を共有している程度を示す移動軌跡の共有割合を算出し、前記共有割合に基づいて、サブクラス間の類似度を計算する。サブクラス間類似度計算部２１４Ａは、ラベル伝播部２０４Ａを含む。ラベル伝播部２０４Ａは、すべてのサブクラスの中から任意に選択される第１及び第２のサブクラスの間で、同一の移動軌跡（同一のブロックの動きを示す移動軌跡）を共有している程度を示す移動軌跡の共有割合を算出し、算出した共有割合がより高いほど前記第１及び第２のサブクラスに同一のサブクラスラベルをより再付与することで、サブクラスラベルをサブクラス間で伝播する。つまり、ラベル伝播部２０４Ａは、任意のサブクラスペアにおけるサブクラスペアの類似度（時間的な関連の強さ）として、移動軌跡の共有割合を用いて、サブクラスのラベル情報をサブクラス間で伝播する。なお、移動軌跡の共有割合とは、サブクラス間で同一の移動軌跡を保持している率であり、詳細は後述する。ここで、サブクラスのラベル情報を伝播した結果から、サブクラスのラベル情報を更新する。つまり、同一のサブクラスラベルが付されたサブクラス同士は、サブクラス間の類似度が高いことを示している。

移動体検出部２０４Ｂは、サブクラス間類似度計算部２１４Ａが計算したサブクラス間の類似度がより高いサブクラスの集まりほど、より同一のクラスに分類されるように、サブクラスをクラスに分類することにより、同一のクラスに含まれる移動軌跡に対応するブロック同士を移動体の領域として特定することによって動画像中の移動体を検出する。

類似度が高い２つのサブクラスには同一のサブクラスラベルが付与されている。このため、移動体検出部２０４Ｂは、同一のサブクラスラベルが付与されたサブクラスの集まりを同一のクラスに分類することにより、同一のクラスに含まれる移動軌跡に対応するブロック同士を移動体の領域として特定することによって動画像中の移動体を検出する。

つまり、移動体検出部２０４Ｂは、ラベル情報の更新により、同一のサブクラスラベルが付与されたサブクラスは同一のクラスであると判定する。このように、移動体検出部２０４Ｂは、各画像サブセットから得られたサブクラスが同一のクラスであるかを判定することで、時間的にコヒーレンシーを有するクラスタリングを行うことができる。これにより、同一のクラスと判定されたサブクラスに属する移動軌跡には、同じクラスラベルが付与される。その結果、一つのクラスが一つの移動体に対応するため、各移動軌跡をクラスに分類することができれば、移動体の領域を特定することになり、移動体を検出できる。ここでは、クラスは、少なくとも１つからなるサブクラスの集まりであり、同一のクラスに属するサブクラスは、同一の移動体に対応する。

出力部２０５は、移動体検出部２０４Ｂで行った動画像中の移動体の検出結果を出力する。具体的には、出力部２０５は、画像入力部２０１において受け付けられた複数枚のピクチャのうちの少なくとも１枚のピクチャに対して、移動体検出部２０４Ｂで同一のクラスに分類された移動体領域ごとに、他の移動体領域と異なる表示態様となるように画像処理を施し、画像処理が施されたピクチャを出力する。なお、出力部２０５は、画像処理が施されたピクチャをディスプレイ装置等に出力する。

なお、本明細書において、「領域」とは、ある特定の対象物が存在する画像領域を抽出する検出技術と、対象物の区別なく物体ごとに画像領域（移動軌跡）を分類するクラス分類技術の両者を含んでいる。なお、検出技術とクラス分類技術とは、共通する部分が多いため、本明細書においては両者を区別しない。

なお、上記した移動体検出装置２００を構成する各構成要素（画像入力部２０１、移動軌跡算出部２０２、サブクラスラベル付与部２０３、ラベル伝播部２０４Ａ、移動体検出部２０４Ｂ、出力部２０５）は、コンピュータ上で実行されるプログラム等のソフトウェアで実現されてもよいし、電子回路または集積回路等のハードウェアで実現されてもよい。図３は、ソフトウェアによって実現された本実施の形態における移動体検出装置のハードウェア構成を示す図である。図３において、カメラ３０１は、画像を撮影して出力する。コンピュータ３０２は、カメラ３０１から画像を取得して移動体検出処理を行って、移動体検出結果を表示する画像を生成する。ディスプレイ３０３は、コンピュータ３０２で生成された画像を取得して表示する。コンピュータ３０２は、Ｉ／Ｆ３０４、ＣＰＵ３０５、ＲＯＭ３０６、ＲＡＭ３０７、ＨＤＤ３０８およびビデオカード３０９を含む。コンピュータ３０２を動作させるプログラムは、ＲＯＭ３０６またはＨＤＤ３０８にあらかじめ保持されている。プログラムは、プロセッサであるＣＰＵ３０５によって、ＲＯＭ３０６またはＨＤＤ３０８からＲＡＭ３０７に読み出されて展開される。ＣＰＵ３０５は、ＲＡＭ３０７に展開されたプログラム中のコード化された各命令を実行する。Ｉ／Ｆ３０４は、プログラムの実行に応じて、カメラ３０１で撮影された画像を、ＲＡＭ３０７へ取り込む。ビデオカード３０９は、プログラムの実行に応じて生成された画像を出力し、ディスプレイ３０３がその画像を表示する。

なお、コンピュータプログラムは、半導体であるＲＯＭ３０６またはＨＤＤ３０８に限られず、例えば光ディスクに格納されていてもよい。また、有線や無線のネットワーク、放送などを介して伝送され、コンピュータのＲＡＭ３０７に取り込まれてもよい。

以下、本実施の形態の移動体検出装置２００の動作を、図４を用いて説明する。

図４は、本実施の形態の移動体検出装置２００の動作を表すフローチャートである。

図４において、ステップＳ４０１〜Ｓ４０３は、それぞれ図２の画像入力部２０１、移動軌跡算出部２０２およびサブクラスラベル付与部２０３に対応している。また、ステップＳ４０４は、図２のラベル伝播部２０４Ａおよび移動体検出部２０４Ｂに対応している。さらに、ステップＳ４０５は、図２の出力部２０５に対応している。すなわち、画像入力部２０１では画像入力ステップＳ４０１、移動軌跡算出部２０２では移動軌跡算出ステップＳ４０２、サブクラスラベル付与部２０３ではサブクラスラベル付与ステップＳ４０３、ラベル伝播部２０４Ａおよび移動体検出部２０４Ｂではラベル伝播・更新ステップＳ４０４、出力部２０５では画像出力ステップＳ４０５の各動作を実行する。

画像入力ステップＳ４０１において、画像入力部２０１は、カメラ３０１から、動画像を構成する複数のピクチャを取得する。ここではＴ（Ｔ≧３）枚のピクチャが入力されたものとする。

次に、移動軌跡算出ステップＳ４０２において、移動軌跡算出部２０２は、画像入力部２０１で受け付けたＴ枚のピクチャを、Ｆ（Ｆ≧２）枚からなるピクチャを１つの画像サブセットとして時系列的にＤ個の画像サブセットに分割する。ただし、Ｔ＞Ｆである。ここで、移動軌跡算出部２０２は、図５Ａに示すように、同一時刻のピクチャがオーバーラップするようにピクチャを画像サブセット５０２に分割することが望ましい。そして、移動軌跡算出部２０２は、画像サブセットごとに移動軌跡を算出する。ここでは、図５Ｂに示すように、移動軌跡算出部２０２は、各画像サブセット５０２に含まれる複数のピクチャ間の動き情報５０３を算出し、移動軌跡を生成して出力する。複数のピクチャ間の動きを算出する手法として、複数のピクチャのうちのある１つのピクチャ上のＩ点の画素ｉ５０４を基準に、他の（Ｆ−１）枚のピクチャ中の対応する画素を探索する。なお、Ｉ点の画素の代わりに、Ｉ個の小矩形領域（ブロック）を基準にしても良い。例えば、移動軌跡算出部２０２は、時刻ｔと時刻（ｔ＋１）に撮影されたピクチャを用いて、時刻ｔのピクチャ上の画素ｉの画素座標（ｘ_ｉｔ，ｙ_ｉｔ）（ｉ＝１…Ｉ）に対応する、時刻（ｔ＋１）のピクチャ上の画素座標（ｘ_ｉｔ＋１，ｙ_ｉｔ＋１）を推定する。ピクチャが３枚以上ある場合は、順次対応する座標を求めていくことで、各画像サブセットのＦ枚のピクチャのＩ点の対応点が算出される。

上記した複数のピクチャ間の対応点を算出する具体的な手法は、非特許文献６または非特許文献７などに詳しく記載されているため、ここでは詳細な説明を省略する。

なお、本実施の形態においてＴは３以上、Ｆは２以上であればよい。また、画像サブセットは、図５Ａの例のように、必ずしも同一時刻のピクチャがオーバーラップするようにＴ枚のピクチャを分割する必要はなく、時刻（ｔ＋１）から時刻（ｔ＋Ｆ）までのピクチャを１つの画像サブセットとし、時刻（ｔ＋Ｆ＋ｎ）から時刻（ｔ＋２Ｆ−１＋ｎ）を１つの画像サブセットとするなどのように、ピクチャをオーバーラップさせずに分割しても構わない。このように、画像サブセット間で同一時刻のピクチャをオーバーラップしないように分割した場合には、移動軌跡算出部２０２は、画像サブセット間の画像である時刻（ｔ＋Ｆ）と時刻（ｔ＋Ｆ＋ｎ）との画像間で、ブロック間のマッチングを行うことにより、２枚の画像間の対応点を算出しておく。

Ｐ．Ａｎａｎｄａｎ，"Ａ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｆｒａｍｅｗｏｒｋ ａｎｄ ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ Ｍｅａｓｕｒｅｍｅｎｔ ｏｆ Ｖｉｓｕａｌ Ｍｏｔｉｏｎ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｖｏｌ．２， ｐｐ．２８３−３１０，１９８９

Ｖｌａｄｉｍｉｒ Ｋｏｌｍｏｇｏｒｏｖ ａｎｄ Ｒａｍｉｎ Ｚａｂｉｈ， "Ｃｏｍｐｕｔｉｎｇ Ｖｉｓｕａｌ Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ ｗｉｔｈ Ｏｃｃｌｕｓｉｏｎｓ ｖｉａ Ｇｒａｐｈ Ｃｕｔｓ"， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２００１

そして、この移動軌跡算出ステップＳ４０２では、移動軌跡算出部２０２は、各画像サブセットについて、Ｉ点の画素のＦ枚のピクチャにわたる動き情報である、対応点の画素座標の組から、画素ごとに対応する移動軌跡を、下記式１のようにＩ本生成する。

以下、１つの画像サブセットについて移動軌跡を算出する例について説明する。

ここで、Ｆは画像サブセットに含まれるピクチャの枚数、すなわち移動軌跡の算出に用いたピクチャの枚数である。

図５Ｂは、ひとつの画像サブセットにおける移動軌跡ｘ^ｉの例を示す図である。移動軌跡ｘ^ｉは、時刻ｔから時刻（ｔ＋Ｆ−１）の入力画像５０１において、画素ｉ５０４から、他のピクチャ上の画素ｉ５０４に対応する画素への動き情報５０３から算出した、画素座標の集まりからなるベクトルである。このように、画像サブセットごとに移動軌跡を求めることによって、Ｔ枚のピクチャを画像サブセットに分割せずに移動軌跡を算出する場合と比較して、より短い時間の移動軌跡を用いることになる。そのため、遮蔽により動きベクトルが正しく求まらずに移動軌跡を算出できなくなる危険性を減らすことができるという効果がある。さらに、遮蔽の影響を受けにくいために、長い時刻の移動軌跡を算出する場合と比較して、より多くの移動軌跡を求めることができるという効果もある。

次に、サブクラスラベル付与ステップＳ４０３にて、サブクラスラベル付与部２０３は、各画像サブセットＤについて、式１に示したＩ本の移動軌跡をＳ個のサブクラスに分類する。

サブクラスへの分類は、類似した移動軌跡を同一のサブクラスに分類できれば良いため、様々な方法を用いることができる。例えば、式１に示したＩ本の移動軌跡を入力として、非特許文献８のｐｐ．５２６−５２８に示されるようなｋ−ｍｅａｎｓ法を用い、サブクラス数をＳ個と設定すれば、類似した移動軌跡を同一のサブクラスとして、Ｉ本の移動軌跡をＳ個のサブクラスに分類することができる。

さらには、Ｉ本の移動軌跡を入力として、非特許文献８のｐｐ．５５０−５５５に示すようなデンドログラムをベースとしたクラスタリングアルゴリズムを用いることもできる。ここでは、最も類似度の高い（最も距離が小さい）移動軌跡のペアを順次同一のサブクラスとする処理をサブクラス数がＳ個になるまで繰り返し行うか、もしくは、規定回数行う。なお、ここで、移動軌跡の類似度は、移動軌跡ベクトル間のユークリッド距離を用いても良いし、前記ユークリッド距離に対して、サブクラスに属する移動軌跡の数を用いて正規化を行った距離を用いても良い。

例えば、移動軌跡ペアの類似度（距離）を計算する時に、同一のサブクラスに属する移動軌跡の数を用いて正規化する処理を行えば、図６に示すように均一的なサブクラスが生成されやすい。すなわち、各サブクラスに属する移動軌跡の数のばらつきが小さくなる。なお、上記の距離算出方法に限定するものではなく、移動軌跡ベクトル間の類似性を判定できる距離もしくは類似度であれば良い。なお、これらの場合は、距離が小さいほど、類似度が高いということになる。すなわち、ここでは、類似度が最も大きいか、距離が最も小さい移動軌跡のペアを同一のサブクラスとする処理を行う。

Ｒｉｃｈａｒｄ Ｏ．Ｄｕｄａ， Ｐｅｔｅｒ Ｅ．Ｈａｒｔ ａｎｄ Ｄａｖｉｄ Ｇ Ｓｔｏｒｋ， "Ｐａｔｔｅｒｎ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ"， Ｊｏｈｎ Ｗｉｌｅｙ ＆ Ｓｏｎｓ， Ｉｎｃ．，２００１

上記のようなクラスタリングアルゴリズムを用いた処理により、各画像サブセットＤに属する各移動軌跡ｘは、Ｓ個のサブクラスのうち、式２に示すように、それぞれサブクラスＤ−ｓのいずれかに属することになる。すなわち、各移動軌跡には、サブクラスＤ−ｓのラベル（以下、「サブクラスラベルＤ−ｓ」と言う。）がそれぞれ付与されることになる。

なお、サブクラスへの分類は、検出したい移動体の最小サイズと同じか、それより小さいサイズのサブクラスになるように行っても良い。また、サブクラス数が、あらかじめ想定される移動体数よりも多くなるように設定しても良い。ここで、１つの移動体がサブクラスとして複数に分割されても構わない。そのため、サブクラス数Ｓは、必ずしも画像中に存在する移動体数と同じである必要はなく、移動体数よりも多い値に設定すれば良いため、撮影シーンにおける具体的な移動体数が分からない場合でも厳密な設定を行う必要はない。このとき、各画像サブセットについて独立に処理を行うので、画像サブセット間でサブクラス数Ｓが同一になる必要はないし、画像サブセットに含まれるピクチャの枚数Ｆも画像サブセットごとに異なっていても構わない。

次に、ラベル伝播・更新ステップＳ４０４にて、ラベル伝播部２０４Ａは、前記各画像サブセットＤから得られたサブクラスＤ−ｓに対して、サブクラス間の移動軌跡の共有割合に基づいてサブクラスのラベル情報をサブクラス間で伝播する。そして、ラベル伝播部２０４Ａは、異なる画像サブセットから得られたサブクラスを含めて、任意のサブクラスペアが同一のクラスに属するか否かを判定することで、サブクラスのラベルを更新するか否かを判定し、各移動軌跡にサブクラスラベルを付与する。移動体検出部２０４Ｂは、複数のサブクラスが同一のラベルに更新された場合は、これら複数のサブクラスが同一のクラスに属すると判定する。この結果として、１つのクラスが１つの移動体に対応するため、各移動軌跡をクラスに分類することが移動体の領域を特定することになり、結果として移動体を検出できる。また、これにより時間的に異なる画像サブセットに属するサブクラス間で、移動軌跡の共有割合を用いてラベル伝播を行うことで、移動軌跡の共有割合が高いサブクラス同士を同一のクラスと判定することができる。このため、長い時間の移動軌跡を用いる場合と比べて遮蔽の影響を受けにくく、かつ長い時間の移動軌跡を用いる場合と同様に時間的にコヒーレンシーを有する領域分割を行うことができるという効果がある。

以下、具体的に説明する。式２、図７Ａおよび図７Ｂに示すように、各移動軌跡には各画像サブセットから得られたサブクラスラベルＤ−ｓが付与されている。ここでは、画像サブセットが２つの場合について説明するが、各画像サブセットは独立に処理可能であるため、画像サブセット数は２に限定されるものではなく、２以上であっても同様に処理可能である。また、図７Ａおよび図７Ｂでは見やすさを考慮して、一部の移動軌跡のみを示しているが、本実施の形態では移動軌跡の本数を限定するものではない。

図７Ａは、時刻（ｔ＋１）から時刻（ｔ＋Ｆ）のピクチャから構成される画像サブセット１と、時刻（ｔ＋１）から時刻（ｔ＋２Ｆ−１）のピクチャから構成される画像サブセット２を示している。また、図７Ｂは、図７Ａの画像サブセット１に含まれる時刻（ｔ＋Ｆ）のピクチャと図７Ａの画像サブセット２に含まれる時刻（ｔ＋Ｆ）のピクチャにおいて共有されている移動軌跡を示す。

図７Ａに示すように、サブクラスラベル付与ステップＳ４０３にて画像サブセット１からサブクラス数Ｓが３個、画像サブセット２からサブクラス数Ｓが２個のサブクラスが生成されたとする。図７Ｂに示すように、画像サブセット１と画像サブセット２で同一時刻（ｔ＋Ｆ）の画像を用いた場合、時刻（ｔ＋Ｆ）の画像上で、互いに異なる画像サブセットから算出されたサブクラス間で共有されている移動軌跡の本数を計算することができる。ここで、複数のサブクラス間に同一の移動軌跡が存在する場合、つまり、複数のサブクラス間に同一のブロックの動きを示す移動軌跡が存在する場合に、同一の移動軌跡（同一のブロックの動きを示す移動軌跡）を共有されている移動軌跡と表現する。具体的に説明すると、図７Ｂに示すように、時刻（ｔ＋Ｆ）の画像においては、サブクラス１−１に含まれる移動軌跡の点とサブクラス２−１に含まれる移動軌跡の点とが同一の画素位置となる。このため、同一の画素位置に接続される移動軌跡同士が同一の移動軌跡を示すことになる。サブクラス１−１とサブクラス２−１との対応点は互いに、それぞれ同一の移動軌跡に対応するため、互いに移動軌跡を共有していることになる。また、同様に、サブクラス１−２または１−３とサブクラス２−２とも互いに移動軌跡を共有している。ここで、サブクラスＤａとＤｂの間で共有している移動軌跡の本数をｓｈａｒｅ＿ＤａＤｂとする。ここで、ＤａとＤｂはそれぞれサブクラスラベルに対応する。さらに、各サブクラスに属する移動軌跡の本数をＮ＿Ｄａとすると、サブクラスＤａに対するサブクラスＤｂの移動軌跡の共有割合Ｗ_{Ｄａ，Ｄｂ}を、式３で表すことができる。

ここで、ラベル伝播部２０４Ａは、任意のサブクラスペアについて移動軌跡の共有割合Ｗを計算する。この時、サブクラスラベルＤａとＤｂは、異なる画像サブセットから得られたサブクラスである。また、Ｎ＿Ｄａは、サブクラスＤａに含まれる移動軌跡数である。なお、サブクラスラベル付与ステップＳ４０３におけるサブクラスラベル付与の処理は、各画像サブセットに対して独立に処理を行うが、本ステップにおいては、独立に処理されたサブクラスを用いて、そのサブクラス間の類似関係（時間的な関連の強さ）を移動軌跡の共有割合として表すものである。

図７Ａおよび図７Ｂの例で補足すると、サブクラス１−１に対するサブクラス２−１の移動軌跡の共有割合は、Ｗ_{１−１，２−１}＝３／３となる。また、サブクラス２−１に対するサブクラス１−１の移動軌跡の共有割合は、Ｗ_{２−１，１−１}＝３／３となる。一方、サブクラス２−２に対するサブクラス１−２の移動軌跡の共有割合は、Ｗ_{２−２，１−２}＝３／４となる。また、サブクラス１−２に対するサブクラス２−２の移動軌跡の共有割合は、Ｗ_{１−２，２−２}＝３／３となる。また、サブクラス２−２に対するサブクラス１−３の移動軌跡の共有割合は、Ｗ_{２−２，１−３}＝１／４となる。また、サブクラス１−３に対するサブクラス２−２の移動軌跡の共有割合は、Ｗ_{１−３，２−２}＝１／１となる。ここで、移動軌跡を共有しないサブクラスペアの移動軌跡の共有割合をＷ＝０とする。例えば、Ｗ_{１−１，２−２}＝０である。また、同一画像サブセット内のサブクラスペアについての移動軌跡の共有割合Ｗ＝０とする。例えば、Ｗ_{１−１，１−２}＝０である。さらに、時間的に隣接していない画像サブセット間のサブクラスペアについての移動軌跡の共有割合Ｗ＝０として構わない。また、Ｗの対角成分は、サブクラス自身を表すため、共有割合Ｗ＝１とすることが望ましい。

さらに、移動軌跡の共有割合Ｗは、式４のように非対称行列として表現することができる。しかし、移動軌跡の共有割合Ｗが、対称行列となるようにしてもよい。具体的には、サブクラスＤａに対するサブクラスＤｂの移動軌跡の共有割合Ｗ_{Ｄａ，Ｄｂ}とサブクラスＤｂに対するサブクラスＤａの移動軌跡の共有割合Ｗ_{Ｄｂ，Ｄａ}との平均値を、移動軌跡の共有割合Ｗ_{Ｄａ，Ｄｂ}およびＷ_{Ｄｂ，Ｄａ}の各々として再設定しても良い。また、移動軌跡の共有割合Ｗ_{Ｄａ，Ｄｂ}およびＷ_{Ｄｂ，Ｄａ}のうち大きいほうの値を、移動軌跡の共有割合Ｗ_{Ｄａ，Ｄｂ}およびＷ_{Ｄｂ，Ｄａ}の各々として再設定しても良い。このような再設定を行うことにより移動軌跡の共有割合Ｗを対称行列として表現することができる。

次に、式３にて算出した移動軌跡の共有割合Ｗを用いて、ラベル伝播部２０４Ａは、以下のようにラベル情報を伝播する。ラベル伝播の手法としては、非特許文献９にその方法が開示されているが、独立に計算されたサブクラスから、サブクラス間の類似度を計算する方法については記載が無く、さらに類似度を移動軌跡の共有割合で表した例も無い。

本実施の形態においては、独立に計算されたサブクラスからサブクラス間の類似度を移動軌跡の共有割合で表すことで、以下のようにラベル伝播を行う。つまり、本実施の形態では、サブクラス間の類似度を繰返し計算することにより、ラベル伝播を行う。ここで、サブクラス間の類似度は、後述するサブクラス行列Ｚの要素として示される。

ここで、右辺の第１項がサブクラス間の類似度を用いたラベル伝播を表す。ここでは、移動軌跡の共有割合を用いた（式５）の第１項の繰返し計算が、移動軌跡の共有割合を重みとしたラベル伝播に相当する。また、第２項は、後述するサブクラスの信頼度を表す。サブクラス行列はＺ＝［ｚ_１ ^Ｔ，ｚ_２ ^Ｔ，．.,ｚ_ｐ ^Ｔ．...，ｚ_Γ ^Ｔ］であり、ｚ_ｐ ^Ｔは、サブクラスｐのサブクラスラベルベクトルである。ｚ_ｐ ^Ｔは、サブクラスラベル数Γの要素数を持ち、初期状態（ｌ＝１）においては、各サブクラスに対応する要素のみが１で他の要素は０で表されるベクトルである。例えば、ｚ_１ ^Ｔ＝［１，０，０，…，０］であり、ｚ_２ ^Ｔ＝［０，１，０，…，０］である。つまり、初期状態において、サブクラス行列Ｚは、式６に一例を示す単位行列である。

ｌは繰り返し回数を表す。α≦１であり、サブクラスの信頼度をすべてのサブクラス間で均一とみなすのであれば、α＝１とすれば良いし、サブクラスの信頼度を考慮する場合には、α＝０．９９などとすれば良い。

サブクラスの信頼度行列は、Ｙ＝［ｙ_１ ^Ｔ，ｙ_２ ^Ｔ，・・・,ｙ_ｐ ^Ｔ，・・・,ｙ_Γ ^Ｔ］であり、Ｙは対角行列である。ｙ_ｐ ^Ｔは、サブクラスｐの信頼度ベクトルであり、サブクラスラベルベクトルｚ_ｐ ^Ｔと同様に、サブクラスラベル数の要素数を持ち、各サブクラスラベルに対応する要素のみが０より大きい値をもち、他の要素は０で表されるベクトルである。例えば、ｙ_１ ^Ｔ＝［２，０，０，…，０］であり、ｙ_２ ^Ｔ＝［０，３，０，…，０］である。ｙ_１ ^Ｔにおける「２」がサブクラス１に対する信頼度を示し、ｙ_２ ^Ｔにおける「３」がサブクラス２に対する信頼度を示す。つまり、サブクラスの信頼度行列Ｙは、式７に一例を示す対角行列である。

信頼度は以下のように設定すればよい。例えば、各サブクラスに属する移動軌跡の本数が大きいほど、当該サブクラスの信頼度が大きくなるように信頼度を設定しても良いし、各サブクラスに属する移動軌跡の平均の時間長が大きいほど、当該サブクラスの信頼度が大きくなるように信頼度を設定しても良い。また、各サブクラスに属する移動軌跡が構成する空間的な大きさが大きいほど、当該サブクラスの信頼度が大きくなるように信頼度を設定しても良い。

ラベル伝播部２０４Ａは、式５の計算を規定回数繰り返す処理を行う。なお、このような繰り返し演算処理を非特許文献９において、ラベル伝播処理と呼んでいる。そして、次式によりサブクラスラベルを更新するか否かを決定する。

ここで、式８は、ｐ列ｑ行のサブクラス行列Ｚの各列について、値が最大となる行番号を示している。例えば、サブクラス行列Ｚが式９のようになっているとする。この場合、１列目に着目すると３行目の値が１．５となっており、１列目の中で最大となっている。このため、式８により、１列目に対して値が最大となる行番号として３が求められる。これは、初期状態でサブクラスラベルが１であったサブクラスにサブクラスラベルとして３が再付与されることを示している。

つまり、ラベル伝播部２０４Ａは、式５によって算出したサブクラスラベルベクトルｚの列番号が初期状態のサブクラスラベルを示しており、各列において最大値を有する行番号を新たなサブクラスラベルとしてとして更新する。この処理によって、複数のサブクラスラベルが同一のクラスとなることによって、独立した画像サブセットから算出されたサブクラスも含めて、異なる複数のサブクラスを同一のクラスとして判定することができる。さらに、式５、および式８の処理によって、同一画像サブセットから得られたサブクラス間の関係も自動的に考慮される。そのため、図１Ａおよび図１Ｂに示したような課題に対して、サブクラスａ−１およびａ−２が同一クラス、サブクラスｂ−１およびｂ−２が同一クラスとなり、誤検出を削減できるという効果がある。すなわち、時間的に異なる画像サブセットから算出されたサブクラス同士についても同一クラスに属するか否かを判定することができる。このため、遮蔽によって移動軌跡が算出できなくなる危険性を減らしながら、時間的にコヒーレンシーを保った移動体の検出が可能になる。

具体的な効果を、図８Ａ〜図８Ｃを用いて説明する。図８Ａは、３つの画像サブセットから算出したそれぞれのサブクラスを表す。図８Ａ〜図８Ｃでは、サブクラスのテクスチャの違いが、異なるサブクラスであることを表す。つまり、同一のサブクラスラベルが付されたサブクラスのテクスチャは同一である。次に、式５および式８に示したラベル伝播処理およびラベル更新処理を行うことによって、図８Ｂのように、時間的に異なる画像サブセットから算出したサブクラスを、時間的にコヒーレンシーを保ったクラス（図８Ｂの例では、θ_１θ_２）として、それぞれ１つのクラスとして統合することができる。さらには、図１Ａおよび図１Ｂに示したように１つの移動体が複数のサブクラスに分離する例と同様の例として、図８Ａの左の２つのサブクラスを、ラベル伝播処理により１つのクラス（クラスθ_２）に統合することができる。このように、一つの移動体が複数のサブクラスに分割されたとしても、ラベル伝播・更新ステップＳ４０４によって、誤検出の原因の１つである１つの移動体に属する複数のサブクラスを、１つのクラスとして統合することができる。さらには、図８Ｂに示すように、時間的に隣接していない図中左の画像サブセットから生成されたサブクラスと、図中右の画像サブセットから生成されたサブクラスとの関係についても、式５の繰り返し演算、および式８の処理によって取扱うことができる。すなわち、隣接する画像サブセットから生成されたサブクラス間の移動軌跡の共有割合の情報のみから、時間的に隣接していない画像サブセットが同一のクラスか否かを判定することができる。すなわち、画像サブセットは時間的に隣接する２個に限定されるものではない。画像サブセットが３個以上の場合であっても、隣接していない画像サブセットにおけるサブクラスペアについて、同一クラスであるか否かを判断することが可能である。その結果として、カメラの撮影位置の問題によって起こる遮蔽の問題を解決しながら、１つの移動体が複数に分割される誤検出の課題を解決し、遮蔽の起こりやすい環境下においても適切に移動体を検出、抽出可能となる。さらには、図１Ｂに示すように、遮蔽が頻繁に起こりうる環境下においても、短い時間の画像で構成された画像サブセットを複数用いてサブクラスを生成し、ラベル伝播処理を行うことによって、より高密度に移動体を抽出することが可能であるという効果もある。具体的には、短い時間の画像で構成された画像サブセットを用いることで、遮蔽の影響を削減することができるため、より高密度にサブクラスを生成することが可能になる。そして、サブクラス間のコヒーレンシーをラベル伝播処理によって持たせることが可能になる。一方、長時間の移動軌跡を用いた場合、図１Ｂの白色の移動体（検出結果ｂ−１）のように、頭部のみしか追跡することができず、胴体および脚部などの他の移動軌跡は途中で追跡が不能になる。そのため、高密度に移動体を抽出することが難しい。

Ｆ． Ｗａｎｇ ａｎｄ Ｃ． Ｚｈａｎｇ， "Ｌａｂｅｌ ｐｒｏｐａｇａｔｉｏｎ ｔｈｒｏｕｇｈ ｌｉｎｅａｒ ｎｅｉｇｈｂｏｒｈｏｏｄｓ"， Ｉｎ Ｐｒｏｃ ｏｆ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ， ２００６

なお、異なる画像サブセットから生成したサブクラス間の移動軌跡の共有割合の算出は、必ずしも同一時刻の画像上で行われる必要はなく、図８Ｃに示すように時刻（ｔ＋Ｆ）と時刻（ｔ＋Ｆ＋ｎ）の２枚の画像上で共有されている移動軌跡の本数から計算することもできる。具体的には、時刻（ｔ＋Ｆ）と時刻（ｔ＋Ｆ＋ｎ）との画像間の対応点は移動軌跡算出部２０２により求められている。このため、ラベル伝播部２０４Ａは、その対応点の情報を用いて、時刻（ｔ＋Ｆ）上のサブクラスＤ−ｓに属する移動軌跡の、時刻（ｔ＋Ｆ＋ｎ）上での対応点を求める。ここで、ｎは１以上である。そして、時刻（ｔ＋Ｆ＋ｎ）におけるサブクラスＤ−ｓに属する移動軌跡の数と時刻（ｔ＋Ｆ＋ｎ）におけるサブクラスＤ−ｓに属する前記対応点の数から前述と同様の方法で共有割合を計算することができる。そして、同様に時刻（ｔ＋Ｆ＋ｎ）上のサブクラスＤ−ｓに属する移動軌跡から、移動軌跡算出ステップＳ４０２で算出した動き情報を用いて、時刻（ｔ＋Ｆ）上での対応点を求める。そして、時刻（ｔ＋Ｆ）におけるサブクラスＤ−ｓに属する移動軌跡の数と時刻（ｔ＋Ｆ＋ｎ）におけるサブクラスＤ−ｓに属する前記対応点の数から共有割合を計算することができる。時刻（ｔ＋２Ｆ−１＋ｎ）と時刻（ｔ＋２Ｆ−１＋２ｎ）の場合についても同様である。このように、画像サブセット間において必ずしも同一時刻の画像がオーバーラップしている必要はない。

次に画像出力ステップＳ４０５では、出力部２０５は、ラベル伝播・更新ステップＳ４０４で行った動画像中の移動体の検出結果を出力する。具体的には、画像入力ステップＳ４０１で受け付けた動画像に対して、例えば、ラベル伝播・更新ステップＳ４０４で検出された移動体領域θごとに異なる表示態様となるように、画像処理を施し、画像処理が施された画像をディスプレイ装置等に出力する。これにより、それぞれの移動体を区別しながら、かつ時間的にコヒーレンシーを保った表示を行うことができる。

ここで、移動体を歩行者とした場合の、画像サブセットの画像枚数Ｆの決定方法について説明する。一分間に何歩進めるかを表す歩調は、通常の成人では１１０〜１２０、ゆっくり歩く場合で７０〜８０程度、急いでいる場合で１４０程度である。そのため、一歩にかかる時間は、０．４３〜０．８６秒と考えることができる。一方、図９に示すように、歩行者を横から撮影した場合、一歩進むことによって、片脚が他方の脚に完全に遮蔽されてしまう。このような、関節物体特有の問題に対しては、半歩にかかる時間より少ない時間に対応する画像枚数Ｆを決定する事で、遮蔽の影響を減らす事が可能である。すなわち、早く歩く場合を想定した場合で、０．２２秒より短い時間に対応する画像枚数をＦとすることが望ましく、例えば、３０ｆｐｓ（フレーム／秒）で撮影した場合には、Ｆを６枚以下とすることが望ましい。また、遅く歩く場合は、同様に３０ｆｐｓで撮影すると仮定すると、１２枚以下が望ましい。なお、前述したように画像サブセットの数については、２以上であれば良い。

以上のように、カメラの撮影位置の問題によって起こる遮蔽の問題を解決しながら、１つの移動体が複数に分割される誤検出の課題を解決し、遮蔽の起こりやすい環境下においても適切に移動体を検出、抽出可能となる。

よって、デジタルビデオカメラ等の動画像撮影装置が普及してきた今日において、デジタルカメラの焦点制御や画質改善処理、自動車の安全運転支援システム、ロボットにおける人との衝突回避制御や警報などへの応用技術として、本発明の実用価値は極めて高い。

（実施の形態２）
次に、本発明の実施の形態２における移動体検出装置について説明する。

ここでは、サブクラスラベル付与部２０３によるサブクラスラベル付与処理を、実施の形態１とは異なる方法で行う例について説明する。図１０は、実施の形態２における移動体検出装置２００ａの構成を示す図である。実施の形態２に係る移動体検出装置２００ａは、画像入力部２０１と、移動軌跡算出部２０２と、サブクラスラベル付与部２０３ａと、ラベル伝播部２０４Ａと、移動体検出部２０４Ｂと、出力部２０５とを含む。

このような実施の形態２に係る移動体検出装置２００ａは、実施の形態１に係る移動体検出装置２００とサブクラスラベル付与部２０３ａの構成を除いて、同じ構成であるため、同一構成要素の説明は省略する。

なお、サブクラスラベル付与部２０３ａは、図２に示したサブクラス分類部２１３に含まれるが、本図ではサブクラス分類部２１３の記載を省略する。また、ラベル伝播部２０４Ａは、図２に示したサブクラス間類似度計算部２１４Ａに含まれるが、本図ではサブクラス間類似度計算部２１４Ａの記載を省略する。

サブクラスラベル付与部２０３ａは、画像サブセットごとに、当該画像サブセットに含まれる少なくとも一枚の画像から、エッジ、色、輝度の少なくとも一つを用いて、画像を複数の領域に分割しサブクラスを生成し、分割した領域を通る移動軌跡に対して、それぞれサブクラスラベルを付与する。

つまり、サブクラスラベル付与部２０３ａは、画像サブセットごとに、画像入力部２０１で受け付けた複数枚の画像のうち少なくとも１枚の画像から、輝度、エッジ情報、色などを用いて、類似した画像領域を同一のサブクラスに分類する処理を行う。次に、サブクラスラベル付与部２０３ａは、移動軌跡算出部２０２で算出された移動軌跡に対して、移動軌跡が通る画像領域のサブクラスラベルを付与する。つまり、サブクラスラベル付与部２０３ａは、同一のサブクラスに分類された画像領域を通る移動軌跡に、同一のサブクラスラベルを付すことにより、上記移動軌跡を同一のサブクラスに分類する。実施の形態１と異なるのは、サブクラスへの分類を移動軌跡ではなく、画像の情報から行い、その情報に基づいて、移動軌跡に対してサブクラスラベルを付与する点である。なお、サブクラスラベル付与部２０３ａにおける画像領域のサブクラス分類処理は、移動軌跡に関する情報を用いずに行うことができる。そのため、必ずしも画像領域のサブクラス分類処理は、移動軌跡算出部２０２の処理の後に行う必要はなく、両者を並列に処理してもよいし、画像領域のサブクラス分類処理を移動軌跡算出部２０２の処理より前に行ってもよい。

以下、本実施の形態２の移動体検出装置２００ａの動作を、図１１を用いて説明する。

ステップＳ４０１、Ｓ４０２については、実施の形態１と同様であるため、説明を省略する。

次に、サブクラスラベル付与ステップＳ４０３ａにおいて、サブクラスラベル付与部２０３ａは、画像入力ステップＳ４０１で入力された複数の画像のうち少なくとも１枚の画像を用いて、画像の領域分割を行う。ここでは、画素（輝度）値や色情報、エッジ情報等とその位置情報などを入力として領域分割を行う手法であれば何でもよく、例えば、非特許文献１０の方法を用いることができる。

Ｘ．Ｒｅｎ ａｎｄ Ｊ．Ｍａｌｉｋ， "Ｌｅａｒｎｉｎｇ ａ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｍｏｄｅｌ ｆｏｒ Ｓｅｇｍｅｎｔａｔｉｏｎ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｖｏｌ．１， ｐ．１０−１７，２００３

非特許文献１０の方法では、エッジ情報や空間近傍の画素値のスムーズネスを用いて画像領域を複数の小さな領域に分割する。例えば、対象が人物の場合は、図１２のように、人物を細かく分割したような結果となる。ここでは、各画像サブセットに対して、例えばＦ枚のフレームの画像が入力された時に、その中から１枚の画像を選択して領域分割を行っても良い。ここで、複数の画像のうちの時間的に中間の画像を用いて領域分割を行っても良いし、画像サブセット内で時間的に最初もしくは最後の画像を用いて領域分割を行っても良く、画像の選択に制限を加えるものではない。

他にも、例えば、画素値と画素位置とを並べて３次元ベクトルとし、それを入力として、ｋ−ｍｅａｎｓ法などのクラスタリングアルゴリズムにより画像領域を分割しても良いし、もちろん、上記３次元ベクトルの代わりに、ＲＧＢなどの色情報と画素位置情報とを並べた５次元ベクトルを用いても良い。つまり、空間的に画像を領域分割できる手法であればどのような方法を用いて領域分割を行っても良い。

そして、各画像サブセットについて、分割された領域をサブクラスとして、領域分割を行うために選択した画像の時刻と移動軌跡算出ステップＳ４０２で算出した移動軌跡との関係から、移動軌跡にサブクラスラベルを付与する。

具体的には、サブクラスラベル付与部２０３ａは、図１２に示すように、空間的に領域分割をした各領域をサブクラスと考え、領域分割のために選択した時刻ｔ’の画像において、各移動軌跡がどのサブクラスを通過したかによって、サブクラスラベルを付与する。例えば、移動軌跡１から４は、それぞれ時刻ｔ’において、サブクラスＤ−ａからＤ−ｄをそれぞれ通過する。このため、サブクラスラベル付与部２０３ａは、移動軌跡１から４に、対応するサブクラスラベルＤ−ａからＤ−ｄをそれぞれ付与する。このような処理を該当する移動軌跡に対して行えば、各移動軌跡ｘは、式２に示すように、それぞれサブクラスＤ−ｓのいずれかに属することになる。すなわち、各移動軌跡には、実施の形態１のサブクラスラベル付与ステップＳ４０３での処理と同様に、サブクラスＤ−ｓのラベルがそれぞれ付与されることになる。この処理を、各画像サブセットについて行う。

ラベル伝播・更新ステップＳ４０４以降の処理は、実施の形態１と同じであるため、説明を省略する。

以上のように、実施の形態２によると、移動軌跡から、遮蔽の起こりやすい混雑環境下においても画像中の移動体の検出をすることができる。さらに、実施の形態１と比べて、色や輝度などの情報を明示的に用いることができるため、例えば単一色の服などを着た移動体を検出する場合には、より高精度な移動体の検出が行える。

以上のように、カメラの撮影位置の問題によって起こる遮蔽の問題を解決しながら、１つの移動体が複数に分割される誤検出の課題を解決し、遮蔽の起こりやすい環境下においても適切に移動体を検出、抽出可能となる。

よって、デジタルビデオカメラ等の動画像撮影装置が普及してきた今日において、デジタルカメラの焦点制御や画質改善処理、自動車の安全運転支援システム、ロボットにおける人との衝突回避制御や警報などへの応用技術として、本発明の実用価値は極めて高い。

（実施の形態３）
次に、本発明の実施の形態３における移動体検出装置について説明する。ここでは、サブクラスラベル付与部２０３によるサブクラスラベル付与処理を、実施の形態１および２とは異なる方法で行う例について説明する。図１３は、実施の形態３における移動体検出装置２００ｂの構成を示す図である。実施の形態３における移動体検出装置２００ｂの構成は、画像入力部２０１と、移動軌跡算出部２０２と、サブクラスラベル付与部２０３ｂと、ラベル伝播部２０４Ａと、移動体検出部２０４Ｂと、出力部２０５とを含む。このような実施の形態３に係る移動体検出装置２００ｂは、実施の形態１に係る移動体検出装置２００とサブクラスラベル付与部２０３ｂの構成を除いて、同じ構成であるため、同一構成要素の説明は省略する。

なお、サブクラスラベル付与部２０３ｂは、図２に示したサブクラス分類部２１３に含まれるが、本図ではサブクラス分類部２１３の記載を省略する。また、ラベル伝播部２０４Ａは、図２に示したサブクラス間類似度計算部２１４Ａに含まれるが、本図ではサブクラス間類似度計算部２１４Ａの記載を省略する。

サブクラスラベル付与部２０３ｂは、（ａ）移動軌跡算出部２０２で算出された複数の移動軌跡について、移動軌跡間の類似性を表す距離を算出し、（ｂ）算出された距離のうち、予め定められた閾値よりも小さい距離を連結することで、前記算出された距離を測地距離に変換し、（ｃ）画像サブセットごとに、当該画像サブセットに含まれる移動軌跡算出部２０２で算出された複数の移動軌跡のうち、任意の２つの移動軌跡について、それ以外の移動軌跡を中継点として前記２つの移動軌跡の一方から他方にたどりつく経路の距離である測地距離を算出し、得られた測地距離の分布における不連続点を検出し、検出した不連続点よりも小さい測地距離だけ離れた移動軌跡を一つのクラスタとすることによって同一のサブクラスに分類する処理を行うことによって、前記複数の移動軌跡をサブクラスに分類し、各移動軌跡に当該移動軌跡が分類されたサブクラスの識別子であるサブクラスラベルを付与する。

つまり、サブクラスラベル付与部２０３ｂは、実施の形態１と同様に、移動軌跡算出部２０２で算出した各画像サブセットの移動軌跡に対して、類似した移動軌跡が同じクラスになるようにサブクラスに分類し、各移動軌跡に対して分類した結果であるサブクラスにラベルを付与する。実施の形態１と異なるのは、サブクラスへの分類を行う時に移動軌跡の類似度として、測地距離を用いる点である。

以下、本実施の形態３の移動体検出装置２００ｂの動作を、図１４を用いて説明する。ステップＳ４０１、Ｓ４０２については、実施の形態１と同様であるため、説明を省略する。

次に、サブクラスラベル付与ステップＳ４０３ｂにおいて、サブクラスラベル付与部２０３ｂは、各画像サブセットについて、式２で算出した移動軌跡ｉを用いて画素の動きの類似性を含む距離マトリクスを算出する。移動軌跡ｉと移動軌跡ｊとの線形距離ｆ（ｉ，ｊ）は以下のように算出できる。

ここで、ｗは重み係数であり、設計者が設定するパラメータである。

また、ｐｔｎ_ｉｊ、ｍｔｎ_ｉｊについては以下に示す。

ここで、

式１０に示されるように、式１１に示した移動軌跡間距離の時間平均値に加えて、式１２に示した移動軌跡間距離の時間的ばらつきを前記線形距離ｆ（ｉ，ｊ）の要素とする。特に式１２に示した移動軌跡間距離の時間的ばらつきは、画素の動きの類似性を示すものであり、これによって、画素間のなす距離の関係が時間的に変化しない剛体だけでなく、関節物体等の形状変化を捉えることができる。ただし、ここでは、必ずしも上記の距離計算を行う必要はなく、移動軌跡の類似性を表す距離尺度であれば、どのような距離を用いても良い。

次に、式１０で算出した線形距離ｆ（ｉ，ｊ）に対して閾値Ｒを用いて、その閾値に対して以下のように非線形化処理を行いｆ’（ｉ，ｊ）を算出する。

移動軌跡ｉに着目した時に移動軌跡ｉとの線形距離が小さい順にＲ個の移動軌跡ｊを選択し、選択された移動軌跡ｊとの距離は変更せず、選択されなかった移動軌跡ｊとの距離を無限大に変更する。なお、ここでは、線形距離ｆ（ｉ，ｊ）が小さい順に移動軌跡ｊを選択したが、次式のように閾値Ｒを設定して、非線形化処理を行なっても良い。

つまり、サブクラスラベル付与部２０３ｂは、移動軌跡算出部２０２で算出された画像サブセットごとに、複数の移動軌跡のそれぞれについて、距離が小さい順に予め定められた個数の移動軌跡を選択し、選択されなかった移動軌跡との距離を無限大に変更する非線形化をした後に、複数の距離のそれぞれを測地距離に変換してもよい。または、サブクラスラベル付与部２０３ｂは、式１５に示すように、移動軌跡ｉに着目した時に、移動軌跡算出部２０２で算出された複数の移動軌跡ｊのそれぞれについて、距離が予め定められた閾値Ｒ以下の移動軌跡ｊを選択し、選択されなかった移動軌跡との距離を無限大に変更する非線形化をした後に、複数の距離のそれぞれを測地距離に変換してもよい。

なお、距離の非線形化に関しては、上記の関数に限定されるものではなく、移動軌跡ｉと移動軌跡ｊに関する距離に対して非線形変換を行うものであれば何でもよい。

次に、サブクラスラベル付与部２０３ｂは、非線形化された距離ｆ’（ｉ，ｊ）を用いて、次式のように測地距離を算出する。

なお、ｍｉｎ（ｘ，ｙ）は、値ｘと値ｙのうち小さい方を返す関数である。また、移動軌跡ｓは、移動軌跡ｉから移動軌跡ｊに辿（たど）りつくための中継点である。ここで、ｆ’（ｉ，ｓ）＋ｆ’（ｓ，ｊ）における中継点ｓは１点に限るものではない。この方法は、ダイクストラ法と呼ばれる最短経路探索手法であり、以下の非特許文献１１に記載されている。

Ｅ．Ｗ．Ｄｉｊｋｓｔｒａ，"Ａ ｎｏｔｅ ｏｎ ｔｗｏ ｐｒｏｂｌｅｍｓ ｉｎ ｃｏｎｎｅｘｉｏｎ ｗｉｔｈ ｇｒａｐｈｓ"，Ｎｕｍｅｒｉｓｃｈｅ Ｍａｔｈｅｍａｔｉｋ，ｐｐ．２６９−２７１，１９５９

ここで、式１４から式１６に示した非線形化処理の効果について、図１５（ａ）および図１５（ｂ）を用いて説明する。ここでは、線形距離ｆ（ｉ，ｊ）と測地距離ｇ（ｉ，ｊ）の違いを分かりやすく説明するため、式１１に示すような時刻ｔにおける移動軌跡間距離を例とする。実際には、移動軌跡間距離に加えて、式１２に示したように画素の動きの類似性として移動軌跡間距離の変動成分を用いることにより、関節物体等の形状だけではなく形状変化をも捉えることができる。図１５（ａ）は、式１４から式１６の処理を行わない場合の例である。例えば、頭部の画素ｉ１４０２と手先部の画素ｊ１４０３との距離は、線形距離１４０１に示す距離となる。一方、式１４から式１６のような非線形処理を行うことによって、閾値Ｒが適切に設定されていれば、図１５（ｂ）に示されるように、頭部の画素ｉ１４０２と手先部の画素ｊ１４０３との距離は、画素ｋ１４０４を通って画素ｊにたどり着くまでの矢印で示したような線形和としての距離となる。そのため、線形距離１４０１では人物のような関節物体の関節が繋がった形状をデータとして連続的に表現できないのに対して、測地距離を用いることにより関節が繋がった形状の連続性を表現することが可能となる。なお、測地距離の計算方法は、式１６に限定されるものではない。

次に、閾値Ｒに対応する測地距離変換を行ったｇ（ｉ，ｊ）を用いて、不連続点を検出することによって移動軌跡をサブクラスに分類し、サブクラスラベルを付与する。ここでは、ｇ（ｉ，ｊ）が無限大となる移動軌跡ｉと移動軌跡ｊの間が不連続点である。閾値Ｒに対して得た測地距離変換の結果の例を図１６を用いて説明する。ここで、図１６（ａ）は、ステップＳ４０２で算出した移動軌跡ａ〜ｈを示す図である。図１６（ｂ）は、図１６（ａ）に示した移動軌跡ａ〜ｈからなる高次元空間の概念図である。ここでは、移動軌跡の数を８本としたが、８本に限定されるものではない。実際には、各画素に対応する移動軌跡を用いてもよいし、ブロック単位で求めた移動軌跡を用いてもよい。ここで、移動軌跡からなる高次元空間１５０２の１点が、それぞれ式１に示した一つの移動軌跡に対応する。すなわち、各点が１枚のピクチャ上の領域だけではなく時間的に異なる複数枚のピクチャに渡って画素を追跡した結果である。さらに、高次元空間１５０２上で、点と点との距離は、ベクトル間のユークリッド距離ではなく、式１６に示すような測地距離に対応する。

図１６（ｃ）は、クラスタリング結果を示す図である。ここで、図１６（ｃ）において、式１０に示した移動軌跡ａと移動軌跡ｂとの距離をｆ（ａ，ｂ）とした時に、ｆ（ｅ，ｆ）＞ｆ（ｃ，ｄ）＞ｆ（ｆ，ｇ）＞Ｒ＞ｆ（ｂ，ｃ）である。ここでは、閾値をＲとして設定した場合に、距離ｆ（ｆ，ｇ）は、閾値Ｒよりも大きな値を持つとする。この場合、式１５によって測地距離を求めてもｇ（ｅ，ｆ）、ｇ（ｃ，ｄ）、ｇ（ｆ，ｇ）はそれぞれ無限大となる。よって、サブクラスラベル付与部２０３ｂは、それぞれ、移動軌跡ｃと移動軌跡ｄとの間、移動軌跡ｅと移動軌跡ｆとの間、移動軌跡ｆと移動軌跡ｇとの間が不連続点であると判定する。この結果、移動軌跡ａ、ｂ、ｃは、互いに不連続点を通らずに辿ることができるため、無限大の値はとらず、逆に、例えば、移動軌跡ａ、ｂ、ｃから、他の移動軌跡に対しては、測地距離の不連続点ｇ（ｃ，ｄ）を通るため無限大となる。このように、測地距離が無限大とならない移動軌跡ｉと移動軌跡ｊの組は同じサブクラスとし、無限大となる場合は別のサブクラスとする。そして、測地距離が無限大となる組と無限大にならない組とを整理して、Ｄ−１、Ｄ−２、Ｄ−３、Ｄ−４の合計４つのサブクラスに分離することができる。ここで、閾値Ｒの性質について述べる。閾値Ｒが小さいほど、画像上でより小さな移動体を検出可能となる一方で、誤検出（フォルスポジティブ）が増加するというトレードオフがある。そこで、例えば、監視用途等、移動体検出を行いたい範囲が事前に分かっている場合には、検出したい移動体の最小サイズとその画像上での動きに合わせて閾値Ｒを設定すればよい。また、ここでは、移動体をサブクラスとして細かく分類する例について述べたが、図１７に示すように、複数の移動体をそれぞれ分離するように、閾値Ｒを大きく設定してもよい。例えば、図１７（ａ）のように動画像中に２つの移動体が存在し、複数の移動軌跡が求められている場合には、前記高次元空間は、図１７（ｂ）のようになる。１つの移動体の部位を分割するために設定された閾値Ｒよりも、閾値Ｒを大きく設定することによって、図１７（ｃ）のクラスタリング結果に示すように、異なる移動体間の測地距離ｇ（ｉ，ｊ）が無限大となり、図１７（ｄ）のように２つの移動体をそれぞれ分離する事ができる。

以上の処理によって、測地距離が無限大とならない移動軌跡の組は連続とすることで同じサブクラスと判定することができ、測地距離が無限大となる移動軌跡の組は不連続とすることによって、不連続点をもとに移動軌跡をサブクラスに分離することができる。すなわち、各移動軌跡には、実施の形態１のサブクラスラベル付与ステップＳ４０３での処理と同様に、サブクラスＤ−ｓのラベルがそれぞれ付与されることになる。

ラベル伝播・更新ステップＳ４０４以降の処理は、実施の形態１と同じであるため、説明を省略する。

以上のように、実施の形態３によると、移動軌跡から、遮蔽の起こりやすい混雑環境下においても画像中の移動体の検出をすることができる。なお、本実施の形態では、測地距離に基づいて、類似した移動軌跡を同一のサブクラスに分類するため、図１６の例では、頭部の動きと腕の動きの違い、上腿（じょうたい）と下腿（かたい）との動きの違いが反映され、頭部、腕、上腿、下腿を別々のサブクラスとして分類することができる。その結果を用いて、ラベル伝播・更新により時間的にコヒーレンシーを保ったクラスとして、サブクラスを統合することができる。さらに、本方法は、同様の方法によって、複数人が存在するシーンにおいて、それぞれの移動体を検出することも可能である。

以上のように、カメラの撮影位置の問題によって起こる遮蔽の問題を解決しながら、１つの移動体が複数に分割される誤検出の課題を解決し、遮蔽の起こりやすい環境下においても適切に移動体を検出、抽出可能となる。

よって、デジタルビデオカメラ等の動画像撮影装置が普及してきた今日において、デジタルカメラの焦点制御や画質改善処理、自動車の安全運転支援システム、ロボットにおける人との衝突回避制御や警報などへの応用技術として、本発明の実用価値は極めて高い。

（実施の形態４）
次に、本発明の実施の形態４における移動体検出装置について説明する。

図１８は、実施の形態４における移動体検出装置２００ｃの構成を示す図である。実施の形態４に係る移動体検出装置２００ｃは、画像入力部２０１と、移動軌跡算出部２０２と、サブクラスラベル付与部２０３と、ラベル伝播部２０４Ａと、移動体検出部２０４Ｂと、リカバリ用移動軌跡保持部１７０１と、移動軌跡リカバリ部１７０２と、出力部２０５とを含む。

このような実施の形態４に係る移動体検出装置２００ｃは、実施の形態１から３に係る移動体検出装置とリカバリ用移動軌跡保持部１７０１と移動軌跡リカバリ部１７０２の構成を除いて、同じ構成であるため、同一構成要素の説明は省略する。なお、実施の形態１を基本形態として説明するが、本実施の形態は、実施の形態２および３についても一般性を失うことなく適用可能である。

なお、サブクラスラベル付与部２０３は、図２に示したサブクラス分類部２１３に含まれるが、本図ではサブクラス分類部２１３の記載を省略する。また、ラベル伝播部２０４Ａは、図２に示したサブクラス間類似度計算部２１４Ａに含まれるが、本図ではサブクラス間類似度計算部２１４Ａの記載を省略する。

リカバリ用移動軌跡保持部１７０１は、移動軌跡算出部２０２で算出された移動軌跡のうち、画像サブセットを構成するピクチャの枚数よりも少ないピクチャの枚数でしか算出することができなかった移動軌跡を保持している記憶装置である。

移動軌跡リカバリ部１７０２は、リカバリ用移動軌跡保持部１７０１に保持されている移動軌跡を、当該移動軌跡に連続する他の移動軌跡が属するクラスと同一のクラスに分類する。

なお、移動体検出部２０４Ｂは、実施の形態１に示した処理に加えて、移動軌跡リカバリ部１７０２により分類された移動軌跡を含めて同一のクラスに含まれる移動軌跡に対応するブロック同士を移動体の領域として特定することによって動画像中の移動体を検出する。

つまり、移動軌跡リカバリ部１７０２は、移動体検出部２０４Ｂにおいて、同一のクラスと判定された時間的に隣接する画像サブセット間のサブクラスペアから、移動軌跡算出部２０２において、遮蔽等の影響により動き検出ができずにＦ枚分算出できなかった移動軌跡に対して、前記同一クラスと判定されたサブクラスペアと同一のラベルを付与する。そして、リカバリ用移動軌跡保持部１７０１は、移動軌跡リカバリ部１７０２の処理で用いられるＦ枚分算出できなかった時間的に短い移動軌跡を保持しておく。これにより、移動体検出部２０４Ｂは、より多い数の移動軌跡に対してラベルを付与する事で、移動体をより正確に検出・抽出するものである。通常、移動軌跡の類似度もしくは距離を計算する場合、ベクトルの長さが同一である必要がある。一方、本実施の形態では、移動軌跡のベクトルの要素数が一定値に満たない移動軌跡に対しては、類似度の計算を行わず、代わりに移動体検出部２０４Ｂの処理により得られたクラス情報を用いることでラベル付けする。これにより、より多い本数の移動軌跡を用いて移動体の検出および抽出を行うものである。

以下、本実施の形態４の移動体検出装置２００ｃの動作を、図１９を用いて説明する。ステップＳ４０１、Ｓ４０３、Ｓ４０４については、実施の形態１と同様であるため、説明を省略する。

移動軌跡算出ステップＳ４０２ｃにおいて、実施の形態１から３で説明したように、移動軌跡算出部２０２は、式１に示すような移動軌跡を算出する。ここで、画像サブセットに含まれるＦ枚の画像について、遮蔽等の理由により移動軌跡が算出できない場合がある。このような場合を考慮して、Ｆ枚に満たない移動軌跡については、リカバリ用移動軌跡保持部１７０１にリカバリ用移動軌跡として別途保持しておく。また、実施の形態１から３においては、移動軌跡を時刻（ｔ＋１）から時刻（ｔ＋Ｆ）のように順方向に算出する例について説明したが、ここでは、別途、時刻（ｔ＋Ｆ）から時刻（ｔ＋１）に向かって逆方向に移動軌跡を算出することが望ましい。

次に、移動軌跡リカバリステップＳ１８０１において、移動軌跡リカバリ部１７０２は、ラベル伝播・更新ステップＳ４０４で同一のクラスとして統合された時間的に異なる画像サブセットから算出したサブクラスの情報から、リカバリ用移動軌跡保持部１７０１に保持された前記リカバリ用移動軌跡に対してクラスラベル情報を付与する。なお、移動体検出部２０４Ｂは、移動軌跡リカバリ部１７０２により分類された移動軌跡を含めて同一のクラスに含まれる移動軌跡に対応するブロック同士を移動体の領域として特定することによって動画像中の移動体を検出する。

図２０に、３つの画像サブセットを用いて、リカバリ用移動軌跡にクラスラベル情報を付与する例を示す。ここでは、画像サブセットは２つ以上あればよく、画像サブセットの数を限定するものではない。ラベル伝播・更新ステップＳ４０４により、異なる画像サブセット間のサブクラスが同一のクラスか否かが判定される。図中では、同一のテクスチャを持つクラスが同一のクラスである。ここで、図２０中央の画像サブセットに対して、移動軌跡リカバリ部１７０２は、移動軌跡算出ステップＳ４０２ｃで算出したリカバリ用移動軌跡に新たにクラスラベルを付与する。ここでは、図２０の破線で示した移動軌跡がリカバリ用移動軌跡であり、それに対して、クラスθ_１、クラスθ_２のクラスラベルをそれぞれ付与する。すなわち、当該画像サブセットに対して、一時刻前の画像サブセットで得られた移動軌跡と接続しているリカバリ用移動軌跡に対して、一時刻前の画像サブセットで得られたクラスラベル（図中ではクラスラベルθ_１、θ_２）を付与する。もちろん、クラスラベル数を限定するものではない。例えば、リカバリ用移動軌跡１９０１については、一時刻前の画像サブセットで得られたクラスラベルθ_１のクラスの移動軌跡と接続されている。このため、リカバリ用移動軌跡１９０１にはクラスラベルθ_１が付与される。

同様に、当該画像サブセットに対して、一時刻後の画像サブセットで得られた移動軌跡と接続しているリカバリ用移動軌跡に対して、一時刻後の画像サブセットで得られたクラスラベルを付与する。例えば、リカバリ用移動軌跡１９０２については、一時刻後の画像サブセットで得られたクラスラベルθ_１のクラスの移動軌跡と接続されている。このため、リカバリ用移動軌跡１９０２にはクラスラベルθ_１が付与される。

このように、Ｆ枚に満たない移動軌跡に対してラベル付けを行うことができるのは、時間的に前後の画像サブセットから得られたクラスラベルと当該画像サブセットから得られたクラスラベルとが時間的にコヒーレンシーを保つようにラベル伝播・更新ステップＳ４０４によりラベル付けされているためである。以上のようにして、実施の形態１から３と比較して、より高密度に移動軌跡にラベル付けを行うことができるため、結果として、より正確に移動体を検出、抽出することができる。さらには、移動体をより精度よく抜出すことができるという効果もある。

次に、画像出力ステップＳ４０５ｃでは、出力部２０５は、移動軌跡リカバリステップＳ１８０１で行った動画像中の移動体の検出結果を含めて出力する。具体的には、画像入力ステップＳ４０１で受け付けた動画像に対して、例えば、ラベル伝播・更新ステップＳ４０４と移動軌跡リカバリステップＳ１８０１で検出された移動体領域ごとに異なる表示態様となるように、画像処理を施し、画像処理が施された画像を、ディスプレイ装置等に出力する。これにより、それぞれの移動体を区別しながら、かつ時間的にコヒーレンシーを保った表示を行うことができる。

以上のように、カメラの撮影位置の問題によって起こる遮蔽の問題を解決しながら、１つの移動体が複数に分割される誤検出の課題を解決し、遮蔽の起こりやすい環境下においても適切に移動体を検出、抽出可能となる。さらに、遮蔽の起こりやすい環境下では、長時間の移動軌跡を算出することが難しいため、上記のように短い移動軌跡に対してもラベル付けを行うことで、より高精度な移動体の検出が可能になる。

よって、デジタルビデオカメラ等の動画像撮影装置が普及してきた今日において、デジタルカメラの焦点制御や画質改善処理、自動車の安全運転支援システム、ロボットにおける人との衝突回避制御や警報などへの応用技術として、本発明の実用価値は極めて高い。

（実施の形態１から４の第１変形例）
次に、本発明の実施の形態１から４の第１変形例における移動体検出装置について説明する。ここでは、実施の形態１から４においてクラス判定を行い、移動体を検出した結果をそれぞれ検出した領域ごとに記録・送信する機能を付加した例について説明する。ここでは、実施の形態１における変形例について述べるが、実施の形態２〜４においても同様に適用可能である。このような第１変形例に係る移動体検出装置２００ｅは、図２１に示すように、画像入力部２０１、移動軌跡算出部２０２、サブクラスラベル付与部２０３、ラベル伝播部２０４Ａおよび移動体検出部２０４Ｂに、記録・送信部２００１を付加することによって実現が可能である。

なお、サブクラスラベル付与部２０３は、図２に示したサブクラス分類部２１３に含まれるが、本図ではサブクラス分類部２１３の記載を省略する。また、ラベル伝播部２０４Ａは、図２に示したサブクラス間類似度計算部２１４Ａに含まれるが、本図ではサブクラス間類似度計算部２１４Ａの記載を省略する。

記録・送信部２００１は、移動体検出部２０４Ｂによる移動体の検出結果を、記録装置に書き込む、または、伝送路を介して外部に送信する。つまり、記録・送信部２００１は、移動体検出部２０４Ｂでの移動体検出の結果に基づいて、画像入力部２０１で受け付けたピクチャにおける移動体領域を特定し、特定した移動体領域ごとに移動体領域を示す情報を、メモリやハードディスク等の記録媒体に記録する、又は、通信インターフェース等を介して外部に送信する処理部である。つまり、この記録・送信部２００１は、画像表示の場合と同様に、移動体を検出した結果画像を示す情報をクラスラベルθに応じてそれぞれ別々に記録または送信する。また、各クラスに属する動き情報を以下のように平均化することで、動き情報を圧縮することも可能である。通常であれば画素ごとに動き情報を保持する必要があるが、以下の処理を行えば１つの移動体に対して１つの動きを保持するだけでよい。例えば、動き情報として画素ｉの動きベクトル（ｕ_ｔ ^ｉ，ｖ_ｔ ^ｉ）を用いた場合には、以下のように分割された領域ごとに平均化した動き情報を計算することができる。

ここで、Ｃ_ｍは、クラスθ_ｍに属する移動軌跡の数である。ｕ_ｔ ^Ｃｍ、ｖ_ｔ ^Ｃｍは、それぞれ、クラスθ_ｍに属する画素の動きベクトルのｘ成分およびｙ成分である。図２２に本変形例における処理結果の１つとして、時刻ｔからＴ枚の画像を入力としてクラス分類を行い、その結果を用いて移動体の抽出領域を記録、送信する例を示す。識別子として各クラスラベルθ_ｍと、各クラスラベルθ_ｍに属する時刻ｔにおけるピクチャの画素位置と画素値、そして、各クラスラベルθ_ｍに対応する時刻ｔから時刻（ｔ＋Ｔ）までの動きベクトルｕ_ｔ ^ｍ，ｖ_ｔ ^ｍ，ｕ_ｔ＋１ ^ｍ，ｖ_ｔ＋１ ^ｍ，．．．，ｕ_ｔ＋Ｔ ^ｍ，ｖ_ｔ＋Ｔ ^ｍを記録、送信する。もちろん、画像の画素位置と画素値を用いる代わりに、時刻ｔにおける１枚のピクチャに対して、画素ごとに各クラスラベルを付けて送信してもかまわない。これにより、動き情報をクラス数分送信するだけで済むために、ピクチャをＴ枚送信する場合と比べて、効率よく移動体の検出結果を記録、送信することができるといった効果がある。特には、クラス数が画素数に比べて少なければ少ないほど効率がよい。

（実施の形態１から４の第２変形例）
次に、実施の形態１から４の第２変形例として、移動体を検出した結果から、移動体の動きを予測する機能を付加した移動体検出装置について説明する。ここでは、実施の形態１に沿って説明するが、実施の形態２〜４においても同様に実現可能である。

図２３に示すように、本実施の形態における移動体検出装置２００ｆは、画像入力部２０１、移動軌跡算出部２０２、サブクラスラベル付与部２０３、ラベル伝播部２０４Ａおよび移動体検出部２０４Ｂに、動き予測部２２０１および出力部２２０２を付加することによって移動体の動きを予測する機能を有する。

なお、サブクラスラベル付与部２０３は、図２に示したサブクラス分類部２１３に含まれるが、本図ではサブクラス分類部２１３の記載を省略する。また、ラベル伝播部２０４Ａは、図２に示したサブクラス間類似度計算部２１４Ａに含まれるが、本図ではサブクラス間類似度計算部２１４Ａの記載を省略する。

動き予測部２２０１は、移動体を検出した結果から、各クラスに含まれる画素の移動軌跡から代表移動軌跡を算出し、前記代表移動軌跡をもとに移動体の動きを予測する。つまり、動き予測部２２０１は、移動体検出部２０４Ｂにより特定されたクラスを構成する移動軌跡のうち、当該クラスを代表する代表移動軌跡を算出し、算出した前記代表移動軌跡に従って、当該クラスに対応する移動体の領域が、ピクチャ間で移動すると予測することにより、移動体の動きを予測する。

図２４に本変形例による処理のフローチャートを示す。ステップＳ４０１からＳ４０４までは、実施の形態１と同様であるため説明を省略する。

次に、ステップＳ２３０１では、動き予測部２２０１は、移動体検出部２０４Ｂでの移動体検出の結果に基づいて、各クラスに属する移動軌跡から、各クラスの代表点及びその代表移動軌跡を求める。

ここで、クラスθ_ｍに属する画素の移動軌跡をｘ^Ｃｍと表現することとする。次式のように、クラスθ_ｍごとに代表の移動軌跡を求める。ここでは、代表の移動軌跡として、平均移動軌跡を算出する例について説明するが、下記の計算に対して移動軌跡ｘ^Ｃｍごとに重み付け等を行ってもよいし、画像上でのクラスの重心に対応する画素の移動軌跡を代表の移動軌跡としてもよい。

ここで、Ｃ_ｍは、クラスθ_ｍに属する画素数もしくは画素の移動軌跡の数である。

図２５に、式１９に基づいてクラスθ_ｍごとに代表の移動軌跡を求める例を示す。図２５には、ある移動体に対応するクラスθ_１と他の移動体に対応するクラスθ_２とにそれぞれ関する代表の移動軌跡のみを示している。図中の「×」は、それぞれ時刻ｔに対応する代表移動軌跡

の要素である画素位置を示している。この方法によると、単純に近接した画素の移動軌跡の時間平均を求めるような方法と比較して、動きが類似した画素の移動軌跡のみを用いて代表の移動軌跡を算出することができる。このため、より高精度に代表の移動軌跡を求めることができる。このように、クラスごとに代表の移動軌跡を求めることによって、移動体ごと、もしくは部位ごとの動きを正確かつ簡便に表現することができる。

次に、ステップＳ２３０２では、動き予測部２２０１が、ステップＳ２３０１にて算出した代表の移動軌跡から、時刻Ｔより先の時刻における移動体の位置を予測する。初めに、代表の移動軌跡から加速度を算出し、時刻（Ｔ＋１）以降の移動体の位置を予測する例について説明する。３枚以上の時系列画像が入力された場合は、次式２０のように代表の移動軌跡

ごとに加速度ベクトルｓ^ｍを得ることができる。

ここで、ｕ_ｔ ^ｍは、時刻ｔにおける画素ｍの動きベクトルであり、次式２１のように表すことができる。

式２０の加速度ベクトルを用いて、図２５にて破線の矢印及び「○」で示したように、動き予測部２２０１は、移動体ごとに、時刻（Ｔ＋ｔ’）における移動体の位置ｐｏｓ_ｍ（Ｔ＋ｔ’）を以下の式２２に従って予測することができる。

そして、出力部２２０２は、ステップＳ２３０１で予測した移動体の位置や移動体部位の位置を出力する。これにより、加速度を加味した動き予測が可能となる。動きが急激に早くなったり、急激に止まったりといった場合に、その加速度を反映して移動体の位置を予測することができるといった効果がある。また、動きベクトルの代わりにアフィンパラメータを用いてもかまわない。アフィンパラメータは、回転運動を含む動きの表現が可能であり、腕あるいは足の回旋運動の表現に適しているため、特に関節物体の位置をより正確に予測することができる。

さらに、上述した動きベクトルと加速度の代わりに、代表の移動軌跡ｘ^ｍに対して直接、Ｎ次関数をフィッティングすることも可能である。Ｔ枚の時系列に並んだ画像を入力とした場合、代表の移動軌跡

に含まれるＴ個の画像上での位置情報に対してＮ次関数をフィッティングすることができる。これにより、フィッティングした関数の値に沿うように、時刻（Ｔ＋ｔ’）における画像上での位置ｐｏｓ_ｍ（Ｔ＋ｔ’）を推定することが可能となる。具体的には、関数をフィッティングすることによって、より滑らかな動きを表現することが可能となるため、より高精度な動き予測が可能となる。特には、フィッティングした関数に沿った動き予測が可能であるため、フィッティングした関数が本来の動きに近い場合に動き予測の精度が高い。もちろん、これらの画像上での位置予測は、時間的内挿にも利用可能である。

以上のように、本変形例によれば、動きが類似した画素の移動軌跡を同一のクラスとして算出できるため、高精度に代表の移動軌跡を求めることができる。

以上、本発明に係る移動体検出方法及び移動体検出装置について、実施の形態及びその変形例に基づいて説明したが、本発明は、これらの実施の形態及び変形例に限定されるものではない。当業者が思いつく各種変形を、本発明の趣旨を逸脱しない範囲で各実施の形態に施して実現される形態も本発明に含まれる。

また、各実施の形態における特徴的な構成要素を任意に組合せて実現される形態も本発明に含まれる。

また、上記実施の形態における移動体検出装置は、画像入力部２０１及び移動軌跡算出部２０２を備えているが、本発明は、これらの構成要素を必須とするものではない。つまり、動画像を構成する複数のブロックのそれぞれにおける画像の移動軌跡が予め算出されている場合には、移動体検出装置２００は、外部から、そのような移動軌跡を取得し、取得した移動軌跡に対して、ステップＳ４０３、Ｓ４０４の処理を実行してもよい。

また、上記実施の形態における移動体検出装置は、出力部２０５または２０５ａを備えているが、本発明は、出力部を必須とするものではない。つまり、移動体の検出結果をディスプレイ等に表示せずに、他の処理に利用するものであっても良い。

また、本発明は、移動体検出装置として実現されたが、動画像において動きをもつオブジェクトの領域を抽出、あるいは、分割する画像処理装置として実現することができるのは言うまでもない。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、図３に示したようなＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の移動体検出装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、移動体検出方法に含まれる全てのステップを実行させる。この移動体検出方法は、動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出する移動体検出方法であって、動画像を構成する少なくとも３枚のピクチャからなる複数枚のピクチャを受け付けるステップと、前記複数枚のピクチャから、少なくとも２枚のピクチャから構成される画像サブセットを複数抜き出し、画像サブセットごとに当該画像サブセットに含まれるピクチャ間で、ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である移動軌跡を複数算出するステップと、画像サブセットごとに、当該画像サブセットに含まれる、算出された複数の移動軌跡をサブクラスに分類するステップと、任意の２つのサブクラスの間で、同一の移動軌跡を共有している程度を示す移動軌跡の共有割合を算出し、前記共有割合に基づいて、サブクラス間の類似度を計算するステップと、計算されたサブクラス間の類似度がより高いサブクラスの集まりほど、より同一のクラスに分類されるように、サブクラスをクラスに分類することにより、同一のクラスに含まれる移動軌跡に対応するブロック同士を移動体の領域として特定することによって動画像中の移動体を検出するステップとを含む。

本発明は、複数枚のピクチャにおける動きに基づいて、形状が変化しながら移動する人物等の移動体を含む画像を領域抽出することによって画像中の移動体を検出する移動体検出装置として、例えば、運動解析装置、監視装置、ビデオカメラやＴＶ等のＡＶ機器に内蔵させる移動体検出装置等として利用することが可能である。

２００、２００ａ、２００ｂ、２００ｃ、２００ｅ、２００ｆ 移動体検出装置
２０１ 画像入力部
２０２ 移動軌跡算出部
２０３、２０３ａ、２０３ｂ、２０３ｄ、２０３ｅ、２０３ｆ サブクラスラベル付与部
２０４Ａ ラベル伝播部
２０４Ｂ 移動体検出部
２０５、２２０２ 出力部
２１３ サブクラス分類部
２１４Ａ サブクラス間類似度計算部
３０１ カメラ
３０２ コンピュータ
３０３ ディスプレイ
３０４ Ｉ／Ｆ
３０５ ＣＰＵ
３０６ ＲＯＭ
３０７ ＲＡＭ
３０８ ＨＤＤ
３０９ ビデオカード
５０１ 入力画像
５０２ 画像サブセット
５０３ 動き情報
５０４、１４０２ 画素ｉ
１４０１ 線形距離
１４０３ 画素ｊ
１４０４ 画素ｋ
１５０２ 高次元空間
１７０１ リカバリ用移動軌跡保持部
１７０２ 移動軌跡リカバリ部
１９０１、１９０２ リカバリ用移動軌跡
２００１ 記録・送信部
２２０１ 動き予測部

Claims (16)

1. 動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出する移動体検出装置であって、
   動画像を構成する少なくとも３枚のピクチャからなる複数枚のピクチャを受け付ける画像入力部と、
   前記複数枚のピクチャから、少なくとも２枚のピクチャから構成される画像サブセットを複数抜き出し、画像サブセットごとに当該画像サブセットに含まれるピクチャ間で、ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である移動軌跡を複数算出する移動軌跡算出部と、
   画像サブセットごとに、当該画像サブセットに含まれる前記移動軌跡算出部で算出された複数の移動軌跡をサブクラスに分類するサブクラス分類部と、
   任意の２つのサブクラスの間で、同一の移動軌跡を共有している程度を示す移動軌跡の共有割合を算出し、前記共有割合に基づいて、サブクラス間の類似度を計算するサブクラス間類似度計算部と、
   前記サブクラス間類似度計算部が計算したサブクラス間の類似度がより高いサブクラスの集まりほど、より同一のクラスに分類されるように、サブクラスをクラスに分類することにより、同一のクラスに含まれる移動軌跡に対応するブロック同士を移動体の領域として特定することによって動画像中の移動体を検出する移動体検出部と
   を備える移動体検出装置。
2. 前記サブクラス分類部は、画像サブセットごとに、当該画像サブセットに含まれる前記移動軌跡算出部で算出された複数の移動軌跡をサブクラスに分類し、各移動軌跡に当該移動軌跡が分類されたサブクラスの識別子であるサブクラスラベルを付与するサブクラスラベル付与部を含み、
   前記サブクラス間類似度計算部は、すべてのサブクラスの中から任意に選択される第１及び第２のサブクラスの間で、同一のブロックの動きを示す移動軌跡を共有している程度を示す移動軌跡の共有割合を算出し、前記共有割合がより高いほど前記第１及び第２のサブクラスに同一のサブクラスラベルをより再付与することで、サブクラスラベルをサブクラス間で伝播するラベル伝播部を含み、
   前記移動体検出部は、同一のサブクラスラベルが付与されたサブクラスの集まりを同一のクラスに分類することにより、同一のクラスに含まれる移動軌跡に対応するブロック同士を移動体の領域として特定することによって動画像中の移動体を検出する
   請求項１記載の移動体検出装置。
3. 前記移動軌跡算出部は、時間的に隣接する画像サブセット間で一部のピクチャが重なるように、前記複数枚のピクチャから、複数の画像サブセットを抜き出し、画像サブセットごとに当該画像サブセットに含まれるピクチャ間で、ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である移動軌跡を複数算出し、
   前記ラベル伝播部は、前記第１及び第２のサブクラス間で共有するピクチャにおいて同一の位置を通る移動軌跡の前記第１及び第２のサブクラスに含まれる移動軌跡に対する割合がより大きいほど、前記第１及び第２のサブクラスの間の移動軌跡の共有割合がより高いと判断し、前記移動軌跡の共有割合がより高いほど前記第１及び第２のサブクラスに同一のサブクラスラベルをより再付与することで、サブクラスラベルをサブクラス間で伝播する
   請求項２記載の移動体検出装置。
4. 前記ラベル伝播部は、さらに、サブクラスに含まれる移動軌跡の数または当該サブクラスに含まれる移動軌跡が構成する空間的な大きさに対応する値であるサブクラスの信頼度がより大きいサブクラスほど前記サブクラスラベル付与部が付与したサブクラスラベルと同一のサブクラスラベルをより再付与することで、サブクラスラベルをサブクラス間で伝播する
   請求項２または３記載の移動体検出装置。
5. さらに、前記移動軌跡算出部で算出された移動軌跡のうち、画像サブセットを構成するピクチャの枚数よりも少ないピクチャの枚数でしか算出することができなかった移動軌跡を保持する保持部と、
   前記保持部に保持されている移動軌跡を、当該移動軌跡に連続する他の移動軌跡が属するクラスと同一のクラスに分類する移動軌跡リカバリ部とを備え、
   前記移動体検出部は、さらに、前記移動軌跡リカバリ部により分類された移動軌跡を含めて同一のクラスに含まれる移動軌跡に対応するブロック同士を移動体の領域として特定することによって動画像中の移動体を検出する
   請求項２〜４のいずれか１項に記載の移動体検出装置。
6. 前記サブクラスラベル付与部は、画像サブセットごとに、当該画像サブセットに含まれる前記移動軌跡算出部で算出された複数の移動軌跡のうち類似する移動軌跡を同一のサブクラスに分類することにより、前記複数の移動軌跡をサブクラスに分類し、各移動軌跡に当該移動軌跡が分類されたサブクラスの識別子であるサブクラスラベルを付与する
   請求項２〜５のいずれか１項に記載の移動体検出装置。
7. 前記サブクラスラベル付与部は、画像サブセットごとに、当該画像サブセットに含まれる前記移動軌跡算出部で算出された複数の移動軌跡のうち最も類似する移動軌跡の組み合わせを同一のサブクラスに分類する処理を、規定回数または前記複数の移動軌跡が規定のサブクラス数に分類されるまで繰り返し実行することによって、前記複数の移動軌跡をサブクラスに分類し、各移動軌跡に当該移動軌跡が分類されたサブクラスの識別子であるサブクラスラベルを付与する
   請求項６記載の移動体検出装置。
8. 前記サブクラスラベル付与部は、（ａ）前記移動軌跡算出部で算出された複数の移動軌跡について、移動軌跡間の類似性を表す距離を算出し、（ｂ）算出された距離のうち、予め定められた閾値よりも小さい距離を連結することで、前記算出された距離を測地距離に変換し、（ｃ）画像サブセットごとに、当該画像サブセットに含まれる前記移動軌跡算出部で算出された複数の移動軌跡のうち、任意の２つの移動軌跡について、それ以外の移動軌跡を中継点として前記２つの移動軌跡の一方から他方にたどりつく経路の距離である測地距離を算出し、得られた測地距離の分布における不連続点を検出し、検出した不連続点よりも小さい測地距離だけ離れた移動軌跡を一つのクラスタとすることによって同一のサブクラスに分類する処理を行うことによって、前記複数の移動軌跡をサブクラスに分類し、各移動軌跡に当該移動軌跡が分類されたサブクラスの識別子であるサブクラスラベルを付与する
   請求項６記載の移動体検出装置。
9. 前記サブクラスラベル付与部は、画像サブセットごとに、当該画像サブセットに含まれる少なくとも一枚の画像から、エッジ、色、輝度の少なくとも一つを用いて、画像を複数の領域に分割しサブクラスを生成し、分割した領域を通る移動軌跡に対して、それぞれサブクラスラベルを付与する
   請求項２〜５のいずれか１項に記載の移動体検出装置。
10. さらに、
    前記画像入力部において受け付けられた前記複数枚のピクチャのうちの少なくとも１枚のピクチャに対して、前記移動体検出部で同一のクラスに分類された移動体領域ごとに、他の移動体領域と異なる表示態様となるように画像処理を施し、画像処理が施されたピクチャを出力する出力部を備える
    請求項２〜９のいずれか１項に記載の移動体検出装置。
11. さらに、
    前記移動体検出部による移動体の検出結果を、記録装置に書き込む、または、伝送路を介して外部に送信する記録・送信部を備える
    請求項２〜９のいずれか１項に記載の移動体検出装置。
12. さらに、
    前記移動体検出部により特定されたクラスを構成する移動軌跡のうち、当該クラスを代表する代表移動軌跡を算出し、算出した前記代表移動軌跡に従って、当該クラスに対応する移動体の領域が、ピクチャ間で移動すると予測することにより、前記移動体の動きを予測する動き予測部を備える
    請求項２〜９のいずれか１項に記載の移動体検出装置。
13. 前記サブクラス間類似度計算部は、サブクラス間の移動軌跡の共有割合を要素とする行列Ｗに、サブクラス間の類似度を要素とする行列Ｚを繰返し掛け合わせることにより、サブクラス間の類似度を要素とする行列Ｚを更新することで、サブクラス間の類似度を計算する
    請求項１記載の移動体検出装置。
14. 前記サブクラス間類似度計算部は、さらに、更新後の行列Ｚに、サブクラスに含まれる移動軌跡の数または当該サブクラスに含まれる移動軌跡が構成する空間的な大きさに対応する値であるサブクラスの信頼度を要素とする行列Ｙを重み付け加算することで、サブクラス間の類似度を計算する
    請求項１３記載の移動体検出装置。
15. 動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出する移動体検出方法であって、
    動画像を構成する少なくとも３枚のピクチャからなる複数枚のピクチャを受け付けるステップと、
    前記複数枚のピクチャから、少なくとも２枚のピクチャから構成される画像サブセットを複数抜き出し、画像サブセットごとに当該画像サブセットに含まれるピクチャ間で、ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である移動軌跡を複数算出するステップと、
    画像サブセットごとに、当該画像サブセットに含まれる、算出された複数の移動軌跡をサブクラスに分類するステップと、
    任意の２つのサブクラスの間で、同一の移動軌跡を共有している程度を示す移動軌跡の共有割合を算出し、前記共有割合に基づいて、サブクラス間の類似度を計算するステップと、
    計算されたサブクラス間の類似度がより高いサブクラスの集まりほど、より同一のクラスに分類されるように、サブクラスをクラスに分類することにより、同一のクラスに含まれる移動軌跡に対応するブロック同士を移動体の領域として特定することによって動画像中の移動体を検出するステップと
    を含む移動体検出方法。
16. 請求項１５に記載の移動体検出方法に含まれる全てのステップをコンピュータに実行させるためのプログラム。

Images