JP2000348181A - 移動物体追跡装置 - Google Patents
移動物体追跡装置Info
- Publication number
- JP2000348181A JP2000348181A JP11308187A JP30818799A JP2000348181A JP 2000348181 A JP2000348181 A JP 2000348181A JP 11308187 A JP11308187 A JP 11308187A JP 30818799 A JP30818799 A JP 30818799A JP 2000348181 A JP2000348181 A JP 2000348181A
- Authority
- JP
- Japan
- Prior art keywords
- tracking
- moving object
- observation
- information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 複数の視点で非同期に撮影した画像内の特徴
点に基づき、移動物体を高精度に追跡することが可能な
移動物体追跡装置を提供する。 【解決手段】 カメラ２♯１〜２♯ｎは、それぞれ独立
して画像を取込む。観測部４♯１〜４♯ｎのそれぞれ
は、対応するカメラ２♯１〜２♯２で得られた入力画像
に対し特徴抽出処理を行なう。得られた特徴量は、追跡
部８から送られてくる予測観測位置をもとに各追跡目標
と対応付けられた後、追跡部８に送信される。対応がと
れなかった特徴量は、発見部６に送られる。発見部６で
は、未対応点情報を用いて新規人物の検出を行なう。新
規人物の検出結果は、追跡部８に送信される。追跡部８
では、カルマンフィルタを用いることにより、各人物情
報が更新される。
点に基づき、移動物体を高精度に追跡することが可能な
移動物体追跡装置を提供する。 【解決手段】 カメラ２♯１〜２♯ｎは、それぞれ独立
して画像を取込む。観測部４♯１〜４♯ｎのそれぞれ
は、対応するカメラ２♯１〜２♯２で得られた入力画像
に対し特徴抽出処理を行なう。得られた特徴量は、追跡
部８から送られてくる予測観測位置をもとに各追跡目標
と対応付けられた後、追跡部８に送信される。対応がと
れなかった特徴量は、発見部６に送られる。発見部６で
は、未対応点情報を用いて新規人物の検出を行なう。新
規人物の検出結果は、追跡部８に送信される。追跡部８
では、カルマンフィルタを用いることにより、各人物情
報が更新される。
Description
【０００１】
【発明の属する技術分野】本発明は、移動物体追跡装置
に関し、さらに詳しくは、非同期で得られる多視点画像
により移動物体を追跡する移動物体追跡装置に関する。
に関し、さらに詳しくは、非同期で得られる多視点画像
により移動物体を追跡する移動物体追跡装置に関する。
【０００２】
【従来の技術】異なる視点で得られる複数の画像からシ
ーン内の奥行き情報を得るステレオ計測は、画像からの
３次元情報の復元を主要な課題の１つとするコンピュー
タビジョン研究において重要な位置を占めている。
ーン内の奥行き情報を得るステレオ計測は、画像からの
３次元情報の復元を主要な課題の１つとするコンピュー
タビジョン研究において重要な位置を占めている。
【０００３】ステレオ計測において特に重要となるのが
画像間の対応付けであり、誤った対応付けを少なくする
ために特徴量を適切に選択したり（Marr D. And Poggio
T.A theory of human stereo vision. In Roy. Soc. L
ondon, pp. ３０１−３２８．１９７９）、より多くの
視点を有効に利用する手法（Ramakant Nevatia. Depth
measurement by motion stereo. Computer Graphics an
d Image Processing vol. 5, pp.２０３−２１４，１９
７６）が開発されてきた。これらは主に、静的なシーン
を対象としたものであり、この場合のステレオ法の持つ
誤差については既に多くの報告がある（Jeffrey J. Rod
riguez and J. K. Aggarwal. Stochastic Analysis of
stereo quantization error. IEEE Pattern Anal. Mach
ine Intell., Vol.１２, No.５，pp.４６７−４７０，
５ １９９２）。
画像間の対応付けであり、誤った対応付けを少なくする
ために特徴量を適切に選択したり（Marr D. And Poggio
T.A theory of human stereo vision. In Roy. Soc. L
ondon, pp. ３０１−３２８．１９７９）、より多くの
視点を有効に利用する手法（Ramakant Nevatia. Depth
measurement by motion stereo. Computer Graphics an
d Image Processing vol. 5, pp.２０３−２１４，１９
７６）が開発されてきた。これらは主に、静的なシーン
を対象としたものであり、この場合のステレオ法の持つ
誤差については既に多くの報告がある（Jeffrey J. Rod
riguez and J. K. Aggarwal. Stochastic Analysis of
stereo quantization error. IEEE Pattern Anal. Mach
ine Intell., Vol.１２, No.５，pp.４６７−４７０，
５ １９９２）。
【０００４】動きを持つシーンを対象とした研究では、
ステレオ観測に基づくロボットのナビゲーション（Larr
y Matthies and Steven A. Shafer. Error Modeling in
stereo navigation. IEEE Rebotics and Automation,
vol. RA-３, No.３, pp.２３９−２４８, １９８７）、
１台のカメラによる既知形状のトラッキング（Akio Kos
aka and Goichi Nakazawa. Vision-based motion track
ing of rigid objectsusing prediction of uncertaini
es. In Proc. of International Conferenceon Robotic
s and Automation, pp.２６３７−２６４４，１９５
５）、ステレオ計測による既知形状のトラッキング（Ge
m-Sun J. Young and Rama Chellappa. 3-d motion esti
mation using a sequence of noisy stereo images: Mo
dels, estimation, and Uniqueness results. IEEE Pat
tern Anal. Machine Intell., Vol.１２，No.８，pp.７
３５−７５９，１９９０）、ステレオ観測に基づく複数
物体の追跡（Jae-Woong Yi and Jun-Ho Oh. Recursive
resolving algorithm formultiple stereo and motion
matches. Image and Vision Computing, Vol.１５, pp.
１８１−１９６，１９９７）などが提案されている。画
像特徴を対象とする物体モデルと関連付けながら複数物
体を追跡するこれらの問題設定は、「動きの対応付け」
（Motion Correspondence）として知られている（Ingem
ar J. Cox.A review of statical data association te
chniques for motion correspondence. International
Journal of Computer Vision, Vol.１０：１, pp.５３
−６６，１９９３）。
ステレオ観測に基づくロボットのナビゲーション（Larr
y Matthies and Steven A. Shafer. Error Modeling in
stereo navigation. IEEE Rebotics and Automation,
vol. RA-３, No.３, pp.２３９−２４８, １９８７）、
１台のカメラによる既知形状のトラッキング（Akio Kos
aka and Goichi Nakazawa. Vision-based motion track
ing of rigid objectsusing prediction of uncertaini
es. In Proc. of International Conferenceon Robotic
s and Automation, pp.２６３７−２６４４，１９５
５）、ステレオ計測による既知形状のトラッキング（Ge
m-Sun J. Young and Rama Chellappa. 3-d motion esti
mation using a sequence of noisy stereo images: Mo
dels, estimation, and Uniqueness results. IEEE Pat
tern Anal. Machine Intell., Vol.１２，No.８，pp.７
３５−７５９，１９９０）、ステレオ観測に基づく複数
物体の追跡（Jae-Woong Yi and Jun-Ho Oh. Recursive
resolving algorithm formultiple stereo and motion
matches. Image and Vision Computing, Vol.１５, pp.
１８１−１９６，１９９７）などが提案されている。画
像特徴を対象とする物体モデルと関連付けながら複数物
体を追跡するこれらの問題設定は、「動きの対応付け」
（Motion Correspondence）として知られている（Ingem
ar J. Cox.A review of statical data association te
chniques for motion correspondence. International
Journal of Computer Vision, Vol.１０：１, pp.５３
−６６，１９９３）。
【０００５】
【発明が解決しようとする課題】ところで、上述した従
来の手法はいずれも、一定間隔で複数視点の観測が同時
に行なわれ、または静止シーン（同時観測と等価）であ
ることを前提としている。観測を同時に行なった場合、
同じ物理的特徴を観測することになるので動きの対応付
けが容易になる。
来の手法はいずれも、一定間隔で複数視点の観測が同時
に行なわれ、または静止シーン（同時観測と等価）であ
ることを前提としている。観測を同時に行なった場合、
同じ物理的特徴を観測することになるので動きの対応付
けが容易になる。
【０００６】しかしながら、同時観測を行なう従来の手
法においても、時系列で物体を追跡するためには異なる
時刻間で「動きの対応付け」が依然として必要となる。
法においても、時系列で物体を追跡するためには異なる
時刻間で「動きの対応付け」が依然として必要となる。
【０００７】さらに、従来の多視点画像を利用したシス
テムの多くは、追跡時の位置情報の獲得のために視点間
で同時に観測が行なわれていることを前提としているた
め、各視点で得られた画像を処理する際には、全体の処
理速度は最も処理の遅いプロセスにより制限されるとい
う問題があった。また、このようなシステムでは画像情
報のやり取りの他に視点間の同期を行なうための手段を
別途必要とする。これら同期を前提とした従来のシステ
ムの持つ問題は、利用する視点数が増加するに伴いより
顕著になる。
テムの多くは、追跡時の位置情報の獲得のために視点間
で同時に観測が行なわれていることを前提としているた
め、各視点で得られた画像を処理する際には、全体の処
理速度は最も処理の遅いプロセスにより制限されるとい
う問題があった。また、このようなシステムでは画像情
報のやり取りの他に視点間の同期を行なうための手段を
別途必要とする。これら同期を前提とした従来のシステ
ムの持つ問題は、利用する視点数が増加するに伴いより
顕著になる。
【０００８】そこで、本発明はこのような問題を解決す
るためになされたものであり、異なる時刻に観測された
情報を統合し、非同期で高精度な追跡を行なうことがで
きる移動物体追跡装置を提供することである。
るためになされたものであり、異なる時刻に観測された
情報を統合し、非同期で高精度な追跡を行なうことがで
きる移動物体追跡装置を提供することである。
【０００９】また、本発明のさらなる目的は、簡素化さ
れたシステム構成において、効率よく変化する物体を追
跡することができる移動物体追跡装置を提供することで
ある。
れたシステム構成において、効率よく変化する物体を追
跡することができる移動物体追跡装置を提供することで
ある。
【００１０】
【課題を解決するための手段】請求項１に係る移動物体
追跡装置は、シーン内を移動する移動物体を追跡する移
動物体追跡装置であって、シーン内を複数の視点から撮
影するための複数の撮影手段と、複数の撮影手段のそれ
ぞれに対応して設けられ、互いに独立して動作し、対応
する撮影手段から受ける画像から特徴点を抽出し、抽出
結果を観測情報として出力する複数の観測手段と、複数
の観測手段のうち特徴点を抽出した観測手段からの要求
に従い、カルマンフィルタを用いて複数の観測手段の観
測情報を統合することにより移動物体の状態を予測する
追跡手段とを備える。
追跡装置は、シーン内を移動する移動物体を追跡する移
動物体追跡装置であって、シーン内を複数の視点から撮
影するための複数の撮影手段と、複数の撮影手段のそれ
ぞれに対応して設けられ、互いに独立して動作し、対応
する撮影手段から受ける画像から特徴点を抽出し、抽出
結果を観測情報として出力する複数の観測手段と、複数
の観測手段のうち特徴点を抽出した観測手段からの要求
に従い、カルマンフィルタを用いて複数の観測手段の観
測情報を統合することにより移動物体の状態を予測する
追跡手段とを備える。
【００１１】請求項２に係る移動物体追跡装置は、請求
項１に係る移動物体追跡装置であって、複数の観測手段
のそれぞれは、対応する撮影手段から受ける画像を背景
画像と移動物体領域とに分割する領域分割手段と、領域
分割手段により取出された移動物体領域の重心点を求
め、特徴点として重心点の情報を出力する手段とを含
む。
項１に係る移動物体追跡装置であって、複数の観測手段
のそれぞれは、対応する撮影手段から受ける画像を背景
画像と移動物体領域とに分割する領域分割手段と、領域
分割手段により取出された移動物体領域の重心点を求
め、特徴点として重心点の情報を出力する手段とを含
む。
【００１２】請求項３に係る移動物体追跡装置は、請求
項１に係る移動物体追跡装置であって、追跡手段は、計
算機で構成され、複数の観測手段のそれぞれは、計算機
で構成され、複数の観測手段のそれぞれと追跡手段と
は、相互通信を行なう。
項１に係る移動物体追跡装置であって、追跡手段は、計
算機で構成され、複数の観測手段のそれぞれは、計算機
で構成され、複数の観測手段のそれぞれと追跡手段と
は、相互通信を行なう。
【００１３】請求項４に係る移動物体追跡装置は、シー
ン内を移動する移動物体を追跡する移動物体追跡装置で
あって、シーン内を複数の視点から撮影するための複数
の撮影手段と、複数の撮影手段のそれぞれに対応して設
けられ、互いに独立して動作する複数の観測手段とを備
え、複数の観測手段のそれぞれは、対応する撮影手段か
ら受ける画像から特徴点を抽出する特徴点抽出手段と、
少なくとも１以上の追跡対象である移動物体と抽出した
特徴点との対応づけを行い、対応づけの結果を観測情報
として出力する特徴点対応づけ手段とを含み、複数の観
測手段のうち特徴点を抽出した観測手段からの要求に従
い、カルマンフィルタを用いて複数の観測手段の観測情
報を統合することにより少なくとも１以上の追跡対象で
ある移動物体の状態を予測する追跡手段と、特徴点対応
づけ手段において対応づけができなかった特徴点を用い
て、新たに追跡対象となる移動物体を検出して、検出結
果を前記追跡手段に送信する発見手段とをさらに備え、
特徴点対応づけ手段は、追跡手段への要求に対して追跡
手段から送信される少なくとも１以上の追跡対象である
移動物体の予測状態に基づき、抽出した特徴点に対応す
る追跡対象である移動物体を検出する。
ン内を移動する移動物体を追跡する移動物体追跡装置で
あって、シーン内を複数の視点から撮影するための複数
の撮影手段と、複数の撮影手段のそれぞれに対応して設
けられ、互いに独立して動作する複数の観測手段とを備
え、複数の観測手段のそれぞれは、対応する撮影手段か
ら受ける画像から特徴点を抽出する特徴点抽出手段と、
少なくとも１以上の追跡対象である移動物体と抽出した
特徴点との対応づけを行い、対応づけの結果を観測情報
として出力する特徴点対応づけ手段とを含み、複数の観
測手段のうち特徴点を抽出した観測手段からの要求に従
い、カルマンフィルタを用いて複数の観測手段の観測情
報を統合することにより少なくとも１以上の追跡対象で
ある移動物体の状態を予測する追跡手段と、特徴点対応
づけ手段において対応づけができなかった特徴点を用い
て、新たに追跡対象となる移動物体を検出して、検出結
果を前記追跡手段に送信する発見手段とをさらに備え、
特徴点対応づけ手段は、追跡手段への要求に対して追跡
手段から送信される少なくとも１以上の追跡対象である
移動物体の予測状態に基づき、抽出した特徴点に対応す
る追跡対象である移動物体を検出する。
【００１４】請求項５に係る移動物体追跡装置は、請求
項４に係る移動物体追跡装置であって、特徴点抽出手段
は、対応する撮影手段から受ける画像を背景画像と移動
物体領域とに分割する領域分割手段と、特徴点として、
領域分割手段により取出された移動物体領域の重心点を
抽出する手段とを含む。
項４に係る移動物体追跡装置であって、特徴点抽出手段
は、対応する撮影手段から受ける画像を背景画像と移動
物体領域とに分割する領域分割手段と、特徴点として、
領域分割手段により取出された移動物体領域の重心点を
抽出する手段とを含む。
【００１５】請求項６に係る移動物体追跡装置は、請求
項４に係る移動物体追跡装置であって、追跡手段は、計
算機で構成され、発見手段は、計算機で構成され、複数
の観測手段のそれぞれは、計算機で構成され、追跡手段
は、発見手段と相互通信を行い、複数の観測手段のそれ
ぞれは、追跡手段および発見手段のそれぞれと相互通信
を行なう。
項４に係る移動物体追跡装置であって、追跡手段は、計
算機で構成され、発見手段は、計算機で構成され、複数
の観測手段のそれぞれは、計算機で構成され、追跡手段
は、発見手段と相互通信を行い、複数の観測手段のそれ
ぞれは、追跡手段および発見手段のそれぞれと相互通信
を行なう。
【００１６】請求項７に係る移動物体追跡装置は、シー
ン内を移動する移動物体を追跡して、その移動物体の状
態に応じて追跡に用いる運動モデルを切換える移動物体
追跡装置であって、シーン内を複数の視点から撮影する
ための複数の撮影手段と、複数の撮影手段のそれぞれに
対応して設けられ、かつ互いに独立して動作し、対応す
る撮影手段から受ける画像から対象とする移動物体固有
の属性値を抽出し、その抽出結果を観測情報として出力
する複数の観測手段と、複数の観測手段のうち、移動物
体固有の属性値を抽出した観測手段からの要求に従っ
て、その抽出した属性値に基づいて対応する移動物体の
状態を検出し、検出された状態に応じて追跡に用いる運
動モデルを切換える追跡手段とを備える。
ン内を移動する移動物体を追跡して、その移動物体の状
態に応じて追跡に用いる運動モデルを切換える移動物体
追跡装置であって、シーン内を複数の視点から撮影する
ための複数の撮影手段と、複数の撮影手段のそれぞれに
対応して設けられ、かつ互いに独立して動作し、対応す
る撮影手段から受ける画像から対象とする移動物体固有
の属性値を抽出し、その抽出結果を観測情報として出力
する複数の観測手段と、複数の観測手段のうち、移動物
体固有の属性値を抽出した観測手段からの要求に従っ
て、その抽出した属性値に基づいて対応する移動物体の
状態を検出し、検出された状態に応じて追跡に用いる運
動モデルを切換える追跡手段とを備える。
【００１７】請求項８に係る移動物体追跡装置では、請
求項７の属性値は移動物体の背たけ情報，行動情報およ
び色情報の少なくともいずれか１つである。
求項７の属性値は移動物体の背たけ情報，行動情報およ
び色情報の少なくともいずれか１つである。
【００１８】
【発明の実施の形態】本発明の実施の形態における移動
物体追跡装置１について、図１を用いて説明する。な
お、以下の説明において、図中同一符号は同一または相
当部分を示す。図１は、本発明の実施の形態における移
動物体追跡装置１の全体構成を示すブロック図である。
図１を参照して、移動物体追跡装置１は、カメラ２♯
１、２♯２、…、２♯ｎ、観測部４♯１、４♯２、…、
４♯ｎ、発見部６および追跡部８を備える。
物体追跡装置１について、図１を用いて説明する。な
お、以下の説明において、図中同一符号は同一または相
当部分を示す。図１は、本発明の実施の形態における移
動物体追跡装置１の全体構成を示すブロック図である。
図１を参照して、移動物体追跡装置１は、カメラ２♯
１、２♯２、…、２♯ｎ、観測部４♯１、４♯２、…、
４♯ｎ、発見部６および追跡部８を備える。
【００１９】観測部４♯１、４♯２、…、４♯ｎのそれ
ぞれは、カメラ２♯１、２♯２、…、２♯ｎにそれぞれ
対応して設けられる（以下総称的に、カメラ２、観測部
４とそれぞれ記す）。観測部４♯１、４♯２…４♯ｎ、
発見部６および追跡部８のそれぞれは、互いに独立して
動作することが可能である。たとえば、これらは異なる
計算機で構成され、それぞれの計算機をローカルエリア
ネットワークＬＡＮで接続する。
ぞれは、カメラ２♯１、２♯２、…、２♯ｎにそれぞれ
対応して設けられる（以下総称的に、カメラ２、観測部
４とそれぞれ記す）。観測部４♯１、４♯２…４♯ｎ、
発見部６および追跡部８のそれぞれは、互いに独立して
動作することが可能である。たとえば、これらは異なる
計算機で構成され、それぞれの計算機をローカルエリア
ネットワークＬＡＮで接続する。
【００２０】図中、記号Ａ０は、観測部４から追跡部８
に送信される対応点（追跡目標）の観測情報を、記号Ａ
１は、観測部４から発見部６に送信される未対応点（追
跡目標と対応のとれない点）の観測情報を、記号Ａ２
は、追跡部８から観測部４に送信される予測位置情報
を、記号Ａ３は、発見部６から追跡部８に送信される新
規人物の位置情報（初期値）を、記号Ａ４は、追跡部８
から発見部４に送信される位置情報（更新後）を表わし
ている。
に送信される対応点（追跡目標）の観測情報を、記号Ａ
１は、観測部４から発見部６に送信される未対応点（追
跡目標と対応のとれない点）の観測情報を、記号Ａ２
は、追跡部８から観測部４に送信される予測位置情報
を、記号Ａ３は、発見部６から追跡部８に送信される新
規人物の位置情報（初期値）を、記号Ａ４は、追跡部８
から発見部４に送信される位置情報（更新後）を表わし
ている。
【００２１】観測部４は、対応するカメラ２から得られ
る入力画像に基づき特徴抽出処理を行なう。各観測部４
は独立に動作する。観測部４で得られた特徴量（重心点
および距離変換値）は、後述する追跡部８から送信され
てくる予測位置情報Ａ２をもとに追跡目標と対応付けら
れた後に、観察時間の情報とともに追跡部８に送信され
る。対応がとれなかった特徴量は未対応点の観測情報Ａ
１として、発見部６に送信される。
る入力画像に基づき特徴抽出処理を行なう。各観測部４
は独立に動作する。観測部４で得られた特徴量（重心点
および距離変換値）は、後述する追跡部８から送信され
てくる予測位置情報Ａ２をもとに追跡目標と対応付けら
れた後に、観察時間の情報とともに追跡部８に送信され
る。対応がとれなかった特徴量は未対応点の観測情報Ａ
１として、発見部６に送信される。
【００２２】発見部６では、送信されてきた未対応点の
観測情報Ａ１を用いて、シーンの中に新らたに現れた人
物（新規人物）の検出を行なう。新規人物についての検
出結果、すなわち新規人物の位置情報Ａ３は、追跡部８
に送信される。これにより、新規人物は、新たな追跡目
標として追加される。そして、送信部８において追跡が
開始される。
観測情報Ａ１を用いて、シーンの中に新らたに現れた人
物（新規人物）の検出を行なう。新規人物についての検
出結果、すなわち新規人物の位置情報Ａ３は、追跡部８
に送信される。これにより、新規人物は、新たな追跡目
標として追加される。そして、送信部８において追跡が
開始される。
【００２３】追跡部８では、新規人物の位置情報Ａ３を
初期値とし、観測情報Ａ０を入力値として、カルマンフ
ィルタを用いて人物の位置情報を更新し、さらに観測モ
デルに基づき位置を予測する。予測位置情報Ａ０は、観
測部４に送信される。発見部６には、後述するように位
置情報（更新後）Ａ４が送信される。
初期値とし、観測情報Ａ０を入力値として、カルマンフ
ィルタを用いて人物の位置情報を更新し、さらに観測モ
デルに基づき位置を予測する。予測位置情報Ａ０は、観
測部４に送信される。発見部６には、後述するように位
置情報（更新後）Ａ４が送信される。
【００２４】ここで、本発明の実施の形態において用い
る人体モデルについて図２を用いて説明する。図２は、
本発明の実施の形態において用いる人体モデルについて
説明するための図である。図中、Ｘ、Ｙ、Ｚは世界座標
系の３軸を示している。人物ＭＡＮは、楕円柱ｈでモデ
ル化している。人物モデルｈの中心軸Ｘｈを、人物の回
転軸とし、法線軸（回転軸Ｘｈと垂直な短軸方向の軸）
とＸ軸とがなす角ｒを人物の姿勢角とする。なお、人物
ＭＡＮの回転軸Ｘｈは、床面（Ｘ軸およびＹ軸がなす平
面）に対して垂直であると仮定する。カメラ２は、人物
の回転軸Ｘｈ、すなわちＺ軸に垂直に配置される。
る人体モデルについて図２を用いて説明する。図２は、
本発明の実施の形態において用いる人体モデルについて
説明するための図である。図中、Ｘ、Ｙ、Ｚは世界座標
系の３軸を示している。人物ＭＡＮは、楕円柱ｈでモデ
ル化している。人物モデルｈの中心軸Ｘｈを、人物の回
転軸とし、法線軸（回転軸Ｘｈと垂直な短軸方向の軸）
とＸ軸とがなす角ｒを人物の姿勢角とする。なお、人物
ＭＡＮの回転軸Ｘｈは、床面（Ｘ軸およびＹ軸がなす平
面）に対して垂直であると仮定する。カメラ２は、人物
の回転軸Ｘｈ、すなわちＺ軸に垂直に配置される。
【００２５】次に、図１に示す観測部４について説明す
る。図３は、観測部４の構成の概要について説明するた
めの図である。図３を参照して、観測部４は、領域分割
回路１０、画素値算出回路１２、重心点選択回路１４、
および特徴点対応づけ回路１６を含む。
る。図３は、観測部４の構成の概要について説明するた
めの図である。図３を参照して、観測部４は、領域分割
回路１０、画素値算出回路１２、重心点選択回路１４、
および特徴点対応づけ回路１６を含む。
【００２６】領域分割回路１０、画素値算出回路１２お
よび重心点選択回路１４は、入力した人物画像に基づき
特徴抽出処理を行なう。特徴点対応づけ回路１６は、当
該抽出された特徴点と追跡目標（モデル）間の対応付け
を行なう。
よび重心点選択回路１４は、入力した人物画像に基づき
特徴抽出処理を行なう。特徴点対応づけ回路１６は、当
該抽出された特徴点と追跡目標（モデル）間の対応付け
を行なう。
【００２７】領域分割回路１０は、入力画像を、人物領
域と背景領域とに分割する。たとえば、「連続画像に基
づく階層的適応による人物追跡のための画像分割」コン
ピュータビジョンおよびパターン認識（ＣＶＰＲ′９
８），ＩＥＥＥコンピュータ学会論文誌，ｐ．９１１〜
９１６に、領域分割の手法が記載されている。
域と背景領域とに分割する。たとえば、「連続画像に基
づく階層的適応による人物追跡のための画像分割」コン
ピュータビジョンおよびパターン認識（ＣＶＰＲ′９
８），ＩＥＥＥコンピュータ学会論文誌，ｐ．９１１〜
９１６に、領域分割の手法が記載されている。
【００２８】具体的には、カメラで撮影した現フレーム
の画像と、前後フレームの画像との差分を２値化し、差
分画像のいくつかのフレームを重ね合せることによりマ
スク画像を生成する（すなわち、粗い分割により大まか
な動物体領域を抽出する）。マスク画像のサイズが一定
範囲にあるときは、さらに輝度情報、色情報、またはピ
クスタ情報、テクスチャ情報ならびにこれらのいずれか
の組合せにより当該パラメータの分布を推定し、さらに
推定されたパラメータの分布によって、新たに得られた
画像上の各画素について当該動物体領域の存在する確率
を算出する（すなわち、精密な分割を行なう）。これに
より、カメラにとらえられる入力画像の中から人物領域
を切り出す。
の画像と、前後フレームの画像との差分を２値化し、差
分画像のいくつかのフレームを重ね合せることによりマ
スク画像を生成する（すなわち、粗い分割により大まか
な動物体領域を抽出する）。マスク画像のサイズが一定
範囲にあるときは、さらに輝度情報、色情報、またはピ
クスタ情報、テクスチャ情報ならびにこれらのいずれか
の組合せにより当該パラメータの分布を推定し、さらに
推定されたパラメータの分布によって、新たに得られた
画像上の各画素について当該動物体領域の存在する確率
を算出する（すなわち、精密な分割を行なう）。これに
より、カメラにとらえられる入力画像の中から人物領域
を切り出す。
【００２９】続いて、画素値算出回路１２において、得
られた人物画像に対して距離変換を行なう。具体的に
は、人物領域を構成する画素の各々から人物領域の境界
までの最短距離を示す画素値を算出する。重心点選択回
路１４は、人物領域内で画素値が最大となる点を当該人
物領域の重心点（すなわち特徴点）として選択する。重
心点における画素値を距離変換値とする。重心点と重心
点の距離変換値（重心点距離変換値）とを特徴量として
用いる。
られた人物画像に対して距離変換を行なう。具体的に
は、人物領域を構成する画素の各々から人物領域の境界
までの最短距離を示す画素値を算出する。重心点選択回
路１４は、人物領域内で画素値が最大となる点を当該人
物領域の重心点（すなわち特徴点）として選択する。重
心点における画素値を距離変換値とする。重心点と重心
点の距離変換値（重心点距離変換値）とを特徴量として
用いる。
【００３０】具体的には、領域分割回路１０からは、図
４（ａ）に示すような２値化画像が出力される。画素値
算出回路１２では、図４（ａ）に示す２値化画像に対し
て、図４（ｂ）に示す距離変換画像を生成する。図４
（ｂ）では、距離変換値が大きい画素ほど黒く表され、
距離変換値が小さい画素ほど白く表されている。人体の
輪郭から遠くなるにつれ画素の色が濃くなっている。重
心点選択回路１４は、図４（ｂ）における記号“Ｘ”に
相当する画素を、重心点として選択する。当該距離変換
による重心点検出は、人物のポーズの変化の影響を受け
にくいという特徴がある。
４（ａ）に示すような２値化画像が出力される。画素値
算出回路１２では、図４（ａ）に示す２値化画像に対し
て、図４（ｂ）に示す距離変換画像を生成する。図４
（ｂ）では、距離変換値が大きい画素ほど黒く表され、
距離変換値が小さい画素ほど白く表されている。人体の
輪郭から遠くなるにつれ画素の色が濃くなっている。重
心点選択回路１４は、図４（ｂ）における記号“Ｘ”に
相当する画素を、重心点として選択する。当該距離変換
による重心点検出は、人物のポーズの変化の影響を受け
にくいという特徴がある。
【００３１】続いて、抽出された重心点と既に発見され
ている追跡目標との間の対応付けを行なう特徴点対応づ
け回路１６について説明する。図５は、特徴点の対応付
け処理について説明するための図である。図中、記号２
０♯１、２０♯２、…、２０♯ｌ、…、２０♯ｍ、…、
２０♯ｎのそれぞれは、カメラ２♯１、２♯２、…、２
♯ｌ、…、２♯ｍ、…、２♯ｎにより得られる画像面を
それぞれ表わしている（以下、総称的に、画像面２０と
記す）。
ている追跡目標との間の対応付けを行なう特徴点対応づ
け回路１６について説明する。図５は、特徴点の対応付
け処理について説明するための図である。図中、記号２
０♯１、２０♯２、…、２０♯ｌ、…、２０♯ｍ、…、
２０♯ｎのそれぞれは、カメラ２♯１、２♯２、…、２
♯ｌ、…、２♯ｍ、…、２♯ｎにより得られる画像面を
それぞれ表わしている（以下、総称的に、画像面２０と
記す）。
【００３２】時刻ｔａにカメラ２♯ｌにより、時刻ｔｂ
にカメラ２♯ｍにより、観測がそれぞれ行なわれたもの
とする（ただし、ｔａ＜ｔｂとする）。時刻ｔａでは、
２人の人物ｈ０，ｈ１が存在し、時刻ｔｂにおいて人物
ｈ２がシーン内に初めて現われたとする。
にカメラ２♯ｍにより、観測がそれぞれ行なわれたもの
とする（ただし、ｔａ＜ｔｂとする）。時刻ｔａでは、
２人の人物ｈ０，ｈ１が存在し、時刻ｔｂにおいて人物
ｈ２がシーン内に初めて現われたとする。
【００３３】画像面２０に付した記号×は、各画像にお
いて検出された重心点を示している。この場合、時刻ｔ
ａにおける画像面２０♯ｌから、２つの重心点（特徴
点）が検出され、時刻ｔｂにおける画像面２０♯ｍか
ら、３つの重心点（特徴点）が検出される。
いて検出された重心点を示している。この場合、時刻ｔ
ａにおける画像面２０♯ｌから、２つの重心点（特徴
点）が検出され、時刻ｔｂにおける画像面２０♯ｍか
ら、３つの重心点（特徴点）が検出される。
【００３４】人物ｈ０，ｈ１のそれぞれについては、追
跡部８への問合せにより、時刻ｔａまでの観測結果に基
づき時刻ｔｂの予測位置を得る。後述するように、追跡
部８では、人物の動きを等速運動で仮定しており、ある
時刻ｔにおける人物ｈｊの予測位置は、２次元のガウス
分布で表わされる。世界座標系における人物ｈｊの時刻
ｔにおける位置を位置Ｘhj,tとし、当該２次元のガウス
分布の平均を／Ｘhj,t、共分散行列を／Ｓhj,tと記す。
平均および共分散行列は、予測位置情報Ａ０として、追
跡部８から送信される。
跡部８への問合せにより、時刻ｔａまでの観測結果に基
づき時刻ｔｂの予測位置を得る。後述するように、追跡
部８では、人物の動きを等速運動で仮定しており、ある
時刻ｔにおける人物ｈｊの予測位置は、２次元のガウス
分布で表わされる。世界座標系における人物ｈｊの時刻
ｔにおける位置を位置Ｘhj,tとし、当該２次元のガウス
分布の平均を／Ｘhj,t、共分散行列を／Ｓhj,tと記す。
平均および共分散行列は、予測位置情報Ａ０として、追
跡部８から送信される。
【００３５】なお、式では、／Ｘhj,tを、記号Ｘhj,tの
上に“−”を付したものとして表現し、／Ｓhj,tを、記
号Ｓhj,tの上に“−”を付したものとして表現する。
上に“−”を付したものとして表現し、／Ｓhj,tを、記
号Ｓhj,tの上に“−”を付したものとして表現する。
【００３６】予測位置の分布Ｎ（／Ｘhj,t、／Ｓhj,t）
を画像２０♯ｉ（ｉ＝１、２、…、ｎ）に弱透視投影す
ると、式（１）で示される確率からなる１次元ガウス分
布ｎ（／ｘhj,t,i、／ｓhj,t,iが得られる。これは、画
像２０♯ｉにおける人物の存在確率を示している。式
（１）において、記号ｘは、世界座標系での人物位置Ｘ
を画像面上に投影したもの、記号／ｘは、世界座標系に
おける平均／Ｘを画像面上に投影したもの、記号／ｓ
は、世界座標系における共分散行列／Ｓを画像面上に投
影したものをそれぞれ表わしている。なお、式では、／
ｘを、記号ｘの上に“−”を付したものとして表現し、
／ｓを、記号ｓの上に“−”を付したものとして表現す
る。
を画像２０♯ｉ（ｉ＝１、２、…、ｎ）に弱透視投影す
ると、式（１）で示される確率からなる１次元ガウス分
布ｎ（／ｘhj,t,i、／ｓhj,t,iが得られる。これは、画
像２０♯ｉにおける人物の存在確率を示している。式
（１）において、記号ｘは、世界座標系での人物位置Ｘ
を画像面上に投影したもの、記号／ｘは、世界座標系に
おける平均／Ｘを画像面上に投影したもの、記号／ｓ
は、世界座標系における共分散行列／Ｓを画像面上に投
影したものをそれぞれ表わしている。なお、式では、／
ｘを、記号ｘの上に“−”を付したものとして表現し、
／ｓを、記号ｓの上に“−”を付したものとして表現す
る。
【００３７】
【数１】
【００３８】式（１）に表わされる確率を最大にする特
徴点を観測時間での人物ｈｊに対応する観測値とし、当
該特徴点にｈｊのラベルを付ける。ラベル付けられた特
徴点の観測情報Ａ０は、追跡部８に送信される。ただ
し、複数の人物と対応付けができた特徴点については、
観測時点でオクルージョンが発生していると判断し、送
信を停止する。
徴点を観測時間での人物ｈｊに対応する観測値とし、当
該特徴点にｈｊのラベルを付ける。ラベル付けられた特
徴点の観測情報Ａ０は、追跡部８に送信される。ただ
し、複数の人物と対応付けができた特徴点については、
観測時点でオクルージョンが発生していると判断し、送
信を停止する。
【００３９】これらの処理の後、対応付けがされていな
い特徴点については、未知の人物、すなわち新規人物に
属するものとし、未対応の観測情報Ａ１として、位置お
よび時間が発見部６に送信される。なお、図５において
は、人物ｈ２についての観測情報Ａ１が、発見部６に送
信される。
い特徴点については、未知の人物、すなわち新規人物に
属するものとし、未対応の観測情報Ａ１として、位置お
よび時間が発見部６に送信される。なお、図５において
は、人物ｈ２についての観測情報Ａ１が、発見部６に送
信される。
【００４０】続いて、図１に示す追跡部８について説明
する。追跡部８では、観測部４のそれぞれから送られて
きた観測情報Ａ０に基づき、追跡目標人物の位置・方向
を更新する。
する。追跡部８では、観測部４のそれぞれから送られて
きた観測情報Ａ０に基づき、追跡目標人物の位置・方向
を更新する。
【００４１】図６は、図１に示す追跡部８の構成の概要
について説明するための図である。図６を参照して、追
跡部８は、位置推定回路２２および方向角推定回路２４
を含む。位置推定回路２２は、観測部４から得られる重
心点位置に基づき、予測位置を推定し、推定結果を方向
推定回路２４に出力する。方向角推定回路２４は、位置
推定回路２２から出力される推定結果に従い、観測部４
から得られる重心点距離変換値に基づき方向角を推定す
る。
について説明するための図である。図６を参照して、追
跡部８は、位置推定回路２２および方向角推定回路２４
を含む。位置推定回路２２は、観測部４から得られる重
心点位置に基づき、予測位置を推定し、推定結果を方向
推定回路２４に出力する。方向角推定回路２４は、位置
推定回路２２から出力される推定結果に従い、観測部４
から得られる重心点距離変換値に基づき方向角を推定す
る。
【００４２】まず、位置推定回路２２における位置推定
処理について詳しく述べる。追跡中の人物の位置は、各
観測部４において対応付けられた特徴情報（重心点位
置）を用いて更新される。図７は、位置推定処理につい
て説明するための図である。図７を参照して、カメラ２
♯ｉと画像面２０♯ｉとの距離を距離ｌi、カメラ２♯
ｉと人物ｈｊとの距離を距離Ｌhj,iと記す。エピポーラ
線とＹ軸とがなす角度をｗhj,iと記す。
処理について詳しく述べる。追跡中の人物の位置は、各
観測部４において対応付けられた特徴情報（重心点位
置）を用いて更新される。図７は、位置推定処理につい
て説明するための図である。図７を参照して、カメラ２
♯ｉと画像面２０♯ｉとの距離を距離ｌi、カメラ２♯
ｉと人物ｈｊとの距離を距離Ｌhj,iと記す。エピポーラ
線とＹ軸とがなす角度をｗhj,iと記す。
【００４３】位置推定処理においては、人物は等速運動
をしているものと仮定する。時刻ｔにおける人物ｈｊの
状態を、世界座標（Ｘ、Ｙ）上で、式（２）および
（３）で表わす。ただし、初期状態は、発見部６から送
信される新規人物（モデル）の情報によって決定される
ものとする。行列に付される“′”は、転置を表わして
いる。
をしているものと仮定する。時刻ｔにおける人物ｈｊの
状態を、世界座標（Ｘ、Ｙ）上で、式（２）および
（３）で表わす。ただし、初期状態は、発見部６から送
信される新規人物（モデル）の情報によって決定される
ものとする。行列に付される“′”は、転置を表わして
いる。
【００４４】∧Ｘhj,t-1を時刻（ｔ−１）における人物
位置Ｘhjの推定値とし、∧Ｓhj,t-1を、推定値∧Ｘ
hj,t-1の分散行列とすると、時刻ｔでの状態は式（４）
および式（５）でそれぞれ表わされる。式では、∧Ｘ
hj,t-1を、記号Ｘhj,t-1の上に“∧”を付したものとし
て表現し、∧Ｓhj,t-1を、記号Ｓhj,t-1の上に“∧”を
付したものとして表現する。
位置Ｘhjの推定値とし、∧Ｓhj,t-1を、推定値∧Ｘ
hj,t-1の分散行列とすると、時刻ｔでの状態は式（４）
および式（５）でそれぞれ表わされる。式では、∧Ｘ
hj,t-1を、記号Ｘhj,t-1の上に“∧”を付したものとし
て表現し、∧Ｓhj,t-1を、記号Ｓhj,t-1の上に“∧”を
付したものとして表現する。
【００４５】なお、遷移行列Ｆは、式（６）で表わされ
る（△ｔ：ｔ−１→ｔ）。また、記号Ｑは、遷移におけ
る共分散行列を表わしている。
る（△ｔ：ｔ−１→ｔ）。また、記号Ｑは、遷移におけ
る共分散行列を表わしている。
【００４６】
【数２】
【００４７】ここで、観測部４♯ｉにより１回目の観測
が行なわれたものとする。観測部４♯ｉから送られてき
た位置情報により、この観測は、式（７）〜（９）で表
わすことができる。
が行なわれたものとする。観測部４♯ｉから送られてき
た位置情報により、この観測は、式（７）〜（９）で表
わすことができる。
【００４８】Ｈ＝[１ ０ ０ ０] …（７）
【００４９】
【数３】
【００５０】記号Ｃiは、カメラの位置を、記号Ｒ
hj,t,iは、エピポーラ線とＹ軸とがなす角度ｗhj,t,iの
時計回りの回転を表わしている。なお、記号ｅは、観測
誤差を表わしており、平均０、標準偏差σhj,t,iとす
る。標準誤差σhj,t,iは、カメラの距離が大きくなるほ
ど増加すると考え、式（９）のように表わす。
hj,t,iは、エピポーラ線とＹ軸とがなす角度ｗhj,t,iの
時計回りの回転を表わしている。なお、記号ｅは、観測
誤差を表わしており、平均０、標準偏差σhj,t,iとす
る。標準誤差σhj,t,iは、カメラの距離が大きくなるほ
ど増加すると考え、式（９）のように表わす。
【００５１】ここでは、カメラの位置Ｃiと人物（Ｘ
hj,t）との間の距離Ｌhj,t,iは未知数のため、Ｘhj,tの
予測位置／Ｘhj,tにより算出した距離／Ｌhj,t,iを近似
値として使用する（式では、／Ｌhj,t,iを、記号Ｌ
hj,t,iの上に“−”を付したものとして表現する）。
hj,t）との間の距離Ｌhj,t,iは未知数のため、Ｘhj,tの
予測位置／Ｘhj,tにより算出した距離／Ｌhj,t,iを近似
値として使用する（式では、／Ｌhj,t,iを、記号Ｌ
hj,t,iの上に“−”を付したものとして表現する）。
【００５２】式（８）の観測式では、左辺は観測情報
を、右辺は人物位置を画像に投影した結果をそれぞれ表
わしている。
を、右辺は人物位置を画像に投影した結果をそれぞれ表
わしている。
【００５３】位置推定回路２２では、以上の観測モデル
によりカルマンフィルタを構成し、人物ｈｊの状態を更
新する。
によりカルマンフィルタを構成し、人物ｈｊの状態を更
新する。
【００５４】
【数４】
【００５５】各カメラごとに、独立に式（１０）および
（１１）による更新処理を行ない、状態予測を行なう。
時刻（ｔ＋１）における人物ｈｊの状態予測は、平均を
／Ｘ hj,t+1、共分散行列を／Ｓhj,t+1とするガウス分布
で与えられる。状態予測の結果は、観測部４の要求に応
じて計算・送信され、上述したとおり特徴点の対応づけ
に利用される。カメラが検出可能な範囲外へ移動した人
物モデルは削除し、その人物の追跡を中止する。
（１１）による更新処理を行ない、状態予測を行なう。
時刻（ｔ＋１）における人物ｈｊの状態予測は、平均を
／Ｘ hj,t+1、共分散行列を／Ｓhj,t+1とするガウス分布
で与えられる。状態予測の結果は、観測部４の要求に応
じて計算・送信され、上述したとおり特徴点の対応づけ
に利用される。カメラが検出可能な範囲外へ移動した人
物モデルは削除し、その人物の追跡を中止する。
【００５６】続いて、方向角推定回路２４の処理につい
て説明する。方向角推定回路２４では、人物の姿勢角ｒ
（図２参照）を、オクルージョンを生じない重心点距離
変換値を用いて推定する。この推定は、図８に示す人体
の観測モデル（楕円体モデル）に基づいて行なう。図８
を参照して、カメラ２で撮影された画像上における楕円
体の幅をｓとして重心点距離変換値を用いる。弱透視変
換を仮定すると光軸と楕円体モデル（人物）の回転軸の
法線とがなす角をθとして、観測される重心点距離変換
値ｓは、式（１２）に従うことになる。ここで、式（１
２）における記号Ｌは、楕円体モデルの回転軸からカメ
ラまでの距離を示しており、記号ＡおよびＢは定数であ
る。観測がガウス誤差を伴うと仮定すると、重心点距離
変換値ｓが観測される確率Ｐ（ｓ｜θ）は、式（１３）
のように表わされる。なお、定数Ａ，Ｂと誤差の分散σ
sとは、学習用データにより予め決定しておく。
て説明する。方向角推定回路２４では、人物の姿勢角ｒ
（図２参照）を、オクルージョンを生じない重心点距離
変換値を用いて推定する。この推定は、図８に示す人体
の観測モデル（楕円体モデル）に基づいて行なう。図８
を参照して、カメラ２で撮影された画像上における楕円
体の幅をｓとして重心点距離変換値を用いる。弱透視変
換を仮定すると光軸と楕円体モデル（人物）の回転軸の
法線とがなす角をθとして、観測される重心点距離変換
値ｓは、式（１２）に従うことになる。ここで、式（１
２）における記号Ｌは、楕円体モデルの回転軸からカメ
ラまでの距離を示しており、記号ＡおよびＢは定数であ
る。観測がガウス誤差を伴うと仮定すると、重心点距離
変換値ｓが観測される確率Ｐ（ｓ｜θ）は、式（１３）
のように表わされる。なお、定数Ａ，Ｂと誤差の分散σ
sとは、学習用データにより予め決定しておく。
【００５７】
【数５】
【００５８】人体の姿勢は、オイラー角（ａ、ｅ、ｒ）
により表現できる。ここで、ｒは、方位角（姿勢角）
を、ａは方位角を、ｅは仰角をそれぞれ表わしている。
方位角ａおよび仰角ｅは、人体の回転軸方向により決定
されるため、回転軸回りの回転角ｒのみが未知数となっ
ている。
により表現できる。ここで、ｒは、方位角（姿勢角）
を、ａは方位角を、ｅは仰角をそれぞれ表わしている。
方位角ａおよび仰角ｅは、人体の回転軸方向により決定
されるため、回転軸回りの回転角ｒのみが未知数となっ
ている。
【００５９】人体の法線ベクトルＮは、式（１４）で表
わされる。したがって、カメラ２♯ｉの光軸ベクトルＣ
と人体の法線ベクトルＮとがなす角θi（ｒ）は、式
（１５）で表わされることになる。
わされる。したがって、カメラ２♯ｉの光軸ベクトルＣ
と人体の法線ベクトルＮとがなす角θi（ｒ）は、式
（１５）で表わされることになる。
【００６０】 Ｎ＝ＲZ（ａ）ＲY（ｅ）ＲX（ｒ）ｅ …（１４） θci（ｒ）＝ｃｏｓ-1・ＮT・Ｃ …（１５） なお、式（１４）において、ＲZ、ＲY、ＲXはそれぞ
れ、Ｚ、Ｙ、Ｘ軸に関する回転行列を示し、ｅZは、Ｚ
軸方向の単位ベクトルを示している。また、式（１５）
において、記号ＮTは、法線ベクトルＮの転置ベクトル
を示している。
れ、Ｚ、Ｙ、Ｘ軸に関する回転行列を示し、ｅZは、Ｚ
軸方向の単位ベクトルを示している。また、式（１５）
において、記号ＮTは、法線ベクトルＮの転置ベクトル
を示している。
【００６１】ｎ台のカメラ２♯１〜２♯ｎによって、重
心点距離変換値の組Ｗ（ｓ1、ｓ2、…、ｓn）が観測さ
れる確率Ｐは、式（１３）により、式（１６）で表わさ
れる。式（１６）における確率Ｐ（Ｗ｜ｒ）を最大とす
る値ｒを姿勢角の推定値とする。
心点距離変換値の組Ｗ（ｓ1、ｓ2、…、ｓn）が観測さ
れる確率Ｐは、式（１３）により、式（１６）で表わさ
れる。式（１６）における確率Ｐ（Ｗ｜ｒ）を最大とす
る値ｒを姿勢角の推定値とする。
【００６２】
【数６】
【００６３】方位角推定は、上述した位置推定と同様
に、観測が行なわれるごとに更新される。なお、図８に
示す観測モデルは、入力を観測部４から送信される特徴
情報（重心点距離変換値ｓ）とし、式（１７）で表わさ
れる状態ｒhj,tを有することになる。なお、オクルージ
ョンの有無は、特徴点の対応付けの際に判定されてお
り、オクルージョンが生じた場合は観測情報としては用
いられない。
に、観測が行なわれるごとに更新される。なお、図８に
示す観測モデルは、入力を観測部４から送信される特徴
情報（重心点距離変換値ｓ）とし、式（１７）で表わさ
れる状態ｒhj,tを有することになる。なお、オクルージ
ョンの有無は、特徴点の対応付けの際に判定されてお
り、オクルージョンが生じた場合は観測情報としては用
いられない。
【００６４】続いて、図１に示す発見部６の概要につい
て説明する。発見部６では、シーンに新たに登場した人
物（新規人物）を検出し、対応するモデルを追跡部８に
追加する。
て説明する。発見部６では、シーンに新たに登場した人
物（新規人物）を検出し、対応するモデルを追跡部８に
追加する。
【００６５】観測情報は非同期に獲得されるため、通常
のステレオ対応をそのまま適用することができない。そ
こで、次のような時系列情報による対応（発見）手法を
用いる。
のステレオ対応をそのまま適用することができない。そ
こで、次のような時系列情報による対応（発見）手法を
用いる。
【００６６】まず、観測部４のそれぞれから送られてき
た未対応点の観測情報のうち、異なる４時刻の観測情報
を各１点ずつ選出する（γと記す）。観測時刻ｔ１，ｔ
２，ｔ３，ｔ４のそれぞれに対して、観測視点をそれぞ
れＣ1，Ｃ2，Ｃ3，Ｃ4とする。観測情報を入力として、
上述したカルマンフィルタの更新処理（式（８））を行
なう。ただし、初期分散／Ｓhj,t＝０とする。
た未対応点の観測情報のうち、異なる４時刻の観測情報
を各１点ずつ選出する（γと記す）。観測時刻ｔ１，ｔ
２，ｔ３，ｔ４のそれぞれに対して、観測視点をそれぞ
れＣ1，Ｃ2，Ｃ3，Ｃ4とする。観測情報を入力として、
上述したカルマンフィルタの更新処理（式（８））を行
なう。ただし、初期分散／Ｓhj,t＝０とする。
【００６７】この操作により、４回の観測における予測
軌道が得られる。この予測軌道を用いて、式（４）を用
いて位置推定を行なう（ただし、△ｔ＝ｔ４−ｔｉ：ｉ
＝１，２，３のいずれか）。位置推定結果の集合を[∧
Ｘt1，∧Ｘt2，∧Ｘt3，∧Ｘt 4]とする。
軌道が得られる。この予測軌道を用いて、式（４）を用
いて位置推定を行なう（ただし、△ｔ＝ｔ４−ｔｉ：ｉ
＝１，２，３のいずれか）。位置推定結果の集合を[∧
Ｘt1，∧Ｘt2，∧Ｘt3，∧Ｘt 4]とする。
【００６８】上述したように、式（７）の観測式では、
左辺は観測情報を、右辺は人物位置を画像に投影した結
果をそれぞれ表わしている。観測情報と人物位置を画像
に投影した結果との差として、式（１７）に示すマハラ
ノビス距離を用いた誤差評価関数ｆ（γ）を定義する。
左辺は観測情報を、右辺は人物位置を画像に投影した結
果をそれぞれ表わしている。観測情報と人物位置を画像
に投影した結果との差として、式（１７）に示すマハラ
ノビス距離を用いた誤差評価関数ｆ（γ）を定義する。
【００６９】
【数７】
【００７０】式（１７）に示す評価関数の値が一定のし
きい値以内である組合せは、新規人物に属する特徴点集
合とし、最新観測時刻（ここではｔ４）における推定位
置を初期発見位置として追跡部８に送信する。
きい値以内である組合せは、新規人物に属する特徴点集
合とし、最新観測時刻（ここではｔ４）における推定位
置を初期発見位置として追跡部８に送信する。
【００７１】次に、本発明の有効性を明らかにするた
め、以下のような２つのシミュレーション実験を行なっ
た。図９は、位置追従の精度を確認するためのシミュレ
ーション実験について説明するための図である。図９に
示すシミュレーション実験では、２台のカメラ（２♯
１，２♯２）を用い、半径１００の円軌道を周期１０×
ｔ fで等速円運動する追跡対象物体ｈ０を観測した。ｔf
は、カメラの撮影間隔である。カルマンフィルタには、
等速直線運動のモデルを与えた。観測は平行射影を仮定
し、実験では２台のカメラ２♯１および２♯２のそれぞ
れの光軸がなす角度θを４通り（０°、３０°、４５
°、９０°）に設定した。それぞれの条件において、カ
メラ２♯１とカメラ２♯２との撮影時間のずれ△ｔを０
からｔf／２まで変化させ、カメラ２♯１の観測からｔf
後の（カメラ２♯１の撮影面に平行な方向についての）
位置予測誤差を記録した。
め、以下のような２つのシミュレーション実験を行なっ
た。図９は、位置追従の精度を確認するためのシミュレ
ーション実験について説明するための図である。図９に
示すシミュレーション実験では、２台のカメラ（２♯
１，２♯２）を用い、半径１００の円軌道を周期１０×
ｔ fで等速円運動する追跡対象物体ｈ０を観測した。ｔf
は、カメラの撮影間隔である。カルマンフィルタには、
等速直線運動のモデルを与えた。観測は平行射影を仮定
し、実験では２台のカメラ２♯１および２♯２のそれぞ
れの光軸がなす角度θを４通り（０°、３０°、４５
°、９０°）に設定した。それぞれの条件において、カ
メラ２♯１とカメラ２♯２との撮影時間のずれ△ｔを０
からｔf／２まで変化させ、カメラ２♯１の観測からｔf
後の（カメラ２♯１の撮影面に平行な方向についての）
位置予測誤差を記録した。
【００７２】図１０は、図９に対する実験結果を説明す
るための図である。図１０において、横軸は撮影時間の
ずれ△ｔを、縦軸は予測誤差を示している。図１０に示
すように、光軸のなす角度θが０°、３０°、４５°で
ある場合は特に、撮影間隔の増加に伴い予測誤差が減少
し、△ｔ＝ｔf／２において予測誤差は最小値をとっ
た。これにより、追跡対象物体の運動がカルマンフィル
タの前提となる運動モデルから外れる場合に、特に、非
同期観測を行なうことにより同期観測に比べて高い追従
性が得られることがわかる。
るための図である。図１０において、横軸は撮影時間の
ずれ△ｔを、縦軸は予測誤差を示している。図１０に示
すように、光軸のなす角度θが０°、３０°、４５°で
ある場合は特に、撮影間隔の増加に伴い予測誤差が減少
し、△ｔ＝ｔf／２において予測誤差は最小値をとっ
た。これにより、追跡対象物体の運動がカルマンフィル
タの前提となる運動モデルから外れる場合に、特に、非
同期観測を行なうことにより同期観測に比べて高い追従
性が得られることがわかる。
【００７３】図１１は、複数人物の動きを推定する能力
を明らかにするためのシミュレーション実験について説
明するための図である。図１１に示すシミュレーション
実験では、５台のカメラ２♯１〜２♯５を配置する。カ
メラはそれぞれ、対応する観測部を構成する１台の計算
機に接続されている。画像処理は、これらの計算機上で
行なわれる。処理速度は約１〜２frame／secである。
を明らかにするためのシミュレーション実験について説
明するための図である。図１１に示すシミュレーション
実験では、５台のカメラ２♯１〜２♯５を配置する。カ
メラはそれぞれ、対応する観測部を構成する１台の計算
機に接続されている。画像処理は、これらの計算機上で
行なわれる。処理速度は約１〜２frame／secである。
【００７４】各計算機は、ローカルエリアネットワーク
ＬＡＮに接続されており、内部時計を互いに同期させて
いる。発見部６および追跡部８をそれぞれ構成する図示
しない２台の計算機がローカルエリアネットワークＬＡ
Ｎに接続されている。
ＬＡＮに接続されており、内部時計を互いに同期させて
いる。発見部６および追跡部８をそれぞれ構成する図示
しない２台の計算機がローカルエリアネットワークＬＡ
Ｎに接続されている。
【００７５】各カメラは予めすべてキャリブレーション
されており、各観測部４のキャリブレーション情報は、
観測情報（観測時間、特徴点）とともに発見部６および
追跡部８にそれぞれ送信される。実験では、２人の人物
ｈ０、ｈ１についての位置追跡を行なった。図１１に示
すように、２人の人物ｈ０、ｈ１が順にシーン５５内に
現われる。
されており、各観測部４のキャリブレーション情報は、
観測情報（観測時間、特徴点）とともに発見部６および
追跡部８にそれぞれ送信される。実験では、２人の人物
ｈ０、ｈ１についての位置追跡を行なった。図１１に示
すように、２人の人物ｈ０、ｈ１が順にシーン５５内に
現われる。
【００７６】図１２〜図１６は、図１１に対する実験結
果を説明するための図である。図１１に示すシミュレー
ション実験において、各カメラで得られた特徴点の時間
ごとの推移を表わしている。図１２はカメラ２♯１に、
図１３はカメラ２♯２に、図１４はカメラ２♯３に、図
１５はカメラ２♯４に、図１６はカメラ２♯５にそれぞ
れ対応している。図１２〜図１６において、横軸は時
間、縦軸は追跡位置とし、記号“＋”は、予測位置と対
応付けができた特徴点を表わしている。
果を説明するための図である。図１１に示すシミュレー
ション実験において、各カメラで得られた特徴点の時間
ごとの推移を表わしている。図１２はカメラ２♯１に、
図１３はカメラ２♯２に、図１４はカメラ２♯３に、図
１５はカメラ２♯４に、図１６はカメラ２♯５にそれぞ
れ対応している。図１２〜図１６において、横軸は時
間、縦軸は追跡位置とし、記号“＋”は、予測位置と対
応付けができた特徴点を表わしている。
【００７７】図１２〜図１６を参照して、追跡当初は、
カメラ２♯１以外ではほとんど特徴点が観測されないた
め、人物の発見が行なわれない。１人目の人物が実験環
境（シーン５５）の中央に近づくにつれ、他の視点（カ
メラ２♯３、２♯４、２♯５）でも特徴点が得られ、追
跡が開始される（開始から約２０秒がすぎ）。同様にし
て、２人目の人物の移動に伴い約３７秒すぎに２人目の
人物の追跡が開始される。以上の実験結果から、本発明
により複数人物の追跡が可能であることが示されたとい
える。
カメラ２♯１以外ではほとんど特徴点が観測されないた
め、人物の発見が行なわれない。１人目の人物が実験環
境（シーン５５）の中央に近づくにつれ、他の視点（カ
メラ２♯３、２♯４、２♯５）でも特徴点が得られ、追
跡が開始される（開始から約２０秒がすぎ）。同様にし
て、２人目の人物の移動に伴い約３７秒すぎに２人目の
人物の追跡が開始される。以上の実験結果から、本発明
により複数人物の追跡が可能であることが示されたとい
える。
【００７８】上述の実施形態では、複数の視点で非同期
に撮影した画像内の特徴点に基づいて、人物の動きを追
跡するようにしたが、次に人物固有の属性値を抽出し、
その抽出結果を観測情報として出力し、抽出した属性値
に基づいて対応する人物の状態を検出し、検出された状
態に応じて人物の追跡モデルを切換えるような実施形態
について説明する。たとえば、人物が着席している間に
移動する可能性は極めて少ないと考えられるので、位置
推定値の信頼度を大きくする。
に撮影した画像内の特徴点に基づいて、人物の動きを追
跡するようにしたが、次に人物固有の属性値を抽出し、
その抽出結果を観測情報として出力し、抽出した属性値
に基づいて対応する人物の状態を検出し、検出された状
態に応じて人物の追跡モデルを切換えるような実施形態
について説明する。たとえば、人物が着席している間に
移動する可能性は極めて少ないと考えられるので、位置
推定値の信頼度を大きくする。
【００７９】図１７はこの発明の第２の実施形態の観測
部と追跡部の概要を示す図であり、第１の実施形態の図
３および図６に対応している。図１７において、領域分
割回路１０と画素値算出回路１２と中心点選択回路１４
は図３と同じであるが、この実施形態の観測部４には、
新たにシルエットの高さ検出回路１７が設けられる。シ
ルエットの高さ検出回路１７は領域分割回路１０で２値
化された２値化画像から人物の高さを検出する。
部と追跡部の概要を示す図であり、第１の実施形態の図
３および図６に対応している。図１７において、領域分
割回路１０と画素値算出回路１２と中心点選択回路１４
は図３と同じであるが、この実施形態の観測部４には、
新たにシルエットの高さ検出回路１７が設けられる。シ
ルエットの高さ検出回路１７は領域分割回路１０で２値
化された２値化画像から人物の高さを検出する。
【００８０】図１８は人物が立っているときと着席して
いるときの２値化画像を示す図である。シルエットの高
さ検出回路１７は図１８（ａ）に示すように、２値化画
像の高さＴ１と図１８（ｂ）に示す２値化画像の高さＴ
２を検出する。たとえば、人物が立っている場合にはＴ
１が１８０ｃｍであり、人物が着席していればＴ２が１
４０ｃｍというように検出する。シルエットの高さ検出
回路１７の検出出力は特徴点対応づけ回路１６に与えら
れる。
いるときの２値化画像を示す図である。シルエットの高
さ検出回路１７は図１８（ａ）に示すように、２値化画
像の高さＴ１と図１８（ｂ）に示す２値化画像の高さＴ
２を検出する。たとえば、人物が立っている場合にはＴ
１が１８０ｃｍであり、人物が着席していればＴ２が１
４０ｃｍというように検出する。シルエットの高さ検出
回路１７の検出出力は特徴点対応づけ回路１６に与えら
れる。
【００８１】特徴点対応づけ回路１６は第１の実施形態
で説明したように、重心点選択回路１４で抽出された重
心点と既に発見されている追跡目標との間の対応づけを
行なうが、シルエットの高さ検出回路１７の検出出力に
基づいて、対応づけられた人物の身長を測定した情報を
観測情報に含めて追跡部８に出力する。
で説明したように、重心点選択回路１４で抽出された重
心点と既に発見されている追跡目標との間の対応づけを
行なうが、シルエットの高さ検出回路１７の検出出力に
基づいて、対応づけられた人物の身長を測定した情報を
観測情報に含めて追跡部８に出力する。
【００８２】一方、追跡部８は、図６に示した構成に加
えて、図１７に示すように高さ情報抽出回路３０と背た
け変換回路３２と状態推定回路３４とを含む。高さ情報
抽出回路３０は観測部４から追跡部８に送られてくる観
測情報から高さ情報を抽出し、背たけ変換回路３２に与
える。背たけ変換回路３２は観測情報から抽出された高
さ情報を背たけに変換する。
えて、図１７に示すように高さ情報抽出回路３０と背た
け変換回路３２と状態推定回路３４とを含む。高さ情報
抽出回路３０は観測部４から追跡部８に送られてくる観
測情報から高さ情報を抽出し、背たけ変換回路３２に与
える。背たけ変換回路３２は観測情報から抽出された高
さ情報を背たけに変換する。
【００８３】状態推定回路３４は、この背たけがたとえ
ば１８０ｃｍから１４０ｃｍに変化すれば、人物が立っ
ている状態から着席した状態になったものと推定する。
逆に、背たけが１４０ｃｍから１８０ｃｍに変化すれ
ば、人物が着席している状態から立上がったものと推定
する。
ば１８０ｃｍから１４０ｃｍに変化すれば、人物が立っ
ている状態から着席した状態になったものと推定する。
逆に、背たけが１４０ｃｍから１８０ｃｍに変化すれ
ば、人物が着席している状態から立上がったものと推定
する。
【００８４】観測部４と追跡部８は前述の図６と同様に
して動作し、追跡部８は観測部４から得られる観測情報
に含まれる重心点位置に基づいて予測位置を推定し、そ
の推定結果に基づいて方向角を推定し、複数の人物のう
ちの特定の人物を追跡する。
して動作し、追跡部８は観測部４から得られる観測情報
に含まれる重心点位置に基づいて予測位置を推定し、そ
の推定結果に基づいて方向角を推定し、複数の人物のう
ちの特定の人物を追跡する。
【００８５】観測部４から追跡部８に送られる観測情報
のうち、高さ情報は高さ情報抽出回路３０によって抽出
され、背たけ変換回路３２で背たけに変換され、状態推
定回路３４によって人物が立っている状態であるかある
いは着席している状態であるかが推定される。追跡部８
では推定された状態に応じて追跡する人物を切換える。
すなわち、追跡していた人物が着席した状態であれば、
もはやその人物は移動することがないので、他の人物を
追跡する。
のうち、高さ情報は高さ情報抽出回路３０によって抽出
され、背たけ変換回路３２で背たけに変換され、状態推
定回路３４によって人物が立っている状態であるかある
いは着席している状態であるかが推定される。追跡部８
では推定された状態に応じて追跡する人物を切換える。
すなわち、追跡していた人物が着席した状態であれば、
もはやその人物は移動することがないので、他の人物を
追跡する。
【００８６】なお、上述の説明は人物が立っている状態
と着席している状態を推定するようにしたが、これに限
ることなく人物が停止している状態から移動を開始する
状態または移動している状態から停止する状態のような
行動情報を推定するようにしてもよい。その場合には、
人物の動きが一定以上の速度になれば動いている状態と
推定し、速度が０になれば停止していると推定すればよ
い。この場合、前述の式（４）〜（６）は次の式（１
８）〜（２０）に置き換えられる。これらの式は時刻ｔ
aに行なわれた前回の観測までの情報から、時刻ｔbにお
ける人物ｈ1の状態の予測を行なう場合を示している。
と着席している状態を推定するようにしたが、これに限
ることなく人物が停止している状態から移動を開始する
状態または移動している状態から停止する状態のような
行動情報を推定するようにしてもよい。その場合には、
人物の動きが一定以上の速度になれば動いている状態と
推定し、速度が０になれば停止していると推定すればよ
い。この場合、前述の式（４）〜（６）は次の式（１
８）〜（２０）に置き換えられる。これらの式は時刻ｔ
aに行なわれた前回の観測までの情報から、時刻ｔbにお
ける人物ｈ1の状態の予測を行なう場合を示している。
【００８７】
【数８】
【００８８】上記式でＱx，ΔｔはΔｔ間の運動の揺ら
ぎを示しており、この大きさは現在の運動の状態により
変化すると考えられる。上述の実施形態では、この値を
歩行幅は大，停止中は中，着席中は小というように変化
させることが考えられる。このように、運動モデルを変
化させることで、推定結果の信頼性を物体の運動状態に
応じて評価することが可能となる。
ぎを示しており、この大きさは現在の運動の状態により
変化すると考えられる。上述の実施形態では、この値を
歩行幅は大，停止中は中，着席中は小というように変化
させることが考えられる。このように、運動モデルを変
化させることで、推定結果の信頼性を物体の運動状態に
応じて評価することが可能となる。
【００８９】図１７に示した第２の実施形態では、人物
が立っているかあるいは着席中であるかの状態推定およ
び人物が停止しているかあるいは移動を開始したかの状
態を推定するようにした。しかし、観測される各画像の
特徴と追跡モデルの対応づけにおいて、位置情報に代え
て画像から観測可能な対象物体固有の属性値を用いるこ
ともできる。ここで、固有の属性値としては、前述の対
象物体の背たけや行動情報に限ることなく服の色なども
考えられる。
が立っているかあるいは着席中であるかの状態推定およ
び人物が停止しているかあるいは移動を開始したかの状
態を推定するようにした。しかし、観測される各画像の
特徴と追跡モデルの対応づけにおいて、位置情報に代え
て画像から観測可能な対象物体固有の属性値を用いるこ
ともできる。ここで、固有の属性値としては、前述の対
象物体の背たけや行動情報に限ることなく服の色なども
考えられる。
【００９０】図１９はそのような実施形態を示すブロッ
ク図である。図１９に示した観測部４には図１７に示し
たシルエットの高さ検出回路１７に代えて、シルエット
の高さ，色検出回路１８が設けられ、追跡部８には図１
７の高さ抽出回路３０と背たけ変換回路３２に代えて、
高さ，色情報抽出回路３６と背たけ，色変換回路３８が
設けられる。観測部４のシルエットの高さ，色検出回路
１８は図１７で説明したように人物の高さを検出すると
ともに、図２０に示すように領域分割された画像のうち
の胸の部分（図２０の斜線で示す部分）の平均色も検出
して特徴点対応づけ回路１６に与える。
ク図である。図１９に示した観測部４には図１７に示し
たシルエットの高さ検出回路１７に代えて、シルエット
の高さ，色検出回路１８が設けられ、追跡部８には図１
７の高さ抽出回路３０と背たけ変換回路３２に代えて、
高さ，色情報抽出回路３６と背たけ，色変換回路３８が
設けられる。観測部４のシルエットの高さ，色検出回路
１８は図１７で説明したように人物の高さを検出すると
ともに、図２０に示すように領域分割された画像のうち
の胸の部分（図２０の斜線で示す部分）の平均色も検出
して特徴点対応づけ回路１６に与える。
【００９１】一方、追跡部８の高さ，色情報抽出回路３
６は観測情報から高さ情報と色情報とを抽出し、背た
け，色変換回路３８は高さ情報と色情報とから背たけや
色を変換し、状態推定回路３４が人物の状態を推定す
る。この場合、前回の観測で得られた色情報Ｓtnと今回
の観測で得られた色情報Ｓtn+1は次式で示される。
６は観測情報から高さ情報と色情報とを抽出し、背た
け，色変換回路３８は高さ情報と色情報とから背たけや
色を変換し、状態推定回路３４が人物の状態を推定す
る。この場合、前回の観測で得られた色情報Ｓtnと今回
の観測で得られた色情報Ｓtn+1は次式で示される。
【００９２】
【数９】
【００９３】このように、観測情報として背たけや色情
報というような対象物体固有の属性値を用いることによ
り、対象物体が接近している場合であっても混同してし
まうことがないという利点がある。
報というような対象物体固有の属性値を用いることによ
り、対象物体が接近している場合であっても混同してし
まうことがないという利点がある。
【００９４】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。
【００９５】
【発明の効果】この発明に係る移動物体追跡装置によれ
ば、複数の視点で非同期に撮影した画像内の画像特徴に
基づきカルマンフィルタによる物体追跡を行なうことに
より、同期撮影に比べて移動物体を高精度に追従するこ
とが可能となる。
ば、複数の視点で非同期に撮影した画像内の画像特徴に
基づきカルマンフィルタによる物体追跡を行なうことに
より、同期撮影に比べて移動物体を高精度に追従するこ
とが可能となる。
【００９６】また、視点毎に独立して観測を行うように
構成することにより、システムの実装を簡素化すること
が可能となり、また処理効率を向上させることが可能と
なる。
構成することにより、システムの実装を簡素化すること
が可能となり、また処理効率を向上させることが可能と
なる。
【００９７】さらに、ローカルエリアネットワークＬＡ
Ｎに接続された計算機それぞれにカメラを接続し、入力
画像から得られた２次元特徴をローカルエリアネットワ
ークＬＡＮを通して通信するように構成することによ
り、観測視点の追加・削除を容易に行なうことが可能と
なる。
Ｎに接続された計算機それぞれにカメラを接続し、入力
画像から得られた２次元特徴をローカルエリアネットワ
ークＬＡＮを通して通信するように構成することによ
り、観測視点の追加・削除を容易に行なうことが可能と
なる。
【００９８】さらに、移動物体の背たけ情報や行動情報
や色情報などの属性値に基づいて対応する移動物体の状
態を検出し、検出した状態に応じて追跡に用いる運動モ
デルを切換えることにより、より精緻な追跡を行なうこ
とができる。
や色情報などの属性値に基づいて対応する移動物体の状
態を検出し、検出した状態に応じて追跡に用いる運動モ
デルを切換えることにより、より精緻な追跡を行なうこ
とができる。
【図１】 本発明の実施の形態による移動物体追跡装置
１の全体構成を示すブロック図である。
１の全体構成を示すブロック図である。
【図２】 本発明の実施の形態において用いた人体モデ
ルについて説明するための図である。
ルについて説明するための図である。
【図３】 観測部４の構成の概要について説明するため
の図である。
の図である。
【図４】 観測部における特徴抽出処理について説明す
るための図である。
るための図である。
【図５】 特徴点の対応付け処理について説明するため
の図である。
の図である。
【図６】 図１に示す追跡部８の構成の概要について説
明するための図である。
明するための図である。
【図７】 位置推定処理について説明するための図であ
る。
る。
【図８】 方向角推定回路２４における処理を説明する
ための図である。
ための図である。
【図９】 位置追従の精度を確認するためのシミュレー
ション実験について説明するための図である。
ション実験について説明するための図である。
【図１０】 図９に対する実験結果を説明するための図
である。
である。
【図１１】 複数人物の動きを推定する能力を明らかに
するためのシミュレーション実験について説明するため
の図である。
するためのシミュレーション実験について説明するため
の図である。
【図１２】 図１１に対する実験結果を説明するための
図である。
図である。
【図１３】 図１１に対する実験結果を説明するための
図である。
図である。
【図１４】 図１１に対する実験結果を説明するための
図である。
図である。
【図１５】 図１１に対する実験結果を説明するための
図である。
図である。
【図１６】 図１１に対する実験結果を説明するための
図である。
図である。
【図１７】 この発明の第２の実施形態の観測部と追跡
部の態様を示す図である。
部の態様を示す図である。
【図１８】 人物が立っているときと着席しているとき
の２値化画像を示す図である。
の２値化画像を示す図である。
【図１９】 この発明の第３の実施形態の観測部と追跡
部の態様を示す図である。
部の態様を示す図である。
【図２０】 領域分割された画像のうちの胸の部分の平
均色を検出する状態を示す図である。
均色を検出する状態を示す図である。
１ 移動物体追跡装置、２♯１〜２♯ｎ カメラ、４♯
１〜４♯ｎ 観測部、６ 発見部、８ 追跡部、１０
領域分割回路、１２ 画素値算出回路、１４重心点選択
回路、１６ 特徴点対応づけ回路、１７ シルエットの
高さ検出回路、１８ シルエットの高さ，色検出回路、
２２ 位置推定回路、２４ 方向角推定回路、３０ 高
さ情報抽出回路、３２ 背たけ変換回路、３４ 状態推
定回路、３６ 高さ，色情報抽出回路、３８ 背たけ，
色変換回路。
１〜４♯ｎ 観測部、６ 発見部、８ 追跡部、１０
領域分割回路、１２ 画素値算出回路、１４重心点選択
回路、１６ 特徴点対応づけ回路、１７ シルエットの
高さ検出回路、１８ シルエットの高さ，色検出回路、
２２ 位置推定回路、２４ 方向角推定回路、３０ 高
さ情報抽出回路、３２ 背たけ変換回路、３４ 状態推
定回路、３６ 高さ，色情報抽出回路、３８ 背たけ，
色変換回路。
Claims (8)
- 【請求項１】 シーン内を移動する移動物体を追跡する
移動物体追跡装置であって、 前記シーン内を複数の視点から撮影するための複数の撮
影手段と、 前記複数の撮影手段のそれぞれに対応して設けられ、互
いに独立して動作し、対応する撮影手段から受ける画像
から特徴点を抽出し、前記抽出結果を観測情報として出
力する複数の観測手段と、 前記複数の観測手段のうち前記特徴点を抽出した観測手
段からの要求に従い、カルマンフィルタを用いて前記複
数の観測手段の観測情報を統合することにより前記移動
物体の状態を予測する追跡手段とを備えた、移動物体追
跡装置。 - 【請求項２】 前記複数の観測手段のそれぞれは、 前記対応する撮影手段から受ける画像を背景画像と移動
物体領域とに分割する領域分割手段と、 前記領域分割手段により取出された移動物体領域の重心
点を求め、前記特徴点として前記重心点の情報を出力す
る手段とを含む、請求項１記載の移動物体追跡装置。 - 【請求項３】 前記追跡手段は、計算機で構成され、 前記複数の観測手段のそれぞれは、計算機で構成され、 前記複数の観測手段のそれぞれと前記追跡手段とは、相
互通信を行なう、請求項１記載の移動物体追跡装置。 - 【請求項４】 シーン内を移動する移動物体を追跡する
移動物体追跡装置であって、 前記シーン内を複数の視点から撮影するための複数の撮
影手段と、 前記複数の撮影手段のそれぞれに対応して設けられ、互
いに独立して動作する複数の観測手段とを備え、 前記複数の観測手段のそれぞれは、 対応する撮影手段から受ける画像から特徴点を抽出する
特徴点抽出手段と、 少なくとも１以上の追跡対象である移動物体と前記抽出
した特徴点との対応づけを行い、前記対応づけの結果を
観測情報として出力する特徴点対応づけ手段とを含み、 前記複数の観測手段のうち前記特徴点を抽出した観測手
段からの要求に従い、カルマンフィルタを用いて前記複
数の観測手段の観測情報を統合することにより前記少な
くとも１以上の追跡対象である移動物体の状態を予測す
る追跡手段と、 前記特徴点対応づけ手段において対応づけができなかっ
た特徴点を用いて、新たに追跡対象となる移動物体を検
出して、前記検出結果を前記追跡手段に送信する発見手
段とをさらに備え、 前記特徴点対応づけ手段は、 前記追跡手段への要求に対して前記追跡手段から送信さ
れる前記少なくとも１以上の追跡対象である移動物体の
予測状態に基づき、前記抽出した特徴点に対応する追跡
対象である移動物体を検出する、移動物体追跡装置。 - 【請求項５】 前記特徴点抽出手段は、 前記対応する撮影手段から受ける画像を背景画像と移動
物体領域とに分割する領域分割手段と、 前記特徴点として、前記領域分割手段により取出された
移動物体領域の重心点を抽出する手段とを含む、請求項
４記載の移動物体追跡装置。 - 【請求項６】 前記追跡手段は、計算機で構成され、 前記発見手段は、計算機で構成され、 前記複数の観測手段のそれぞれは、計算機で構成され、 前記追跡手段は、前記発見手段と相互通信を行い、 前記複数の観測手段のそれぞれは、前記追跡手段および
前記発見手段のそれぞれと相互通信を行なう、請求項４
記載の移動物体追跡装置。 - 【請求項７】 シーン内を移動する移動物体を追跡し
て、その移動物体の状態に応じて追跡に用いる運動モデ
ルを切換える移動物体追跡装置であって、 前記シーン内を複数の視点から撮影するための複数の撮
影手段と、 前記複数の撮影手段のそれぞれに対応して設けられ、か
つ互いに独立して動作し、対応する撮影手段から受ける
画像から対象とする移動物体固有の属性値を抽出し、そ
の抽出結果を観測情報として出力する複数の観測手段
と、 前記複数の観測手段のうち、前記移動物体固有の属性値
を抽出した観測手段からの要求に従って、該抽出した属
性値に基づいて対応する移動物体の状態を検出し、検出
された状態に応じて追跡に用いる運動モデルを切換える
追跡手段を備えた、移動物体追跡装置。 - 【請求項８】 前記属性値は、前記移動物体の背たけ情
報，行動情報および色情報の少なくともいずれか１つで
ある、請求項７記載の移動物体追跡装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30818799A JP3401512B2 (ja) | 1999-03-26 | 1999-10-29 | 移動物体追跡装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8436399 | 1999-03-26 | ||
| JP11-84363 | 1999-03-26 | ||
| JP30818799A JP3401512B2 (ja) | 1999-03-26 | 1999-10-29 | 移動物体追跡装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000348181A true JP2000348181A (ja) | 2000-12-15 |
| JP3401512B2 JP3401512B2 (ja) | 2003-04-28 |
Family
ID=26425414
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30818799A Expired - Fee Related JP3401512B2 (ja) | 1999-03-26 | 1999-10-29 | 移動物体追跡装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3401512B2 (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003279315A (ja) * | 2002-01-16 | 2003-10-02 | Advanced Telecommunication Research Institute International | カメラの自動校正方法 |
| JP2006170993A (ja) * | 2004-12-10 | 2006-06-29 | Microsoft Corp | 非同期画像部分をマッチングすること |
| JP2006226965A (ja) * | 2005-02-21 | 2006-08-31 | Sumitomo Electric Ind Ltd | 画像処理装置、コンピュータプログラム、及び画像処理方法 |
| JP2006338379A (ja) * | 2005-06-02 | 2006-12-14 | Norbert Link | 調査区域にいる人物を検出するための装置および方法 |
| JP2007041791A (ja) * | 2005-08-02 | 2007-02-15 | Nissan Motor Co Ltd | 俯瞰画像表示システム及び俯瞰画像の表示方法 |
| JP4782123B2 (ja) * | 2005-04-01 | 2011-09-28 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | カメラによりシーンに関して取得された映像中の移動物体を追跡する方法 |
| JP2016091407A (ja) * | 2014-11-07 | 2016-05-23 | セコム株式会社 | 位置合わせ装置及びプログラム |
| WO2022091620A1 (ja) * | 2020-10-28 | 2022-05-05 | 京セラ株式会社 | 物体追跡装置及び物体追跡方法 |
| EP4362455A1 (en) | 2022-10-27 | 2024-05-01 | Fujitsu Limited | Position prediction program, information processing device, and position prediction method |
-
1999
- 1999-10-29 JP JP30818799A patent/JP3401512B2/ja not_active Expired - Fee Related
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003279315A (ja) * | 2002-01-16 | 2003-10-02 | Advanced Telecommunication Research Institute International | カメラの自動校正方法 |
| JP2006170993A (ja) * | 2004-12-10 | 2006-06-29 | Microsoft Corp | 非同期画像部分をマッチングすること |
| JP2006226965A (ja) * | 2005-02-21 | 2006-08-31 | Sumitomo Electric Ind Ltd | 画像処理装置、コンピュータプログラム、及び画像処理方法 |
| JP4782123B2 (ja) * | 2005-04-01 | 2011-09-28 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | カメラによりシーンに関して取得された映像中の移動物体を追跡する方法 |
| JP2006338379A (ja) * | 2005-06-02 | 2006-12-14 | Norbert Link | 調査区域にいる人物を検出するための装置および方法 |
| JP2007041791A (ja) * | 2005-08-02 | 2007-02-15 | Nissan Motor Co Ltd | 俯瞰画像表示システム及び俯瞰画像の表示方法 |
| JP4725233B2 (ja) * | 2005-08-02 | 2011-07-13 | 日産自動車株式会社 | 俯瞰画像表示システム |
| JP2016091407A (ja) * | 2014-11-07 | 2016-05-23 | セコム株式会社 | 位置合わせ装置及びプログラム |
| WO2022091620A1 (ja) * | 2020-10-28 | 2022-05-05 | 京セラ株式会社 | 物体追跡装置及び物体追跡方法 |
| JPWO2022091620A1 (ja) * | 2020-10-28 | 2022-05-05 | ||
| JP7425223B2 (ja) | 2020-10-28 | 2024-01-30 | 京セラ株式会社 | 物体追跡装置及び物体追跡方法 |
| EP4362455A1 (en) | 2022-10-27 | 2024-05-01 | Fujitsu Limited | Position prediction program, information processing device, and position prediction method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3401512B2 (ja) | 2003-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1870038B1 (en) | Motion capture apparatus and method, and motion capture program | |
| JP4912388B2 (ja) | ２次元見え方およびマルチキュー奥行き推定を使用する実世界の物体の視覚的追跡方法 | |
| JP2007310707A (ja) | 姿勢推定装置及びその方法 | |
| Zhu et al. | Constrained optimization for human pose estimation from depth sequences | |
| JP2009536731A5 (ja) | ||
| Tang et al. | Joint multi-view people tracking and pose estimation for 3D scene reconstruction | |
| JP7379065B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP2018113021A (ja) | 情報処理装置およびその制御方法、プログラム | |
| JP3520050B2 (ja) | 移動物体追跡装置 | |
| JP3401512B2 (ja) | 移動物体追跡装置 | |
| JP3411889B2 (ja) | カメラの自動校正方法 | |
| JP7498404B2 (ja) | 被写体の３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム | |
| CN113487674A (zh) | 一种人***姿估计***和方法 | |
| JP6659095B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2007109126A (ja) | 移動体分布推定装置、移動体分布推定方法及び移動体分布推定プログラム | |
| JPH0792369B2 (ja) | 画像計測装置 | |
| Krishnan et al. | 2D feature tracking algorithm for motion analysis | |
| Cordea et al. | 3D head pose recovery for interactive virtual reality avatars | |
| Mamania et al. | Markerless Motion Capture from Monocular Videos. | |
| JP7499345B2 (ja) | 複数の姿勢推定エンジンを用いた手のマーカレス運動捕捉 | |
| Takahashi et al. | Remarks on a real‐time, noncontact, nonwear, 3D human body posture estimation method | |
| JP7277829B2 (ja) | カメラパラメータ推定装置、カメラパラメータ推定方法及びカメラパラメータ推定プログラム | |
| JP3230292B2 (ja) | ３次元物体の形状測定装置、３次元物体の形状復元装置、３次元物体の形状測定方法、および、３次元物体の形状復元方法 | |
| JP4027294B2 (ja) | 移動体検出装置、移動体検出方法及び移動体検出プログラム | |
| Hahn et al. | 3D pose estimation and motion analysis of the articulated human hand-forearm limb in an industrial production environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030204 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |