JPH08214289A - 時系列画像解析装置及びその解析方法 - Google Patents

Abstract

(57)【要約】 【課題】 【目的】本発明は、対象物の形状と動作に関する知識を
利用し、対象物の動きを高精度に解析を行うことができ
る時系列画像解析装置及びその解析方法を提供すること
を目的とする。 【解決手段】 【構成】本発明は、デジタル画像信号をフレーム単位で
の画像データとして記憶するバッファメモリ部３と、そ
の画像データから対象物（動画像領域）を抽出し、シル
エット画像を生成する形状生成部５と、そのシルエット
画像を対象物の各部位の形状に対応する幾何学的なモデ
ル形状や動作による形状変化の情報が記憶される対象物
モデル部６と、形状生成部５と対象物モデル部６の出力
から対象物の各部位の位置や傾斜角のパラメータを概念
的に算出するパラメータ算出部７と、算出されたパラメ
ータ群全体をシルエット画像群に整合させる整合部８と
出力部１０とで構成される時系列画像解析装置である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、時系列画像中から所定
の対象物を抽出し、解析を行う時系列画像解析装置に係
り、対象物の動作を高精度に解析を行う時系列画像解析
装置及びその解析方法に関する。

【０００２】

【従来の技術】一般に、ＣＣＤカメラ等の画像撮影装置
により撮影された画像の認識を行うための種々の技術が
知られている。例えば、「だ円によるシルエット図形の
記述と表現」（木本伊彦他 電子情報通信学会論文誌
Ｄ−II Ｖｏｌｌ．Ｊ７６−ＤII Ｎｏ．６ Ｐ１１５
９〜Ｐ１１６７）に記載されるように、自然画像から２
値化処理を行うことにより、シルエットの抽出を行い、
その抽出されたシルエット領域内を全探索し、面積最大
の楕円の当て嵌めを行う。そして、当て嵌めを行われて
いない残りのシルエット領域に関しても同様に楕円の当
て嵌めを行い、対象物の形状の認識を行っている。

【０００３】

【発明が解決しようとする課題】しかし前述した従来の
手法では、対象物の認識が一枚の静止画像とこの静止画
像から抽出されたシルエット画像のみで行われている。
従って、影や遮蔽の影響で対象物の本来の形状の情報が
欠落している場合、どの部位が欠落しているのか、また
はこのどの部位がどのような動きをしているのか解析す
ることができない。 さらに誤認識が生じた場合でも、
それが実際に、誤認識であるかどうか判定できない。

【０００４】そこで本発明は、対象物の形状と動作に関
する知識を利用し、対象物の動きを高精度に解析を行う
ことができる時系列画像解析装置及びその解析方法を提
供することを目的とする。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に、時系列画像中の所定の対象物を解析する時系列画像
解析装置において、上記時系列画像中の所定の時間範囲
内の複数の画像から対象物を抽出する形状生成手段と、
上記対象物の形状及び動きによる形状変化に関する知識
を、上記対象物を構成する部位のそれぞれについてパラ
メータとして格納する対象物モデル手段と、上記形状生
成手段によって抽出された上記対象物から上記対象物モ
デル手段に格納されたパラメータと経時的に対応した部
位の位置や傾斜角のパラメータを算出するパラメータ算
出手段と、上記複数の画像のそれぞれに対応する、上記
パラメータ算出手段により算出された上記対象物のパラ
メータを構成要素とするパラメータの集合を、上記対象
物のパラメータに対応する上記モデル手段に格納された
パラメータのそれぞれを構成要素とするパラメータの集
合に整合させる整合手段とで構成される時系列画像解析
装置を提供する。

【０００６】さらに、時系列画像中の所定の対象物を解
析する動画像解析方法において、上記対象物の形状及び
動きによる形状変化の知識を、上記対象物を構成する部
位のそれぞれについてパラメータ化することによってモ
デル化し、上記モデル化されたパラメータのうち動きに
関する知識を時間の関数として格納し、上記時系列画像
中の所定の時間範囲内の複数の画像から上記対象物を抽
出して、上記モデル化されたパラメータに対応するパラ
メータを算出し、上記モデル化されたパラメータと上記
対象物から算出されたパラメータとの間の同期をとり、
同期した上記対象物からのパラメータによる形状と、上
記モデル化されたパラメータによる形状との大きさが合
うように上記モデル化されたパラメータを補正し、上記
対象物に基づいて算出したパラメータを上記関数から求
められたパラメータに整合する時系列画像解析方法を提
供する。

【０００７】

【作用】以上のような構成の時系列画像解析装置によ
り、時系列画像中の所定の時間範囲内の複数の画像から
対象物を抽出し、対象物を構成する部位の形状と動きを
パラメータとして表し、他方で上記対象物のモデルを上
記パラメータに対応するパラメータとして格納する。上
記複数の画像において全体として、対象物から求められ
たパラメータと、モデルのパラメータとが整合するよう
に、すなわち、それぞれのパラメータの値が所定の関係
を満たすように対象物から求められたパラメータを補正
することによって、対象物の動きが認識され、高精度に
解析される。若しくは、上記パラメータ算出手段によっ
て算出されたパラメータから対象物を表す画像として構
成される画像と上記形状生成手段によって抽出された対
象物が所定の関係を満たすように上記対象物のパラメー
タを補正することによって対象物の動きを解析する。

【０００８】また、時系列画像解析方法により、時系列
画像中の対象物を構成する各部位のパラメータを算出
し、抽出された対象物に基づいて、モデルの大きさの補
正が行われ、対象物とモデルの動きの同期がとられた
後、対象物から算出されたパラメータとモデルのパラメ
ータのそれぞれの大きさが所定の関係を満たすように対
象物から算出されたパラメータが補正される。

【０００９】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態について詳細に説明する。

【００１０】図１は、本発明による第１実施形態として
の時系列画像解析装置の概略的な全体の構成例を示す図
である。

【００１１】この時系列画像解析装置は、ＣＣＤカメラ
等からなる画像の入力部１と、上記入力部１からの画像
入力信号をデジタル化するＡ／Ｄ部２と、上記Ａ／Ｄ部
２からのデジタル画像信号をフレーム単位で一時的に記
憶するバッファメモリ部３と、上記バッファメモリ部３
からの画像データを保存する磁気ディスク等からなる補
助入出力部４と、上記画像データから所望の対象物
（動画像領域）を抽出し、シルエット画像として生成す
る形状生成部５と、上記形状生成部５により生成された
シルエット画像を、予め解析の対象となる物体の各部位
（パーツ）の形状に対応する単純な幾何学的な形状、例
えば図２に示す楕円のような幾何学形状で各部位を表現
するためのモデル形状や動作の情報などが格納されてい
る対象物モデル部６と、上記形状生成部５と上記対象物
モデル部６により対象物を構成する部位に分割し、各部
位の位置や傾斜角のパラメータを概略的に算出するパラ
メータ算出部７と、上記パラメータ算出部７により算出
されたパラメータ群全体を、上記対象物モデル部６が出
力するパラメータ群全体及び形状生成部５が生成したシ
ルエット画像群に整合させる整合部８と、上記整合部８
で算出されたパラメータ群を画像生成部１２に出力す
る。上記画像生成部１２にて画像化された解析結果の出
力をアナログ化するＤ／Ａ部９と、アナログ化された画
像データを出力する出力部１０と、これらの構成部の動
作を制御する制御部１１とで構成される。以上のように
構成された時系列画像解析装置における画像解析につい
て説明する。

【００１２】まず、入力部１は撮影した映像を光電変換
し、制御部１１の制御に基づき、所定時間の映像信号と
してＡ／Ｄ部２へ転送する。上記Ａ／Ｄ部２は、上記映
像信号をデジタル画像信号に変換し、バッファメモリ部
３へ転送する。このバッファメモリ部３は、複数のフレ
ームメモリで構成され、Ａ／Ｄ部２からの上記デジタル
画像信号を一時的に記憶し、フレーム単位の画像データ
に変換して順次、磁気ディスク装置などの補助入出力部
４へ出力する。

【００１３】上記補助入出力部４は、制御部１１の制御
により上記画像データを形状生成部５へ出力する。形状
生成部５では、上記画像データにおいて、解析処理の対
象物が存在しない背景画像と、対象物の存在している原
画像との差の絶対値を算出した後、２値化処理し、動画
像領域（対象物のシルエット画像）のみを取り出す。こ
こで、上記背景画像は、予め撮影したものを用いてもよ
いし、原画像から背景画像を生成して用いてもよい。

【００１４】上記形状生成部５で生成されたシルエット
画像は、対象物モデル部６、パラメータ算出部７、整合
部８にそれぞれ出力される。

【００１５】上記対象物モデル部６は、制御部１１の制
御により、シルエット画像と対象物の形状の情報を用い
てモデルサイズの校正を行う。上記パラメータ算出部７
では、制御部１１の制御により、形状生成部５のシルエ
ット画像と、対象物モデル部６の各出力から対象物の各
部位の位置や傾斜角のパラメータを概略的に決定する。
具体的な一例としては、形状生成部５で生成されたシ
ルエット画像よりスケルトンの抽出を行う。抽出された
スケルトンは、元のシルエットの幅の情報を含んでい
る。また、スケルトンの抽出方法に関しては、例えば、
総研出版刊、コンピュータ画像処理入門（ｐ７７）など
に記載されており、ここでの詳細な説明は省略する。

【００１６】次に上記対象物モデル部６の各部位のサイ
ズに基づきスケルトンの分割を行う。分割されたスケル
トンの中心点が各部位の位置に、傾きが傾斜角に相当す
る。また、中心点におけるスケルトンの幅情報を許容範
囲εとする。

【００１７】そして、形状生成部５で生成されたシルエ
ット画像、対象物モデル部６のモデル、パラメータ算出
部７で算出された各部位のパラメータは、整合部８にそ
れぞれ出力される。上記整合部８では、形状生成部５、
対象物モデル部６、パラメータ算出部７の各出力を用い
て、時系列画像中の対象物と対象物モデル部６の動作に
関する時刻の同期を行い、パラメータ算出部７により算
出されたパラメータ群全体と対象物モデル部６のパラメ
ータ群全体および形状生成部５のシルエット画像群との
関係を照合し、誤差を最小化させる。

【００１８】上記整合部８の出力は、制御部１１の制御
により、画像生成部１２に転送され、算出されたパラメ
ータを例えば、楕円等で表すことにより画像化する。前
記画像生成部１２で生成された画像は、Ｄ／Ａ部９に転
送して、アナログ信号に変換される。さらに制御部１１
により上記アナログ信号をディスプレイ等の出力部１０
へ出力し、画像解析結果を表示する。

【００１９】次に図２は、対象物モデル部６に格納され
ているモデルを説明するための図である。

【００２０】図２（ａ）は、例えば、人間を対象物と
し、この形状を胴体、頭、手足等の対象物を構成する複
数の部位に分解して、楕円で表現した場合のモデルを示
す。但し上記楕円は単純な幾何学的形状の一例であり、
数字は部位の番号であり、ａ，ｂは、各部位の長さを表
す。このモデルでは、各部位のサイズ比、接続関係など
対象物に関して、予め分かっている標準的な情報が格納
してある。

【００２１】図２（ｂ）は、各部位の接続関係と接続番
号を示す。

【００２２】対象物の各部位の大きさを対象物の身長に
対する比率として定義し、対象物モデル部６に格納す
る。また、各部位の大きさの校正を行うために、モデル
の対象物の高さ方向の大きさ（身長）ｍｈもモデルの一
部として格納しておく。なお、単純な幾何学的形状とし
ては、楕円に限定されるものではなく、線分や円柱など
で記述することも勿論可能である。

【００２３】また、対象となる動作の各部位の位置や傾
斜角の理論的な数値データが時刻に対応して格納されて
いる。対象物の対象となる動作の数値データの算出を行
うために、マーカを用いて数値データを収集する。ここ
で、数値データとは、各部位の中心位置（ｘ，ｙ）、傾
斜角θのことである。

【００２４】マーカを対象物の各部位の中心位置に装着
し、対象となる動作の撮影を行う。撮影された画像から
マーカを抽出し、抽出されたマーカの重心を各部位の中
心点（ｘ，ｙ）とする。このマーカの傾斜角は、例えば
抽出されたマーカの細線化を行い、この線の傾きを角度
θとする。マーカの形状は、例えば長方形など傾斜角の
算出が行うことが可能である形状であればよい。

【００２５】また、マーカは各部位の接続位置つまり、
関節に装着してもよい。この場合の数値データの算出法
は、マーカを抽出し、各マーカの位置の算出を行う。接
続関係にある部位の２つのマーカの位置を用いて（１）
式に示すように部位の長さ、傾斜角、中心点の算出を行
う。

【００２６】このマーカを各部位の接続位置に装着する
ことにより、各部位の長さを正確に算出することができ
る。なお、マーカ形状は、円形のように動作の妨げにな
らず、各部位の長さ、傾斜角、中心点の算出が行うこと
が可能である形状であればよい。また、上記２つのマー
カは、色マーカや電球のように公知であるマーカを用い
て行うこともできる。

【００２７】図１３は、マーカ装着と数値データ算出法
の概念図であり、（ａ）は、マーカを各部位の中心位置
に装着した例であり、（ｂ）は、マーカを各部位の接続
関係にある部位に装着した例である。

【００２８】

【数１】

【００２９】ここで、（ｘi ，ｙi ），（ｘj ，ｙj ）
は、接続関係にある部位のマーカの位置であり、（ｘ，
ｙ）は、各部位の中心点、θは、各部位のなす傾斜角、
ａは、各部位の長さを表す。

【００３０】また、算出された数値データは、全て格納
してもよいし、対象となる動作に周期性がある場合、動
作の周期成分を抽出し、一周期分のみ格納してもよい。
また、対象となる動作の理論的な数値データは時間に対
応させて、図１４に示すようなテーブルとして保存して
もよいし、各数値データを各部位ごとに補間関数により
数式化して係数のみを保存してもよい。また、図３に示
すような存在可能領域として保存してもよい。

【００３１】次に図１５は、対象物モデル部６に格納さ
れている各数値データを各部位ごとに補間関数により数
式化して格納する概念を示す。図１５（ａ）に示すよう
に、格納された時刻ｉ−１，ｉ，ｉ＋１の各数値データ
から微分値（差分値）を算出する。

【００３２】そして図１５（ｂ）に示すように、この微
分値の変動が所定の閾値以上になる点を節点とする。抽
出された節点間をスプライン関数などで補間を行い、算
出された係数のみを格納とておく。スプライン関数に関
しては例えば、「スプライン関数入門」（電機大出版
局）などに記載されている。なお節点は、時刻ｉ−１，
ｉ，ｉ＋１の各数値データの２次微分値の変曲点として
もよい。変曲点を節点とすることにより、数値データの
変化が小さい運動についても節点を抽出することができ
る。

【００３３】なお、対象となる部位の動作に周期性があ
る場合、その動作の周期成分を抽出し、一周期分の各部
位の論理的な（理論的な）数値データを格納してもよ
い。また、対象となる部位の動作の論理的な（理論的
な）数値データは、時間に対応させたテーブルの形態で
保存してもよい。また図３に示すような存在可能領域と
して保存してもよい。

【００３４】図３（ｂ）に示すような歩行１周期におけ
る各部位の存在可能領域を理論的な数値データを基に以
下のように算出する。

【００３５】モデルの画像から対象物の領域（シルエッ
ト）を包含する矩形を公知である手法で、図３（ａ）の
ように抽出し、この矩形のｘ軸方向の中心線（中点）を
求める。この中心線を一致させるように、つまりｘ座標
を一致させるように各部位の理論的な数値データ（中心
点）を重ね合わせる。

【００３６】これにより図３（ｂ）の黒点で示す各部位
の中心点の分布を求めることができる。この中心点の分
布を包含する領域、つまり、各部位の中心点が存在可能
な領域として存在可能領域を定める。この存在可能領域
は、幾何学的な形状である楕円や半円のパラメータの組
み合わせで記述する。

【００３７】具体的には、頭部と胴体部は、中心点の平
均値を中心とする楕円で示し、手部・上腕部・前腕部は
肩の位置を、大腿部・臑部・足部は腰の位置を中心とす
る円（扇形）の組み合わせで示している。肩・腰の位置
（ｘshoulder，ｙshoulder），（ｘwaist ，ｙwaist ）
は（２）式で算出される。

【００３８】

【数２】

【００３９】ここで、（ｘ2 ，ｙ2 ）は上記で算出した
胴体部の中心点、ａ2 は胴体部の長さ、θ2 は胴体部の
傾斜角を示す。

【００４０】（３）式を用いて、手部・上腕部・前腕部
・大腿部・臑部・足部の中心点を包含するような幾何学
的な形状の算出を行う。

【００４１】

【数３】

【００４２】ただし、ｒは各部位の中心点を全て包含す
るような円の半径、ｐｈｉは円周角を示す。図１６は、
半径ｒや円周角ｐｈｉの算出方法の説明図である。これ
らは円の中心点（（ｘshoulder，ｙshoulder）または
（ｘwaist ，ｙwaist ））と各部位の全中心点との距離
と角度を例えば（４）式のように算出する。

【００４３】

【数４】

【００４４】ここで、ｘ03は、時刻０、部位番号３のｘ
座標を示し、ｒ0 ，ｐｈｉ0 は腰の位置から部位番号３
である大腿部までの距離、角度を示す。この計算を解析
を行う全ての時刻に対して行い、ｒi ，ｐｈｉi の最大
・最小の値からｒmax ，ｒmin，ｐｈｉmax ，ｐｈｉmin
を自動的に求めることができる。この操作を各部位に
関して行う。

【００４５】求められた図３（ｂ）に示す存在可能領域
は画像として格納するのではなく、半径ｒや円周角ｐｈ
ｉや中心点（ｘ，ｙ）や回転角θや長軸・短軸の長さ
ａ，ｂのパラメータをテーブルとして格納しておく。処
理を行う際、このパラメータを用いて図３（ｂ）に示す
画像として回復する。

【００４６】図４は、前述した整合部８の具体的な構成
を示すブロック図である。

【００４７】この整合部８において、形状生成部５と対
象物モデル部６の出力は、同期部２１に転送される。同
期部２１では、形状生成部５のシルエット画像群と対象
物モデル部６のモデルのパラメータ群から同期をとるた
めに、同じ動作となる時刻を複数個算出する。対象物モ
デル部６と同期部２１の各出力は、周期校正部２２に転
送される。本実施形態では、解折対象の動作に周期性が
あるものを前提としている。そこで、周期校正部２２で
は、同期部２１で算出された複数の同期時刻とから算出
される１周期にかかる時間と、対象物モデル部６の出力
であるモデルパラメータに予め含まれているモデルの１
周期にかかる時刻とに基づいて、モデルデータの周期の
校正を行う。形状生成部５と対象物モデル部６とパラメ
ータ算出部７と同期部２１と周期校正部２２はパラメー
タ修正部２３に出力される。

【００４８】このパラメータ修正部２３では、一画像内
でモデルとの対比による時系列画像のパラメータの修正
を行う。形状生成部５と対象物モデル部６とパラメータ
算出部７とパラメータ修正部２３の出力は、最適化処理
部２４に転送する。最適化処理部２４では、パラメータ
算出部７により算出されたパラメータ群全体を周期校正
された対象物モデル部６のパラメータ群全体および形状
生成部５のシルエット画像群に整合される。

【００４９】図５は、同期部２１の処理における概念図
である。同期部２１では、時刻ｔｉｍｅにおけるモデル
の位置や傾斜角のパラメータを用いて単純な幾何学的形
状の一例として楕円を生成し、時系列画像中の対象物の
シルエット画像群とのマッチングを行う。マッチング誤
差が最小となるシルエット画像の時刻が、モデルにおけ
る時刻ｔｉｍｅに相当することになる。

【００５０】上記同期部２１について、対象物が人間で
ある場合の具体的な例を、図１７に示すフローチャート
を参照して説明する。

【００５１】まず、モデルから基準動作であるｃｌｏｓ
ｅ状態（手足が閉じている状態）の時刻ｃｒｏｓｓの算
出を行う（ステップＳ１）。図１８はｃｌｏｓｅ状態の
算出方法の概念図である。基準動作ｃｌｏｓｅ状態の時
刻の算出方法は、対象物モデル部６に格納されているモ
デルのパラメータをスプライン関数から算出し、全ての
時刻に関して頭部（部位の番号０）と他の部位群とのｘ
座標の差の総和を算出する。この総和が一番小さくなる
時刻がｃｒｏｓｓとなる。図５は同期時刻ｔｉｍｅの算
出方法の概念図である。

【００５２】次に、時刻ｃｒｏｓｓのモデルのパラメー
タを用いて時刻ｃｒｏｓｓのモデルの楕円画像を生成す
る（ステップＳ２）。この時刻ｃｒｏｓｓのモデルのシ
ルエット画像と時刻ｔｉｍｅの時系列画像のシルエット
画像を包含する外接四辺形を公知である手法で抽出し、
この外接四辺形のｘ軸方向の中心線を一致させる。時系
列画像のシルエット画像とモデルの楕円画像との面積差
を算出する。

【００５３】全ての時刻の時系列画像のシルエット画像
との面積差を算出し、面積差が最小である時刻ｐｅｒｉ
ｏｄが時刻ｃｒｏｓｓと同動作を行う時刻である（ステ
ップＳ３）。

【００５４】以上のように、モデルのｃｌｏｓｅ状態の
楕円画像と時系列画像中の対象物のシルエット画像群と
のマッチングを行うことで、モデルと時系列画像との同
期をとることができる。

【００５５】また、以下のような方法でも同期時刻を算
出することも可能である。対象物モデル部６に格納され
ているモデルのシルエット画像群と時系列画像のシルエ
ット画像群の面積の最小（又は最大）となる時刻を複数
個算出する。算出された時刻がモデルと時系列画像の同
期の時刻となる。例えば、人間の歩行動作を解析対象と
した場合、シルエット画像の面積が最小となるときは、
ほぼ直立した状態を示している。ここで、モデルと時系
列画像のシルエットの面積最小時刻を算出するというこ
とは、直立状態の時刻の同期をとっていることになる。
このようにすることで、楕円画像を生成する必要がなく
なるので、処理時間を短縮することができる。

【００５６】図６と図２０は、周期校正部２２の処理に
おける概念を示す。周期校正部２２は、対象となる動作
に周期性がある場合のみ行われる。同期部２１により算
出された複数の同期の時刻により、一周期にかかる時間
Ｔの算出を行う。対象物モデル部６に格納されているモ
デルの一周期にかかる時間ＭT と時系列画像の一周期に
かかる時間Ｔとの比ｒa ＝ＭT ／Ｔを求め、この比ｒa
を用いてモデルの周期の校正を行う。

【００５７】図１９に示すフローチャートを参照して、
周期校正部２２について説明する。対象物モデル部６に
格納してあるモデルの一周期分の動作の時刻ＭT とし、
同期部２１により算出された複数の同期の時刻により、
一周期にかかる時間Ｔの算出を行う（ステップＳ１
１）。モデルの一周期にかかる時間ＭT と時系列画像の
一周期にかかる時間Ｔとの比ｒa ＝ＭT ／Ｔを求め（ス
テップＳ１２）、この比ｒa を用いてパラメータ修正部
２３でモデルの周期の校正を行う。この処理は、一周期
単位で行われる。このため対象物の動作が周期が増すご
とに加速するような状況にも対応できる。これは動作の
数値データをスプライン関数の係数として保存している
ため、任意の時刻の数値データが算出できるためであ
る。

【００５８】図７は、パラメータ修正部２３の処理にお
ける概念図である。パラメータ修正部２３では、時系列
画像の時刻ｔｉｍｅの各部位のパラメータと時刻ｔｉｍ
ｅに対応するモデルの各部位のパラメータの差の算出を
行う。パラメータ算出部７で算出された許容範囲εを閾
値とする。各パラメータ間の差が所定の閾値以上である
とき、時系列画像のパラメータをモデルのパラメータに
置換し、例えば単純な幾何学的形状の一例として楕円を
生成し、シルエット画像との誤差の算出を行う。算出さ
れた誤差が置換前より増加した場合、パラメータの置換
は破棄される。上記過程を各パラメータに対して行い、
画像内でのパラメータの修正を行う。

【００５９】図２１に示すフローチャートを参照して、
パラメータ修正部２３について説明する。

【００６０】モデルの対象物と時系列画像の対象物の大
きさの比率の算出を行う（ステップＳ２１）。対象物モ
デル部６に格納してあるモデルの対象物の高さ方向の大
きさをｍｈとし、時系列画像の対象物（シルエット画
像）を包含する外接四辺形を算出し、高さ方向の大きさ
ｈを算出する。これを用いてモデルと時系列画像の対象
物の大きさの比率ｓｃａｌｅ＝ｍｈ／ｈを算出する。対
象物の各部位の中心位置を比率ｓｃａｌｅ倍して位置の
修正を行った後、以下の処理を行う。

【００６１】周期校正部２２で算出した比率ｒa を用い
て時系列画像に対応するモデルの時刻の算出を行う（ス
テップＳ２２）。モデルの時刻を比率ｒa 倍し、時系列
画像の時刻がｒa 倍されたモデルの一周期分の時刻を越
えていたら、越えた分だけモデルの始め時刻に対応する
ように合わせる。

【００６２】時刻ｔｉｍｅの初期設定を行う（ステップ
Ｓ２３）。時刻の同期がとれたら時刻ｔｉｍｅの時系列
画像のパラメータから楕円画像を生成する（ステップＳ
２４）。時刻ｔｉｍｅの時系列画像のシルエット画像と
楕円画像との面積差を算出し、ｄｉｆｆ１に格納する
（ステップＳ２５）。

【００６３】同期処理を行った時刻ｔｉｍｅに対応する
時刻のモデルのパラメータをスプライン関数から算出
し、時刻ｔｉｍｅに対応する時刻のモデルと時系列画像
のパラメータの差の絶対値の算出を各部位毎に行う（ス
テップＳ２６）。差の絶対値をパラメータ算出部７で算
出された許容範囲εと比較し（ステップＳ２７）、小さ
ければ（ＮＯ）ステップＳ２８に移行し、時刻ｔｉｍｅ
のインクリメントを行い、ステップＳ２４に戻る。

【００６４】しかし、ステップＳ２７で大きければ（Ｙ
ＥＳ）、モデルと時系列画像のパラメータの入れ替えを
各部位毎に行う（ステップＳ２９）。時系列画像の対象
物とモデルの対象物の位置が異なるため、シルエット画
像を利用して、位置合わせを行い、パラメータの入れ替
えを直接行うようにする。時刻ｔｉｍｅの時系列画像の
シルエット画像とそれに対応するモデルのシルエット画
像を包含する外接四辺形を抽出し、外接四辺形のｘ軸方
向の中心線を一致させる。つまり、外接四辺形の中心の
ｘ座標を一致させるためのモデルの移動量を算出し、こ
の移動量をもとにモデルのパラメータの修正を行い、入
れ替えを行う。

【００６５】入れ替えたパラメータから楕円画像の生成
を行い（ステップＳ３０）、ステップＳ２５と同様にス
テップＳ３０で生成した楕円画像とシルエット画像の面
積差を算出し、ｄｉｆｆ２に格納する（ステップＳ３
１）。パラメータ入れ替え前の面積差ｄｉｆｆ１と入れ
替え後の面積差ｄｉｆｆ２を比較し（ステップＳ３
２）。ｄｉｆｆ２がｄｉｆｆ１より大きい場合（Ｎ
Ｏ）、ステップＳ２８に戻り、時刻ｔｉｍｅのインクリ
メントを行い、ステップＳ２４に戻る。小さい場合（Ｙ
ＥＳ）、パラメータの入れ替えを破棄する（ステップＳ
３３）。ステップＳ２４からステップＳ３３は、全ての
部位に対してまとめて処理を行う。時刻ｔｉｍｅと時系
列画像の終了時刻を比較し、時刻ｔｉｍｅが終了時刻よ
り小さい場合（ＮＯ）ステップＳ２８に戻り、時刻ｔｉ
ｍｅのインクリメントを行い、ステップＳ２４に戻る。
大きい場合（ＹＥＳ）処理を終了する。

【００６６】図８は、最適化処理部２４の処理における
概念図である。上記パラメータ算出部７で算出された時
系列画像のパラメータ群、対象物モデル部６のモデルの
パラメータ群と形状生成部５で生成されたシルエット画
像群の三者を整合する。このための手法の一例として評
価関数を設定し、最小化する。例えば人間を対象とした
解析の場合、（５）式のように評価関数ＥT 定義し、評
価関数ＥT をアニーリングや最急降下法などを用いて最
小化することにより、時系列画像のパラメータ群の最適
なパラメータの算出を行う。

【００６７】

【数５】

【００６８】ここで、Ｔは周期、ｉ＝Ｔ〜Ｔ＋１は時
刻、ｊ＝１〜１４は部位、ｌ＝１〜１３は図２（ｂ）に
示すような各部位の接続番号、Ｐｍはモデルのパラメー
タ群、Ｐは時系列画像中の対象物の各部位のパラメータ
群である。第１項は対象物のパラメータをモデルのパラ
メータと整合させる。Ｓｉｌは時系列画像中の対象物の
シルエット画像、Ｐａｒは時系列画像のパラメータによ
り生成した楕円画像であり、第２項は時系列画像のパラ
メータをシルエット画像に整合させる。

【００６９】Ｌｍ及びＬは、図２（ｂ）に示される１３
組の接続関係にある部位の中心点間の距離である。つま
り頭部と胴体部などの結合関係にある部位の中心位置間
の距離である。Ｌｍはモデルに関する各部位の中心点間
の距離、Ｌは時系列画像中に関する各部位の中心点間の
距離を表す。第三項は、時系列画像中の対象物の各部位
間のパラメータの結合関係をモデルの結合関係に整合さ
せる。ｋは、それぞれの項のウエイトである。

【００７０】なお、（６）式のような評価関数ＥT をア
ニーリングや最急降下法などを用いて時系列画像のパラ
メータ群の最適なパラメータの算出を行うことも可能で
ある。

【００７１】

【数６】

【００７２】ここで、Ｔは周期、ｉ＝Ｔ〜Ｔ＋１は時
刻、ｊ＝１〜１４は部位、ｌ＝１〜１３は図２（ｂ）に
示すような各部位の接続番号。Ｐｍはモデルのパラメー
タ群、Ｐは時系列画像中の対象物の各部位のパラメータ
群である。第一項は対象物のパラメータをモデルのパラ
メータと整合させる。Ｓｉｌは時系列画像中の対象物の
シルエット画像、Ｐａｒはモデルのパラメータにより生
成した楕円画像であり、第二項はモデルのパラメータを
シルエット画像に整合させる。Ｌｍ及びＬは、図２
（ｂ）に示される１３組の結合関係にある中心点間の距
離である。つまり、頭部と胴体部などの結合関係にある
部位の中心位置間の距離である。Ｌｍはモデルに関する
各部位の中心点間の距離、Ｌは時系列画像中に関する各
部位の中心点間の距離を表す。第三項は、時系列画像中
の対象物の各部位間のパラメータの結合関係をモデルの
結合関係に整合させる。Ｐｃは時刻ｉ−２，ｉ−１，
ｉ，ｉ＋１，ｉ＋２の時系列画像のパラメータに、重み
をそれぞれ１：２：３：２：１だけ与え、平均値を算出
した値であり、第四項は、時系列画像のパラメータを前
後の時刻から推測されるパラメータ値に整合させる。ｋ
は、各項に対するウエイトである。

【００７３】上記３者の整合をとり、時系列画像のパラ
メータ群の最適なパラメータの算出をアニーリングを利
用して行う方法を以下に示す。図２２に示すフローチャ
ートを参照して、最適化処理部２４を説明する。

【００７４】まず、温度Ｔｅｍｐint と反復回数ｎの初
期設定を行う（ステップＳ４１）。ｉｔｅｒａｔｉｏｎ
とＴｅｍｐの初期設定を行う（ステップＳ４２）。初期
エネルギーｉｎｉｔ ｅｎｇの算出を行う（ステップＳ
４３）。

【００７５】初期エネルギーは、（５）式や（６）式の
評価関数を計算した結果を表す。乱数ｒａｎを発生さ
せ、微小変化を与える値ｇとパラメータの種類ｘｙｒと
時刻ｔｉｍｅと部位番号ｐを決定する（ステップＳ４
４）。例えば、０〜１までの乱数を発生せた場合の各パ
ラメータは、 ｔｉｍｅ＝ｒａｎ×画像の枚数 ｘｙｒ＝ｒａｎ×３ （ｘｙｒ＝１の時ｘ，ｘｙｒ＝２
の時ｙ，ｘｙｒ＝３の時ｒａｄ） ｐ＝ｒａｎ×１４ ｇ＝部位番号ｐの部位の長さ×（ｒａｎ×２．１−１．
０） として与えられる。

【００７６】時刻ｔｉｍｅの時系列画像のパラメータｘ
ｙｒ［ｔｉｍｅ］［ｐ］に微小変化ｇを与える（ステッ
プＳ４５）。微小変化を与えたパラメータを用いてエネ
ルギーｅｎｇの算出を行う（ステップＳ４６）。初期エ
ネルギーｉｎｉｔ ｅｎｇとエネルギーｅｎｇを比較し
（ステップＳ４７）、ｉｎｉｔ ｅｎｇがｅｎｇより大
きいならば（ＮＯ）、ステップＳ４８に移行し、乱数ｒ
ａｎとｅｘｐ［（ｅｎｇ−ｉｎｉｔ ｅｎｇ）／Ｔｅｍ
ｐ］を比較し、条件を満たさないならば（ＮＯ）、ステ
ップＳ４４に戻り、新たな乱数ｒａｎを発生させる。

【００７７】またステップＳ４８又はステップＳ４７の
条件を満たすならば（ＹＥＳ）、この微小変化を受け入
れ、パラメータ値の更新を行い、エネルギーの値の入れ
替えを行う（ｉｎｉｔ ｅｎｇ＝ｅｎｇ）（ステップＳ
４９）。

【００７８】反復回数ｉｔｅｒａｔｉｏｎが初期値ｎよ
り小さいか否か判断し（ステップＳ５０）、条件を満た
す場合（ＹＥＳ）、温度を下げ、反復回数ｉｔｅｒａｔ
ｉｏｎを更新した後（ステップＳ５１）、ステップＳ４
４に戻り、新たな乱数ｒａｎを発生させる。しかし条件
を満たさない場合には（ＮＯ）、最適化処理を終了す
る。

【００７９】また最適化処理を行うにあたって、条件に
よっては本来接続している部位、例えば手部と前腕部と
が離れてしまうことがある。これを防ぐために、各部位
のパラメータに与える微小変化の範囲を限定し、各部位
の分離を防止する方法を説明する。各部位の分離を防止
するために、従来不変としてきた長軸，短軸の長さを適
応的に調節するモデルを付加する。具体的には、最適化
処理で微小変化を与える時に分離を防止するような制限
を設ける。

【００８０】各部位の中心座標に微小変化を与える場合
を考える。

【００８１】この段階では所定の長さの長軸で結合して
いることを仮定する。微小変化を与える注目部位とそれ
に連結している部位の長軸の長さを所定長だけ延長す
る。延長した長軸を半径とする円を考える。この円が分
離しないよう、つまり常に接する、または交差するよう
に注目している部位の円を移動する。

【００８２】このときの中心座標が描く軌跡が、結合を
維持したままで微小変化を与えられる領域となる。図２
３は、対象物が人間である場合の各部位の分離防止に関
する概念図である。図２３をもとに人間の場合について
具体的に説明する。例えば、手部と上腕部に結合してい
る前腕部の中心座標に微小変化を与える場合を考える。
この段階では所定の長さの長軸で結合していることを仮
定する。手部，上腕部，前腕部の長軸の長さを所定長
（例えば１０％）延長し、この３つの円が分離しないよ
う、前腕部の（１０％膨張した）円を移動する。

【００８３】このときの中心座標が描く軌跡が、結合を
維持したままで微小変化を与えられる領域となる。ただ
し、端点の注目部位とそれと連結する部位が分離しない
ような円の移動は、モデルに基づき各関節間の移動可能
範囲角度を越えないように行う。なお、長軸と同じ比率
だけ短軸を調整することで、プロポーションを一定に保
つことができる。

【００８４】以上のように行うことで、微小変化の付与
を限定することになるので、最適化処理を高速化でき、
各部位の分離を防止することができる。

【００８５】また、本発明は関節がパーツでつながれた
動体、例えば多関節ロボットや動物などの動きの解析も
同様な方法で行うことが可能である。例えば、多関節ロ
ボットの動きの解析を行う場合、以下のように行う。ロ
ボットに関する形状の知識（大きさ・接続関係）と関数
化された各部位の動作の知識と各部位の存在可能領域を
ロボットの動きの知識として格納する。

【００８６】背景画像と入力画像との差をとり、シルエ
ット画像を抽出する。シルエット画像と存在可能領域と
のＡＮＤ処理を行うことにより、各部位の概略的なパラ
メータの算出を行う。このパラメータをモデルを用いて
修正し、最適化処理を行う。この手法により、ロボット
の動きを解析し、これをもとに最適化することができ
る。

【００８７】また、形状生成部５のシルエット画像を用
いない最適化も考えられる。

【００８８】一例として、以下のような判定基準が挙げ
られる。モデルのパラメータ群と時系列画像中の対象物
の各部位のパラメータ群の差がある閾値以下であり、且
つ、時間的に前後の画像の同部位のパラメータと時系列
画像中の対象物の各部位のパラメータ群の差がある閾値
以下ならば、置換しないものとする。

【００８９】そして整合部８で算出されたパラメータを
制御部１１からの制御に基づき、画像生成部１２に出力
する。上記画像生成部１２では、整合部８で算出された
パラメータに基づいて、例えば、楕円を生成し、各部位
のパラメータの画像化を行う。ただし、楕円ではなく、
線分や円柱などで画像化を行ってもよい。上記画像生成
部１２にて画像化された解析結果の出力をＤ／Ａ部９に
転送し、アナログ信号に変換する。さらに制御部１１か
らの信号に基づき、上記アナログ信号をディスプレイな
どの出力部１０へ出力し、画像解析結果をディスプレイ
などで表示する。すなわち、図９（ａ）に示すような時
系列画像に関して、図９（ｂ）に示す解析結果が得られ
る。

【００９０】以上のような時系列画像解析装置は、対象
物の動作のパラメータを数式化することで情報量を削減
でき、モデルの各部位のサイズや位置を校正することで
多くの被写体に適用でき、撮影距離の差によるサイズの
違いも補正できる。また、遮蔽や影の影響により対象物
の形状や動作が正確にとらえられなかった場合に、対象
物の形状や動作による形状変化の知識を用いて補正を行
い、対象物の動作を高精度に解析することができる。ま
た、周期性を利用することにより、モデルの情報量を削
減することができ、周期を校正することで同じ動作で速
度が異なる場合にも対応することができる。

【００９１】以上の説明では、同期部２１において同期
する時刻を決定して動きのマッチングを行うものとした
が、この処理を省略し、時系列画像群とモデルパラメー
タ群との全ての組み合わせについて探索を行うようにし
てもよい。

【００９２】また、周期校正部２２において周期性のあ
る動作について周期の校正を行うものとしたが、この処
理は省略してもよい。また周期校正部２２は、同期部２
１が省略されている場合に行われない。

【００９３】また、パラメータ修正部２３においてパラ
メータの修正を行うものとしたがこの処理は省略可能で
ある。また本実施形態では、各部位を表現する単純な幾
何学的形状として楕円を用いたが、線分や円柱などで記
述することもよい。

【００９４】次に第２実施形態の時系列画像解析装置に
ついて説明する。

【００９５】この第２実施形態の構成は、基本的には第
１実施形態と同等であり、ここでは異なる部分のみ説明
を行う。

【００９６】図１０は、第２実施形態におけるパラメー
タ算出部７の具体的な構成例を示す。ここで、第１実施
形態と同等の構成部には第１実施形態の構成部と同じ参
照符号を付し、その説明を省略する。

【００９７】このパラメータ算出部７は、形状生成部５
と対象物モデル部６からの出力が候補領域算出部３１に
転送される。この候補領域算出部３１の出力は、整合部
８に転送される。

【００９８】最適化処理を高速に行うため、対象物の各
部位の位置や傾斜角のパラメータを概略的に算出を行う
ものである。

【００９９】時系列画像中の対象物の各部位の候補領域
を算出し、算出された候補領域と対象物の形状から候補
領域の結合関係を求め、結合関係にある領域群の各位置
や傾斜角のパラメータおよび各パラメータが存在する可
能な範囲の算出を行う。以降、各パラメータが存在する
可能な範囲を許容範囲という。

【０１００】図１１は、時系列画像中の対象物の各部位
の候補領域の算出における概念を示す。パラメータの算
出方法について、図２４のフローチャートを参照して、
候補領域算出部３１を説明する。

【０１０１】対象物モデル部６に格納されている各部位
の存在可能領域のパラメータ群を画像化する（ステップ
Ｓ５１）。具体的には、対象物モデル部６に格納されて
いる幾何学的な形状である円や楕円などのパラメータ
（中心点・半径・回転角など）を用いて画像の生成を行
う。例えば、（３）式を満たす画素（ｘ，ｙ）には１
を、満たさない場合には、“０”を格納し、２値画像の
生成を行う。

【０１０２】次に図３のように画像化した存在可能領域
とシルエット画像を用いて各部位の候補領域の算出を行
う（ステップＳ５２）。図１１（ｂ）に示すシルエット
画像に外接する矩形を求め、この矩形の中心線を求めて
おく。また、ステップＳ５２で画像化された存在可能領
域に外接する矩形から中心線の位置を算出し、両者の中
心線を一致させた形でＡＮＤ出力を求める。

【０１０３】この結果が、図１１（ｃ）に示すような各
部位が存在する候補領域になる。抽出された各部位の候
補領域から端点領域の選択を行う（ステップＳ５３）。
端点領域とは、一方向のみが他の領域と結合している領
域（手や足）のことである。まず、端点領域の重心点
（ｘ，ｙ）の算出を行う（ステップＳ５４）。重心点の
算出方法は、例えば端点領域のｘおよびｙ座標を加算
し、それぞれの加算された値を端点領域の画素数で割っ
た値などがある。

【０１０４】図１２は、候補領域と対象物の形状から候
補領域の結合関係を求め、結合関係にある領域群の各位
置や傾斜角および許容範囲の算出する処理の概念を示
す。時系列画像の対象物の各部位の位置（中心点）は以
下のように算出される。

【０１０５】まず、端点領域と結合関係にある結合領域
の算出を行う（ステップＳ５５）。具体的には、端点領
域の部位の大きさｌと、端点領域と接続する他の領域の
部位の大きさｌ′と対象物モデル部６の対象物の形状に
より結合関係を求める。対象物が人間の場合、端点領域
である手と結合関係にある部位は前腕であるので、ｌ，
ｌ′には、それぞれの部位の長軸の長さが格納される。

【０１０６】そして各領域の結合関係について、次のよ
うに算出される。端点領域の重心点を中心とする半径Ｒ
（＝（ｌ＋ｌ′）／２）の円を描き、その円上に存在す
る領域を端点領域と結合する領域つまり結合領域とす
る。円と結合領域が重複する部分の重心を、結合する領
域の中心点（ｘ，ｙ）とする（ステップＳ５６）。

【０１０７】図１２（ｂ）は、端点領域の重心を中心点
とする半径（ｌ＋ｌ′）／２の円と重複する領域であ
り、図１２（ｄ）の結合領域の太線が円と結合領域が重
複する部分となる。また、円弧が結合領域と重複した円
弧の長さの１／２を許容範囲εとする（ステップＳ５
７）。つまり、図１２（ｄ）の結合領域の太線（重複し
た領域）のどこでも中心点となりえる可能性を持ってい
るため、この重なり部分の１／２をεとし、中心点の座
標を（ｘ±ε，ｙ±ε）とする。

【０１０８】図１２（ｄ）は、許容範囲εの算出方法の
概略図を表す。全ての部位の結合領域を検出したか否か
判断し（ステップＳ５８）、全ての部位に関して検出し
ていない場合（ＮＯ）、結合領域を新たな端点領域とし
（ステップＳ５９）、ステップＳ５５にフィードバック
する。

【０１０９】全ての部位に関して検出を行った場合（Ｙ
ＥＳ）、各部位の重心点に対応する傾斜角の算出を行う
（ステップＳ６０）。具体的には、０°〜１８０°まで
５°間隔で上記で算出した点（ｘ，ｙ）を中心点とする
楕円を生成し、シルエット画像とのマッチング誤差が最
小となった角度を傾斜角とする。

【０１１０】図１２（ｅ）には、傾斜角の算出方法の概
略を示す。ただし、結合領域を算出する際、複数の結合
領域が検出された場合には、対象物の形状や結合関係に
ある部位間の傾斜角などの情報を用いて、矛盾が生じる
場合にはその結合関係は破棄し、結合関係の絞り込みを
行う。

【０１１１】なお、時系列画像中の対象物の移動方向と
対象物モデル部６に格納されているモデルの移動方向が
逆の場合にも以下のようにすることにより適応すること
ができる。

【０１１２】まず、時系列画像から対象物の移動方向の
検出を行う。移動方向の検出方法は、例えば、シルエッ
ト画像の重心を算出し、重心のｘ座標の変化で求めるこ
とができる。対象物の移動方向が、対象物モデル部６に
格納されている動作の移動方向と一致しているか判断を
行う。

【０１１３】同一方向であれば、モデルのパラメータを
そのまま使用し、逆方向の場合には以下の処理を行い、
モデルの動作を反転させる。

【０１１４】対象物が人間である場合のモデルの動作を
反転する手法に関する具体的な例を以下に示す。図４９
は、モデルの反転に関する概念図である。

【０１１５】補間関数から各時刻の胴体部の位置（ｘ2
，ｙ2 ）座標の算出を行う。胴体部（ｉ＝２）以外の
部位ｉに関して、胴体部と各パラメータとの差の算出
を、図４９のΔｘ5 ＝（ｘ2 −ｘ5 ）やΔｙ5 ＝（ｙ2
−ｙ5 ）のように行う。胴体部のパラメータ（ｘ2 ，ｙ
2 ，θ2 ）に先で算出した差を加算し、部位に対応する
逆の部位（例えば、右手ならば左手）に加算結果を格納
する。つまり、ｘ8 ＝Δｘ5 ＋ｘ2 ，ｙ8 ＝Δｙ5 ＋ｙ
2 のように行う。

【０１１６】この様に行うことで、１つのモデルで逆向
きの動きを行っている対象物の動作の解析も行うことが
できる。なお、上記の説明では、各部位を表現する単純
な幾何学的形状として楕円を用いたが、これは楕円だけ
でなく線分や円柱などで記述することも可能である。

【０１１７】図１２（ｅ）においては、各部位を表現す
る単純な幾何学的形状として楕円を用いたが、これは楕
円だけでなく線分や円柱などで記述することも可能であ
る。本実施形態では、時系列画像中の対象物の各部位の
パラメータを概略的に算出することで最適化処理の負担
を軽減し、処理時間を短縮することができる。

【０１１８】次に第３実施形態としての時系列画像解析
装置について説明する。

【０１１９】図２５には、第３実施形態として、時系列
画像解析装置の全体構成の一例を示す。本実施形態の構
成は、基本的には第１実施形態と同等であり、同じ構成
部材には同一の参照符号を付し、異なる部分のみ説明す
る。

【０１２０】この時系列画像解析装置において、入力部
１からの入力信号は、Ａ／Ｄ部２、バッファメモリ部３
を経由して補助入出力部４に保存される。補助入出力部
４の信号は、形状生成部５へ出力される。形状生成部５
の出力は、対象物モデル部６、整合部４１に転送され
る。対象物モデル部６は、整合部４１に接続されてい
る。整合部８で算出されたパラメータを制御部１１から
の制御に基づき、画像生成部１２に出力する。上記画像
生成部１２にて画像化された解析結果の出力をＤ／Ａ部
９を経由して出力部１０へ出力される。また、制御部１
１の制御信号により、入力部１、補助入出力部４、対象
物モデル部６、整合部４１、出力部１０がそれぞれ制御
される。

【０１２１】このような時系列画像解析装置は、高速な
解析処理に好適し、対象物の各部位の位置や傾斜角の概
略的なパラメータの算出を行なわず、モデルのパラメー
タを対象物の各部位の初期パラメータ値として扱うもの
である。

【０１２２】まず、ＣＣＤカメラ等の入力部１は、制御
部１１からの制御信号に基づき所定時間の映像信号をＡ
／Ｄ部２へ転送する。Ａ／Ｄ部２は、入力部１からの上
記映像信号をデジタル信号へ変換してバッファメモリ部
３へ転送する。このバッファメモリ部３は、複数のフレ
ームメモリで構成されており、Ａ／Ｄ部２からの上記デ
ジタル信号を記憶し、これを順次補助入出力部４へ出力
する。

【０１２３】上記補助入出力部４は、制御部１１の制御
信号により、上記デジタル信号を形状生成部５へ出力す
る。形状生成部５では、対象物の存在していない背景画
像と対象物の存在している原画像との差の絶対値を算出
した後、その絶対値を２値化処理し、動領域のみが取り
出される。この動領域が対象物のシルエット画像とな
る。ここで、背景画像は、予め撮影されているものを用
いてもよいし、原画像から生成された背景画像を用いて
もよい。

【０１２４】上記形状生成部５で生成されたシルエット
画像は、対象物モデル部６、整合部４１に転送される。
対象物モデル部６は、対象物の形状や動作の情報などが
格納されている。また、制御部１１の制御信号により、
前の実施形態で説明したと同様にサイズの校正を行う。
形状生成部５で生成されたシルエット画像、対象物モデ
ル部６のモデルは、整合部４１に出力される。整合部４
１では、形状生成部５、対象物モデル部６の出力によ
り、時系列画像中の対象物と対象物モデル部６の動作に
関する時刻の同期を行い、対象物モデル部６のパラメー
タ群全体を形状生成部５のシルエット画像群に整合させ
る。

【０１２５】そして整合部４１で算出されたパラメータ
を制御部１１からの制御信号により、画像生成部１２に
出力する。上記画像生成部１２にて画像化された解析結
果の出力をＤ／Ａ部９に転送し、アナログ信号に変換す
る。さらに制御部１１からの制御信号に基づき、上記ア
ナログ信号をディスプレイなどの出力部１０へ出力し、
画像解析結果を表示する。

【０１２６】次に図２６は、整合部４１の処理における
ブロック構成を示す。

【０１２７】前段の形状生成部５と対象物モデル部６の
出力は、整合部４１の同期部２１に転送される。この同
期部２１では、時系列画像中の対象物と対象物モデル部
６における動作に関する時刻の同期をとる。

【０１２８】そして対象物モデル部６と同期部２１の出
力は、周期校正部２２に転送される。周期校正部２２で
は、制御部１１からの制御信号により、対象となる動作
に周期性がある場合には、同期部２１で算出された複数
の同期時刻とモデルに基づいて一周期に要する時間を算
出し、各部位の位置や傾斜角のモデルのパラメータの校
正を行う。そして形状生成部５と対象物モデル部６の出
力は、最適化処理部５１に転送する。最適化処理部５１
では、対象物モデル部６のパラメータ群全体を形状生成
部５のシルエット画像群に整合させる。

【０１２９】上記最適化処理部５１では、対象物モデル
部６のモデルのパラメータ群と形状生成部５で生成され
たシルエット画像群の２者を整合する。このための手法
の一例として評価関数を設定し、最小化する。例えば、
人間を対象物とした解析の場合、（７）式のように評価
関数Ｅ_T 定義し、評価関数Ｅ_T を前記実施形態同様にア
ニーリングや最急降下法などを用いて最小化することに
より、時系列画像のパラメータ群の最適なパラメータの
算出を行う。

【０１３０】

【数７】

【０１３１】ここで、Ｔは周期、ｉ＝Ｔ〜Ｔ＋１は時刻
である。Ｓｉｌは時系列画像中の対象物のシルエット画
像、Ｐａｒはモデルのパラメータにより生成した楕円画
像であり、第一項はモデルのパラメータをシルエット画
像に整合させる作用をもつ。Ｐｃは時刻ｉ−２，ｉ−
１，ｉ，ｉ＋１，ｉ＋２の時系列画像のパラメータに、
重みをそれぞれ１：２：３：２：１だけ与え、平均値を
算出した値である。第二項は、時系列画像のパラメータ
を前後の時刻から推測されるパラメータ値に整合させる
作用をもつ。ｋは、各項に対するウエイトである。

【０１３２】また前述した説明では、各部位を表現する
単純な幾何学的形状として楕円を用いたが、これは線分
や円柱などで記述することも可能である。

【０１３３】上記実施形態では、構成が簡単になり、時
系列画像の初期パラメータの算出を行わないので、第１
実施形態に比べて高速に処理を行うことができる。

【０１３４】次に第４実施形態としての時系列画像解析
装置について説明する。

【０１３５】本実施形態の全体的な構成は、第３実施形
態と同等であり、異なる構成となる図２７に示す整合部
４１のみ説明する。

【０１３６】この整合部４１においては、形状生成部５
と対象物モデル部６の出力は、最適化処理部６１に転送
する。最適化処理部６１では、ニューラルネットワーク
を利用することにより、時系列画像のシルエット画像に
最適な時系列画像の各部位のパラメータ群（位置）の算
出を行う。対象物モデル部６と最適化処理部６１の出力
は傾斜角算出部６２に転送され、時系列画像のシルエッ
ト画像に最適な時系列画像の各部位の回転角の算出を行
う。傾斜角算出部６２の出力は、画像生成部１２に出力
される。

【０１３７】図２７に示すように、上記形状生成部５の
時系列画像のシルエット画像と対象物モデル部６のモデ
ルのパラメータ群とシルエット画像群の出力は、最適化
処理部６１に転送する。最適化処理部６１では、階層型
ニューラルネットワークを用いて、時系列画像のシルエ
ット画像に最適な時系列画像の各部位の位置のパラメー
タ群の算出を行う。最適化処理部６１で算出された各部
位のパラメータ群（位置）は、傾斜角算出部６２に転送
され、時系列画像のシルエット画像に最適な時系列画像
の各部位の傾斜角の算出を行う。傾斜角算出部６２で算
出されたパラメータ群は、画像生成部１２に出力され
る。

【０１３８】図２８（ａ）は、３層の階層型ニューラル
ネットワークの学習法に関する概念図である。対象物モ
デル部６に格納されているモデルのシルエット画像を、
入力層に入力する。ネットワークを介した結果がモデル
の各部位の位置のパラメータとなるように学習させ、各
ユニットの重みを決定する。学習は、動作１周期分の画
像に対して行われ、重みの更新を行う。なお学習方法
は、例えば公知である誤差逆伝搬法を用いて行うことが
できる。この重みを利用し、撮影された画像の各部位の
位置の算出を行う。形状生成部５の時系列画像のシルエ
ット画像を入力層に入力し、ネットワークを介すること
で、シルエット画像に最適な各部位の位置の算出を行う
ことができる。図２８（ｂ）は、撮影された画像に対す
るパラメータ算出に関する概念図である。

【０１３９】傾斜角算出部６２では、最適化処理部６１
で算出された各部位のパラメータ群（位置）と対象物モ
デル部６に格納されている各部位の大きさ（楕円の短
軸、長軸の長さ）と形状生成部５の時系列画像のシルエ
ット群を用いて、時系列画像群の各部位の傾斜角の算出
を行う。最適化処理部６１で算出された各部位の位置
（ｘ，ｙ）を中心点、対象物モデル部６の各部位の大き
さ（楕円の短軸ｂ／２、長軸の長さａ／２）を用いて楕
円の生成を行う。傾斜角に関しては、０°〜１８０°ま
で５°間隔で上記のパラメータを用いて楕円を生成し、
シルエット画像とマッチング誤差が最小となった角度を
傾斜角とする。また、傾斜角の算出は、前述した図１２
（ｄ）にその概念を示している。

【０１４０】そして、算出された各部位のパラメータ群
から楕円画像を生成し、画像生成部９に転送する。

【０１４１】この第４実施形態では、ニューラルネット
ワークを用いることにより、最適化処理部２４の構成が
簡単になり、最適化パラメータの調整を意識的に行われ
なくても学習により、これを獲得することができる。

【０１４２】次に第５実施形態としての時系列画像解析
装置について説明する。

【０１４３】図２９には、時系列画像解析装置の全体構
成の一例を示す。本実施形態の全体的な構成は、第３実
施形態と同等であり、同じ構成部位には同一の参照符号
を付し、説明する。

【０１４４】この時系列画像解析装置においては、入力
部１からの入力信号は、Ａ／Ｄ部２、バッファメモリ部
３を経由して補助入出力部４に保存される。補助入出力
部４の信号は、形状生成部５へ出力される。形状生成部
５の出力は、対象物モデル部７１、パラメータ算出部
７、整合部７２に転送される。上記対象物モデル部７１
は、パラメータ算出部７、整合部７２に接続されてい
る。

【０１４５】そしてパラメータ算出部７の出力は、整合
部７２に接続されている。整合部７２の出力は、対象物
モデル部７１と画像生成部１２に出力される。画像生成
部１２の出力を、Ｄ／Ａ部９を経由して、出力部１０へ
出力される。また制御部１１の制御信号により、入力部
１、補助入出力部４、対象物モデル部７１、パラメータ
算出部７、整合部７２、出力部１０がそれぞれ制御され
る。この時系列画像解析装置は、モデルを処理の進行に
伴い適応的に学習させるものである。

【０１４６】この時系列画像解析装置において、ＣＣＤ
カメラ等の入力部１は、制御部１１からの制御に基づき
所定時間の映像信号をＡ／Ｄ部２へ転送する。Ａ／Ｄ部
２は入力部１からの上記映像信号を、デジタル信号へ変
換してバッファメモリ部３へ転送する。

【０１４７】そしてバッファメモリ部３は、複数のフレ
ームメモリで構成され、Ａ／Ｄ部２からの上記デジタル
信号を記憶し、これを順次、磁気ディスク装置などの補
助入出力部４へ出力する。補助入出力部４は、制御部１
１からの制御信号により上記デジタル信号を形状生成部
５へ出力する。形状生成部５では、対象物のシルエット
領域の抽出を行う。

【０１４８】次に形状生成部５で生成されたシルエット
画像は、対象物モデル部７１、パラメータ算出部７、整
合部７２に転送される。対象物モデル部７１は、対象物
の形状や動作の情報などが格納されている。また動作に
関する情報は、整合部７２の出力に基づき更新される。
パラメータ算出部７では、制御部１１の制御に基づいて
形状生成部５のシルエット画像と対象物モデル部７１の
出力から、対象物の各部位の位置や傾斜角のパラメータ
を概略的に決定する。

【０１４９】そして、形状生成部５で生成されたシルエ
ット画像、対象物モデル部７１のモデル、パラメータ算
出部７で算出された各部位のパラメータは、整合部７２
に出力される。整合部７２では、形状生成部５、対象物
モデル部７１、パラメータ算出部７の出力により、時系
列画像中の対象物と対象物モデル部７１のモデルの時刻
の同期を行い、パラメータ算出部７により算出されたパ
ラメータ群全体を対象物モデル部７１のパラメータ群全
体、及び形状生成部５のシルエット画像群に整合させ
る。整合部７２の出力を制御部１１からの制御に基づ
き、対象物モデル部７１と画像生成部１２へ転送する。

【０１５０】上記画像生成部１２の出力は、Ｄ／Ａ部９
に転送し、アナログ信号に変換する。さらに制御部１１
からの信号に基づき上記アナログ信号をディスプレイな
どの出力部１０へ出力し、画像解析結果を表示する。

【０１５１】以下に、対象物モデル部７１および整合部
７２の説明を行う。

【０１５２】図３０は、モデルパラメータの更新に関す
る概念を示し、図３１は、対象物モデル部７１の構成を
示す。

【０１５３】まず制御部１１からの制御により、形状知
識部８１と動作知識部８２の出力をパラメータ算出部７
に転送する。パラメータ算出部７にて算出された概略的
なパラメータと形状知識部８１と動作知識部８２の出力
を整合部７２に出力する。そして制御部１１からの制御
信号に基づき整合部７２の出力は、動作知識部８２にフ
ィードバックされる。

【０１５４】上記対象物モデル部７１において、時系列
画像の最初の一周期では、第１実施形態と同様に外部か
ら与えられた形状知識部８１と動作知識部８２の初期モ
デルをパラメータ算出部７、整合部７２に出力する。

【０１５５】そして２周期目以降は、整合部７２で算出
された補正パラメータを格納し、外部から与えられたモ
デルは初期モデルとして別に保存しておく。この補正パ
ラメータに基づき、動作知識部８２のモデルを更新し、
以降の処理においては、更新されたモデルを各処理部に
出力する。モデルの更新方法は、例えば更新前のモデル
に各部位の各パラメータに補正パラメータを加えた値と
する。

【０１５６】図３２は、整合部７２の処理におけるブロ
ック図である。形状生成部５と対象物モデル部７１の出
力は、同期部２１に転送される。同期部２１の出力は、
周期校正部２２に転送される。形状生成部５と対象物モ
デル部７１とパラメータ算出部７と同期部２１と周期校
正部２２はパラメータ修正部２３に出力される。形状生
成部５と対象物モデル部７１とパラメータ修正部２３の
出力は、最適化処理部２４に転送する。最適化処理部２
４の出力は、画像生成部１２へ、最適化処理部２４と対
象物モデル部７１の出力は補正パラメータ算出部９１へ
転送される。補正パラメータ算出部９１の出力は対象物
モデル部７１にフィードバックする。

【０１５７】上記同期部２１では、対象物モデル部７１
と形状生成部５の出力に基づき、時系列画像中の対象物
と対象物モデル部７１のモデルに関する時刻の同期をと
る。周期校正部２２では、対象となる動作に周期性があ
る場合、各部位の位置や傾斜角のモデルのパラメータの
校正を行う。パラメータ修正部２３では、一画像内でモ
デルとの対比による時系列画像のパラメータの修正を行
う。

【０１５８】そして最適化処理部２４では、時系列画像
中の対象物に最適なパラメータの算出を行う。最適化処
理部２４の出力は、制御部１１からの制御信号により、
画像生成部１２と補正パラメータ算出部９１に出力され
る。補正パラメータ算出部９１では、最適化処理部２４
で算出されたパラメータと対象物モデル部７１のモデル
パラメータとの各部位の各パラメータの差分情報を求め
る。この差分情報をモデルの補正パラメータとして対象
物モデル部７１にフィードバックする。

【０１５９】なお、前記実施形態と同様な方法を用いて
対象物に最適なパラメータを算出する場合、各パラメー
タの差分情報をベクトルとして保存することで、このベ
クトルの方向に重みをかけて、微小変化を与えることが
できる。また、３周期以降は、補正パラメータのテーブ
ルの部分を置き換えるだけでよい。

【０１６０】図３０（ｂ）は、最適化処理での微小変化
の与え方に関する概念図である。

【０１６１】この第５実施形態では、モデルを随時更新
することにより、解析を行う対象物に適したモデルを作
成することができ、処理を高精度にかつ高速に行うこと
ができる。

【０１６２】次に第６実施形態としての時系列画像解析
装置について説明する。

【０１６３】本実施形態の全体的な構成は、第５実施形
態と同等であり、異なる構成となる対象物モデル部につ
いて説明する。本実施形態は、各部位のモデルを階層的
に分割し、各部位毎に交換可能なモデルに関するもので
ある。

【０１６４】図３３は、本実施形態の対象物モデル部の
具体的な構成例を示す。

【０１６５】この対象物モデル部において、形状知識部
８１と動作知識部１０１の出力はパラメータ算出部７へ
形状知識部８１と動作知識部１０１とパラメータ算出部
７の出力は、整合部７２に転送される。整合部７２の出
力は、制御部１１からの制御信号により動作知識部１０
１に出力される。

【０１６６】この対象物モデル部は、制御部１１の制御
信号により、形状知識部８１と各部位毎に階層的に保存
されている動作知識部１０１の出力をパラメータ算出部
７と整合部７２に転送する。パラメータ算出部７にて算
出された概略的なパラメータと形状知識部８１と動作知
識部１０１の出力を整合部７２に出力する。整合部７２
では、モデルと適合する部位とモデルの切り替えを行う
部位の抽出を行う。制御部１１の制御に基づき整合部７
２の出力は、動作知識部１０１にフィードバックされ
る。

【０１６７】そして対象物モデル部７１では、対象物の
形状構造の中心となる部位に関して他の部位との結合を
階層的に保存する。図３４には、人間を例とした場合の
胴体部を基準に他の部位が結合しているツリー構造を示
す。このように階層的なモデルから、１番目に格納され
ているモデルのパラメータを取り出し、パラメータ算出
部７へ出力し、概略的なパラメータの算出を行う。算出
された概略的なパラメータとモデル（形状知識部８１と
動作知識部１０１）を整合部７２に出力し、切り替えを
行う部位の検出を行う。整合部７２で検出された切り替
えを行う部位の階層構造下に格納されている次のモデル
をパラメータ算出部７と整合部７２に出力する。

【０１６８】上記整合部７２では、対象物モデル部７１
から出力されたモデルから時系列画像のパラメータの最
適解を算出する。最適化処理では、適合性を判断するた
めに、前記実施形態では評価関数Ｅにおいて、（６）式
のように１４種類の全部位の総和をとっていた（ｊ＝１
〜１４）。これを、個々の部位ごとの式に分解して、１
４種類の評価関数を得る。個々の評価関数に対して評価
基準を設け、評価関数Ｅが評価基準より大きい部位の選
択を行う。

【０１６９】具体的には、評価基準となる閾値を設定
し、各部位の評価関数Ｅが所定の閾値を越えたか否か判
断する。この場合の評価は、前記ツリー構造の上部から
行うものとする。つまり人間の場合、胴体部から行う。
上記評価関数Ｅが閾値を越えて、選択された部位を動作
知識部１０１に出力する。この操作は、各部位の評価関
数が閾値を越えなくなるまで行う。またモデルが決定し
た後で、各部位の評価関数が閾値より大きくなった場合
には、上記のような手法でモデルの切り替えを行う。

【０１７０】この第６実施形態によれば、モデルの情報
量を減少することができ、より多くの動作の解析を行う
ことができる。

【０１７１】次に第７実施形態としての時系列画像解析
装置について説明する。

【０１７２】本実施形態の全体的な構成は、第１実施形
態と同等であり、異なる構成について説明する。本実施
形態は、複数のモデルから解析対象画像に最適なモデル
の選択する方法に関するものである。

【０１７３】図３５は、第７実施形態の時系列画像解析
装置の構成を示し、同じ構成部位には同一の参照符号を
付し、説明する。

【０１７４】この時系列画像解析装置において、入力部
１からの入力信号は、Ａ／Ｄ部２、バッファメモリ部３
を経由して補助入出力部４に保存され、該補助入出力部
４の出力信号は形状生成部５へ出力される。形状生成部
５の出力は、対象物モデル部６、解析部１１１に転送さ
れる。

【０１７５】対象物モデル部６は、解析部１１１に接続
される。解析部１１１の出力は、モデル決定部１１２と
画像生成部１２に接続されている。モデル決定部１１２
の出力は、対象物モデル部６に出力される。画像生成部
１２の出力は、Ｄ／Ａ部９を経由して、出力部１０へ出
力される。また、制御部１１からの制御信号により、入
力部１、補助入出力部４、対象物モデル部６、解析部１
１１、モデル決定部１１２、出力部１０がそれぞれ制御
される。

【０１７６】このような時系列画像解析装置において、
ＣＣＤカメラ等の入力部１は、制御部１１からの制御に
基づき所定時間の映像信号をＡ／Ｄ部２へ転送する。Ａ
／Ｄ部２は入力部１からの上記映像信号を、デジタル信
号へ変換してバッファメモリ部３へ転送する。バッファ
メモリ部３は複数のフレームメモリで構成され、Ａ／Ｄ
部２からの上記デジタル信号を記憶し、これを順次、補
助入出力部４へ出力する。

【０１７７】上記補助入出力部４は、制御部１１からの
制御信号により、上記デジタル信号を形状生成部５へ出
力する。形状生成部５では、対象物のシルエット領域を
抽出する。形状生成部５で生成されたシルエット画像
は、対象物モデル部６、解析部１１１に転送される。対
象物モデル部６は、対象物の形状や複数の動作の情報な
どが格納されている。

【０１７８】また解析部１１１では、複数のモデルに対
して解析を行い、対象物の各部位の位置や傾斜角のパラ
メータの算出を行う。この解析部１１１で算出された複
数モデルに対する各部位のパラメータは、制御部１１か
らの制御信号に基づいて、モデル決定部１１２と画像生
成部１２へ出力される。モデル決定部１１２では、解析
部１１１の出力により、複数のモデルに対して算出され
た評価関数の最小値をもつモデルの抽出を行い、モデル
の決定を行う。

【０１７９】そしてモデル決定部１１２で決定されたモ
デルを対象物モデル部６に出力し、以降の解析には決定
されたモデルに関する情報が対象物モデル部６から出力
されるようになる。解析部１１１の出力を制御部１１か
らの制御に基づき、画像生成部１２を経由してＤ／Ａ部
９に転送し、アナログ信号に変換する。さらに制御部１
１からの制御信号により、上記アナログ信号をディスプ
レイなどの出力部１０へ出力し、画像解析結果を表示す
る。

【０１８０】図３６は、前述した解析部１１１の処理に
おけるブロック構成を示し、図３７は、複数モデルから
時系列画像中の対象物に最適なモデルの選択法に関する
概念を示す。

【０１８１】形状生成部５のシルエット画像は、方向決
定部１２１に出力され、方向決定部１２１の出力は対象
物モデル部６にフィードバックする。この形状生成部５
のシルエット画像と、対象物モデル部６の各モデルは、
パラメータ算出部１２２に出力される。パラメータ算出
部１２２の出力は、整合部１２３に転送され、制御部１
１からの制御信号により、モデル決定部１１２及び画像
生成部１２に出力される。

【０１８２】そして方向決定部１２１では、形状生成部
５のシルエット画像の面積に基づいて、対象物の移動方
向の検出を行う。具体的には、シルエット画像の面積が
時刻とともに変化しない場合には、カメラ光軸方向に対
して垂直方向に、時刻とともに増減する場合、カメラの
光軸方向に対して平行または斜めに移動している。

【０１８３】つまり、シルエット画像の面積の増減の割
合で、移動方向の決定を行う。検出された移動方向を対
象物モデル部６にフィードバックする。対象物の移動方
向検出は、シルエットの重心点をベクトルとして検出す
ることで決定したり、シルエット画像を包含する外接四
角形の面積や中心を検出することも可能である。形状生
成部５のシルエット画像と対象物モデル部６の検出され
た移動方向に対応する複数のモデルをパラメータ算出部
１２２に出力する。

【０１８４】例えば、人物の動作解析の場合、歩行，走
行，着席，静止等の複数のモデルが対象物モデル部６に
格納されており、形状に関するモデルと方向決定部１２
１で検出された方向の動作に関するモデルがパラメータ
算出部１２２に出力される。パラメータ算出部１２２で
は、前述した実施形態におけるパラメータ算出部７と同
様にそれぞれのモデルを用いて概略的なパラメータの算
出を行う。整合部１２３は、パラメータ算出部１２２の
出力と形状生成部５と対象物モデル部６の各モデルから
前記実施形態整合部８と同様に時系列画像中の対象物に
最適なパラメータを算出し、最適化処理後の評価関数Ｅ
（モデルとのマッチング誤差）の算出を行う。その際、
動作と同期がとれない、つまり、前記実施形態での同期
部２１における面積誤差が所定の閾値より大きかった場
合には、そのモデルは破棄され、以降の処理は行わな
い。

【０１８５】そして同期のとれたモデルに対し、前記実
施形態と同様に最適化処理を行う。上記整合部１２３の
出力は、制御部１１からの制御信号により、モデル決定
部１１２と画像生成部１２に転送される。但し、パラメ
ータ算出部と整合部は対象物モデル部６に格納されてい
るモデルの数だけ増やすことができ、また並列に処理を
行うことができる。なお、モデルが決定している場合、
整合部１２３の出力は、モデル決定部１１２に転送され
ず、パラメータ算出部と整合部は１つだけ使用される。

【０１８６】上記モデル決定部１１２では、整合部１２
３から出力された複数の評価関数Ｅの中から最小のもの
を最適モデルとして選択する。選択されたモデルを対象
物モデル部６にフィードバックし、以降の解析には対象
物モデル部６から決定されたモデルが出力されるように
なる。この後、選択されたモデルを用いて処理を継続
し、評価関数Ｅが所定値を越えた場合にモデルの再選択
を行うことを繰り返す。なお、このような処理により、
対象物の動作が決まっていない場合でも、解析を行うこ
とができる。この処理は並列でなく、最適化処理の誤差
を１モデルづつ算出し、最後に誤差の最小なモデルを選
択することも可能である。

【０１８７】次に第８実施形態としての時系列画像解析
装置について説明する。

【０１８８】本実施形態の全体的な構成は、第２実施形
態と同等であり、異なる構成について説明する。本実施
形態は、処理を行う優先順位を考慮することで、ある部
位のパラメータが決定すると、それと結合関係にある全
ての部位の候補領域をより限定し、最適化処理を高速に
行うものである。

【０１８９】図３８は、第８実施形態の時系列画像解析
装置におけるパラメータ算出部の構成を示し、同じ構成
部位には同一の参照符号を付し、説明する。

【０１９０】このパラメータ算出部においては、対象物
モデル部６と形状生成部５の出力は、候補領域算出部１
３１に転送される。候補領域算出部１３１では、時系列
画像中の対象物の各部位の候補領域を算出し、誤差が少
ない、つまり候補領域の面積が小さい部位に関して優先
的に処理を行い、他の部位の候補領域の限定を行う。候
補領域算出部１３１の出力は、候補領域算出部１３１と
整合部８に転送される。

【０１９１】図３９は、処理の優先順位の導入による、
時系列画像中の対象物の各部位の存在候補領域の算出に
おける概念を示す図である。

【０１９２】まず、候補領域算出部１３１では、第２実
施形態の候補領域算出部３１と同様に存在可能領域１と
シルエット画像とのＡＮＤ処理にて候補領域１を求め
る。候補領域１の中で誤差が少ないと推定できる領域、
つまり面積の所定の閾値より小さい候補領域、例えば人
間の場合、頭部や胴体部や手部に関しては、候補領域の
重心点を中心とする楕円を発生させ、シルエット画像と
のマッチングをとることでパラメータの算出を行う。

【０１９３】この３点の位置が確定すると、他の部位の
存在しうる領域は限定される。つまり、確定された部位
と結合関係にある部位の間の関節角や各部位の長さなど
の拘束条件を用いるとより限定された候補領域が算出さ
れる。

【０１９４】具体的には、対象物が人間の場合、候補領
域１の面積が小さい頭部・胴体部・手部が優先的に処理
され、位置が確定する。頭部及び胴体部の位置が確定す
ると、各部位の長さから存在可能領域１が存在可能領域
２のように限定された領域となる。即ち、胴体部の中心
点から（２）式を用いて、肩の位置を算出する。そして
肩の位置を中心とする半径ｒの円を考える。ここで、半
径ｒとは、上腕部の領域に関しては（上腕部の長さ／
２）、前腕部の領域に関しては（上腕部＋前腕部／
２）、手部に関しては（上腕部＋前腕部＋手部／２）の
ことを示す。

【０１９５】次に、前述した中心点と半径をもつ円と存
在可能領域１の共通部分の算出を行い、存在可能領域２
の抽出を行う。第２実施形態と同様に、存在可能領域２
とシルエット画像のＡＮＤ処理にて候補領域２を算出
し、この領域を利用して各部位の各位置や傾斜角および
許容範囲の算出を行う。

【０１９６】また、図３９に示す破線のように、候補領
域１から候補領域２を直接抽出する手法を以下に示す。

【０１９７】まず、確定された胴体部の中心点から肩の
位置を（２）式より算出する。例えば、各部位間の長さ
を利用して前腕部領域を限定する場合、手部や肩の中心
点を中心とする半径（手部の長さ／２＋前腕部の長さ／
２＋ε0 ）、（上腕部の長さ＋前腕部の長さ／２＋ε0
）の円を考える。ここで、手部の候補領域の面積の例
えば１０％をε0 とする。この２つの円と候補領域１の
共通領域を候補領域２とする。

【０１９８】同様に、他の部位に関しても、候補領域１
より限定された候補領域２の算出を行う。また、肩と手
部のなす角度は肩と前腕部及び肩と上腕部のなす角度よ
り大きい。また肩と前腕部のなす角度は、肩と上腕部の
なす角度より大きいという、上記例に関する各関節間の
角度の拘束条件から、より限定された候補領域２を得る
ことができる。

【０１９９】図４０は、限定された候補領域２の算出に
関する概念を示す図である。候補領域２を用いて、第２
実施形態と同様に、各部位の各位置や傾斜角および許容
範囲の算出を行う。

【０２００】制御部１１からの制御信号により、これら
のパラメータ群は、整合部８に出力され、最適化処理を
行う。時間軸上での最適化処理では、確定された頭部と
胴体部と手部を処理の対象から外すことができる。ま
た、微小変化を与える頻度を少なくするなどにより処理
を高速化できる。

【０２０１】この第８実施形態によれば、確度の高い部
位の位置を優先的に確定し、これをもとにして他の部位
について適正な初期値からの最適化を行うため、最適化
処理を高速化することができる。

【０２０２】次に第９実施形態としての時系列画像解析
装置について説明する。

【０２０３】図４１には、第９実施形態の整合部７２の
具体的な構成例を示す。本実施形態の全体的な構成は、
第５実施形態と同等であり、異なる構成について説明す
る。本実施形態は、過去の最適化情報を用いて予測を行
い高速に処理を行うものである。

【０２０４】この整合部７２において、形状生成部５と
対象物モデル部７１の出力が同期部２１に入力され、こ
の同期部２１と対象物モデル部７１の出力は、周期校正
部２２に転送される。形状生成部５と対象物モデル部７
１とパラメータ算出部７と同期部２１と周期校正部２２
のそれぞれの出力は、パラメータ修正部２３に送出され
る。また、形状生成部５と対象物モデル部７１とパラメ
ータ修正部２３の出力は、最適化処理部２４に転送す
る。最適化処理部２４の出力は、動きベクトル算出部１
４１と画像生成部１２に転送される。動きベクトル算出
部１４１での出力は最適化処理部２４にフィードバック
する。

【０２０５】そして上記同期部２１では、対象物モデル
部７１と形状生成部５の出力に基づき、時系列画像中の
対象物と対象物モデル部７１における動作に関する時刻
の同期をとる。上記周期校正部２２では、対象となる動
作に周期性がある場合、各部位の位置や傾斜角のモデル
のパラメータの校正を行う。パラメータ修正部２３で
は、一画像内でモデルとの対比による時系列画像のパラ
メータの修正を行う。

【０２０６】図４２は、動きベクトル算出の概念を示
し、図４３には、予測を利用した最適化処理の概念を示
す。

【０２０７】最適化処理部２４では、まず最初の数枚
（例えば５枚）のみ、前記実施形態と同様な方法で最適
化処理を行う。制御部１１の制御に基づき、最適化され
たパラメータを動きベクトル算出部１４１に出力する。
動きベクトル算出部１４１では、最適化処理部２４で算
出されたパラメータが過去数枚分記憶され、これらから
次時刻の最適解（パラメータ）を予測する。予測の方法
は、時刻に対する各パラメータの変化から、線形予測を
用いてもよい。また部位の位置・傾斜角から動きベクト
ルを求め、これを利用することにより行うことができ
る。算出された次時刻のパラメータは、最適化処理部２
４に出力され、前記実施形態のモデルのパラメータを動
きベクトル算出部１４１で予測されたパラメータに置き
換え、アニーリング等の最適化処理を行う。

【０２０８】以降の処理では、動きベクトル算出部７で
予測したパラメータを用い、パラメータ修正部２３、パ
ラメータ算出部７を省略することができる。但し、この
場合、同期部２１、同期校正部２２の出力は、最適化処
理部２４へ転送される。また、最適化処理部２４で算出
される評価関数Ｅが所定の閾値を越えた場合、パラメー
タ算出部７、パラメータ修正部２３の処理を行う。

【０２０９】この第９実施形態では、前時刻のパラメー
タから予測したパラメータを用いるため、時間的な連続
性が良好となる最適化処理を行うことができる。

【０２１０】次に第１０実施形態としての時系列画像解
析装置について説明する。

【０２１１】図４４には、第１０実施形態の整合部の具
体的な構成例を示す。本実施形態の全体的な構成は、第
５実施形態と同等であり、異なる構成について説明す
る。

【０２１２】本実施形態は、各部位の時系列画像のパラ
メータとモデルのパラメータとの誤差を算出し、誤差つ
まりパラメータの調整度に応じて微小変化の与え方を変
化させるものである。

【０２１３】この整合部７２において、形状生成部５と
対象物モデル部７１の出力は、同期部２１に転送され
る。同期部２１と対象物モデル部７１の出力は、周期校
正部２２に転送される。形状生成部５と対象物モデル部
７１とパラメータ算出部７と同期部２１と周期校正部２
２はパラメータ修正部２３に出力される。形状生成部５
と対象物モデル部７１とパラメータ修正部２３の出力
は、最適化処理部２４に転送する。最適化処理部２４と
対象物モデル部７１の出力は、制御部１１の制御に基づ
き調整度算出部１５１へ、最適化処理部２４の出力は、
画像生成部１２に転送される。調整度算出部１５１での
出力は対象物モデル部７１にフィードバックする。

【０２１４】そして同期部２１では、対象物モデル部７
１と形状生成部５の出力に基づき、時系列画像中の対象
物と対象物モデル部７１における動作に関する時刻の同
期をとる。周期校正部２２では、対象となる動作に周期
性がある場合、各部位の位置や傾斜角のモデルのパラメ
ータの校正を行う。パラメータ修正部２３では、一画像
内でモデルとの対比による時系列画像のパラメータの修
正を行う。

【０２１５】図４５は、調整度算出の概念を示す図であ
る。つまり最適化処理部２４では、パラメータ修正部２
３の出力に基づいて、１周期目のみ前記実施形態と同様
な方法でアリーニング等の最適化処理を行う。制御部１
１からの制御信号により、最適化処理部２４で算出され
たパラメータを調整度算出部１５１に出力する。この調
整度算出部１５１では、最適化処理部２４で算出された
パラメータと対象物モデル部７１のパラメータの差に応
じて調整度の算出を行う。ここで調整度とは、最適化処
理部２４の微小変化の与え方を示すものである。調整度
の算出方法は、最適化処理部２４で算出されたパラメー
タと対象物モデル部７１のパラメータの差を算出し、そ
の差の例えば１０％を調整度とする。つまり、調整度の
値が大きいほど、そのパラメータを調整する必要がある
ため、微小変化の与え方を他の部位より大きくする。

【０２１６】そして算出された調整度は、最適化処理部
２４に出力される。最適化処理部２４では、調整度に基
づいて微小変化を次のようにして算出する。例えば、乱
数を用いて与えられた初期の微小変化に調整度を乗じた
ものを微小変化に加えた値を新たな微小変化とする。

【０２１７】次に２周期目以降は、この調整度を用いて
最適化処理を行う。制御部１１からの制御信号により、
最適化処理部２４で算出されたパラメータが画像生成部
１２に転送される。なお、調整度の与え方は、各部位毎
に与えるのではなく、画像単位で与えることもできる。
図４５（ｂ）は、歩行動作の調整度算出に関する概念図
である。例えば、歩行動作の場合では両手・両足が重な
らない状況では各部位の調整度は低く、画像全体の調整
度も低くなる。一方、両手・両足が重なり後ろの手や足
が隠れてしまう場合は調整度が高くなる。画像単位の調
整度は、静止画像のレベルで得られたパラメータから楕
円画像を生成し、シルエット画像との差とすることもで
きる。また、一周期単位で処理を行う場合、調整度の高
い画像への微小変化の付与を抑制することもできる。

【０２１８】この第１０実施形態によれば、各部位のパ
ラメータの調整度つまり、誤差に応じて最適化処理にて
扱う微小変化の与え方を変化させるため、処理を高速化
に行うことができる。

【０２１９】次に第１１実施形態としての時系列画像解
析装置について説明する。

【０２２０】図４６には、第１１実施形態の整合部の具
体的な構成例を示す。本実施形態の全体的な構成は、第
５実施形態と同等であり、異なる構成について説明す
る。

【０２２１】本実施形態は、パラメータ修正部２３での
修正情報を用いて、最適化処理の微小変化の与え方を限
定するものである。

【０２２２】この整合部７２において、形状生成部５と
対象物モデル部７１の出力は、同期部２１に転送され
る。同期部２１と対象物モデル部７の出力は、周期校正
部２２に転送される。形状生成部５と対象物モデル部７
１とパラメータ算出部７と同期部２１と周期校正部２２
はパラメータ修正部２３に出力される。形状生成部５と
対象物モデル部７１とパラメータ修正部２３の出力は、
最適化処理部２４に転送する。パラメータ修正部２３と
最適化処理部２４の出力は、制御部１１の制御に基づき
確信度算出部１６１へ、最適化処理部２４の出力は、画
像生成部１２に転送される。確信度算出部１６１での出
力は最適化処理部２４にフィードバックする。

【０２２３】そして同期部２１では、対象物モデル部７
１と形状生成部５の出力に基づき、時系列画像中の対象
物と対象物モデル部７１における動作に関する時刻の同
期をとる。周期校正部２２では、対象となる動作に周期
性がある場合、各部位の位置や傾斜角のモデルのパラメ
ータの校正を行う。パラメータ修正部２３では、一画像
内でモデルとの対比による時系列画像のパラメータの修
正を行う。パラメータ修正部２３で行われる時系列画像
のパラメータとモデルのパラメータの差が所定の閾値以
下と判断された部位（信頼性：高）、差が閾値以上でモ
デルとの置換を行った部位（信頼性：中）、差が閾値以
上でモデルとの置換が破棄された部位（信頼性：低）の
３段階の情報を確信度算出部１６１に転送する。図４７
は、パラメータ修正部２３で得られる情報に関する概念
を示す図である。

【０２２４】まず、確信度算出部１６１では、３つの分
類に基づき微小変化の与えかたを変える。例えば、差が
閾値以下の部位では閾値εを半径ｒとする円内の微小変
化を与え、差が閾値以上でモデルとの置換を行った部位
は置換前の部位があった方向（角度θ）を除く閾値εを
半径ｒとする円内で、差が閾値以上でモデルとの置換が
破棄された部位は閾値εの２倍を半径ｒとする円内の微
小変化を与える。

【０２２５】次に算出された半径ｒ、角度θは、最適化
処理部２４に出力される。最適化処理部２４では、半径
ｒ、角度θの円内に、与えられた微小変化が存在するか
判断し、存在するならば、その微小変化を用いて最適化
を行う。図４８は、確信度を利用した微小変化の与え方
の概念図である。制御部１１の制御に基づき最適化処理
部２４の出力が画像生成部１２に転送される。

【０２２６】この第１１実施形態によれば、パラメータ
の修正に関する情報を利用して、最適化処理にて扱う微
小変化を与える範囲を限定することで処理を高速化する
ことができる。

【０２２７】以上の実施形態に基づいて説明したが、本
明細書には、以下のような発明も含まれる。

【０２２８】（１） 時系列画像中の所定の対象物を解
析する時系列画像解析装置において、 上記時系列画像
中の所定の時間範囲内の複数の画像から対象物であるシ
ルエット画像を抽出する形状生成手段と、上記対象物の
形状及び動きによる形状変化に関する知識を、上記対象
物を構成する部位のそれぞれについてパラメータとして
格納する対象物モデル手段と、上記形状生成手段によっ
て抽出された上記対象物から上記対象物モデル手段に格
納されたパラメータと対応したパラメータを算出するパ
ラメータ算出手段と、上記パラメータ算出手段から算出
された対応パラメータの全体と対象物モデル手段のパラ
メータの全体を照合し、誤差を最小化させることにより
整合させる整合手段と、を有することを特徴とする時系
列画像解析装置。

【０２２９】この発明に関する実施形態は、第１，５，
７の実施形態が対応する。

【０２３０】従って、遮蔽などの影響で算出不可能であ
った時系列画像中の所定の対象物を構成する部位のパラ
メータは、モデルのパラメータに整合することによっ
て、対象物を認識し、対象物の動きを高精度に解析する
ことができる。

【０２３１】（２） 上記（１）項記載の時系列画像解
析装置の対象物モデル手段において、上記対象物の形状
に関する知識は、対象物を構成する複数の部位に分割
し、分割された各部位の大きさを対象物の全体の大きさ
に対する比率として定義し、また各部位間の接続関係を
テーブルに格納することを特徴とする時系列画像解析装
置。 この発明に関する実施形態は、第１の実施形態が
対応する。

【０２３２】（３） 上記（１）項若しくは（２）項の
いずれか１項に記載の時系列画像解析装置の対象物モデ
ル手段において、上記時系列画像中から動領域を抽出
し、該動領域に外接する矩形を算出し、該矩形の縦方向
のサイズと予め格納してある、各部位の全体の大きさに
対する比率に基づき、各部位のサイズの修正を行い、対
象物のサイズを校正することを特徴とする時系列画像解
析装置。

【０２３３】この発明に関する実施形態は、第１の実施
形態が対応する。

【０２３４】従って、モデルのサイズを校正することで
多くの被写体に適用でき、撮影距離の差によるサイズの
違いも補正できる。

【０２３５】（４） 上記（１）項に記載の時系列画像
解析装置において、上記パラメータを、上記時系列中の
上記対象物の各部位に対応する楕円の位置、傾き、大き
さとすることを特徴とする時系列画像解析装置。

【０２３６】この発明に関する実施形態は、第１，２，
３，４，５，６，７，８，９，１０，１１の実施形態が
対応する。

【０２３７】従って、対象物の形状を楕円で表現するこ
とにより、時系列画像中の対象物との整合が容易であ
る。

【０２３８】（５） 上記（１）項乃至（４）項のいず
れか１項に記載の時系列画像解析装置において、上記パ
ラメータの少なくとも１つは、パラメータの代表値とそ
の許容範囲とすることを特徴とする時系列画像解析装
置。

【０２３９】この発明に関する実施形態は、第２，８の
実施形態が対応する。

【０２４０】従って、上記のパラメータを決定する際に
各部位のパラメータの許容範囲の算出を行ことにより、
算出した各パラメータ解の柔軟性をもたすことができ
る。

【０２４１】（６） 上記（１）項に記載の時系列画像
解析装置の対象物モデル手段において、上記対象物の動
きによる形状変化に関する知識は移動する上記対象物の
各部位のパラメータのことであり、該部位に装着したマ
ーカの動きに基づき算出することを特徴とする時系列画
像解析装置。

【０２４２】この発明に関する実施形態は、第１の実施
形態が対応する。

【０２４３】（７） 上記（６）項記載の時系列画像解
析装置の対象物モデル手段において、上記マーカは、上
記対象物の各部位の中心位置に装着することを特徴とす
る時系列画像解析装置。

【０２４４】この発明に関する実施形態は、第１の実施
形態が対応する。

【０２４５】（８） 上記（６）項記載の時系列画像解
析装置の対象物モデル手段において、上記マーカは、上
記対象物の各部位間の接続箇所に装着することを特徴と
する時系列画像解析装置。

【０２４６】この発明に関する実施形態は、第１の実施
形態が対応する。

【０２４７】（９） 上記（１）項乃至（８）項のいず
れか１項に記載の時系列画像解析装置の対象物モデル手
段において、上記対象物の形状変化に関連する動作のパ
ラメータを時間軸上に所定の時間間隔で割り付けること
を特徴とする時系列画像解析装置。

【０２４８】この発明に関する実施形態は、第１，３，
４，５，６，７，９，１０の実施形態が対応する。

【０２４９】従って、対象となる動作パラメータを、時
間軸上に所定の時間間隔に割り付けることによって、対
象物の動作速度の変化に対応することができる。

【０２５０】（１０） 上記（１）項乃至（９）項のい
ずれか１項に記載の時系列画像解析装置の対象物モデル
手段において、上記パラメータをテーブルとして保持す
ることを特徴とする時系列画像解析装置。

【０２５１】この発明に関する実施形態は、第１，３，
４，５，６，７，９，１０，１１の実施形態が対応す
る。

【０２５２】従って、対象となる動作のパラメータをテ
ーブルとして保存することによって、処理が容易にな
る。

【０２５３】（１１） 上記（１）項乃至（９）項のい
ずれか１項に記載の時系列画像解析装置の対象物モデル
手段において、上記パラメータを補間関数を用いて数式
として保持することを特徴とする時系列画像解析装置。

【０２５４】この発明に関する実施形態は、第１，３，
４，５，６，７，９，１０，１１の実施形態が対応す
る。

【０２５５】従って、対象となる動作のパラメータを、
各部位ごとに補間関数により数式として保存することに
より、モデルのデータ量を削減することができる。

【０２５６】（１２） 上記（１）項乃至（１１）項の
いずれか１項に記載の時系列画像解析装置の対象物モデ
ル手段において、上記時系列画像における対象物の部位
の動作の周期成分を抽出し、一周期分のパラメータのみ
の格納を行うことを特徴とする時系列画像解析装置。

【０２５７】従って、動作に周期性がある場合、動作か
ら周期成分を抽出し、一周期分のパラメータのみを格納
することによって、モデルの情報量を削減することがで
きる。

【０２５８】この発明に関する実施形態は、第１，３，
４の実施形態が対応する。

【０２５９】（１３） 上記（１）項に記載の時系列画
像解析装置の対象物モデル手段において、さらに、上記
パラメータに関する各部位の存在可能領域を算出する存
在可能領域算出手段を付加したことを特徴とする時系列
画像解析装置。

【０２６０】この発明に関する実施形態は、第１の実施
形態が対応する。

【０２６１】従って、対象となる動作の各部位のパラメ
ータを用いて存在可能領域の算出することにより時系列
画像の各部位のパラメータを高速に算出することができ
る。 （１４） 上記（１３）項記載の時系列画像解析装置の
対象物モデル手段において、 上記存在可能領域算出手
段により算出された存在可能領域の形状を単純な幾何学
的形状を組み合わせた形状として保持することを特徴と
する時系列画像解析装置。

【０２６２】この発明に関する実施形態は、第１の実施
形態が対応する。

【０２６３】従って、算出した存在可能領域を幾何学的
な形状のパラメータの組み合わせとして表現することに
より、モデルの情報量を削減することができる。

【０２６４】（１５） 上記（１３）項記載の時系列画
像解析装置のパラメータ算出手段において、上記存在可
能領域算出手段により出力される存在可能領域に基づい
て、上記時系列画像中の上記対象物の各部位の存在候補
領域の算出を行う候補領域算出手段と、を付加したこと
を特徴とする時系列画像解析装置。

【０２６５】この発明に関する実施形態は、第２，８の
実施形態が対応する。

【０２６６】従って、上記で算出した存在可能領域と時
系列画像中の対象物のシルエット画像のＡＮＤ処理を行
い、各部位の候補領域を一括的に算出を行うことによっ
て、処理が高速になり、後処理の負荷を軽減できる。

【０２６７】（１６） 上記（１５）項記載の時系列画
像解析装置のパラメータ算出手段において、上記候補領
域算出手段により出力される存在可能領域に基づき、上
記対象物の各部位のパラメータ群の算出を行うことを特
徴とする時系列画像解析装置。

【０２６８】この発明に関する実施形態は、第２の実施
形態が対応する。

【０２６９】従って、上記で求められた各部位の候補領
域の結合関係を決定し、パラメータの算出を行うことに
よって、後処理の負荷を軽減できる。

【０２７０】（１７） 上記（１６）項記載の時系列画
像解析装置のパラメータ算出手段において、上記パラメ
ータ群の算出を行う際に、上記候補領域算出手段により
算出された候補領域と上記対象物モデル手段に基づく各
部位のサイズより各パラメータの許容範囲を算出するこ
とを特徴とする時系列画像解析装置。

【０２７１】この発明に関する実施形態は、第２の実施
形態が対応する。

【０２７２】従って、上記で求められた候補領域とモデ
ルのサイズにより算出されたパラメータの許容範囲の算
出を行うことによって、後処理の負荷を軽減できる。

【０２７３】（１８） 上記（１）項若しくは（１７）
項のいずれか１項に記載の時系列画像解析装置におい
て、上記時系列画像の一画像内でモデルとの対比により
各パラメータの修正を行うパラメータ修正手段を付加し
たことを特徴とする時系列画像解析装置。

【０２７４】この発明に関する実施形態は、第１の実施
形態が対応する。

【０２７５】従って、モデルと時系列画像のパラメータ
の差を算出し、閾値より大きい場合、パラメータを置換
し、マッチング誤差を算出し、増大する場合は、破棄す
ることよって、真値に近いパラメータを算出するため、
最適化処理が高速になる。

【０２７６】（１９） 上記（１５）項乃至（１７）項
のいずれか１項に記載の時系列画像解析装置のパラメー
タ算出手段は、上記形状生成手段によって抽出された上
記対象物の移動方向を算出する移動方向算出手段と、上
記対象物の移動方向と上記対象物モデル手段に格納され
ている動きに関する知識の移動方向とが同一か否か判断
する移動方向判断手段と、上記対象物と上記対象物モデ
ル手段に格納されている動きに関する知識の移動方向が
同一でない場合、上記対象物モデル手段に格納されてい
る動きに関するパラメータの修正を行うモデル修正手段
と、をさらに有することを特徴とする時系列画像解析装
置。

【０２７７】この発明に関する実施形態は、第２の実施
形態が対応する。

【０２７８】従って、１つの装置で双方向に移動する対
象物の解析も行うことができる。

【０２７９】（２０） 上記（１）項記載の時系列画像
解析装置の整合手段は、上記パラメータ手段から算出さ
れた対応パラメータの全体と対象物モデル手段のパラメ
ータの全体及び、形状生成手段で抽出された対象物のシ
ルエット画像を照合し、誤差を最小化させることを特徴
とする時系列画像解析装置。

【０２８０】この発明に関する実施形態は、第２の実施
形態が対応する。

【０２８１】（２１） 上記（１）項記載の時系列画像
解析装置において、上記整合手段は、さらに、上記パラ
メータ算出手段によって算出された上記対象物のパラメ
ータから対象物を表す画像として構成される画像と上記
形状生成手段によって抽出された対象物とが整合するよ
うに上記対象物のパラメータを補正することを特徴とす
る時系列画像解析装置。

【０２８２】この発明に関する実施形態は、第１，５，
７の実施形態が対応する。

【０２８３】従って、時系列画像中の対象物の各部位の
パラメータをモデルのパラメータ及び、時系列画像中の
対象物に整合させることによりさらに高精度の解析が可
能となる。

【０２８４】（２２） 上記（１）項又は（２１）項の
いずれか１項に記載の時系列画像解析装置の整合手段
は、前記時刻の同期を取るための同期手段を有し、上記
同期手段は、上記対象物モデル手段にパラメータとして
格納されている対象物の各部位の所定の動きの状態変化
を時刻として検出する動き検出手段と、上記動き検出手
段により検出された時刻の上記対象物モデル手段に格納
されている対象物と上記パラメータ算出手段により算出
されたパラメータから同一の動きの状態である時刻の算
出を行う時刻算出手段と、により構成されることを特徴
とする時系列画像解析装置。

【０２８５】この発明に関する実施形態は、第１，３，
５，９，１０，１１の実施形態が対応する。

【０２８６】従って、モデルの所定の動きの時刻のパラ
メータを用いて楕円画像の生成を行い、時系列画像中の
対象物のシルエット画像群とのマッチングを行い、ま
た、マッチング誤差が最小となるシルエット画像の時刻
の算出を行うことによって、全画像との比較を省略でき
るため、高速処理を行うことができる。

【０２８７】（２３） 上記（１２）項記載の時系列画
像解析装置の整合手段において、上記時系列画像におけ
る対象物の部位の動作周期と、前回に設定された上記対
象物モデル手段の対象物の部位の動作周期の比に基づい
て、上記対象物モデル手段の周期の校正を行う周期校正
手段を具備することを特徴とする時系列画像解析装置。

【０２８８】この発明に関する実施形態は、第１，３，
５，９，１０，１１の実施形態が対応する。

【０２８９】従って、各時系列画像の動作周期の算出を
行う。算出した一周期あたりの時間とモデルの一周期あ
たりの時間との比率を算出し、この比率を用いてモデル
の周期の校正を行うことによって、対象物の動作速度が
変化した場合にも柔軟に対応することができる。

【０２９０】（２４） 時系列画像中の所定の対象物を
解析する動画像解析方法において、上記対象物の形状及
び動きによる形状変化の知識を、上記対象物を構成する
部位のそれぞれについてパラメータ化することによって
モデル化し、上記モデル化されたパラメータのうち、動
きに関する知識を時間の関数として格納し、上記時系列
画像中の所定の時間範囲内の複数の画像から上記対象物
を抽出して、上記モデル化されたパラメータに対応する
パラメータを算出し、上記モデル化されたパラメータと
上記対象物から算出されたパラメータとの間の同期をと
り、同期した上記対象物からのパラメータによる形状
と、上記モデル化されたパラメータによる形状との大き
さが合うように上記上記モデル化されたパラメータを補
正し、上記対象物に基づいて算出したパラメータを上記
関数から求められたパラメータに整合することを特徴と
する時系列画像解析方法。

【０２９１】この発明に関する実施形態は、第１，２の
実施形態が対応する。

【０２９２】従って、時系列画像中の対象物を構成する
各部位のパラメータを算出し、抽出された対象物に基づ
いて、モデルの大きさの補正が行われ、対象物とモデル
の動きの同期がとられた後、対象物から算出されたパラ
メータとモデルのパラメータのそれぞれの大きさが所定
の関係を満たすように対象物から算出されたパラメータ
が補正される。

【０２９３】（２５） 時系列画像中の所定の対象物を
解析する動画像解析方法において、上記対象物の形状お
よび動作の知識を所定部位に関するパラメータとしてモ
デル化し、上記モデルを数式化して格納し、上記対象物
に関し上記モデルに対応する概略的なパラメータを算出
し、上記対象物と上記モデル間の時刻の同期をとり、上
記対象物と上記モデル間のサイズの校正をし、上記対象
物パラメータ全体を上記モデルのパラメータ全体及び上
記時系列画像中の所定の対象物に整合する、ことを特徴
とする時系列画像解析方法。

【０２９４】この発明に関する実施形態は、第１，２の
実施形態が対応する。

【０２９５】従って、時系列画像中の対象物の各部位の
パラメータを概略的に算出し、対象物とモデルのサイズ
の校正と同期時刻の算出を行い、さらに、時系列画像中
の対象物の各部位のパラメータ群、モデルのパラメータ
群、時系列画像中の対象物のシルエット画像の３者を整
合する評価関数を定義し、この評価関数を最小化するこ
とを行うことによって、対象物の動作を高精度に解析す
ることができる。

【０２９６】（２６） 上記（２２）項記載の上記同期
手段は、上記形状生成手段によって抽出された対象物と
上記対象物モデル手段に格納されている対象物の面積が
最小または最大となる時刻を算出することを特徴とする
時系列画像解析装置。

【０２９７】この発明に関する実施形態は、第１の実施
形態が対応する。

【０２９８】（２７） 上記（１）項に記載の時系列画
像解析装置の整合手段は、上記形状生成手段のシルエッ
ト画像を入力すると対象物の各部位のパラメータを出力
するニューラルネットワークを付加することを特徴とす
る時系列画像解析装置。

【０２９９】この発明に関する実施形態は、第４の実施
形態が対応する。

【０３００】（２８） 上記（１）項及び（９）項乃至
（１２）項のいずれか１項に記載の時系列画像解析装置
の対象物モデル手段は、さらに上記整合手段により算出
されたパラメータと、上記対象物モデル手段のパラメー
タとの差から算出される補正パラメータに基づき、該対
象物モデル手段に記憶しているパラメータを更新するパ
ラメータ更新手段を有することを特徴とする時系列画像
解析装置。

【０３０１】この発明に関する実施形態は、第５の実施
形態が対応する。

【０３０２】従って、モデルの動きに関するパラメータ
を処理の進行に伴い、適用的に学習させることで、処理
の高精度化と高速化を行うことができる。

【０３０３】（２９） 上記（１）項及び（９）項乃至
（１２）項及び（２８）項のいずれか１項に記載の時系
列画像解析装置の対象物モデル手段は、上記対象物を構
成する主となる任意の部位のパラメータを上位階層と
し、これらの部位と結合する部位のパラメータを下位階
層として 、各部位の動きに関するモデルを階層的に保
存することを特徴とする時系列画像解析装置。

【０３０４】この発明に関する実施形態は、第６の実施
形態が対応する。

【０３０５】（３０） 上記（２９）項記載の時系列画
像解析装置の対象物モデル手段は、上記整合手段による
整合の際に、整合する度合いが所定の閾値を越えた前記
各部位のパラメータのみ新たに変更することを特徴とす
る時系列画像解析装置。

【０３０６】この発明に関する実施形態は、第６の実施
形態が対応する。

【０３０７】従って、必要な部位のみモデルを切り換え
ることが可能となり、より多くの状況に対応可能な処理
を行うことができる。

【０３０８】（３１） 上記（１）項及び（９）項乃至
（１２）項及び（２８）項のいずれか１項に記載の時系
列画像解析装置の対象物モデル手段において、上記整合
手段に使用するために上記対象物モデル手段から抽出さ
れるパラメータは、対象物の部位の複数の動きのパラメ
ータに対して、誤差が最小となるように選択されたパラ
メータであることを特徴とする時系列画像解析装置。

【０３０９】この発明に関する実施形態は、第７の実施
形態が対応する。

【０３１０】従って、対象物の動作が予め分かっていな
い動作に関しても自動的にモデルを選択することができ
る。

【０３１１】（３２） 上記（１６）項及び（１７）項
のいずれか１項に記載の時系列画像解析装置のパラメー
タ算出手段は、上記候補領域算出手段により出力される
各部位の存在可能領域において、該存在可能領域の面積
が所定の閾値以下の部位から優先的にパラメータ群の算
出を行い、他の部位の存在可能領域を限定することを特
徴とする時系列画像解析装置。この発明に関する実施形
態は、第８の実施形態が対応する。

【０３１２】従って、部位毎に処理の優先順位を付加す
ることで、処理の高精度化と高速化を行うことができ
る。

【０３１３】（３３） 上記（１）項及び（２０）項の
いずれか１項に記載の時系列画像解析装置の整合手段
は、各部位の次時刻のパラメータを過去の各部位のパラ
メータから予測する動きベクトル予測手段を、さらに有
することを特徴とする時系列画像解析装置。

【０３１４】この発明に関する実施形態は、第９の実施
形態が対応する。

【０３１５】従って、モデルのパラメータに比べ過去の
画像からパラメータを算出しているため、時間的な連続
性が維持され、１枚の画像での最適化においても良好な
パラメータを得ることができる。

【０３１６】（３４） 上記（１）項及び（２０）項及
び（３３）項のいずれか１項に記載の時系列画像解析装
置の整合手段は、各動きにおける各部位のパラメータの
調整度を算出する調節度算出手段と、上記調節度算出手
段で算出された調整度に基づき、各部位に与える微小変
化を更新する最適化処理手段とを有することを特徴とす
る時系列画像解析装置。

【０３１７】この発明に関する実施形態は、第１０の実
施形態が対応する。

【０３１８】（３５） 上記（３４）項記載の時系列画
像解析装置の調節度算出手段は、上記対象物モデル手段
に格納されているパラメータと時系列画像のパラメータ
の差を算出することを特徴とする時系列画像解析装置。

【０３１９】従って、各部位毎に微小変化の与え方を変
化させることで、高精度かつ高速な処理の実現が可能と
なる。

【０３２０】この発明に関する実施形態は、第１１の実
施形態が対応する。

【０３２１】（３６） 上記（１）項及び（２０）項及
び（３３）項のいずれか１項に記載の時系列画像解析装
置の整合手段は、上記パラメータ修正手段により行われ
た修正情報に基づき、整合手段における各部位のパラメ
ータに関して微小変化を与える領域及び空間を算出する
確信度算出手段をさらに、有することを特徴とする時系
列画像解析装置。

【０３２２】この発明に関する実施形態は、第１１の実
施形態が対応する。

【０３２３】従って、各部位毎に微小変化の与える範囲
を限定させることで、高精度かつ高速な処理の実現が可
能となる。

【０３２４】

【発明の効果】以上詳述したように本発明によれば、対
象物の形状と動作に関する知識を利用することによっ
て、従来遮蔽などの影響で解析不可能であった部分に関
する対象物の動きも高精度に解析を行うことができる時
系列画像解析装置及びその解析方法を提供することがで
きる。

【図面の簡単な説明】

【図１】本発明による第１実施形態としての時系列画像
解析装置の概略的な全体の構成例を示す図である。

【図２】図１に示した対象物モデル部に格納されている
モデル形状を説明するための図である。

【図３】対象物モデル部に記憶されるモデル形状が存在
する存在可能領域を説明するための図である。

【図４】図１に示した整合部の具体的な構成例を示す図
である。

【図５】図４に示した同期部の処理を説明するための概
念を示す図である。

【図６】図４に示した周期校正部の処理を説明するため
の概念を示す図である。

【図７】図４に示したパラメータ修正部の処理を説明す
るための概念を示す図である。

【図８】図４に示した最適化処理部の処理を説明するた
めの概念を示す図である。

【図９】第１実施形態において、処理画像と解析結果の
関係を示す図である。

【図１０】第２実施形態におけるパラメータ算出部の具
体的な構成例を示す図である。

【図１１】時系列画像中の対象物の各部位の存在候補領
域の算出における概念を示す図である。

【図１２】結合関係にある候補領域群の位置や傾斜角お
よび許容範囲の算出における概念を示す図である。

【図１３】マーカ装着と数値データ算出法の概念図であ
る。

【図１４】数値データのテーブル格納の一例を示す図で
ある。

【図１５】対象物モデル部に格納されている各数値デー
タを各部位ごとに補間関数により数式化して格納する概
念を示す図である。

【図１６】存在可能領域のパラメータ算出を説明するた
めの概念を示す図である。

【図１７】同期処理を説明するためのフローチャートで
ある。

【図１８】モデルがｃｌｏｓｅ状態の時刻算出方法の概
念を示す図である。

【図１９】周期校正部を説明するためのフローチャート
である。

【図２０】周期校正部の処理を説明するための概念を示
す図である。

【図２１】パラメータの修正について説明するためのフ
ローチャートである。

【図２２】最適化処理について説明するためのフローチ
ャートである。

【図２３】各部位の分離防止に関する概念を示す図であ
る。

【図２４】パラメータの算出について説明するためのフ
ローチャートである。

【図２５】第３実施形態としての時系列画像解析装置の
概略的な全体の構成例を示す図である。

【図２６】第３実施形態における整合部の構成を示す図
である。

【図２７】第４実施形態としての時系列画像解析装置に
おける整合部の構成例を示す図である。

【図２８】階層型ニューラルネットワークを用いた最適
化処理部の概略的な構成を示す図である。

【図２９】第５実施形態としての時系列画像解析装置の
概略的な全体の構成例を示す図である。

【図３０】モデルパラメータの更新に関する概念を説明
するための図である。

【図３１】対象物モデル部の構成例を示す図である。

【図３２】第５実施形態における整合部の構成を示す図
である。

【図３３】第６実施形態としての時系列画像解析装置に
おける対象物モデル部の構成を示す図である。

【図３４】人間を例とした各部位のツリー構造例を示す
図である。

【図３５】第７実施形態としての時系列画像解析装置の
概略的な全体の構成例を示す図である。

【図３６】第７実施形態における解析部の構成を示す図
である。

【図３７】複数モデルから時系列画像中の対象物に最適
なモデルの選択法に関する概念を示す図である。

【図３８】第８実施形態としての時系列画像解析装置の
パラメータ算出部の構成例を示す図である。

【図３９】処理の優先順位を導入した時系列画像中の対
象物の各部位の存在候補領域の算出における概念を示す
図である。

【図４０】限定された候補領域２の算出に関する概念を
示す図である。

【図４１】第９実施形態としての時系列画像解析装置に
おける整合部の構成を示す図である。

【図４２】動きベクトル算出の概念を示す図である。

【図４３】予測を利用した最適化処理の概念を示す図で
ある。

【図４４】第１０実施形態としての時系列画像解析装置
における整合部の構成を示す図である。

【図４５】調整度算出の概念を示す図である。

【図４６】第１１実施形態としての時系列画像解析装置
における整合部の構成を示す図である。

【図４７】パラメータ修正部で得られる情報に関する概
念を示す図である。

【図４８】確信度を利用した微小変化の与え方の概念を
示す図である。

【図４９】モデルの反転に関する概念を示す図である。

【符号の説明】

１…入力部、２…Ａ／Ｄ部、３…バッファメモリ部、４
…補助入出力部、５…形状生成部、６…対象物モデル
部、７…パラメータ算出部、８…整合部、９…Ｄ／Ａ
部、１０…出力部、１１…制御部。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 時系列画像中の所定の対象物を解析する
   時系列画像解析装置において、 上記時系列画像中の所定の時間範囲内の複数の画像から
   対象物を抽出する形状生成手段と、 上記対象物の形状及び動きによる形状変化に関する知識
   を、上記対象物を構成する部位のそれぞれについてパラ
   メータとして格納する対象物モデル手段と、 上記形状生成手段によって抽出された上記対象物から上
   記対象物モデル手段に格納されたパラメータと対応した
   部位の位置や傾斜角の種類及び時刻のパラメータを算出
   するパラメータ算出手段と、 上記複数の画像のそれぞれに対応する、上記パラメータ
   算出手段により算出された上記対象物のパラメータを構
   成要素とするパラメータの集合を、上記対象物のパラメ
   ータに対応する上記モデル手段に格納されたパラメータ
   のそれぞれを構成要素とするパラメータの集合に整合さ
   せる整合手段と、を有することを特徴とする時系列画像
   解析装置。
2. 【請求項２】 上記整合手段は、さらに、上記パラメー
   タ算出手段によって算出された上記対象物のパラメータ
   から対象物を表す画像として構成される画像と上記形状
   生成手段によって抽出された対象物とが整合するように
   上記対象物のパラメータを補正することを特徴とする請
   求項１記載の時系列画像解析装置。
3. 【請求項３】 時系列画像中の所定の対象物を解析する
   動画像解析方法において、 上記対象物の形状及び動きによる形状変化の知識を、上
   記対象物を構成する部位のそれぞれについてパラメータ
   化することによってモデル化し、 上記モデル化されたパラメータのうち動きに関する知識
   を時間の関数として格納し、 上記時系列画像中の所定の時間範囲内の複数の画像から
   上記対象物を抽出して、上記モデル化されたパラメータ
   に対応するパラメータを算出し、 上記モデル化されたパラメータと上記対象物から算出さ
   れたパラメータとの間の同期をとり、 同期した上記対象物からのパラメータによる形状と、上
   記モデル化されたパラメータによる形状との大きさが合
   うように上記モデル化されたパラメータを補正し、 上記対象物に基づいて算出したパラメータを上記関数か
   ら求められたパラメータに整合することを特徴とする時
   系列画像解析方法。