JPH08214289A - 時系列画像解析装置及びその解析方法 - Google Patents
時系列画像解析装置及びその解析方法Info
- Publication number
- JPH08214289A JPH08214289A JP7272635A JP27263595A JPH08214289A JP H08214289 A JPH08214289 A JP H08214289A JP 7272635 A JP7272635 A JP 7272635A JP 27263595 A JP27263595 A JP 27263595A JP H08214289 A JPH08214289 A JP H08214289A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- time
- model
- parameters
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
利用し、対象物の動きを高精度に解析を行うことができ
る時系列画像解析装置及びその解析方法を提供すること
を目的とする。 【解決手段】 【構成】本発明は、デジタル画像信号をフレーム単位で
の画像データとして記憶するバッファメモリ部3と、そ
の画像データから対象物(動画像領域)を抽出し、シル
エット画像を生成する形状生成部5と、そのシルエット
画像を対象物の各部位の形状に対応する幾何学的なモデ
ル形状や動作による形状変化の情報が記憶される対象物
モデル部6と、形状生成部5と対象物モデル部6の出力
から対象物の各部位の位置や傾斜角のパラメータを概念
的に算出するパラメータ算出部7と、算出されたパラメ
ータ群全体をシルエット画像群に整合させる整合部8と
出力部10とで構成される時系列画像解析装置である。
Description
の対象物を抽出し、解析を行う時系列画像解析装置に係
り、対象物の動作を高精度に解析を行う時系列画像解析
装置及びその解析方法に関する。
により撮影された画像の認識を行うための種々の技術が
知られている。例えば、「だ円によるシルエット図形の
記述と表現」(木本伊彦他 電子情報通信学会論文誌
D−II Voll.J76−DII No.6 P115
9〜P1167)に記載されるように、自然画像から2
値化処理を行うことにより、シルエットの抽出を行い、
その抽出されたシルエット領域内を全探索し、面積最大
の楕円の当て嵌めを行う。そして、当て嵌めを行われて
いない残りのシルエット領域に関しても同様に楕円の当
て嵌めを行い、対象物の形状の認識を行っている。
手法では、対象物の認識が一枚の静止画像とこの静止画
像から抽出されたシルエット画像のみで行われている。
従って、影や遮蔽の影響で対象物の本来の形状の情報が
欠落している場合、どの部位が欠落しているのか、また
はこのどの部位がどのような動きをしているのか解析す
ることができない。 さらに誤認識が生じた場合でも、
それが実際に、誤認識であるかどうか判定できない。
する知識を利用し、対象物の動きを高精度に解析を行う
ことができる時系列画像解析装置及びその解析方法を提
供することを目的とする。
に、時系列画像中の所定の対象物を解析する時系列画像
解析装置において、上記時系列画像中の所定の時間範囲
内の複数の画像から対象物を抽出する形状生成手段と、
上記対象物の形状及び動きによる形状変化に関する知識
を、上記対象物を構成する部位のそれぞれについてパラ
メータとして格納する対象物モデル手段と、上記形状生
成手段によって抽出された上記対象物から上記対象物モ
デル手段に格納されたパラメータと経時的に対応した部
位の位置や傾斜角のパラメータを算出するパラメータ算
出手段と、上記複数の画像のそれぞれに対応する、上記
パラメータ算出手段により算出された上記対象物のパラ
メータを構成要素とするパラメータの集合を、上記対象
物のパラメータに対応する上記モデル手段に格納された
パラメータのそれぞれを構成要素とするパラメータの集
合に整合させる整合手段とで構成される時系列画像解析
装置を提供する。
析する動画像解析方法において、上記対象物の形状及び
動きによる形状変化の知識を、上記対象物を構成する部
位のそれぞれについてパラメータ化することによってモ
デル化し、上記モデル化されたパラメータのうち動きに
関する知識を時間の関数として格納し、上記時系列画像
中の所定の時間範囲内の複数の画像から上記対象物を抽
出して、上記モデル化されたパラメータに対応するパラ
メータを算出し、上記モデル化されたパラメータと上記
対象物から算出されたパラメータとの間の同期をとり、
同期した上記対象物からのパラメータによる形状と、上
記モデル化されたパラメータによる形状との大きさが合
うように上記モデル化されたパラメータを補正し、上記
対象物に基づいて算出したパラメータを上記関数から求
められたパラメータに整合する時系列画像解析方法を提
供する。
り、時系列画像中の所定の時間範囲内の複数の画像から
対象物を抽出し、対象物を構成する部位の形状と動きを
パラメータとして表し、他方で上記対象物のモデルを上
記パラメータに対応するパラメータとして格納する。上
記複数の画像において全体として、対象物から求められ
たパラメータと、モデルのパラメータとが整合するよう
に、すなわち、それぞれのパラメータの値が所定の関係
を満たすように対象物から求められたパラメータを補正
することによって、対象物の動きが認識され、高精度に
解析される。若しくは、上記パラメータ算出手段によっ
て算出されたパラメータから対象物を表す画像として構
成される画像と上記形状生成手段によって抽出された対
象物が所定の関係を満たすように上記対象物のパラメー
タを補正することによって対象物の動きを解析する。
画像中の対象物を構成する各部位のパラメータを算出
し、抽出された対象物に基づいて、モデルの大きさの補
正が行われ、対象物とモデルの動きの同期がとられた
後、対象物から算出されたパラメータとモデルのパラメ
ータのそれぞれの大きさが所定の関係を満たすように対
象物から算出されたパラメータが補正される。
施形態について詳細に説明する。
の時系列画像解析装置の概略的な全体の構成例を示す図
である。
等からなる画像の入力部1と、上記入力部1からの画像
入力信号をデジタル化するA/D部2と、上記A/D部
2からのデジタル画像信号をフレーム単位で一時的に記
憶するバッファメモリ部3と、上記バッファメモリ部3
からの画像データを保存する磁気ディスク等からなる補
助入出力部4と、上記画像データから所望の対象物
(動画像領域)を抽出し、シルエット画像として生成す
る形状生成部5と、上記形状生成部5により生成された
シルエット画像を、予め解析の対象となる物体の各部位
(パーツ)の形状に対応する単純な幾何学的な形状、例
えば図2に示す楕円のような幾何学形状で各部位を表現
するためのモデル形状や動作の情報などが格納されてい
る対象物モデル部6と、上記形状生成部5と上記対象物
モデル部6により対象物を構成する部位に分割し、各部
位の位置や傾斜角のパラメータを概略的に算出するパラ
メータ算出部7と、上記パラメータ算出部7により算出
されたパラメータ群全体を、上記対象物モデル部6が出
力するパラメータ群全体及び形状生成部5が生成したシ
ルエット画像群に整合させる整合部8と、上記整合部8
で算出されたパラメータ群を画像生成部12に出力す
る。上記画像生成部12にて画像化された解析結果の出
力をアナログ化するD/A部9と、アナログ化された画
像データを出力する出力部10と、これらの構成部の動
作を制御する制御部11とで構成される。以上のように
構成された時系列画像解析装置における画像解析につい
て説明する。
し、制御部11の制御に基づき、所定時間の映像信号と
してA/D部2へ転送する。上記A/D部2は、上記映
像信号をデジタル画像信号に変換し、バッファメモリ部
3へ転送する。このバッファメモリ部3は、複数のフレ
ームメモリで構成され、A/D部2からの上記デジタル
画像信号を一時的に記憶し、フレーム単位の画像データ
に変換して順次、磁気ディスク装置などの補助入出力部
4へ出力する。
により上記画像データを形状生成部5へ出力する。形状
生成部5では、上記画像データにおいて、解析処理の対
象物が存在しない背景画像と、対象物の存在している原
画像との差の絶対値を算出した後、2値化処理し、動画
像領域(対象物のシルエット画像)のみを取り出す。こ
こで、上記背景画像は、予め撮影したものを用いてもよ
いし、原画像から背景画像を生成して用いてもよい。
画像は、対象物モデル部6、パラメータ算出部7、整合
部8にそれぞれ出力される。
御により、シルエット画像と対象物の形状の情報を用い
てモデルサイズの校正を行う。上記パラメータ算出部7
では、制御部11の制御により、形状生成部5のシルエ
ット画像と、対象物モデル部6の各出力から対象物の各
部位の位置や傾斜角のパラメータを概略的に決定する。
具体的な一例としては、形状生成部5で生成されたシ
ルエット画像よりスケルトンの抽出を行う。抽出された
スケルトンは、元のシルエットの幅の情報を含んでい
る。また、スケルトンの抽出方法に関しては、例えば、
総研出版刊、コンピュータ画像処理入門(p77)など
に記載されており、ここでの詳細な説明は省略する。
ズに基づきスケルトンの分割を行う。分割されたスケル
トンの中心点が各部位の位置に、傾きが傾斜角に相当す
る。また、中心点におけるスケルトンの幅情報を許容範
囲εとする。
ット画像、対象物モデル部6のモデル、パラメータ算出
部7で算出された各部位のパラメータは、整合部8にそ
れぞれ出力される。上記整合部8では、形状生成部5、
対象物モデル部6、パラメータ算出部7の各出力を用い
て、時系列画像中の対象物と対象物モデル部6の動作に
関する時刻の同期を行い、パラメータ算出部7により算
出されたパラメータ群全体と対象物モデル部6のパラメ
ータ群全体および形状生成部5のシルエット画像群との
関係を照合し、誤差を最小化させる。
により、画像生成部12に転送され、算出されたパラメ
ータを例えば、楕円等で表すことにより画像化する。前
記画像生成部12で生成された画像は、D/A部9に転
送して、アナログ信号に変換される。さらに制御部11
により上記アナログ信号をディスプレイ等の出力部10
へ出力し、画像解析結果を表示する。
ているモデルを説明するための図である。
し、この形状を胴体、頭、手足等の対象物を構成する複
数の部位に分解して、楕円で表現した場合のモデルを示
す。但し上記楕円は単純な幾何学的形状の一例であり、
数字は部位の番号であり、a,bは、各部位の長さを表
す。このモデルでは、各部位のサイズ比、接続関係など
対象物に関して、予め分かっている標準的な情報が格納
してある。
号を示す。
対する比率として定義し、対象物モデル部6に格納す
る。また、各部位の大きさの校正を行うために、モデル
の対象物の高さ方向の大きさ(身長)mhもモデルの一
部として格納しておく。なお、単純な幾何学的形状とし
ては、楕円に限定されるものではなく、線分や円柱など
で記述することも勿論可能である。
斜角の理論的な数値データが時刻に対応して格納されて
いる。対象物の対象となる動作の数値データの算出を行
うために、マーカを用いて数値データを収集する。ここ
で、数値データとは、各部位の中心位置(x,y)、傾
斜角θのことである。
し、対象となる動作の撮影を行う。撮影された画像から
マーカを抽出し、抽出されたマーカの重心を各部位の中
心点(x,y)とする。このマーカの傾斜角は、例えば
抽出されたマーカの細線化を行い、この線の傾きを角度
θとする。マーカの形状は、例えば長方形など傾斜角の
算出が行うことが可能である形状であればよい。
関節に装着してもよい。この場合の数値データの算出法
は、マーカを抽出し、各マーカの位置の算出を行う。接
続関係にある部位の2つのマーカの位置を用いて(1)
式に示すように部位の長さ、傾斜角、中心点の算出を行
う。
ことにより、各部位の長さを正確に算出することができ
る。なお、マーカ形状は、円形のように動作の妨げにな
らず、各部位の長さ、傾斜角、中心点の算出が行うこと
が可能である形状であればよい。また、上記2つのマー
カは、色マーカや電球のように公知であるマーカを用い
て行うこともできる。
の概念図であり、(a)は、マーカを各部位の中心位置
に装着した例であり、(b)は、マーカを各部位の接続
関係にある部位に装着した例である。
は、接続関係にある部位のマーカの位置であり、(x,
y)は、各部位の中心点、θは、各部位のなす傾斜角、
aは、各部位の長さを表す。
してもよいし、対象となる動作に周期性がある場合、動
作の周期成分を抽出し、一周期分のみ格納してもよい。
また、対象となる動作の理論的な数値データは時間に対
応させて、図14に示すようなテーブルとして保存して
もよいし、各数値データを各部位ごとに補間関数により
数式化して係数のみを保存してもよい。また、図3に示
すような存在可能領域として保存してもよい。
れている各数値データを各部位ごとに補間関数により数
式化して格納する概念を示す。図15(a)に示すよう
に、格納された時刻i−1,i,i+1の各数値データ
から微分値(差分値)を算出する。
分値の変動が所定の閾値以上になる点を節点とする。抽
出された節点間をスプライン関数などで補間を行い、算
出された係数のみを格納とておく。スプライン関数に関
しては例えば、「スプライン関数入門」(電機大出版
局)などに記載されている。なお節点は、時刻i−1,
i,i+1の各数値データの2次微分値の変曲点として
もよい。変曲点を節点とすることにより、数値データの
変化が小さい運動についても節点を抽出することができ
る。
る場合、その動作の周期成分を抽出し、一周期分の各部
位の論理的な(理論的な)数値データを格納してもよ
い。また、対象となる部位の動作の論理的な(理論的
な)数値データは、時間に対応させたテーブルの形態で
保存してもよい。また図3に示すような存在可能領域と
して保存してもよい。
る各部位の存在可能領域を理論的な数値データを基に以
下のように算出する。
ト)を包含する矩形を公知である手法で、図3(a)の
ように抽出し、この矩形のx軸方向の中心線(中点)を
求める。この中心線を一致させるように、つまりx座標
を一致させるように各部位の理論的な数値データ(中心
点)を重ね合わせる。
の中心点の分布を求めることができる。この中心点の分
布を包含する領域、つまり、各部位の中心点が存在可能
な領域として存在可能領域を定める。この存在可能領域
は、幾何学的な形状である楕円や半円のパラメータの組
み合わせで記述する。
均値を中心とする楕円で示し、手部・上腕部・前腕部は
肩の位置を、大腿部・臑部・足部は腰の位置を中心とす
る円(扇形)の組み合わせで示している。肩・腰の位置
(xshoulder,yshoulder),(xwaist ,ywaist )
は(2)式で算出される。
胴体部の中心点、a2 は胴体部の長さ、θ2 は胴体部の
傾斜角を示す。
・大腿部・臑部・足部の中心点を包含するような幾何学
的な形状の算出を行う。
るような円の半径、phiは円周角を示す。図16は、
半径rや円周角phiの算出方法の説明図である。これ
らは円の中心点((xshoulder,yshoulder)または
(xwaist ,ywaist ))と各部位の全中心点との距離
と角度を例えば(4)式のように算出する。
座標を示し、r0 ,phi0 は腰の位置から部位番号3
である大腿部までの距離、角度を示す。この計算を解析
を行う全ての時刻に対して行い、ri ,phii の最大
・最小の値からrmax ,rmin,phimax ,phimin
を自動的に求めることができる。この操作を各部位に
関して行う。
は画像として格納するのではなく、半径rや円周角ph
iや中心点(x,y)や回転角θや長軸・短軸の長さ
a,bのパラメータをテーブルとして格納しておく。処
理を行う際、このパラメータを用いて図3(b)に示す
画像として回復する。
を示すブロック図である。
象物モデル部6の出力は、同期部21に転送される。同
期部21では、形状生成部5のシルエット画像群と対象
物モデル部6のモデルのパラメータ群から同期をとるた
めに、同じ動作となる時刻を複数個算出する。対象物モ
デル部6と同期部21の各出力は、周期校正部22に転
送される。本実施形態では、解折対象の動作に周期性が
あるものを前提としている。そこで、周期校正部22で
は、同期部21で算出された複数の同期時刻とから算出
される1周期にかかる時間と、対象物モデル部6の出力
であるモデルパラメータに予め含まれているモデルの1
周期にかかる時刻とに基づいて、モデルデータの周期の
校正を行う。形状生成部5と対象物モデル部6とパラメ
ータ算出部7と同期部21と周期校正部22はパラメー
タ修正部23に出力される。
でモデルとの対比による時系列画像のパラメータの修正
を行う。形状生成部5と対象物モデル部6とパラメータ
算出部7とパラメータ修正部23の出力は、最適化処理
部24に転送する。最適化処理部24では、パラメータ
算出部7により算出されたパラメータ群全体を周期校正
された対象物モデル部6のパラメータ群全体および形状
生成部5のシルエット画像群に整合される。
である。同期部21では、時刻timeにおけるモデル
の位置や傾斜角のパラメータを用いて単純な幾何学的形
状の一例として楕円を生成し、時系列画像中の対象物の
シルエット画像群とのマッチングを行う。マッチング誤
差が最小となるシルエット画像の時刻が、モデルにおけ
る時刻timeに相当することになる。
ある場合の具体的な例を、図17に示すフローチャート
を参照して説明する。
e状態(手足が閉じている状態)の時刻crossの算
出を行う(ステップS1)。図18はclose状態の
算出方法の概念図である。基準動作close状態の時
刻の算出方法は、対象物モデル部6に格納されているモ
デルのパラメータをスプライン関数から算出し、全ての
時刻に関して頭部(部位の番号0)と他の部位群とのx
座標の差の総和を算出する。この総和が一番小さくなる
時刻がcrossとなる。図5は同期時刻timeの算
出方法の概念図である。
タを用いて時刻crossのモデルの楕円画像を生成す
る(ステップS2)。この時刻crossのモデルのシ
ルエット画像と時刻timeの時系列画像のシルエット
画像を包含する外接四辺形を公知である手法で抽出し、
この外接四辺形のx軸方向の中心線を一致させる。時系
列画像のシルエット画像とモデルの楕円画像との面積差
を算出する。
との面積差を算出し、面積差が最小である時刻peri
odが時刻crossと同動作を行う時刻である(ステ
ップS3)。
楕円画像と時系列画像中の対象物のシルエット画像群と
のマッチングを行うことで、モデルと時系列画像との同
期をとることができる。
出することも可能である。対象物モデル部6に格納され
ているモデルのシルエット画像群と時系列画像のシルエ
ット画像群の面積の最小(又は最大)となる時刻を複数
個算出する。算出された時刻がモデルと時系列画像の同
期の時刻となる。例えば、人間の歩行動作を解析対象と
した場合、シルエット画像の面積が最小となるときは、
ほぼ直立した状態を示している。ここで、モデルと時系
列画像のシルエットの面積最小時刻を算出するというこ
とは、直立状態の時刻の同期をとっていることになる。
このようにすることで、楕円画像を生成する必要がなく
なるので、処理時間を短縮することができる。
おける概念を示す。周期校正部22は、対象となる動作
に周期性がある場合のみ行われる。同期部21により算
出された複数の同期の時刻により、一周期にかかる時間
Tの算出を行う。対象物モデル部6に格納されているモ
デルの一周期にかかる時間MT と時系列画像の一周期に
かかる時間Tとの比ra =MT /Tを求め、この比ra
を用いてモデルの周期の校正を行う。
周期校正部22について説明する。対象物モデル部6に
格納してあるモデルの一周期分の動作の時刻MT とし、
同期部21により算出された複数の同期の時刻により、
一周期にかかる時間Tの算出を行う(ステップS1
1)。モデルの一周期にかかる時間MT と時系列画像の
一周期にかかる時間Tとの比ra =MT /Tを求め(ス
テップS12)、この比ra を用いてパラメータ修正部
23でモデルの周期の校正を行う。この処理は、一周期
単位で行われる。このため対象物の動作が周期が増すご
とに加速するような状況にも対応できる。これは動作の
数値データをスプライン関数の係数として保存している
ため、任意の時刻の数値データが算出できるためであ
る。
ける概念図である。パラメータ修正部23では、時系列
画像の時刻timeの各部位のパラメータと時刻tim
eに対応するモデルの各部位のパラメータの差の算出を
行う。パラメータ算出部7で算出された許容範囲εを閾
値とする。各パラメータ間の差が所定の閾値以上である
とき、時系列画像のパラメータをモデルのパラメータに
置換し、例えば単純な幾何学的形状の一例として楕円を
生成し、シルエット画像との誤差の算出を行う。算出さ
れた誤差が置換前より増加した場合、パラメータの置換
は破棄される。上記過程を各パラメータに対して行い、
画像内でのパラメータの修正を行う。
パラメータ修正部23について説明する。
きさの比率の算出を行う(ステップS21)。対象物モ
デル部6に格納してあるモデルの対象物の高さ方向の大
きさをmhとし、時系列画像の対象物(シルエット画
像)を包含する外接四辺形を算出し、高さ方向の大きさ
hを算出する。これを用いてモデルと時系列画像の対象
物の大きさの比率scale=mh/hを算出する。対
象物の各部位の中心位置を比率scale倍して位置の
修正を行った後、以下の処理を行う。
て時系列画像に対応するモデルの時刻の算出を行う(ス
テップS22)。モデルの時刻を比率ra 倍し、時系列
画像の時刻がra 倍されたモデルの一周期分の時刻を越
えていたら、越えた分だけモデルの始め時刻に対応する
ように合わせる。
S23)。時刻の同期がとれたら時刻timeの時系列
画像のパラメータから楕円画像を生成する(ステップS
24)。時刻timeの時系列画像のシルエット画像と
楕円画像との面積差を算出し、diff1に格納する
(ステップS25)。
時刻のモデルのパラメータをスプライン関数から算出
し、時刻timeに対応する時刻のモデルと時系列画像
のパラメータの差の絶対値の算出を各部位毎に行う(ス
テップS26)。差の絶対値をパラメータ算出部7で算
出された許容範囲εと比較し(ステップS27)、小さ
ければ(NO)ステップS28に移行し、時刻time
のインクリメントを行い、ステップS24に戻る。
ES)、モデルと時系列画像のパラメータの入れ替えを
各部位毎に行う(ステップS29)。時系列画像の対象
物とモデルの対象物の位置が異なるため、シルエット画
像を利用して、位置合わせを行い、パラメータの入れ替
えを直接行うようにする。時刻timeの時系列画像の
シルエット画像とそれに対応するモデルのシルエット画
像を包含する外接四辺形を抽出し、外接四辺形のx軸方
向の中心線を一致させる。つまり、外接四辺形の中心の
x座標を一致させるためのモデルの移動量を算出し、こ
の移動量をもとにモデルのパラメータの修正を行い、入
れ替えを行う。
を行い(ステップS30)、ステップS25と同様にス
テップS30で生成した楕円画像とシルエット画像の面
積差を算出し、diff2に格納する(ステップS3
1)。パラメータ入れ替え前の面積差diff1と入れ
替え後の面積差diff2を比較し(ステップS3
2)。diff2がdiff1より大きい場合(N
O)、ステップS28に戻り、時刻timeのインクリ
メントを行い、ステップS24に戻る。小さい場合(Y
ES)、パラメータの入れ替えを破棄する(ステップS
33)。ステップS24からステップS33は、全ての
部位に対してまとめて処理を行う。時刻timeと時系
列画像の終了時刻を比較し、時刻timeが終了時刻よ
り小さい場合(NO)ステップS28に戻り、時刻ti
meのインクリメントを行い、ステップS24に戻る。
大きい場合(YES)処理を終了する。
概念図である。上記パラメータ算出部7で算出された時
系列画像のパラメータ群、対象物モデル部6のモデルの
パラメータ群と形状生成部5で生成されたシルエット画
像群の三者を整合する。このための手法の一例として評
価関数を設定し、最小化する。例えば人間を対象とした
解析の場合、(5)式のように評価関数ET 定義し、評
価関数ET をアニーリングや最急降下法などを用いて最
小化することにより、時系列画像のパラメータ群の最適
なパラメータの算出を行う。
刻、j=1〜14は部位、l=1〜13は図2(b)に
示すような各部位の接続番号、Pmはモデルのパラメー
タ群、Pは時系列画像中の対象物の各部位のパラメータ
群である。第1項は対象物のパラメータをモデルのパラ
メータと整合させる。Silは時系列画像中の対象物の
シルエット画像、Parは時系列画像のパラメータによ
り生成した楕円画像であり、第2項は時系列画像のパラ
メータをシルエット画像に整合させる。
組の接続関係にある部位の中心点間の距離である。つま
り頭部と胴体部などの結合関係にある部位の中心位置間
の距離である。Lmはモデルに関する各部位の中心点間
の距離、Lは時系列画像中に関する各部位の中心点間の
距離を表す。第三項は、時系列画像中の対象物の各部位
間のパラメータの結合関係をモデルの結合関係に整合さ
せる。kは、それぞれの項のウエイトである。
ニーリングや最急降下法などを用いて時系列画像のパラ
メータ群の最適なパラメータの算出を行うことも可能で
ある。
刻、j=1〜14は部位、l=1〜13は図2(b)に
示すような各部位の接続番号。Pmはモデルのパラメー
タ群、Pは時系列画像中の対象物の各部位のパラメータ
群である。第一項は対象物のパラメータをモデルのパラ
メータと整合させる。Silは時系列画像中の対象物の
シルエット画像、Parはモデルのパラメータにより生
成した楕円画像であり、第二項はモデルのパラメータを
シルエット画像に整合させる。Lm及びLは、図2
(b)に示される13組の結合関係にある中心点間の距
離である。つまり、頭部と胴体部などの結合関係にある
部位の中心位置間の距離である。Lmはモデルに関する
各部位の中心点間の距離、Lは時系列画像中に関する各
部位の中心点間の距離を表す。第三項は、時系列画像中
の対象物の各部位間のパラメータの結合関係をモデルの
結合関係に整合させる。Pcは時刻i−2,i−1,
i,i+1,i+2の時系列画像のパラメータに、重み
をそれぞれ1:2:3:2:1だけ与え、平均値を算出
した値であり、第四項は、時系列画像のパラメータを前
後の時刻から推測されるパラメータ値に整合させる。k
は、各項に対するウエイトである。
メータ群の最適なパラメータの算出をアニーリングを利
用して行う方法を以下に示す。図22に示すフローチャ
ートを参照して、最適化処理部24を説明する。
期設定を行う(ステップS41)。iteration
とTempの初期設定を行う(ステップS42)。初期
エネルギーinit engの算出を行う(ステップS
43)。
評価関数を計算した結果を表す。乱数ranを発生さ
せ、微小変化を与える値gとパラメータの種類xyrと
時刻timeと部位番号pを決定する(ステップS4
4)。例えば、0〜1までの乱数を発生せた場合の各パ
ラメータは、 time=ran×画像の枚数 xyr=ran×3 (xyr=1の時x,xyr=2
の時y,xyr=3の時rad) p=ran×14 g=部位番号pの部位の長さ×(ran×2.1−1.
0) として与えられる。
yr[time][p]に微小変化gを与える(ステッ
プS45)。微小変化を与えたパラメータを用いてエネ
ルギーengの算出を行う(ステップS46)。初期エ
ネルギーinit engとエネルギーengを比較し
(ステップS47)、init engがengより大
きいならば(NO)、ステップS48に移行し、乱数r
anとexp[(eng−init eng)/Tem
p]を比較し、条件を満たさないならば(NO)、ステ
ップS44に戻り、新たな乱数ranを発生させる。
条件を満たすならば(YES)、この微小変化を受け入
れ、パラメータ値の更新を行い、エネルギーの値の入れ
替えを行う(init eng=eng)(ステップS
49)。
り小さいか否か判断し(ステップS50)、条件を満た
す場合(YES)、温度を下げ、反復回数iterat
ionを更新した後(ステップS51)、ステップS4
4に戻り、新たな乱数ranを発生させる。しかし条件
を満たさない場合には(NO)、最適化処理を終了す
る。
よっては本来接続している部位、例えば手部と前腕部と
が離れてしまうことがある。これを防ぐために、各部位
のパラメータに与える微小変化の範囲を限定し、各部位
の分離を防止する方法を説明する。各部位の分離を防止
するために、従来不変としてきた長軸,短軸の長さを適
応的に調節するモデルを付加する。具体的には、最適化
処理で微小変化を与える時に分離を防止するような制限
を設ける。
を考える。
いることを仮定する。微小変化を与える注目部位とそれ
に連結している部位の長軸の長さを所定長だけ延長す
る。延長した長軸を半径とする円を考える。この円が分
離しないよう、つまり常に接する、または交差するよう
に注目している部位の円を移動する。
維持したままで微小変化を与えられる領域となる。図2
3は、対象物が人間である場合の各部位の分離防止に関
する概念図である。図23をもとに人間の場合について
具体的に説明する。例えば、手部と上腕部に結合してい
る前腕部の中心座標に微小変化を与える場合を考える。
この段階では所定の長さの長軸で結合していることを仮
定する。手部,上腕部,前腕部の長軸の長さを所定長
(例えば10%)延長し、この3つの円が分離しないよ
う、前腕部の(10%膨張した)円を移動する。
維持したままで微小変化を与えられる領域となる。ただ
し、端点の注目部位とそれと連結する部位が分離しない
ような円の移動は、モデルに基づき各関節間の移動可能
範囲角度を越えないように行う。なお、長軸と同じ比率
だけ短軸を調整することで、プロポーションを一定に保
つことができる。
を限定することになるので、最適化処理を高速化でき、
各部位の分離を防止することができる。
動体、例えば多関節ロボットや動物などの動きの解析も
同様な方法で行うことが可能である。例えば、多関節ロ
ボットの動きの解析を行う場合、以下のように行う。ロ
ボットに関する形状の知識(大きさ・接続関係)と関数
化された各部位の動作の知識と各部位の存在可能領域を
ロボットの動きの知識として格納する。
ット画像を抽出する。シルエット画像と存在可能領域と
のAND処理を行うことにより、各部位の概略的なパラ
メータの算出を行う。このパラメータをモデルを用いて
修正し、最適化処理を行う。この手法により、ロボット
の動きを解析し、これをもとに最適化することができ
る。
いない最適化も考えられる。
られる。モデルのパラメータ群と時系列画像中の対象物
の各部位のパラメータ群の差がある閾値以下であり、且
つ、時間的に前後の画像の同部位のパラメータと時系列
画像中の対象物の各部位のパラメータ群の差がある閾値
以下ならば、置換しないものとする。
制御部11からの制御に基づき、画像生成部12に出力
する。上記画像生成部12では、整合部8で算出された
パラメータに基づいて、例えば、楕円を生成し、各部位
のパラメータの画像化を行う。ただし、楕円ではなく、
線分や円柱などで画像化を行ってもよい。上記画像生成
部12にて画像化された解析結果の出力をD/A部9に
転送し、アナログ信号に変換する。さらに制御部11か
らの信号に基づき、上記アナログ信号をディスプレイな
どの出力部10へ出力し、画像解析結果をディスプレイ
などで表示する。すなわち、図9(a)に示すような時
系列画像に関して、図9(b)に示す解析結果が得られ
る。
物の動作のパラメータを数式化することで情報量を削減
でき、モデルの各部位のサイズや位置を校正することで
多くの被写体に適用でき、撮影距離の差によるサイズの
違いも補正できる。また、遮蔽や影の影響により対象物
の形状や動作が正確にとらえられなかった場合に、対象
物の形状や動作による形状変化の知識を用いて補正を行
い、対象物の動作を高精度に解析することができる。ま
た、周期性を利用することにより、モデルの情報量を削
減することができ、周期を校正することで同じ動作で速
度が異なる場合にも対応することができる。
する時刻を決定して動きのマッチングを行うものとした
が、この処理を省略し、時系列画像群とモデルパラメー
タ群との全ての組み合わせについて探索を行うようにし
てもよい。
る動作について周期の校正を行うものとしたが、この処
理は省略してもよい。また周期校正部22は、同期部2
1が省略されている場合に行われない。
メータの修正を行うものとしたがこの処理は省略可能で
ある。また本実施形態では、各部位を表現する単純な幾
何学的形状として楕円を用いたが、線分や円柱などで記
述することもよい。
ついて説明する。
1実施形態と同等であり、ここでは異なる部分のみ説明
を行う。
タ算出部7の具体的な構成例を示す。ここで、第1実施
形態と同等の構成部には第1実施形態の構成部と同じ参
照符号を付し、その説明を省略する。
と対象物モデル部6からの出力が候補領域算出部31に
転送される。この候補領域算出部31の出力は、整合部
8に転送される。
部位の位置や傾斜角のパラメータを概略的に算出を行う
ものである。
を算出し、算出された候補領域と対象物の形状から候補
領域の結合関係を求め、結合関係にある領域群の各位置
や傾斜角のパラメータおよび各パラメータが存在する可
能な範囲の算出を行う。以降、各パラメータが存在する
可能な範囲を許容範囲という。
の候補領域の算出における概念を示す。パラメータの算
出方法について、図24のフローチャートを参照して、
候補領域算出部31を説明する。
の存在可能領域のパラメータ群を画像化する(ステップ
S51)。具体的には、対象物モデル部6に格納されて
いる幾何学的な形状である円や楕円などのパラメータ
(中心点・半径・回転角など)を用いて画像の生成を行
う。例えば、(3)式を満たす画素(x,y)には1
を、満たさない場合には、“0”を格納し、2値画像の
生成を行う。
とシルエット画像を用いて各部位の候補領域の算出を行
う(ステップS52)。図11(b)に示すシルエット
画像に外接する矩形を求め、この矩形の中心線を求めて
おく。また、ステップS52で画像化された存在可能領
域に外接する矩形から中心線の位置を算出し、両者の中
心線を一致させた形でAND出力を求める。
部位が存在する候補領域になる。抽出された各部位の候
補領域から端点領域の選択を行う(ステップS53)。
端点領域とは、一方向のみが他の領域と結合している領
域(手や足)のことである。まず、端点領域の重心点
(x,y)の算出を行う(ステップS54)。重心点の
算出方法は、例えば端点領域のxおよびy座標を加算
し、それぞれの加算された値を端点領域の画素数で割っ
た値などがある。
補領域の結合関係を求め、結合関係にある領域群の各位
置や傾斜角および許容範囲の算出する処理の概念を示
す。時系列画像の対象物の各部位の位置(中心点)は以
下のように算出される。
の算出を行う(ステップS55)。具体的には、端点領
域の部位の大きさlと、端点領域と接続する他の領域の
部位の大きさl′と対象物モデル部6の対象物の形状に
より結合関係を求める。対象物が人間の場合、端点領域
である手と結合関係にある部位は前腕であるので、l,
l′には、それぞれの部位の長軸の長さが格納される。
うに算出される。端点領域の重心点を中心とする半径R
(=(l+l′)/2)の円を描き、その円上に存在す
る領域を端点領域と結合する領域つまり結合領域とす
る。円と結合領域が重複する部分の重心を、結合する領
域の中心点(x,y)とする(ステップS56)。
とする半径(l+l′)/2の円と重複する領域であ
り、図12(d)の結合領域の太線が円と結合領域が重
複する部分となる。また、円弧が結合領域と重複した円
弧の長さの1/2を許容範囲εとする(ステップS5
7)。つまり、図12(d)の結合領域の太線(重複し
た領域)のどこでも中心点となりえる可能性を持ってい
るため、この重なり部分の1/2をεとし、中心点の座
標を(x±ε,y±ε)とする。
概略図を表す。全ての部位の結合領域を検出したか否か
判断し(ステップS58)、全ての部位に関して検出し
ていない場合(NO)、結合領域を新たな端点領域とし
(ステップS59)、ステップS55にフィードバック
する。
ES)、各部位の重心点に対応する傾斜角の算出を行う
(ステップS60)。具体的には、0°〜180°まで
5°間隔で上記で算出した点(x,y)を中心点とする
楕円を生成し、シルエット画像とのマッチング誤差が最
小となった角度を傾斜角とする。
略を示す。ただし、結合領域を算出する際、複数の結合
領域が検出された場合には、対象物の形状や結合関係に
ある部位間の傾斜角などの情報を用いて、矛盾が生じる
場合にはその結合関係は破棄し、結合関係の絞り込みを
行う。
対象物モデル部6に格納されているモデルの移動方向が
逆の場合にも以下のようにすることにより適応すること
ができる。
検出を行う。移動方向の検出方法は、例えば、シルエッ
ト画像の重心を算出し、重心のx座標の変化で求めるこ
とができる。対象物の移動方向が、対象物モデル部6に
格納されている動作の移動方向と一致しているか判断を
行う。
そのまま使用し、逆方向の場合には以下の処理を行い、
モデルの動作を反転させる。
反転する手法に関する具体的な例を以下に示す。図49
は、モデルの反転に関する概念図である。
,y2 )座標の算出を行う。胴体部(i=2)以外の
部位iに関して、胴体部と各パラメータとの差の算出
を、図49のΔx5 =(x2 −x5 )やΔy5 =(y2
−y5 )のように行う。胴体部のパラメータ(x2 ,y
2 ,θ2 )に先で算出した差を加算し、部位に対応する
逆の部位(例えば、右手ならば左手)に加算結果を格納
する。つまり、x8 =Δx5 +x2 ,y8 =Δy5 +y
2 のように行う。
きの動きを行っている対象物の動作の解析も行うことが
できる。なお、上記の説明では、各部位を表現する単純
な幾何学的形状として楕円を用いたが、これは楕円だけ
でなく線分や円柱などで記述することも可能である。
る単純な幾何学的形状として楕円を用いたが、これは楕
円だけでなく線分や円柱などで記述することも可能であ
る。本実施形態では、時系列画像中の対象物の各部位の
パラメータを概略的に算出することで最適化処理の負担
を軽減し、処理時間を短縮することができる。
装置について説明する。
画像解析装置の全体構成の一例を示す。本実施形態の構
成は、基本的には第1実施形態と同等であり、同じ構成
部材には同一の参照符号を付し、異なる部分のみ説明す
る。
1からの入力信号は、A/D部2、バッファメモリ部3
を経由して補助入出力部4に保存される。補助入出力部
4の信号は、形状生成部5へ出力される。形状生成部5
の出力は、対象物モデル部6、整合部41に転送され
る。対象物モデル部6は、整合部41に接続されてい
る。整合部8で算出されたパラメータを制御部11から
の制御に基づき、画像生成部12に出力する。上記画像
生成部12にて画像化された解析結果の出力をD/A部
9を経由して出力部10へ出力される。また、制御部1
1の制御信号により、入力部1、補助入出力部4、対象
物モデル部6、整合部41、出力部10がそれぞれ制御
される。
解析処理に好適し、対象物の各部位の位置や傾斜角の概
略的なパラメータの算出を行なわず、モデルのパラメー
タを対象物の各部位の初期パラメータ値として扱うもの
である。
部11からの制御信号に基づき所定時間の映像信号をA
/D部2へ転送する。A/D部2は、入力部1からの上
記映像信号をデジタル信号へ変換してバッファメモリ部
3へ転送する。このバッファメモリ部3は、複数のフレ
ームメモリで構成されており、A/D部2からの上記デ
ジタル信号を記憶し、これを順次補助入出力部4へ出力
する。
信号により、上記デジタル信号を形状生成部5へ出力す
る。形状生成部5では、対象物の存在していない背景画
像と対象物の存在している原画像との差の絶対値を算出
した後、その絶対値を2値化処理し、動領域のみが取り
出される。この動領域が対象物のシルエット画像とな
る。ここで、背景画像は、予め撮影されているものを用
いてもよいし、原画像から生成された背景画像を用いて
もよい。
画像は、対象物モデル部6、整合部41に転送される。
対象物モデル部6は、対象物の形状や動作の情報などが
格納されている。また、制御部11の制御信号により、
前の実施形態で説明したと同様にサイズの校正を行う。
形状生成部5で生成されたシルエット画像、対象物モデ
ル部6のモデルは、整合部41に出力される。整合部4
1では、形状生成部5、対象物モデル部6の出力によ
り、時系列画像中の対象物と対象物モデル部6の動作に
関する時刻の同期を行い、対象物モデル部6のパラメー
タ群全体を形状生成部5のシルエット画像群に整合させ
る。
を制御部11からの制御信号により、画像生成部12に
出力する。上記画像生成部12にて画像化された解析結
果の出力をD/A部9に転送し、アナログ信号に変換す
る。さらに制御部11からの制御信号に基づき、上記ア
ナログ信号をディスプレイなどの出力部10へ出力し、
画像解析結果を表示する。
ブロック構成を示す。
出力は、整合部41の同期部21に転送される。この同
期部21では、時系列画像中の対象物と対象物モデル部
6における動作に関する時刻の同期をとる。
力は、周期校正部22に転送される。周期校正部22で
は、制御部11からの制御信号により、対象となる動作
に周期性がある場合には、同期部21で算出された複数
の同期時刻とモデルに基づいて一周期に要する時間を算
出し、各部位の位置や傾斜角のモデルのパラメータの校
正を行う。そして形状生成部5と対象物モデル部6の出
力は、最適化処理部51に転送する。最適化処理部51
では、対象物モデル部6のパラメータ群全体を形状生成
部5のシルエット画像群に整合させる。
部6のモデルのパラメータ群と形状生成部5で生成され
たシルエット画像群の2者を整合する。このための手法
の一例として評価関数を設定し、最小化する。例えば、
人間を対象物とした解析の場合、(7)式のように評価
関数ET 定義し、評価関数ET を前記実施形態同様にア
ニーリングや最急降下法などを用いて最小化することに
より、時系列画像のパラメータ群の最適なパラメータの
算出を行う。
である。Silは時系列画像中の対象物のシルエット画
像、Parはモデルのパラメータにより生成した楕円画
像であり、第一項はモデルのパラメータをシルエット画
像に整合させる作用をもつ。Pcは時刻i−2,i−
1,i,i+1,i+2の時系列画像のパラメータに、
重みをそれぞれ1:2:3:2:1だけ与え、平均値を
算出した値である。第二項は、時系列画像のパラメータ
を前後の時刻から推測されるパラメータ値に整合させる
作用をもつ。kは、各項に対するウエイトである。
単純な幾何学的形状として楕円を用いたが、これは線分
や円柱などで記述することも可能である。
系列画像の初期パラメータの算出を行わないので、第1
実施形態に比べて高速に処理を行うことができる。
装置について説明する。
態と同等であり、異なる構成となる図27に示す整合部
41のみ説明する。
と対象物モデル部6の出力は、最適化処理部61に転送
する。最適化処理部61では、ニューラルネットワーク
を利用することにより、時系列画像のシルエット画像に
最適な時系列画像の各部位のパラメータ群(位置)の算
出を行う。対象物モデル部6と最適化処理部61の出力
は傾斜角算出部62に転送され、時系列画像のシルエッ
ト画像に最適な時系列画像の各部位の回転角の算出を行
う。傾斜角算出部62の出力は、画像生成部12に出力
される。
時系列画像のシルエット画像と対象物モデル部6のモデ
ルのパラメータ群とシルエット画像群の出力は、最適化
処理部61に転送する。最適化処理部61では、階層型
ニューラルネットワークを用いて、時系列画像のシルエ
ット画像に最適な時系列画像の各部位の位置のパラメー
タ群の算出を行う。最適化処理部61で算出された各部
位のパラメータ群(位置)は、傾斜角算出部62に転送
され、時系列画像のシルエット画像に最適な時系列画像
の各部位の傾斜角の算出を行う。傾斜角算出部62で算
出されたパラメータ群は、画像生成部12に出力され
る。
ネットワークの学習法に関する概念図である。対象物モ
デル部6に格納されているモデルのシルエット画像を、
入力層に入力する。ネットワークを介した結果がモデル
の各部位の位置のパラメータとなるように学習させ、各
ユニットの重みを決定する。学習は、動作1周期分の画
像に対して行われ、重みの更新を行う。なお学習方法
は、例えば公知である誤差逆伝搬法を用いて行うことが
できる。この重みを利用し、撮影された画像の各部位の
位置の算出を行う。形状生成部5の時系列画像のシルエ
ット画像を入力層に入力し、ネットワークを介すること
で、シルエット画像に最適な各部位の位置の算出を行う
ことができる。図28(b)は、撮影された画像に対す
るパラメータ算出に関する概念図である。
で算出された各部位のパラメータ群(位置)と対象物モ
デル部6に格納されている各部位の大きさ(楕円の短
軸、長軸の長さ)と形状生成部5の時系列画像のシルエ
ット群を用いて、時系列画像群の各部位の傾斜角の算出
を行う。最適化処理部61で算出された各部位の位置
(x,y)を中心点、対象物モデル部6の各部位の大き
さ(楕円の短軸b/2、長軸の長さa/2)を用いて楕
円の生成を行う。傾斜角に関しては、0°〜180°ま
で5°間隔で上記のパラメータを用いて楕円を生成し、
シルエット画像とマッチング誤差が最小となった角度を
傾斜角とする。また、傾斜角の算出は、前述した図12
(d)にその概念を示している。
から楕円画像を生成し、画像生成部9に転送する。
ワークを用いることにより、最適化処理部24の構成が
簡単になり、最適化パラメータの調整を意識的に行われ
なくても学習により、これを獲得することができる。
装置について説明する。
成の一例を示す。本実施形態の全体的な構成は、第3実
施形態と同等であり、同じ構成部位には同一の参照符号
を付し、説明する。
部1からの入力信号は、A/D部2、バッファメモリ部
3を経由して補助入出力部4に保存される。補助入出力
部4の信号は、形状生成部5へ出力される。形状生成部
5の出力は、対象物モデル部71、パラメータ算出部
7、整合部72に転送される。上記対象物モデル部71
は、パラメータ算出部7、整合部72に接続されてい
る。
部72に接続されている。整合部72の出力は、対象物
モデル部71と画像生成部12に出力される。画像生成
部12の出力を、D/A部9を経由して、出力部10へ
出力される。また制御部11の制御信号により、入力部
1、補助入出力部4、対象物モデル部71、パラメータ
算出部7、整合部72、出力部10がそれぞれ制御され
る。この時系列画像解析装置は、モデルを処理の進行に
伴い適応的に学習させるものである。
カメラ等の入力部1は、制御部11からの制御に基づき
所定時間の映像信号をA/D部2へ転送する。A/D部
2は入力部1からの上記映像信号を、デジタル信号へ変
換してバッファメモリ部3へ転送する。
ームメモリで構成され、A/D部2からの上記デジタル
信号を記憶し、これを順次、磁気ディスク装置などの補
助入出力部4へ出力する。補助入出力部4は、制御部1
1からの制御信号により上記デジタル信号を形状生成部
5へ出力する。形状生成部5では、対象物のシルエット
領域の抽出を行う。
画像は、対象物モデル部71、パラメータ算出部7、整
合部72に転送される。対象物モデル部71は、対象物
の形状や動作の情報などが格納されている。また動作に
関する情報は、整合部72の出力に基づき更新される。
パラメータ算出部7では、制御部11の制御に基づいて
形状生成部5のシルエット画像と対象物モデル部71の
出力から、対象物の各部位の位置や傾斜角のパラメータ
を概略的に決定する。
ット画像、対象物モデル部71のモデル、パラメータ算
出部7で算出された各部位のパラメータは、整合部72
に出力される。整合部72では、形状生成部5、対象物
モデル部71、パラメータ算出部7の出力により、時系
列画像中の対象物と対象物モデル部71のモデルの時刻
の同期を行い、パラメータ算出部7により算出されたパ
ラメータ群全体を対象物モデル部71のパラメータ群全
体、及び形状生成部5のシルエット画像群に整合させ
る。整合部72の出力を制御部11からの制御に基づ
き、対象物モデル部71と画像生成部12へ転送する。
に転送し、アナログ信号に変換する。さらに制御部11
からの信号に基づき上記アナログ信号をディスプレイな
どの出力部10へ出力し、画像解析結果を表示する。
72の説明を行う。
る概念を示し、図31は、対象物モデル部71の構成を
示す。
識部81と動作知識部82の出力をパラメータ算出部7
に転送する。パラメータ算出部7にて算出された概略的
なパラメータと形状知識部81と動作知識部82の出力
を整合部72に出力する。そして制御部11からの制御
信号に基づき整合部72の出力は、動作知識部82にフ
ィードバックされる。
画像の最初の一周期では、第1実施形態と同様に外部か
ら与えられた形状知識部81と動作知識部82の初期モ
デルをパラメータ算出部7、整合部72に出力する。
された補正パラメータを格納し、外部から与えられたモ
デルは初期モデルとして別に保存しておく。この補正パ
ラメータに基づき、動作知識部82のモデルを更新し、
以降の処理においては、更新されたモデルを各処理部に
出力する。モデルの更新方法は、例えば更新前のモデル
に各部位の各パラメータに補正パラメータを加えた値と
する。
ック図である。形状生成部5と対象物モデル部71の出
力は、同期部21に転送される。同期部21の出力は、
周期校正部22に転送される。形状生成部5と対象物モ
デル部71とパラメータ算出部7と同期部21と周期校
正部22はパラメータ修正部23に出力される。形状生
成部5と対象物モデル部71とパラメータ修正部23の
出力は、最適化処理部24に転送する。最適化処理部2
4の出力は、画像生成部12へ、最適化処理部24と対
象物モデル部71の出力は補正パラメータ算出部91へ
転送される。補正パラメータ算出部91の出力は対象物
モデル部71にフィードバックする。
と形状生成部5の出力に基づき、時系列画像中の対象物
と対象物モデル部71のモデルに関する時刻の同期をと
る。周期校正部22では、対象となる動作に周期性があ
る場合、各部位の位置や傾斜角のモデルのパラメータの
校正を行う。パラメータ修正部23では、一画像内でモ
デルとの対比による時系列画像のパラメータの修正を行
う。
中の対象物に最適なパラメータの算出を行う。最適化処
理部24の出力は、制御部11からの制御信号により、
画像生成部12と補正パラメータ算出部91に出力され
る。補正パラメータ算出部91では、最適化処理部24
で算出されたパラメータと対象物モデル部71のモデル
パラメータとの各部位の各パラメータの差分情報を求め
る。この差分情報をモデルの補正パラメータとして対象
物モデル部71にフィードバックする。
対象物に最適なパラメータを算出する場合、各パラメー
タの差分情報をベクトルとして保存することで、このベ
クトルの方向に重みをかけて、微小変化を与えることが
できる。また、3周期以降は、補正パラメータのテーブ
ルの部分を置き換えるだけでよい。
の与え方に関する概念図である。
することにより、解析を行う対象物に適したモデルを作
成することができ、処理を高精度にかつ高速に行うこと
ができる。
装置について説明する。
態と同等であり、異なる構成となる対象物モデル部につ
いて説明する。本実施形態は、各部位のモデルを階層的
に分割し、各部位毎に交換可能なモデルに関するもので
ある。
具体的な構成例を示す。
81と動作知識部101の出力はパラメータ算出部7へ
形状知識部81と動作知識部101とパラメータ算出部
7の出力は、整合部72に転送される。整合部72の出
力は、制御部11からの制御信号により動作知識部10
1に出力される。
信号により、形状知識部81と各部位毎に階層的に保存
されている動作知識部101の出力をパラメータ算出部
7と整合部72に転送する。パラメータ算出部7にて算
出された概略的なパラメータと形状知識部81と動作知
識部101の出力を整合部72に出力する。整合部72
では、モデルと適合する部位とモデルの切り替えを行う
部位の抽出を行う。制御部11の制御に基づき整合部7
2の出力は、動作知識部101にフィードバックされ
る。
形状構造の中心となる部位に関して他の部位との結合を
階層的に保存する。図34には、人間を例とした場合の
胴体部を基準に他の部位が結合しているツリー構造を示
す。このように階層的なモデルから、1番目に格納され
ているモデルのパラメータを取り出し、パラメータ算出
部7へ出力し、概略的なパラメータの算出を行う。算出
された概略的なパラメータとモデル(形状知識部81と
動作知識部101)を整合部72に出力し、切り替えを
行う部位の検出を行う。整合部72で検出された切り替
えを行う部位の階層構造下に格納されている次のモデル
をパラメータ算出部7と整合部72に出力する。
から出力されたモデルから時系列画像のパラメータの最
適解を算出する。最適化処理では、適合性を判断するた
めに、前記実施形態では評価関数Eにおいて、(6)式
のように14種類の全部位の総和をとっていた(j=1
〜14)。これを、個々の部位ごとの式に分解して、1
4種類の評価関数を得る。個々の評価関数に対して評価
基準を設け、評価関数Eが評価基準より大きい部位の選
択を行う。
し、各部位の評価関数Eが所定の閾値を越えたか否か判
断する。この場合の評価は、前記ツリー構造の上部から
行うものとする。つまり人間の場合、胴体部から行う。
上記評価関数Eが閾値を越えて、選択された部位を動作
知識部101に出力する。この操作は、各部位の評価関
数が閾値を越えなくなるまで行う。またモデルが決定し
た後で、各部位の評価関数が閾値より大きくなった場合
には、上記のような手法でモデルの切り替えを行う。
量を減少することができ、より多くの動作の解析を行う
ことができる。
装置について説明する。
態と同等であり、異なる構成について説明する。本実施
形態は、複数のモデルから解析対象画像に最適なモデル
の選択する方法に関するものである。
装置の構成を示し、同じ構成部位には同一の参照符号を
付し、説明する。
1からの入力信号は、A/D部2、バッファメモリ部3
を経由して補助入出力部4に保存され、該補助入出力部
4の出力信号は形状生成部5へ出力される。形状生成部
5の出力は、対象物モデル部6、解析部111に転送さ
れる。
される。解析部111の出力は、モデル決定部112と
画像生成部12に接続されている。モデル決定部112
の出力は、対象物モデル部6に出力される。画像生成部
12の出力は、D/A部9を経由して、出力部10へ出
力される。また、制御部11からの制御信号により、入
力部1、補助入出力部4、対象物モデル部6、解析部1
11、モデル決定部112、出力部10がそれぞれ制御
される。
CCDカメラ等の入力部1は、制御部11からの制御に
基づき所定時間の映像信号をA/D部2へ転送する。A
/D部2は入力部1からの上記映像信号を、デジタル信
号へ変換してバッファメモリ部3へ転送する。バッファ
メモリ部3は複数のフレームメモリで構成され、A/D
部2からの上記デジタル信号を記憶し、これを順次、補
助入出力部4へ出力する。
制御信号により、上記デジタル信号を形状生成部5へ出
力する。形状生成部5では、対象物のシルエット領域を
抽出する。形状生成部5で生成されたシルエット画像
は、対象物モデル部6、解析部111に転送される。対
象物モデル部6は、対象物の形状や複数の動作の情報な
どが格納されている。
して解析を行い、対象物の各部位の位置や傾斜角のパラ
メータの算出を行う。この解析部111で算出された複
数モデルに対する各部位のパラメータは、制御部11か
らの制御信号に基づいて、モデル決定部112と画像生
成部12へ出力される。モデル決定部112では、解析
部111の出力により、複数のモデルに対して算出され
た評価関数の最小値をもつモデルの抽出を行い、モデル
の決定を行う。
デルを対象物モデル部6に出力し、以降の解析には決定
されたモデルに関する情報が対象物モデル部6から出力
されるようになる。解析部111の出力を制御部11か
らの制御に基づき、画像生成部12を経由してD/A部
9に転送し、アナログ信号に変換する。さらに制御部1
1からの制御信号により、上記アナログ信号をディスプ
レイなどの出力部10へ出力し、画像解析結果を表示す
る。
おけるブロック構成を示し、図37は、複数モデルから
時系列画像中の対象物に最適なモデルの選択法に関する
概念を示す。
定部121に出力され、方向決定部121の出力は対象
物モデル部6にフィードバックする。この形状生成部5
のシルエット画像と、対象物モデル部6の各モデルは、
パラメータ算出部122に出力される。パラメータ算出
部122の出力は、整合部123に転送され、制御部1
1からの制御信号により、モデル決定部112及び画像
生成部12に出力される。
5のシルエット画像の面積に基づいて、対象物の移動方
向の検出を行う。具体的には、シルエット画像の面積が
時刻とともに変化しない場合には、カメラ光軸方向に対
して垂直方向に、時刻とともに増減する場合、カメラの
光軸方向に対して平行または斜めに移動している。
合で、移動方向の決定を行う。検出された移動方向を対
象物モデル部6にフィードバックする。対象物の移動方
向検出は、シルエットの重心点をベクトルとして検出す
ることで決定したり、シルエット画像を包含する外接四
角形の面積や中心を検出することも可能である。形状生
成部5のシルエット画像と対象物モデル部6の検出され
た移動方向に対応する複数のモデルをパラメータ算出部
122に出力する。
行,着席,静止等の複数のモデルが対象物モデル部6に
格納されており、形状に関するモデルと方向決定部12
1で検出された方向の動作に関するモデルがパラメータ
算出部122に出力される。パラメータ算出部122で
は、前述した実施形態におけるパラメータ算出部7と同
様にそれぞれのモデルを用いて概略的なパラメータの算
出を行う。整合部123は、パラメータ算出部122の
出力と形状生成部5と対象物モデル部6の各モデルから
前記実施形態整合部8と同様に時系列画像中の対象物に
最適なパラメータを算出し、最適化処理後の評価関数E
(モデルとのマッチング誤差)の算出を行う。その際、
動作と同期がとれない、つまり、前記実施形態での同期
部21における面積誤差が所定の閾値より大きかった場
合には、そのモデルは破棄され、以降の処理は行わな
い。
施形態と同様に最適化処理を行う。上記整合部123の
出力は、制御部11からの制御信号により、モデル決定
部112と画像生成部12に転送される。但し、パラメ
ータ算出部と整合部は対象物モデル部6に格納されてい
るモデルの数だけ増やすことができ、また並列に処理を
行うことができる。なお、モデルが決定している場合、
整合部123の出力は、モデル決定部112に転送され
ず、パラメータ算出部と整合部は1つだけ使用される。
3から出力された複数の評価関数Eの中から最小のもの
を最適モデルとして選択する。選択されたモデルを対象
物モデル部6にフィードバックし、以降の解析には対象
物モデル部6から決定されたモデルが出力されるように
なる。この後、選択されたモデルを用いて処理を継続
し、評価関数Eが所定値を越えた場合にモデルの再選択
を行うことを繰り返す。なお、このような処理により、
対象物の動作が決まっていない場合でも、解析を行うこ
とができる。この処理は並列でなく、最適化処理の誤差
を1モデルづつ算出し、最後に誤差の最小なモデルを選
択することも可能である。
装置について説明する。
態と同等であり、異なる構成について説明する。本実施
形態は、処理を行う優先順位を考慮することで、ある部
位のパラメータが決定すると、それと結合関係にある全
ての部位の候補領域をより限定し、最適化処理を高速に
行うものである。
装置におけるパラメータ算出部の構成を示し、同じ構成
部位には同一の参照符号を付し、説明する。
モデル部6と形状生成部5の出力は、候補領域算出部1
31に転送される。候補領域算出部131では、時系列
画像中の対象物の各部位の候補領域を算出し、誤差が少
ない、つまり候補領域の面積が小さい部位に関して優先
的に処理を行い、他の部位の候補領域の限定を行う。候
補領域算出部131の出力は、候補領域算出部131と
整合部8に転送される。
時系列画像中の対象物の各部位の存在候補領域の算出に
おける概念を示す図である。
施形態の候補領域算出部31と同様に存在可能領域1と
シルエット画像とのAND処理にて候補領域1を求め
る。候補領域1の中で誤差が少ないと推定できる領域、
つまり面積の所定の閾値より小さい候補領域、例えば人
間の場合、頭部や胴体部や手部に関しては、候補領域の
重心点を中心とする楕円を発生させ、シルエット画像と
のマッチングをとることでパラメータの算出を行う。
存在しうる領域は限定される。つまり、確定された部位
と結合関係にある部位の間の関節角や各部位の長さなど
の拘束条件を用いるとより限定された候補領域が算出さ
れる。
域1の面積が小さい頭部・胴体部・手部が優先的に処理
され、位置が確定する。頭部及び胴体部の位置が確定す
ると、各部位の長さから存在可能領域1が存在可能領域
2のように限定された領域となる。即ち、胴体部の中心
点から(2)式を用いて、肩の位置を算出する。そして
肩の位置を中心とする半径rの円を考える。ここで、半
径rとは、上腕部の領域に関しては(上腕部の長さ/
2)、前腕部の領域に関しては(上腕部+前腕部/
2)、手部に関しては(上腕部+前腕部+手部/2)の
ことを示す。
在可能領域1の共通部分の算出を行い、存在可能領域2
の抽出を行う。第2実施形態と同様に、存在可能領域2
とシルエット画像のAND処理にて候補領域2を算出
し、この領域を利用して各部位の各位置や傾斜角および
許容範囲の算出を行う。
域1から候補領域2を直接抽出する手法を以下に示す。
位置を(2)式より算出する。例えば、各部位間の長さ
を利用して前腕部領域を限定する場合、手部や肩の中心
点を中心とする半径(手部の長さ/2+前腕部の長さ/
2+ε0 )、(上腕部の長さ+前腕部の長さ/2+ε0
)の円を考える。ここで、手部の候補領域の面積の例
えば10%をε0 とする。この2つの円と候補領域1の
共通領域を候補領域2とする。
より限定された候補領域2の算出を行う。また、肩と手
部のなす角度は肩と前腕部及び肩と上腕部のなす角度よ
り大きい。また肩と前腕部のなす角度は、肩と上腕部の
なす角度より大きいという、上記例に関する各関節間の
角度の拘束条件から、より限定された候補領域2を得る
ことができる。
関する概念を示す図である。候補領域2を用いて、第2
実施形態と同様に、各部位の各位置や傾斜角および許容
範囲の算出を行う。
のパラメータ群は、整合部8に出力され、最適化処理を
行う。時間軸上での最適化処理では、確定された頭部と
胴体部と手部を処理の対象から外すことができる。ま
た、微小変化を与える頻度を少なくするなどにより処理
を高速化できる。
位の位置を優先的に確定し、これをもとにして他の部位
について適正な初期値からの最適化を行うため、最適化
処理を高速化することができる。
装置について説明する。
具体的な構成例を示す。本実施形態の全体的な構成は、
第5実施形態と同等であり、異なる構成について説明す
る。本実施形態は、過去の最適化情報を用いて予測を行
い高速に処理を行うものである。
対象物モデル部71の出力が同期部21に入力され、こ
の同期部21と対象物モデル部71の出力は、周期校正
部22に転送される。形状生成部5と対象物モデル部7
1とパラメータ算出部7と同期部21と周期校正部22
のそれぞれの出力は、パラメータ修正部23に送出され
る。また、形状生成部5と対象物モデル部71とパラメ
ータ修正部23の出力は、最適化処理部24に転送す
る。最適化処理部24の出力は、動きベクトル算出部1
41と画像生成部12に転送される。動きベクトル算出
部141での出力は最適化処理部24にフィードバック
する。
部71と形状生成部5の出力に基づき、時系列画像中の
対象物と対象物モデル部71における動作に関する時刻
の同期をとる。上記周期校正部22では、対象となる動
作に周期性がある場合、各部位の位置や傾斜角のモデル
のパラメータの校正を行う。パラメータ修正部23で
は、一画像内でモデルとの対比による時系列画像のパラ
メータの修正を行う。
し、図43には、予測を利用した最適化処理の概念を示
す。
(例えば5枚)のみ、前記実施形態と同様な方法で最適
化処理を行う。制御部11の制御に基づき、最適化され
たパラメータを動きベクトル算出部141に出力する。
動きベクトル算出部141では、最適化処理部24で算
出されたパラメータが過去数枚分記憶され、これらから
次時刻の最適解(パラメータ)を予測する。予測の方法
は、時刻に対する各パラメータの変化から、線形予測を
用いてもよい。また部位の位置・傾斜角から動きベクト
ルを求め、これを利用することにより行うことができ
る。算出された次時刻のパラメータは、最適化処理部2
4に出力され、前記実施形態のモデルのパラメータを動
きベクトル算出部141で予測されたパラメータに置き
換え、アニーリング等の最適化処理を行う。
予測したパラメータを用い、パラメータ修正部23、パ
ラメータ算出部7を省略することができる。但し、この
場合、同期部21、同期校正部22の出力は、最適化処
理部24へ転送される。また、最適化処理部24で算出
される評価関数Eが所定の閾値を越えた場合、パラメー
タ算出部7、パラメータ修正部23の処理を行う。
タから予測したパラメータを用いるため、時間的な連続
性が良好となる最適化処理を行うことができる。
析装置について説明する。
体的な構成例を示す。本実施形態の全体的な構成は、第
5実施形態と同等であり、異なる構成について説明す
る。
メータとモデルのパラメータとの誤差を算出し、誤差つ
まりパラメータの調整度に応じて微小変化の与え方を変
化させるものである。
対象物モデル部71の出力は、同期部21に転送され
る。同期部21と対象物モデル部71の出力は、周期校
正部22に転送される。形状生成部5と対象物モデル部
71とパラメータ算出部7と同期部21と周期校正部2
2はパラメータ修正部23に出力される。形状生成部5
と対象物モデル部71とパラメータ修正部23の出力
は、最適化処理部24に転送する。最適化処理部24と
対象物モデル部71の出力は、制御部11の制御に基づ
き調整度算出部151へ、最適化処理部24の出力は、
画像生成部12に転送される。調整度算出部151での
出力は対象物モデル部71にフィードバックする。
1と形状生成部5の出力に基づき、時系列画像中の対象
物と対象物モデル部71における動作に関する時刻の同
期をとる。周期校正部22では、対象となる動作に周期
性がある場合、各部位の位置や傾斜角のモデルのパラメ
ータの校正を行う。パラメータ修正部23では、一画像
内でモデルとの対比による時系列画像のパラメータの修
正を行う。
る。つまり最適化処理部24では、パラメータ修正部2
3の出力に基づいて、1周期目のみ前記実施形態と同様
な方法でアリーニング等の最適化処理を行う。制御部1
1からの制御信号により、最適化処理部24で算出され
たパラメータを調整度算出部151に出力する。この調
整度算出部151では、最適化処理部24で算出された
パラメータと対象物モデル部71のパラメータの差に応
じて調整度の算出を行う。ここで調整度とは、最適化処
理部24の微小変化の与え方を示すものである。調整度
の算出方法は、最適化処理部24で算出されたパラメー
タと対象物モデル部71のパラメータの差を算出し、そ
の差の例えば10%を調整度とする。つまり、調整度の
値が大きいほど、そのパラメータを調整する必要がある
ため、微小変化の与え方を他の部位より大きくする。
24に出力される。最適化処理部24では、調整度に基
づいて微小変化を次のようにして算出する。例えば、乱
数を用いて与えられた初期の微小変化に調整度を乗じた
ものを微小変化に加えた値を新たな微小変化とする。
最適化処理を行う。制御部11からの制御信号により、
最適化処理部24で算出されたパラメータが画像生成部
12に転送される。なお、調整度の与え方は、各部位毎
に与えるのではなく、画像単位で与えることもできる。
図45(b)は、歩行動作の調整度算出に関する概念図
である。例えば、歩行動作の場合では両手・両足が重な
らない状況では各部位の調整度は低く、画像全体の調整
度も低くなる。一方、両手・両足が重なり後ろの手や足
が隠れてしまう場合は調整度が高くなる。画像単位の調
整度は、静止画像のレベルで得られたパラメータから楕
円画像を生成し、シルエット画像との差とすることもで
きる。また、一周期単位で処理を行う場合、調整度の高
い画像への微小変化の付与を抑制することもできる。
ラメータの調整度つまり、誤差に応じて最適化処理にて
扱う微小変化の与え方を変化させるため、処理を高速化
に行うことができる。
析装置について説明する。
体的な構成例を示す。本実施形態の全体的な構成は、第
5実施形態と同等であり、異なる構成について説明す
る。
修正情報を用いて、最適化処理の微小変化の与え方を限
定するものである。
対象物モデル部71の出力は、同期部21に転送され
る。同期部21と対象物モデル部7の出力は、周期校正
部22に転送される。形状生成部5と対象物モデル部7
1とパラメータ算出部7と同期部21と周期校正部22
はパラメータ修正部23に出力される。形状生成部5と
対象物モデル部71とパラメータ修正部23の出力は、
最適化処理部24に転送する。パラメータ修正部23と
最適化処理部24の出力は、制御部11の制御に基づき
確信度算出部161へ、最適化処理部24の出力は、画
像生成部12に転送される。確信度算出部161での出
力は最適化処理部24にフィードバックする。
1と形状生成部5の出力に基づき、時系列画像中の対象
物と対象物モデル部71における動作に関する時刻の同
期をとる。周期校正部22では、対象となる動作に周期
性がある場合、各部位の位置や傾斜角のモデルのパラメ
ータの校正を行う。パラメータ修正部23では、一画像
内でモデルとの対比による時系列画像のパラメータの修
正を行う。パラメータ修正部23で行われる時系列画像
のパラメータとモデルのパラメータの差が所定の閾値以
下と判断された部位(信頼性:高)、差が閾値以上でモ
デルとの置換を行った部位(信頼性:中)、差が閾値以
上でモデルとの置換が破棄された部位(信頼性:低)の
3段階の情報を確信度算出部161に転送する。図47
は、パラメータ修正部23で得られる情報に関する概念
を示す図である。
類に基づき微小変化の与えかたを変える。例えば、差が
閾値以下の部位では閾値εを半径rとする円内の微小変
化を与え、差が閾値以上でモデルとの置換を行った部位
は置換前の部位があった方向(角度θ)を除く閾値εを
半径rとする円内で、差が閾値以上でモデルとの置換が
破棄された部位は閾値εの2倍を半径rとする円内の微
小変化を与える。
処理部24に出力される。最適化処理部24では、半径
r、角度θの円内に、与えられた微小変化が存在するか
判断し、存在するならば、その微小変化を用いて最適化
を行う。図48は、確信度を利用した微小変化の与え方
の概念図である。制御部11の制御に基づき最適化処理
部24の出力が画像生成部12に転送される。
の修正に関する情報を利用して、最適化処理にて扱う微
小変化を与える範囲を限定することで処理を高速化する
ことができる。
明細書には、以下のような発明も含まれる。
析する時系列画像解析装置において、 上記時系列画像
中の所定の時間範囲内の複数の画像から対象物であるシ
ルエット画像を抽出する形状生成手段と、上記対象物の
形状及び動きによる形状変化に関する知識を、上記対象
物を構成する部位のそれぞれについてパラメータとして
格納する対象物モデル手段と、上記形状生成手段によっ
て抽出された上記対象物から上記対象物モデル手段に格
納されたパラメータと対応したパラメータを算出するパ
ラメータ算出手段と、上記パラメータ算出手段から算出
された対応パラメータの全体と対象物モデル手段のパラ
メータの全体を照合し、誤差を最小化させることにより
整合させる整合手段と、を有することを特徴とする時系
列画像解析装置。
7の実施形態が対応する。
った時系列画像中の所定の対象物を構成する部位のパラ
メータは、モデルのパラメータに整合することによっ
て、対象物を認識し、対象物の動きを高精度に解析する
ことができる。
析装置の対象物モデル手段において、上記対象物の形状
に関する知識は、対象物を構成する複数の部位に分割
し、分割された各部位の大きさを対象物の全体の大きさ
に対する比率として定義し、また各部位間の接続関係を
テーブルに格納することを特徴とする時系列画像解析装
置。 この発明に関する実施形態は、第1の実施形態が
対応する。
いずれか1項に記載の時系列画像解析装置の対象物モデ
ル手段において、上記時系列画像中から動領域を抽出
し、該動領域に外接する矩形を算出し、該矩形の縦方向
のサイズと予め格納してある、各部位の全体の大きさに
対する比率に基づき、各部位のサイズの修正を行い、対
象物のサイズを校正することを特徴とする時系列画像解
析装置。
形態が対応する。
多くの被写体に適用でき、撮影距離の差によるサイズの
違いも補正できる。
解析装置において、上記パラメータを、上記時系列中の
上記対象物の各部位に対応する楕円の位置、傾き、大き
さとすることを特徴とする時系列画像解析装置。
3,4,5,6,7,8,9,10,11の実施形態が
対応する。
とにより、時系列画像中の対象物との整合が容易であ
る。
れか1項に記載の時系列画像解析装置において、上記パ
ラメータの少なくとも1つは、パラメータの代表値とそ
の許容範囲とすることを特徴とする時系列画像解析装
置。
実施形態が対応する。
各部位のパラメータの許容範囲の算出を行ことにより、
算出した各パラメータ解の柔軟性をもたすことができ
る。
解析装置の対象物モデル手段において、上記対象物の動
きによる形状変化に関する知識は移動する上記対象物の
各部位のパラメータのことであり、該部位に装着したマ
ーカの動きに基づき算出することを特徴とする時系列画
像解析装置。
形態が対応する。
析装置の対象物モデル手段において、上記マーカは、上
記対象物の各部位の中心位置に装着することを特徴とす
る時系列画像解析装置。
形態が対応する。
析装置の対象物モデル手段において、上記マーカは、上
記対象物の各部位間の接続箇所に装着することを特徴と
する時系列画像解析装置。
形態が対応する。
れか1項に記載の時系列画像解析装置の対象物モデル手
段において、上記対象物の形状変化に関連する動作のパ
ラメータを時間軸上に所定の時間間隔で割り付けること
を特徴とする時系列画像解析装置。
4,5,6,7,9,10の実施形態が対応する。
間軸上に所定の時間間隔に割り付けることによって、対
象物の動作速度の変化に対応することができる。
ずれか1項に記載の時系列画像解析装置の対象物モデル
手段において、上記パラメータをテーブルとして保持す
ることを特徴とする時系列画像解析装置。
4,5,6,7,9,10,11の実施形態が対応す
る。
ーブルとして保存することによって、処理が容易にな
る。
ずれか1項に記載の時系列画像解析装置の対象物モデル
手段において、上記パラメータを補間関数を用いて数式
として保持することを特徴とする時系列画像解析装置。
4,5,6,7,9,10,11の実施形態が対応す
る。
各部位ごとに補間関数により数式として保存することに
より、モデルのデータ量を削減することができる。
いずれか1項に記載の時系列画像解析装置の対象物モデ
ル手段において、上記時系列画像における対象物の部位
の動作の周期成分を抽出し、一周期分のパラメータのみ
の格納を行うことを特徴とする時系列画像解析装置。
ら周期成分を抽出し、一周期分のパラメータのみを格納
することによって、モデルの情報量を削減することがで
きる。
4の実施形態が対応する。
像解析装置の対象物モデル手段において、さらに、上記
パラメータに関する各部位の存在可能領域を算出する存
在可能領域算出手段を付加したことを特徴とする時系列
画像解析装置。
形態が対応する。
ータを用いて存在可能領域の算出することにより時系列
画像の各部位のパラメータを高速に算出することができ
る。 (14) 上記(13)項記載の時系列画像解析装置の
対象物モデル手段において、 上記存在可能領域算出手
段により算出された存在可能領域の形状を単純な幾何学
的形状を組み合わせた形状として保持することを特徴と
する時系列画像解析装置。
形態が対応する。
な形状のパラメータの組み合わせとして表現することに
より、モデルの情報量を削減することができる。
像解析装置のパラメータ算出手段において、上記存在可
能領域算出手段により出力される存在可能領域に基づい
て、上記時系列画像中の上記対象物の各部位の存在候補
領域の算出を行う候補領域算出手段と、を付加したこと
を特徴とする時系列画像解析装置。
実施形態が対応する。
系列画像中の対象物のシルエット画像のAND処理を行
い、各部位の候補領域を一括的に算出を行うことによっ
て、処理が高速になり、後処理の負荷を軽減できる。
像解析装置のパラメータ算出手段において、上記候補領
域算出手段により出力される存在可能領域に基づき、上
記対象物の各部位のパラメータ群の算出を行うことを特
徴とする時系列画像解析装置。
形態が対応する。
域の結合関係を決定し、パラメータの算出を行うことに
よって、後処理の負荷を軽減できる。
像解析装置のパラメータ算出手段において、上記パラメ
ータ群の算出を行う際に、上記候補領域算出手段により
算出された候補領域と上記対象物モデル手段に基づく各
部位のサイズより各パラメータの許容範囲を算出するこ
とを特徴とする時系列画像解析装置。
形態が対応する。
ルのサイズにより算出されたパラメータの許容範囲の算
出を行うことによって、後処理の負荷を軽減できる。
項のいずれか1項に記載の時系列画像解析装置におい
て、上記時系列画像の一画像内でモデルとの対比により
各パラメータの修正を行うパラメータ修正手段を付加し
たことを特徴とする時系列画像解析装置。
形態が対応する。
の差を算出し、閾値より大きい場合、パラメータを置換
し、マッチング誤差を算出し、増大する場合は、破棄す
ることよって、真値に近いパラメータを算出するため、
最適化処理が高速になる。
のいずれか1項に記載の時系列画像解析装置のパラメー
タ算出手段は、上記形状生成手段によって抽出された上
記対象物の移動方向を算出する移動方向算出手段と、上
記対象物の移動方向と上記対象物モデル手段に格納され
ている動きに関する知識の移動方向とが同一か否か判断
する移動方向判断手段と、上記対象物と上記対象物モデ
ル手段に格納されている動きに関する知識の移動方向が
同一でない場合、上記対象物モデル手段に格納されてい
る動きに関するパラメータの修正を行うモデル修正手段
と、をさらに有することを特徴とする時系列画像解析装
置。
形態が対応する。
象物の解析も行うことができる。
解析装置の整合手段は、上記パラメータ手段から算出さ
れた対応パラメータの全体と対象物モデル手段のパラメ
ータの全体及び、形状生成手段で抽出された対象物のシ
ルエット画像を照合し、誤差を最小化させることを特徴
とする時系列画像解析装置。
形態が対応する。
解析装置において、上記整合手段は、さらに、上記パラ
メータ算出手段によって算出された上記対象物のパラメ
ータから対象物を表す画像として構成される画像と上記
形状生成手段によって抽出された対象物とが整合するよ
うに上記対象物のパラメータを補正することを特徴とす
る時系列画像解析装置。
7の実施形態が対応する。
パラメータをモデルのパラメータ及び、時系列画像中の
対象物に整合させることによりさらに高精度の解析が可
能となる。
いずれか1項に記載の時系列画像解析装置の整合手段
は、前記時刻の同期を取るための同期手段を有し、上記
同期手段は、上記対象物モデル手段にパラメータとして
格納されている対象物の各部位の所定の動きの状態変化
を時刻として検出する動き検出手段と、上記動き検出手
段により検出された時刻の上記対象物モデル手段に格納
されている対象物と上記パラメータ算出手段により算出
されたパラメータから同一の動きの状態である時刻の算
出を行う時刻算出手段と、により構成されることを特徴
とする時系列画像解析装置。
5,9,10,11の実施形態が対応する。
メータを用いて楕円画像の生成を行い、時系列画像中の
対象物のシルエット画像群とのマッチングを行い、ま
た、マッチング誤差が最小となるシルエット画像の時刻
の算出を行うことによって、全画像との比較を省略でき
るため、高速処理を行うことができる。
像解析装置の整合手段において、上記時系列画像におけ
る対象物の部位の動作周期と、前回に設定された上記対
象物モデル手段の対象物の部位の動作周期の比に基づい
て、上記対象物モデル手段の周期の校正を行う周期校正
手段を具備することを特徴とする時系列画像解析装置。
5,9,10,11の実施形態が対応する。
行う。算出した一周期あたりの時間とモデルの一周期あ
たりの時間との比率を算出し、この比率を用いてモデル
の周期の校正を行うことによって、対象物の動作速度が
変化した場合にも柔軟に対応することができる。
解析する動画像解析方法において、上記対象物の形状及
び動きによる形状変化の知識を、上記対象物を構成する
部位のそれぞれについてパラメータ化することによって
モデル化し、上記モデル化されたパラメータのうち、動
きに関する知識を時間の関数として格納し、上記時系列
画像中の所定の時間範囲内の複数の画像から上記対象物
を抽出して、上記モデル化されたパラメータに対応する
パラメータを算出し、上記モデル化されたパラメータと
上記対象物から算出されたパラメータとの間の同期をと
り、同期した上記対象物からのパラメータによる形状
と、上記モデル化されたパラメータによる形状との大き
さが合うように上記上記モデル化されたパラメータを補
正し、上記対象物に基づいて算出したパラメータを上記
関数から求められたパラメータに整合することを特徴と
する時系列画像解析方法。
実施形態が対応する。
各部位のパラメータを算出し、抽出された対象物に基づ
いて、モデルの大きさの補正が行われ、対象物とモデル
の動きの同期がとられた後、対象物から算出されたパラ
メータとモデルのパラメータのそれぞれの大きさが所定
の関係を満たすように対象物から算出されたパラメータ
が補正される。
解析する動画像解析方法において、上記対象物の形状お
よび動作の知識を所定部位に関するパラメータとしてモ
デル化し、上記モデルを数式化して格納し、上記対象物
に関し上記モデルに対応する概略的なパラメータを算出
し、上記対象物と上記モデル間の時刻の同期をとり、上
記対象物と上記モデル間のサイズの校正をし、上記対象
物パラメータ全体を上記モデルのパラメータ全体及び上
記時系列画像中の所定の対象物に整合する、ことを特徴
とする時系列画像解析方法。
実施形態が対応する。
パラメータを概略的に算出し、対象物とモデルのサイズ
の校正と同期時刻の算出を行い、さらに、時系列画像中
の対象物の各部位のパラメータ群、モデルのパラメータ
群、時系列画像中の対象物のシルエット画像の3者を整
合する評価関数を定義し、この評価関数を最小化するこ
とを行うことによって、対象物の動作を高精度に解析す
ることができる。
手段は、上記形状生成手段によって抽出された対象物と
上記対象物モデル手段に格納されている対象物の面積が
最小または最大となる時刻を算出することを特徴とする
時系列画像解析装置。
形態が対応する。
像解析装置の整合手段は、上記形状生成手段のシルエッ
ト画像を入力すると対象物の各部位のパラメータを出力
するニューラルネットワークを付加することを特徴とす
る時系列画像解析装置。
形態が対応する。
(12)項のいずれか1項に記載の時系列画像解析装置
の対象物モデル手段は、さらに上記整合手段により算出
されたパラメータと、上記対象物モデル手段のパラメー
タとの差から算出される補正パラメータに基づき、該対
象物モデル手段に記憶しているパラメータを更新するパ
ラメータ更新手段を有することを特徴とする時系列画像
解析装置。
形態が対応する。
を処理の進行に伴い、適用的に学習させることで、処理
の高精度化と高速化を行うことができる。
(12)項及び(28)項のいずれか1項に記載の時系
列画像解析装置の対象物モデル手段は、上記対象物を構
成する主となる任意の部位のパラメータを上位階層と
し、これらの部位と結合する部位のパラメータを下位階
層として 、各部位の動きに関するモデルを階層的に保
存することを特徴とする時系列画像解析装置。
形態が対応する。
像解析装置の対象物モデル手段は、上記整合手段による
整合の際に、整合する度合いが所定の閾値を越えた前記
各部位のパラメータのみ新たに変更することを特徴とす
る時系列画像解析装置。
形態が対応する。
ることが可能となり、より多くの状況に対応可能な処理
を行うことができる。
(12)項及び(28)項のいずれか1項に記載の時系
列画像解析装置の対象物モデル手段において、上記整合
手段に使用するために上記対象物モデル手段から抽出さ
れるパラメータは、対象物の部位の複数の動きのパラメ
ータに対して、誤差が最小となるように選択されたパラ
メータであることを特徴とする時系列画像解析装置。
形態が対応する。
い動作に関しても自動的にモデルを選択することができ
る。
のいずれか1項に記載の時系列画像解析装置のパラメー
タ算出手段は、上記候補領域算出手段により出力される
各部位の存在可能領域において、該存在可能領域の面積
が所定の閾値以下の部位から優先的にパラメータ群の算
出を行い、他の部位の存在可能領域を限定することを特
徴とする時系列画像解析装置。この発明に関する実施形
態は、第8の実施形態が対応する。
ることで、処理の高精度化と高速化を行うことができ
る。
いずれか1項に記載の時系列画像解析装置の整合手段
は、各部位の次時刻のパラメータを過去の各部位のパラ
メータから予測する動きベクトル予測手段を、さらに有
することを特徴とする時系列画像解析装置。
形態が対応する。
画像からパラメータを算出しているため、時間的な連続
性が維持され、1枚の画像での最適化においても良好な
パラメータを得ることができる。
び(33)項のいずれか1項に記載の時系列画像解析装
置の整合手段は、各動きにおける各部位のパラメータの
調整度を算出する調節度算出手段と、上記調節度算出手
段で算出された調整度に基づき、各部位に与える微小変
化を更新する最適化処理手段とを有することを特徴とす
る時系列画像解析装置。
施形態が対応する。
像解析装置の調節度算出手段は、上記対象物モデル手段
に格納されているパラメータと時系列画像のパラメータ
の差を算出することを特徴とする時系列画像解析装置。
化させることで、高精度かつ高速な処理の実現が可能と
なる。
施形態が対応する。
び(33)項のいずれか1項に記載の時系列画像解析装
置の整合手段は、上記パラメータ修正手段により行われ
た修正情報に基づき、整合手段における各部位のパラメ
ータに関して微小変化を与える領域及び空間を算出する
確信度算出手段をさらに、有することを特徴とする時系
列画像解析装置。
施形態が対応する。
を限定させることで、高精度かつ高速な処理の実現が可
能となる。
象物の形状と動作に関する知識を利用することによっ
て、従来遮蔽などの影響で解析不可能であった部分に関
する対象物の動きも高精度に解析を行うことができる時
系列画像解析装置及びその解析方法を提供することがで
きる。
解析装置の概略的な全体の構成例を示す図である。
モデル形状を説明するための図である。
する存在可能領域を説明するための図である。
である。
念を示す図である。
の概念を示す図である。
るための概念を示す図である。
めの概念を示す図である。
関係を示す図である。
体的な構成例を示す図である。
域の算出における概念を示す図である。
よび許容範囲の算出における概念を示す図である。
る。
ある。
タを各部位ごとに補間関数により数式化して格納する概
念を示す図である。
めの概念を示す図である。
ある。
念を示す図である。
である。
す図である。
ローチャートである。
ャートである。
る。
ローチャートである。
概略的な全体の構成例を示す図である。
である。
おける整合部の構成例を示す図である。
化処理部の概略的な構成を示す図である。
概略的な全体の構成例を示す図である。
するための図である。
である。
おける対象物モデル部の構成を示す図である。
図である。
概略的な全体の構成例を示す図である。
である。
なモデルの選択法に関する概念を示す図である。
パラメータ算出部の構成例を示す図である。
象物の各部位の存在候補領域の算出における概念を示す
図である。
示す図である。
おける整合部の構成を示す図である。
ある。
における整合部の構成を示す図である。
における整合部の構成を示す図である。
念を示す図である。
示す図である。
…補助入出力部、5…形状生成部、6…対象物モデル
部、7…パラメータ算出部、8…整合部、9…D/A
部、10…出力部、11…制御部。
Claims (3)
- 【請求項1】 時系列画像中の所定の対象物を解析する
時系列画像解析装置において、 上記時系列画像中の所定の時間範囲内の複数の画像から
対象物を抽出する形状生成手段と、 上記対象物の形状及び動きによる形状変化に関する知識
を、上記対象物を構成する部位のそれぞれについてパラ
メータとして格納する対象物モデル手段と、 上記形状生成手段によって抽出された上記対象物から上
記対象物モデル手段に格納されたパラメータと対応した
部位の位置や傾斜角の種類及び時刻のパラメータを算出
するパラメータ算出手段と、 上記複数の画像のそれぞれに対応する、上記パラメータ
算出手段により算出された上記対象物のパラメータを構
成要素とするパラメータの集合を、上記対象物のパラメ
ータに対応する上記モデル手段に格納されたパラメータ
のそれぞれを構成要素とするパラメータの集合に整合さ
せる整合手段と、を有することを特徴とする時系列画像
解析装置。 - 【請求項2】 上記整合手段は、さらに、上記パラメー
タ算出手段によって算出された上記対象物のパラメータ
から対象物を表す画像として構成される画像と上記形状
生成手段によって抽出された対象物とが整合するように
上記対象物のパラメータを補正することを特徴とする請
求項1記載の時系列画像解析装置。 - 【請求項3】 時系列画像中の所定の対象物を解析する
動画像解析方法において、 上記対象物の形状及び動きによる形状変化の知識を、上
記対象物を構成する部位のそれぞれについてパラメータ
化することによってモデル化し、 上記モデル化されたパラメータのうち動きに関する知識
を時間の関数として格納し、 上記時系列画像中の所定の時間範囲内の複数の画像から
上記対象物を抽出して、上記モデル化されたパラメータ
に対応するパラメータを算出し、 上記モデル化されたパラメータと上記対象物から算出さ
れたパラメータとの間の同期をとり、 同期した上記対象物からのパラメータによる形状と、上
記モデル化されたパラメータによる形状との大きさが合
うように上記モデル化されたパラメータを補正し、 上記対象物に基づいて算出したパラメータを上記関数か
ら求められたパラメータに整合することを特徴とする時
系列画像解析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27263595A JP3780017B2 (ja) | 1994-12-06 | 1995-10-20 | 時系列画像解析装置及びその解析方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6-301955 | 1994-12-06 | ||
JP30195594 | 1994-12-06 | ||
JP27263595A JP3780017B2 (ja) | 1994-12-06 | 1995-10-20 | 時系列画像解析装置及びその解析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08214289A true JPH08214289A (ja) | 1996-08-20 |
JP3780017B2 JP3780017B2 (ja) | 2006-05-31 |
Family
ID=26550300
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP27263595A Expired - Fee Related JP3780017B2 (ja) | 1994-12-06 | 1995-10-20 | 時系列画像解析装置及びその解析方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3780017B2 (ja) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005050565A1 (ja) * | 2003-11-20 | 2005-06-02 | Matsushita Electric Industrial Co., Ltd. | 移動物体検出装置及び移動物体検出方法 |
WO2009112790A1 (en) | 2008-03-14 | 2009-09-17 | Panasonic Corporation | Image processing method and image processing apparatus |
WO2010079556A1 (ja) | 2009-01-09 | 2010-07-15 | パナソニック株式会社 | 移動体検出方法および移動体検出装置 |
WO2011013281A1 (ja) | 2009-07-29 | 2011-02-03 | パナソニック株式会社 | 移動体検出方法及び移動体検出装置 |
WO2011013299A1 (ja) | 2009-07-31 | 2011-02-03 | パナソニック株式会社 | 移動体検出装置及び移動体検出方法 |
WO2011080900A1 (ja) | 2009-12-28 | 2011-07-07 | パナソニック株式会社 | 移動体検出装置および移動体検出方法 |
JP2012043155A (ja) * | 2010-08-18 | 2012-03-01 | Canon Inc | 物体検出装置および物体検出方法 |
WO2012077287A1 (ja) * | 2010-12-09 | 2012-06-14 | パナソニック株式会社 | 姿勢状態推定装置および姿勢状態推定方法 |
CN102741884A (zh) * | 2010-07-27 | 2012-10-17 | 松下电器产业株式会社 | 移动体检测装置及移动体检测方法 |
US8340357B2 (en) | 2008-10-27 | 2012-12-25 | Panasonic Corporation | Moving object detection method and moving object detection apparatus |
US8401243B2 (en) | 2009-12-28 | 2013-03-19 | Panasonic Corporation | Articulated object region detection apparatus and method of the same |
CN103003846A (zh) * | 2011-01-26 | 2013-03-27 | 松下电器产业株式会社 | 关节区域显示装置、关节区域检测装置、关节区域归属度计算装置、关节状区域归属度计算装置以及关节区域显示方法 |
WO2016017477A1 (ja) * | 2014-08-01 | 2016-02-04 | 株式会社デンソー | 画像処理装置 |
JP2019087126A (ja) * | 2017-11-09 | 2019-06-06 | 日本電信電話株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
CN111033560A (zh) * | 2017-08-07 | 2020-04-17 | 富士通株式会社 | 信息处理装置、模型数据创建程序、模型数据创建方法 |
US10796186B2 (en) | 2017-07-03 | 2020-10-06 | Fujitsu Limited | Part recognition method, information processing apparatus, and imaging control system |
-
1995
- 1995-10-20 JP JP27263595A patent/JP3780017B2/ja not_active Expired - Fee Related
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7702019B2 (en) | 2003-11-20 | 2010-04-20 | Panasonic Corporation | Moving object detection device and moving object detection method |
WO2005050565A1 (ja) * | 2003-11-20 | 2005-06-02 | Matsushita Electric Industrial Co., Ltd. | 移動物体検出装置及び移動物体検出方法 |
WO2009112790A1 (en) | 2008-03-14 | 2009-09-17 | Panasonic Corporation | Image processing method and image processing apparatus |
US8437549B2 (en) | 2008-03-14 | 2013-05-07 | Panasonic Corporation | Image processing method and image processing apparatus |
EP2418622A2 (en) | 2008-03-14 | 2012-02-15 | Panasonic Corporation | Image processing method and image processing apparatus |
US8340357B2 (en) | 2008-10-27 | 2012-12-25 | Panasonic Corporation | Moving object detection method and moving object detection apparatus |
US8213681B2 (en) | 2009-01-09 | 2012-07-03 | Panasonic Corporation | Moving object detection method and moving object detection apparatus |
WO2010079556A1 (ja) | 2009-01-09 | 2010-07-15 | パナソニック株式会社 | 移動体検出方法および移動体検出装置 |
US8363902B2 (en) | 2009-07-29 | 2013-01-29 | Panasonic Corporation | Moving object detection method and moving object detection apparatus |
WO2011013281A1 (ja) | 2009-07-29 | 2011-02-03 | パナソニック株式会社 | 移動体検出方法及び移動体検出装置 |
US8300892B2 (en) | 2009-07-31 | 2012-10-30 | Panasonic Corporation | Moving object detection apparatus and moving object detection method |
WO2011013299A1 (ja) | 2009-07-31 | 2011-02-03 | パナソニック株式会社 | 移動体検出装置及び移動体検出方法 |
US8582822B2 (en) | 2009-12-28 | 2013-11-12 | Panasonic Corporation | Moving object detection apparatus and moving object detection method |
WO2011080900A1 (ja) | 2009-12-28 | 2011-07-07 | パナソニック株式会社 | 移動体検出装置および移動体検出方法 |
US8401243B2 (en) | 2009-12-28 | 2013-03-19 | Panasonic Corporation | Articulated object region detection apparatus and method of the same |
CN102741884A (zh) * | 2010-07-27 | 2012-10-17 | 松下电器产业株式会社 | 移动体检测装置及移动体检测方法 |
US8599252B2 (en) | 2010-07-27 | 2013-12-03 | Panasonic Corporation | Moving object detection apparatus and moving object detection method |
JP2012043155A (ja) * | 2010-08-18 | 2012-03-01 | Canon Inc | 物体検出装置および物体検出方法 |
US20130301882A1 (en) * | 2010-12-09 | 2013-11-14 | Panasonic Corporation | Orientation state estimation device and orientation state estimation method |
WO2012077287A1 (ja) * | 2010-12-09 | 2012-06-14 | パナソニック株式会社 | 姿勢状態推定装置および姿勢状態推定方法 |
JP5837508B2 (ja) * | 2010-12-09 | 2015-12-24 | パナソニック株式会社 | 姿勢状態推定装置および姿勢状態推定方法 |
US9262674B2 (en) | 2010-12-09 | 2016-02-16 | Panasonic Corporation | Orientation state estimation device and orientation state estimation method |
CN103003846A (zh) * | 2011-01-26 | 2013-03-27 | 松下电器产业株式会社 | 关节区域显示装置、关节区域检测装置、关节区域归属度计算装置、关节状区域归属度计算装置以及关节区域显示方法 |
US8929599B2 (en) | 2011-01-26 | 2015-01-06 | Panasonic Corporation | Articulation region display apparatus, articulation region detecting apparatus, articulation region belongingness calculating apparatus, articulated object region belongingness calculating apparatus, and articulation region display method |
WO2016017477A1 (ja) * | 2014-08-01 | 2016-02-04 | 株式会社デンソー | 画像処理装置 |
JP2016035633A (ja) * | 2014-08-01 | 2016-03-17 | 株式会社デンソー | 画像処理装置 |
US10796186B2 (en) | 2017-07-03 | 2020-10-06 | Fujitsu Limited | Part recognition method, information processing apparatus, and imaging control system |
CN111033560A (zh) * | 2017-08-07 | 2020-04-17 | 富士通株式会社 | 信息处理装置、模型数据创建程序、模型数据创建方法 |
JP2019087126A (ja) * | 2017-11-09 | 2019-06-06 | 日本電信電話株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP3780017B2 (ja) | 2006-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH08214289A (ja) | 時系列画像解析装置及びその解析方法 | |
CN108829232B (zh) | 基于深度学习的人体骨骼关节点三维坐标的获取方法 | |
US11720185B2 (en) | Method and system for determining a correct reproduction of a movement | |
Chen et al. | Knowledge-guided visual perception of 3-D human gait from a single image sequence | |
KR101907077B1 (ko) | 자세 인식 방법 및 장치 | |
CN111414797B (zh) | 用于估计对象的姿势和姿态信息的***和方法 | |
Silaghi et al. | Local and global skeleton fitting techniques for optical motion capture | |
KR101812379B1 (ko) | 포즈를 추정하기 위한 방법 및 장치 | |
CN110892408A (zh) | 用于立体视觉和跟踪的***、方法和装置 | |
JP5147761B2 (ja) | 画像監視装置 | |
CN111862299A (zh) | 人体三维模型构建方法、装置、机器人和存储介质 | |
JP2003269937A (ja) | 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置 | |
CN112083800B (zh) | 基于自适应手指关节规则滤波的手势识别方法及*** | |
WO2007010893A1 (ja) | 関節物***置姿勢推定装置及びその方法ならびにプログラム | |
CN112258555A (zh) | 实时姿态估计运动分析方法、***、计算机设备及存储介质 | |
KR102436906B1 (ko) | 대상자의 보행 패턴을 식별하는 방법 및 이를 수행하는 전자 장치 | |
JPWO2019030794A1 (ja) | 情報処理装置、モデルデータ作成プログラム、モデルデータ作成方法 | |
JP6973444B2 (ja) | 制御システム、情報処理装置および制御方法 | |
KR101021470B1 (ko) | 영상 데이터를 이용한 로봇 움직임 데이터 생성 방법 및 생성 장치 | |
JP2003271975A (ja) | 平面抽出方法、その装置、そのプログラム、その記録媒体及び平面抽出装置搭載型ロボット装置 | |
KR20230166319A (ko) | 대상자의 3차원 전신 자세를 식별하기 위한 장치, 방법 및 프로그램 기록 매체 | |
JP2008065368A (ja) | ステレオ画像を利用した物体の位置および姿勢認識システム、物体の位置および姿勢認識方法、およびこの方法を実行するプログラム | |
Jatesiktat et al. | Personalized markerless upper-body tracking with a depth camera and wrist-worn inertial measurement units | |
JPH06213632A (ja) | 画像計測装置 | |
JP7464512B2 (ja) | 三次元人物姿勢推定装置、方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050426 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050624 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050927 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060306 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090310 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100310 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110310 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110310 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120310 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |