JP2012073935A - 動作評価装置並びに類似度評価方法及び動作評価・確認方法 - Google Patents
動作評価装置並びに類似度評価方法及び動作評価・確認方法 Download PDFInfo
- Publication number
- JP2012073935A JP2012073935A JP2010219729A JP2010219729A JP2012073935A JP 2012073935 A JP2012073935 A JP 2012073935A JP 2010219729 A JP2010219729 A JP 2010219729A JP 2010219729 A JP2010219729 A JP 2010219729A JP 2012073935 A JP2012073935 A JP 2012073935A
- Authority
- JP
- Japan
- Prior art keywords
- principal component
- evaluation
- motion
- time series
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】比較的単純な処理によって汎用的に動きのリズム等を評価できる動作評価装置を提供する。
【解決手段】評価対象の映像の時系列をなす各フレームの直接の画素値からなる、特徴量の時系列に対して主成分分析を施し、該特徴量の時系列を固有値毎に、主成分得点の時系列に変換する主成分得点変換部2と、主成分得点の時系列を周波数解析してスペクトル情報を得る周波数解析部3とを備える動作評価装置1を提供する。前記直接の画素値からなる特徴量は、各画素のフレーム内位置に基づく所定の順に、各画素の画素値を並べたベクトルとして与える。
【選択図】図3
【解決手段】評価対象の映像の時系列をなす各フレームの直接の画素値からなる、特徴量の時系列に対して主成分分析を施し、該特徴量の時系列を固有値毎に、主成分得点の時系列に変換する主成分得点変換部2と、主成分得点の時系列を周波数解析してスペクトル情報を得る周波数解析部3とを備える動作評価装置1を提供する。前記直接の画素値からなる特徴量は、各画素のフレーム内位置に基づく所定の順に、各画素の画素値を並べたベクトルとして与える。
【選択図】図3
Description
本発明は、動作評価装置並びに類似度評価方法及び動作評価・確認方法に関し、特に、比較的単純な処理で汎用的に映像の動作のリズム等を評価することのできる動作評価装置並びに、当該装置を用いた類似度評価方法及び動作評価・確認方法に関する。
ダンスの練習者がダンス技能を習得する際には、ダンスの専門家の動き(お手本)を何度も模倣して練習するのが一般的である。練習者は、模倣しようとしてもすぐには模倣できなかったり、模倣しているつもりでも、実際にはお手本とは異なる動きをしていることがある。ダンスの間違っている箇所や自分の習熟度を知ることは、ダンス技能の上達のために必須と言える。専門家が常に見ているのであれば、間違っている箇所を指摘すればよいが、現実的には経済的,時間的なコストを考えると難しい。そのため、撮影したダンス動画を自動で採点(評価)できるシステムがあれば望ましい。
このような技術として、以下の特許文献1(身体動作解析装置)には、ダンスをしている被験者の映像から、被験者の動きのリズム要素を抽出する技術が公開されている。入力される映像から、背景と人物の色の違いを利用した色処理によって、人物のシルエット画像を抽出する。抽出した人物シルエット画像を細線化技術によりスケルトン画像に変換し、得られたスケルトン画像をハフ変換することで、スケルトン画像の各部位の直線のパラメータを得る。映像の各フレームにおいて観測されたハフパラメータの観測値をそのまま各部位の線分を表すパラメータ(線分)とするのではなく、カルマンフィルタによってハフパラメータを時間方向に追跡して得た予測値を各部位のパラメータとし、それを全体の動きを表すデータ列にするため、SVD (Singular Value Decomposition) を用いて変換を行っている。得られた全体の動きを表すデータ列をフーリエ変換して、お手本である専門家と被験者の間で、専門家のピークを持つ周波数のスペクトル強度と、被験者における当該周波数のスペクトル強度を比較することにより、リズムの評価を可能としている。
しかしながら、特許文献1の実施例で示されている手法では、体全体の動きを表す特徴量を求めるまでの処理が複雑である。また、シルエット画像を抽出する際に、背景が青色(人物の衣服とは異なる1色)であることを前提としており、特殊環境以外ではうまく抽出できるとは言えない。
本発明の主たる目的は、上記の従来技術の課題を解決し、比較的単純な処理で汎用的に動きのリズム等を評価できる動作評価装置を提供することにある。
また、本発明の他の目的は、上記動作評価装置を用いた類似度評価方法及び動作評価・確認方法を提供することにある。
上記目的を達成するため、本発明は、映像の動作を評価する動作評価装置であって、前記映像の時系列をなす各フレームにおける直接の画素値からなる特徴量の時系列に対して主成分分析を施し、該特徴量の時系列を主成分分析における固有値毎に、主成分得点の時系列に変換する主成分得点変換部と、前記主成分得点の時系列を周波数解析してスペクトル情報を得る周波数解析部とを備えることを第1の特徴とする。
また、本発明は、評価対象動作の模範動作に対する類似度を評価する、類似度評価方法であって、前記動作評価装置を用いて、前記評価対象動作と前記模範動作とを評価し、当該評価した結果の比較に基づいて類似度を評価することを第2の特徴とする。
また、本発明は、評価対象動作を評価し且つ当該評価の基準の確認フィードバックを行う、動作評価・確認方法であって、前記動作評価装置を用いて、前記評価対象動作を評価したのち、前記動作評価装置が当該評価に用いた主成分得点の時系列を原空間の映像に復元する復元装置を用いることで確認フィードバックを行うことを第3の特徴とする。
前記第1の特徴によれば、評価対象となる動作の映像の各フレームにおける画素値を直接用いて主成分分析を施すことにより、スペクトル情報として動作のリズム等が評価できるので、比較的単純な処理で汎用的に動作を評価することができる。
前記第2の特徴によれば、本発明の動作評価装置を用いて、評価対象動作の模範動作に対する類似度を評価することができる。
前記第3の特徴によれば、本発明の動作評価装置を用いて動作を評価することができると共に、当該評価された動作がどのような動作であるのかを確認することができる。
以下に、図面を参照して本発明を詳細に説明する。図1は、本発明の原理及びその応用の概要を説明するものであり、例えばダンス動作を、お手本となる模範映像と比べて評価する概略を説明する図である。
図1(A)に示すように、ダンスの練習者(a)は、お手本となる模範映像(b)に合わせてダンスを練習する。そして当該練習者(a)の練習動作映像を(c)に示すように、例えば携帯端末に付属のカメラなどを用いて撮影する。
そして、図1(B)に示すように、前記(c)の撮影により練習者の動作映像が時系列のフレーム(a1)、(a2)、(a3)、(a4)、…などとして得られる。これら各フレームは、前記模範映像(b)における時系列のフレーム(b1)、(b2)、(b3)、(b4)、…に対応する。
図1(B)に示したような練習者動作映像と、模範映像とを、それぞれ本発明の動作評価装置で評価することにより、図1(C)に示すように、例えば動作のリズムに対応するパワースペクトルが得られる。練習者のスペクトルは(a0)であり、模範映像の動作のスペクトルは(b0)である。
次いで、これらスペクトル等の、動作評価装置の評価結果同士を比較することにより、練習者の動作を評価して、評価結果を図1(D)に示すように、例えばダンス採点結果(「80点」など)として表示する。当該評価結果の表示には、例えば、前記(c)の撮影で用いた携帯端末を利用することで、練習者は自身のダンスの採点結果を練習終了後ただちに確認できる。
以下、本発明の第1乃至第4実施形態である動作評価装置を説明する。また、本発明の第5実施形態である動作評価確認システムを説明する。そしてこれら、第1乃至第5実施形態の各々を利用して、図1で説明したような、模範映像との類似度評価を行う応用的実施形態が可能であるので、これを第6実施形態として、第1乃至第5実施形態の説明内で随時説明する。
図2に、本発明の動作評価装置による処理の流れの概略を示す。図2(1)は、動作評価装置にて評価する動作映像のサイズ形式を示している。すなわち、時系列をなすNフレームの映像で、各フレームは画素数がMである。
このような動作映像における各フレームの画素値を直接用いて、図2(2)に示すようなサイズM×N(各フレーム画素数×動作映像のフレーム時系列数)の行列B'を作る。このため、まず、フレーム時系列の順がi(i=1,2,…,N)番目のフレームを構成する画素を、各画素のフレーム内位置に基づく所定の順に並べたベクトルVi(i=1,2,…,N))を作る。当該所定の順は、全Nフレームに渡り共通の順である。そして、行列B'は、そのi列を抜き出したものが前記ベクトルViとなるような行列となる。
なお、本発明は、このような直接の画素値からなるベクトルViをi番目のフレームの特徴量として、全Nフレームの特徴量のデータ集合(行列B')に対して、図2(3)以降に示す主成分分析を施すだけで、評価対象の動作映像の周波数特徴を捉えた時系列データが得られる、という新たな知見に基づくものである。
図2(3)に示すように、データ集合である行列B'の分散共分散行列S(サイズM×M)の固有値λi(i=1,2,…)と固有ベクトルvi(i=1,2,…)を求める。
ここで、評価対象の動作映像サイズM(画素数)は、縦×横=(height×width=)=320×240=8万画素程度、であり、フレームN(時系列数)=300程度、であることが想定される。すなわちM>Nであることが想定される。この場合、サイズM×Mの分散共分散行列Sの固有値問題を直接解くのではなく、後述のサイズN×Nの行列Cの固有値問題を解いて、その結果から行列Sの固有値と固有ベクトルを、固有値の大きい側の所定数のみ求めるようにしてもよい。
分散共分散行列Sの固有値問題を解いた結果を用いて、図2(4)に示すように、元の特徴量の時系列(後述するように、行列B'における各列ベクトルViから平均を引いた時系列)を主成分の空間の値(主成分得点)に変換した時系列を求める。当該時系列は図示するように、動作映像のフレーム数と同じN個のデータの時系列となる。
前述のように、当該時系列に元の動作映像の周波数特徴が含まれているので、図2(5)に示すように、例えばスペクトル解析を行うことで、元の動作映像の周波数特徴を評価することができる。
なお、図2の概略説明において用いた数式の文字は、後に説明する詳細においても共通で用いる。
図3に、本発明の第1実施形態に係る動作評価装置の機能ブロック図を示す。動作評価装置1は、主成分得点変換部2と周波数解析部3とを備え、前述の図2のような処理を行う。すなわち主成分得点変換部2は、評価対象の動作映像の各フレームの直接の画素値から各フレームの特徴量となるベクトルを作り、当該ベクトルの時系列データ集合に対して主成分分析を施し、主成分得点の時系列に変換する。周波数解析部3は、当該主成分得点の時系列を周波数解析して、スペクトル情報を得る。
当該第1実施形態によれば、評価対象の動作映像の画素値を直接用いて、主成分分析を施すだけで、動作映像の周波数特徴を捉えたスペクトル情報を得ることができる、という効果がある。すなわち、第1実施形態によれば、主要な処理は、簡単かつ汎用的な主成分分析のみであり、従来技術のように、背景と人物との分離などの前処理や、ハフ変換などのような各種の特殊な処理を用いることなく、上記のようなスペクトル情報を得ることができる。
次に、主成分得点変換部2の処理の詳細について説明する。
主成分得点変換部2では、評価対象の動作映像に含まれる、高次元で複雑な動きを評価するために、低次元空間に一度圧縮して、動きの特徴量(動き特徴量)を抽出する。高次元特徴量から合成変量を生成して解析を行う手法として、主成分分析が周知である。主成分分析とは、データの分散を最大とするような軸(合成変量)を求めて、データの解析をする手法である。主成分得点変換部2では主成分分析を利用する。
K次元ベクトルx={x1,x2,...,xK}が存在したときに、分散最大となる合成変量yをそれらの線形和で表す。この時の係数v={ a1,a2,...,aK}を求めることが主成分軸を求めることになる(数1)。
具体的には、データの分散共分散行列の固有値問題として解くことができる。分散共分散行列をSとした場合に、次の数2、すなわち、
ここで、本発明の対象である動画に、この主成分分析を適用することを考える。図2(1)に示したように、動画はフレーム毎の画像を時系列に並べたものであり、画像は、各画素の画素値の集まりである。したがって、ある1フレームの画像は、位置を考慮しなければ、画素数だけの次元を持つ画素値のベクトル(画素値ベクトル)で表現できる。例えば、Nフレームのheight×widthの解像度の動画の場合には、M (=height×width)次元の画素値ベクトルがNフレーム分存在するという風に考えられる。
なお、各フレームの画像を構成する画素の画素値から、画素値ベクトルを作成するには、前述のとおり、各画素のフレーム内位置に基づく所定の順に、例えばラスタスキャン順に、各画素の画素値を並べたベクトルを作成すればよい。すなわち、フレーム内位置が(i, j)[ここで、i=1,2,…,height, j=1,2,…,width]である各画素の画素値を、画素ベクトルのn(n=1,2,…,M)番目の各要素へと一対一の写像関係で対応付けるようにする。そして、当該対応付けには、全Nフレームに渡って共通の対応づけを用いる。
この画素値ベクトルの各次元の時間方向に対する分散及び共分散行列Sの固有値・固有ベクトルを求めればよい。しかしながら、画像の大きさMは通常大きいため(例えば320×240の動画でも76800次元)、行列Sの固有値問題を直接解くことは実計算上好ましくない.このような高次元データに対する主成分分析は,以下のようにして行うことができることが知られている.
まず、図2(2)にも示したように、M次元空間上のNフレームのデータ行列をB' (サイズM×N)とする(数3)。このデータ行列の行平均(次元に対する平均)をmean (サイズM×N)として(数4)、行列B'の1行ずつ抽出して平均ベクトルmeanを引いて,行方向に結合した行列Bを定義すると(数5)、
さらに、両辺に左から行列Bをかけると(数8)、
数9は、行列(N^-1)BB^T(=行列Cとする)の固有方程式であり、この行列Cに対する固有ベクトルuを求めてから、それを使って分散共分散行列Sに対する固有値vを求める。この行列の大きさを考えると、N×Nとなっており、通常は画素値ベクトルの次元数Mよりもフレーム数Nが圧倒的に小さいことから、行列Sから直接固有値を求めるよりはるかに少ない計算量で計算できる。
求めた固有ベクトルuから、行列Sの固有ベクトルvを求めるには、上式(数9)に左からB^Tをかけて(数10)、
この上式(数10)より、B^Tuが、Sの固有ベクトルvであることがわかる。ただし、規格化はされていないので、規格化も含めて表すと(数11)、
したがって、行列C (N×N)に対する固有ベクトルuを求めることで,行列S (M×M)に対する固有ベクトルvを求めることができることがわかる。(ただし、M個の固有値のうち、固有値の大きい方からN番目以上の固有値は0と考える。)
この方法により,動きの動画に対する主成分分析も実計算上可能であることがわかる。なおまた、評価対象映像のサイズ形式がM<Nとなる場合には、上記のように行列Cの固有値問題を解くことを経由せずに、行列Sの固有値問題を直接解いてもよい。
主成分得点変換部2では、当該求めた固有ベクトルを用いて、元の空間から主成分空間に射影した際の主成分軸上の値の大きさである、主成分得点を求める。固有値の大きい方から順に固有値を並べた時に、l番目に大きい固有値λlに対する(第l主成分軸に対する)nフレーム目の主成分得点z(n,λl)は以下の式(数12)で表される。
この主成分得点が動きを表す特徴量となる。なお、(数12)右辺において、係数a[m,λl]は、l番目の固有ベクトルの第m成分であり、(xm(n)−上バー付きxm)は、(数5)の行列Bのm行n列成分である。
そして、主成分得点変換部2でこのように求められる、各固有値に対応する主成分得点の時系列には、動作映像の周波数特徴が含まれるので、周波数解析部3にてスペクトル情報を抽出する。
ここで、動作映像として「歩く」という動き(歩き動作)の映像を例として、説明を行い、主成分得点の時系列が実際に動作映像の周波数特徴を含んでいることを示す。
実際の歩き動作を収録した動画に対して、主成分得点変換部2及び周波数解析部3の処理を施して得られる、第1主成分と第2主成分とに対する、主成分得点の時系列及びパワースペクトルの例を図4に示す。
図4(a1)、(a2)はそれぞれ、第1主成分得点の時系列、第2主成分得点の時系列のグラフである。また(b1)、(b2)はそれぞれ、(a1)、(a2)を周波数解析(FFT、高速フーリエ変換)して得られる、第1主成分得点時系列のパワースペクトル、第2主成分得点時系列のパワースペクトルである。
(a1)に示されているように、第1主成分得点の時系列は、周期的な波形となっている。一方で、(a2)に示されているように、第2主成分得点の時系列は、第1主成分得点の時系列とは異なる傾向となっている。この例では、次に見る各パワースペクトルより明らかなように、第1主成分得点時系列の周期的な波形は、歩き全体のリズムを表している。一方で、第2主成分得点時系列の波形は、体の重心の横方向へのブレを表している。
(b1)に示されているように、第1主成分得点のパワースペクトルのピークは約1[Hz]付近にある。これは、実際に用いた収録動画内の歩き動作の周期と同じであることから、「歩き全体」のリズム特徴を知るには、第1主成分得点のパワースペクトルのピークを持つ周波数位置を見ればよいということがわかる。
一方で、(b2)に示されているように、第2主成分得点時系列のパワースペクトルでは、ほぼ0の周波数を除けばピークは見られない。従って、こちらは「歩き全体」のリズムではなく、他の成分を表しているといえる。なお、第2主成分時系列が体の重心の横方向へのブレを表していることについては、当該パワースペクトルの考察と、後述の復元(第5実施形態)とによって明らかとなる。
以上のように、図4の例によっても、図3に示す第1実施形態により動作映像の周波数特徴が得られることがわかる。そして、第1実施形態では、周波数特徴として、動作映像を評価することができる。
次に本発明の第2実施形態を説明する。第2実施形態では、第1実施形態で得られる周波数特徴のうち、特にピーク周波数を抽出するようにしたものであり、その機能ブロック図を図5に示す。図5(A)に示すように、動作評価装置1は、第1実施形態の同様の主成分得点変換部2と、周波数解析部3とに加えて、さらにピーク周波数抽出部4を備える。
ピーク周波数抽出部4は、周波数解析部3で得られたスペクトル情報よりピーク周波数を抽出する。なお、スペクトル情報は、主成分得点変換部2での主成分分析における各固有値毎に求まる。すなわち、第1主成分得点のスペクトル情報、第2主成分のスペクトル情報、…と求まる。よってピーク周波数抽出部4も、各固有値毎にピーク周波数を抽出する。
なお、ピーク周波数、すなわちパワースペクトルのグラフが極大となる周波数が複数あれば、全て抽出してもよいし、当該全て抽出した中より、スペクトル密度の大きさが最大のもの、最大のものから上位所定数のもの、又は大きさが所定値を越えるものなどに限ってもよい。
例えば、図4に示した例を対象とし、大きさ最大のものを抽出するとすれば、ピーク周波数抽出部4は、(b1)に示す第1主成分のパワースペクトルより1[Hz]付近をピーク周波数として、(b2)に示す第2主成分のパワースペクトルより0[Hz]付近をピーク周波数として抽出する。
また、第2実施形態の動作評価装置1を、図1のような評価対象動作と模範動作との比較評価に用いる場合(第6実施形態)の機能ブロック図を図5(B)に示す。動作評価装置1は(A)の構成に加えてさらに、比較部10を備える。比較部10には、模範動作に対して(A)の構成により評価した周波数を予め保存しておき、評価対象動作の評価結果と比べて、類似度の評価スコアを出力する。
評価スコアとしては、模範動作の第n主成分におけるピーク周波数をf1とし、評価対象動作の第n主成分におけるピーク周波数をf2として、例えば次(数13)で与えられる。
そして、当該Scoreの値がゼロに近いほど、第n主成分に表れているリズムの類似度が大きいとして評価する。模範動作において第1主成分に全体的なリズムが表れている場合であれば、評価対象動作の第1主成分とでピーク周波数を比較して、全体的なリズム特徴が似ているかを評価できる。
また、(数13)のスコアを各主成分毎に求めて、それらの所定係数による線形和などとして、評価スコアを与えるようにしてもよい。
本発明の第3実施形態の機能ブロック図を図6に示す。当該実施形態では、図6(A)に示すように、動作評価装置1は、第1実施形態と同様の主成分得点変換部2と、周波数解析部3とに加えてさらに、全体リズム決定部5を備える。全体リズム決定部5は、周波数解析部3で得られた、各固有値毎のスペクトル情報のうち、動作映像の全体的なリズムを表しているのが第何主成分のスペクトル情報であるかを決定する。例えば、図4の例であれば、全体リズム決定部5は、歩き動作の映像の「歩き全体」のリズムを表しているのは、図4(b1)に示す第1主成分のスペクトル情報である、と決定する。
全体リズム決定部5は、上記のような決定を行うために、周波数解析部3で得られる各主成分に対するスペクトル情報より、第2実施形態のピーク周波数抽出部4と同様にピーク周波数の位置を抽出すると共に、当該ピーク周波数におけるピークの大きさも抽出する。
全体リズム決定部5はさらに、当該抽出したピーク周波数の位置と大きさとが、それぞれ、位置(周波数)に関する所定の閾値と、大きさ(パワースペクトルのピークにおける密度)に関する所定の閾値と、を越えているものを選択する。
例えば、図4の第1、第2主成分のパワースペクトルの例である図4(b1)、(b2)に対して、当該選択を行う例を図7に、それぞれ(b10)、(b20)として示す。図示するように、位置の閾値としてβ、大きさの閾値としてαを、それぞれ所定値として与える。これら閾値は、全固有値に対応する主成分得点のパワースペクトルにおいて共通で用いる。図7の例であれば、不図示の第3主成分以降のパワースペクトルを評価する場合も同様に、位置の閾値β、大きさの閾値αを用いる。
図7(b10)に示すように、第1主成分のパワースペクトルには閾値α及びβを共に越えるピークが一箇所存在するが、(b20)に示すように、第2主成分のパワースペクトルにはこのようなピークは存在しない。
全体リズム決定部5はこのように、スペクトルのピーク位置及び大きさが閾値条件を満たすパワースペクトルを探し、そのうち情報量が最も大きい主成分に対応するパワースペクトルを、元の動作映像の動きの全体的なリズムを表しているものとして決定する。なお、情報量が最も大きい主成分とは、主成分分析において周知であるように、固有値の最も大きい主成分であり、第n主成分のnの値が最も小さい主成分である。すなわち、図6の例であれば、第1主成分が所定の閾値条件を満たし且つ情報量の最も大きい主成分であるので、第1主成分に動きの全体的なリズムが表れているとして決定される。
なお、同一固有値におけるパワースペクトル波形上で、閾値を越えるピークが複数存在する場合には、最も低い周波数が全体的なリズムを表しているものとしてもよい。例えば、ある固有値に対応する主成分得点の時系列が、体全体でリズムを取っていて、その2倍のリズムで手が動いていることを表すものであるような場合には、当該主成分得点のパワースペクトルにおいて閾値を越えるピークが2つ現れる、というようなことがある。
また、第3実施形態の動作評価装置1を、図1のような評価対象動作と模範動作との比較評価に用いる場合(第6実施形態)の機能ブロック図を図6(B)に示す。この場合も、動作評価装置1は、(A)の構成に追加してさらに、比較部10を備える。比較部10は、模範動作に対して(A)の構成で評価した結果を予め保存しておき、評価対象動作の評価結果と比較する。
すなわち、模範動作において全体的なリズムの周波数がf1であり、当該周波数f1が第n主成分のピーク周波数である、ということを予め評価しておいて、比較部10に結果を保存しておく。評価対象動作の評価により、第m主成分に全体のリズムがピーク周波数f2として得られたとする。当該f1とf2とを用いて、前述の(数13)と同様に類似度のスコアを評価することができる。このようにして、例えば模範動作には第1主成分に全体リズムが表れ、評価対象動作には第1主成分ではなく第2主成分に全体リズムが表れた場合であっても、類似度評価が可能となる。
なおまた、模範動作と評価対象動作とで別の主成分に全体リズムが表れた場合には、模範動作と評価対象動作との隔たりが大きい可能性もある。よって、この場合には(数13)のスコアと共に、補足情報として、別の主成分が検出されたことを出力させるようにしてもよい。このような場合、第5実施形態における復元装置を併用してもよい。
本発明の第4実施形態の機能ブロック図を図8に示す。当該実施形態では、図8(A)に示すように、動作評価装置1は、第1実施形態と同様の主成分得点変換部2と、当該実施形態に特有の相関値算出部6とを備える。相関値算出部6は、主成分得点変換部2で得られた固有値毎の主成分得点の時系列のうち、所定の固有値に対応する主成分得点時系列と、これら固有値毎に予め用意しておく時系列との相関値を相互相関関数を用いて求める。
第4実施形態では、当該予め用意しておく時系列を、所定の周波数特徴を有する時系列とし、評価対象動作が類似の周波数特徴を有するかを、相関値により評価する。よって、第4実施形態は第1乃至第3実施形態のように周波数解析部3を利用することはないものの、同様に周波数特徴の評価が行われることとなる。
相関値算出部6による相関値の求め方を説明するため、まず相互相関関数を説明する。例えば主成分得点時系列のような、信号波形f、gがある場合、信号fとgがどれだけ似ているかを表す指標として、下記(数14)の相互相関関数R(τ)を用いることができる。
ここで、Nは、信号f、gのフレーム数(図2のフレーム数Nと同じ)である。
2つの信号のうち片方の信号(例えば信号g)を遅延時間τだけ時間的にずらす(遅らせるまたは進ませる)ことで、遅延時間毎に相関値を求めることができる。遅延時間に対して、最大となった相関値をスコアとする(数15)。
なお、相関値が-1〜1の間の範囲になるように正規化したR'(τ)をR(τ)の代りに利用してもよい。正規化する場合は、μf,μgをそれぞれ信号f,gの平均として、次式で表される(数16)。
図9に、以上(数14)〜(数16)のような、相関値算出部6による相関値を求める具体例を示す。(c1)は評価基準となる所定の時系列である。(c2)は評価対象Aの、(c3)は評価対象Bの、映像を主成分得点変換部2で処理して得た、それぞれの第1主成分得点時系列のグラフである。
そして、図9(c12)は信号(c1)と信号(c2)とから得られる相互相関関数、(c13)は信号(c1)と(c3)とから得られる相互相関関数、のグラフである。相関値は(数15)に示したように、その最大値として得られる。(c12)と(c13)との例では、最大値は(c12)の方が大きいので、信号(c2)と(c3)とのうち、基準信号(c1)により似ているのは信号(c2)であることがわかる。
当該第4実施形態では、このような相関値に基づいて、動作映像の所定基準との類似度を評価することができる。
また、第4実施形態の動作評価装置1を、図1のような評価対象動作と模範動作との比較評価に用いる場合(第6実施形態)の機能ブロックを図8(B)に示す。動作評価装置1は(A)の構成に追加してさらに、比較部10を備える。比較部10は、模範動作に対して(A)の構成で評価した結果を予め保存しておき、評価対象動作の評価結果と比較することで、類似度を評価する。
しかしながら、第4実施形態では、上記相関値の説明より明らかなように、(A)の構成において用いる所定の時系列に、模範動作の映像に主成分得点変換部2の処理を行って得た時系列を利用することで、(A)の構成によってより直接的に模範動作との類似度を評価することができる。
このように、模範動作映像より得られる主成分の時系列を用いて評価する場合、固有値の大きさ(順番)に依存する固有ベクトルも含めて(どの主成分軸上に何が表れるのかも含めて)、模範動作映像の主成分に評価動作映像の主成分が似ていることが望ましい。この場合、例えば、全体的なリズムが第1主成分に表れたとすると、模範映像の第2主成分と評価映像の第2主成分、模範映像の第3主成分と評価映像の第3主成分、…、といったように同じ番号の主成分得点同士の相互相関関数を計算し、その相関値の大きさによって、2つの動画の類似性を評価することが可能である。
また、例えば、(全体的なリズムは第1主成分であるとわかっているとして、)模範映像の第2主成分と評価映像の第2〜Nまでの全主成分を比較して(相互相関値を求めて)、最も高い相関を示した主成分同士を対応付けて、次に模範映像の第3主成分と評価映像の第2〜Nまでの全主成分を比較することで、評価することも可能である。
以上の第1乃至第4実施形態では、動作評価装置1の評価の各実施形態を説明した。
次に、本発明の第5実施形態を説明する。第5実施形態は、第1乃至第4実施形態のいずれかによる動作評価装置1により動作を評価すると共に、評価結果を確認・吟味できるようにする動作評価確認システムに関する。図10に第5実施形態の動作評価確認システムを示す。動作評価確認システム20は、動作評価装置1と、復元装置21とを備える。
動作評価装置1は、前述の各実施形態によって、動作映像を評価してその結果を出力する。復元装置21は、各主成分の主成分得点時系列を、元の入力動作映像における画素値空間の値に復元(Reconstruction)して、その復元映像を出力する。
よって復元装置21により、各主成分のうち特に、動作評価装置1が評価基準とした主成分軸における動作を復元すれば、評価基準となった動作が何を表現しているのかをフィードバックで確認できるようになる。復元装置21は、図1に示すような実施形態と共に用いると、例えば採点結果が悪かった場合の自身の特徴的な動作を、練習者は目視によりフィードバック確認することができるので、有用となる。
復元装置21は、具体的には次のようにして各主成分を、主成分得点から元の空間へ復元して、復元された画素値ベクトルを画像的に確認できるようにする。
元の画像空間での画素値ベクトルxの時間(フレーム)方向に対する分散共分散行列に対する各固有値に対応する固有ベクトルを並べた行列をWとすると、フレーム番号iにおける各固有値(各主成分軸)に対する主成分得点ベクトルz (i)は、
行列Wは、固有ベクトルを並べたものなので、直交行列であるから転置行列W^Tを上式の両辺に左からかけて移項して、元の空間での画素値ベクトルを復元すると、画素値ベクトルの推定値 は、
例えば、2次元データで考えると、主成分得点は、
存在する全主成分を利用すれば、完全に画素値ベクトルを復元できる。一方で、一部の主成分のみで復元すれば、その主成分が何を主に表現する軸なのかということが分析可能となる。例えば、第2主成分のみを利用した画像(動画)の復元が可能である。
この復元した動画の画素の横または縦方向の変化量から、当該主成分が何を表しているのかを判断することができる。元の映像が歩き動作である場合の、このような判断を下す主成分時系列の例を図11に示す。動作映像Aは第1主成分に横ブレが現れており、第2主成分に動き全体のリズムが表れている。動作映像Bはその逆の結果となっている。
そしてこれら、各主成分が横ブレ、動き全体のリズムである、という判断は、図12に示すような各種成分の復元映像によって行うことができる。同図(A)のような映像が復元されれば当該主成分は横ブレであり、同図(B)のような映像が復元されれば当該主成分は歩き動作全体のリズムである。
図11の動作映像Aのように、第1主成分にリズム特徴であるべき歩き全体のリズムではなく、重心の横方向へのブレが表れている場合、横方向へのブレが大きいということを意味する。図1のような実施形態で復元装置21を用いることで、練習者は自信の動作に横ブレが大きいということを知ることができる。
例えば、第3実施形態による動作評価装置1で模範映像との類似度評価を行い、模範映像の全体リズムが表れている第n主成分以外に、評価対象動作の全体リズムが検出された場合など、当該検出された主成分の時系列を復元して再生し、図11の動作映像Aのようであったことを確認する。評価対象動作が練習者によるものであれば、練習にフィードバックして、図11の動作映像Bのような動作が全体リズムとなるよう練習することができる。
次に、本発明の第6実施形態と第5実施形態とを組み合わせにより、特にダンス練習者などにとって、練習のモチベーションが維持でき、好ましいシステムが実現できることを説明する。第5実施形態では、動作評価装置1による評価結果と、復元装置21による復元映像を出力する。第6実施形態では、評価対象映像と模範映像との類似度により評価する。よって、これらの情報を適宜組み合わせることで、練習をサポートする評価情報を提供することが可能である。単に模範映像との類似度で評価してもよいし、リズムに関しての類似度、重心の横ブレに対する類似度のような形で各項目に対する評価をフィードバックしてもよい。また、類似度などの評価スコアではなく、修正すべき点(横ブレを修正すべき、など)といった形でフィードバックしてもよい。評価映像のある主成分に関する復元映像を提供する場合に、対応する模範映像の主成分の復元映像と共に提供するようにしてもよい。
以上の本発明の説明において、評価対象動作の映像、及び必要ならば模範動作の映像、といった映像に関しては特に限定は設けていなかった。すなわち、動画の全フレームを利用して主成分分析を行い、評価結果を得ていた。
次に、本発明をより効率的に実施するために、動画の全フレームではなく、一部のフレームを利用して、その一部毎に主成分分析を適用する第7実施形態を説明する。当該実施形態は、第1乃至第6実施形態の全てと組み合わせて実施できる。
第7実施形態では、動画をクラス(例えば、時間毎や動きの種類毎)に分類して、そのクラス毎に主成分分析を行い、評価する。クラスとして時間(に対応付けられた、模範動作における動きの種類)を利用する例を図13に示す。ここでは全フレームが時刻t0〜t2に渡るフレームであるのを、時刻t0〜t1に渡るクラス1と、時刻t1+1〜t2に渡るクラス2とに分けて、それぞれのクラスに属するフレームに対して評価を行う。これにより、例えば、ひとつの動画中で複数の種類のダンスの動きが存在する場合にも、精度を落とすことなく、評価できるようになる。
なお、当該クラスを用いた動画の区間への分割は、分割箇所の情報を所与のものとして与えておいて、主成分得点変換部2における追加的な前処理として実現すればよい。
さらに、第1乃至第7実施形態のいずれとも組み合わせて実施できる第8実施形態であり、動画の画素に動きの本質部分の情報のみを残すことによって、評価精度を上げる効果を有する実施形態につき説明する。
第8実施形態に係る動作評価装置1の機能ブロック図を図14に示す。動作評価装置1は、フィルタ処理部250と、主成分得点変換部2と、機能ブロック260とを備える。主成分得点変換部2は他の実施形態と同様である。点線で示す機能ブロック260は、当該第8実施形態を第1乃至第7実施形態のいずれと組み合わせて実施するかによって、対応する図3、図5、図6、図8などの、主成分得点変換部2以降の機能ブロック(群)となる。例えば、第2実施形態と組み合わせて実施するならば、機能ブロック260は、図5(A)に示したように、周波数解析部3とピーク周波数抽出部4と、になる。
すなわち、当該構成よりも明らかなように、当該第8実施形態では、動作映像の画素に対して、フィルタ処理部250が、主成分得点変換部2で処理される前の前処理を担うことにより、評価精度を向上させる。よって当該処理においては、動作映像の図2(1)で説明したようなサイズ形式は不変であり、画素値がフィルタ処理を受ける。
フィルタ処理部250は、動作映像に対する前処理として、空間フィルタを利用して、動画中のノイズを除去する。ノイズ除去処理としては、ぼかし処理一般を利用できる。例えば、ローパスフィルタの一種であるガウシアンフィルタなどを利用して、動作映像の各フレームの画像をぼかす。平滑化フィルタやメディアンフィルタといった所定のフィルタを利用してもよい。また、動画の解像度を落とすことで、ローパスフィルタの代替としてもよい。
そして、フィルタ処理部250があらかじめ上記のようにぼかし処理を行うことで、動作映像の、例えばダンス練習者の服のテクスチャなどといったような、動きの本質的ではない部分の影響を軽減した上で評価できるようになるため、評価精度が向上するという効果がある。
図15に、本発明の動作評価装置1又は動作評価確認システム20を用いて、図1で説明したような、模範映像の動作を習得するための練習を行うシステムの機能ブロック図を示す。当該システムは、ユーザ端末25、模範映像データベース(模範映像DB)26及び再生部27を備える。
ユーザ端末25は、練習動作を評価映像として撮影する機能、撮影された映像を保存する機能、本発明の動作評価装置1又は動作確認システム20の機能、などを有し、携帯端末などを利用することができる。模範映像DB26は、評価の基準となる各種の模範映像を格納している。ユーザ端末25は、評価基準として用いる模範映像又は模範映像の評価データを模範映像DB26より取得し、当該模範映像に基づいて自身で撮影した評価映像の評価を行えるようにする。再生部27は、図1の例のように模範映像を見ながら合わせて例えばダンスする、といった必要がある場合のために、模範映像を再生する。模範映像を覚えていて、当該必要がない場合は、再生する必要はないが、その場合、代わりに模範映像に合わせた音楽などを再生するようにしてもよい。
また、本発明において、画素単位の構成要素からなるベクトルに対して主成分分析を適用したが、いくらかの画素をひとまとまりとしたブロック単位で代表画素値を求め、当該代表画素単位の構成要素からなるベクトルに対して主成分分析を適用してもよい。背景差分法などで背景分離を行った上でこの手法を用いてもよい。
また、本発明において、動作映像、模範映像はグレースケールを想定する。カラーの場合には、グレースケールに変換すればよい。カラーのままで評価する場合には、例えばRGBでは、各RGB成分に対して、グレースケール評価と同様の処理によって評価することができる。
また、本発明において、第4実施形態で評価基準の所定の時系列に模範動作に基づくデータを利用する場合や、第6実施形態で評価対象動作と模範動作とを比較する場合、図2(1)で説明したような動作映像のサイズ形式は、評価対象動作映像と模範動作映像とで、揃えておくものとする。
なおまた、本発明において、評価対象動作の映像、及び必要ならば模範動作の映像、は共に、変化しない背景を背にした動作であることが好ましい。第6実施形態において、模範映像と比較して類似度を求める場合、評価動作の種類はダンスに限らず、走る際のフォームチェック、フィットネスの動作チェックなど、他のスポーツ等での動作に対する利用も期待できる。本発明にゲーム要素を加えれば、魅力的なアプリケーションが実現できると考える。ゴルフや野球のスイングチェックにも応用できる可能性がある。
以上、本発明によれば、画素値ベクトルを主成分分析するという、比較的単純な処理で汎用的に動きのリズムなどを評価することができる。また同様にして、評価対象映像と模範映像との動きの類似性を評価することができる。さらに、評価の根拠となる動作がどのような動作であるのかを確認することができる。
1…動作評価装置、2…主成分得点変換部、3…周波数解析部
Claims (9)
- 映像の動作を評価する動作評価装置であって、
前記映像の時系列をなす各フレームにおける直接の画素値からなる特徴量の時系列に対して主成分分析を施し、該特徴量の時系列を主成分分析における固有値毎に、主成分得点の時系列に変換する主成分得点変換部と、
前記主成分得点の時系列を周波数解析してスペクトル情報を得る周波数解析部とを備え、
前記スペクトル情報により前記映像の動作を評価することを特徴とする動作評価装置。 - 前記特徴量が、各画素のフレーム内位置に基づく所定の順に、各画素の画素値を並べたベクトルであることを特徴とする請求項1に記載の動作評価装置。
- 前記スペクトル情報よりピーク周波数を抽出するピーク周波数抽出をさらに備えることを特徴とする請求項1または2に記載の動作評価装置。
- 固有値毎の前記スペクトル情報のうち、スペクトルのピーク位置及び大きさが所定の閾値条件を満たし、且つ固有値が最大となるスペクトル情報におけるピーク周波数を抽出する、全体リズム決定部をさらに備えることを特徴とする請求項1または2に記載の動作評価装置。
- 映像の動作を評価する動作評価装置であって、
前記映像の時系列をなす各フレームにおける直接の画素値からなる特徴量の時系列に対して主成分分析を施し、該特徴量の時系列を主成分分析における固有値毎に、主成分得点の時系列に変換する主成分得点変換部と、
所定の固有値に対応する前記主成分得点の時系列と所定の時系列との相関値を相互相関関数を用いて算出する相関値算出部とを備えることを特徴とする動作評価装置。 - 前記主成分得点変換部が、前記映像をあらかじめ所定時間の区間に分けてから、該区間毎に変換を行うことにより、前記映像を該区間毎に評価することを特徴とする請求項1ないし5のいずれかに記載の動作評価装置。
- 請求項1ないし6のいずれかに記載の動作評価装置であって、さらに、
前記映像の各画素値が前記主成分得点変換部で変換されるに先だって、前記映像の各フレーム内で画素値にぼかし処理を施すフィルタ処理部を備えることを特徴とする動作評価装置。 - 評価対象動作の模範動作に対する類似度を評価する、類似度評価方法であって、
請求項1ないし7のいずれかに記載の動作評価装置を用いて、前記評価対象動作と前記模範動作とを評価し、当該評価した結果の比較に基づいて類似度を評価することを特徴とする類似度評価方法。 - 評価対象動作を評価し且つ当該評価の基準の確認フィードバックを行う、動作評価・確認方法であって、
請求項1ないし7のいずれかに記載の動作評価装置を用いて、前記評価対象動作を評価したのち、前記動作評価装置が当該評価に用いた主成分得点の時系列を原空間の映像に復元する復元装置を用いることで確認フィードバックを行うことを特徴とする動作評価・確認方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010219729A JP2012073935A (ja) | 2010-09-29 | 2010-09-29 | 動作評価装置並びに類似度評価方法及び動作評価・確認方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010219729A JP2012073935A (ja) | 2010-09-29 | 2010-09-29 | 動作評価装置並びに類似度評価方法及び動作評価・確認方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012073935A true JP2012073935A (ja) | 2012-04-12 |
Family
ID=46170018
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010219729A Pending JP2012073935A (ja) | 2010-09-29 | 2010-09-29 | 動作評価装置並びに類似度評価方法及び動作評価・確認方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012073935A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101438073B1 (ko) * | 2012-07-13 | 2014-09-12 | 서울시립대학교 산학협력단 | 이미지 처리를 통한 객체의 동적 특성 분석 장치 및 이를 위한 방법 |
US9684969B2 (en) | 2014-01-07 | 2017-06-20 | Fujitsu Limited | Computer-readable recording medium, detecting method, and detecting apparatus detecting an amount of image difference |
US9847042B2 (en) | 2014-01-07 | 2017-12-19 | Fujitsu Limited | Evaluation method, and evaluation apparatus |
JP2020199049A (ja) * | 2019-06-10 | 2020-12-17 | Kddi株式会社 | コーチングアプリケーションの構築装置、方法およびプログラム |
JP2021068257A (ja) * | 2019-10-25 | 2021-04-30 | エイベックス株式会社 | 評価装置、評価方法、及びプログラム |
US11282214B2 (en) | 2020-01-08 | 2022-03-22 | Agt International Gmbh | Motion matching analysis |
-
2010
- 2010-09-29 JP JP2010219729A patent/JP2012073935A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101438073B1 (ko) * | 2012-07-13 | 2014-09-12 | 서울시립대학교 산학협력단 | 이미지 처리를 통한 객체의 동적 특성 분석 장치 및 이를 위한 방법 |
US9684969B2 (en) | 2014-01-07 | 2017-06-20 | Fujitsu Limited | Computer-readable recording medium, detecting method, and detecting apparatus detecting an amount of image difference |
US9847042B2 (en) | 2014-01-07 | 2017-12-19 | Fujitsu Limited | Evaluation method, and evaluation apparatus |
JP2020199049A (ja) * | 2019-06-10 | 2020-12-17 | Kddi株式会社 | コーチングアプリケーションの構築装置、方法およびプログラム |
JP7060549B2 (ja) | 2019-06-10 | 2022-04-26 | Kddi株式会社 | コーチングアプリケーションの構築装置、方法およびプログラム |
JP2021068257A (ja) * | 2019-10-25 | 2021-04-30 | エイベックス株式会社 | 評価装置、評価方法、及びプログラム |
JP7368178B2 (ja) | 2019-10-25 | 2023-10-24 | エイベックス株式会社 | 評価装置、評価方法、及びプログラム |
US11282214B2 (en) | 2020-01-08 | 2022-03-22 | Agt International Gmbh | Motion matching analysis |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jalal et al. | A wrist worn acceleration based human motion analysis and classification for ambient smart home system | |
Jiang et al. | Seeing invisible poses: Estimating 3d body pose from egocentric video | |
KR20200068545A (ko) | 컨벌루션 신경망을 트레이닝하고 트레이닝된 컨벌루션 신경망을 이용하여 비디오의 대상에 의해 수행되는 행동을 분류하기 위한 시스템 및 방법 | |
Masoud et al. | A method for human action recognition | |
CN110472604B (zh) | 一种基于视频的行人与人群行为识别方法 | |
JP2012073935A (ja) | 動作評価装置並びに類似度評価方法及び動作評価・確認方法 | |
CN110448870B (zh) | 一种人体姿态训练方法 | |
US20160296795A1 (en) | Apparatus and method for analyzing golf motion | |
Firouzmanesh et al. | Perceptually guided fast compression of 3-d motion capture data | |
JP2012247991A (ja) | 類似度評価装置及び方法 | |
CN113408508A (zh) | 基于Transformer的非接触式心率测量方法 | |
WO2017161734A1 (zh) | 通过电视和体感配件矫正人体动作及*** | |
JP2012178036A (ja) | 類似度評価装置及び方法並びに類似度評価プログラム及びその記憶媒体 | |
JP2005339100A (ja) | 身体動作解析装置 | |
JP2013257656A (ja) | 動き類似度算出装置、動き類似度算出方法およびコンピュータプログラム | |
JP5186656B2 (ja) | 動作評価装置および動作評価方法 | |
Wang et al. | Distortion recognition for image quality assessment with convolutional neural network | |
Zahan et al. | Learning sparse temporal video mapping for action quality assessment in floor gymnastics | |
JP2007199864A (ja) | 画像列生成方法および画像列生成装置 | |
JP6318451B2 (ja) | 顕著度画像生成装置、方法、及びプログラム | |
JP2015011664A (ja) | 動作評価装置、動作評価方法及び動作評価プログラム | |
KR102347639B1 (ko) | 비디오 데이터의 시공간 정보를 활용한 인간 행동 인식 장치 | |
Talafha et al. | Attentional adversarial variational video generation via decomposing motion and content | |
JP4750758B2 (ja) | 注目領域抽出方法、注目領域抽出装置、コンピュータプログラム、及び、記録媒体 | |
Ahmed et al. | Adaptive pooling of the most relevant spatio-temporal features for action recognition |