JP2010258613A - 動画処理システム、動画処理方法、動画処理プログラム、および動画処理装置 - Google Patents
動画処理システム、動画処理方法、動画処理プログラム、および動画処理装置 Download PDFInfo
- Publication number
- JP2010258613A JP2010258613A JP2009104419A JP2009104419A JP2010258613A JP 2010258613 A JP2010258613 A JP 2010258613A JP 2009104419 A JP2009104419 A JP 2009104419A JP 2009104419 A JP2009104419 A JP 2009104419A JP 2010258613 A JP2010258613 A JP 2010258613A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- unit
- user
- model
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】利用者を撮像した撮像動画と共に利用者の手本となった手本動画を再生することができ、更に、リアルタイムに利用者の動作の評価を提示することができる動画処理システム、動画処理方法、動画処理プログラム、および動画処理装置を提供することである。
【解決手段】手本動作者の撮像動画を手本動画として格納する手本動画格納部110と、利用者を撮像する撮像部120と、撮像部120が撮像した利用者の撮像動画を取得する撮像動画取得部130と、撮像動画取得部130が取得した利用者の撮像動画と、手本動画格納部110から読み出した手本動作者の撮像動画からそれぞれ人物領域を抽出する人物領域抽出部140と、人物領域抽出部140が抽出した手本動作者の人物領域から人物の輪郭線を求め、輪郭線と利用者の撮像動画とを、表示用動画として合成する動画合成部150と、動画合成部150が合成した表示用動画を表示する表示部170とを備える。
【選択図】図1
【解決手段】手本動作者の撮像動画を手本動画として格納する手本動画格納部110と、利用者を撮像する撮像部120と、撮像部120が撮像した利用者の撮像動画を取得する撮像動画取得部130と、撮像動画取得部130が取得した利用者の撮像動画と、手本動画格納部110から読み出した手本動作者の撮像動画からそれぞれ人物領域を抽出する人物領域抽出部140と、人物領域抽出部140が抽出した手本動作者の人物領域から人物の輪郭線を求め、輪郭線と利用者の撮像動画とを、表示用動画として合成する動画合成部150と、動画合成部150が合成した表示用動画を表示する表示部170とを備える。
【選択図】図1
Description
本発明は、動画処理システム、動画処理方法、動画処理プログラム、および動画処理装置に関する。
カラオケ装置においては、曲の振付を覚えたい利用者のために、利用者を撮像して取得した撮像動画をディスプレイに表示したり、その振付の手本となる手本動作者の動作を撮像した手本動画をディスプレイに表示したりするものがある。手本動画においては、曲に同期して動くCG(Computer Graphics)のキャラクタを表示するものもある。
このような機能を持つカラオケ装置においては、利用者の振付を評価するものもある。利用者の振付の評価にあっては、例えば、利用者の振付を撮像した撮像動画と、利用者の振付の手本となった手本動画とを比較し、両者の人物の動作の差異の大きさによって利用者の振付の良否を評価する。
このような装置の一例として動作比較装置なるものが、特許文献1に記載されている。特許文献1に記載の動作比較装置は、基本となる動作に関する動作情報を取得して記憶する第1の情報記憶手段と、利用者の動作に関する動作情報を取得して記憶する第2の情報記憶手段と、これら第1の情報記憶手段及び第2の情報記憶手段に記憶されている第1の動作情報及び第2の動作情報を呼び出して、第1の動作情報及び第2の動作情報を相互に比較する比較手段と、比較手段の比較の結果を表示する表示手段とから構成されている。
このような構成を有する動作比較装置は、次のように動作する。すなわち、まず第1の情報記憶手段が、歌手等の規定振付動作情報である第1の動作情報を事前に記憶しておく。次に第2の情報記憶手段が、カラオケ装置等の演奏に合わせて利用者の振付動作情報である第2の動作情報を記憶するのと同時に、比較手段が第1の動作情報を利用者の体格に合わせて補正した第3の動作情報と、第2の動作情報とを規定コマの振付毎に比較し、その情報の差分値を蓄積していく。カラオケ装置等の演奏が終了したら、蓄積した差分値を総計し、採点点数として計算して、表示手段がその採点結果をディスプレイに表示する。
玉木徹、山村毅、大西昇著「画像系列からの人物領域の抽出」、1999年1月、電気学会論文誌C、Vol.119−C,No.1,pp.37−43
しかしながら、上記のような構成の装置では、利用者を撮像した撮像動画、または利用者の手本となった手本動画のうち、どちらか一方の動画だけしか再生することができない。また、上記のような構成の装置を応用したカラオケ装置等では、例えば、1曲の振付が全て終了してからでないと、その評価を得ることができない。
本発明は、上記事情を考慮してなされたもので、その目的とする所は、利用者を撮像した撮像動画と共に利用者の手本となった手本動画を再生することができ、更に、リアルタイムに利用者の動作の評価を提示することができる動画処理システム、動画処理方法、動画処理プログラム、および動画処理装置を提供することである。
上記課題を解決するために、本発明の動画処理システムによると、事前に撮像した手本動作者の撮像動画を手本動画として格納する手本動画格納部と、利用者を撮像する撮像部と、前記撮像部が撮像した利用者の撮像動画を取得する撮像動画取得部と、前記撮像動画取得部が取得した前記利用者の撮像動画と、前記手本動画格納部から読み出した前記手本動作者の撮像動画からそれぞれ人物領域を抽出する人物領域抽出部と、前記人物領域抽出部が抽出した前記手本動作者の人物領域から人物の輪郭線を求め、当該輪郭線と前記利用者の撮像動画とを、表示用動画として合成する動画合成部と、前記動画合成部が合成した前記表示用動画を表示する表示部とを備える。
本発明の動画処理方法によると、事前に撮像した手本動作者の撮像動画を手本動画として手本動画格納部に格納する手本動画格納ステップと、利用者を撮像する撮像ステップと、前記撮像ステップにおいて撮像された利用者の撮像動画を取得する撮像動画取得ステップと、前記撮像動画取得ステップにおいて取得された前記利用者の撮像動画と、前記手本動画格納部から読み出した前記手本動作者の撮像動画からそれぞれ人物領域を抽出する人物領域抽出ステップと、前記人物領域抽出ステップにおいて抽出された前記手本動作者の人物領域から人物の輪郭線を求め、当該輪郭線と前記利用者の撮像動画とを、表示用動画として合成する動画合成ステップと、前記動画合成ステップにおいて合成された前記表示用動画を表示する表示ステップとを備える。
本発明の動画処理プログラムによると、コンピュータに、事前に撮像した手本動作者の撮像動画を手本動画として手本動画格納部に格納する手本動画格納手順と、利用者を撮像する撮像手順と、撮像手順において撮像された利用者の撮像動画を取得する撮像動画取得手順、前記撮像動画取得手順において取得された前記利用者の撮像動画と、前記手本動画格納部から読み出した前記手本動作者の撮像動画からそれぞれ人物領域を抽出する人物領域抽出手順、前記人物領域抽出手順において抽出された前記手本動作者の人物領域から人物の輪郭線を求め、当該輪郭線と前記利用者の撮像動画とを、表示用動画として合成する動画合成手順、前記動画合成手順において合成された前記表示用動画を表示する表示手順を実行させる。
本発明の動画処理装置によると、事前に撮像した手本動作者の撮像動画を手本動画として格納する手本動画格納部と、利用者を撮像する撮像部と、前記撮像部が撮像した利用者の撮像動画を取得する撮像動画取得部と、前記撮像動画取得部が取得した前記利用者の撮像動画と、前記手本動画格納部から読み出した前記手本動作者の撮像動画からそれぞれ人物領域を抽出する人物領域抽出部と、前記人物領域抽出部が抽出した前記手本動作者の人物領域から人物の輪郭線を求め、当該輪郭線と前記利用者の撮像動画とを、表示用動画として合成する動画合成部と前記動画合成部が合成した前記表示用動画を表示する表示部とを備える。
本発明によれば、手本動画を視聴しながら動作する利用者を撮像した撮像動画の各フレームと、手本動画の各フレームとを合成して、撮像動画における利用者の動きと、手本動画における手本動作者の輪郭線とを比較できるように表示するため、利用者が自分の振付等の良否を確認しながら動作することができる。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本実施形態に係る動画処理システム100の機能構成の一例を示す図である。
動画処理システム100は、手本動画格納部110、撮像部120、撮像動画取得部130、人物領域抽出部140、動画合成部150、差分判定部160、および表示部170を備える。手本動画格納部110は、事前に撮像した手本動作者の撮像動画を手本動画として格納する。
動画処理システム100は、手本動画格納部110、撮像部120、撮像動画取得部130、人物領域抽出部140、動画合成部150、差分判定部160、および表示部170を備える。手本動画格納部110は、事前に撮像した手本動作者の撮像動画を手本動画として格納する。
撮像動画取得部130は、撮像部120が撮像した利用者の撮像動画を取得する。人物領域抽出部140は、撮像動画取得部130が取得した利用者の撮像動画と、手本動画格納部110から読み出した手本動作者の撮像動画からそれぞれ人物領域を抽出する。動画合成部150は、人物領域抽出部140が抽出した手本動作者の人物領域から手本動作者の輪郭線を求め、輪郭線と利用者の撮像動画とを、表示用動画として合成する。
差分判定部160は、人物領域抽出部140が抽出した利用者と手本動作者の人物領域を比較し、差分の良否を判定する。また、差分判定部160は、判定結果を数値化して表示部170に出力する。また、差分判定部160は、差分が許容範囲を超えた場合、動画合成部150に警告信号を出力する。動画合成部160は、警告信号を入力した場合、手本動作者の輪郭線の色を、通常とは異なる色となるように合成する。表示部170は、動画合成部150が合成した表示用動画と、差分判定部160が判定した判定結果を表示する。
本実施形態に係る動画処理システム100は、事前に撮像した手本動作者の撮像動画を手本動画として手本動画格納部110に格納する。そして、撮像した利用者の撮像動画を取得して、利用者の撮像動画と、手本動画格納部110から読み出した手本動作者の撮像動画からそれぞれ人物領域を抽出して、手本動作者の人物領域から手本動作者の輪郭線を求め、輪郭線と利用者の撮像動画とを、表示用動画として合成して、表示用動画を表示するので、利用者が自分の振付等の良否を確認しながら動作することができる。
また、本実施形態に係る動画処理システム100は、利用者の人物領域と、手本動作者の人物領域を比較し、差分の良否を判定して、表示用動画と共に、判定結果を表示する。例えば、動画処理システム100は、差分の良否判定を、利用者の人物領域と、手本動作者の人物領域とを重ね合わせたときのズレの大きさを算出して判定して、差分の良否判定結果に応じた点数を表示させる。また、動画処理システム100は、差分が許容範囲を超えた場合、手本動作者の輪郭線の色を、差分が許容範囲内のときとは異なる色となるように合成するので、利用者が自分の動作が手本動作と極度にずれた場合に、瞬時に知ることができる。
図2は、人物領域抽出部140の処理の一例を示す図である。
フレーム10は、利用者を撮像した撮像動画の1フレームである。本実施形態の利用者は、手本動画を視聴しながら、例えば振付の動作を行う。フレーム20は、この手本動画の1フレームであって、フレーム10が撮像されたタイミングと同じタイミングで再生された手本動画の1フレームである。
フレーム10は、利用者を撮像した撮像動画の1フレームである。本実施形態の利用者は、手本動画を視聴しながら、例えば振付の動作を行う。フレーム20は、この手本動画の1フレームであって、フレーム10が撮像されたタイミングと同じタイミングで再生された手本動画の1フレームである。
フレーム10は利用者の1フレーム分の撮像動画を、フレーム20は手本動作者の1フレーム分の手本動画を、人物領域11はフレーム10から抽出した利用者の人物領域を、人物領域21はフレーム20から抽出した手本動作者の人物領域を、人物領域22は補正した手本動作者の人物領域を表わす。また、矩形領域11a、21a、22aは、それぞれ人物領域11、21、22における人物の占有領域に外接する矩形領域を指す。なお、人物の占有領域とは、人物領域11、21、22内の人型のシルエット領域を指すものとする。
人物領域抽出部140は、矩形領域11aの左上隅の座標と一致するように、矩形領域21aを人物領域21内で移動させる。そして、人物領域抽出部140は、矩形領域21aの縦横の大きさが矩形領域11aの縦横の大きさと一致するように伸縮を行う。それに伴って、人物領域抽出部140は、矩形領域21a内の人物の占有領域を、矩形領域21aが伸縮された縦横それぞれの伸縮率で伸縮する。
この例では、縦方向に0.85倍、横方向に1.15倍の伸縮を行っている。以上の補正により矩形領域22aが得られ、その位置と大きさは矩形領域11aと一致する。なお、この例では、人物の占有領域をシルエット領域として説明したが、人物のシルエットの輪郭線だけの情報を用いるようにしてもよい。
図3は、差分判定部160の処理の一例を示す図である。
領域11bは、図2に示す利用者の撮像動画の1フレームの人物領域11における利用者のシルエットが有する領域である。同様に、領域22bは、図2に示す補正後の手本動画の1フレームの人物領域22における人物のシルエットが有する領域である。例えば、差分判定部160は、それぞれの人物領域11b、22bの面積を演算する。そして、差分判定部160は、例えば、これらの領域を重ね合わせたときの両者の共通領域30の面積を演算する。
領域11bは、図2に示す利用者の撮像動画の1フレームの人物領域11における利用者のシルエットが有する領域である。同様に、領域22bは、図2に示す補正後の手本動画の1フレームの人物領域22における人物のシルエットが有する領域である。例えば、差分判定部160は、それぞれの人物領域11b、22bの面積を演算する。そして、差分判定部160は、例えば、これらの領域を重ね合わせたときの両者の共通領域30の面積を演算する。
差分判定部160は、領域11bの面積と共通領域30の面積を基に、手本動画における人物の動作と、利用者の撮像動画における利用者の動作との差異の大きさを示す指標として、例えば、式(1)のような方法で差異率を演算する。差分判定部160は、式(1)によって、撮像動画の利用者の占有領域から手本動画の人物の占有領域と共通する領域を差し引いた領域が、利用者の占有領域全体に対し、どの程度の割合かを算出するものである。例えば、このようにして算出された値が、10%以内であれば、利用者の動作と手本動作者の動作とのズレが許容範囲内であると判定するようにする。
図4は、撮像動画取得部130の詳細な動作を示すフローチャートである。
まず、撮像動画取得部130は、利用者から撮像開始の指示を受け付けると、撮像部120を起動して利用者の撮像を開始する(S101)。次に、撮像動画取得部130は、撮像部120から1フレーム分の撮像動画を取得する(S102)。次に、撮像動画取得部130は、人物領域抽出部140および動画合成部150に撮像動画を供給する(S103、S104)。
まず、撮像動画取得部130は、利用者から撮像開始の指示を受け付けると、撮像部120を起動して利用者の撮像を開始する(S101)。次に、撮像動画取得部130は、撮像部120から1フレーム分の撮像動画を取得する(S102)。次に、撮像動画取得部130は、人物領域抽出部140および動画合成部150に撮像動画を供給する(S103、S104)。
次に、撮像動画取得部130は、人物領域抽出部140から手本動画のフレームが最終フレームの場合に通知される撮像終了通知が来ているかどうかをチェックする(S105)。撮像動画取得部130は、人物領域抽出部140から撮像終了通知が来ていなければ(S105:No)、ステップS102からの動作を繰り返す。また、撮像動画取得部130は、人物領域抽出部140から撮像終了通知が来ている場合には(S105:Yes)、動作を終了する。
図5は、人物領域抽出部140の詳細な動作を示すフローチャートである。
まず、人物領域抽出部140は、撮像動画取得部130から利用者の1フレーム分の撮像動画を取得する(S201)。次に、人物領域抽出部140は、その撮像動画から利用者の人物領域を抽出する(S202)。ここで抽出方法は、例えば非特許文献1に記載の方法による。
まず、人物領域抽出部140は、撮像動画取得部130から利用者の1フレーム分の撮像動画を取得する(S201)。次に、人物領域抽出部140は、その撮像動画から利用者の人物領域を抽出する(S202)。ここで抽出方法は、例えば非特許文献1に記載の方法による。
次に、人物領域抽出部140は、抽出した利用者の人物領域を、差分判定部160に供給する(S203)。次に、人物領域抽出部140は、利用者の撮像動画に対応するものとして、手本動画格納部110から手本動作者の手本動画を1フレーム分取得する(S204)。次に、人物領域抽出部140は、ステップS202と同様に手本動作者の人物領域を抽出する(S205)。フレームの取得は、手本動画格納部110が格納する手本動画の先頭フレームの画像から順に行う。
次に、人物領域抽出部140は、利用者と手本動作者では一般に体格に相違があるため、抽出した手本動作者の人物領域を、利用者の人物領域に合うように補正する(S206)。補正方法としては、上述したように、例えば各々の人物の占有領域に外接する矩形領域を求め、両矩形領域の位置と大きさが一致するように伸縮したときの縦横それぞれの伸縮率を以て、手本動画のフレーム毎に、人物の占有領域の移動および伸縮を行う。
次に、人物領域抽出部140は、補正後の手本動作者の人物領域を、差分判定部160および動画合成部150に供給する(S207、S208)。次に、人物領域抽出部140は、ステップS204で取得した手本動画のフレームが手本動画格納部110の最終フレームかどうかをチェックし(S209)、最終フレームでなければ(S209:No)、ステップS201からの動作を繰り返す。また、人物領域抽出部140は、最終フレームの場合には(S209:Yes)、撮像動画取得部130、動画合成部150、差分判定部160の各部に撮像終了を通知する(S210)。
図6は、動画合成部150の詳細な動作を示すフローチャートである。
まず、動画合成部150は、撮像動画取得部130から利用者の1フレーム分の撮像動画を取得する(S301)。次に、動画合成部150は、人物領域抽出部140から手本動作者の人物領域を取得する(S302)。次に、動画合成部150は、その人物領域から手本動作者の輪郭線を抽出する(S303)。
まず、動画合成部150は、撮像動画取得部130から利用者の1フレーム分の撮像動画を取得する(S301)。次に、動画合成部150は、人物領域抽出部140から手本動作者の人物領域を取得する(S302)。次に、動画合成部150は、その人物領域から手本動作者の輪郭線を抽出する(S303)。
次に、動画合成部150は、抽出した輪郭線の表示色を通常色に設定する(S304)。次に、動画合成部150は、差分判定部160から警告が通知されているかどうかをチェックする(S305)。動画合成部150は、差分判定部160から警告が通知されている場合は(S305:Yes)、表示色を警告色に変更する(S306)。なお、通常色は利用者と手本動作者の動作が同期していることを、警告色は利用者と手本動作者の動作に許容範囲を超える差異があることを示す。次に、動画合成部150は、表示色の設定が済んだら、ステップS301で取得した利用者の1フレーム分の撮像動画と、手本動作者の輪郭線情報を、輪郭線が前面に来るように、且つステップS304〜S306で設定した表示色になるように合成する(S307)。
次に、動画合成部150は、合成したフレームを表示部170に出力する(S308)。次に、動画合成部150は、人物領域抽出部140から撮像終了通知が来ているかどうかをチェックする(S309)。動画合成部150は、人物領域抽出部140から撮像終了通知が来ていなければ(S309:No)、ステップS301からの動作を繰り返す。また、人物領域抽出部140から撮像終了通知が来ている場合には(S309:Yes)、動作を終了する。
図7は、差分判定部160の詳細な動作を示すフローチャートである。
まず、差分判定部160は、人物領域抽出部140から利用者と手本動作者の人物領域を取得する(S401、S402)。次に、差分判定部160は、両人物領域の差異の大きさを算出する(S403)。次に、差分判定部160は、算出した差異の大きさを、表示部170に表示させるように出力する(S404)。例えば、差分判定部160は、差異の大きさを、所定のルールに従って点数化して出力する。また、差分判定部160は、差異の大きさを示唆する棒グラフ等の指標を使って表示するようにしてもよい。
まず、差分判定部160は、人物領域抽出部140から利用者と手本動作者の人物領域を取得する(S401、S402)。次に、差分判定部160は、両人物領域の差異の大きさを算出する(S403)。次に、差分判定部160は、算出した差異の大きさを、表示部170に表示させるように出力する(S404)。例えば、差分判定部160は、差異の大きさを、所定のルールに従って点数化して出力する。また、差分判定部160は、差異の大きさを示唆する棒グラフ等の指標を使って表示するようにしてもよい。
一方、差分判定部160は、ステップS403で求めた差異の大きさが一定の許容範囲に収まるかどうかをチェックする(S405)。差分判定部160は、差異の大きさが一定の許容範囲を超えている場合には(S405:No)、表示中の点数を警告表示に変更する(S406)。次に、差分判定部160は、動画合成部150に警告通知を発行する(S407)。一方、差分判定部160は、差異の大きさが一定の許容範囲を超えていない場合には(S405:Yes)、動画合成部150に警告の解除通知を発行する(S408)。これらの通知は、動画合成部150において、手本動作者の輪郭線を通常色と警告色のどちらで表示するかを決めるのに用いる。
次に、差分判定部160は、人物領域抽出部140から撮像終了通知が来ているかどうかをチェックする(S409)。差分判定部160は、人物領域抽出部140から撮像終了通知が来ていなければ(S409:No)、ステップS401からの動作を繰り返す。また、差分判定部160は、人物領域抽出部140から撮像終了通知が撮像終了通知が来ている場合には(S409:Yes)、動作を終了する。
本実施形態に係る動画処理システム100によれば、手本動画を視聴しながら動作する利用者を撮像した撮像動画の各フレームと、手本動画の各フレームとを合成して、撮像動画における利用者の動きと、手本動画における手本動作者の輪郭線とを比較できるように表示するため、利用者が自分の振付等の良否を確認しながら動作することができる。
図8は、本発明をカラオケルームに応用した場合の応用例である。
図8において、カメラ81は撮像用のカメラを、カラオケ82はカラオケ装置を、ディスプレイ83は利用者の背面ディスプレイを、輪郭線83aは手本動作者の輪郭線を、数値83bは点数化された差異の大きさを表わす。
図8において、カメラ81は撮像用のカメラを、カラオケ82はカラオケ装置を、ディスプレイ83は利用者の背面ディスプレイを、輪郭線83aは手本動作者の輪郭線を、数値83bは点数化された差異の大きさを表わす。
ディスプレイ83には動画合成部150によって合成された、利用者の撮像動画と手本動作者の輪郭線83aを表示する。またディスプレイ83の隅には、利用者と手本動作者の差異を点数化した数値83bを表示する。合成動画を背面ディスプレイに表示することにより、利用者だけでなく、その同席者も利用者の動作の是非を知ることが出来る。またカラオケ82には、ディスプレイ83の表示内容と同じものを表示する。ただし利用者が表示中の動作を直感的に把握し易いよう、撮像動画と輪郭線についてはディスプレイ83のそれを左右反転させ、利用者に対して鏡像の状態で表示する。こちらは、利用者自身が自分の動作を確認する目的で使用する。
図9は、本発明を踊りの自習教材に応用した場合の応用例である。
図9において、カメラ91は撮像用のカメラを、パソコン92は自習教材のソフトウェアを実行するためのパソコンを、画面93はパソコン画面の拡大図を、輪郭線93aは手本動作者の輪郭線を、数値93bは点数化された差異の大きさを表わす。この応用例では、利用者が自身の動作を確認・修正するのが主な利用目的になる。このため、図8のカラオケ82の場合と同様、撮像動画と輪郭線は左右反転した鏡像の状態でパソコン92の画面上に表示する。
図9において、カメラ91は撮像用のカメラを、パソコン92は自習教材のソフトウェアを実行するためのパソコンを、画面93はパソコン画面の拡大図を、輪郭線93aは手本動作者の輪郭線を、数値93bは点数化された差異の大きさを表わす。この応用例では、利用者が自身の動作を確認・修正するのが主な利用目的になる。このため、図8のカラオケ82の場合と同様、撮像動画と輪郭線は左右反転した鏡像の状態でパソコン92の画面上に表示する。
上述の動画処理システム100を動画処理装置として実施する場合、動画処理装置は、内部にコンピュータシステムを有している。そして、上述した動画処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。
また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイルであってもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
100 動画処理システム
110 手本動画格納部
120 撮像部
130 撮像動画取得部
140 人物領域抽出部
150 動画合成部
160 差分判定部
170 表示部
110 手本動画格納部
120 撮像部
130 撮像動画取得部
140 人物領域抽出部
150 動画合成部
160 差分判定部
170 表示部
Claims (8)
- 事前に撮像した手本動作者の撮像動画を手本動画として格納する手本動画格納部と、
利用者を撮像する撮像部と、
前記撮像部が撮像した利用者の撮像動画を取得する撮像動画取得部と、
前記撮像動画取得部が取得した前記利用者の撮像動画と、前記手本動画格納部から読み出した前記手本動作者の撮像動画からそれぞれ人物領域を抽出する人物領域抽出部と、
前記人物領域抽出部が抽出した前記手本動作者の人物領域から当該手本動作者の輪郭線を求め、当該輪郭線と前記利用者の撮像動画とを、表示用動画として合成する動画合成部と、
前記動画合成部が合成した前記表示用動画を表示する表示部と
を備える動画処理システム。 - 前記人物領域抽出部が抽出した前記利用者の人物領域と、前記手本動作者の人物領域を比較し、当該差分の良否を判定する差分判定部を更に備え、
前記表示部は、
前記動画合成部が合成した前記表示用動画と共に、前記差分判定部が判定した前記判定結果を表示する
請求項1に記載の動画処理システム。 - 前記差分判定部は、前記差分の良否判定を、前記利用者の人物領域と、前記手本動作者の人物領域とを重ね合わせたときのズレの大きさを算出して判定する
請求項2に記載の動画処理システム。 - 前記差分判定部は、前記差分の良否判定結果に応じた点数を前記表示部に表示させるように出力する
請求項2又は3に記載の動画処理システム。 - 前記差分判定部は、前記差分が許容範囲を超えた場合、前記動画合成部に警告信号を出力し、前記動画合成部は、前記警告信号を入力した場合、前記手本動作者の輪郭線の色を、前記差分が許容範囲内のときとは異なる色となるように合成する
請求項2乃至4のいずれかに記載の動画処理システム。 - 事前に撮像した手本動作者の撮像動画を手本動画として手本動画格納部に格納する手本動画格納ステップと、
利用者を撮像する撮像ステップと、
前記撮像ステップにおいて撮像された利用者の撮像動画を取得する撮像動画取得ステップと、
前記撮像動画取得ステップにおいて取得された前記利用者の撮像動画と、前記手本動画格納部から読み出した前記手本動作者の撮像動画からそれぞれ人物領域を抽出する人物領域抽出ステップと、
前記人物領域抽出ステップにおいて抽出された前記手本動作者の人物領域から人物の輪郭線を求め、当該輪郭線と前記利用者の撮像動画とを、表示用動画として合成する動画合成ステップと、
前記動画合成ステップにおいて合成された前記表示用動画を表示する表示ステップと
を備える動画処理方法。 - コンピュータに、
事前に撮像した手本動作者の撮像動画を手本動画として手本動画格納部に格納する手本動画格納手順と、
利用者を撮像する撮像手順と、
撮像手順において撮像された利用者の撮像動画を取得する撮像動画取得手順、
前記撮像動画取得手順において取得された前記利用者の撮像動画と、前記手本動画格納部から読み出した前記手本動作者の撮像動画からそれぞれ人物領域を抽出する人物領域抽出手順、
前記人物領域抽出手順において抽出された前記手本動作者の人物領域から人物の輪郭線を求め、当該輪郭線と前記利用者の撮像動画とを、表示用動画として合成する動画合成手順、
前記動画合成手順において合成された前記表示用動画を表示する表示手順
を実行させるための動画処理プログラム。 - 事前に撮像した手本動作者の撮像動画を手本動画として格納する手本動画格納部と、
利用者を撮像する撮像部と、
前記撮像部が撮像した利用者の撮像動画を取得する撮像動画取得部と、
前記撮像動画取得部が取得した前記利用者の撮像動画と、前記手本動画格納部から読み出した前記手本動作者の撮像動画からそれぞれ人物領域を抽出する人物領域抽出部と、
前記人物領域抽出部が抽出した前記手本動作者の人物領域から人物の輪郭線を求め、当該輪郭線と前記利用者の撮像動画とを、表示用動画として合成する動画合成部と、
前記動画合成部が合成した前記表示用動画を表示する表示部と
を備える動画処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009104419A JP2010258613A (ja) | 2009-04-22 | 2009-04-22 | 動画処理システム、動画処理方法、動画処理プログラム、および動画処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009104419A JP2010258613A (ja) | 2009-04-22 | 2009-04-22 | 動画処理システム、動画処理方法、動画処理プログラム、および動画処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010258613A true JP2010258613A (ja) | 2010-11-11 |
Family
ID=43319064
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009104419A Pending JP2010258613A (ja) | 2009-04-22 | 2009-04-22 | 動画処理システム、動画処理方法、動画処理プログラム、および動画処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010258613A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014127133A (ja) * | 2012-12-27 | 2014-07-07 | Kawasaki Heavy Ind Ltd | 姿勢体感システム及び姿勢評価システム |
JP2015231206A (ja) * | 2014-06-06 | 2015-12-21 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2017026828A (ja) * | 2015-07-22 | 2017-02-02 | 富士通株式会社 | 動画再生プログラム、装置、及び方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002248188A (ja) * | 2000-11-29 | 2002-09-03 | Acushnet Co | マルチメディア分析システム及びその使用方法 |
JP2004134891A (ja) * | 2002-10-08 | 2004-04-30 | Canon Inc | 画像処理装置 |
-
2009
- 2009-04-22 JP JP2009104419A patent/JP2010258613A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002248188A (ja) * | 2000-11-29 | 2002-09-03 | Acushnet Co | マルチメディア分析システム及びその使用方法 |
JP2004134891A (ja) * | 2002-10-08 | 2004-04-30 | Canon Inc | 画像処理装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014127133A (ja) * | 2012-12-27 | 2014-07-07 | Kawasaki Heavy Ind Ltd | 姿勢体感システム及び姿勢評価システム |
JP2015231206A (ja) * | 2014-06-06 | 2015-12-21 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2017026828A (ja) * | 2015-07-22 | 2017-02-02 | 富士通株式会社 | 動画再生プログラム、装置、及び方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6627861B2 (ja) | 画像処理システムおよび画像処理方法、並びにプログラム | |
JP3847753B2 (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス | |
JP6472486B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6417797B2 (ja) | 情報端末装置、情報処理方法、システムおよびプログラム | |
JP2007266667A (ja) | カメラ付き携帯機器、その制御方法及びその撮影支援方法 | |
WO2002031773A1 (fr) | Appareil et procede de traitement d'image, support d'enregistrement, programme informatique et dispositif a semiconducteurs | |
US9418436B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
US20140016913A1 (en) | Moving image generation device | |
KR102382247B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램 | |
JP2006244306A (ja) | 動画像生成システム、動画像生成装置、動画像生成方法、プログラム、及び記録媒体 | |
CN103391396B (zh) | 显示控制设备和显示控制方法 | |
JP2014029566A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP2009251858A (ja) | 画像変換プログラムおよび画像変換装置 | |
JP2010072813A (ja) | 画像処理装置および画像処理プログラム | |
JP2010258613A (ja) | 動画処理システム、動画処理方法、動画処理プログラム、および動画処理装置 | |
JP4689548B2 (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス | |
JP6267809B1 (ja) | パノラマ画像合成解析システム、パノラマ画像合成解析方法及びプログラム | |
US10902554B2 (en) | Method and system for providing at least a portion of content having six degrees of freedom motion | |
JP2009076984A (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
JP6426594B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
WO2020262391A1 (ja) | 表示制御装置、表示制御方法、及びプログラム | |
JP2005107967A (ja) | 画像合成装置及び方法 | |
JP5734080B2 (ja) | 情報処理装置、その処理方法及びプログラム | |
JP2011103514A (ja) | 映像情報処理装置 | |
JP4767331B2 (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111129 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120321 |