JP2015128507A - 評価プログラム、評価方法および評価装置 - Google Patents

Abstract

【課題】撮像画像から人物の動作のリズムを評価すること。【解決手段】評価プログラム３３０ａは、コンピュータ３００に、以下の処理を実行させる。すなわち、評価プログラム３３０ａは、コンピュータ３００に、連続的に撮像した複数の撮像画像から抽出される、撮像画像に含まれる人物が拍をとる動作または拍をとるタイミングが示すリズムに基づいて、人物の動作のリズムに関する評価を出力する処理を実行させる。【選択図】図１９

Description

本発明は、評価プログラム、評価方法および評価装置に関する。

人物のダンスを採点し、採点結果を人物に通知する技術がある。

人物のダンスの採点や評価に関連する技術として、例えば、ダンスを定量的に評価するために、ダンスの練習者の画像と指導者の模範画像とから動作の特徴量を取得し、取得した特徴量を分析してスペクトルを比較することで、練習者のダンスを採点する技術がある。

特開２０１２−０７３９３５号公報

人物のダンスの採点や評価を行なうためには、人物がリズムをとるタイミング、すなわち、人物が拍をとる動作またはタイミングを抽出することが求められる。しかしながら、上述した従来技術では、解析に必要な処理量が多いため、簡易に人物が拍をとる動作またはタイミングを抽出して人物の動作のテンポを評価することができない場合があるという問題がある。

例えば、人物のダンスを採点する際に、カメラにより人物の動きが撮像され、撮像された動画像に対してコンピュータを用いた解析を行ない、人物のリズムを抽出する態様が考えられる。具体的な手法としては、例えば、動画像から人物の顔や身体の一部、または、人物が使用するマラカスなどの道具が、テンプレートマッチングなどの所定の認識技術により認識され、認識された顔や身体の一部または道具の移動量の時系列データが生成される。そして、時系列データに対してフーリエ解析等が行われ、特定の周波数帯域の成分から人物のリズムが抽出される。そして、例えば、抽出された人物のリズムと、基準となるリズムとが比較され、比較結果に応じて人物のダンスの採点が行なうことが考えられる。しかしながら、 上記の態様において、例えば、動画像から人物の顔や身体の一部、または、人物が使用するマラカスなどの道具を認識するテンプレートマッチングを用いると、テンプレートと動画像の一部とを比較する処理が繰り返される。そのため解析に要する処理量が多く、コンピュータの処理負荷が増大する。

１つの側面では、本発明は、撮像画像から人物の動作のリズムを評価することを目的とする。

評価プログラムは、コンピュータに、連続的に撮像した複数の撮像画像から抽出される、撮像画像に含まれる人物が拍をとる動作または拍をとるタイミングが示すリズムに基づいて、次の処理を実行させる。すなわち、評価プログラムは、コンピュータに、人物の動作のリズムに関する評価を出力する処理を実行させる。

撮像画像から人物の動作のリズムを評価できる。

図１は、実施例１に係る評価装置の構成の一例を示す図である。 図２は、フレームの一例を示す図である。 図３は、タイミングデータの一例を示す図である。 図４は、２値化された画像の一例を示す図である。 図５は、背景差分量とフレーム番号との対応付けの一例を示す図である。 図６は、実施例１に係る評価装置が実行する処理の一例を説明するための図である。 図７は、タイミングデータが示す人物が拍をとるタイミングをプロットしたグラフの一例を示す図である。 図８は、リズム間隔の正確性の評価の一例を示す図である。 図９は、実施例１に係る評価装置の処理の手順の一例を示すフローチャートである。 図１０は、実施例１に係る評価処理の一例を示すフローチャートである。 図１１は、実施例２に係る評価装置の構成の一例を示すブロック図である。 図１２は、リズム間隔の連続性の評価の一例を示す図である。 図１３は、実施例２に係る評価処理の一例を示すフローチャートである。 図１４は、実施例３に係る評価装置の構成の一例を示すブロック図である。 図１５は、音情報に基づく基準リズムの取得の一例を示す図である。 図１６は、実施例３に係る評価処理の一例を示すフローチャートである。 図１７は、評価装置とカラオケ装置が連動した場合のシステムの一例を示す図である。 図１８は、サーバを有するシステムの一例を示す図である。 図１９は、評価プログラムを実行するコンピュータを示す図である。

以下に、本願の開示する評価プログラム、評価方法および評価装置の実施例を図面に基づいて詳細に説明する。なお、実施例は開示の技術を限定するものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。

［実施例１に係る評価装置１０の機能構成の一例］
図１の例に示す評価装置１０は、ダンスを行う人物をカメラにより撮像した結果得られた動画像の各フレームから、人物の動作量が一時的に低下するタイミングを、人物がリズムをとるタイミング、すなわち、人物が拍をとるタイミングとして抽出する。このように、人物の動作量が一時的に低下するタイミングを、人物が拍をとるタイミングとして抽出するのは、人物は、拍をとるときに一時的に動作を停止させるので、動作量が一時的に低下するからである。よって、評価装置１０は、人物の顔や身体の一部や道具を認識するための認識処理、すなわち、処理量が多い（処理負荷の高い）認識処理を行うことなく、人物が拍をとるタイミングを抽出することができる。したがって、評価装置１０によれば、簡易に人物が拍をとるタイミングを抽出することができる。ここで、リズムとは、例えば、テンポの間隔の規則性を意味する。また、テンポとは、例えば、拍やビートの間隔の長さを意味する。

図１は、実施例１に係る評価装置の構成の一例を示す図である。図１の例に示すように、評価装置１０は、入力部１１、出力部１２、記憶部１３および制御部１４を有する。

入力部１１は、各種情報を制御部１４に入力する。例えば、入力部１１は、評価装置１０を使用するユーザからの後述の抽出処理を実行するための指示を受け付けた場合には、受け付けた指示を制御部１４に入力する。入力部１１のデバイスの一例としては、マウスやキーボード、図示しない他の装置から送信された各種の情報を受信し受信した情報を制御部１４に入力するためのネットワークカードが挙げられる。

出力部１２は、各種情報を出力する。例えば、出力部１２は、後述する出力制御部１４ｅから人物の動作のテンポの評価結果を受信した場合には、受信した評価結果を表示したり、受信した評価結果をユーザが保持する携帯端末や外部のモニタに送信したりする。出力部１２のデバイスの一例としては、モニタや、制御部１４から送信された各種の情報を図示しない他の装置へ送信するためネットワークカードなどが挙げられる。

記憶部１３は、各種情報を記憶する。例えば、記憶部１３は、動画像データ１３ａ、タイミングデータ１３ｂおよび評価データ１３ｄを記憶する。

動画像データ１３ａは、ダンスを行う人物をカメラによって撮像した結果得られた複数のフレームを含む動画像のデータである。かかる人物の一例としては、例えば、カラオケボックスで、カラオケ装置により再生された曲に合わせて歌を歌うとともに、再生された曲に合わせてダンスを行う人物が挙げられる。なお、動画像データ１３ａに含まれる複数のフレームは、カメラによって連続的に撮像されたものであり、撮像画像の一例である。図２は、フレームの一例を示す図である。図２の例は、フレーム１７に、カラオケボックス９０で、曲に合わせて歌を歌うとともにダンスを行う人物９１が含まれた場合を示す。なお、動画像データ１３ａのフレームレートとしては、任意の値を採用できるが、以下、フレームレートが３０fps（frames per second）である場合について説明する。

タイミングデータ１３ｂは、ダンスを行う人物が拍をとるときの時間（タイミング）を示すデータである。かかる時間の一例としては、例えば、動画像データ１３ａに含まれる人物が、カラオケボックスで、再生された曲に合わせて歌を歌うとともにダンスを行う人物である場合には、曲とともにダンスが開始されるので、曲およびダンスの開始からの時間が挙げられる。図３は、タイミングデータの一例を示す図である。図３の例に示すタイミングデータ１３ｂは、「フレーム番号」、「時間」および「拍をとるタイミング」の各項目を有する。「フレーム番号」の項目には、後述する取得部１４ａにより、曲およびダンスの開始からのフレームの数を示す数値が登録される。「時間」の項目には、後述の抽出部１４ｃにより、曲およびダンスの開始からの時間が登録される。「拍をとるタイミング」の項目には、「時間」の項目に登録された時間が、人物が拍をとるタイミングである場合には、後述の抽出部１４ｃにより「とる」が登録され、人物が拍をとるタイミングでない場合には、「とらない」が登録される。例えば、図３の例に示すタイミングデータ１３ｂの１番目のレコードでは、曲およびダンスの開始から「０．０３３」秒後の時間には「拍をとるタイミング」の項目に「とる」が登録されているため、人物が拍をとるタイミングであることを示す。また、図３の例に示すタイミングデータ１３ｂの２番目のレコードでは、曲およびダンスの開始から「０．０６６」秒後の時間には「拍をとるタイミング」の項目に「とらない」が登録されているため、人物が拍をとるタイミングでないことを示す。評価データ１３ｄは、後述の評価部１４ｄにより評価された人物の動作のテンポの評価結果である。かかる評価結果については後述する。

記憶部１３は、例えば、フラッシュメモリなどの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。

制御部１４は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。図１に示すように、制御部１４は、取得部１４ａと、検出部１４ｂと、抽出部１４ｃと、評価部１４ｄと、出力制御部１４ｅとを有する。

取得部１４ａは、動画像データ１３ａが示す動画像に含まれる複数のフレームそれぞれについて、フレームと、当該フレームより前に撮像したフレームとの差分を取得する。また、取得部１４ａは、動画像データ１３ａが示す動画像に含まれる複数のフレームそれぞれについて、フレームと、当該フレームより前に撮像したフレームを累積したフレームとの差分を取得する。

取得部１４ａの一態様について説明する。例えば、取得部１４ａは、入力部１１により後述の抽出処理を実行するための指示が入力された場合に、記憶部１３に記憶された動画像データ１３ａを取得する。

そして、取得部１４ａは、背景差分法を用いて、動画像データ１３ａが示す動画像に含まれる複数のフレームそれぞれについて、フレームと、当該フレームより前に撮像したフレームとの差分を取得する。例えば、取得部１４ａは、公知の背景統計量の累積に関する関数を用いて、複数のフレームそれぞれについて、フレームと、当該フレームより前に撮像したフレームを累積したフレームとの差分を取得する。

取得部１４ａが背景統計量の累積に関する関数を用いた場合の処理について説明する。取得部１４ａは、フレームと、当該フレームより前に撮像したフレームから得られた背景情報とを比較し、輝度の変化が閾値以下の画素を黒色の画素とし、輝度の変化が閾値より大きい画素を白色の画素とする２値化された画像を生成する。なお、ここで生成させる情報は、輝度の変化が閾値以下、あるいは閾値より大きいことが識別可能な情報であれば、白黒の画素とする２値化された画像に限定されない。図４は、２値化された画像の一例を示す図である。例えば、取得部１４ａは、背景統計量の累積に関する関数を用いて、先の図２の例に示すフレーム１７と、フレーム１７より前に撮像されたフレームから得られた背景情報とを比較し、図４の例に示すような２値化された画像を生成する。そして、取得部１４ａは、生成した２値化された画像に含まれる白い画素の総数（背景差分量）を、人物の動作量として算出する。このように、本実施例では、背景差分量が、人物が移動した量を示す指標として用いられる。例えば、取得部１４ａは、図４の例に示す２値化された画像に含まれる白い画素の総数を、人物９１の動作量として算出する。このようにして、取得部１４ａは、フレームそれぞれについて、背景差分量を人物の動作量として取得する。そして、取得部１４ａは、フレームそれぞれについて、背景差分量とフレーム番号とを対応付ける。図５は、背景差分量とフレーム番号との対応付けの一例を示す図である。図５の例は、取得部１４ａが、フレーム番号「２」と、背景差分量「２６７０００」とを対応付けた場合を示す。また、図５の例は、取得部１４ａが、フレーム番号「３」と、背景差分量「２６６０００」とを対応付けた場合を示す。このようにして、取得部１４ａは、複数のフレームそれぞれについて、フレームと、当該フレームより前に撮像したフレームを累積したフレームとの差分を取得する。

なお、取得部１４ａは、コードブック法を用いて、フレームと、当該フレームより前に撮像したフレームとの差分を取得するとともに、フレームと、当該フレームより前に撮像したフレームを累積したフレームとの差分を取得することもできる。

検出部１４ｂは、連続的に撮像した複数のフレームの時間的な変化量が一時的に低下するタイミングを検出する。検出部１４ｂの一態様について説明する。例えば、検出部１４ｂは、取得部１４ａによりフレーム番号と背景差分量とが対応付けられた情報を用いて、１つ前のフレームの背景差分量よりも背景差分量が小さく、かつ、１つ後のフレームの背景差分量よりも背景差分量が小さいフレームを検出する。図６は、実施例に係る評価装置が実行する処理の一例を説明するための図である。図６の例は、横軸をフレーム番号とし、縦軸を背景差分量とする、取得部１４ａにより対応付けられたフレーム番号と背景差分量との関係を表すグラフを示す。図６の例に示すグラフは、フレーム番号が１から５０までのフレームの背景差分量を示す。図６の例のグラフに示されるように、取得部１４ａによりフレーム番号と背景差分量とが対応付けられた場合には、検出部１４ｂは、次の処理を行う。すなわち、検出部１４ｂは、フレーム番号「３」のフレームの背景差分量よりも背景差分量が小さく、かつ、フレーム番号「５」のフレームの背景差分量よりも背景差分量が小さいフレーム番号「４」のフレームを検出する。同様に、検出部１４ｂは、フレーム番号「６」、「１０」、「１８」、「２０」、「２５」、「３３」、「３８」、「４０」、「４７」のフレームを検出する。

そして、検出部１４ｂは、検出したフレームが撮像された時間を、複数のフレームの時間的な変化量が一時的に低下するタイミングとして検出する。例えば、検出部１４ｂは、フレーム番号「４」、「６」、「１０」、「１８」、「２０」、「２５」、「３３」、「３８」、「４０」、「４７」のフレームのそれぞれが撮像された時間を、複数のフレームの時間的な変化量が一時的に低下するタイミングとして検出する。

抽出部１４ｃは、検出部１４ｂにより検出されたタイミングに基づいて、フレームに含まれる人物が拍をとる動作または拍をとるタイミングを抽出する。

抽出部１４ｃの一態様について説明する。例えば、抽出部１４ｃは、検出部１４ｂにより検出されたタイミングの中から、次のようなタイミングを抽出する。すなわち、抽出部１４ｃは、検出部１４ｂにより検出されたタイミングで撮像されたフレームの中から、所定の条件を満たすフレームを抽出し、抽出したフレームが撮像された時間を、フレームに含まれる人物が拍をとるタイミングとして抽出する。

ここで、抽出部１４ｃが、所定の条件を満たすフレームを抽出する方法の一例について説明する。例えば、抽出部１４ｃは、検出部１４ｂにより検出されたタイミングに対応するフレーム（検出されたタイミングで撮像されたフレーム）を抽出候補のフレームとして１つずつ選択する。そして、抽出部１４ｃは、抽出候補のフレームを１つ選択するたびに、次の処理を行う。すなわち、抽出部１４ｃは、抽出候補のフレームの所定数前のフレームから抽出候補のフレームまで背景差分量が減少し、かつ、抽出候補のフレームから抽出候補のフレームの所定数後のフレームまで背景差分量が増加しているか否かを判定する。抽出部１４ｃは、抽出候補のフレームの所定数前のフレームから抽出候補のフレームまで背景差分量が減少し、かつ、抽出候補のフレームから抽出候補のフレームの所定数後のフレームまで背景差分量が増加していると判定した場合には、次の処理を行う。すなわち、抽出部１４ｃは、抽出候補のフレームが撮像された時間を、フレームに含まれる人物が拍をとるタイミングとして抽出する。換言すると、抽出部１４ｃは、複数のフレームそれぞれが示す人物の動作の中から、抽出候補のフレームに含まれる人物が拍をとる動作を抽出する。そして、抽出部１４ｃは、上述した処理を、検出部１４ｂにより検出されたタイミングに対応する全てのフレームに対して行う。

例えば、所定数が「４」であり、図６の例のグラフが示すように取得部１４ａによりフレーム番号と背景差分量とが対応付けられた場合について説明する。この場合、抽出部１４ｃは、フレーム番号「２１」のフレームからフレーム番号「２５」のフレームまでの背景差分量が減少し、フレーム番号「２５」のフレームからフレーム番号「２９」のフレームまでの背景差分量が増加しているので、次の処理を行う。すなわち、抽出部１４ｃは、フレーム番号「２５」のフレームが撮像された時間を、フレームに含まれる人物が拍をとるタイミングとして抽出する。また、抽出部１４ｃは、複数のフレームそれぞれが示す人物の動作の中から、フレーム番号「２５」のフレームに含まれる人物が拍をとる動作を抽出する。なお、上述した所定数は、抽出候補のフレームより前のフレームに対する所定数と、抽出候補のフレームより後のフレームに対する所定数とで、異なる値が設定されることとしても良い。例えば、抽出候補のフレームより前のフレームに対する所定数を「５」とし、抽出候補のフレームより後のフレームに対する所定数を「１」とする態様などが考えられる。

そして、抽出部１４ｃは、複数のフレームそれぞれが撮像された時間のうち、フレーム番号と、人物が拍をとるタイミングである時間と、「とる」とを対応付けて、図３に示すようなタイミングデータ１３ｂに登録する。また、抽出部１４ｃは、複数のフレームそれぞれが撮像された時間のうち、フレーム番号と、人物が拍をとるタイミングでない時間と、「とらない」とを対応付けて、図３に示すようなタイミングデータ１３ｂに登録する。このようにして、各種の情報が登録されたタイミングデータ１３ｂは、例えば、人物が拍をとるタイミングが示す人物のリズムを評価する際に用いられる。抽出部１４ｃは、記憶部１３にタイミングデータ１３ｂが格納されたことを示す登録情報を評価部１４ｄに出力する。なお、抽出部１４ｃは、１つのフレームについて、拍をとるタイミングである時間と「とる」とを対応付けるか、拍をとるタイミングでない時間と「とらない」とを対応付けてタイミングデータ１３ｂに登録するたびに、拍をとるタイミングに関するデータをタイミングデータ１３ｂに登録したことを示す登録情報を出力することもできる。この場合には、後述の評価部１４ｄによる評価がリアルタイムで行われる。

図７は、タイミングデータが示す人物が拍をとるタイミングをプロットしたグラフの一例を示す図である。なお、図７の横軸は時間（秒）を示し、縦軸は拍をとるかとらないかを示す。図７の例では、０．３秒間隔で、人物が拍をとるタイミングであるか否かがプロットされる。例えば、図７の例では、連続する９つのフレームごとに、９つのフレームが撮像されたタイミングの中に、人物が拍をとるタイミングがある場合には、「とる」の位置に丸印がプロットされ、人物が拍をとるタイミングがない場合には、丸印がプロットされない。図７の例では、例えば、時間「４．３秒」に対応して「とる」の位置に丸印がプロットされている。これは、時間が４．０秒から４．３秒までの１／３０秒ごとの時間に対応する９つのフレームの中に、人物が拍をとるタイミングがあることを示す。また、図７の例では、例えば、時間「４．６秒」に対応して丸印がプロットされていない。これは、時間が４．３秒から４．６秒までの１／３０秒ごとの時間に対応する９つのフレームの中に、人物が拍をとるタイミングがないことを示す。他の時間についても同様である。なお、図７はタイミングデータを概念的に示した一例であり、適宜、図７以外の態様をとることが可能である。

評価部１４ｄは、拍をとるタイミングが示すリズム間隔の正確性を評価する。つまり、評価部１４ｄは、タイミングデータ１３ｂの拍をとるタイミング間の差について評価する。

評価部１４ｄの一態様について説明する。評価部１４ｄは、抽出部１４ｃから記憶部１３にタイミングデータ１３ｂが格納されたことを示す登録情報が入力されると、タイミングデータ１３ｂの評価処理を実行する。

評価部１４ｄは、タイミングデータ１３ｂから、拍をとるタイミングのフレーム番号を取得する。評価部１４ｄは、拍をとるタイミングのフレーム番号に基づいて、拍をとるタイミング間の差分であるフレーム差を算出する。ここで、図８を用いて、フレーム差とリズム間隔について説明する。図８は、リズム間隔の正確性の評価の一例を示す図である。なお、図８中、拍をとるタイミングを丸印で示す。

図８に示すように、例えば、１つ目のフレーム差は、フレーム番号が３２０フレーム目と３３５フレーム目とのフレーム差の「１５」である。また、２つ目のフレーム差は、３３５フレーム目と３５０フレーム目とのフレーム差の「１５」である。このとき、評価部１４ｄは、１つ目と２つ目のフレーム差がどちらも「１５」で同じであり、フレーム差の差分は「０」であるので、例えば、評価の点数が高い「Ｅｘｃｅｌｌｅｎｔ！」と判定する。なお、評価の点数は、例えば、フレーム差の差分がゼロの場合を「Ｅｘｃｅｌｌｅｎｔ！」として２点、フレーム差の差分がゼロより大きく２フレーム以内の場合を「Ｇｏｏｄ！」として１点とすることができる。また、評価の点数は、例えば、フレーム差の差分が３フレーム以上の場合を「Ｂａｄ」として０点とすることができる。

また、図８の例では、３つ目のフレーム差は、３５０フレーム目と３６０フレーム目とのフレーム差の「１０」である。このとき、評価部１４ｄは、２つ目のフレーム差「１５」と３つ目のフレーム差「１０」との差分「５」について判定を行い、例えば、上記例の点数では、「Ｂａｄ」として０点とする。評価部１４ｄは、４つ目以降のフレーム差についても同様に、１つ前のフレーム差との差分を算出して、各フレーム差について点数の判定を行う。評価部１４ｄは、各フレーム差の点数を加算してスコアを算出する。なお、スコアは、１回の評価ごとに初期値「０」にリセットし、各フレーム差の点数の累積値である。

評価部１４ｄは、タイミングデータ１３ｂから取得した全てのフレーム差の差分について点数の判定をしたか否かを判定する。評価部１４ｄは、全てのフレーム差の差分について点数の判定をしていない場合には、次のフレーム差について点数の判定を行う。評価部１４ｄは、全てのフレーム差の差分について点数の判定をした場合には、スコア、つまり累積して加算した点数から評価を算出する。ここで、算出する評価は、例えば、スコアをそのまま評価としてもよい。また、算出する評価は、例えば、下記の式（１）に基づいて、１００点満点となるように採点するようにしてもよい。

上記の式（１）では、「基本の点数」は、例えば、５０点等のように、最低限取得できる点数を示す。また、「Ｇｏｏｄ、Ｅｘｃｅｌｌｅｎｔの合計値」はスコアを示す。また、「取得リズム数」は、タイミングデータ１３ｂから取得できた拍をとるタイミングの数を示す。つまり、式（１）では、分数の項の分母が取得可能な最大のスコアとなり、全てが「Ｅｘｃｅｌｌｅｎｔ！」と判定されれば１００点となる。また、式（１）では、反対に、全てが「Ｂａｄ」と判定された場合でも５０点となるので、ダンスの演技者のモチベーションを保つことができる。

評価部１４ｄは、算出した評価を記憶部１３に評価データ１３ｄとして記憶するとともに、出力制御部１４ｅに出力する。

出力制御部１４ｅは、評価結果を出力するように制御する。例えば、出力制御部１４ｅは、評価結果が出力部１２から出力されるように、評価結果を出力部１２に送信する。

制御部１４は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）などの回路により実現されるようにしてもよい。

［処理の流れ］
次に、実施例１に係る評価装置１０が実行する処理の流れについて説明する。図９は、実施例１に係る評価装置の処理の手順の一例を示すフローチャートである。実施例１に係る検出処理は、例えば、入力部１１から、評価処理を実行するための指示が制御部１４に入力された場合に、制御部１４により実行される。

図９に示すように、取得部１４ａは、記憶部１３に記憶された動画像データ１３ａを取得する（Ｓ１）。そして、取得部１３ａは、複数のフレームそれぞれについて、背景差分量を人物の動作量として取得し、背景差分量とフレーム番号とを対応付ける（Ｓ２）。

そして、検出部１４ｂは、連続的に撮像した複数のフレームの時間的な変化量が一時的に低下するタイミングを検出する（Ｓ３）。そして、抽出部１４ｃは、検出部１４ｂにより検出されたタイミングに基づいて、フレームに含まれる人物が拍をとる動作または拍をとるタイミングを抽出する（Ｓ４）。

そして、抽出部１４ｃは、複数のフレームそれぞれが撮像された時間のうち、人物が拍をとるタイミングである時間と、「とる」とを対応付けて、図３に示すようなタイミングデータ１３ｂに登録する。また、抽出部１４ｃは、複数のフレームそれぞれが撮像された時間のうち、人物が拍をとるタイミングでない時間と、「とらない」とを対応付けて、図３に示すようなタイミングデータ１３ｂに登録する（Ｓ５）。そして、抽出部１４ｃは、登録情報を評価部１４ｄに出力する。評価部１４ｄは、登録情報が入力されると評価処理を実行する（Ｓ６）。

ここで、図１０を用いて評価処理について説明する。図１０は、実施例１に係る評価処理の一例を示すフローチャートである。評価部１４ｄは、抽出部１４ｃから記憶部１３にタイミングデータ１３ｂが格納されたことを示す登録情報が入力されると、タイミングデータ１３ｂの評価処理を実行する。評価部１４ｄは、タイミングデータ１３ｂから、拍をとるタイミングのフレーム番号を取得する（Ｓ６１）。評価部１４ｄは、拍をとるタイミングのフレーム番号に基づいて、拍をとるタイミング間の差分であるフレーム差を算出する（Ｓ６２）。

評価部１４ｄは、１つ前のフレーム差と今回のフレーム差との差分を算出して、今回のフレーム差について点数の判定を行う（Ｓ６３）。評価部１４ｄは、フレーム差の差分がゼロの場合には（Ｓ６３：０フレーム）、「Ｅｘｃｅｌｌｅｎｔ！」としてスコアに２点を加算する（Ｓ６４）。評価部１４ｄは、フレーム差の差分が１または２フレームの場合には（Ｓ６３：１〜２フレーム）、「Ｇｏｏｄ！」としてスコアに１点を加算する（Ｓ６５）。評価部１４ｄは、フレーム差の差分が３フレーム以上の場合には（Ｓ６３：３フレーム以上）、「Ｂａｄ」としてスコアに点数は加算しない（Ｓ６６）。評価部１４ｄは、各フレーム差の点数を加算してスコアを算出する。なお、点数の判定は、上記の０フレーム，１〜２フレーム，３フレーム以上といったフレーム差の差分に限られず、任意のフレーム差の差分に基づいて判定してもよい。

評価部１４ｄは、タイミングデータ１３ｂから取得した全てのフレーム差の差分について点数の判定をしたか否かを判定する（Ｓ６７）。評価部１４ｄは、全てのフレーム差の差分について点数の判定をしていない場合には（Ｓ６７：否定）、次のフレーム差を今回のフレーム差として、ステップＳ６３に戻る（Ｓ６８）。評価部１４ｄは、全てのフレーム差の差分について点数の判定をした場合には（Ｓ６７：肯定）、スコアから評価を算出する（Ｓ６９）。評価部１４ｄは、例えば、式（１）に基づいて１００点満点のうち何点であるかを評価として算出する。評価部１４ｄは、算出した評価を記憶部１３に評価データ１３ｄとして記憶するとともに、出力制御部１４ｅに出力する（Ｓ７０）。出力制御部１４ｅは、評価部１４ｄから入力された評価を、例えば、出力部１２を介して図示しないモニタに表示させる。このように、評価処理は、リズム間隔の正確性について点数に基づいて評価できる。

このように、評価装置１０は、連続的に撮像した複数の撮像画像から抽出される、撮像画像に含まれる人物が拍をとる動作または拍をとるタイミングが示すリズムに基づいて、人物の動作のリズムに関する評価を出力する。すなわち、評価装置１０は、人物の顔や身体の一部や道具を認識するための認識処理、すなわち、処理量が多い認識処理を行うことなく、人物が拍をとるタイミングを抽出し、人物の動作のリズムを評価する。その結果、撮像画像から人物の動作のリズムを評価できる。

また、評価装置１０は、複数の撮像画像に基づいて抽出される複数のタイミング間の差分を算出する。また、評価装置１０は、算出されたタイミングの差分と、該タイミングの差分よりも前のタイミングの差分との差が小さくなることに応じて、評価のスコアが高くなるように制御する。その結果、一定間隔で拍をとるほど評価を高くすることができる。

また、評価装置１０は、算出されたタイミングの差分と、該タイミングの差分よりも前のタイミングの差分との差が所定の値以下となるタイミングの差分の数が多くなることに応じて、評価のスコアが高くなるように評価する。その結果、一定間隔でリズムがとれた数に応じて評価を高くすることができる。

また、上記実施例１では、各フレーム差間、つまり拍をとるタイミング間の差分に基づいて評価を行ったが、これに限定されない。例えば、フレーム差の差分が所定値以下である場合のフレーム差の連続数に基づいて評価を行うようにしてもよい。

そこで、フレーム差の差分が所定値以下である場合のフレーム差の連続数に基づいて評価を行う実施の形態につき、実施例２として以下に説明する。なお、上記実施例１の評価装置１０と同一の構成には、同一符号を付すことで、その重複する構成および動作の説明については省略する。実施例２の評価装置２０が実施例１の評価装置１０と異なるところは、フレーム差の差分が所定値以下である場合のフレーム差、つまりリズムの連続数に基づいて評価を行う点にある。

図１１は、実施例２に係る評価装置の構成の一例を示すブロック図である。実施例２の評価装置２０は、実施例１の評価装置１０と比べ、評価分１４ｄに代えて評価部２４ｄを有する点が異なる。

評価部２４ｄは、拍をとるタイミングが示すリズム間隔の連続性を評価する。つまり、評価部２４ｄは、タイミングデータ１３ｂの拍をとるタイミング間の差について連続性を評価する。評価部２４ｄは、抽出部１４ｃから記憶部１３にタイミングデータ１３ｂが格納されたことを示す登録情報が入力されると、タイミングデータ１３ｂの評価処理を実行する。

評価部２４ｄは、タイミングデータ１３ｂから、拍をとるタイミングのフレーム番号を取得する。評価部２４ｄは、拍をとるタイミングのフレーム番号に基づいて、拍をとるタイミング間の差分であるフレーム差を算出する。ここで、図１２を用いて、フレーム差とリズム間隔の連続性について説明する。図１２は、リズム間隔の連続性の評価の一例を示す図である。なお、図１２中、拍をとるタイミングを丸印で示す。

図１２に示すように、例えば、４つ目のフレーム差は、フレーム番号が３６０フレーム目と３８０フレーム目とのフレーム差の「２０」である。また、５つ目のフレーム差は、フレーム番号が３８０フレーム目と４００フレーム目とのフレーム差の「２０」である。６つ目のフレーム差は、フレーム番号が４００フレーム目と４２１フレーム目とのフレーム差の「２１」である。７つ目のフレーム差は、フレーム番号が４２１フレーム目と４４２フレーム目とのフレーム差の「２１」である。８つ目のフレーム差は、フレーム番号が４４２フレーム目と４５７フレーム目とのフレーム差の「１５」である。

このとき、評価部２４ｄは、４つ目から７つ目のフレーム差が、それぞれ、「２０」、「２０」、「２１」、「２１」であり、５つ目から７つ目のフレーム差において、１つ前のフレーム差との差分は、「０」、「１」、「０」となる。ここで、評価部２４ｄは、１つ前のフレーム差と今回のフレーム差との差分が所定値以下、例えば２フレーム以下であれば、リズムが連続したとして連続数のカウントを開始する。評価部２４ｄは、１つ前のフレーム差と今回のフレーム差との差分が所定値を超える場合には、リズムの連続数のカウントをリセットする。なお、評価部２４ｄは、１つ前のフレーム差と今回のフレーム差との差分が所定値以下である場合に加え、連続するリズムの１つ目のフレーム差と今回のフレーム差との差分が所定値以下である場合について、リズムの連続数をカウントするようにしてもよい。この態様では、評価部２４ｄは、例えば、１つ前のフレーム差と今回のフレーム差との差分が所定値以下である状態で、徐々にリズム間隔が短くなる場合、すなわち、いわゆるテンポが徐々に走ってしまう場合について、連続数から除くこととしても良い。また、あるいは、１つ前のフレーム差と今回のフレーム差との差分が所定値以下である状態で、徐々にリズム間隔が長くなる場合、すなわち、テンポが徐々に遅れる場合について、連続数から除くこととしても良い。これにより、人物の動作から特定されるテンポが徐々に早くなっていること、あるいは徐々に遅れていることを、評価に反映することができる。

評価部２４ｄは、リズムの連続数に応じた点数をスコアに加算する。評価部２４ｄは、例えば、リズムの連続数が１回の場合は１点、２回の場合は２点といったように連続数に応じて加算される点数を増加させることができる。つまり、評価部２４ｄは、リズムの連続数が多いほど、スコアが高くなるようにする。また、評価部２４ｄは、リズムの連続数についても記憶部１３に記憶する。

評価部２４ｄは、タイミングデータ１３ｂから取得した全てのフレーム差の差分について、連続しているか否かの判定が完了したかを判定する。評価部２４ｄは、全てのフレーム差の差分について連続しているか否かの判定が完了していない場合には、次のフレーム差の差分について連続しているか否かの判定を行う。評価部２４ｄは、全てのフレーム差の差分について連続しているか否かの判定が完了した場合には、スコアから評価を算出する。ここで、算出する評価は、例えば、スコアをそのまま評価としてもよい。また、算出する評価は、例えば、下記の式（２）に基づいて、１００点満点となるように採点するようにしてもよい。

上記の式（２）では、「基本の点数」は、例えば、５０点等のように、最低限取得できる点数を示す。また、「連続したリズム数」は、リズムの連続数の合計値を示す。リズムの連続数の合計値は、例えば、図１２に示すように、リズムが１回連続し、一旦途切れて、また３回連続した場合には、「４」となる。

評価部２４ｄは、算出した評価を記憶部１３に評価データ１３ｄとして記憶するとともに、出力制御部１４ｅに出力する。

次に、実施例２に係る評価装置２０が実行する処理の流れについて説明する。なお、実施例２の評価装置２０が実行する処理の流れは、実施例１の評価装置１０の動作と評価部２４ｄが実行する評価処理を除き同一であるので、評価処理について説明し、その他の処理については説明を省略する。

図１３は、実施例２に係る評価処理の一例を示すフローチャートである。評価部２４ｄは、抽出部１４ｃから記憶部１３にタイミングデータ１３ｂが格納されたことを示す登録情報が入力されると、タイミングデータ１３ｂの評価処理を実行する。評価部２４ｄは、タイミングデータ１３ｂから、拍をとるタイミングのフレーム番号を取得する（Ｓ１６１）。評価部２４ｄは、拍をとるタイミングのフレーム番号に基づいて、拍をとるタイミング間の差分であるフレーム差を算出する（Ｓ１６２）。

評価部２４ｄは、１つ前のフレーム差と今回のフレーム差との差分が所定値以下、例えば２フレーム以下であるか否かを判定する（Ｓ１６３）。評価部２４ｄは、１つ前のフレーム差と今回のフレーム差との差分が所定値以下である場合には（Ｓ１６３：肯定）、リズムが連続したとしてリズムの連続数のカウントを開始する（Ｓ１６４）。評価部２４ｄは、リズムの連続数に応じた点数をスコアに加算する（Ｓ１６５）。評価部２４ｄは、１つ前のフレーム差と今回のフレーム差との差分が所定値を超える場合には（Ｓ１６３：否定）、リズムの連続数のカウントをリセットする（Ｓ１６６）。なお、所定値は、上記のフレーム数に限られず、任意のフレーム数としてもよい。

評価部２４ｄは、タイミングデータ１３ｂから取得した全てのフレーム差の差分について、連続しているか否かの判定が完了したかを判定する（Ｓ１６７）。評価部２４ｄは、全てのフレーム差の差分について連続しているか否かの判定が完了していない場合には（Ｓ１６７：否定）、次のフレーム差を今回のフレーム差として、ステップＳ１６３に戻る（Ｓ１６８）。評価部２４ｄは、全てのフレーム差の差分について連続しているか否かの判定が完了した場合には（Ｓ１６７：肯定）、スコアから評価を算出する（Ｓ１６９）。評価部２４ｄは、例えば、式（２）に基づいて１００点満点のうち何点であるかを評価として算出する。評価部２４ｄは、算出した評価を記憶部１３に評価データ１３ｄとして記憶するとともに、出力制御部１４ｅに出力する（Ｓ１７０）。出力制御部１４ｅは、評価部２４ｄから入力された評価を、例えば、出力部１２を介して図示しないモニタに表示する。このように、評価処理は、リズム間隔の連続性について点数に基づいて評価できる。

このように、評価装置２０は、タイミングの差分の値と該タイミングの差分よりも前のタイミングの差分の値との差が所定の値以下となる差分が連続することに応じて、評価のスコアが高くなるように評価する。その結果、一定間隔で連続してリズムがとれた数に応じて、評価を高くすることができる。

また、上記実施例２では、各フレーム差間、つまり拍をとるタイミング間の差分が連続することに対して評価を行ったが、これに限定されない。例えば、人物が拍をとるタイミングが示すリズムと、音情報から抽出される拍間の差分を取得した基準リズムとを比較することで、人物の動作のリズムを評価するようにしてもよい。

そこで、人物が拍をとるタイミングが示すリズムと基準リズムとを比較することで評価を行う実施の形態につき、実施例３として以下に説明する。なお、上記実施例１の評価装置１０と同一の構成には、同一符号を付すことで、その重複する構成および動作の説明については省略する。実施例３の評価装置３０が実施例１の評価装置１０と異なるところは、人物が拍をとるタイミングが示すリズムと基準リズムとを比較することで評価を行う点にある。

図１４は、実施例３に係る評価装置の構成の一例を示すブロック図である。実施例３の評価装置３０は、実施例１の評価装置１０と比べ、評価部１４ｄに代えて評価部３４ｄを有する点、および、記憶部１３に基準リズムデータ３３ｅを記憶する点が異なる。

記憶部１３に記憶する基準リズムデータ３３ｅは、例えば、音情報から取得するリズムパターン等であり詳細は後述する。

評価部３４ｄは、音情報から取得した基準リズムと、動画像データ１３ａから取得したタイミングデータ１３ｂに基づく動作リズムとの間で、リズムパターンの合致性を評価する。具体的には、評価部３４ｄは、例えば、カラオケ装置で再生される音楽から基準リズムを取得し、当該再生される音楽に応じて歌う人物を撮像する撮像画像を動画像データ１３ａとして動作リズムを取得する。そして、評価部３４ｄは、再生される音楽の基準リズムと、当該再生される音楽に応じて歌う人物の動作リズムとの間で、リズムパターンを比較して一致性を評価する。すなわち、評価部３４ｄは、基準リズムと動作リズムとのリズムパターンが一致するほど評価を高くする。

評価部３４ｄは、音情報を取得する。音情報は、例えば、図示しないマイクで集音した音、カラオケ装置で再生された音楽、図示しないビデオカメラで録画され、記憶部１３に記憶された動画像データ１３ａ等が挙げられる。また、音情報は、他にも、ＭＩＤＩ（Musical Instrument Digital Interface）データ等であってもよい。

評価部３４ｄは、取得された音情報から基準リズムを取得する。評価部３４ｄは、音情報に対して、ビートトラッキングやリズム認識といった技術を用いて基準リズムを取得する。ビートトラッキングやリズム認識は、例えば、非特許文献（“電子情報通信学会『知識の森』２群−９編−２章 ２−４ オーディオアライメント・ビートトラッキング・リズム認識”、［Online］，［平成２５年１２月１７日検索］、インターネット＜http://www.ieice-hbkb.org/portal/doc＿557.html＞）に記載の技術を用いることができる。

図１５は、音情報に基づく基準リズムの取得の一例を示す図である。図１５の例では、取得された基準リズムは、拍をとるタイミングを丸印で示すと、タイミングＡから「０．７５秒」、「０．７５秒」、「０．３７秒」、「０．３７秒」、「０．７５秒」といった差分で続いていく。なお、評価部３４ｄは、例えば、最初にタイミングをとったタイミングＡからの時間を累積して各タイミングを表現するようにしてもよい。

また、図１５の例では、基準リズムは、タイミングＡ−Ａ’間のリズムパターンと、タイミングＡ’−Ａ”間のリズムパターンとが同じとなっている。評価部３４ｄは、基準リズムとして、各タイミング間の差分だけでなく、リズムパターンとして取得するようにしてもよい。図１５の例では、リズムパターンは、１パターン、つまりタイミングＡ−Ａ’間あたり３秒となる。また、評価部３４ｄは、取得された基準リズムからリズムの速さ、つまり拍の長さ（テンポ）も取得することができる。図１５の例では、例えば、「０．７５秒」を１拍とすると、テンポは、ＢＰＭ（Beats Per Minute）＝８０となる。

評価部３４ｄは、例えば、図示しないマイクで集音した音について基準リズムを取得する場合には、逐次取得される音情報について、順次基準リズムを取得することもできる。この場合には、評価部３４ｄは、ほぼリアルタイムに基準リズムを取得できる。また、評価部３４ｄは、例えば、楽曲の１曲分について、曲全体から基準リズムを取得してもよい。この場合には、評価部３４ｄは、取得した基準リズムを記憶部１３に基準リズムデータ３３ｅとして記憶する。つまり、評価部３４ｄは、１曲分の基準リズムを取得する。

さらに、評価部３４ｄは、基準リズムとして、曲の一部区間をもとに取得するようにしてもよい。楽曲は、曲全体が一定のリズムである場合があるため、この場合には、１曲分の基準リズムを取得せずとも、一部区間のリズムを取得することで、曲全体に適用できる。評価部３４ｄは、例えば、図１５の基準リズムがある曲の一部区間であるとすると、タイミングＡ−Ａ’間のリズムパターンを基準リズムとして取得し、曲全体として当該リズムパターンの繰り返しであるとしてもよい。

また、評価部３４ｄは、予め生成された基準リズムを記憶部１３に基準リズムデータ３３ｅとして記憶するようにしてもよい。予め生成された基準リズムは、例えば、ある楽曲に対応する基準リズムを、当該楽曲の譜面に基づいて生成することができる。また、上述のように、楽曲の一部区間に基づいて基準リズムを生成するようにしてもよい。また、評価部３４ｄは、ＭＩＤＩデータ等に基づいて、基準リズムを取得するようにしてもよい。ＭＩＤＩデータには、テンポに関する情報が含まれているので、評価部３４ｄは、当該情報を利用して基準リズムを取得できる。また、評価部３４ｄは、基準リズムを取得する音情報として、複数の画像、つまり動画像と並行して出力される音情報を用いてもよい。言い換えると、評価部３４ｄは、音声付き動画像の音声と動画像とを、それぞれ音情報と動画像データ１３ｄとして用いることができる。

評価部３４ｄは、抽出部１４ｃから記憶部１３にタイミングデータ１３ｂが格納されたことを示す登録情報が入力されると、タイミングデータ１３ｂの評価処理を実行する。評価部３４ｄは、タイミングデータ１３ｂから、拍をとるタイミングの時間を取得する。評価部３４ｄは、拍をとるタイミングの時間に基づいて、拍をとるタイミング間の差分である時間差を算出する。すなわち、評価部３４ｄは、実施例１および２におけるフレーム差に替えて当該フレーム差に対応する時間差を算出する。

評価部３４ｄは、１つ前の時間差と今回の時間差との差分を算出する。つまり、評価部３４ｄは、時間差との差分を動作リズムとして取得する。評価部３４ｄは、基準リズムと動作リズムとを比較する。ここでは、一例として、一部区間のリズムパターンを用いて比較する場合を説明する。

なお、評価部３４ｄは、基準リズムと動作リズムとを、例えば、音楽の再生に応じて歌う人物を撮像対象に含む撮像画像である動画像データ１３ｄから取得することができる。すなわち、評価部３４ｄは、動画像データ１３ｄの再生される音楽から抽出されるリズムを基準リズムとし、当該音楽の再生に応じて歌う人物を撮像対象に含む撮像画像である動画像データ１３ｄから動作リズムを取得できる。

評価部３４ｄは、例えば、基準リズムとして所定のリズムパターンを用いて、動作リズムの中から一致するリズムパターンがあるか否かを判定する。評価部３４ｄは、一致するリズムパターンであるか否かの判定として、例えば、リズムパターンに含まれる各時間差について、基準リズムと動作リズムとのずれの合計が０．４秒以内である場合に一致すると判定する。

評価部３４ｄは、基準リズムと動作リズムとの間で、リズムパターンが一致する回数を算出する。評価部３４ｄは、例えば、ある楽曲中におけるリズムパターンが一致する回数を算出する。評価部３４ｄは、算出されたリズムパターンが一致する回数から評価を算出する。算出する評価は、例えば、下記の式（３）に基づいて、１００点満点となるように採点するようにしてもよい。

上記の式（３）では、「基本の点数」は、例えば、５０点等のように、最低限取得できる点数を示す。また、「（全体の）パターン繰返し回数」は、例えば、ある楽曲全体におけるリズムパターンの繰返し回数を示す。また、「基準と合っているパターン数」は、上述したリズムパターンが一致する回数を示す。

評価部３４ｄは、算出した評価を記憶部１３に評価データ１３ｄとして記憶するとともに、出力制御部１４ｅに出力する。

次に、実施例３に係る評価装置３０が実行する処理の流れについて説明する。なお、実施例３の評価装置３０が実行する処理の流れは、実施例１の評価装置１０の動作と評価部３４ｄが実行する評価処理を除き同一であるので、評価処理について説明し、その他の処理については説明を省略する。

図１６は、実施例３に係る評価処理の一例を示すフローチャートである。評価部３４ｄは、音情報を取得する（Ｓ２６１）。評価部３４ｄは、取得された音情報から基準リズムを取得する（Ｓ２６２）。

また、評価部３４ｄは、タイミングデータ１３ｂから、拍をとるタイミングの時間を取得する（Ｓ２６３）。評価部３４ｄは、拍をとるタイミングの時間に基づいて、拍をとるタイミング間の差分である時間差を算出する。評価部３４ｄは、１つ前の時間差と今回の時間差との差分を算出する。評価部３４ｄは、時間差との差分を動作リズムとして取得する。すなわち、評価部３４ｄは、拍をとるタイミングの時間から動作リズムを取得する（Ｓ２６４）。

評価部３４ｄは、例えば、基準リズムと動作リズムとのリズムパターンを比較する（Ｓ２６５）。評価部３４ｄは、基準リズムと動作リズムとの間で、リズムパターンが一致する回数を算出する（Ｓ２６６）。評価部３４ｄは、算出されたリズムパターンが一致する回数から評価を算出する（Ｓ２６７）。評価部３４ｄは、例えば、式（３）に基づいて１００点満点のうち何点であるかを評価として算出する。評価部３４ｄは、算出した評価を記憶部１３に評価データ１３ｄとして記憶するとともに、出力制御部１４ｅに出力する（Ｓ２６８）。出力制御部１４ｅは、評価部３４ｄから入力された評価を、例えば、出力部１２を介して図示しないモニタに表示する。このように、評価処理は、例えば、音情報である再生される音楽から抽出されるリズムパターンと、人物を撮像した動画像から取得されるリズムパターンとの一致性について評価できる。

このように、評価装置３０は、人物が拍をとる動作または拍をとるタイミングが示すリズムと、基準リズムとの比較に応じて、前記人物の動作のリズムに関する評価を出力する。その結果、リズムが一致するタイミングの数に応じて、評価を高くすることができる。

また、評価装置３０は、基準リズムとして、前記複数の画像と並行して出力される音情報に基づき取得されるリズムを含む基準リズムを用いる。その結果、音情報のリズムと動画像の人物の動作のリズムとの一致性について評価できる。

また、評価装置３０は、再生される音楽から抽出されるリズムと、音楽の再生に応じて歌う人物を撮像対象に含む撮像画像から取得される該歌う人物の拍を取るリズムとに基づいて、該歌う人物の動作に関する評価を行ない、該評価の結果を出力する。その結果、再生される音楽から抽出されるリズムと、音楽の再生に応じて歌う人物のリズムとの一致性について評価できる。

また、上記各実施例では、基準リズムと動作リズムの一致性について説明したが、一致性は、時間的に一致する場合に限定されない。例えば、リズムパターンの一致性を評価する場合には、リズムパターンの開始時間が基準リズムと動作リズムとでずれていたとしても、リズムパターンの一致性が高ければ、評価を高くすることができる。このように、時間的なずれを許容することで、例えば、リズムを裏でとる場合等でも評価を高くすることができる。

さて、これまで開示の装置に関する各実施例について説明したが、本発明は上述した各実施例以外にも、種々の異なる形態にて実施されてよいものである。

評価装置１０は、カラオケボックス内に設けられたカラオケ装置と連動して、リアルタイムで人物のリズムを評価することもできる。ここでリアルタイムとは、例えば、入力されたフレームに対して逐次処理を行ない、順次処理結果を出力する態様を含む。なお、以下の説明では、評価装置として実施例１の評価装置１０を用いて説明するが、実施例２の評価装置２０または実施例３の評価装置３０を用いてもよい。図１７は、評価装置とカラオケ装置が連動した場合のシステムの一例を示す図である。図１７の例に示すシステム５０は、カラオケ装置５１と、マイク５２と、カメラ５３と、モニタ５４と、評価装置１０とを有する。カラオケ装置５１は、カラオケを行う人物９１に対して、人物９１により指定された曲を再生して図示しないスピーカから出力する。これにより、人物９１は、マイク５２を用いて再生された曲を歌うことができ、曲に合わせてダンスを行うことができる。また、カラオケ装置５１は、曲の再生を開始するタイミングで、評価装置１０に、曲の再生を開始するタイミングであることを示すメッセージを通知する。また、カラオケ装置５１は、曲の再生を終了するタイミングで、評価装置１０に、曲の再生を終了するタイミングであることを示すメッセージを通知する。

評価装置１０は、曲の再生を開始するタイミングであることを示すメッセージを受信すると、カメラ５３に対して、撮像を開始する指示を送信する。カメラ５３は、撮像を開始する指示を受信すると、撮像範囲内に存在する人物９１の撮像を開始し、撮像により得られた動画像データ１３ａのフレームを次々と評価装置１０に送信する。

また、マイク５２によって集音された、再生された曲に合わせて歌を歌うとともにダンスを行う人物の音声や再生された曲などの音情報は、カラオケ装置５１を介して、次々と評価装置１０に送信される。なお、かかる音情報は、動画像データ１３ａのフレームと並行して出力される。

評価装置１０は、カメラ５３から送信されたフレームを受信すると、受信したフレームに対してリアルタイムで上述した各種の処理を施して、人物９１が拍をとるタイミングを抽出し、タイミングデータ１３ｂに各種の情報を登録する。そして、評価装置１０は、タイミングデータ１３ｂに登録された人物９１が拍をとるタイミングが示すリズムと、再生した曲のリズムとを比較して、人物９１のダンスを評価し、評価結果をカラオケ装置５１に送信する。

カラオケ装置５１は、評価結果を受信すると、受信した評価結果をモニタ５４に表示させる。これにより、人物９１は、リアルタイムで評価結果を把握することができる。

そして、評価装置１０は、カラオケ装置５１から曲の再生を終了するタイミングであることを示すメッセージが通知されると、カメラ５３に対して、撮像を停止する指示を送信する。カメラ５３は、撮像を停止する指示を受信すると、撮像を停止する。

上述したように、システム５０において、評価装置１０は、カラオケボックス内に設けられたカラオケ装置５１と連動して、リアルタイムで人物のリズムを抽出し、人物のダンスの評価を行うことができる。

また、カラオケボックス外に設けられたサーバが、評価装置１０が有する各種の機能と同様の機能を備え、このサーバが、リアルタイムで人物のリズムを抽出して人物のダンスを評価することもできる。なお、以下の説明では、評価装置として実施例１の評価装置１０を用いて説明するが、実施例２の評価装置２０または実施例３の評価装置３０を用いてもよい。図１８は、サーバを有するシステムの一例を示す図である。図１８の例に示すシステム７０は、カラオケ装置７１と、マイク７２と、カメラ７３と、サーバ７４と、携帯端末７５とを有する。カラオケ装置７１は、カラオケを行う人物９１に対して、人物９１により指定された曲を再生して図示しないスピーカから出力する。これにより、人物９１は、マイク７２を用いて再生された曲を歌うことができ、曲に合わせてダンスを行うことができる。また、カラオケ装置７１は、曲の再生を開始するタイミングで、カメラ７３に対して、撮像を開始する指示を送信する。また、カラオケ装置７１は、曲の再生を終了するタイミングで、カメラ７３に対して、撮像を停止する指示を送信する。

カメラ７３は、撮像を開始する指示を受信すると、撮像範囲内に存在する人物９１の撮像を開始し、撮像により得られた動画像データ１３ａのフレームを次々とカラオケ装置７１に送信する。カラオケ装置７１は、カメラ７３から送信されたフレームを受信すると、受信したフレームを次々と、ネットワーク８０を介して、サーバ７４に送信する。また、カラオケ装置７１は、マイク７２によって集音された、再生された曲に合わせて歌を歌うとともにダンスを行う人物の音声や再生された曲などの音情報を次々と、ネットワーク８０を介して、サーバ７４に送信する。なお、かかる音情報は、動画像データ１３ａのフレームと並行して出力される。

サーバ７４は、カラオケ装置７１から送信されたフレームに対してリアルタイムで、上述した評価装置１０による各種の処理と同様の処理を施して、人物９１が拍をとるタイミングを抽出し、タイミングデータ１３ｂに各種の情報を登録する。そして、サーバ７４は、タイミングデータ１３ｂに登録された人物９１が拍をとるタイミングが示すリズムと、カラオケ装置７１から送信された音声のデータに基づいた曲のリズムとを比較して、人物９１のダンスを評価する。そして、サーバ７４は、評価結果を、ネットワーク８０および基地局８１を介して、人物９１が保有する携帯端末７５に送信する。

携帯端末７５は、評価結果を受信すると、受信した評価結果を携帯端末７５のディスプレイに表示させる。これにより、人物９１は、リアルタイムで評価結果を把握することができる。また、人物９１は、人物９１が保有する携帯端末７５から評価結果を把握することができる。

なお、サーバ７４は、リアルタイムではなくカラオケ装置７１から動画像データ１３ａを取得して、評価装置１０による各種の処理と同様の処理を施して、人物９１が拍をとるタイミングを抽出し、タイミングデータ１３ｂに各種の情報を登録することもできる。この場合、サーバ７４は、タイミングデータ１３ｂに登録された人物９１が拍をとるタイミングが示すリズムと、カラオケ装置７１から送信された音声のデータに基づいた曲のリズムとを比較して、人物９１のダンスを評価する。そして、サーバ７４は、評価結果を、ネットワーク８０および基地局８１を介して、人物９１が保有する携帯端末７５に送信する。

また、検出部１４ｂおよび抽出部１４ｃは、以下に説明する各処理を行うこともできる。すなわち、検出部１４ｂは、複数のフレームのそれぞれを１つずつ検出候補のフレームとして選択する。そして、検出部１４ｂは、検出候補のフレームを１つ選択するたびに、次の処理を行う。すなわち、検出部１４ｂは、検出候補のフレームの所定数前のフレームから、検出候補のフレームまで背景差分量が減少し、かつ、検出候補のフレームから、検出候補のフレームの所定数後のフレームまで背景差分量が増加しているか否かを判定する。検出候補のフレームの所定数前のフレームから、検出候補のフレームまで背景差分量が減少し、かつ、検出候補のフレームから、検出候補のフレームの所定数後のフレームまで背景差分量が増加していると判定した場合には、検出部１４ｂは、次の処理を行う。すなわち、検出部１４ｂは、検出候補のフレームが撮像された時間を検出する。そして、検出部１４ｂは、上述した処理を、全てのフレームに対して行う。そして、抽出部１４ｃは、複数のフレームそれぞれが撮像されたタイミングの中から、検出部１４ｂにより検出された時間を、人物が拍をとるタイミングとして抽出する。換言すると、抽出部１４ｃは、複数のフレームそれぞれが示す人物の動作の中から、人物が拍をとる動作を抽出する。

また、各種の負荷や使用状況などに応じて、実施例において説明した各処理の各ステップでの処理を任意に細かくわけたり、あるいはまとめたりすることができる。また、ステップを省略することもできる。

また、各種の負荷や使用状況などに応じて、実施例において説明した各処理の各ステップでの処理の順番を変更できる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的状態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、実施例に記載のカメラ５３をカラオケ装置５１と接続し、カラオケ装置５１を介して評価装置１０、２０または３０と通信可能とすることとしても良い。また例えば、実施例に記載したカラオケ装置５１と評価装置１０、２０または３０の機能が、単一のコンピュータにより実現されることとしても良い。

［検出プログラム］
また、上記の各実施例で説明した評価装置１０，２０，３０の各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、図１９を用いて、上記の実施例１〜３のうちいずれかの実施例で説明した評価装置と同様の機能を有する評価プログラムを実行するコンピュータの一例を説明する。図１９は、評価プログラムを実行するコンピュータを示す図である。

図１９に示すように、コンピュータ３００は、ＣＰＵ３１０と、ＲＯＭ（Read Only Memory）３２０と、ＨＤＤ（Hard Disk Drive）３３０と、ＲＡＭ（Random Access Memory）３４０と、入力装置３５０と、出力装置３６０とを有する。これら各機器３１０〜３５０は、バス３７０を介して接続されている。

ＲＯＭ３２０には、ＯＳ（Operating System）などの基本プログラムが記憶されている。また、ＨＤＤ３３０には、上記の実施例で示す取得部１４ａ、検出部１４ｂ、抽出部１４ｃ、評価部１４ｄ，２４ｄまたは３４ｄ、出力制御部１４ｅと同様の機能を発揮する評価プログラム３３０ａが予め記憶される。また、ＨＤＤ３３０には、動画像データ１３ａとタイミングデータ１３ｂと評価データ１３ｄとが予め記憶される。

ＣＰＵ３１０は、評価プログラム３３０ａをＨＤＤ３３０から読み出して実行する。ＣＰＵ３１０は、ＨＤＤ３３０から動画像データ１３ａとタイミングデータ１３ｂと評価データ１３ｄとを読み出してＲＡＭ３４０に格納する。さらに、ＣＰＵ３１０は、ＲＡＭ３４０に格納された各種のデータを用いて、評価プログラム３３０ａを実行する。なお、ＲＡＭ３４０に格納されるデータは、常に全てのデータがＲＡＭ３４０に格納されなくともよい。処理に用いられるデータがＲＡＭ３４０に格納されれば良い。

なお、上記した評価プログラム３３０ａについては、必ずしも最初からＨＤＤ３３０に記憶させておく必要はない。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に評価プログラム３３０ａを記憶させておく。そして、コンピュータ３００がこれらから評価プログラム３３０ａを読み出して実行するようにしてもよい。

さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ３００に接続される「他のコンピュータ（またはサーバ）」などに評価プログラム３３０ａを記憶させておく。そして、コンピュータ３００がこれらから評価プログラム３３０ａを読み出して実行するようにしてもよい。

１０ 評価装置
１３ 記憶部
１３ａ 動画像データ
１３ｂ タイミングデータ
１３ｄ 評価データ
１４ 制御部
１４ａ 取得部
１４ｂ 検出部
１４ｃ 抽出部
１４ｄ 評価部
１４ｅ 出力制御部
３００ コンピュータ
３３０ａ 評価プログラム

Claims (11)

1. コンピュータに、
   連続的に撮像した複数の撮像画像から抽出される、前記撮像画像に含まれる人物が拍をとる動作または拍をとるタイミングが示すリズムに基づいて、前記人物の動作のリズムに関する評価を出力する、
   ことを実行させることを特徴とする評価プログラム。
2. 前記コンピュータに、
   前記複数の撮像画像に基づいて抽出される複数の前記タイミング間の差分を算出し、
   算出された前記タイミングの差分と、該タイミングの差分よりも前のタイミングの差分との差が小さくなることに応じて、前記評価のスコアが高くなるように制御する、
   ことを実行させることを特徴とする請求項１記載の評価プログラム。
3. 前記コンピュータに、
   算出された前記タイミングの差分と、該タイミングの差分よりも前のタイミングの差分との差が所定の値以下となるタイミングの差分の数が多くなることに応じて、評価のスコアが高くなるように評価を行なう、
   ことを実行させることを特徴とする請求項２記載の評価プログラム。
4. 前記コンピュータに、
   前記タイミングの差分の値と該タイミングの差分よりも前のタイミングの差分の値との差が所定の値以下となる差分が連続することに応じて、評価のスコアが高くなるように評価を行なう、
   ことを実行させることを特徴とする請求項２または３記載の評価プログラム。
5. 前記コンピュータに、
   人物が拍をとる動作または拍をとるタイミングが示すリズムと、基準リズムとの比較に応じて、前記人物の動作のリズムに関する評価を出力する、
   ことを実行させることを特徴とする請求項１記載の評価プログラム。
6. 前記基準リズムとして、前記複数の画像と並行して出力される音情報に基づき取得されるリズムを含む、
   ことを特徴とする請求項５記載の評価プログラム。
7. コンピュータが、
   連続的に撮像した複数の撮像画像から抽出される、前記撮像画像に含まれる人物が拍をとる動作または拍をとるタイミングが示すリズムに基づいて、前記人物の動作のリズムに関する評価を出力する、
   ことを実行することを特徴とする評価方法。
8. 連続的に撮像した複数の撮像画像から抽出される、前記撮像画像に含まれる人物が拍をとる動作または拍をとるタイミングが示すリズムに基づいて、前記人物の動作のリズムに関する評価を出力する評価部
   を有することを特徴とする評価装置。
9. コンピュータに、
   再生される音楽から抽出されるリズムと、前記音楽の再生に応じて歌う人物を撮像対象に含む撮像画像から取得される該歌う人物の拍を取るリズムとに基づいて、該歌う人物の動作に関する評価を行ない、
   該評価の結果を出力する、
   ことを実行させることを特徴とする評価プログラム。
10. コンピュータが、
    再生される音楽から抽出されるリズムと、前記音楽の再生に応じて歌う人物を撮像対象に含む撮像画像から取得される該歌う人物の拍を取るリズムとに基づいて、該歌う人物の動作に関する評価を行ない、
    該評価の結果を出力する、
    ことを実行することを特徴とする評価方法。
11. 再生される音楽から抽出されるリズムと、前記音楽の再生に応じて歌う人物を撮像対象に含む撮像画像から取得される該歌う人物の拍を取るリズムとに基づいて、該歌う人物の動作に関する評価を行なう評価部と、
    該評価の結果を出力する出力部と
    を有することを特徴とする評価装置。

Images