JP3735969B2

JP3735969B2 - 指揮動作判定方法および指揮動作判定装置

Info

Publication number: JP3735969B2
Application number: JP28646696A
Authority: JP
Inventors: 聡史宇佐
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 1995-11-02
Filing date: 1996-10-29
Publication date: 2006-01-18
Anticipated expiration: 2016-10-29
Also published as: JPH09185716A

Description

【０００１】
【発明の属する技術分野】
この発明は、動作に応じたセンサ出力をベクトル量子化し、これによって生成されたラベル系列を隠れマルコフモデル（ＨＭＭ）が出力する確率を計算することにより、その動作の内容を判定する指揮動作判定方法および指揮動作判定装置に関する。
【０００２】
【従来の技術】
人の動作を判定する装置や方法は従来より種々提案されている。その手法は、一般に、単純なフィルタや大小比較等の信号処理、二次元動作信号の角度や角度差などであった。
【０００３】
【発明が解決しようとする課題】
しかし、人間の動作は極めて曖昧、且つ不安定なため、従来の単純な信号処理だけでは、検出や判別の精度、信頼性が低く、検出ミスや判別誤りが頻繁に発生した。
【０００４】
このため、例えばこの動作判定を用いて音楽のテンポやダイナミクスを制御しようとした場合、
▲１▼指揮動作の認識率が極めて低いため、機械が認識し易い動作を操作者が習熟することが必要となり、ユーザがシステムに慣れるのに時間を要する。
▲２▼動作意図と異なる反応、すなわち誤認識が頻発し、安定した音楽演奏が困難である。
等の不都合が生じていた。
【０００５】
この発明は、ＨＭＭを用いることにより指揮動作などの動作検出の精度や信頼性を向上した指揮動作判定方法および指揮動作判定装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
この出願の請求項１の発明は、動作を検出するセンサから出力された検出値を一定時間毎にラベル化してラベル系列に編集し、特定の動作に対応するラベル系列を学習させた隠れマルコフモデルが該ラベル系列を出力する確率を計算し、この計算結果が所定の値を超えたとき前記センサが検出した動作の内容を判定することを特徴とする。
【０００７】
この出願の請求項２の発明は、判定された動作の内容に基づいてラベルを生成し、これを後続の前記ラベル系列に挿入することを特徴とする。
【０００８】
この出願の請求項３の発明は、動作を検出して検出値を出力するセンサと、該センサから入力される検出値を一定時間毎にラベル化する状態判定部と、前記状態判定部から一定時間毎に出力されるラベルをラベル系列に編集するラベル系列生成部と、特定の動作に対応するラベル系列を学習させた隠れマルコフモデルを記憶するＨＭＭ記憶部と、前記ラベル系列生成部からラベル系列を入力し、前記ＨＭＭ記憶部に記憶されている隠れマルコフモデルが該ラベル系列を出力する確率を計算する確率計算部と、該確率計算部の計算結果が所定の値を超えたとき前記センサが検出した動作の内容を判定する動作判定部と、からなることを特徴とする。
【０００９】
この出願の請求項４の発明は、前記ラベル系列生成部は、前記動作判定部が判定した動作の内容に基づくラベルを後続の前記ラベル系列に挿入する手段を含むことを特徴とする。
【００１０】
【発明の実施の形態】
図１を参照してこの発明に用いられる隠れマルコフモデル（ＨＭＭ）について説明する。ＨＭＭは、種々のラベル系列をそれぞれ所定の確率で出力するものであり、Ｎ個の状態（Ｓ₁，Ｓ₂，…，Ｓ_N）をもち、一定周期ごとに状態を次々に遷移するとともに、その遷移の際にラベルを１つずつ出力するものである。つぎにどの状態に遷移するか、またその際にどのラベルを出力するか否かはそれぞれ「遷移確率」，「出力確率」によって確率的に決められている。また、ＨＭＭの出力側からみた特定のラベル系列が出力される確率を「ゆう度」といい、本願特許請求の範囲の「確率」はこの「ゆう度」を意味している。
【００１１】
図１に示すＨＭＭは、３つの状態Ｓ₁，Ｓ₂，Ｓ₃で構成され、２種類のラベルａとｂのみからなるラベル系列を出力する。初期状態Ｓ₁からは０．３の確率でＳ₁自体に遷移する（その際に、ラベルａかｂをそれぞれ０．８，０．２の確率で出力する）か、０．５の確率でＳ₂に遷移する（その際に常にａを出力する）か、０．２の確率で最終状態Ｓ₃に遷移する（その際に常にｂを出力する）。状態Ｓ₂からは、０．４の確率でＳ₂自体に遷移する（その際に、ａかｂをそれぞれ０．３，０．７の確率で出力する）か、０．６の確率で最終状態Ｓ₃に遷移する（その際にａかｂを等確率で出力する）。
【００１２】
ここで、このＨＭＭがラベル系列ａａｂを出力する確率を考えてみる。このＨＭＭが出力することのできる状態遷移の系列は、自己遷移を繰り返すことができるため、状態遷移数に制限を加えなければ無数にあるが、ａａｂを出力する可能性のあるものはＳ₁Ｓ₁Ｓ₂Ｓ₃とＳ₁Ｓ₂Ｓ₂Ｓ₃とＳ₁Ｓ₁Ｓ₁Ｓ₃の３つだけであり、それぞれの状態遷移の系列をとる確率は、
0.3 ×0.8 ×0.5 ×1.0 ×0.6 ×0.5 ＝0.036
0.5 ×1.0 ×0.4 ×0.3 ×0.6 ×0.5 ＝0.018
0.3 ×0.8 ×0.3 ×0.8 ×0.2 ×1.0 ＝0.01152
であり、このＨＭＭからラベル系列ａａｂが出力される確率の合計、すなわち、ラベル系列ａａｂのゆう度は、
0.036 ＋0.018 ＋0.01152 ＝0.06552
である。なお、ＨＭＭからａａｂが出力されても上記３種類の状態遷移の系列のいずれによるのもかは出力側から観測されないことから、この形態のマルコフモデルを隠れ(Hidden)マルコフモデルという。ＨＭＭは、従来より単語音声認識など音声認識の分野で用いられている。
【００１３】
音声認識は、入力音声を１０ｍｓ程度のフレーム時間毎にラベル化し、このラベル系列の出力確率をそれぞれ異なる単語の発音を出力するように学習された複数のＨＭＭについて計算し、最もそのゆう度の高いＨＭＭの単語をその入力音声の単語であると認識するというものである。この技術に関しては、電子情報通信学会誌１９８７年４月号３５２頁〜３５８頁「マルコフモデルによる音声認識（大河内正明）」に詳しい。
【００１４】
次に、この実施形態においてＨＭＭを用いて検出・判定する指揮法、すなわち、指揮棒の揺動動作について説明する。図２は３拍子を指揮するときの指揮棒の軌跡を示す図である。図３は４拍子を指揮する場合の指揮棒の軌跡を示す図である。図４は２拍子を指揮する場合の指揮棒の軌跡を示す図である。
【００１５】
図２において同図（Ａ）は通常（ノンレガート）、同図（Ｂ）はレガート、同図（Ｃ）は軽いスタッカート、同図（Ｄ）は強いスタッカートの場合の指揮棒の軌跡を示している。これらの図から明らかなように第１拍の指示動作は、上から下への振り下ろし動作であり、その動作の下端が第１拍の拍打点である。そして軽いスタッカート（同図（Ｃ））以外は振り下ろしの反動の短い振り上げ動作を伴う。また、第２拍の指示動作は、右方向への揺動動作であり、奏法によりその動作中に拍打点がある場合（ノンレガート（同図（Ａ）），レガート（同図（Ｂ）））と、右向きの動作の右端に拍打点がある場合（スタッカート（同図（Ｃ），（Ｄ）））とがある。また、第３拍の指示動作は、右下から左上への振り上げ動作であり、軽いスタッカート（同図（Ｃ））がその終点（第１拍の振り下ろしの開始点）に拍打点があるのを除いては、その動作途中に拍打点がある。なお、図中拍打点をその拍番号の数字で示しているが□で囲んでいるものは指揮棒がその点で停止する拍打点であり、○で囲んでいるものは指揮棒がある速度でその点を通過または折り返しする拍打点である。
【００１６】
図３において同図（Ａ）は通常（ノンレガート）、同図（Ｂ）はレガート、同図（Ｃ）は軽いスタッカート、同図（Ｄ）は強いスタッカートの場合の指揮棒の軌跡を示している。４拍子の指揮法は３拍子の指揮法と類似しており、４拍子の第１拍指示動作と３拍子の第１拍指示動作、４拍子の第３拍指示動作と３拍子の第２拍指示動作、４拍子の第４拍指示動作と３拍子の第３拍指示動作がほぼ対応する。そして４拍子の第２拍指示動作は、第１拍指示動作の終了点から左方向への揺動動作であり、奏法によりその動作中に拍打点がある場合（ノンレガート（同図（Ａ）），レガート（同図（Ｂ）））と、左向きの動作の左端に拍打点がある場合（スタッカート（同図（Ｃ），（Ｄ）））とがある。
【００１７】
また、図４において、２拍子の拍指示はほぼ上下動で行われる。ノンレガート（同図（Ａ）），レガート（同図（Ｂ））および強いスタッカート（同図（Ｄ））において、第１拍の指示動作は、上から下への振り下ろし動作と、その反動の短い振り上げ動作からなり，振り下ろし動作の下端が第１拍の拍打点である。また、第２拍の指示動作は、短い予備動作である振り下ろし動作と、下から上（第１拍指示動作の開始点）への振り上げ動作からなり，振り下ろし動作の下端が第２拍の拍打点である。
【００１８】
ＨＭＭを用いて、指揮棒の揺動から上記指揮法を分析する指揮動作分析装置を図５に示す。また、図６は同指揮動作分析装置の状態判定部の状態判定動作を説明する図、図７は同指揮動作分析装置のＨＭＭ記憶部５に記憶されるＨＭＭを例示する図である。
【００１９】
この指揮動作分析装置は、センサ１，状態判定部２，レジスタ３，確率計算部４，ＨＭＭ記憶部５，拍判定部６からなっており、拍判定部６が判定した内容は自動演奏装置７に入力される。センサ１は、操作者が手に持って上記指揮法にしたがって揺動させるコントローラに内蔵された角速度や加速度を検出するセンサである。指揮法に従って揺動させるコントローラとしては指揮棒状のものが一般的であるが、この他にハンドグリップ状のものや手に直接貼りつけるものなどが考えられる。このセンサ１は、図６（Ａ）に示すような揺動角度の領域を検出するために用いられるため、たとえば、揺動の垂直方向成分を検出する垂直方向センサおよび揺動の水平方向成分を検出する水平方向センサからなっている。このような垂直・水平方向センサを有する指揮棒については、未公開であるが、先願の特願平７−１１０５４９号に詳細に説明されている。このセンサ１の検出値は状態判定部２に入力される。
【００２０】
状態判定部２は、以下の動作を行う。▲１▼センサ１の出力を１０ｍｓずつのフレームに分割する。▲２▼揺動速度（角速度）の領域を判断し、図６（Ａ）の区分で各フレームをラベル付け（動作ラベル：l₁〜l₅）する。▲３▼ラベルをレジスタ３に入力する。この動作は１０ｍｓのフレームクロック毎に繰り返し実行する。なお、図６（Ｂ）のラベルリストのうちl₆〜l₁₄は拍判定部６が出力する拍ラベルである。
【００２１】
なお、図６（Ａ）の揺動動作のラベル付けは、一例であって本発明がこれに限定されるものではない。使用するセンシングシステム（コントローラやセンサの種類）、操作者、センサ部の把持方法等によって、入力動作に対応するセンサ出力が異なるため、これらに対応しラベル付けの精度を向上するためには、複数の操作者、複数のセンサ把持方法など様々な態様の拍指示動作のデータを大量に採取し、類似する動作のデータの代表点を求めてラベル付けをするようにすればよい。
【００２２】
レジスタ３は図５（Ｂ）のような構成になっている。後述の拍判定部６が判定した拍判定情報（拍ラベル）を記憶する拍ラベルレジスタ３０、前記状態判定部２から入力されるラベル（動作ラベル）を５０個記憶する５０段のシフトレジスタ３１、および、前記拍ラベルと動作ラベルを連結して確率演算部４に入力する合成部３２からなっている。シフトレジスタ３１は、１０ｍｓのフレームクロックで記憶内容をシフトしてゆき、状態判定部２から入力される動作ラベルを最新のものから５０個（５００ｍｓ分）記憶する。
【００２３】
上記レジスタは、拍ラベルと動作ラベルを別に記憶し、拍ラベルが必ずラベル系列の先頭になるように拍ラベルと動作ラベルを連結するようにしているが、これは以下の理由による。
シフトレジスタ３１の長さが１拍以上になると今回の拍打ち動作のみならず、前拍の拍打ち動作のラベルも含まれることになり分析が複雑になる。そこで、シフトレジスタ３１の長さを５００ｍｓ分に制限したが、そうすると、拍ラベルを動作ラベルと同様にシフトレジスタ３１に時系列に入力したのでは、次の拍タイミングにはシフトレジスタ３１から出てしまっていることになる。そこで、拍ラベルのみ別に記憶するようにした。
【００２４】
ただし、同図（Ｃ）のようにシフトレジスタを十分１拍以上の長さに構成して拍ラベルを動作ラベルと同様に時系列に入力し、必ず前拍の拍ラベルと前拍打ちの動作ラベルがラベル系列中に時系列的に含まれるようにすることもできる。この場合には、前拍の拍打ち動作の動作も含めて分析することにより、分析は複雑になるがより正確に拍種類を判定することができる。
【００２５】
ただし、シフトレジスタの段数やフレームクロックの周波数は上記実施形態に限定されるものではない。
【００２６】
確率計算部４は、１個の拍ラベルと５０個の動作ラベルからなる５１個のラベルで構成されたラベル系列を出力する確率、すなわち、該ラベル系列のゆう度をＨＭＭ記憶部５に記憶されている全てのＨＭＭについて計算する。ＨＭＭ記憶部５には図７（Ａ）に示すように各種拍打動作のラベル系列を出力する複数のＨＭＭが記憶されている。これらのＨＭＭは、認識対象である指揮動作が時間に変動する状態を、有限個の状態遷移確率でモデル化したものであり、自己遷移経路を持つ３〜４の状態数で構成され、学習によって状態遷移確率および各ラベルの出力確率を決定すればよい。確率計算部４が計算したゆう度は拍判定部６に出力される。
【００２７】
ここで、図７（Ｂ），（Ｃ）は、４拍子の１拍目のラベル系列を学習したＨＭＭ、すなわち、Ｍ₄₁の例を示す図である。同図（Ｂ）は、図５（Ｂ）の構成のレジスタから、必ず拍ラベルが先頭にあるラベル系列が入力される場合のＨＭＭの構成を示し、同図（Ｃ）は図５（Ｃ）の構成のレジスタから、前拍の拍打ちの動作ラベル−前拍の拍ラベル−今回の拍打ちの動作ラベルからなるラベル系列が入力される場合のＨＭＭの構成を示している。
図７（Ｂ）では拍ラベルは必ず先頭で１個のみであるため、ＨＭＭは、状態Ｓ₁から必ず（遷移確率＝１で）状態Ｓ₂に遷移し、そのときいずれかの拍ラベルl₆〜l₁₄を出力する。状態Ｓ₂および状態Ｓ₃では動作ラベルl₁〜l₅のみ出力する。
一方、同図（Ｃ）では前拍の拍打ちの動作ラベル，前拍の拍ラベルおよび今回の拍打ちの動作ラベルを分析するため状態数が４となり、全ての遷移（自己遷移を含む）時に、全てのラベルl₁〜l₁₄を出力する可能性がある。
なお、ＨＭＭの構成は上記例に限定されるものではない。
【００２８】
拍判定部６は、確率計算部４から入力された各ＨＭＭのゆう度を比較して最も高いものを選出し、その最も高いものが一定の閾値を越えている場合に、拍タイミングであり、そのときの拍種類（拍子および拍番号）は最高のゆう度を出力したＨＭＭの拍種類であると判定する。入力されたゆう度のうち最も値の大きいものでも前記一定の閾値を越えていない場合には、拍タイミングでないとして何も出力しない。
【００２９】
すなわち、レジスタ３は拍タイミングであるか否かに拘らず各フレームタイミング毎に５１個のラベル系列を確率計算部４に出力し、確率計算部４はこの入力されたラベル系列に基づいて各ＨＭＭのゆう度をフレームタイミング毎に出力する。このように拍判定部６には拍タイミングであるか否かに拘らず全ＨＭＭのゆう度が入力されることになるが、拍タイミングに入力されたラベル系列に対するゆう度とそれ以外のタイミングに入力されたラベル系列に対するゆう度とでは絶対的な値が異なる。したがって、適当な閾値を定め、ゆう度がそれ以下の場合には、拍タイミングでないと判定することによって、拍判定部６は、最大ゆう度を出力したＨＭＭに基づいて拍種類を判定するのに同期して、拍タイミングを検出することができる。
【００３０】
拍判定部６が拍タイミングとその拍の拍種類を判定すると、その拍種類を自動演奏装置７に出力する。自動演奏装置７は、入力された拍タイミングとその拍種類情報に基づいて演奏の拍タイミング，拍種類が入力された拍タイミング，拍種類に一致するように演奏のテンポを制御する。さらに、拍判定部６はこの拍種類に応じた拍ラベル (l₆〜l₁₄)を生成してレジスタ３に入力する。レジスタ３は入力された拍ラベルを拍ラベルレジスタ３０に記憶する。
【００３１】
以上の構成により、指揮動作検出装置は、操作者の指揮による拍指示動作を検出して自動演奏装置７を制御することができる。この装置においては、拍判定部６の拍判定結果を拍ラベルに変換してレジスタ３に入力し、動作ラベルとは別のレジスタに記憶するようにしているが、動作ラベルと同様にシフトレジスタにその発生タイミングに応じた順位で記憶するようにしてもよい。
【００３２】
なお、ＨＭＭ記憶部５に記憶されるＨＭＭに対してより高度な学習を施して認識に反映させることができる。なお、ここで学習とは「ある動作に対して付与されたラベル系列Ｌに対して当該動作を表現するＨＭＭのモデルＭのゆう度Ｐｒ（Ｌ：Ｍ）を最大にするように、モデルＭのパラメータ（遷移確率と出力確率）を調整すること」である。この学習としては、
▲１▼ 特定個人向けのカスタマイズ：その個人のデータだけで代表点を計算しなおす方式
▲２▼ 一般化：より多くの人のデータを採取し、代表点を計算しなおす方式
▲３▼ 演奏中の微小チューニング：演奏者のデータが、相当するラベルに予め設定してある代表値から常にズレている場合は、代表値を定期的に微調整する。
【００３３】
などがある。学習は、パラメータに適当な初期値を与えておき、データに基づく反復計算で収束させる方法で行われる。
【００３４】
なお、ＨＭＭを用いた指揮法のモデル化は、ラベル，扱うパラメータの種類，ＨＭＭの構造，その他種々の要素を如何に決定するかにより種々の手法が考えられ、上記実施形態は、これら種々のモデル化手法の一例に過ぎない。
【００３５】
また、扱うパラメータや状態ラベルを増やして、認識する動作の種類や音楽情報の種類や増やしたり、認識率を向上することも可能である。例えば、動作の大きさや速度からダイナミクスを認識したり、二次元平面内での動作軌跡曲率などを参照してレガート，スタッカート等を認識することもできる。すなわち、拍打時点での軌跡の曲率が小さい（滑らかな）動作であればレガート（スラー／エスプレッシーヴォ）であると判断することができ、曲率が大きい（クッキリした）動作であればスタッカートであると判断することができる。
【００３６】
また、ラベル化に用いるパラメータとしては、揺動の方向と速度（角速度）を用いたが、指揮（拍指示）の軌跡の形状から主な動作方向の成分を求め、第１成分の軸を縦方向，第２成分の軸を横方向という変換を施して演奏者の把持方法の違いや、クセの成分を減らしたりしてもよい。
【００３７】
また、揺動の方向，速度（角速度）以外に以下のようなパラメータを用いることもできる。
【００３８】
二次元面内または三次元空間内の基準点からの角度，位置，速度，加速度等
時間域波形のピーク，谷，絶対値など、
前の拍の種類
前の拍打点（拍タイミング）からの差（角度，速度，位置など）
前の拍タイミングからの時間
前サンプルとの差
動作の中心から見た象限
これらのうちのいずれかを使ってもよいし、複数組み合わせて使ってもよい。また、これら複数パラメータの空間的偏りをクラスタ分析し、代表ベクトルを求めてラベルにしてもよい。
【００３９】
また、上記指揮動作分析装置は、拍タイミングと拍種類を認識するための装置であるが、これの一段上位の階層の認識、すなわち、拍種類の連鎖による拍子の分析にＨＭＭを適用することができる。例えば「２拍目→３拍目→１拍目と遷移したら今は３拍子を演奏中」などの認識を行わせる。この場合において、ラベルを出力せずに状態遷移するナル遷移を導入することで、全ての拍を打たなくても拍子を認識させることができる。例えば、３拍子の認識用のＨＭＭにおいて、１拍目から３拍目へのナル遷移を許すと、必ずしも２拍目を打たなくても３拍子として認識可能となる。
【００４０】
このように、この実施形態では、自動演奏のテンポなどを制御する指揮動作判定装置に本発明を適用しているが、指揮動作は時系列に一定のルールに基づいて繰り返される連続動作であるため、ＨＭＭの構造決定や学習が容易であり、高い判定精度を期待することができる。
【００４１】
また、図５の装置は指揮動作の判定に用いるのみでなく、人や物の動作全般の判定に用いることが可能である。例えば、マルチメディアインタフェースへの応用として、バーチャルリアリティ（ＶＲ）における動作のインタフェースに適用することができる。ＶＲで用いられるセンサとしては、三次元内での位置，角度なとを検出する三次元位置・角度センサ、指間接の曲げ角度を検出するグローブ型間接曲げ角度検出センサ（データグラブ）、スーツ型間接曲げ角度検出センサなどがある。また、カメラで撮影した動作画像を認識することもできる。図８は上記センサが検出した動作の状態をラベル化し（同図（Ａ））、ゲーム内での動作を上記ラベルの時間遷移を学習させたＨＭＭ（同図（Ｂ））で判定する。例えば、パンチに対応するＨＭＭは、手を握り(l₈)，肘を伸ばしつつあり(l₂)，肘を伸ばしきった(l₄)という動作状態のラベル系列に対して高い確率を出力するように学習されている。
【００４２】
また、図５の装置を手話認識に用いることも可能である。この場合においてもカメラやデータグラブなどで指の形状や手の位置を検出し、これを図９（Ａ）のようにラベル化する。このラベル系列に基づいて同図（Ｂ）に示すようなＨＭＭにより表現される単語を認識する。また、指の形状や手の位置に限定されず、体全体の動作に基づいて動作を検出するようにしてもよい。
【００４３】
なお、動作認識の手法としてはＨＭＭ以外に、ファジィ制御やニューラルネットワークが知られているが、ファジィ制御は、検出／判別ルールを全て記述する必要があるのに対してＨＭＭはルールの記述が不要で、学習によってルールを内蔵することができるためシステム構築が容易である。また、ニューラルネットワークでは、ネットワークに学習させるために非常に複雑な演算が必要であるが、ＨＭＭは単純な演算で学習を行わせることができ、学習が容易である。したがって、これらファジィ制御やニューラルネットワークよりも動作認識に有効である。
【００４４】
また、ＨＭＭは、実際の動作の揺らぎをファジィ制御やニューラルネットワークよりも正確に反映することができる。これは、出力確率がその状態が発生する確率的な揺らぎに対応し、遷移確率が時間軸方向の揺らぎに対応しているからである。また構造が簡略であるため、統計理論や情報理論等による理論的展開がし易く、確率の概念を用いて上位階層レベルの認識に統合することが容易である。
【００４５】
【発明の効果】
以上のようにこの発明によれば、ＨＭＭに特定の動作を学習させ、動作に基づくセンサ出力をラベル化して該ＨＭＭのゆう度を算出するようにしたことにより、動作の速度や動きのスペクトルまたはそれらの揺らぎを吸収して正確な動作判定が可能になる。
【００４６】
また、動作判定結果に基づいてラベルを生成し、これをＨＭＭに与えるラベル系列に含めることにより、過去の動作内容が次の動作内容の判定に影響を与えることになり、連続した動作を判定する場合に高い精度の動作判定が可能になる。
【図面の簡単な説明】
【図１】ＨＭＭの簡単な例を示す図
【図２】３拍子を指揮するときの指揮棒の軌跡を示す図
【図３】４拍子を指揮する場合の指揮棒の軌跡を示す図
【図４】２拍子を指揮する場合の指揮棒の軌跡を示す図
【図５】この発明の実施形態である指揮動作分析装置の構成を示す図
【図６】同指揮動作分析装置の状態判定部の状態判定動作を説明する図
【図７】同指揮動作分析装置のＨＭＭ記憶部に記憶されるＨＭＭを例示する図
【図８】本発明の動作分析装置をゲームに適用した場合のラベルとＨＭＭを示す図
【図９】本発明の動作分析装置を手話認識に適用した場合のラベルとＨＭＭを示す図
【符号の説明】
１…センサ、２…状態判定部、３…レジスタ、４…確率計算部、
５…ＨＭＭ記憶部、６…拍判定部、７…自動演奏装置

Claims

動作を検出するセンサから出力された検出値を一定時間毎にラベル化してラベル系列に編集し、特定の動作に対応するラベル系列を学習させた隠れマルコフモデルが該ラベル系列を出力する確率を計算し、この計算結果が所定の値を超えたとき前記センサが検出した動作の内容を判定することを特徴とする指揮動作判定方法。
判定された動作の内容に基づいてラベルを生成し、これを後続の前記ラベル系列に挿入することを特徴とする請求項１に記載の指揮動作判定方法。
動作を検出して検出値を出力するセンサと、
該センサから入力される検出値を一定時間毎にラベル化する状態判定部と、
前記状態判定部から一定時間毎に出力されるラベルをラベル系列に編集するラベル系列生成部と、
特定の動作に対応するラベル系列を学習させた隠れマルコフモデルを記憶するＨＭＭ記憶部と、
前記ラベル系列生成部からラベル系列を入力し、前記ＨＭＭ記憶部に記憶されている隠れマルコフモデルが該ラベル系列を出力する確率を計算する確率計算部と、
該確率計算部の計算結果が所定の値を超えたとき前記センサが検出した動作の内容を判定する動作判定部と、
からなる指揮動作判定装置。
前記ラベル系列生成部は、前記動作判定部が判定した動作の内容に基づくラベルを後続の前記ラベル系列に挿入する手段を含む請求項３に記載の指揮動作判定装置。