JPH1138970A

JPH1138970A - 音楽制御装置および記憶媒体

Info

Publication number: JPH1138970A
Application number: JP9210066A
Authority: JP
Inventors: Satoshi Usa; 聡史宇佐
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 1997-07-18
Filing date: 1997-07-18
Publication date: 1999-02-12
Anticipated expiration: 2017-07-18
Also published as: JP3376866B2

Abstract

(57)【要約】（修正有）【課題】認識対象が多い場合も認識率が向上し、音楽
の表現力を向上可能な音楽制御装置。【解決手段】加速度センサで検出され、ノイズが除去
されたデジタル加速度信号は、ベクトル量子化部に供給
されて、加速度の絶対値から特徴量が抽出されてｌａｂ
ｅｌが出力される。ＨＭＭ認識部では、ｌａｂｅｌの時
系列に基づき、隠れマルコフモデルを用いてユーザの指
揮動作を認識する。拍打生起可能性予測部は、総合判定
部５８から出力された曲のテンポに基づき、ファジィ推
論により拍打生起可能性を予測し、拍打生起可能性分布
計算部５７は、曲データに基づいて、ファジィ推論によ
り拍打生起可能性分布を計算し、総合判定部５８で、認
識した指揮動作、予測された拍打生起可能性と計算され
た拍打生起可能性分布に基づき、ファジィ推論により最
終的に決定した指揮動作に基づき、ＭＩＤＩ再生部５９
では、再生曲のテンポやダイナミクスを変更する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、自動演奏されてい
る音楽の所定の音楽要素を制御する音楽制御装置に関す
る。

【０００２】

【従来の技術】指揮動作等の人の動作を判定して、自動
演奏されている音楽のテンポやダイナミクス等を制御す
る音楽制御装置は、従来より知られている。

【０００３】かかる従来の音楽制御装置は、たとえば所
定のセンサ等を備えた指揮棒をユーザが振ることによっ
て得られた信号出力から、ユーザが指示した拍打タイミ
ングやダイナミクス等を判定し、その判定結果に基づい
て音楽制御を行っている。

【０００４】

【発明が解決しようとする課題】しかしながら、上記従
来の音楽制御装置では、認識対象が少ない場合における
動作の認識率は高いものの、たとえば、拍打のタイミン
グ、拍打の種類（３つ振りの２拍目等）、ダイナミクス
など、認識対象が多くなって様々な要素を認識して音楽
の表現力を向上させようとしたときには、ユーザが意図
したようには認識されないこともあった。

【０００５】これは、人の動作は、同じ意図であって
も、その前後の脈略や、その人の個性によって異なり、
上記従来の音楽装置では、その点まで考慮していないか
らである。

【０００６】本発明は、この点に着目してなされたもの
であり、認識対象が多い場合にも認識率を向上させ、こ
れにより、音楽の表現力をさらに向上させることが可能
な音楽制御装置を提供することを目的とする。

【０００７】

【課題を解決するための手段】上記目的を達成するた
め、本発明の音楽制御装置は、人の動作を検出する動作
検出手段と、音楽を自動演奏する自動演奏手段と、該演
奏される音楽から所定の音楽要素を抽出する音楽要素抽
出手段と、該抽出された音楽要素および前記検出された
人の動作に基づいて、ファジィ推論により、前記検出さ
れた人の動作を判定するファジィ判定手段とを有するこ
とを特徴とする。

【０００８】これにより、自動演奏される音楽から抽出
された音楽要素および検出された人の動作に基づいて、
ファジィ推論により、前記検出された人の動作が判定さ
れるので、認識対象が多い場合にも認識率が向上し、こ
れにより、音楽の表現力をさらに向上させることができ
る。

【０００９】ここで、動作検出手段は、人の動作を検出
できるものであれば、どのようなものであってもよい。
たとえば、本発明の実施の形態により後述するように、
隠れマルコフモデルを用いた手法で検出してもよいし、
これに限らず、ＤＰマッチング（dynamic programing m
atching）を用いた手法で検出してもよい。

【００１０】音楽要素としては、たとえば演奏される音
楽のテンポや拍タイミング、音符位置などを挙げること
ができる。

【００１１】ファジィ推論は、どのような種類のものを
使用してもよく、本発明の実施の形態では直接法と呼ば
れる手法を採用して説明している。また、その際定義さ
れるメンバシップ関数も、ある特定の関数に限られるも
のではない。

【００１２】また、好ましくは、前記所定の音楽要素
は、当該演奏される音楽のテンポであり、該抽出された
テンポに基づいて、前記動作検出された時点における拍
打の生起可能性を予測する拍打生起可能性予測手段を有
し、前記ファジィ判定手段は、該予測された拍打生起可
能性に基づいて、当該人の動作を判定することを特徴と
する。

【００１３】これにより、前記所定の音楽要素としてテ
ンポが抽出され、このテンポに基づいて、前記動作検出
手段により人の動作が検出された時点における拍打の生
起可能性が予測され、この予測された拍打生起可能性に
基づいて、当該人の動作がファジィ推論により判定され
るので、認識率をさらに向上させることができる。

【００１４】さらに、好ましくは、前記所定の音楽要素
は、当該演奏される音楽の拍タイミングまたは音符の位
置であり、該抽出された拍タイミングまたは音符の位置
に基づいて、前記動作検出された時点における拍打の生
起可能性分布を演算する拍打生起可能性演算手段を有
し、前記ファジィ判定手段は、該演算された拍打生起可
能性分布に基づいて、当該人の動作を判定することを特
徴とする。

【００１５】これにより、前記所定の音楽要素として拍
タイミングまたは音符の位置が抽出され、この拍タイミ
ングまたは音符の位置に基づいて、前記動作検出手段に
より人の動作が検出された時点における拍打の生起可能
性分布が演算され、この演算された拍打生起可能性分布
に基づいて、当該人の動作がファジィ推論により判定さ
れるので、認識率をさらに向上させることができる。

【００１６】また、本発明の記憶媒体は、人の動作を検
出する動作検出モジュールと、音楽を自動演奏する自動
演奏モジュールと、該演奏される音楽から所定の音楽要
素を抽出する音楽要素抽出モジュールと、該抽出された
音楽要素および前記検出された人の動作に基づいて、フ
ァジィ推論により、前記検出された人の動作を判定する
ファジィ判定モジュールとを含むことを特徴とする。

【００１７】これにより、上述の効果と同様な効果を得
ることができる。

【００１８】

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて詳細に説明する。

【００１９】図１は、本発明の一実施の形態に係る音楽
制御装置の概略構成を示すブロック図である。

【００２０】同図に示すように、本実施の形態の音楽制
御装置は、主として文字情報を入力するためのキーボー
ド１と、位置情報を入力するための、たとえばマウス等
のポインチングデバイス２と、ユーザの動作、すなわち
指揮棒３０を振って行う指揮動作のうちｘ軸（水平）方
向の加速度を検出する加速度センサ３１と、この指揮動
作のうちｙ軸（垂直）方向の加速度を検出する加速度セ
ンサ３２と、キーボード１の各キーの押下状態を検出す
るキー検出回路３と、ポインチングデバイス２の操作状
態を検出する操作状態検出回路４と、加速度センサ３１
からの電気的なアナログ加速度信号Ａｘをデジタル加速
度信号Ｄｘに変換するＡ／Ｄ変換回路（Analog-to-Digi
tal Converter）５と、加速度センサ３２からの電気的
なアナログ加速度信号Ａｙをデジタル加速度信号Ｄｙに
変換するＡ／Ｄ変換回路６と、装置全体の制御を司るＣ
ＰＵ７と、該ＣＰＵ７が実行する制御プログラムやテー
ブルデータ等を記憶するＲＯＭ８と、演奏データ、上記
加速度信号Ｄｘ，Ｄｙを含む各種入力情報および演算結
果等を一時的に記憶するＲＡＭ９と、タイマ割込み処理
における割込み時間や各種時間を計時するタイマ１０
と、各種情報等を表示する、たとえば大型液晶ディスプ
レイ（ＬＣＤ）若しくはＣＲＴ（Cathode RayTube）デ
ィスプレイおよび発光ダイオード（ＬＥＤ）等を備えた
表示装置１１と、記憶媒体であるフロッピディスク（Ｆ
Ｄ）４０をドライブするフロッピディスクドライブ（Ｆ
ＤＤ）１２と、前記制御プログラムを含む各種アプリケ
ーションプログラムや各種データ等を記憶するハードデ
ィスク（図示せず）をドライブするハードディスクドラ
イブ（ＨＤＤ）１３と、前記制御プログラムを含む各種
アプリケーションプログラムや各種データ等を記憶する
コンパクトディスク−リード・オンリ・メモリ（ＣＤ−
ＲＯＭ）４１をドライブするＣＤ−ＲＯＭドライブ（Ｃ
Ｄ−ＲＯＭＤ）１４と、外部からのＭＩＤＩ（Musical
Instrument DigitalInterface）信号を入力したり、Ｍ
ＩＤＩ信号として外部に出力したりするＭＩＤＩインタ
ーフェース（Ｉ／Ｆ）１５と、通信ネットワーク１０１
を介して、たとえばサーバコンピュータ１０２とデータ
の送受信を行う通信インターフェース（Ｉ／Ｆ）１６
と、たとえばＣＰＵ７により生成されたされた演奏デー
タ等を楽音信号に変換する音源回路１７と、該音源回路
１７からの楽音信号に各種効果を付与するための効果回
路１８と、該効果回路１８からの楽音信号を音響に変換
する、たとえば、ＤＡＣ（Digital-to-Analog Converte
r）やアンプ、スピーカ等のサウンドシステム１９とに
より構成されている。

【００２１】上記構成要素３〜１８は、バス２０を介し
て相互に接続され、ＣＰＵ７にはタイマ１０が接続さ
れ、ＭＩＤＩＩ／Ｆ１５には他のＭＩＤＩ機器１００が
接続され、通信Ｉ／Ｆ１６には通信ネットワーク１０１
が接続され、音源回路１７には効果回路１８が接続さ
れ、効果回路１８にはサウンドシステム１９が接続され
ている。

【００２２】また、加速度センサ３１，３２は、指揮棒
３０の所定の位置に取り付けられ、その各出力側は、た
とえばケーブルを介して，それぞれＡ／Ｄ変換回路５，
６の入力側に接続されている。なお、加速度センサ３
１，３２によって検出される加速度信号Ａｘ，Ａｙを、
有線でＡ／Ｄ変換回路５，６に送信する代わりに、無線
で送信するようにしてもよい。

【００２３】ＨＤＤ１３のハードディスクには、前述の
ように、ＣＰＵ７が実行する制御プログラムも記憶で
き、ＲＯＭ８に制御プログラムが記憶されていない場合
には、このハードディスクに制御プログラムを記憶させ
ておき、それをＲＡＭ９に読み込むことにより、ＲＯＭ
８に制御プログラムを記憶している場合と同様の動作を
ＣＰＵ７にさせることができる。このようにすると、制
御プログラムの追加やバージョンアップ等が容易に行え
る。

【００２４】ＣＤ−ＲＯＭドライブ１４のＣＤ−ＲＯＭ
４１から読み出された制御プログラムや各種データは、
ＨＤＤ１３内のハードディスクにストアされる。これに
より、制御プログラムの新規インストールやバージョン
アップ等が容易に行える。なお、このＣＤ−ＲＯＭドラ
イブ１４以外にも、外部記憶装置として、光磁気ディス
ク（ＭＯ）装置等、様々な形態のメディアを利用するた
めの装置を設けるようにしてもよい。

【００２５】通信Ｉ／Ｆ１６は、上述のように、たとえ
ばＬＡＮ（Local Area Network）やインターネット、電
話回線等の通信ネットワーク１０１に接続されており、
該通信ネットワーク１０１を介して、サーバコンピュー
タ１０２に接続される。ＨＤＤ１３内のハードディスク
に上記各プログラムや各種パラメータが記憶されていな
い場合には、通信Ｉ／Ｆ１６は、サーバコンピュータ１
０２からプログラムやパラメータをダウンロードするた
めに用いられる。クライアントとなるコンピュータ（本
実施の形態では、音楽制御装置）は、通信Ｉ／Ｆ１６お
よび通信ネットワーク１０１を介してサーバコンピュー
タ１０２へとプログラムやパラメータのダウンロードを
要求するコマンドを送信する。サーバコンピュータ１０
２は、このコマンドを受け、要求されたプログラムやパ
ラメータを、通信ネットワーク１０１を介してコンピュ
ータへと配信し、コンピュータが通信Ｉ／Ｆ１６を介し
て、これらプログラムやパラメータを受信してＨＤＤ１
３内のハードディスクに蓄積することにより、ダウンロ
ードが完了する。

【００２６】この他、外部コンピュータ等との間で直接
データのやりとりを行うためのインターフェースを備え
てもよい。

【００２７】図１から分かるように、本実施の形態の音
楽制御装置は、主として汎用のコンピュータを用いて構
成され、このコンピュータに、指揮棒３０の加速度セン
サ３１，３２や音源部（音源回路７、効果回路８および
サウンドシステム１９によって構成される）等のハード
ウェアが外付けされて構成されている。なお、本実施の
形態の音楽制御装置を構成する構成要素のうち、汎用コ
ンピュータに含まれるものはどれであるかは、使用する
コンピュータによって異なり、音源部まで含むコンピュ
ータもあるが、本実施の形態では、音源部は外付けハー
ドウェアとしている。

【００２８】以上のように構成された音楽制御装置が実
行する制御処理を、以下、図２〜６を参照して説明す
る。

【００２９】図２は、本実施の形態の音楽制御装置のう
ち、主として前記コンピュータが実行する制御処理を説
明するためのブロック図である。

【００３０】図中、各ブロックは、制御処理全体を複数
個の機能に分割したときの各機能に相当するが、一部ハ
ードウェア（Ａ／Ｄ変換回路５，６、音源部６１および
サウンドシステム１９）も混在している。

【００３１】同図において、前記加速度センサ３１から
出力されたアナログ加速度信号Ａｘは、Ａ／Ｄ変換回路
５に入力されてデジタル加速度信号Ｄｘに変換され、バ
ンドパスフィルタ（ＢＰＦ：Band Pass Filter）５１に
より、デジタル加速度信号Ｄｘに含まれるノイズ成分が
除去された後に、ベクトル量子化部５３に入力される。
同様にして、前記加速度センサ３２から出力されたアナ
ログ加速度信号Ａｙも、Ａ／Ｄ変換回路６によりデジタ
ル加速度信号Ｄｙに変換され、バンドパスフィルタ５２
により、デジタル加速度信号Ｄｙに含まれるノイズ成分
が除去された後に、ベクトル量子化部５３に入力され
る。

【００３２】ベクトル量子化部５３は、まず、ノイズ成
分が除去された両デジタル加速度信号Ｄｘ′，Ｄｙ′か
ら、次式（１）により、加速度の絶対値（以下、「絶対
加速度」という）｜Ｄ′｜を算出し、前記ＲＡＭ９の所
定領域（以下、「絶対加速度記憶領域」という）に記憶
する。この絶対加速度記憶領域には、絶対加速度｜Ｄ′
｜の時系列データが格納される。以下、この時系列デー
タで表される時間波形、すなわち、縦軸を絶対加速度値
に採り、横軸を時間軸に採ったときに生成される波形を
「絶対加速度時間波形」という。

【００３３】

【数１】次に、ベクトル量子化部５３は、前記加速度信号Ｄｘ，
Ｄｙおよび絶対加速度｜Ｄ′｜の特徴量を抽出し、ベク
トル量子化の手法を用いて、予め複数種類（本実施の形
態では３２種類）のラベルに分類されたものの中から、
いずれかのラベルを選択する。ここで、特徴量とは、具
体的には次に示すものである。

【００３４】すなわち、１）指揮動作の局所的な強さやそのタイミング（絶対加
速度時間波形のローカルピーク）２）指揮動作の方向（ｘｙ平面内、すなわちｘ軸を水平
方向の加速度値に採り、ｙ軸方向を垂直方向の加速度値
に採ったときのｘｙ平面内での絶対加速度｜Ｄ′｜が位
置する象限や、絶対加速度｜Ｄ′｜と原点Ｏとを結ぶ線
分の、ｘ軸正方向からの角度）３）指揮動作の滑らかさ（絶対加速度時間波形の高周波
成分や、ｘｙ平面内において、加速度軌跡が所定の短時
間に作る領域の面積）４）指揮動作の一時停止の程度（絶対加速度時間波形の
谷の深さとその谷の底部の時間）等である。

【００３５】たとえば、「現在の状態が、『ローカルピ
ーク＆指揮動作方向が角度α〜βの間』である場合に
は、ラベルは“１”」というように、複数の特徴量の所
定の組合わせからなる条件を満たしている場合に、ある
ラベルに決定される。

【００３６】このようにして、ベクトル量子化部５３
は、所定時間（たとえば１０ｍｓｅｃ）毎に１つのラベ
ルｌａｂｅｌ（前記３２種類のラベルをそれぞれラベル
ｌ1〜ｌ32で表現すると、そのうちいずれかのラベルｌ
ｋ）を生成してＨＭＭ認識部５４に出力する。

【００３７】ＨＭＭ認識部５４は、前記ベクトル量子化
部５３と同様に、このラベルｌａｂｅｌをＲＡＭ９の所
定領域（以下、「ラベル記憶領域」という）に記憶す
る。すなわち、ラベル記憶領域には、ラベルｌａｂｅｌ
の時系列データが格納される。このうち、最新の複数個
（Ｒ個）のラベルを集めて、ラベルの時系列｛ｌｒ｝を
生成する。

【００３８】そして、ＨＭＭ認識部５４は、このラベル
の時系列｛ｌｒ｝の発生パターン、すなわち当該ラベル
の時系列に含まれる各ラベルｌｒの発生パターンの確率
的な性質が隠れマルコフモデル（ＨＭＭ：Hidden Marko
v Models）と呼ばれる確率モデルによって表現されると
みなし、このＨＭＭを構成する複数個のモデルの各モデ
ルＭｋに対して、それぞれ時系列｛ｌｒ｝が発生する確
率（以下、「尤度」という）Ｐｒ（Ｌ｜Ｍｋ）を求め、
そのうち、尤度Ｐｒ（Ｌ｜Ｍｋ）が最大となるモデルＭ
ｋを求め、このモデルＭｋが基準にする指揮動作を、目
的の指揮動作、すなわちユーザが現在行っている指揮動
作と認識する。ここで、Ｌは時系列｛ｌｒ｝を示してい
る。

【００３９】以下、ＨＭＭ認識部５４が行うＨＭＭ認識
処理を、図３を参照して、さらに詳細に説明する。

【００４０】図３に示すように、本実施の形態では、Ｈ
ＭＭとして、たとえば離散的な５種類の状態（State）
Ｓｊ（１≦ｊ≦５）のいずれかを採り、各状態Ｓｊは右
に隣接する状態Ｓまたは自己の状態にのみ遷移する、い
わゆるＬＲ（Left-to-Right）型５状態ＨＭＭを採用し
ている。

【００４１】図中、ｐijは、状態Ｓｉから状態Ｓｊに遷
移する確率を示し、ｑij(ｌｋ)は、状態Ｓｉから状態Ｓ
ｊに遷移するときに、ラベルｌｋを出力する確率を示し
ている。ここで、ラベルｌｋの“ｋ”は、モデルＭｋの
“ｋ”と同一文字を用いているが、同じものを意味して
はいない。

【００４２】そして、指揮動作を複数種類（本実施の形
態では１６種類）の動作状態（指揮棒３０を三角形の各
辺に沿って振る（３つ振り）ときの各拍に対応する動作
や、上下に振る（２つ振り）ときの各拍に対応する動作
等）に分割して、該分割された各動作状態を前記各モデ
ルＭｋに対応付け、各モデルＭｋ毎に、すなわち各動作
状態毎に、確率ｐijや確率ｑij(ｌｋ)等を予め学習して
おく。この学習値は、ＨＭＭデータベース（たとえば、
このデータベースは前記ＨＤＤ１３内のハードディスク
に構築される）５５に格納される。なお、ＨＭＭデータ
ベース５５には、この他に、前記モデルＭｋに関係する
情報等も格納される。

【００４３】このようにして予め学習され設定された各
設定値を用いて、次式（２）により、各モデルＭｋ毎
に、尤度Ｐｒ（Ｌ｜Ｍｋ）を算出する。

【００４４】

【数２】ただし、ｉ₀〜ｉ_rは状態Ｓｉの添字“ｉ”を示し、本実
施の形態では、ｉ₀〜ｉ_r-1はそれぞれ１〜５までの範囲
を採る。Ｉｒは、｛ｒ：Ｓｒが最終状態｝の集合を示
し、本実施の形態では最終状態はＳ₅であるため、Ｉｒ
＝｛５｝である。したがって、ｉ_r＝５である。さら
に、ｒ_i0は、初期状態がＳ_i0である確率、具体的には、
ｒ₁＝１，ｒ_i＝０（ｉ＝２，…，５）を示している。

【００４５】各モデルＭｋ毎に、尤度Ｐｒ（Ｌ｜Ｍｋ）
が算出されると、ＨＭＭ認識部５４は、このようにして
算出した各モデルＭｋの尤度を総合判定部５８に出力す
る。

【００４６】すなわち、各モデルＭｋの尤度のうち、最
大尤度を与えるモデルＭｋを、その時点の指揮動作と認
識してもよいが、ＨＭＭによる認識のみでは誤認識する
可能性がある。このため、ここでは各モデルＭｋの尤度
を求めるのみにとどめ、最終的な動作の判定は総合判定
部５８にまかせるようにしている。

【００４７】なお、このＨＭＭ認識部５４では、指揮動
作の特徴量に基づいて、ダイナミクスやアーティキュレ
ーションも認識するようになっている。

【００４８】総合判定部５８には、拍打生起可能性予測
部５６からの出力および拍打生起可能性分布計算部５７
からの出力も供給され、総合判定部５８は、これらの出
力状態に基づいて、文字通り総合的な判定を行い、拍打
タイミングやダイナミクス等の音楽要素データ、すなわ
ちＭＩＤＩ再生部５９が再生している音楽を制御する音
楽要素データａを、ＭＩＤＩ再生部５９に出力する。

【００４９】この音楽要素データａのうち、演奏テンポ
データａ１は、拍打生起可能性予測部５６に供給され、
拍打生起可能性予測部５６は、この演奏テンポデータａ
１に基づいて、ファジィ推論（具体的には、直接法と呼
ばれるファジィ推論）により拍打生起可能性を予測す
る。

【００５０】ここで、直接法とは、一般的に、次に示す
手順によりファジィ推論を行う手法である。

【００５１】１）ファジィルールを記述する２）１）のファジィルール中、変数となる言語をメンバ
シップ関数で表す３）入力に対する各ファジィルールの推論結果を求める４）各ルールの推論結果から最終的な推論結果を求める拍打生起可能性予測部５６は、この直接法を次のように
具体的に適用して、拍打生起可能性を求めている。

【００５２】すなわち、１）については、if（前拍打タ
イミングからの演奏テンポに基づく経過時間が短い）th
en（拍打生起の可能性が低い）というファジィルールを
採用する。

【００５３】２）については、前件部、すなわち上記フ
ァジィルール中、「前拍打タイミングからの演奏テンポ
に基づく経過時間が短い」の部分に対して、図４（ａ）
に示すメンバシップ関数を定義し、後件部、すなわち上
記ファジィルール中、「拍打生起の可能性が低い」の部
分に対して、図４（ｂ）に示すメンバシップ関数を定義
する。

【００５４】３）については、前記入力された演奏テン
ポデータａ１に基づいて、前拍打からの演奏テンポに基
づく経過時間を算出し（たとえば、現在のテンポを所定
の基準テンポに換算したときの時間を算出する）、上記
図４（ａ）のメンバシップ関数を用いて、その算出され
た経過時間に対するグレードを求める。

【００５５】ファジィルールの前件部が、“ａｎｄ”で
結ばれた複数個の要素から成り立っているときには、各
メンバシップ関数からそれぞれ得られたグレードの最小
値（これを、「適合度」という）を求める（この演算
を、「“ｍｉｎ”演算」という）。

【００５６】しかし、拍打生起可能性予測部５６では、
ファジィルールの前件部は、１つの要素によって構成さ
れているため、上記経過時間に対して求められたグレー
ドが適合度に相当する。

【００５７】たとえば経過時間がｔ１のときには、図４
（ａ）に示すように、グレードはｇ１と求められるの
で、適合度はｇ１となる。

【００５８】そして、後件部のメンバシップ関数、すな
わち図４（ｂ）のメンバシップ関数の、上記求められた
適合度より上の部分をカットしたものが、１）のファジ
ィルールの推論結果となる。たとえば、適合度がｇ１で
あるとすると、図４（ｂ）の領域Ｒ１で示される部分が
求める推論結果となる。

【００５９】４）については、１）のファジィルールが
複数種類定義されているときには、各ルールの個数だけ
３）の推論結果が得られるので、その推論結果、すなわ
ち上記領域Ｒ１のような複数個の領域を重ね合わせる
（この演算を、“ｍａｘ”演算という）。このように重
ね合わせて生成された領域の重心を求め、その重心から
垂線を延ばし、その足の値が最終的な推論結果となる。
これを、重心法という。

【００６０】たとえば、図４（ｂ）で、領域Ｒ１の重心
はＧ１と求められ、この重心Ｇ１に対応する生起確率は
ｐ１と求められる。このとき、生起確率ｐ１は、制御に
用いられる数値であるため、同時に非ファジィ化（Defu
zzify）もなされている。

【００６１】拍打生起可能性予測部５６は、このように
して求められた生起確率を、拍打生起可能性として、前
記総合判定部５８に出力する。

【００６２】拍打生起可能性分布計算部５７には、ＭＩ
ＤＩデータベース（たとえば、このデータベースは前記
ＨＤＤ１３内のハードディスクに構築される）６０から
ＭＩＤＩ再生部５９に供給されるＭＩＤＩデータが供給
され、拍打生起可能性分布計算部５７は、図５に示すよ
うなメンバシップ関数を定義し、供給されたＭＩＤＩデ
ータと、このメンバシップ関数を用いてファジィ推論に
より、ＭＩＤＩデータ上の拍打生起可能性分布を計算し
て出力する。

【００６３】具体的には、ファジィルールとして、if
（演奏中の箇所がＭＩＤＩデータの拍や音符に近い）th
en（拍打入力がそれに相当する可能性が高い）というル
ールを採用し、メンバシップ関数として、図５（ａ）の
メンバシップ関数を定義した。図５（ａ）に示すよう
に、各メンバシップ関数は、ＭＩＤＩデータの拍タイミ
ングでグレードが最大値を採るように定義される。一
方、ＭＩＤＩデータには、拍打位置を示す情報は含まれ
ていないため、拍タイミングで拍打が発生する可能性が
高いとみなして、ＭＩＤＩデータに基づき、拍タイミン
グでグレードが最大値を採るように、各メンバシップ関
数を定義する。なお、拍タイミング以外の位置に、拍打
位置を設定したいときには、図５（ｂ）に示すように、
ユーザがマニュアルでメンバシップ関数を設定するよう
にすればよい。

【００６４】このようにして、ファジィルールおよび各
メンバシップ関数が定義されると、その後のファジィ推
論は、上述した拍打生起可能性予測部５６でのファジィ
推論と同様であるので、その説明は省略する。

【００６５】拍打生起可能性分布計算部５７は、算出さ
れた拍打生起可能性を、総合判定部５８に出力する。

【００６６】総合判定部５８は、前記ＨＭＭ認識部５４
からの各モデルＭｋの尤度、拍打生起可能性予測部５６
からの拍打生起可能性、および拍打生起可能性分布計算
部５７からの拍打生起可能性分布に基づいて、ファジィ
推論により、指揮動作を総合的に判定する。

【００６７】具体的には、ファジィルールとして、if
（ＨＭＭ認識部５４において、Ｎつ振りのｎ個目に相当
するＨＭＭの尤度が高い）and（拍打生起可能性予測部
５６において、拍打生起可能性が高い）and（拍打生起
可能性分布計算部５７において、演奏中の箇所がＮ拍子
のｎ拍目に近い）then（拍打入力が、Ｎつ振りのｎ個目
の可能性が高い）というルールを採用し、そのメンバシ
ップ関数として、それぞれ図６（ａ）〜（ｄ）に示すメ
ンバシップ関数（図示例は、Ｎ＝３，ｎ＝２の場合を示
している）を採用している。

【００６８】その後のファジィ推論方法は、上述した拍
打生起可能性予測部５６の方法と同様であるため、その
説明を省略する。

【００６９】なお、演奏テンポは、各拍打タイミングの
間隔をもとに算出することができる。

【００７０】このようにして、総合判定部５８は、入力
された情報に基づいてファジィ推論を行って、ＨＭＭ認
識部５４により認識された指揮動作の認識率をさらに向
上させ、その判定結果、すなわち前記音楽要素データａ
（演奏テンポ、拍打タイミング、拍打種類、ダイナミク
ス、アーティキュレーションなど）をＭＩＤＩ再生部５
９に出力する。

【００７１】ＭＩＤＩ再生部５９は、前記ＭＩＤＩデー
タベース６０から供給されたＭＩＤＩデータに基づい
て、ノートオン／オフイベントが発生するタイミングを
決定し、この決定されたタイミングで、当該ノートオン
／オフが発生するような情報を音源部６１に送出する、
すなわちＭＩＤＩデータを再生するとともに、総合判定
部５８からの音楽要素データａに応じて、再生中のＭＩ
ＤＩデータの、対応する音楽要素を変更する。具体的に
は、音楽要素データが拍打タイミングのときには、その
タイミングおよびその拍打種類に一致するように再生中
のＭＩＤＩデータの拍タイミングまたは音符位置を変更
し、また、音楽要素データがダイナミクスのときには、
そのダイナミクスに一致するように再生中のＭＩＤＩデ
ータのダイナミクス（ベロシティやボリューム）を変更
する。

【００７２】また、音楽要素データが演奏テンポのとき
には、ＭＩＤＩデータを再生する際のテンポが変更され
る。また、音楽要素データがアーティキュレーションの
ときには、再生中のＭＩＤＩデータのゲートタイム長を
変更する。

【００７３】ＭＩＤＩ再生部５９は、この変更後のＭＩ
ＤＩデータを音源部６１に出力し、これを受けて、音源
部６１は、ＭＩＤＩデータから楽音信号を生成して、前
記サウンドシステム１９に出力する。

【００７４】サウンドシステム１９は、前述のように、
生成された楽音信号を音響に変換する。

【００７５】このように、本実施の形態では、ＨＭＭ認
識部５４で認識された指揮動作を、拍打生起可能性予測
部５６で予測された拍打生起可能性および拍打生起可能
性分布計算部５７で算出された拍打生起可能性分布に基
づいて、ファジィ推論により総合的に判定して、最終的
な指揮動作を決定するようにしたので、指揮動作の認識
率をより向上させることができる。

【００７６】なお、本実施の形態では、総合判定部５８
は、拍打生起可能性予測部５６で予測された拍打生起可
能性および拍打生起可能性分布計算部５７で算出された
拍打生起可能性分布の両者を用いて、指揮動作を総合的
に判定するようにしたが、いずれか一方のみを用いて判
定するようにしてもよい。つまり、ＨＭＭ認識部５４で
認識された指揮動作の認識率を向上させるための情報が
少なくとも一つ以上あり、その情報を用いてファジィ推
論を行うことができる構成であればよい。

【００７７】また、上記実施の形態中で説明したファジ
ィルールおよびメンバシップ関数はあくまでも例示に過
ぎず、これに限られるものではないことは、いうまでも
ない。たとえば、ダイナミクスやアーティキュレーショ
ンの認識用のファジィルールを定義し、これらの認識に
もファジィ推論を適用してもよい。

【００７８】なお、本実施の形態では、指揮動作をＨＭ
Ｍによって認識するようにしたが、これに限る必要はな
い。

【００７９】また、本実施の形態では、指揮棒３０に加
速度センサ３１，３２を設け、これから得られる加速度
に応じて指揮動作を検出するようにしたが、これに限ら
ず、たとえば、角速度センサ（ジャイロセンサ）、磁気
や光を利用したセンサを用いて検出された信号に応じて
指揮動作を検出するようにしてもよく、また手や指に直
接センサを装着するようにしてもよい。

【００８０】さらに、本実施の形態では、主として汎用
コンピュータを用いて音楽制御装置を構成したが、これ
に限らず、専用の機器により構成してもよい。

【００８１】なお、上述した各実施の形態の機能を実現
するソフトウェアのプログラムを記録した記憶媒体を、
システムまたは装置に供給し、そのシステムまたは装置
のコンピュータ（またはＣＰＵ７やＭＰＵ）が記憶媒体
に格納されたプログラムを読出し実行することによって
も、本発明の目的が達成されることは云うまでもない。

【００８２】この場合、記憶媒体から読出されたプログ
ラム自体が本発明の新規な機能を実現することになり、
そのプログラムを記憶した記憶媒体は本発明を構成する
ことになる。

【００８３】プログラムを供給するための記憶媒体とし
ては、たとえば、前記ＨＤＤ１３のハードディスク、Ｃ
Ｄ−ＲＯＭ４１，ＭＯ，ＭＤ，フロッピーディスク４
０、ＣＤ−Ｒ（CD- Recordable）、磁気テープ、不揮発
性のメモリカード、ＲＯＭなどを用いることができる。
また、他のＭＩＤＩ機器１００や通信ネットワーク１０
１を介してサーバコンピュータ１０２からプログラムが
供給されるようにしてもよい。

【００８４】また、コンピュータが読出したプログラム
を実行することにより、上述した各実施の形態の機能が
実現されるだけでなく、そのプログラムの指示に基づ
き、コンピュータ上で稼働しているＯＳなどが実際の処
理の一部または全部を行い、その処理によって上述した
実施の形態の機能が実現される場合も含まれることは云
うまでもない。

【００８５】さらに、記憶媒体から読出されたプログラ
ムが、コンピュータに挿入された機能拡張ボードやコン
ピュータに接続された機能拡張ユニットに備わるメモリ
に書込まれた後、そのプログラムの指示に基づき、その
機能拡張ボードや機能拡張ユニットに備わるＣＰＵ７な
どが実際の処理の一部または全部を行い、その処理によ
って上述した各実施の形態の機能が実現される場合も含
まれることは云うまでもない。

【００８６】

【発明の効果】以上説明したように、本発明に依れば、
自動演奏される音楽から抽出された音楽要素および検出
された人の動作に基づいて、ファジィ推論により、前記
検出された人の動作が判定されるので、認識対象が多い
場合にも認識率が向上し、これにより、音楽の表現力を
さらに向上させることが可能となる効果を奏する。

【００８７】また、好ましくは、前記所定の音楽要素と
してテンポが抽出され、このテンポに基づいて、前記動
作検出手段により人の動作が検出された時点における拍
打の生起可能性が予測され、この予測された拍打生起可
能性に基づいて、当該人の動作がファジィ推論により判
定されるので、認識率をさらに向上させることができ
る。

【００８８】さらに、好ましくは、前記所定の音楽要素
として拍タイミングまたは音符の位置が抽出され、この
拍タイミングまたは音符の位置に基づいて、前記動作検
出手段により人の動作が検出された時点における拍打の
生起可能性分布が演算され、この演算された拍打生起可
能性分布に基づいて、当該人の動作がファジィ推論によ
り判定されるので、認識率をさらに向上させることがで
きる。

【図面の簡単な説明】

【図１】本発明の一実施の形態に係る音楽制御装置の概
略構成を示すブロック図である。

【図２】図１の音楽制御装置のうち、主としてコンピュ
ータが実行する制御処理を説明するためのブロック図で
ある。

【図３】図２のベクトル量子化部が行うＨＭＭ認識処理
を詳細に説明するための図である。

【図４】図２の拍打生起可能性予測部がファジィ推論を
行うときに用いられるメンバシップ関数の一例を示す図
である。

【図５】図２の拍打生起可能性分布計算部がファジィ推
論を行うときに用いられるメンバシップ関数の一例を示
す図である。

【図６】図２の総合判定部がファジィ推論を行うときに
用いられるメンバシップ関数の一例を示す図である。

【符号の説明】

７ＣＰＵ（動作検出手段、自動演奏手段、音楽要素抽
出手段）３１加速度センサ（動作検出手段）３２加速度センサ（動作検出手段）５３ベクトル量子化部（動作検出手段）５４ＨＭＭ認識部（動作検出手段）５５ＨＭＭデータベース（動作検出手段）５６拍打生起可能性予測部（音楽要素抽出手段）５７拍打生起可能性分布計算部（音楽要素抽出手段）５８総合判定部（ファジィ判定手段）５９ＭＩＤＩ再生部（自動演奏手段）６０ＭＩＤＩデータベース（自動演奏手段）

Claims

【特許請求の範囲】

【請求項１】人の動作を検出する動作検出手段と、音楽を自動演奏する自動演奏手段と、該演奏される音楽から所定の音楽要素を抽出する音楽要
素抽出手段と、該抽出された音楽要素および前記検出された人の動作に
基づいて、ファジィ推論により、前記検出された人の動
作を判定するファジィ判定手段とを有することを特徴と
する音楽制御装置。
【請求項２】前記所定の音楽要素は、当該演奏される
音楽のテンポであり、該抽出されたテンポに基づいて、前記動作検出された時
点における拍打の生起可能性を予測する拍打生起可能性
予測手段を有し、前記ファジィ判定手段は、該予測された拍打生起可能性
に基づいて、当該人の動作を判定することを特徴とする
請求項１記載の音楽制御装置。
【請求項３】前記所定の音楽要素は、当該演奏される
音楽の拍タイミングまたは音符の位置であり、該抽出された拍タイミングまたは音符の位置に基づい
て、前記動作検出された時点における拍打の生起可能性
分布を演算する拍打生起可能性演算手段を有し、前記ファジィ判定手段は、該演算された拍打生起可能性
分布に基づいて、当該人の動作を判定することを特徴と
する請求項１記載の音楽制御装置。
【請求項４】人の動作を検出する動作検出モジュール
と、音楽を自動演奏する自動演奏モジュールと、該演奏される音楽から所定の音楽要素を抽出する音楽要
素抽出モジュールと、該抽出された音楽要素および前記検出された人の動作に
基づいて、ファジィ推論により、前記検出された人の動
作を判定するファジィ判定モジュールとを含む、コンピ
ュータが実現できるプログラムを格納した記憶媒体。