JP3384314B2 - 楽音応答画像生成システム、方法、装置、及び、そのための記録媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、楽音に応答して画像
を生成する技術、特に、楽音発生のための楽音制御情報
を解釈して得た情報に応答してグラフィックス動画像を
生成するためのシステム、方法及び記録媒体に関する。

【０００２】

【従来の技術】音楽に合わせてコンピュータグラフィッ
クス（ＣＧ：computer graphics ）により画像を変化さ
せるものは、ゲームソフトとして既にいくつか存在して
いるが、ゲームの進行という主操作に対して、副次的に
発生される楽音に伴って画像を変化させるバックグラウ
ンドビジュアル（ＢＧＶ）であり、予め楽音と画像を同
期させており、楽音制御情報などを用いて画像をきめ細
かく制御するものではない。また、このようなゲームソ
フトで、ダンサのように音楽的にダイナミックに動くオ
ブジェクトをテーマにしたものは、見当たらず、サイケ
デリックなものもあり、環境映像の領域で楽しめる層が
限定され、飽きられやすかった。さらに、ＭＩＤＩ演奏
情報のような楽曲情報に応じて、ライトを点滅させた
り、環境映像のようなＣＧ画像を発生するものも現れて
いる。

【０００３】一方、グラフィックスによらずに画像パタ
ーンを用いて音楽に適した動画像表示を行うものもあ
る。例えば、特開昭63-170697 号公報には、曲想検出部
により電子楽器等からの楽音情報の曲想を判定し、この
曲想に応じたセレクト信号によって複数の画像パターン
を順次読み出して、ダンスや幾何学模様のような動画像
を曲想に合わせて表示する楽音画像化装置が開示されて
いる。しかしながら、この従来技術では、所要の楽音情
報が曲想検出部にて曲想に応じたセレクト信号に加工さ
れてしまうので、もとの楽音にピッタリ合った動的な画
像を得ることができない。

【０００４】また、この楽音画像化装置のように画像パ
ターンデータを利用する方法では、元々、情報量が多い
にも拘わらず変化に乏しい上、より一層楽音に適合する
ように変化のある動画像を得るには更に多量の画像パタ
ーン情報を用意しなければならず、しかも、一旦セット
されてしまうと、表示される画像に対して、ユーザの好
み等に応じて種々の変更を任意に加えることができない
ので、ユーザの多種多様な要求を満足することが非常に
難しかった。

【０００５】

【発明が解決しようとする課題】この発明はこのような
問題点を考慮してなされたもので、この発明の一つの目
的は、ＭＩＤＩ楽曲のような音楽の演奏に同期して踊り
手（ダンサ）等の画像オブジェクトを動かし、音楽の曲
想のみならず、楽音の進行に応じてこれと一体的に変化
する動画像を生成することができるコンピュータグラフ
ィックス動画像生成システム、方法及び記憶媒体を提供
することにある。この発明の別の目的は、また、単に音
楽との一体感に優れた動画像を映像表示するだけでな
く、楽音データを基にして踊り手のような画像オブジェ
クトの動きをユーザが自由に設定することができる参加
型のマンマシンインターフェースを提供することにあ
る。

【０００６】さらに、楽音データを基にしてＣＧ動画像
を生成する場合には、この画像生成が楽音イベントの発
生後に生じる反応であるために、無視し得ない画像生成
の遅れを生じる恐れがあり、また、補間の際には、コン
ピュータのＣＧ描画能力やＣＰＵへの負荷変動によりア
ニメーション速度が変化したりキーフレーム位置の描画
が飛ばされてしまうことがあるために、音楽の演奏に同
期してＣＧアニメーションを作成することができないこ
とがあり、さらには、ＣＧ動画像を楽器演奏者モデルと
する際には、画像各部を単に各楽音データに応じて個別
的に制御するだけでは、ＣＧ動画像に対して楽音データ
に応じた自然な動きを与えることができない。従って、
この発明のさらに別の目的は、このようなＣＧ動画像生
成上の諸事情に鑑み、所望画像の生成の遅れを回避する
ことができ、また、システムの処理能力に応じてスムー
スな補間処理を行うことができ、さらには、楽音データ
のまとまりを解析することにより演奏者モデルを自然な
演奏形態で動作させることもできる新規な画像生成方法
を提供することにある。

【０００７】

【課題を解決するための手段】かかる課題を解決するた
め、この発明の楽音応答画像生成システム及び装置によ
ると、演奏すべき楽曲に対応して複数種類の楽音制御イ
ベントによって構成される楽音制御情報を順次出力する
演奏データ処理手段、画像を構成する複数の可動部のそ
れぞれについて、応答すべき楽音制御イベントの種類を
選択する指示に従って楽音制御イベントの種類を設定
し、設定された種類の楽音制御イベントを当該可動部に
対応づける設定手段、楽音制御情報に基づいて楽音を生
成する楽音生成手段、及び、演奏データ処理手段により
順次出力される楽音制御情報に応じて、順次、当該楽音
制御情報を構成する楽音制御イベントに対応づけられた
可動部の動きを制御する画像制御手段を備え、画像制御
手段によって、楽音生成手段による楽音生成の進行に合
わせた動画像が生成される〔請求項１及び請求項８〕。

【０００８】また、この発明の楽音応答画像生成方法に
よると、演奏すべき楽曲に対応して複数種類の楽音制御
イベントによって構成される楽音制御情報を順次出力す
るステップ、 画像を構成する複数の可動部のそれぞれ
について、応答すべき楽音制御イベントの種類を選択す
る指示に従って楽音制御イベントの種類を設定し、設定
された種類の楽音制御イベントを当該可動部に対応づけ
るステップ、楽音制御情報に基づいて楽音を生成するス
テップ、並びに、順次出力される楽音制御情報に応じ
て、順次、当該楽音制御情報を構成する楽音制御イベン
トに対応づけられた可動部の動きを制御するステップか
ら成り、楽音生成の進行に合わせた動画像が生成される
〔請求項２〕。

【０００９】この発明による楽音応答画像生成方法は、
さらに、演奏すべき楽曲に対応して動作パラメータを供
給するステップを含み、動きを制御するステップでは、
楽音制御情報及び動作パラメータに基づいて可動部の動
きを制御する〔請求項３〕。

【００１０】この発明による楽音応答画像生成方法にお
いては、楽音制御情報と共に同期信号が順次出力され、
動きを制御するステップでは、同期信号に基づいて楽音
生成の進行に合わせて可動部の動きを制御する〔請求項
４〕。

【００１１】この発明による楽音応答画像生成方法にお
いては、複数の可動部は楽器演奏者を構成し、楽音制御
情報を基にしてこの楽器演奏者のとるべき演奏形態を解
析し、解析された演奏形態に応じて複数の可動部の動き
を制御する〔請求項５〕。また、複数の可動部はダンサ
を構成し、楽音制御情報を基にしてこのダンサを構成す
る可動部の動きを制御する〔請求項６〕。

【００１２】さらに、この発明によると、上述した楽音
応答画像生成方法を実行し、楽音生成の進行に合わせて
画像を構成する可動部の動きを制御するようにしたプロ
セスを実行するためのプログラムを記憶してなるコンピ
ュータ読取り可能の記憶媒体〔請求項７〕が提供され
る。

【００１３】

【作用】この発明においては、演奏すべき楽曲から予め
設定された条件を取り出し、或いは、演奏すべき楽曲を
表わす楽曲演奏データを解釈することによって、画像オ
ブジェクトの各部の動作を順次制御するための複数種類
のイベント情報で構成される楽音制御情報を取得し、こ
のイベント情報を利用してコンピュータグラフィックス
技術を用いることによって、画面上に表示される画像オ
ブジェクトの対応する各部の動作を制御する。

【００１４】この発明においては、また、楽曲演奏デー
タにＭＩＤＩ（Musical Instrumentdigital Interfac
e）演奏データを用い、画像オブジェクトには、このよ
うな演奏データに同期して踊るダンサを用い、３次元
（３Ｄ）画像とするのが効果的である。この発明による
と、ＭＩＤＩ演奏データに含まれる楽音制御情報を解釈
して自律的に動きのある画像を発生することができ、予
め設定したイベントやタイミング等によって画像動作に
トリガをかけることによって、変化のある動きをシーケ
ンシャルに発生することができる。

【００１５】この発明では、ＭＩＤＩ演奏データのよう
な楽曲演奏データを解釈して、画像オブジェクトに適切
な動作（例えば、踊り）を与えるエンジン部分の外に、
ユーザの設定によって動作及びシーケンスを決定する動
作パラメータ設定部分が備えられ、これら両者から、音
楽にピッタリ合い好みに応じた動きをする映像を生成す
ることができる。従って、参加型やカラオケ的な楽しみ
方をすることを可能にし、或る動作パラメータを他のＭ
ＩＤＩ演奏データでも楽しむようにすることもできる。

【００１６】この発明では、さらに、単にＭＩＤＩ演奏
データによる音楽演奏及びそれに合った映像を楽しむと
いうことだけではなく、画面上で、例えば、ダンスのよ
うなリズミカルな動作を踊り手（ダンサ）オブジェクト
に演じさせ、動作パラメータの任意の設定変更により、
この踊り手の振付師になる楽しみをも加えることがで
き、これによって、音楽ビジネスを拡大することができ
る。

【００１７】この発明では、演奏データのＣＧ画像処理
に際し、演奏データに基づく楽音生成の進行に先行して
演奏データを逐次先読みしておき、画像が応答すべきイ
ベントに対応して事前にＣＧ解析や予測を行うようにす
ることによって、楽音生成時において、描画（画像生
成）をスムースに行うことができ、描画の遅延や「もた
り」を生じにくくすると共に、描画処理負担が軽減さ
れ、また、画像オブジェクトをより一層自然な動作を行
わせることができる。

【００１８】この発明では、また、演奏データのＣＧ画
像処理に際して、楽曲進行に対応する所定の同期信号に
基づいた基準キーフレームを設定してこの基準キーフレ
ームを利用することによって、画像生成システム処理能
力に応じて画像各部の動きを補間処理するようにしてい
るので、スムースな画像の動作を確保することができ、
しかも、音楽の演奏に同期するアニメーションを作成す
ることができる。

【００１９】この発明では、演奏データのＣＧ画像処理
に際して、さらに、楽音制御情報を基にして楽器演奏者
モデルのとるべき演奏形態を解析し、解析された演奏形
態に応じて前記画像の各部の動きを制御するようにして
いるので、演奏者モデルが自然な演奏形態でリアルに動
作するアニメーションを作成することができる。

【００２０】

【発明の実施の形態】以下、図面を参照しつつ、この発
明の実施例を詳述する。なお、この発明においては、動
的な画像オブジェクトとして、音楽に合わせた動きを与
えたい任意の具体物又は抽象構造を採用することがで
き、例えば、所要数の人物、動物、植物、構造物、模様
等、或いは、これらの組み合わせを任意に用いることが
できる。

【００２１】図１を参照すると、ここには、この発明の
一実施例による楽音応答画像生成システムのハードウエ
ア構成が示されている。このシステムは、音源内蔵パー
ソナルコンピュータ（パソコン）システムや、ハードデ
ィスク付きシーケンサ（パソコン）に音源及びディスプ
レイを加えたシステムと同様に、中央処理装置（ＣＰ
Ｕ：central processing unit ）１、読出専用メモリ
（ＲＯＭ：read only memory）２、ランダムアクセスメ
モリ（ＲＡＭ：random access memory）３、入力装置
４、外部記憶装置５、入力インターフェース（Ｉ／Ｆ）
６、音源装置７、表示処理装置８等を備え、これらの装
置は、バス９を介して互いに接続される。

【００２２】図１において、ＲＯＭ２には、このシステ
ムを制御するための所定のプログラムが記憶されてお
り、これらのプログラムには、後で説明する各種処理に
関するプログラムが含まれる。ＣＰＵ１は、このシステ
ム全体をＲＯＭ２に記憶されている所定のプログラムに
従って種々の制御を行い、特に、後述するシーケンサ及
び画源モジュール機能を中枢的に遂行する。ＲＡＭ３
は、これらの制御に際して必要なデータやパラメータを
記憶し、また、各種レジスタやフラグ等を一時記憶する
ためのワーク領域として用いられる。

【００２３】入力装置４は、例えば、キーボード、各種
スイッチ等を備える操作パネル並びにマウスのような座
標位置入力操作子を具備しており、各種動作パラメータ
の設定指示、楽曲演奏及び映像表示に関する指示を与え
る。例えば、操作パネル上には、動作パラメータ設定値
を入力するための各種数字／記号キー、テンポアップ／
ダウン（±５％）を行ったり、３Ｄ映像の視点（カメラ
位置）を前後左右にセットしたり回転させたり正位置に
復帰させるための各種ファンクションキー等、必要な操
作子が種々設けられる。この入力装置４には、さらに、
従来の電子楽器やシンセサイザ等の鍵盤形装置と同様
に、演奏用の鍵盤やスイッチをも備えることにより、こ
れら鍵盤等による楽曲演奏を行うと同時に、この楽曲演
奏に同期した映像表示に必要な楽曲演奏データを提供す
るようにすることもできる。

【００２４】外部記憶装置５は、楽曲演奏データ及びこ
れに付随する各種動作パラメータの外に、各種ＣＧ用デ
ータ、背景画像情報等のデータを必要に応じて記憶した
り読出したりするためのものであり、記憶媒体には、例
えばフロッピーディスクが使用される。

【００２５】入力インターフェース６は、外部の楽曲情
報源から楽曲演奏データを受けるためのインターフェー
スであり、例えば、外部のＭＩＤＩ情報源からＭＩＤＩ
楽曲データを受けるＭＩＤＩ入力インターフェースとす
ることができる。この入力インターフェースには、この
発明のシステム自体を同種の外部システムへの情報源と
して利用するために、出力インターフェースを具備さ
せ、楽音情報乃至各種付随データを、例えばＭＩＤＩフ
ォーマット等の所定のデータフォーマットに変換した後
外部システムに送出させる機能をもたせるようにするこ
ともできる。

【００２６】音源装置７は、バス９を介して供給される
楽音制御情報に従ってディジタル楽音信号を生成しこれ
を楽音信号処理装置１０に供給する。この信号処理装置
１０は、供給された楽音信号をアナログ楽音信号に変換
した後、スピーカ１１によって発音させる。これらの楽
音信号処理装置１０及びスピーカ１１は、サウンドシス
テムＳＰを構成する。

【００２７】表示処理装置８は、バス９を介して画像制
御情報が供給され、この画像制御情報に基づいて所要の
映像信号を生成し、この映像信号によって、ディスプレ
イ１２に、対応する画像を映像表示する。これらの表示
処理装置８及びディスプレイ１２は、表示システムＤＰ
を構成し、表示処理装置８には陰影付け等の各種画像処
理機能をもたせることができる。なお、画像制御情報の
画像への展開描画処理及びこれに伴う映像表示について
は、専用の表示処理装置乃至大型ディスプレイを別に用
意することによって、さらに躍動感や臨場感のある動画
像を可視表示することができる。

【００２８】図２には、この発明の一実施例による楽音
応答画像生成システムのモジュール構成が示されてお
り、主として、シーケンサモジュールＳ、音源モジュー
ルＡ及び画源モジュールＩより成る。

【００２９】シーケンサモジュールＳは、演奏すべき楽
曲に対応して、逐次、音源モジュールＡに楽音制御情報
を供給し、画源モジュールＩに楽音制御情報及び同期信
号を供給するものであり、より具体的には、ＭＩＤＩ演
奏データのような楽曲演奏データを選択しこれを処理し
て対応する楽音制御情報を出力すると共に、楽曲演奏デ
ータの選択及び処理に用いられるクロック信号から、楽
曲演奏データに対応する同期信号を出力して、音源モジ
ュールＡ及び画源モジュールＩに送る。

【００３０】このシーケンサモジュールＳには、ＭＩＤ
Ｉ情報源からの楽曲演奏データを処理して音源モジュー
ルに与える所謂「ＭＩＤＩエンジン」をほとんどそのま
ま用いることができる。なお、電子楽器やシンセサイザ
等の鍵盤形装置を使用する場合には、これらの鍵盤型装
置に上記楽音制御情報及び同期信号と等価な情報及び信
号を生成するデータ生成モジュールを設け、このような
データ生成モジュールをシーケンサモジュールＳとして
使用することができる。

【００３１】音源モジュールＡは、シーケンサモジュー
ルＳから受ける楽音制御情報を基にして楽音信号を発生
し、サウンドシステムＳＰにより楽音を発生させるため
のモジュールであり、従来の電子楽器、自動演奏装置、
シンセサイザ等における音源モジュールを使用すること
ができる。

【００３２】画源モジュールＩは、画像生成モードにお
いて、シーケンサモジュールＳから受ける楽音制御情報
及び同期信号を基にして画像制御情報を作成し、表示シ
ステムＤＰのディスプレイ画面上に踊り手Ｄのような３
次元画像オブジェクトを表示し且つその動作を制御する
ためのモジュールである。画源モジュールＩは、また、
パラメータ設定サブモジュールＰＳをも備えており、こ
のサブモジュールＰＳは、パラメータ設定モードにおい
て、このような画像オブジェクトＤの各部の動作を制御
するための動作パラメータを設定する機能を有する。従
って、画源モジュールＩは、楽音制御情報及び同期信号
に応答して対応動作パラメータを参照することにより画
像オブジェクトＤの各部の動作を逐次制御し、画像オブ
ジェクトＤに、音源モジュールＡによる楽音生成の進行
に同期し且つ動作パラメータの設定に応じた任意可変の
動作を演じさせることができる。

【００３３】図３には、画像生成モードにおいてディス
プレイ画面上に表示される画像例が、極く概略的に示さ
れており、この例では、メインダンサＭＤ及び二人のバ
ックダンサＢＤ１，ＢＤ２を３次元動画像オブジェクト
として用いている。以下、ＭＩＤＩ演奏データから得ら
れる楽音制御情報を利用して、サウンドシステムにより
演奏される音楽の進行に合わせてこれらのダンサＭＤ，
ＢＤ１，ＢＤ２を踊らせる例について、さらに具体的に
説明しよう。

【００３４】この画源モジュールＩは、画像生成モード
において、画像オブジェクトである踊り手の各可動部
を、音源モジュールＡによる楽音生成の進行に合わせて
逐次的に動作制御するのに必要な処理を実行するダンス
モジュールＤＭを備えるが、このような踊り手の各可動
部の動作の仕方を決定する動作パラメータを前以って設
定するために、パラメータ設定サブモジュールＰＳとし
てダンサ設定モジュールを兼備している。このモジュー
ルは、以下「ダンサ設定モード」と呼ぶパラメータ設定
モードにおいて、ダンサの動作パラメータの設定を支援
する。これらの踊り手の一つであるメインダンサＭＤを
例にした図４に示されるように、各ダンサＭＤ，ＢＤ
１，ＢＤ２は、ひじ（肘）部ＥＬ、うで（腕）部ＡＲ、
足部ＬＧの外、頭、上半身、手首、手等の各部が可動部
として定義される。なお、システムのデータ処理能力が
許せば、必要に応じて、さらに、肩、胴、腰等の部分に
分けてこれらを可動部とすることができる。

【００３５】〔パラメータ設定手順〕図５には、画源モ
ジュールＩのダンサ設定モードにおいて実行されるダン
サ設定モジュールによる設定手順の概要が示されてお
り、このモードでは、各ダンサの演奏データとの関連付
け設定及び設定されたダンサの所定の可動部の動作の選
択設定を行う。

【００３６】ダンサ設定モードにおいては、図５に示さ
れるように、各ダンサ毎に、ブロックＤＳ１１にてダン
サと演奏データとを関連付け、ブロックＤＳ２にてダン
サの各可動部の動作項目を選択し、ブロックＤＳ３にて
各動作項目毎に演奏データチャンネルや減衰値等の各パ
ラメータを設定する。この例では、また、選択された可
動部のうち腕部ＡＲについては、ブロックＤＳ１２で動
作を設定しブロックＤＳ４にて小節単位の動作制御を詳
細に設定し、同様に、足部ＬＧについても、ブロックＤ
Ｓ１３で動作を設定しブロックＤＳ５にて小節単位の動
作制御を詳細に設定することができる。なお、肘部ＥＬ
や、頭、上半身、手首、手等の他の各可動部について
も、同様の詳細設定を行うように設計することが可能で
ある。

【００３７】図６には、図５のブロックＤＳ１１，ＤＳ
１２，ＤＳ１３を含む縦ブロックＤＳ１に対応する「ダ
ンサ設定」ダイアログ画面が示され、図７には、ブロッ
クＤＳ２に対応する「チャンネル設定」ダイアログ画面
が示され、図８には、ブロックＤＳ３に対応する「デー
タ選択」ダイアログ画面が示され、図９には、ブロック
ＤＳ４に対応する「腕の動作設定」ダイアログ画面が示
され、図１０には、ブロックＤＳ５に対応する「足の動
作設定」ダイアログ画面が示されている。

【００３８】さて、入力装置４を使用してこのシステム
をダンサ設定モードに投入すると、まず、図６のダイア
ログ画面がディスプレイ１２上に表示され、図５の縦ブ
ロックＤＳ１に示される設定を行うことができる。

【００３９】図６のダイアログ画面において、図３のメ
インダンサＭＤ、バックダンサＢＤ１及びバックダンサ
ＢＤ２に対応する「ダンサ１」、「ダンサ２」及び「ダ
ンサ３」の各欄Ｄ１，Ｄ２，Ｄ３には、それぞれ、ブロ
ックＤＳ１１に対応して各ダンサと演奏データとの関連
付けを行うための「データ選択」ボタンＤＢ、ブロック
ＤＳ１２に対応して腕の動作の左右対称性を設定するた
めの「腕の動作設定」ボタンＡＢ、ブロックＤＳ１３に
対応してビートに合わせた足のステップ動作を設定する
ための「足の動作設定」ボタンＬＢが表示される。ま
た、各ダンサをディスプレイ画面上に映し出すか否かを
個別的に設定表示するための「表示」チェックボックス
ＤＣ、及び、各ダンサを回転動作させるか否かを個別的
に表示設定するための「回転」チェックボックスＴＣ
も、各欄それぞれに設けられる。なお、「回転」チェッ
クボックスＴＣがチェックされると、ダンシングモード
において、各ダンサ全体が所定速度で回転しているよう
に（それぞれのお立ち台が回っているように）映像表示
させるための回転処理が行われる。

【００４０】イントロ小節数設定表示部ＩＲは、ベンド
動作時のみのイントロ部の小節数を設定し、これを表示
するためのものである。画面下部には、動作パラメータ
をファイルから読み込むために「設定読込」ボタンＲＢ
が設けられ、動作パラメータをファイルに保存するため
に「設定保存」ボタンＭＢが設けられ、「ＯＫ」ボタン
や「キャンセル」ボタンも設けられる。

【００４１】〔演奏データ選択設定手順〕図６の「ダン
サ設定」ダイアログ画面において、例えば、「ダンサ
１」欄Ｄ１の「演奏データ選択」ボタンＤＢをクリック
すると、図７に示される「チャンネル設定」ダイアログ
画面がディスプレイ１２に表示され、この画面の援助の
下に、メインダンサＭＤの動作に対応するＭＩＤＩ演奏
データの種類やチャンネル、ビートタイプ等々を選択す
ることができる。

【００４２】図７には、「設定読込」ボタンＲＢの操作
により得られた初期設定パラメータが表示され、「チャ
ンネル設定」ダイアログ画面の動作項目欄ＭＴには、ダ
ンサのひじ（肘）、うで（腕）、足、頭、上半身、手
首、手等の各可動部の種々の動作項目が列挙され、これ
らの動作項目に対応して、「セット」ボタンＳＢ及び各
種動作パラメータが表示される。各種動作パラメータ
は、図７のように、「データタイプ」欄ＤＴ、「チャン
ネル」欄ＣＨ、「ビート出力」欄ＢＯ、「減衰」欄Ｒ
Ｔ、「スケール」欄ＳＣ、「カットオフ」欄ＣＯに設定
表示することができる。なお、初期設定パラメータにつ
いては、必要に応じて、所望の曲種に対応したダンサの
基本的動作パターンに従って各可動部のデフォルト設定
パラメータを予め定めておき、ダンサ設定モード起動当
初等に、適当な読出手段を用いて、このようなデフォル
ト設定パラメータを表示させるようにすることができ
る。

【００４３】図７に示される初期設定パラメータの一表
示例では、動作項目欄ＭＴ中の「左ひじ（曲げ）」、
「右ひじ（曲げ）」、「左うで（曲げ）」、…、「頭
（左右方向）」、「頭（傾ける）」という１６の動作項
目に対して、応答すべきチャンネル番号ＣｎとしてＭＩ
ＤＩ演奏データのチャンネル１ＣＨ〜１６ＣＨが夫々設
定され、何れの動作項目についても、応答すべきＭＩＤ
Ｉ演奏データのデータタイプＶｄが「ノートオン」デー
タに設定され、また、「減衰」値Ｖａが“６”に、「ス
ケール」値Ｖｓが“1.0000”に、「カットオフ」値Ｖｃ
が“６”に設定されており、「ビート出力」値Ｖｂは無
設定である。

【００４４】このような初期設定パラメータを変更して
所望の動作パラメータを得るには、さらに、動作項目欄
ＭＴの各動作項目を対応する「セット」ボタンＳＢのク
リックにより指示する。例えば、動作項目「左ひじ（曲
げ）」の「セット」ボタンＳＢを指示した場合には、動
作項目「左ひじ（曲げ）」についてチャンネル番号Ｃｎ
や減衰値Ｖａ等の各パラメータを設定するための「デー
タ選択」ダイアログ画面が、図８のように表示される。
このダイアログには、「ノートオン」設定部ＮＳ、「コ
ントロール」選択設定部ＣＳ及び「ビートタイプ」選択
設定部ＢＳからなる「データタイプ」設定エリアＤＡ、
並びに、「チャンネル選択」設定エリアＣＡが画成さ
れ、他のエリアには、「ビート出力値」設定表示部Ｂ
Ｒ、「動作減衰値」設定表示部ＲＲ、「動作スケール」
設定表示部ＳＲ、「カットオフ」設定表示部ＣＲ等が設
けられる。

【００４５】図８の「データ選択」ダイアログ画面にお
いて、当該動作項目「左ひじ（曲げ）」に対する演奏デ
ータの種類を選択設定するには、「データタイプ」設定
エリアＤＡの各設定部ＮＳ，ＣＳ，ＢＳの何れか一つを
指示することによって、対応するデータタイプＶｄを選
択する。「ノートオン」設定部ＮＳ及び「コントロー
ル」選択設定部ＣＳは、可動部が応答すべきデータタイ
プＶｄとして、ＭＩＤＩ演奏データ中からイベントＩｖ
を選択設定するためのものであり、「コントロール」選
択設定部ＣＳは、所謂「コントロールチェンジ」機能か
らピックアップされた「〔１〕Modulation」、「〔５〕
Portament/Time」、…、「〔94〕Effect 4Depth」のう
ち、何れか一つの「コントロール」データを選択指示
し、これをイベントＩｖとして設定することができる。
なお、「ノートオン」設定部ＮＳについても、「ノート
オン」又は「ノートオフ」を選択指示させる「ノートオ
ン／オフ」選択設定部として、「ノートオフ」にも応答
可能になるように構成することができる。

【００４６】また、「ビートタイプ」選択設定部ＢＳ
は、可動部が応答すべきデータタイプＶｄとして、「１
ビート単位＜ダウン＞」、「１ビート単位＜アップ
＞」、「２ビート単位＜ダウン＞」、…、「２小節単
位」から成るビートの種類のうち、何れか一つの「ビー
トタイプ」データＢｔを選択設定するためのものであ
る。

【００４７】「チャンネル選択」設定エリアＣＡは、１
６のチャンネルＣＨ１〜ＣＨ１６の中から、動作を起こ
させるチャンネル番号Ｃｎを任意に選択設定するための
エリアである。ここで選択設定されたチャンネル番号Ｃ
ｎは、「データタイプ」設定エリアＤＡの設定部ＮＳ，
ＣＳの何れかを指示して、演奏データの種類として、イ
ベントＩｖ、即ち、「ノートオン」データ或いは「コン
トロール」データを選択設定した場合に有効となる。

【００４８】「データタイプ」設定エリアＤＡの「ビー
トタイプ」選択設定部ＢＳの右側に設けられた「ビート
出力値」設定表示部ＢＲは、ビート出力のベロシティー
値Ｖｂを「ビート出力値」として“０”〜“１２７”
（７ビット）の範囲で設定するための表示域である。こ
こで選択設定されたビート出力値Ｖｂは、この選択設定
部ＢＳの「ビートタイプ」データＢｔを選択設定した場
合に有効となる。

【００４９】「データ選択」ダイアログ画面の下部に設
けられた「動作減衰値」設定表示部ＲＲは、可動部を初
期位置（角度を含む）に向かって復帰させる割合を決定
する動作減衰値（ベロシティー減衰値）Ｖａを“０”〜
“１２７”（７ビット）の範囲で設定するための表示域
であり、入力装置４を使用してこの表示域を指示し数字
キーを操作することによって、所望の動作減衰値を表示
し設定することができる。また、「動作スケール」設定
表示部ＳＲは、３次元画像オブジェクトであるメインダ
ンサＭＤ及びバックダンサＢＤ１，ＢＤ２（図３）の各
可動部の動作スケールを、標準値を“1.0000”とした倍
率値Ｖｓで設定するための表示域であり、「カットオ
フ」設定表示部ＣＲは、動作に反応するベロシティー値
（演奏情報値）の下限値Ｖｃを設定するための表示域で
あって、何れも、設定表示部ＲＲと同様の操作によっ
て、所望の値を表示し設定することができる。

【００５０】図８の表示例では、「データタイプ」及び
「チャンネル選択」設定エリアＤＡ，ＣＡで設定された
各データ項目は、それらの左側の表示域に「・」印で示
す設定マークが付され、「ダンサ１」の「左ひじ（曲
げ）」について、イベントＩｖとして「ノートオン」デ
ータを選択設定しチャンネル番号Ｃｎを「ＣＨ１」に選
択設定した状態にあることが示されており、設定表示部
ＢＲのビート出力値Ｖｂの“１２７”は、「ビートタイ
プ」選択設定部ＢＳで「ビートタイプ」データＢｔが選
択設定されていないので無効である。また、各設定表示
部ＲＲ，ＳＲ，ＣＲには、動作減衰値Ｖａは“６”に、
メインダンサＭＤの「左ひじ（曲げ）」の動作スケール
値Ｖｓは標準値“1.0000”に、カットオフ値Ｖｃはゼロ
（“０”）に、それぞれ設定された状態が示されてい
る。

【００５１】「ＯＫ」ボタン或いは「キャンセル」ボタ
ンをクリックすると、図７の「チャンネル設定」ダイア
ログ画面に戻るが、設定を終了して「ＯＫ」ボタンを指
示した場合には、「ダンサ１」の「左ひじ（曲げ）」の
動作パラメータは設定変更され、「キャンセル」ボタン
により設定変更をしない場合は、元の初期設定パラメー
タのままである。同様にして、動作項目欄ＭＴの他の動
作項目について所望の動作パラメータを所望のパラメー
タ値に変更設定することができる。

【００５２】「ダンサ１」の「演奏データ選択」に関す
る全動作パラメータの設定或いは確認を終えて、図７の
「チャンネル設定」ダイアログ画面の「ＯＫ」ボタン或
いは「キャンセル」ボタンをクリックすると、図６の
「ダンサ設定」ダイアログ画面に戻る。他の「ダンサ
１」及び「ダンサ２」についても、同様の手順に従っ
て、「演奏データ選択」に関する動作パラメータの設定
或いは確認を行うことができる。

【００５３】なお、図６において、「リセット」ボタン
をダブルクリックすると全動作項目に対応する動作パラ
メータが初期設定パラメータに復帰設定され、「リセッ
ト」ボタンをクリックした後「セット」ボタンをクリッ
クすると「セット」ボタンに対応する動作項目に対応す
る動作パラメータが初期設定パラメータに復帰設定され
る。また、「クリア」ボタンをダブルクリックすると全
動作項目に対応する動作パラメータがゼロ乃至未設定と
なり、「クリア」ボタンをクリックした後「セット」ボ
タンをクリックすると「セット」ボタンに対応する動作
項目に対応する動作パラメータがゼロ乃至未設定とな
る。

【００５４】〔腕部及び足部の動作設定手順〕図６の
「ダンサ設定」ダイアログ画面において、例えば、「ダ
ンサ１」欄Ｄ１の「腕の動作設定」ボタンＡＢをクリッ
クすると、図９に示される「腕の動作設定」ダイアログ
画面がディスプレイ１２に表示され、この画面の援助の
下に、メインダンサＭＤの腕部ＡＲ（図４）の動作を左
右対称性に関して小節単位で設定することができる。

【００５５】図９の「腕の動作設定」ダイアログ画面に
おいて、ダンサのうで（腕）の動作は、左右対称性に関
して「左右別動作」、「右手線対称１」、…、「左手点
対称１」というような項目に分けられ、「腕の動作設
定」項目欄ＡＴに列挙されている。項目欄ＡＴの右側に
は、これらの左右対称性に関する腕の動作を最上行の８
つの小節単位“O1”〜“08”毎に設定し表示するための
設定表示エリアＡＡが設けられており、従って、ダンシ
ングモードでの動作は、８小節の繰り返しになる。な
お、この「腕の動作設定」には、腕部ＡＲのみの対称性
動作を設定してもよいが、腕部ＡＲに関係するひじ
（肘）部ＥＬや手の動作設定を含ませることができ、こ
れが不自然な場合には、ひじ部ＥＬや手の対称性動作を
別個に設定するようにしてもよい。

【００５６】「腕の動作設定」項目欄ＡＴに列挙された
腕の動作に対応して設定されたパラメータは、図７，８
のダイアログ画面を用いて設定されたパラメータに優先
する。従って、「左右別動作」がパラメータとして設定
されると、ダンシングモードにおいてＭＩＤＩ演奏デー
タに対応して左右の腕が別々に動作させられ、一方、
「右手線対称１」〜「左手点対称１」は、左右の腕部Ａ
Ｒを対称的に動作させるために設定される。つまり、
「右手線対称１」が設定されると、ダンシングモードで
は、可動部たる右の腕部は、左手の腕部に対して線対称
且つ従動的に動作させられ、「左手線対称１」が設定さ
れた場合には、左の腕部が、右の腕部に対して線対称且
つ従動的に動作させられる。そして、「右手点対称１」
の場合には右の腕部が左の腕部に対して点対称且つ従動
的に動作させられ、また、「左手点対称１」では、左の
腕部が右の腕部に対して点対称且つ従動的に動作させら
れる。

【００５７】図９に示された例では、「腕の動作設定」
パラメータの設定状態が、８小節全てについて左右の腕
を別々に動作させる「左右別動作」にあることが、設定
表示エリアＡＡ内の「・」印により表示されている。こ
の設定を終了乃至確認して「ＯＫ」又は「キャンセル」
ボタンをクリックすると元の「ダンサ設定」ダイアログ
画面（図６）に戻る。同様にして、他のダンサＢＤ１，
ＢＤ２についても、「腕の動作設定」を行うことができ
る。

【００５８】次に図６の「ダンサ設定」ダイアログ画面
において、例えば、「ダンサ１」欄Ｄ１の「足の動作設
定」ボタンＬＢをクリックすると、図１０に示される
「足の動作設定」ダイアログ画面がディスプレイ１２に
表示され、この画面の援助の下に、メインダンサＭＤの
足部ＬＧ（図４）の動作を、ステップ動作等の、ビート
に従う所定の動きに設定することができる。

【００５９】図１０の「足の動作設定」ダイアログ画面
において、ダンサの足の動作は、「演奏データ連動」、
「右ステップ」、…、「足踏み」というような足の動き
に分けられ、「足の動作設定」項目欄ＬＴに列挙されて
いる。項目欄ＬＴの右側には、「腕の動作設定」の場合
と同様に、これらの足の動きを最上行の８つの小節単位
“O1”〜“08”毎に設定し表示するための設定表示エリ
アＬＡが設けられており、従って、ダンシングモードで
の動作も、８小節の繰り返しになり、腕の動作に合わせ
られる。

【００６０】「足の動作設定」項目欄ＬＴに列挙された
足の動きに対応して設定されたパラメータも、やはり、
図７，８のダイアログ画面を用いて設定されたパラメー
タに相反する動きになる場合は、これに優先する。「演
奏データ連動」がパラメータとして設定されると、ダン
シングモードにおいて、足はＭＩＤＩ演奏データに連動
させられるが、「右ステップ」〜「足踏み」は、ビート
に従う決められた足の動きを設定するのに用いられる。

【００６１】ビートに従う足の動作については、「右ス
テップ」が設定されると、ダンシングモードにおいて右
へ半歩動き、「左ステップ」が設定された場合には左へ
半歩動き、「右キック」の場合は右足を右へ蹴り出し、
「左キック」の場合は左足を左へ蹴り出し、「右移動」
では右へ１歩移動し、「左移動」では左へ１歩移動す
る。また、「前ステップ右足」が設定されると、右足か
ら前へ半歩動いて戻り、「前ステップ左足」が設定され
た場合は、左足から前へ半歩動いて戻り、「前移動右
足」の場合は右足から前へ１歩動いて戻り、「前移動左
足」の場合には左足から前へ１歩動いて戻る。さらに、
「後ステップ右足」が設定されると、右足から後ろへ半
歩動いて戻り、「後ステップ左足」が設定された場合
は、左足から後ろへ半歩動いて戻り、「後移動右足」の
場合は右足から後ろへ１歩動いて戻り、「後移動左足」
の場合には左足から後ろへ１歩動いて戻る。そして、
「ベンド」が設定されたときは、ダンシングモードでは
その場で両ひざ（膝）を曲げる動きをし、「足踏み」が
設定された場合には、その場で足踏みをする。

【００６２】図１０に示された例では、「足の動作設
定」パラメータの設定状態が、８小節全てについて足を
ＭＩＤＩ演奏データに連動させる「演奏データ連動」に
あることが、設定表示エリアＬＡ内の「・」印により表
示されている。この設定を終了乃至確認して「ＯＫ」又
は「キャンセル」ボタンをクリックすると元の「ダンサ
設定」ダイアログ画面（図６）に戻る。同様にして、他
のダンサＢＤ１，ＢＤ２についても、「足の動作設定」
を行うことができる。

【００６３】以上のようにして、演奏されるべき楽曲に
合わせて各種パラメータを設定すると、図６の「ダンサ
設定」ダイアログ画面の「設定保存」ボタンＭＢをクリ
ックすることにより、設定された一連のパラメータを、
楽曲名や曲種等を付して、ファイル（外部記憶装置５）
に保存することができる。このように、ダンサの数はメ
インダンサＭＤ、バックダンサＢＤ１，ＢＤ２等、複数
人数を設定し、夫々のダンサの体の各部（図７）に個別
の設定を行うことができる。また、必要に応じて、服
装、肌の色、髪型、性別、等々、各ダンサの外見パラメ
ータの設定手段を設けて、演奏される音楽にふさわしい
画像を生成するようにすることも可能である。

【００６４】〔画像生成処理手順〕画源モジュールＩの
主たる機能は、図１１に示すように、３次元画像オブジ
ェクトであるダンサの動作を音楽に合わせて逐次的に制
御する処理を実行するダンスモジュールＤＭで示すこと
ができる。このダンスモジュールＤＭは、画像モジュー
ルＩのダンシングモードにおいて、シーケンサモジュー
ルＳから、ＭＩＤＩ演奏データのような楽音制御情報、
並びに、ビート（拍）タイミング信号、小節タイミング
信号等の同期信号を受け、設定されたパラメータに応じ
て、ディスプレイ１２に表示されるダンサの各可動部の
動作を、楽音制御信号の演奏の進行に同期して逐次的に
制御する。

【００６５】図１２には、ダンスモジュールＤＭによる
演奏データ処理フローＳＭが示されている。この演奏デ
ータ処理フローＳＭは、ダンシングモードにおいて実行
され、データタイプＶｄの選択設定（図７「データタイ
プ」欄ＤＴ）に関し、イベントＩｖ即ちノートオン或い
はコントロールに対応する動作パラメータが設定されて
いる場合（図８設定部ＮＳ，ＣＳ）に適用される。従っ
て、この処理フローＳＳは、イベント情報（ＭＩＤＩ演
奏データ）を受信すると起動される。そこで、先ず、処
理フローＳＭの各ステップにおける処理内容を説明しよ
う。

【００６６】〔ステップＳＭ１〕受信したＭＩＤＩ演奏
データのチャンネルと同一のチャンネル番号Ｃｎが設定
されているダンサの可動部を検出する。 〔ステップＳＭ２〕ステップＳＭ２にて、ステップＳＭ
１で検出された可動部について、設定されたパラメータ
を調べ、イベントＩｖが設定されているか否かを判別す
る。ここで、イベントＩｖが設定されている（ＹＥＳ）
とステップＳＭ３に進み、イベントＩｖが設定されてい
ない（ＮＯ）場合にはステップＳＭ１０に進む。

【００６７】〔ステップＳＭ３〕ステップＳＭ３では、
現在の小節を８で除算し、その余りを、８つの小節単位
（図９“01”〜“08”参照）について現在の小節単位
（beatnow）Ｎｍ（Ｎｍ：０〜７）を表わす値として算
出する。 〔ステップＳＭ４〕ステップＳＭ４では、当該可動部に
ついて、設定された動作パラメータを調べ、前ステップ
ＳＭ３で算出された現在小節単位Ｎｍにおいて対称動作
の設定がされていないかどうかを判別する。ここで、対
称動作が設定されていない（ＹＥＳ）とステップＳＭ５
に進み、対称動作が設定されている（ＮＯ）場合にはス
テップＳＭ１０に進む。

【００６８】〔ステップＳＭ５〕ステップＳＭ５では、
さらに、当該可動部に設定されたパラメータが受信ＭＩ
ＤＩ演奏データのイベントＩｖと一致するかどうかを確
認する。ここで、一致することが確認された（ＹＥＳ）
場合はステップＳＭ６に進み、一致が確認されない（Ｎ
Ｏ）場合にはステップＳＭ１０に進む。

【００６９】〔ステップＳＭ６〕ステップＳＭ６では、
ステップＳＭ１で受信したＭＩＤＩ演奏データのベロシ
ティー値（以下、単に「演奏データ値」という）Ｖｍが
設定カットオフ値Ｖｃ以上であるか否かを判別する。こ
こで、設定カットオフ値Ｖｃ以上の場合（ＹＥＳ）はス
テップＳＭ７に進み、設定カットオフ値Ｖｃ未満の（Ｎ
Ｏ）場合にはステップＳＭ１０に進む。

【００７０】〔ステップＳＭ７〕ステップＳＭ７では、
当該可動部について、 「演奏データ値」Ｖｍ×「動作スケール値」Ｖｓ＝「動
作振幅値」Ａｍ から動作振幅値Ａｍを求め、当該可動部を、現在位置か
らこの動作振幅値Ａｍ分だけ変位した目的位置Ｐｏに移
動し、この目的位置Ｐｏに表示させ、当該可動部を処理
済とする。

【００７１】なお、このステップＳＭ７のように、楽曲
に応答して積極的に可動部を動作させる移動表示ステッ
プでは、上述のように直ちに目的位置（Ｐｍ）に移動さ
せず、これを目標位置として、現在位置からこの目標位
置（Ｐｍ）に向かって補間をしながら所定タイミング以
内で移動させてもよい。この場合、補間中、可動部が目
標位置（Ｐｍ）に到達するまで可動部ごとにフラグを設
けて、可動部の移動状態を把握することができるように
するのが好ましい。

【００７２】〔ステップＳＭ８〕ステップＳＭ８では、
当該可動部に関係する動作パラメータを調べ、現在小節
単位Ｎｍにおいて、当該可動部と対称関係にある対称可
動部に対して対称動作の設定がされているか否かを判別
する。ここで、対称動作が設定されている（ＹＥＳ）場
合はステップＳＭ９に進み、対称動作が設定されていな
い（ＮＯ）場合にはステップＳＭ１０に進む。

【００７３】〔ステップＳＭ９〕ステップＳＭ９では、
前述した 「演奏データ値」Ｖｍ×「動作スケール値」Ｖｓ＝「動
作振幅値」Ａｍ から動作振幅値Ａｍを求め、対称可動部を、現在位置か
らこの動作振幅値Ａｍ分だけ前記可動部と対称的に（即
ち、−ＡＭ分だけ）変位した目的位置Ｐｏ’に移動し、
この目的位置Ｐｏ’に表示させ、当該可動部を処理済と
する。なお、ここでも、ステップＳＭ７と同様に、目的
位置Ｐｏ’を目標位置として、現在位置からこの目標位
置Ｐｏ’に向かって補間をしながら所定タイミング以内
で移動させることができる。

【００７４】〔ステップＳＭ１０〕ステップＳＭ１０で
は、処理済でない残りの可動部について、受信ＭＩＤＩ
演奏データのイベントＩｖで動作させる可動部がまだあ
るかどうかを調べ、該当する可動部がある（ＹＥＳ）場
合は、ステップＳＭ１に戻り、該当する可動部について
ステップＳＭ１以下の処理を繰り返す。また、これに該
当する可動部がない（ＮＯ）場合には、次のＭＩＤＩ演
奏データ受信を待機する当初の状態に復帰する。

【００７５】〔個別動作時の演奏データ処理フロー例〕
次に、所定の動作パラメータに対する処理フローの一例
を説明する。図示しない操作手順に基づいて、入力装置
４を操作して、ＭＩＤＩファイルをシステムにロード
し、このファイルから所望の楽曲を選択すると、この楽
曲に応じて対応する一連の動作パラメータがＲＡＭ３上
に読み出される。これらの動作パラメータは、図６〜１
０に表示されているとおりのものであるとして、以下、
説明しよう。なお、この場合、「ダンサ１」〜「ダンサ
３」は、図６の「表示」チェックボックスＤＣがチェッ
クされているので、表示される画像オブジェクトとして
処理すべき対象に選定されるが、「回転」チェックボッ
クスＴＣはチェックされていないので、映像表示に当っ
て回転処理は実行されない。

【００７６】図示しない操作手順に基づいて、ＭＩＤＩ
演奏データに基づく楽曲演奏を開始すると、受信された
ＭＩＤＩ演奏データが調べられ、ステップＳＭ１によ
り、先ず、ＭＩＤＩ演奏データのチャンネルＣＨ１と同
一のチャンネル番号Ｃｎ＝ＣＨ１が設定されている可動
部として、「ダンサ１」の「左ひじ（曲げ）」が検出さ
れる。この「左ひじ（曲げ）」にはＭＩＤＩ演奏データ
の「ノートオン」イベントＩｖがデータタイプ値Ｖｄと
して設定されているので、次のステップＳＭ２で「ＹＥ
Ｓ」と判断され、ステップＳＭ３で現在小節単位Ｎｍを
算出した後、ステップＳＭ４に進む。

【００７７】「左ひじ（曲げ）」にはひじ（肘）に関係
する腕について「左右別動作」（図９）が設定され対称
動作は設定されていないので、ステップＳＭ４で「ＹＥ
Ｓ」と判断され、ステップＳＭ５で「左ひじ（曲げ）」
に設定された「ノートオン」イベントＩｖと受信ＭＩＤ
Ｉ演奏データの「ノートオン」イベントＩｖとの一致が
確認された後、ステップＳＭ６に進む。

【００７８】ステップＳＭ６において、受信ＭＩＤＩ演
奏データのベロシティー値（ここでは、「ノートオン」
なので音量値）Ｖｍが設定カットオフ値Ｖｃ＝“1.000
0”より大きい通常の場合には、「ＹＥＳ」と判断さ
れ、次のステップＳＭ７において、現在位置（この例で
は、図１３（ａ）に示されるように、初期位置）からＶ
ｍ×Ｖｓ＝Ｖｍ×1.0000＝Ｖｍの大きさに相当する角度
だけ曲げられた目的位置Ｐｏに「左ひじ」が変位され
る。従って、この「左ひじ」は、図１３（ａ）に示すよ
うに、左の腕部はこの目的位置Ｐｏに曲げられて左の腕
部が表示される。そして、次のステップＳＭ８に進む。

【００７９】前述のように「左ひじ（曲げ）」には対称
動作が設定されていないので、ステップＳＭ８で「Ｎ
Ｏ」と判断された後、ステップＳＭ１０で、受信ＭＩＤ
Ｉ演奏データのイベントＩｖで動作させるべき可動部が
まだある場合には、ステップＳＭ１に戻り、次に処理す
べき可動部が検出され、この可動部について同様の処理
を繰り返す。

【００８０】〔対称動作時の演奏データ処理フロー例〕
ここで、仮に、「腕の動作設定」（図９）で例えば、
「左手線対称」が動作パラメータとして設定されていた
として、ステップＳＭ１で「左うで（横）」が可動部と
して検出された場合には、ステップＳＭ４において「Ｎ
Ｏ」と判断されてステップＳＭ１０を介してステップＳ
Ｍ１に戻り、可動部の個別処理から除外される。従っ
て、この時点では、「ダンサ１」の左腕は、例えば、
「ノートオン」イベントＩｖに応答しない。

【００８１】しかしながら、ステップＳＭ１で次に「右
うで（横）」が可動部として検出されたときに、ステッ
プＳＭ４において「ＹＥＳ」と判断されてステップＳＭ
５、ステップＳＭ６を通過し、ステップＳＭ７におい
て、先ず「右うで（横）」が動作値“Ａｍ”分だけ横に
移動させられる。そして、「左うで（横）」は、ステッ
プＳＭ８を経た後のステップＳＭ９において、「右うで
（横）」に従動すべき対称可動部として、動作値“−Ａ
ｍ”分だけ「右うで（横）」と線対称に移動させられ
る。従って、これらの「右うで」及び「左うで」は、図
１３（ｂ）に示すように、それぞれ、動作値“Ａｍ”，
“−Ａｍ”分だけ移動した互いに対称な目的位置Ｐｏ’
に表示される。そして、さらに処理すべき可動部がある
か否かを判断する次のステップＳＭ１０に進む。

【００８２】このようにして、受信ＭＩＤＩ演奏データ
のイベントに応答すべき「ダンサ１」〜「ダンサ３」の
可動部の全ての処理が終了すると、次のＭＩＤＩ演奏デ
ータの到来を待ち、ＭＩＤＩ演奏データの受信毎に、図
７の演奏データ処理を逐次的に実行してゆくことによっ
て、ディスプレイ１２上に表示される「ダンサ１」〜
「ダンサ３」は、ＭＩＤＩ演奏データによる楽曲演奏の
進行に合わせて踊ることができる。

【００８３】〔ビート処理手順〕図１４には、ダンスモ
ジュールによるビート処理フローＳＳが示されている。
このビート処理フローＳＳは、ダンシングモードにおい
て実行され、データタイプＶｄ（図７ＤＴ）の選択設定
に関し、「ビートタイプ」データＢｔ（図８「ビートタ
イプ」選択設定部ＢＳ）の動作パラメータが設定されて
いる場合に適用される。従って、この処理が実行される
可動部は、ＭＩＤＩ演奏データによる楽曲演奏の進行に
合ったビートに従うリズミカルな動作を行うことができ
る。

【００８４】このビート処理ＳＳは、ＭＩＤＩ演奏デー
タによる楽曲演奏に伴うビートタイミングに同期し、し
かもこのビートタイミングの倍以上の分解能をもつビー
トタイミング信号によって、ＭＩＤＩ演奏データによる
楽曲演奏中定期的に起動される。このような分解能を採
用することによって、アップビート、ダウンビート（ビ
ートの表、裏でのタイミング）調整を行うことができ
る。このビート処理フローＳＳにおける各ステップでの
処理は以下のようになっている。

【００８５】〔ステップＳＳ１〕ビートタイミング信号
を受信すると、ステップＳＳ１にて小節の先頭であるか
否かを判別し、小節の先頭である（ＹＥＳ）とステップ
ＳＳ２に進み、そうでない（ＮＯ）場合はステップＳＳ
３に進む。 〔ステップＳＳ２〕ステップＳＳ２では、現在の小節数
ｎｍに１を加算して小節数を更新（“ｎｍ＋１”→ｎ
ｍ）した上、ステップＳＳ３に進む。 〔ステップＳＳ３〕ステップＳＳ３では、ビートタイプ
（図７ＢＳ）の動作パラメータを調べ、ビートタイミン
グ信号受信のタイミングで応答するように設定された可
動部を検出する。

【００８６】〔ステップＳＳ４〕ステップＳＳ４では、
検出された可動部の現在のビート数Ｎｔが“０”である
か否かを判別し、“０”である（ＹＥＳ）場合はステッ
プＳＳ５に進み、そうでない（ＮＯ）場合にはステップ
ＳＳ８に進む。 〔ステップＳＳ５〕ステップＳＳ５では、当該可動部の
ビート数Ｎｔを、設定されたビート単位Ｎｂに置換
（“Ｎｂ”→Ｎｔ）する。

【００８７】ここで、設定されたビート単位Ｎｂとは、
「ビートタイプ」データＢｔ（図８ＢＳ）の動作パラメ
ータとして、例えば、「１ビート単位（ダウン）」が設
定されている場合は、値“Ｎｂ”＝１をとり、「１ビー
ト単位（アップ）」設定時にも“Ｎｂ”＝１であり、
「２ビート単位（ダウン）」で“Ｎｂ”＝３、「２ビー
ト単位（アップ）」でも“Ｎｂ”＝３となる。同様に、
「３ビート単位」が設定されている場合は、値“Ｎｂ”
＝５をとり、「４ビート単位」設定時には“Ｎｂ”＝７
である。つまり、アップ及びダウンは、演奏タイミング
のビートとの前後関係であるので、Ｎｂ値には影響され
ない。また、「１小節単位」及び「２小節単位」につい
ては、１小節分のビート数ｎｂに応じて、夫々、“Ｎ
ｂ”＝ｎｂ−１及び“Ｎｂ”＝２ｎｂ−１となる。

【００８８】〔ステップＳＳ６〕ステップＳＳ６では、
現在の小節を８で除算した余りを、現在の小節単位Ｎｍ
（beat now）を表わす値とし、算出する。 〔ステップＳＳ７〕ステップＳＳ７では、当該可動部に
ついて、動作パラメータを調べ、前ステップＳＳ６で算
出された現在小節単位Ｎｍにおいて対称動作の設定がさ
れていないかどうかを判別する。ここで、対称動作が設
定されていない（ＹＥＳ）とステップＳＳ９に進み、対
称動作が設定されている（ＮＯ）場合にはステップＳＳ
１３に進む。

【００８９】〔ステップＳＳ８〕一方、ステップＳＳ８
では、当該可動部のビート数Ｎｔを１だけ減算し値“Ｎ
ｔ−１”に更新（“Ｎｔ−１”→Ｎｔ）した上、ステッ
プＳＳ１３に進む。

【００９０】〔ステップＳＳ９〕ステップＳＳ９では、
ビート出力値Ｖｂが設定カットオフ値Ｖｃ以上であるか
否かを判別し、カットオフ値Ｖｃ以上である（ＹＥＳ）
場合はステップＳＳ１０に進み、値Ｖｃ未満である場合
にはステップＳＳ１３に進む。このステップＳＳ９は、
確認のためのステップなので必要に応じて省略すること
ができる。

【００９１】〔ステップＳＳ１０〕ステップＳＳ１０で
は、当該可動部について、 「ビート出力値」Ｖｂ×「動作スケール値」Ｖｓ＝「動
作振幅値」Ａｓ から動作振幅値Ａｓを求め、当該可動部を、現在位置か
らこの動作振幅値Ａｓ分だけ変位した目的位置Ｐｏに移
動し、この目的位置Ｐｏに表示させ、当該可動部を処理
済とする。このステップは、演奏データ処理ＳＭのステ
ップＳＭ７と同様の処理である。従って、同様に、目的
位置Ｐｏを目標位置として、現在位置からこの目標位置
Ｐｏに向かって補間をしながら所定タイミング以内で移
動させることができ、この場合、可動部は、フラグを設
けて補間中の移動状態を把握可能にしておくのが好まし
い。

【００９２】〔ステップＳＳ１１〕ステップＳＳ１１で
は、ステップＳＭ８と同様に、当該可動部に関係する動
作パラメータを調べ、現在小節単位Ｎｍにおいて、当該
可動部と対称関係にある対称可動部に対して対称動作の
設定がされているか否かを判別する。ここで、対称動作
が設定されている（ＹＥＳ）場合はステップＳＳ１２に
進み、対称動作が設定されていない（ＮＯ）場合にはス
テップＳＳ１２に進む。

【００９３】〔ステップＳＳ１２〕ステップＳＳ１０で
も、ステップＳＭ９と同様に、前述した 「ビート出力値」Ｖｂ×「動作スケール値」Ｖｓ＝「動
作振幅値」Ａｓ から動作振幅値Ａｓを求め、対称可動部を、現在位置か
らこの動作振幅値Ａｓ分だけ対称的に変位した目的位置
Ｐｏ’に移動し、この目的位置Ｐｏ’に表示させ、この
対称可動部を処理済とする。なお、このステップでも、
ステップＳＳ１０と同様に、目的位置Ｐｏ’を目標位置
として、現在位置からこの目標位置Ｐｏ’に向かって補
間をしながら所定タイミング以内で移動させることがで
きる。

【００９４】〔ステップＳＳ１３〕ステップＳＳ１３で
は、処理済でない残りの可動部について、当該タイミン
グで動作させる可動部がまだあるかどうかを調べ、該当
する可動部がある（ＹＥＳ）場合は、ステップＳＳ３に
戻り、該当する可動部についてステップＳＳ２以下の処
理を繰り返す。また、これに該当する可動部がない（Ｎ
Ｏ）場合には、次のビートタイミング信号の受信を待機
する当初の状態に復帰する。

【００９５】ビート処理フローＳＳはこのようなステッ
プＳＳ１〜ステップＳＳ１３から成っているので、この
ビート処理ＳＳによって、「ビートタイプ」データＢｔ
（図８ＢＳ）の動作パラメータとして、例えば「１ビー
ト単位（ダウン）」が設定されている場合には、１ビー
トのダウンタイミング毎に、設定されたビート出力値Ｖ
ｂ及び動作スケール値Ｖｓに応じた量だけ可動部が変位
されることは、容易に理解することができよう。

【００９６】〔減衰処理手順〕図１５には、ダンスモジ
ュールによる減衰処理フローＳＡが「減衰処理（Ｉ）」
として示されている。減衰処理フローＳＡは、図１２及
び図１４の各処理により演奏進行中の楽曲に応答して初
期位置（角度を含む）から変位された可動部を、現在位
置から初期位置に向かって復帰するように、漸次移動さ
せる減衰操作を実行するためのものであり、従って、復
帰処理ともいい得る。

【００９７】減衰処理ＳＡは、ＭＩＤＩ演奏データによ
る楽曲演奏中に定期的な割込みによって起動することが
できる。減衰処理ＳＡの起動は、視覚的に不自然になら
ない程度の比較的長い繰り返し周期の減衰タイミング信
号により行われ、このタイミング信号は、ビートタイミ
ングに同期させてもよいし、ビートタイミングとは独立
してこれに同期させなくてもよい。上記減衰処理（Ｉ）
フローＳＡにおける各ステップでの処理は以下のように
なっている。

【００９８】〔ステップＳＡ１〕減衰タイミング信号を
受信すると、ステップＳＡ１にて、各可動部の現在位置
を調べ、初期位置から位置がずれている可動部を検出す
る。この検出の基準位置となる初期位置は、楽曲のダン
スに適合した最も自然且つ安定な可動部の位置とされ、
例えば、この例では、図４のようにダンサが直立した自
然体姿勢で説明するが、必要に応じて他の任意の位置と
することができる。

【００９９】〔ステップＳＡ２〕ステップＳＡ２では、
検出された可動部の位置偏差として、現在位置と初期位
置との間の距離Ｌを算出する。 〔ステップＳＡ３〕ステップＳＡ３では、当該可動部に
設定された動作パラメータから得た動作減衰値Ｖａを用
いて単位移動距離Ｌｕ＝Ｌａ／（αＶａ）〔αは、適宜
定められた変換定数〕を求め、当該可動部を、現在位置
から初期位置に向かってこの単位移動距離Ｌｕだけ変位
した位置に移動し、この位置に表示させて、当該可動部
の減衰操作を処理済とする。

【０１００】〔ステップＳＡ４〕ステップＳＡ４では、
処理済でない残りの可動部について、当該時点で減衰操
作させる可動部がまだあるかどうかを調べ、該当する可
動部がある（ＹＥＳ）場合は、ステップＳＡ１に戻り、
該当する可動部についてステップＳＡ１以下の処理を繰
り返す。また、これに該当する可動部がない（ＮＯ）場
合には、次の割込み信号の受信を待機する当初の状態に
復帰する。

【０１０１】この減衰処理ＳＡを簡単に説明するため
に、図１３（ｃ）には、減衰処理ＳＡが実行されるダン
サの動作が極く概略的に描かれている。例えば、ダンサ
の「左うで（横）」は、初期位置が一点鎖線で示される
位置であるとすると、減衰タイミング信号受信時点で図
１３（ｃ）の破線で示す現在位置にあるとき、ステップ
ＳＡ１で「左うで（横）」が可動部として検出され、ス
テップＳＡ２で「左うで（横）」の現在位置と初期位置
との間の距離Ｌが算出され、ステップＳＡ３において、
「左うで（横）」の動作パラメータの内の動作減衰値Ｖ
ａが調べられ（図７「減衰」欄ＲＴの値“６”）、距離
Ｌをこの動作減衰値Ｖａ＝６で除算した値Ｌ／Ｖａ＝Ｌ
／６が求められ、「左うで（横）」は、一点鎖線の初期
位置の方向に単位移動距離Ｌｕ＝Ｌａ／６αだけ変位し
た実線の位置に移動させられる。

【０１０２】既に述べたように、演奏データ処理ＳＭ及
びビート処理ＳＳにおけるステップＳＭ７，ＳＭ９，Ｓ
Ｓ１０，ＳＳ１２のような移動表示ステップでは、補間
移動の処理操作を採用することができ、これによって、
可動部がイベントＩｖやビートＢｔに応じて瞬間的では
なくより自然に移動表示することができる。この補間移
動の処理は、例えば、これらの移動表示ステップに併設
した別のルーチンによって実行され、可動部を現在位置
からこの目標位置に向かって補間しつつ移動させ、可動
部が目標位置に到達することにより終了する。また、こ
れに伴って、補間中、可動部が目標位置（Ｐｍ）に到達
するまで可動部ごとにフラグを設けて、可動部の移動状
態を把握することができるようにする。

【０１０３】図１６には、ダンスモジュールによる別の
減衰処理フローＳＡが「減衰処理（II）」として示され
ており、ここに示された減衰処理フローＳＡは、上記の
ような補間移動処理を採用する場合に適用され、図１５
の「減衰処理（Ｉ）」と異なるところは、補間の採用に
伴って、ステップＳＡ１，ＳＡ２間に「ステップＳＡ１
−２」が挿入されていることである。

【０１０４】〔ステップＳＡ１−２〕このステップＳＡ
１−２では、ステップＳＡ１で現在位置が初期位置とず
れていることが検出された可動部について、この可動部
が補間移動中であるか否かが判断される。ここで、移動
中であれば、ステップＳＡ４に進んで減衰すべき他の可
動部を調べる。また、移動中でなければ、ステップＳＡ
２に進んで減衰処理を行う。なお、可動部が補間移動中
であるか否かの判断には、例えば、補間中の移動状態を
把握するために可動部ごとに設けられたフラグを利用す
ることができる。

【０１０５】このようにして、３つの処理ＳＭ，ＳＳ，
ＳＡによって、ダンサの各可動部の動作を、楽音制御信
号の演奏の進行に同期して逐次的に制御することができ
る。また、各可動部を、或る可動部は演奏データ処理Ｓ
Ｍでイベント（Ｉｖ）に応答させ、別のビート処理ＳＳ
でビート（Ｂｔ）に応答させるので、多彩な動作を演出
することができ、対称関係にある可動部の対称動作につ
いては、ステップＳＭ７〜ＳＭ９及びステップＳＳ１０
〜ＳＳ１２のように、算出値を流用して連続処理するの
で、処理構成が簡単化される。

【０１０６】さらに、復帰動作については、処理ＳＭ，
ＳＳによる楽曲のイベント及びビートに応答する積極的
動作に対して、簡単な処理構成の減衰処理ＳＡを用いる
ことにより、原状復帰という自然な動作を実現すること
ができる。さらにまた、これらの積極的動作の変位、つ
まり、ステップＳＭ７，ＳＭ９，ＳＳ１０，ＳＳ１２に
おける変位の基準位置（角度を含む）については、基準
位置を図４のような初期位置として、ダンサ各部を安定
且つ自然な位置に変位させることができる。

【０１０７】以上、画像オブジェクトとしてダンサを用
いる場合のパラメータ設定モード（ダンサ設定モード）
及び画像生成モード（ダンシングモード）について種々
の条件が特定され簡単なＣＧ操作を伴う実施例について
説明してきたが、この実施例は、あくまで一例に過ぎ
ず、この発明の思想の範囲内で必要に応じて変更や付加
を行うことができる。

【０１０８】例えば、ステップＳＭ７，ＳＭ９，ＳＳ１
０，ＳＳ１２における画像オブジェクト可動部の変位直
前の基準位置（角度を含む）については、実施例では、
操作の単純化のために基準位置を初期位置としたが、画
像オブジェクトの動きをもっと複雑多彩なものにするた
め、この基準位置を現在位置として動きの変化を大きく
したり、所定値以上の大きなベロシティー値で変位した
最新位置を基準位置として動きにメリハリのついた動き
にすることができる。

【０１０９】なお、ディスプレイ画面への映像表示につ
いては、既述した画像オブジェクトの回転（図６ＴＣ＜
回転処理＞）の外、種々の画像設定、画像処理、映像修
飾を採用して映像効果を多彩なものにすることができ
る。例えば、画像オブジェクト自体については、服装、
肌の色、髪型、性別等の外見の設定を行えるようにし、
また、画像処理については、既述したカメラ（視点）位
置の変化、画像オブジェクトの回転（図６ＴＣ＜回転処
理＞）の外、１乃至多数の可動光源からの変化のある照
明、照明による反射及び陰影付けを行うようにすること
ができる。さらに、光源や背景画像等の色や明度、カメ
ラ位置（ズーム）等を、楽音制御情報又は同期信号に合
わせて変化させたり、映像表示に際し入力装置４（図
１）の適当なファンクションキーを操作して人為的に種
々の映像操作を行うようにして、一層多彩な映像効果を
得るようにすることもできる。

【０１１０】また、演奏データのＣＧ画像処理への具体
的適用については、例えば、演奏データに基づく楽音生
成の進行に若干先行して演奏データを逐次先読みしてお
き、事前にＣＧ解析（データ量の大小等）や予測を行っ
ておくことにより、「もたり」と呼ばれる処理の重なり
を防止したり、生成される楽音との同期並びに各可動部
間の同期の確実性を一層向上させるようにすることがで
きる。

【０１１１】このような先読み技術を応用乃至変形し
て、演奏データからの別の解析結果を利用して画像オブ
ジェクトを予測的に制御し高度な画像を生成することが
できる。例えば、１イベントだけでなく、複数のイベン
トを或る時間軸で区切り、「ノートオン」情報のノート
ナンバの集合から楽器を弾く可動部の位置を予測するこ
とが考えられる。一例を挙げると、演奏データ分布から
（「ド」、「ミ」、「ソ」のような）和音を解析し、こ
れに基づいて、ダンサ又はピアニスト等の画像オブジェ
クトがピアノを弾いているシーンであれば、その手首の
位置を予想するとともに、残りの腕情報も作成しておく
ようにするのである。

【０１１２】また、前述した補間処理については、ステ
ップＳＭ７のような移動表示ステップで求められた目的
乃至目標位置（Ｐｏ）までを、テンポ情報、アニメーシ
ョン速度から描画回数を割り出し補間移動させたり、或
いは、この目標位置（Ｐｏ）までをビート同期で補間し
たりして、画像オブジェクトを所定タイミング以内で順
次目標位置に到達させるようにし、これにより、動作精
度を一層向上することができる。

【０１１３】さらに、演奏データ中の楽器演奏情報、つ
まり、ＭＩＤＩ演奏データ内の所謂「プログラムチェン
ジ」情報を受信して、この演奏情報によりダンサ等の画
像オブジェクトが楽器を演奏するようにするようにして
もよい。例えば、同じ「ノートオン」イベントであって
も、この「プログラムチェンジ」情報の違いによってピ
アノ音色、バイオリン音色等があるので、この情報に対
応した楽器特有の演奏動作を行わせることができる。こ
のような楽器特有の演奏動作については、実施例のダン
サ設定モジュールは、図１０に示すようにおおむねの動
作テンプレートをもっているので、この動作テンプレー
トを発展させて、ここで楽器を指定することも可能であ
る。

【０１１４】〔演奏データの先読み解析〕前述したよう
に、演奏データのＣＧ画像処理への具体的適用に当っ
て、演奏データに基づく楽音生成の進行に若干先行して
演奏データを逐次先読みしておき、事前にＣＧ解析や予
測を行っておくことは、「もたり」と呼ばれる処理の重
なりを防止したり、生成される楽音との同期並びに各可
動部間の同期の確実性を一層向上させるのに、非常に有
利である。このような先読み解析を行うために、この発
明の好ましい実施態様によれば、演奏データの再生ポイ
ンタとは別個に先読みポインタを用意しておき、アプリ
ケーション側でこの先読みポインタを使い、当該演奏デ
ータによる楽曲演奏に先行して事前に演奏データを解析
しておく。

【０１１５】図１７には、この発明の好適な実施態様に
従い、ダンシングモードにおいて演奏データの先読み解
析を行い、その解析結果に基づくＣＧ画像を楽曲演奏に
合わせて生成させる場合を原理的に示す概念図が示され
ている。この図に示されるように、この発明による先読
み解析処理においては、演奏データの読出しポインタと
して、再生ポインタＲＰ及び先読みポインタＰＰの２つ
が用意される。再生ポインタＲＰは、演奏データブロッ
クＤ₀ ，Ｄ₁ ，Ｄ₂ ，…からなる演奏データのうちの現
在再生中のデータブロックの位置管理のためのポインタ
であり、この再生ポインタＲＰとは別個に設けられる先
読みポインタＰＰは、再生ポインタＲＰにより指示され
る再生データブロックに対して、例えば、所定数（ｎ−
ｍ）だけ、先行するデータブロックを指示し、当該再生
データブロックに対してＣＧデータを準備するためのポ
インタである。

【０１１６】先読みポインタＰＰは、演奏すべき楽曲が
選択されると、演奏データの発音指示がくる前に当該演
奏データを先読みしてその解析を開始し、解析した結果
を記憶装置に記憶させて行く。例えば、時点ｔ_m+1 にて
先読みポインタＰＰにより演奏データのうちデータブロ
ックＤ_m が指示されると、このデータブロックＤ_m の演
奏データが解析される。そして、この演奏データから、
指定された動作パラメータに対応する必要なイベントを
見つけ、このイベント及びその時刻を判断材料として、
当該演奏データの再生時点ｔ_n+1 において生成されるべ
き画像に対応するＣＧデータを決定し、これを解析結果
として記憶させる。そして、この演奏データの楽音発生
時（ｔ_n+1 ）に、記憶装置から解析結果を読出して対応
するＣＧ画像を表示システムＤＰに描画させる。

【０１１７】図１８には、このような先読み解析処理フ
ローＳＥの一実施例が示されており、先読みポインタＰ
Ｐでの処理（Ａ）及び再生ポインタＲＰでの処理（Ｂ）
から成る。再生ポインタＲＰでの処理（Ｂ）は、定期的
な割込みによって起動する必要があり、先読みポインタ
ＰＰでの処理（Ａ）も、定期的な割込みにて起動するこ
とが好ましいが、他の重要な処理（例えば、再生ポイン
タでの処理）の負担が重いときには起動されず、余力が
ある場合に起動されるようにしても構わない。

【０１１８】〔先読みポインタ処理（Ａ）〕先読み解析
処理フローＳＥにおいては、先ず、以下の各ステップＳ
Ｅ１１〜ＳＥ１４から成る先読みポインタ処理（Ａ）に
よって、事前に描画準備がなされ、その後、再生ポイン
タ処理（Ｂ）が行われる。

【０１１９】〔ステップＳＥ１１〕イベント情報を受け
ることにより先読みポインタ処理（Ａ）が起動される
と、ステップＳＥ１１にて、先読みポインタＰＰにより
指示されるデータブロック部分の演奏データが検出され
る。例えば、図１７において、時点ｔ_m+1 にて先読みポ
インタＰＰにより指示されるデータブロックＤ_m の演奏
データが検出され、ステップＳＥ１２に進む。

【０１２０】〔ステップＳＥ１２〕ステップＳＥ１２で
は、検出された演奏データＤ_m が解析され、例えば、演
奏データから、指定された動作パラメータに対応する必
要なイベントを見つけ、このイベント及びその時刻を判
断材料として、当該演奏データの再生時点ｔ_n+1 におい
て生成されるべき画像に対応するＣＧデータを決定す
る。なお、このステップＳＥ１２における解析には、当
該演奏データＤ_m の他に、例えば、それ以前に実行され
た先読みポインタ処理のときに演奏データＤ_m-1 ，Ｄ
_m-2 ，…について解析された結果を利用することができ
る。

【０１２１】〔ステップＳＥ１３〕ステップＳＥ１３で
は、ステップＳＥ１２において解析結果として決定され
たＣＧデータを当該ポインタと共に記憶装置に格納し
て、ステップＳＥ１４に進む。 〔ステップＳＥ１４〕ステップＳＥ１４では、先読みポ
インタＰＰを１つ進めて、次の割込みを待機する状態に
復帰する。

【０１２２】〔再生ポインタ処理（Ｂ）〕このようなス
テップＳＥ１１〜ＳＥ１４から成る先読みポインタ処理
（Ａ）の後に行われる再生ポインタ処理（Ｂ）は、以下
のステップＳＥ２１〜ＳＥ２５から成る。

【０１２３】〔ステップＳＥ２１〕先読みポインタ処理
（Ａ）に若干の遅れをもってイベント情報を受けること
により再生ポインタ処理（Ｂ）が起動されると、ステッ
プＳＥ２１にて、再生ポインタＲＰにより指示されるデ
ータブロック部分の演奏データが検出される。例えば、
図１７において、時点ｔ_n+1 にて再生ポインタＲＰによ
り指示されるデータブロックＤ_m の演奏データが検出さ
れ、ステップＳＥ２２に進む。 〔ステップＳＥ２２〕ステップＳＥ２２では、検出され
た演奏データ（例えば、Ｄ_m ）に基づいて直ちに発音処
理及びその他必要な音源処理が行われる。

【０１２４】〔ステップＳＥ２３〕ステップＳＥ２３で
は、ステップＳＥ２２における発音処理に並行して、先
読み時〔先読みポインタ処理（Ａ）のステップＳＥ１
２〕に当該演奏データに対して準備しておいた解析結果
（ＣＧデータ）を、再生ポインタを基にして記憶装置か
ら読み出し、ステップＳＥ２４に進む。 〔ステップＳＥ２４〕ステップＳＥ２４では、読み出さ
れた解析結果（ＣＧデータ）に基づいてＣＧ画像を描画
し、ステップＳＥ２５に進む。その結果、ディスプレイ
１２の画面上には、当該演奏データ（例えば、Ｄ_m ）に
対応した画像がその演奏に同期して表示される。 〔ステップＳＥ２５〕ステップＳＥ２５では、再生ポイ
ンタＲＰを１つ進めて、次の割込みを待機する状態に復
帰する。このような処理フローによって、演奏データに
対応した発音及び画像生成処理が順次実行されていく。

【０１２５】上述した例では、先読み及び再生をリアル
タイムで並行処理していくものにつて説明したが、再生
前に、ＭＩＤＩファイルからの演奏データをバッチ処理
することによって、先読みを１つの楽曲全部について行
ってしまい、全ての演奏データについて描画準備を整え
た後に、再生処理を行うようにしても構わない。

【０１２６】以上のように、この発明の先読み解析処理
によると、画像が応答すべきイベントに対応するＣＧデ
ータを予め準備しておくので、当該イベントに基づく再
生時点（イベント発生時）での発音及び描画（画像生
成）をスムースに行うことができ、描画の遅延や「もた
り」を生じにくくすることができる。また、再生時点で
の描画処理負担が軽減されるので、例えば、画像オブジ
ェクトとしてピアニストを表示する場合などにおいて、
イベント発生時の可動部をピアニストの右手のみとして
この右手を当該イベントに対応して動くように描画しよ
うする際、余力で、当該イベントに直接関係しない左手
を上げさせたりするというような間合いをつくることも
できる。

【０１２７】〔補間処理〕前述したように、演奏データ
処理ＳＭ、ビート処理ＳＳ及び動作減衰処理ＳＡにおけ
るステップＳＭ７，ＳＭ９，ＳＳ１０，ＳＳ１２，ＳＡ
３のような移動表示ステップにおいては、補間移動の処
理操作を採用すると、可動部をイベントＩｖやビートＢ
ｔ等の演奏情報に応じて現在位置から目的位置に向かっ
てきめ細かく自然に移動表示するのに非常に有利であ
る。この発明の別の好ましい実施態様によれば、これら
の移動表示ステップに対して、拍（ビート）や小節など
の楽曲演奏の進行に伴う所定の同期信号に対応して設定
されたキーフレームを利用して補間処理が実行され、し
かも、画像生成システムの処理能力に見合った補間制御
を実現することができるようになっている。

【０１２８】即ち、この発明の補間処理によると、これ
らの移動表示ステップに対して、上記キーフレームを利
用して補間処理を実行する「指定時間長における補間回
数制御」或いは「時間照合による補間制御」と呼ぶ補間
処理ルーチンを別設することによって、可動部の補間移
動を画像生成システムの処理能力に応じて好適に制御す
ることができる。なお、この発明の補間処理に際して
は、補間中、可動部が目的位置に到達するまで可動部毎
に補間フラグが立てられ、このフラグにより、当該可動
部が移動状態にあり補間処理の対象であることが把握さ
れる。

【０１２９】〔指定時間長における補間回数制御＝補間
処理（１）〕先ず、「指定時間長における補間回数制
御」は、例えば拍（ビート）や小節などの時間単位で予
め時間長を指定し、指定された時間長に対応するタイミ
ングでの基準ＣＧ描画タイミングをキーフレームｋｆ
ｉ，ｋｆi+1 ，…（ｉ＝０，１，２，…）として設定し
ておき、各キーフレームの時間長内の補間回数を制御す
るものである。

【０１３０】図１９には、時間指定長を拍（ビート）単
位にしてこのような補間回数制御を行う場合を説明する
ためのタイムチャートが示されている。つまり、この図
に示される補間回数制御の例においては、拍単位で指定
された演奏タイミングｂｉ，ｂi+1 ，…に対応して描画
キーフレームｋｆｉ，ｋｆi+1 ，…が更新される。補間
動作は、これらのキーフレームの間の補間ポイントｃｊ
（ｊ＝１，２，…，ｎ）にてｎ回実行されるが、この発
明の補間回数制御の特徴に従うと、指定時間長（ｋｆｉ
〜ｋｆi+2 ，ｋｆi+1 〜ｋｆi+2 ，…）における補間回
数ｎがシステムの処理能力に応じて好適に制御され、対
応する細かさをもつ補間を行うことができる。

【０１３１】図２０には、このような補間回数制御にお
ける要部処理フロー例が「補間処理（１）」として示さ
れている。この補間処理（１）のフローＳＮは、図１９
と同様に時間長として拍（ビート）が指定される例につ
いてのものであり、各ステップでの処理は以下のように
なっている。

【０１３２】〔ステップＳＮ１〕この補間処理（１）が
システムの処理能力に応じて設定された所定時間間隔の
定期的な割込みにより起動され、補間中であることを示
す補間フラグが立てられているＣＧ画像オブジェクト可
動部が検出されると、先ず、ステップＳＮ１において、
検出された可動部について、演奏情報や制御情報等の補
間制御に必要なデータを取得し、続いて、ステップＳＮ
２に進む。 〔ステップＳＮ２〕ステップＳＮ２では、演奏情報中の
拍データを判定して拍更新タイミングであるか否かを判
別し、拍更新タイミングである（ＹＥＳ）とステップＳ
Ｎ８に進み、そうでない（ＮＯ）場合はステップＳＮ３
に進む。 〔ステップＳＮ３〕ステップＳＮ３では、補間ポイント
番号ｃｊを当初は任意の値に想定されていた補間回数ｎ
と比較し、ｃｊ≧ｎであればステップＳＮ７に進み、そ
うでない（ｃｊ＜ｎ）場合はステップＳＮ４に進む。

【０１３３】〔ステップＳＮ４〕ステップＳＮ４では、
当該可動部について、補間ポイント番号ｃｊを１だけイ
ンクリメントして値“ｃｊ＋１”に更新（“ｃｊ＋１”
→ｃｊ）した上、ステップＳＮ５に進む。 〔ステップＳＮ５〕ステップＳＮ５では、演奏情報のベ
ロシティー値Ｖと動作スケール値Ｖｓとの乗算値（全移
動量：回転角や移動距離）に所定の係数Ｋｎをさらに乗
算して得られる当該キーフレームｋｆｉの当初位置から
最終位置までのキーフレーム間移動量をＡｎ＝Ｋｎ×Ｖ
×Ｖｓとすると、当該可動部について、 Ａｎ×（ｃｊ／ｎ）＝「補間変化量」Ｖｊ によって、当該キーフレームｋｆｉの当初位置から今回
（第ｊ回）補間位置までの補間変化量Ｖｊを求め、ステ
ップＳＮ６に進む。 〔ステップＳＮ６〕ステップＳＮ６では、当初位置から
補間変化量Ｖｊだけ変位した今回補間位置に描画を行っ
て、前回（第ｊ−１回）補間位置からこの位置に当該可
動部を移動させた上、リターンし、補間フラグが立てら
れている次の可動部があればステップＳＮ１に戻って次
の可動部について同様の処理を行い、なければ次の起動
を待機する状態に戻る。なお、ステップＳＮ５で、Ａ／
ｎ＝「単位補間変化量」Ｖｕを求め、ステップＳＮ６
で、前回（第ｊ−１回）補間位置から単位補間変化量Ｖ
ｕだけ変位させた位置を描画するようにしてもよい。

【０１３４】〔ステップＳＮ７〕ステップＳＮ７では、
当該可動部について、補間回数変化量ｒを１だけインク
リメントして値“ｒ＋１”に更新（“ｒ＋１”→ｒ）し
た上、ステップＳＮ５に進む。

【０１３５】〔ステップＳＮ８〕ステップＳＮ８では、
キーフレームｋｆｉを更新（“ｋｆi+1 ”→ｋｆｉ）
し、ステップＳＮ９に進む。 〔ステップＳＮ９〕ステップＳＮ９では、補間回数変化
量ｒが“０”であるか否かを判別し、ｒ＝０である（Ｙ
ＥＳ）とステップＳＮ１０に進み、そうでない（ＮＯ：
ｒ＞０）場合はステップＳＮ１１に進む。 〔ステップＳＮ１０〕ステップＳＮ１０では、補間回数
ｎを補間ポイント番号ｃｊに更新（“ｃｊ”→ｎ）し、
ステップＳＮ１２に進む。 〔ステップＳＮ１１〕ステップＳＮ１１では、補間回数
ｎを補間回数変化量ｒが加算された値ｎ＋ｒに更新
（“ｎ＋ｒ”→ｎ）した上、ステップＳＮ１２に進む。 〔ステップＳＮ１２〕ステップＳＮ１２では、次のキー
フレームｋｆi+1 での処理に備えるため、当該可動部に
ついて、補間ポイント番号ｃｊ及び補間回数変化量ｒを
夫々値“０”に初期化した上、ステップＳＮ４〜ＳＮ６
に進む。

【０１３６】なお、補間処理（１）による補間回数制御
は、後で詳しく説明するように、キーフレーム更新ステ
ップＳＮ８を経由してステップＳＮ１０，ＳＮ１１で補
間回数ｎを更新することにあるので、この補間回数制御
を割込み時間間隔の変更に拘わらず有効に機能させるに
は、可動部の現在位置から目的位置までの補間区間（全
移動時間）を複数のキーフレームにまたがらせる必要が
ある。従って、ステップＳＮ５における係数Ｋｎは１未
満の値にすることが好ましい。しかしながら、或る可動
部について更新された補間回数ｎを、以後のキーフレー
ムにおける他の可動部の補間処理にも流用する構成によ
って、所定の可動部については係数Ｋｎを１以上（１キ
ーフレーム期間未満）とすることができる。

【０１３７】以上のステップＳＮ１〜ＳＮ１２から理解
されるように、この補間処理（１）によると、次の操作
が行われる： 〔１〕当該描画キーフレーム期間ｋｆｉ〜ｋｆi+1 での
補間動作 或る拍更新タイミングｂｉにて対応描画キーフレームｋ
ｆｉに更新されてから次の拍更新タイミングＢi+1 に到
達するまでの間、（ａ）補間ポイント番号ｃｊ即ち補間
回数が設定補間回数ｎに達するまでは、ステップＳＮ２
〜ＳＮ６によって、この補間回数ｃｊだけ補間を行い、
（ｂ）補間回数ｃｊが設定補間回数ｎを越えると、ステ
ップＳＮ７を介して補間回数変化量ｒを順次インクリメ
ント（“ｒ＋１”→ｒ）しながら、ステップＳＮ５，Ｓ
Ｎ６によって、さらに、回数ｒだけ余分に補間を継続す
る。

【０１３８】〔２〕次の描画キーフレーム期間ｋｆi+1
〜ｋｆi+2 に対する設定動作 次の拍更新タイミングＢi+1 に到達すると、キーフレー
ムｋｆｉは、ステップＳＮ８にて次の描画キーフレーム
ｋｆi+1 に更新され、補間回数ｎについては、（ａ）設
定補間回数ｎ以下の実際補間回数ｃｊで更新タイミング
Ｂi+1 に到達した場合（ｒ＝０）には、ステップＳＮ１
０によって、この実際補間回数ｃｊを設定補間回数ｎと
し、（ｂ）設定補間回数ｎを超える実際補間回数ｎ＋ｒ
で更新タイミングＢi+1 に到達した場合（ｒ＞０）に
は、ステップＳＮ１１によって、この実際補間回数ｎ＋
ｒを設定補間回数ｎとして、更に次の描画キーフレーム
ｋｆi+2 の更新までのフレーム期間ｋｆi+1 〜ｋｆi+2
の補間動作に備える一方、補間ポイント番号ｃｊ及び補
間回数変化量ｒについては、ステップＳＮ１２において
夫々“０”に初期化される。

【０１３９】つまり、 （ａ）フレーム期間ｋｆｉ〜ｋｆi+1 において、実際に
行われた補間動作が予め設定されていた回数ｎ以下（ｒ
＝０）の場合には、補間の余力がなかったとして、この
フレームで到達した補間ポイント番号ｃｊ即ち実際に補
間することができた回数ｃｊを、順次、次フレーム期間
ｋｆi+1 〜ｋｆi+2 の設定補間回数として、補間回数を
システムの処理能力に応じた値に収束させる。 （ｂ）フレーム期間ｋｆｉ〜ｋｆi+1 において、補間動
作が設定回数ｎを超える（ｒ＞０）の場合には、設定回
数ｎだけ補間を行いその後もｒ回補間する余力があった
とみなし、更に次のフレームｋｆi+2 の更新まで、この
余力分ｒをも含めて設定補間回数として、さらに細かい
補間を行うことができるようにする。この場合も補間回
数はシステムの処理能力に応じた値に収束し、この補間
回数で細かい補間処理が実行されていく。

【０１４０】従って、この発明の補間処理（１）による
と、システムの処理能力に応じた細かさの補間を行うこ
とが可能になり、同一のシステムであっても、処理すべ
き負荷の増減に対して、後続する描画キーフレームから
順次補間回数を増減する対応をリアルタイムで実現する
ことができる。また、この補間処理（１）は、特に、ビ
ートに同期するＣＧアニメーション画像を得るのに好適
である。

【０１４１】〔時間照合による補間制御＝補間処理
（２）〕次に、「時間照合による補間制御」は、演奏す
べき楽曲中に、例えば拍（ビート）や小節やチック数な
どの時間単位で予め任意に指定された時間長Ｄに対応し
た基準タイミングをキーフレームｋｆｉ，ｋｆi+1 ，…
（ｉ＝０，１，２，…）として設定すると共に、キーフ
レームｋｆｉのデータに、キーフレーム開始時間情報Ｔ
kf及び補間時間長Ｄを包含させておき、楽曲演奏の開始
からの経過時間ｔｍをこの開始時間Ｔkfと描画毎に照合
し、この時間長Ｄ内で順次補間動作を行い、楽曲演奏が
次のキーフレームに到達したら次の時間長Ｄ内での補間
動作を開始するものである。

【０１４２】図２１には、このような時間照合による補
間制御を行う場合を説明するためのタイムチャートが示
されている。また、図２２には、この補間制御における
要部の処理フロー例が「補間処理（２）」として示され
ており，この処理フローＳＩにおける各ステップでの処
理は以下のようになっている。

【０１４３】〔ステップＳＩ１〕この補間処理（２）が
システムの処理能力に応じて設定された所定の時間間隔
の割込みにより起動され、補間中であることを示す補間
フラグが立てられているＣＧ画像オブジェクト可動部が
検出されると、先ず、ステップＳＩ１において、当該可
動部について、演奏情報や制御情報等の補間制御に必要
なデータを取得し、続いて、ステップＳＩ２に進む。 〔ステップＳＩ２〕ステップＳＩ２では、再生ポインタ
により指示されるそのときの演奏情報から当該演奏開始
からの経過時間ｔｍを得て、この経過時間ｔｍを次のキ
ーフレームｋｆi+1 の開始時間Ｔkfと照合し、経過時間
ｔｍがキーフレーム開始時間Ｔkfに到達している（ＹＥ
Ｓ：ｔｍ≧Ｔkf）場合はステップＳＩ５に進み、そうで
ない（ＮＯ：ｔｍ＜Ｔkf）場合にはステップＳＩ３に進
む。

【０１４４】〔ステップＳＩ３〕ステップＳＩ３では、
演奏情報のベロシティー値Ｖと動作スケール値Ｖｓの乗
算値（全移動量：回転角や移動距離）に、適当な任意の
係数Ｋｉをさらに乗算して得られる当該キーフレームｋ
ｆｉの開始位置からの最終位置までのキーフレーム移動
量をＡｉ＝Ｋｉ×Ｖ×Ｖｓとすると、当該可動部につい
て、 Ａｉ×｛（Ｔkf−ｔｍ）／Ｄ｝＝「補間変化量」Ｖｍ によって、開始位置から今回補間位置までの補間変化量
Ｖｍを求め、ステップＳＩ４に進む。なお、係数Ｋｉ
は、現在位置から目的位置までの総補間区間が１キーフ
レーム期間をカバーするように、１未満とすることが好
ましい。 〔ステップＳＩ４〕ステップＳＩ４では、開始位置から
補間変化量Ｖｍだけ変位した今回補間位置に描画を行っ
て、前回の補間位置からこの位置に可動部を移動させた
上、リターンし、補間フラグが立てられている次の可動
部があればステップＳＩ１に戻って次の可動部について
同様の処理を行い、なければ次の起動を待機する状態に
戻る。

【０１４５】〔ステップＳＩ５〕ステップＳＩ５では、
キーフレームｋｆｉを更新（“ｋｆi+1 ”→ｋｆｉ）し
て、開始時間Ｔkfを更新（“Ｔkf＋Ｄ”→Ｔkf）し次の
キーフレームｋｆi+1 での開始位置を求めた上、ステッ
プＳＩ３，ＳＩ４に進む。

【０１４６】以上のステップＳＩ１〜ＳＩ５から理解さ
れるように、この補間処理（２）によると、システムの
処理能力に応じて許容される定期的な割込みに対応する
時間ｔｍに従って、そのときのキーフレーム内補間位置
が確実に求められる。また、この補間処理（２）は、特
に、イベント演奏情報に応答してこれに同期するＣＧア
ニメーション画像を得るのに好適である。以上のよう
に、この発明の補間処理により、スムースな画像の動作
が確保されしかも音楽の演奏に同期したアニメーション
が得られる画像生成方法を実現することができる。

【０１４７】〔演奏データ解析による位置決め動作制
御〕ＭＩＤＩ演奏情報のような楽曲演奏情報には、図８
のエリアＤＡ，ＣＡに例示されたイベント（ノートオン
／オフ、各種コントロール情報等）や、時間、テンポ、
プログラムチェンジ（音色選択）等々、種々の演奏用の
データが含まれるので、これらの演奏データを、単に画
像オブジェクト可動部の個々の動作に利用するだけでな
く、画像全体の制御に関わるものとして扱うことによっ
て、例えば、演奏モデルの運指や演奏形態に関する特殊
な情報を与えるものとして解析したり、特定の画像制御
指示情報を与えるものとして利用したりすることによっ
て、より高度で多彩な動画像を生成することができる。

【０１４８】そこで、この発明に従うと、演奏データの
まとまりを解析する座標生成アルゴリズムを用いて、画
像オブジェクト（ＣＧモデル）の移動後の座標データを
生成し、この座標データに基づいて画像オブジェクトの
動作を制御する方法が提供される。この方法において
は、図２３の概念図に示されるように、楽音及び画像生
成モジュールの一部を構成する座標生成アルゴリズムＰ
Ａにより、楽曲情報源ＭＳから与えられる演奏データ
（例えば、ノートオン／オフ等のイベント）からＣＧモ
デル各部の座標値又は角度値等の移動制御に必要な諸量
を計算し、この計算により得られた値をキーフレーム座
標値等で表されるＣＧデータに変換する。そして、演奏
データに基づく楽音の生成に同期して、ＣＧデータに基
づいて楽音生成することによって、ＣＧモデルの自然な
演奏動作を現出する。

【０１４９】一例を挙げると、既述のように、複数の演
奏データを解析しその解析結果を利用して画像オブジェ
クトの所定可動部の動きを制御することによって、より
自然な画像を生成することができる。例えば、複数のイ
ベントを或る時間軸で区切り、「ノートオン」情報のノ
ートナンバの集合からそのときの演奏形態を推定するこ
とにより、楽器を弾く可動部をより自然に位置決めする
ことができる。画像オブジェクトとしてピアノを弾いて
いるピアニストを生成する例についていえば、演奏デー
タ分布から和音を解析し、この解析結果に基づいてピア
ニストの手首の位置を位置決め制御するというようにし
て、ピアニストの自然な動きを実現することが可能にな
る。

【０１５０】この発明では、このような自然な動きを実
現するために、座標生成アルゴリズムを用いて、演奏デ
ータのまとまりを解析して楽器を演奏する演奏者モデル
の演奏形態を推定し、この推定に従って移動すべき位置
の座標値をＣＧデータとして計算した上、このＣＧデー
タによって演奏者モデルの演奏動作が制御されるのであ
る。

【０１５１】なお、このような演奏動作を精度よく且つ
リアルに現出するには、多数の演奏データを種々の演算
により解析したり必要に応じて演奏データの前後関係を
も加味した推測を行うようにすればよいが、この場合
は、後述するように、楽音生成との確実な同期のため
に、予め解析乃至推測を行って演奏者モデルの動作制御
情報を作成しておき、楽曲演奏時にこの動作制御情報を
用いて演奏動作を再現するようにすることが好ましい。
演奏データ解析による位置決め動作制御

【０１５２】〔手首位置決め処理〕先ず、この発明に従
い、演奏データを解析し演奏形態を推定してＣＧモデル
の位置決めする動作制御を、リアルタイムでも実現する
ことができる極く簡単な動作制御方法を説明しよう。こ
の方法は、上述のピアニストのようなピアノ等のキーボ
ードの演奏者モデルを画像オブジェクトとしてその手首
を位置決めする場合を例にして、便宜的に「手首位置決
め処理」と名付けられる。この「手首位置決め処理」に
おいては、演奏データのまとまりとして同一タイミング
のノートオンデータが利用され、これらのデータからキ
ーボードを弾く演奏者モデルの手首の位置が算出され
る。図２４には、上述した手首位置決め処理（ＳＷ）を
原理的に説明するための概略的上面図が示され、ＸＹ平
面のＸ軸に沿って設けられたキーボードＫＢを上（Ｚ軸
の正側）から見た場合に、ＣＧ描画処理される演奏者モ
デルの左手首ＷＲのキーボードＫＢに対する位置関係が
表わされている。

【０１５３】また、図２５には、手首位置決め処理（Ｓ
Ｗ）の座標計算アルゴリズムを概略的に示すフローチャ
ートが示されている。この図に示された処理フローＳＷ
は、手首に関係する可動部に関する演奏データを受信
し、これらの演奏データのうちほぼ同一とみなし得るタ
イミングに属する複数のノートオンデータＮｉ（これら
のノートオンデータはノートナンバＮｉで表わすものと
する）が到来することによって、起動することができ
る。この処理フローＳＷにおける各ステップでの処理を
説明すると、以下のようになっている。

【０１５４】〔ステップＳＷ１〕ステップＳＷ１におい
て、これら同一タイミングのノートオンデータＮｉが全
て検出され、続いて、ステップＳＷ２に進む。 〔ステップＳＷ２〕ステップＳＷ２では、ステップＳＷ
１で検出された全ての同一タイミングノートオンデータ
Ｎｉについて、値“Ｎｉ−Ｎｏ”を値“０”と比較す
る。ここで、Ｎｏは、基準位置として選ばれた所定ノー
トのノートナンバであり、複数の値“Ｎｉ”に対するこ
の比較の判定には、多数決論理が採用される。そして、
この比較の結果、Ｎｉ−Ｎｏ≧０（ＹＥＳ）と判定され
るとステップＳＷ６に進み、そうでない（ＮＯ：Ｎｉ−
Ｎｏ＜０）場合はステップＳＷ３に進む。

【０１５５】〔ステップＳＷ３〕ステップＳＷ３に進ん
だ場合、検出された同一タイミングノートオンデータＮ
ｉは、ピアニストの左手で弾かれる演奏形態を伴うもの
と認識され、ステップＳＷ４に進む。 〔ステップＳＷ４〕ステップＳＷ４では、これらの同一
タイミングノートオンデータＮｉについて、値“Ｎｉ−
Ｎｏ”（＜０）の平均値ＮＬが算出され、さらに、ステ
ップＳＷ５に進む。 〔ステップＳＷ５〕ステップＳＷ５では、これらの同一
タイミングノートオンこの平均値ＮＬがノートナンバＮ
ｏの位置を原点とした直線座標上の左手首ＷＬの位置を
表わすものとして、この位置に左手首ＷＬのＣＧ描画を
行った上、リターンして次の同一タイミングノートオン
データの到来を待つ。

【０１５６】〔ステップＳＷ６〕ステップＳＷ６に進ん
だ場合には、同一タイミングノートオンデータＮｉがピ
アニストの右手で弾かれるものと認識され、ステップＳ
Ｗ７に進む。 〔ステップＳＷ７〕ステップＳＷ７では、これらの同一
タイミングノートオンデータＮｉについて、値“Ｎｉ−
Ｎｏ”（≧０）の平均値ＮＲが算出され、さらに、ステ
ップＳＷ８に進む。 〔ステップＳＷ８〕ステップＳＷ８では、これらの同一
タイミングノートオンこの平均値ＮＲをノートナンバＮ
ｏの位置を原点とした直線座標上の右手首ＷＲの位置と
してＣＧ描画を行った上、リターンして次の同一タイミ
ングノートオンデータの到来を待つ。

【０１５７】このような処理の結果、例えば、ステップ
ＳＷ１〜ＳＷ５を経た後ステップＳＷ６に進んだ場合に
は、図２４に示されるように、ノートナンバＮｏの位置
を原点とする直線座標系（Ｘ軸）上の平均値ＮＬ（＜
０）の位置に、左手首ＷＬがＣＧ描画される。

【０１５８】このようにして左右両手首ＷＬ，ＷＲの位
置ＮＬ，ＮＲが決定されると、ひじ（肘）、うで
（腕）、肩の位置も自動的に決定することができ、演奏
者モデルの概ねの骨格を決定することが可能になる。

【０１５９】上述した手首位置決め処理の例において
は、同一タイミングノートオンデータＮｉの平均値Ｎ
Ｌ，ＮＲを算出し、単にこの平均値を用いて、手首位置
を決定するものとしている。しかしながら、これに加え
て、各種の推定や演算を行い、これに基づいて演奏者モ
デル各部の動きを制御し、演奏者モデルをさらに自然に
動作させることができる。

【０１６０】例えば、図２４の右側に示されるように、
右手首ＷＲの場合には、同一タイミングノートオンデー
タＮｉのうち、値“Ｎｉ−Ｎｏ”が一番大きいものは小
指に相当し、この値が一番小さいものは親指に相当する
と推定して、この推定を演奏者モデル各部の動きに反映
させることも可能である。さらに、この場合、両指の長
さは異なるわけであるから、手首位置に関して、両指の
長さの比に応じて重み付けを行うなどの演算を施しても
構わない。

【０１６１】また、上述の例では、図２４において一本
の直線座標系（Ｘ）に沿うキーボードＫＢで示されるよ
うに、ピアノのような一段形鍵盤楽器を演奏するように
しているが、例えば、演奏される楽器がオルガンである
場合には、直線座標系として上下２段を設けるようにす
ることができる。この場合も、上段側を右手に、下段側
を左手に夫々割当てるなど、演奏データに応じて各段座
標系に対する各手首位置を決定するためのオルガン演奏
アルゴリズムを用意しておくことにより、一段形鍵盤楽
器と同様に、演奏者モデル各部の動きを制御することが
できる。

【０１６２】〔先読みを併用する演奏データ解析による
位置決め制御〕この手首位置決め処理のように演奏デー
タを解析して演奏形態を推定し位置決めを行う制御は、
前述したように、予め動作制御情報を作成しておくこと
によって、楽音の演奏と確実に同期させて精度よく実現
することができる。つまり、予め、先読みにより得た演
奏データ群に種々の演算や推測を施して解析することに
より、楽器を弾く演奏者モデルのような画像オブジェク
トの可動部の自然な位置を予測しておき、当該演奏デー
タ群に対応する楽曲及び画像生成時に、解析による予測
結果を用いて画像オブジェクトの動作を制御する。この
ようにすると、例えば、予め、手首位置決め処理により
手首位置の情報等を作成する際に、残りの各部（ひじ、
うで、肩等）の位置情報の作成や前述した推定や演算を
も、楽音演奏に遅れることなく余裕をもって作成するこ
とができる。従って、楽曲及び画像生成時には、一層高
度な画像を楽音演奏と確実に同期させつつ生成すること
ができる。

【０１６３】このような先読み解析を用いて図２５に示
される「手首位置決め処理」を実行する場合について説
明しておく。この場合には、図２５の処理フローＳＷの
殆どを図１８（Ａ）の先読みポインタ処理ステップＳＥ
１２に対応させ、ステップＳＷ５，ＳＷ８における描画
処理のみを図１８（Ｂ）の再生ポインタ処理ステップＳ
Ｅ２３，ＳＥ２４に対応させればよい。

【０１６４】即ち、図１８（Ａ）の先読みポインタ処理
のステップＳＥ１にて、先読みポインタＰＰにより指示
される演奏データが順次検出されていくと、ステップＳ
Ｗ１に移行する。このステップＳＷ１では、これらの演
奏データから、ほぼ同一とみなし得るタイミングのノー
トオンデータＮｉが全て検出され、ステップＳＷ２を経
た後、順次、ステップＳＷ３，ＳＷ４或いはステップＳ
Ｗ６，ＳＷ７を介して、ステップＳＷ５或いはステップ
ＳＷ８に進む。

【０１６５】ステップＳＷ５，ＳＷ８においては、同一
タイミングノートオンデータＮｉの群について算出され
た“Ｎｉ−Ｎｏ”の平均値ＮＬ，ＮＲを、ノートナンバ
Ｎｏの位置を原点とした直線座標上の手首ＷＬ，ＷＲの
位置を表わすＣＧデータとしてポインタと共に記憶装置
に格納しておき、ここで、先読みに基づく事前の演奏デ
ータ解析処理を終える。そして、楽曲及び画像生成時に
は、ステップＳＷ５，ＳＷ８における描画処理を図１８
（Ｂ）の再生ポインタ処理ステップＳＥ２３，ＳＥ２４
に対応させる。つまり、ステップＳＥ２３にて、再生ポ
インタＲＰの指示に対応する手首位置決め用ＣＧデータ
を記憶装置から対応する手首ＷＬ，ＷＲのＣＧデータを
読み出した後、ステップＳＥ２４において、このＣＧデ
ータに基づいてノート原点（Ｎｏ）として平均値ＮＬ，
ＮＲの点を手首ＷＬ，ＷＲの位置としＣＧ描画を行う。

【０１６６】〔ＣＧモデルの表示切替え〕さらに、楽曲
情報には、これまでの例で利用した演奏データの他に、
例えばプログラムチェンジのような、種々の利用可能な
演奏データが含まれるので、このような情報を利用して
画像制御を行うと、一層多彩な動画像を生成することが
できる。その一利用例を挙げると、プログラムチェンジ
などの演奏データはＣＧモデルＩＭの表示切替え用画像
制御情報として利用することが可能である。この場合、
ＣＧモデルＩＭ及び位置決めアルゴリズムＰＡとして、
特定の楽器を演奏するＣＧモデルＩＭ₁ ，ＩＭ₂ ，…及
びこれらのモデルに夫々対応する各楽器固有の座標生成
（位置決め）アルゴリズムＰＡ₁ ，ＰＡ₂ ，…を複数組
用意しておき、音色選択に用いられるプログラムチェン
ジ情報によって、対応するＣＧモデル及び位置決めアル
ゴリズムに切り替えるようにすればよい。

【０１６７】つまり、図２６の概念図に示すように、楽
曲情報源ＭＳからの特定の演奏データがどの楽器に関す
る情報を提供しているかを判定し、この楽器種別の判定
結果に基づいて、予め用意された複数のＣＧモデル・ア
ルゴリズム組ＩＭ₁ −ＰＡ₁，ＩＭ₂ −ＰＡ₂ ，…の中
から対応するＣＧモデル及びアルゴリズムを選択する。
従って、例えば、特定の演奏データとしてプログラムチ
ェンジの音色情報を用いた際には、演奏データ中の音色
情報により音色切替え指示を得ると、描画対象ＣＧモデ
ルＩＭを指示された楽器画像及び演奏者モデルに切り替
えると共に、実行させる座標生成アルゴリズムＰＡも切
り替えて、対応するアルゴリズムに基づいて演奏者モデ
ルをＣＧ描画処理することができる。

【０１６８】例えば、図２４，２５の例に示されるよう
なピアノ演奏アルゴリズム及び前述したオルガン演奏ア
ルゴリズムについて説明すると、これらのピアノ演奏ア
ルゴリズム及びオルガン演奏アルゴリズムを演奏データ
中のピアノ音色情報及びオルガン音色情報にそれぞれ応
答するようにプログラムしておき、演奏データの音色情
報がピアノである場合にはピアノ演奏アルゴリズムに基
づいて一段形鍵盤楽器たるピアノを演奏する演奏者モデ
ルを描画し、音色情報がオルガンになった場合には、こ
の音色切替え指示によって、描画すべき画像を二段形鍵
盤楽器であるオルガンに変更すると共にアルゴリズムを
オルガン演奏アルゴリズムに切り替えてこのオルガンを
演奏する演奏者モデルを描画すれば良い。

【０１６９】なお、図２６の破線で示すように、ユーザ
インターフェースＵＩに楽器或いはアルゴリズム選択ボ
タンを設けて、この選択ボタンを任意に操作することに
よって、選択信号にてＣＧモデルＩＭ及びアルゴリズム
ＰＡが選択され、任意の楽器演奏画像に切替え表示させ
ることもできる。

【０１７０】

【発明の効果】以上のように、この発明によれば、演奏
すべき楽曲に対応して、ディスプレイ画面に表示される
画像オブジェクトの各部の動きを制御するための動作パ
ラメータを予め設定し、当該楽曲の演奏時には、対応す
る楽音制御情報及び同期信号を基にして設定された動作
パラメータに従って各部の動きが制御された画像を生成
するようにしているので、生成される画像は、演奏され
る音楽の曲想のみならず、演奏の進行に応じてこれと一
体的に変化することができる。

【０１７１】この発明では、また、画像オブジェクトの
各可動部の動作パラメータを任意に設定するようにした
パラメータ設定モードが備えられているので、単に音楽
との一体感に優れた動画像を映像表示するだけでなく、
演奏データを基にして踊り手のような画像オブジェクト
の動きをユーザが自由に設定することができる参加型の
マンマシンインターフェースを提供することができる。

【０１７２】この発明によれば、先読み解析処理によっ
て、事前に演奏データを解析しＣＧデータを予め準備し
ておくので、イベント発生時（再生時）の描画は、準備
されたＣＧデータを利用することにより、楽音の生成に
確実に同期して実行することができ、描画遅延や「もた
り」が生じにくくなる。また、再生時の描画処理負担が
軽減されるので、例えば、ピアニストＣＧなどでは、当
該イベントに直接関係しない手を間合いで上げさせたり
するというように、余裕のあるＣＧ画像を生成すること
が可能になる。

【０１７３】この発明の補間処理によれば、同期信号に
対応したキーフレームを用いて画像生成システムの処理
能力に応じた補間制御を行うので、スムースな画像の動
作を確保することができ、しかも、音楽の演奏に同期し
たアニメーションを確実に得ることができる。

【０１７４】さらに、この発明によると、楽音データの
まとまりを解析して演奏状態を予測することによって、
演奏者モデルを自然な演奏形態でリアルに動作するアニ
メーションを作成することができる。また、このような
解析処理のアルゴリズムを種々の画像に対応して選択可
能に複数用意しておくことにより、多彩なアニメーショ
ンを簡単に切り替えることができる。

【０１７５】そして、この発明においては、ＣＧ動画像
を生成するのに、すべて、同時に楽音として演奏される
楽曲情報の演奏データ及び同期信号を用いているので、
画像の動きが、演奏される各楽曲に特有でフィットして
おり、且つ、楽曲毎に異なっており、しかも、楽曲演奏
に同期したアニメーションを容易に作成することができ
る。

【０１７６】この発明では、また、パラメータ設定モー
ドで楽曲に合わせて設定した動作パラメータをフロッピ
ーディスクのような記憶媒体に記憶しておくことがで
き、楽曲演奏時には、この記憶媒体から、演奏される楽
曲に応じて動作パラメータを読み出してくることができ
る。

【図面の簡単な説明】

【図１】図１は、この発明の一実施例による楽音応答画
像生成システムのハードウエア構成を示すブロック図で
ある。

【図２】図２は、この発明の一実施例による楽音応答画
像生成システムのソフトウエア構成を示すブロック図で
ある。

【図３】図３は、ダンシングモードにおいてディスプレ
イ画面上に表示される画像例を示す。

【図４】図４は、画像オブジェクト（ダンサ）の表示構
造を極く概略に示す図である。

【図５】図５は、この発明の一実施例による楽音応答画
像生成方法によるダンサ設定モードにおいて実行される
設定手順の概要を示す図である。

【図６】図６は、ダンサ設定モードにおける「ダンサ設
定」ダイアログ画面を示す図である。

【図７】図７は、ダンサ設定モードにおける「チャンネ
ル設定」ダイアログ画面を示す図である。

【図８】図８は、ダンサ設定モードにおける「データ選
択」ダイアログ画面を示す図である。

【図９】図９は、ダンサ設定モードにおける「腕の動作
設定」ダイアログ画面を示す図である。

【図１０】図１０は、ダンサ設定モードにおける「足の
動作設定」ダイアログ画面を示す図である。

【図１１】図１１は、画源モジュールＩの主機能たるダ
ンスモジュールＤＭを表わす図である。

【図１２】図１２は、ダンシングモードにおける演奏デ
ータ処理フローを示す図である。

【図１３】図１３（ａ）は、左右個別動作を設定した場
合のダンシングモードにおける画像オブジェクト（ダン
サ）の動作を説明するための極く概略的な図であり、図
１３（ｂ）は、線対称動作を設定した場合のダンシング
モードにおける画像オブジェクト（ダンサ）の動作を説
明するための極く概略的な図であり、図１３（ｃ）は、
ダンシングモードにおける減衰処理を説明するための画
像オブジェクト（ダンサ）の極く概略的な図である。

【図１４】図１４は、ダンシングモードにおけるビート
処理フローを示す図である。

【図１５】図１５は、ダンシングモードにおける減衰処
理フローを示す図である。

【図１６】図１６は、ダンシングモードにおける別の減
衰処理フローを示す図である。

【図１７】図１７は、この発明による先読み解析処理を
原理的に示す概念図である。

【図１８】図１８は、この発明の一実施例による先読み
解析処理フローを示す図であり、（Ａ）及び（Ｂ）は、
それぞれ、先読みポインタ及び再生ポインタでの処理を
表わす。

【図１９】図１９は、この発明による「指定時間長にお
ける補間回数制御」を説明するためのタイムチャートを
示す図である。

【図２０】図２０は、この発明による「指定時間長にお
ける補間回数制御」の処理フローを示す図である。

【図２１】図２１は、この発明による「時間照合による
補間制御」を説明するためのタイムチャートを示す図で
ある。

【図２２】図２２は、この発明による「時間照合による
補間制御」の処理フローを示す図である。

【図２３】図２３は、この発明による「演奏データ解析
による位置決め制御」を説明するための概念図である。

【図２４】図２４は、この発明による「手首位置決め処
理」を説明するためのタイムチャートを示す図である。

【図２５】図２５は、この発明による「手首位置決め処
理」の処理フローを示す図である。

【図２６】図２６は、この発明によるＣＧモデルの表示
切替えを説明するための概念図である。

【符号の説明】

１ ＣＰＵ（中央処理装置）、 ２ ＲＯＭ（読出専用メモリ）、 ３ ＲＡＭ（ランダムアクセスメモリ）、 ４ 入力装置、 ５ 外部記憶装置、 ６ 入力インターフェース（Ｉ／Ｆ）、 ７ 音源装置、 ８ 表示処理装置、 ９ バス、 Ｓ シーケンサモジュール、 Ａ 音源モジュール、 Ｉ 画源モジュール、 ＰＳ パラメータ設定サブモジュール、 ＳＰ 楽音信号処理装置１０及びスピーカ１１を含むサ
ウンドシステムＳＰ、 ＤＰ 表示処理装置８及びディスプレイ１２を含む表示
システム、 Ｄ ３次元画像オブジェクト（ダンサ）、 ＤＭ ダンスモジュール、 ＤＡ 「データタイプ」設定エリア、 ＮＳ 「ノートオン」設定部、 ＣＳ 「コントロール」選択設定部、 ＢＳ 「ビートタイプ」選択設定部、 ＣＡ 「チャンネル選択」設定エリア、 ＢＲ 「ビート出力値」設定表示部、 ＲＲ 「動作減衰値」設定表示部、 ＳＲ 「動作スケール」設定表示部、 ＰＰ 先読みポインタ、 ＲＰ 再生ポインタ、 ｋｆｉ，ｋｆi+1 ，… キーフレーム、 ＭＳ 楽曲情報源、 ＰＡ；ＰＡ₁ ，ＰＡ₂ ，… 座標生成アルゴリズム、 ＫＢ キーボード、 ＷＬ 左手首、 ＫＲ 右手首、 ＩＭ；ＩＭ₁ ，ＩＭ₂ ，… ＣＧモデル、 ＵＩ ユーザインターフェース。

フロントページの続き (56)参考文献 特開 平３−216767（ＪＰ，Ａ) 特開 平６−27944（ＪＰ，Ａ) 特開 平８−30807（ＪＰ，Ａ) 特開 平８−212388（ＪＰ，Ａ) 特開 平８−293039（ＪＰ，Ａ) 特開 平10−333673（ＪＰ，Ａ) 特開 平11−95778（ＪＰ，Ａ) 特開 平11−194764（ＪＰ，Ａ) 特開 昭63−170697（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10H 1/00 G06T 13/00

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】演奏すべき楽曲に対応して複数種類の楽音
   制御イベントによって構成される楽音制御情報を順次出
   力する演奏データ処理手段、 画像を構成する複数の可動部のそれぞれについて、応答
   すべき楽音制御イベントの種類を選択する指示に従って
   前記楽音制御イベントの種類を設定し、設定された種類
   の楽音制御イベントを当該可動部に対応づける設定手
   段、 前記楽音制御情報に基づいて楽音を生成する楽音生成手
   段、及び、 前記演奏データ処理手段により順次出力される楽音制御
   情報に応じて、順次、当該楽音制御情報を構成する楽音
   制御イベントに対応づけられた前記可動部の動きを制御
   する画像制御手段を備え、 前記画像制御手段によって、前記楽音生成手段による楽
   音生成の進行に合わせた動画像が生成されるようにした
   ことを特徴とする楽音応答画像生成システム。
2. 【請求項２】演奏すべき楽曲に対応して複数種類の楽音
   制御イベントによって構成される楽音制御情報を順次出
   力するステップ、 画像を構成する複数の可動部のそれぞれについて、応答
   すべき楽音制御イベントの種類を選択する指示に従って
   前記楽音制御イベントの種類を設定し、設定された種類
   の楽音制御イベントを当該可動部に対応づけるステッ
   プ、 前記楽音制御情報に基づいて楽音を生成するステップ、
   並びに、 前記順次出力される楽音制御情報に応じて、順次、当該
   楽音制御情報を構成する楽音制御イベントに対応づけら
   れた前記可動部の動きを制御するステップから成り、 楽音生成の進行に合わせた動画像が生成されるようにし
   たことを特徴とする楽音応答画像生成方法。
3. 【請求項３】さらに、 演奏すべき楽曲に対応して動作パラメータを供給するス
   テップを含み、 前記動きを制御するステップでは、前記楽音制御情報及
   び前記動作パラメータに基づいて前記可動部の動きを制
   御することを特徴とする請求項２に記載の楽音応答画像
   生成方法。
4. 【請求項４】前記楽音制御情報と共に同期信号が順次出
   力され、 前記動きを制御するステップでは、前記同期信号に基づ
   いて楽音生成の進行に合わせて前記可動部の動きを制御
   することを特徴とする請求項２又は３に記載の楽音応答
   画像生成方法。
5. 【請求項５】前記複数の可動部は楽器演奏者を構成し、
   前記楽音制御情報を基にしてこの楽器演奏者のとるべき
   演奏形態を解析し、解析された演奏形態に応じて前記複
   数の可動部の動きを制御することを特徴とする請求項２
   乃至４の何れかに記載の楽音応答画像生成方法。
6. 【請求項６】前記複数の可動部はダンサを構成し、前記
   楽音制御情報を基にしてこのダンサを構成する前記可動
   部の動きを制御することを特徴とする請求項２乃至４の
   何れかに記載の楽音応答画像生成方法。
7. 【請求項７】請求項２乃至６の何れかに記載の楽音応答
   画像生成方法を実行し、楽音生成の進行に合わせて画像
   を構成する可動部の動きを制御するようにしたプロセス
   を実行するためのプログラムを記憶してなるコンピュー
   タ読取り可能の記憶媒体。
8. 【請求項８】演奏すべき楽曲に対応して複数種類の楽音
   制御イベントによって構成される楽音制御情報を順次出
   力する演奏データ処理手段、 画像を構成する複数の可動部のそれぞれについて、応答
   すべき楽音制御イベントの種類を選択する指示に従って
   前記楽音制御イベントの種類を設定し、設定された種類
   の楽音制御イベントを当該可動部に対応づける設定手
   段、 前記楽音制御情報に基づいて楽音を生成する楽音生成手
   段、及び、 前記演奏データ処理手段により順次出力される楽音制御
   情報に応じて、順次、当該楽音制御情報を構成する楽音
   制御イベントに対応づけられた前記可動部の動きを制御
   する画像制御手段を備え、 前記画像制御手段によって、前記楽音生成手段による楽
   音生成の進行に合わせた動画像が生成されるようにした
   ことを特徴とする楽音応答画像生成装置。