JP4158443B2 - 再生制御装置とプログラム - Google Patents
再生制御装置とプログラム Download PDFInfo
- Publication number
- JP4158443B2 JP4158443B2 JP2002214988A JP2002214988A JP4158443B2 JP 4158443 B2 JP4158443 B2 JP 4158443B2 JP 2002214988 A JP2002214988 A JP 2002214988A JP 2002214988 A JP2002214988 A JP 2002214988A JP 4158443 B2 JP4158443 B2 JP 4158443B2
- Authority
- JP
- Japan
- Prior art keywords
- beat
- dynamics
- audio data
- time
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
Description
【発明の属する技術分野】
この発明は、オーディオデータの再生を制御するための装置及びプログラムに関するものである。
【0002】
【従来の技術】
従来、ユーザの手振り等の動作に基づいて自動演奏のテンポやダイナミクス(音量、ベロシティ等)を制御することは知られている。図8は、動作センサにより手振り動作の方向や加速度を検知して自動演奏のテンポやダイナミクスを制御する例を示すものであり、この例は、特許第3149736号公報に記載されている。
【0003】
図8の例において、演奏データは、イベントを表わすイベントデータとイベント間の相対時間を表わすデルタタイムデータとを含むデータ組を演奏進行に従って複数組配列したものである。チャンネルCH1のイベントデータは、音名により拍イベントを表わすもので、例えば、C3、C# 3及びD3によりそれぞれ第1拍、第2拍及び第3拍の拍イベントを表わす。チャンネルCH2〜CH6のイベントデータは、発音又は消音等の演奏イベントを表わす。動作センサからは、例えば3拍子の手振り動作に応じてC3、C# 3、D3をそれぞれ表わす信号がテンポキーオン信号として順次に送出され、各テンポキーオン信号毎に手振り動作の加速度に対応するダイナミクス制御信号も送出される。
【0004】
自動演奏の際には、時刻t0でCH3のイベントデータが読出された後、クロック信号を計数してデルタタイムD0に相当する時刻t1に達すると、C3(第1拍)を表わすCH1のイベントデータが読出される。このとき、動作センサからC3(第1拍)のテンポキーオン信号が受信されていないと、クロック信号の計数が一時的に停止される。時刻t2でC3(第1拍)のテンポキーオン信号が受信されると、クロック信号の計数が再開される。クロック信号を計数してデルタタイムデータD1に相当する時刻t3に達すると、CH2のイベントデータが読出される。この後も同様にしてクロック信号を計数してデルタタイム相当の時刻に達するたびにイベントデータを読出すことにより自動演奏が遂行される。
【0005】
時刻t7でCH6のイベントデータが読出された後、クロック信号に基づいてデルタタイムD6に相当する時間を計測中にC# 3(第2拍)のテンポキーオン信号が時刻t8で受信されると、次のCH1のイベントデータをサーチしてデルタタイムD1〜D7間の時間間隔TIaを求める。この時間間隔TIaは、時刻t2〜t8間の時間間隔TImより長い(すなわち手振りテンポに比べて自動演奏のテンポが遅い)ので、TIaをTImに近づけるようにデルタタイムD6の残り時間及びデルタタイムD7を短縮すべく修正する。この後は、前述したと同様にクロック信号を計数してデルタタイム相当の時刻に達するたびイベントデータを読出すことにより自動演奏が遂行される。
【0006】
図8に関して上記した自動演奏処理によれば、手振りテンポに追従するように自動演奏のテンポを制御することができる。また、動作センサから受信されるダイナミクス制御信号に応じて音量やベロシティ(1音毎の強弱)を制御することにより自動演奏のダイナミクス(躍動感)をも制御することができる。
【0007】
図9は、従来の自動演奏処理の他の例を示すもので、この例は、本願と同一出願人の出願に係る特願2000−172617号に記載されている。
【0008】
記憶トラックTR1,TR2及びTR3には、所望の楽曲に関する演奏データ、テンポ制御データ及び映像データがそれぞれ記憶される。演奏データは、タイミングTaを表わすタイミングデータとTaでの演奏イベントを表わすイベントデータとを含むデータ組を演奏進行に従って複数組配列したものである。
【0009】
テンポ制御データは、タイミングTbを表わすタイミングデータとTbでのテンポ制御イベントを表わすイベントデータとを含むデータ組を演奏進行に従って複数組配列したものである。テンポ制御イベントは、テンポ値に合わせて自動演奏用のクロック信号の周波数を設定するイベントであり、テンポ値は、前述した手振り動作に応答する動作センサの検出信号に基づいて決定される。
【0010】
映像データは、タイミングTcをあらわすタイミングデータとTcでの表示イベントを表わすイベントデータとを含むデータ組を演奏進行に従って複数組配列したものである。表示イベントは、例えば演奏内容に対応する楽譜の音符等を表示するイベントである。
【0011】
自動演奏は、クロック信号を計数して演奏データ中のタイミングTaに相当する時刻に達するたびに演奏データ中のTa関連の演奏イベントを読出すことにより遂行される。自動演奏を聴きながら動作センサを手振りすることにより動作センサの検出信号に基づいてテンポ制御データが生成される。テンポ制御データに応じてクロック信号の周波数を制御することにより自動演奏のテンポが手振り動作のテンポに追従するように制御される。手振り動作に基づくテンポ制御データは、図9に示すようなフォーマットでトラックTR2に記憶される。この後、自動演奏を行なうときは、トラックTR2に記憶したテンポ制御データに基づいて自動演奏のテンポを制御することができる。楽譜表示は、クロック信号及び映像データに基づいて行なわれるので、表示楽譜の更新は、テンポ制御データに応じて遂行される。
【0012】
【発明が解決しようとする課題】
図8に関して前述した従来技術によると、演奏データ中に拍タイミング情報(CH1のイベントデータ及びデルタタイムデータ)を予め挿入しておく必要があり、演奏データの作成に手間がかかるという問題点がある。
【0013】
一方、図9に関して前述した従来技術によると、動作センサを手振りすることでリアルタイムでテンポ制御データを生成し、記憶することができる。しかしながら、このように記憶したテンポ制御データがユーザを満足させるものでないときは、ユーザとしては満足するまで何回も手振り動作を繰返す必要があり、テンポ制御データの作成に時間と労力を要するという問題点がある。
【0014】
この発明の目的は、拍タイミング情報、テンポ情報等の再生制御情報を少ない時間と労力で効率的に作成することができる新規な再生制御情報作成装置を提供することにある。
【0015】
【課題を解決するための手段】
この発明に係る再生制御装置は、
音波形を表すオーディオデータと、前記オーディオデータの各拍位置に対応する拍時刻および各拍位置に対応する追従度を含む再生制御情報とを記憶する記憶手段と、
拍位置を入力する入力手段と、
オーディオデータの各拍位置間の時間間隔が、前記再生制御情報に含まれる拍時刻に対応した拍位置間の時間間隔から、当該拍時刻に対応した拍位置間の時間間隔と、前記入力手段で入力された拍位置間の時間間隔と、前記再生制御情報に含まれる追従度とに応じて算定した時間間隔となるように、前記オーディオデータを時間軸圧伸する圧伸手段と、
前記圧伸手段による圧伸後のオーディオデータに基づいて音楽を再生する再生手段と
を備えたものである。
【0017】
本発明の別の態様に係る再生制御装置は、オーディオデータのダイナミクスを制御するダイナミクス制御手段を具備し、前記再生手段は、前記圧伸手段による時間軸圧伸と前記ダイナミクス制御手段による制御とを経たオーディオデータに基づいて音楽を再生し、前記再生制御情報はダイナミクス値を含み、前記ダイナミクス制御手段は、前記再生制御情報に含まれるダイナミクス値に応じてダイナミクスの制御の程度を変更する。
【0019】
【発明の実施の形態】
図1は、この発明の一実施形態に係る再生制御情報作成処理を実行する音楽再生装置の回路構成を示すものである。この音楽再生装置は、パーソナルコンピュータ等の小型コンピュータ10によって動作が制御される構成になっている。
【0020】
バス12には、CPU(中央処理装置)14、ROM(リード・オンリィ・メモリ)16、RAM(ランダム・アクセス・メモリ)18、操作部20、表示部22、外部記憶装置24、CD(コンパクトディスク)再生部26、タイマ28、DSP(ディジタルシグナルプロセッサ)・音源部30、MIDI(Musical Instrument Digital Interface)インターフェース32、通信インターフェース34、受信部36等が接続されている。
【0021】
CPU14は、ROM16にストアされたプログラムに従って再生制御情報作成、音楽再生等に関する処理を実行するもので、再生制御情報作成処理については図2,3等を参照して後述する。
【0022】
RAM18は、CPU14の各種処理に際してワーキングエリアとして使用される種々の記憶部を含むもので、この発明の実施に関係する記憶部としては、操作部20に対応する入力データ記憶領域等が存在するが、詳細については後述する。
【0023】
操作部20は、文字、数字等を入力可能なキーボードと、マウス等のポインティングデバイスとを備えたもので、表示部22と共にGUIを構成する。ユーザは、必要に応じて表示部22の表示内容を見ながらキーボードやマウスを用いて各種のデータを入力可能である。
【0024】
表示部22は、CRT式又は液晶式等の表示パネルを有するもので、表示パネルには、オーディオデータに基づいて音波形を表示したり、演奏データに基づいて楽譜を表示したりすることができる。
【0025】
外部記憶装置24は、HD(ハードディスク)、FD(フレキシブルディスク)、CD(コンパクトディスク)、DVD(ディジタル多目的ディスク)、MO(光磁気ディスク)等のうち1又は複数種類の記録媒体を着脱可能なものである。外部記憶装置24に所望の記録媒体を装着した状態では、記録媒体からRAM18へデータを転送可能である。また、装着した記録媒体がHD、FD又はCD−R(Recordable)等のように書込み可能なものであれば、RAM18のデータを記録媒体に転送可能である。
【0026】
プログラム記録手段としては、ROM16の代わりに外部記憶装置24の記録媒体を用いることができる。この場合、記録媒体に記録したプログラムは、外部記憶装置24からRAM18へ転送する。そして、RAM18に記憶したプログラムに従ってCPU14を動作させる。このようにすると、プログラムの追加やバージョンアップ等を容易に行なうことができる。
【0027】
CD再生部26は、CD−DA(Compact Disc−Digital Audio)規格に準拠した形式でオーディオ信号をディジタル符号化したオーディオデータを記録したCD(以下、オーディオCDと称する)をセットした状態でオーディオデータを読出して音楽を再生可能なもので、ディジタル形式のオーディオ信号を送出する。
【0028】
タイマ28は、テンポデータの指示するテンポ値に対応した周波数を有するクロック信号を発生し、CPU14に供給するものである。CPU14は、クロック信号を割込命令として受取り、割込処理により演奏データに基づいて演奏を再生することができ、演奏再生に伴って表示部22の表示パネルに楽譜を表示させることもできる。テンポデータは、後述するように図3のステップ68の処理により作成され、手振り動作に応答する動作センサ46の検出信号に基づいて作成することもできる。演奏データは、外部記憶装置24の記録媒体から入力可能であり、インターフェース32又は34からも入力可能である。
【0029】
DSP・音源部30はDSP及び音源装置を含むものである。DSPは、CD再生部26から送出されるディジタル形式のオーディオ信号に時間軸圧伸処理、ダイナミクス制御処理等を施すもので、これらの処理は、CPU14の制御下で行なわれる。すなわち、CPU14は、受信部36から入力される拍タイミング信号及びダイナミクス制御信号に応じてDSPにおける時間軸圧伸処理及びダイナミクス制御処理をそれぞれ制御する。これらの処理については、図6,7を参照して後述する。DSPは、処理済みのディジタルオーディオ信号をサウンドシステム38に供給する。
【0030】
DSP・音源部30において、音源装置は、複数の楽音発生チャンネルを有するもので、各チャンネル毎に音色(音種類)、音高、ベロシティ、ノートオン/オフ等の発音制御情報に応じてディジタル楽音信号(人声音信号も含む)を発生可能である。音源方式としては、波形読出方式等の公知の方式を採用することができる。前述したようにCPU14が割込処理により演奏データに基づいて演奏を再生するとき、音源装置は、演奏データに基づく発音制御情報に応じてディジタル楽音信号を発生し、サウンドシステム38に供給する。
【0031】
サウンドシステム38は、D/A(ディジタル/アナログ)変換器、アンプ、スピーカ等を含むもので、DSP・音源部30からのディジタルオーディオ信号又はディジタル楽音信号をそれぞれアナログオーディオ信号又はアナログ楽音信号に変換すると共に変換に係るアナログオーディオ信号又はアナログ楽音信号を音響に変換する。
【0032】
MIDIインターフェース32は、小型コンピュータ10とは別体のMIDI機器40との間でMIDI通信を行なうために設けられたもので、この発明では、MIDI機器40からMIDIフォーマットの演奏データを受信するために用いられる。
【0033】
通信インターフェース34は、通信ネットワーク(例えばLAN(ローカル・エリア・ネットワーク)、インターネット、電話回線等)42を介して他のコンピュータ44と情報通信を行なうために設けられたものである。この発明の実施に必要なプログラムや各種データ(例えばオーディオデータ、演奏データ等)は、コンピュータ44から通信ネットワーク42及び通信インターフェース34を介してRAM18又は外部記憶装置24へダウンロード要求に応じて取込むようにしてもよい。
【0034】
受信部36は、動作センサ46の検出信号をアンテナ36Aを介して受信すると共に、受信した検出信号に基づいて拍タイミング信号及びダイナミクス制御信号を生成するもので、これらの信号の生成処理は、CPU14の制御下で行なわれる。
【0035】
動作センサ46は、一例として、ユーザが把持しやすいように両端から中央に進むにつれて直径を漸減させた棒状の本体内に3次元加速度センサを配置したもので、x軸方向(上下方向)、y軸方向(左右方向)及びz軸方向(前後方向)の動作及び加速度を検出可能である。動作センサ46としては、指揮棒形式のものでもよく、あるいは手で把持するものに限らず、バンド等を用いて手又は足等に装着するもの、靴等の履物に内蔵させたもの等であってもよく、あるいは3次元加速度センサを用いるものに限らず、1次元又は2次元加速度センサ、1〜3次元速度センサ、傾斜センサ、歪みセンサ、衝撃センサ等を用いるものであってもよい。動作センサ46の検出信号に基づく受信部36での信号生成処理については、図6を参照して後述する。
【0036】
次に、図2,3を参照して再生制御情報作成処理の一例を説明する。ステップ50では、外部記憶装置24に記憶されている複数曲のオーディオデータについて表示部22の表示パネルに曲名を表示すると共に表示された複数の曲名のうちから操作部20のキーボード、マウス等の操作により所望の曲名を指示するなどして処理対象となる曲(対象曲)を選択する。このとき選択されるのは、例えばオーケストラ等の楽器演奏及び/又は歌唱に係る曲である。曲選択の他の例としては、所望の曲のオーディオCDをCD再生部26にセットするようにしてもよい。
【0037】
ステップ52では、選択曲のオーディオデータを外部記憶装置24又はCD再生部26からRAM18の所定の領域に読込む。図5には、このときにRAM18に書込まれたオーディオデータADを示す。このデータADは、音波形の順次のサンプル値をそれぞれ表わすサンプルデータSMP1、2、3…を含むものである。次に、RAM18のオーディオデータに基づいて表示部22の表示パネルに先頭区間の音波形を図4のAWに示すように表示する。
【0038】
ステップ54では、処理対象となる区間(処理区間)を操作部20のキーボード、マウス等の操作により指定する。ステップ52で音波形AWが表示された先頭区間からなる初期表示区間を処理対象とするときは、初期表示区間を処理区間として指定する。
【0039】
ステップ56では、処理区間の音波形を表示する。ステップ54で初期表示区間を処理区間としたときは、表示中の音波形を変更せず、先頭区間の音波形AWを表示したままとする。
【0040】
ステップ58では、処理区間の演奏の再生を許容する。例えば、操作部20のキーボードにおいてスペースバーを操作するのに応答して処理区間の演奏の再生を開始する。このとき、図4に示す表示パネルでは、表示された音波形AWの時間軸tに平行なカーソル走行線CLに沿ってカーソルCSが再生位置を指示するように走行する。演奏再生が処理区間の終点に達したときは再び処理区間の始点に戻って演奏再生を繰返すと共にカーソルCSの走行も演奏再生に合わせて処理区間の始点に戻って繰返す。ユーザは、このような再生演奏を聴き且つ音波形AWの波形概要(包絡)やカーソルCSを見ながら後述の入力操作を効率的に行なうことができる。
【0041】
ステップ59では、図4の表示パネルにL1等の拍位置線が表示されているか否かを判定する。L1等の拍位置線を表示する処理は、後述するように図3のステップ66で行なわれる。ステップ52から初めてステップ59にきたときは、L1等の拍位置線が表示されていないので、ステップ59の判定結果が否定的(N)となり、ステップ60,61の処理を行なわずにステップ62に移る。
【0042】
ステップ62では、1曲分の処理終了か否かを判定する。ユーザは、1曲分の処理が終了したときは、操作部20のキーボード、マウス等により処理終了を指示する。処理終了の指示がないときは、ステップ62の判定結果が否定的(N)となり、図3のステップ64に移る。なお、ステップ70の処理については後述する。
【0043】
ステップ64では、再生される音楽を聴きながらリアルタイムで拍位置を入力する。一例として、操作部20のキーボードにおいてスペースバーをタッピングすることによりタッピングタイミングに対応した拍タイミング信号を生成し、この拍タイミング信号を拍位置情報として入力する。他の拍位置情報入力手段としては、MIDI機器40としてMIDIインターフェース32に接続したMIDI鍵盤において所望の鍵をタッピングして拍タイミング信号を生成する方法、あるいは後述するように動作センサ46を手振り動作させて動作センサ46の検出信号に基づいて拍タイミング信号を生成する方法などを用いることができる。
【0044】
ステップ64では、入力される拍位置(拍タイミング)情報毎にオーディオデータADに基づいて拍時刻を決定し、決定に係る拍時刻を示す拍時刻データを再生制御情報としてRAM18の所定領域に書込む。そして、ステップ66に移る。
【0045】
ステップ66では、RAM18の拍時刻データに基づいて入力に係る拍位置毎に拍位置線を図4の表示パネルに表示する。図4には、拍位置線L1〜L4…を表示した例を示す。
【0046】
ステップ68では、所定の拍位置毎にテンポ値を計算し、得られたテンポ値を示すテンポデータをRAM18の所定領域に書込む。一例として、線L1−L2間の時間間隔(これはL1,L2の拍時刻データから求まる)をL1又はL2に対応する拍位置のテンポ値とすることができる。
【0047】
ステップ68では、所望の拍位置に対応してダイナミクス値、追従度、ボイスナンバ等の制御値の入力を許容してもよい。ユーザは、操作部20のキーボード、マウス等の操作により所望の拍位置を指定すると共に指定に係る拍位置についてダイナミクス値、追従度、ボイスナンバ等の制御値を入力することができ、入力に係る制御値は、RAM18の所定領域に書込まれる。ダイナミクス値は、音量やベロシティ(1音毎の強弱)を制御するための制御値であり、追従度は、動作センサ46の検出信号に対する追従制御の程度を指示するための制御値であり、ボイスナンバは、拍タイミングで発生される打楽器音や掛け声等の音色(音種類)を指示するための制御値である。
【0048】
図5は、RAM18においてオーディオデータADに関連して記憶される再生制御情報CIの記憶フォーマットの一例を示すものである。図5において、BN1,2,3…は、拍ナンバを示す拍ナンバデータ、BT1,2,3…は、拍時刻を示す拍時刻データ、DYN1,2,3…は、ダイナミクス値を示すダイナミクスデータ、TMP1,2,3…は、テンポ値を示すテンポデータ、FLW1,2,3…は、追従度を表わす追従度データ、VN1,2,3…は、ボイスナンバを表わすボイスナンバデータであり、拍ナンバデータ毎に拍時刻データ、ダイナミクスデータ、テンポデータ、追従度データ、ボイスナンバデータ、その他のデータが配置される。拍時刻データとしては、オーディオデータAD中の最初のサンプルデータSMP1から拍時刻までの時間を表わすデータを用いてもよいし、あるいはオーディオデータAD中の対応するサンプルデータのアドレスを表わすデータを用いてもよい。
【0049】
図5の例では、オーディオデータADとは独立に再生制御情報CIを記憶するようにしたが、オーディオデータAD中に再生制御情報CIを混在させるようなフォーマットを採用してもよく、このようなフォーマットを搭載したCD−I(Interactive)等を作成して外部記憶装置24またはCD再生部26からRAM18へ読込むようにしてもよい。
【0050】
ステップ68の後は、ステップ54に戻り、ステップ54以降の処理を上記したと同様に実行する。
【0051】
ステップ59では、図4の表示パネルにL1等の拍位置線が表示されているので、判定結果が肯定的(Y)となり、ステップ60で拍タイミング報知処理を行なう。すなわち、表示された拍位置線毎にカーソルCSが拍位置線に達した(再生位置が拍位置に達した)ことを検知してサウンドシステム38からクリック音を発生させると共に拍位置線を一瞬例えば緑色から赤色に変更して拍タイミングを報知する。拍位置線は、表示色を変更する代りに、表示強度を変化させるようにしてもよい。
【0052】
ステップ61では、図4の表示パネルにL1等の拍位置線が表示されているので、拍位置の微調整を許容する。例えば、拍位置線L4の示す拍位置が聴感上又は音楽的に適切でないときは、ユーザは、操作部20のキーボード、マウス等の操作によりカーソル(図示せず)で適切な拍位置を指示することにより拍位置を矢印Aで示すように適宜変更することができる。拍位置の変更に応じてRAM18内の対応する拍時刻データを修正すると共に、修正に係る拍時刻データに基づいて音波形AWに関して新たな拍位置線Laを表示する。
【0053】
なお、ステップ64の前の処理としては、図4の表示パネルにおいて音波形AWを表示するのに並行して操作部20のキーボード、マウス等の操作により所望のテンポ変化を表わすテンポカーブTCを描いて表示するようにしてもよい。このようにすると、テンポの高低に応じて拍位置を入力するのが容易となる。
【0054】
先頭区間の処理が終了したときは、ステップ54で新たな処理区間を指定し、ステップ54以降の処理を上記したと同様に実行する。この後、1曲分の処理終了を指示すると、ステップ62の判定結果が肯定的(Y)となり、ステップ70に移る。
【0055】
ステップ70では、図5に示すようにRAM18に記憶されている1曲分の再生制御情報CIをオーディオデータADに付加して記録する。一例としてCD再生部26においてCD−Rに記録可能である場合には、RAM18からCD再生部26に再生制御情報CIを供給してCD−Rに記録する。また、他の記録例としては、RAM18からオーディオデータAD及び再生制御情報CIを外部記憶装置24に供給して記録媒体に記録するようにしてもよい。
【0056】
上記した例では、指定に係る処理区間毎に拍位置の入力及び修正を行なうようにしたが、1曲分の拍位置を入力した後、指定に係る処理区間毎に拍位置の修正を行なうようにしてもよい。
【0057】
上記した例では、拍時刻データ等の再生制御情報を作成する対象データとしてCD−DA形式でディジタル符号化したオーディオデータを示したが、MP3(Moving Picture Experts Group Player−Audio Layer 3)方式でディジタル符号化したオーディオデータ、ATRAC(Adaptive Transform Acoustic Coding)方式でディジタル符号化したオーディオデータ、TwinVQ(Transform−Domain Weighted Interleave Vector Quantization)方式でディジタル符号化したオーディオデータ等を対象としてもよく、あるいはオーディオデータに限らず、MIDIフォーマット等の演奏データ、AVI(Audio Visual Interleaved)又はMPEG(Motion Picture Expert Group)等の映像系の音楽データを対象としてもよい。
【0058】
MIDIフォーマットの演奏データに基づいて自動演奏を行なうときは、演奏データを外部記憶装置24又はMIDIインターフェース32から入力してRAM18に記憶させる。RAM18の演奏データに基づいて表示部22の表示パネルに楽譜を表示すると共にタイマ28からのクロック信号に基づく割込処理によりRAM18の演奏データに基づいて自動演奏を行なう。楽譜を見且つ自動演奏を聴きながら前述したと同様にしてリアルタイムで拍位置を指定し、指定に係る拍位置に対応する拍時刻データをRAM18に記憶することができる。なお、映像系の音楽データについては、例えば指揮者の動画像を見ながら拍位置を指定するようにしてもよい。
【0059】
次に、上記のようにして作成された再生制御情報を使用する音楽再生処理について説明する。RAM18には、図5に示すようにオーディオデータAD及び再生制御情報CIが記憶されているものとする。図2のステップ70でCD−R等の記録媒体にオーディオデータAD及び再生制御情報CIを記録したときは、CD−R等の記録媒体から外部記憶装置24又はCD再生部26を介してRAM18にオーディオデータAD及び再生制御情報CIを読込むことができる。
【0060】
操作部20のキーボード、マウス等の操作により音楽再生の開始を指示すると、CPU14は、オーディオデータAD中のサンプルデータSMP1,2,3…を順次に読出してDSP・音源部30のDSPに供給することにより音楽再生を実行する。この結果、サウンドシステム38から再生音楽が奏出される。
【0061】
ユーザは、このような音楽再生に並行して動作センサ46を操作することにより再生音楽のテンポやダイナミクスを制御したり、打楽器音や掛け声を付加したりして再生音楽を楽しむことができる。CPU14は、受信部36で受信された動作センサ46の検出信号に基づいて動作センサ出力解析処理を行なう。この処理では、x,y,z軸方向の加速度をそれぞれαx,αy,αzとすると、次の数1の式に従って加速度の絶対値|α|を求める。
【0062】
【数1】
|α|=(αx2+αy2+αz2)1/2
図6(a)は、一例として3拍子の手振り動作を行なった場合に得られた加速度の絶対値|α|の変化波形を示すものである。動作センサ出力分析処理では、図6(a)の変化波形から所定のしきい値を越えるピークP1,P2,P3を検出することにより図6(b)に示すようにタイミングT1,T2,T3でHレベルをとる拍タイミング信号が生成されると共にピークP1,P2,P3の絶対値α1,α2,α3をそれぞれ表わすダイナミクス制御信号が生成される。
【0063】
DSP・音源部30では、CPU14の制御下で図7に示すようにオーディオ信号波形について時間軸圧伸処理が行なわれる。図7(a)は、処理前のオーディオ信号波形を便宜上アナログ波形として示すもので、拍時刻t1,t2,t3は、それぞれ拍時刻データBT1,BT2,BT3の指示する拍時刻に対応する。図7(b)は、図6(b)に関して前述したのと同様の拍タイミング信号(手振り動作に基づくもの)を示すもので、拍時刻ta,tcは、それぞれ拍時刻t1,t3に等しく、拍時刻tbは、拍時刻t2より遅れている。
【0064】
DSP・音源部30では、t1−t2間の時間間隔tsをta−tb間の時間間隔tabに合わせるように時間軸伸張処理を行なうと共にt2−t3間の時間間隔tsをtb−tc間の時間間隔tbcに合わせるように時間軸圧縮処理を行なう。この結果、図7(c)に示すように時間間隔tab,tbcを有するオーディオ信号波形(便宜上アナログ波形で示す)が得られる。このような処理によれば、オーディオ信号のピッチ(音高)を変化させることなくオーディオ信号の拍タイミング又はテンポを手振り動作等の動作テンポに追従するように制御することができる。なお、時間軸圧伸処理としては、カットアンドスプライス法、ポインタ移動量制御による重複加算法、リバーブ、ディザ、ループの繰返し等の公知の方法を適宜採用することができる。
【0065】
DSP・音源部30では、受信部36から入力されるダイナミクス制御信号に応じてダイナミクス制御処理が行なわれる。すなわち、ダイナミクス制御信号がピークの絶対値α1を指示するのに応答して、拍時刻ta〜tb間でα1に対応する増幅率でオーディオ信号を増幅し、ダイナミクス制御信号がピークの絶対値α2を指示するのに応答して拍時刻tb〜tc間でα2に対応する増幅率でオーディオ信号を増幅し…というようにダイナミクス制御信号の指示するピークの絶対値に応じて増幅率を制御してオーディオ信号を増幅する。
【0066】
上記した例では、FLW1等の追従度データの示す追従度を100%としたが、追従度を例えば50%とすることによりテンポデータTMP1の示すテンポ値(時間間隔)tsを利用した時間軸圧伸処理を行なうことができる。この場合、時間間隔をtsから(ts+tab)/2にするように伸張処理を行ない、時間間隔をtsから(ts+tbc)/2にするように圧縮処理を行なう。また、ダイナミクス制御処理では、ダイナミクスデータDYN1の示すダイナミクス値をA1とすると、(A1+α1)/2に対応する増幅率でオーディオ信号を増幅する。この結果、追従度データの示す追従度に応じたテンポ制御及びダイナミクス制御が可能となる。
【0067】
VN1等のボイスナンバデータとして、例えばシンバル音等の打楽器音(又は掛け声)を指示するデータを記憶しておいた場合、BT1等の対応する拍時刻データの示す拍時刻が到来したときに動作センサ46を持った手でz軸方向に突きの動作を行なうと、動作センサ46の検出信号に基づいてCPU14が突きの動作を検知して打楽器音(又は掛け声)の発音を可能にする発音制御情報をDSP・音源部30の音源装置に供給する。音源装置は、発音制御情報に応じて打楽器音(又は掛け声)を表わすディジタル楽音信号をサウンドシステム38に供給するので、サウンドシステム38からは、打楽器音(又は掛け声)が発生される。
【0068】
MIDIフォーマット等の演奏データに基づいて自動演奏を行なう場合、TMP1等のテンポデータに応じてタイマ28におけるクロック信号の周波数を制御することにより自動演奏のテンポを制御することができる。また、動作センサ46の検出信号に基づく拍タイミング信号に応じてタイマ28におけるクロック信号の周波数を制御することにより自動演奏のテンポを手振り動作等の動作テンポに追従するように制御することができ、その際には追従度データの示す追従度に応じたテンポ制御を行なうことができる。その上、動作センサ46の検出信号に基づくダイナミクス制御信号に応じて音量やベロシティを制御することにより自動演奏のダイナミクスを制御することができ、その際には追従度データの示す追従度に応じたダイナミクス制御を行なうことができる。
【図面の簡単な説明】
【図1】 この発明の一実施形態に係る再生制御情報作成処理を実行する音楽再生装置の回路構成を示すブロック図である。
【図2】 再生制御情報作成処理の一部を示すフローチャートである。
【図3】 図2の処理の残部を示すフローチャートである。
【図4】 表示部における音波形、拍位置線、テンポカーブ等の表示状態を例示する図である。
【図5】 オーディオデータ及び再生制御情報の記憶フォーマットを例示する図である。
【図6】 動作センサ出力解析処理を説明するための図であり、(a)は、加速度の絶対値|α|の時間的変化を示す波形図、(b)は、拍タイミング信号の波形図である。
【図7】 オーディオ信号波形の時間軸圧伸処理を説明するための図であり、(a)は、処理前のオーディオ信号の波形図、(b)は、拍タイミング信号の波形図、(c)は、処理後のオーディオ信号の波形図である。
【図8】 従来の自動演奏処理の一例を説明するための図である。
【図9】 従来の自動演奏処理の他の例を説明するための図である。
【符号の説明】
10:小型コンピュータ、12:バス、14:CPU、16:ROM、18:RAM、20:操作部、22:表示部、24:外部記憶装置、26:CD再生部、28:タイマ、30:DSP・音源部、32:MIDIインターフェース、34:通信インターフェース、36:受信部、38:サウンドシステム、40:MIDI機器、42:通信ネットワーク、44:他のコンピュータ、46:動作センサ。
Claims (4)
- 音波形を表すオーディオデータと、前記オーディオデータの各拍位置に対応する拍時刻および各拍位置に対応する追従度を含む再生制御情報とを記憶する記憶手段と、
拍位置を入力する入力手段と、
オーディオデータの各拍位置間の時間間隔が、前記再生制御情報に含まれる拍時刻に対応した拍位置間の時間間隔から、当該拍時刻に対応した拍位置間の時間間隔と、前記入力手段で入力された拍位置間の時間間隔と、前記再生制御情報に含まれる追従度とに応じて算定した時間間隔となるように、前記オーディオデータを時間軸圧伸する圧伸手段と、
前記圧伸手段による圧伸後のオーディオデータに基づいて音楽を再生する再生手段と
を備えた再生制御装置。 - オーディオデータのダイナミクスを制御するダイナミクス制御手段を具備し、
前記再生手段は、前記圧伸手段による時間軸圧伸と前記ダイナミクス制御手段による制御とを経たオーディオデータに基づいて音楽を再生し、
前記再生制御情報はダイナミクス値を含み、
前記ダイナミクス制御手段は、前記再生制御情報に含まれるダイナミクス値に応じてダイナミクスの制御の程度を変更する
請求項1に記載の再生制御装置。 - コンピュータを、
音波形を表すオーディオデータと、前記オーディオデータの各拍位置に対応する拍時刻および各拍位置に対応する追従度を含む再生制御情報とを記憶する記憶手段と、
拍位置を入力する入力手段と、
オーディオデータの各拍位置間の時間間隔が、前記再生制御情報に含まれる拍時刻に対応した拍位置間の時間間隔から、当該拍時刻に対応した拍位置間の時間間隔と、前記入力手段で入力された拍位置間の時間間隔と、前記再生制御情報に含まれる追従度とに応じて算定した時間間隔となるように、前記オーディオデータを時間軸圧伸する圧伸手段と、
前記圧伸手段による圧伸後のオーディオデータに基づいて音楽を再生する再生手段と
して機能させるプログラム。 - コンピュータを、オーディオデータのダイナミクスを制御するダイナミクス制御手段としてさらに機能させるプログラムであって、
前記再生手段は、前記圧伸手段による時間軸圧伸と前記ダイナミクス制御手段による制御とを経たオーディオデータに基づいて音楽を再生し、
前記再生制御情報はダイナミクス値を含み、
前記ダイナミクス制御手段は、前記再生制御情報に含まれるダイナミクス値に応じてダイナミクスの制御の程度を変更する
請求項3に記載のプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002214988A JP4158443B2 (ja) | 2002-07-24 | 2002-07-24 | 再生制御装置とプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002214988A JP4158443B2 (ja) | 2002-07-24 | 2002-07-24 | 再生制御装置とプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004054167A JP2004054167A (ja) | 2004-02-19 |
JP4158443B2 true JP4158443B2 (ja) | 2008-10-01 |
Family
ID=31937131
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002214988A Expired - Fee Related JP4158443B2 (ja) | 2002-07-24 | 2002-07-24 | 再生制御装置とプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4158443B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007004541A1 (ja) * | 2005-07-01 | 2007-01-11 | Pioneer Corporation | コンピュータプログラム、並びに情報再生装置及び方法 |
JP2010114737A (ja) * | 2008-11-07 | 2010-05-20 | Kddi Corp | 携帯端末、拍位置修正方法および拍位置修正プログラム |
-
2002
- 2002-07-24 JP JP2002214988A patent/JP4158443B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004054167A (ja) | 2004-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5621182A (en) | Karaoke apparatus converting singing voice into model voice | |
EP0729130B1 (en) | Karaoke apparatus synthetic harmony voice over actual singing voice | |
JP2838977B2 (ja) | カラオケ装置 | |
JP2008242200A (ja) | 処理システム、音声再生装置及びプログラム | |
JP4596966B2 (ja) | 電子楽器 | |
JP4175337B2 (ja) | カラオケ装置 | |
JP7367835B2 (ja) | 録音再生装置、録音再生装置の制御方法及び制御プログラム並びに電子楽器 | |
JP4158443B2 (ja) | 再生制御装置とプログラム | |
JP4134624B2 (ja) | 再生制御情報作成装置とプログラム | |
JP3901008B2 (ja) | 音声変換機能付カラオケ装置 | |
JP3591227B2 (ja) | カラオケ装置 | |
JP2000029472A (ja) | カラオケ装置 | |
JP4107212B2 (ja) | 楽曲再生装置 | |
JP4506147B2 (ja) | 演奏再生装置及び演奏再生制御プログラム | |
JP4537490B2 (ja) | オーディオ再生装置およびオーディオ早送り再生方法 | |
JP4081859B2 (ja) | 歌声発生装置およびカラオケ装置 | |
JP2004085609A (ja) | 音声データと演奏データの同期再生を行うための装置および方法 | |
JP3178694B2 (ja) | カラオケ装置 | |
JP3804536B2 (ja) | 楽音再生記録装置、記録装置及び記録方法 | |
JP3379414B2 (ja) | パンチイン装置、パンチイン方法及びプログラムを記録した媒体 | |
JP5754404B2 (ja) | Midi演奏装置 | |
JP4075560B2 (ja) | 楽音パラメータ制御装置と方法及びプログラム | |
JP2950379B2 (ja) | 電子音楽再生装置 | |
JP2548723Y2 (ja) | 楽音再生装置 | |
JP3899654B2 (ja) | カラオケ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050310 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070206 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20070302 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070410 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070405 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080311 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080512 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080624 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080707 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130725 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |