JP5664581B2 - 楽音発生装置、楽音発生方法及びプログラム - Google Patents
楽音発生装置、楽音発生方法及びプログラム Download PDFInfo
- Publication number
- JP5664581B2 JP5664581B2 JP2012061691A JP2012061691A JP5664581B2 JP 5664581 B2 JP5664581 B2 JP 5664581B2 JP 2012061691 A JP2012061691 A JP 2012061691A JP 2012061691 A JP2012061691 A JP 2012061691A JP 5664581 B2 JP5664581 B2 JP 5664581B2
- Authority
- JP
- Japan
- Prior art keywords
- sound generation
- difference
- instruction signal
- generation instruction
- timing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
- H04R2227/003—Digital PA systems using, e.g. LAN or internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R27/00—Public address systems
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Electrophonic Musical Instruments (AREA)
Description
このような構成を仮想空間で仮想的に楽器演奏を行う装置に適用する場合、楽音を発音させるための操作が行われてから実際の発音がなされるまでの時間が長すぎたりばらついたりすると、演奏者に演奏感覚として不自然なものとなってしまう。
このため、発音指示信号の発生から実際に音声出力部から楽音が発生されるまでの時間をできるだけ短くし、安定させることが楽器として演奏者が演奏を楽しむために重要となる。
複数のMIDI音源に対するMIDI信号の到達時間は、予め予測可能なものであるため、こうした特許文献1に記載の手法によれば、MIDI信号の到達時間のばらつきを解消することができ、ストリーミング受信を安定化させることが可能となる。
このような遅延解消技術は、演奏操作子側のシステムタイマーと音声出力部を備える装置側の備えるシステムタイマーとの間に時間のずれ(誤差)がない場合には、適切に発音タイミングのずれを解消することができるが、実際には、通信を行う装置内部のシステムタイマーには時間のずれ(誤差)があり、特許文献1に記載の技術は、このようなずれを解消することはできなかった。
を備える装置に対して発音指示信号を無線方式で送信する場合に、送信側と受信側との時
間のずれによる発音タイミングのずれをできる限り防止して円滑な演奏を行うことのでき
る楽音発生装置、楽音発生方法及びプログラムを提供することを目的とするものである。
前記時間データが付された発音指示信号を、受信する受信手段と、前記時間データが付された発音指示信号が受信される毎に、当該受信された時間データで示されるタイミングと前記受信手段において当該発音指示信号を受信したタイミングとの差分を算出する差分算出手段と、前記差分が算出される毎に、当該算出された差分と過去に算出された差分とに基づいてヒストグラムを作成するヒストグラム作成手段と、前記差分が算出される毎に、当該算出された差分と前記作成されたヒストグラムにおける最も頻度の高い差分とに基づいて、前記受信された発音指示信号を、接続された発音手段に供給するタイミングを制御するタイミング制御手段と、を備え、前記タイミング制御手段は、前記算出された差分が前記最も頻度の高い差分より大きいか否か判別し、大きいと判別された場合は前記受信された発音指示信号を直ちに前記発音手段に供給するとともに、大きくないと判別された場合は前記発音指示信号を受信したタイミングから前記最も頻度の高い差分を加算したタイミングで前記受信された発音指示信号を前記発音手段に供給する、ことを特徴とする。
また、本発明の楽音発生方法は、
前記時間データが付された発音指示信号を受信し、前記時間データが付された発音指示信号が受信される毎に、当該受信された時間データで示されるタイミングと当該発音指示信号を受信したタイミングとの差分を算出し、前記差分が算出される毎に、当該算出された差分と過去に算出された差分とに基づいてヒストグラムを作成し、前記差分が算出される毎に、当該算出された差分と前記作成されたヒストグラムにおける最も頻度の高い差分とに基づいて、前記受信された発音指示信号を、接続された発音手段に供給するタイミングを制御し、前記タイミングの制御は、前記算出された差分が前記最も頻度の高い差分より大きいか否か判別し、大きいと判別された場合は前記受信された発音指示信号を直ちに前記発音手段に供給するとともに、大きくないと判別された場合は前記発音指示信号を受信したタイミングから前記最も頻度の高い差分を加算したタイミングで前記受信された発音指示信号を前記発音手段に供給する、ことを特徴とする。
さらに、本発明のプログラムは、
コンピュータに、前記時間データが付された発音指示信号を、受信する受信ステップと、
前記時間データが付された発音指示信号が受信される毎に、当該受信された時間データで示されるタイミングと当該発音指示信号を受信したタイミングとの差分を算出する差分算出ステップと、前記差分が算出される毎に、当該算出された差分と過去に算出された差分とに基づいてヒストグラムを作成するヒストグラム作成ステップと、前記差分が算出される毎に、当該算出された差分と前記作成されたヒストグラムにおける最も頻度の高い差分とに基づいて、前記受信された発音指示信号を、接続された発音手段に供給するタイミングを制御するタイミングステップと、を実行させ、前記タイミングステップは、前記算出された差分が前記最も頻度の高い差分より大きいか否か判別し、大きいと判別された場合は前記受信された発音指示信号を直ちに前記発音手段に供給するとともに、大きくないと判別された場合は前記発音指示信号を受信したタイミングから前記最も頻度の高い差分を加算したタイミングで前記受信された発音指示信号を前記発音手段に供給させる、ことを特徴とする。
まず、図1(A)及び図1(B)を参照して、本発明に係る楽音発生装置の一実施形態の全体構成について説明する。
図1(A)は、本実施形態に係る楽音発生装置の装置構成の概要を示す図である。
図1(A)に示すように、本実施形態の楽音発生装置1は、スティック部10A、10Bと、センターユニット部20と、を含んで構成されている。なお、本実施形態の楽音発生装置1は、2本のスティックを用いた仮想的なドラム演奏を実現するため、2つのスティック部10A、10Bを備えることとしているが、スティック部の数はこれに限られず、1つとしてもよく、3つ以上としてもよい。なお、以下では、スティック部10A、10Bを区別しない場合には、両者を総称して「スティック部10」と称する。
このような演奏者の演奏操作を検知するため、本実施形態では、スティック部10の他端(先端側)に、加速度センサなどの各種センサ(後述のモーションセンサ部14、図2参照)が設けられている。
スティック部10は、スティック部10から各種センサ(後述のモーションセンサ部14)の検知結果に応じて、発音手段であるスピーカ等の音声出力部251から所定の楽音を発音させるための発音指示信号(ノートオンイベント)を生成し、これに時間データとしてのタイムスタンプを付してセンターユニット部20に出力する。
本実施形態において、センターユニット部20は、スティック部10から発音指示信号(ノートオンイベント)を受信すると、これに付されているタイムスタンプとセンターユニット部20側で発音指示信号を受信した時間との時間差(差分)を算出し、発音指示信号を受信する毎に、当該差分のヒストグラムを作成する。そして、このヒストグラムに基づいて、音声出力部251による発音指示信号に基づく発音のタイミングを調整する。
以下、本実施形態に係る楽音発生装置1について具体的に説明する。
図2は、楽音発生装置1の機能的構成を示すブロック図である。
まず、図2を参照して、本実施形態における楽音発生装置1を構成するスティック部10及びセンターユニット部20の構成について詳細に説明する。
図2に示すように、各スティック部10(図2においてスティック部10A,10B)は、スティック制御ユニット11、モーションセンサ部14、データ通信部16、電源回路17、バッテリ18等を含んで構成されている。
すなわち、モーションセンサ部14は、例えばスティック部10の内部に設けられ、スティック部10の状態(例えば、振り下ろし位置、振り下ろし速度、振り下ろし角度等)を検知するための各種センサであり、モーションセンサ部14は、検知結果として所定のセンサ値(モーションセンサデータ)を出力する。モーションセンサ部14によって検知された検知結果(モーションセンサデータ)は、スティック制御ユニット11に送られる。
ここで、モーションセンサ部14を構成するセンサとしては、例えば、加速度センサ、角速度センサ及び磁気センサ等を用いることができる。
本実施形態において、楽音発生装置1を用いて演奏を行う場合、演奏者は、スティック部10の一端(根元側)を保持し、手首などを中心としてスティック部10の他端(先端側)を上下動させる振り上げ振り下ろし動作を行うことで、スティック部10に対して回転運動を生じさせる。ここで、スティック部10が静止している場合には、加速度センサは、センサ合成値として重力加速度1Gに相当する値を算出し、スティック部10が回転運動をしている場合には、加速度センサは、センサ合成値として重力加速度1Gよりも大きな値を算出する。なお、センサ合成値は、例えば、X軸、Y軸、Z軸の成分の加速度のそれぞれの2乗の総和の平方根を算出することで得られる。
ここで、Y軸方向の回転角501は、演奏者がスティック部10を持ったとき、演奏者から見た前後軸の回転角であるため、ロール角と称することができる。ロール角は、X−Y平面が、どの程度X軸に対して傾けられたかを示す角度502に対応し、演奏者がスティック部10を手に持って、手首を軸にして左右に回転させることにより生じる。
また、X軸方向の回転角511は、演奏者がスティック部10を持ったとき、演奏者から見た左右軸の回転角であるため、ピッチ角と称することができる。ピッチ角は、X−Y平面が、どの程度Y軸に対して傾けられたかを示す角度512に対応し、演奏者がスティック部10を手に持って、手首を上下方向に振ることにより生じる。
なお、図示は省略しているが、角速度センサは、Z軸方向の回転角も併せて出力することとしてもよい。このとき、Z軸方向の回転角は、基本的にはX軸方向の回転角511と同じ性質を有し、演奏者がスティック部10を手に持って、手首を左右方向に振ることにより生じるピッチ角である。
演奏者がスティック部10を用いて演奏を行う場合、一般には、現実の楽器(例えば、ドラム)を打つ動作と同様の動作を行う。このような(演奏)動作では、演奏者は、まずスティック部10を振り上げ、それから仮想的な楽器の打面(演奏面)に向かって振り下ろす。そして実際には打面が存在していないため、演奏者は、スティック部10を仮想的な楽器に打ちつける寸前に、スティック部10の動作を止めようとする力を働かせる。
図4は、このようなスティック部10を用いて演奏操作を行った場合のモーションセンサ部14の垂直方向の加速度の変化を表わした図であり、スティック部10からセンターユニット部20に送信されるモーションセンサデータの一例を示すものである。
なお、垂直方向の加速度とは、水平面に対する垂直方向の加速度を意味し、Y軸成分の加速度から分解し算出することとしてもよく、Z軸方向の加速度(ロール角によってはX軸方向の加速度)から分解し算出することとしてもよい。また、図4において、マイナスの加速度は、スティック部10に加わる下向き方向の加速度を示し、プラスの加速度は、スティック部10に加わる上向き方向の加速度を示す。
次に、図4中bで示す区間のように、スティック部10が静止している状態において、振り上げ動作に伴い演奏者がスティック部10を持ち上げると、重力加速度に対してより逆らう方向に動作することになるため、スティック部10に加わる加速度はマイナス方向に増加する。その後静止させようとして持ち上げる速度を減少させると、加速度は、マイナス方向からプラスの方向に転換し、振り上げ動作が最高速に到達した時点(図4中のp1参照)での加速度は重力加速度のみ(すなわち、重力加速度1G)になる。
この後、図4中dで示す区間のように、再びスティック部10に対して振り上げ動作を行うと、加わる加速度はマイナス方向に増加し、振り上げ動作を静止させようとすると、加わる加速度はマイナス方向からプラス方向に転じる。
演奏操作が続いている間、演奏者によるスティック部10の振り上げ振り下ろし動作にしたがって、図4に示したような加速度の変化が繰り返され、この加速度の変化がモーションセンサ部14によって検知される。
スティック制御ユニット11のメモリには、スティック制御ユニット11の実行する各種処理の処理プログラムが格納されている。
スティック制御ユニット11は、スティック部10全体の制御を実行するものである。スティック制御ユニット11の各種機能は、CPUとメモリに記憶されたプログラムとの共働によって実現される。
本実施形態において、スティック制御ユニット11は、モーションセンサ部14によって取得された検知結果に基づいて発音指示信号(ノートオンイベント)を生成する発音指示生成部111を含んでいる。
ここで、ノートオンイベント(発音指示信号)には、ショットタイミング(発音タイミング)、音量(すなわち発音強度(Velocity))、音色(すなわち楽器の種類)等の情報が含まれる。
発音指示生成部111によって生成された発音指示信号(ノートオンイベント)は、センターユニット部20に対して出力され、センターユニット部20の本体制御ユニット21は、この発音指示信号(ノートオンイベント)に基づいて、スピーカ等の音声出力部251から楽音を発音させる。
前述のように、図4は、スティック部10を用いて演奏操作を行った場合のモーションセンサ部14の垂直方向の加速度の変化を表わした図である。
演奏者は、仮想的な楽器にスティック部10を打ちつけた瞬間に楽音が発生することを想定しているため、楽音発生装置1においても、演奏者が想定するタイミングで楽音を発生できるのが望ましい。そこで、本実施形態では、演奏者が仮想的な楽器の打面にスティック部を打ちつける瞬間又はそのわずかに手前で楽音を発音させることとしている。
そして、発音指示生成部111は、このショットタイミングが検出されたときに発音を行うようにノートオンイベント(発音指示信号)を生成する。
モーションセンサ部14において識別可能な演奏エリアの数、対応付けられる楽器の数や種類は特に限定されないが、本実施形態では、図1(A)に示すように、演奏者の前の空間を仮想的に3つに分割し、演奏エリアar1〜ar3(図1(A)参照)が設定されている。そして、例えば、演奏エリアar1には「ハイハット」、演奏エリアar2には「スネアドラム」、演奏エリアar3には「フロアタム」というように、本実施形態において想定される仮想のドラムセットD(図1(B)参照)を構成する打楽器が、各楽器の空間上の演奏エリアar1〜ar3(図1(A)参照)の位置座標等と対応付けられてROM等の記憶手段に格納されている。
なお、各演奏エリアar1〜ar3に対応付けられる楽器の種類は上記例に限定されない。演奏者等が、各演奏エリアar1〜ar3に対応付けられる楽器の種類を事後的に変更、設定できるようになっていてもよい。
図5(A)に示すように、発音指示信号(ノートオンイベント)にタイムスタンプが付されていない場合には、例えば1st Byte部分に音色(すなわち、どの楽器の音であるかを示す楽音の種類)やショットの行われたタイミングを示すデータ等が割り当てられ、2nd Byte部分に音量を示す発音強度(Velocity)等のデータが割り当てられる。
また、図5(B)に示すように、発音指示信号(ノートオンイベント)にタイムスタンプが付されている場合には、タイムスタンプが付されていない場合と同様に、1st Byte部分及び2nd Byte部分に、音色、音量(発音強度(Velocity))、ショットタイミング等、発音自体の内容を決めるデータが割り当てられ、3rd Byte部分及び4th Byte部分の14bit分がタイムスタンプのデータに割り当てられる。なお、図5(B)に示す「time stamp High」「time stamp Low」はそれぞれ時分情報、秒情報等である。なお、発音指示信号(ノートオンイベント)のデータ構成はここに例示したものに限定されない。
本実施形態では、データ通信部16は、発音指示生成部111により生成された発音指示信号に時間データを付して、無線方式で本体装置であるセンタユニット部20に送信する操作子通信手段として機能する。
バッテリ18は、一次電池でもよいし充電可能な二次電池でもよい。またバッテリ18を内蔵していることは必須ではなく、ケーブル等を介して外部から電源供給を受ける構成としてもよい。
次に、センターユニット部20は、図2に示すように、本体制御ユニット21、音源データ記憶部22、時間差データ記憶部23、操作部24、オーディオ回路25、音声出力部251、データ通信部26、電源回路27、バッテリ28等を含んで構成されている。
本実施形態では、発音指示信号のタイムスタンプとセンターユニット部20のシステムタイマーとの時間差が、発音指示信号(ノートオンイベント)を取得する毎に算出されるようになっており、算出された時間差が、順次時間差データ記憶部23に記憶されるようになっている。
本体制御ユニット21は、センターユニット部20全体の制御を実行するものである。本体制御ユニット21の各種機能は、CPUとメモリに記憶されたプログラムとの共働によって実現される。なお、センターユニット部20全体の制御を行う機能部の構成は、ここに例示したものに限定されない。例えば、MCUで構成されたものでなく、CPU、ROM、タイマー等が個別に基板等に搭載されたものであってもよい。
本体制御ユニット21のメモリには、本体制御ユニット21の実行する各種処理の処理プログラムが格納されている。また、メモリには、スティック部10A、10Bをそれぞれ区別可能な識別情報(スティック識別情報)が格納されており、本体制御ユニット21は、各スティック部10A、10Bから送られてくる情報に付しているスティック識別情報を、メモリに格納されているスティック識別情報と照合することにより、情報(信号)送信元のスティック部10A、10Bを特定できるようになっている。
本実施形態では、スティック部10のスティック制御ユニット11はシステムタイマーのク口ック入力となる独立した発振子を備えている。また、同様に、センタユニット部20の本体制御ユニット21もシステムタイマーのク口ック入力となる独立した発振子を備えている。このため、信号送信元であるスティック部10のシステムタイマーと信号受信側であるセンタユニット部20のシステムタイマーとには、不可避的にずれ(誤差)が発生する。
例えば、送信側のスティック制御ユニット11及び受信側の本体制御ユニット21がともに日差5秒の時計をシステムタイマーとして使っている場合、送信側のスティック制御ユニット11及び受信側の本体制御ユニット21との間で、24時間に最大10秒の誤差を持つことになり、これは一般的な曲1曲分の長さとほぼ等しい5分間の間に、35msecのずれが生じることを意味する。一般に人間は10msec以上の時間差があるとその時間差を感じ取ることができるとされているため、5分間に35msecのずれが生じることは、楽器の演奏としては無視できない時間差である。
図6(A)に示すように、送信側のスティック制御ユニット11のシステムタイマーと受信側の本体制御ユニット21のシステムタイマーとに生じる時間差(誤差)は、ほぼ直線的に増加する変位を示す。
このように、送信側と受信側のシステムクロックに時間差がある場合、何らかの手法によって両者の時間を合わせたとしても、時間の経過とともに再び時間差(誤差)が生じてしまう。
なお、新たに取得された発音指示信号のタイムスタンプデータや新たに算出された時間差データは、時間差データ記憶部23の時間バッファに格納される。
図6(B)に示すヒストグラムでは、タイムスタンプに示される時間と本体制御ユニット21のシステムタイマーとの時間差(誤差)として、15msecの時間差(誤差)の頻度が最も高いことを示している。
本実施形態では、図6(A)に示すように、本体制御ユニット21は、直近の100個分の時間差データに基づいてヒストグラムを作成するようになっている。本体制御ユニット21は、新たに発音指示信号(ノートオンイベント)を受信してタイムスタンプを取得する毎に、この発音指示信号のタイムスタンプに示される時間と本体制御ユニット21のシステムタイマーとの時間差(誤差)を算出する。そして、新たに時間差データを取得すると、本体制御ユニット21は、時間バッファに格納されている時間差データのうち最も古いデータを消去して、ヒストグラムを構成するデータから減算し、新たに取得した時間差データをこれに代えて時間バッファに格納するとともに、更新された時間差データに基づいてヒストグラムを作成(更新)する。
なお、ヒストグラムの作成に用いる時間差データの数は直近の100個分に限定されず、さらに多くのデータに基づいてヒストグラムを作成してもよい。
なお、本実施形態では、本体制御ユニット21は、通信状況や通信方式等に由来する外来要因による通信時間の遅延(ディレイ)をも考慮して発音のタイミングの調整を行う。
図7に示すように、外来要因による通信時間の遅延は、必ずしも時間の経過とともに直線的に増加するものではなく、ランダムに生じるものである。
実際の信号の送受信においては、図6(A)で示した送信側と受信側とのシステムタイマーの時間差によるずれに、図7に示す通信方式等の外来要因による通信時間の遅延が合わさって、全体の通信時間のずれとなる。
図7に示す外来要因による通信時間の遅延は、例えば頻度や平均値を求めることで、対応することができる。
本実施形態において、本体制御ユニット21は、一定時間分のデータから外来要因による通信時間の遅延の頻度を算出し、これを後述する発音タイミング調整処理において設定ディレイである「指定時間」(図9参照)として考慮する。
図8(A)は、何も調整を行わなかった場合であり、発音タイミングが大きくばらついている。図8(B)は、5msだけ遅延調整を行った場合であり、図8(C)は、10msの遅延調整を行った場合であり、図8(D)は、15msの遅延調整を行った場合である。遅延調整時間を長くするにしたがって、全体の時間は遅くなるが、遅れて発音されるものに合わせて全体を遅らせることによって、発音タイミングのばらつきはかなり改善され、人の耳では感じられない程度の誤差の範囲のずれとなる。
オーディオ回路32には、発音指示信号に基づく楽音データが本体制御ユニット21から出力されるようになっており、オーディオ回路32は、本体制御ユニット21から出力された楽音データをアナログ信号に変換し、変換されたアナログ信号を増幅して音声出力部251に出力する。
音声出力部251は、例えばスピーカ等であり、本体制御ユニット21において生成された楽音データに基づく楽音を発音させる発音手段である。音声出力部251は、発音タイミング調整手段としての本体制御ユニット21によって調整されたタイミングで、発音指示信号に基づき、所定の楽音を発音させる
なお、音声出力部251は、スピーカに限定されず、ヘッドホン等に音声を出力させる出力端子等であってもよい。
本実施形態において、データ通信部26は、時間データが付された発音指示信号を、無線方式で演奏操作子であるスティック部10から受信する本体通信手段として機能する。
バッテリ28は、一次電池でもよいし充電可能な二次電池でもよい。またバッテリ28を内蔵していることは必須ではなく、ケーブル等を介して外部から電源供給を受ける構成としてもよい。
次に、図9及び図10を参照して、楽音発生装置1の処理について説明する。
図9は、発音タイミング調整処理を示すフローチャートであり、図10は、ヒストグラム更新処理を示すフローチャートである。
本体制御ユニット21は、タイムスタンプを抽出すると、システムタイマーを読み込み(ステップS3)、タイムスタンプに示される時間と、システムタイマーの時間との時間差を算出する(ステップS4)。算出された時間差データは、時間バッファに格納される。スティック部10側(すなわち送信側)とセンターユニット部20側(すなわち受信側)のシステムタイマーの時間差が算出されると、本体制御ユニット21は、ヒストグラムの更新処理を行う(ステップS5)。
図10に本体制御ユニット21によるヒストグラム更新処理を示す。
本実施形態では、新たに時間差が算出されると、本体制御ユニット21は、時間差データ記憶部23の時間バッファに記憶されている時間差データのうち、最も古い時間差データを時間バッファから読出し(ステップS11)、当該最古の時間差データをヒストグラムの該当データから減算する(ステップS12)。そして、この最古の時間差データに代えて、新たに取得された今回の(最新の)時間差データを時間バッファに格納する(ステップS13)。そして、本体制御ユニット21は、この更新された時間差データに基づいて直近の100個の時間差データによりヒストグラムを作成し、ヒストグラムの更新を行う(ステップS14)。
ヒストグラムの更新処理が完了すると、図9に戻って、本体制御ユニット21は、今回新たに算出された時間差(タイムスタンプに示される時間とシステムタイマーの時間との時間差)は、更新されたヒストグラムにおける最大頻度の時間差(例えば図6(B)のヒストグラムの場合15msec)に「指定時間」(すなわち外来要因による遅延時間を考慮した所定の設定ディレイ)を加算したものよりも早いか否かを判断する(ステップS6)。
そして、今回新たに算出された時間差が、更新されたヒストグラムにおける最大頻度の時間差に「指定時間」を加算したものよりも早くない(すなわち、同じ又は遅い)と判断した場合(ステップS6;NO)には、直ちに、当該発音指示信号にしたがって音声出力部251から所定の楽音を発音させる(ステップS7)。他方、今回新たに算出された時間差が、更新されたヒストグラムにおける最大頻度の時間差に「指定時間」を加算したものよりも早いと判断した場合(ステップS6;YES)には、早さの時間差分だけ発音を行わずに待機させ(ステップS8)、早さ分の時間が経過した後に当該発音指示信号にしたがって音声出力部251から所定の楽音を発音させる(ステップS7)。すなわち、この場合には、本体制御ユニット21により判定された遅延時間(ヒストグラムにおける最大頻度の時間差に「指定時間」を加算した時間)を、発音指示信号に示される発音タイミングに加算して音声出力部251から所定の楽音を発音させる。
これにより、送信側であるスティック部10のシステムタイマーと、受信側であるセンタユニット部20側のシステムタイマーとの時間がずれている場合にも、この時間差による発音タイミングのずれを小さくすることができる。このため、演奏者が演奏操作を行ってから楽音が発音されるまでの時間をほぼ一定に揃えることができ、例えば、打楽器において打面を連打した場合のように、早いリズムで演奏操作を行った場合等であっても、不自然さを感じることなく、違和感なく演奏を行うことができる。
特に、送信側であるスティック部10が複数ある場合に、それぞれのスティック部10の操作によって発音タイミングがばらつくと、演奏者に違和感を与えてしまう。この点、本実施形態のように、時間差を考慮して発音タイミングを調整することにより、同時に叩いたはずの演奏操作によって時間差のある発音が行われる等の不都合を回避することができ、違和感のない自然な演奏を行うことができる。
また、本実施形態では、発音タイミング調整手段としての本体制御ユニット21は、ヒストグラムに基づいて、各発音指示信号毎に、発音指示信号に基づく発音を遅延させる遅延時間を判定し、判定された遅延時間を発音指示信号に示される発音タイミングに加算して発音手段である音声出力部251から所定の楽音を発音させるようになっている。このため、ヒストグラムに現れた最大頻度の遅延時間を考慮して発音タイミングを調整することができ、時間差による発音タイミングのずれを最小限度に抑えて、違和感のない演奏を実現することができる。
また、本実施形態では、スティック部10に平行な軸の回りの回転はしないものとして説明したが、これらの回転等についても角加速度センサ等により計測して対応するようにしてもよい。
楽音発生装置1は、演奏操作子で空間を叩く演奏操作を行うことで所定の楽器の音を発音させるものであり、実際に演奏操作子を楽器の打面に打ち付けるものではないため、携帯端末装置等の精密な電子機器を演奏操作子として用いた場合でも、演奏操作子が破損するおそれがない。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
[請求項1]
演奏者が保持可能な演奏操作子と、
前記演奏者の操作によって生じる演奏操作子本体の動きに基づいて所定の楽音を発音する発音手段を備える本体装置と、
を備え、
前記演奏操作子は、
前記演奏操作子本体の動きを検知する動き検知手段と、
前記動き検出手段により検知された前記演奏操作子本体の動きに基づいて、前記発音手段に対して発音指示を与える発音指示信号を生成する発音指示生成手段と、
前記発音指示生成手段により生成された前記発音指示信号に送信のタイミングを表わす時間データを付して、無線方式で前記本体装置に送信する操作子通信手段と、
を備え、
前記本体装置は、
前記時間データが付された発音指示信号を、無線方式で前記演奏操作子から受信する本体通信手段と、
前記時間データが付された発音指示信号が受信される毎に、当該受信された時間データで示されるタイミングと前記本体通信手段において当該発音指示信号を受信したタイミングとの差分を算出する差分算出手段と、
前記差分が算出される毎に、当該算出された差分と過去に算出された差分とに基づいてヒストグラムを作成するヒストグラム作成手段と、
前記差分が算出される毎に、当該算出された差分と前記作成されたヒストグラムにおける最も頻度の高い差分とに基づいて、前記受信された発音指示信号を前記発音手段に供給するタイミングを制御するタイミング制御手段と、
を備えたことを特徴とする楽音発生装置。
[請求項2]
前記タイミング制御手段は、前記算出された差分が前記最も頻度の高い差分より大きいか否か判別し、大きいと判別された場合は前記受信された発音指示信号を直ちに前記発音手段に供給するとともに、大きくないと判別された場合は前記発音指示信号を受信したタイミングから前記最も頻度の高い差分を加算したタイミングで前記受信された発音指示信号を前記発音手段に供給することを特徴とする請求項1に記載の楽音発生装置。
10 スティック部
11 スティック制御ユニット
14 モーションセンサ部
20 センターユニット部
21 本体制御ユニット
22 音源データ記憶部
23 時間差データ記憶部
111 発音指示生成部
251 音声出力部
D ドラムセット
Claims (4)
- 前記時間データが付された発音指示信号を、受信する受信手段と、
前記時間データが付された発音指示信号が受信される毎に、当該受信された時間データで示されるタイミングと前記受信手段において当該発音指示信号を受信したタイミングとの差分を算出する差分算出手段と、
前記差分が算出される毎に、当該算出された差分と過去に算出された差分とに基づいてヒストグラムを作成するヒストグラム作成手段と、
前記差分が算出される毎に、当該算出された差分と前記作成されたヒストグラムにおける最も頻度の高い差分とに基づいて、前記受信された発音指示信号を、接続された発音手段に供給するタイミングを制御するタイミング制御手段と、
を備え、
前記タイミング制御手段は、前記算出された差分が前記最も頻度の高い差分より大きいか否か判別し、大きいと判別された場合は前記受信された発音指示信号を直ちに前記発音手段に供給するとともに、大きくないと判別された場合は前記発音指示信号を受信したタイミングから前記最も頻度の高い差分を加算したタイミングで前記受信された発音指示信号を前記発音手段に供給する楽音発生装置。 - 前記楽音発生装置はさらに、演奏者が保持可能な演奏操作子を有し、
前記演奏操作子は、
当該演奏操作子本体の動きを検知する動き検知手段と、
前記動き検出手段により検知された前記演奏操作子本体の動きに基づいて、前記発音手
段に対して発音指示を与える発音指示信号を生成する発音指示生成手段と、
前記発音指示生成手段により生成された前記発音指示信号に送信のタイミングを表わす時間データを付して送信する送信手段と、
を有する請求項1記載の楽音発生装置。 - 前記時間データが付された発音指示信号を受信し、
前記時間データが付された発音指示信号が受信される毎に、当該受信された時間データで示されるタイミングと当該発音指示信号を受信したタイミングとの差分を算出し、
前記差分が算出される毎に、当該算出された差分と過去に算出された差分とに基づいてヒストグラムを作成し、
前記差分が算出される毎に、当該算出された差分と前記作成されたヒストグラムにおける最も頻度の高い差分とに基づいて、前記受信された発音指示信号を、接続された発音手段に供給するタイミングを制御し、
前記タイミングの制御は、前記算出された差分が前記最も頻度の高い差分より大きいか否か判別し、大きいと判別された場合は前記受信された発音指示信号を直ちに前記発音手段に供給するとともに、大きくないと判別された場合は前記発音指示信号を受信したタイミングから前記最も頻度の高い差分を加算したタイミングで前記受信された発音指示信号を前記発音手段に供給する、楽音発生方法。 - コンピュータに、
前記時間データが付された発音指示信号を、受信する受信ステップと、
前記時間データが付された発音指示信号が受信される毎に、当該受信された時間データで示されるタイミングと当該発音指示信号を受信したタイミングとの差分を算出する差分算出ステップと、
前記差分が算出される毎に、当該算出された差分と過去に算出された差分とに基づいてヒストグラムを作成するヒストグラム作成ステップと、
前記差分が算出される毎に、当該算出された差分と前記作成されたヒストグラムにおける最も頻度の高い差分とに基づいて、前記受信された発音指示信号を、接続された発音手段に供給するタイミングを制御するタイミングステップと、
を実行させ、
前記タイミングステップは、前記算出された差分が前記最も頻度の高い差分より大きいか否か判別し、大きいと判別された場合は前記受信された発音指示信号を直ちに前記発音手段に供給するとともに、大きくないと判別された場合は前記発音指示信号を受信したタイミングから前記最も頻度の高い差分を加算したタイミングで前記受信された発音指示信号を前記発音手段に供給させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012061691A JP5664581B2 (ja) | 2012-03-19 | 2012-03-19 | 楽音発生装置、楽音発生方法及びプログラム |
US13/796,911 US9154870B2 (en) | 2012-03-19 | 2013-03-12 | Sound generation device, sound generation method and storage medium storing sound generation program |
CN201310123438.4A CN103325365B (zh) | 2012-03-19 | 2013-03-19 | 音发生装置和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012061691A JP5664581B2 (ja) | 2012-03-19 | 2012-03-19 | 楽音発生装置、楽音発生方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013195623A JP2013195623A (ja) | 2013-09-30 |
JP5664581B2 true JP5664581B2 (ja) | 2015-02-04 |
Family
ID=49157676
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012061691A Active JP5664581B2 (ja) | 2012-03-19 | 2012-03-19 | 楽音発生装置、楽音発生方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9154870B2 (ja) |
JP (1) | JP5664581B2 (ja) |
CN (1) | CN103325365B (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9313131B2 (en) | 2013-09-06 | 2016-04-12 | Stmicroelectronics, Inc. | Hardware implemented ethernet multiple tuple filter system and method |
US9237109B2 (en) * | 2013-09-06 | 2016-01-12 | Stmicroelectronics, Inc. | System and method for efficient upstream transmission using suppression |
CN103531185A (zh) * | 2013-10-18 | 2014-01-22 | 太仓市方克乐器有限公司 | 一种架子鼓练习用鼓槌 |
US9847079B2 (en) * | 2016-05-10 | 2017-12-19 | Google Llc | Methods and apparatus to use predicted actions in virtual reality environments |
US10802711B2 (en) | 2016-05-10 | 2020-10-13 | Google Llc | Volumetric virtual reality keyboard methods, user interface, and interactions |
JP6528752B2 (ja) * | 2016-10-07 | 2019-06-12 | カシオ計算機株式会社 | 楽音再生装置、楽音再生方法、プログラムおよび電子楽器 |
CN106847249B (zh) * | 2017-01-25 | 2020-10-27 | 得理电子(上海)有限公司 | 一种发音处理方法及*** |
CN110291579B (zh) * | 2017-03-15 | 2023-12-29 | 雅马哈株式会社 | 信号供给装置、键盘装置以及存储介质 |
JP7160793B2 (ja) * | 2017-03-15 | 2022-10-25 | ヤマハ株式会社 | 信号供給装置、鍵盤装置およびプログラム |
US10319352B2 (en) * | 2017-04-28 | 2019-06-11 | Intel Corporation | Notation for gesture-based composition |
DE102017120032A1 (de) * | 2017-08-31 | 2019-02-28 | Vega Grieshaber Kg | Verfahren zur zeitsynchronisierten Verarbeitung von Daten eines Feldgerätes der Prozessautomatisierung |
JP6419932B1 (ja) * | 2017-11-28 | 2018-11-07 | 株式会社コロプラ | 仮想空間において楽器の演奏を支援するためのプログラム、楽器の選択を支援するためにコンピュータで実行される方法、および情報処理装置 |
CN108269563A (zh) * | 2018-01-04 | 2018-07-10 | 暨南大学 | 一种虚拟爵士鼓及实现方法 |
CN109300452B (zh) * | 2018-06-09 | 2023-08-25 | 程建铜 | 鼓棒的信号输出方法、装置、***、鼓棒和终端设备 |
CN109300453B (zh) * | 2018-06-09 | 2024-01-23 | 程建铜 | 一种鼓棒、终端设备和音频播放*** |
JP2019101413A (ja) * | 2018-10-09 | 2019-06-24 | 株式会社コロプラ | 仮想空間において楽器の演奏を支援するためのプログラム、楽器の選択を支援するためにコンピュータで実行される方法、および情報処理装置 |
CN109493685B (zh) * | 2018-12-29 | 2021-03-30 | 深圳市掌网科技股份有限公司 | 一种基于增强现实的虚拟打击乐器训练*** |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01123893U (ja) * | 1987-12-15 | 1989-08-23 | ||
JPH0651760A (ja) * | 1992-07-31 | 1994-02-25 | Kawai Musical Instr Mfg Co Ltd | 無線方式楽音発生システム |
JPH07121161A (ja) * | 1993-10-27 | 1995-05-12 | Otari Kk | 遠隔地記録再生方法及び遠隔地記録再生装置 |
JPH0854888A (ja) * | 1994-08-12 | 1996-02-27 | Matsushita Electric Ind Co Ltd | 音楽データ伝送装置 |
JPH08241081A (ja) | 1995-03-03 | 1996-09-17 | Hitachi Ltd | 複数音源の同期制御方法 |
US5619582A (en) * | 1996-01-16 | 1997-04-08 | Oltman; Randy | Enhanced concert audio process utilizing a synchronized headgear system |
US6130949A (en) * | 1996-09-18 | 2000-10-10 | Nippon Telegraph And Telephone Corporation | Method and apparatus for separation of source, program recorded medium therefor, method and apparatus for detection of sound source zone, and program recorded medium therefor |
JP3671274B2 (ja) * | 1998-12-18 | 2005-07-13 | カシオ計算機株式会社 | 音楽情報送受信装置、受信装置及び記憶媒体 |
EP1161098B1 (en) * | 2000-04-27 | 2011-06-22 | Nippon Telegraph And Telephone Corporation | Signal detection method and apparatus |
US6388183B1 (en) * | 2001-05-07 | 2002-05-14 | Leh Labs, L.L.C. | Virtual musical instruments with user selectable and controllable mapping of position input to sound output |
JP3786039B2 (ja) * | 2002-03-15 | 2006-06-14 | ヤマハ株式会社 | 通信装置及び方法 |
JP3750635B2 (ja) * | 2002-07-02 | 2006-03-01 | ヤマハ株式会社 | 電子ドラム装置 |
KR20050047085A (ko) * | 2002-07-31 | 2005-05-19 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 오디오 처리 시스템 |
US8234395B2 (en) * | 2003-07-28 | 2012-07-31 | Sonos, Inc. | System and method for synchronizing operations among a plurality of independently clocked digital data processing devices |
US7500176B2 (en) * | 2004-04-01 | 2009-03-03 | Pinnacle Systems, Inc. | Method and apparatus for automatically creating a movie |
US7301092B1 (en) * | 2004-04-01 | 2007-11-27 | Pinnacle Systems, Inc. | Method and apparatus for synchronizing audio and video components of multimedia presentations by identifying beats in a music signal |
US20050226601A1 (en) * | 2004-04-08 | 2005-10-13 | Alon Cohen | Device, system and method for synchronizing an effect to a media presentation |
JP4006008B2 (ja) * | 2005-03-14 | 2007-11-14 | 株式会社コナミスポーツ&ライフ | 動き情報処理システム |
EP2479990A3 (en) * | 2005-06-23 | 2013-01-23 | Israel Aerospace Industries Ltd. | A system and method for tracking moving objects |
KR20090016662A (ko) * | 2006-08-03 | 2009-02-17 | 가부시키가이샤 엔티티 도코모 | 비-가시선 완화를 위한 다중경로 채널 통계를 이용하는 가중 최소 자승 위치 측정 방법 |
US7995770B1 (en) * | 2007-02-02 | 2011-08-09 | Jeffrey Franklin Simon | Apparatus and method for aligning and controlling reception of sound transmissions at locations distant from the sound source |
JP2009021888A (ja) * | 2007-07-13 | 2009-01-29 | Panasonic Corp | データ通信装置及びデータ通信方法 |
JP2011128427A (ja) * | 2009-12-18 | 2011-06-30 | Yamaha Corp | 演奏装置、演奏制御装置及びプログラム |
US8342978B2 (en) * | 2010-01-25 | 2013-01-01 | Kunihiro Tamura | Device for instructing downswing in golf swing |
JP5029732B2 (ja) * | 2010-07-09 | 2012-09-19 | カシオ計算機株式会社 | 演奏装置および電子楽器 |
JP5067458B2 (ja) * | 2010-08-02 | 2012-11-07 | カシオ計算機株式会社 | 演奏装置および電子楽器 |
WO2012048299A1 (en) * | 2010-10-07 | 2012-04-12 | Clair Brothers Audio Enterprises, Inc. | Method and system for enhancing sound |
JP5316816B2 (ja) * | 2010-10-14 | 2013-10-16 | カシオ計算機株式会社 | 入力装置およびプログラム |
JP5182655B2 (ja) * | 2010-11-05 | 2013-04-17 | カシオ計算機株式会社 | 電子打楽器およびプログラム |
-
2012
- 2012-03-19 JP JP2012061691A patent/JP5664581B2/ja active Active
-
2013
- 2013-03-12 US US13/796,911 patent/US9154870B2/en active Active
- 2013-03-19 CN CN201310123438.4A patent/CN103325365B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US9154870B2 (en) | 2015-10-06 |
US20130243220A1 (en) | 2013-09-19 |
JP2013195623A (ja) | 2013-09-30 |
CN103325365A (zh) | 2013-09-25 |
CN103325365B (zh) | 2015-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5664581B2 (ja) | 楽音発生装置、楽音発生方法及びプログラム | |
US8445769B2 (en) | Performance apparatus and electronic musical instrument | |
US8609972B2 (en) | Performance apparatus and electronic musical instrument operable in plural operation modes determined based on movement operation of performance apparatus | |
US8710347B2 (en) | Performance apparatus and electronic musical instrument | |
JP5966465B2 (ja) | 演奏装置、プログラム及び演奏方法 | |
JP6127367B2 (ja) | 演奏装置及びプログラム | |
JP5712603B2 (ja) | 演奏装置および電子楽器 | |
JP3915257B2 (ja) | カラオケ装置 | |
US8653350B2 (en) | Performance apparatus and electronic musical instrument | |
JP5088398B2 (ja) | 演奏装置および電子楽器 | |
JP6111526B2 (ja) | 楽音発生装置 | |
JP7106091B2 (ja) | 演奏支援システムおよび制御方法 | |
JP5668353B2 (ja) | 演奏装置および電子楽器 | |
JP2013044889A (ja) | 演奏装置 | |
JP2012013725A (ja) | 演奏システムおよび電子楽器 | |
JP5974567B2 (ja) | 楽音発生装置 | |
JP6519578B2 (ja) | 姿勢検出装置、及び姿勢検出方法 | |
JP5935399B2 (ja) | 楽音発生装置 | |
JP2012032681A (ja) | 演奏装置および電子楽器 | |
JP6219717B2 (ja) | 電子ハンドベルシステム | |
JP5029729B2 (ja) | 演奏装置および電子楽器 | |
JP2011237662A (ja) | 電子楽器 | |
JP2011257509A (ja) | 演奏装置および電子楽器 | |
JP2013044951A (ja) | 操作子および演奏装置 | |
JP2014002249A (ja) | 演奏装置、方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140304 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140424 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141111 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5664581 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |