JP5935399B2 - 楽音発生装置 - Google Patents
楽音発生装置 Download PDFInfo
- Publication number
- JP5935399B2 JP5935399B2 JP2012048489A JP2012048489A JP5935399B2 JP 5935399 B2 JP5935399 B2 JP 5935399B2 JP 2012048489 A JP2012048489 A JP 2012048489A JP 2012048489 A JP2012048489 A JP 2012048489A JP 5935399 B2 JP5935399 B2 JP 5935399B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- performance
- stick
- roll
- marker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
Description
本発明は、楽音発生装置に関するものである。
従来、演奏者（ユーザ）の演奏動作を検知すると、演奏動作に応じた電子音（楽音）を発音する楽音発生装置（演奏装置）が提案されている。例えば、演奏者が打楽器のスティックに相当する棒状の部材を振る動作を行うと、それに応じて打楽器音を発音する装置（エアドラム）が知られており（例えば、特許文献１及び特許文献２参照）、このような装置では、棒状の部材にセンサを設け、演奏者がこの部材を手で保持して振ると、センサがその動作を検知し、この検知結果に応じた打楽器音を発音させるように構成されている。
例えば打楽器等の現実の楽器は、重量も重く、設置に広いスペースを要することから、自宅等で手軽に演奏や練習を行うことが難しい。
この点、演奏者の演奏動作を検知して、これに応じた楽音を発生させる楽音発生装置によれば、現実の楽器を必要とせずに当該楽器の楽音を発音させることができるため、演奏場所や演奏スペースに制約を受けずに手軽に演奏を楽しむことができる。
例えば打楽器等の現実の楽器は、重量も重く、設置に広いスペースを要することから、自宅等で手軽に演奏や練習を行うことが難しい。
この点、演奏者の演奏動作を検知して、これに応じた楽音を発生させる楽音発生装置によれば、現実の楽器を必要とせずに当該楽器の楽音を発音させることができるため、演奏場所や演奏スペースに制約を受けずに手軽に演奏を楽しむことができる。
ところで、打楽器であるドラムの演奏手法の１つとして、ドラムの打面を連打することによって持続音を出す「ロール奏法」（ドラムロール奏法）と呼ばれる奏法がある。このロール奏法による演奏では、通常１回の手の振り動作において、その反動を利用して「タ・タ」と２つの音を出すようになっており、これを左右交互に繰り返すことにより、打面を細かく連打して持続音を出すことができる。
このようなロール奏法は、雰囲気を盛り上げる際等に一般的に用いられる奏法であり、ドラム演奏の醍醐味の１つでもある。
このようなロール奏法は、雰囲気を盛り上げる際等に一般的に用いられる奏法であり、ドラム演奏の醍醐味の１つでもある。
しかしながら、特許文献１及び特許文献２等に記載の電子音を発音する楽音発生装置においては、現実の打楽器と異なり、実際に楽器の打面を叩くわけではないため、叩いた後にスティックが跳ね上がってくる反動がない。このため、反動を利用して細かく速い連打を行い持続音を発音させるロール奏法を行うことは不可能であり、ドラム演奏の醍醐味に欠けるという問題があった。
本発明は以上のような事情に鑑みてなされたものであり、反動を利用できない空中における演奏においても、あたかも演奏者がロール奏法による演奏を行っているかのような発音を行わせることのできる楽音発生装置を提供することを目的とするものである。
前記課題を解決するために、本発明の楽音発生装置は、
演奏者が保持可能な打撃用の演奏操作子と、
前記演奏者の打撃演奏操作によって生じる前記演奏操作子本体の動きを検知する動き検知手段と、
前記動き検知手段により検知される前記演奏操作子の上下方向の動きにより発生する加速度の極大値及び極小値が予め定めた範囲内である場合であって、かつ、前記動き検知手段によって検知された前記演奏操作子の操作により発生する加速度の極大値及び極小値との間の時間が予め定めた範囲内である場合にロール奏法であると判断する奏法判断手段と、
前記奏法判断手段によりロール奏法と判断された場合、前記動き検出手段により検知された動きに基づいて決定されるタイミングにて、ロール奏法用楽音の発音を発音手段に指示する発音指示手段と、
を備えていることを特徴としている。
演奏者が保持可能な打撃用の演奏操作子と、
前記演奏者の打撃演奏操作によって生じる前記演奏操作子本体の動きを検知する動き検知手段と、
前記動き検知手段により検知される前記演奏操作子の上下方向の動きにより発生する加速度の極大値及び極小値が予め定めた範囲内である場合であって、かつ、前記動き検知手段によって検知された前記演奏操作子の操作により発生する加速度の極大値及び極小値との間の時間が予め定めた範囲内である場合にロール奏法であると判断する奏法判断手段と、
前記奏法判断手段によりロール奏法と判断された場合、前記動き検出手段により検知された動きに基づいて決定されるタイミングにて、ロール奏法用楽音の発音を発音手段に指示する発音指示手段と、
を備えていることを特徴としている。
本発明によれば、反動を利用できない空中における演奏においても、あたかも演奏者がロール奏法で演奏を行っているかのような発音を行わせることができる。これにより、演奏表現の幅が広がり、演奏の醍醐味を十分に味わうことができるとの効果を奏する。
以下、本発明の実施形態について、図面を用いて説明する。なお、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。
［楽音発生装置の概要］
まず、図１（Ａ）及び図１（Ｂ）を参照して、本発明に係る楽音発生装置の一実施形態の概要について説明する。
図１（Ａ）は、本実施形態に係る楽音発生装置の装置構成の概要を示す図である。
図１（Ａ）に示すように、本実施形態の楽音発生装置１は、スティック部１０Ａ、１０Ｂと、カメラユニット部２０と、センターユニット部３０と、を含んで構成されている。なお、本実施形態の楽音発生装置１は、２本のスティックを用いた仮想的なドラム演奏を実現するため、２つのスティック部１０Ａ、１０Ｂを備えることとしているが、スティック部の数はこれに限られず、１つとしてもよく、３つ以上としてもよい。なお、以下では、スティック部１０Ａ、１０Ｂを区別しない場合には、両者を総称して「スティック部１０」と称する。
まず、図１（Ａ）及び図１（Ｂ）を参照して、本発明に係る楽音発生装置の一実施形態の概要について説明する。
図１（Ａ）は、本実施形態に係る楽音発生装置の装置構成の概要を示す図である。
図１（Ａ）に示すように、本実施形態の楽音発生装置１は、スティック部１０Ａ、１０Ｂと、カメラユニット部２０と、センターユニット部３０と、を含んで構成されている。なお、本実施形態の楽音発生装置１は、２本のスティックを用いた仮想的なドラム演奏を実現するため、２つのスティック部１０Ａ、１０Ｂを備えることとしているが、スティック部の数はこれに限られず、１つとしてもよく、３つ以上としてもよい。なお、以下では、スティック部１０Ａ、１０Ｂを区別しない場合には、両者を総称して「スティック部１０」と称する。
スティック部１０は、長手方向に延在する棒状の部材であり、演奏者が保持可能な打撃用の演奏操作子として機能する。すなわち、演奏者は、スティック部１０の一端（根元側）を手に持ち、手首等を中心とした振り上げ振り下ろし動作を行うことにより、演奏動作を行う。
このような演奏者の演奏動作を検知するため、この演奏操作子としてのスティック部１０には、演奏者の演奏動作に基づくスティック部１０（演奏操作子）の動きを検知する動き検知手段が配置されている。本実施形態では、スティック部１０の他端（先端側）に、動き検知手段として加速度センサなどの各種センサ（後述のモーションセンサ部１４、図２参照）が設けられており、各種センサによって検知された検知結果（例えば各種センサによって取得された生データ等）が、センターユニット部３０に送信されるようになっている。
また、スティック部１０の先端側には、マーカー部１５が設けられており、撮像時にカメラユニット部２０がスティック部１０の先端を容易に判別可能であるように構成されている。
このような演奏者の演奏動作を検知するため、この演奏操作子としてのスティック部１０には、演奏者の演奏動作に基づくスティック部１０（演奏操作子）の動きを検知する動き検知手段が配置されている。本実施形態では、スティック部１０の他端（先端側）に、動き検知手段として加速度センサなどの各種センサ（後述のモーションセンサ部１４、図２参照）が設けられており、各種センサによって検知された検知結果（例えば各種センサによって取得された生データ等）が、センターユニット部３０に送信されるようになっている。
また、スティック部１０の先端側には、マーカー部１５が設けられており、撮像時にカメラユニット部２０がスティック部１０の先端を容易に判別可能であるように構成されている。
カメラユニット部２０は、スティック部１０を保持して演奏動作を行う演奏者の動画を所定のフレームレートで撮像する撮像部２４（例えば光学式のカメラ、図４参照）等を備える撮像装置である。
センターユニット部３０は、スティック部１０から動き検知手段として各種センサ（後述のモーションセンサ部１４）によって検知された検知結果を受信すると、この検知結果及び当該検知結果受信時におけるマーカー部１５の位置座標データに応じて、所定の楽音を発音手段である発音部３６のスピーカ等の音声出力部３６２から発音させる。
具体的には、センターユニット部３０は、その記憶手段であるＲＯＭ（後述する）等に、カメラユニット部２０の撮像空間に対応付けて、図１（Ｂ）に示すような仮想のドラムセットＤの位置座標データを記憶している。センターユニット部３０は、当該仮想のドラムセットＤの位置座標データとモーションセンサ部１４による検知結果受信時におけるマーカー部１５の位置座標データとに基づいて、スティック部１０が打撃した楽器を特定し、当該楽器に対応する所定の楽音を発音させる。
以下、本実施形態に係る楽音発生装置１について具体的に説明する。
具体的には、センターユニット部３０は、その記憶手段であるＲＯＭ（後述する）等に、カメラユニット部２０の撮像空間に対応付けて、図１（Ｂ）に示すような仮想のドラムセットＤの位置座標データを記憶している。センターユニット部３０は、当該仮想のドラムセットＤの位置座標データとモーションセンサ部１４による検知結果受信時におけるマーカー部１５の位置座標データとに基づいて、スティック部１０が打撃した楽器を特定し、当該楽器に対応する所定の楽音を発音させる。
以下、本実施形態に係る楽音発生装置１について具体的に説明する。
［楽音発生装置１の構成］
まず、図２から図５を参照して、本実施形態における楽音発生装置１を構成するスティック部１０、カメラユニット部２０及びセンターユニット部３０の構成について詳細に説明する。
図２は、スティック部１０のハードウェア構成を示すブロック図であり、図３は、スティック部１０の斜視図であり、図４は、カメラユニット部２０のハードウェア構成を示すブロック図であり、図５は、センターユニット部３０のハードウェア構成を示すブロック図である。
まず、図２から図５を参照して、本実施形態における楽音発生装置１を構成するスティック部１０、カメラユニット部２０及びセンターユニット部３０の構成について詳細に説明する。
図２は、スティック部１０のハードウェア構成を示すブロック図であり、図３は、スティック部１０の斜視図であり、図４は、カメラユニット部２０のハードウェア構成を示すブロック図であり、図５は、センターユニット部３０のハードウェア構成を示すブロック図である。
［スティック部１０の構成］
図２に示すように、スティック部１０は、ＣＰＵ（Central Processing Unit）等で構成されるスティック制御部１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、モーションセンサ部１４と、マーカー部１５と、データ通信部１６と、を含んで構成されている。また、スティック部１０は、各部に電源を供給する図示しない電源部を備えている。
図２に示すように、スティック部１０は、ＣＰＵ（Central Processing Unit）等で構成されるスティック制御部１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、モーションセンサ部１４と、マーカー部１５と、データ通信部１６と、を含んで構成されている。また、スティック部１０は、各部に電源を供給する図示しない電源部を備えている。
ＲＯＭ１２は、スティック制御部１１の実行する各種処理の処理プログラムを格納している。
また、ＲＯＭ１２は、マーカー部１５の発光制御に用いるマーカー特徴情報を格納している。
ここで、マーカー特徴情報とは、同じ撮像空間に複数のマーカー部１５が存在している場合に、各マーカー部１５（本実施形態では、スティック部１０Ａの第１マーカーとスティック部１０Ｂの第２マーカー）を区別するための情報であり、例えば、発光時の形状、大きさ、色相、彩度、あるいは輝度に加え、発光時の点滅スピードなどを用いることができる。スティック部１０が複数ある場合には、各スティック部１０はそれぞれ異なるマーカー特徴情報を有しており、各マーカー特徴情報にしたがった発光制御が行われるようになっている。
また、ＲＯＭ１２は、マーカー部１５の発光制御に用いるマーカー特徴情報を格納している。
ここで、マーカー特徴情報とは、同じ撮像空間に複数のマーカー部１５が存在している場合に、各マーカー部１５（本実施形態では、スティック部１０Ａの第１マーカーとスティック部１０Ｂの第２マーカー）を区別するための情報であり、例えば、発光時の形状、大きさ、色相、彩度、あるいは輝度に加え、発光時の点滅スピードなどを用いることができる。スティック部１０が複数ある場合には、各スティック部１０はそれぞれ異なるマーカー特徴情報を有しており、各マーカー特徴情報にしたがった発光制御が行われるようになっている。
ＲＡＭ１３は、モーションセンサ部１４が出力した各種センサ値等、処理において取得され又は生成された値を格納する。
スティック制御部１１は、スティック部１０全体の制御を実行するものである。
例えば、動き検知手段であるモーションセンサ部１４から検知結果としてのセンサ値（以下、これを「モーションセンサデータ」と称する。）が出力されると、このモーションセンサデータを、データ通信部１６を介してセンターユニット部３０に送信する等、センターユニット部３０との間の通信制御を行う。
また、スティック制御部１１は、マーカー特徴情報をＲＯＭ１２から読み出し、当該マーカー特徴情報にしたがって、マーカー部１５の発光制御を行う。前述のように、複数のスティック部１０Ａ，１０Ｂがある場合には、各スティック部１０Ａ，１０Ｂはそれぞれ異なるマーカー特徴情報にしたがった発光制御が行われる。これは、カメラユニット部２０の撮像部２４によって撮像された画像から、スティック部１０Ａのマーカー部１５（第１マーカー）と、スティック部１０Ｂのマーカー部１５（第２マーカー）とを区別して検出できるようにするためである。すなわち、スティック部１０が複数ある場合に、マーカー部１５が同じように発光すると、カメラユニット部２０で撮影した際に、各マーカー部１５がいずれのスティック部１０のものであるか判別できないおそれがある。このため、スティック部１０Ａのスティック制御部１１及びスティック部１０Ｂのスティック制御部１１がそれぞれ異なるマーカー特徴情報を読み出し、これにしたがってマーカー部１５の発光制御を行うことで、各マーカー部１５の発光を異ならせ、両者の区別を容易としている。
なお、スティック制御部１１によって行われる制御はこれに限定されず、例えば、センターユニット部３０からの指示又はモーションセンサ部１４による検知結果であるセンサ値（モーションセンサデータ）等に基づいて、マーカー部１５の点灯／消灯等の発光制御を行うようにしてもよい。
例えば、動き検知手段であるモーションセンサ部１４から検知結果としてのセンサ値（以下、これを「モーションセンサデータ」と称する。）が出力されると、このモーションセンサデータを、データ通信部１６を介してセンターユニット部３０に送信する等、センターユニット部３０との間の通信制御を行う。
また、スティック制御部１１は、マーカー特徴情報をＲＯＭ１２から読み出し、当該マーカー特徴情報にしたがって、マーカー部１５の発光制御を行う。前述のように、複数のスティック部１０Ａ，１０Ｂがある場合には、各スティック部１０Ａ，１０Ｂはそれぞれ異なるマーカー特徴情報にしたがった発光制御が行われる。これは、カメラユニット部２０の撮像部２４によって撮像された画像から、スティック部１０Ａのマーカー部１５（第１マーカー）と、スティック部１０Ｂのマーカー部１５（第２マーカー）とを区別して検出できるようにするためである。すなわち、スティック部１０が複数ある場合に、マーカー部１５が同じように発光すると、カメラユニット部２０で撮影した際に、各マーカー部１５がいずれのスティック部１０のものであるか判別できないおそれがある。このため、スティック部１０Ａのスティック制御部１１及びスティック部１０Ｂのスティック制御部１１がそれぞれ異なるマーカー特徴情報を読み出し、これにしたがってマーカー部１５の発光制御を行うことで、各マーカー部１５の発光を異ならせ、両者の区別を容易としている。
なお、スティック制御部１１によって行われる制御はこれに限定されず、例えば、センターユニット部３０からの指示又はモーションセンサ部１４による検知結果であるセンサ値（モーションセンサデータ）等に基づいて、マーカー部１５の点灯／消灯等の発光制御を行うようにしてもよい。
モーションセンサ部１４は、スティック部１０の状態を検知するための各種センサであり、演奏操作子であるスティック部１０に配置され、演奏者の打撃演奏操作によって生じるスティック部１０（演奏操作子）本体の動きを検知する動き検知手段として機能する。モーションセンサ部１４は、検知結果として所定のセンサ値（モーションセンサデータ）を出力する。モーションセンサ部１４によって検知された検知結果（モーションセンサデータ）は、データ通信部１６を介してセンターユニット部３０に送信される。
ここで、モーションセンサ部１４を構成するセンサとしては、例えば、加速度センサ、角速度センサ及び磁気センサ等を用いることができる。
ここで、モーションセンサ部１４を構成するセンサとしては、例えば、加速度センサ、角速度センサ及び磁気センサ等を用いることができる。
加速度センサとしては、Ｘ軸、Ｙ軸、Ｚ軸の３つの軸方向のそれぞれに生じた加速度を出力する３軸センサを用いることができる。なお、Ｘ軸、Ｙ軸、Ｚ軸については、図３に示すように、スティック部１０の長手方向の軸と一致する軸をＹ軸とし、加速度センサが配置された基板（図示せず）と平行で、かつ、Ｙ軸と直交する軸をＸ軸とし、Ｘ軸及びＹ軸と直交する軸をＺ軸とすることができる。加速度センサは、Ｘ軸、Ｙ軸、Ｚ軸のそれぞれの成分の加速度を取得するとともに、それぞれの加速度を合成したセンサ合成値を算出することとしてもよい。
本実施形態において、楽音発生装置１を用いて演奏を行う場合、演奏者は、スティック部１０の一端（根元側）を保持し、手首などを中心としてスティック部１０の他端（先端側）を上下動させる振り上げ振り下ろし動作を行うことで、スティック部１０に対して回転運動を生じさせる。ここで、スティック部１０が静止している場合には、加速度センサは、センサ合成値として重力加速度１Ｇに相当する値を算出し、スティック部１０が回転運動をしている場合には、加速度センサは、センサ合成値として重力加速度１Ｇよりも大きな値を算出する。なお、センサ合成値は、例えば、Ｘ軸、Ｙ軸、Ｚ軸の成分の加速度のそれぞれの２乗の総和の平方根を算出することで得られる。
本実施形態において、楽音発生装置１を用いて演奏を行う場合、演奏者は、スティック部１０の一端（根元側）を保持し、手首などを中心としてスティック部１０の他端（先端側）を上下動させる振り上げ振り下ろし動作を行うことで、スティック部１０に対して回転運動を生じさせる。ここで、スティック部１０が静止している場合には、加速度センサは、センサ合成値として重力加速度１Ｇに相当する値を算出し、スティック部１０が回転運動をしている場合には、加速度センサは、センサ合成値として重力加速度１Ｇよりも大きな値を算出する。なお、センサ合成値は、例えば、Ｘ軸、Ｙ軸、Ｚ軸の成分の加速度のそれぞれの２乗の総和の平方根を算出することで得られる。
また、角速度センサとしては、例えば、ジャイロスコープを備えたセンサを用いることができる。本実施形態において、角速度センサは、図３に示すように、スティック部１０のＹ軸方向の回転角５０１やスティック部１０のＸ軸方向の回転角５１１を出力するようになっている。
ここで、Ｙ軸方向の回転角５０１は、演奏者がスティック部１０を持ったとき、演奏者から見た前後軸の回転角であるため、ロール角と称することができる。ロール角は、Ｘ−Ｙ平面が、どの程度Ｘ軸に対して傾けられたかを示す角度５０２に対応し、演奏者がスティック部１０を手に持って、手首を軸にして左右に回転させることにより生じる。
また、Ｘ軸方向の回転角５１１は、演奏者がスティック部１０を持ったとき、演奏者から見た左右軸の回転角であるため、ピッチ角と称することができる。ピッチ角は、Ｘ−Ｙ平面が、どの程度Ｙ軸に対して傾けられたかを示す角度５１２に対応し、演奏者がスティック部１０を手に持って、手首を上下方向に振ることにより生じる。
なお、図示は省略しているが、角速度センサは、Ｚ軸方向の回転角も併せて出力することとしてもよい。このとき、Ｚ軸方向の回転角は、基本的にはＸ軸方向の回転角５１１と同じ性質を有し、演奏者がスティック部１０を手に持って、手首を左右方向に振ることにより生じるピッチ角である。
ここで、Ｙ軸方向の回転角５０１は、演奏者がスティック部１０を持ったとき、演奏者から見た前後軸の回転角であるため、ロール角と称することができる。ロール角は、Ｘ−Ｙ平面が、どの程度Ｘ軸に対して傾けられたかを示す角度５０２に対応し、演奏者がスティック部１０を手に持って、手首を軸にして左右に回転させることにより生じる。
また、Ｘ軸方向の回転角５１１は、演奏者がスティック部１０を持ったとき、演奏者から見た左右軸の回転角であるため、ピッチ角と称することができる。ピッチ角は、Ｘ−Ｙ平面が、どの程度Ｙ軸に対して傾けられたかを示す角度５１２に対応し、演奏者がスティック部１０を手に持って、手首を上下方向に振ることにより生じる。
なお、図示は省略しているが、角速度センサは、Ｚ軸方向の回転角も併せて出力することとしてもよい。このとき、Ｚ軸方向の回転角は、基本的にはＸ軸方向の回転角５１１と同じ性質を有し、演奏者がスティック部１０を手に持って、手首を左右方向に振ることにより生じるピッチ角である。
また、磁気センサとしては、図３に示すＸ軸、Ｙ軸、Ｚ軸の３軸方向の磁気センサ値を出力可能なセンサを用いることができる。このような磁気センサからは、磁石による北（磁北）を示すベクトルが、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向のそれぞれについて出力される。出力される各軸方向の成分は、スティック部１０の姿勢（向き）によって異なるため、これらの成分から、スティック制御部１１は、スティック部１０のロール角やＸ軸方向及びＺ軸方向の回転角を算出することができる。
ここで、図６を参照しつつ、モーションセンサ部１４によって検知される検知結果（モーションセンサデータ）について説明する。なお、ここでは、上記各種センサのうち加速度センサによる検知結果を示す。
演奏者がスティック部１０を用いて演奏を行う場合、一般には、現実の楽器（例えば、ドラム）を打つ動作と同様の動作を行う。このような（演奏）動作では、演奏者は、まずスティック部１０を振り上げ、それから仮想的な楽器の打面に向かって振り下ろす。そして実際には打面が存在していないため、演奏者は、スティック部１０を仮想的な楽器に打ちつける寸前に、スティック部１０の動作を止めようとする力を働かせる。
図６は、このようなスティック部１０を用いて演奏動作を行った場合のモーションセンサ部１４の垂直方向の加速度の変化を表わした図であり、スティック部１０からセンターユニット部３０に送信されるモーションセンサデータの一例を示すものである。
なお、垂直方向の加速度とは、水平面に対する垂直方向の加速度を意味し、Ｙ軸成分の加速度から分解し算出することとしてもよく、Ｚ軸方向の加速度（ロール角によってはＸ軸方向の加速度）から分解し算出することとしてもよい。また、図６において、マイナスの加速度は、スティック部１０に加わる下向き方向の加速度を示し、プラスの加速度は、スティック部１０に加わる上向き方向の加速度を示す。
演奏者がスティック部１０を用いて演奏を行う場合、一般には、現実の楽器（例えば、ドラム）を打つ動作と同様の動作を行う。このような（演奏）動作では、演奏者は、まずスティック部１０を振り上げ、それから仮想的な楽器の打面に向かって振り下ろす。そして実際には打面が存在していないため、演奏者は、スティック部１０を仮想的な楽器に打ちつける寸前に、スティック部１０の動作を止めようとする力を働かせる。
図６は、このようなスティック部１０を用いて演奏動作を行った場合のモーションセンサ部１４の垂直方向の加速度の変化を表わした図であり、スティック部１０からセンターユニット部３０に送信されるモーションセンサデータの一例を示すものである。
なお、垂直方向の加速度とは、水平面に対する垂直方向の加速度を意味し、Ｙ軸成分の加速度から分解し算出することとしてもよく、Ｚ軸方向の加速度（ロール角によってはＸ軸方向の加速度）から分解し算出することとしてもよい。また、図６において、マイナスの加速度は、スティック部１０に加わる下向き方向の加速度を示し、プラスの加速度は、スティック部１０に加わる上向き方向の加速度を示す。
スティック部１０が静止している状態（図６中ａで示される部分）であっても、スティック部１０には重力加速度が加わっているため、重力加速度に逆らう形で静止するスティック部１０のモーションセンサ部１４は、垂直下向き、つまりマイナス方向の一定の加速度を検出する。なお、スティック部１０に加わる加速度が０となるのは、スティック部１０が自由落下している状態のときである。
次に、図６中ｂで示す区間のように、スティック部１０が静止している状態において、振り上げ動作に伴い演奏者がスティック部１０を持ち上げると、重力加速度に対してより逆らう方向に動作することになるため、スティック部１０に加わる加速度はマイナス方向に増加する。その後静止させようとして持ち上げる速度を減少させると、加速度は、マイナス方向からプラスの方向に転換し、振り上げ動作が最高速に到達した時点（図６中のｐ１参照）での加速度は重力加速度のみ（すなわち、重力加速度１Ｇ）になる。
次に、図６中ｂで示す区間のように、スティック部１０が静止している状態において、振り上げ動作に伴い演奏者がスティック部１０を持ち上げると、重力加速度に対してより逆らう方向に動作することになるため、スティック部１０に加わる加速度はマイナス方向に増加する。その後静止させようとして持ち上げる速度を減少させると、加速度は、マイナス方向からプラスの方向に転換し、振り上げ動作が最高速に到達した時点（図６中のｐ１参照）での加速度は重力加速度のみ（すなわち、重力加速度１Ｇ）になる。
次に、図６中ｃで示す区間のように、振り上げ動作によりスティック部１０が頂点に達すると、演奏者はスティック部１０の振り下ろし動作を行う。振り下ろし動作では、スティック部１０は、重力加速度に従う方向に動作することになるため、スティック部１０に加わる加速度は、重力加速度よりもプラス方向に増加する。その後、振り下ろし動作が最高速に到達すると、スティック部１０には、再び重力加速度のみ（すなわち、重力加速度１Ｇ）が加わる状態となる（図６中のｐ２参照）。
この後、図６中ｄで示す区間のように、再びスティック部１０に対して振り上げ動作を行うと、加わる加速度はマイナス方向に増加し、振り上げ動作を静止させようとすると、加わる加速度はマイナス方向からプラス方向に転じる。
演奏動作が続いている間、演奏者によるスティック部１０の振り上げ振り下ろし動作にしたがって、図６に示したような加速度の変化が繰り返され、この加速度の変化がモーションセンサ部１４によって検知される。
この後、図６中ｄで示す区間のように、再びスティック部１０に対して振り上げ動作を行うと、加わる加速度はマイナス方向に増加し、振り上げ動作を静止させようとすると、加わる加速度はマイナス方向からプラス方向に転じる。
演奏動作が続いている間、演奏者によるスティック部１０の振り上げ振り下ろし動作にしたがって、図６に示したような加速度の変化が繰り返され、この加速度の変化がモーションセンサ部１４によって検知される。
図２に戻り、マーカー部１５は、スティック部１０の先端側に設けられた、例えば、ＬＥＤなどの発光体であり、スティック制御部１１からの制御に応じて発光及び消灯する。
具体的には、マーカー部１５は、スティック制御部１１がＲＯＭ１２から読み出したマーカー特徴情報に基づいて発光する。前述のように、スティック部１０Ａのマーカー特徴情報と、スティック部１０Ｂのマーカー特徴情報とは異なるように設定されている。このため、後述するように、カメラユニット部２０は、スティック部１０Ａのマーカー部（第１マーカー）とスティック部１０Ｂのマーカー部（第２マーカー）とを判別することができ、それぞれの位置座標を、いずれのスティック部１０のものかを区別して取得することができる。
具体的には、マーカー部１５は、スティック制御部１１がＲＯＭ１２から読み出したマーカー特徴情報に基づいて発光する。前述のように、スティック部１０Ａのマーカー特徴情報と、スティック部１０Ｂのマーカー特徴情報とは異なるように設定されている。このため、後述するように、カメラユニット部２０は、スティック部１０Ａのマーカー部（第１マーカー）とスティック部１０Ｂのマーカー部（第２マーカー）とを判別することができ、それぞれの位置座標を、いずれのスティック部１０のものかを区別して取得することができる。
データ通信部１６は、少なくともセンターユニット部３０との間で所定の無線通信を行う。所定の無線通信は、任意の方法で行うこととしてよく、本実施形態では、赤外線通信によりセンターユニット部３０との間での無線通信を行う。なお、データ通信部１６は、カメラユニット部２０との間で無線通信を行うこととしてもよく、また、スティック部１０Ａ及びスティック部１０Ｂとの間で無線通信を行うこととしてもよい。また、データ通信部１６による通信方式は無線通信に限定されない。例えばスティック部１０とセンターユニット部３０等とをケーブルにより接続し、データ通信部１６により有線通信を行う構成としてもよい。
［カメラユニット部２０の構成］
次に、図４を参照して、カメラユニット部２０の構成について説明する。
カメラユニット部２０は、ＣＰＵ等で構成されるカメラ制御部２１と、ＲＯＭ２２と、ＲＡＭ２３と、撮像部２４と、データ通信部２５と、を含んで構成される。また、カメラユニット部２０は、各部に電源を供給する図示しない電源部を備えている。
次に、図４を参照して、カメラユニット部２０の構成について説明する。
カメラユニット部２０は、ＣＰＵ等で構成されるカメラ制御部２１と、ＲＯＭ２２と、ＲＡＭ２３と、撮像部２４と、データ通信部２５と、を含んで構成される。また、カメラユニット部２０は、各部に電源を供給する図示しない電源部を備えている。
ＲＯＭ２２は、カメラ制御部２１の実行する各種処理の処理プログラムを格納している。
ＲＡＭ２３は、撮像部２４により得られたマーカー部１５の位置を示すデータ（演奏動作を行う演奏者の画像等）、この位置を示すデータから算出されたスティック部１０Ａ、１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）のそれぞれの位置座標のデータ等、処理において取得され又は生成された値を格納する。
また、ＲＡＭ２３は、センターユニット部３０から送信されるマーカー検出条件情報を格納する。マーカー検出条件情報とは、スティック部１０Ａ，１０Ｂのマーカー部１５のそれぞれを区別して検出するための条件であり、センターユニット部３０の本体制御部３１によりマーカー特徴情報から生成されるものである。
ＲＡＭ２３は、撮像部２４により得られたマーカー部１５の位置を示すデータ（演奏動作を行う演奏者の画像等）、この位置を示すデータから算出されたスティック部１０Ａ、１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）のそれぞれの位置座標のデータ等、処理において取得され又は生成された値を格納する。
また、ＲＡＭ２３は、センターユニット部３０から送信されるマーカー検出条件情報を格納する。マーカー検出条件情報とは、スティック部１０Ａ，１０Ｂのマーカー部１５のそれぞれを区別して検出するための条件であり、センターユニット部３０の本体制御部３１によりマーカー特徴情報から生成されるものである。
カメラ制御部２１は、カメラユニット部２０全体の制御を実行するものである。
本実施形態では、カメラ制御部２１は、例えば、撮像部２４により得られたマーカー部１５の位置を示すデータ（すなわち、スティック部１０を持って演奏動作を行う演奏者の画像等、少なくともマーカー部１５を含むスティック部１０周辺を撮像した画像のデータ）及びマーカー検出条件情報に基づいて、スティック部１０Ａ、１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）のそれぞれの位置座標を算出するマーカー位置検出処理を行う。
すなわち、カメラ制御部２１は、撮像部２４によって得られた画像からスティック部１０のマーカー部１５を検出して、その空間上の位置座標（撮像空間内におけるスティック部１０のマーカー部１５の位置座標）を特定する。また、複数のスティック部１０Ａ，１０Ｂのマーカー部１５が検出された場合には、カメラ制御部２１は、ＲＡＭ２３からマーカー検出条件情報を読み出して、各マーカー部１５がスティック部１０Ａのマーカー部１５（第１マーカー）であるか、スティック部１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）であるかを判別する。
また、カメラ制御部２１は、算出されたスティック部１０Ａ、１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）のそれぞれの位置座標のデータ（すなわち、第１マーカー及び第２マーカーの判別結果を伴う各マーカー部１５の位置座標のデータ。以下、これを「マーカー検出位置情報」という。）を、データ通信部２５を介してセンターユニット部３０に送信する通信制御を行う。
本実施形態では、カメラ制御部２１は、例えば、撮像部２４により得られたマーカー部１５の位置を示すデータ（すなわち、スティック部１０を持って演奏動作を行う演奏者の画像等、少なくともマーカー部１５を含むスティック部１０周辺を撮像した画像のデータ）及びマーカー検出条件情報に基づいて、スティック部１０Ａ、１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）のそれぞれの位置座標を算出するマーカー位置検出処理を行う。
すなわち、カメラ制御部２１は、撮像部２４によって得られた画像からスティック部１０のマーカー部１５を検出して、その空間上の位置座標（撮像空間内におけるスティック部１０のマーカー部１５の位置座標）を特定する。また、複数のスティック部１０Ａ，１０Ｂのマーカー部１５が検出された場合には、カメラ制御部２１は、ＲＡＭ２３からマーカー検出条件情報を読み出して、各マーカー部１５がスティック部１０Ａのマーカー部１５（第１マーカー）であるか、スティック部１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）であるかを判別する。
また、カメラ制御部２１は、算出されたスティック部１０Ａ、１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）のそれぞれの位置座標のデータ（すなわち、第１マーカー及び第２マーカーの判別結果を伴う各マーカー部１５の位置座標のデータ。以下、これを「マーカー検出位置情報」という。）を、データ通信部２５を介してセンターユニット部３０に送信する通信制御を行う。
撮像部２４は、例えば、光学式のカメラであり、スティック部１０を持って演奏動作を行う演奏者の動画等、少なくともマーカー部１５を含むスティック部１０周辺を所定のフレームレートで撮像する。
撮像部２４により撮像されたフレームごとの撮像データはカメラ制御部２１に出力される。なお、カメラユニット部２０は、撮像空間内におけるスティック部１０のマーカー部１５の位置座標を特定することとしているが、マーカー部１５の位置座標の特定（すなわち、マーカー位置検出処理、図１５参照）については、撮像部２４で行うこととしてもよいし、カメラ制御部２１が行うこととしてもよい。同様に、撮像した画像内のマーカー部１５がいずれのスティック部１０Ａ，１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）であるかの判別についても、撮像部２４において行ってもよいし、カメラ制御部２１において行うこととしてもよい。
撮像部２４により撮像されたフレームごとの撮像データはカメラ制御部２１に出力される。なお、カメラユニット部２０は、撮像空間内におけるスティック部１０のマーカー部１５の位置座標を特定することとしているが、マーカー部１５の位置座標の特定（すなわち、マーカー位置検出処理、図１５参照）については、撮像部２４で行うこととしてもよいし、カメラ制御部２１が行うこととしてもよい。同様に、撮像した画像内のマーカー部１５がいずれのスティック部１０Ａ，１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）であるかの判別についても、撮像部２４において行ってもよいし、カメラ制御部２１において行うこととしてもよい。
データ通信部２５は、少なくともセンターユニット部３０との間で所定の無線通信（例えば、赤外線通信）を行う。本実施形態では、データ通信部２５は、センターユニット部３０からマーカー検出条件情報を受信する。また、データ通信部２５は、マーカー検出位置情報をセンターユニット部３０に送信する。
なお、データ通信部１６は、スティック部１０との間で無線通信を行うこととしてもよい。また、データ通信部２５による通信方式は無線通信に限定されない。例えばカメラユニット部２０とセンターユニット部３０等とをケーブルにより接続し、データ通信部２５により有線通信を行う構成としてもよい。
なお、データ通信部１６は、スティック部１０との間で無線通信を行うこととしてもよい。また、データ通信部２５による通信方式は無線通信に限定されない。例えばカメラユニット部２０とセンターユニット部３０等とをケーブルにより接続し、データ通信部２５により有線通信を行う構成としてもよい。
［センターユニット部３０の構成］
次に、図５を参照して、センターユニット部３０の構成について説明する。
センターユニット部３０は、ＣＰＵ等で構成される本体制御部３１と、ＲＯＭ３２と、ＲＡＭ３３と、スイッチ操作検出回路３４と、表示回路３５と、発音部３６と、データ通信部３７と、を含んで構成される。また、センターユニット部３０は、各部に電源を供給する図示しない電源部を備えている。
次に、図５を参照して、センターユニット部３０の構成について説明する。
センターユニット部３０は、ＣＰＵ等で構成される本体制御部３１と、ＲＯＭ３２と、ＲＡＭ３３と、スイッチ操作検出回路３４と、表示回路３５と、発音部３６と、データ通信部３７と、を含んで構成される。また、センターユニット部３０は、各部に電源を供給する図示しない電源部を備えている。
ＲＯＭ３２は、本体制御部３１の実行する各種処理の処理プログラムを格納している。
また、ＲＯＭ３２は、種々の音色の波形データ（すなわち各楽器の音源データ）を記憶する図示しない音源記憶領域を備えている。この音源記憶領域は、後述する発音部３６とともに発音手段を構成するものである。音源記憶領域は、例えば、バスドラム、ハイハット、スネア、シンバル、タムなど本実施形態において想定される仮想のドラムセットＤ（図１（Ｂ）参照）を構成する打楽器の波形データを、各楽器の空間上の位置座標等と対応付けて格納している。なお、ＲＯＭ３２の音源記憶領域に格納されている音色の波形データは、これら打楽器に限定されず、例えばフルート、サックス、トランペットなどの管楽器、ピアノなどの鍵盤楽器、ギターなどの弦楽器の音色の波形データがＲＯＭ３２に格納されていてもよい。
また、本実施形態では、ＲＯＭ３２の音源記憶領域は、ロール奏法（以下「ドラムロール奏法」ともいう。）による演奏を行う際の楽音を構成する単音のロール波形を記憶する記憶手段として機能する。本実施形態において、ＲＯＭ３２の音源記憶領域に記憶されている単音のロール波形は、通常演奏の際の打音とは異なるドラムロール奏法による演奏時の打音（ドラムロール音）をサンプリングしたものである。なお、単音のロール波形は、ドラムロール奏法による演奏時の打音をサンプリングしたものに限定されず、通常の奏法による演奏時の打音（例えば通常奏法による演奏時のスネアドラム等の打音）をサンプリングしたものであってもよいが、ドラムロール音をサンプリングして用いた方が、よりドラムロール奏法による演奏らしい発音を実現できるため好ましい。
また、ＲＯＭ３２は、種々の音色の波形データ（すなわち各楽器の音源データ）を記憶する図示しない音源記憶領域を備えている。この音源記憶領域は、後述する発音部３６とともに発音手段を構成するものである。音源記憶領域は、例えば、バスドラム、ハイハット、スネア、シンバル、タムなど本実施形態において想定される仮想のドラムセットＤ（図１（Ｂ）参照）を構成する打楽器の波形データを、各楽器の空間上の位置座標等と対応付けて格納している。なお、ＲＯＭ３２の音源記憶領域に格納されている音色の波形データは、これら打楽器に限定されず、例えばフルート、サックス、トランペットなどの管楽器、ピアノなどの鍵盤楽器、ギターなどの弦楽器の音色の波形データがＲＯＭ３２に格納されていてもよい。
また、本実施形態では、ＲＯＭ３２の音源記憶領域は、ロール奏法（以下「ドラムロール奏法」ともいう。）による演奏を行う際の楽音を構成する単音のロール波形を記憶する記憶手段として機能する。本実施形態において、ＲＯＭ３２の音源記憶領域に記憶されている単音のロール波形は、通常演奏の際の打音とは異なるドラムロール奏法による演奏時の打音（ドラムロール音）をサンプリングしたものである。なお、単音のロール波形は、ドラムロール奏法による演奏時の打音をサンプリングしたものに限定されず、通常の奏法による演奏時の打音（例えば通常奏法による演奏時のスネアドラム等の打音）をサンプリングしたものであってもよいが、ドラムロール音をサンプリングして用いた方が、よりドラムロール奏法による演奏らしい発音を実現できるため好ましい。
ＲＡＭ３３は、スティック部１０から受信したスティック部１０の状態に関する情報、すなわち、スティック部１０の動き検知手段であるモーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の動きに関する検知結果（モーションセンサデータ）等や、カメラユニット部２０から受信したスティック部１０Ａ、１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）のそれぞれの位置座標のデータ（第１マーカー検出位置情報及び第２マーカー検出位置情報）等を格納する。
また、ＲＡＭ３３は、スティック部１０Ａ，１０Ｂから送信されたスティック部１０Ａのマーカー部１５（第１マーカー）、スティック部１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）のそれぞれのマーカー特徴情報を格納している。
また、ＲＡＭ３３は、スティック部１０Ａ，１０Ｂから送信されたスティック部１０Ａのマーカー部１５（第１マーカー）、スティック部１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）のそれぞれのマーカー特徴情報を格納している。
本体制御部３１は、センターユニット部３０全体の制御を実行するものである。
本実施形態では、本体制御部３１は、機能的に見た場合、奏法判断部３１１、発音制御部３１２等を備えている。これら奏法判断部３１１、発音制御部３１２等としての機能は、ＣＰＵとＲＯＭ３２等に記憶されたプログラムとの共働によって実現される。
本実施形態では、本体制御部３１は、機能的に見た場合、奏法判断部３１１、発音制御部３１２等を備えている。これら奏法判断部３１１、発音制御部３１２等としての機能は、ＣＰＵとＲＯＭ３２等に記憶されたプログラムとの共働によって実現される。
奏法判断部３１１は、動き検知手段であるモーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の動きに基づいて、スティック部１０（演奏操作子）を用いた演奏操作形態が、ロール奏法（ドラムロール奏法）であるか否かを判断する奏法判断手段である。
具体的には、各スティック部１０（演奏操作子）からモーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の動きに関する検知結果（モーションセンサデータ）が送信されると、奏法判断部３１１は、これに基づいて、スティック部１０（演奏操作子）を用いた演奏操作形態が、ドラムロール奏法であるか、通常演奏の奏法であるか、すなわち、演奏者による演奏操作形態がドラムロール奏法特有の演奏操作形態となっているか否かを判断する。
ここで、「ロール奏法」（ドラムロール奏法）とは、打楽器であるドラムの演奏手法の１つであり、ドラムの打面を連打することによって持続音を出す奏法である。通常、現実のドラムを用いて演奏する場合には、スティック部を振ってその先端でドラムの打面を叩くと、叩いた後に反動でスティック部が跳ね上がる。ドラムロール奏法は、このようなスティック部の反動を利用して細かく速い連打を行い、持続音を発音させる奏法である。
このため、ドラムロール奏法特有の演奏操作形態とは、スティック部の細かく速い上下動であり、本実施形態では、スティック部１０（演奏操作子）が細かく一定のテンポで上下に振り上げられ振り下ろされている場合、すなわち、スティック部１０（演奏操作子）の上下方向の動きによる移動量が予め定めた範囲内（第１の条件）であって、スティック部１０（演奏操作子）による各打撃演奏操作タイミング間の時間が予め定めた範囲内（第２の条件）である場合に、奏法判断手段である奏法判断部３１１は、演奏者による奏法がロール奏法（ドラムロール奏法）であると判断する。
具体的には、各スティック部１０（演奏操作子）からモーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の動きに関する検知結果（モーションセンサデータ）が送信されると、奏法判断部３１１は、これに基づいて、スティック部１０（演奏操作子）を用いた演奏操作形態が、ドラムロール奏法であるか、通常演奏の奏法であるか、すなわち、演奏者による演奏操作形態がドラムロール奏法特有の演奏操作形態となっているか否かを判断する。
ここで、「ロール奏法」（ドラムロール奏法）とは、打楽器であるドラムの演奏手法の１つであり、ドラムの打面を連打することによって持続音を出す奏法である。通常、現実のドラムを用いて演奏する場合には、スティック部を振ってその先端でドラムの打面を叩くと、叩いた後に反動でスティック部が跳ね上がる。ドラムロール奏法は、このようなスティック部の反動を利用して細かく速い連打を行い、持続音を発音させる奏法である。
このため、ドラムロール奏法特有の演奏操作形態とは、スティック部の細かく速い上下動であり、本実施形態では、スティック部１０（演奏操作子）が細かく一定のテンポで上下に振り上げられ振り下ろされている場合、すなわち、スティック部１０（演奏操作子）の上下方向の動きによる移動量が予め定めた範囲内（第１の条件）であって、スティック部１０（演奏操作子）による各打撃演奏操作タイミング間の時間が予め定めた範囲内（第２の条件）である場合に、奏法判断手段である奏法判断部３１１は、演奏者による奏法がロール奏法（ドラムロール奏法）であると判断する。
ここで、スティック部１０（演奏操作子）の上下方向の動きによる移動量は、例えばモーションセンサ部１４により検知される検知結果において、スティック部１０（演奏操作子）の振り上げ振り下ろし動作によって発生する加速度の極大値及び極小値の振幅の幅として現れる（図７参照）。このため、加速度の極大値及び極小値が予め定めた範囲内である場合には、奏法判断部３１１は、「第１の条件」を満たしていると判断する。なお、第１の条件における「予め定めた範囲」は、通常演奏よりも細かくリズムを刻んでいることを表す値であればよく、適宜設定される。なお、「予め定めた範囲」の数値範囲は演奏者等によって事後的に調整可能となっていてもよい。
また、打撃演奏操作タイミング間の時間とは、スティック部１０（演奏操作子）の振り上げ振り下ろし動作が行われるタイミング間の時間である。打撃演奏操作タイミングは、例えばモーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の動きから求められ、スティック部１０（演奏操作子）の振り上げ振り下ろし動作によって発生する加速度の極大値となる時点（以下、これを「極大点」という。）及び極小値となる時点（以下、これを「極小点」という。）として現れる（なお、以下「極大点」と「極小点」とを合わせて「極点」という。）。したがって、打撃演奏操作タイミング間の時間は、隣り合う極点同士の間の時間（極点同士の間隔ｓ）として検出することができ、この極点同士の間隔ｓが予め定めた範囲内である場合には、奏法判断部３１１は、「第２の条件」を満たしていると判断する。なお、第２の条件における「予め定めた範囲」は、通常演奏よりも一定したテンポでリズムを刻んでいることを表す値であればよく、例えば極点同士の間隔ｓが通常奏法による演奏時に比べて２０％以下である等、適宜設定される。なお、「予め定めた範囲」の数値範囲は演奏者等によって事後的に調整可能となっていてもよい。
また、打撃演奏操作タイミング間の時間とは、スティック部１０（演奏操作子）の振り上げ振り下ろし動作が行われるタイミング間の時間である。打撃演奏操作タイミングは、例えばモーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の動きから求められ、スティック部１０（演奏操作子）の振り上げ振り下ろし動作によって発生する加速度の極大値となる時点（以下、これを「極大点」という。）及び極小値となる時点（以下、これを「極小点」という。）として現れる（なお、以下「極大点」と「極小点」とを合わせて「極点」という。）。したがって、打撃演奏操作タイミング間の時間は、隣り合う極点同士の間の時間（極点同士の間隔ｓ）として検出することができ、この極点同士の間隔ｓが予め定めた範囲内である場合には、奏法判断部３１１は、「第２の条件」を満たしていると判断する。なお、第２の条件における「予め定めた範囲」は、通常演奏よりも一定したテンポでリズムを刻んでいることを表す値であればよく、例えば極点同士の間隔ｓが通常奏法による演奏時に比べて２０％以下である等、適宜設定される。なお、「予め定めた範囲」の数値範囲は演奏者等によって事後的に調整可能となっていてもよい。
本実施形態では、奏法判断部３１１は、ある程度スティック部の細かく速い上下動が続いている場合に、演奏者の奏法がドラムロール奏法であると判断する。どの程度スティック部の細かく速い上下動が続いている場合にドラムロール奏法と判断するかは特に限定されないが、例えば、現在時点の直近の極大値又は極小値を含む直近の過去４つの極大値及び極小値をみた場合に、その全ての極大値及び極小値が「第１の条件」を満たし、これら全ての極大値及び極小値に対応する極点が「第２の条件」を満たしている場合に、奏法判断部３１１は、演奏者の奏法がドラムロール奏法であると判断する。
すなわち、例えば図７に示す場合には、現在時点の直近の極点（図７では、極小点ａ）を含む直近の過去４つの極大値及び極小値（図７では、極小点ａ〜極大点ｄの値）をみた場合に、極小点ａ、極大点ｂ、極小点ｃの値は、全て予め定めた所定の範囲内にあるが、極大点ｄの値は、予め定めた所定の範囲の外にある。このため、「第１の条件」を満たさず、奏法判断部３１１は、演奏者の奏法が通常奏法による演奏である（すなわち、ドラムロール奏法でない）と判断する。
これに対して、図８に示す例では、現在時点の直近の極点（図８では、極小点ａ）を含む直近の過去４つの極大値及び極小値（図８では、極小点ａ〜極大点ｄの値）をみた場合に、極小点ａ〜極大点ｄの値は、全てが予め定めた所定の範囲内にあり、「第１の条件」を満たす。また、極小点ａと極大点ｂとの間隔ｓ、極大点ｂと極小点ｃとの間隔ｓ、極小点ｃと極大点との間隔ｓがいずれも短く揃っており、極点同士の間隔ｓが予め定めた範囲内（例えば通常奏法による演奏時に比べて２０％以下等）にあるため、「第２の条件」をも満たす。この場合、奏法判断部３１１は、演奏者の奏法がドラムロール奏法による演奏であると判断する。
これに対して、図８に示す例では、現在時点の直近の極点（図８では、極小点ａ）を含む直近の過去４つの極大値及び極小値（図８では、極小点ａ〜極大点ｄの値）をみた場合に、極小点ａ〜極大点ｄの値は、全てが予め定めた所定の範囲内にあり、「第１の条件」を満たす。また、極小点ａと極大点ｂとの間隔ｓ、極大点ｂと極小点ｃとの間隔ｓ、極小点ｃと極大点との間隔ｓがいずれも短く揃っており、極点同士の間隔ｓが予め定めた範囲内（例えば通常奏法による演奏時に比べて２０％以下等）にあるため、「第２の条件」をも満たす。この場合、奏法判断部３１１は、演奏者の奏法がドラムロール奏法による演奏であると判断する。
なお、奏法判断部３１１は、現在時点の直近の極点を含む直近の過去４つの極大値及び極小値が「第１の条件」「第２の条件」を満たすか否かを常に判断しており、いずれかの条件を満たさなくなったときには、ドラムロール奏法による演奏が終了したと判断する。
すなわち、例えば図９に示す例のように、現在時点において、加速度の振幅が予め定めた範囲の外に出た場合のように「第１の条件」を満たさなくなった場合や、図１０に示す例のように、現在時点の直近の極点を含む直近の過去４つの極大値及び極小値（極小点、極大点の値）をみた場合に、隣り合う極点同士の間隔ｓが予め定めた範囲外となった場合のように「第２の条件」を満たさなくなった場合には、奏法判断部３１１は、ドラムロール奏法による演奏が終了したと判断する。
すなわち、例えば図９に示す例のように、現在時点において、加速度の振幅が予め定めた範囲の外に出た場合のように「第１の条件」を満たさなくなった場合や、図１０に示す例のように、現在時点の直近の極点を含む直近の過去４つの極大値及び極小値（極小点、極大点の値）をみた場合に、隣り合う極点同士の間隔ｓが予め定めた範囲外となった場合のように「第２の条件」を満たさなくなった場合には、奏法判断部３１１は、ドラムロール奏法による演奏が終了したと判断する。
なお、奏法判断部３１１が、ドラムロール奏法による演奏終了と判断する手法はこれに限定されない。
例えば極大値と極小値との値の差について予め定めた範囲を設け、図１１に示す例のように、この極大値と極小値との値の差が、当該予め定めた範囲を超えた場合には、奏法判断部３１１がドラムロール奏法による演奏を終了すると判断してもよい。
スティック部１０の動きをスティック部１０に設けられている加速度センサを用いて監視する場合、重力の影響がオフセットの加速度として重畳してくる。このため、上述のように、予め定めた範囲内に極点の値が収まるか否かによって演奏者の奏法を判断する場合には、このオフセット加速度を考慮することが必要となる。この点、図１１に示すように、極大値と極小値との値の差（レベル差）や、隣り合う極点同士の値の差（レベル差）の絶対値を検出して、この値が予め定めた値よりも低いか高いかを演奏者の奏法を判断する際の判断条件とする場合には、重力の影響によるオフセットの加速度を考慮する必要がなく、処理が容易となる。
さらに、例えば図１２に示す例のように、予め定めた所定の時間内に次の極点を検出できなかった場合には、奏法判断部３１１がドラムロール奏法による演奏を終了すると判断してもよい。
例えば極大値と極小値との値の差について予め定めた範囲を設け、図１１に示す例のように、この極大値と極小値との値の差が、当該予め定めた範囲を超えた場合には、奏法判断部３１１がドラムロール奏法による演奏を終了すると判断してもよい。
スティック部１０の動きをスティック部１０に設けられている加速度センサを用いて監視する場合、重力の影響がオフセットの加速度として重畳してくる。このため、上述のように、予め定めた範囲内に極点の値が収まるか否かによって演奏者の奏法を判断する場合には、このオフセット加速度を考慮することが必要となる。この点、図１１に示すように、極大値と極小値との値の差（レベル差）や、隣り合う極点同士の値の差（レベル差）の絶対値を検出して、この値が予め定めた値よりも低いか高いかを演奏者の奏法を判断する際の判断条件とする場合には、重力の影響によるオフセットの加速度を考慮する必要がなく、処理が容易となる。
さらに、例えば図１２に示す例のように、予め定めた所定の時間内に次の極点を検出できなかった場合には、奏法判断部３１１がドラムロール奏法による演奏を終了すると判断してもよい。
発音制御部３１２は、動き検知手段であるモーションセンサ部１４によって検知されるスティック部１０（演奏操作子）の動きに関する検知結果（モーションセンサデータ）及び奏法判断部３１１の判断結果に対応して、発音手段である発音部３６に対して所定の楽音を発音するように発音指示の信号（ノートオンイベント）を与える発音制御手段である。ここで、ノートオンイベント（発音指示信号）には、ショットタイミング（発音タイミング）、音量、音色（すなわち楽器の種類）等の情報が含まれる。
具体的には、まず、モーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の動きに関する検知結果（モーションセンサデータ）が各スティック部１０（演奏操作子）から送信されると、発音制御部３１２は、これに基づいて、演奏者が持っているスティック部１０の状態（演奏者の演奏状態と換言することもできる）を検知する。例えば、発音制御部３１２は、磁気センサ等が出力する検知結果に基づいて、どの演奏エリアで操作が行われたか、その操作位置を検知する。また、発音制御部３１２は、加速度センサが出力する加速度（又はセンサ合成値）に基づいて、スティック部１０による仮想的な楽器の打撃タイミング（ショットタイミング）を検知する。
ここで、図６を参照しつつ、発音制御部３１２によるショットタイミングの検出について説明する。
前述のように、図６は、スティック部１０を用いて演奏動作を行った場合のモーションセンサ部１４の垂直方向の加速度の変化を表わした図である。
演奏者は、仮想的な楽器にスティック部１０を打ちつけた瞬間に楽音が発生することを想定しているため、楽音発生装置１においても、演奏者が想定するタイミングで楽音を発生できるのが望ましい。そこで、本実施形態では、奏法判断部３１１によって演奏者の奏法が通常奏法による演奏であると判断された場合には、演奏者が仮想的な楽器の打面にスティック部を打ちつける瞬間又はそのわずかに手前で楽音を発音させることとしている。
前述のように、図６は、スティック部１０を用いて演奏動作を行った場合のモーションセンサ部１４の垂直方向の加速度の変化を表わした図である。
演奏者は、仮想的な楽器にスティック部１０を打ちつけた瞬間に楽音が発生することを想定しているため、楽音発生装置１においても、演奏者が想定するタイミングで楽音を発生できるのが望ましい。そこで、本実施形態では、奏法判断部３１１によって演奏者の奏法が通常奏法による演奏であると判断された場合には、演奏者が仮想的な楽器の打面にスティック部を打ちつける瞬間又はそのわずかに手前で楽音を発音させることとしている。
すなわち、本実施形態においては、センターユニット部３０の発音制御部３１２は、演奏者が仮想的な楽器の打面にスティック部１０を打ちつける瞬間として、振り下ろし動作が行われた後、振り上げ動作が開始された瞬間を検出する。つまり、発音制御部３１２は、図６中ｄで示す区間において、静止状態から、言い換えれば加わる加速度が重力加速度のみとなる時点（図６中のｐ２参照）から、さらにマイナス方向に所定値だけ増加したＡ点を、ショットタイミング（発音タイミング）として検出する。
そして、発音制御部３１２は、このショットタイミングが検出されたときに発音を行うようにノートオンイベント（発音指示信号）を生成する。
そして、発音制御部３１２は、このショットタイミングが検出されたときに発音を行うようにノートオンイベント（発音指示信号）を生成する。
また、発音制御部３１２は、動き検知手段であるモーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の動きに関する検知結果（モーションセンサデータ）に基づいて、演奏者によるスティック部１０の振り下ろし動作の速さや強さ、スティック部１０を振り下ろした位置や角度等を検知する。また、本実施形態では、発音制御部３１２は、発音部３６に対する発音制御を行うにあたって、動き検知手段であるモーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の動きに関する検知結果（センサ値）のみでなく、カメラユニット部２０から受信したスティック部１０Ａ、１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）それぞれのマーカー検出位置情報も加味する。
そして、奏法判断部３１１によって演奏者の奏法が通常演奏における奏法であると判断されたときは、発音制御部３１２は、通常演奏モード（すなわち、通常の奏法で演奏を行うモード）で演奏が行われるように通常演奏モードのノートオンイベントを生成する。すなわち、モーションセンサデータ及びマーカー検出位置情報に基づいて、どの楽器が、どの程度の速さ、強さで、どのタイミングで叩かれたか等を判断し、この判断結果に合致する楽器種類（音色）に対応する波形データをＲＯＭ３３から読み出すとともに、この所定の楽音を、叩かれた速さや強さに対応する音量で、所定のショットタイミングで発音させるように発音指示信号（ノートオンイベント）を発音部３６に出力する。
そして、奏法判断部３１１によって演奏者の奏法が通常演奏における奏法であると判断されたときは、発音制御部３１２は、通常演奏モード（すなわち、通常の奏法で演奏を行うモード）で演奏が行われるように通常演奏モードのノートオンイベントを生成する。すなわち、モーションセンサデータ及びマーカー検出位置情報に基づいて、どの楽器が、どの程度の速さ、強さで、どのタイミングで叩かれたか等を判断し、この判断結果に合致する楽器種類（音色）に対応する波形データをＲＯＭ３３から読み出すとともに、この所定の楽音を、叩かれた速さや強さに対応する音量で、所定のショットタイミングで発音させるように発音指示信号（ノートオンイベント）を発音部３６に出力する。
他方、奏法判断部３１１によって演奏者の奏法がロール奏法であると判断されたときは、発音制御部３１２は、ドラムロール演奏モード（すなわち、ドラムロール奏法で演奏を行うモード）で演奏が行われるようにドラムロール演奏モードのノートオンイベントを生成する。
図１３（Ａ）は、ドラムロール演奏モードの場合と通常演奏モードの場合のモーションセンサデータの一例を示したものであり、図１３（Ｂ）は、図１３（Ａ）におけるＢ部分の波形を拡大してドラムロール演奏モードの場合のノートオンタイミングの一例を示した図である。
ドラムロール演奏モードの場合には、発音制御部３１２は、単音のロール波形のデータをＲＯＭ３３から読み出すとともに、例えば、図１３（Ｂ）に示すように、モーションセンサデータに示されるスティック部１０の上下方向の移動の極大点及び極小点（極点、すなわち、加速度センサの出力波形の山と谷、図１３（Ｂ）におけるｔｐ１及びｔｐ２）を検出し、各極大点ｔｐ１及び極小点ｔｐ２に１音ずつロール音源に基づく音（ドラムロール音）が鳴るようにショットタイミングを設定する。そして、このドラムロール音の楽音を演奏者の演奏動作に応じた所定の音量で、設定した所定のタイミングで発音させるように発音指示信号（ノートオンイベント）を発音部３６に出力する。
図１３（Ａ）は、ドラムロール演奏モードの場合と通常演奏モードの場合のモーションセンサデータの一例を示したものであり、図１３（Ｂ）は、図１３（Ａ）におけるＢ部分の波形を拡大してドラムロール演奏モードの場合のノートオンタイミングの一例を示した図である。
ドラムロール演奏モードの場合には、発音制御部３１２は、単音のロール波形のデータをＲＯＭ３３から読み出すとともに、例えば、図１３（Ｂ）に示すように、モーションセンサデータに示されるスティック部１０の上下方向の移動の極大点及び極小点（極点、すなわち、加速度センサの出力波形の山と谷、図１３（Ｂ）におけるｔｐ１及びｔｐ２）を検出し、各極大点ｔｐ１及び極小点ｔｐ２に１音ずつロール音源に基づく音（ドラムロール音）が鳴るようにショットタイミングを設定する。そして、このドラムロール音の楽音を演奏者の演奏動作に応じた所定の音量で、設定した所定のタイミングで発音させるように発音指示信号（ノートオンイベント）を発音部３６に出力する。
また、本体制御部３１は、データ通信部３７を介して、スティック部１０及びカメラユニット部２０との間の通信制御を行う。
本実施形態では、本体制御部３１は、データ通信部３７を介して、スティック部１０からモーションセンサデータを受信するとともに、カメラユニット部２０から第１マーカー及び第１マーカーのマーカー検出位置情報を受信する。
また、本体制御部３１は、マーカー特徴情報に基づいてマーカー検出条件情報を生成し、データ通信部３７を介して、カメラユニット部２０に対して、マーカー検出条件情報を送信する。
本実施形態では、本体制御部３１は、データ通信部３７を介して、スティック部１０からモーションセンサデータを受信するとともに、カメラユニット部２０から第１マーカー及び第１マーカーのマーカー検出位置情報を受信する。
また、本体制御部３１は、マーカー特徴情報に基づいてマーカー検出条件情報を生成し、データ通信部３７を介して、カメラユニット部２０に対して、マーカー検出条件情報を送信する。
スイッチ操作検出回路３４は、スイッチ３４１と接続され、当該スイッチ３４１を介した入力情報を受け付ける。入力情報としては、例えば、発音する楽音の音量や発音する楽音の音色の変更、表示装置３５１の表示の切り替え等が含まれる。
また、表示回路３５は、表示装置３５１と接続され、表示装置３５１の表示制御を行う。
また、データ通信部３７は、スティック部１０及びカメラユニット部２０との間で所定の無線通信（例えば、赤外線通信）を行う。
また、表示回路３５は、表示装置３５１と接続され、表示装置３５１の表示制御を行う。
また、データ通信部３７は、スティック部１０及びカメラユニット部２０との間で所定の無線通信（例えば、赤外線通信）を行う。
発音部３６は、所定の楽音を発音する機能部であり、楽音データ生成部３６１と、音声出力部３６２とを含んでいる。発音部３６は、ＲＯＭ３２の音源記憶領域とともに発音手段を構成するものである。
楽音データ生成部３６１は、発音制御部３１２からの発音指示にしたがって、ＲＯＭ３２の音源記憶領域から波形データを読み出し、楽音データを生成するとともに、生成した楽音データをアナログ信号に変換する機能部である。
音声出力部３６２は、例えばスピーカ等であり、楽音データ生成部３６１において生成された楽音データに基づく楽音を発音させるものである。なお、音声出力部３６２は、スピーカに限定されず、ヘッドホン等に音声を出力させる出力端子等であってもよい。
本実施形態において、発音手段は、奏法判断手段である奏法判断部３１１により演奏者の行っている演奏動作がロール奏法であると判断されたときは、記憶手段であるＲＯＭ３２の音源記憶領域からロール波形を複数回連続して読み出すことにより、ロール奏法用楽音の発音を行うようになっている。
すなわち、奏法判断部３１１により演奏者の行っている演奏動作がロール奏法であると判断され、発音制御部３１２がドラムロール奏法による演奏の楽音を発音部３６から発音させるように発音部３６に対して発音指示を行った場合には、楽音データ生成部３６１は、ＲＯＭ３２の音源記憶領域に記憶されている単音のロール波形のデータを複数回連続して読み出し、この単音のロール波形を、発音制御部３１２の発音指示に応じたタイミングで発音させるように時間軸上に複数個配置して楽音データを生成する。例えば、スティック部１０の振り上げ振り下ろしの振り幅の極大点及び極小点（すなわち、図１３（Ｂ）におけるｔｐ１、ｔｐ２）にノートオンするように発音制御部３１２から発音指示信号（ノートオンイベント）が送られているときは、振り幅の極大点ｔｐ１及び極小点ｔｐ２にこのそれぞれドラムロール音が１つ発音されるように単音のロール波形を時間軸上に配置する。そして、この楽音データを音声出力部３６２から出力させることにより、単音のドラムロール音が複数連続的に発音されて、あたかも打楽器の打面を連打するロール奏法（ドラムロール奏法）による演奏を行っているような楽音を発音させることができる。
楽音データ生成部３６１は、発音制御部３１２からの発音指示にしたがって、ＲＯＭ３２の音源記憶領域から波形データを読み出し、楽音データを生成するとともに、生成した楽音データをアナログ信号に変換する機能部である。
音声出力部３６２は、例えばスピーカ等であり、楽音データ生成部３６１において生成された楽音データに基づく楽音を発音させるものである。なお、音声出力部３６２は、スピーカに限定されず、ヘッドホン等に音声を出力させる出力端子等であってもよい。
本実施形態において、発音手段は、奏法判断手段である奏法判断部３１１により演奏者の行っている演奏動作がロール奏法であると判断されたときは、記憶手段であるＲＯＭ３２の音源記憶領域からロール波形を複数回連続して読み出すことにより、ロール奏法用楽音の発音を行うようになっている。
すなわち、奏法判断部３１１により演奏者の行っている演奏動作がロール奏法であると判断され、発音制御部３１２がドラムロール奏法による演奏の楽音を発音部３６から発音させるように発音部３６に対して発音指示を行った場合には、楽音データ生成部３６１は、ＲＯＭ３２の音源記憶領域に記憶されている単音のロール波形のデータを複数回連続して読み出し、この単音のロール波形を、発音制御部３１２の発音指示に応じたタイミングで発音させるように時間軸上に複数個配置して楽音データを生成する。例えば、スティック部１０の振り上げ振り下ろしの振り幅の極大点及び極小点（すなわち、図１３（Ｂ）におけるｔｐ１、ｔｐ２）にノートオンするように発音制御部３１２から発音指示信号（ノートオンイベント）が送られているときは、振り幅の極大点ｔｐ１及び極小点ｔｐ２にこのそれぞれドラムロール音が１つ発音されるように単音のロール波形を時間軸上に配置する。そして、この楽音データを音声出力部３６２から出力させることにより、単音のドラムロール音が複数連続的に発音されて、あたかも打楽器の打面を連打するロール奏法（ドラムロール奏法）による演奏を行っているような楽音を発音させることができる。
［楽音発生装置１の処理］
次に、図１４から図１５を参照して、楽音発生装置１の処理について説明する。
図１４は、スティック部１０の処理を示すフローチャートであり、図１５は、カメラユニット部２０の処理を示すフローチャートであり、図１６は、センターユニット部３０の処理を示すフローチャートである。
次に、図１４から図１５を参照して、楽音発生装置１の処理について説明する。
図１４は、スティック部１０の処理を示すフローチャートであり、図１５は、カメラユニット部２０の処理を示すフローチャートであり、図１６は、センターユニット部３０の処理を示すフローチャートである。
［スティック部１０の処理］
図１４に示すように、スティック部１０のスティック制御部１１は、ＲＯＭ１２に格納されているマーカー特徴情報を読み出す（ステップＳ１）。この処理では、スティック部１０Ａ，１０Ｂのスティック制御部１１は、それぞれ異なるマーカー特徴情報を読み出す。異なるマーカー特徴情報の読み出しは、任意の方法で行うことができ、例えば、スティック部１０Ａ、１０Ｂが直接又はセンターユニット部３０を介して通信することで行うこととしてもよく、また、個々のスティック部１０毎に予め１のマーカー特徴情報を対応付けておき、スティック部１０Ａ、１０Ｂのスティック制御部１１は、それぞれ対応付けられた独自のマーカー特徴情報を読み出すこととしてもよい。
図１４に示すように、スティック部１０のスティック制御部１１は、ＲＯＭ１２に格納されているマーカー特徴情報を読み出す（ステップＳ１）。この処理では、スティック部１０Ａ，１０Ｂのスティック制御部１１は、それぞれ異なるマーカー特徴情報を読み出す。異なるマーカー特徴情報の読み出しは、任意の方法で行うことができ、例えば、スティック部１０Ａ、１０Ｂが直接又はセンターユニット部３０を介して通信することで行うこととしてもよく、また、個々のスティック部１０毎に予め１のマーカー特徴情報を対応付けておき、スティック部１０Ａ、１０Ｂのスティック制御部１１は、それぞれ対応付けられた独自のマーカー特徴情報を読み出すこととしてもよい。
スティック制御部１１は、マーカー特徴情報を読み出すと、当該マーカー特徴情報をＲＡＭ１３に格納するとともに、データ通信部１６を介してセンターユニット部３０に送信する（ステップＳ２）。このとき、スティック制御部１１は、スティック部１０Ａ、１０Ｂをそれぞれ区別可能な識別情報（スティック識別情報）と対応付けて、マーカー特徴情報をセンターユニット部３０に送信する。
また、スティック制御部１１は、マーカー特徴情報にしたがってマーカー部１５を点灯させる（ステップＳ３）。
また、スティック制御部１１は、マーカー特徴情報にしたがってマーカー部１５を点灯させる（ステップＳ３）。
続いて、スティック制御部１１は、モーションセンサ部１４からモーションセンサデータ、すなわち、各種センサが出力するセンサ値（検知結果）を読み出して、ＲＡＭ１３に格納する（ステップＳ４）。その後、スティック制御部１１は、読み出したモーションセンサデータをスティック識別情報と対応付けて、データ通信部１６を介してセンターユニット部３０に送信する（ステップＳ５）。
スティック制御部１１は、演奏動作が終了したか否かを判断し（ステップＳ６）、演奏動作が終了したと判断する場合（ステップＳ６；ＹＥＳ）には、マーカー部１５を消灯させる（ステップＳ７）。なお、スティック制御部１１が演奏動作終了と判断するのは、例えばモーションセンサ部１４が出力するセンサ値に一定以上の変化があるか否かや、スティック部のスイッチ（図示せず）がＯＦＦとされた場合、センターユニット部３０から演奏終了の信号が送信された場合等である。他方、スティック制御部１１が、演奏動作が終了していないと判断する場合（ステップＳ６；ＮＯ）には、ステップＳ４に戻って処理を繰り返す。
スティック制御部１１は、演奏動作が終了したか否かを判断し（ステップＳ６）、演奏動作が終了したと判断する場合（ステップＳ６；ＹＥＳ）には、マーカー部１５を消灯させる（ステップＳ７）。なお、スティック制御部１１が演奏動作終了と判断するのは、例えばモーションセンサ部１４が出力するセンサ値に一定以上の変化があるか否かや、スティック部のスイッチ（図示せず）がＯＦＦとされた場合、センターユニット部３０から演奏終了の信号が送信された場合等である。他方、スティック制御部１１が、演奏動作が終了していないと判断する場合（ステップＳ６；ＮＯ）には、ステップＳ４に戻って処理を繰り返す。
［カメラユニット部２０の処理］
図１５に示すように、カメラユニット部２０のカメラ制御部２１は、センターユニット部３０から送信されるマーカー検出条件情報を取得して、ＲＡＭ２３に格納する。（ステップＳ１１）。なお、マーカー検出条件情報とは、スティック部１０Ａ，１０Ｂのマーカー部１５のそれぞれを検出するための条件であり、マーカー特徴情報から生成される（図１６のステップＳ２１，ステップＳ２２参照）。マーカー特徴情報としては、上述のように、例えば、マーカーの形状、大きさ、色相、彩度、あるいは輝度を用いることができる。
続いて、カメラ制御部２１は、マーカー検出条件情報に基づいて、撮像部２４の各種設定を行う（ステップＳ１２）。
図１５に示すように、カメラユニット部２０のカメラ制御部２１は、センターユニット部３０から送信されるマーカー検出条件情報を取得して、ＲＡＭ２３に格納する。（ステップＳ１１）。なお、マーカー検出条件情報とは、スティック部１０Ａ，１０Ｂのマーカー部１５のそれぞれを検出するための条件であり、マーカー特徴情報から生成される（図１６のステップＳ２１，ステップＳ２２参照）。マーカー特徴情報としては、上述のように、例えば、マーカーの形状、大きさ、色相、彩度、あるいは輝度を用いることができる。
続いて、カメラ制御部２１は、マーカー検出条件情報に基づいて、撮像部２４の各種設定を行う（ステップＳ１２）。
続いて、カメラ制御部２１は、撮像部２４のカメラによってスティック部１０のマーカー部１５等を含む画像を撮像させて、第１マーカー位置検出処理（ステップＳ１３）及び第２マーカー位置検出処理（ステップＳ１４）を行う。これらの処理では、カメラ制御部２１は、撮像部２４によって撮像された画像から、スティック部１０Ａのマーカー部１５（第１マーカー）及びスティック部１０Ｂのマーカー部１５（第２マーカー）それぞれの位置座標、サイズ、角度等のマーカー検出位置情報を取得し、ＲＡＭ２３に格納する。
続いて、カメラ制御部２１は、ステップＳ１３及びステップＳ１４で取得したマーカー検出位置情報を、データ通信部２５を介してセンターユニット部３０に送信する（ステップＳ１５）。
カメラ制御部２１は、演奏動作が終了したか否かを判断し（ステップＳ１６）、演奏動作が終了したと判断する場合（ステップＳ１６；ＹＥＳ）には、処理を終了し、演奏動作が終了していないと判断する場合（ステップＳ１６；ＮＯ）には、ステップＳ１３に戻って処理を繰り返す。
カメラ制御部２１は、演奏動作が終了したか否かを判断し（ステップＳ１６）、演奏動作が終了したと判断する場合（ステップＳ１６；ＹＥＳ）には、処理を終了し、演奏動作が終了していないと判断する場合（ステップＳ１６；ＮＯ）には、ステップＳ１３に戻って処理を繰り返す。
［センターユニット部３０の処理］
図１６に示すように、センターユニット部３０の本体制御部３１は、マーカー特徴情報をスティック部１０から受信し、ＲＡＭ３３に格納する（ステップＳ２１）。続いて、本体制御部３１は、マーカー特徴情報及びスイッチ３４１を介して設定された検出条件から、マーカー検出条件情報を生成し、データ通信部３７を介して、カメラユニット部２０に送信する（ステップＳ２２）。
図１６に示すように、センターユニット部３０の本体制御部３１は、マーカー特徴情報をスティック部１０から受信し、ＲＡＭ３３に格納する（ステップＳ２１）。続いて、本体制御部３１は、マーカー特徴情報及びスイッチ３４１を介して設定された検出条件から、マーカー検出条件情報を生成し、データ通信部３７を介して、カメラユニット部２０に送信する（ステップＳ２２）。
続いて、本体制御部３１は、カメラユニット部２０から、第１マーカー及び第２マーカーそれぞれのマーカー検出位置情報を受信し、ＲＡＭ３３に格納する（ステップＳ２３）。また、本体制御部３１は、スティック部１０Ａ、１０Ｂのそれぞれから、スティック識別情報と対応付けられた姿勢情報、ショット情報及びアクション情報等のモーションセンサデータを受信し、ＲＡＭ３３に格納する（ステップＳ２４）。
続いて、本体制御部３１は、受信したモーションセンサデータに基づいて、ショットありか否かを判断する（ステップＳ２５）。すなわち、例えば図６に示すようなモーションセンサデータである場合、図６に示すＡ点、すなわち、演奏操作子であるスティック部１０を一旦振り上げた後に振り下ろす動作がある場合、当該振り下ろし動作が行われた後、振り上げ動作が開始された瞬間の時点をショットタイミング（発音タイミング）として検出する。ショットなしと判断した場合（ステップＳ２５；ＮＯ）には、本体制御部３１は、ステップＳ２３に戻って処理を繰り返す。
他方、ショットありと判断した場合（ステップＳ２５；ＹＥＳ）には、本体制御部３１（奏法判断部３１１）は、さらに、当該ショットから過去に遡って４回以上の振り上げ又は振り下ろし動作があるか否か、すなわち、モーションセンサデータにおいて、図８に示すような加速度センサの出力波形の起伏（山と谷、極大点と極小点）が当該ショットを含めて４つ以上あるか否かを判断する（ステップＳ２６）。
他方、ショットありと判断した場合（ステップＳ２５；ＹＥＳ）には、本体制御部３１（奏法判断部３１１）は、さらに、当該ショットから過去に遡って４回以上の振り上げ又は振り下ろし動作があるか否か、すなわち、モーションセンサデータにおいて、図８に示すような加速度センサの出力波形の起伏（山と谷、極大点と極小点）が当該ショットを含めて４つ以上あるか否かを判断する（ステップＳ２６）。
４つ以上の極大点及び極小点があると判断した場合（ステップＳ２６；ＹＥＳ）には、本体制御部３１（奏法判断部３１１）は、さらに、当該加速度の極大点の値（極大値）と極小点の値（極小値）のうち直近の４つの極大値及び極小値が予め定めた範囲内か否か（すなわち、「第１条件」を満たすか否か）を判断する（ステップＳ２７）。そして、直近の４つの加速度の極大値及び極小値が予め定めた範囲内にあると判断した場合（ステップＳ２７；ＹＥＳ）には、本体制御部３１（奏法判断部３１１）は、さらに、当該直近の４つの極点（すなわち、極大点及び極小点）同士の間隔ｓが予め定められた範囲内か否か（すなわち、「第２条件」を満たすか否か）を判断する（ステップＳ２８）。
ショットはあったが、４つ以上の極大点及び極小点がないと判断した場合（ステップＳ２６；ＮＯ）、直近の４つの加速度の極大値及び極小値が予め定めた範囲内にないと判断した場合（ステップＳ２７；ＮＯ）、及び直近の４つの極点同士の間隔ｓが予め定められた範囲内にないと判断した場合（ステップＳ２８；ＮＯ）には、本体制御部３１（奏法判断部３１１）は通常奏法による演奏と判断する。この場合には、本体制御部３１（発音制御部３１２）は、通常奏法による演奏の発音指示信号を発音部３６に出力する（ステップＳ２９）。通常演奏モードでは、本体制御部３１（発音制御部３１２）は、モーションセンサデータ（例えば、加速度センサのセンサ合成値）等に基づいて、発音タイミング、発音させる楽音の音量、音色（楽器の種類）等を含むノートオンイベントを生成する。なお、楽音の音量は、例えば、センサ合成値の最大値から求めることができる。これにより通常演奏モードにおける所定の発音タイミングで、所定の楽器の波形に基づく楽音が所定の音量で発音部３６から発音される。
また、この場合、本体制御部３１は、常に演奏が終了したか否かを判断し（ステップＳ３０）、演奏が終了したと判断した場合（ステップＳ３０；ＹＥＳ）には、楽音発生処理を終了する。また、演奏が終了していないと判断した場合（ステップＳ３０；ＮＯ）には、ステップＳ２３に戻って処理を繰り返す。
ショットはあったが、４つ以上の極大点及び極小点がないと判断した場合（ステップＳ２６；ＮＯ）、直近の４つの加速度の極大値及び極小値が予め定めた範囲内にないと判断した場合（ステップＳ２７；ＮＯ）、及び直近の４つの極点同士の間隔ｓが予め定められた範囲内にないと判断した場合（ステップＳ２８；ＮＯ）には、本体制御部３１（奏法判断部３１１）は通常奏法による演奏と判断する。この場合には、本体制御部３１（発音制御部３１２）は、通常奏法による演奏の発音指示信号を発音部３６に出力する（ステップＳ２９）。通常演奏モードでは、本体制御部３１（発音制御部３１２）は、モーションセンサデータ（例えば、加速度センサのセンサ合成値）等に基づいて、発音タイミング、発音させる楽音の音量、音色（楽器の種類）等を含むノートオンイベントを生成する。なお、楽音の音量は、例えば、センサ合成値の最大値から求めることができる。これにより通常演奏モードにおける所定の発音タイミングで、所定の楽器の波形に基づく楽音が所定の音量で発音部３６から発音される。
また、この場合、本体制御部３１は、常に演奏が終了したか否かを判断し（ステップＳ３０）、演奏が終了したと判断した場合（ステップＳ３０；ＹＥＳ）には、楽音発生処理を終了する。また、演奏が終了していないと判断した場合（ステップＳ３０；ＮＯ）には、ステップＳ２３に戻って処理を繰り返す。
他方、本体制御部３１（奏法判断部３１１）が直近の４つの極点同士の間隔ｓが予め定められた範囲内にあると判断した場合（すなわち、「第１条件」「第２条件」ともに満たすと判断した場合、ステップＳ２８；ＹＥＳ）には、本体制御部３１（発音制御部３１２）は、ロール波形に基づくドラムロール音を発音させるドラムロール奏法による演奏の発音指示信号を発音部３６に出力する（ステップＳ３１）。これによりドラムロール演奏モードにおける所定の発音タイミングで、ロール波形に基づく楽音が所定の音量で発音部３６から発音される。
この場合、本体制御部３１（奏法判断部３１１）は、常に、加速度の極大値及び極小値が予め定めた範囲を超えたか又は隣り合う極点同士の間隔ｓが予め定めた範囲を超えたか否か（すなわち、「第１条件」「第２条件」のいずれかを欠く状態となったか否か）を判断する（ステップＳ３２）。いずれの条件も欠いていないと判断する場合（ステップＳ３２；ＮＯ）には、本体制御部３１は、ドラムロール奏法による演奏を継続させたまま、ステップＳ２３に戻って処理を繰り返す。
他方、いずれかの条件を欠いたと本体制御部３１（奏法判断部３１１）が判断する場合（ステップＳ３２；ＹＥＳ）には、本体制御部３１（発音制御部３１２）は、ドラムロール演奏モードをノートオフし、通常演奏モードに遷移させる（ステップＳ３３）。すなわち、次のショットが検出されたときに通常奏法による演奏における音源（波形データ）に基づく楽音を演奏動作に合わせて所定のタイミングで発音させるように発音部３６に発音指示信号を出力する。この場合は、通常奏法による演奏の発音指示信号を発音部３６に出力した場合（ステップＳ２９）と同様に、本体制御部３１は、常に演奏動作が終了したか否かを判断し（ステップＳ３０）、演奏動作が終了したと判断した場合（ステップＳ３０；ＹＥＳ）には、楽音発生処理を終了する。また、演奏動作が終了していないと判断した場合（ステップＳ３０；ＮＯ）には、ステップＳ２３に戻って処理を繰り返す。
この場合、本体制御部３１（奏法判断部３１１）は、常に、加速度の極大値及び極小値が予め定めた範囲を超えたか又は隣り合う極点同士の間隔ｓが予め定めた範囲を超えたか否か（すなわち、「第１条件」「第２条件」のいずれかを欠く状態となったか否か）を判断する（ステップＳ３２）。いずれの条件も欠いていないと判断する場合（ステップＳ３２；ＮＯ）には、本体制御部３１は、ドラムロール奏法による演奏を継続させたまま、ステップＳ２３に戻って処理を繰り返す。
他方、いずれかの条件を欠いたと本体制御部３１（奏法判断部３１１）が判断する場合（ステップＳ３２；ＹＥＳ）には、本体制御部３１（発音制御部３１２）は、ドラムロール演奏モードをノートオフし、通常演奏モードに遷移させる（ステップＳ３３）。すなわち、次のショットが検出されたときに通常奏法による演奏における音源（波形データ）に基づく楽音を演奏動作に合わせて所定のタイミングで発音させるように発音部３６に発音指示信号を出力する。この場合は、通常奏法による演奏の発音指示信号を発音部３６に出力した場合（ステップＳ２９）と同様に、本体制御部３１は、常に演奏動作が終了したか否かを判断し（ステップＳ３０）、演奏動作が終了したと判断した場合（ステップＳ３０；ＹＥＳ）には、楽音発生処理を終了する。また、演奏動作が終了していないと判断した場合（ステップＳ３０；ＮＯ）には、ステップＳ２３に戻って処理を繰り返す。
以上のように、本実施形態の楽音発生装置１によれば、演奏者の演奏動作に基づく前記演奏操作子の動きを検知する動き検知手段であるモーションセンサ部１４により検知されたスティック部１０（演奏操作子）の動きに基づいて、演奏者の奏法が通常演奏の奏法であるかドラムロール奏法であるかを判断し、この判断結果とモーションセンサ部１４の検知結果とに応じて発音部から所定の楽音を発音させる。このため、演奏者がドラムロール奏法による演奏を行いたい場合には、ドラムロール奏法に特有の動作を行うことで、打音が連続的に発音されるドラムロール特有の連打音が持続する楽音を発音させることができ、実際の楽器が存在しない空中での演奏においても擬似的にドラムロール奏法による演奏を楽しむことができる。また、本実施形態ではドラムロール奏法に特有の動作を行うだけで、それに応じた発音制御を行うため、現実のドラムではドラムロール奏法を行う技術がないような演奏者でも、手軽に自らドラムロール奏法による演奏を行っているかのような感覚を味わうことができる。
また、ドラムロール奏法による演奏の場合にもモーションセンサ部１４の検知結果に応じて発音制御を行うため、演奏者の演奏動作に応じて（すなわち、演奏者の刻むリズムの速さや、打面を叩く強さ等に対応したタイミングで）ドラムロール音が発音され、演奏者は、実際にドラムロール奏法による演奏を行っているかのように演奏を楽しむことができる。
また、奏法判断部３１１は、動き検知手段であるモーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の上下方向の動きによる移動量が予め定めた範囲内である場合に、ドラムロール奏法による演奏であると判断する。このため、実際のドラムロール奏法による演奏の場合と同様に演奏操作子を小刻みに上下動させる演奏動作を行うことで、ドラムロール奏法の楽音を発生させることができる。
また、奏法判断部３１１は、動き検知手段であるモーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の打撃演奏操作タイミング間の時間が予め定めた範囲内である場合に、ロール奏法であると判断する。このため、実際のドラムロール奏法の場合と同様に演奏操作子を一定のリズムで連続的に操作する演奏動作を行うことで、ドラムロール奏法による演奏の楽音を発生させることができる。
また、本実施形態では、通常演奏の際の打音とは異なるドラムロール奏法による演奏時の打音をサンプリングした単音のロール波形をＲＯＭ３２に記憶させておき、ドラムロール奏法の際は、この単音のロール波形を複数連続的に発音させるようになっている。ドラムロール奏法では、小刻みに素早く打面を連打し、打面に演奏操作子が当たって跳ね上がる反動を利用して連続音を発音させるため、通常の奏法による演奏によりドラムの打面を叩いたのとは多少異なる音が発音される。この点、本実施形態ではドラムロール奏法による演奏時の打音を用いてドラムロール奏法の楽音を生成するため、実際にドラムロール奏法による演奏を行っている場合と同様の打音で演奏を行うことができる。
また、ドラムロール奏法による演奏の場合にもモーションセンサ部１４の検知結果に応じて発音制御を行うため、演奏者の演奏動作に応じて（すなわち、演奏者の刻むリズムの速さや、打面を叩く強さ等に対応したタイミングで）ドラムロール音が発音され、演奏者は、実際にドラムロール奏法による演奏を行っているかのように演奏を楽しむことができる。
また、奏法判断部３１１は、動き検知手段であるモーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の上下方向の動きによる移動量が予め定めた範囲内である場合に、ドラムロール奏法による演奏であると判断する。このため、実際のドラムロール奏法による演奏の場合と同様に演奏操作子を小刻みに上下動させる演奏動作を行うことで、ドラムロール奏法の楽音を発生させることができる。
また、奏法判断部３１１は、動き検知手段であるモーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の打撃演奏操作タイミング間の時間が予め定めた範囲内である場合に、ロール奏法であると判断する。このため、実際のドラムロール奏法の場合と同様に演奏操作子を一定のリズムで連続的に操作する演奏動作を行うことで、ドラムロール奏法による演奏の楽音を発生させることができる。
また、本実施形態では、通常演奏の際の打音とは異なるドラムロール奏法による演奏時の打音をサンプリングした単音のロール波形をＲＯＭ３２に記憶させておき、ドラムロール奏法の際は、この単音のロール波形を複数連続的に発音させるようになっている。ドラムロール奏法では、小刻みに素早く打面を連打し、打面に演奏操作子が当たって跳ね上がる反動を利用して連続音を発音させるため、通常の奏法による演奏によりドラムの打面を叩いたのとは多少異なる音が発音される。この点、本実施形態ではドラムロール奏法による演奏時の打音を用いてドラムロール奏法の楽音を生成するため、実際にドラムロール奏法による演奏を行っている場合と同様の打音で演奏を行うことができる。
なお、以上本発明の実施形態について説明したが、本発明は、かかる実施形態に限定されず、その要旨を逸脱しない範囲で、種々変形が可能であることは言うまでもない。
例えば、上記実施形態でスティック部１０、カメラユニット部２０及びセンターユニット部３０で行うこととしている処理のうちの任意の処理は、他のユニット（スティック部１０、カメラユニット部２０及びセンターユニット部３０）で行うこととしてもよい。
すなわち、例えば、スティック部１０（演奏操作子）のスティック制御部１１が発音制御手段、奏法判断手段として機能し、スティック制御部１１において各種センサの検知結果の分析等が行われてもよい。この場合には、動き検知手段としてのモーションセンサ部１４の検知結果（各種センサの生データ等）ではなく、各種センサの検知結果に基づいたノートオンイベント（発音指示の信号）がセンターユニット部３０に送信される。
また、例えばセンターユニット部３０の本体制御部３１において、カメラユニット部２０の撮像部２４により得られたマーカー部１５の位置を示すデータ（すなわち、演奏者等を撮像した画像のデータ）及びマーカー特徴情報に基づいて、スティック部１０Ａ、１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）のそれぞれの位置座標を算出する処理を行ってもよい。この場合には、カメラユニット部２０は、単に画像を撮像してセンターユニット部３０に送信すれば足りるため、カメラユニット部２０のＲＡＭ２３にスティック部１０Ａ、１０Ｂのそれぞれのマーカー部１５を識別するためのマーカー検出条件情報を格納しておく必要はない。
すなわち、例えば、スティック部１０（演奏操作子）のスティック制御部１１が発音制御手段、奏法判断手段として機能し、スティック制御部１１において各種センサの検知結果の分析等が行われてもよい。この場合には、動き検知手段としてのモーションセンサ部１４の検知結果（各種センサの生データ等）ではなく、各種センサの検知結果に基づいたノートオンイベント（発音指示の信号）がセンターユニット部３０に送信される。
また、例えばセンターユニット部３０の本体制御部３１において、カメラユニット部２０の撮像部２４により得られたマーカー部１５の位置を示すデータ（すなわち、演奏者等を撮像した画像のデータ）及びマーカー特徴情報に基づいて、スティック部１０Ａ、１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）のそれぞれの位置座標を算出する処理を行ってもよい。この場合には、カメラユニット部２０は、単に画像を撮像してセンターユニット部３０に送信すれば足りるため、カメラユニット部２０のＲＡＭ２３にスティック部１０Ａ、１０Ｂのそれぞれのマーカー部１５を識別するためのマーカー検出条件情報を格納しておく必要はない。
また、奏法判断部３１１が演奏者の演奏動作を通常奏法による演奏であると判断するかロール奏法（ドラムロール奏法）による演奏であると判断するかの判断手法、及びドラムロール奏法による演奏が終了したか否かを判断する手法は本実施形態に示したものに限定されない。
例えば、動き検知手段であるモーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の上下方向の動きによる移動量が予め定めた範囲内であるとの「第１の条件」のみを満たせばロール奏法（ドラムロール奏法）であると判断してもよいし、モーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の打撃演奏操作タイミング間の時間が予め定めた範囲内であるとの「第２の条件」のみを満たせばロール奏法（ドラムロール奏法）であると判断してもよい。「第１の条件」「第２の条件」のうちいずれかを満たせばロール奏法（ドラムロール奏法）であると判断してもよい。
例えば、動き検知手段であるモーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の上下方向の動きによる移動量が予め定めた範囲内であるとの「第１の条件」のみを満たせばロール奏法（ドラムロール奏法）であると判断してもよいし、モーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の打撃演奏操作タイミング間の時間が予め定めた範囲内であるとの「第２の条件」のみを満たせばロール奏法（ドラムロール奏法）であると判断してもよい。「第１の条件」「第２の条件」のうちいずれかを満たせばロール奏法（ドラムロール奏法）であると判断してもよい。
また、本実施形態では、奏法判断手段である奏法判断部３１１が、モーションセンサデータにおける波形の変化（例えば加速度センサの出力波形の変化）に基づいて、スティック部１０（演奏操作子）の上下方向の動きによる移動量が予め定めた範囲内（第１の条件）であるか否か、スティック部１０（演奏操作子）の操作タイミングの間の時間が予め定めた範囲内（第２の条件）であるか否かを判断することで演奏者の奏法を判断する場合を例として説明したが、奏法判断部３１１が演奏者の奏法を判断する手法はこれに限定されない。
例えば、モーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の動きに基づいて演奏者の奏法を判断するものに限定されず、カメラユニット部２０によって取得される演奏動作を撮像した画像に基づいて、実際のスティック部１０（演奏操作子）の振り幅等を検出することにより、奏法判断部３１１が第１の条件、第２の条件を満たしているか否か等を判断し、演奏者の奏法を判断してもよい。
例えば、モーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の動きに基づいて演奏者の奏法を判断するものに限定されず、カメラユニット部２０によって取得される演奏動作を撮像した画像に基づいて、実際のスティック部１０（演奏操作子）の振り幅等を検出することにより、奏法判断部３１１が第１の条件、第２の条件を満たしているか否か等を判断し、演奏者の奏法を判断してもよい。
また、本実施形態では、ドラムロール奏法の場合におけるショットタイミングを極大点ｔｐ１及び極小点ｔｐ２と設定する例について説明したが、ドラムロール奏法の場合におけるショットタイミングは極大点ｔｐ１及び極小点ｔｐ２に限定されない。
例えば、図１７に示すように、２つの極大点ｔｐ１の間又は２つの極小点ｔｐ２の間を１周期とした場合に、各極大点ｔｐ１及び極小点ｔｐ２と、極大点ｔｐ１及び極小点ｔｐ２のほぼ中間時点とにおいてそれぞれ発音させるようにショットタイミングを設定してもよい。また、これよりもさらに細かく、例えば１周期に６回以上回発音させてもよい。また、極大点ｔｐ１及び極小点ｔｐ２の間の時間間隔に応じてドラムロール音を発音させる回数を動的に増減させるようにしてもよい。このように、極大点ｔｐ１及び極小点ｔｐ２の間の時間間隔に応じてドラムロール音を発音させる回数を増減させるようにした場合には、例えば、実際のドラムロール奏法による演奏を行うことができるほどには速い演奏動作を行うことができない演奏者であっても、１周期に発音させる回数を増加させることで細かい打音が連続したドラムロール奏法らしい演奏を自ら行っているような体験をすることができる。
例えば、図１７に示すように、２つの極大点ｔｐ１の間又は２つの極小点ｔｐ２の間を１周期とした場合に、各極大点ｔｐ１及び極小点ｔｐ２と、極大点ｔｐ１及び極小点ｔｐ２のほぼ中間時点とにおいてそれぞれ発音させるようにショットタイミングを設定してもよい。また、これよりもさらに細かく、例えば１周期に６回以上回発音させてもよい。また、極大点ｔｐ１及び極小点ｔｐ２の間の時間間隔に応じてドラムロール音を発音させる回数を動的に増減させるようにしてもよい。このように、極大点ｔｐ１及び極小点ｔｐ２の間の時間間隔に応じてドラムロール音を発音させる回数を増減させるようにした場合には、例えば、実際のドラムロール奏法による演奏を行うことができるほどには速い演奏動作を行うことができない演奏者であっても、１周期に発音させる回数を増加させることで細かい打音が連続したドラムロール奏法らしい演奏を自ら行っているような体験をすることができる。
また、本実施形態では、奏法判断部３１１がドラムロール奏法による演奏と判断した場合に、所定のショットタイミング（例えば極大点ｔｐ１及び極小点ｔｐ２）で、単音のロール波形を発音させる場合を例としたが、ドラムロール奏法による演奏の場合の発音パターンは、このように単音のロール波形を所定のショットタイミングで複数連続的に発音させるものに限定されない。
例えば、持続音としてのドラムロール音（実際にドラムロール奏法による演奏を行っている場合に発音される持続音）の波形データをＲＯＭ３２の音源記憶領域に格納しておき、奏法判断部３１１がドラムロール奏法による演奏と判断し、ドラムロール演奏モードに遷移すると、この持続音としてのドラムロール音の波形データを読み出して、ドラムロール演奏モードに遷移したタイミングでノートオンさせ、ドラムロール奏法による演奏を終了させ、通常演奏モードに遷移させるときに、この持続音をノートオフするようにしてもよい。
本実施形態で例示したように、単音のロール波形を演奏者の演奏動作に合わせて所定のタイミングで発音させる場合には、ドラムロール演奏モードにおけるドラムロール音に演奏者の技量や表現力が反映されやすく、演奏者自らが実際にドラムロール奏法による演奏を行っている感覚がより味わえる一方で、演奏者が演奏技術に習熟していない場合等には、ドラムロール演奏モードにおける音がばらつきやすく、下手なドラムロール音に聞こえる可能性がある。
これに対して、ドラムロール演奏モードにおいて持続音としてのドラムロール音を発音させる場合には、所定の条件を満たす動きをしている限りは、実際のドラムロール奏法による演奏と同じ音が発音されるため、ドラムロール演奏モードにおける演奏に個人差が現れず、演奏の習熟度に関わらず誰でも安定したドラムロール音を発音させることができる。
このため、例えば、単音のロール波形と持続音としてのドラムロール音の波形データの両方をＲＯＭ３２に格納しておき、ドラムロール奏法による演奏の際にいずれの波形データ（音源）を用いて、いずれのタイミングでノートオンさせるか等を演奏者が自らの技量等に応じて自由に選択できるようにしてもよい。
例えば、持続音としてのドラムロール音（実際にドラムロール奏法による演奏を行っている場合に発音される持続音）の波形データをＲＯＭ３２の音源記憶領域に格納しておき、奏法判断部３１１がドラムロール奏法による演奏と判断し、ドラムロール演奏モードに遷移すると、この持続音としてのドラムロール音の波形データを読み出して、ドラムロール演奏モードに遷移したタイミングでノートオンさせ、ドラムロール奏法による演奏を終了させ、通常演奏モードに遷移させるときに、この持続音をノートオフするようにしてもよい。
本実施形態で例示したように、単音のロール波形を演奏者の演奏動作に合わせて所定のタイミングで発音させる場合には、ドラムロール演奏モードにおけるドラムロール音に演奏者の技量や表現力が反映されやすく、演奏者自らが実際にドラムロール奏法による演奏を行っている感覚がより味わえる一方で、演奏者が演奏技術に習熟していない場合等には、ドラムロール演奏モードにおける音がばらつきやすく、下手なドラムロール音に聞こえる可能性がある。
これに対して、ドラムロール演奏モードにおいて持続音としてのドラムロール音を発音させる場合には、所定の条件を満たす動きをしている限りは、実際のドラムロール奏法による演奏と同じ音が発音されるため、ドラムロール演奏モードにおける演奏に個人差が現れず、演奏の習熟度に関わらず誰でも安定したドラムロール音を発音させることができる。
このため、例えば、単音のロール波形と持続音としてのドラムロール音の波形データの両方をＲＯＭ３２に格納しておき、ドラムロール奏法による演奏の際にいずれの波形データ（音源）を用いて、いずれのタイミングでノートオンさせるか等を演奏者が自らの技量等に応じて自由に選択できるようにしてもよい。
また、本実施形態では、発音手段である発音部３６がセンターユニット部３０内に設けられている場合を例として説明したが、発音手段はセンターユニット部３０とは別体として構成されていてもよい。この場合には、発音手段とセンターユニット部３０とを有線又は無線で接続し、センターユニット部３０からの指示信号にしたがって発音手段が所定の発音を行うように構成する。
また、本実施形態では、通常奏法による演奏の際の打音とは異なるドラムロール奏法による演奏時の打音をサンプリングした単音のロール波形をＲＯＭ３２に記憶させておき、ドラムロール奏法による演奏の際は、この単音のロール波形を複数連続的に発音させる構成としたが、ドラムロール奏法による演奏の際に用いる音源はこれに限定されない。
また、本実施形態では、演奏者の演奏動作に基づくスティック部１０（演奏操作子）の動きを検知する動き検知手段がスティック部１０に配置されたモーションセンサ部１４である場合を例として説明したが、動き検知手段はこれに限定されない。例えば、カメラユニット部２０の撮像部２４（カメラ）によって取得された画像からスティック部１０（演奏操作子）の動きを検知してもよく、この場合には、カメラユニット部２０の撮像部２４（カメラ）が動き検知手段として機能する。
また、本実施形態では、動き検知手段としてのモーションセンサ部１４により取得されるモーションセンサデータとして、加速度センサにより計測された加速度のデータのみを例示したが、モーションセンサデータの内容はこれに限定されず、例えば、ジャイロにより角加速度を計測してその計測値を用いるようにしてもよい。
また、本実施形態では、スティック部１０に平行な軸の回りの回転はしないものとして説明したが、これらの回転等についても角加速度センサ等により計測して対応するようにしてもよい。
また、本実施形態では、スティック部１０に平行な軸の回りの回転はしないものとして説明したが、これらの回転等についても角加速度センサ等により計測して対応するようにしてもよい。
また、本実施形態では、仮想的な打楽器として仮想のドラムセットＤ（図１（Ｂ）参照）を例にとって説明したが、これに限られるものではなく、本発明は、スティック部１０の振り下ろし動作で楽音を発音する木琴など他の楽器に適用することができる。
また、本実施形態では、演奏操作子が棒状のスティック部１０である場合を例としたが、演奏操作子はこれに限定されない。箱型等、スティック以外の形状のものでもよく、例えば携帯電話機等の携帯端末装置を演奏操作子として用いてもよい。
楽音発生装置１は、演奏操作子で空間を叩く演奏動作を行うことで所定の楽器の音を発音させるものであり、実際に演奏操作子を楽器の打面に打ち付けるものではないため、携帯端末装置等の精密な電子機器を演奏操作子として用いた場合でも、演奏操作子が破損するおそれがない。
楽音発生装置１は、演奏操作子で空間を叩く演奏動作を行うことで所定の楽器の音を発音させるものであり、実際に演奏操作子を楽器の打面に打ち付けるものではないため、携帯端末装置等の精密な電子機器を演奏操作子として用いた場合でも、演奏操作子が破損するおそれがない。
また、本実施形態では、スティック部１０、カメラユニット部２０、センターユニット部３０が、いずれも内部に電源部を備えている構成としたが、スティック部１０、カメラユニット部２０、センターユニット部３０を外部の電源と接続し、外部電源から電源供給を行う構成としてもよい。
以上本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
演奏者が保持可能な打撃用の演奏操作子と、
前記演奏者の打撃演奏操作によって生じる前記演奏操作子本体の動きを検知する動き検知手段と、
この動き検知手段により検知された動きに基づいて、前記演奏操作子を用いた演奏操作形態がロール奏法であるか否かを判断する奏法判断手段と、
前記奏法判断手段によりロール奏法と判断された場合、前記動き検出手段により検知された動きに基づいて決定されるタイミングにて、ロール奏法用楽音の発音を発音手段に指示する発音指示手段と、
を備えていることを特徴とする楽音発生装置。
＜請求項２＞
前記奏法判断手段は、前記動き検知手段により検知される前記演奏操作子の上下方向の動きによる移動量が予め定めた範囲内である場合に、ロール奏法であると判断することを特徴とする請求項１に記載の楽音発生装置。
＜請求項３＞
前記奏法判断手段は、前記動き検知手段によって検知された前記演奏操作子の動きから求められる各打撃演奏操作タイミング間の時間が予め定めた範囲内である場合に、ロール奏法であると判断することを特徴とする請求項１又は請求項２に記載の楽音発生装置。
＜請求項４＞
前記発音手段は、
単音のロール波形を記憶する記憶手段を備え、
前記奏法判断手段によりロール奏法であると判断されたときは、前記記憶手段からロール波形を複数回連続して読み出すことにより、ロール奏法用楽音の発音を行うことを特徴とする請求項１から請求項３のいずれか一項に記載の楽音発生装置。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
演奏者が保持可能な打撃用の演奏操作子と、
前記演奏者の打撃演奏操作によって生じる前記演奏操作子本体の動きを検知する動き検知手段と、
この動き検知手段により検知された動きに基づいて、前記演奏操作子を用いた演奏操作形態がロール奏法であるか否かを判断する奏法判断手段と、
前記奏法判断手段によりロール奏法と判断された場合、前記動き検出手段により検知された動きに基づいて決定されるタイミングにて、ロール奏法用楽音の発音を発音手段に指示する発音指示手段と、
を備えていることを特徴とする楽音発生装置。
＜請求項２＞
前記奏法判断手段は、前記動き検知手段により検知される前記演奏操作子の上下方向の動きによる移動量が予め定めた範囲内である場合に、ロール奏法であると判断することを特徴とする請求項１に記載の楽音発生装置。
＜請求項３＞
前記奏法判断手段は、前記動き検知手段によって検知された前記演奏操作子の動きから求められる各打撃演奏操作タイミング間の時間が予め定めた範囲内である場合に、ロール奏法であると判断することを特徴とする請求項１又は請求項２に記載の楽音発生装置。
＜請求項４＞
前記発音手段は、
単音のロール波形を記憶する記憶手段を備え、
前記奏法判断手段によりロール奏法であると判断されたときは、前記記憶手段からロール波形を複数回連続して読み出すことにより、ロール奏法用楽音の発音を行うことを特徴とする請求項１から請求項３のいずれか一項に記載の楽音発生装置。
１ 楽音発生装置
１０ スティック部
１４ モーションセンサ部
１５ マーカー部
２０ カメラユニット部
２４ 撮像部
３０ センターユニット部
３１ 制御部
３６ 発音部
３１１ 奏法判断部
３１２ 発音制御部
３６１ 楽音データ生成部
３６２ 音声出力部
Ｄ ドラムセット
１０ スティック部
１４ モーションセンサ部
１５ マーカー部
２０ カメラユニット部
２４ 撮像部
３０ センターユニット部
３１ 制御部
３６ 発音部
３１１ 奏法判断部
３１２ 発音制御部
３６１ 楽音データ生成部
３６２ 音声出力部
Ｄ ドラムセット
Claims (2)
- 演奏者が保持可能な打撃用の演奏操作子と、
前記演奏者の打撃演奏操作によって生じる前記演奏操作子本体の動きを検知する動き検知手段と、
前記動き検知手段により検知される前記演奏操作子の上下方向の動きにより発生する加速度の極大値及び極小値が予め定めた範囲内である場合であって、かつ、前記動き検知手段によって検知された前記演奏操作子の操作により発生する加速度の極大値及び極小値との間の時間が予め定めた範囲内である場合にロール奏法であると判断する奏法判断手段と、
前記奏法判断手段によりロール奏法と判断された場合、前記動き検出手段により検知された動きに基づいて決定されるタイミングにて、ロール奏法用楽音の発音を発音手段に指示する発音指示手段と、
を備えていることを特徴とする楽音発生装置。 - 前記発音手段は、
単音のロール波形を記憶する記憶手段を備え、
前記奏法判断手段によりロール奏法であると判断されたときは、前記記憶手段からロール波形を複数回連続して読み出すことにより、ロール奏法用楽音の発音を行うことを特徴とする請求項１に記載の楽音発生装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012048489A JP5935399B2 (ja) | 2012-03-05 | 2012-03-05 | 楽音発生装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012048489A JP5935399B2 (ja) | 2012-03-05 | 2012-03-05 | 楽音発生装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013186136A JP2013186136A (ja) | 2013-09-19 |
| JP5935399B2 true JP5935399B2 (ja) | 2016-06-15 |
Family
ID=49387650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012048489A Active JP5935399B2 (ja) | 2012-03-05 | 2012-03-05 | 楽音発生装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5935399B2 (ja) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4244874B2 (ja) * | 2004-07-14 | 2009-03-25 | ヤマハ株式会社 | 電子打楽器、打撃音生成プログラム |
| JP5088398B2 (ja) * | 2010-06-01 | 2012-12-05 | カシオ計算機株式会社 | 演奏装置および電子楽器 |
-
2012
- 2012-03-05 JP JP2012048489A patent/JP5935399B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013186136A (ja) | 2013-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5966465B2 (ja) | 演奏装置、プログラム及び演奏方法 | |
| JP6024136B2 (ja) | 演奏装置、演奏方法及びプログラム | |
| JP5533915B2 (ja) | 習熟度判定装置、習熟度判定方法及びプログラム | |
| JP6127367B2 (ja) | 演奏装置及びプログラム | |
| JP5573899B2 (ja) | 演奏装置 | |
| US8586853B2 (en) | Performance apparatus and electronic musical instrument | |
| US20090318227A1 (en) | Game controller case and sound output control method | |
| US8710345B2 (en) | Performance apparatus, a method of controlling the performance apparatus and a program recording medium | |
| JP2013182195A (ja) | 演奏装置及びプログラム | |
| JP2013040991A (ja) | 操作子、操作方法及びプログラム | |
| JP5549698B2 (ja) | 演奏装置、方法及びプログラム | |
| JP6111526B2 (ja) | 楽音発生装置 | |
| JP5935399B2 (ja) | 楽音発生装置 | |
| JP6398291B2 (ja) | 演奏装置、演奏方法及びプログラム | |
| JP2013044889A (ja) | 演奏装置 | |
| JP5861517B2 (ja) | 演奏装置及びプログラム | |
| JP5974567B2 (ja) | 楽音発生装置 | |
| JP6098083B2 (ja) | 演奏装置、演奏方法及びプログラム | |
| JP6094111B2 (ja) | 演奏装置、演奏方法及びプログラム | |
| JP6098081B2 (ja) | 演奏装置、演奏方法及びプログラム | |
| JP2013195626A (ja) | 楽音発生装置 | |
| JP5942627B2 (ja) | 演奏装置、方法及びプログラム | |
| JP2010191323A (ja) | 音楽作成装置、方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150219 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150910 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150915 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151116 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160412 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160425 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5935399 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |