JP2006053167A - Electronic musical instrument device and playing method of virtual musical instrument and program for performance processing of virtual musical instrument and recording medium recored with its program - Google Patents

Electronic musical instrument device and playing method of virtual musical instrument and program for performance processing of virtual musical instrument and recording medium recored with its program Download PDF

Info

Publication number
JP2006053167A
JP2006053167A JP2004214970A JP2004214970A JP2006053167A JP 2006053167 A JP2006053167 A JP 2006053167A JP 2004214970 A JP2004214970 A JP 2004214970A JP 2004214970 A JP2004214970 A JP 2004214970A JP 2006053167 A JP2006053167 A JP 2006053167A
Authority
JP
Japan
Prior art keywords
image
musical instrument
virtual
signal
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004214970A
Other languages
Japanese (ja)
Other versions
JP3684420B1 (en
Inventor
Shoichi Ono
省一 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
RARUGO KK
Largo KK
Original Assignee
RARUGO KK
Largo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by RARUGO KK, Largo KK filed Critical RARUGO KK
Priority to JP2004214970A priority Critical patent/JP3684420B1/en
Application granted granted Critical
Publication of JP3684420B1 publication Critical patent/JP3684420B1/en
Publication of JP2006053167A publication Critical patent/JP2006053167A/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Electrophonic Musical Instruments (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an electronic musical instrument device with which a player can give a performance with the same feeling as that in an actual drum and also the player can give a performance even in a narrow place. <P>SOLUTION: In order to make the player play virtual percussion instruments of a plurality of kinds, the electronic musical instrument device is configured so as to extract specific images of tips 1a, 2a of sticks 1, 2 and specific images of black globes 3, 4 attached to legs of the player, which are set beforehand from images which are photographed by a portable telephone device 5 with camera and to judge a virtual musical instrument which is set beforehand with respect to the specific images by analyzing movement vectors of extracted images and to generate the rhythm sound signal of the timbre of the determined virtual musical instrument and to produce sounds by transmitting the rhythm sound signal to a headphone 7. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、電子楽器装置および仮想楽器の演奏方法、並びに、仮想楽器の演奏処理のプログラムおよびそのプログラムを記録した記録媒体に関するものである。   The present invention relates to an electronic musical instrument device, a virtual musical instrument performance method, a virtual musical instrument performance processing program, and a recording medium on which the program is recorded.

近年、ＣＰＵやその他の半導体などを利用した電子鍵盤楽器が普及しているが、仮想の打楽器を演奏するための電子楽器装置も次第に商品化され、高い性能の製品も開発されている。また、仮想の打楽器を演奏するための技術も多く提案されている。
ある提案の電子楽器においては、ドラムのスティックに圧電ジャイロセンサ又はマイクロ加速度センサを設け、この角速度センサから結線した回路により角速度を検出して、この角速度を制御信号に変換し、この制御信号により音量および音質を設定するシンセサイザを備えた構成になっている。この構成により、スティックを振るだけで打楽器の音を発生できる。（特許文献１参照）
また、ある提案の電子打楽器においては、中空状のスティック本体内に、発光素子および受光素子を有する光センサと、スティック本体の振り動作に応じて受光素子に入射する光量（反射光量、透過光量）を変化させる振動子を設けた構成になっている。この構成により、スティックを振ると、その振りに応じて振動子が振動し、この振動子の振動に応じて発光素子からの光の反射状態又は透過状態が変化し、この変化に応じた光量を受光素子が受光するため、スティック本体の振り操作を振動子の振動状態の波形として検出することができ、スティック本体の微妙な振動を精度よく検出することができ、しかも非接触方式であるから耐久性にも優れ、信頼性の高いものを得ることができる。（特許文献２参照）
また、ある提案の電子ドラムにおいては、電子ドラムのパッドの外周であるパッド枠の少なくとも一箇所を透明若しくは半透明とした導光板で形成し、その導光板に複数色の光源からの光を導光し発光させる構成とともに、所望の条件に従う点灯信号発生手段からの信号により点滅と発光色の切換とを行う構成になっている。この構成により、パッドに割り付けられた打楽器の種類など、演奏者が所望する情報を発光色、発光数などにより告知できる。（特許文献３参照）
また、ある提案の入力装置およびこれを用いた電子楽器においては、２本のワイヤが１点で固定されたスタンドと、それぞれのワイヤに固定された２本のスティックと、ワイヤに張力が生じたことを検知し、ワイヤが張った状態でこのワイヤが交わる線上での位置を検知するセンサと、位置を表す信号に応じた音色の信号を発生し得る音源装置と、センサが張力を検知したときに音源装置からの信号を出力する出力手段とを備えた構成になっている。この構成により、ワイヤが充分に伸びた瞬間のタイミングとその時の打点位置を電気信号として検出でき、それを用いて電子音源装置を操作することにより電子ドラムシステムの演奏が可能になる。（特許文献４参照）
特開平６−７５５７１号公報 特開平１０−５５１７５号公報 特開平１１−３０９８３号公報 特開２０００−１６３０４９号公報 In recent years, electronic keyboard instruments using CPUs and other semiconductors have become widespread, but electronic musical instrument devices for playing virtual percussion instruments have been gradually commercialized, and high performance products have also been developed. Many techniques for playing virtual percussion instruments have also been proposed.
In a proposed electronic musical instrument, a piezoelectric gyro sensor or a micro acceleration sensor is provided on a drum stick, an angular velocity is detected by a circuit connected from the angular velocity sensor, and the angular velocity is converted into a control signal. And a synthesizer for setting the sound quality. With this configuration, it is possible to generate the sound of a percussion instrument simply by shaking the stick. (See Patent Document 1)
Also, in a proposed electronic percussion instrument, a light sensor having a light emitting element and a light receiving element in a hollow stick body, and a light amount incident on the light receiving element according to the swinging motion of the stick body (amount of reflected light and transmitted light) It is the structure which provided the vibrator | oscillator which changes this. With this configuration, when the stick is shaken, the vibrator vibrates in response to the swing, and the reflection state or transmission state of the light from the light emitting element changes according to the vibration of the vibrator, and the amount of light corresponding to the change is changed. Because the light receiving element receives light, the stick body swinging operation can be detected as a waveform of the vibration state of the vibrator, subtle vibrations of the stick body can be detected with high accuracy, and the non-contact method is durable. A product with excellent reliability and high reliability can be obtained. (See Patent Document 2)
Also, in a proposed electronic drum, at least one part of the pad frame that is the outer periphery of the pad of the electronic drum is formed by a transparent or semi-transparent light guide plate, and light from a plurality of color light sources is guided to the light guide plate. In addition to the light emission and light emission configuration, it is configured to perform blinking and switching of the emission color by a signal from the lighting signal generating means according to desired conditions. With this configuration, information desired by the player, such as the type of percussion instrument assigned to the pad, can be notified by the emission color, the number of emission, and the like. (See Patent Document 3)
In addition, in a proposed input device and an electronic musical instrument using the input device, a stand in which two wires are fixed at one point, two sticks fixed to each wire, and tension is generated in the wires. When the sensor detects tension, the sensor detects the position on the line where the wires cross in a state where the wire is stretched, the sound source device that can generate a timbre signal according to the signal indicating the position, and the sensor detects tension And an output means for outputting a signal from the sound source device. With this configuration, it is possible to detect the timing at which the wire is sufficiently extended and the hit point position at that time as an electrical signal, and the electronic drum system can be played by operating the electronic sound source device using the signal. (See Patent Document 4)
JP-A-6-75571 Japanese Patent Laid-Open No. 10-55175 Japanese Patent Laid-Open No. 11-30983 JP 2000-163049 A

しかしながら、上記各特許文献においては、実際のドラムと同じような感覚で演奏することができないという課題、又は、擬似ドラムを設置するだけの広いスペースが必要になるという課題があった。
例えば、特許文献１の構成においては、スティックだけではドラムの種類や位置を判別できなので、ドラム演奏の臨場感を得ることができず、結局は、図４に示されるように、摸擬ドラムのメンブレム部やスネア部に角速度センサを取り付けることになる。したがって、擬似ドラムを設置するためのスペースが必要になる。また、ステックと装置（この場合は、プロセッサの回路部）とを接続するための信号線が必要となり、スティックの操作が制限されてしまうことになる。
また、特許文献２の構成においては、特許文献１の場合と同様に、スティックだけではドラムの種類や位置を判別できないので、ドラム演奏の臨場感を得ることができない上、ステックと楽音発生装置とを接続するための信号線が必要となり、スティックの操作が制限されてしまうことになる。さらに、スティックの振りが激しい場合には、スティック内のセンサ部が破損するおそれもある。
また、特許文献３の構成においては、擬似ドラムとしてのパッドを設置しなければならず、擬似ドラムを設置するだけの広いスペースが必要になるので、狭い家屋では設置することが困難である。
また、特許文献４の構成においては、図１からも明らかなように、スツール付きの大きなスタンドを設置しなければならず、自宅で手軽に演奏することができない。さらに、スティックとスタンドとを結ぶワイヤによって、スティックの操作が制限されてしまうことになる。さらにまた、図４および図６に示されているように、スティック操作を検出するセンサの機構が複雑であるので、製造コストやメンテナンスコストが高くなってしまう。 However, in each of the above patent documents, there is a problem that performance cannot be performed with the same feeling as an actual drum, or a problem that a large space for installing a pseudo drum is required.
For example, in the configuration of Patent Document 1, since the type and position of the drum can be determined only with the stick, it is impossible to obtain the realistic feeling of the drum performance. Eventually, as shown in FIG. An angular velocity sensor is attached to the membrane part or snare part. Therefore, a space for installing the pseudo drum is required. In addition, a signal line for connecting the stick and the device (in this case, the circuit portion of the processor) is required, which restricts the operation of the stick.
Further, in the configuration of Patent Document 2, as in Patent Document 1, since the type and position of the drum cannot be determined with the stick alone, it is impossible to obtain the realistic feeling of the drum performance, and the stick and the musical sound generating device. This requires a signal line for connecting the sticks, which limits the operation of the stick. Furthermore, if the stick is shaken heavily, the sensor unit in the stick may be damaged.
Moreover, in the structure of patent document 3, since the pad as a pseudo drum must be installed and the wide space only to install a pseudo drum is needed, it is difficult to install in a narrow house.
Moreover, in the structure of patent document 4, as clear also from FIG. 1, a big stand with a stool must be installed, and it cannot perform easily at home. Further, the operation of the stick is limited by the wire connecting the stick and the stand. Furthermore, as shown in FIGS. 4 and 6, since the mechanism of the sensor for detecting the stick operation is complicated, the manufacturing cost and the maintenance cost are increased.

本発明は、このような従来の課題を解決するためになされたもので、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる電子楽器装置を安価に提供することを目的とする。
また、本発明は、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる仮想のドラム演奏方法を安価に提供することを目的とする。
また、本発明は、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる電子楽器装置および仮想のドラム演奏方法の実施に用いるカメラ付き携帯電話装置を安価に提供することを目的とする。 The present invention has been made in order to solve such a conventional problem. An electronic musical instrument device that can be played with a feeling similar to that of an actual drum and that can be played even in a small place is inexpensive. The purpose is to provide.
It is another object of the present invention to provide a virtual drum playing method that can be played with a feeling similar to that of an actual drum and that can be played even in a small place at low cost.
The present invention also provides an electronic musical instrument device that can be played as if it were a real drum and that can be played even in a small place, and a camera-equipped mobile phone device that is used to implement a virtual drum playing method. It is intended to provide to.

本発明の電子楽器装置は、撮像手段と、複数種類の仮想の打楽器を演奏するために、撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出する画像抽出手段と、この画像抽出手段によって抽出された特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定する画像分析手段と、この画像分析手段によって判定された仮想楽器の音色のリズム音信号を発生する信号発生手段と、を備えた構成になっている。   The electronic musical instrument apparatus of the present invention extracts one or more types of specific images set in advance from images captured by the imaging unit in order to play the imaging unit and a plurality of types of virtual percussion instruments. An image extracting unit, an image analyzing unit for analyzing a motion vector of the specific image extracted by the image extracting unit and determining a virtual instrument preset for the specific image, and a determination by the image analyzing unit And a signal generating means for generating a rhythm sound signal of the tone color of the virtual instrument.

本発明の仮想楽器の演奏方法は、複数種類の仮想の打楽器を演奏するために、所定の撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出し、抽出した特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定し、判定した仮想楽器の音色のリズム音信号を発生する構成になっている。   According to the virtual musical instrument playing method of the present invention, in order to play a plurality of types of virtual percussion instruments, one or more types of specific images set in advance are extracted from images captured by a predetermined imaging unit. The motion vector of the extracted specific image is analyzed, a virtual instrument preset for the specific image is determined, and a rhythm sound signal of the tone color of the determined virtual instrument is generated.

本発明による電子楽器装置および仮想楽器の演奏方法の実施に使用可能なカメラ付き携帯電話装置は、
スイッチ部を有する第１の本体と表示部を有する第２の本体とが結合手段によって回動可能に結合され、第１の本体と第２の本体とを閉状態又は開状態に変化可能な構造を有し、
第２の本体の所定の位置に設けられた第１のレンズと、第１の本体に設けられた空間に収容され、第２のレンズおよび光反射部材が一体化された光学手段と、第１の本体のアンテナが形成される側面から外部に向かってほぼ垂直に突き出た円筒形状で第１の本体に設けられた空間に連通する空間を内部に有する突起部と、この突起部の空間の所定位置に設けられた第３のレンズと、光学手段を操作に応じて第１の本体に設けられた空間内の第１の位置又は第２の位置に移動させる操作手段と、第１の本体と第２の本体とが閉状態で、且つ、光学手段が第１の位置にある場合には、第１のレンズおよび第２のレンズによって結像される光画像を電気信号に変換して撮像信号として出力し、第１の本体と第２の本体とが開状態で、且つ、光学手段が第１の位置にある場合には、第２のレンズによって結像される光画像を電気信号に変換して撮像信号として出力し、光学手段が第２の位置にある場合には、第３のレンズから入射して光反射部材によって反射して結像された光画像を電気信号に変換して撮像信号として出力する撮像素子と、を備えた構成になっている。 A mobile phone device with a camera that can be used for carrying out an electronic musical instrument device and a virtual musical instrument playing method according to the present invention,
A structure in which a first main body having a switch part and a second main body having a display part are rotatably coupled by a coupling means, and the first main body and the second main body can be changed to a closed state or an open state. Have
A first lens provided at a predetermined position of the second main body, an optical means accommodated in a space provided in the first main body, and the second lens and the light reflecting member are integrated; A projection having a cylindrical shape projecting substantially vertically from the side surface on which the antenna of the main body is formed to the outside and having a space communicating with the space provided in the first main body, and a predetermined space of the projection A third lens provided at a position, an operating means for moving the optical means to a first position or a second position in a space provided in the first main body according to an operation, and a first main body, When the second body is in a closed state and the optical means is in the first position, an optical image formed by the first lens and the second lens is converted into an electrical signal and an imaging signal And the first body and the second body are in an open state, and optical means When the optical means is at the first position, the optical image formed by the second lens is converted into an electrical signal and output as an imaging signal. When the optical means is at the second position, the third image And an imaging element that converts an optical image formed by being incident from a lens and reflected by a light reflecting member into an electrical signal and outputting it as an imaging signal.

また、本発明による電子楽器装置および仮想楽器の演奏方法の実施に使用可能なカメラ付き携帯電話装置は、
スイッチ部を有する第１の本体と表示部を有する第２の本体とが結合手段によって回動可能に結合され、第１の本体と第２の本体とを閉状態又は開状態に変化可能な構造を有し、
第２の本体の所定の位置に設けられた第１のレンズと、第１の本体においてスイッチ部を有する面に対してほぼ垂直方向の光軸を持つ第２のレンズ、第１の本体のアンテナが形成される側面から外部に向かってほぼ垂直に突き出た部分に形成されて当該側面に対してほぼ垂直方向の光軸を持つ第３のレンズ、この第３のレンズから入射する光をほぼ直角に反射する光反射部材とが一体化された光学手段と、第１の本体において、操作に応じて光学手段を第１の位置又は第２の位置に第３のレンズの光軸方向にスライド可能に収容する収容手段と、第１の本体と第２の本体とが閉状態で、且つ、光学手段が第１の位置にある場合には、第１のレンズおよび第２のレンズによって結像される光画像を電気信号に変換して撮像信号として出力し、第１の本体と第２の本体とが開状態で、且つ、光学手段が第１の位置にある場合には、第２のレンズによって結像される光画像を電気信号に変換して撮像信号として出力し、光学手段が第２の位置にある場合には、第３のレンズから入射して光反射部材によって反射して結像された光画像を電気信号に変換して撮像信号として出力する撮像素子と、を備えた構成になっている。 In addition, a mobile phone device with a camera that can be used for carrying out an electronic musical instrument device and a virtual musical instrument playing method according to the present invention includes:
A structure in which a first main body having a switch part and a second main body having a display part are rotatably coupled by a coupling means, and the first main body and the second main body can be changed to a closed state or an open state. Have
A first lens provided at a predetermined position of the second main body; a second lens having an optical axis substantially perpendicular to a surface of the first main body having the switch portion; and an antenna of the first main body A third lens having an optical axis in a direction substantially perpendicular to the side surface, the light incident from the third lens being substantially perpendicular to the side surface. In the first main body, the optical means can be slid in the optical axis direction of the third lens to the first position or the second position in accordance with the operation. When the housing means, the first main body and the second main body are closed, and the optical means is in the first position, an image is formed by the first lens and the second lens. The optical image is converted into an electrical signal and output as an imaging signal. When the main body and the second main body are in an open state and the optical means is in the first position, the optical image formed by the second lens is converted into an electrical signal and output as an imaging signal. When the optical means is at the second position, an image sensor that converts an optical image formed by being incident from the third lens and reflected by the light reflecting member into an electrical signal and outputting the image as an imaging signal. And, it has a configuration comprising.

本発明の電子楽器装置および仮想楽器の演奏方法並びにその装置および方法に使用するカメラ付き携帯電話装置によれば、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができるという効果が得られる。   According to the electronic musical instrument apparatus and the virtual musical instrument performance method of the present invention, and the camera-equipped mobile phone device used in the apparatus and method, it is possible to perform with a feeling similar to that of an actual drum and to perform in a narrow place. The effect that it can be obtained.

以下、本発明による電子楽器装置および仮想楽器の演奏方法の実施形態、並びに、その装置および方法に使用可能なカメラ付き携帯電話装置の実施形態について、図を参照しながら詳細に説明する。
図１は、第１実施形態における電子楽器装置を演奏者が使用する状態を示す図である。この図において、演奏者１００の右手１０１および左手１０２には、２本のスティック１および２が握られている。これらスティック１および２の丸い形状の先端部１ａおよび２ａは、特定の色に着色されている。実施形態においては、特定の色としては黒色であるが、他の色であってもよい。また、演奏者１００の右脚１０３および左脚１０４には、黒色の球形の物体３および４（以下、「黒球３、黒球４」という）が、それぞれ帯状の保持部材３ａおよび４ａによって固定されている。また、演奏者１００の腰１０５の前側には、カメラ付き携帯電話装置５が腰１０５に装着されたベルト６に取り付けられたキャリアケース６ａに収容されている。また、演奏者１００の頭部１０６には、ステレオ用のヘッドホン７（発音手段）が装着されている。このヘッドホン７には、音量調整用のボリューム７ａが設けられている。さらに、図には示していないが、カメラ付き携帯電話装置５に設けられているヘッドホン端子と、ヘッドホン７の入力端子とが信号線によって接続されている。 DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments of an electronic musical instrument device and a virtual musical instrument playing method according to the present invention and embodiments of a camera-equipped mobile phone device that can be used in the device and method will be described in detail below with reference to the drawings.
FIG. 1 is a diagram illustrating a state in which a player uses the electronic musical instrument device according to the first embodiment. In this figure, two sticks 1 and 2 are held by the right hand 101 and the left hand 102 of the player 100. The round end portions 1a and 2a of the sticks 1 and 2 are colored in a specific color. In the embodiment, the specific color is black, but other colors may be used. Further, black spherical objects 3 and 4 (hereinafter referred to as “black sphere 3 and black sphere 4”) are fixed to the right leg 103 and the left leg 104 of the performer 100 by belt-shaped holding members 3a and 4a, respectively. Has been. In addition, on the front side of the waist 105 of the performer 100, the camera-equipped mobile phone device 5 is accommodated in a carrier case 6 a attached to a belt 6 attached to the waist 105. The head 106 of the performer 100 is equipped with stereo headphones 7 (sound generation means). This headphone 7 is provided with a volume 7a for volume adjustment. Further, although not shown in the figure, a headphone terminal provided in the camera-equipped mobile phone device 5 and an input terminal of the headphone 7 are connected by a signal line.

図２は、図１に示したベルト６におけるキャリアケース６ａに収容されたカメラ付き携帯電話装置５を示す図である。カメラ付き携帯電話装置５の前部には、自分の顔を撮影できるような広い視野角のレンズ８（第１のレンズ）が設けられている。また、カメラ付き携帯電話装置５の側部には、スイッチ９が設けられている。なお、図には示していないが、レンズ８に対応する内部には、レンズ８から入射する光によって画像を撮像するＣＣＤやＣＭＯＳなどの撮像素子が設けられている。レンズ８の視野は広いので、図１におけるスティック１および２の先端部１ａおよび２ａと、両足に取り付けられた黒球３および４を撮像素子の画角に収めることができる。スイッチ９は、通常のカメラモードのときはシャッタスイッチの機能を有するが、ドラム演奏のモードにおいてはスタートおよびストップのスイッチとしても機能する。
キャリアケース６ａは、ベルト６と一体に形成された専用のものが望ましいが、市販されているキャリアケースを通常のベルトに取り付けた構成でも、レンズ８およびスイッチ９が露出するものであれば十分である。 FIG. 2 is a diagram showing the camera-equipped mobile phone device 5 housed in the carrier case 6a of the belt 6 shown in FIG. At the front of the camera-equipped mobile phone device 5 is provided a lens 8 (first lens) having a wide viewing angle so that his / her face can be photographed. A switch 9 is provided on the side of the camera-equipped mobile phone device 5. Although not shown in the figure, an imaging element such as a CCD or a CMOS that captures an image with light incident from the lens 8 is provided inside the lens 8. Since the field of view of the lens 8 is wide, the tip portions 1a and 2a of the sticks 1 and 2 in FIG. 1 and the black spheres 3 and 4 attached to both feet can be accommodated in the angle of view of the image sensor. The switch 9 has a shutter switch function in the normal camera mode, but also functions as a start and stop switch in the drum performance mode.
The carrier case 6a is preferably a dedicated case integrally formed with the belt 6, but it is sufficient if the commercially available carrier case is attached to a normal belt as long as the lens 8 and the switch 9 are exposed. is there.

図３は、カメラ付き携帯電話装置５の内部構成を示すブロック図である。この図において、ＣＰＵ１１は、システムバスを介して、ＲＯＭ１２、ＲＡＭ１３、無線送受信部１４、スイッチ部１５、表示部１６、カメラ部１７、フラッシュメモリ１８、音源部１９、および送信インタフェース２０に接続され、これら各部との間で指令およびデータの授受を行って、この装置全体を制御する。
ＲＯＭ１２は、ＣＰＵ１１によって実行されるプログラムや初期データなどを記憶している。ＲＡＭ１３は、ＣＰＵ１１のワークエリアであり、処理するデータを一時的に記憶するバッファエリア、各種のレジスタ、フラグ、変数のためのエリアが用意されている。無線送受信部１４は、外部の携帯電話装置との間で電話、メール、画像の送受信を行なうとともに、インターネットなどの通信網を介して、楽音データをダウンロードすることができる。スイッチ部１５は、ダイヤル入力用のテンキースイッチ、オフフックスイッチ、オンフックスイッチ、発信スイッチ、メニュースイッチ、カーソルスイッチなどで構成されている。表示部１６は、少なくとも１つのＬＣＤ（液晶表示デバイス）で構成されている。 FIG. 3 is a block diagram showing an internal configuration of the camera-equipped mobile phone device 5. In this figure, a CPU 11 is connected to a ROM 12, a RAM 13, a wireless transmission / reception unit 14, a switch unit 15, a display unit 16, a camera unit 17, a flash memory 18, a sound source unit 19, and a transmission interface 20 via a system bus. Commands and data are exchanged with these units to control the entire apparatus.
The ROM 12 stores programs executed by the CPU 11 and initial data. The RAM 13 is a work area for the CPU 11 and includes a buffer area for temporarily storing data to be processed and areas for various registers, flags, and variables. The wireless transmission / reception unit 14 can transmit / receive telephone data, mails, and images to / from an external mobile phone device, and can download musical tone data via a communication network such as the Internet. The switch unit 15 includes a numeric keypad for dial input, an off-hook switch, an on-hook switch, a transmission switch, a menu switch, a cursor switch, and the like. The display unit 16 includes at least one LCD (liquid crystal display device).

カメラ部１７（撮像手段）は、上記したレンズ８および撮像素子のほかに、他の光学部材としてのレンズ、撮像素子から出力される撮像信号をディジタル信号に変換するＡＤコンバータ回路、撮像信号によって画像の輪郭を検出するエッジ検出回路（検出手段）、画像の歪みを補正する補正回路などを含んでいる。また、ＣＰＵ１１は、カメラ部１７の回路と協働して、撮像素子によって撮像された画像の中から１種類又は複数種類の特定画像（スティック１および２の先端部１ａおよび２ａの画像、および、脚に取り付けられた黒球３および４の画像）を抽出する画像抽出手段、抽出された特定画像の動きベクトルを分析して、その特定画像に対してあらかじめ設定されている仮想楽器（この場合は、打楽器）を判定する画像判定手段を構成する。   In addition to the lens 8 and the imaging device described above, the camera unit 17 (imaging means) includes a lens as another optical member, an AD converter circuit that converts an imaging signal output from the imaging device into a digital signal, and an image by the imaging signal. An edge detection circuit (detection means) for detecting the contour of the image, a correction circuit for correcting image distortion, and the like. In addition, the CPU 11 cooperates with the circuit of the camera unit 17 to select one type or a plurality of types of specific images (images of the tip portions 1a and 2a of the sticks 1 and 2 and the images captured by the image sensor) Image extracting means for extracting black spheres 3 and 4 attached to the leg), analyzing the motion vector of the extracted specific image, and a virtual instrument (in this case) preset for the specific image , Percussion instrument) is configured.

フラッシュメモリ１８は、電源がオフされた後もデータを保持する書き換え可能な不揮発性メモリであり、電話やメールの着信履歴および発信履歴、アドレス帳として電話番号やメールアドレスのデータ、他のカメラ付き携帯電話装置から受信した画像データ、インターネットなどからダウンロードした楽音データ、スイッチ部１５の操作によって録音された楽音データ、ドラム演奏に際して設定された各種のデータ、カメラ部１７から得られるフレーム単位の画像データを記憶する。音源部１９（信号発生手段）は、バスドラム、スネアドラム、フロアタム、シンバル、タムタム、ハイハットなどの複数種類からなる打楽器の音色の波形データを記憶し、ＣＰＵ１１の機能である画像判定手段によって判定された仮想楽器としての打楽器に応じて、その打楽器の音色のリズム音信号を発生する。送信インタフェース２０は、ＤＡコンバータ回路を含むとともに、ヘッドホン端子に接続されており、音源部１９によって発生されたリズム音信号やフラッシュメモリ１８に記憶された楽音データをディジタルからアナログに変換して、ヘッドホン７や外部のサウンドシステム（図示せず）に対して信号線を介して送信する。外部のサウンドシステムとしては、アンプやイコライザなどの装置およびスピーカなどがある。
なお、図には示していないが、ＣＰＵ１１のポートには、通話用のマイクやスピーカ、着信検知用のバイブレータなどを接続するドライバが接続されている。 The flash memory 18 is a rewritable non-volatile memory that retains data even after the power is turned off, and includes incoming and outgoing histories of calls and mails, telephone number and mail address data as an address book, and other cameras. Image data received from a cellular phone device, musical tone data downloaded from the Internet, musical tone data recorded by operating the switch unit 15, various data set for drum performance, frame unit image data obtained from the camera unit 17 Remember. The tone generator 19 (signal generating means) stores waveform data of a plurality of percussion instrument timbres such as a bass drum, a snare drum, a floor tom, a cymbal, a tom tom, and a hi-hat, and is determined by image determining means that is a function of the CPU 11. In response to a percussion instrument as a virtual instrument, a rhythm sound signal of the tone of the percussion instrument is generated. The transmission interface 20 includes a DA converter circuit and is connected to a headphone terminal. The transmission interface 20 converts the rhythm sound signal generated by the sound source unit 19 and the musical sound data stored in the flash memory 18 from digital to analog to generate headphones. 7 and an external sound system (not shown) via a signal line. External sound systems include devices such as amplifiers and equalizers and speakers.
Although not shown in the figure, a driver for connecting a call microphone or speaker, a vibrator for detecting an incoming call, or the like is connected to the port of the CPU 11.

図４は、ヘッドホン７の内部構成を示すブロック図である。この図において、受信インタフェース２１は、入力端子に接続され、信号線を介してカメラ付き携帯電話装置５の送信インタフェース２０から送信されるリズム音信号や楽音信号を受信する。信号処理部２２は、受信インタフェース２１から得られるリズム音信号や楽音信号に対して、ＬチャンネルとＲチャンネルとに分離するステレオ信号処理やその他の信号処理を施して出力する。アンプ２３は、信号処理部２２から出力されるステレオ信号を、ボリューム７ａの調整に応じて増幅して、左右のスピーカ２４Ｌおよび２４Ｒから発音する。   FIG. 4 is a block diagram showing the internal configuration of the headphones 7. In this figure, a reception interface 21 is connected to an input terminal and receives a rhythm sound signal and a musical sound signal transmitted from the transmission interface 20 of the camera-equipped mobile phone device 5 via a signal line. The signal processing unit 22 performs stereo signal processing for separating the rhythm sound signal and musical sound signal obtained from the reception interface 21 into the L channel and the R channel and other signal processing and outputs the result. The amplifier 23 amplifies the stereo signal output from the signal processing unit 22 according to the adjustment of the volume 7a, and generates sound from the left and right speakers 24L and 24R.

次に、カメラ付き携帯電話装置５の動作について、ＣＰＵ１１によって実行されるフローチャートおよび表示部１６の画面、フラッシュメモリ１８に設定されるデータ、ＲＡＭ１３におけるレジスタ、フラグ、変数などに基づいて説明する。なお、カメラ付き携帯電話装置５は、スイッチ部１５やＣＰＵ１１やカメラ部１７の撮像素子などの電子部品を収容する下部本体（第１の本体）と、レンズ８、表示部１６、および表示部１６を駆動するＴＦＴ（薄膜トランジスタ）などを収容する上部本体（第２の本体）とが、ヒンジ部（結合手段）によって回動可能に結合された構造になっている。すなわち、下部本体のスイッチ部１５を有する面と、上部本体の表示部１６を有する面とが対面する閉状態、又は、上部本体が回動操作されて、下部本体のスイッチ部１５および上部本体の表示部１６とが開いた開状態に設定することができる。   Next, the operation of the camera-equipped mobile phone device 5 will be described based on a flowchart executed by the CPU 11, a screen of the display unit 16, data set in the flash memory 18, registers, flags, variables, etc. in the RAM 13. The camera-equipped mobile phone device 5 includes a lower body (first body) that houses electronic components such as the switch unit 15, the CPU 11, and the image sensor of the camera unit 17, a lens 8, a display unit 16, and a display unit 16. An upper main body (second main body) that accommodates a TFT (thin film transistor) for driving the lens is coupled by a hinge portion (coupling means) so as to be rotatable. That is, when the surface of the lower body having the switch unit 15 and the surface of the upper body having the display unit 16 face each other, or when the upper body is rotated, the switch unit 15 of the lower body and the upper body of the upper body are operated. It can be set to an open state in which the display unit 16 is opened.

図５および図６は、メインルーチンのフローチャートである。図５において、ＲＡＭ１３の初期化などの所定のイニシャライズ（ステップＳＡ１）の後、待受画面を表示する（ステップＳＡ２）。この状態は、スイッチ部１５および表示部１６とが開いた開状態である。そして、オフフックスイッチがオンされたか否かを判別する（ステップＳＡ３）。このスイッチがオンされたときは、番号入力画面を表示して（ステップＳＡ４）、テンキースイッチによって入力された番号又はアドレス帳から呼び出された特定の番号を入力する番号入力処理を行ない（ステップＳＡ５）、発信スイッチのオンによってその番号を無線通信網に発信して（ステップＳＡ６）、スピーカによって呼出報知を行う（ステップＳＡ７）。そして、相手側との回線接続が確立したか否かを判別し（ステップＳＡ８）、回線接続が確立したときは、通話処理に遷移する（ステップＳＡ９）。通話処理中においては、オンフックスイッチがオンされたか否かを判別し（ステップＳＡ１０）、このスイッチがオンされたときは、回線切断などの終話処理を行って（ステップＳＡ１１）、ステップＳＡ２に移行して待受画面を表示する。   5 and 6 are flowcharts of the main routine. In FIG. 5, after predetermined initialization such as initialization of the RAM 13 (step SA1), a standby screen is displayed (step SA2). This state is an open state in which the switch unit 15 and the display unit 16 are opened. Then, it is determined whether or not the off-hook switch is turned on (step SA3). When this switch is turned on, a number input screen is displayed (step SA4), and a number input process for inputting a number input by the numeric keypad or a specific number called from the address book is performed (step SA5). When the call switch is turned on, the number is transmitted to the wireless communication network (step SA6), and the call is notified by the speaker (step SA7). Then, it is determined whether or not a line connection with the other party is established (step SA8). When the line connection is established, the process proceeds to a call process (step SA9). During the call processing, it is determined whether or not the on-hook switch is turned on (step SA10). When this switch is turned on, the call-end processing such as line disconnection is performed (step SA11), and the process proceeds to step SA2. To display the standby screen.

ステップＳＡ３において、オフフックスイッチがオンでない場合には、図６において、メニュースイッチがオンされたか否かを判別する（ステップＳＡ１２）。このスイッチがオンされたときは、メニュー画面を表示して（ステップＳＡ１３）、１つのメニューにフォーカスする（ステップＳＡ１４）。例えば、最初のメニューや前回選択されたメニューを強調して表示する。次に、カーソルスイッチがオンされたか否かを判別する（ステップＳＡ１５）。このスイッチがオンされたときは、フォーカス位置を移動する（ステップＳＡ１６）。そして、選択スイッチがオンされたか否かを判別し（ステップＳＡ１７）、このスイッチがオンでない場合には、戻るスイッチがオンされたか否かを判別する（ステップＳＡ１８）。戻るスイッチがオンでない場合には、ステップＳＡ１５においてカーソルスイッチのオンを判別し、戻るスイッチがオンされたときは、図５のステップＳＡ２に移行して待受画面を表示する。   If the off-hook switch is not turned on in step SA3, it is determined in FIG. 6 whether or not the menu switch is turned on (step SA12). When this switch is turned on, a menu screen is displayed (step SA13), and one menu is focused (step SA14). For example, the first menu or the previously selected menu is highlighted. Next, it is determined whether or not the cursor switch is turned on (step SA15). When this switch is turned on, the focus position is moved (step SA16). Then, it is determined whether or not the selection switch is turned on (step SA17). If this switch is not turned on, it is determined whether or not the return switch is turned on (step SA18). If the return switch is not turned on, it is determined in step SA15 that the cursor switch is turned on. If the return switch is turned on, the process proceeds to step SA2 in FIG. 5 to display a standby screen.

図７（Ａ）は、メニュー画面を示す図であり、図７（Ｂ）は、スイッチ部１５においてメニュー画面および後述するその他の画面に表示されたアイコンに対応するカーソルスイッチ３１、選択（決定）スイッチ３２、および戻るスイッチ３３を示す図である。メニュー画面には、複数のメニューが表示されるとともに、「選択」アイコンおよび「戻る」アイコンが表示される。カーソルスイッチ３１の操作に応じて、強調表示されるメニューのフォーカス位置が変化する。図７（Ａ）の画面では、ドラム演奏のメニューにフォーカスが表示されている。   FIG. 7A is a diagram showing a menu screen, and FIG. 7B shows a cursor switch 31 corresponding to an icon displayed on the menu screen and other screens to be described later in the switch unit 15, selection (determination). It is a figure which shows the switch 32 and the switch 33 which returns. A plurality of menus are displayed on the menu screen, and a “select” icon and a “return” icon are displayed. In accordance with the operation of the cursor switch 31, the focus position of the highlighted menu changes. On the screen of FIG. 7A, the focus is displayed on the drum performance menu.

図６のステップＳＡ１７において、選択スイッチがオンされたときは、そのときのフォーカス位置のメニューを実行する。フォーカス位置がドラム演奏であるか否かを判別し（ステップＳＡ１９）、ドラム演奏である場合には、ドラム設定処理を実行する（ステップＳＡ２０）。フォーカス位置がドラム演奏でない場合には、フォーカス位置が再生であるか否かを判別する（ステップＳＡ２１）。再生である場合には、フラッシュメモリ１８に録音したドラム演奏のデータやダウンロードした曲のデータを再生する再生処理を行う（ステップＳＡ２２）。フォーカス位置がドラム演奏でも再生でもない場合には、フォーカス位置に対応する処理を行う（ステップＳＡ２３）。ドラム設定処理、再生処理、又はその他のフォーカス位置に対応する処理の後は、ステップＳＡ１３のメニュー画面に戻る。   In step SA17 of FIG. 6, when the selection switch is turned on, a menu of the focus position at that time is executed. It is determined whether or not the focus position is a drum performance (step SA19). If the focus position is a drum performance, a drum setting process is executed (step SA20). If the focus position is not a drum performance, it is determined whether or not the focus position is playback (step SA21). In the case of reproduction, reproduction processing for reproducing drum performance data recorded in the flash memory 18 and downloaded music data is performed (step SA22). If the focus position is neither drum performance nor playback, processing corresponding to the focus position is performed (step SA23). After the drum setting process, the reproduction process, or other processes corresponding to the focus position, the screen returns to the menu screen in step SA13.

一方、ステップＳＡ１２において、メニュースイッチがオンでない場合には、他のスイッチがオンされたか否かを判別し（ステップＳＡ２４）、いずれかのスイッチがオンされたときは、そのスイッチに対応する処理を行って（ステップＳＡ２５）、図５のステップＳＡ２に移行して待受画面を表示するが、いずれのスイッチもオンでない場合には、図５のステップＳＡ３に移行して、各スイッチがオンを判別する。   On the other hand, if the menu switch is not turned on in step SA12, it is determined whether or not another switch is turned on (step SA24). If any switch is turned on, processing corresponding to the switch is performed. (Step SA25), the process proceeds to step SA2 in FIG. 5 to display the standby screen. If none of the switches is on, the process proceeds to step SA3 in FIG. 5 to determine whether each switch is on. To do.

図８および図９は、ドラム設定処理のフローチャートである。図８において、まず、設定画面を表示する（ステップＳＢ１）。そして、所定のフォーカス表示を行う（ステップＳＢ２）。図１０は、ドラム設定処理における設定画面の内容を示す図である。この図に示すように、設定画面には、「前回設定」、「今回設定」、「デフォルト」、「メロディ」の有無、「録音」の有無の選択メニューが表示され、「選択」アイコン、「戻る」アイコンが表示される。この図では、前回設定、メロディ無し、および録音無しにフォーカスが表示されている。   8 and 9 are flowcharts of the drum setting process. In FIG. 8, first, a setting screen is displayed (step SB1). Then, a predetermined focus display is performed (step SB2). FIG. 10 is a diagram showing the contents of the setting screen in the drum setting process. As shown in this figure, the setting screen displays a menu for selecting “previous setting”, “current setting”, “default”, “melody”, “recording”, “select” icon, The “Back” icon is displayed. In this figure, the focus is displayed for the previous setting, no melody, and no recording.

図８においてフォーカス表示をした後は、カーソルスイッチがオンされたか否かを判別する（ステップＳＢ３）。このスイッチがオンされたときは、フォーカス位置を移動する（ステップＳＢ４）。次に、選択スイッチがオンされたか否かを判別し（ステップＳＢ５）、このスイッチがオンでない場合には、戻るスイッチがオンされたか否かを判別し（ステップＳＢ６）、このスイッチがオンされたときは、図６のメインルーチンに戻る。戻るスイッチがオンでない場合には、カーソルスイッチのオンを判別する。ステップＳＢ５において、選択スイッチがオンされたときは、フォーカスされている設定内容を実行する。前回設定がフォーカスされているか否かを判別し（ステップＳＢ７）、前回設定にフォーカスされている場合には、前回設定のデータをフラッシュメモリ１８から読み出す（ステップＳＢ８）。フォーカスされているのが前回設定でない場合には、デフォルトにフォーカスされているか否かを判別し（ステップＳＢ９）、デフォルトにフォーカスされている場合には、デフォルトのデータをフラッシュメモリ１８から読み出す（ステップＳＢ１０）。   After the focus display in FIG. 8, it is determined whether or not the cursor switch is turned on (step SB3). When this switch is turned on, the focus position is moved (step SB4). Next, it is determined whether or not the selection switch is turned on (step SB5). If this switch is not turned on, it is determined whether or not the return switch is turned on (step SB6), and this switch is turned on. If so, the process returns to the main routine of FIG. If the return switch is not on, it is determined whether the cursor switch is on. In step SB5, when the selection switch is turned on, the focused setting content is executed. It is determined whether or not the previous setting has been focused (step SB7). If the previous setting has been focused, the previous setting data is read from the flash memory 18 (step SB8). If the focus is not the previous setting, it is determined whether or not the focus is on the default (step SB9). If the focus is on the default, the default data is read from the flash memory 18 (step SB9). SB10).

フォーカスされているのが前回設定でもなくデフォルトでもない場合には、図９において、今回設定にフォーカスされているか否かを判別する（ステップＳＢ１１）。今回設定にフォーカスされている場合には、設定画面を表示する（ステップＳＢ１２）。そして、所定の設定項目にフォーカスを表示する（ステップＳＢ１３）。また、所定の仮想楽器にラジオボタンを表示する（ステップＳＢ１４）。フォーカスを表示する設定項目の内容、および、ラジオボタンを表示する仮想楽器については、例えば、前回設定の内容に従う。図１１は、ドラム演奏の設定画面を示す図である。この図では、「右足」演奏に対応する「バス」、「左足」演奏に対応する「ハイハット」がフォーカスされ、右手演奏に対応する仮想楽器として「タムタム」、「フロアタム」、および「トップシンバル」、左手演奏に対応する仮想楽器として「スネア」および「ハイハット」のラジオボタンが有効（黒丸）に設定されている。この画面にも、スイッチ部１５のスイッチに対応して、「選択」アイコンおよび「戻る」アイコンが表示される。   If the focus is neither the previous setting nor the default, it is determined in FIG. 9 whether or not the current setting is focused (step SB11). If the current setting is focused, a setting screen is displayed (step SB12). Then, the focus is displayed on a predetermined setting item (step SB13). In addition, a radio button is displayed on a predetermined virtual instrument (step SB14). For the contents of the setting item for displaying the focus and the virtual musical instrument for displaying the radio button, for example, the contents of the previous setting are used. FIG. 11 is a diagram showing a drum performance setting screen. In this figure, “bass” corresponding to “right foot” performance and “hi-hat” corresponding to “left foot” performance are focused, and “tom tom”, “floor tom”, and “top cymbal” are virtual instruments corresponding to right hand performance. The “snare” and “hi-hat” radio buttons are set to valid (black circles) as virtual instruments corresponding to the left-hand performance. Also on this screen, a “select” icon and a “return” icon are displayed corresponding to the switches of the switch unit 15.

次に、カーソルスイッチがオンされたか否かを判別し（ステップＳＢ１５）、このスイッチがオンされたときは、フォーカス位置を移動する（ステップＳＢ１６）。また、カーソルスイッチによってラジオボタンが指定されたか否かを判別し（ステップＳＢ１７）、ラジオボタンが指定されたときは、その指定されたラジオボタンを無効から有効に又は有効から無効に反転する（ステップＳＢ１８）。次に、選択スイッチがオンされたか否かを判別し（ステップＳＢ１９）、このスイッチがオンでない場合には、戻るスイッチがオンされたか否かを判別する（ステップＳＢ２０）。このスイッチがオンされたときは、図８のステップＳＢ１に移行して設定画面を表示するが、戻るスイッチがオンでない場合には、ステップＳＢ１５においてカーソルスイッチのオンを判別する。   Next, it is determined whether or not the cursor switch is turned on (step SB15). When this switch is turned on, the focus position is moved (step SB16). Further, it is determined whether or not a radio button is designated by the cursor switch (step SB17). When the radio button is designated, the designated radio button is reversed from invalid to valid or from valid to invalid (step SB17). SB18). Next, it is determined whether or not the selection switch is turned on (step SB19). If this switch is not turned on, it is determined whether or not the return switch is turned on (step SB20). When this switch is turned on, the process proceeds to step SB1 in FIG. 8 to display the setting screen. When the return switch is not turned on, it is determined in step SB15 that the cursor switch is turned on.

一方、ステップＳＢ１１において、フォーカス位置が今回設定でない場合には、メロディがフォーカスされているか否かを判別し（ステップＳＢ２１）、メロディがフォーカスされている場合には、曲選択処理を実行する（ステップＳＢ２２）。曲選択処理においては、フラッシュメモリ１８に記憶されている１つ以上の曲を画面に表示して、ドラム演奏とともに発音させるメロディの曲データをカーソルスイッチおよび選択スイッチの操作に応じて設定する。フラッシュメモリ１８に記憶されている曲としては、いわゆる「着メロ」や「着うた」の曲データでもよいし、ドラム演奏用に作成されたリズムパートだけを除いた「マイナスワン」の曲データでもよい。曲選択処理の後は、フラグＭＦを「１（メロディオン）」にセットする（ステップＳＢ２３）。ステップＳＢ２１において、フォーカス位置がメロディでない場合には、録音がフォーカスされているか否かを判別し（ステップＳＢ２４）、録音がフォーカスされている場合には、フラグＲＦを「１（録音）」にセットする（ステップＳＢ２５）。ＲＦが「１」の場合には、ドラム演奏のデータがフラッシュメモリ１８に記憶される。   On the other hand, if the focus position is not set this time in step SB11, it is determined whether or not the melody is focused (step SB21), and if the melody is focused, a song selection process is executed (step SB11). SB22). In the song selection process, one or more songs stored in the flash memory 18 are displayed on the screen, and the song data of the melody to be generated along with the drum performance is set according to the operation of the cursor switch and the selection switch. The music stored in the flash memory 18 may be so-called “ringtone” or “ringtone” song data, or “minus-one” song data excluding only the rhythm part created for drum performance. After the music selection process, the flag MF is set to “1 (melody on)” (step SB23). In step SB21, if the focus position is not a melody, it is determined whether or not the recording is focused (step SB24). If the recording is focused, the flag RF is set to “1 (recording)”. (Step SB25). When RF is “1”, drum performance data is stored in the flash memory 18.

ステップＳＢ１９において選択スイッチがオンされたとき、又は、ステップＳＢ２３にいてＭＦを「１」にセットした後、若しくは、ステップＳＢ２５においてＲＦを「１」にセットした後は、決定画面を表示する（ステップＳＢ２６）。図１２は、ドラム演奏の決定画面の例を示す図である。この画面には、図１０および図１１の画面において設定された内容が表示されるとともに、「決定」アイコンおよび「戻る」アイコンが表示される。そして、「決定」アイコンに対応するスイッチ部１５の決定スイッチがオンされたか否かを判別する（ステップＳＢ２７）。このスイッチがオンでない場合には、戻るスイッチがオンされたか否かを判別する（ステップＳＢ２８）。このスイッチがオンされたときは図８のステップＳＢ１に移行して設定画面を表示するが、戻るスイッチがオンでない場合には、ステップＳＢ２７において決定スイッチのオンを判別する。決定スイッチがオンされたときは、ドラム処理を実行する（ステップＳＢ２９）。ドラム処理が終了したときは、図６のメインルーチンに戻る。   When the selection switch is turned on in step SB19, or after setting MF to "1" in step SB23, or after setting RF to "1" in step SB25, a determination screen is displayed (step SB26). FIG. 12 is a diagram showing an example of a drum performance determination screen. On this screen, the contents set in the screens of FIGS. 10 and 11 are displayed, and a “decision” icon and a “return” icon are displayed. Then, it is determined whether or not the determination switch of the switch unit 15 corresponding to the “determination” icon is turned on (step SB27). If this switch is not on, it is determined whether or not the return switch has been turned on (step SB28). When this switch is turned on, the process proceeds to step SB1 in FIG. 8 to display the setting screen. When the return switch is not turned on, it is determined in step SB27 that the decision switch is turned on. When the determination switch is turned on, drum processing is executed (step SB29). When the drum process ends, the process returns to the main routine of FIG.

なお、決定スイッチがオンされたときは、図１２の設定内容に対応して、ＲＡＭ１３には、図１３に示すような配列ＡＲのデータが記憶される。この図において、縦の行であるｍの値（１〜４）は、右足（１）、左足（２）、右手（３）、左手（４）すなわち演奏する演奏者の身体の部位を表し、横の列であるｎの値（１〜６）は、仮想楽器の種類即ちドラムの種類であるバス（１）、ハイハット（２）、タムタム（３）、フロアタム（４）、トップシンバル（５）、スネア（６）を表している。ｍの行とｎの列とが交わった部分のデータによって、演奏する部位と演奏するドラムとの関係を表している。すなわち、図１２において選択された設定内容が図１３に示されている。例えば、右足（１）はバス（１）を演奏し、左足（２）はハイハット（１）を演奏する。足で演奏できないドラムは「／（非選択マーク）」で区別されている。同様に、右手（３）はタムタム（３）、フロアタム（４）、トップシンバル（５）を演奏し、左手（４）はハイハット（２）、スネア（６）を演奏する。   When the determination switch is turned on, data of the array AR as shown in FIG. 13 is stored in the RAM 13 corresponding to the setting contents of FIG. In this figure, the value (1-4) of m, which is a vertical row, represents the right foot (1), left foot (2), right hand (3), left hand (4), that is, the body part of the performer, The value (1-6) of n which is a horizontal column is the kind of virtual musical instrument, that is, the kind of drum, bass (1), hi-hat (2), tom tom (3), floor tom (4), top cymbal (5). , Represents the snare (6). The relationship between the part to be played and the drum to be played is represented by the data at the intersection of the m rows and the n columns. That is, the setting contents selected in FIG. 12 are shown in FIG. For example, the right foot (1) plays the bass (1) and the left foot (2) plays the hi-hat (1). Drums that cannot be played with feet are distinguished by “/ (non-selection mark)”. Similarly, the right hand (3) plays the tom tom (3), the floor tom (4), and the top cymbal (5), and the left hand (4) plays the hi-hat (2) and the snare (6).

図１４は、図９におけるステップＳＢ２９のドラム処理のフローチャートである。ドラム処理においては、図２に示したスイッチ９をドラム処理のスタート／ストップスイッチとして使用する。すなわち、図１２の画面において決定スイッチがオンされた後は、演奏者は、図１に示すように、カメラ付き携帯電話装置５を閉状態にして腰１０５の前側のキャリアケース６ａに収納する。この状態でスイッチ９をオンにすれば、ＣＰＵ１１はドラム処理を実行する。
図１４において、スタート／ストップスイッチ（図２のスイッチ９）がオンされたか否かを判別し（ステップＳＣ１）、このスイッチがオンされたときはスタートフラグＳＴＦを反転する（ステップＳＣ２）。ＳＴＦを反転した後、又は、ステップＳＣ１においてスタート／ストップスイッチがオンでない場合には、ＳＴＦが「１」であるか否かを判別する（ステップＳＣ３）。ＳＴＦが「１」である場合には、音声処理（ステップＳＣ４）、画像処理（ステップＳＣ５）、その他の処理（ステップＳＣ６）を行い、ステップＳＣ１に移行して、スタート／ストップスイッチがオンされたか否かを判別する。したがって、ＳＴＦが「１」になってドラム処理が開始した後は、スタート／ストップスイッチがオンされない限り、ステップＳＣ４からステップＳＣ６までのドラム処理を続行する。ドラム処理中において、スタート／ストップスイッチがオンされて、ステップＳＣ３においてＳＴＦが「０」と判別されたときは、メインフローに戻る。なお、ステップＳＣ６のその他の処理は、電源の低下やその他の異常を検出する処理などである。 FIG. 14 is a flowchart of the drum process in step SB29 in FIG. In drum processing, the switch 9 shown in FIG. 2 is used as a start / stop switch for drum processing. That is, after the determination switch is turned on in the screen of FIG. 12, the performer places the camera-equipped mobile phone device 5 in the closed state and stores it in the carrier case 6a on the front side of the waist 105 as shown in FIG. If the switch 9 is turned on in this state, the CPU 11 executes drum processing.
In FIG. 14, it is determined whether or not the start / stop switch (switch 9 in FIG. 2) is turned on (step SC1). When this switch is turned on, the start flag STF is inverted (step SC2). After inverting STF or when the start / stop switch is not on in step SC1, it is determined whether or not STF is “1” (step SC3). If STF is “1”, audio processing (step SC4), image processing (step SC5), and other processing (step SC6) are performed, the process proceeds to step SC1, and the start / stop switch is turned on. Determine whether or not. Therefore, after the STF becomes “1” and drum processing is started, the drum processing from step SC4 to step SC6 is continued unless the start / stop switch is turned on. If the start / stop switch is turned on during drum processing and the STF is determined to be “0” in step SC3, the process returns to the main flow. In addition, the other process of step SC6 is a process which detects the fall of a power supply, another abnormality, etc.

図１５は、ステップＳＣ４における音声処理のフローチャートである。まず、ドラム演奏中であるかドラム演奏停止中であるかを表すフラグＬＦが「０（演奏停止中）」又は「１（演奏中）」であるかを判別する（ステップＳＤ１）。ＬＦが「１」である場合には、図１４の画像処理に移行するが、ＬＦが「０」である場合には、ドラム演奏に先立つテストの実施を表すフラグＳＢＦが「０」であるか又は「１」であるかを判別する（ステップＳＤ２）。ＬＦが「０」で且つＳＢＦが「０」である場合には、ドラム演奏に先立つテストがまだ実施されていない場合である。この場合には、ＳＢＦを「１」にセットして（ステップＳＤ３）、送信インタフェース２０を介して、ヘッドホン７に対してテスト開始の音声メッセージを出力する（ステップＳＤ４）。例えば、「各ドラムの音出しテストを行います」のような音声メッセージを出力する。   FIG. 15 is a flowchart of the audio processing in step SC4. First, it is determined whether the flag LF indicating whether the drum performance is being performed or the drum performance is being stopped is “0 (performance is stopped)” or “1 (performance is being performed)” (step SD1). When the LF is “1”, the process proceeds to the image processing of FIG. 14. When the LF is “0”, is the flag SBF indicating execution of the test prior to the drum performance “0”? Alternatively, it is determined whether it is “1” (step SD2). When LF is “0” and SBF is “0”, the test prior to the drum performance has not been performed yet. In this case, SBF is set to “1” (step SD3), and a test start voice message is output to the headphones 7 via the transmission interface 20 (step SD4). For example, a voice message such as “Perform drum sound test” is output.

次に、演奏する部位を示す変数ｍおよび演奏対象のドラムを示す変数ｎを共に「１」にセットして（ステップＳＤ５）、ｍおよびｎの値をインクリメントしながら、以下のループを実行する。図１３に示した配列ＡＲにおいて、ＡＲ（ｍ，ｎ）が「１」であるか否かを判別する（ステップＳＤ６）。すなわち、ｍで指定する身体の部位がｎで指定するドラムＤ（ｎ）を演奏するように設定がされているか否かを判別する。ＡＲ（ｍ，ｎ）が「１」である場合には、ｍの部位でＤ（ｎ）を演奏する旨の音声メッセージをヘッドホン７に出力する（ステップＳＤ７）。例えば、「右手でタムタムを叩いて下さい」のような音声メッセージを出力する。そして、フラグＤＦ（ｍ，ｎ）を「１」にセットし（ステップＳＤ８）、タイマレジスタに所定値Ｔの値をセットする（ステップＳＤ９）。すなわち、ｍの部位によるＤ（ｎ）の音出しテストの状態をセットする。また、タイマインタラプトを許可する。Ｔの値としては、例えば、数分ないし十数分が適当である。ここでは、Ｔの時間を５分とする。   Next, the variable m indicating the part to be played and the variable n indicating the drum to be played are both set to “1” (step SD5), and the following loop is executed while incrementing the values of m and n. In the array AR shown in FIG. 13, it is determined whether or not AR (m, n) is “1” (step SD6). That is, it is determined whether or not the body part designated by m is set to play the drum D (n) designated by n. If AR (m, n) is “1”, a voice message to the effect that D (n) is played at the position m is output to the headphones 7 (step SD7). For example, a voice message such as “Tap Tam Tam with your right hand” is output. Then, the flag DF (m, n) is set to “1” (step SD8), and a predetermined value T is set to the timer register (step SD9). That is, the state of the sound output test of D (n) by the part m is set. Also, timer interrupt is permitted. As a value of T, for example, several minutes to ten and several minutes are appropriate. Here, the time of T is 5 minutes.

タイマをセットした後、又は、ステップＳＤ２において、ＳＢＦが「１」である場合すなわちドラム演奏に先立つテストが実施中である場合には、フラグＤＦ（ｍ，ｎ）が「０」にリセットされたか否かを判別する（ステップＳＤ１０）。このフラグが「１」でまだｍの部位によるＤ（ｎ）の音出しテスト中である場合には、タイマの値が「０」に達したか否かを判別する（ステップＳＤ１１）。すなわち、ｍの部位によるＤ（ｎ）の音出しテストの音声メッセージの指示にもかかわらず、その指示に従ったテスト演奏がされない時間が５分を経過したか否かを判別する。５分が経過していない場合には、図１４の画像処理に移行する。そして、再び図１５のフローチャートにおいて、ステップＳＤ２、ステップＳＤ３を経て、フラグＤＦ（ｍ，ｎ）が「０」にリセットされたか否かを判別するが（ステップＳＤ１０）、このフラグが「１」である場合には、タイマの値が「０」に達したか否かを判別する（ステップＳＤ１１）。タイマの値が「０」に達したとき、すなわち、５分が経過した場合には、何らかの事情で演奏者がドラム演奏を中断したと判断して、ＳＴＦを「０」にリセットして（ステップＳＤ１２）、図１４のフローチャートに戻る。したがって、図１４のステップＳＣ４の判別によってメインルーチンに戻る。   Whether the flag DF (m, n) has been reset to "0" after setting the timer or when the SBF is "1" in step SD2, that is, when the test prior to the drum performance is in progress It is determined whether or not (step SD10). If this flag is “1” and the sound output test of D (n) by the part m is still in progress, it is determined whether or not the timer value has reached “0” (step SD11). That is, it is determined whether or not the time when the test performance according to the instruction is not performed despite the instruction of the voice message of the sound output test of D (n) by the part m has elapsed for 5 minutes. If five minutes have not elapsed, the process proceeds to the image processing in FIG. In the flowchart of FIG. 15 again, it is determined whether or not the flag DF (m, n) has been reset to “0” through steps SD2 and SD3 (step SD10), but this flag is “1”. If there is, it is determined whether or not the timer value has reached “0” (step SD11). When the value of the timer reaches “0”, that is, when 5 minutes have elapsed, it is determined that the performer has interrupted the drum performance for some reason, and the STF is reset to “0” (step) SD12), returning to the flowchart of FIG. Therefore, the process returns to the main routine by the determination at step SC4 in FIG.

図１５のステップＳＤ１０において、フラグＤＦ（ｍ，ｎ）が「０」にリセットされた場合、又は、ステップＳＤ６においてＡＲ（ｍ，ｎ）が「０」である場合には、ｎの値をインクリメントする（ステップＳＤ１３）。そして、ｎの値が最大値ＭＡＸを超えたか否かを判別する（ステップＳＤ１４）。最大値は、図１３に示したようにｍの番号に対応する部位ごとに異なる。最大値を超えていない場合には、ステップＳＤ６に移行して、ステップＳＤ１４までのループを繰り返す。ステップＳＤ１４において、ｎの値が最大値ＭＡＸを超えたときは、ｍの値をインクリメントするとともに、ｎの値を「１」にセットする（ステップＳＤ１５）。このとき、ｍの値が「４」を超えたか否かを判別し（ステップＳＤ１６）、「４」を超えていない場合には、ステップＳＤ６に移行して、ステップＳＤ１５までのループを繰り返す。   When the flag DF (m, n) is reset to “0” in step SD10 of FIG. 15, or when AR (m, n) is “0” in step SD6, the value of n is incremented. (Step SD13). And it is discriminate | determined whether the value of n exceeded the maximum value MAX (step SD14). The maximum value differs for each part corresponding to the number m as shown in FIG. If the maximum value is not exceeded, the process proceeds to step SD6 and the loop up to step SD14 is repeated. In step SD14, when the value of n exceeds the maximum value MAX, the value of m is incremented and the value of n is set to “1” (step SD15). At this time, it is determined whether or not the value of m exceeds “4” (step SD16). If it does not exceed “4”, the process proceeds to step SD6 and the loop up to step SD15 is repeated.

ステップＳＤ１５において、ｍの値が「４」を超えたとき、すなわち、演奏者の身体において設定しているすべての部位のテスト演奏が終了したときは、フラグＳＢＦを「０」にリセットして（ステップＳＤ１７）、フラッシュメモリ１８におけるフレーム画像エリアのすべてであるｆ（１）ないしｆ（ｋｍ）をクリアする（ステップＳＤ１８）。そして、フレーム画像エリアを指定する変数ｋを「１」にセットする（ステップＳＤ１９）。すなわち、ｆ（１）のエリアを指定する。また、フラグＬＦを「１」にセットし（ステップＳＤ２０）、図１４の画像処理に移行する。   In step SD15, when the value of m exceeds “4”, that is, when the test performance of all the parts set in the performer's body is completed, the flag SBF is reset to “0” ( In step SD17), f (1) to f (km), which are all the frame image areas in the flash memory 18, are cleared (step SD18). Then, the variable k designating the frame image area is set to “1” (step SD19). That is, the area of f (1) is designated. Further, the flag LF is set to “1” (step SD20), and the process proceeds to the image processing in FIG.

図１６は、図１４におけるステップＳＣ５の画像処理のフローチャートである。カメラ部１７から画像入力があるか否かを判別し（ステップＳＥ１）、画像入力がない場合には図１４のフローチャートに戻るが、画像入力があったときは、その画像データをフラッシュメモリ１８にストアする（ステップＳＥ２）。そして、１フレームの画像データが入力されたか否かを判別する（ステップＳＥ３）。１フレームの画像データが入力されたときは、フラグＳＢＦが「１（音出しテスト中）」であるか否かを判別する（ステップＳＥ４）。ＳＢＦが「１」である場合には、フレーム画像を検索して（ステップＳＥ５）、ｍに対応する特定画像を動画として検出したか否かを判別する（ステップＳＥ６）。特定画像とは、図１に示したスティック１および２の先端部１ａおよび２ａの画像、および、黒球３および４の画像であり、デフォルトとして又は演奏者によって、画像パターンとしてあらかじめ設定されている。   FIG. 16 is a flowchart of the image processing in step SC5 in FIG. It is determined whether or not there is an image input from the camera unit 17 (step SE1). If there is no image input, the process returns to the flowchart of FIG. 14, but if there is an image input, the image data is stored in the flash memory 18. Store (step SE2). Then, it is determined whether or not one frame of image data has been input (step SE3). When one frame of image data is input, it is determined whether or not the flag SBF is “1 (during sound output test)” (step SE4). If SBF is “1”, the frame image is searched (step SE5), and it is determined whether or not the specific image corresponding to m is detected as a moving image (step SE6). The specific images are the images of the tips 1a and 2a of the sticks 1 and 2 and the images of the black spheres 3 and 4 shown in FIG. 1, and are preset as image patterns by default or by the player. .

ステップＳＥ６において、ｍに対応する特定画像の動画を検出したときは、ＲＡＭ１３の画像エリアＧ（ｍ）に登録する（ステップＳＥ７）。すなわち、１画面の画像データにおいて、テスト演奏として指示されている部位の特定画像の動画を検出したときは、ＲＡＭ１３の画像エリアＧ（ｍ）に登録する。例えば、ｍが「１」の場合に右下の領域に黒球３の画像パターンと同様の画像を検出した場合には、その画像を画像エリアＧ（１）に登録する。ｍが「２」の場合に左下の領域に黒球４の画像パターンと同様の画像を検出した場合には、その画像を画像エリアＧ（２）に登録する。ｍが「３」の場合に右上の領域に先端部１ａの画像パターンと同様の画像を検出した場合には、その画像をＧ（３）として登録する。ｍが「４」の場合に左上の領域に先端部２ａの画像パターンと同様の画像を検出した場合には、その画像をＧ（４）として登録する。   When a moving image of a specific image corresponding to m is detected in step SE6, it is registered in the image area G (m) of the RAM 13 (step SE7). That is, when a moving image of a specific image of a part designated as a test performance is detected in one screen of image data, it is registered in the image area G (m) of the RAM 13. For example, when m is “1” and an image similar to the image pattern of the black sphere 3 is detected in the lower right region, the image is registered in the image area G (1). When m is “2”, if an image similar to the image pattern of the black sphere 4 is detected in the lower left area, the image is registered in the image area G (2). If m is “3” and an image similar to the image pattern of the tip 1a is detected in the upper right area, that image is registered as G (3). If m is “4” and an image similar to the image pattern of the tip 2a is detected in the upper left area, that image is registered as G (4).

次に、登録したＧ（ｍ）の動画の軌跡すなわち動線を検出したか否かを判別する（ステップＳＥ８）。動画の検出は、所定時間（例えば、４０ｍｓ）ごとのフレーム画像の画面において、Ｇ（ｍ）の画像の座標を検出してＲＡＭ１３にストアし、座標の移動を把握することで行われる。この場合において、動線の動きベクトルを把握するためにオプティカルフロー処理を行ってもよい。Ｇ（ｍ）の動線を検出したときは、レジスタＲＴの値（初期値は０）をインクリメントする（ステップＳＥ９）。また、Ｄ（ｎ）の音色で発音する（ステップＳＥ１０）。すなわち、ｍの部位でＤ（ｎ）を演奏する音声メッセージに応じて、演奏者が仮想のＤ（ｎ）を演奏したときは、音源部１９によってＤ（ｎ）に対応する音色の楽音信号を発生させて、送信インタフェース２０を介して、その楽音信号をヘッドホン７に出力する。   Next, it is determined whether or not the locus of the registered G (m) moving image, that is, the flow line has been detected (step SE8). The detection of the moving image is performed by detecting the coordinates of the G (m) image on the frame image screen every predetermined time (for example, 40 ms), storing it in the RAM 13, and grasping the movement of the coordinates. In this case, an optical flow process may be performed in order to grasp the motion vector of the flow line. When the flow line of G (m) is detected, the value of the register RT (initial value is 0) is incremented (step SE9). Further, the sound is generated with the tone color D (n) (step SE10). That is, when a performer plays a virtual D (n) in response to a voice message that plays D (n) at a portion m, the tone generator 19 generates a tone signal corresponding to D (n). Then, the musical tone signal is output to the headphones 7 via the transmission interface 20.

ステップＳＥ１０の発音処理の後は、ＲＴの値が所定回数Ｎに達したか否かを判別する（ステップＳＥ１１）。例えば、ｍの部位でＤ（ｎ）を演奏する音声メッセージの指示が、左手のスティックでハイハットを演奏する指示であるとすると、ハイハットの位置と演奏の動線とを確定するために、演奏者に仮想楽器であるハイハットを演奏する動作を何回かさせる必要がある。また、演奏者にとっても、ハイハットを演奏するイメージを把握する必要がある。このため、連続してＮ回（５回ないし１０回程度）、ハイハットのテスト演奏を行う。Ｎの値はあらかじめ設定されているが、演奏者の設定によって任意の回数に変更できるものとする。   After the sound generation process in step SE10, it is determined whether or not the value of RT has reached a predetermined number N (step SE11). For example, if the instruction of the voice message for playing D (n) at the part m is an instruction for playing the hi-hat with the stick of the left hand, in order to determine the position of the hi-hat and the flow line of the performance, the player It is necessary to make the operation of playing the hi-hat, which is a virtual instrument, several times. It is also necessary for the performer to grasp the image of playing the hi-hat. Therefore, the hi-hat test performance is performed N times (about 5 to 10 times) continuously. The value of N is set in advance, but can be changed to any number of times according to the player's setting.

ステップＳＥ１１において、ＲＴの値がＮの値に達していない場合には、図１４のフローチャートに戻るが、ＲＴの値がＮの値に達したときは、確定動線の演算処理を行う（ステップＳＥ１２）。図１７は、右手（ｍ＝３）でトップシンバル（ｎ＝５）のテスト演奏を１０回行ったときの、確定動線の演算処理を説明するための図である。この図において、Ｅ１（ｘ，ｙ）、Ｅ２（ｘ，ｙ）、…Ｅｋｍ（ｘ，ｙ）は、図１に示したスティック１のテスト演奏において、４０ｍｓごとの先端部１ａの画像の座標を包含する楕円の関数を表している。すなわち、４０ｍｓごとの先端部１ａの画像の座標は、次第に面積が広がるＥ１（ｘ，ｙ）、Ｅ２（ｘ，ｙ）、…Ｅｋｍ（ｘ，ｙ）の楕円内に存在する。言い換えれば、１０回のテスト演奏の動線が、２次元の楕円関数であるＥ１（ｘ，ｙ）、Ｅ２（ｘ，ｙ）、…Ｅｋｍ（ｘ，ｙ）の集合で表される３次元の立体的な楕円管の中に存在する。
なお、脚によるバスやハイハットの仮想演奏すなわち仮想のペダル演奏の場合には、４０ｍｓごとの黒球の変位量が小さいので、図１７の各楕円関数の位置はかなり接近した関係になる。 In step SE11, if the RT value has not reached the value N, the process returns to the flowchart of FIG. 14, but if the RT value has reached the value N, the fixed flow line calculation process is performed (step S11). SE12). FIG. 17 is a diagram for explaining the calculation process of the definite flow line when the test performance of the top cymbal (n = 5) is performed 10 times with the right hand (m = 3). In this figure, E1 (x, y), E2 (x, y),... Ekm (x, y) are the coordinates of the image of the tip 1a every 40 ms in the test performance of the stick 1 shown in FIG. Represents a function of the containing ellipse. That is, the coordinates of the image of the tip portion 1a every 40 ms exist within an ellipse of E1 (x, y), E2 (x, y),... Ekm (x, y) whose area gradually increases. In other words, the flow line of 10 test performances is a three-dimensional expression represented by a set of two-dimensional elliptic functions E1 (x, y), E2 (x, y), ... Ekm (x, y). It exists in a three-dimensional elliptical tube.
In the case of a virtual performance of a bass or hi-hat with a leg, that is, a virtual pedal performance, the displacement of the black sphere every 40 ms is small, so the positions of the elliptic functions in FIG.

例えば、右手でトップシンバルを叩く動作の時間を０．４秒すなわち４００ｍｓと仮定する。この場合には、先端部１ａの画像の座標の検出回数は１０回であり、４０ｍｓごとの先端部１ａの画像の座標は、Ｅ１（ｘ，ｙ）、Ｅ２（ｘ，ｙ）、…Ｅｋｍ（ｘ，ｙ）の楕円内に存在することになる。この結果、右手でトップシンバルを叩く場合の確定動線Ｃ（３，５）が確定されるとともに、最後の楕円関数Ｅｋｍ（ｘ，ｙ）がトップシンバルＤ（５）の空間位置ＤＳ（５）として確定される。ステップＳＥ１２の演算処理の後は、演算結果をＲＡＭ１３のＣ（ｍ，ｎ）、ＤＳ（ｎ）に登録する（ステップＳＥ１３）。次に、フラグＤＦ（ｍ，ｎ）を「０」にリセットして（ステップＳＥ１４）、フラッシュメモリ１８にストアした右手でトップシンバルを叩く動作のフレーム画像をクリアする（ステップＳＥ１５）。そして、図１４のフローチャートに戻る。なお、他のドラムのテスト演奏についても同様である。
ＤＦ（ｍ，ｎ）が「０」にリセットされると、図１５の音声処理のフローチャートにおいて、ステップＳＤ１０からステップＳＤ１３に移行して、次のテスト演奏のドラムを指定することになる。 For example, it is assumed that the time for hitting the top cymbal with the right hand is 0.4 seconds, that is, 400 ms. In this case, the number of times the coordinates of the image of the tip 1a are detected ten times, and the coordinates of the image of the tip 1a every 40 ms are E1 (x, y), E2 (x, y),... Ekm ( x, y). As a result, the fixed flow line C (3, 5) when the top cymbal is hit with the right hand is determined, and the last elliptic function Ekm (x, y) is the spatial position DS (5) of the top cymbal D (5). As confirmed. After the calculation process in step SE12, the calculation result is registered in C (m, n) and DS (n) of the RAM 13 (step SE13). Next, the flag DF (m, n) is reset to “0” (step SE14), and the frame image of the operation of hitting the top cymbal with the right hand stored in the flash memory 18 is cleared (step SE15). And it returns to the flowchart of FIG. The same applies to the test performance of other drums.
When DF (m, n) is reset to “0”, the process moves from step SD10 to step SD13 in the sound processing flowchart of FIG. 15 to designate the drum for the next test performance.

図１６のステップＳＥ４においてＳＢＦが「０」である場合には、テスト演奏が終了して実際のドラム演奏に移行している。したがって、フラッシュメモリ１８にストアしたフレーム画像は、任意のドラム演奏の画像になっている。図１８は、任意のドラム演奏の画像を示す図である。図１８の画像には、右手の画像１０１ｉ、スティックの画像１ｉ、その先端部の画像１ａｉ、左手の画像１０２ｉ、スティックの画像２ｉ、その先端部の画像２ａｉ、右脚の膝の画像１０３ｉ、右脚に付けた黒球の画像３ｉ、黒球を保持する帯状の保持部材の画像３ａｉ、左脚の膝の画像１０４ｉ、左脚に付けた黒球の画像４ｉ、黒球を保持する帯状の保持部材の画像４ａｉ、窓枠の画像１０５ｉ、窓の外の風景の画像１０６ｉ、額の画像１０７ｉ、ごみ箱の画像１０８ｉが存在している。   If SBF is “0” in step SE4 in FIG. 16, the test performance is finished and the actual drum performance is started. Therefore, the frame image stored in the flash memory 18 is an image of an arbitrary drum performance. FIG. 18 is a diagram showing an image of an arbitrary drum performance. The image of FIG. 18 includes a right hand image 101i, a stick image 1i, a tip image 1ai thereof, a left hand image 102i, a stick image 2i, a tip image 2ai thereof, a right leg knee image 103i, and a right hand image. Black sphere image 3i attached to the leg, belt-like holding member image 3ai holding the black sphere, left leg knee image 104i, black sphere image 4i attached to the left leg, belt-like holding holding the black sphere There are a member image 4ai, a window frame image 105i, a landscape image 106i outside the window, a forehead image 107i, and a recycle bin image 108i.

この画像の中からＲＡＭ１３に登録したＧ（１）〜Ｇ（４）の画像とのマッチングによって、特定画像を抽出する（ステップＳＥ１６）。すなわち、２本のスティック１、２の先端部の画像１ａｉ、２ａｉ、２つの黒球の画像３ｉ、４ｉを抽出する。さらに、抽出した画像以外の余分な画像を消去する（ステップＳＥ１７）。そして、フラッシュメモリ１８において変数ｋで指定されるエリアｆ（ｋ）に画像データをストアする（ステップＳＥ１９）。図１９は、フラッシュメモリ１８のエリアｆ（ｋ）にストアした特定画像を表す図である。図１８における画像１ａｉと画像２ａｉとは同じ形状であり、画像３ｉと画像４ｉとは同じ形状であるが、画面の位置関係から各画像をある程度は推測することは可能である。しかし、その推測が決定的であるという保証はない。例えば、画面の中央付近にスティックの先端部の画像が１つだけある場合には、その画像が画像１ａｉであるか又は画像２ａｉであるかは保証できない。したがって、図１９に示すように、抽出した画像に記号ｇ１〜ｇ４を付与して識別する。   A specific image is extracted from the images by matching with the images G (1) to G (4) registered in the RAM 13 (step SE16). That is, the images 1ai and 2ai of the tips of the two sticks 1 and 2 and the images 3i and 4i of the two black spheres are extracted. Further, unnecessary images other than the extracted image are erased (step SE17). Then, the image data is stored in the area f (k) designated by the variable k in the flash memory 18 (step SE19). FIG. 19 is a diagram illustrating a specific image stored in the area f (k) of the flash memory 18. Image 1ai and image 2ai in FIG. 18 have the same shape, and image 3i and image 4i have the same shape, but it is possible to estimate each image to some extent from the positional relationship of the screen. However, there is no guarantee that the guess is definitive. For example, when there is only one image of the tip of the stick near the center of the screen, it cannot be guaranteed whether the image is the image 1ai or the image 2ai. Accordingly, as shown in FIG. 19, the extracted images are identified by adding symbols g1 to g4.

図１６のステップＳＥ１８において、フラッシュメモリ１８のエリアｆ（ｋ）に画像データをストアした後は、ｋの値をインクリメントする（ステップＳＥ１９）。ｋの初期値は、図１５のステップＳＤ１９において「１」にセットされているので、最初はエリアｆ（１）に最初の１フレームの画像データをストアする。したがって、ステップＳＥ１９においてｋの値は「２」となる。ｆ（ｋ）のエリアは、ｆ（１）からｆ（ｋｍ）までのｋｍ個のフレームが用意されている。すなわち、図１７に示した楕円関数の数と同数のエリアが用意されている。ｋｍの数はドラムの種類ｎと演奏する身体の部位ｍによって決定されるが、演奏者の設定も可能である。ただし、この実施形態では、説明を簡便にするために、ｋｍの値はすべて「１０」とする。   In step SE18 in FIG. 16, after the image data is stored in the area f (k) of the flash memory 18, the value of k is incremented (step SE19). Since the initial value of k is set to “1” in step SD19 of FIG. 15, first, the first frame of image data is stored in the area f (1). Therefore, in step SE19, the value of k is “2”. In the area of f (k), km frames from f (1) to f (km) are prepared. That is, the same number of areas as the number of elliptic functions shown in FIG. 17 are prepared. The number of km is determined by the drum type n and the body part m to be played, but can also be set by the performer. However, in this embodiment, in order to simplify the description, the values of km are all “10”.

最後のエリアｆ（ｋｍ）に１フレームの画像データをストアした後は、再びエリアｆ（１）に次の１フレームの画像データをストアするので、ステップＳＥ１９においてｋの値をインクリメントした後は、ｋの値がｋｍの値より大きいか否かを判別する（ステップＳＥ２０）。ｋの値がｋｍの値より大きい場合には、ｋの値を「１」にセットする（ステップＳＥ２１）。ｋの値がｋｍの値以下である場合、又は、ｋの値を「１」にセットした後は、画像分析処理を実行する（ステップＳＥ２２）。そして、図１４のフローチャートに戻る。   After one frame of image data is stored in the last area f (km), the next one frame of image data is stored again in the area f (1). Therefore, after incrementing the value of k in step SE19, It is determined whether or not the value of k is greater than the value of km (step SE20). If the value of k is larger than the value of km, the value of k is set to “1” (step SE21). When the value of k is equal to or less than the value of km, or after the value of k is set to “1”, image analysis processing is executed (step SE22). And it returns to the flowchart of FIG.

図２０および図２１は、画像分析処理のフローチャートである。図２０において、フラグＡＦが「１」であるか否かを判別し（ステップＳＦ１）、ＡＦが「０」である場合には、１フレームの画像データをストアした現在のエリアｆ（ｋ）の１つ前のエリアに画像データがストアされているか否かを判別する（ステップＳＦ２ａ）。そのエリアに画像データがストアされている場合には、ＡＦを「１」にセットする（ステップＳＦ２ｂ）。そして、図１６のフローチャートに戻る。そのエリアに画像データがストアされている場合には、画像データが１フレームしか記憶されていないため、後述するオプティカルフロー処理ができないので、直ちに図１６のフローチャートに戻る。   20 and 21 are flowcharts of the image analysis process. In FIG. 20, it is determined whether or not the flag AF is “1” (step SF1). If the AF is “0”, the current area f (k) in which one frame of image data is stored is stored. It is determined whether or not image data is stored in the previous area (step SF2a). If image data is stored in that area, AF is set to “1” (step SF2b). And it returns to the flowchart of FIG. If image data is stored in that area, only one frame of image data is stored, so the optical flow process described later cannot be performed, and the process immediately returns to the flowchart of FIG.

ステップＳＦ１においてＡＦが「１」である場合には、変数ｊにｋの値をセットし（ステップＳＦ３）、ｊの値をデクリメントする（ステップＳＦ４）。このデクリメントによってｊの値が「０」になったか否かを判別し（ステップＳＦ５）、「０」になったときは、ｊの値をｋｍにセットする（ステップＳＦ６）。すなわち、ｋの値は図１６のステップＳＥ１９ないしステップＳＥ２１において管理されており、ｋの値を変更することができないので、変数ｋで指定されている現在のエリアｆ（ｋ）の１つ前のエリアを別の変数ｊを用いて指定する。そして、指定したエリアｆ（ｊ）の画像データを読み出す（ステップＳＦ７）。   If AF is “1” in step SF1, the value of k is set to the variable j (step SF3), and the value of j is decremented (step SF4). It is determined whether or not the value of j has become “0” by this decrement (step SF5), and when it has become “0”, the value of j is set to km (step SF6). That is, the value of k is managed in step SE19 to step SE21 in FIG. 16, and the value of k cannot be changed. Therefore, the value immediately before the current area f (k) specified by the variable k is set. The area is specified using another variable j. Then, the image data of the designated area f (j) is read (step SF7).

次に、図１９に示した特定画像を検出して、その検出数をレジスタｐｍにストアする（ステップＳＦ８）。図１９の例では、特定画像はｇ１〜ｇ４の４個であるので、ｐｍにストアする値は「４」である。次に、エリアｆ（ｋ）の画像データを読み出して（ステップＳＦ９）、ｆ（ｊ）とｆ（ｋ）の特定画像の座標を検出する（ステップＳＦ１０）。そして、ｆ（ｊ）の画像データとｆ（ｋ）の画像データとのオプティカルフローを推定する（ステップＳＦ１１）。すなわち、ｆ（ｊ）の画像データにおける特定画像とｆ（ｋ）の画像データにおける特定画像との間において、それぞれの動きベクトルを推定する。なお、ドラム演奏の際には、演奏者の身体が多少なりとも動くので、カメラ付き携帯電話装置５で撮像した画像も全体的に揺れるおそれがある。このため、オプティカルフロー処理において、動きのない被写体の画像、すなわち、図１８における窓枠の画像１０５ｉ、窓の外の風景の画像１０６ｉ、額の画像１０７ｉ、ごみ箱の画像１０８ｉに基づいて、画像の揺れ分を補正する。
通常、オプティカルフローの推定は、あらかじめ予想がつかない形状の物体の画像に対して行われるが、この場合には、形状が確定されている画像で最大４個の特定画像に対して行うので、極めて正確なオプティカルフローの推定を高速で行うことが可能である。 Next, the specific image shown in FIG. 19 is detected, and the detected number is stored in the register pm (step SF8). In the example of FIG. 19, since there are four specific images g1 to g4, the value stored in pm is “4”. Next, the image data of the area f (k) is read (step SF9), and the coordinates of the specific images of f (j) and f (k) are detected (step SF10). Then, the optical flow between the image data of f (j) and the image data of f (k) is estimated (step SF11). That is, each motion vector is estimated between the specific image in the image data of f (j) and the specific image in the image data of f (k). Note that when performing a drum, the performer's body moves somewhat, so that the image captured by the camera-equipped mobile phone device 5 may be shaken as a whole. For this reason, in the optical flow processing, based on the image of the subject that does not move, that is, the image 105i of the window frame in FIG. 18, the image 106i of the scenery outside the window, the image 107i of the forehead, and the image 108i of the recycle bin, Correct the shaking.
Usually, optical flow estimation is performed on an image of an object having a shape that cannot be predicted in advance. In this case, since the shape is determined for up to four specific images, It is possible to estimate an extremely accurate optical flow at high speed.

オプティカルフローの推定を行った後は、特定画像ｇｐを指定する変数ｐを「１」にセットして（ステップＳＦ１２）、その指定した特定画像ｇｐは移動したか否かを判別する（ステップＳＦ１３）。ｇｐが移動した場合には、その動きベクトルをレジスタｖｐにストアする（ステップＳＦ１４）。すなわち、ベクトル方向とベクトルの変化量とをストアする。図２２は、図１９のフレーム画像の次のフレーム画像を示す図である。特定画像ｇ１〜ｇ３は移動しているので、その動きベクトルｖ１〜ｖ３をストアする。動きベクトルをストアした後、又は、指定した特定画像ｇｐが移動していない場合には、ｐの値をインクリメントして次の特定画像を指定する（ステップＳＦ１５）。このインクリメントによってｐの値が最大値ｐｍを超えたか否かを判別し（ステップＳＦ１６）、ｐｍを超えていない場合には、ステップＳＦ１３に移行して、ｇｐの移動を判別する。   After the estimation of the optical flow, the variable p for designating the specific image gp is set to “1” (step SF12), and it is determined whether or not the designated specific image gp has moved (step SF13). . If gp has moved, the motion vector is stored in the register vp (step SF14). That is, the vector direction and the amount of vector change are stored. FIG. 22 is a diagram showing a frame image next to the frame image of FIG. Since the specific images g1 to g3 are moving, the motion vectors v1 to v3 are stored. After storing the motion vector or when the designated specific image gp has not moved, the value of p is incremented to designate the next specific image (step SF15). It is determined whether or not the value of p has exceeded the maximum value pm by this increment (step SF16). If not, the process proceeds to step SF13 to determine the movement of gp.

ステップＳＦ１６において、ｐの値がｐｍの値を超えたときは、図２１において、特定画像ｇｐを指定する変数ｐを「１」にセットして（ステップＳＦ１７）、ｇｐのフレーム数をレジスタＭにストアする（ステップＳＦ１８）。次に、Ｍのフレーム数がｋｍに達したか否かを判別する（ステップＳＦ１９）。図１９の例ではすべての特定画像であるｇ１〜ｇ４が画像データに存在しているが、実際には、演奏者のドラム演奏によっては、存在する特定画像も変化することがあるので、ｐで指定した画像ｇｐが存在しないフレームもあり得る。したがって、任意の画像ｇｐの動線を確定するためには、ｋｍ個（この実施形態では１０個）のフレーム画像が必要である。   In step SF16, when the value of p exceeds the value of pm, in FIG. 21, the variable p designating the specific image gp is set to “1” (step SF17), and the number of frames of gp is stored in the register M. Store (step SF18). Next, it is determined whether or not the number of frames of M has reached km (step SF19). In the example of FIG. 19, all the specific images g1 to g4 are present in the image data. However, in practice, depending on the player's drum performance, the existing specific images may change, so There may be a frame in which the designated image gp does not exist. Therefore, in order to determine the flow line of an arbitrary image gp, km (10 in this embodiment) frame images are required.

ステップＳＦ１９において、Ｍのフレーム数がｋｍに達したときは、ｇｐの動線をＲＡＭ１３のエリアＣＣ（ｇｐ）にストアする（ステップＳＦ２０）。すなわち、ｋｍ個のフレームにおけるｇｐの座標をＣＣ（ｇｐ）にストアする。そして、変数ｍおよび変数ｎをともに「１」にセットして（ステップＳＦ２１）、ｍおよびｎの値をインクリメントしながら、以下のループを繰り返す。すなわち、ｇｐの動線が図１６のステップＳＥ１３においてＲＡＭ１３に登録した動線Ｃ（ｍ，ｎ）のどれかと一致するか否かを判別する（ステップＳＦ２２）。ｇｐの動線と動線Ｃ（ｍ，ｎ）とが一致するか否かは、各フレームｆ（ｋ）において、ｇｐの座標が図１７に示した楕円関数Ｅｋ（ｘ，ｙ）の内部に存在するか否かによって判別する。動線が一致しない場合にはｎの値をインクリメントする（ステップＳＦ２３）。このインクリメントによってｎの値が最大値を超えたか否かを判別し（ステップＳＦ２４）、超えていない場合には、ステップＳＦ２２に移行してループを繰り返す。ｎの値が最大値を超えたときは、ｍの値をインクリメントする（ステップＳＦ２５）。このインクリメントによってｍの値が最大値「４」を超えたか否かを判別し（ステップＳＦ２６）、超えていない場合には、ステップＳＦ２２に移行してループを繰り返す。   In step SF19, when the number of frames of M reaches km, the flow line of gp is stored in the area CC (gp) of the RAM 13 (step SF20). That is, the coordinates of gp in km frames are stored in CC (gp). Then, both the variable m and the variable n are set to “1” (step SF21), and the following loop is repeated while incrementing the values of m and n. That is, it is determined whether or not the flow line of gp matches any of the flow lines C (m, n) registered in the RAM 13 in step SE13 in FIG. 16 (step SF22). Whether or not the flow line of gp and the flow line C (m, n) coincide with each other is determined by whether the coordinates of gp are within the elliptic function Ek (x, y) shown in FIG. 17 in each frame f (k). It is determined by whether or not it exists. If the flow lines do not match, the value of n is incremented (step SF23). It is determined whether or not the value of n exceeds the maximum value by this increment (step SF24). If not, the process proceeds to step SF22 to repeat the loop. When the value of n exceeds the maximum value, the value of m is incremented (step SF25). It is determined whether or not the value of m exceeds the maximum value “4” by this increment (step SF26). If not, the process proceeds to step SF22 and the loop is repeated.

ステップＳＦ２２において、ｇｐの動線が登録した動線Ｃ（ｍ，ｎ）と一致した場合には、Ｄ（ｎ）に応じた音色でｖｐのベクトル変化量に応じた振幅のリズム音信号を音源部１９によって発生して、ヘッドホン７に送信してで発音する（ステップＳＦ２７）。次に、フラグＲＦが「１」であるか否かを判別し（ステップＳＦ２８）、ＲＦが「１」である場合には、発生した楽音信号をフラッシュメモリ１８に録音する（ステップＳＦ２９）。ＲＦが「０」である場合、又は、ステップＳＦ２６においてｍの値が最大値「４」を超えた場合、若しくは、ステップＳＦ１９においてＭのフレーム数がｋｍに満たない場合には、ｐの値をインクリメントする（ステップＳＦ３０）。このインクリメントによってｐの値が最大値ｐｍを超えたか否かを判別し（ステップＳＦ３１）、ｐの値が最大値ｐｍ以下である場合には、ステップＳＦ１８に移行してループを繰り返す。ｐの値が最大値ｐｍを超えたときは、図１６のフローチャートに戻る。   In step SF22, when the gp flow line coincides with the registered flow line C (m, n), a rhythm sound signal having a tone corresponding to D (n) and an amplitude corresponding to the vector change amount of vp is used as a sound source. Generated by the unit 19 and transmitted to the headphones 7 to generate sound (step SF27). Next, it is determined whether or not the flag RF is “1” (step SF28). If the RF is “1”, the generated musical sound signal is recorded in the flash memory 18 (step SF29). If RF is “0”, or if the value of m exceeds the maximum value “4” in step SF26, or if the number of frames of M is less than km in step SF19, the value of p is Increment (step SF30). It is determined whether or not the value of p has exceeded the maximum value pm by this increment (step SF31). If the value of p is not more than the maximum value pm, the process proceeds to step SF18 and the loop is repeated. When the value of p exceeds the maximum value pm, the process returns to the flowchart of FIG.

図２３は、図１に示した右手１０１に保持されたスティック１の先端部１ａの画像１ａｉ、左手１０２に保持されたスティック２の先端部２ａの画像２ａｉ、右脚１０３および左脚１０４に取り付けた黒球３および黒球４の画像３ｉおよび４ｉ、すなわち特定画像について、エリアｆ（１）からｆ（１０）までの１０フレームにおける各画像の位置ｆ１〜ｆ１０の動線を示した図である。画像１ａｉはトップシンバルＤ（５）を演奏する動線を示し、画像２ａｉはスネアＤ（６）を演奏する動線を示し、画像３ｉは、変位量が小さいので途中を省略しているが、バスＤ（１）の仮想ペダルを踏む動線を示し、画像４ｉは静止状態を示している。したがって、ＣＰＵ１１は、トップシンバルの音色、スネアの音色、バスの音色で、音源部１９に対してリズム音信号を発生する指示を与える。
ただし、認識した動線に応じて特定画像の位置が仮想楽器に達する前に、音源部１９に対して対応する仮想楽器の音色のリズム音信号を発生する指示を与える。すなわち、図２３において、例えばｆ９の画像を検出したときに、対応する仮想楽器の音色のリズム音信号を発生する指示を与えて、演奏者が仮想楽器を叩くタイミングに遅れることなく発音を行う。どの程度の時間早めるかは実験して測定する。 23 shows an image 1ai of the tip 1a of the stick 1 held by the right hand 101 shown in FIG. 1, an image 2ai of the tip 2a of the stick 2 held by the left hand 102, and attached to the right leg 103 and the left leg 104. FIG. 6 is a diagram showing the flow lines of positions f1 to f10 of each image in 10 frames from areas f (1) to f (10) for the images 3i and 4i of the black sphere 3 and the black sphere 4, that is, the specific image. . The image 1ai shows the flow line for playing the top cymbal D (5), the image 2ai shows the flow line for playing the snare D (6), and the image 3i is omitted because the displacement is small. A flow line of stepping on the virtual pedal of the bus D (1) is shown, and an image 4i shows a stationary state. Therefore, the CPU 11 gives an instruction to generate a rhythm sound signal to the sound source unit 19 with the tone color of the top cymbal, the snare tone, and the bass tone.
However, before the position of the specific image reaches the virtual musical instrument according to the recognized flow line, an instruction to generate the rhythm sound signal of the corresponding virtual musical instrument tone is given to the sound source unit 19. That is, in FIG. 23, for example, when an image f9 is detected, an instruction to generate a rhythm sound signal of the corresponding virtual musical instrument tone is given, and sounding is performed without delaying the timing at which the performer strikes the virtual musical instrument. The amount of time that can be advanced is measured experimentally.

以上のように、この第１実施形態の電子楽器装置によれば、複数種類の仮想の打楽器を演奏するために、カメラ付き携帯電話装置５によって撮像された画像の中からあらかじめ設定されている複数種類の特定画像ｇｐ（１≦ｐ≦４）を抽出し、抽出した特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定し、判定した仮想楽器の音色のリズム音信号を発生する。
したがって、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる。さらに、脚を使わず両手だけの擬似演奏も可能であるので、図１に示すような椅子がない状態でも、立ったままで仮想のドラム演奏をすることができる。この場合には、図１１の設定画面において両足をオフに設定すればよい。 As described above, according to the electronic musical instrument device of the first embodiment, in order to play a plurality of types of virtual percussion instruments, a plurality of preset images are selected from images captured by the camera-equipped mobile phone device 5. The type of specific image gp (1 ≦ p ≦ 4) is extracted, the motion vector of the extracted specific image is analyzed, a virtual instrument preset for the specific image is determined, and the determined virtual instrument Generates a tone rhythm signal.
Therefore, it is possible to perform with the same feeling as an actual drum and to perform in a narrow place. Furthermore, since it is possible to perform a simulated performance using only both hands without using legs, it is possible to perform a virtual drum performance while standing even without a chair as shown in FIG. In this case, both feet may be set off on the setting screen of FIG.

上記第１実施形態の電子楽器装置によれば、ＣＰＵ１１は、抽出した特定画像の動画を構成する時系列のフレーム画像のオプティカルフロー推定処理によって、当該特定画像の動きベクトルを分析するので、動画の中に含まれる特定画像を高速かつ高い精度で検出することができる。
さらに、ＣＰＵ１１は、抽出した特定画像の動きベクトルを分析することによって、当該特定画像の動線を認識し、認識した動線に応じて仮想楽器を判定するので、仮想のドラム演奏を確実に把握して、各仮想楽器の音色で発音を行うことができる。
さらにまた、認識した動線に応じて特定画像の位置が仮想楽器に達する前に、前記信号発生手段に対して当該仮想楽器の音色のリズム音信号を発生する指示を与えることにより、演奏者が仮想楽器を叩くタイミングに対して発音が遅れることがない。
さらにまた、ＣＰＵ１１は、分析した動きベクトルの変化量に応じた振幅のリズム音信号を発生するように音源部１９に指示するので、より一層、実際のドラムと同じような感覚で演奏することができる。 According to the electronic musical instrument apparatus of the first embodiment, the CPU 11 analyzes the motion vector of the specific image by the optical flow estimation process of the time-series frame images constituting the extracted moving image of the specific image. A specific image contained therein can be detected at high speed and with high accuracy.
Further, the CPU 11 analyzes the motion vector of the extracted specific image, thereby recognizing the flow line of the specific image and determining the virtual musical instrument according to the recognized flow line, so that the virtual drum performance is surely grasped. Thus, sound generation can be performed with the tone of each virtual musical instrument.
Furthermore, by giving an instruction for generating a rhythm sound signal of the timbre of the virtual musical instrument to the signal generating means before the position of the specific image reaches the virtual musical instrument according to the recognized flow line, There is no delay in the pronunciation of the virtual instrument.
Furthermore, since the CPU 11 instructs the sound source unit 19 to generate a rhythm sound signal having an amplitude corresponding to the amount of change in the analyzed motion vector, it is possible to perform with a feeling similar to that of an actual drum. it can.

さらにまた、上記第１実施形態の電子楽器装置によれば、ＣＰＵ１１は、指定された曲のメロディ音信号とともに、発生したリズム音信号をヘッドホンに出力するので、より一層、実際のドラムと同じような感覚で演奏することができる。特に最近では、携帯電話装置に１００曲以上ものメロディを記録可能であり、中には５００曲ものメロディを記録できるものもある。さらに、曲を構成するメロディパート、コード（和音）パート、およびリズムパートから１つのパートを除いたいわゆるマイナスワンの曲データをインターネットからダウンロードできるので、リズムパートを除いたマイナスワンの曲データをインターネットからダウンロードしてフラッシュメモリ１８に記憶し、メロディパートおよび和音パートを再生しながら、仮想楽器によるドラム演奏ができるので、ジャムセッションのようなバンド演奏の臨場感が得られる。   Furthermore, according to the electronic musical instrument apparatus of the first embodiment, since the CPU 11 outputs the generated rhythm sound signal to the headphones together with the melody sound signal of the designated song, it is more similar to the actual drum. You can play with a sense. Recently, in particular, it is possible to record more than 100 melody on a mobile phone device, and some can record as many as 500 melody. In addition, since the minus one song data excluding one part from the melody part, chord (chord) part, and rhythm part constituting the song can be downloaded from the Internet, the minus one song data excluding the rhythm part is downloaded to the Internet. Can be downloaded and stored in the flash memory 18, and the drum performance can be performed with the virtual instrument while reproducing the melody part and the chord part, so that a realistic feeling of band performance like a jam session can be obtained.

上記第１実施形態の電子楽器装置においては、演奏者の手に保持されたスティックの先端部の画像を特定画像として抽出する構成にしたが、他の画像を抽出するような構成も可能である。
図２４は、第２実施形態における電子楽器装置を演奏者が使用する状態を示す図である。この場合には、スティック１、２の先端部１ａ、２ａの代わりに、右手１０１および左手１０２の手首に取り付けた黒球１１１、１１２の画像を抽出する。あるいは、右手１０１および左手１０２の腕に取り付けた黒球１１３、１１４の画像を抽出する。使用する黒球１１１、１１２又は黒球１１３、１１４は、両脚に取り付けた黒球３、４と同じ形状になっている。したがって、ＣＰＵ１１による画像検出およびその抽出がさらに容易になる。なお、両脚に取り付けた黒球３、４は仮想のペダル操作による動き量が小さいので、膝よりも動きの大きい右足のつま先および左足のつま先に、それぞれ黒球３、４を取り付けてもよい。 In the electronic musical instrument device according to the first embodiment, the image of the tip of the stick held in the player's hand is extracted as the specific image. However, a configuration in which another image is extracted is also possible. .
FIG. 24 is a diagram illustrating a state in which a player uses the electronic musical instrument device according to the second embodiment. In this case, images of the black spheres 111 and 112 attached to the wrists of the right hand 101 and the left hand 102 are extracted instead of the tips 1 a and 2 a of the sticks 1 and 2. Alternatively, images of black spheres 113 and 114 attached to the arms of the right hand 101 and the left hand 102 are extracted. The black spheres 111 and 112 or the black spheres 113 and 114 to be used have the same shape as the black spheres 3 and 4 attached to both legs. Therefore, image detection and extraction by the CPU 11 are further facilitated. Since the black balls 3 and 4 attached to both legs have a small amount of movement due to the virtual pedal operation, the black balls 3 and 4 may be attached to the toe of the right foot and the toe of the left foot, respectively, which move more than the knee.

以上のように、第２実施形態の電子楽器装置によれば、ＣＰＵ１１は、複数種類の仮想の打楽器を演奏するために、手首若しくは腕に取り付けられた物体、および演奏者の膝又は大腿部に取り付けられた物体の撮像された画像を特定画像として抽出するので、たとえスティックを持たなくても仮想のドラム演奏を行うことができる。
あるいは、第１実施形態の変形例として、ＣＰＵ１１は、演奏者の手に保持されたのスティックの撮像された画像を特定画像として抽出するようにしてもよい。この場合には、スティックの微妙な角度なども検出できるので、極めて高度なドラム演奏を擬似した電子楽器装置を実現できる。なお、この場合においても、スティックを回りの環境にない色で着色することが望ましい。 As described above, according to the electronic musical instrument device of the second embodiment, the CPU 11 performs an object attached to the wrist or arm and the player's knee or thigh to play a plurality of types of virtual percussion instruments. Since the imaged image of the object attached to is extracted as a specific image, a virtual drum performance can be performed even without a stick.
Alternatively, as a modification of the first embodiment, the CPU 11 may extract a captured image of a stick held in the player's hand as a specific image. In this case, since a delicate angle of the stick can be detected, an electronic musical instrument device that simulates an extremely sophisticated drum performance can be realized. Even in this case, it is desirable to color the stick with a color that does not exist in the surrounding environment.

また、上記第１実施形態の電子楽器装置においては、カメラ付き携帯電話装置５とヘッドホン７とを信号線で接続する構成にしたが、赤外線やブルートゥースなどの無線信号によって、音源部１９で発生した楽音信号をヘッドホン７や他のサウンドシステムに送信する構成も可能である。特に最近では、携帯電話装置を用いて無線信号による取引が実用化されているので、近い将来においては、カメラ付き携帯電話装置５に特別な仕様変更を行うことなく、無線信号による楽音信号の送信が可能となる。
無線信号によって音源部１９で発生した楽音信号をサウンドシステムに送信する構成にした場合には、例えば、野外におけるイベントとして、スティックを持たず手の動作だけで行う仮想のドラム演奏の音楽を楽しむことも可能である。 In the electronic musical instrument device according to the first embodiment, the camera-equipped mobile phone device 5 and the headphones 7 are connected by a signal line. However, the electronic musical instrument device is generated in the sound source unit 19 by a radio signal such as infrared rays or Bluetooth. A configuration in which a musical sound signal is transmitted to the headphones 7 and other sound systems is also possible. In particular, recently, transactions using radio signals using mobile phone devices have been put into practical use. Therefore, in the near future, transmission of musical tone signals using radio signals without any special specification changes to the mobile phone device 5 with a camera. Is possible.
When the musical tone signal generated by the sound source unit 19 is transmitted to the sound system by a wireless signal, for example, as an outdoor event, enjoy virtual drum performance music that is performed only by hand movement without holding a stick. Is also possible.

また、上記第１実施形態の電子楽器装置においては、カメラ付き携帯電話装置５によって特定画像を撮像する構成にしたが、専用のディジタルカメラを備えた撮像手段によって特定画像を撮像する構成も可能である。専用の撮像手段の場合には、演奏者の腰だけでなく、胸に取り付けるような構成も可能であるし、ヘッドホンと一体化した構成も可能である。さらに、このような専用の撮像手段を用いた場合には、携帯電話装置の機能に制約されることがないので、プロの演奏者にも有効な電子楽器装置を実現できる。   In the electronic musical instrument device according to the first embodiment, the specific image is picked up by the camera-equipped mobile phone device 5. However, the specific image can be picked up by an image pickup means having a dedicated digital camera. is there. In the case of dedicated imaging means, it is possible to adopt a configuration that attaches to the chest as well as the performer's waist, or a configuration that is integrated with headphones. Further, when such a dedicated imaging means is used, the electronic musical instrument device that is effective even for a professional player can be realized because the function of the mobile phone device is not restricted.

なお、上記各実施形態においては、電子楽器装置の発明すなわち物の発明について説明したが、仮想楽器の演奏方法の発明としても実現可能である。
すなわち、本発明による仮想楽器の演奏方法は、複数種類の仮想の打楽器を演奏するために、所定の撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出し、抽出した特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定し、判定した仮想楽器の音色のリズム音信号を発生する。 In each of the above embodiments, the invention of the electronic musical instrument device, that is, the invention of the product has been described. However, the invention can also be realized as an invention of a virtual musical instrument playing method.
That is, the virtual musical instrument playing method according to the present invention uses one or more types of specific images set in advance from images captured by a predetermined imaging means in order to play a plurality of types of virtual percussion instruments. The extracted and analyzed motion vector of the specific image is used to determine a virtual instrument set in advance for the specific image, and a rhythm sound signal of the tone color of the determined virtual instrument is generated.

本発明による電子楽器装置および仮想楽器の演奏方法の実施を安価に提供するためには、構成の要であるカメラ付き携帯電話装置を安価に実現することが必要である。そして、カメラ付き携帯電話装置を安価に実現するためには、第１には、使用する部品のコストダウンを図ることが必要であり、第２には、豊富な機能を具備することで販路を拡大して、量産化を図ることが必要である。図３の構成において、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、フラッシュメモリ１８などの半導体部品、ＬＣＤなどからなる表示部１６、無線送受信部１４については、開発の歴史も古く、コストダウンや機能の充実のために世界中で熾烈な競争が行われているので、さらなるコストダウンや機能の充実を図ることは極めて困難である。しかし、カメラ部１７については、携帯電話装置に使用されるようになってからの歴史も浅い上、機能の充実化が強く要求されているため、さらなるコストダウンや機能の充実の可能性がある。   In order to provide the electronic musical instrument device and the virtual musical instrument playing method according to the present invention at low cost, it is necessary to realize the camera-equipped mobile phone device that is the key to the configuration at low cost. In order to realize a camera-equipped mobile phone device at a low cost, firstly, it is necessary to reduce the cost of the parts to be used, and secondly, it is possible to establish a sales channel by providing abundant functions. It is necessary to expand and promote mass production. In the configuration of FIG. 3, the CPU 11, ROM 12, RAM 13, flash memory 18 and other semiconductor parts, LCD display 16 and wireless transmitter / receiver 14 have a long history of development, for cost reduction and enhancement of functions. Since intense competition is taking place all over the world, it is extremely difficult to further reduce costs and enhance functions. However, since the camera unit 17 has a short history since being used in a mobile phone device, and there is a strong demand for enhancement of functions, there is a possibility of further cost reduction and enhancement of functions. .

すなわち、本発明による電子楽器装置および仮想楽器の演奏方法の実施を安価に提供するためには、このカメラ部１７のコストダウンおよび機能の充実を図ることが望ましい。ところが、最近のカメラ付き携帯電話装置においては、機能の充実を図るために、外部を撮影するアウト（外側）カメラと、自分の顔などを撮影するイン（内側）カメラ用として、２種類の撮像素子とレンズなどの光学系の部品を備えたものが普及してきた。すなわち、外部を撮影するための焦点距離の長いレンズと、自分撮り用の焦点距離の短い広い視野角のレンズとを備え、それぞれのレンズに応じた撮像素子が使用されている。このため、カメラ部が高価になってきている。   That is, in order to provide the electronic musical instrument apparatus and the virtual musical instrument playing method according to the present invention at low cost, it is desirable to reduce the cost and enhance the functions of the camera unit 17. However, in recent mobile phone devices with a camera, in order to enhance functions, there are two types of imaging for an out (outside) camera for photographing the outside and an in (inside) camera for photographing one's face and the like. Devices equipped with optical parts such as elements and lenses have become widespread. That is, a lens with a long focal length for photographing the outside and a lens with a wide viewing angle with a short focal length for self-photographing are used, and an image sensor corresponding to each lens is used. For this reason, the camera part is becoming expensive.

そこで、安価な電子楽器装置および仮想楽器の演奏方法の実施のために、新たなカメラ付き携帯電話装置の発明について、第１実施形態ないし第３実施形態を例に採って説明する。
図２５は、第１実施形態におけるカメラ付き携帯電話装置の外観図および断面の一部を示す図である。図２５（Ａ）において、下部本体５１（第１の本体）と上部本体５２（第２の本体）はヒンジ部５３（結合手段）によって回動可能に結合されている。上部本体５２の上面には、ＬＣＤ（液晶表示デバイス）の表示部５４が設けられているとともに、広い視野角のレンズ５５（第１のレンズ）、すなわち焦点距離の短い光学特性のレンズ５５が取り付けられている。レンズ５５のさらに奥にはＣＣＤ又はＣＭＯＳなどからなる撮像素子５６が配置され、レンズ５５の光軸ａｘ１を中心とした光画像が撮像素子５６に結像される。撮像素子５６は、この光画像を電気信号に変換して撮像信号として出力する。下部本体５１には、ヒンジ部５３からさらに突き出た構造の突起部５７が形成されている。さらに、突起部５７のほぼ中央には、レンズ５８（第２のレンズ）がはめ込まれている。
したがって、図２５（Ａ）の状態においては、広い視野角のレンズ５５によって、ユーザが自分の顔を撮像することができるとともに、図１に示したように、仮想のドラム演奏用として使用することができる。なお、図には示していないが、突起部５７のレンズ５８の周りには、金属製のワイヤが螺旋状に埋め込まれており、ヘリカルアンテナを構成している。 Therefore, in order to implement an inexpensive electronic musical instrument device and virtual musical instrument playing method, the invention of a new camera-equipped mobile phone device will be described by taking the first to third embodiments as examples.
FIG. 25 is a diagram showing an external view and a part of a cross section of the camera-equipped mobile phone device according to the first embodiment. In FIG. 25A, a lower main body 51 (first main body) and an upper main body 52 (second main body) are rotatably coupled by a hinge portion 53 (coupling means). A display unit 54 of an LCD (Liquid Crystal Display Device) is provided on the upper surface of the upper body 52, and a lens 55 (first lens) with a wide viewing angle, that is, a lens 55 with a short focal length and optical characteristics is attached. It has been. An imaging element 56 made of CCD or CMOS is disposed further behind the lens 55, and an optical image centered on the optical axis ax 1 of the lens 55 is formed on the imaging element 56. The image sensor 56 converts this optical image into an electric signal and outputs it as an image signal. The lower main body 51 is formed with a protrusion 57 having a structure protruding further from the hinge portion 53. Further, a lens 58 (second lens) is fitted almost in the center of the protrusion 57.
Therefore, in the state of FIG. 25 (A), the user can take an image of his / her face with the lens 55 having a wide viewing angle, and as shown in FIG. Can do. Although not shown in the drawing, a metal wire is spirally embedded around the lens 58 of the protrusion 57 to constitute a helical antenna.

図２５（Ａ）は、下部本体５１のスイッチ部（図示せず）を有する面と、上部本体５２表示部（図示せず）を有する面とが対面した閉状態になっている。この状態から、矢印で示す方向に上部本体５２を開いて、図２５（Ｂ）に示す状態に回動すると、レンズ５８とレンズ５５とが重なり合う状態になる。この結果、レンズ５８の光軸ａｘ２を中心とした光画像がレンズ５５を通過して撮像素子５６に結像される。したがって、本発明による仮想のドラム演奏を行う電子楽器装置に使用できるとともに、レンズ５８の光学特性によって、レンズ５５の焦点距離の短い光学特性を補正するようにすることで、通常のカメラ付き携帯電話装置と同様の撮影が可能になる。この場合には、上部本体５２の図示しない表示部に撮像素子５６で撮像された外部の画像がモニター表示される。
なお、下部本体５２の側面に設けられたスイッチ５１ａは、通常の撮影においてはシャッタスイッチとして機能し、仮想のドラム演奏においてはスタート／ストップスイッチとして機能する。
このように、第１実施形態におけるカメラ付き携帯電話装置は、共通の撮像素子５６を用いて、焦点距離の異なるレンズから近い被写体も遠い被写体も撮像することにより、コストダウンおよび機能の充実を図ることができるので、安価な電子楽器装置および仮想楽器の演奏方法の実施に使用することが可能になる。 FIG. 25A shows a closed state in which the surface of the lower main body 51 having the switch portion (not shown) and the surface having the upper main body 52 display portion (not shown) face each other. From this state, when the upper main body 52 is opened in the direction indicated by the arrow and rotated to the state shown in FIG. 25B, the lens 58 and the lens 55 are overlapped. As a result, an optical image centered on the optical axis ax2 of the lens 58 passes through the lens 55 and is formed on the image sensor 56. Therefore, it can be used for the electronic musical instrument device that performs virtual drum performance according to the present invention, and the optical characteristic of the lens 55 with a short focal length is corrected by the optical characteristic of the lens 58, so that an ordinary camera-equipped mobile phone is provided. Shooting similar to the device becomes possible. In this case, an external image captured by the image sensor 56 is displayed on a monitor (not shown) of the upper body 52 on the monitor.
Note that the switch 51a provided on the side surface of the lower main body 52 functions as a shutter switch in normal shooting, and functions as a start / stop switch in virtual drum performance.
As described above, the camera-equipped mobile phone device according to the first embodiment uses the common image sensor 56 to capture both near and far subjects from lenses with different focal lengths, thereby reducing costs and enhancing functions. Therefore, it is possible to use the electronic musical instrument device and the virtual musical instrument playing method at low cost.

図２６および図２７は、第２実施形態におけるカメラ付き携帯電話装置の外観図および断面の一部を示す図である。なお、図２５に示した構成と同じものや同じ機能を持つものは同一の符号で表し、重複する説明は省略する。
図２６（Ａ）に示すように、この第２実施形態のカメラ付き携帯電話装置では、広い視野角のレンズ５５が上部本体５２に設けられ、レンズ５８が下部本体５１に設けられている。さらに、この第２実施形態のカメラ付き携帯電話装置では、図２６（Ａ）に示す閉状態から上部本体５２を開いて、図２６（Ｂ）に示す位置まで回動すると、ヒンジ部５３の中央部５３ａが回転軸Ｃの周りに矢印に示すように回転できる構造になっている。すなわち、図２６（Ｂ）に示すように、上部本体５２の表示部５９が反対側になるように回転して、さらに、図２７に示すように、再び閉状態にすることができる。 26 and 27 are an external view and a part of a cross section of the camera-equipped mobile phone device according to the second embodiment. In addition, the same thing as the structure shown in FIG. 25 and the thing with the same function are represented by the same code | symbol, and the overlapping description is abbreviate | omitted.
As shown in FIG. 26A, in the camera-equipped mobile phone device of the second embodiment, a lens 55 with a wide viewing angle is provided in the upper body 52 and a lens 58 is provided in the lower body 51. Further, in the camera-equipped mobile phone device of the second embodiment, when the upper body 52 is opened from the closed state shown in FIG. 26A and rotated to the position shown in FIG. The portion 53a can rotate around the rotation axis C as indicated by an arrow. That is, as shown in FIG. 26 (B), the display portion 59 of the upper main body 52 is rotated so as to be on the opposite side, and can be closed again as shown in FIG.

図２７に示すように、レンズ５８の光軸ａｘ２を中心とした光画像がレンズ５５を通過して撮像素子５６に結像される。したがって、第１実施形態におけるカメラ付き携帯電話装置と同様に、図２５（Ａ）の状態においては、広い視野角のレンズ５５によって、ユーザが自分の顔を撮像することができるとともに、図１に示したように、仮想のドラム演奏用として使用することができる。さらに、レンズ５８の光学特性によって、レンズ５５の焦点距離の短い光学特性を補正するようにすることで、遠方の被写体を撮影することができる。この場合には、上部本体５２の表示部５９に撮像素子５６で撮像された画像がモニター表示される。   As shown in FIG. 27, an optical image centered on the optical axis ax <b> 2 of the lens 58 passes through the lens 55 and is formed on the image sensor 56. Therefore, similarly to the camera-equipped mobile phone device in the first embodiment, in the state of FIG. 25A, the user can take an image of his / her face with the lens 55 having a wide viewing angle. As shown, it can be used for virtual drum performance. Further, by correcting the optical characteristic of the lens 55 with a short focal length based on the optical characteristic of the lens 58, a far object can be photographed. In this case, the image picked up by the image pickup device 56 is displayed on the monitor 59 on the upper body 52.

このように、第２実施形態におけるカメラ付き携帯電話装置は、共通の撮像素子５６を用いて、焦点距離の異なるレンズから近い被写体も遠い被写体も撮像することにより、コストダウンおよび機能の充実を図ることができるので、安価な電子楽器装置および仮想楽器の演奏方法の実施に使用することが可能になる。     As described above, the camera-equipped mobile phone device according to the second embodiment uses the common image sensor 56 to capture both near and far subjects from lenses with different focal lengths, thereby reducing costs and enhancing functions. Therefore, it is possible to use the electronic musical instrument device and the virtual musical instrument playing method at low cost.

図２８および図２９は、第３実施形態におけるカメラ付き携帯電話装置の外観図および断面の一部を示す図である。図２８（Ａ）に示す外観図およびその側面の一部の断面を表している図２８（Ｂ）において、下部本体２０１（第１の本体）と上部本体２０２（第２の本体）とはヒンジ部２０３（結合手段）によって回動可能に結合されている。また、図２８（Ａ）、（Ｂ）の状態では、下部本体２０１のスイッチ部を有する面２０１ａと、上部本体２０１の表示部を有する面２０２ａとが対面する閉状態になっている。この点は上記第１実施形態および第２実施形態と同様である。   28 and 29 are an external view and a part of a cross section of the camera-equipped mobile phone device according to the third embodiment. In FIG. 28A showing the external view shown in FIG. 28A and a partial cross section of the side surface thereof, the lower body 201 (first body) and the upper body 202 (second body) are hinges. It is rotatably coupled by the portion 203 (coupling means). In the state of FIGS. 28A and 28B, the lower body 201 has a closed state in which the surface 201a having the switch portion and the surface 202a having the display portion of the upper body 201 face each other. This is the same as the first embodiment and the second embodiment.

ただし、この第３実施形態においては、図２８（Ｂ）に示すように、撮像素子２０４は下部本体２０１に設けられている。この撮像素子２０４の上にはレンズ２０５（第２のレンズ）が配置され、このレンズ２０５と一体に成形されたプリズム２０６（光反射部材）からなる光学手段が設けられている。そして、この一体成形の光学手段であるレンズ２０５およびプリズム２０６をスライド可能な空間２０７が下部本体２０１に形成されている。また、下部本体２０１の側面からは、外部に向かってほぼ垂直に突き出た円筒形状の突起部２０８が形成され、その内部に形成された円筒形状の空間には、レンズ２０９（第３のレンズ）が配置されている。一方、上部本体２０２には、撮像素子２０４に対応する位置に広い視野角のレンズ２１０（第１のレンズ）が配置されている。
図２８（Ａ）、（Ｂ）に示す閉状態においては、レンズ２１０の光軸ａｘ１を中心とした光画像がレンズ２０５を通過して撮像素子２０４に結像される。したがって、２つのレンズによる複合レンズの特性を生かすことで、レンズ２１０だけの場合よりも様々な収差を小さくできる。 However, in the third embodiment, as shown in FIG. 28B, the image sensor 204 is provided in the lower main body 201. A lens 205 (second lens) is disposed on the image pickup element 204, and optical means including a prism 206 (light reflecting member) formed integrally with the lens 205 is provided. A space 207 in which the lens 205 and the prism 206 which are integral optical means can slide is formed in the lower body 201. Further, a cylindrical projection 208 that protrudes substantially perpendicularly toward the outside is formed from the side surface of the lower main body 201, and a lens 209 (third lens) is formed in the cylindrical space formed therein. Is arranged. On the other hand, in the upper main body 202, a lens 210 (first lens) having a wide viewing angle is disposed at a position corresponding to the image sensor 204.
In the closed state shown in FIGS. 28A and 28B, an optical image centered on the optical axis ax1 of the lens 210 passes through the lens 205 and is formed on the image sensor 204. Therefore, various aberrations can be made smaller than in the case of the lens 210 alone by making use of the characteristics of the compound lens by the two lenses.

次に、図２８（Ａ）、（Ｂ）に示す閉状態から上部本体２０２を開いて、図２８（Ｃ）に示す開状態にすると、レンズ２０５の光軸ａｘ１を中心とした光画像が撮像素子２０４に結像される。この場合には、上部本体２０２の表示部に撮像素子２０４で撮像された画像がモニター表示される。したがって、ユーザは、表示部の画像をファインダとして見ながら、自分の顔や姿を撮影してメモリに保存したり、リアルタイムで他のカメラ付き携帯電話装置に送信することができる。   Next, when the upper main body 202 is opened from the closed state shown in FIGS. 28A and 28B to the open state shown in FIG. 28C, an optical image centered on the optical axis ax1 of the lens 205 is captured. An image is formed on the element 204. In this case, the image captured by the image sensor 204 is displayed on the monitor on the display unit of the upper body 202. Therefore, the user can take a picture of his / her face and figure and store them in a memory while viewing the image on the display unit as a viewfinder, or can transmit the image to another mobile phone device with a camera in real time.

下部本体２０１の側面からは、図２８（Ａ）に示すように、スライドレバー２１２（操作手段）が突き出ているが、これは一体成形された光学手段であるレンズ２０５およびプリズム２０６をスライドさせるためのものである。すなわち、図２８（Ｃ）の状態からスライドレバー２１２をヒンジ部２０３と反対側にスライドすると、一体成形されたレンズ２０５およびプリズム２０６が空間２０７内をスライドして、図２８（Ｄ）に示すように、プリズム２０６が撮像素子２０４に対応する位置になる。この場合には、突起部２０８内に配置したレンズ２０９の光軸ａｘ２を中心とした光画像がプリズム２０６で直角に反射して撮像素子２０４に結像される。したがって、レンズ２０９を焦点距離の長い望遠型のレンズで構成することにより、従来のカメラ付き携帯電話装置に比較して、より遠方の風景や人物を撮影することができる。   As shown in FIG. 28 (A), a slide lever 212 (operation means) protrudes from the side surface of the lower main body 201 in order to slide the lens 205 and the prism 206, which are integrally formed optical means. belongs to. That is, when the slide lever 212 is slid to the opposite side of the hinge portion 203 from the state of FIG. 28C, the integrally formed lens 205 and prism 206 slide in the space 207, as shown in FIG. In addition, the prism 206 is at a position corresponding to the image sensor 204. In this case, an optical image centered on the optical axis ax <b> 2 of the lens 209 disposed in the protrusion 208 is reflected at a right angle by the prism 206 and formed on the image sensor 204. Therefore, by configuring the lens 209 with a telephoto lens having a long focal length, it is possible to photograph a distant landscape or a person as compared with a conventional mobile phone device with a camera.

図２８（Ａ）において、突起部２０８の内部には、金属製のワイヤ２１１が円筒形状に沿って螺旋状に埋め込まれて成形されている。また、突起部２０８が形成されている側面の他方の端には、伸縮可能なロッドアンテナ２１４が設けられている。ワイヤ２１１は、ロッドアンテナ２１４と協働して、ダイバシティアンテナとしてのヘリカルアンテナの機能を果たすとともに、突起部２０８を機械的に補強している。したがって、突起部２０８に加わるベンディングモーメント（曲げ力）に対して強い構造になっている。このため、突起部２０８に付加レンズ装置を装着することが可能である。   In FIG. 28A, a metal wire 211 is spirally embedded along the cylindrical shape and formed inside the protrusion 208. In addition, an extendable rod antenna 214 is provided at the other end of the side surface on which the protrusion 208 is formed. The wire 211 functions as a helical antenna as a diversity antenna in cooperation with the rod antenna 214, and mechanically reinforces the protrusion 208. Therefore, the structure is strong against bending moment (bending force) applied to the protrusion 208. For this reason, it is possible to attach the additional lens device to the protrusion 208.

図２９は、この突起部２０８にズーム機能を持つ付加レンズ装置３０１を装着した例を示す図である。図２９（Ａ）、（Ｂ）において、付加レンズ装置３０１は、突起部２０８側の部分３０２と外部側の部分３０３とが、ネジ３０５によって回転可能に結合された構造になっている。そして、外部側の部分３０３の内部には、カメラ付き携帯電話装置のレンズ２０９と同一の光軸ａｘ２を持つレンズ３０４が配置されている。したがって、図２９（Ｂ）に示すように、付加レンズ装置３０１のレンズ３０３および突起部２０８内に配置したレンズ２０９の光軸ａｘ２を中心とした光画像が、プリズム２０６で直角に反射して撮像素子２０４に結像される。さらに、レンズ３０４を含む部分３０３を回転操作すると、図２９（Ｃ）に示すように、その部分３０３が前方に移動してズーム機能を果たすことになる。   FIG. 29 is a diagram illustrating an example in which the additional lens device 301 having a zoom function is attached to the protrusion 208. 29A and 29B, the additional lens device 301 has a structure in which a portion 302 on the protrusion 208 side and a portion 303 on the external side are rotatably coupled by a screw 305. A lens 304 having the same optical axis ax2 as that of the lens 209 of the camera-equipped mobile phone device is disposed inside the outer portion 303. Therefore, as shown in FIG. 29B, the optical image centered on the optical axis ax2 of the lens 209 of the additional lens device 301 and the lens 209 disposed in the protrusion 208 is reflected by the prism 206 at a right angle and is captured. An image is formed on the element 204. Further, when the portion 303 including the lens 304 is rotated, as shown in FIG. 29C, the portion 303 moves forward to perform a zoom function.

このように、第３実施形態におけるカメラ付き携帯電話装置によれば、共通の撮像素子２０４を用いて、焦点距離の異なるレンズから近い被写体も遠い被写体も撮像することにより、コストダウンおよび機能の充実を図ることができるので、安価な電子楽器装置および仮想楽器の演奏方法の実施が可能になる。さらに、付加レンズ装置３０１を装着することによって、ディジタルカメラやビデオカメラと匹敵するような、極めて遠方の風景や人物を撮影することができるので、この優れた機能の充実によってユーザの要求を満たすことで販路の拡大が期待でき、一層の量産化によってコストダウンを図ることができる。   As described above, according to the camera-equipped mobile phone device of the third embodiment, the common imaging element 204 is used to capture both near and far subjects from lenses with different focal lengths, thereby reducing costs and enhancing functions. Therefore, it is possible to implement an inexpensive electronic musical instrument device and virtual musical instrument playing method. Furthermore, by attaching the additional lens device 301, it is possible to take pictures of extremely distant scenery and people that are comparable to digital cameras and video cameras. The expansion of sales channels can be expected, and cost reduction can be achieved by further mass production.

この場合において、図２８（Ａ）に示したように、上部本体２０２の上面には、表示部２１３が設けられているので、カメラ付き携帯電話装置の内部に、撮像素子２０４から出力される撮像信号による画像の輪郭を検出するエッジ検出回路を設けることにより、付加レンズ装置３０１のズーム機能によるピントの状態を表示部２１３に表示することができ、特定のマーク画像などによってピントが合ったことをユーザに通知できる。   In this case, as shown in FIG. 28A, since the display unit 213 is provided on the upper surface of the upper main body 202, an image output from the image sensor 204 is provided inside the camera-equipped mobile phone device. By providing an edge detection circuit that detects the contour of the image based on the signal, the focus state by the zoom function of the additional lens device 301 can be displayed on the display unit 213, and the fact that the focus is achieved by a specific mark image or the like. Can notify the user.

図３０は、第３実施形態の変形例におけるカメラ付き携帯電話装置の光学系の部材を示している。他の構成については、第３実施形態と同じであるので、図面および説明を省略する。
図３０（Ａ）は、一体成形された光学手段４００の外観図であり、図３０（Ｂ）および図３０（Ｃ）は、それぞれ図３０（Ａ）におけるＸ−Ｘ線に沿って、図の左側の部分４００ａおよび右側の部分４００ｂを見た場合の断面図である。また、図３０（Ｄ）は、図３０（Ｂ）および図３０（Ｃ）におけるＹ−Ｙ線に沿った断面図、すなわち、図３０（Ａ）における縦割の断面図である。図３０（Ｄ）に示すように、この光学手段４００は、レンズ４０１（第３のレンズ）、レンズ４０２（第２のレンズ）、およびプリズム４０３（光反射部材）が高い透明度の樹脂又はガラスで一体成形されている。なお、仮想のドラム演奏を行う電子楽器装置のためのレンズ（第１のレンズ）は、第３実施形態の構成と同じであるので、図面および説明は省略する。 FIG. 30 shows members of the optical system of the camera-equipped mobile phone device according to the modification of the third embodiment. Since other configurations are the same as those of the third embodiment, the drawings and description are omitted.
30A is an external view of the integrally molded optical means 400, and FIGS. 30B and 30C are respectively taken along line XX in FIG. 30A. It is sectional drawing at the time of seeing the left part 400a and the right part 400b. FIG. 30D is a cross-sectional view taken along line YY in FIGS. 30B and 30C, that is, a vertical cross-sectional view in FIG. As shown in FIG. 30D, this optical means 400 is made of a highly transparent resin or glass having a lens 401 (third lens), a lens 402 (second lens), and a prism 403 (light reflecting member). It is integrally molded. Note that the lens (first lens) for the electronic musical instrument device that performs the virtual drum performance is the same as the configuration of the third embodiment, and thus the drawings and description are omitted.

図３１は、図３０の光学手段４００をカメラ付き携帯電話装置の収容手段４０５にスライド可能な状態で組み込んだ図である。この図において、図２８および図２９に示した撮像素子２０４と同じものが、カメラ付き携帯電話装置内に配置されている。図３１（Ａ）の状態においては、撮像素子２０４に対応する位置にはレンズ４０２がある。また、レンズ４０１を形成している部分４００ｂがカメラ付き携帯電話装置から外部に突き出た状態になっている。したがって、レンズ４０２の光軸ａｘ１を中心とした光画像が撮像素子２０４に結像される。次に、部分４００ｂを外部に向けて引き出した場合には、図３１（Ｂ）に示すように、撮像素子２０４に対応する位置にはプリズム４０３がある。したがって、レンズ４０１の光軸ａｘ２を中心とした光画像が、プリズム４０３で直角に反射して撮像素子２０４に結像される。   FIG. 31 is a view in which the optical means 400 of FIG. 30 is incorporated in the housing means 405 of the camera-equipped mobile phone device in a slidable state. In this figure, the same image sensor 204 as shown in FIGS. 28 and 29 is arranged in the camera-equipped mobile phone device. In the state of FIG. 31A, the lens 402 is located at a position corresponding to the image sensor 204. Further, the portion 400b forming the lens 401 protrudes from the camera-equipped mobile phone device to the outside. Therefore, an optical image centered on the optical axis ax1 of the lens 402 is formed on the image sensor 204. Next, when the portion 400b is pulled out, the prism 403 is located at a position corresponding to the imaging element 204 as shown in FIG. Therefore, an optical image centered on the optical axis ax2 of the lens 401 is reflected at a right angle by the prism 403 and formed on the image sensor 204.

このように、第３実施形態の変形例におけるカメラ付き携帯電話装置によれば、共通の撮像素子２０４を用いて、焦点距離の異なるレンズから近い被写体も遠い被写体も撮像することにより、コストダウンおよび機能の充実を図ることができるので、安価な電子楽器装置および仮想楽器の演奏方法の実施が可能になる。さらに、焦点距離の異なる２つのレンズ４０１、４０２、およびプリズム４０３を高い透明度の樹脂又はガラスで一体成形しているので、極めて簡単な構造であるとともに、光軸の誤差を極めて小さくすることができる。
なお、この変形例においても、レンズ４０１を形成している部分４００ｂの外側を金属又は硬質の樹脂でカバーすれば、付加レンズ装置を装着できるので、ディジタルカメラやビデオカメラと匹敵するような、極めて遠方の風景や人物を撮影することができる。 As described above, according to the mobile phone device with a camera according to the modification of the third embodiment, by using the common image sensor 204, it is possible to reduce the cost and cost by imaging both near and far subjects from lenses having different focal lengths. Since the functions can be enhanced, it is possible to implement an inexpensive electronic musical instrument device and virtual musical instrument playing method. Further, since the two lenses 401 and 402 and the prism 403 having different focal lengths are integrally formed of a highly transparent resin or glass, the optical axis error can be extremely reduced with an extremely simple structure. .
Even in this modification, since the additional lens device can be mounted by covering the outside of the portion 400b forming the lens 401 with metal or hard resin, it is extremely comparable to a digital camera or video camera. You can take pictures of distant scenery and people.

以上のように、上記第１実施形態ないし第３実施形態および変形例におけるカメラ付き携帯電話装置は、共通の撮像素子を用いて、焦点距離の異なるレンズから近い被写体も遠い被写体も撮像することにより、コストダウンおよび機能の充実を図ることができるので、安価な電子楽器装置および仮想楽器の演奏方法の実施に使用することが可能になる。   As described above, the camera-equipped mobile phone device in the first to third embodiments and the modified examples uses a common image sensor to capture both near and far subjects from lenses with different focal lengths. Since the cost can be reduced and the functions can be enhanced, the electronic musical instrument device and the virtual musical instrument can be used in the implementation of the inexpensive musical instrument device.

特に、第３実施形態におけるカメラ付き携帯電話装置は、上部本体２０２の所定の位置に設けられた広い視野角のレンズ２１０と、下部本体２０１に設けられた空間に収容され、レンズ２０５およびプリズム２０６が一体化された光学手段と、下部本体２０１のアンテナが形成される側面から外部に向かってほぼ垂直に突き出た円筒形状で、下部本体２０１設けられた空間に連通する空間を内部に有する突起部２０８と、この突起部２０８の空間の所定位置に設けられたレンズ２０９と、一体成形の光学手段であるレンズ２０５およびプリズム２０６を操作に応じて突起部２０８側の位置又は下部本体２０１側の位置に移動させるスライドレバー２１２と、下部本体２０１と上部本体２０２とが閉状態で、且つ、レンズ２０５およびプリズム２０６が突起部２０８側の位置にある場合には、レンズ２１０およびレンズ２０５によって結像される光画像を電気信号に変換して撮像信号として出力し、下部本体２０１と上部本体２０２とが開状態で、且つ、レンズ２０５およびプリズム２０６が突起部２０８側の位置にある場合には、レンズ２０５によって結像される光画像を電気信号に変換して撮像信号として出力し、レンズ２０５およびプリズム２０６が下部本体２０１側の位置にある場合には、レンズ２０９から入射してプリズム２０６によって反射して結像された光画像を電気信号に変換して撮像信号として出力する撮像素子２０４と、を備えた構成になっているので、焦点距離の異なるレンズから近い被写体も遠い被写体も共通の撮像素子２０４で撮像することにより、カメラ付き携帯電話装置のコストダウンおよび機能の充実を図ることができる。   Particularly, the camera-equipped mobile phone device according to the third embodiment is accommodated in a lens 210 having a wide viewing angle provided at a predetermined position of the upper body 202 and a space provided in the lower body 201. Is a cylindrical portion projecting substantially perpendicularly from the side surface on which the antenna of the lower main body 201 is formed to the outside, and a protrusion having an internal space communicating with the space provided in the lower main body 201 208, the lens 209 provided at a predetermined position in the space of the protrusion 208, and the lens 205 and the prism 206, which are integrally formed optical means, are positioned on the protrusion 208 side or on the lower body 201 side depending on the operation. The slide lever 212 to be moved to the position, the lower main body 201 and the upper main body 202 are closed, and the lens 205 and the prism When 06 is in the position on the projection 208 side, the optical image formed by the lens 210 and the lens 205 is converted into an electrical signal and output as an imaging signal, and the lower body 201 and the upper body 202 are opened. In addition, when the lens 205 and the prism 206 are located on the projection 208 side, the optical image formed by the lens 205 is converted into an electrical signal and output as an imaging signal. The lens 205 and the prism 206 And an imaging element 204 that converts the optical image formed by being incident from the lens 209 and reflected by the prism 206 into an electrical signal and outputting it as an imaging signal. Since the camera is configured so that a subject that is near and far from a lens with a different focal length is imaged by the common image sensor 204, the camera is Enhance the cost down and the function of the mobile telephone device attached can be achieved.

また、第３実施形態の変形例におけるカメラ付き携帯電話装置は、上部本体２０２の所定の位置に設けられた広い視野角のレンズ２１０と、下部本体２０１においてスイッチ部を有する面に対してほぼ垂直方向の光軸を持つのレンズ４０２、下部本体２０１のアンテナが形成される側面から外部に向かってほぼ垂直に突き出た部分に形成されて当該側面に対してほぼ垂直方向の光軸を持つレンズ４０１、レンズ４０１から入射する光をほぼ直角に反射するプリズム４０３とが一体化された光学手段４００と、下部本体２０１において、操作に応じて光学手段４００を下部本体２０１側の位置又は外部側の位置に、レンズ４０１の光軸方向にスライド可能に収容する収容手段４０５と、下部本体２０１と上部本体２０２とが閉状態で、且つ、光学手段４００が下部本体２０１側の位置にある場合には、レンズ２１０およびレンズ４０２によって結像される光画像を電気信号に変換して撮像信号として出力し、下部本体２０１と上部本体２０２とが開状態で、且つ、光学手段４００が下部本体２０１側の位置にある場合には、レンズ４０２によって結像される光画像を電気信号に変換して撮像信号として出力し、光学手段４００が外部側の位置にある場合には、レンズ４０１から入射してプリズム４０３によって反射して結像された光画像を電気信号に変換して撮像信号として出力する撮像素子２０４と、を備えた構成になっているので、焦点距離の異なるレンズから近い被写体も遠い被写体も共通の撮像素子２０４で撮像することにより、カメラ付き携帯電話装置のコストダウンおよび機能の充実を図ることができる。   In addition, the camera-equipped mobile phone device according to the modification of the third embodiment is substantially perpendicular to the lens 210 having a wide viewing angle provided at a predetermined position of the upper body 202 and the surface of the lower body 201 having the switch unit. A lens 402 having an optical axis in the direction, and a lens 401 having an optical axis substantially perpendicular to the side surface formed on a portion of the lower body 201 that protrudes substantially perpendicularly from the side surface on which the antenna is formed. In the lower body 201, the optical means 400 integrated with the prism 403 that reflects light incident from the lens 401 at a substantially right angle and the position of the optical body 400 on the lower body 201 side or the outer side depending on the operation. In addition, the accommodating means 405 that accommodates the lens 401 so as to be slidable in the optical axis direction, the lower main body 201 and the upper main body 202 are closed, and the light When the means 400 is located on the lower body 201 side, the optical image formed by the lens 210 and the lens 402 is converted into an electrical signal and output as an imaging signal, and the lower body 201 and the upper body 202 are opened. When the optical unit 400 is in a position on the lower main body 201 side, the optical image formed by the lens 402 is converted into an electrical signal and output as an imaging signal. And an imaging element 204 that converts an optical image incident from the lens 401 and reflected by the prism 403 into an electrical signal and outputs it as an imaging signal. Therefore, by capturing an image of a subject close to and distant from a lens having a different focal length with the common image sensor 204, the cost of the camera-equipped mobile phone device can be reduced. It is possible to enhance its function.

この第３実施形態の他の変形例として、光学手段４００のレンズ４０１を広角レンズ又は魚眼レンズのように至近距離を撮れるようなレンズで構成してもよい。そして、このカメラ付き携帯電話装置５をヘッドホン７に取り付けるようにする。図３２は、ヘッドホン７にカメラ付き携帯電話装置５を取り付けた状態を示す図である。この図において、ヘッドホン７には、キャリアケース７ｂが取り付けられ、カメラ付き携帯電話装置５が光学手段４００およびスイッチ２１５を露出した状態で収容されている。この場合においては、カメラ付き携帯電話装置５からヘッドホン７への信号の送信は、赤外線による無線通信によって行う。この場合には、カメラ付き携帯電話装置５のカメラアングルが高くなるので、スティックの画像よりも手首や腕に付けた球形の物のほうが検出を容易にできる。さらに、手若しくは腕および脚に付ける球形の物の色を身体の部位ごとに異なる色にしてもよい。この場合には、各部位の識別が容易になる。
したがって、この第３実施形態の他の変形例においても、第１実施形態の場合と同様の効果が得られる。 As another modified example of the third embodiment, the lens 401 of the optical unit 400 may be configured with a lens that can take a close distance, such as a wide-angle lens or a fish-eye lens. The camera-equipped mobile phone device 5 is attached to the headphones 7. FIG. 32 is a diagram showing a state in which the camera-equipped mobile phone device 5 is attached to the headphones 7. In this figure, a carrier case 7 b is attached to the headphones 7, and the camera-equipped mobile phone device 5 is accommodated with the optical means 400 and the switch 215 exposed. In this case, transmission of a signal from the camera-equipped cellular phone device 5 to the headphones 7 is performed by wireless communication using infrared rays. In this case, since the camera angle of the camera-equipped mobile phone device 5 is increased, the spherical object attached to the wrist or arm can be detected more easily than the stick image. Further, the color of the spherical object attached to the hand or arm and leg may be different for each part of the body. In this case, each part can be easily identified.
Therefore, in the other modified example of the third embodiment, the same effect as in the first embodiment can be obtained.

次に、本発明による電子楽器装置の他の実施形態について説明する。図３３は、他の実施形態における電子楽器装置を演奏者が使用する状態を示す図である。この図において、図１および図２４に示した第１実施形態および第２実施形態の構成と同じものは、同一の符号で表している。ヘッドホン７には、専用のカメラ部１２１が設けられている。そして、演奏者１００の右手１０１、左手１０２、右脚１０３、および左脚１０４には、それぞれ色彩が異なる球１２２、１２３、１２４、および１２５が取り付けられている。この場合において、このヘッドホン７は携帯電話装置と協働して電子楽器装置を構成する。   Next, another embodiment of the electronic musical instrument device according to the present invention will be described. FIG. 33 is a diagram illustrating a state in which a player uses an electronic musical instrument device according to another embodiment. In this figure, the same components as those in the first embodiment and the second embodiment shown in FIGS. 1 and 24 are denoted by the same reference numerals. The headphone 7 is provided with a dedicated camera unit 121. Further, spheres 122, 123, 124, and 125 having different colors are attached to the right hand 101, the left hand 102, the right leg 103, and the left leg 104 of the player 100. In this case, the headphones 7 constitute an electronic musical instrument device in cooperation with the mobile phone device.

図３４は、この実施形態におけるヘッドホン７の構成を示すブロック図である。この図において、ＣＰＵ７１は、システムバスを介して、ＲＯＭ７２、ＲＡＭ７３、ブルートゥース（Bluetooth）通信部７４、カメラ部１２１、フラッシュメモリ７５、音声出力インタフェース７６に接続されている。ＣＰＵ７１は、第１実施形態における電子楽器装置が行っていた画像処理を担うことになる。このため、ＲＯＭ７２には画像処理のプログラムが記憶されており、ＣＰＵ７１がそのプログラムを実行するのであるが、上記したように、このヘッドホン７は仮想のドラム演奏を行うための専用の電子楽器装置であるので、実際には、ソフトウェアによる画像処理でなく、専用のＬＳＩによるハードウェアで高速の画像処理を行う。しかし、画像処理をソフトウェアで行うにせよ又は専用のハードウェアで行うにせよ、基本的な動作については同じであるので、第１実施形態における仮想のドラム演奏の説明に合わせて、画像処理をソフトウェアで行うものと見なして、図３４のような構成に基づいてこの実施形態を説明することにする。   FIG. 34 is a block diagram showing the configuration of the headphones 7 in this embodiment. In this figure, a CPU 71 is connected to a ROM 72, a RAM 73, a Bluetooth communication unit 74, a camera unit 121, a flash memory 75, and an audio output interface 76 via a system bus. The CPU 71 is responsible for image processing performed by the electronic musical instrument device according to the first embodiment. For this reason, the ROM 72 stores an image processing program, and the CPU 71 executes the program. As described above, the headphones 7 are dedicated electronic musical instrument devices for performing virtual drum performances. Therefore, in practice, high-speed image processing is performed not by software image processing but by hardware using a dedicated LSI. However, whether the image processing is performed by software or by dedicated hardware, the basic operation is the same. Therefore, in accordance with the description of the virtual drum performance in the first embodiment, the image processing is performed by software. This embodiment will be described based on the configuration shown in FIG.

ＲＡＭ７３、カメラ部１２１、フラッシュメモリ７５の機能については、第１実施形態の場合とほぼ同じである。ブルートゥース通信部７４は、携帯電話装置との間でブルートゥースの無線通信によってデータの送受信を行う。音声出力インタフェース７６は、携帯電話装置から送られてくる音声信号をディジタルからアナログのステレオ音声信号に変換してアンプ７７に出力する。アンプ７７は、例えば、カメラ部１２１と反対側の部分に設けられているボリューム７８の調整に応じた増幅率で、ステレオ音声信号を増幅して左右のスピーカ７９Ｌ、７９Ｒで発音する。   The functions of the RAM 73, the camera unit 121, and the flash memory 75 are almost the same as those in the first embodiment. The Bluetooth communication unit 74 transmits and receives data to and from the mobile phone device by Bluetooth wireless communication. The audio output interface 76 converts the audio signal sent from the mobile phone device from digital to analog stereo audio signal and outputs it to the amplifier 77. The amplifier 77, for example, amplifies the stereo audio signal with an amplification factor according to the adjustment of the volume 78 provided in the part opposite to the camera unit 121, and generates sound from the left and right speakers 79L and 79R.

図３５は、図３４のＣＰＵ７１の動作を示すフローチャートである。携帯電話装置との間でブルートゥースによる通信処理を行って（ステップＳＧ１）、ドラム演奏のスタート指令を受信したか否かを判別する（ステップＳＧ２）。スタート指令を受信したときは、画像処理を実行する（ステップＳＧ３）。次に、電源電圧のチェックなどのその他の処理を行う（ステップＳＧ４）。画像処理などの実行中では、携帯電話装置からストップ指令を受信したか否かを判別し（ステップＳＧ５）、ストップ指令を受信しない場合には、ステップＳＧ１に移行して上記各処理を繰り返すが、ストップ指令を受信したときは、このフローチャートを終了する。   FIG. 35 is a flowchart showing the operation of the CPU 71 of FIG. A communication process using Bluetooth is performed with the mobile phone device (step SG1), and it is determined whether or not a drum performance start command is received (step SG2). When a start command is received, image processing is executed (step SG3). Next, other processing such as power supply voltage check is performed (step SG4). During execution of image processing or the like, it is determined whether or not a stop command has been received from the mobile phone device (step SG5). If no stop command is received, the process proceeds to step SG1 and the above processes are repeated. When the stop command is received, this flowchart is terminated.

このように、ヘッドホン７によって画像処理を行うので、携帯電話装置のドラム処理では画像処理は行わず、音声処理、通信処理などを行う。なお、携帯電話装置におけるメインルーチン、ドラム設定処理の動作については、図５および図６に示した第１実施形態のメインルーチン、図８および図９に示した第１実施形態のドラム設定処理の動作と同じである。すなわち、この実施形態においても、ドラム演奏の設定は携帯電話装置側で行われる。図３５は、この実施形態における携帯電話装置のドラム処理のフローチャートである。図１４のフローチャートと比較すると、ステップＳＣ５においては画像処理の代わりに通信処理を行うようになっている。   As described above, since the image processing is performed by the headphones 7, the image processing is not performed in the drum processing of the mobile phone device, and the sound processing, the communication processing, and the like are performed. The operations of the main routine and the drum setting process in the cellular phone device are the same as the main routine of the first embodiment shown in FIGS. 5 and 6 and the drum setting process of the first embodiment shown in FIGS. Same as operation. That is, also in this embodiment, the drum performance setting is performed on the mobile phone device side. FIG. 35 is a flowchart of drum processing of the mobile phone device in this embodiment. Compared with the flowchart of FIG. 14, in step SC5, communication processing is performed instead of image processing.

この通信処理において、図１５に示した第１実施形態の音声処理のステップＳＤ７においては、ｍの部位でＤ（ｎ）を演奏する旨の音声メッセージは、携帯電話装置からブルートゥースの無線信号によってヘッドホン７に送信される。また、ステップＳＤ１０におけるＤＦ（ｍ，ｎ）＝０のデータはヘッドホン７から受信する。一方、ヘッドホン７においても、携帯電話装置から受信したｍの部位でＤ（ｎ）を演奏する旨の音声メッセージに応じて、図１６に示した画像処理のステップＳＥ８で動線を検出すると、その検出データを携帯電話装置に送信し、その検出データに応じて携帯電話装置から受信したＤ（ｎ）の音色のリズム音信号を音声出力インタフェース７６によってアンプ７７に出力して発音する。また、ステップＳＥ１４におけるＤＦ（ｍ，ｎ）を携帯電話装置に送信する。
したがって、この実施形態による電子楽器装置おいても、第１実施形態における電子楽器装置と同様の効果が得られる。 In this communication process, in step SD7 of the voice process of the first embodiment shown in FIG. 15, a voice message indicating that D (n) is played at the part m is sent from the mobile phone device to the headphones by a Bluetooth radio signal. 7 is transmitted. Further, data of DF (m, n) = 0 in step SD10 is received from the headphones 7. On the other hand, in the headphone 7, when a flow line is detected in step SE8 of the image processing shown in FIG. 16 in response to the voice message indicating that D (n) is played at the part m received from the mobile phone device, The detection data is transmitted to the mobile phone device, and the rhythm sound signal of the tone color D (n) received from the mobile phone device according to the detection data is output to the amplifier 77 by the audio output interface 76 to generate a sound. Also, DF (m, n) in step SE14 is transmitted to the mobile phone device.
Therefore, the electronic musical instrument device according to this embodiment can achieve the same effects as the electronic musical instrument device according to the first embodiment.

図１に示した第１実施形態においては、カメラ付き携帯電話装置５のヘッドホン端子からヘッドホン７に対して、信号線によってリズム音信号を出力する構成にしたが、第１実施形態の変形例としての電子楽器装置では、カメラ付き携帯電話装置にブルートゥース通信機能又は赤外線通信機能を持たせることにより、カメラ付き携帯電話装置からヘッドホン７に対して、無線信号によってリズム音信号を送信する構成も可能である。   In the first embodiment shown in FIG. 1, the rhythm sound signal is output from the headphone terminal of the camera-equipped mobile phone device 5 to the headphone 7 through the signal line. However, as a modification of the first embodiment, FIG. In this electronic musical instrument device, a rhythm sound signal can be transmitted by radio signal from the camera-equipped mobile phone device to the headphones 7 by providing the camera-equipped mobile phone device with the Bluetooth communication function or the infrared communication function. is there.

図３７（Ａ）は、無線信号によってリズム音信号を送信する場合に、電子楽器装置を演奏者が使用する状態を示す第１実施形態の変形例の図である。図３７（Ａ）において、カメラ付き携帯電話装置５は、充電の際にＡＣアダプタ（図示せず）と接続される卓上ホルダ１１５に装着されており、ωの視野角のレンズ（図示せず）によって前方（図の右側）を撮像できる状態で、本箱や机などの家具１１６の上に配置されている。演奏者１００は、カメラ付き携帯電話装置５のカメラに向かって座り、右手および左手にスティック１および２を持つとともに、右足および左足にスリッパ１０８および１０９を履き、スティック１および２と両足で仮想のドラム演奏を行う。スティック１および２の先端部１ａおよび２ａは、第１実施形態と同様に特定の色（この場合は黒）に着色されている。一方、第１実施形態においては演奏者１００の脚部に取り付けられていた黒球３および４は、この実施形態ではスリッパ１０８および１０９の先端部に取り付けられている。
また、第１実施形態と同様に、演奏者の頭部にはヘッドホン７が装着されているが、この場合のヘッドホン７は、カメラ付き携帯電話装置５からの無線信号を受信するデータ受信機能を備えており、ヘッドホン７を頭部に固定する支持部材７ｂがアンテナの機能を兼用している。他の構成については第１実施形態と同じである。
図３７（Ａ）において、演奏者１００の後方には、収納棚１１７、この上に置かれた時計１１８、壁に掛けられた額１１９がある。すなわち、演奏者１００は、このような狭い部屋の中で仮想のドラム演奏を行っている。したがって、カメラ付き携帯電話装置５は、１メートルないし２メートル程度の距離で演奏者１００を撮像する状態になっている。 FIG. 37A is a diagram of a modification of the first embodiment showing a state in which a player uses an electronic musical instrument device when a rhythm sound signal is transmitted by a wireless signal. In FIG. 37 (A), the camera-equipped mobile phone device 5 is attached to a desktop holder 115 connected to an AC adapter (not shown) at the time of charging, and a lens having a viewing angle of ω (not shown). Is placed on furniture 116 such as a bookcase or a desk in a state where the front (right side in the figure) can be imaged. The performer 100 sits toward the camera of the mobile phone device 5 with the camera, has the sticks 1 and 2 on the right hand and the left hand, wears slippers 108 and 109 on the right foot and the left foot, and is virtual with the sticks 1 and 2 and both feet. Play a drum. The tip portions 1a and 2a of the sticks 1 and 2 are colored in a specific color (in this case, black) as in the first embodiment. On the other hand, the black balls 3 and 4 attached to the legs of the performer 100 in the first embodiment are attached to the tips of the slippers 108 and 109 in this embodiment.
As in the first embodiment, the headphone 7 is attached to the performer's head. In this case, the headphone 7 has a data receiving function for receiving a radio signal from the camera-equipped mobile phone device 5. And a support member 7b for fixing the headphones 7 to the head also serves as an antenna. Other configurations are the same as those in the first embodiment.
In FIG. 37A, behind the performer 100, there is a storage shelf 117, a clock 118 placed thereon, and a forehead 119 hung on the wall. That is, the performer 100 performs a virtual drum performance in such a small room. Therefore, the camera-equipped mobile phone device 5 is in a state of imaging the performer 100 at a distance of about 1 meter to 2 meters.

図３７（Ｂ）は、カメラ付き携帯電話装置５によって撮像された演奏者１００および後方の収納棚１１７などの画像を示す図である。なお、平成１６年７月の時点で市販されている大半のカメラ付き携帯電話装置によれば、被写体から１メートルないし２メートル程度の距離で撮像される画像をＬＣＤなどの表示部に表示した場合には、その画像が図３７（Ｂ）に示す状態になることは、発明者によって実証されている。
したがって、第１実施形態と同様に、図１８に示した画像の中から、図１９に示した特定画像を抽出するのと同じように、図３７（Ｂ）の画像から特定画像である１ａ、２ａ、３および４の画像を抽出することができる。 FIG. 37 (B) is a diagram showing images of the performer 100, the rear storage shelf 117, and the like captured by the camera-equipped mobile phone device 5. According to most camera-equipped mobile phone devices commercially available as of July 2004, when an image captured at a distance of about 1 to 2 meters from the subject is displayed on a display unit such as an LCD. It has been proved by the inventor that the image becomes the state shown in FIG.
Therefore, as in the first embodiment, the specific image 1a from the image in FIG. 37B is extracted in the same manner as the specific image shown in FIG. 19 is extracted from the image shown in FIG. Images 2a, 3 and 4 can be extracted.

したがって、第１実施形態の場合と同様に、この変形例においても、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる。なお、平成１６年７月の時点で、著名な某通信会社から市販されているカメラ付き携帯電話装置においては、例えば、３５機種の中で２６機種には既に赤外線通信機能が搭載されている。なおまた、ブルートゥース通信機能についても、パソコンなどのＩＴ分野において既に実用化されており、近い将来においてはカメラ付き携帯電話装置に搭載できることが予想され得る。さらに、ヘッドホン７に赤外線通信又はブルートゥース通信を利用したデータ通信機能を容易に付加できることは、改めて記述するまでもなく明らかである。   Therefore, as in the case of the first embodiment, this modified example can be played with the same feeling as an actual drum, and can also be played in a narrow place. As of July 2004, in the mobile phone device with a camera marketed by a well-known Sakai communication company, for example, 26 out of 35 models are already equipped with an infrared communication function. Further, the Bluetooth communication function has already been put into practical use in the IT field such as a personal computer, and it can be expected that it can be installed in a camera-equipped mobile phone device in the near future. Further, it is obvious that the data communication function using infrared communication or Bluetooth communication can be easily added to the headphones 7 without needing to be described again.

なお、上記各実施形態においては、電子楽器演奏装置および仮想楽器の演奏方法について説明したが、仮想楽器の演奏処理のプログラムをインターネットなどのネットワークを介してダウンロードしたり、仮想楽器の演奏処理のプログラムを記録した記録媒体をカメラ付き携帯電話装置に装着して、そのプログラムを実行させることも可能である。この場合には、プログラムの発明およびプログラムを記録した記録媒体の発明を実現する。
すなわち、その仮想楽器の演奏処理のプログラムは、複数種類の仮想の打楽器を演奏するために、所定の撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出する第１のステップと、前記第１のステップによって抽出した特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定する第２のステップと、
前記第２のステップによって判定した仮想楽器の音色のリズム音信号を発生する第３のステップと、を実行する。
また、その記録媒体は、複数種類の仮想の打楽器を演奏するために、所定の撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出する第１のステップと、前記第１のステップによって抽出した特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定する第２のステップと、前記第２のステップによって判定した仮想楽器の音色のリズム音信号を発生する第３のステップと、を実行する仮想楽器の演奏処理のプログラムを記録している。 In the above embodiments, the electronic musical instrument performance device and the virtual instrument performance method have been described. However, a virtual instrument performance processing program can be downloaded via a network such as the Internet, or a virtual instrument performance processing program can be downloaded. It is also possible to mount the recording medium on which the camera is recorded on the camera-equipped mobile phone device and execute the program. In this case, the invention of the program and the invention of the recording medium on which the program is recorded are realized.
That is, the virtual instrument performance processing program obtains one or more types of specific images set in advance from images captured by a predetermined imaging means in order to perform a plurality of types of virtual percussion instruments. A first step of extracting; a second step of analyzing a motion vector of the specific image extracted by the first step and determining a virtual instrument preset for the specific image;
And a third step of generating a rhythm sound signal of the timbre of the virtual musical instrument determined in the second step.
Further, the recording medium extracts a first type or a plurality of types of specific images set in advance from images captured by a predetermined imaging unit in order to play a plurality of types of virtual percussion instruments. A second step of analyzing a motion vector of the specific image extracted in the first step, and determining a virtual instrument preset for the specific image, and a determination by the second step. A virtual instrument performance processing program for executing the third step of generating a rhythm sound signal of the timbre of the virtual instrument is recorded.

第１実施形態における電子楽器装置を演奏者が使用する状態を示す図である。It is a figure which shows the state which a player uses the electronic musical instrument apparatus in 1st Embodiment. 図１に示したキャリアケースに収容されたカメラ付き携帯電話装置を示す図である。It is a figure which shows the mobile telephone apparatus with a camera accommodated in the carrier case shown in FIG. カメラ付き携帯電話装置の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the mobile telephone apparatus with a camera. ヘッドホンの内部構成を示すブロック図である。It is a block diagram which shows the internal structure of headphones. ＣＰＵのメインルーチンのフローチャートである。It is a flowchart of the main routine of CPU. 図５に続くＣＰＵのメインルーチンのフローチャートである。6 is a flowchart of the main routine of the CPU following FIG. （Ａ）はメニュー画面を示す図であり、（Ｂ）はメニュー画面のアイコンに対応するスイッチを示す図である。(A) is a figure which shows a menu screen, (B) is a figure which shows the switch corresponding to the icon of a menu screen. ドラム設定処理のフローチャートである。It is a flowchart of a drum setting process. 図８に続くドラム設定処理のフローチャートである。FIG. 9 is a flowchart of drum setting processing following FIG. 8. FIG. ドラム設定処理における設定画面の内容を示す図である。It is a figure which shows the content of the setting screen in a drum setting process. ドラム演奏の設定画面を示す図である。It is a figure which shows the setting screen of a drum performance. ドラム演奏の決定画面の例を示す図である。It is a figure which shows the example of the determination screen of a drum performance. ＲＡＭに記憶された配列ＡＲのデータの図である。It is a figure of the data of the array AR memorize | stored in RAM. 図９におけるドラム処理のフローチャートである。10 is a flowchart of drum processing in FIG. 9. 図１４における音声処理のフローチャートである。It is a flowchart of the audio | voice process in FIG. 図１４における画像処理のフローチャートである。It is a flowchart of the image processing in FIG. 確定動線の演算処理を説明するための図である。It is a figure for demonstrating the calculation process of a fixed flow line. 任意のドラム演奏の画像を示す図である。It is a figure which shows the image of arbitrary drum performances. フラッシュメモリにストアした特定画像を表す図である。It is a figure showing the specific image stored in the flash memory. 画像分析処理のフローチャートである。It is a flowchart of an image analysis process. 図２０に続く画像分析処理のフローチャートである。FIG. 21 is a flowchart of image analysis processing following FIG. 20. FIG. 図１９のフレーム画像の次のフレーム画像を示す図である。FIG. 20 is a diagram showing a frame image next to the frame image of FIG. 19. 特殊画像について１０フレーム分の各画像の動線を示した図である。It is the figure which showed the flow line of each image for 10 frames about a special image. 第２実施形態における電子楽器装置を演奏者が使用する状態を示す図である。It is a figure which shows the state which a player uses the electronic musical instrument apparatus in 2nd Embodiment. 本発明の電子楽器装置に使用するカメラ付き携帯電話装置の第１実施形態における外観図および断面の一部を示す図である。It is a figure which shows the external view in 1st Embodiment of a mobile telephone apparatus with a camera used for the electronic musical instrument apparatus of this invention, and a part of cross section. 本発明の電子楽器装置に使用するカメラ付き携帯電話装置の第２実施形態における外観図および断面の一部を示す図である。It is a figure which shows the external view and 2nd part of a cross section in 2nd Embodiment of the mobile telephone apparatus with a camera used for the electronic musical instrument apparatus of this invention. 本発明の電子楽器装置に使用するカメラ付き携帯電話装置の第２実施形態における外観図および断面の一部を示す図である。It is a figure which shows the external view and 2nd part of a cross section in 2nd Embodiment of the mobile telephone apparatus with a camera used for the electronic musical instrument apparatus of this invention. 本発明の電子楽器装置に使用するカメラ付き携帯電話装置の第３実施形態における外観図および断面の一部を示す図である。It is a figure which shows the external view and 3rd part of a cross section in 3rd Embodiment of the mobile telephone apparatus with a camera used for the electronic musical instrument apparatus of this invention. 図２８のカメラ付き携帯電話装置の突起部に付加レンズ装置を装着した例を示す図である。It is a figure which shows the example which attached the additional lens apparatus to the projection part of the mobile telephone apparatus with a camera of FIG. 本発明の電子楽器装置に使用するカメラ付き携帯電話装置の第３実施形態の変形例における光学手段の構造を示す図である。It is a figure which shows the structure of the optical means in the modification of 3rd Embodiment of the mobile telephone apparatus with a camera used for the electronic musical instrument apparatus of this invention. 図３０の光学手段をカメラ付き携帯電話装置に組み込んだ状態を示す図である。It is a figure which shows the state which integrated the optical means of FIG. 30 in the mobile telephone apparatus with a camera. ヘッドホン７にカメラ付き携帯電話装置５を取り付けた状態を示す図である。It is a figure which shows the state which attached the mobile telephone apparatus 5 with a camera to the headphones 7. FIG. 他の実施形態における電子楽器装置を演奏者が使用する状態を示す図である。It is a figure which shows the state which a player uses the electronic musical instrument apparatus in other embodiment. 他の実施形態におけるヘッドホンの構成を示すブロック図である。It is a block diagram which shows the structure of the headphones in other embodiment. 図３４のＣＰＵの動作を示すフローチャートである。It is a flowchart which shows operation | movement of CPU of FIG. 他の実施形態における携帯電話装置のドラム処理のフローチャートである。It is a flowchart of the drum process of the mobile telephone apparatus in other embodiment. 第１実施形態の変形例における電子楽器装置を演奏者が使用する状態を示す図である。It is a figure which shows the state which a player uses the electronic musical instrument apparatus in the modification of 1st Embodiment.

符号の説明Explanation of symbols

１、２ スティック
１ａ、２ａ スティックの先端部
３、４、１１１、１１２、１１３、１１４ 黒球
５ カメラ付き携帯電話装置
７ ヘッドホン
８、５５、５８、２１０、２０５、３０４、４０１、４０２ レンズ
１１ ＣＰＵ
１７ カメラ部
１８ フラッシュメモリ
１９ 音源部
５１、２０１ 下部本体
５２、２０２ 上部本体
５４、５９、２１３ 表示部
５６、２０４ 撮像素子
２０６、４０３ プリズム
２１１ ヘリカルアンテナ
３０１ 付加レンズ装置
DESCRIPTION OF SYMBOLS 1, 2 Stick 1a, 2a Stick tip 3, 4, 111, 112, 113, 114 Black sphere 5 Mobile phone device with camera 7 Headphone 8, 55, 58, 210, 205, 304, 401, 402 Lens 11 CPU
DESCRIPTION OF SYMBOLS 17 Camera part 18 Flash memory 19 Sound source part 51, 201 Lower main body 52, 202 Upper main body 54, 59, 213 Display part 56, 204 Imaging element 206, 403 Prism 211 Helical antenna 301 Additional lens apparatus

本発明は、このような従来の課題を解決するためになされたもので、実際のドラムと同じように演奏するとともに、狭い場所でも仮想のドラム演奏をすることができる電子楽器装置を安価に提供することを目的とする。
また、本発明は、実際のドラムと同じように演奏するとともに、狭い場所でも仮想のドラム演奏をすることができるように、コンピュータに実行させるプログラムを提供することを目的とする。 The present invention has been made in order to solve such a conventional problem, and provides an electronic musical instrument device that can be played in the same way as an actual drum and can play a virtual drum even in a small place at low cost. The purpose is to do.
Another object of the present invention is to provide a program to be executed by a computer so that a virtual drum performance can be performed in a small place while performing in the same manner as an actual drum.

本発明の電子楽器装置は、カラー画像を撮像する撮像手段と、表示手段と、操作に応じて複数種類の指令を入力する操作手段と、所定の発音手段に対して信号を送信する通信手段と、操作手段から打楽器演奏の指令が入力されたときは、複数種類の打楽器を表示手段に表示し、操作手段から１種類以上の打楽器を選択する指令が入力されたときは、当該選択指令に応じた打楽器を所定の記憶手段に設定する打楽器設定手段と、操作手段から曲を選択する指令が入力されたときは、当該選択された曲を前記記憶手段に設定する曲設定手段と、打楽器設定手段によって設定された打楽器に対して、操作手段からテスト演奏の指令が入力されたときは、当該打楽器から１つの打楽器を順に指定して、当該指定した打楽器のテスト演奏を促す旨の音声信号を発生して通信手段から発音手段に送信して発音させる演奏テスト手段と、演奏テスト手段によって指定された打楽器のテスト演奏を促す旨の音声信号を通信手段から発音手段に送信した後に、あらかじめ設定されている特定の形状および特定の色彩の物体の画像が繰り返し動く動画像の軌跡を撮像手段の撮像によって検出したときは、当該動画像の軌跡を当該指定された打楽器の演奏の基準演奏パターンとして記憶手段に設定する演奏設定手段と、打楽器設定手段によって設定された全ての打楽器の基準演奏パターンが演奏設定手段によって設定されたときは、撮像手段の撮像によって検出した物体の動画像の軌跡が記憶手段に設定されているいずれかの打楽器の基準演奏パターンと一致するか否かを分析する画像分析定手段と、記憶手段に設定された曲のメロディ音の第１の楽音信号を発生するとともに、画像分析手段によって物体の動画像の軌跡が記憶手段に設定されているいずれかの打楽器の基準演奏パターンと一致することが分析されたときは、当該一致する打楽器の音色の第２の楽音信号を発生して、当該第１および第２の楽音信号を通信手段から発音手段に送信して発音させる信号発生手段と、を備えた構成になっている。   An electronic musical instrument apparatus according to the present invention includes an imaging unit that captures a color image, a display unit, an operation unit that inputs a plurality of types of commands according to an operation, and a communication unit that transmits a signal to a predetermined sound generation unit. When a command for percussion instrument performance is input from the operation means, a plurality of types of percussion instruments are displayed on the display means, and when a command for selecting one or more types of percussion instruments is input from the operation means, according to the selection command A percussion instrument setting means for setting the selected percussion instrument in the predetermined storage means; a song setting means for setting the selected song in the storage means when a command for selecting a song is input from the operation means; and a percussion instrument setting means. When a command for performing a test performance is input from the operating means to the percussion instrument set by, a sound indicating that one percussion instrument is sequentially specified from the percussion instrument and the test performance of the designated percussion instrument is urged A performance test means for generating a signal and transmitting the sound from the communication means to the sound generation means, and a sound signal for prompting a test performance of the percussion instrument designated by the performance test means from the communication means to the sound generation means; When a trajectory of a moving image in which an image of an object of a specific shape and a specific color that has been set is repeatedly detected by imaging means, the trajectory of the moving image is used as a reference performance pattern for the performance of the designated percussion instrument When the performance setting means sets the performance setting means set in the storage means and the percussion instrument reference performance patterns set by the percussion instrument setting means, the trajectory of the moving image of the object detected by the imaging means is set. Image analysis and determination means for analyzing whether or not the reference performance pattern of any percussion instrument set in the storage means matches, and storage The first musical tone signal of the melody sound of the music set in the stage is generated, and the locus of the moving image of the object matches the reference performance pattern of any percussion instrument set in the storage means by the image analysis means. Is generated, signal generating means for generating a second musical tone signal of the tone color of the corresponding percussion instrument, and transmitting the first and second musical tone signals from the communication means to the sounding means; It has a configuration with.

本発明のプログラムは、コンピュータに、操作に応じて複数種類の指令を入力するステップＡと、所定の発音手段に対して信号を送信するステップＢと、ステップＡによって打楽器演奏の指令が入力されたときは、複数種類の打楽器を所定の表示手段に表示し、ステップＡによって１種類以上の打楽器を選択する指令が入力されたときは、当該選択指令に応じた打楽器を所定の記憶手段に設定するステップＣと、ステップＡによって曲を選択する指令が入力されたときは、当該選択された曲を記憶手段に設定するステップＤと、ステップＣによって設定された打楽器に対して、ステップＡによってテスト演奏の指令が入力されたときは、当該打楽器から１つの打楽器を順に指定して、当該指定した打楽器のテスト演奏を促す旨の音声信号を発生して所定の通信手段から所定の発音手段に送信して発音させるステップＥと、ステップＥによって指定された打楽器のテスト演奏を促す旨の音声信号を通信手段から発音手段に送信した後に、あらかじめ設定されている特定の形状および特定の色彩の物体の画像が繰り返し動く動画像の軌跡をカラー画像を撮像する所定の撮像手段の撮像によって検出したときは、当該動画像の軌跡を当該指定された打楽器の演奏の基準演奏パターンとして記憶手段に設定するステップＦと、ステップＥによって設定された全ての打楽器の基準演奏パターンがステップＦによって設定されたときは、撮像手段の撮像によって検出した物体の動画像の軌跡が記憶手段に設定されているいずれかの打楽器の基準演奏パターンと一致するか否かを分析するステップＧと、記憶手段に設定された曲のメロディ音の第１の楽音信号を発生するとともに、ステップＧによって物体の動画像の軌跡が記憶手段に設定されているいずれかの打楽器の基準演奏パターンと一致することが分析されたときは、当該一致する打楽器の音色の第２の楽音信号を発生して、当該第１および第２の楽音信号を通信手段から発音手段に送信して発音させるステップＨと、を実行させる構成になっている。   In the program of the present invention, a step A for inputting a plurality of types of commands in response to an operation, a step B for transmitting a signal to a predetermined sounding means, and a command for percussion instrument performance are input by the step A. When a command for selecting one or more types of percussion instrument is input in step A, a percussion instrument corresponding to the selection command is set in a predetermined storage unit. When a command for selecting a song is input in step C and step A, a test performance is performed in step A on the percussion instrument set in step D and step C in which the selected song is set in the storage means. When the command is input, one percussion instrument is designated in order from the percussion instrument, and a sound signal is generated to prompt the test performance of the designated percussion instrument. Then, step E is transmitted from the predetermined communication means to the predetermined sound generation means for sound generation, and an audio signal for prompting the test performance of the percussion instrument designated in step E is transmitted from the communication means to the sound generation means, and then set in advance. When a trajectory of a moving image in which an image of an object having a specific shape and a specific color is repeatedly detected is detected by imaging with a predetermined imaging unit that captures a color image, the trajectory of the moving image is detected by the designated percussion instrument When the reference performance pattern for all percussion instruments set in step E is set in step F as the reference performance pattern for the performance of the above, the moving image of the object detected by the imaging by the imaging means is set in step F Step of analyzing whether or not the trajectory of the sound matches the reference performance pattern of any percussion instrument set in the storage means And the first musical tone signal of the melody sound of the song set in the storage means is generated, and the locus of the moving image of the object matches the reference performance pattern of any percussion instrument set in the storage means in step G When the analysis is performed, a second musical tone signal of the corresponding percussion instrument tone color is generated, and the first musical tone signal and the second musical tone signal are transmitted from the communication means to the sounding means to generate sound H. Are configured to execute.

本発明の電子楽器装置およびプログラムによれば、実際のドラムと同じように演奏するとともに、狭い場所でも仮想のドラム演奏をすることができるという効果が得られる。   According to the electronic musical instrument device and the program of the present invention, it is possible to obtain an effect that a virtual drum performance can be performed even in a narrow place while performing in the same manner as an actual drum.

図３は、カメラ付き携帯電話装置５の内部構成を示すブロック図である。この図において、ＣＰＵ１１（打楽器設定手段、曲設定手段、演奏テスト手段、演奏設定手段、画像分析手段）は、システムバスを介して、ＲＯＭ１２、ＲＡＭ１３、無線送受信部１４、スイッチ部１５（操作手段）、表示部１６（表示手段）、カメラ部１７（撮像手段）、フラッシュメモリ１８（記憶手段）、音源部１９（信号発生手段）、および送信インタフェース２０（通信手段）に接続され、これら各部との間で指令およびデータの授受を行って、この装置全体を制御する。
ＲＯＭ１２は、ＣＰＵ１１によって実行されるプログラムや初期データなどを記憶している。ＲＡＭ１３は、ＣＰＵ１１のワークエリアであり、処理するデータを一時的に記憶するバッファエリア、各種のレジスタ、フラグ、変数のためのエリアが用意されている。無線送受信部１４は、外部の携帯電話装置との間で電話、メール、画像の送受信を行なうとともに、インターネットなどの通信網を介して、楽音データをダウンロードすることができる。スイッチ部１５は、ダイヤル入力用のテンキースイッチ、オフフックスイッチ、オンフックスイッチ、発信スイッチ、メニュースイッチ、カーソルスイッチなどで構成されている。表示部１６は、少なくとも１つのＬＣＤ（液晶表示デバイス）で構成されている。 FIG. 3 is a block diagram showing an internal configuration of the camera-equipped mobile phone device 5. In this figure, a CPU 11 (percussion instrument setting means, music setting means, performance test means, performance setting means, image analysis means) includes a ROM 12, a RAM 13, a wireless transmission / reception unit 14, and a switch unit 15 (operation means) via a system bus. Connected to the display unit 16 (display unit), the camera unit 17 (imaging unit), the flash memory 18 (storage unit), the sound source unit 19 (signal generation unit), and the transmission interface 20 (communication unit). The entire apparatus is controlled by sending and receiving commands and data.
The ROM 12 stores programs executed by the CPU 11 and initial data. The RAM 13 is a work area for the CPU 11 and includes a buffer area for temporarily storing data to be processed and areas for various registers, flags, and variables. The wireless transmission / reception unit 14 can transmit / receive telephone data, mails, and images to / from an external mobile phone device, and can download musical tone data via a communication network such as the Internet. The switch unit 15 includes a numeric keypad for dial input, an off-hook switch, an on-hook switch, a transmission switch, a menu switch, a cursor switch, and the like. The display unit 16 includes at least one LCD (liquid crystal display device).

なお、上記各実施形態においては、携帯電話装置を利用した電子楽器装置について説明したが、実際のドラムと同じように演奏するとともに、狭い場所でも仮想のドラム演奏をすることができるプログラムをインターネットなどのネットワークからダウンロードし、あるいは、外部記憶媒体から読み込んで、携帯電話装置の不揮発性メモリにインストールする構成も可能である。
すなわち、そのプログラムは、コンピュータに、操作に応じて複数種類の指令を入力するステップＡと、所定の発音手段に対して信号を送信するステップＢと、前記ステップＡによって打楽器演奏の指令が入力されたときは、複数種類の打楽器を所定の表示手段に表示し、前記ステップＡによって１種類以上の打楽器を選択する指令が入力されたときは、当該選択指令に応じた打楽器を所定の記憶手段に設定するステップＣと、前記ステップＡによって曲を選択する指令が入力されたときは、当該選択された曲を前記記憶手段に設定するステップＤと、前記ステップＣによって設定された打楽器に対して、前記ステップＡによってテスト演奏の指令が入力されたときは、当該打楽器から１つの打楽器を順に指定して、当該指定した打楽器のテスト演奏を促す旨の音声信号を発生して所定の通信手段から所定の発音手段に送信して発音させるステップＥと、前記ステップＥによって指定された打楽器のテスト演奏を促す旨の音声信号を前記通信手段から前記発音手段に送信した後に、あらかじめ設定されている特定の形状および特定の色彩の物体の画像が繰り返し動く動画像の軌跡をカラー画像を撮像する所定の撮像手段の撮像によって検出したときは、当該動画像の軌跡を当該指定された打楽器の演奏の基準演奏パターンとして前記記憶手段に設定するステップＦと、前記ステップＥによって設定された全ての打楽器の基準演奏パターンが前記ステップＦによって設定されたときは、前記撮像手段の撮像によって検出した前記物体の動画像の軌跡が前記記憶手段に設定されているいずれかの打楽器の基準演奏パターンと一致するか否かを分析するステップＧと、前記記憶手段に設定された曲のメロディ音の第１の楽音信号を発生するとともに、前記ステップＧによって前記物体の動画像の軌跡が前記記憶手段に設定されているいずれかの打楽器の基準演奏パターンと一致することが分析されたときは、当該一致する打楽器の音色の第２の楽音信号を発生して、当該第１および第２の楽音信号を前記通信手段から前記発音手段に送信して発音させるステップＨと、を実行させる。 In each of the above-described embodiments, the electronic musical instrument device using the mobile phone device has been described. However, a program that can perform a virtual drum performance even in a small place while playing the same as an actual drum, etc. It is also possible to have a configuration in which it is downloaded from the network or read from an external storage medium and installed in the nonvolatile memory of the mobile phone device.
That is, in the program, a step A for inputting a plurality of types of commands in response to an operation, a step B for transmitting a signal to a predetermined sounding means, and a command for percussion instrument performance are input by the step A. When a command for selecting one or more types of percussion instruments is input in step A, a percussion instrument corresponding to the selection command is stored in predetermined storage means. When the setting step C and a command for selecting a song by the step A are input, the step D for setting the selected song in the storage means, and the percussion instrument set by the step C, When a test performance command is input in step A, one percussion instrument is designated in order from the percussion instrument, and the test of the designated percussion instrument is performed. A step E for generating a sound signal for prompting a musical performance, transmitting it from a predetermined communication means to a predetermined sounding means for sound generation, and a sound signal for prompting a test performance of the percussion instrument designated in the step E When a trajectory of a moving image in which an image of an object of a specific shape and a specific color set in advance is detected by imaging by a predetermined imaging unit that captures a color image after being transmitted from the communication unit to the sounding unit Step F for setting the trajectory of the moving image as the reference performance pattern for the performance of the designated percussion instrument and the reference performance pattern for all the percussion instruments set in Step E are set in Step F. When the image is recorded, the locus of the moving image of the object detected by the imaging by the imaging unit is set in the storage unit. A step G for analyzing whether or not the percussion instrument matches a reference performance pattern, and a first musical tone signal of a melody sound of a song set in the storage means are generated. When it is analyzed that the trajectory of the moving image matches the reference performance pattern of any percussion instrument set in the storage means, a second musical tone signal of the tone of the corresponding percussion instrument is generated, The first and second musical sound signals are transmitted from the communication means to the sounding means to generate sound H.

Claims (8)

撮像手段と、
複数種類の仮想の打楽器を演奏するために、前記撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出する画像抽出手段と、
この画像抽出手段によって抽出された特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定する画像分析手段と、
この画像分析手段によって判定された仮想楽器の音色のリズム音信号を発生する信号発生手段と、
を備えた電子楽器装置。 Imaging means;
Image extraction means for extracting one or more types of specific images set in advance from images picked up by the image pickup means in order to play a plurality of types of virtual percussion instruments;
Image analysis means for analyzing a motion vector of the specific image extracted by the image extraction means and determining a virtual instrument preset for the specific image;
A signal generating means for generating a rhythm sound signal of the timbre of the virtual musical instrument determined by the image analyzing means;
An electronic musical instrument device. 前記画像抽出手段は、前記複数種類の仮想の打楽器を演奏するために、演奏者の手に保持された物体又は手、手首若しくは腕に取り付けられた物体、および演奏者の膝又は大腿部に取り付けられた物体の撮像された画像を特定画像として抽出することを特徴とする請求項１に記載の電子楽器装置。   In order to play the plurality of types of virtual percussion instruments, the image extraction means is provided on an object held by a player's hand or an object attached to a hand, a wrist or an arm, and a player's knee or thigh. The electronic musical instrument device according to claim 1, wherein a captured image of the attached object is extracted as a specific image. 前記信号発生手段は、無線信号又は所定の信号線を介して、発生したリズム音信号を所定の発音手段に出力することを特徴とする請求項１に記載の電子楽器装置。   2. The electronic musical instrument device according to claim 1, wherein the signal generating means outputs the generated rhythm sound signal to a predetermined sounding means via a radio signal or a predetermined signal line. 前記信号発生手段は、指定された曲のメロディ音信号とともに、発生したリズム音信号を前記発音手段に出力することを特徴とする請求項３に記載の電子楽器装置。   4. The electronic musical instrument device according to claim 3, wherein the signal generating means outputs the generated rhythm sound signal to the sounding means together with the melody sound signal of the designated song. 前記撮像手段、前記画像抽出手段、前記画像分析手段、および前記信号発生手段は、カメラ付き携帯電話装置で構成され、前記撮像手段は、前記発音手段を装着して仮想楽器を演奏する演奏者の画像を撮像し、前記信号発生手段は、発生したリズム音信号を無線信号によって前記発音手段に送信することを特徴とする請求項３に記載の電子楽器装置。   The image pickup means, the image extraction means, the image analysis means, and the signal generation means are configured by a camera-equipped mobile phone device, and the image pickup means wears the sound generation means and plays a virtual instrument. 4. The electronic musical instrument device according to claim 3, wherein an image is picked up, and the signal generating means transmits the generated rhythm sound signal to the sounding means as a radio signal. 複数種類の仮想の打楽器を演奏するために、所定の撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出し、抽出した特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定し、判定した仮想楽器の音色のリズム音信号を発生する仮想楽器の演奏方法。   In order to play a plurality of types of virtual percussion instruments, one or more types of specific images set in advance are extracted from images captured by a predetermined imaging means, and motion vectors of the extracted specific images are analyzed. Then, a virtual musical instrument playing method for determining a virtual musical instrument set in advance for the specific image and generating a rhythm sound signal of a tone color of the determined virtual musical instrument. 複数種類の仮想の打楽器を演奏するために、所定の撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出する第１のステップと、
前記第１のステップによって抽出した特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定する第２のステップと、
前記第２のステップによって判定した仮想楽器の音色のリズム音信号を発生する第３のステップと、
を実行する仮想楽器の演奏処理のプログラム。 A first step of extracting one or more types of specific images set in advance from images captured by a predetermined imaging means in order to play a plurality of types of virtual percussion instruments;
A second step of analyzing a motion vector of the specific image extracted in the first step and determining a virtual instrument preset for the specific image;
A third step of generating a rhythm sound signal of the timbre of the virtual musical instrument determined in the second step;
Virtual instrument performance processing program to execute. 複数種類の仮想の打楽器を演奏するために、所定の撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出する第１のステップと、
前記第１のステップによって抽出した特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定する第２のステップと、
前記第２のステップによって判定した仮想楽器の音色のリズム音信号を発生する第３のステップと、
を実行する仮想楽器の演奏処理のプログラムを記録した記録媒体。
A first step of extracting one or more types of specific images set in advance from images captured by a predetermined imaging means in order to play a plurality of types of virtual percussion instruments;
A second step of analyzing a motion vector of the specific image extracted in the first step and determining a virtual instrument preset for the specific image;
A third step of generating a rhythm sound signal of the timbre of the virtual musical instrument determined in the second step;
The recording medium which recorded the program of the performance processing of the virtual musical instrument which performs.
JP2004214970A 2004-07-14 2004-07-22 Electronic musical instrument device, virtual musical instrument performance method, virtual musical instrument performance processing program, and recording medium recording the program Expired - Fee Related JP3684420B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004214970A JP3684420B1 (en) 2004-07-14 2004-07-22 Electronic musical instrument device, virtual musical instrument performance method, virtual musical instrument performance processing program, and recording medium recording the program

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004206693 2004-07-14
JP2004206693 2004-07-14
JP2004214970A JP3684420B1 (en) 2004-07-14 2004-07-22 Electronic musical instrument device, virtual musical instrument performance method, virtual musical instrument performance processing program, and recording medium recording the program

Publications (2)

Publication Number Publication Date
JP3684420B1 JP3684420B1 (en) 2005-08-17
JP2006053167A true JP2006053167A (en) 2006-02-23

Family

ID=35004078

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2004214970A Expired - Fee Related JP3684420B1 (en) 2004-07-14 2004-07-22 Electronic musical instrument device, virtual musical instrument performance method, virtual musical instrument performance processing program, and recording medium recording the program
JP2005135466A Active JP3756929B2 (en) 2004-07-14 2005-05-09 Electronic musical instrument system and apparatus and program used for the system

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2005135466A Active JP3756929B2 (en) 2004-07-14 2005-05-09 Electronic musical instrument system and apparatus and program used for the system

Country Status (1)

Country Link
JP (2) JP3684420B1 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007264025A (en) * 2006-03-27 2007-10-11 Yamaha Corp Player
JP2007264026A (en) * 2006-03-27 2007-10-11 Yamaha Corp Player
US8198526B2 (en) 2009-04-13 2012-06-12 745 Llc Methods and apparatus for input devices for instruments and/or game controllers
WO2012140834A1 (en) * 2011-04-11 2012-10-18 日本電気株式会社 Information processing device
JP2012230135A (en) * 2011-04-22 2012-11-22 Nintendo Co Ltd Music performance program, music performance device, music performance system, and music performance method
JP2018017806A (en) * 2016-07-26 2018-02-01 ヤマハ株式会社 Musical instrument sound generation system, and musical instrument sound generation method
JP2018049052A (en) * 2016-09-20 2018-03-29 ヤフー株式会社 Program, device, and method for virtual musical instrument performance
CN108269563A (en) * 2018-01-04 2018-07-10 暨南大学 A kind of virtual jazz drum and implementation method
JP2021033063A (en) * 2019-08-23 2021-03-01 富士通株式会社 Arithmetic processing device and method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6102372B2 (en) * 2013-03-14 2017-03-29 カシオ計算機株式会社 Performance system, performance method and program

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007264025A (en) * 2006-03-27 2007-10-11 Yamaha Corp Player
JP2007264026A (en) * 2006-03-27 2007-10-11 Yamaha Corp Player
JP4665811B2 (en) * 2006-03-27 2011-04-06 ヤマハ株式会社 Performance equipment
US8198526B2 (en) 2009-04-13 2012-06-12 745 Llc Methods and apparatus for input devices for instruments and/or game controllers
WO2012140834A1 (en) * 2011-04-11 2012-10-18 日本電気株式会社 Information processing device
JP2012230135A (en) * 2011-04-22 2012-11-22 Nintendo Co Ltd Music performance program, music performance device, music performance system, and music performance method
JP2018017806A (en) * 2016-07-26 2018-02-01 ヤマハ株式会社 Musical instrument sound generation system, and musical instrument sound generation method
JP2018049052A (en) * 2016-09-20 2018-03-29 ヤフー株式会社 Program, device, and method for virtual musical instrument performance
CN108269563A (en) * 2018-01-04 2018-07-10 暨南大学 A kind of virtual jazz drum and implementation method
JP2021033063A (en) * 2019-08-23 2021-03-01 富士通株式会社 Arithmetic processing device and method

Also Published As

Publication number Publication date
JP2006053524A (en) 2006-02-23
JP3684420B1 (en) 2005-08-17
JP3756929B2 (en) 2006-03-22

Similar Documents

Publication Publication Date Title
JP3756929B2 (en) Electronic musical instrument system and apparatus and program used for the system
JP4757089B2 (en) Music performance program and music performance apparatus
JP2007121355A (en) Playing system
KR101679239B1 (en) Apparatus and method for playing on musical instruments by augmented reality in portable terminal
JP3915257B2 (en) Karaoke equipment
CN110322760B (en) Voice data generation method, device, terminal and storage medium
WO2018150831A1 (en) Information processing device, information processing method, and recording medium
US20080280641A1 (en) Methods and devices for generating multimedia content in response to simultaneous inputs from related portable devices
CN111899706A (en) Audio production method, device, equipment and storage medium
JP3933057B2 (en) Virtual percussion instrument playing system
CN111061405B (en) Method, device and equipment for recording song audio and storage medium
WO2013077110A1 (en) Translation device, translation system, translation method and program
CN112487940B (en) Video classification method and device
JP5230120B2 (en) Information processing system, information processing program
JP2011128427A (en) Performance device, performance control device, and program
CN113420177A (en) Audio data processing method and device, computer equipment and storage medium
KR20070071187A (en) Method and apparatus of multi function virtual user interface
JP6591167B2 (en) Electronics
JP5702585B2 (en) Input determination program, information processing apparatus, system, and information processing method
KR100661450B1 (en) Complex moving picture system
JP4254400B2 (en) Image generating apparatus, image generating method thereof, and computer-readable recording medium
JP7347937B2 (en) Information processing equipment and information processing system
KR20180001323A (en) Electric drum connectable to smaart phone
JP2007271698A (en) Player
JP2002306849A (en) Electronic game machine

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050428

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050511

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090610

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees