JP4765705B2 - Music control device - Google Patents
Music control device Download PDFInfo
- Publication number
- JP4765705B2 JP4765705B2 JP2006078131A JP2006078131A JP4765705B2 JP 4765705 B2 JP4765705 B2 JP 4765705B2 JP 2006078131 A JP2006078131 A JP 2006078131A JP 2006078131 A JP2006078131 A JP 2006078131A JP 4765705 B2 JP4765705 B2 JP 4765705B2
- Authority
- JP
- Japan
- Prior art keywords
- finger
- keyboard
- musical tone
- key
- musical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
Description
この発明は、鍵盤上方における演奏者の指の動きに応じて楽音を制御する機能を有する楽音制御装置に関する。 The present invention relates to a musical tone control apparatus having a function of controlling musical tones according to the movement of a player's finger above a keyboard.
電子鍵盤楽器において、鍵盤上方における演奏者の手や指の動きを検出し鍵盤の押鍵前或いは押鍵後の手の状態に応じて楽音の特性を制御する技術については、例えば、特許文献1や特許文献2により知られている。特許文献1の電子鍵盤楽器では、発光装置及び受光装置から成る光センサによって手指の落下速度パターンを検出したり、各鍵ごとに設けたインダクタンスコイル及び発振回路から成るインダクタンスセンサにより各鍵ごとの指の接近速度を検出している。また、特許文献2の電子鍵盤楽器では、撮像された画像を認識することで演奏時の指の形状を検出している。
しかしながら、特許文献1による技術では、光センサによっては左右(音高)方向の鍵位置を特定することができないし、各鍵ごとのインダクタンスセンサによれば左右(音高)方向位置は特定することができるものの、鍵ごとにセンサを設けるのでコストアップにつながる。また、特許文献2による技術では、左右(音高)方向の位置を特定することができない。このように、従来技術では、左右方向位置の特定ができないか、左右方向位置を特定するにはコストアップになってしまい、実用上、左右方向位置を特定して行う楽音制御には向いていない。
However, with the technique according to
この発明は、このような事情に鑑み、簡単な構成により、特に、鍵盤上方の指の動きを各音高ごとの楽音に反映させることができる楽音制御装置を提供することを目的とする。 In view of such circumstances, an object of the present invention is to provide a musical sound control device that can reflect the movement of a finger above a keyboard on a musical sound for each pitch with a simple configuration.
この発明の主たる特徴に従うと、鍵盤(14K)の上方空間を撮像するための複数の撮像装置(18C;A1,B1)と、これら撮像装置(18C)により撮像された画像から、鍵盤上方(p0〜p2)における演奏者の指について押離鍵方向の位置及び鍵盤の鍵配列方向の位置を認識する位置認識手段(10;A2,B2)と、位置認識手段(10)により認識された押離鍵方向の位置及び鍵配列方向の位置に基づいて楽音(第2楽音)を制御する楽音制御手段(1〜3;A3〜A10,B3〜B12)であって、位置認識手段(10)により認識された押離鍵方向の位置に応じて、楽音(第2楽音)の発音開始又は消音を制御する(A3〜A6,B3〜B7)ものとを具備する楽音制御装置〔請求項1〕が提供される。なお、括弧書きは、理解の便のために付記した実施例の対応する参照記号や用語等を表わす。 According to the main feature of the present invention, a plurality of imaging devices (18C; A1, B1) for imaging the space above the keyboard (14K) and images captured by these imaging devices (18C) are used to detect the upper part of the keyboard (p0). To p2), the position recognition means (10; A2, B2) for recognizing the position of the performer's finger in the key release direction and the key arrangement direction of the keyboard, and the press release recognized by the position recognition means (10). Tone control means (1-3; A3 to A10, B3 to B12) for controlling a tone (second tone) based on the position in the key direction and the position in the key arrangement direction, and recognized by the position recognition means (10) Provided is a musical tone control device comprising (A3 to A6, B3 to B7) for controlling the start or mute of the musical tone (second musical tone) according to the position in the pressed and released key direction. Is done. Note that the parentheses indicate the corresponding reference symbols, terms, and the like of the embodiments added for convenience of understanding.
この発明による楽音制御装置において、楽音制御手段(1〜3)は、位置認識手段(10)により認識された鍵配列方向の位置に応じて、発音される楽音(第2楽音)のピッチを制御する(A4,B7)〔請求項2〕ように構成することができる。さらに、楽音制御手段(1〜3)は、位置認識手段(10)により認識された押離鍵方向の位置又は鍵配列方向の位置に応じて、鍵盤(14K)の操作(m3,m5)に基づいて発生される楽音(第1楽音)の特性を制御する(図8)〔請求項3〕ように構成することができる。 In the musical tone control apparatus according to the present invention, the musical tone control means (1-3) controls the pitch of the musical tone (second musical tone) to be generated according to the position in the key arrangement direction recognized by the position recognition means (10). (A4, B7) [Claim 2] Further, the musical tone control means (1-3) performs the operation (m3, m5) of the keyboard (14K) according to the position in the key release direction or the position in the key arrangement direction recognized by the position recognition means (10). The characteristic of the musical tone (first musical tone) generated based on the control can be controlled (FIG. 8).
この発明の主たる特徴による楽音制御装置では(請求項1)、複数の撮像装置(18C)により撮像した画像から、鍵盤(14K)の上方(p0〜p2)における指の押離鍵方向位置(上下位置)及び鍵配列方向位置(左右位置/音高位置)を認識し(A2,B2)、認識された押離鍵方向位置及び鍵配列方向位置に応じて楽音(第2楽音)を制御する(A3〜A6,B3〜B7)ように構成し、特に、鍵盤上方(p0〜p2)における指の押離鍵方向位置(上下位置)に応じて楽音(第2楽音)の発音開始又は消音を制御する(A3〜A6,B3〜B7)ように構成している。 In the musical tone control apparatus according to the main feature of the present invention (Claim 1), from the images picked up by the plurality of image pickup devices (18C), the finger pressing / releasing key direction position (up and down) above the keyboard (14K) (p0 to p2). (Position) and key arrangement direction position (left / right position / pitch position) are recognized (A2, B2), and the tone (second tone) is controlled according to the recognized key release position and key arrangement direction ( A3 to A6, B3 to B7), and in particular, the start or mute of the tone (second tone) is controlled according to the key pressing position (vertical position) above the keyboard (p0 to p2). (A3 to A6, B3 to B7).
従って、この発明によれば、鍵ごとにセンサを設けることなく、簡単な構成で、鍵盤の上方における指の動きを検出し、鍵配列方向位置即ち音高ごとに楽音を制御することが可能となり、鍵盤上方の指の動きを各音高ごとの楽音に反映させることができ、特に、鍵盤上方における指の上下位置に応じて発音開始又は消音を制御することができる。 Therefore, according to the present invention, it is possible to detect the movement of the finger above the keyboard with a simple configuration without providing a sensor for each key, and to control the musical sound for each key arrangement direction position, that is, pitch. The movement of the finger above the keyboard can be reflected in the musical tone for each pitch, and in particular, the start of sound generation or mute can be controlled according to the vertical position of the finger above the keyboard.
この発明による楽音制御装置では、鍵盤上方(p0〜p2)における指の鍵配列方向位置に応じて発音される楽音(第2楽音)のピッチを制御する(A4,B7)ように構成しているので、鍵盤上方における指の鍵配列方向(左右)の動きを楽音ピッチ制御に用いることができる(請求項2)。 The musical tone control apparatus according to the present invention is configured to control the pitch of the musical tone (second musical tone) to be generated according to the key arrangement direction position of the finger above the keyboard (p0 to p2) (A4, B7). Therefore, the movement of the finger in the key arrangement direction (left and right) above the keyboard can be used for the tone pitch control.
さらに、この発明による楽音制御装置では、鍵盤上方(p0〜p2)における指(m1,m2,m4)の押離鍵方向又は鍵配列方向位置(上下位置又は左右/音高位置)に応じて、鍵盤操作(m3,m5)に基づき発生される楽音(第1楽音)の特性を制御する(図8)ように構成しているので、鍵盤上方における指の上下又は左右の動きに応じて、鍵盤操作により発生される楽音の特性を制御することができる(請求項3)。
Furthermore, in the musical tone control apparatus according to the present invention, the finger (m1, m2, m4) in the upper part (p0 to p2) of the key (m1, m2, m4) is pressed or released in the key arrangement direction (up / down position or left / right / pitch position). Since it is configured to control the characteristics of the musical tone (first musical tone) generated based on the keyboard operation (m3, m5) (FIG. 8), the keyboard is moved according to the up / down or left / right movement of the finger above the keyboard. The characteristics of the musical sound generated by the operation can be controlled (claim 3).
〔システムの概要〕
この発明による楽音制御装置の機能が組み込まれる電子音楽装置は、楽音制御処理を含む音楽情報処理機能を有する一種のコンピュータであり、演奏操作入力装置(鍵盤装置)を備えた電子楽器などの音楽専用機器や、演奏操作入力装置が外付けされ所定の音楽情報処理機能を有するパーソナルコンピュータ等の汎用の情報処理装置が用いられる。
[System Overview]
An electronic music apparatus incorporating the function of a musical tone control device according to the present invention is a kind of computer having a music information processing function including musical tone control processing, and is dedicated to music such as an electronic musical instrument having a performance operation input device (keyboard device). A general-purpose information processing apparatus such as a personal computer having a predetermined music information processing function, to which a device or performance operation input device is externally attached, is used.
図1は、この発明の一実施例による電子音楽装置のハードウエア構成ブロック図を示す。この電子音楽装置は、中央処理装置(CPU)1、ランダムアクセスメモリ(RAM)2、読出専用メモリ(ROM)3、外部記憶装置4、演奏操作検出回路5、設定操作検出回路6、表示回路7、音源回路8、効果回路9、指位置解析装置10、MIDIインターフェース(I/F)11、通信インターフェース(I/F)12などを備え、これらの要素1〜12はバス13を介して互いに接続される。
FIG. 1 is a block diagram showing the hardware configuration of an electronic music apparatus according to an embodiment of the present invention. This electronic music apparatus includes a central processing unit (CPU) 1, a random access memory (RAM) 2, a read only memory (ROM) 3, an
CPU1は、RAM2及ROM3と共にデータ処理部を構成し、楽音制御プログラムを含む所定の制御プログラムに従い、タイマによるクロックを利用して楽音制御処理を含む種々の音楽情報処理を実行する。RAM2は、これらの処理に際して必要な各種データを一時記憶するためのワーク領域として用いられる。また、ROM3には、これらの処理を実行するために、楽音制御プログラムを含む各種制御プログラム、プリセットされた楽音制御用データや演奏データ等が予め記憶される。
The
外部記憶装置4は、ハードディスク(HD)等の内蔵記憶媒体の外に、コンパクトディスク・リード・オンリィ・メモリ(CD−ROM)、フレキシブルディスク(FD)、光磁気(MO)ディスク、ディジタル多目的ディスク(DVD)、スマートメディア(登録商標)等の小型メモリカード、等々、種々の可搬性の外部記録媒体を含み、任意の外部記憶装置4に任意の制御プログラムやデータを記憶することができる。
The
演奏操作検出回路5は、鍵盤(14K:図2参照)などの演奏操作子(演奏操作入力装置)14の操作内容を検出し、設定操作検出回路6は、スイッチやマウス等の設定操作子(パネル操作子)15の操作内容を検出し、それぞれ、検出内容に対応する情報をデータ処理部に導入する。表示回路7は、演奏や設定に必要な各種画面を表示するLCD等のディスプレイ16や、その他インジケータ/ランプを備え、これらの表示・点灯内容をデータ処理部からの指令に従って制御し、操作子14,15の操作に対する表示援助を行う。
The performance
音源回路8は、鍵盤に対する演奏操作に基いて操作鍵に対応する楽音信号を生成し、効果回路9は、効果付与DSPを有し、音源回路8からの楽音信号に効果を付与し、何れの回路もソフトウエアを含ませることができる。両回路8,9は、楽音信号生成部を構成し、各種楽音制御パラメータに基づいて楽音信号を制御することができる。効果回路9に後置されたサウンドシステム17は、D/A変換部やアンプ、スピーカを備え、効果回路9からの楽音信号に基づく楽音を発生する。
The
また、楽音信号生成部8,9は、記憶手段3,4に記憶された演奏データに基づいて自動演奏の楽音信号を生成したり、指位置解析装置10からの指位置情報に応じて、所定の楽音特性パラメータに基づく所定の楽音信号を生成することができる。
The musical
指位置解析装置10は、これに接続される指検出装置18と共に、鍵盤上方における演奏者の各指の位置を検出する指位置検出部を構成する。指検出装置18は、鍵盤上方空間における演奏者の動作を表わす指検出データを指位置解析装置10に送り、指位置解析装置10は、指検出データを解析し、鍵盤上方において演奏者の各指の左右方向(音高方向)の位置(鍵/音高位置)及び上下方向(押離鍵方向)の位置を表わす指位置情報をシステム本体に導入することができる。
The finger
指検出装置18は、複数の撮像カメラ(図2:18C)を備えた撮像装置で構成し、指位置解析装置10は画像解析(画像認識)装置で構成することができる。この場合、これらの撮像カメラによって鍵盤の上方領域を撮像し、画像解析装置10において、撮像された指の画像データを画像処理技術により解析し、鍵盤上方において演奏している指の位置を表わす指位置情報を得ることができる。
The
また、MIDII/F11には他のMIDI音楽機器30が接続され、他の音楽機器30との間でMIDI演奏データを授受し、この電子音楽装置で利用することができる。さらに、通信I/F12には、インターネットやローカルエリアネットワーク(LAN)などの通信ネットワーク40が接続され、外部のサーバコンピュータ50等から制御プログラムや各種データ等を受信し外部記憶装置4に保存することができる。
Further, another
〔指検出機構及びその設置例〕
この発明の一実施例による電子音楽装置においては、指位置検出部の検出機構に複数の撮像カメラを用い、鍵盤上方における演奏者の指の動作を複数の撮像カメラで撮像し、カメラから得られた撮像データに基づいて、指が位置する音高や指の動きを検出し、検出した音高や動きに応じて楽音を制御することができる。図2は、この発明の一実施例による電子音楽装置において指検出機構として用いられる撮像カメラの設置例を示す。
[Finger detection mechanism and its installation example]
In the electronic music apparatus according to an embodiment of the present invention, a plurality of imaging cameras are used as the detection mechanism of the finger position detection unit, and the movements of the performer's fingers above the keyboard are captured by the plurality of imaging cameras, and obtained from the cameras. Based on the captured image data, it is possible to detect the pitch at which the finger is located and the movement of the finger, and to control the musical tone according to the detected pitch and movement. FIG. 2 shows an installation example of an imaging camera used as a finger detection mechanism in the electronic music apparatus according to one embodiment of the present invention.
この電子音楽装置の撮像データ利用に関する特徴によれば、図2のように、複数の撮像手段(カメラ)18Cにより鍵盤14Kの上方における演奏者の各指を撮像し、撮像された画像データを画像処理することにより、鍵盤14Kの上方における指の押離鍵方向(上下方向)及び鍵配列方向(左右方向/音高方向)の位置を認識し、認識された指の位置を表わす指位置情報に基づいて楽音を制御する。例えば、指位置情報の鍵配列方向位置(音高位置)に応じて、発音される楽音(第2楽音)の音高を指定すると共に、指位置情報から得られる押離鍵方向の指の動きに応じて、指定された音高をもつ楽音を発音させたり消音させたりする。また、鍵盤14Kに対する押離鍵操作により発生される別の楽音(第1楽音)の特性を制御することもできる。
According to the characteristics relating to the use of image data of the electronic music apparatus, as shown in FIG. 2, the performer's fingers above the
図2の撮像カメラの例について説明すると、電子音楽装置筐体の前面パネルの左右即ち鍵盤14の両端近傍に設けられた2台の撮像カメラ18Cを対にして指検出機構に用いる。両撮像カメラ18Cは鍵盤面からやや上方に位置し、各カメラの光軸は、水平(鍵盤面に平行)で、鍵盤14Kの中央方向に向けられており、2つのカメラそれぞれが鍵盤全域を撮像することができるように設置されている。
The example of the imaging camera in FIG. 2 will be described. Two
これに伴い、指位置解析装置10には画像解析装置が用いられ、従来から知られている画像処理技術を応用して、2つの撮像カメラ18Cで夫々撮像された2つの画像データを画像処理して各指の画像を解析し、演奏している指の左右方向(音高方向/鍵配列方向)及び上下方向(押離鍵方向/鍵盤面に垂直な方向)の位置を検出する。例えば、左右方向の位置については、同時に撮像された2つの画像データを解析することによって演奏者の各指が鍵盤14Kのどの鍵に対応した音高方向位置にあるのかを認識することができる。
Accordingly, an image analysis device is used as the finger
なお、指の位置を検出し易くするため、各撮像カメラ18Cに、生体像を明確に撮影することができる赤外線カメラを用いたり、例えば、演奏者の指爪にマニキュアを塗る、或いは、指にアタッチメントを装着する、等々、演奏者の指に特定色等のマーキングを行ったりしてもよい。また、撮像カメラ18Cは、鍵盤14K上方の所定領域を全鍵域にわたり撮像可能であればよく、カメラの位置及び数は、上述した例に限らない。例えば、1オクターブ間隔等で多くのカメラを設置してもよく、このようにすることで、指位置の検出精度を向上させることができる。また、カメラの光軸は、水平に限らず、水平軸から若干傾斜していてもよい。
In addition, in order to make it easy to detect the position of a finger, an infrared camera capable of clearly capturing a biological image is used for each
〔楽音制御の第1実施形態〕
この発明の一実施例による電子音楽装置においては、鍵盤上方における演奏者の指の動きを検出し、検出した指の動きに応じて鍵盤演奏に基づく楽音とは異なる音色特性の楽音を発生させることができる。図3及び図4は、この発明の一実施例による電子音楽装置における楽音制御の第1実施形態を説明するための図であり、第1実施形態では、鍵盤上方の指位置情報から得られる指の上下動に基づいて、鍵操作による所定特性の楽音のキーオンに先立ち、他の特性の楽音を発生させる。
[First Embodiment of Musical Sound Control]
In the electronic music apparatus according to one embodiment of the present invention, the movement of the player's finger above the keyboard is detected, and a musical tone having a timbre characteristic different from the musical tone based on the keyboard performance is generated according to the detected movement of the finger. Can do. 3 and 4 are diagrams for explaining a first embodiment of musical tone control in an electronic music apparatus according to an embodiment of the present invention. In the first embodiment, fingers obtained from finger position information above the keyboard are shown. Based on the up / down movement, a musical tone having other characteristics is generated prior to key-on of a musical tone having a predetermined characteristic by a key operation.
この電子音楽装置による1操作2楽音発生に関する特徴によれば、指位置検出手段18,10により鍵14Kの上方(p0〜p2)における指の押離鍵方向(上下方向)の位置及び動きを検出し、検出された位置及び動きに基づいて所定のタイミングで楽音の発音及び消音を制御する。つまり、図3及び図4に示すように、指が実質的に鍵14Kに触れた(a)と見なし得るタイミングt1で第1音色(例えば、ストリングス系音色)をもつ楽音(第2楽音)の発音開始を楽音生成部8、9に指示し、押離鍵操作〔(b),(c)〕があると、第1音色とは楽音特性が異なる第2音色(例えば、ピアノ系音色)をもつ楽音(第1楽音)を発生させ(ta,tb)、さらに、指が鍵14Kから完全に離れる動きをした(d)ことを確認したタイミングt2で、第1音色の楽音(第2楽音)を消音させる。これにより、1つの演奏操作により複数の音色を同時に発音させるレイヤー音色を簡単な構成で実現することができる。
According to the feature related to the generation of one operation and two musical tones by the electronic music apparatus, the finger position detecting means 18 and 10 detect the position and movement of the finger pressing / releasing key direction (vertical direction) above the key 14K (p0 to p2). Then, the sound generation and mute are controlled at a predetermined timing based on the detected position and movement. That is, as shown in FIG. 3 and FIG. 4, the tone (second tone) having the first tone color (for example, a string tone) at the timing t1 that can be regarded as (a) when the finger substantially touches the key 14K. When the
この電子音楽装置では、楽音制御のために、鍵盤14Kの鍵盤面上方に発音意図領域Asが設定される。発音意図領域Asは、この領域を指が通過した場合に発音の意図ありとみなす領域であり、図3に示すように、鍵盤面の位置p0から所定距離だけ上方の下限位置p1と上限位置p2との間の空間をいう。例えば、位置p0〜p1間の距離は1cm程度、位置p1〜p2間の距離は2cm程度に選定される。また、楽音制御の際には、発音意図領域Asを含む鍵盤14Kの鍵盤面位置p0から上の所定の領域(鍵盤上方領域という)について、複数の撮像カメラ18Cによる同時撮影を進めていき、指位置解析装置(画像解析装置)10は、同時撮影された鍵盤上方領域の両画像データを順次解析し、鍵盤上方領域での演奏者の各指の位置を認識する。そして、データ処理部1〜3は、指位置解析装置(画像解析装置)10で認識された各指の位置を表わす指位置情報に基づいて、所定の楽音を発生するように楽音生成部8,9に指示する。
In this electronic music apparatus, a tone generation intention area As is set above the keyboard surface of the
図3及び図4に例示される第1実施形態では、図4(1)に示すように、演奏者の各指による鍵盤14Kに対する通常の押離鍵操作(ta,tb)に基づいて楽音生成部8,9から発生される楽音は「第1楽音」と呼ばれ、例えば、ピアノ系の音色のように、音の立上り/立下りが速い特性をもつ音色が第1楽音に与えられる。また、演奏者の各指が発音意図領域Asを通過することにより、図4(2)に示すように、第1楽音とは特性の異なる「第2楽音」が楽音生成部8,9から別個に発生され、例えば、ストリングス系の音色のように、音の立上り/立下りが遅い特性をもつ音色が第2楽音に与えられる。なお、立上り/立下りが速い/遅いとは、第1楽音と第2楽音との間の相対的な関係に基づくものである。また、少なくとも立上りの速さについて速い/遅いという関係があればよく、立下りについては速さの関係が逆になっていてもよい。
In the first embodiment illustrated in FIGS. 3 and 4, as shown in FIG. 4 (1), a musical tone is generated based on a normal press / release key operation (ta, tb) with respect to the
具体的にいうと、データ処理部1〜3は、図3(a)に示すように、演奏者の指が発音意図領域Asを上から下へ通過して発音意図領域Asの下限位置p1を越したとき或いは鍵盤(例えば、白鍵であれば鍵盤面位置p0)に到達(接触)したときに、図4(2)のように、この時点t1から第2楽音を発生するように楽音生成部8,9に指示する。つまり、指が発音意図領域Asを上から下に通過すると発音意図があったとみなして、発音意図領域Asの下端p1を通ったか或いは鍵盤面p0に接触した時点t1で、鍵盤の押鍵による第1楽音とは異なる第2楽音の発生を開始させる。ここで、第2楽音の音高は、領域Asを上から下に通過する指の左右方向位置に対応する鍵盤14Kの音高とされる。
Specifically, as shown in FIG. 3A, the
なお、時点t1は、図4に示すように、仮に第1楽音が押鍵タイミングtaで発音を開始させるとした場合、第1楽音の立上りに合わせて第2楽音を立ち上がらせるに十分な第2楽音の発音開始タイミングであり、指が領域Asを通過してから鍵盤14Kに接触するまでの適当な指位置に対応し、この例では、上述のように、指が下限位置p1を通って鍵14Kに十分に近づき鍵14Kに触れようとする時点或いは鍵14Kに触れた時点が採用される。また、発音意図領域As内での指の動き、例えば、下降速度や上下左右の揺れなどに応じて、第2楽音の発音時におけるアタック、音量、音色、ピッチ等の楽音特性パラメータを制御することができる。
As shown in FIG. 4, when the first musical sound starts to be generated at the key pressing timing ta as shown in FIG. 4, the second time point sufficient to cause the second musical sound to rise at the rise of the first musical sound. This corresponds to the tone generation start timing of the musical sound, corresponding to an appropriate finger position from when the finger passes the region As until it touches the
さて、発音意図領域Asの指通過(上→下)が検出された後、図3(b)のように、鍵盤14Kの押鍵(キーオン)が演奏操作検出回路5で検出されると、データ処理部1〜3は、当該押鍵の検出時点taで第1楽音を発生するように楽音生成部8,9に指示する。さらに、図3(c)のように、時点tbで押鍵された鍵盤14Kの離鍵があると、発音していた第1楽音が消音される。この場合、鍵盤によるキーオンに先立って発生させた他の楽音(第2楽音)は、図4(2)のように、発音を持続している。そして、図3(d)のように、指が鍵盤14Kから離れて領域Asを下から上へ通過すると、消音意図があったとみなして発音意図領域Asの上端p2に達した時点t2で第2楽音を消音する。
Now, after the passage of the finger in the pronunciation intention area As (up → down) is detected, as shown in FIG. 3B, when the key operation (key-on) of the
このように、鍵盤による第1楽音のキーオンに先立ち、発音意図領域Asの通過により他の第2楽音を発生させるようにすると、例えば、第1楽音をアタックの早い「ピアノ」音色とし第2楽音をアタックの遅い「ストリングス」として、「ピアノ+ストリングス」音色のような2音色をもつ楽音を1つの演奏操作で発音させることができる。この場合、アタックの遅い第2音色を先に発音させ、その後で第1楽音を発生させることにより、第1楽音のアタック位置と第2楽音のアタック位置とをほぼ揃えることが可能になる。 Thus, prior to key-on of the first musical tone by the keyboard, when another second musical tone is generated by passing through the pronunciation intention area As, for example, the first musical tone is changed to a “piano” tone with a fast attack, and the second musical tone. Is a string with a slow attack, and a musical tone having two tones such as a “piano + strings” tone can be generated by one performance operation. In this case, it is possible to substantially match the attack position of the first musical tone and the attack position of the second musical tone by generating the first musical tone after generating the second musical tone having a slow attack first.
一方、図3(a’)→図3(d)のように、鍵盤14Kの押鍵がないまま指が発音意図領域Asを上方向に通過した場合は、第1楽音の発音はなく、第2楽音のみが発音意図領域Asの下方向通過時点t1から発音され上方向通過時点t2で消音される。つまり、演奏者は、意図的に、図4(2)のような第2楽音のみを発生させることができる。
On the other hand, as shown in FIG. 3 (a ′) → FIG. 3 (d), when the finger passes upward in the pronunciation intention area As without any key depression of the
この場合は、鍵に触れるタイミングt1から第2音色の第2楽音を発音開始させることができ、ストリングス系音色などのアタックの遅い第2音色をもつ第2楽音の発音タイミングを演奏者の操作感覚に合わせることができ、このような発音タイミングt1で発音された第2楽音を消音タイミングt2で違和感なく消音させることができる。 In this case, the second tone of the second tone can be started to sound from the timing t1 when the key is touched, and the sound generation timing of the second tone having the second tone having a slow attack, such as a string-type tone, is determined by the player's operation feeling. Thus, the second musical sound generated at such a sound generation timing t1 can be muted without a sense of incongruity at the mute timing t2.
なお、第2楽音を発音させた後は、指が鍵盤から離れたとき或いは発音意図領域Asの下端p1を通ったときから後の指の動き、例えば、指の上昇速度や指の上下左右の揺れなどに応じて、発音中或いはリリース中(消音指示後)の第2楽音の楽音特性パラメータ(音量、音色、ピッチ等)を制御することができる。 After the second musical tone is generated, after the finger leaves the keyboard or after passing through the lower end p1 of the pronunciation intention area As, for example, the finger's ascent speed and the up / down / left / right direction of the finger The tone characteristic parameters (volume, tone color, pitch, etc.) of the second tone during sound generation or release (after a mute instruction) can be controlled in accordance with shaking.
また、離鍵によって第1楽音が消音された後、発音意図領域Asを通過することなく再度押鍵が行われた場合は、第2楽音の発音を持続したまま第1楽音を再度発音させる。この場合、第2楽音の発音持続に代えて、第2楽音を一旦消音させ、第1楽音の発音と同時に第2楽音を再発音させてもよい。また、最初から発音意図領域Asを通過することなく押鍵がなされた場合には、第1楽音及び第2楽音を同時に発音開始するようにしてもよいし、第1楽音のみを発音開始するようにしてもよい。これらの例のように、押鍵にて第2楽音を発音させた場合は、離鍵にて第2楽音を消音するのがよい。 In addition, after the first musical sound is muted by releasing the key, if the key is pressed again without passing through the pronunciation intention area As, the first musical sound is generated again while the second musical sound is continuously generated. In this case, instead of continuing the pronunciation of the second musical sound, the second musical sound may be temporarily muted, and the second musical sound may be re-sound simultaneously with the first musical sound. Further, when a key is pressed without first passing through the pronunciation intention area As, the first musical tone and the second musical tone may be started simultaneously, or only the first musical tone may be started. It may be. As in these examples, when the second musical sound is generated by pressing the key, it is preferable to mute the second musical sound by releasing the key.
〔楽音制御処理フロー例(1)〕
図6は、この発明の一実施例による電子音楽装置における第1実施形態の楽音制御処理の手順例を表わすフローチャートを示す。この電子音楽装置においては、設定操作子15中の楽音制御処理開始スイッチの操作によりこの楽音制御処理がスタートし、撮像カメラ18Cによる鍵盤上方領域の撮像が開始すると共に図6の処理フローが実行され、楽音制御処理停止スイッチの操作に基づく終了指示によってこの楽音制御処理が終了する。
[Musical sound control processing flow example (1)]
FIG. 6 is a flowchart showing an example of the procedure of the musical tone control process of the first embodiment in the electronic music apparatus according to one embodiment of the present invention. In this electronic music apparatus, the musical tone control process is started by the operation of the musical tone control process start switch in the
まず、最初のステップA1では、CPU1は、撮像装置18から鍵盤上方領域の画像データを取り込むように画像解析装置10に指示する。次のステップA2では、画像解析装置10は、撮像装置18からの画像データに対する画像処理により演奏者の各指の上下位置及び左右(音高)位置を認識し、CPU1は、認識された各指の上下位置及び左右(音高)位置を表わす上下位置及び左右位置情報を画像解析装置10から取得する。
First, in the first step A1, the
次のステップA3では、上下位置情報に基づいて指が発音意図領域Asを上から下への方向(上→下)に通過したか否かを判定し、或る指が上→下に通過したと判定されたときは(A3=YES)、ステップA4に進む。ステップA4では、当該指の上下位置及び左右位置情報に基づいて、当該指について認識された左右(音高)位置に対応する音高を求め、当該指が発音意図領域Asの下端p1を通るか又は鍵盤14Kへの接触位置に到達するタイミング(t1)で、当該音高をもつ第2楽音の発音を開始するように、楽音生成部8、9に指示する。
In the next step A3, it is determined whether or not the finger has passed through the pronunciation intention area As in the direction from top to bottom (up to down) based on the vertical position information, and a certain finger has passed from up to down. Is determined (A3 = YES), the process proceeds to step A4. In step A4, a pitch corresponding to the left / right (pitch) position recognized for the finger is obtained based on the vertical position and left / right position information of the finger, and whether the finger passes the lower end p1 of the pronunciation intention area As. Alternatively, the
指が発音意図領域Asを上→下に通過しないと判定されたとき(A3=NO)或いはステップA4で第2楽音の発音開始を指示した後は、ステップA5で、上下位置情報に基づいて、指が発音意図領域Asを下から上への方向(下→上)に通過したか否かを判定する。ここで、指が下→上に通過したときは(A5=YES)、ステップA6に進んで、当該指の上下位置及び左右位置情報に基づいて、当該指が発音意図領域Asの上端p2に到達するタイミング(t2)で、当該指について認識された音高をもつ第2楽音を消音するように、楽音生成部8、9に指示する。
When it is determined that the finger does not pass over the pronunciation intention area As (A3 = NO) or after instructing the start of the second musical tone in step A4, in step A5, based on the vertical position information, It is determined whether or not the finger has passed through the pronunciation intention area As in the direction from the bottom to the top (from bottom to top). Here, when the finger passes from the lower side to the upper side (A5 = YES), the process proceeds to step A6, and the finger reaches the upper end p2 of the pronunciation intention area As based on the vertical position and left / right position information of the finger. At the timing (t2), the
指が発音意図領域Asを下→上に通過しないと判定されたとき(A5=NO)或いはステップA6で第2楽音の消音を指示した後は、ステップA7で、鍵盤14Kに対する押鍵操作があったか否かを判定する。ここで、押鍵操作があったときは(A7=YES)、ステップA8に進み、当該押鍵操作がなされたタイミング(ta)で、操作鍵に対応する第1楽音の発音を開始するように楽音生成部8、9に指示する。
When it is determined that the finger does not pass through the pronunciation intention area As down (up) (A5 = NO) or after the instruction to mute the second musical tone in step A6, is there a key pressing operation on the
押鍵操作がないと判定されたとき(A7=NO)或いはステップA8で第1楽音の発音開始を指示した後は、ステップA9で、鍵盤14Kに対する離鍵操作があったか否かを判定する。ここで、離鍵操作があったときは(A9=YES)、ステップA10に進んで、当該離鍵操作がなされたタイミング(tb)で、操作鍵に対応する第1楽音を消音するように楽音生成部8、9に指示する。そして、離鍵操作がないと判定されたとき(A9=NO)或いはステップA10で第1楽音の消音を指示した後は、ステップA1に戻り、終了指示があるまでステップA1〜A10の動作を繰り返す。
When it is determined that there is no key pressing operation (A7 = NO) or after the start of sound generation of the first musical tone is instructed in step A8, it is determined in step A9 whether or not a key release operation has been performed on the
〔第2実施形態〕
この発明の一実施例による電子音楽装置においては、鍵盤上方における演奏者の指の動きを検出し、検出した指の動きに応じて鍵盤演奏に基づく楽音とは異なる奏法を表現する楽音を発生させることができる。図5は、この発明の一実施例による電子音楽装置における楽音制御の第2実施形態を説明するための図であり、第2実施形態では、鍵盤上方の指位置情報から得られる指の上下動に基づいて、指を鍵に触れた後に離す操作により、鍵盤演奏の楽音とは奏法が異なる他の楽音を発生させる。
[Second Embodiment]
In the electronic music apparatus according to one embodiment of the present invention, the movement of the performer's finger is detected above the keyboard, and a musical sound expressing a playing method different from the musical sound based on the keyboard performance is generated according to the detected movement of the finger. be able to. FIG. 5 is a diagram for explaining a second embodiment of the musical tone control in the electronic music apparatus according to one embodiment of the present invention. In the second embodiment, the vertical movement of the finger obtained from the finger position information above the keyboard. On the basis of the above, another musical tone having a different playing style from the musical tone of the keyboard performance is generated by an operation of releasing the finger after touching the key.
この電子音楽装置による奏法対応の楽音発生に関する特徴によれば、図5に示すように、鍵14Kの上方p0〜p2における演奏者の指の位置を検出し、検出された位置及び動きに基づいて、鍵盤演奏による楽音(第1楽音)とは異なる奏法を表現する他の楽音(第2楽音)を発生する。つまり、演奏者の指が鍵上方の所定空間p2〜p1を上から下に通過すると楽音発生の意図があるとみなされ、さらに、指が鍵14Kに接触した後に鍵14Kから離れた場合に(t3)、ギター音色のハーモニクス音のように軽いタッチの特殊奏法を表現する第2楽音を発音させる(1b,2b)。演奏者の指が鍵14Kから離れる前に押鍵された場合は(ta)、ギター音色の通常音のように第2楽音とは奏法が異なり標準的な奏法を表現する第1楽音を発音させ、その後で指が鍵から離れても、第2楽音は発音しない(1a,2a)。 According to the characteristics related to the musical tone generation corresponding to the playing method by the electronic music apparatus, as shown in FIG. 5, the position of the performer's finger is detected above p0 to p2 above the key 14K, and based on the detected position and movement. Then, another musical tone (second musical tone) that expresses a different playing method from the musical tone (first musical tone) produced by the keyboard performance is generated. In other words, if the performer's finger passes through the predetermined spaces p2 to p1 above the key from the top to the bottom, it is considered that there is an intention to generate a musical tone, and further, when the finger leaves the key 14K after touching the key 14K ( t3) A second musical tone that expresses a light touch special performance like a harmonic tone of a guitar tone is generated (1b, 2b). If the performer's finger is pressed before the key 14K is released (ta), the first musical tone, which is different from the second musical tone like the normal tone of the guitar tone and expresses the standard playing style, is generated. After that, even if the finger is removed from the key, the second musical tone is not generated (1a, 2a).
図5に例示される第2実施形態では、(2a)に示すように、演奏者の各指による鍵盤14Kに対する通常の押離鍵操作(ta,tb)に基づいて楽音生成部8,9から発生される楽音は「第1楽音」と呼ばれ、例えば、ギター音色の通常音のように、標準的な奏法を表現する。また、押鍵操作がなく演奏者の各指が鍵盤14Kに触れただけの場合は、(2b)に示すように、第1楽音とは異なる奏法の「第2楽音」が楽音生成部8,9から別個に発生される。第2楽音は、例えば、ギター音色のハーモニクス音のように、軽いタッチの奏法を表現する。
In the second embodiment illustrated in FIG. 5, as shown in (2a), from the
具体的にいうと、(1a)上部に示すように、鍵14Kの押鍵(キーオン)があり、これが演奏操作検出回路5で検出されると、データ処理部1〜3は、演奏者の指が発音意図領域Asを上から下へ通過したか否かに拘わらず、(2a)に示すように、当該押鍵の検出時点taで第1楽音を発音するように楽音生成部8,9に指示する。その後、(1a)下部に示すように、押鍵された鍵14Kの離鍵(キーオフ)があると、発音していた第1楽音は離鍵の時点tbで消音される。
More specifically, (1a) as shown in the upper part, when the key 14K is depressed (key-on), and this is detected by the performance
一方、(1b)上部に示すように、演奏者の指が発音意図領域Asを上から下へ通過すると、データ処理部1〜3は、指位置検出部18,10からの指位置情報に基づいて領域Asの上→下通過があったと判定し、演奏者に第2楽音の発音意図があるとみなす。さらに、指が鍵盤に接触した後、(1b)下部に示すように、演奏者が押鍵することなく指を鍵盤から離すと、(2b)に示すように、指が鍵から離れた時点乃至発音意図領域Asの上端p2に達した時点t3で、鍵盤の押鍵による第1楽音とは異なる第2楽音の発生を開始するように楽音生成部8,9に指示する。発生された第2楽音は、発音開始時点t3から所定の時間(第2楽音発音設定時間)Tdが経過した時点t4で自動的に消音される。
On the other hand, as shown in the upper part of (1b), when the performer's finger passes the pronunciation intention area As from top to bottom, the
例えば、上述のように、第1楽音がギターの通常音であり、第2楽音がギターのハーモニクス音であるとすると、演奏者は、通常のギター音を鳴らしたい場合は、鍵盤14Kを押鍵する。また、通常ギター音に代えてギターのハーモニクス音を鳴らしたい場合には、発音意図領域Asを通過させて一旦鍵盤に触れ、その後、指を鍵盤14Kから離す操作をする。
For example, as described above, if the first musical sound is a normal guitar sound and the second musical sound is a harmonic sound of the guitar, the player presses the
自然楽器のギターにおいては、ハーモニクス音を鳴らす場合、弦振動の節になる弦の位置、例えば、弦長の1/2となる位置に指を軽く触れた状態でピッキングをすると同時に指を離す、という操作が一般的である。これに対して、鍵盤14K軽く触れた後に離すという(1b)の操作は、自然楽器のギターにおけるハーモニクス奏法と類似しており、演奏者の感覚と合うものである。
When playing a harmonic sound in a natural musical instrument guitar, pick the finger while gently touching the position of the string that becomes the knot of the string vibration, for example, a position that is 1/2 the length of the string. This operation is common. On the other hand, the operation (1b) in which the
なお、第2楽音を鳴らす場合、指が鍵盤14Kから離れた後の指の動き、例えば、指の上昇速度や指の上下左右の揺れ等に応じて、アタック、音量、音色、ピッチなどの第2楽音の楽音特性パラメータを制御するようにしてもよい。
When playing the second musical sound, the finger movement after the finger has left the
〔楽音制御処理フロー例(2)〕
図7は、この発明の一実施例による電子音楽装置における第2実施形態の楽音制御処理の手順例を表わすフローチャートを示す。この電子音楽装置においては、設定操作子15中の楽音制御処理開始スイッチの操作によりこの楽音制御処理がスタートし、撮像カメラ18Cによる鍵盤上方領域の撮像が開始すると共に図7の処理フローが実行され、楽音制御処理停止スイッチの操作に基づく終了指示によってこの楽音制御処理が終了する。
[Music control control flow example (2)]
FIG. 7 is a flowchart showing an example of the procedure of the musical tone control process of the second embodiment in the electronic music apparatus according to one embodiment of the present invention. In this electronic music apparatus, the musical tone control process is started by the operation of the musical tone control process start switch in the
まず、最初のステップB1では、CPU1は、撮像装置18から鍵盤上方領域の画像データを取り込むように画像解析装置10に指示する。次のステップB2では、画像解析装置10は、撮像装置18からの画像データに対する画像処理により演奏者の各指の上下位置及び左右(音高)位置を認識し、CPU1は、認識された各指の上下位置及び左右(音高)位置を表わす上下位置及び左右位置情報を画像解析装置10から取得する。
First, in the first step B1, the
次のステップB3では、上下位置情報に基づいて指が発音意図領域Asを上から下への方向(上→下)に通過したか否かを判定し、或る指が上→下に通過したと判定されたときは(B3=YES)、ステップB4に進む。ステップB4では、演奏者に第2楽音を発音する意図があるとみなし、当該指について、RAM2上に第2楽音発音意図フラグ=“1”を立てて「第2楽音発音意図あり」をセットする。
In the next step B3, it is determined whether or not the finger has passed through the pronunciation intention area As from the top to the bottom (upward to down) based on the vertical position information, and a certain finger has passed from top to bottom. Is determined (B3 = YES), the process proceeds to step B4. In step B4, it is considered that the performer intends to generate the second musical tone, and the second musical tone pronunciation intention flag = “1” is set on the
指が発音意図領域Asを上→下に通過しないと判定されたとき(B3=NO)或いはステップB4で「第2楽音発音意図あり」をセットした後は、ステップB5で、上下位置情報に基づいて、演奏者の指が鍵盤14Kから離れたか否かを判定する。ここで、指が鍵盤14Kから離れたときは(B5=YES)、ステップB6に進んで、当該指の第2楽音発音意図フラグを調べ「第2楽音発音意図あり」がセットされているか否かを判定する。
When it is determined that the finger does not pass over the pronunciation intention area As (→ B3 = NO) or after “second musical tone intention” is set in step B4, in step B5, based on the vertical position information Then, it is determined whether or not the performer's finger is separated from the
ここで、「第2楽音発音意図あり」がセットされているときは(B6=YES)、ステップB7に進んで、当該指が鍵盤14Kから離れた時点或いは発音意図領域Asの上端p2に達した時点(t3)で、当該指について認識された音高位置に対応する音高をもつ第2楽音の発音開始を楽音生成部8、9に指示する。なお、発音を開始した第2楽音は、楽音生成部8、9において、所定時間Td後に(t4)自動的に消音処理される。
Here, when “with the second musical tone pronunciation intention” is set (B6 = YES), the process proceeds to step B7 and reaches the time point when the finger leaves the
指が鍵盤14Kから離れたとはいえないと判定されたとき(B5=NO)、「第2楽音発音意図あり」がセットされていないと判定されたとき(B6=NO)或いはステップB7で第2楽音発音開始を指示した後は、ステップB8で、鍵盤14Kに対する押鍵操作があったか否かを判定する。ここで、押鍵操作があったときは(B8=YES)、ステップB9に進み、当該押鍵操作がなされた鍵14Kに対応する音高位置の指の第2楽音発音意図フラグ=“0”とし「第2楽音発音意図なし」とした上、更にステップB10に進んで、当該押鍵操作のタイミング(ta)で、操作鍵14Kに対応する第1楽音の発音を開始するように楽音生成部8、9に指示する。
When it is determined that the finger is not separated from the
押鍵操作がないと判定されたとき(B8=NO)或いはステップB10で第1楽音の発音開始を指示した後は、ステップB11で、鍵盤14Kに対する離鍵操作があったか否かを判定する。ここで、離鍵操作があったときは(B9=YES)、ステップB10に進んで、当該離鍵操作がなされたタイミング(tb)で、操作鍵に対応する第1楽音を消音するように楽音生成部8、9に指示する。そして、離鍵操作がないと判定されたとき(B11=NO)或いはステップB12で第1楽音の消音を指示した後は、ステップB1に戻り、終了指示があるまでステップB1〜B12の動作を繰り返す。
When it is determined that there is no key pressing operation (B8 = NO) or after the start of sound generation of the first musical tone is instructed in step B10, it is determined in step B11 whether or not a key release operation has been performed on the
〔他の実施形態〕
この発明の一実施例による電子音楽装置においては、他の実施形態として、カメラで撮像した鍵盤上方領域の画像データから画像処理によって鍵盤上方における演奏者の指の位置を認識し、認識した押離鍵方向及び音高方向位置を、押鍵によって発音する楽音の特性を制御するのに用いることができる。図8は、この発明の一実施例による電子音楽装置における楽音制御の他の実施形態を説明するための図であり、他の実施形態では、鍵盤上方の指位置情報から得られる指の動きに基づいて鍵盤操作による楽音の特性を制御する。
[Other Embodiments]
In an electronic music apparatus according to an embodiment of the present invention, as another embodiment, the position of a player's finger above the keyboard is recognized by image processing from image data in the upper area of the keyboard imaged by the camera, and the recognized press and release is performed. The key direction and pitch direction positions can be used to control the characteristics of the musical sound that is produced by pressing the key. FIG. 8 is a diagram for explaining another embodiment of the tone control in the electronic music apparatus according to one embodiment of the present invention. In another embodiment, the movement of the finger obtained from the finger position information above the keyboard is shown. Based on this, it controls the characteristics of the musical sound by keyboard operation.
図8の例は、鍵盤操作による楽音に関する発音開始時の初期ピッチ及びその後のピッチ変化を鍵盤上方の指の動きに応じて制御するものであり、図8(1)では鍵盤上方の指位置情報がポルタメント奏法の制御に応用され、図8(2)ではピッチベンド奏法の制御に応用される。なお、各図における演奏モーションm1〜m5は指の動きを表わす。 The example of FIG. 8 controls the initial pitch at the start of sound generation related to a musical sound by keyboard operation and the subsequent pitch change according to the movement of the finger above the keyboard. In FIG. 8 (1), the finger position information above the keyboard. Is applied to the control of the portamento performance, and in FIG. 8 (2), it is applied to the control of the pitch bend performance. Note that the performance motions m1 to m5 in each figure represent finger movements.
鍵盤操作による楽音についてポルタメント奏法を制御する図8(1)の例では、第1演奏(接触)モーションm1により、演奏者の指が発音意図領域Asを上→下に通過して鍵K1に触れると、指の音高方向位置に対応する初期ピッチで楽音の発音を開始させる。次いで、第2演奏(移動)モーションm2により、指が発音意図領域As内を左→右に移動すると、発音を開始した楽音のピッチが移動中の指の音高方向位置に対応する音高となるように制御し、指の動きに応じて発音のピッチを変化させる。そして、第3演奏(押鍵)モーションm3により鍵K3が押鍵操作されると、ピッチが順次変化してきた楽音に対して、操作鍵Kbに対応する音高でピッチを確定する。 In the example of FIG. 8 (1) in which the portamento performance is controlled with respect to the musical sound by the keyboard operation, the player's finger passes the pronunciation intention area As from the upper side to the lower side and touches the key K1 by the first performance (contact) motion m1. Then, the tone generation of the musical tone is started at the initial pitch corresponding to the pitch direction position of the finger. Next, when the finger moves from the left to the right in the pronunciation intention area As by the second performance (movement) motion m2, the pitch of the musical sound that has started to be generated is the pitch corresponding to the pitch direction position of the moving finger. The pitch of the pronunciation is changed according to the movement of the finger. Then, when the key K3 is depressed by the third performance (key depression) motion m3, the pitch is determined at the pitch corresponding to the operation key Kb with respect to the musical sound whose pitch has been sequentially changed.
鍵盤操作による楽音についてピッチベンド奏法を制御する図8(2)の例では、第1演奏(振れ)モーションm4により、演奏者の指が発音意図領域Asを音高方向に僅かに移動しつつ上→下に通過した後、第2演奏(押鍵)モーションm5により鍵K5が押鍵操作されると、押鍵m5によって、所定のピッチでスタートし押鍵操作鍵K5のピッチ(押鍵ピッチ)まで変化する楽音の発音を開始させる。この場合、ピッチ変化時間は、指が発音意図領域Asを通過した時間に応じて変化させることができる。また、スタートピッチは、例えば、指が発音意図領域Asの上端p2を通ったときの音高方向位置に相当するピッチでもよいし、予め定めた押鍵ピッチに対するピッチ変化値(例えば、押鍵ピッチより半音低い音)でもよい。 In the example of FIG. 8 (2) in which the pitch bend performance is controlled with respect to the musical tone generated by the keyboard operation, the first finger (vibration) motion m4 causes the performer's finger to move upward in the pitch direction slightly while moving upward. When the key K5 is depressed by the second performance (key depression) motion m5 after passing downward, the key depression m5 starts at a predetermined pitch and reaches the pitch of the key depression key K5 (key depression pitch). Starts the sound of a changing musical tone. In this case, the pitch change time can be changed according to the time when the finger passes the pronunciation intention area As. The start pitch may be, for example, a pitch corresponding to a pitch direction position when the finger passes the upper end p2 of the pronunciation intention area As, or a pitch change value (for example, a key pressing pitch) with respect to a predetermined key pressing pitch. It may be a semitone lower sound).
鍵盤上方の指位置情報は、上述のように、発音時のピッチ制御に用いることができるだけでなく、発音時におけるピッチ制御以外の楽音制御、例えば、音量、音色、アタック等の楽音特性パラメータの制御に応用したり、消音後即ちリリース中の各種楽音制御、例えば、ピッチ、音量、音色、リリース等の楽音特性パラメータの制御に利用することができる。例えば、指の上下方向の動きに応じて発音時の音量やアタックレートを制御したり、左右(音高)方向の動きに応じて発音時の音色を制御してもよい。また、指の上下方向の動きに応じて消音時(リリース時)の音量やリリースレートを制御したり、左右(音高)方向の動きに応じて消音時のピッチや音色を制御してもよい。 As described above, the finger position information above the keyboard can be used not only for pitch control during sound generation, but also for tone control other than pitch control during sound generation, for example, control of sound characteristic parameters such as volume, tone, and attack. It can be used for various musical tone control after mute, that is, during release, for example, control of musical tone characteristic parameters such as pitch, volume, tone color, and release. For example, the volume and attack rate during sound generation may be controlled according to the vertical movement of the finger, or the timbre during sound generation may be controlled according to the left / right (pitch) direction movement. Also, the volume and release rate at the time of mute (release) may be controlled according to the movement of the finger in the vertical direction, and the pitch and tone at the time of mute may be controlled according to the movement in the left and right (pitch) direction. .
〔種々の実施態様〕
以上、図面を参照しつつこの発明の好適な実施の一形態について説明したが、これは単なる一例であって、この発明は、発明の精神を逸脱しない範囲で種々の変更が可能である。例えば、指位置解析装置(10)は、専用のハードウエアで構成してもよいし、CPU(1)によるソフトウエア処理で指位置を解析してもよい。また、楽音制御処理(図6、図7)の開始、終了は、電子音楽装置の電源スイッチのオン、オフに基づいてもよい。
[Various Embodiments]
The preferred embodiment of the present invention has been described above with reference to the drawings. However, this is merely an example, and the present invention can be variously modified without departing from the spirit of the invention. For example, the finger position analysis device (10) may be configured with dedicated hardware, or the finger position may be analyzed by software processing by the CPU (1). Also, the start and end of the musical tone control process (FIGS. 6 and 7) may be based on the on / off of the power switch of the electronic music apparatus.
18 撮像カメラ18Cを有する撮像装置、
p0 鍵盤14Kの上面位置、
As 鍵盤14Kの上方の位置p1〜p2間に設定される発音意図領域、
ta,tb 押鍵及び離鍵タイミング、
t1,t3 第2楽音の発音タイミング、
t2,t4 第2楽音の消音タイミング、
Td 第2楽音発音設定時間、
m1〜m5 指の動き(演奏モーション)。
18 an imaging device having an
p0 Upper surface position of
As a pronunciation intention area set between positions p1 and p2 above the
ta, tb key press and key release timing,
t1, t3 Second musical tone sounding timing,
t2, t4 The timing at which the second musical sound is muted,
Td Second musical tone pronunciation setting time,
m1-m5 Finger movement (performance motion).
Claims (3)
これら撮像装置により撮像された画像から、鍵盤上方における演奏者の指について押離鍵方向の位置及び鍵盤の鍵配列方向の位置を認識する位置認識手段と、
位置認識手段により認識された押離鍵方向の位置及び鍵配列方向の位置に基づいて楽音を制御する楽音制御手段であって、位置認識手段により認識された押離鍵方向の位置に応じて、楽音の発音開始又は消音を制御するものと
を具備することを特徴とする楽音制御装置。 A plurality of imaging devices for imaging the space above the keyboard;
Position recognition means for recognizing the position in the key release direction and the position in the keyboard arrangement direction of the player's finger above the keyboard from the images captured by these imaging devices;
A musical tone control means for controlling a musical tone based on the position in the key release direction and the position in the key arrangement direction recognized by the position recognition means, and according to the position in the key release direction recognized by the position recognition means, What is claimed is: 1. A musical sound control device comprising: a device for controlling the start or mute of musical sound.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006078131A JP4765705B2 (en) | 2006-03-22 | 2006-03-22 | Music control device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006078131A JP4765705B2 (en) | 2006-03-22 | 2006-03-22 | Music control device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007256411A JP2007256411A (en) | 2007-10-04 |
JP4765705B2 true JP4765705B2 (en) | 2011-09-07 |
Family
ID=38630741
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006078131A Expired - Fee Related JP4765705B2 (en) | 2006-03-22 | 2006-03-22 | Music control device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4765705B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020046500A (en) * | 2018-09-18 | 2020-03-26 | ソニー株式会社 | Information processing apparatus, information processing method and information processing program |
CN113658612B (en) * | 2021-08-25 | 2024-02-09 | 桂林智神信息技术股份有限公司 | Method and system for identifying played keys based on audio frequency |
JP2022149158A (en) * | 2021-03-25 | 2022-10-06 | ヤマハ株式会社 | Image processing method, image processing system, and program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0753117Y2 (en) * | 1989-06-27 | 1995-12-06 | ヤマハ株式会社 | Electronic keyboard instrument |
JPH0329994U (en) * | 1989-07-31 | 1991-03-25 | ||
JP3719017B2 (en) * | 1998-10-15 | 2005-11-24 | ヤマハ株式会社 | Keyboard device and electronic keyboard instrument provided with the keyboard device |
JP2002215139A (en) * | 2001-01-17 | 2002-07-31 | Casio Comput Co Ltd | Method and device for recording playing operation |
-
2006
- 2006-03-22 JP JP2006078131A patent/JP4765705B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007256411A (en) | 2007-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6344578B2 (en) | How to play an electronic musical instrument | |
JP5895740B2 (en) | Apparatus and program for performing singing synthesis | |
US9761210B2 (en) | Control methods for musical performance | |
JP6776788B2 (en) | Performance control method, performance control device and program | |
JP4720563B2 (en) | Music control device | |
JP2004251926A (en) | Electronic musical instrument | |
JP6977741B2 (en) | Information processing equipment, information processing methods, performance data display systems, and programs | |
JP4765705B2 (en) | Music control device | |
JP6003195B2 (en) | Apparatus and program for performing singing synthesis | |
CN105489209A (en) | Electroacoustic musical instrument rhythm controllable method and improvement of karaoke thereof | |
JP2007322683A (en) | Musical sound control device and program | |
JP6835247B2 (en) | Data generator and program | |
JP4720564B2 (en) | Music control device | |
JP2008008946A (en) | Musical sound controller and program | |
JP6295597B2 (en) | Apparatus and system for realizing cooperative performance by multiple people | |
Overholt | Advancements in violin-related human-computer interaction | |
JP7338669B2 (en) | Information processing device, information processing method, performance data display system, and program | |
JP4978176B2 (en) | Performance device, performance realization method and program | |
JP5399831B2 (en) | Music game system, computer program thereof, and method of generating sound effect data | |
JP7107720B2 (en) | fingering display program | |
JP3991892B2 (en) | Electronic musical instruments | |
JP6439225B2 (en) | Musical sound generating device, electronic musical instrument, musical sound generating method and program | |
WO2019092793A1 (en) | Data generating device and program | |
JP6634897B2 (en) | Lyric generation apparatus and lyrics generation method | |
JP6358554B2 (en) | Musical sound control device, musical sound control method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110308 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110322 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110530 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140624 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |