JP4457983B2 - Performance operation assistance device and program - Google Patents
Performance operation assistance device and program Download PDFInfo
- Publication number
- JP4457983B2 JP4457983B2 JP2005187139A JP2005187139A JP4457983B2 JP 4457983 B2 JP4457983 B2 JP 4457983B2 JP 2005187139 A JP2005187139 A JP 2005187139A JP 2005187139 A JP2005187139 A JP 2005187139A JP 4457983 B2 JP4457983 B2 JP 4457983B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- performance
- information
- input
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H5/00—Instruments in which the tones are generated by means of electronic generators
- G10H5/005—Voice controlled instruments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/005—Non-interactive screen display of musical or status data
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/351—Environmental parameters, e.g. temperature, ambient light, atmospheric pressure, humidity, used as input for musical purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
- G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Electrophonic Musical Instruments (AREA)
- Auxiliary Devices For Music (AREA)
Description
この発明は、ユーザからの種々の入力に応じて電子楽器等の電子音楽装置を制御すると共に、ユーザに対して種々の出力を発生することにより、演奏や操作の援助を行う演奏操作援助システムに関する。 The present invention relates to a performance operation support system that controls an electronic music apparatus such as an electronic musical instrument in accordance with various inputs from a user and generates various outputs to the user, thereby assisting performance and operation. .
電子楽器等の電子音楽装置をユーザが演奏したり操作する際の援助手段としては、従来より、ヘルプ機能が知られている。例えば、特許文献1には、電子楽器にヘルプスイッチ及び表示器を設け、ヘルプスイッチを操作しながら各種のスイッチを操作すると、そのスイッチに割り当てられている機能の説明が表示器に表示される。
しかしながら、このようなスイッチ操作によるヘルプ機能では、ユーザにとっては、一方的に機械を操作しているといった感覚しかなく、親しみを覚えることができない。 However, such a help function by operating the switch has only a sense that the user is unilaterally operating the machine, and cannot feel familiarity.
この発明は、このような事情に鑑み、ユーザが親しみを覚えることを可能にしながら、電子音楽装置を演奏したり操作する際の援助を行うことができる演奏操作援助装置を提供することを目的とする。 In view of such circumstances, an object of the present invention is to provide a performance operation assisting device capable of assisting a user in playing or operating an electronic music device while allowing a user to feel familiar. To do.
この発明の主たる特徴に従うと、ユーザの動作状態を表わす動作情報として、動作中のユーザをカメラで撮影して得られた映像情報を入力する入力手段(A1:A12)と、入力手段(A1)により入力された映像情報について画像認識処理を行いユーザの動作を認識する認識手段(A2)と、認識手段(A2)により認識された結果に基づいて制御情報を電子音楽装置(EM)に出力し(段落[0054],[0055])、該電子音楽装置(EM,MD)を制御する制御手段(A3・A4m)であって、該制御情報には演奏パートの移行を指示する制御情報が含まれる(段落[0054],[0055])もの(A3・A4m)と、認識手段(A2)により認識された結果に基づいて、ユーザに対してフィードバック出力を発生するフィードバック手段(A3・A41〜A43)とを具備する演奏操作援助装置(コンピュータ、PA)〔請求項1〕が提供され、また、 ユーザの動作状態を表わす動作情報として、動作中のユーザをカメラで撮影して得られた映像情報を入力する入力手段(A1:A12)を具備し、演奏操作援助装置として機能するコンピュータ(PA)に、入力手段(A1)により入力された映像情報について画像認識処理を行いユーザの動作を認識する認識ステップ(A2)と、認識ステップ(A2)で認識された結果に基づいて、電子音楽装置(EM,MD)を制御するための制御情報を生成する制御ステップ(A3・A4m)であって、該制御情報には演奏パートの移行を指示する制御情報が含まれる(段落[0054],[0055])もの(A3・A4m)と、認識ステップ(A2)で認識された結果に基づいて、ユーザに対するフィードバック情報を生成するフィードバックステップ(A3・A41〜A43)とから成る手順を実行させる演奏操作援助プログラム〔請求項4〕が提供される。なお、括弧書きは、理解の便のために付記した実施例の参照記号や用語等を表わし、以下においても同様である。 According to the main feature of the present invention, input means (A1: A12) for inputting video information obtained by photographing a user who is operating with a camera as operation information representing the operation state of the user, and input means (A1) Recognition means (A2) for recognizing the user's action by performing image recognition processing on the video information inputted by the control means, and outputting control information to the electronic music apparatus (EM) based on the result recognized by the recognition means (A2). (Paragraphs [0054] and [0055]), control means (A3 / A4m) for controlling the electronic music apparatus (EM, MD), the control information including control information for instructing the transition of the performance part (Paragraphs [0054], [0055]) (A3 / A4m) and a result of generating feedback output to the user based on the result recognized by the recognition means (A2). A performance operation assisting device (computer, PA) comprising a back-back means (A3, A41 to A43) is provided. (Claim 1) In addition, as operation information indicating the user's operation state, a user who is operating is captured by a camera. Image recognition processing for video information input by the input means (A1) to a computer (PA) that has input means (A1: A12) for inputting video information obtained by photographing and functions as a performance operation support device A recognition step (A2) for recognizing the user's action and a control step (step S2) for generating control information for controlling the electronic music device (EM, MD) based on the result recognized in the recognition step (A2). A3 · A4m), and the control information includes control information for instructing the transition of the performance part (paragraphs [0054] and [0055]) (A3 · A4m). A4m) and a performance operation assistance program for executing a procedure comprising feedback steps (A3, A41 to A43) for generating feedback information for the user based on the result recognized in the recognition step (A2). Is provided. Note that the parentheses indicate reference symbols, terms, and the like of the examples added for convenience of understanding, and the same applies to the following.
この発明による演奏操作援助装置(PA)において、入力手段(A1)は、さらに、前記電子音楽装置(EM)からのユーザ演奏情報を入力し(A1m)、制御手段(A3・A4m)或いはフィードバック手段(A3・A41〜A43)は、前記入力手段(A1)により入力されたユーザ演奏情報を学習し(A6)、学習した結果に従って前記電子音楽装置(EM)を制御し或いは前記フィードバック出力を発生する〔請求項2〕ように構成することができる。
また、この発明による演奏操作援助装置(PA)において、入力手段(A1)は、さらに、ユーザにより発生された音を表わす音情報を動作情報として入力し(A11)、認識手段(A2)は、入力手段(A1)により入力された映像情報の画像認識処理によりユーザの視線及びジェスチャーを認識すると共に、入力手段(A1)により入力された音情報の音声認識により所定音を認識し、制御手段(A3・A4m)は、認識手段(A2)により所定のジェスチャーが認識されたときに、演奏パートの移行を指示する制御情報を電子音楽装置(EM)に出力する〔請求項3〕ように構成することができる。
In the performance operation assisting device (PA) according to the present invention, the input means (A1) further inputs user performance information from the electronic music device (EM) (A1m), and controls means (A3 / A4m) or feedback means. (A3, A41 to A43) learns the user performance information input by the input means (A1) (A6), controls the electronic music device (EM) according to the learned result, or generates the feedback output [Claim 2] It can constitute as follows.
In the performance operation assisting device (PA) according to the present invention, the input means (A1) further inputs sound information representing the sound generated by the user as operation information (A11), and the recognition means (A2) The user's line of sight and gesture are recognized by the image recognition process of the video information input by the input means (A1), the predetermined sound is recognized by the voice recognition of the sound information input by the input means (A1), and the control means ( A3 and A4m) are configured to output control information for instructing the transition of the performance part to the electronic music apparatus (EM) when a predetermined gesture is recognized by the recognition means (A2). be able to.
この発明による演奏操作援助システムでは(請求項1,4)、ユーザの動作状態を表わす動作情報として、動作中のユーザをカメラで撮影して得られた映像情報が入力され原因情報となる(A1:A12)。例えば、映像情報(視覚的動作情報)は、ユーザの視線やジェスチャーを表わし(A12)、入力情報として検出される。そして、入力された映像情報について画像認識処理を行いユーザの動作を認識し(A2)、制御情報及びフィードバック情報を生成し、制御情報によって電子楽器等の電子音楽装置(EM)に演奏パートの移行を指示し(段落[0054],[0055])、該電子音楽装置(EM)における演奏を制御する(A3・A4m)と共に、フィードバック情報によって、ユーザに対してフィードバック出力を発生する(A3・A41〜A43)。ここで、演奏の制御については、例えば、電子音楽装置(EM)の演奏中、視線(アイコンタクト)が認識されたユーザが所定のジェスチャー(合図)を行うと、この合図が画像認識され、制御情報により電子音楽装置(EM)の演奏パートが移行される。また、フィードバック出力については、例えば、視覚的には、演奏操作援助装置(PA)が電子音楽装置組み込み型の場合は表示器上の映像であり、ロボット型の場合にはロボット動作が該当し(A42)、聴覚的には合成音声や音楽であり(A41)、物理的には接触動作であり(A43)、これら視覚的、聴覚的及び物理的なフィードバック出力の内の少なくとも1つがユーザに伝達される。
従って、この発明によれば、ユーザは、視線を合わせたり、ジェスチャーを用いたりすることで、演奏パートの移行を含むユーザ自身の要望を演奏操作援助装置に伝え、電子音楽装置を演奏したり操作する際の援助を行うことができ、親しみを覚えながら演奏操作援助装置と接することができる。
In the performance operation assisting system according to the present invention (claims 1 and 4), video information obtained by photographing the operating user with the camera is input as the operation information indicating the operation state of the user and becomes the cause information (A1). : A12). For example, video information (visual motion information) represents a user's line of sight or gesture (A12) and is detected as input information. Then, image recognition processing is performed on the input video information to recognize the user's action (A2), control information and feedback information are generated, and the performance part is transferred to the electronic music apparatus (EM) such as an electronic musical instrument by the control information. (Paragraphs [0054] and [0055]), the performance in the electronic music apparatus (EM) is controlled (A3 / A4m), and a feedback output is generated to the user based on the feedback information (A3 / A41). ~ A43). Here, with regard to performance control, for example, when a user whose line of sight (eye contact) is recognized performs a predetermined gesture (signal) during the performance of the electronic music apparatus (EM), the signal is recognized and controlled. The performance part of the electronic music apparatus (EM) is transferred by the information. As for the feedback output, for example, when the performance operation assisting device (PA) is an electronic music device built-in type, the feedback output is an image on the display unit. A42) is acoustically synthesized speech or music (A41), is physically a touch action (A43), and at least one of these visual, auditory, and physical feedback outputs is transmitted to the user. Is done.
Therefore, according to the present invention, the user communicates the user's own request including the transition of the performance part to the performance operation assisting device by adjusting the line of sight or using the gesture, and plays or operates the electronic music device. It is possible to provide assistance when performing music, and it is possible to make contact with the performance operation assisting device while being familiar.
この発明による演奏操作援助装置では(請求項2)、さらに、電子音楽装置(EM)からのユーザ演奏情報を入力し(A1m)、入力されたユーザ演奏情報(A1m)を学習し(A6)、学習した結果に基づき、次に入力されるユーザ演奏情報(A1m)を解釈(解析)して、電子音楽装置(EM)を最適に制御したり或いは最適なフィードバック出力を発生する(A3・A4)ようにしている。従って、この発明によれば、ユーザの演奏内容が反映され、より親しみを覚える演奏操作援助装置を提供することができる。
また、この発明による演奏操作援助装置では(請求項3)、さらに、ユーザにより発生された音を表わす音情報を動作情報として入力し(A11)、入力された映像情報の画像認識処理によりユーザの視線及びジェスチャーを認識し、入力された音情報の音声認識により所定音を認識すると(A2)、電子音楽装置(MD)を制御しフィードバック出力を発生するA3・A4)ようにしている。例えば、画像認識でユーザのアイコンタクトを認識し、音声認識でドラムスティックのカンカン音を認識すると、これに応じて、ユーザに所望パートの演奏を指示し電子音楽装置(MD)には他パートの演奏を開始させる。また、演奏中に所定のジェスチャーが画像認識されると、上述のように、電子音楽装置(EM)の演奏パートが移行される。従って、この発明によれば、ユーザの視線やジェスチャー並びにユーザにより発生された音に応答し、より親しみを覚える演奏操作援助装置を提供することができる。
In the performance operation assisting device according to the present invention (Claim 2), user performance information from the electronic music device (EM) is input (A1m), and the input user performance information (A1m) is learned (A6). Based on the learning result, the user performance information (A1m) inputted next is interpreted (analyzed) to optimally control the electronic music apparatus (EM) or generate an optimal feedback output (A3 / A4). I am doing so. Therefore, according to the present invention, it is possible to provide a performance operation assisting device that reflects the user's performance and is more familiar.
Further, in the performance operation assisting device according to the present invention (claim 3), sound information representing a sound generated by the user is input as operation information (A11), and the user's image is processed by image recognition processing of the input video information. When a line of sight and a gesture are recognized and a predetermined sound is recognized by voice recognition of the input sound information (A2), the electronic music device (MD) is controlled to generate a feedback output (A3 / A4). For example, when the user's eye contact is recognized by the image recognition and the drum sound of the drumstick is recognized by the voice recognition, the user is instructed to play the desired part, and the electronic music device (MD) Start playing. When a predetermined gesture is recognized during performance, the performance part of the electronic music apparatus (EM) is shifted as described above. Therefore, according to the present invention, it is possible to provide a performance operation assisting device that responds to the user's line of sight, gestures, and sounds generated by the user, and is more familiar.
〔電子音楽装置の概要〕
図1は、この発明の一実施例による電子音楽装置のハードウエア構成ブロック図を示す。この電子音楽装置EMには、電子楽器、又は、演奏操作部乃至楽音信号発生部を備えるパーソナルコンピュータ(PC)のように電子楽器と同等の音楽情報処理機能を有する音楽情報処理装置が用いられる。このような電子音楽装置EMは、中央処理装置(CPU)1、ランダムアクセスメモリ(RAM)2、読出専用メモリ(ROM)3、外部記憶装置4、演奏操作検出回路5、設定操作検出回路6、表示回路7、音源回路8、効果回路9、通信インターフェース(I/F)10、MIDIインターフェース(I/F)11などを備え、これらの要素1〜11はバス12を介して互いに接続される。
[Outline of electronic music device]
FIG. 1 is a block diagram showing the hardware configuration of an electronic music apparatus according to an embodiment of the present invention. The electronic music apparatus EM is an electronic musical instrument or a music information processing apparatus having a music information processing function equivalent to that of an electronic musical instrument, such as a personal computer (PC) having a performance operation unit or a musical tone signal generation unit. Such an electronic music apparatus EM includes a central processing unit (CPU) 1, a random access memory (RAM) 2, a read only memory (ROM) 3, an external storage device 4, a performance operation detection circuit 5, a setting
CPU1は、所定の制御プログラムに従い、タイマ13によるクロックを利用して種々の音楽情報処理を実行する。RAM2は、これらの処理に際して必要な各種データを一時記憶するためのワーク領域として用いられる。また、ROM3には、これらの処理を実行するために必要な各種制御プログラムや制御データ、演奏データ等が予め記憶される。
The CPU 1 executes various music information processing using a clock by the
外部記憶装置4は、ハードディスク(HD)等の内蔵記憶媒体の外に、コンパクトディスク・リード・オンリィ・メモリ(CD−ROM)、フレキシブルディスク(FD)、光磁気(MO)ディスク、ディジタル多目的ディスク(DVD)、スマートメディア(登録商標)等の小型メモリカード、等々、種々の可搬性の外部記録媒体を含み、任意の外部記憶装置4に任意のデータを記憶することができる。 The external storage device 4 is not only a built-in storage medium such as a hard disk (HD) but also a compact disk read only memory (CD-ROM), a flexible disk (FD), a magneto-optical (MO) disk, a digital multipurpose disk ( Various data can be stored in an arbitrary external storage device 4 including various portable external recording media such as a small memory card such as a DVD and a smart media (registered trademark).
演奏操作検出回路5は、鍵盤などの演奏操作子14と共に演奏操作部として機能し、演奏操作子14の演奏操作内容を検出し、これに対応する実演奏データを装置内部に導入する。設定操作検出回路6は、キースイッチやマウス等の設定操作子15と共にパネル設定部として機能し、設定操作子15の設定操作内容を検出し、これに対応するパネル設定データを装置内部に導入する。表示回路7は、画面表示用LCD等のディスプレイ(表示器)16や各種インジケータ(図示せず)の表示/点灯内容をCPU1からの指令に従って制御し、各操作子14,15の操作に対する表示援助を行う。
The performance operation detection circuit 5 functions as a performance operation unit together with a
音源回路8は、演奏操作部14,5からの実演奏データや記憶手段(3,4)等からの演奏データに応じた楽音信号を発生し、効果付与DSPを有する効果回路9は音源回路9からの楽音信号に所定の効果を付与した楽音信号を生成し、両回路8,9は、楽音信号生成部として機能し音源部とも呼ばれる。効果回路9に後続するサウンドシステム17は、D/A変換部やアンプ、スピーカを備え、効果が付与された楽音信号に基づく楽音を発生する。
The tone generator circuit 8 generates a musical tone signal corresponding to the actual performance data from the
通信I/F10には、インターネットやローカルエリアネットワーク(LAN)などの通信ネットワークCNが接続され、外部のサーバコンピュータSV等から、制御プログラムをダウンロードしたり演奏データを記憶装置4に保存して、この電子音楽装置EMで利用することができる。
A communication network CN such as the Internet or a local area network (LAN) is connected to the communication I /
MIDII/F11には、演奏操作援助装置PAや、電子音楽装置EMと同様のMIDI音楽情報処理機能を有する他の電子音楽装置MDが接続され、MIDII/F11を通じて電子音楽装置EMと演奏操作援助装置PA及び他の電子音楽装置MDとの間でMIDIデータを授受することができる。 The MIDII / F11 is connected to a performance operation support device PA and another electronic music device MD having the same MIDI music information processing function as the electronic music device EM, and the MIDII / F11 is connected to the electronic music device EM and the performance operation support device. MIDI data can be exchanged between the PA and another electronic music apparatus MD.
例えば、演奏操作援助装置PAは、ユーザからの種々の入力に応じて、MIDIデータ中に種々の制御情報を組み込んだMIDI制御情報を生成し、生成されたMIDI制御情報により電子音楽装置EMを制御することができる。また、電子音楽装置EMがユーザ演奏に基づくMIDI演奏情報(ユーザ演奏情報)を演奏操作援助装置PAに返信すると、演奏操作援助装置PAは、これを解析し、ユーザの演奏や操作に対してフィードバックを行うことができる。また、演奏操作援助装置PAは、他の電子音楽装置MDについても同様の制御及びフィードバックを行うことができる。さらに、電子音楽装置EMと他の電子音楽装置MDとの間ではMIDIデータを授受し、各装置EM,MDにおいて、MIDIデータを相互に演奏利用することができる。 For example, the performance operation assisting device PA generates MIDI control information in which various control information is incorporated in the MIDI data in accordance with various inputs from the user, and controls the electronic music device EM with the generated MIDI control information. can do. Further, when the electronic music apparatus EM returns MIDI performance information (user performance information) based on the user performance to the performance operation support apparatus PA, the performance operation support apparatus PA analyzes this and feeds back the performance and operation of the user. It can be performed. The performance operation assisting device PA can perform the same control and feedback for the other electronic music device MD. Furthermore, MIDI data can be exchanged between the electronic music apparatus EM and the other electronic music apparatus MD, and the MIDI data can be used and played between the apparatuses EM and MD.
〔演奏操作援助装置の機能〕
この発明の一実施例による演奏操作援助装置では、ユーザの動作状態を視覚的、聴覚的乃至物理的に表わした動作情報が原因情報として入力され、入力された動作情報を解釈して電子楽器等の電子音楽装置を制御すると共に、ユーザに対して視覚的、聴覚的乃至物理的なフィードバック出力を発生することができる。図2は、この発明の一実施例による演奏操作援助装置の機能を説明するための機能ブロック図である。
[Functions of performance operation support device]
In the performance operation assisting device according to the embodiment of the present invention, motion information that visually, audibly or physically represents a user's motion state is input as cause information, and the input motion information is interpreted to obtain an electronic musical instrument or the like. In addition to controlling the electronic music apparatus, it is possible to generate visual, auditory or physical feedback output to the user. FIG. 2 is a functional block diagram for explaining functions of the performance operation assisting device according to the embodiment of the present invention.
ここで、この発明の一実施例による演奏操作援助装置の特徴を図2を用いて簡単に説明しておくと次のとおりである。この演奏操作援助装置PAでは、原因情報として、ユーザの動作状態を聴覚的、視覚的乃至物理的に表わした動作情報(A11:言語や音楽、A12:ユーザの視線やジェスチャー、A13:熱や接触、振動)又は電子音楽装置EMからのユーザ演奏情報(A1m)が入力される(A1)。認識部A2は、入力された動作情報を解釈し、処理部A3は、この解釈結果に基づき、結果情報として制御情報及びフィードバック情報を生成する。そして、制御情報により電子楽器等の電子音楽装置EMを制御し(A4m)、フィードバック情報により、ユーザに対して聴覚的、視覚的乃至物理的なフィードバックを行う(A41:音声や音楽、A42:映像やロボット動作、A43:温度変化や接触動作)。また、入力された動作情報やユーザ演奏情報を学習し(A6)、学習した結果に基づき、次に入力される動作情報やユーザ演奏情報を解釈して最適な制御情報やフィードバック情報を生成することができる。 Here, the features of the performance operation assisting device according to the embodiment of the present invention will be briefly described with reference to FIG. In the performance operation assisting device PA, as cause information, motion information indicating the user's motion state in an auditory, visual or physical manner (A11: language or music, A12: user's line of sight or gesture, A13: heat or contact) , Vibration) or user performance information (A1m) from the electronic music apparatus EM is input (A1). The recognition unit A2 interprets the input operation information, and the processing unit A3 generates control information and feedback information as result information based on the interpretation result. Then, the electronic music apparatus EM such as an electronic musical instrument is controlled by the control information (A4m), and the auditory, visual or physical feedback is given to the user by the feedback information (A41: voice and music, A42: video). And robot operation, A43: temperature change and contact operation). Also, the input action information and user performance information are learned (A6), and based on the learning result, the next input action information and user performance information are interpreted to generate optimal control information and feedback information. Can do.
以下、より詳しく説明する。演奏操作援助装置PAは、ハードウエアとしては、図1に示される電子音楽装置EMと同様に、CPU、タイマ、RAMなどのデータ処理手段や、ROM、外部記憶装置などの記憶手段、MIDII/Fなどを備える一種のコンピュータであり、聴覚的、視覚的、物理的乃至電子的(無線などを含む)な多種の入出力手段を備える。また、演奏操作援助装置PAの形態としては、ロボット型、組み込み型、その他別体型などがあり、ロボット型及びその他別体型の場合は、電子音楽装置EMとは別体構造の装置として構成され、組み込み型の場合は、電子音楽装置の一部として構成される。 This will be described in more detail below. As in the case of the electronic music apparatus EM shown in FIG. 1, the performance operation assisting apparatus PA is similar to the electronic music apparatus EM shown in FIG. 1, such as data processing means such as a CPU, timer, and RAM, storage means such as a ROM and an external storage device, MIDII / F And a variety of input / output means such as auditory, visual, physical or electronic (including wireless). Further, the performance operation assisting device PA includes a robot type, a built-in type, and other separate types. In the case of the robot type and other separate types, it is configured as a device having a separate structure from the electronic music device EM. The built-in type is configured as a part of an electronic music device.
このような演奏操作援助装置PAは、機能ブロックで表わすと、種々の入力手段で構成される入力検出部A1、データ処理手段で構成される認識部A2及び処理部A3、種々の出力手段で構成される出力フィードバック部A4から成る。ここで、入力検出部A1及び出力フィードバック部A4にはMIDII/F(A1m,A4m)が含まれ、演奏操作援助装置PAがロボット型やその他別体型などの場合には、これらのMIDII/Fは無線などで電子音楽装置EM,MDと接続される。また、認識部A2及び処理部A3は、それぞれ、記憶手段を利用した認識データベースA5及び学習データベースA6を備える。 Such a performance operation assisting device PA, when expressed in function blocks, includes an input detection unit A1 composed of various input means, a recognition unit A2 and processing unit A3 composed of data processing means, and various output means. Output feedback section A4. Here, the input detection unit A1 and the output feedback unit A4 include MIDII / F (A1m, A4m). When the performance operation assisting device PA is a robot type or other separate type, these MIDII / F are It is connected to the electronic music devices EM and MD by wireless or the like. In addition, the recognition unit A2 and the processing unit A3 include a recognition database A5 and a learning database A6 using a storage unit, respectively.
演奏操作援助装置PAは、また、動作モードや演奏すべき楽曲など設定するための動作設定部A7を備える。動作モードとしては、例えば、独奏モード、バンドメンバーモード、レッスンの先生モード、友達モードなどがある。演奏操作援助装置PAがロボット型の場合には、さらに、走行機構(例えば、歩行タイプのロボット型ならば歩行機構)や、電子音楽装置EM,MDなどの他の装置との接触を検出する接触検出装置など、走行に伴う各種検出機構を備える(これらの機構は何れも図示せず)。 The performance operation assisting device PA also includes an operation setting unit A7 for setting an operation mode, music to be played, and the like. Examples of the operation mode include a solo mode, a band member mode, a lesson teacher mode, and a friend mode. When the performance operation assisting device PA is a robot type, it further detects a contact with a travel mechanism (for example, a walking mechanism if it is a walking type robot type) or other devices such as the electronic music devices EM, MD. Various detection mechanisms associated with traveling such as a detection device are provided (all of these mechanisms are not shown).
(1)入力検出部A1及び認識部A2
入力検出部A1は、ユーザに関する種々の情報を入力するために設けられ、聴覚的入力検出部A11、視覚的入力検出部A12、物理的入力検出部A13及び電子的入力検出部A14で構成される。また、各入力検出部A11〜A14で検出された各入力情報は認識部A2で認識処理される。まず、聴覚的、視覚的及び物理的入力検出部A11〜A13は、ユーザの動作状態を、それぞれ、聴覚的、視覚的及び物理的に表わす動作情報を入力するのに用いられる。
(1) Input detection unit A1 and recognition unit A2
The input detection unit A1 is provided for inputting various information about the user, and includes an audio input detection unit A11, a visual input detection unit A12, a physical input detection unit A13, and an electronic input detection unit A14. . Each input information detected by each of the input detection units A11 to A14 is recognized by the recognition unit A2. First, the auditory, visual, and physical input detection units A11 to A13 are used to input motion information that represents the user's motion state audibly, visually, and physically, respectively.
すなわち、聴覚的入力検出部A11は、ユーザの音声、打撃音や手拍子などの聴覚的入力を検出するための入力検出装置としてマイクを備え、マイクで検出された聴覚的動作情報は、認識部A2により音声認識処理がなされ、言語、音楽、合図、ノイズ等が認識される。例えば、言語としては、登録済みのキーワードや、それ以外の擬声語、擬態語などが認識され、これらの言語認識結果等から更にユーザの感情を判断することもできる。また、音楽としては、音色、音高、音圧(音量)、テンポ、楽曲などが認識され、模範演奏との比較機能も備えている。さらに、打撃音や手拍子などの音入力については、入力音の音質、回数や頻度などから、予め定められた合図であることが認識される。 That is, the auditory input detection unit A11 includes a microphone as an input detection device for detecting an auditory input such as a user's voice, a hitting sound, and a hand beat, and the auditory motion information detected by the microphone is recognized by the recognition unit A2. Thus, speech recognition processing is performed to recognize language, music, cues, noise, and the like. For example, registered keywords, other onomatopoeia, and mimetic words are recognized as languages, and the user's emotion can be further judged from these language recognition results. As music, timbre, pitch, sound pressure (volume), tempo, music, and the like are recognized, and a function for comparison with an exemplary performance is also provided. Furthermore, it is recognized that the sound input such as the hitting sound and the clapping is a predetermined signal from the sound quality, the number of times and the frequency of the input sound.
視覚的入力検出部A12は、ユーザの映像などの視覚的入力を検出するための入力検出装置としてカメラを備え、カメラで検出された視覚的動作情報は、認識部A2により画像認識処理がなされ、ユーザの視線、挙動、表情、ジェスチャー・アクション(合図)などが認識され、また、顔や体型などの特徴から個人認証もなされる。なお、カメラの設置箇所については、演奏操作援助装置PAに対する正視位置が好ましい。例えば、演奏操作援助装置PAがロボット型の場合は両眼の近傍に設けられ、組み込み型の場合にはディスプレイの上部近傍に設けられ、その他別体の場合は筐体正面に設けられる。 The visual input detection unit A12 includes a camera as an input detection device for detecting visual input such as a user's video, and the visual motion information detected by the camera is subjected to image recognition processing by the recognition unit A2. The user's line of sight, behavior, facial expression, gesture / action (cue), etc. are recognized, and personal authentication is also performed based on features such as face and body shape. In addition, about the installation location of a camera, the normal viewing position with respect to performance operation assistance apparatus PA is preferable. For example, when the performance operation assisting device PA is a robot type, it is provided in the vicinity of both eyes, in the case of a built-in type, it is provided in the vicinity of the upper part of the display, and in the other case, it is provided at the front of the casing.
物理的入力検出部A13は、ユーザの操作や状態などの物理的入力を検出するための入力検出装置として、接触センサ、振動センサ、加速度センサ、角速度センサ、熱センサ等を備え、これらのセンサで検出された物理的動作情報は、認識部A2により、ユーザが触ったこと、振ったこと、たたいたこと、持ち上げたこと、等々を認識する。 The physical input detection unit A13 includes a contact sensor, a vibration sensor, an acceleration sensor, an angular velocity sensor, a thermal sensor, and the like as an input detection device for detecting a physical input such as a user operation or state. The detected physical motion information is recognized by the recognition unit A2 as touched, shaken, hit, lifted, etc. by the user.
次に、電子的入力検出部A14は、ユーザに関する電子的情報などの電子的入力を検出するための入力検出装置として、無線式(RF)ID検出器やMIDI入力部(MIDI入力端子)A1mなどを備え、認識部A2は、RFID検出器で検出されたRFID個人情報に基づいて個人認証をしたり、MIDI入力部A1mから入力された電子音楽装置EMからのユーザ演奏情報に基づいて音楽を認識・評価したりすることができる。 Next, the electronic input detection unit A14 is a wireless (RF) ID detector, a MIDI input unit (MIDI input terminal) A1m, or the like as an input detection device for detecting an electronic input such as electronic information about the user. The recognition unit A2 performs personal authentication based on the RFID personal information detected by the RFID detector, and recognizes music based on the user performance information from the electronic music device EM input from the MIDI input unit A1m.・ Can be evaluated.
認識部A2は、種々の認識エンジンを備え、上述のように、入力検出部A1により入力された各入力情報を解釈(認識)して所要の認識(判断)情報を生成する種々の認識処理を行い、認識処理の際には認識データベースA5を参照する。認識データベースA5は、予め登録されている情報、及び、その後随時ユーザ登録した情報で構成され、認識のアルゴリズム及び認識データベースの構造は、公知の技術を採用することができる。 The recognition unit A2 includes various recognition engines, and performs various recognition processes for interpreting (recognizing) each input information input by the input detection unit A1 and generating necessary recognition (judgment) information as described above. In the recognition process, the recognition database A5 is referred to. The recognition database A5 is configured by information registered in advance and information registered by the user at any time thereafter, and a known technique can be adopted as the recognition algorithm and the structure of the recognition database.
(2)処理部A3
処理部A3は、認識部A2での解釈(認識)により得られた判断情報に基づいて、電子音楽装置EMを制御するための制御情報を生成したり、ユーザに対して聴覚的、視覚的及び物理的なフィードバック出力を発生するためのフィードバック情報を生成する。また、これらの情報を生成する際には、学習データベースA6を参照することができる。学習データベースA6は、認識された情報の特徴からユーザの癖などを学習し、処理部A3に反映させるためのものである。なお、学習データベースA6は、演奏操作援助装置PAの動作モードに応じて異なるデータベースを持つことが好ましい。
(2) Processing unit A3
The processing unit A3 generates control information for controlling the electronic music device EM based on the determination information obtained by the interpretation (recognition) in the recognition unit A2, and is audible, visual, and Generate feedback information to generate a physical feedback output. Further, when generating such information, the learning database A6 can be referred to. The learning database A6 is for learning user's habits and the like from the recognized information features and reflecting them in the processing unit A3. The learning database A6 preferably has a different database depending on the operation mode of the performance operation assisting device PA.
(3)出力フィードバック部A4
出力フィードバック部A4は、聴覚的フィードバック部A41、視覚的フィードバック部A42、物理的フィードバック部A43などのフィードバック部と、MIDI出力部A4mとから構成される。各フィードバック部A41〜A43は、処理部A3で生成されたフィードバック情報に基づいて、聴覚的、視覚的及び物理的なフィードバックをユーザに向けて出力する。
(3) Output feedback unit A4
The output feedback unit A4 includes a feedback unit such as an audio feedback unit A41, a visual feedback unit A42, and a physical feedback unit A43, and a MIDI output unit A4m. Each feedback unit A41 to A43 outputs audio, visual and physical feedback to the user based on the feedback information generated by the processing unit A3.
例えば、聴覚的フィードバック部A41は、処理部A3からの聴覚的フィードバック情報に基づいて、言語によるメッセージを発声したり、非言語によるブザー音などをスピーカを通じて発音するフィードバック出力機能を有するが、必要に応じて、さらに、電子音楽装置EMの音源部8、9のような楽音信号生成機能をもたせて楽音を発音することができるように構成してもよい。
For example, the auditory feedback unit A41 has a feedback output function that utters a message in a language based on the auditory feedback information from the processing unit A3 or pronounces a non-language buzzer sound through a speaker. Accordingly, a musical tone may be generated with a musical tone signal generation function such as the
視覚的フィードバック部A42は、処理部A3からの視覚的フィードバック情報に基づいて視覚的なフィードバック出力を発生する。例えば、この演奏操作援助装置PAの形態がロボット型の場合であれば、首や尾を振ったり手(動物の場合は、前足)を動かす等のジェスチャーや、ダンス、顔の表情、眼の動きなどといったロボットの動作によって、フィードバック情報がユーザに伝達され、組み込み型やその他別体型の場合では、画像表示などでフィードバックされる。 The visual feedback unit A42 generates a visual feedback output based on the visual feedback information from the processing unit A3. For example, if the performance operation assisting device PA is of a robot type, gestures such as waving a neck and tail or moving a hand (a front foot in the case of animals), dancing, facial expressions, eye movements, etc. The feedback information is transmitted to the user by the operation of the robot such as, and in the case of a built-in type or other separate type, it is fed back by image display or the like.
物理的フィードバック部A43は、処理部A3からの物理的フィードバック情報に基づいて物理的なフィードバック出力を発生する。例えば、熱くなる/冷たくなる等、温度変化などのフィードバックがなされ、ロボット型であれば、更に、ユーザをなでたりたたく等、接触や振動などのフィードバックを行うことができる。 The physical feedback unit A43 generates a physical feedback output based on the physical feedback information from the processing unit A3. For example, feedback such as temperature change such as heating / cooling is provided, and if it is a robot type, feedback such as contact and vibration can be further performed such as stroking the user.
また、MIDI出力部A4mは、処理部A3で生成された制御情報をMIDIデータの形式で電子音楽装置EM,MDに出力する(以下、この制御情報をMIDI制御情報と呼ぶ)。MIDI出力部A4mから出力されるMIDI制御情報には、演奏に関する情報(チャンネルメッセージ)、操作情報(スイッチリモートメッセージ)、制御情報(システムエクスクルーシブメッセージ)、その他情報(バルクデータ)などがある。 The MIDI output unit A4m outputs the control information generated by the processing unit A3 to the electronic music devices EM and MD in the form of MIDI data (hereinafter, this control information is referred to as MIDI control information). The MIDI control information output from the MIDI output unit A4m includes performance information (channel message), operation information (switch remote message), control information (system exclusive message), and other information (bulk data).
〔独奏モードの動作例〕
次に、ロボット型の演奏操作援助装置PAについて、独奏モードを例にして、具体的な一連の演奏操作援助動作を説明する。なお、演奏操作援助装置PAの援助による独奏モードは、動作設定部A7に対するユーザの動作モード設定操作により設定され、同動作設定部A7への楽曲設定操作により予め演奏すべき楽曲とそのテンポが設定される。また、これらの設定状態は、動作設定部A7による設定時にMIDI出力部A4mを通じて電子音楽装置EM,MDに送られる。
[Operation example in solo mode]
Next, a specific series of performance operation assisting operations will be described for the robot-type performance operation assisting device PA by taking the solo mode as an example. The solo mode assisted by the performance operation assisting device PA is set by the user's operation mode setting operation to the operation setting unit A7, and the music to be played and its tempo are set in advance by the music setting operation to the operation setting unit A7. Is done. These setting states are sent to the electronic music apparatuses EM and MD through the MIDI output unit A4m at the time of setting by the operation setting unit A7.
(1)イントロ:
例えば、ユーザがロボット型の演奏操作援助装置PAに向かって手を叩くと、認識部A2は、聴覚的入力検出部A11を通じて手を叩く音を認識し、処理部A3は、これに反応して、聴覚的出力部A41を通じてユーザに対し「手拍子を打って」と発声する。
(1) Intro:
For example, when the user claps his hand toward the robot-type performance operation assisting device PA, the recognition unit A2 recognizes the sound of clapping his hand through the auditory input detection unit A11, and the processing unit A3 responds to this. Then, it utters “clapping hands” to the user through the auditory output unit A41.
これに対してユーザが手拍子を打つと、認識部A2は、手拍子の繰り返し速度を設定されたテンポと比較判断する。処理部A3が認識部A2の進遅判断に応じて聴覚的出力部A41の出力を制御することによって、聴覚的出力部A41は、手拍子が進んでいる(速い)か又は遅れている(遅い)間は「もっと遅く」又は「もっと早く」との発声を繰り返し、手拍子が設定テンポとほぼ同期したところで「ありがとう」と発声する。 On the other hand, when the user beats the hand clapping, the recognition unit A2 compares the hand clapping repetition speed with the set tempo. When the processing unit A3 controls the output of the auditory output unit A41 according to the advance / delay determination of the recognition unit A2, the auditory output unit A41 is either advanced (fast) or delayed (slow). In the meantime, the utterance of “slower” or “faster” is repeated, and “thank you” is uttered when the time signature is almost synchronized with the set tempo.
処理部A3は、聴覚的出力部A41に「ありがとう」を発声させると同時に、楽曲演奏の開始を指示するMIDI制御情報をMIDI出力部A4mを通じて電子音楽装置EMに送信し、設定された楽曲の伴奏演奏及び楽譜表示を開始させる。これにより、電子音楽装置EMでは、当該楽曲のイントロ(伴奏)がサウンドシステム17から流れ出し、当該楽曲の楽譜表示がディスプレイ16上に進行していく。
The processing unit A3 utters “thank you” to the auditory output unit A41 and simultaneously transmits MIDI control information for instructing the start of the music performance to the electronic music apparatus EM through the MIDI output unit A4m. Start playing and displaying music. Thereby, in the electronic music apparatus EM, the intro (accompaniment) of the music piece flows out from the
上述の例では手を叩く動作に従ってイントロ演奏を開始させるようにしているが、口笛や称呼などの動作によってイントロを開始してもよい。まず、口笛でイントロを開始する場合は、ユーザが演奏操作援助装置PAに向かって口笛を吹くと、認識部A2は、聴覚的入力検出部A11で検出された口笛を認識し、処理部A3は、これに反応して、次の口笛を待機する。 In the above example, the intro performance is started in accordance with the operation of tapping the hand, but the intro may be started by an operation such as a whistle or a name. First, when the intro is started with a whistle, when the user blows the whistle toward the performance operation assisting device PA, the recognition unit A2 recognizes the whistle detected by the auditory input detection unit A11, and the processing unit A3 In response, wait for the next whistle.
ユーザが何度か口笛を吹いてみると、処理部A3は、認識部A2が口笛の繰り返しを判断するのに応じて聴覚的出力部A41を起動し、これにより、聴覚的出力部A41は、設定された楽曲を鼻歌で唄い始めるとともに、例えば「一緒に唄おうよ」と発声する。 When the user blows the whistle several times, the processing unit A3 activates the auditory output unit A41 in response to the recognition unit A2 determining the repetition of the whistle, whereby the auditory output unit A41 Start singing the set music with a nose song, and say "Let's sing together", for example.
そして、ユーザが口笛又は鼻歌で設定楽曲を合唱すると、処理部A3は、認識部A2により合唱状態に入ったと判断された時点で、楽曲演奏の開始を指示するMIDI制御情報をMIDI出力部A4mを通じて電子音楽装置EMに送信し、設定された楽曲の伴奏演奏及び楽譜表示を開始させる。これにより、電子音楽装置EMでは、当該楽曲のイントロがサウンドシステム17から流れ始め、ディスプレイ16上の楽譜表示も進行していく。
When the user sings the set music with a whistle or a nose song, the processing unit A3 sends the MIDI control information for instructing the start of the music performance through the MIDI output unit A4m when it is determined that the recognition unit A2 has entered the chorus state. It transmits to the electronic music apparatus EM, and the accompaniment performance of the set music and a score display are started. Thereby, in the electronic music apparatus EM, the intro of the music starts to flow from the
次に、称呼でイントロを開始する場合には、ユーザに演奏操作援助装置PAの適当な愛称(ニックネーム)を称呼させる。つまり、ユーザが演奏操作援助装置PAに向かってその愛称(例えば、「タロウ」)で声をかけると、認識部A2は、聴覚的入力検出部A11で検出された愛称を認識し、処理部A3は、これに反応して、次の愛称称呼を待機する。 Next, when the intro is started with a name, the user is given an appropriate nickname (nickname) of the performance operation assisting device PA. That is, when the user speaks with the nickname (for example, “Taro”) toward the performance operation assistance device PA, the recognition unit A2 recognizes the nickname detected by the auditory input detection unit A11, and the processing unit A3. In response, waits for the next nickname call.
ユーザが愛称の称呼を続けると、処理部A3は、認識部A2が愛称称呼の繰り返しを判断するのに応じて聴覚的出力部A41を起動し、これにより、聴覚的出力部A41は、「なあに?練習の時間?」とユーザに問い掛け、さらに、「練習するなら撫でて」と発声する。そこで、ユーザが演奏操作援助装置PAのロボットを撫でると、認識部A2は、物理的入力検出部A13を通じて撫でる動作が行われたことを認識する。 When the user continues the nickname call, the processing unit A3 activates the audio output unit A41 in response to the recognition unit A2 determining the repetition of the nickname call, whereby the audio output unit A41 “Practice time?” And asks the user, and then says “If you practice, boil”. Therefore, when the user strokes the robot of the performance operation assisting device PA, the recognition unit A2 recognizes that the stroke operation has been performed through the physical input detection unit A13.
処理部A3は、撫でる動作の認識に応答して、聴覚的出力部A41に「ありがとう」と発声させると共に、走行機構(図示せず)を駆動して演奏操作援助装置PA自体の位置を電子音楽装置EMの方に移動させる。 In response to recognizing the stroking action, the processing unit A3 causes the auditory output unit A41 to say “thank you” and drives a running mechanism (not shown) to set the position of the performance operation assisting device PA itself to the electronic music. Move towards device EM.
そして、電子音楽装置EMの何処かに演奏操作援助装置PAが触れるたことが接触検出装置(図示せず)により検出されると、処理部A3は、走行機構を停止すると共に、楽曲演奏の開始を指示するMIDI制御情報をMIDI出力部A4mを通じて電子音楽装置EMに送信し、設定された楽曲の伴奏演奏及び楽譜表示を開始させる。これにより、電子音楽装置EMでは、当該楽曲のイントロ(伴奏)がサウンドシステム17から流れ出し、当該楽曲の楽譜表示がディスプレイ16上に進行していく。
When the touch detection device (not shown) detects that the performance operation support device PA has touched somewhere on the electronic music device EM, the processing unit A3 stops the running mechanism and starts playing the music. Is transmitted to the electronic music apparatus EM through the MIDI output unit A4m, and the accompaniment performance and the score display of the set music are started. Thereby, in the electronic music apparatus EM, the intro (accompaniment) of the music piece flows out from the
(2)メロディ演奏:
電子音楽装置EMにおけるイントロ演奏の進行状態は、MIDI入力部A1mを通じて認識部A2で監視され、処理部A3は、イントロ演奏が終わって楽曲の最初のメロディ部分(Aメロ)に入ろうとする直前になると、聴覚的出力部A41に「弾いて」と発音させ、当該メロディ部分の演奏開始をユーザに促す。
(2) Melody performance:
The progress state of the intro performance in the electronic music apparatus EM is monitored by the recognition unit A2 through the MIDI input unit A1m, and the processing unit A3 immediately before the intro performance is finished and the first melody portion (A melody) of the music is entered. Then, the auditory output unit A41 is caused to pronounce “play” to prompt the user to start playing the melody portion.
これに応じてユーザがメロディ演奏を始めると、電子音楽装置EMでは伴奏が継続されて楽譜も流れ、また、視覚的出力部A42に、楽曲進行に合わせて首や尾を振らせる動作を行わせる。一方、MIDI入力部A1mを通じてユーザ演奏によるMIDI演奏情報が入力されず認識部A2によりユーザがメロディ演奏を始めていないと判断された場合は、電子音楽装置EMに楽曲演奏の一時停止を指示するMIDI制御情報をMIDI出力部A4mを通じて電子音楽装置EMに送信し、ユーザがメロディ演奏を始めるとこれを解除する。これにより、電子音楽装置EMは、ユーザがメロディ演奏を始めるまで楽曲演奏の待機状態となり、ユーザがメロディ演奏を始めると、上述したように、当該メロディ部分の伴奏を開始させ楽譜表示を進め、首や尾を振らせる動作を行う。 In response to this, when the user starts playing a melody, the electronic music apparatus EM continues accompaniment and plays a musical score, and causes the visual output unit A42 to perform an operation of swinging its head and tail as the music progresses. . On the other hand, when MIDI performance information by the user performance is not input through the MIDI input unit A1m and the recognition unit A2 determines that the user has not started the melody performance, the MIDI control that instructs the electronic music apparatus EM to pause the music performance Information is transmitted to the electronic music apparatus EM through the MIDI output unit A4m, and this is canceled when the user starts playing a melody. As a result, the electronic music apparatus EM enters a standby state until the user starts playing the melody, and when the user starts playing the melody, as described above, the accompaniment of the melody portion is started, the score display is advanced, and the head is displayed. Or move the tail.
電子音楽装置EMでユーザがメロディ演奏を続けている間、所定の音楽的な区切り区間(例えば、1小節)毎に、メロディ演奏の巧拙がMIDI入力部A1mを通じて認識部A2で判定され、処理部A3は、この判定結果に従って、聴覚的出力部A41を通じて「上手だね」又は「もっとがんばって」等々の言語メッセージをユーザに伝える。そして、ユーザのメロディ演奏が終了すると、認識部A2は、ユーザ演奏を全区間にわたって総合評価し、処理部A3は、聴覚的出力部A41を通じ総合評価に応じたメッセージ(例えば、「よくできました」等)をユーザに伝える。 While the user continues playing the melody on the electronic music apparatus EM, the skill of the melody performance is determined by the recognition unit A2 through the MIDI input unit A1m for each predetermined musical segment (for example, one measure), and the processing unit In accordance with the determination result, A3 transmits a language message such as “I am good” or “I do better” to the user through the audio output unit A41. When the user's melody performance is completed, the recognition unit A2 comprehensively evaluates the user performance over the entire section, and the processing unit A3 transmits a message (for example, “Good job done” through the auditory output unit A41). Etc.) to the user.
(3)演奏操作援助装置PAによる演奏:
なお、ユーザは楽曲進行の途中で演奏を一時停止し、一時停止の都度、それまでに演奏した楽曲部分を演奏操作援助装置PAに任意の演奏を行わせて、演奏に親しみを感じさせるようにすることができる。例えば、ユーザが適当なところで演奏を終了したと認識部A2により判断されたときに、処理部A3は、聴覚的出力部A41に対して、「今度は僕の番」と発声させた後、予め用意された第1の演奏データに従って同じ楽曲部分を下手に演奏させると共に、演奏操作援助装置PA自体を電子音楽装置EMの鍵盤の前方に移動して視覚的出力部A42により手(前足)を動かす動作を行わせる。
(3) Performance by the performance operation assist device PA:
It should be noted that the user pauses the performance in the middle of the music progression, and every time the music is paused, the performance operation assisting device PA performs an arbitrary performance on the music piece that has been played so far, so that the user feels familiar with the performance. can do. For example, when it is determined by the recognition unit A2 that the user has finished playing at an appropriate place, the processing unit A3 causes the auditory output unit A41 to utter "My turn this time" According to the prepared first performance data, the same musical piece portion is played poorly, and the performance operation assisting device PA itself is moved in front of the keyboard of the electronic music device EM and the hand (front foot) is moved by the visual output unit A42. Let the action take place.
つまり、演奏操作援助装置PAは、ミスを連発する演奏を行う。そして、聴覚的出力部A41に、例えば、「僕の方が下手だね。どう弾いたらいいのかな?教えてくれる?」と発声させ、MIDI出力部A4mを通じて同じ楽曲部分の伴奏を電子音楽装置EMに演奏させる。 That is, the performance operation assisting device PA performs a performance that repeatedly causes mistakes. Then, the auditory output unit A41, for example, utters "I'm not good at it. How can I play it? Can you tell me?" And an accompaniment of the same piece of music through the MIDI output unit A4m Let EM perform.
次いで、この伴奏に合わせてユーザが電子音楽装置EMで再度同じ楽曲部分を演奏すると、MIDI入力部A1mから認識部A2を通じてこの演奏内容が解析され、処理部A3により学習データベースA6に蓄積される。処理部A3は、聴覚的出力部A41に「ありがとう」のメッセージを発声させ、学習データベースA6に蓄積された演奏内容に従ってユーザの演奏をトレースしたような演奏を行わせる。そして、聴覚的出力部A41に「僕、君と同じくらいには弾けたかな?」と発声させ、MIDI出力部A4mを通じて電子音楽装置EMに、次に演奏すべき部分の伴奏を行わせる。 Next, when the user plays the same musical piece again on the electronic music apparatus EM in accordance with the accompaniment, the performance content is analyzed from the MIDI input unit A1m through the recognition unit A2, and stored in the learning database A6 by the processing unit A3. The processing unit A3 causes the auditory output unit A41 to utter a “thank you” message, and causes the user to perform a performance that traces the user's performance according to the performance content stored in the learning database A6. Then, the auditory output unit A41 is uttered “Is it possible to play as much as you?”, And the electronic music apparatus EM is accompanied by the part to be played next through the MIDI output unit A4m.
〔認識情報と生成情報の種々の例〕
次に、演奏操作援助装置(ロボット型)PAにおいて認識部A2で認識された情報に対して処理部A3で生成される情報について、他モードでの特徴的な処理例を説明する。
[Various examples of recognition information and generation information]
Next, a characteristic processing example in another mode will be described for information generated by the processing unit A3 with respect to information recognized by the recognition unit A2 in the performance operation assisting device (robot type) PA.
(A)バンドメンバーモードでの処理例
(A−1)動作設定部A7の動作モード設定操作により演奏操作援助装置PAのバンドメンバーモードが設定されている場合、ユーザの視線が所定方向(例えば、演奏操作援助装置PAの両眼の方向)に向いていること(アイコンタクト)が動作開始の条件となる。
(A) Example of processing in band member mode (A-1) When the band member mode of the performance operation assisting device PA is set by the operation mode setting operation of the operation setting unit A7, the user's line of sight is in a predetermined direction (for example, It is a condition for starting the operation that the player is facing the performance operation assisting device PA (in the direction of both eyes) (eye contact).
すなわち、認識部A2は、視覚的入力検出部A12からのユーザ画像について視線認識機能によりユーザの視線が所定方向に向いていること(アイコンタクト)を認識し、次いで、ユーザがドラムスティックでカンカン音を発生させると、聴覚的入力検出部A11を通じてドラムスティックのカンカン音を音声認識する。そして、処理部A3は、カンカン音の認識に応じて、楽曲演奏の開始を指示するMIDI制御情報をMIDI出力部A4mを通じ電子音楽装置EM,MDに送信し、電子音楽装置EMに予め設定された楽曲の伴奏演奏を開始させて、ユーザに所望パート(例えば、メロディパート)の演奏を指示し、電子音楽装置MDには当該楽曲の他パートの演奏を開始させる。 That is, the recognizing unit A2 recognizes that the user's line of sight is directed in a predetermined direction (eye contact) by the line-of-sight recognition function with respect to the user image from the visual input detection unit A12, and then the user uses a drum stick to make a canned sound. Is generated, the drum canned sound is recognized through the auditory input detection unit A11. Then, the processing unit A3 transmits MIDI control information for instructing the start of the music performance to the electronic music devices EM and MD through the MIDI output unit A4m according to the recognition of the can-can sound, and is preset in the electronic music device EM. The accompaniment performance of the music is started, the user is instructed to play a desired part (for example, a melody part), and the electronic music apparatus MD is started to play the other part of the music.
(A−2)演奏中、視線認識により視線(アイコンタクト)が認識されたユーザが、ソロパート終了を表わす所定のジェスチャー(合図)を行うと、視覚的入力検出部A12を通じて認識部A2でソロパート終了の合図を画像認識し、処理部A3は、演奏パートの移行を指示するMIDI制御情報をMIDI出力部A4mを通じて電子音楽装置MDに送信し、電子音楽装置MDの演奏パートを次のパートに移行させる。 (A-2) During a performance, when a user whose line of sight (eye contact) is recognized by line of sight recognition performs a predetermined gesture (signal) indicating the end of the solo part, the solo part is ended at the recognition unit A2 through the visual input detection unit A12. The processing unit A3 transmits MIDI control information for instructing the transition of the performance part to the electronic music device MD through the MIDI output unit A4m, and shifts the performance part of the electronic music device MD to the next part. .
(A−3)また、視線認識により視線(アイコンタクト)が認識されたユーザが、エンディング延長を表わす所定のアクション(合図)を行うと、視覚的入力検出部A12を通じて認識部A2でこのアクションを画像認識し、処理部A3は、演奏パートの移行を指示するMIDI制御情報をMIDI出力部A4mを通じて電子音楽装置EM,MDに送信し、エンディングのフェルマータを伸ばすように制御する。 (A-3) When the user whose line of sight (eye contact) is recognized by the line of sight recognition performs a predetermined action (cue) indicating ending extension, this action is performed by the recognition unit A2 through the visual input detection unit A12. After recognizing the image, the processing unit A3 transmits MIDI control information for instructing the transition of the performance part to the electronic music devices EM and MD through the MIDI output unit A4m, and controls to extend the ending fermata.
(B)レッスンの先生モードでの処理例
(B−1)動作設定部A7のモード設定により演奏操作援助装置PAの先生モードが設定されている場合に、生徒(ユーザ)が電子音楽装置EMを演奏すると、認識部A2は、音楽認識機能により、聴覚的入力検出部A11を通じて入力された演奏音を模範演奏と比較して生徒演奏の上手/下手を判断し、処理部A3は、聴覚的出力部A41を通じて、言語で判断結果のメッセージを生徒(ユーザ)に伝える。この場合、生徒による電子音楽装置EMの演奏内容は、前述のように、MIDI演奏情報の形でMIDII/F11を通じてMIDI入力部A1mから入力するようにしてもよい。
(B) Processing example in lesson teacher mode (B-1) When the teacher mode of the performance operation support device PA is set by the mode setting of the operation setting unit A7, the student (user) selects the electronic music device EM. When the performance is performed, the recognizing unit A2 compares the performance sound input through the auditory input detection unit A11 with the model performance by the music recognition function to judge the student performance, and the processing unit A3 outputs the auditory output. Through part A41, the message of the determination result in the language is transmitted to the student (user). In this case, the performance content of the electronic music apparatus EM by the student may be input from the MIDI input unit A1m through the MID II /
(B−2)視覚的又は聴覚的入力検出部A12,A11から入力される生徒(ユーザ)の画像や音声について認識部A2の画像及び音声認識により生徒の挙動や感情を判断し、処理部A3は、聴覚的出力部A41乃至視覚的出力部A42を通じて言語で判断結果のメッセージを生徒(ユーザ)に伝える。 (B-2) The behavior and emotion of the student are determined by the image and voice recognition of the recognition unit A2 for the image and voice of the student (user) input from the visual or auditory input detection units A12 and A11, and the processing unit A3 Transmits the message of the determination result in language to the student (user) through the audio output unit A41 to the visual output unit A42.
(B−3)認識部A2は、視覚的入力検出部A12から入力される生徒(ユーザ)の画像又はMIDI入力部A1mへのMIDI演奏情報の有無に基づいて生徒が演奏をしていないことを判断し、処理部A3は、聴覚的出力部A41乃至視覚的出力部A42を通じて言語で演奏を促すメッセージを生徒(ユーザ)に伝える。 (B-3) The recognizing unit A2 confirms that the student is not playing based on the image of the student (user) input from the visual input detection unit A12 or the presence or absence of MIDI performance information in the MIDI input unit A1m. The processing unit A3 transmits a message prompting a performance in a language to the student (user) through the auditory output unit A41 to the visual output unit A42.
(C)友達モードでの処理例
演奏操作援助装置PAの友達モードでは、ユーザの演奏を聴覚的入力検出部A11又はMIDI入力部A1mから認識部A2を通じて演奏の手癖を解析し学習データベースA6に蓄積しておき、ユーザが再度演奏する際に、演奏操作援助装置PAが、学習した手癖を真似たMIDI演奏情報を学習データベースA6から読み出し、MIDI出力部A4mを通じて電子音楽装置EMに送信し、同様の演奏をさせる。
(C) Processing Example in Friend Mode In the friend mode of the performance operation support device PA, the user's performance is analyzed from the auditory input detection unit A11 or the MIDI input unit A1m through the recognition unit A2, and stored in the learning database A6. When the user plays again, the performance operation assisting device PA reads out the MIDI performance information imitating the learned manual from the learning database A6 and transmits it to the electronic music device EM through the MIDI output unit A4m. Let the performance.
〔種々の実施態様〕
以上、図面を参照しつつ、この発明の好適な実施の形態について詳述したが、これは単なる一例であって、この発明の精神を逸脱しない範囲で種々の変更が可能である。例えば、具体的な動作例については、ロボット型の演奏操作援助装置を中心に説明したが、ロボット型の演奏操作援助装置で、首や尾を振ったり手(前足)を動かす等のジェスチャーや、ダンス、顔の表情、眼の動きなどといったロボットのフィードバック動作は、電子音楽装置組み込み型やその他別体型において、同様の動作をディスプレイ上に表示することにより、ユーザにフィードバックすることができる。
[Various Embodiments]
The preferred embodiment of the present invention has been described in detail above with reference to the drawings. However, this is merely an example, and various modifications can be made without departing from the spirit of the present invention. For example, a specific operation example has been described mainly with a robot-type performance operation support device. However, with a robot-type performance operation support device, gestures such as shaking the neck and tail or moving a hand (front foot), Robot feedback operations such as dancing, facial expressions, and eye movements can be fed back to the user by displaying similar operations on the display in the electronic music device built-in type or other separate types.
また、組み込み型の場合、MIDI入力部A1mとMIDI出力部A4mは、電子音楽装置内部でのMIDIデータ或いはMIDIデータに準ずるデータの授受を行う機能ブロックに該当する。すなわち、電子音楽装置内部で授受される際のデータ形式は、MIDIデータの形式に限らず、それに準じたデータであってもよい。 In the case of the built-in type, the MIDI input unit A1m and the MIDI output unit A4m correspond to functional blocks for exchanging MIDI data or data equivalent to MIDI data in the electronic music apparatus. In other words, the data format used in the electronic music apparatus is not limited to the MIDI data format but may be data conforming thereto.
また、実施形態の説明においては、入力検出部として、聴覚的入力、視覚的入力、物理的入力及び電子的入力の全てを備え、出力フィードバック部として、聴覚的フィードバック、視覚的フィードバック及び物理的フィードバックの全てを備える例を示したが、入力検出部、出力フィードバック部ともに、少なくとも1つの入力やフィードバックを備えていればよい。 In the description of the embodiments, the input detection unit includes all of audio input, visual input, physical input, and electronic input, and the output feedback unit includes audio feedback, visual feedback, and physical feedback. However, both the input detection unit and the output feedback unit need only have at least one input or feedback.
PA 演奏操作援助装置、
A1 聴覚的、視覚的、物理的及び電子的入力検出部A11〜A14を含む入力検出部、A1m 電子的入力検出部A14に含まれるMIDI入力部、
A2 認識データベースA5を参照して入力動作情報を認識(解釈)する認識部、
A3 学習データベースA6を参照し認識(解釈)結果に従って、電子音楽装置EMに対する演奏制御情報及びユーザに対するフィードバック情報を生成する処理部、
A4 聴覚的、視覚的及び物理的フィードバック部A41〜A43並びにMIDI出力部A4mを含む出力フィードバック部、
A7 動作設定部。
PA performance operation support device,
A1 input detection unit including auditory, visual, physical and electronic input detection units A11 to A14, MIDI input unit included in A1m electronic input detection unit A14,
A recognition unit for recognizing (interpreting) input motion information with reference to the A2 recognition database A5;
A3 A processing unit for generating performance control information for the electronic music device EM and feedback information for the user according to the recognition (interpretation) result with reference to the learning database A6,
A4 output feedback unit including audio, visual and physical feedback units A41-A43 and MIDI output unit A4m,
A7 Operation setting unit.
Claims (4)
入力手段により入力された映像情報について画像認識処理を行いユーザの動作を認識する認識手段と、
認識手段により認識された結果に基づいて制御情報を電子音楽装置に出力し、該電子音楽装置を制御する制御手段であって、該制御情報には演奏パートの移行を指示する制御情報が含まれるものと、
認識手段により認識された結果に基づいて、ユーザに対してフィードバック出力を発生するフィードバック手段と
を具備することを特徴とする演奏操作援助装置。 Input means for inputting video information obtained by photographing a user who is operating with a camera as operation information representing the user's operation state;
Recognizing means for performing image recognition processing on the video information input by the input means and recognizing a user's action;
Control means for outputting control information to the electronic music apparatus based on the result recognized by the recognition means and controlling the electronic music apparatus, the control information including control information for instructing the transition of the performance part things and,
A performance operation assisting device comprising feedback means for generating a feedback output to a user based on a result recognized by the recognition means.
前記制御手段或いはフィードバック手段は、前記入力手段により入力されたユーザ演奏情報を学習し、学習した結果に従って前記電子音楽装置を制御し或いは前記フィードバック出力を発生する
ことを特徴とする請求項1に記載の演奏操作援助装置。 The input means further inputs user performance information from the electronic music device,
The control means or feedback means learns user performance information input by the input means, and controls the electronic music apparatus or generates the feedback output according to the learned result. Performance operation assist device.
前記認識手段は、前記入力手段により入力された映像情報の画像認識処理によりユーザの視線及びジェスチャーを認識すると共に、前記入力手段により入力された音情報の音声認識により所定音を認識し、
前記制御手段は、前記認識手段により所定のジェスチャーが認識されたときに、前記演奏パートの移行を指示する制御情報を前記電子音楽装置に出力する
ことを特徴とする請求項1に記載の演奏操作援助装置。 The input means further inputs sound information representing a sound generated by a user as the operation information,
The recognizing unit recognizes a user's line of sight and gesture by image recognition processing of video information input by the input unit, and recognizes a predetermined sound by voice recognition of sound information input by the input unit,
2. The performance operation according to claim 1, wherein when the predetermined gesture is recognized by the recognition unit, the control unit outputs control information for instructing the transition of the performance part to the electronic music device. Aid device.
入力手段により入力された映像情報について画像認識処理を行いユーザの動作を認識する認識ステップと、
認識ステップで認識された結果に基づいて、電子音楽装置を制御するための制御情報を生成する制御ステップであって、該制御情報には演奏パートの移行を指示する制御情報が含まれるものと、
認識ステップで認識された結果に基づいて、ユーザに対するフィードバック情報を生成するフィードバックステップと
から成る手順を実行させる演奏操作援助プログラム。 A computer functioning as a performance operation assisting device having input means for inputting video information obtained by photographing a user who is operating with a camera as operation information indicating the user's operation state,
A recognition step of performing image recognition processing on the video information input by the input means and recognizing the user's action;
A control step for generating control information for controlling the electronic music device based on the result recognized in the recognition step, the control information including control information for instructing the transition of the performance part;
A performance operation assistance program for executing a procedure including a feedback step for generating feedback information for a user based on a result recognized in the recognition step.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005187139A JP4457983B2 (en) | 2005-06-27 | 2005-06-27 | Performance operation assistance device and program |
US11/475,547 US7750223B2 (en) | 2005-06-27 | 2006-06-27 | Musical interaction assisting apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005187139A JP4457983B2 (en) | 2005-06-27 | 2005-06-27 | Performance operation assistance device and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007004071A JP2007004071A (en) | 2007-01-11 |
JP4457983B2 true JP4457983B2 (en) | 2010-04-28 |
Family
ID=37689729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005187139A Expired - Fee Related JP4457983B2 (en) | 2005-06-27 | 2005-06-27 | Performance operation assistance device and program |
Country Status (2)
Country | Link |
---|---|
US (1) | US7750223B2 (en) |
JP (1) | JP4457983B2 (en) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005316300A (en) * | 2004-04-30 | 2005-11-10 | Kyushu Institute Of Technology | Semiconductor device having musical tone generation function, and mobile type electronic equipment, mobil phone, spectacles appliance and spectacles appliance set using the same |
US7485794B2 (en) * | 2006-03-24 | 2009-02-03 | Yamaha Corporation | Electronic musical instrument system |
WO2009158653A1 (en) * | 2008-06-27 | 2009-12-30 | Intuitive Automata, Inc. | Apparatus and method for assisting in achieving desired behavior patterns |
JP5337608B2 (en) * | 2008-07-16 | 2013-11-06 | 本田技研工業株式会社 | Beat tracking device, beat tracking method, recording medium, beat tracking program, and robot |
US7919705B2 (en) * | 2008-10-14 | 2011-04-05 | Miller Arthur O | Music training system |
EP2396711A2 (en) * | 2009-02-13 | 2011-12-21 | Movea S.A | Device and process interpreting musical gestures |
US7939742B2 (en) * | 2009-02-19 | 2011-05-10 | Will Glaser | Musical instrument with digitally controlled virtual frets |
US8515092B2 (en) * | 2009-12-18 | 2013-08-20 | Mattel, Inc. | Interactive toy for audio output |
US9881515B2 (en) | 2011-04-20 | 2018-01-30 | Sylvain Jean-Pierre Daniel Moreno | Cognitive training system and method |
US8536436B2 (en) * | 2010-04-20 | 2013-09-17 | Sylvain Jean-Pierre Daniel Moreno | System and method for providing music based cognitive skills development |
US20120064498A1 (en) * | 2010-09-13 | 2012-03-15 | John Swain | Interactive system and method for musical instrument instruction |
US20130201316A1 (en) | 2012-01-09 | 2013-08-08 | May Patents Ltd. | System and method for server based control |
JP2013178509A (en) * | 2012-02-07 | 2013-09-09 | Yamaha Corp | Electronic equipment and voice guide program |
US20150138333A1 (en) * | 2012-02-28 | 2015-05-21 | Google Inc. | Agent Interfaces for Interactive Electronics that Support Social Cues |
US8420923B1 (en) * | 2012-05-02 | 2013-04-16 | Maison Joseph Battat Limited | Music playing device for symphonic compositions |
US20140260916A1 (en) * | 2013-03-16 | 2014-09-18 | Samuel James Oppel | Electronic percussion device for determining separate right and left hand actions |
CN106952532B (en) * | 2016-01-06 | 2019-08-23 | 施政 | Timing incubator |
WO2018089700A1 (en) * | 2016-11-10 | 2018-05-17 | Warner Bros. Entertainment Inc. | Social robot with environmental control feature |
JP2019005842A (en) * | 2017-06-23 | 2019-01-17 | カシオ計算機株式会社 | Robot, robot controlling method, and program |
JP6708180B2 (en) * | 2017-07-25 | 2020-06-10 | ヤマハ株式会社 | Performance analysis method, performance analysis device and program |
CN113625662B (en) * | 2021-07-30 | 2022-08-30 | 广州玺明机械科技有限公司 | Rhythm dynamic control system for data acquisition and transmission of beverage shaking robot |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3306755B2 (en) | 1991-07-18 | 2002-07-24 | ヤマハ株式会社 | Electronic musical instrument |
JP3266934B2 (en) | 1992-04-24 | 2002-03-18 | カシオ計算機株式会社 | Performance practice equipment |
US6553410B2 (en) * | 1996-02-27 | 2003-04-22 | Inpro Licensing Sarl | Tailoring data and transmission protocol for efficient interactive data transactions over wide-area networks |
US5746602A (en) * | 1996-02-27 | 1998-05-05 | Kikinis; Dan | PC peripheral interactive doll |
US7297856B2 (en) * | 1996-07-10 | 2007-11-20 | Sitrick David H | System and methodology for coordinating musical communication and display |
US6084168A (en) * | 1996-07-10 | 2000-07-04 | Sitrick; David H. | Musical compositions communication system, architecture and methodology |
JP3646416B2 (en) | 1996-07-29 | 2005-05-11 | ヤマハ株式会社 | Music editing device |
US6369313B2 (en) * | 2000-01-13 | 2002-04-09 | John R. Devecka | Method and apparatus for simulating a jam session and instructing a user in how to play the drums |
US6393136B1 (en) * | 1999-01-04 | 2002-05-21 | International Business Machines Corporation | Method and apparatus for determining eye contact |
JP2001154681A (en) | 1999-11-30 | 2001-06-08 | Sony Corp | Device and method for voice processing and recording medium |
EP1855267B1 (en) * | 2000-01-11 | 2013-07-10 | Yamaha Corporation | Apparatus and method for detecting performer´s motion to interactively control performance of music or the like |
JP2002023742A (en) | 2000-07-12 | 2002-01-25 | Yamaha Corp | Sounding control system, operation unit and electronic percussion instrument |
JP2001327748A (en) * | 2000-05-25 | 2001-11-27 | Sanyo Product Co Ltd | Chair for game parlor |
JP2004271566A (en) | 2003-03-05 | 2004-09-30 | Yohei Akazawa | Player |
-
2005
- 2005-06-27 JP JP2005187139A patent/JP4457983B2/en not_active Expired - Fee Related
-
2006
- 2006-06-27 US US11/475,547 patent/US7750223B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20070039450A1 (en) | 2007-02-22 |
JP2007004071A (en) | 2007-01-11 |
US7750223B2 (en) | 2010-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4457983B2 (en) | Performance operation assistance device and program | |
JP5821824B2 (en) | Speech synthesizer | |
US6392132B2 (en) | Musical score display for musical performance apparatus | |
JP4206332B2 (en) | Input device, game system, program, and information storage medium | |
US9355634B2 (en) | Voice synthesis device, voice synthesis method, and recording medium having a voice synthesis program stored thereon | |
JP2002007014A (en) | Information processor and musical instrument provided with the information processor | |
JP4650182B2 (en) | Automatic accompaniment apparatus and program | |
JP4748568B2 (en) | Singing practice system and singing practice system program | |
JP4720563B2 (en) | Music control device | |
WO2002086861A1 (en) | Language processor | |
JP4808641B2 (en) | Caricature output device and karaoke device | |
TWI402784B (en) | Music detection system based on motion detection, its control method, computer program products and computer readable recording media | |
JP4131279B2 (en) | Ensemble parameter display device | |
JP2020003762A (en) | Simple operation voice quality conversion system | |
JP4765705B2 (en) | Music control device | |
JP7380008B2 (en) | Pronunciation control method and pronunciation control device | |
JP2014098800A (en) | Voice synthesizing apparatus | |
JP4054852B2 (en) | Musical sound generation method and apparatus | |
JP2008008946A (en) | Musical sound controller and program | |
JP6186255B2 (en) | Karaoke equipment characterized by scoring sign language | |
JP4155572B2 (en) | Input device, game system, program, and information storage medium | |
EP4213130A1 (en) | Device, system and method for providing a singing teaching and/or vocal training lesson | |
JP4720564B2 (en) | Music control device | |
JP2006106411A (en) | Sound output controller, musical piece reproduction device, sound output control method, program thereof and recording medium with the program recorded thereon | |
JP2002304187A (en) | Device and method for synthesizing voice, program and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080421 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090716 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090728 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090924 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091020 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100119 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4457983 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130219 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140219 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |