WO2023243293A1 - Performance motion estimation method and performance motion estimation device - Google Patents

Performance motion estimation method and performance motion estimation device Download PDF

Info

Publication number
WO2023243293A1
WO2023243293A1 PCT/JP2023/018305 JP2023018305W WO2023243293A1 WO 2023243293 A1 WO2023243293 A1 WO 2023243293A1 JP 2023018305 W JP2023018305 W JP 2023018305W WO 2023243293 A1 WO2023243293 A1 WO 2023243293A1
Authority
WO
WIPO (PCT)
Prior art keywords
performance
sensor
motion estimation
performance motion
musical instrument
Prior art date
Application number
PCT/JP2023/018305
Other languages
French (fr)
Japanese (ja)
Inventor
拓真 竹本
琢哉 藤島
陽 前澤
教裕 植村
吉就 中村
有樹 山本
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Publication of WO2023243293A1 publication Critical patent/WO2023243293A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments

Definitions

  • Patent Document 3 discloses a configuration in which an infrared sensor captures the hands of a player of a keyboard instrument and a performance guide is displayed on a head-mounted display.
  • One aspect of the present disclosure aims to provide a performance motion estimation method that improves the accuracy of estimating a performer's performance motion compared to the conventional method.
  • a performance motion estimation method receives a sound signal related to the performance sound of a musical instrument, receives a sensor signal of an auxiliary sensor attached to the musical instrument, and based on the sound signal and the sensor signal. Then, the performance motion of the performer is estimated.
  • FIG. 2 is a block diagram showing the configuration of the guitar amplifier 11.
  • the guitar amplifier 11 includes a display 101, a user interface (I/F) 102, a flash memory 103, a CPU 104, a RAM 105, a DSP 106, a communication I/F 107, an audio I/F 108, an A/D converter 109, and a D/A converter. 110, an amplifier 111, and a speaker 112.
  • the CPU 104 transmits the digital sound signal after signal processing by the DSP 106 or the digital sound signal before signal processing to the user terminal 12 via the communication I/F 107.
  • the CPU 204 is a control unit that controls the operation of the user terminal 12.
  • the CPU 204 performs various operations by reading a predetermined program such as an application program stored in the flash memory 203, which is a storage medium, into the RAM 205 and executing it.
  • the program may be stored in a server (not shown).
  • the CPU 204 may download a program from a server via a network and execute it.
  • the CPU 204 executes the performance motion estimation method by executing the application program.
  • the communication I/F 206 transmits the sensor signal to the user terminal 12 by wireless communication such as Bluetooth (registered trademark) or wireless LAN.
  • wireless communication such as Bluetooth (registered trademark) or wireless LAN.
  • the auxiliary sensor 15 may be connected to the user terminal 12 via a communication cable.
  • the performer can control the movement of the 3D model of the performer in the virtual space without having to attach a motion capture sensor to the body.
  • the user of the performance motion estimation method of this embodiment can enjoy the customer experience of being able to provide a virtual performance in a virtual space with a more realistic feeling.
  • listeners who preview the virtual performance can enjoy the customer experience of being able to view the 3D model in the virtual space with a more realistic feeling.
  • FIG. 9 is a functional block diagram of the CPU 204 according to the first modification.
  • the CPU 204 configures a sound signal reception section 51, a sensor signal reception section 52, an estimation section 53, an output section 54, and an event data acquisition section 57 using an application program. That is, the CPU 204 of Modification 1 further includes an event data acquisition section 57 functionally.
  • the event data acquisition unit 57 acquires event data.
  • the event data is, for example, time-series event data based on the MIDI (Musical Instrument Digital Interface) standard, and corresponds to, for example, musical score data for each song.
  • the performer specifies the music to be played via the user I/F 202.
  • the event data acquisition unit 57 acquires event data by downloading musical score data of a designated song from a server (not shown).
  • the estimation unit 53 estimates a performance motion based on a trained model that has been trained on the relationship between performance sounds, sensor signals, event data, and performance motions. Thereby, the estimation unit 53 can particularly improve the estimation accuracy of fingering information.
  • Modification 2 The estimation unit 53 of Modification 2 refers to the table and estimates the performance motion.
  • the table predefines the relationship between performance sounds, sensor signals, and performance motions.
  • the table is registered in advance in the flash memory 203 of the user terminal 12 or in a database in a server (not shown).
  • the estimator 53 refers to a table using the performance sound and the sensor signal to identify information on the corresponding performance motion.
  • the user terminal 12 can also estimate performance motion without using an artificial intelligence algorithm.
  • auxiliary sensor 15 is attached between the nut 74 and the peg 73 of the head 71, it does not interfere with the performance.
  • the auxiliary sensor 15 has a magnetic pickup and acquires string vibration as a sensor signal based on changes in the magnetic field.
  • the auxiliary sensor 15 is not limited to an example including a magnetic pickup.
  • the auxiliary sensor 15 may acquire string vibration as a sensor signal using a camera.
  • the auxiliary sensor 15 may acquire images of the left hand and right hand as sensor signals.
  • the camera be removably attached to the head 71 of the electric guitar 10 or built in in advance so as not to interfere with the performance.
  • the estimation unit 53 estimates the performance motion based on a trained model that has been trained on the relationship between the performance sound, the camera image, and the performance motion.
  • the auxiliary sensor 15 may be directly attached to the string located between the nut 74 and the peg 73.
  • the auxiliary sensor 15 is, for example, an acceleration sensor.
  • the auxiliary sensor 15 detects the acceleration of the string and outputs it as a sensor signal.
  • the auxiliary sensor 15 may be a piezoelectric sensor, for example.
  • the auxiliary sensor 15 directly contacts the string, detects minute vibrations of the string, and outputs it as a sensor signal.
  • These auxiliary sensors 15 come into contact with the string itself and acquire vibrations transmitted inside the string.
  • These auxiliary sensors 15 are attached to each of the plurality of strings and detect vibrations of each of the plurality of strings.
  • the auxiliary sensors may further include a motion sensor that detects the position or orientation of the instrument.
  • FIG. 10 is a block diagram showing the configuration of an auxiliary sensor 15A according to modification 5.
  • the auxiliary sensor 15A further includes a 3-axis acceleration sensor 305 and a position sensor 306.
  • the triaxial acceleration sensor 305 and the position sensor 306 are each examples of motion sensors.
  • the triaxial acceleration sensor 305 detects the orientation of the musical instrument.
  • Position sensor 306 detects the position of the musical instrument.
  • the position sensor 306 may be an indoor positioning sensor such as a BLE (Bluetooth (registered trademark) Low Energy) beacon, or an outdoor positioning sensor such as a GPS (Global Positioning System).
  • the estimation unit 53 of the sixth modification detects the position and orientation of the player in addition to the orientation of the musical instrument detected by the triaxial acceleration sensor 305 and the position of the musical instrument detected by the position sensor 306 as in the fifth modification.
  • the performer may wear the three-axis acceleration sensor 305 and the position sensor 306 as in Modification 5, and the estimation unit 53 may detect the position and orientation of the performer using these sensors.
  • the estimation unit 53 of Modification 6 uses a sensor (for example, a camera installed at a live venue) that is different from the 3-axis acceleration sensor 305 and the position sensor 306 attached to the musical instrument to estimate the position and orientation of the performer. May be detected.
  • the estimation unit 53 uses image recognition processing to detect the position of the performer and the position of the musical instrument in the image taken by the camera.
  • the estimation unit 53 estimates the positional relationship between the performer and the musical instrument based on the detected position of the performer and the detected position of the musical instrument.
  • the output unit 54 outputs motion data indicating the position and orientation of the 3D model of the performer to the 3D model of the instrument placed in the virtual space, based on the positional relationship between the performer and the instrument estimated by the estimation unit 53. generate.
  • the performer can control the movement of the instrument and the 3D model of the performer in the virtual space without having to attach motion capture sensors to the body.
  • Modification 7 The user terminal 12 of Modification 7 performs acoustic processing on the sound signal based on the sensor signal of the motion sensor described above.
  • the user terminal 12 may perform sound image localization processing by convolving a head-related transfer function (HRTF) with a sound signal related to the sound played by the electric guitar 10.
  • HRTF head-related transfer function
  • Head-related transfer functions are transfer functions from the position of the sound source to the listener's right and left ears.
  • the user terminal 12 reads the head-related transfer function corresponding to the position information of the musical instrument from a server or the like and convolves it into the sound signal related to the performance sound. Thereby, the listener can perceive the sound image to be localized at the position of the 3D model in the virtual space.
  • the head-related transfer function may differ depending on the orientation of the musical instrument.
  • the user terminal 12 reads the head-related transfer function according to the orientation information of the musical instrument from a server or the like, and convolutes it into the sound signal related to the performance sound.
  • the listener of the performance sound can localize the sound image to the position of the 3D model in the virtual space, and can also perceive changes in the sound depending on the direction of the musical instrument.
  • Modification 8 The user terminal 12 of Modification 8 performs the training stage, which is the generation of a trained model, and the execution stage, which is the estimation of a performance motion.
  • the operation in the model training stage and the operation in the trained model execution stage may be performed by one device.
  • the server may be the performance motion estimation device of the present invention. That is, the server may perform operations during the model training phase and operations during the trained model execution phase.
  • the user terminal 12 transmits information on the sound signal and sensor signal related to the performance sound to the server via the network, and receives information indicating the performance motion from the server.
  • the guitar amplifier 11 may be the performance motion estimation device of the present invention.
  • the guitar amplifier 11 may perform operations in a model training stage and a trained model execution stage.
  • the guitar amplifier 11 receives the sound signal and sensor signal related to the performance sound, and outputs information indicating the performance motion.
  • the DSP 106 of the guitar amplifier 11 may perform the acoustic processing shown in the seventh modification. In this case, the DSP 106 functions as an audio processing section.
  • the playing motion of the left hand is fingering information
  • the playing motion of the right hand is stroke information.
  • the playing motions of the left and right hands differ depending on the type of musical instrument. For example, when the musical instrument is a bass, the playing motion of the right hand is information indicating whether it is the index finger or the middle finger of two-finger playing. Alternatively, if the musical instrument is a bass, the playing motion of the right hand becomes information indicating summing or pulling of the slap playing method. If the instrument is a keyboard instrument, both the playing motions of the left hand and the right hand become fingering information.
  • the motion data generated in the above embodiment does not need to be distributed in real time.
  • the generated motion data may be recorded on the user terminal 12 or a server (not shown).
  • a user who performs distribution operates a 3D model that performs virtually in a virtual space using motion data recorded on the user terminal 12 or a server (not shown), etc., and distributes a reproduction of a past performance. It's okay.
  • the estimation unit 53 estimated the performance motion based on a trained model that has been trained on the relationship between the performance sound of the electric guitar 10, the sensor signal of the auxiliary sensor 15, and the performance motion.
  • the estimation unit 53 may estimate the performance motion based on a trained model that has been trained on the relationship between the sensor signal of the auxiliary sensor 15 and the performance motion. In this case, it is not essential for the estimation unit 53 to input the performance sound of the electric guitar 10.
  • the guitar amplifier 11 is not essential in the present invention.
  • the DSP of the guitar amplifier 11 to perform signal processing such as effects on the performance sound
  • the user terminal 12 does not need to perform such signal processing, and the calculation load on the user terminal 12 can be reduced. .
  • Performance motion estimation system 10 Electric guitar 11: Guitar amplifier 12: User terminal 15, 15A: Auxiliary sensor 51: Sound signal reception section 52: Sensor signal reception section 53: Estimation section 54: Output section 57: Event data Acquisition department 71: Head 72: Neck 73: Peg 74: Nut 101: Display 102: User I/F 103: Flash memory 104: CPU 105: RAM 106: DSP 107: Communication I/F 108: Audio I/F 1 09: A/D converter 110: D/A converter 111: Amplifier 112: Speaker 201: Display 202: User I/F 203: Flash memory 204: CPU 205: RAM 206: Communication I/F 301: Pick-up 303: Battery 304: Communication I/F 305: 3-axis acceleration sensor 306: Position sensor

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

A performance motion estimation method according to an embodiment of the present invention receives a sound signal related to the sound of a musical instrument, receives a sensor signal from an auxiliary sensor attached to the musical instrument, and estimates a performance motion of the performer on the basis of the sound signal and the sensor signal.

Description

演奏モーション推定方法および演奏モーション推定装置Performance motion estimation method and performance motion estimation device
　この発明の一実施形態は、演奏者の演奏モーションを推定する方法に関する。 One embodiment of the present invention relates to a method of estimating a performance motion of a performer.
　特許文献１には、フレットセンサで指板と指の距離を検出し、フレットを突出させて演奏を補助する弦楽器が開示されている。 Patent Document 1 discloses a stringed instrument that uses a fret sensor to detect the distance between the fingerboard and the fingers, and protrudes frets to assist the player in playing.
　特許文献２には、カメラで演奏者を撮影し、撮影結果に基づいて画像認識を用いてハーモニクス奏法を推定する撥弦楽器演奏評価装置が開示されている。 Patent Document 2 discloses a plucked string instrument performance evaluation device that photographs a performer with a camera and uses image recognition to estimate a harmonic playing style based on the photographic results.
　特許文献３には、赤外線センサにより鍵盤楽器の演奏者の手をキャプチャし、ヘッドマウントディスプレイに演奏ガイドを表示する構成が開示されている。 Patent Document 3 discloses a configuration in which an infrared sensor captures the hands of a player of a keyboard instrument and a performance guide is displayed on a head-mounted display.
特開２０１０－８５６９２号公報Japanese Patent Application Publication No. 2010-85692 特開２０１６－１９４６２９号公報Japanese Patent Application Publication No. 2016-194629 特開２０１７－１８１８５０号公報Japanese Patent Application Publication No. 2017-181850
　本開示のひとつの態様は、従来よりも演奏者の演奏モーション推定の精度を向上させる演奏モーション推定方法を提供することを目的とする。 One aspect of the present disclosure aims to provide a performance motion estimation method that improves the accuracy of estimating a performer's performance motion compared to the conventional method.
　本発明の一実施形態に係る演奏モーション推定方法は、楽器の演奏音に係る音信号を受け付けて、前記楽器に取り付けられた補助センサのセンサ信号を受け付けて、前記音信号および前記センサ信号に基づいて、演奏者の演奏モーションを推定する。 A performance motion estimation method according to an embodiment of the present invention receives a sound signal related to the performance sound of a musical instrument, receives a sensor signal of an auxiliary sensor attached to the musical instrument, and based on the sound signal and the sensor signal. Then, the performance motion of the performer is estimated.
　本発明の一実施形態によれば、演奏者の演奏モーション推定の精度を向上させることができる。 According to one embodiment of the present invention, it is possible to improve the accuracy of estimating a performer's performance motion.
演奏モーション推定システム１の構成を示す図である。1 is a diagram showing the configuration of a performance motion estimation system 1. FIG. ギターアンプ１１の構成を示すブロック図である。1 is a block diagram showing the configuration of a guitar amplifier 11. FIG. ユーザ端末１２の主要構成を示すブロック図である。1 is a block diagram showing the main configuration of a user terminal 12. FIG. ＣＰＵ２０４の読み出すアプリケーションプログラムの機能ブロック図である。2 is a functional block diagram of an application program read by the CPU 204. FIG. アプリケーションプログラムの動作を示すフローチャートである。3 is a flowchart showing the operation of an application program. エレキギター１０の一部拡大図である。It is a partially enlarged view of the electric guitar 10. 補助センサ１５の構成を示すブロック図である。2 is a block diagram showing the configuration of an auxiliary sensor 15. FIG. 訓練段階におけるコンピュータ（サーバ）の動作を示すフローチャートである。It is a flowchart showing the operation of the computer (server) in the training stage. 変形例１に係るＣＰＵ２０４の機能ブロック図である。3 is a functional block diagram of a CPU 204 according to modification 1. FIG. 変形例５に係る補助センサ１５Ａの構成を示すブロック図である。15 is a block diagram showing the configuration of an auxiliary sensor 15A according to modification 5. FIG.
　図１は、演奏モーション推定システム１の一例を示す外観図である。演奏モーション推定システム１は、エレキギター１０、ギターアンプ１１、ユーザ端末１２、および補助センサ１５を有する。なお、本発明においてギターアンプ１１は必須ではない。エレキギター１０は、ギターアンプ１１を介さず、ユーザ端末１２に接続してもよい。 FIG. 1 is an external view showing an example of a performance motion estimation system 1. As shown in FIG. The performance motion estimation system 1 includes an electric guitar 10, a guitar amplifier 11, a user terminal 12, and an auxiliary sensor 15. Note that the guitar amplifier 11 is not essential in the present invention. The electric guitar 10 may be connected to the user terminal 12 without going through the guitar amplifier 11.
　エレキギター１０は、弦楽器の一例である。本実施形態では弦楽器の一例としてエレキギター１０を示すが、本発明の弦楽器は、他にも例えばエレキベースや、ヴァイオリン等のアコースティック楽器も含む。また、本発明の楽器は、弦楽器に限らない。本発明の楽器は、例えば、鍵盤楽器あるいは管楽器等の他の種類の楽器も含む。 The electric guitar 10 is an example of a stringed instrument. In this embodiment, an electric guitar 10 is shown as an example of a stringed instrument, but the stringed instrument of the present invention also includes acoustic instruments such as an electric bass and a violin. Further, the musical instrument of the present invention is not limited to a stringed instrument. The musical instrument of the present invention also includes other types of musical instruments, such as keyboard instruments or wind instruments.
　ギターアンプ１１は、オーディオケーブルを介してエレキギター１０に接続される。また、ギターアンプ１１は、一例としてＢｌｕｅｔｏｏｔｈ（登録商標）または無線ＬＡＮ等の無線通信によりユーザ端末１２に接続される。無論、ギターアンプ１１は、通信ケーブルを介してユーザ端末１２に接続してもよい。エレキギター１０は、演奏音に係るアナログ音信号をギターアンプ１１に出力する。なお、弦楽器がアコースティック楽器の場合、マイクあるいはマグネティックピックアップを用いてギターアンプ１１に音信号を入力する。 The guitar amplifier 11 is connected to the electric guitar 10 via an audio cable. Further, the guitar amplifier 11 is connected to the user terminal 12 by wireless communication such as Bluetooth (registered trademark) or wireless LAN, for example. Of course, the guitar amplifier 11 may be connected to the user terminal 12 via a communication cable. The electric guitar 10 outputs analog sound signals related to performance sounds to the guitar amplifier 11. Note that if the stringed instrument is an acoustic instrument, a sound signal is input to the guitar amplifier 11 using a microphone or a magnetic pickup.
　図２はギターアンプ１１の構成を示すブロック図である。ギターアンプ１１は、表示器１０１、ユーザインタフェース（Ｉ／Ｆ）１０２、フラッシュメモリ１０３、ＣＰＵ１０４、ＲＡＭ１０５、ＤＳＰ１０６、通信Ｉ／Ｆ１０７、オーディオＩ／Ｆ１０８、Ａ／Ｄ変換器１０９、Ｄ／Ａ変換器１１０、アンプ１１１、およびスピーカ１１２を備えている。 FIG. 2 is a block diagram showing the configuration of the guitar amplifier 11. The guitar amplifier 11 includes a display 101, a user interface (I/F) 102, a flash memory 103, a CPU 104, a RAM 105, a DSP 106, a communication I/F 107, an audio I/F 108, an A/D converter 109, and a D/A converter. 110, an amplifier 111, and a speaker 112.
　表示器１０１は、例えばＬＥＤ、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）またはＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等からなり、ギターアンプ１１の状態等を表示する。 The display 101 is composed of, for example, an LED, an LCD (Liquid Crystal Display), or an OLED (Organic Light-Emitting Diode), and displays the status of the guitar amplifier 11 and the like.
　ユーザＩ／Ｆ１０２は、摘まみ、スイッチ、またはボタン等からなり、ユーザの操作を受け付ける。また、ユーザＩ／Ｆ１０２は、表示器１０１のＬＣＤに積層されるタッチパネルであってもよい。 The user I/F 102 consists of knobs, switches, buttons, etc., and accepts user operations. Further, the user I/F 102 may be a touch panel laminated on the LCD of the display 101.
　ＣＰＵ１０４は、記憶媒体であるフラッシュメモリ１０３に記憶されている各種プログラムをＲＡＭ１０５に読み出して、ギターアンプ１１を制御する。例えば、ＣＰＵ１０４は、ユーザＩ／Ｆ１０２を介して信号処理に係るパラメータを受け付けて、ＤＳＰ１０６およびアンプ１１１を制御する。 The CPU 104 reads various programs stored in the flash memory 103, which is a storage medium, to the RAM 105, and controls the guitar amplifier 11. For example, the CPU 104 receives parameters related to signal processing via the user I/F 102 and controls the DSP 106 and the amplifier 111.
　通信Ｉ／Ｆ１０７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）または無線ＬＡＮ等を介して、例えばユーザ端末１２等の他装置に接続する。 The communication I/F 107 connects to other devices, such as the user terminal 12, via Bluetooth (registered trademark) or wireless LAN.
　オーディオＩ／Ｆ１０８は、アナログオーディオ端子を有する。オーディオＩ／Ｆ１０８は、オーディオケーブルを介してエレキギター１０からアナログ音信号を受け付ける。 The audio I/F 108 has an analog audio terminal. Audio I/F 108 receives analog sound signals from electric guitar 10 via an audio cable.
　Ａ／Ｄ変換器１０９は、オーディオＩ／Ｆ１０８で受け付けたアナログ音信号をデジタル音信号に変換する。 The A/D converter 109 converts the analog sound signal received by the audio I/F 108 into a digital sound signal.
　ＤＳＰ１０６は、当該デジタル音信号にエフェクト等の各種の信号処理を施す。信号処理に係るパラメータは、ユーザＩ／Ｆ１０２を介して受け付ける。ＤＳＰ１０６は、信号処理を施した後のデジタル音信号をＤ／Ａ変換器１１０に出力する。 The DSP 106 performs various signal processing such as effects on the digital sound signal. Parameters related to signal processing are accepted via the user I/F 102. The DSP 106 outputs the digital sound signal after signal processing to the D/A converter 110.
　ＣＰＵ１０４は、ＤＳＰ１０６で信号処理を施した後のデジタル音信号、または信号処理を施す前のデジタル音信号を、通信Ｉ／Ｆ１０７を介してユーザ端末１２に送信する。 The CPU 104 transmits the digital sound signal after signal processing by the DSP 106 or the digital sound signal before signal processing to the user terminal 12 via the communication I/F 107.
　Ｄ／Ａ変換器１１０は、ＤＳＰ１０６から受け付けたデジタル音信号をアナログ音信号に変換する。アンプ１１１は、当該アナログ音信号を増幅する。増幅に係るパラメータは、ユーザＩ／Ｆ１０２を介して受け付ける。 The D/A converter 110 converts the digital sound signal received from the DSP 106 into an analog sound signal. The amplifier 111 amplifies the analog sound signal. Parameters related to amplification are received via the user I/F 102.
　スピーカ１１２は、アンプ１１１で増幅されたアナログ音信号に基づいて、エレキギター１０の演奏音を出力する。 The speaker 112 outputs the performance sound of the electric guitar 10 based on the analog sound signal amplified by the amplifier 111.
　図３はユーザ端末１２の構成を示すブロック図である。ユーザ端末１２は、パーソナルコンピュータまたはスマートフォン等の情報処理装置である。ユーザ端末１２は、表示器２０１、ユーザＩ／Ｆ２０２、フラッシュメモリ２０３、ＣＰＵ２０４、ＲＡＭ２０５、および通信Ｉ／Ｆ２０６を備えている。 FIG. 3 is a block diagram showing the configuration of the user terminal 12. The user terminal 12 is an information processing device such as a personal computer or a smartphone. The user terminal 12 includes a display 201, a user I/F 202, a flash memory 203, a CPU 204, a RAM 205, and a communication I/F 206.
　表示器２０１は、例えばＬＥＤ、ＬＣＤまたはＯＬＥＤ等からなり、種々の情報を表示する。ユーザＩ／Ｆ２０２は、表示器２０１のＬＣＤまたはＯＬＥＤに積層されるタッチパネルである。あるいは、ユーザＩ／Ｆ２０２は、キーボードまたはマウス等であってもよい。ユーザＩ／Ｆ２０２がタッチパネルである場合、該ユーザＩ／Ｆ２０２は、表示器２０１とともに、ＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）を構成する。 The display 201 is made of, for example, an LED, LCD, or OLED, and displays various information. The user I/F 202 is a touch panel laminated on the LCD or OLED of the display 201. Alternatively, the user I/F 202 may be a keyboard, a mouse, or the like. When the user I/F 202 is a touch panel, the user I/F 202 and the display 201 constitute a GUI (Graphical User Interface).
通信Ｉ／Ｆ２０６は、Ｂｌｕｅｔｏｏｔｈ（登録商標）または無線ＬＡＮ等の無線通信によりギターアンプ１１および補助センサ１５に接続される。ギターアンプ１１が通信ケーブルを介してユーザ端末１２に接続される場合、通信Ｉ／Ｆ２０６は、無線通信で補助センサ１５に接続され。ギターアンプ１１には通信ケーブルで接続される。 The communication I/F 206 is connected to the guitar amplifier 11 and the auxiliary sensor 15 by wireless communication such as Bluetooth (registered trademark) or wireless LAN. When the guitar amplifier 11 is connected to the user terminal 12 via a communication cable, the communication I/F 206 is connected to the auxiliary sensor 15 by wireless communication. It is connected to the guitar amplifier 11 via a communication cable.
　ＣＰＵ２０４は、ユーザ端末１２の動作を制御する制御部である。ＣＰＵ２０４は、記憶媒体であるフラッシュメモリ２０３に記憶されたアプリケーションプログラム等の所定のプログラムをＲＡＭ２０５に読み出して実行することにより各種の動作を行なう。なお、プログラムは、サーバ（不図示）に記憶されていてもよい。ＣＰＵ２０４は、ネットワークを介してサーバからプログラムをダウンロードし、実行してもよい。ＣＰＵ２０４は、アプリケーションプログラムを実行することにより演奏モーション推定方法を実行する。 The CPU 204 is a control unit that controls the operation of the user terminal 12. The CPU 204 performs various operations by reading a predetermined program such as an application program stored in the flash memory 203, which is a storage medium, into the RAM 205 and executing it. Note that the program may be stored in a server (not shown). The CPU 204 may download a program from a server via a network and execute it. The CPU 204 executes the performance motion estimation method by executing the application program.
　図４は、ＣＰＵ２０４の読み出すアプリケーションプログラムの機能ブロック図である。ＣＰＵ２０４は、読み出したアプリケーションプログラムにより、音信号受付部５１、センサ信号受付部５２、推定部５３、および出力部５４を構成する。 FIG. 4 is a functional block diagram of the application program read by the CPU 204. The CPU 204 configures the sound signal reception section 51, the sensor signal reception section 52, the estimation section 53, and the output section 54 according to the read application program.
　図５は、当該アプリケーションプログラムによる演奏モーション推定方法の動作を示すフローチャートである。音信号受付部５１は、通信Ｉ／Ｆ２０６を介して、ギターアンプ１１からエレキギター１０の演奏音に係るデジタル音信号を受け付ける（Ｓ１１）。また、センサ信号受付部５２は、通信Ｉ／Ｆ２０６を介して、補助センサ１５からセンサ信号を受け付ける（Ｓ１２）。 FIG. 5 is a flowchart showing the operation of the performance motion estimation method using the application program. The sound signal reception unit 51 receives a digital sound signal related to the performance sound of the electric guitar 10 from the guitar amplifier 11 via the communication I/F 206 (S11). Further, the sensor signal receiving unit 52 receives a sensor signal from the auxiliary sensor 15 via the communication I/F 206 (S12).
　図６は、エレキギター１０の一部拡大図である。図７は、補助センサ１５の構成を示すブロック図である。 FIG. 6 is a partially enlarged view of the electric guitar 10. FIG. 7 is a block diagram showing the configuration of the auxiliary sensor 15.
　エレキギター１０は、ヘッド７１およびネック７２を有する。ヘッド７１には、ペグ７３が取り付けられている。ヘッド７１およびネック７２との境界部分には、ナット７４が取り付けられている。 The electric guitar 10 has a head 71 and a neck 72. A peg 73 is attached to the head 71. A nut 74 is attached to the boundary between the head 71 and the neck 72.
　補助センサ１５は、ヘッド７１のうちナット７４からペグ７３の間に、例えばヘッド７１を表面側および裏面側を挟み込む様な状態で、着脱可能に取り付けられている。そのため、補助センサ１５は、演奏の邪魔になることはない。 The auxiliary sensor 15 is removably attached between the nut 74 and the peg 73 of the head 71, for example, with the head 71 sandwiched between the front side and the back side. Therefore, the auxiliary sensor 15 does not interfere with the performance.
　なお、補助センサ１５は、エレキギター１０のヘッド７１に埋め込まれていてもよいし、粘着剤等でヘッド７１に貼り付けてもよい。補助センサ１５は、粘着剤等でヘッド７１に貼り付ける、あるいはヘッドを挟み込む様に取り付ける場合、本実施形態のエレキギター１０に限らず、アコースティックギター等に取り付けることもできる。この様に補助センサ１５は、着脱可能に取り付けられることで、センサを内蔵していないギター等の楽器であっても取り付けることができ、どの様な楽器であっても演奏を阻害せずに本実施形態の演奏モーション推定方法を実行することができる。また、補助センサ１５は、ヘッド７１の裏面側の部分に取り付けてもよい。また、補助センサ１５は、ボディの裏面側に取り付けてもよい。これにより、補助センサ１５は、演奏の邪魔をせずにヘッド７１やボディの裏面側の振動を検出することもできる。 Note that the auxiliary sensor 15 may be embedded in the head 71 of the electric guitar 10, or may be attached to the head 71 with an adhesive or the like. The auxiliary sensor 15 can be attached not only to the electric guitar 10 of this embodiment but also to an acoustic guitar or the like if it is attached to the head 71 with an adhesive or the like or is attached so as to sandwich the head. Since the auxiliary sensor 15 is removably attached in this way, it can be attached even to musical instruments such as guitars that do not have a built-in sensor, and the main sensor 15 can be attached to any musical instrument without interfering with the performance. The performance motion estimation method of the embodiment can be executed. Further, the auxiliary sensor 15 may be attached to a portion on the back side of the head 71. Further, the auxiliary sensor 15 may be attached to the back side of the body. Thereby, the auxiliary sensor 15 can also detect vibrations on the back side of the head 71 and the body without interfering with the performance.
　補助センサ１５は、図７に示す様に、ピックアップ３０１、マイクロコントローラユニット（ＭＣＵ）３０２、バッテリ３０３、および通信Ｉ／Ｆ３０４を備えている。 As shown in FIG. 7, the auxiliary sensor 15 includes a pickup 301, a microcontroller unit (MCU) 302, a battery 303, and a communication I/F 304.
　ピックアップ３０１は、ナット７４からペグ７３の間の弦振動に基づいた音信号を生成する。 The pickup 301 generates a sound signal based on string vibration between the nut 74 and the peg 73.
　ＭＣＵ３０２は、メモリおよびプログラムを内蔵し、補助センサ１５の動作を制御する。ＭＣＵ３０２は、ピックアップ３０１で生成した音信号をセンサ信号として、通信Ｉ／Ｆ３０４を介してユーザ端末１２に送信する。 The MCU 302 has a built-in memory and a program, and controls the operation of the auxiliary sensor 15. The MCU 302 transmits the sound signal generated by the pickup 301 to the user terminal 12 via the communication I/F 304 as a sensor signal.
　通信Ｉ／Ｆ２０６は、Ｂｌｕｅｔｏｏｔｈ（登録商標）または無線ＬＡＮ等の無線通信により、センサ信号をユーザ端末１２に送信する。無論、補助センサ１５は、通信ケーブルを介してユーザ端末１２に接続してもよい。 The communication I/F 206 transmits the sensor signal to the user terminal 12 by wireless communication such as Bluetooth (registered trademark) or wireless LAN. Of course, the auxiliary sensor 15 may be connected to the user terminal 12 via a communication cable.
　ユーザ端末１２の推定部５３は、補助センサ１５から受け付けたセンサ信号およびギターアンプ１１から受け付けた音信号に基づいて、演奏者の演奏モーションを推定する（Ｓ１３）。演奏モーションは、演奏者の右手および左手の演奏モーション情報を含む。 The estimation unit 53 of the user terminal 12 estimates the performance motion of the performer based on the sensor signal received from the auxiliary sensor 15 and the sound signal received from the guitar amplifier 11 (S13). The performance motion includes performance motion information of the player's right hand and left hand.
　例えば、右利きの演奏者は、左手でネック７２のフレットを押さえる。推定部５３は、左手の演奏モーションとして、エレキギター１０の第１弦から第６弦のそれぞれについて、押さえられているフレットの位置（運指情報）を推定する。 For example, a right-handed player presses the frets of the neck 72 with his left hand. The estimating unit 53 estimates the position of the pressed fret (fingering information) for each of the first to sixth strings of the electric guitar 10 as a playing motion of the left hand.
　また、右利きの演奏者は、右手で弦を弾く。演奏者は、第１弦側からまたは第６弦側から弦を弾く。推定部５３は、右手の演奏モーションとして、第１弦側から弾くアップストロークであるか、第６弦側から弾くダウンストロークであるか、推定する。推定部５３は、右手の演奏モーション情報として、ストローク情報を推定する。 Also, right-handed players play the strings with their right hand. The performer plucks the strings from the first string side or from the sixth string side. The estimation unit 53 estimates whether the playing motion of the right hand is an upstroke played from the first string side or a downstroke played from the sixth string side. The estimation unit 53 estimates stroke information as right hand performance motion information.
　推定部５３は、エレキギター１０の演奏音と、補助センサ１５のセンサ信号と、演奏モーションと、の関係をＤＮＮ（Ｄｅｅｐ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）で訓練した訓練済モデル（ｔｒａｉｎｅｄ　ｍｏｄｅｌ）に基づいて演奏モーションを推定する。訓練は、予め例えば楽器製造者の利用するコンピュータ（サーバ）で実行されるプログラムにより実現する。図８は、訓練段階におけるコンピュータ（サーバ）の動作を示すフローチャートである。 The estimation unit 53 estimates the performance motion based on a trained model that is trained using a DNN (Deep Neural Network) to determine the relationship between the performance sound of the electric guitar 10, the sensor signal of the auxiliary sensor 15, and the performance motion. presume. The training is realized in advance by a program executed on a computer (server) used by the musical instrument manufacturer, for example. FIG. 8 is a flowchart showing the operation of the computer (server) during the training stage.
　訓練済モデルを生成するコンピュータは、訓練段階として、ある演奏を行った時の左右の手の演奏モーション情報と、エレキギター１０の演奏音と、センサ信号と、を含むデータセット（訓練用データ）を多数取得する（Ｓ２１）。コンピュータは、所定のモデルに、所定のアルゴリズムを用いてエレキギター１０の演奏音と、補助センサ１５のセンサ信号と、演奏モーション情報と、の関係を訓練させる（Ｓ２２）。 As a training stage, the computer that generates the trained model generates a data set (training data) that includes performance motion information of the left and right hands when performing a certain performance, the performance sound of the electric guitar 10, and sensor signals. A large number of are acquired (S21). The computer trains a predetermined model on the relationship between the performance sound of the electric guitar 10, the sensor signal of the auxiliary sensor 15, and the performance motion information using a predetermined algorithm (S22).
　本実施形態において、モデルを訓練させるためのアルゴリズムは限定されず、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）やＲＮＮ（Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）等の任意の機械訓練アルゴリズムを用いることができる。機械訓練アルゴリズムは、教師あり訓練、教師なし訓練、半教師訓練、強化訓練、逆強化訓練、能動訓練、あるいは転移訓練等であってもよい。また、推定部５３は、ＨＭＭ（Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　Ｍｏｄｅｌ：隠れマルコフモデル）やＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）等の機械訓練モデルを用いてモデルを訓練させてもよい。 In this embodiment, the algorithm for training the model is not limited, and any machine training algorithm such as CNN (Convolutional Neural Network) or RNN (Recurrent Neural Network) can be used. The machine training algorithm may be supervised training, unsupervised training, semi-supervised training, reinforcement training, reverse reinforcement training, active training, transfer training, or the like. Furthermore, the estimation unit 53 may train the model using a machine training model such as a Hidden Markov Model (HMM) or a Support Vector Machine (SVM).
　ある特定の演奏モーションにより演奏を行った時の演奏音（エレキギター１０のボディ側の弦振動から取得した音信号）およびセンサ信号（ペグ７３およびナット７４の間の弦振動から取得した音信号）は一意に決まる。つまり、ある演奏モーションで演奏を行った時の左右の手の演奏モーション情報と、エレキギター１０の演奏音と、センサ信号と、は、相関関係を有する。したがって、コンピュータは、所定のモデルに、エレキギター１０の演奏音と、補助センサ１５のセンサ信号と、演奏モーション情報と、の関係を訓練させ、訓練済モデルを生成する（Ｓ２３）。 Performance sound (sound signal obtained from string vibration on the body side of electric guitar 10) and sensor signal (sound signal obtained from string vibration between peg 73 and nut 74) when performing with a certain playing motion is uniquely determined. In other words, there is a correlation between the performance motion information of the left and right hands, the performance sound of the electric guitar 10, and the sensor signal when performing with a certain performance motion. Therefore, the computer trains a predetermined model on the relationship between the performance sound of the electric guitar 10, the sensor signal of the auxiliary sensor 15, and the performance motion information, and generates a trained model (S23).
　推定部５３は、上記の訓練済モデルを、ネットワークを介してコンピュータ（例えば楽器製造者のサーバ）から取得する。推定部５３は、実行段階として、当該訓練済モデルにより、受け付けた現在の演奏音信号と、センサ信号と、を入力し、演奏モーション情報を推定する。より具体的には、推定部５３は、訓練済モデルにより、左手の運指情報と、右手のストローク情報と、を推定する。 The estimation unit 53 acquires the above-mentioned trained model from a computer (for example, a server of a musical instrument manufacturer) via a network. In the execution stage, the estimation unit 53 inputs the received current performance sound signal and sensor signal using the trained model, and estimates performance motion information. More specifically, the estimation unit 53 estimates left hand fingering information and right hand stroke information using a trained model.
　出力部５４は、推定部５３で推定した演奏モーションに係る情報を出力する（Ｓ１４）。演奏モーション情報は、例えば仮想空間内で仮想的に演奏を行う３Ｄモデルを動作させるための時系列のモーションデータに用いられる。 The output unit 54 outputs information related to the performance motion estimated by the estimation unit 53 (S14). The performance motion information is used, for example, as time-series motion data for operating a 3D model that performs virtually in a virtual space.
　本実施形態のユーザ端末１２のユーザは、エレキギター１０の演奏者である。エレキギター１０の演奏者は、自身の演奏音を配信するとともに仮想空間内で仮想的に演奏を行う自身の分身となる３Ｄモデルを動作させる。ただし、演奏音の配信を行うユーザと演奏者とは同じ人物である必要はない。ユーザ端末１２は、当該３Ｄモデルの動作を制御するためのモーションデータを生成する。ユーザ端末１２は、例えばモーションデータを生成するアプリケーションプログラムをフラッシュメモリ２０３からＲＡＭ２０５に読み出して実行する。 The user of the user terminal 12 of this embodiment is a player of the electric guitar 10. The performer of the electric guitar 10 operates a 3D model that is his alter ego and distributes his performance sound and performs virtually in the virtual space. However, the user who distributes the performance sound and the performer do not need to be the same person. The user terminal 12 generates motion data for controlling the operation of the 3D model. The user terminal 12 reads, for example, an application program for generating motion data from the flash memory 203 into the RAM 205 and executes it.
　モーションデータを生成するアプリケーションプログラムは、運指情報に基づいて、楽器の３Ｄモデルのネックの位置に、演奏者の３Ｄモデルの左手のボーンを配置するためのモーションデータを生成する。アプリケーションプログラムは、運指情報として例えばＣコード（Ｃの和音）を受け付けた場合、人差し指を第２弦の第１フレットに配置し、中指を第４弦の第２フレットに配置し、薬指を第５弦の第３フレットに配置するモーションデータを生成する。また、アプリケーションプログラムは、ストローク情報に基づいて、演奏者の３Ｄモデルの右手のボーンをアップストロークまたはダウンストロークで動作させるためのモーションデータを生成する。 The application program that generates motion data generates motion data for placing the left hand bones of the 3D model of the performer at the neck position of the 3D model of the musical instrument, based on the fingering information. For example, when the application program receives a C chord (C chord) as fingering information, it places the index finger on the first fret of the second string, the middle finger on the second fret of the fourth string, and the ring finger on the second fret. Generate motion data to be placed on the third fret of the 5th string. The application program also generates motion data for moving the bones of the right hand of the 3D model of the performer in upstrokes or downstrokes based on the stroke information.
　以上の様に、推定部５３は、音信号だけでなく、補助センサ１５のセンサ信号を用いて演奏モーションを推定することで、より高精度に演奏モーションを推定することができる。 As described above, the estimation unit 53 can estimate the performance motion with higher accuracy by estimating the performance motion using not only the sound signal but also the sensor signal of the auxiliary sensor 15.
　また、演奏者は、モーションキャプチャ用のセンサを身体に取り付ける必要なく、仮想空間内の演奏者の３Ｄモデルの動作を制御することができる。さらに、本実施形態の演奏モーション推定方法の利用者は、仮想空間内における仮想的な演奏をより臨場感を持って提供できるという顧客体験を享受できる。また、仮想的な演奏を試聴するリスナは、仮想空間内の３Ｄモデルをより臨場感を持って視聴できるという顧客体験を享受できる。 Furthermore, the performer can control the movement of the 3D model of the performer in the virtual space without having to attach a motion capture sensor to the body. Furthermore, the user of the performance motion estimation method of this embodiment can enjoy the customer experience of being able to provide a virtual performance in a virtual space with a more realistic feeling. In addition, listeners who preview the virtual performance can enjoy the customer experience of being able to view the 3D model in the virtual space with a more realistic feeling.
　（変形例１）　
　図９は、変形例１に係るＣＰＵ２０４の機能ブロック図である。ＣＰＵ２０４は、アプリケーションプログラムにより、音信号受付部５１、センサ信号受付部５２、推定部５３、出力部５４およびイベントデータ取得部５７を構成する。すなわち、変形例１のＣＰＵ２０４は、機能的に、さらにイベントデータ取得部５７を備えている。 (Modification 1)
FIG. 9 is a functional block diagram of the CPU 204 according to the first modification. The CPU 204 configures a sound signal reception section 51, a sensor signal reception section 52, an estimation section 53, an output section 54, and an event data acquisition section 57 using an application program. That is, the CPU 204 of Modification 1 further includes an event data acquisition section 57 functionally.
　イベントデータ取得部５７は、イベントデータを取得する。イベントデータは、例えばＭＩＤＩ（Ｍｕｓｉｃａｌ　Ｉｎｓｔｒｕｍｅｎｔ　Ｄｉｇｉｔａｌ　Ｉｎｔｅｒｆａｃｅ）規格に準じた時系列のイベントデータであり、例えば曲毎の楽譜データに対応する。演奏者は、ユーザＩ／Ｆ２０２を介して演奏する曲を指定する。イベントデータ取得部５７は、指定された曲の楽譜データをサーバ（不図示）からダウンロードすることで、イベントデータを取得する。 The event data acquisition unit 57 acquires event data. The event data is, for example, time-series event data based on the MIDI (Musical Instrument Digital Interface) standard, and corresponds to, for example, musical score data for each song. The performer specifies the music to be played via the user I/F 202. The event data acquisition unit 57 acquires event data by downloading musical score data of a designated song from a server (not shown).
　推定部５３は、音信号、センサ信号、およびイベントデータに基づいて演奏者の演奏モーションを推定する。イベントデータは、上記の様に楽譜データであり、演奏タイミングおよび音高を示す情報が含まれている。 The estimation unit 53 estimates the performance motion of the performer based on the sound signal, sensor signal, and event data. The event data is musical score data as described above, and includes information indicating performance timing and pitch.
　推定部５３は、演奏音、センサ信号、イベントデータ、および演奏モーションの関係を訓練した訓練済モデルに基づいて演奏モーションを推定する。これにより、推定部５３は、特に運指情報の推定精度を向上させることができる。 The estimation unit 53 estimates a performance motion based on a trained model that has been trained on the relationship between performance sounds, sensor signals, event data, and performance motions. Thereby, the estimation unit 53 can particularly improve the estimation accuracy of fingering information.
　（変形例２）　
　変形例２の推定部５３は、テーブルを参照して、演奏モーションを推定する。テーブルは、予め演奏音、センサ信号、および演奏モーションとの関係を規定している。当該テーブルは、予めユーザ端末１２のフラッシュメモリ２０３または不図示のサーバにおけるデータベースに登録されている。推定部５３は、演奏音およびセンサ信号でテーブルを参照して、対応する演奏モーションの情報を特定する。 (Modification 2)
The estimation unit 53 of Modification 2 refers to the table and estimates the performance motion. The table predefines the relationship between performance sounds, sensor signals, and performance motions. The table is registered in advance in the flash memory 203 of the user terminal 12 or in a database in a server (not shown). The estimator 53 refers to a table using the performance sound and the sensor signal to identify information on the corresponding performance motion.
　これにより、ユーザ端末１２は、人工知能アルゴリズムを用いることなく演奏モーションを推定することもできる。 Thereby, the user terminal 12 can also estimate performance motion without using an artificial intelligence algorithm.
　（変形例３）　
　上記実施形態では、補助センサ１５は、ヘッド７１のうちナット７４からペグ７３の間に取り付けられていた。しかし、補助センサ１５は、例えばネックとボディの境界部分、あるいはブリッジとピックアップの間等に取り付けてもよい。 (Modification 3)
In the embodiment described above, the auxiliary sensor 15 was attached to the head 71 between the nut 74 and the peg 73. However, the auxiliary sensor 15 may be attached, for example, at the boundary between the neck and the body, or between the bridge and the pickup.
　ただし、補助センサ１５は、ヘッド７１のうちナット７４からペグ７３の間に取り付けられることで、演奏の邪魔になることがない。 However, since the auxiliary sensor 15 is attached between the nut 74 and the peg 73 of the head 71, it does not interfere with the performance.
　（変形例４）　
　上記実施形態では、補助センサ１５は、マグネティックピックアップを有し、磁界変化に基づいて弦振動をセンサ信号として取得した。しかし、補助センサ１５は、マグネティックピックアップを備える例に限らない。例えば、補助センサ１５は、カメラにより、弦振動をセンサ信号として取得してもよい。あるいは、補助センサ１５は、左手および右手の映像をセンサ信号として取得してもよい。この場合も、カメラは、演奏を阻害しないために、エレキギター１０のヘッド７１に着脱可能に取り付ける、あるいは予め内蔵されていることが好ましい。 (Modification 4)
In the embodiment described above, the auxiliary sensor 15 has a magnetic pickup and acquires string vibration as a sensor signal based on changes in the magnetic field. However, the auxiliary sensor 15 is not limited to an example including a magnetic pickup. For example, the auxiliary sensor 15 may acquire string vibration as a sensor signal using a camera. Alternatively, the auxiliary sensor 15 may acquire images of the left hand and right hand as sensor signals. In this case as well, it is preferable that the camera be removably attached to the head 71 of the electric guitar 10 or built in in advance so as not to interfere with the performance.
　この場合、推定部５３は、演奏音、カメラの映像、および演奏モーションの関係を訓練した訓練済モデルに基づいて演奏モーションを推定する。 In this case, the estimation unit 53 estimates the performance motion based on a trained model that has been trained on the relationship between the performance sound, the camera image, and the performance motion.
　また、補助センサ１５は、ナット７４からペグ７３の間に配置されている弦に直接取り付けられてもよい。この場合、補助センサ１５は、例えば加速度センサである。補助センサ１５は、弦の加速度を検出し、センサ信号として出力する。また、補助センサ１５は、例えば圧電センサでもよい。この場合、補助センサ１５は、弦に直接接触して弦の微少な振動を検出し、センサ信号として出力する。これらの補助センサ１５は、弦自体に接触して弦内部に伝わる振動を取得する。これらの補助センサ１５は、複数の弦のそれぞれに取り付けられ、複数の弦のそれぞれの振動を検出する。この場合、補助センサ１５は、ナイロン弦等のマグネティックピックアップでは検出できない弦の振動を音信号として出力することができる。また、ヘッド７１のうちナット７４からペグ７３の間に配置されている弦に他の物体が直接接触しても、ボディ側のマグネティックピックアップで取得される演奏音に対する影響はほとんどない。したがって、補助センサ１５は、ナット７４からペグ７３の間に配置されている弦に直接取り付けられることで、演奏音を阻害せず、弦内部に伝わる振動を取得することができ、演奏モーションを推定するためのセンサ信号を適切に検出することができる。 Additionally, the auxiliary sensor 15 may be directly attached to the string located between the nut 74 and the peg 73. In this case, the auxiliary sensor 15 is, for example, an acceleration sensor. The auxiliary sensor 15 detects the acceleration of the string and outputs it as a sensor signal. Further, the auxiliary sensor 15 may be a piezoelectric sensor, for example. In this case, the auxiliary sensor 15 directly contacts the string, detects minute vibrations of the string, and outputs it as a sensor signal. These auxiliary sensors 15 come into contact with the string itself and acquire vibrations transmitted inside the string. These auxiliary sensors 15 are attached to each of the plurality of strings and detect vibrations of each of the plurality of strings. In this case, the auxiliary sensor 15 can output string vibrations that cannot be detected by a magnetic pickup such as a nylon string as a sound signal. Furthermore, even if another object directly contacts the strings located between the nut 74 and the peg 73 in the head 71, there is almost no effect on the performance sound acquired by the magnetic pickup on the body side. Therefore, by attaching the auxiliary sensor 15 directly to the string located between the nut 74 and the peg 73, the auxiliary sensor 15 can acquire the vibration transmitted inside the string without interfering with the playing sound, and estimate the playing motion. It is possible to appropriately detect sensor signals for
　また、補助センサ１５は、ダイヤフラム型の振動検出センサであってもよい。この場合、補助センサ１５は、ヘッド７１またはボディ等に貼り付ける。補助センサ１５は、ヘッド７１やボディを伝わる弦の振動を検出することができる。 Further, the auxiliary sensor 15 may be a diaphragm type vibration detection sensor. In this case, the auxiliary sensor 15 is attached to the head 71 or the body. The auxiliary sensor 15 can detect vibrations of the strings transmitted through the head 71 and the body.
　（変形例５）　
　補助センサは、さらに楽器の位置または向きを検出するモーションセンサを含んでもよい。図１０は、変形例５に係る補助センサ１５Ａの構成を示すブロック図である。 (Modification 5)
The auxiliary sensors may further include a motion sensor that detects the position or orientation of the instrument. FIG. 10 is a block diagram showing the configuration of an auxiliary sensor 15A according to modification 5.
　補助センサ１５Ａは、補助センサ１５の構成に加えて、さらに３軸加速度センサ３０５および位置センサ３０６を備えている。３軸加速度センサ３０５および位置センサ３０６は、それぞれモーションセンサの一例である。 In addition to the configuration of the auxiliary sensor 15, the auxiliary sensor 15A further includes a 3-axis acceleration sensor 305 and a position sensor 306. The triaxial acceleration sensor 305 and the position sensor 306 are each examples of motion sensors.
　３軸加速度センサ３０５は、楽器の向きを検出する。位置センサ３０６は、楽器の位置を検出する。位置センサ３０６は、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標）　Ｌｏｗ　Ｅｎｅｒｇｙ）ビーコン等の屋内用の測位センサでもよいし、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）等の屋外用測位センサでもよい。 The triaxial acceleration sensor 305 detects the orientation of the musical instrument. Position sensor 306 detects the position of the musical instrument. The position sensor 306 may be an indoor positioning sensor such as a BLE (Bluetooth (registered trademark) Low Energy) beacon, or an outdoor positioning sensor such as a GPS (Global Positioning System).
　推定部５３は、３軸加速度センサ３０５で検出した楽器の向き、および位置センサ３０６で検出した楽器の位置を受け付けて、演奏モーションを推定する。ここで言う演奏モーションは、仮想空間内の楽器および演奏者の３Ｄモデルの位置および向きを制御するための情報を含む。 The estimation unit 53 receives the orientation of the musical instrument detected by the triaxial acceleration sensor 305 and the position of the musical instrument detected by the position sensor 306, and estimates the performance motion. The performance motion referred to here includes information for controlling the position and orientation of the 3D model of the instrument and the player in the virtual space.
　出力部５４は、左手の運指情報、右手のストローク情報、楽器の位置情報、および楽器の向き情報を演奏モーション情報として出力する。ユーザ端末１２のモーションデータを生成するアプリケーションプログラムは、仮想空間内の楽器の３Ｄモデルの位置および向きを示す時系列のモーションデータを生成する。また、当該アプリケーションプログラムは、仮想空間内に配置した楽器の３Ｄモデルに合わせて演奏者の３Ｄモデルの位置および向きを示すモーションデータを生成する。例えば、アプリケーションプログラムは、配置したギターの３Ｄモデルの背面側に演奏者の３Ｄモデルを配置し、演奏者の左手のボーンをギターの３Ｄモデルのネック部分に配置する。また、アプリケーションプログラムは、演奏者の右手のボーンのうち肘に近い部分をギターのボディの上部に配置する。これにより、演奏者は、モーションキャプチャ用のセンサを身体に取り付ける必要なく、仮想空間内の楽器および演奏者３Ｄモデルの動作を制御することができる。 The output unit 54 outputs left hand fingering information, right hand stroke information, instrument position information, and instrument orientation information as performance motion information. The application program that generates motion data for the user terminal 12 generates time-series motion data that indicates the position and orientation of the 3D model of the musical instrument in the virtual space. The application program also generates motion data indicating the position and orientation of the 3D model of the performer in accordance with the 3D model of the musical instrument placed in the virtual space. For example, the application program places a 3D model of the player on the back side of the placed 3D model of the guitar, and places the bones of the player's left hand on the neck of the 3D model of the guitar. The application program also places the bone of the player's right hand near the elbow at the top of the guitar body. This allows the performer to control the movements of the musical instrument and the performer 3D model in the virtual space without the need to attach a motion capture sensor to the body.
　（変形例６）
　変形例６の推定部５３は、変形例５の様に３軸加速度センサ３０５で検出した楽器の向きおよび位置センサ３０６で検出した楽器の位置に加えて、演奏者の位置および向きを検出する。この場合、変形例５の様に３軸加速度センサ３０５および位置センサ３０６を演奏者が身につけて、推定部５３がこれらのセンサを用いて演奏者の位置および向きを検出してもよい。一方、変形例６の推定部５３は、楽器に取り付けられた３軸加速度センサ３０５および位置センサ３０６とは別のセンサ（例えばライブ会場に設置されたカメラ）を用いて演奏者の位置および向きを検出してもよい。例えば、推定部５３は、画像認識処理により、カメラで撮影した画像内の演奏者の位置および楽器の位置をそれぞれ検出する。推定部５３は、検出した演奏者の位置および楽器の位置に基づいて、演奏者と楽器の位置関係を推定する。出力部５４は、推定部５３で推定した演奏者と楽器の位置関係に基づいて、仮想空間内に配置した楽器の３Ｄモデルに対して、演奏者の３Ｄモデルの位置および向きを示すモーションデータを生成する。この場合も、演奏者は、モーションキャプチャ用のセンサを身体に取り付ける必要なく、仮想空間内の楽器および演奏者の３Ｄモデルの動作を制御することができる。 (Modification 6)
The estimation unit 53 of the sixth modification detects the position and orientation of the player in addition to the orientation of the musical instrument detected by the triaxial acceleration sensor 305 and the position of the musical instrument detected by the position sensor 306 as in the fifth modification. In this case, the performer may wear the three-axis acceleration sensor 305 and the position sensor 306 as in Modification 5, and the estimation unit 53 may detect the position and orientation of the performer using these sensors. On the other hand, the estimation unit 53 of Modification 6 uses a sensor (for example, a camera installed at a live venue) that is different from the 3-axis acceleration sensor 305 and the position sensor 306 attached to the musical instrument to estimate the position and orientation of the performer. May be detected. For example, the estimation unit 53 uses image recognition processing to detect the position of the performer and the position of the musical instrument in the image taken by the camera. The estimation unit 53 estimates the positional relationship between the performer and the musical instrument based on the detected position of the performer and the detected position of the musical instrument. The output unit 54 outputs motion data indicating the position and orientation of the 3D model of the performer to the 3D model of the instrument placed in the virtual space, based on the positional relationship between the performer and the instrument estimated by the estimation unit 53. generate. In this case as well, the performer can control the movement of the instrument and the 3D model of the performer in the virtual space without having to attach motion capture sensors to the body.
　（変形例７）　
　変形例７のユーザ端末１２は、上記のモーションセンサのセンサ信号に基づいて音信号に音響処理を施す。 (Modification 7)
The user terminal 12 of Modification 7 performs acoustic processing on the sound signal based on the sensor signal of the motion sensor described above.
　例えば、ユーザ端末１２は、エレキギター１０の演奏音に係る音信号にパニング処理等の音像定位処理を施す。ユーザ端末１２は、演奏音の音信号をＬチャンネルおよびＲチャンネルに分配し、楽器の位置に基づいてＬチャンネルおよびＲチャンネルの音量バランスを調整する。例えば、ユーザ端末１２は、センサ信号で示される楽器の位置情報が、仮想空間内の右側（リスナから向かって右側）にある場合には、Ｒチャンネルの音量を大きくし、Ｌチャンネルの音量を小さくする。これにより、演奏音は、リスナから向かって右側に定位する。したがって、演奏音のリスナは、仮想空間内の３Ｄモデルの位置に音像が定位する様に知覚することができる。 For example, the user terminal 12 performs sound image localization processing such as panning processing on the sound signal related to the performance sound of the electric guitar 10. The user terminal 12 distributes the sound signal of the performance sound to the L channel and the R channel, and adjusts the volume balance of the L channel and the R channel based on the position of the musical instrument. For example, if the position information of the instrument indicated by the sensor signal is on the right side in the virtual space (the right side when facing the listener), the user terminal 12 increases the volume of the R channel and decreases the volume of the L channel. do. As a result, the performance sound is localized to the right side when facing the listener. Therefore, the listener of the performance sound can perceive the sound image to be localized at the position of the 3D model in the virtual space.
　また、例えば、ユーザ端末１２は、エレキギター１０の演奏音に係る音信号に頭部伝達関数（ＨＲＴＦ：Ｈｅａｄ－Ｒｅｌａｔｅｄ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）を畳み込むことで音像定位処理を施してもよい。頭部伝達関数は、音源の位置からリスナの右耳および左耳に至る伝達関数である。ユーザ端末１２は、楽器の位置情報に応じた頭部伝達関数をサーバ等から読み出して演奏音に係る音信号に畳み込む。これにより、リスナは、仮想空間内の３Ｄモデルの位置に音像が定位する様に知覚することができる。 Further, for example, the user terminal 12 may perform sound image localization processing by convolving a head-related transfer function (HRTF) with a sound signal related to the sound played by the electric guitar 10. Head-related transfer functions are transfer functions from the position of the sound source to the listener's right and left ears. The user terminal 12 reads the head-related transfer function corresponding to the position information of the musical instrument from a server or the like and convolves it into the sound signal related to the performance sound. Thereby, the listener can perceive the sound image to be localized at the position of the 3D model in the virtual space.
　また、頭部伝達関数は、楽器の向きに応じて異なっていてもよい。ユーザ端末１２は、楽器の向き情報に応じた頭部伝達関数をサーバ等から読み出して演奏音に係る音信号に畳み込む。これにより、演奏音のリスナは、仮想空間内の３Ｄモデルの位置に音像が定位し、かつ楽器の向きによる音の変化も知覚することができる。 Furthermore, the head-related transfer function may differ depending on the orientation of the musical instrument. The user terminal 12 reads the head-related transfer function according to the orientation information of the musical instrument from a server or the like, and convolutes it into the sound signal related to the performance sound. As a result, the listener of the performance sound can localize the sound image to the position of the 3D model in the virtual space, and can also perceive changes in the sound depending on the direction of the musical instrument.
　これにより、リスナは、よりリアルな音像定位を体験することができ、従来では得られなかった顧客体験を得ることができる。 This allows listeners to experience more realistic sound image localization, and provides a customer experience that was previously unavailable.
　（変形例８）　
　変形例８のユーザ端末１２は、訓練段階である訓練済モデルの生成と、実行段階である演奏モーションの推定と、を行う。つまり、モデルの訓練段階の動作と訓練済モデルの実行段階の動作は、１つの装置で行ってもよい。 (Modification 8)
The user terminal 12 of Modification 8 performs the training stage, which is the generation of a trained model, and the execution stage, which is the estimation of a performance motion. In other words, the operation in the model training stage and the operation in the trained model execution stage may be performed by one device.
　また、サーバが本発明の演奏モーション推定装置であってもよい。つまり、サーバは、モデルの訓練段階の動作と訓練済モデルの実行段階の動作を行ってもよい。この場合、ユーザ端末１２は、ネットワークを介して、演奏音に係る音信号およびセンサ信号の情報をサーバに送信し、サーバから演奏モーションを示す情報を受信する。 Furthermore, the server may be the performance motion estimation device of the present invention. That is, the server may perform operations during the model training phase and operations during the trained model execution phase. In this case, the user terminal 12 transmits information on the sound signal and sensor signal related to the performance sound to the server via the network, and receives information indicating the performance motion from the server.
　また、ギターアンプ１１が本発明の演奏モーション推定装置であってもよい。ギターアンプ１１は、モデルの訓練段階の動作と訓練済モデルの実行段階の動作を行ってもよい。この場合、ギターアンプ１１は、演奏音に係る音信号およびセンサ信号を受け付けて、演奏モーションを示す情報を出力する。また、ギターアンプ１１のＤＳＰ１０６が変形例７で示した音響処理を行ってもよい。この場合、ＤＳＰ１０６が音響処理部として機能する。 Furthermore, the guitar amplifier 11 may be the performance motion estimation device of the present invention. The guitar amplifier 11 may perform operations in a model training stage and a trained model execution stage. In this case, the guitar amplifier 11 receives the sound signal and sensor signal related to the performance sound, and outputs information indicating the performance motion. Further, the DSP 106 of the guitar amplifier 11 may perform the acoustic processing shown in the seventh modification. In this case, the DSP 106 functions as an audio processing section.
　（変形例９）　
　上記実施形態の楽器はエレキギター１０であるため、左手の演奏モーションは運指情報であり、右手の演奏モーションは、ストローク情報であった。しかし、左手および右手の演奏モーションは、楽器の種類により異なる。例えば、楽器がベースである場合、右手の演奏モーションは、２フィンガー奏法の人差し指であるか、中指であるかを示す情報になる。あるいは、楽器がベースである場合、右手の演奏モーションは、スラップ奏法のサミングまたはプリングを示す情報になる。楽器が鍵盤楽器である場合、左手および右手の演奏モーションともに運指情報になる。 (Modification 9)
Since the musical instrument of the above embodiment is the electric guitar 10, the playing motion of the left hand is fingering information, and the playing motion of the right hand is stroke information. However, the playing motions of the left and right hands differ depending on the type of musical instrument. For example, when the musical instrument is a bass, the playing motion of the right hand is information indicating whether it is the index finger or the middle finger of two-finger playing. Alternatively, if the musical instrument is a bass, the playing motion of the right hand becomes information indicating summing or pulling of the slap playing method. If the instrument is a keyboard instrument, both the playing motions of the left hand and the right hand become fingering information.
　（変形例１０）　
　上記実施形態で生成したモーションデータは、リアルタイムに配信する必要はない。例えば、生成したモーションデータは、ユーザ端末１２またはサーバ（不図示）等に記録してもよい。配信を行う利用者は、ユーザ端末１２またはサーバ（不図示）等に記録したモーションデータを用いて仮想空間内で仮想的に演奏を行う３Ｄモデルを動作させ、過去の演奏を再現した配信を行ってもよい。 (Modification 10)
The motion data generated in the above embodiment does not need to be distributed in real time. For example, the generated motion data may be recorded on the user terminal 12 or a server (not shown). A user who performs distribution operates a 3D model that performs virtually in a virtual space using motion data recorded on the user terminal 12 or a server (not shown), etc., and distributes a reproduction of a past performance. It's okay.
　本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、請求の範囲によって示される。さらに、本発明の範囲は、請求の範囲と均等の範囲を含む。 The description of this embodiment is illustrative in all respects, and should be considered not to be restrictive. The scope of the invention is indicated by the claims rather than the embodiments described above. Furthermore, the scope of the present invention includes a range equivalent to the claims.
　例えば、上記実施形態では、推定部５３は、エレキギター１０の演奏音と、補助センサ１５のセンサ信号と、演奏モーションと、の関係を訓練した訓練済モデルに基づいて演奏モーションを推定した。しかし、例えば、推定部５３は、補助センサ１５のセンサ信号と、演奏モーションと、の関係を訓練した訓練済モデルに基づいて演奏モーションを推定してもよい。この場合、推定部５３は、エレキギター１０の演奏音を入力することは必須ではない。 For example, in the embodiment described above, the estimation unit 53 estimated the performance motion based on a trained model that has been trained on the relationship between the performance sound of the electric guitar 10, the sensor signal of the auxiliary sensor 15, and the performance motion. However, for example, the estimation unit 53 may estimate the performance motion based on a trained model that has been trained on the relationship between the sensor signal of the auxiliary sensor 15 and the performance motion. In this case, it is not essential for the estimation unit 53 to input the performance sound of the electric guitar 10.
　また、上述した様に、本発明においてギターアンプ１１は必須ではない。ただし、ギターアンプ１１のＤＳＰを用いて演奏音にエフェクト等の信号処理を行うことで、ユーザ端末１２がこの様な信号処理を行う必要がなくなり、ユーザ端末１２の計算負荷を低減することができる。 Furthermore, as mentioned above, the guitar amplifier 11 is not essential in the present invention. However, by using the DSP of the guitar amplifier 11 to perform signal processing such as effects on the performance sound, the user terminal 12 does not need to perform such signal processing, and the calculation load on the user terminal 12 can be reduced. .
　また、本実施形態の演奏モーション推定方法は、ユーザ端末１２ではなく補助センサ１５において行ってもよい。この場合、補助センサ１５は、推定した演奏モーション情報をユーザ端末１２に送信すればよい。 Furthermore, the performance motion estimation method of this embodiment may be performed by the auxiliary sensor 15 instead of the user terminal 12. In this case, the auxiliary sensor 15 may transmit the estimated performance motion information to the user terminal 12.
１　　　：演奏モーション推定システム１０　　：エレキギター１１　　：ギターアンプ１２　　：ユーザ端末１５，１５Ａ　　：補助センサ５１　　：音信号受付部５２　　：センサ信号受付部５３　　：推定部５４　　：出力部５７　　：イベントデータ取得部７１　　：ヘッド７２　　：ネック７３　　：ペグ７４　　：ナット１０１　：表示器１０２　：ユーザＩ／Ｆ１０３　：フラッシュメモリ１０４　：ＣＰＵ１０５　：ＲＡＭ１０６　：ＤＳＰ１０７　：通信Ｉ／Ｆ１０８　：オーディオＩ／Ｆ１０９　：Ａ／Ｄ変換器１１０　：Ｄ／Ａ変換器１１１　：アンプ１１２　：スピーカ２０１　：表示器２０２　：ユーザＩ／Ｆ２０３　：フラッシュメモリ２０４　：ＣＰＵ２０５　：ＲＡＭ２０６　：通信Ｉ／Ｆ３０１　：ピックアップ３０３　：バッテリ３０４　：通信Ｉ／Ｆ３０５　：３軸加速度センサ３０６　：位置センサ 1: Performance motion estimation system 10: Electric guitar 11: Guitar amplifier 12: User terminal 15, 15A: Auxiliary sensor 51: Sound signal reception section 52: Sensor signal reception section 53: Estimation section 54: Output section 57: Event data Acquisition department 71: Head 72: Neck 73: Peg 74: Nut 101: Display 102: User I/F 103: Flash memory 104: CPU 105: RAM 106: DSP 107: Communication I/F 108: Audio I/F 1 09: A/D converter 110: D/A converter 111: Amplifier 112: Speaker 201: Display 202: User I/F 203: Flash memory 204: CPU 205: RAM 206: Communication I/F 301: Pick-up 303: Battery 304: Communication I/F 305: 3-axis acceleration sensor 306: Position sensor

Claims (18)

  1. 　楽器の演奏音に係る音信号を受け付けて、
    　前記楽器に取り付けられた補助センサのセンサ信号を受け付けて、
    　前記音信号および前記センサ信号に基づいて、演奏者の演奏モーションを推定する、
    　演奏モーション推定方法。     Accepts a sound signal related to the sound of a musical instrument,
    receiving a sensor signal from an auxiliary sensor attached to the musical instrument;
    estimating a performance motion of the performer based on the sound signal and the sensor signal;
    Performance motion estimation method.
  2. 　前記楽器はヘッドおよび弦を有する弦楽器であり、
    　前記補助センサは、前記ヘッドに取り付けられる、
    　請求項１に記載の演奏モーション推定方法。     The musical instrument is a stringed instrument having a head and strings,
    the auxiliary sensor is attached to the head;
    The performance motion estimation method according to claim 1.
  3. 　前記弦楽器はナットおよびペグを有し、
    　前記補助センサは、前記ナットから前記ペグの間の前記弦に取り付けられる、
    　請求項２に記載の演奏モーション推定方法。     the stringed instrument has a nut and a peg;
    the auxiliary sensor is attached to the string between the nut and the peg;
    The performance motion estimation method according to claim 2.
  4. 　前記補助センサは、前記弦の内部を伝わる振動を検出する、
    　請求項３に記載の演奏モーション推定方法。     The auxiliary sensor detects vibrations transmitted inside the string.
    The performance motion estimation method according to claim 3.
  5. 　前記補助センサは、前記楽器に着脱可能に取り付けられている、
    　請求項１乃至請求項４のいずれか１項に記載の演奏モーション推定方法。     the auxiliary sensor is removably attached to the musical instrument;
    A performance motion estimation method according to any one of claims 1 to 4.
  6. 　前記演奏モーションは、前記演奏者の右手および左手の演奏モーションを含む、
    　請求項１乃至請求項４のいずれか１項に記載の演奏モーション推定方法。     The performance motion includes performance motions of the right hand and left hand of the performer.
    A performance motion estimation method according to any one of claims 1 to 4.
  7. 　演奏に関するイベントを示すイベントデータを取得し、
    　さらに、前記イベントデータに基づいて前記演奏モーションを推定する、
    　請求項１乃至請求項４のいずれか１項に記載の演奏モーション推定方法。     Obtain event data indicating events related to performance,
    further, estimating the performance motion based on the event data;
    A performance motion estimation method according to any one of claims 1 to 4.
  8. 　前記補助センサは、前記楽器の位置または向きを検出するモーションセンサを含む、
    　請求項１乃至請求項４のいずれか１項に記載の演奏モーション推定方法。     The auxiliary sensor includes a motion sensor that detects the position or orientation of the musical instrument.
    A performance motion estimation method according to any one of claims 1 to 4.
  9. 　前記モーションセンサのセンサ信号に基づいて前記音信号の音響処理を行う、
    　請求項８に記載の演奏モーション推定方法。     performing acoustic processing on the sound signal based on a sensor signal of the motion sensor;
    The performance motion estimation method according to claim 8.
  10. 　楽器の演奏音に係る音信号を受け付ける音信号受付部と、
    　前記楽器に取り付けられた補助センサのセンサ信号を受け付けるセンサ信号受付部と、
    　前記音信号および前記センサ信号に基づいて、演奏者の演奏モーションを推定する推定部と、
    　を備えた演奏モーション推定装置。     a sound signal reception unit that receives a sound signal related to the sound of a musical instrument;
    a sensor signal reception unit that receives a sensor signal from an auxiliary sensor attached to the musical instrument;
    an estimation unit that estimates a performance motion of the performer based on the sound signal and the sensor signal;
    A performance motion estimation device equipped with
  11. 　前記楽器はヘッドおよび弦を有する弦楽器であり、
    　前記補助センサは、前記ヘッドに取り付けられる、
    　請求項１０に記載の演奏モーション推定装置。     The musical instrument is a stringed instrument having a head and strings,
    the auxiliary sensor is attached to the head;
    The performance motion estimation device according to claim 10.
  12. 　前記弦楽器はナットおよびペグを有し、
    　前記補助センサは、前記ナットから前記ペグの間の前記弦に取り付けられる、
    　請求項１１に記載の演奏モーション推定装置。     the stringed instrument has a nut and a peg;
    the auxiliary sensor is attached to the string between the nut and the peg;
    The performance motion estimation device according to claim 11.
  13. 　前記補助センサは、前記弦の内部を伝わる振動を検出する、
    　請求項１２に記載の演奏モーション推定装置。     The auxiliary sensor detects vibrations transmitted inside the string.
    The performance motion estimation device according to claim 12.
  14. 　前記補助センサは、前記楽器に着脱可能に取り付けられている、
    　請求項１０乃至請求項１３のいずれか１項に記載の演奏モーション推定装置。     the auxiliary sensor is removably attached to the musical instrument;
    The performance motion estimation device according to any one of claims 10 to 13.
  15. 　前記演奏モーションは、前記演奏者の右手および左手の演奏モーションを含む、
    　請求項１０乃至請求項１３のいずれか１項に記載の演奏モーション推定装置。     The performance motion includes performance motions of the right hand and left hand of the performer.
    The performance motion estimation device according to any one of claims 10 to 13.
  16. 　演奏に関するイベントを示すイベントデータを取得するイベントデータ取得部をさらに備え、
    　前記推定部は、さらに、前記イベントデータに基づいて前記演奏モーションを推定する、
    　請求項１０乃至請求項１３のいずれか１項に記載の演奏モーション推定装置。     further comprising an event data acquisition unit that acquires event data indicating an event related to the performance,
    The estimation unit further estimates the performance motion based on the event data.
    The performance motion estimation device according to any one of claims 10 to 13.
  17. 　前記補助センサは、前記楽器の位置または向きを検出するモーションセンサを含む、
    　請求項１０乃至請求項１３のいずれか１項に記載の演奏モーション推定装置。     The auxiliary sensor includes a motion sensor that detects the position or orientation of the musical instrument.
    The performance motion estimation device according to any one of claims 10 to 13.
  18. 　前記モーションセンサのセンサ信号に基づいて前記音信号の音響処理を行う音響処理部をさらに備えた、
    　請求項１７に記載の演奏モーション推定装置。     further comprising an acoustic processing unit that performs acoustic processing of the sound signal based on the sensor signal of the motion sensor;
    The performance motion estimation device according to claim 17.
PCT/JP2023/018305 2022-06-15 2023-05-16 Performance motion estimation method and performance motion estimation device WO2023243293A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-096219 2022-06-15
JP2022096219A JP2023182940A (en) 2022-06-15 2022-06-15 Musical performance motion estimate method and musical performance motion estimate device

Publications (1)

Publication Number Publication Date
WO2023243293A1 true WO2023243293A1 (en) 2023-12-21

Family

ID=89191105

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/018305 WO2023243293A1 (en) 2022-06-15 2023-05-16 Performance motion estimation method and performance motion estimation device

Country Status (2)

Country Link
JP (1) JP2023182940A (en)
WO (1) WO2023243293A1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05127589A (en) * 1991-08-12 1993-05-25 Quay-Riang Ho Tracy Method and apparatus for instructing bow manipulating method for stringed musical instrument
JPH0798585A (en) * 1993-09-28 1995-04-11 Kenji Tsumura Electronic stringed instrument
JP2005279051A (en) * 2004-03-30 2005-10-13 Yamaha Corp Device and system for managing biological information
JP2010085692A (en) * 2008-09-30 2010-04-15 Yamaha Corp Stringed instrument
JP2014523004A (en) * 2011-07-12 2014-09-08 オー エム ビー ギターズ リミテッド Stringed instrument, system and method using apparatus similar to stringed instrument
JP2017181850A (en) * 2016-03-31 2017-10-05 日本テレビ放送網株式会社 Playing apparatus, motion capture method for fingering, and performance support system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05127589A (en) * 1991-08-12 1993-05-25 Quay-Riang Ho Tracy Method and apparatus for instructing bow manipulating method for stringed musical instrument
JPH0798585A (en) * 1993-09-28 1995-04-11 Kenji Tsumura Electronic stringed instrument
JP2005279051A (en) * 2004-03-30 2005-10-13 Yamaha Corp Device and system for managing biological information
JP2010085692A (en) * 2008-09-30 2010-04-15 Yamaha Corp Stringed instrument
JP2014523004A (en) * 2011-07-12 2014-09-08 オー エム ビー ギターズ リミテッド Stringed instrument, system and method using apparatus similar to stringed instrument
JP2017181850A (en) * 2016-03-31 2017-10-05 日本テレビ放送網株式会社 Playing apparatus, motion capture method for fingering, and performance support system

Also Published As

Publication number Publication date
JP2023182940A (en) 2023-12-27

Similar Documents

Publication Publication Date Title
US10895914B2 (en) Methods, devices, and methods for creating control signals
US20210248986A1 (en) Stick Controller
US11557269B2 (en) Information processing method
US10504498B2 (en) Real-time jamming assistance for groups of musicians
US20220180767A1 (en) Crowd-based device configuration selection of a music teaching system
WO2017037342A1 (en) System for teaching a user to play a musical instrument from musical notation via virtual exercises and a method thereof
US11295715B2 (en) Techniques for controlling the expressive behavior of virtual instruments and related systems and methods
Odowichuk et al. Sensor fusion: Towards a fully expressive 3d music control interface
JP4665811B2 (en) Performance equipment
WO2023243293A1 (en) Performance motion estimation method and performance motion estimation device
US20210319715A1 (en) Information processing apparatus, information processing method, and program
Kim et al. Developing humanoids for musical interaction
JP4882443B2 (en) Performance equipment
JP2014238550A (en) Musical sound producing apparatus, musical sound producing method, and program
Overholt Advancements in violin-related human-computer interaction
JP2008008924A (en) Electric stringed instrument system
JP2021140065A (en) Processing system, sound system and program
Cosentino et al. Music conductor gesture recognition by using inertial measurement system for human-robot musical interaction
WO2022202267A1 (en) Information processing method, information processing system, and program
US20240105151A1 (en) Automatic musician assistance
WO2023182005A1 (en) Data output method, program, data output device, and electronic musical instrument
WO2023105601A1 (en) Information processing device, information processing method, and program
WO2022202266A1 (en) Image processing method, image processing system, and program
JP2023182939A (en) Model data control method and model data control device
Tzanetakis Robotic musicianship in live improvisation involving humans and machines 1

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23823594

Country of ref document: EP

Kind code of ref document: A1