JP2015132695A - 演奏情報伝達方法、演奏情報伝達システム - Google Patents

演奏情報伝達方法、演奏情報伝達システム Download PDF

Info

Publication number
JP2015132695A
JP2015132695A JP2014003695A JP2014003695A JP2015132695A JP 2015132695 A JP2015132695 A JP 2015132695A JP 2014003695 A JP2014003695 A JP 2014003695A JP 2014003695 A JP2014003695 A JP 2014003695A JP 2015132695 A JP2015132695 A JP 2015132695A
Authority
JP
Japan
Prior art keywords
sound
performance
signal
musical instrument
mixed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014003695A
Other languages
English (en)
Inventor
健次 又平
Kenji Matahira
健次 又平
上原 春喜
Haruki Uehara
春喜 上原
陽 前澤
Akira Maezawa
陽 前澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2014003695A priority Critical patent/JP2015132695A/ja
Priority to PCT/JP2015/050115 priority patent/WO2015105091A1/ja
Priority to KR1020167015198A priority patent/KR20160082703A/ko
Priority to EP15735419.2A priority patent/EP3093840B1/en
Priority to RU2016127416A priority patent/RU2673599C2/ru
Priority to US15/039,466 priority patent/US9953545B2/en
Publication of JP2015132695A publication Critical patent/JP2015132695A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00Teaching music
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10FAUTOMATIC MUSICAL INSTRUMENTS
    • G10F1/00Automatic musical instruments
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10FAUTOMATIC MUSICAL INSTRUMENTS
    • G10F1/00Automatic musical instruments
    • G10F1/02Pianofortes with keyboard
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0033Recording/reproducing or transmission of music for electrophonic musical instruments
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0033Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058Transmission between separate instruments or between individual components of a musical system
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0033Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/365Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems the accompaniment information being stored on a host computer and transmitted to a reproducing terminal by means of a network, e.g. public telephone lines
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272Voice signal separating
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/93Discriminating between voiced and unvoiced parts of speech signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2230/00General physical, ergonomic or hardware implementation of electrophonic musical tools or instruments, e.g. shape or architecture
    • G10H2230/005Device type or category
    • G10H2230/011Hybrid piano, e.g. combined acoustic and electronic piano with complete hammer mechanism as well as key-action sensors coupled to an electronic sound generator
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/281Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
    • G10H2240/295Packet switched network, e.g. token ring

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

【課題】一方側において演奏中に発話された内容を他方側へ伝えつつ、他方側における演奏音の聞きにくさを低減することができる演奏情報伝達方法、演奏情報伝達システムを提供する。【解決手段】ユーザ10の演奏に応じて発音し、発音に応じた演奏データを生成する第1の楽器11と、通信手段を介して演奏データを受信することによって音を発音する第2の楽器22とを用いた演奏情報伝達方法であって、第1の楽器11から発音される音と第1の楽器11からの発音とは異なる音とが混合された音を取得し、取得した音に応じた混合音信号を生成する過程と、第1の楽器11から発音される音に応じた参照信号を生成する過程と、混合音信号および参照信号に基づいて、混合音信号から第1の楽器11から発音される音に応じた信号を除去して分離信号を得る過程と、分離信号に基づいて放音する過程と、を含む。【選択図】図1

Description

本発明は、演奏情報伝達方法、演奏情報伝達システムに関する。
自動演奏ピアノを用いて遠隔レッスンを行う方法が提案されている。この種の方法は、送信側の自動演奏ピアノに接続されたコントローラと、受信側の自動演奏ピアノに接続されたコントローラとがネットワークを介して接続される。そして、送信側の自動演奏ピアノにおいて指導者によって模範演奏が行われると、受信側の自動演奏ピアノにおいて、その模範演奏が再現される。具体的には、指導者の演奏に応じて演奏音を表すMIDI形式の演奏データが生成されると、生成された演奏データは、送信側のコントローラから受信側のコントローラに送信される。受信側のコントローラは、その演奏データを自動演奏ピアノに出力する。自動演奏ピアノは、この演奏データに基づき、ハンマの打弦により音を発生させ、自動演奏を行う。また、指導者は自動演奏ピアノによって模範演奏を行いながら、必要に応じて音声による指導を行う。その指導者の音声は、送信側のコントローラに接続されたマイクによって収音され、上記ネットワークを介して受信側のコントローラに送信され、コントローラに接続されたスピーカから放音される。これにより、練習者は模範演奏を聞きながら、指導者の音声による指導を受けることができる。
ところで、送信側のマイクにおいては、指導者の音声収音に適したように、指向性、周波数特性及び感度などが調整されてはいるが、それでも、指導者の模範演奏中にはその自動演奏ピアノから放音される演奏音も収音してしまうことがある。このため、受信側においては、伝送されてきた演奏データに基づく演奏音と、送信側のマイクによって収音されて受信側に伝送されてきた演奏音との両方が再生される。自動演奏ピアノから出力された演奏データに基づく演奏音とマイクで収音された演奏音との再生タイミングがずれた場合に、受信側の練習者にとっては非常に聞きづらいという問題が発生する。この問題を解決するために、特許文献1には、指導者がピアノを演奏している場合、送信側のマイクによって収音された音の通信経路を遮断する方法が提案されている。
特開2008−172409号公報
しかしながら、上述の方法では、指導者が自動演奏ピアノを演奏している場合、マイクによって収音されたピアノの音が受信側に伝わらなくなるが、指導のために演奏中に発話された音声も受信側(練習者)に伝わらなくなる。よって、指導者は、演奏しながら、声かけによる指導ができない場合がある。
本発明は、このような事情に鑑みてなされたもので、その目的は、一方側において演奏中に発話された内容を他方側へ伝えつつ、他方側における演奏音の聞きにくさを低減することができる演奏情報伝達方法、演奏情報伝達システムを提供することである。
本発明の一態様は、ユーザの演奏に応じて発音し、前記発音に応じた演奏データを生成する第1の楽器と、通信手段を介して前記演奏データを受信することによって音を発音する第2の楽器とを用いた演奏情報伝達方法であって、前記第1の楽器から発音される音と前記第1の楽器からの発音とは異なる音とが混合された音を取得し、取得した音に応じた混合音信号を生成する過程と、前記第1の楽器から発音される音に応じた参照信号を生成する過程と、前記混合音信号および前記参照信号に基づいて、前記混合音信号から前記第1の楽器から発音される音に応じた信号を除去して分離信号を得る過程と、前記分離信号に基づいて放音する過程と、を含む演奏情報伝達方法である。
また、本発明の一態様は、ユーザの演奏に応じて発音し、前記発音に応じた演奏データを生成する第1の楽器を有する第1のシステムと、前記演奏データに基づいて音を発音する第2の楽器とを有する第2のシステムを用いた演奏情報伝達方法であって、前記第1のシステムは、前記第1の楽器から発音される音と前記第1の楽器からの発音とは異なる音が混合された音を取得し、取得した音を混合音信号として生成する過程と、前記第1の楽器から発音される音に応じた参照信号を生成する過程と、前記混合音信号および前記参照信号に基づいて、前記混合音信号から前記第1の楽器から発音される音に応じた信号を除去して分離信号を得る過程と、前記分離信号を前記第2のシステムに送信する過程と、を備える演奏情報伝達方法である。
また、本発明の一態様は、ユーザの演奏に応じて発音し、前記発音に応じた演奏データを生成する第1の楽器を有する第1のシステムと、前記演奏データに基づいて音を発音する第2の楽器とを有する第2のシステムとを用いた演奏情報伝達方法であって、前記第2のシステムは、前記第1の楽器から発音される音と前記第1の楽器からの発音とは異なる音とが混合された音が取得され、取得された音に応じた混合音信号から、前記第1の楽器によって発音される音に応じた信号が除去された分離信号を受信する過程と、前記分離信号に基づいて放音する過程と、を含む演奏情報伝達方法である。
また、本発明の一態様は、ユーザの演奏に応じて発音し、前記発音に応じた演奏データを生成する第1の楽器と、通信手段を介して前記演奏データを受信することによって音を発音する第2の楽器とを用いた演奏情報伝達システムであって、前記第1の楽器から発音される音と前記第1の楽器からの発音とは異なる音とが混合された音を取得し、取得した音に応じた混合音信号を生成する音声信号取得部と、前記第1の楽器から発音される音に応じた参照信号を生成する音源部と、前記混合音信号および前記参照信号に基づいて、前記混合音信号から前記第1の楽器から発音される音に応じた信号を除去して分離信号を得る信号処理部と、前記分離信号に基づいて放音する放音部と、を含む演奏情報伝達システムである。
以上説明したように、本発明によれば、一方側において演奏中に発話された内容を他方側へ伝えつつ、他方側における演奏音の聞きにくさを低減することができる。
実施形態における演奏情報伝達システムのブロック図である。 実施形態における動作例を説明するシーケンス図である。
以下、本実施形態における演奏情報伝達システムを、図面を参照して説明する。
(第1の実施形態)
図1は、本実施形態における演奏情報伝達システムのブロック図である。図1に示すように、この演奏情報伝達システムは、システム1(第1のシステム)とシステム2(第2のシステム)とを備えている。システム1とシステム2との間は、それぞれインターネットやLAN(Local Area Network)等のネットワーク30によって接続されている。このネットワーク30は、通信ケーブルなどの有線であってもよいし、無線であってもよいし、有線と無線との両方を組み合わせてもよい。
システム1は、ピアノ11、コントローラ12、音源部13、マイクロフォン14、信号処理部15、送信部16を備えている。システム1は、例えば演奏を指導する指導者10によって利用される。システム2は、自動演奏ピアノ22、コントローラ21、放音部23、受信部24を備えている。このシステム2は、例えば、指導者10の指導を受けながら演奏を練習する練習者20によって利用される。
ピアノ11(第1の楽器)は、指導者10の演奏に応じて、その演奏音を表す演奏データを生成する。演奏データは、例えばMIDI形式のデータである。ピアノ11は、生成した演奏データをコントローラ12と音源部13に供給する。
コントローラ12は、演奏データを送信する通信装置である。コントローラ12は、ピアノ11から供給された演奏データをネットワーク30の通信プロトコルに適合したデータに変換する。また、コントローラ12は、変換したデータをネットワーク30経由でコントローラ21へと送信する。
音源部13は、例えば電子音源である。音源部13は、ピアノ11から取得した演奏データで指定される音高に応じたピアノ音色の楽音波形を参照信号として信号処理部15に送信する。
マイクロフォン(音声信号取得部)14は、音声を収音し、収音した音声を表す信号を信号処理部15に出力する。マイクロフォン14は、例えば、指導者10の口の近傍で収音を行うことを前提にして、指向性、周波数特性及び感度が調整されている。しかしながら、指導者10がピアノ11を演奏しながら練習者20に声かけによる指導を行っている場合、マイクロフォン14は、指導者10の口から放たれた音声(以下、「音声」という。)とピアノ11に備わるハンマの打弦によって発生する演奏音(以下、「演奏音」という。)も収音してしまう。マイクロフォン14は、この指導者10の音声と、ピアノ11の演奏音とが混合された音(以下、「混合音」という。)を収音する。よって、マイクロフォン14は、音声と演奏音とが混合された混合音を混合音信号として信号処理部15に出力する。
信号処理部15は、音源部13とマイクロフォン14に接続されている。この信号処理部15は、例えば送信部16とともにパーソナルコンピュータ(PC)に実装されている。信号処理部15は、音源部13から参照信号を取得する。また、信号処理部15は、マイクロフォン14から混合音信号を取得する。信号処理部15は、取得した参照信号と混合音信号とに基づいて、混合音信号を、音声を表す信号と演奏音を表す信号とに分離する。具体的には、信号処理部15は、混合音信号および参照信号に基づいて、混合音信号からピアノ11の演奏音に応じた信号を除去する。このような2つの音が混合した混合音を1つずつの音に分離する方法は、例えば、セミブラインド音源分離技術を用いることができる。セミブラインド音源分離技術では、混合音信号にて混合された1音のいずれか1つをリファレンス(参照信号)として、信号処理部15に入力する。本実施形態では、演奏音を表す信号と音声を表す信号とを分離するのに、参照信号として電子音(音楽波形)を用いることができる。つまり、信号処理部15は、電子音を用いることで、混合音の演奏音を表す信号をキャンセルし、指導者の音声を表す信号のみを抽出することができる。
信号処理部15は、混合音信号を分離することで得られた音声を表す信号を分離信号として送信部16に出力する。
送信部16は、分離信号をデジタルの音データに変換し、変換した音データをネットワーク30経由でシステム2の受信部24に送信する。
なお、ピアノ11を自動演奏ピアノとした場合には、ピアノ11はコントローラ12および音源部13を備えているので、それを利用すればよい。また、ピアノ11は、コントローラ12および音源部13だけでなく、マイクロフォン14や信号処理部15および送信部16の全てまたは一部を一体に備えていてもよい。
コントローラ21は、演奏データを受信する通信装置である。コントローラ21は、ネットワーク30経由で受信した演奏データを自動演奏ピアノ22が解釈可能な形式に変換する。また、コントローラ21は、変換した演奏データを自動演奏ピアノ22に供給する。
自動演奏ピアノ22(第2の楽器)は、自動演奏機能を有するピアノであり、コントローラ21から送信された演奏データに基づいて自動演奏を行う。なお、この自動演奏は、自動演奏ピアノ22が演奏データに基づいて鍵駆動用のソレノイドを制御し、打弦によりピアノ音を発生することにより行われるものであるが、その技術自体は公知であるので、詳細な説明は省略する。
受信部24は、送信部16から受信したデジタルの音データをアナログの音信号にD/A変換して放音部23に供給する。
放音部23は、受信部24から供給されたアナログの音信号に応じて放音する。放音部は、例えばスピーカである。
なお、自動演奏ピアノ22は、コントローラ21、放音部23および受信部24の全てまたは一部を一体に備えていてもよい。
次に、システム1が混合音信号から指導者10の音声を表す信号を抽出し、抽出した音声を表す信号に基づいてシステム2で放音するまでの動作について図2を用いて説明する。図2は、本実施形態における動作例を説明するシーケンス図である。
指導者10は、指導する対象の曲に応じてピアノ11を弾くことで演奏しつつ、マイクロフォン14を介して練習者20に対して声かけによる指導を行う。
ステップS101において、ピアノ11は、指導者10の演奏に応じて演奏データを生成する。ピアノ11は、生成した演奏データをコントローラ12と音源部13とに送信する。コントローラ12は、演奏データをネットワーク30を介してコントローラ21に出力する。また、マイクロフォン14は、指導者10の音声とピアノ11の演奏音との混合音を収音する。そして、マイクロフォン14は、収音した混合音を混合音信号として信号処理部15に供給する。
ステップS102において、音源部13は、ピアノ11から取得した演奏データに基づいて楽曲波形(指定される音高に応じたピアノ音色の音)を生成する。音源部13は、楽曲波形に応じた参照信号を信号処理部15に送信する。
ステップS103において、信号処理部15は、音源部13からピアノ11の参照信号を取得する。また、信号処理部15は、マイクロフォン14から混合音信号を取得する。信号処理部15は、混合音信号を指導者10の音声を表す信号とピアノ11の演奏音を表す信号とに分離する。つまり、信号処理部15は、参照信号を用いて混合音信号に含まれるピアノ11の演奏音をキャンセルする。これにより、信号処理部15は、混合音信号から音声を表す信号のみを抽出する。信号処理部15は、抽出した指導者の音声を表す信号を分離信号として送信部16に出力する。
ステップS104において、送信部16は、分離信号をデジタルの音データに変換し、その分離信号の音データをネットワーク30経由でシステム2の受信部24に送信する。
ステップS201において、コントローラ21は、ネットワーク30経由で受信した演奏データを受信する。コントローラ21は、受信した演奏データを自動演奏ピアノ22に供給する。
ステップS202において、自動演奏ピアノ22は、演奏データを受信し、自動演奏を行うタイミング(ピアノ発音タイミング)を調整する。このタイミングの調整は、後述するステップS204の放音と同じタイミングになるように予めユーザが設定した値(例えば、ウエイト時間)を用いて行われる。
ステップS203において、受信部24は、受信した分離信号の音データをアナログの音信号にD/A変換して放音部23に供給する。
ステップS204において、放音部23は、受信部24から供給されたアナログの音信号に応じて放音する。また、自動演奏ピアノ22は、コントローラ21から供給された演奏データに基づいて、調整されたピアノ発音タイミングで自動演奏を行う。
上述したように、本実施形態によると、自動演奏ピアノを用いて遠隔レッスンを行う演奏情報伝達方法において、システム1は、指導者10がピアノ11を演奏した際に生成される演奏データをネットワーク30を介して自動演奏ピアノ22に送信する。よって、自動演奏ピアノ22は、受信した演奏データに基づいて打弦による自動演奏を行う。これにより、練習者20は、指導者10の演奏(鍵盤の弾き方やペダルの使い方などを含む)を自動演奏ピアノ22で聴くことができる。
また、システム1は、演奏データから生成したピアノ音色の楽音波形を参照信号として、マイクロフォン14で収音した指導者10の音声と演奏音との混合音から指導者10の音声のみを抽出する。システム1は、抽出した音声を分離信号としてシステム2に送信する。システム2は、受信した分離信号をスピーカなどの放音部23で放音する。よって、放音部23からは、演奏音を低減して指導者10の音声が放音される。これにより、練習者20は、指導者10のピアノ11の演奏を練習者の自動演奏ピアノ22が打弦することにより聴くことができるとともに、演奏音が低減された状態での指導者10の音声を放音部23から聴くことができる。一方、指導者10は、ピアノ11を演奏しながら、練習者20に対して声による指導を行うことができる。
このように、本実施形態の演奏情報伝達方法では、マイクロフォン14に演奏音と指導者10の音声が収音されたとしても、混合音に含まれる演奏音をキャンセルして指導者10の音声を放音部23から放音することができる。これにより、マイクロフォン14で収音された演奏音とコントローラ12を介して送信されたピアノ11の演奏音との両方がシステム2において再生されないようにすることができる。
また、本実施形態によれば、指導者10がピアノ11を演奏している場合、マイクロフォン14によって収音された音声の通信経路を遮断することなく、放音部23から放音される音に対してピアノの演奏音が混入されることを防ぐことができる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
上述した実施形態において、自動演奏ピアノの遠隔レッスンを目的とした例を挙げて説明したが、本発明を適用する目的はこれに限定されない、例えば「指導」と「練習」という立場ではなく、同等の立場で演奏を行う2人の演奏者同士がこのシステムを利用してもよい。以下に第2の実施形態および第3の実施形態を示す。
(第2の実施形態)
第1の実施形態において、ピアノ11が自動演奏ピアノ22の機能をさらに備え、コントローラ12がコントローラ21の機能をさらに備え、コントローラ21がコントローラ12の機能をさらに備え、自動演奏ピアノ22が、ピアノ11の機能をさらに備えることとしてもよい。この場合、システム1は、マイクロフォン14に収音される指導者10の演奏音をキャンセルするだけでなく、システム2の自動演奏ピアノ22からネットワーク30を介して送信される演奏データによって演奏されるピアノ11の演奏音、いわば「ピアノ11における練習者20の演奏音」をキャンセルすることもできる。以下に、システム1が練習者20の演奏音をキャンセルする場合について説明する。
本実施形態の演奏情報伝達方法において、練習者20が自動演奏ピアノ22を演奏したときの演奏データを、コントローラ21がネットワーク30を介してコントローラ12に送信する。コントローラ12はこの演奏データをピアノ11及び音源部13に同時に送信する。音源部13は練習者20の演奏データに基づくピアノ音色の楽音波形を生成し、これを参照信号として信号処理部15へと送信する。一方、ピアノ11は受信した演奏データに基づいて練習者20の演奏による自動演奏を行う。この時の演奏音はマイクロフォン14によって集音され、混合音信号として信号処理部15へと送信される。信号処理部15はマイクロフォン14からの混合音信号および音源部13からの参照信号を受信することによって、演奏音をキャンセルすることが可能となる。すなわち、練習者20の演奏によるピアノ11の演奏中に、指導者10が口から音声を発して(発話して)マイクロフォン14が演奏音と音声の混合音を集音したとしても、信号処理部15が演奏音のみをキャンセルし指導者10の音声のみを抽出することが可能である。抽出された音声は送信部16からネットワーク30を介して受信部24へ送信され、放音部23から放音される。これによって、練習者20は自分の演奏中になされた指導者10の音声を、放音部23から明瞭に聞くことが可能となる。
(第3の実施形態)
第1の実施形態において、システム2においてもマイクロフォン25(図示せず)およびマイクロフォン25で収音した音信号を送信する送信部26(図示せず)を備え、かつシステム1において、マイクロフォン25で収音した音信号を受信し、音源部13へ当該音信号を供給する受信部17(図示せず)を備えてもよい。この場合、システム1は、マイクロフォン14に収音される指導者10の演奏音をキャンセルするだけなく、マイクロフォン25を介して練習者20の発話内容を指導者10側に伝えることでマイクロフォン25に収音される練習者20の演奏音をキャンセルすることができる。以下に、システム1が練習者20の演奏音をキャンセルする場合について説明する。
本実施形態の演奏情報伝達方法において、練習者20が自動演奏ピアノ22を演奏したときの演奏データをネットワーク30を介して音源部13に送信する。また、システム2は、練習者20の自動演奏ピアノ22近傍にある不図示のマイクロフォンで収音した混合音を指導者10の信号処理部15に送信する。ここで、混合音とは、練習者20の音声と練習者20が自動演奏ピアノ22を演奏することで発生した演奏音とが混合された音である。
音源部13は、自動演奏ピアノ22で生成された演奏データで指定される音高に応じたピアノ音色の楽音波形を参照信号として信号処理部15に送信する。
信号処理部15は参照信号に基づいて混合音信号に含まれる自動演奏ピアノ22の演奏音をキャンセルし、練習者20の音声を抽出する。信号処理部15は、抽出した音声(分離信号)をシステム1に不図示のスピーカなどの放音装置で放音する。
なお、上述した実施形態を次のように変形してもよい。
上述した実施形態において、指導者と練習者とが1対1ではなく、1対多、多対1あるいは、多対多等、様々な人数によって構成されたシステムにも適用し得る。また、例えば遠隔コンサートなどを目的としたものに適用してもよい。
また、上述した実施形態において、音源部13は、ピアノ11または自動演奏ピアノ22から送信された演奏データから生成したピアノ音色の楽音波形を参照信号として信号処理部15に送信した。これに代えて、ピアノ11近傍に参照信号生成用のマイクロフォンを設けて、マイクロフォンが収音したピアノ11の演奏音を参照信号として信号処理部15に送信してもよい。
なお、上述のマイクロフォンに代えて、ピエゾセンサ、加速度センサ、速度センサ等の物理量センサをピアノ11に設け、これらセンサから得られた信号を参照信号として信号処理部15に送信してもよい。この場合、物理量センサは、ピアノ11の打弦により振動が生じる箇所である、駒や響板に取り付けることが好ましい。
また、上述した実施形態において、信号処理部15は、システム1に備わっているものとしたが本発明は、これに限定されない。例えば、信号処理部15は、ネットワーク30上のサーバやシステム2に実装されてもよい。この場合、システム1は、混合音信号と参照信号をネットワーク30、またはネットワーク30上のサーバを介してシステム2に送信する。この場合、参照信号は、システム2のコントローラ21や自動演奏ピアノ22の演奏データから生成されてもよい。
また、上述した実施形態において、第1の楽器としてピアノ11を、第2の楽器として自動演奏ピアノ22を用いる場合について説明したが、第1の楽器と第2の楽器が同種の種類の楽器、かつ第2の楽器が自動演奏機能を有する楽器であれば他の楽器でもよい。この場合、音源部13は当該楽器の音色の楽音波形を参照信号として信号処理部15に送信すればよい。
1、2…システム 10…指導者 11…ピアノ 22…自動演奏ピアノ 12、21…コントローラ 13…音源部 14…マイクロフォン 15…信号処理部 16…送信部 20…練習者 23…放音部 24…受信部

Claims (4)

  1. ユーザの演奏に応じて発音し、前記発音に応じた演奏データを生成する第1の楽器と、通信手段を介して前記演奏データを受信することによって音を発音する第2の楽器とを用いた演奏情報伝達方法であって、
    前記第1の楽器から発音される音と前記第1の楽器からの発音とは異なる音とが混合された音を取得し、取得した音に応じた混合音信号を生成する過程と、
    前記第1の楽器から発音される音に応じた参照信号を生成する過程と、
    前記混合音信号および前記参照信号に基づいて、前記混合音信号から前記第1の楽器から発音される音に応じた信号を除去して分離信号を得る過程と、
    前記分離信号に基づいて放音する過程と、
    を含む演奏情報伝達方法。
  2. ユーザの演奏に応じて発音し、前記発音に応じた演奏データを生成する第1の楽器を有する第1のシステムと、前記演奏データに基づいて音を発音する第2の楽器とを有する第2のシステムを用いた演奏情報伝達方法であって、
    前記第1のシステムは、
    前記第1の楽器から発音される音と前記第1の楽器からの発音とは異なる音が混合された音を取得し、取得した音を混合音信号として生成する過程と、
    前記第1の楽器から発音される音に応じた参照信号を生成する過程と、
    前記混合音信号および前記参照信号に基づいて、前記混合音信号から前記第1の楽器から発音される音に応じた信号を除去して分離信号を得る過程と、
    前記分離信号を前記第2のシステムに送信する過程と、
    を備える演奏情報伝達方法。
  3. ユーザの演奏に応じて発音し、前記発音に応じた演奏データを生成する第1の楽器を有する第1のシステムと、前記演奏データに基づいて音を発音する第2の楽器とを有する第2のシステムとを用いた演奏情報伝達方法であって、
    前記第2のシステムは、
    前記第1の楽器から発音される音と前記第1の楽器からの発音とは異なる音とが混合された音が取得され、取得された音に応じた混合音信号から、前記第1の楽器によって発音される音に応じた信号が除去された分離信号を受信する過程と、
    前記分離信号に基づいて放音する過程と、
    を含む演奏情報伝達方法。
  4. ユーザの演奏に応じて発音し、前記発音に応じた演奏データを生成する第1の楽器と、通信手段を介して前記演奏データを受信することによって音を発音する第2の楽器とを用いた演奏情報伝達システムであって、
    前記第1の楽器から発音される音と前記第1の楽器からの発音とは異なる音とが混合された音を取得し、取得した音に応じた混合音信号を生成する音声信号取得部と、
    前記第1の楽器から発音される音に応じた参照信号を生成する音源部と、
    前記混合音信号および前記参照信号に基づいて、前記混合音信号から前記第1の楽器から発音される音に応じた信号を除去して分離信号を得る信号処理部と、
    前記分離信号に基づいて放音する放音部と、
    を含む演奏情報伝達システム。
JP2014003695A 2014-01-10 2014-01-10 演奏情報伝達方法、演奏情報伝達システム Pending JP2015132695A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2014003695A JP2015132695A (ja) 2014-01-10 2014-01-10 演奏情報伝達方法、演奏情報伝達システム
PCT/JP2015/050115 WO2015105091A1 (ja) 2014-01-10 2015-01-06 演奏情報伝達方法、演奏情報伝達システム
KR1020167015198A KR20160082703A (ko) 2014-01-10 2015-01-06 연주 정보 전달 방법, 연주 정보 전달 시스템
EP15735419.2A EP3093840B1 (en) 2014-01-10 2015-01-06 Musical-performance-information transmission method and musical-performance-information transmission system
RU2016127416A RU2673599C2 (ru) 2014-01-10 2015-01-06 Способ передачи информации музыкального исполнения и система передачи информации музыкального исполнения
US15/039,466 US9953545B2 (en) 2014-01-10 2015-01-06 Musical-performance-information transmission method and musical-performance-information transmission system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014003695A JP2015132695A (ja) 2014-01-10 2014-01-10 演奏情報伝達方法、演奏情報伝達システム

Publications (1)

Publication Number Publication Date
JP2015132695A true JP2015132695A (ja) 2015-07-23

Family

ID=53523916

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014003695A Pending JP2015132695A (ja) 2014-01-10 2014-01-10 演奏情報伝達方法、演奏情報伝達システム

Country Status (6)

Country Link
US (1) US9953545B2 (ja)
EP (1) EP3093840B1 (ja)
JP (1) JP2015132695A (ja)
KR (1) KR20160082703A (ja)
RU (1) RU2673599C2 (ja)
WO (1) WO2015105091A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015132695A (ja) * 2014-01-10 2015-07-23 ヤマハ株式会社 演奏情報伝達方法、演奏情報伝達システム
JP6326822B2 (ja) 2014-01-14 2018-05-23 ヤマハ株式会社 録音方法
CN109845249B (zh) * 2016-10-14 2022-01-25 森兰信息科技(上海)有限公司 用外部信息同步midi文件的方法和***
CN111816146A (zh) * 2019-04-10 2020-10-23 蔡佳昱 一种电子琴的示教方法、***、示教电子琴及存储介质
JP2022059767A (ja) * 2020-10-02 2022-04-14 ヤマハ株式会社 音響処理方法および音響処理システム
IT202100020282A1 (it) * 2021-07-29 2023-01-29 Claudio Miello Un sistema per provare uno strumento musicale da remoto

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001195058A (ja) * 2000-01-12 2001-07-19 Yamaha Corp 演奏装置
JP2005084578A (ja) * 2003-09-11 2005-03-31 Yamaha Corp 演奏システム及び楽音映像再生装置
JP2008172409A (ja) * 2007-01-10 2008-07-24 Yamaha Corp 収音装置及び音声伝送システム

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5140637A (en) 1989-12-01 1992-08-18 Arnold Kaplan Device and method for removing vocal signals
RU2189119C2 (ru) * 1997-01-29 2002-09-10 Инсигма Технолоджиз Лимитед Способ передачи медиа-файлов по сети связи
US6038324A (en) 1997-02-21 2000-03-14 Ambourn; Paul R. Automotive surround sound circuit background of the invention
US6148086A (en) 1997-05-16 2000-11-14 Aureal Semiconductor, Inc. Method and apparatus for replacing a voice with an original lead singer's voice on a karaoke machine
JP3381219B2 (ja) 1999-06-09 2003-02-24 日本マランツ株式会社 ステレオ信号処理装置
US6640257B1 (en) 1999-11-12 2003-10-28 Applied Electronics Technology, Inc. System and method for audio control
US8868023B2 (en) 2008-01-04 2014-10-21 3D Radio Llc Digital radio systems and methods
US6969797B2 (en) 2001-11-21 2005-11-29 Line 6, Inc Interface device to couple a musical instrument to a computing device to allow a user to play a musical instrument in conjunction with a multimedia presentation
US7030311B2 (en) 2001-11-21 2006-04-18 Line 6, Inc System and method for delivering a multimedia presentation to a user and to allow the user to play a musical instrument in conjunction with the multimedia presentation
US6740803B2 (en) 2001-11-21 2004-05-25 Line 6, Inc Computing device to allow for the selection and display of a multimedia presentation of an audio file and to allow a user to play a musical instrument in conjunction with the multimedia presentation
US6653545B2 (en) * 2002-03-01 2003-11-25 Ejamming, Inc. Method and apparatus for remote real time collaborative music performance
BR0202561A (pt) 2002-07-04 2004-05-18 Genius Inst De Tecnologia Dispositivo e método de avaliação de desempenho de canto
JP2005084253A (ja) 2003-09-05 2005-03-31 Matsushita Electric Ind Co Ltd 音響処理装置、方法、プログラム及び記憶媒体
US7288712B2 (en) * 2004-01-09 2007-10-30 Yamaha Corporation Music station for producing visual images synchronously with music data codes
JPWO2005111997A1 (ja) 2004-05-14 2008-03-27 パイオニア株式会社 オーディオ再生装置
JP2006100869A (ja) 2004-09-28 2006-04-13 Sony Corp 音声信号処理装置および音声信号処理方法
JP2006114174A (ja) * 2004-10-18 2006-04-27 Sony Corp コンテンツ再生方法およびコンテンツ再生装置
US7297858B2 (en) 2004-11-30 2007-11-20 Andreas Paepcke MIDIWan: a system to enable geographically remote musicians to collaborate
KR100750148B1 (ko) 2005-12-22 2007-08-17 삼성전자주식회사 음성신호 제거 장치 및 그 방법
KR100644717B1 (ko) 2005-12-22 2006-11-10 삼성전자주식회사 다채널 오디오 신호 생성 장치 및 그 방법
US7705231B2 (en) * 2007-09-07 2010-04-27 Microsoft Corporation Automatic accompaniment for vocal melodies
JP4591391B2 (ja) 2006-03-27 2010-12-01 ヤマハ株式会社 オーディオデータ再生装置および携帯端末装置
EP1853092B1 (en) 2006-05-04 2011-10-05 LG Electronics, Inc. Enhancing stereo audio with remix capability
CN101149918B (zh) 2006-09-22 2012-03-28 鸿富锦精密工业(深圳)有限公司 具练唱功能的声音处理装置
JP4315180B2 (ja) * 2006-10-20 2009-08-19 ソニー株式会社 信号処理装置および方法、プログラム、並びに記録媒体
US20080184870A1 (en) 2006-10-24 2008-08-07 Nokia Corporation System, method, device, and computer program product providing for a multiple-lyric karaoke system
US7772480B2 (en) 2007-08-10 2010-08-10 Sonicjam, Inc. Interactive music training and entertainment system and multimedia role playing game platform
US8138409B2 (en) * 2007-08-10 2012-03-20 Sonicjam, Inc. Interactive music training and entertainment system
US8295494B2 (en) 2007-08-13 2012-10-23 Lg Electronics Inc. Enhancing audio with remixing capability
US8572487B2 (en) 2007-10-09 2013-10-29 International Business Machines Corporation Application of ratings to digital music and playback of digital music conforming to a rating level
JP5119932B2 (ja) 2008-01-11 2013-01-16 ヤマハ株式会社 鍵盤楽器、ピアノおよび自動演奏ピアノ
JP2010062663A (ja) 2008-09-01 2010-03-18 Sony Ericsson Mobilecommunications Japan Inc 音声信号処理装置、音声信号処理方法、及び、通信端末
US20100089223A1 (en) 2008-10-14 2010-04-15 Waichi Ting Microphone set providing audio and text data
US8204755B2 (en) 2009-05-22 2012-06-19 Universal Music Group, Inc. Advanced encoding of music files
KR101387195B1 (ko) 2009-10-05 2014-04-21 하만인터내셔날인더스트리스인코포레이티드 오디오 신호의 공간 추출 시스템
US20110146476A1 (en) * 2009-12-18 2011-06-23 Edward Zimmerman Systems and methods of instruction including viewing lessons taken with hands-on training
US8541676B1 (en) 2010-03-06 2013-09-24 Alexander Waldman Method for extracting individual instrumental parts from an audio recording and optionally outputting sheet music
US9024166B2 (en) 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
KR20120132342A (ko) 2011-05-25 2012-12-05 삼성전자주식회사 보컬 신호 제거 장치 및 방법
US20130065213A1 (en) 2011-09-13 2013-03-14 Harman International Industries, Incorporated System and method for adapting audio content for karaoke presentations
US8957297B2 (en) 2012-06-12 2015-02-17 Harman International Industries, Inc. Programmable musical instrument pedalboard
US9071900B2 (en) 2012-08-20 2015-06-30 Nokia Technologies Oy Multi-channel recording
WO2014103336A1 (ja) * 2012-12-29 2014-07-03 Tunogai Tomohide ギター演奏教習データ作成装置、ギター演奏教習システム、ギター演奏教習データ作成方法及びギター演奏教習データ作成プログラム
US9373320B1 (en) 2013-08-21 2016-06-21 Google Inc. Systems and methods facilitating selective removal of content from a mixed audio recording
JP2015132695A (ja) * 2014-01-10 2015-07-23 ヤマハ株式会社 演奏情報伝達方法、演奏情報伝達システム
JP6326822B2 (ja) 2014-01-14 2018-05-23 ヤマハ株式会社 録音方法
US10564923B2 (en) 2014-03-31 2020-02-18 Sony Corporation Method, system and artificial neural network
US20160139775A1 (en) 2014-11-14 2016-05-19 Touchcast LLC System and method for interactive audio/video presentations

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001195058A (ja) * 2000-01-12 2001-07-19 Yamaha Corp 演奏装置
JP2005084578A (ja) * 2003-09-11 2005-03-31 Yamaha Corp 演奏システム及び楽音映像再生装置
JP2008172409A (ja) * 2007-01-10 2008-07-24 Yamaha Corp 収音装置及び音声伝送システム

Also Published As

Publication number Publication date
WO2015105091A1 (ja) 2015-07-16
RU2016127416A (ru) 2018-02-16
US9953545B2 (en) 2018-04-24
EP3093840B1 (en) 2019-03-13
RU2673599C2 (ru) 2018-11-28
US20160379514A1 (en) 2016-12-29
KR20160082703A (ko) 2016-07-08
EP3093840A4 (en) 2017-07-19
EP3093840A1 (en) 2016-11-16

Similar Documents

Publication Publication Date Title
JP4940956B2 (ja) 音声伝送システム
WO2015105091A1 (ja) 演奏情報伝達方法、演奏情報伝達システム
JP6860055B2 (ja) 情報提供方法、端末装置の動作方法、情報提供システム、端末装置およびプログラム
JP5871088B1 (ja) 端末装置、情報提供システム、情報提供方法およびプログラム
JP5887446B1 (ja) 情報管理システム、情報管理方法およびプログラム
US20170373777A1 (en) Systems and methods for signal mixing
EP3381032B1 (en) Apparatus and method for dynamic music performance and related systems and methods
CN109844852A (zh) 用于音乐演奏的***和方法
US20210319715A1 (en) Information processing apparatus, information processing method, and program
JP5151401B2 (ja) 音声処理装置
WO2017067319A1 (zh) 信息传输方法和装置、及终端
JP6596903B2 (ja) 情報提供システムおよび情報提供方法
JP7087745B2 (ja) 端末装置、情報提供システム、端末装置の動作方法および情報提供方法
WO2005011324A3 (en) Device and method for assisting vocalists in hearing their vocal sounds
WO2021210338A1 (ja) 再生制御方法、制御システムおよびプログラム
PL1903738T3 (pl) Sposób i urządzenie powiadamiania dla sesji
JP6780529B2 (ja) 情報提供装置および情報提供システム
Mirza Snared, Wired, Crashed
JP6631005B2 (ja) 情報送信装置、音響通信システムおよび音響透かし重畳方法
KR20120069887A (ko) 몸을 통해 음향 청취를 할 수 있는 장치
KR20210007748A (ko) 디지털 기반 악기 복합연주 시스템
WO2012115417A2 (ko) 사용자가 자신의 음성에 기초하여 디지털 악기를 연주할 수 있도록 하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
JP2007121628A (ja) 発音評価装置
JP2004294869A (ja) データ処理装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170518

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171031