JP5625482B2 - 音響処理装置、音処理システムおよび音処理方法 - Google Patents

音響処理装置、音処理システムおよび音処理方法 Download PDF

Info

Publication number
JP5625482B2
JP5625482B2 JP2010117013A JP2010117013A JP5625482B2 JP 5625482 B2 JP5625482 B2 JP 5625482B2 JP 2010117013 A JP2010117013 A JP 2010117013A JP 2010117013 A JP2010117013 A JP 2010117013A JP 5625482 B2 JP5625482 B2 JP 5625482B2
Authority
JP
Japan
Prior art keywords
processing
sound processing
sound
request
processed data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010117013A
Other languages
English (en)
Other versions
JP2011243136A (ja
Inventor
祐二 小池
祐二 小池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2010117013A priority Critical patent/JP5625482B2/ja
Priority to EP11165445.5A priority patent/EP2388776B1/en
Priority to US13/112,400 priority patent/US9087502B2/en
Publication of JP2011243136A publication Critical patent/JP2011243136A/ja
Application granted granted Critical
Publication of JP5625482B2 publication Critical patent/JP5625482B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G10H7/002Instruments in which the tones are synthesised from a data store, e.g. computer organs using a common processing for different operations or calculations, and a set of microinstructions (programme) to control the sequence thereof
    • G10H7/004Instruments in which the tones are synthesised from a data store, e.g. computer organs using a common processing for different operations or calculations, and a set of microinstructions (programme) to control the sequence thereof with one or more auxiliary processor in addition to the main processing unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0033Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058Transmission between separate instruments or between individual components of a musical system
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155Musical effects
    • G10H2210/265Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G10H2210/281Reverberation or echo
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/325Musical pitch modification
    • G10H2210/331Note pitch correction, i.e. modifying a note pitch or replacing it by the closest one in a given scale
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/201Physical layer or hardware aspects of transmission to or from an electrophonic musical instrument, e.g. voltage levels, bit streams, code words or symbols over a physical link connecting network nodes or instruments
    • G10H2240/241Telephone transmission, i.e. using twisted pair telephone lines or any type of telephone network
    • G10H2240/251Mobile telephone transmission, i.e. transmitting, accessing or controlling music data wirelessly via a wireless or mobile telephone receiver, analog or digital, e.g. DECT GSM, UMTS
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/281Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
    • G10H2240/295Packet switched network, e.g. token ring
    • G10H2240/305Internet or TCP/IP protocol use for any electrophonic musical instrument data or musical parameter transmission purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

本発明は、通信網を介して端末装置から受信したデータ(以下「処理対象データ」という)に対して効果付与等の音処理を実行したうえで端末装置に送信する技術に関する。
端末装置と通信する音処理装置(サーバ装置)に各種の音処理を代行させる技術が従来から提案されている(例えば特許文献1や特許文献2)。音処理装置は、端末装置から受信した処理対象データに対して音処理を実行し、処理後のデータ(以下「処理済データ」という)を端末装置に送信する。以上の技術によれば、音処理に必要なハードウェアやソフトウェアを端末装置に実装せずに、音処理で生成された処理済データを端末装置にて利用することが可能である。
特開平10−177380号公報 特開平11−085148号公報
ところで、端末装置と音処理装置との通信には、例えば公知のHTTP(HyperText Transfer Protocol)に準拠した手順が採用され得る。図7は、端末装置と音処理装置との通信の説明図である。図7に示すように、端末装置は、処理対象データDAを含む処理要求P(PUTリクエスト)を所定の周期T0で順次に音処理装置に送信する。処理要求Pを受信した音処理装置は、処理要求Pに対する応答通知RP(レスポンス)を端末装置に送信し、処理要求P内の処理対象データDAに対する音処理を実行する。また、端末装置は、処理済データDBの送信を指示する送信要求G(GETリクエスト)を順次に送信する。送信要求Gを受信した音処理装置は、音処理で生成した処理済データDBを、送信要求Gに対する応答通知RGに含ませて端末装置に送信する。
しかし、図7の技術のもとでは、処理要求Pおよび送信要求Gの双方が端末装置から音処理装置に送信され、かつ、処理要求Pに対する応答通知RPと送信要求Gに対する応答通知RGとが音処理装置から端末装置に送信される。したがって、端末装置と音処理装置との通信回数が多いという問題がある。
また、音処理装置が送信要求Gを受信した時点で未だ処理済データDBの生成が完了していないという事態を防ぐには、図7に示すように、端末装置が処理要求Pの送信を開始してから最初の送信要求Gの送信を開始するまでに、最初の処理対象データDAに対する音処理が確実に完了していると見込まれるだけの充分な時間τを確保する必要がある。すなわち、処理対象データDAの音処理が時点taで完了している場合でも、最初の処理要求Pから時間τが経過した時点tbまで(さらには時間τの経過後に最初の送信要求Gに対する応答通知RGを端末装置が受信するまで)は、端末装置は処理済データDBを取得できない。したがって、端末装置が処理要求の送信を開始してから処理済データを取得するまでの遅延時間が大きいという問題もある。
以上の事情を考慮して、本発明は、端末装置と音処理装置との通信回数を削減するとともに端末装置による処理済データの取得の遅延を低減することを目的とする。
以上の課題を解決するために、本発明の音処理装置は、通信網を介して端末装置と通信する音処理装置であって、処理対象データを含む処理要求を端末装置から順次に受信する受信手段と、処理対象データに対する音処理の実行で処理済データを生成する音処理手段と、処理要求に対する応答通知であって処理済データを含む応答通知を生成する応答生成手段と、応答通知を端末装置に順次に送信する送信手段とを具備する。
以上の構成においては、処理対象データを音処理装置に送信するための処理要求に対する応答通知に、音処理手段による音処理後の処理済データが含められて端末装置に送信されるから、音処理装置に対する処理済データの要求に専用される送信要求を端末装置から音処理装置に送信する処理や、送信要求に対する応答通知を音処理装置から端末装置に送信する処理は不要である。したがって、処理要求および送信要求が端末装置から音処理装置に送信される構成と比較して端末装置と音処理装置との通信回数が削減されるという利点がある。また、端末装置から送信される送信要求の受信を待機せずに音処理装置から端末装置に処理済データ(応答通知)が送信されるから、端末装置からの送信要求の受信を契機として音処理装置が処理済データを端末装置に送信する構成と比較して、端末装置が処理要求の送信を開始してから処理済データを取得するまでの遅延時間を短縮できるという利点がある。
本発明の好適な態様において、応答生成手段は、受信手段が受信した第1処理要求の処理対象データに対する音処理で音処理手段が生成した処理済データを、第1処理要求の受信後に受信手段が受信した第2処理要求に対する応答通知に含める。すなわち、応答生成手段は、音処理手段が生成した未送信の処理済データが存在する場合には当該処理済データを含む応答通知を生成し、未送信の処理済データが存在しない場合には処理済データを含まない応答通知を生成する。以上の態様においては、処理済データの生成を待たずに応答通知が生成および送信されるから、端末装置が処理要求を送信してからこれに対する応答通知を受信するまでの時間を短縮することが可能である。
本発明の好適な態様において、応答生成手段は、処理要求の通信に関するエラーの有無を示すエラー情報を含む応答通知を生成し、エラー情報がエラーの発生を示す応答通知およびエラー情報がエラーの非発生を示す応答通知の何れにも処理済データを含ませる。以上の態様においては、処理要求が適正に受信された場合(エラー非発生)に加えて処理要求の通信に関するエラーが発生した場合にも、その処理要求に対する応答通知には処理済データが含められ得るから、端末装置が処理済データを取得できる機会が充分に確保されるという利点がある。
本発明は、以上の各態様に係る音処理装置を利用した音処理システムとしても特定される。本発明の音処理システムは、通信網を介して相互に通信する音処理装置と端末装置とを含む音処理システムであって、処理対象データを含む処理要求を端末装置から順次に受信する受信手段と、処理対象データに対する音処理の実行で処理済データを生成する音処理手段と、処理要求に対する応答通知であって処理済データを含む応答通知を生成する応答生成手段と、応答通知を端末装置に順次に送信する送信手段とを具備し、端末装置は、処理要求を生成する要求生成手段と、処理要求を音処理装置に送信する端末側送信手段(例えば図2の送信部161)と、音処理装置から応答通知を受信する端末側受信手段(例えば図2の受信部163)と、応答通知から処理済データを取得する受信処理手段とを具備する。以上の態様によれば、本発明の音処理装置と同様の作用および効果が実現される。
また、以上の各態様に係る音処理装置は、音処理の実行に専用されるDSP(Digital Signal Processor)などのハードウェア(電子回路)によって実現されるほか、CPU(Central Processing Unit)などの汎用の演算処理装置とプログラム(ソフトウェア)との協働によっても実現される。本発明のプログラムは、処理対象データを含む処理要求を端末装置から順次に受信する受信処理と、処理対象データに対する音処理の実行で処理済データを生成する音処理と、処理要求に対する応答通知であって処理済データを含む応答通知を生成する応答生成処理と、応答通知を端末装置に順次に送信する送信処理とをコンピュータに実行させる。以上のプログラムによれば、本発明の音処理装置と同様の作用および効果が実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。
本発明の実施形態に係る音処理システムのブロック図である。 端末装置のブロック図である。 音処理装置のブロック図である。 応答通知の説明図である。 応答生成部の動作のフローチャートである。 端末装置と音処理装置との通信の手順の説明図である。 背景技術における端末装置と音処理装置との通信の手順の説明図である。
<A:実施形態>
図1は、本発明の実施形態に係る音処理システム100のブロック図である。図1に示すように、音処理システム100は、端末装置10と音処理装置(サーバ装置)20とを含んで構成される通信システムである。端末装置10と音処理装置20とは、通信網30(例えばインターネット)を介して相互に通信する。端末装置10と音処理装置20との通信には、例えばHTTPに準拠した通信方式が採用される。なお、図1では便宜的に1個の端末装置10のみを図示したが、実際には複数の端末装置10が通信網30を介して音処理装置20と並列に通信する。
音処理システム100で実行される通信の概略を以下に説明する。端末装置10は、処理対象データDAを含む処理要求P(PUTリクエスト)を音処理装置20に対して順次に送信する。音処理装置20は、端末装置10から受信した処理要求Pの処理対象データDAに音処理を実行することで処理済データDBを生成し、端末装置10から受信した処理要求Pに対する応答通知(レスポンス)RPに処理済データDBを含ませて端末装置10に送信する。すなわち、音処理装置20は、処理対象データDAに対する音処理(処理済データDBの生成)を代行する。残響音等の音響効果を付与する処理(効果付与)を以下では音処理として例示する。
図2は、端末装置10のブロック図である。端末装置10は、携帯電話機やパーソナルコンピュータ等の情報端末であり、図2に示すように制御装置12と記憶装置14と通信装置16と放音装置18とを含んで構成される。記憶装置14は、例えば半導体記録媒体や磁気記録媒体で構成され、制御装置12が実行するプログラムPG1や制御装置12が使用する各種のデータ(例えば処理ファイルF)を記憶する。処理ファイルFは、音処理装置20による音処理の対象となるデータファイルである。楽曲の演奏音や歌唱音の時間波形を表す波形データを処理ファイルFとした場合を以下では例示する。
制御装置12は、記憶装置14に記憶されたプログラムPG1の実行で複数の機能(要求生成部121,受信処理部123)を実現する。要求生成部121は、処理対象データDAを含む処理要求Pを順次に生成する。処理要求Pは、処理対象データDAに対する音処理を音処理装置20に要求するメッセージである。要求生成部121は、記憶装置14内の1個の処理ファイルFを分割した複数の波形データの各々を処理対象データDAとして順次に処理要求Pに含める。
通信装置16は、通信網30を介して音処理装置20と通信する機器であり、送信部161と受信部163とを含んで構成される。送信部161は、要求生成部121が生成した処理要求Pを通信網30に対して順次に送信する。受信部163は、音処理装置20が生成および送信した応答通知RPを通信網30から順次に受信する。
受信処理部123は、受信部163が受信した応答通知RPから処理済データDBを抽出して放音装置18に順次に供給する。放音装置18(例えばスピーカやヘッドホン)は、受信処理部123から供給される処理済データDBに応じた音波を放射する。したがって、端末装置10の利用者は、処理ファイルFに対して音処理を施した再生音を受聴することが可能である。
図3は、音処理装置20のブロック図である。図3に示すように、音処理装置20は、制御装置22と記憶装置24と通信装置26とを含んで構成される。通信装置26は、通信網30を介して端末装置10と通信する機器であり、受信部261と送信部263とを含んで構成される。受信部261は、端末装置10が送信した処理要求Pを通信網30から順次に受信する。送信部263は、音処理装置20にて生成された応答通知RPを通信網30に対して順次に送信する。記憶装置24(例えば半導体記録媒体や磁気記録媒体)は、制御装置22が実行するプログラムPG2を記憶する。制御装置22は、プログラムPG2の実行で複数の機能(音処理部221,応答生成部223)を実現する。
音処理部221は、受信部261が処理要求Pを受信するたびに、その処理要求P内の処理対象データDAに対して音処理を実行することで処理済データDBを生成する。音処理部221が生成した処理済データDBは記憶装置24に順次に格納される。音処理部221は、例えばVST(Virtual Studio Technology)プラグインで実現される(「VST」は登録商標)。
応答生成部223は、端末装置10から受信した処理要求Pに対する応答通知RPを生成する。応答通知RPは、端末装置10に処理要求Pの受信を通知するメッセージである。図4の部分(A)から部分(D)に示すように、応答通知RPは、エラー情報Eとデータ長Lとを含んで構成される。また、図4の部分(A)および部分(C)に示すように、音処理部221が生成した未送信の処理済データDBが記憶装置24に存在する場合には、その処理済データDBが含められる。
図4のエラー情報Eは、処理要求Pの通信に関するエラーの有無(具体的には音処理装置20が処理要求Pを適正に受信したか否か)を示す情報(フラグ)である。例えば、応答生成部223は、受信部261が受信した処理要求P内の処理対象データDAのサイズが所定値に合致する場合には処理要求Pが適正に受信された(エラー非発生)と判定し、処理要求P内の処理対象データDAのサイズが所定値を下回る場合には処理要求Pが適正に受信されていない(エラー発生)と判定する。また、応答通知RPに設定されるデータ長Lは、その応答通知RPに含まれる処理済データDBのサイズを意味する。処理済データDBを含まない応答通知RP(図4の部分(B)または部分(D))のデータ長Lはゼロに設定される。応答生成部223が生成した応答通知RPが図3の送信部263から端末装置10に送信される。
図5は、応答生成部223の動作のフローチャートである。受信部261が処理要求Pを受信するたびに図5の処理が実行される。図5の処理を開始すると、応答生成部223は、今回の処理要求Pが適正に受信されたか否か(エラーの有無)を判定する(S1)。処理要求Pの適正な受信に成功した場合(S1:YES)、応答生成部223は、音処理部221が生成した未送信の処理済データDBが記憶装置24に格納されているか否かを判定する(S2)。
未送信の処理済データDBが存在する場合(S2:YES)、応答生成部223は、その処理済データDBを含む応答通知RPを生成する(S3)。記憶装置24に複数の処理済データDBが存在する場合、最先の処理済データDBが応答通知RPに含められる。図4の部分(A)に示すように、ステップS3で生成される応答通知RPにおいては、エラー情報Eが処理要求Pの受信成功を意味する数値(E=0)に設定され、データ長Lが処理済データDBのサイズ(L=20480)に設定される。
端末装置10と音処理装置20との通信が開始された直後(音処理装置20が最初の処理要求Pを受信した直後)の段階では処理済データDBが未だ生成されていないから、ステップS2での判定の結果は否定(処理済データDBが存在しない)となる。処理済データDBが存在しない場合(S2:NO)、応答生成部223は、処理済データDBを含まない応答通知RPを生成する(S4)。図4の部分(B)に示すように、ステップS4で生成される応答通知RPにおいては、エラー情報Eが処理要求Pの受信成功を意味する数値(E=0)に設定され、データ長Lがゼロ(処理済データDBを含まないことを意味する数値)に設定される。
他方、処理要求Pの受信に何らかのエラーが発生している(例えば処理対象データDAのサイズが所定値を下回る)とステップS1で判定した場合(S1:NO)、応答生成部223は、ステップS2と同様に、未送信の処理済データDBが記憶装置24に存在するか否かを判定する(S5)。なお、処理要求Pが適正に受信されていない場合、音処理部221は、その処理要求P内の処理対象データDAに対する音処理を実行しない。
未送信の処理済データDBが存在する場合(S5:YES)、応答生成部223は、その処理済データDB(複数の処理済データDBが存在する場合は最先の処理済データDB)を含む応答通知RPを生成する(S6)。図4の部分(C)に示すように、ステップS6で生成される応答通知RPにおいては、エラー情報Eが処理要求Pの受信失敗を意味する数値(E=1)に設定され、データ長Lが処理済データDBのサイズ(L=20480)に設定される。
他方、未送信の処理済データDBが存在しない場合(S5:NO)、応答生成部223は、処理済データDBを含まない応答通知RPを生成する(S7)。図4の部分(D)に示すように、ステップS7で生成される応答通知RPにおいては、エラー情報Eが処理要求Pの受信失敗を意味する数値(E=1)に設定され、データ長Lがゼロに設定される。
以上に説明したように、音処理部221が処理済データDBを生成すると、応答生成部223は、端末装置10による処理済データDBの要求(例えば図7の送信要求G)を待機することなく、その処理済データDBを応答通知RPに含めて送信部263から端末装置10に順次に送信する。したがって、端末装置10は、送信要求Gを音処理装置20に送信しない。
音処理装置20が送信した応答通知RPを受信部163が通信網30から受信すると、端末装置10の要求生成部121および受信処理部123は、その応答通知RPに応じた処理を実行する。具体的には、応答通知RPに処理済データDBが含まれる場合、受信処理部123は、応答通知RP内の処理済データDBに所定の処理(例えば音量の調整や他の音処理)を施したうえで放音装置18に供給する。また、要求生成部121は、応答通知RP内のエラー情報Eが処理要求Pの受信成功(E=0)を示す場合には、新たな処理対象データDAを含む処理要求Pを生成して送信部161から音処理装置20に送信する。他方、応答通知RP内のエラー情報Eが処理要求Pの受信失敗(E=1)を示す場合、要求生成部121は、前回と同じ処理対象データDAを含む処理要求Pを生成して送信部161から音処理装置20に送信(すなわち再送)する。
図6は、端末装置10と音処理装置20との通信の手順の説明図である。端末装置10は、利用者からの指示を契機として処理要求P(P1,P2,……)の送信を開始する。各処理要求Pは、所定の周期T0で順次に音処理装置20に送信される。音処理装置20は、端末装置10から処理要求Pn(n=1,2,……)を受信するたびに、その処理要求Pnに対する応答通知RPnを生成して端末装置10に送信する。なお、図6においては、音処理装置20の受信部261が全部の処理要求Pを適正に受信した場合が想定されている。
音処理装置20が端末装置10から最初の処理要求P1を受信すると、音処理部221は、処理要求P1内の処理対象データDAに対する音処理を開始する。処理要求P1の受信の時点では、処理済データDBが未だ作成されていないから、図4の部分(B)または部分(D)の例示のように、処理要求P1に対する応答通知RP1は処理済データDBを含まない。
他方、音処理装置20が端末装置10から処理要求P2を受信した時点で、直前の処理要求P1の処理対象データDAに対する音処理は完了している。したがって、図6に示すように、処理要求P2に対する応答通知RP2には、直前の処理要求P1内の処理対象データDAから生成された処理済データDBが含められる。以降においても同様に、処理要求Pnに対する応答通知RPnは、過去に受信した処理要求P(例えば直前の処理要求Pn-1)内の処理対象データDAから生成された処理済データDBを含む。
処理ファイルFの最後の処理対象データDAを含む処理要求PNの送信が完了すると、端末装置10の要求生成部121は、図6に示すように、ダミーデータD0を含む処理要求P(以下では特に「終端用要求PEND」という)を処理要求PNに引続き周期T0で音処理装置20に順次に送信する。ダミーデータD0は、例えば複数のゼロデータの系列である。
終端用要求PENDに対して音処理装置20が端末装置10に送信する応答通知RP_ENDには、過去の処理要求PN内の処理対象データDA(すなわち、処理ファイルFの最後の処理対象データDA)から生成された処理済データDBが含まれる。端末装置10は、処理要求P1〜PNで音処理装置20に送信した処理対象データDAと同数の処理済データDBを受信すること(最後の処理対象データDAに対応する処理済データDBを含む応答通知RP_ENDの受信)を条件として処理要求Pの送信を終了する。すなわち、端末装置10は、ダミーデータD0に対応した処理済データDBを受信しない。
以上に説明したように、本実施形態においては、処理対象データDAを音処理装置20に送信するための処理要求Pに対する応答通知RPに、音処理部221で生成された処理済データDBが含められて端末装置10に送信されるから、音処理装置20に対する処理済データDBの要求に専用される送信要求G(GETリクエスト)を端末装置10から音処理装置20に送信する必要はない。したがって、図7の技術と比較して、端末装置10と音処理装置20との通信回数が削減(概ね半減)されるという利点がある。
また、端末装置10からの送信要求Gの受信を契機として処理済データDBを音処理装置20から端末装置10に送信する図7の技術のもとでは、処理要求Pの送信の開始から時間τ(音処理の完了に必要と予想される時間)が経過した時点tbにおいて端末装置10から音処理装置20に対する送信要求Gの送信が開始されるから、例えば図7における最初の処理要求Pの処理対象データDAに対する音処理(処理済データDBの生成)が第2番目の処理要求Pの送信前の時点taで完了していたとしても、実際に端末装置10がその処理済データDBを取得できるのは時点tbの経過後である。他方、応答通知RPに処理済データDBが含められる本実施形態によれば、図6の処理要求P1内の処理対象データDAの音処理が時点taで完了すると、時間τの経過(すなわち送信要求Gの到達)を待たずに、処理要求P2に対する応答通知RP2に処理済データDBが含められて端末装置10に送信される。したがって、端末装置10が処理要求Pの送信を開始してから実際に処理済データDBを取得するまで(さらには処理済データDBに応じた音波が再生されるまで)の遅延時間を短縮できるという利点がある。
さらに、処理要求Pの受信にエラーが発生した場合の応答通知RP(E=1)および処理要求Pが適正に受信された場合の応答通知RP(E=0)の何れにも処理済データDBが含まれるから、例えば処理要求Pが適正に受信された場合の応答通知RPのみに処理済データDBを含ませる構成と比較して、端末装置10が処理済データDBを取得できる機会を充分に確保することが可能である。ただし、処理要求Pの受信にエラーが発生した場合の応答通知RPに処理済データDBを付加しない構成も採用され得る。
<B:変形例>
以上の実施形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は適宜に併合され得る。
(1)変形例1
以上の実施形態では、過去の処理要求P(例えば処理要求Pn-1)内の処理対象データDAから生成された処理済データDBを、直近の処理要求Pnに対する応答通知RPnに含ませる構成(以下「構成A」という)を例示したが、処理要求Pn内の処理対象データDAから生成された処理済データDBを、その処理要求Pnに対する応答通知RPnに含ませる構成(以下「構成B」という)も採用され得る。
構成Aのもとでは、未送信の処理済データDBが記憶装置24に存在する場合には処理済データDBを含む応答通知RPが生成されるが、未送信の処理済データDBが記憶装置24に存在しない場合には処理済データDBを含まない応答通知RPが生成される。他方、構成Bのもとでは、処理済データDBが記憶装置24に存在しない場合に、応答生成部223は、音処理部221による処理済データDBの生成まで待機して、その処理済データDBを含む応答通知RPを生成する。
構成Bにおいても前述の実施形態と同様の効果が実現される。ただし、構成Bにおいては、音処理装置20が処理要求Pnを受信してから処理済データDBの生成が完了するまで応答通知RPnの送信を待機する必要がある。他方、構成Aによれば、音処理装置20が処理要求Pnを受信すると、処理済データDBの生成の進捗に関わらず応答通知RPnを端末装置10に送信できる。したがって、構成Bと比較すると、端末装置10による処理要求Pnの送信から応答通知RPnの受信までの時間が短縮される(したがって、例えば、音処理装置20が処理要求Pnを適正に受信できたか否かを応答通知RPnのエラー情報Eで端末装置10が迅速に認識できる)という利点がある。
(2)変形例2
以上の実施形態では、1個の処理対象データDAから生成された処理済データDBを単位として応答通知RPに含ませたが、音処理部221が生成した処理済データDBを所定量ずつ応答通知RPに含ませて端末装置10に送信する構成も採用され得る。
(3)変形例3
音処理部221による音処理の内容は効果付与に限定されない。例えば、処理対象データDAが示す音響の音高を変化させることで処理済データDBを生成する処理(音高補正)も音処理として採用される。
また、楽曲の演奏音や歌唱音を音処理部221が音処理で生成する構成も採用され得る。例えば、楽曲の各楽音の音高と発音の時点とを時系列に指定する処理対象データDA(例えばMIDI(Musical Instrument Digital Interface)データ)を音処理装置20が端末装置10から受信すると、音処理部221は、処理対象データDAが時系列に指定する楽音の演奏音の波形を示す処理済データDBを生成する。すなわち、音処理部221は、楽音合成(自動演奏)を音処理として実行する。
また、歌唱音の音高と歌詞(音節)とを時系列に指定する処理対象データDAを音処理装置20が端末装置10から受信すると、音処理部221は、処理対象データDAが指定する歌詞に対応した音素を処理対象データDAが示す音高に調整して相互に連結することで、歌唱音を示す処理済データDBを生成する。すなわち、音処理部221は、歌唱合成(音声合成)を音処理として実行する。
以上の例示から理解されるように、本発明における音処理は、音に関する処理として包括され、具体的な態様の如何は不問である。以上に例示した音処理(効果付与,音高補正,楽音合成,歌唱合成)は、音処理の概念に包含される典型例である。また、処理対象データDAや処理済データDBの形式や各々が示す内容は、音処理の種類や内容に応じて適宜に選定され、具体的な形式の如何は不問である。例えば、前述の例示から理解される通り、効果付与や音高補正を音処理として実行する場合には、波形データが処理対象データDAとして好適に採用され、楽音合成や歌唱合成を音処理として実行する場合には、合成音を指示する時系列データ(例えばMIDIデータ)が処理対象データDAとして好適に採用される。なお、音楽的な要素は処理対象データDAにとって必須ではない。例えば、直接的には音楽と関係しない自然音や人工音等の様々な音響(例えば波音や風音やエンジン音)の波形データを処理対象データDAとして音処理を実行する構成も採用され得る。
(4)変形例4
以上の実施形態では、処理対象データDAが処理ファイルFとして事前に用意された構成を例示したが、端末装置10と音処理装置20との通信に並行して処理対象データDAを動的に生成する構成も採用され得る。例えば、利用者による操作(演奏)に応じて電子楽器等の入力装置から端末装置10に供給される処理対象データDAを端末装置10から音処理装置20に順次に送信する構成も採用され得る。
100……音処理システム、10……端末装置、12……制御装置、121……要求生成部、123……受信処理部、14……記憶装置、16……通信装置、161……送信部、163……受信部、20……音処理装置、22……制御装置、221……音処理部、223……応答生成部、24……記憶装置、26……通信装置、261……受信部、263……送信部、30……通信網、P(P1,P2,……)……処理要求、RP(RP1,RP2,……)……応答通知、DA……処理対象データ、DB……処理済データ。

Claims (5)

  1. 通信網を介して端末装置と通信する音処理装置であって、
    1個の処理ファイルを分割した複数の処理対象データの各々について、当該処理対象データを含む処理要求を前記端末装置から順次に受信する受信手段と、
    前記受信手段による処理要求の受信毎に、当該処理要求に含まれる前記処理対象データに対する音処理の実行で処理済データを生成する音処理手段と、
    前記処理要求に対する応答通知であって前記処理済データを含む応答通知を生成する手段であり、前記受信手段が受信した一の処理要求の前記処理対象データに対する音処理で前記音処理手段が生成した処理済データを、前記一の処理要求の受信後に前記受信手段が受信した他の処理要求に対する応答通知に含める応答生成手段と、
    前記応答通知を前記端末装置に順次に送信する送信手段と
    を具備する音処理装置。
  2. 前記応答生成手段は、前記音処理手段が生成した未送信の処理済データが存在する場合には当該処理済データを含む応答通知を生成し、未送信の処理済データが存在しない場合には処理済データを含まない応答通知を生成する
    請求項1の音処理装置。
  3. 前記応答生成手段は、前記処理要求の通信に関するエラーの有無を示すエラー情報を含む応答通知を生成し、前記エラー情報がエラーの発生を示す応答通知および前記エラー情報がエラーの非発生を示す応答通知の何れにも前記処理済データを含ませる
    請求項1または請求項2の音処理装置。
  4. 通信網を介して相互に通信する音処理装置と端末装置とを含む音処理システムであって、
    前記音処理装置は、
    1個の処理ファイルを分割した複数の処理対象データの各々について、当該処理対象データを含む処理要求を前記端末装置から順次に受信する受信手段と、
    前記受信手段による処理要求の受信毎に、当該処理要求に含まれる前記処理対象データに対する音処理の実行で処理済データを生成する音処理手段と、
    前記処理要求に対する応答通知であって前記処理済データを含む応答通知を生成する手段であり、前記受信手段が受信した一の処理要求の前記処理対象データに対する音処理で前記音処理手段が生成した処理済データを、前記一の処理要求の受信後に前記受信手段が受信した他の処理要求に対する応答通知に含める応答生成手段と、
    前記応答通知を前記端末装置に順次に送信する送信手段とを具備し、
    前記端末装置は、
    前記処理要求を生成する要求生成手段と、
    前記処理要求を前記音処理装置に送信する端末側送信手段と、
    前記音処理装置から前記応答通知を受信する端末側受信手段と、
    前記応答通知から前記処理済データを取得する受信処理手段とを具備する
    音処理システム。
  5. 通信網を介して端末装置と通信する音処理装置が、
    1個の処理ファイルを分割した複数の処理対象データの各々について、当該処理対象データを含む処理要求を前記端末装置から順次に受信し、
    前記処理要求の受信毎に、当該処理要求に含まれる前記処理対象データに対する音処理の実行で処理済データを生成し、
    前記処理要求に対する応答通知であって前記処理済データを含む応答通知を生成し、
    前記応答通知を前記端末装置に順次に送信する一方、
    前記応答通知の生成においては、前記受信した一の処理要求の前記処理対象データに対する音処理で生成した処理済データを、前記一の処理要求の受信後に受信した他の処理要求に対する応答通知に含める
    音処理方法。
JP2010117013A 2010-05-21 2010-05-21 音響処理装置、音処理システムおよび音処理方法 Active JP5625482B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010117013A JP5625482B2 (ja) 2010-05-21 2010-05-21 音響処理装置、音処理システムおよび音処理方法
EP11165445.5A EP2388776B1 (en) 2010-05-21 2011-05-10 Sound processing apparatus and sound processing system
US13/112,400 US9087502B2 (en) 2010-05-21 2011-05-20 Sound processing apparatus and sound processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010117013A JP5625482B2 (ja) 2010-05-21 2010-05-21 音響処理装置、音処理システムおよび音処理方法

Publications (2)

Publication Number Publication Date
JP2011243136A JP2011243136A (ja) 2011-12-01
JP5625482B2 true JP5625482B2 (ja) 2014-11-19

Family

ID=44343281

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010117013A Active JP5625482B2 (ja) 2010-05-21 2010-05-21 音響処理装置、音処理システムおよび音処理方法

Country Status (3)

Country Link
US (1) US9087502B2 (ja)
EP (1) EP2388776B1 (ja)
JP (1) JP5625482B2 (ja)

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3250336B2 (ja) * 1993-08-31 2002-01-28 ヤマハ株式会社 カラオケシステムおよびカラオケ端末装置
JP3747584B2 (ja) 1996-10-18 2006-02-22 ヤマハ株式会社 端末装置の機能拡張方法及びホストコンピュータ並びに端末装置
JPH1185148A (ja) * 1997-09-09 1999-03-30 N T T Data:Kk エフェクタ実験サービスシステム
US6535772B1 (en) * 1999-03-24 2003-03-18 Yamaha Corporation Waveform data generation method and apparatus capable of switching between real-time generation and non-real-time generation
US7814208B2 (en) * 2000-04-11 2010-10-12 Science Applications International Corporation System and method for projecting content beyond firewalls
JP3666364B2 (ja) * 2000-05-30 2005-06-29 ヤマハ株式会社 コンテンツ生成サービス装置、システム及び記録媒体
JP3956628B2 (ja) * 2001-02-21 2007-08-08 ヤマハ株式会社 サーバ装置
JP2003018181A (ja) * 2001-06-29 2003-01-17 Canon Inc 通信システム、通信方法、及び制御プログラム
JP3894062B2 (ja) * 2002-07-11 2007-03-14 ヤマハ株式会社 楽曲データ配信装置、楽曲データ受信装置及びプログラム
JP2005259106A (ja) * 2004-02-09 2005-09-22 Ricoh Co Ltd 仲介装置、分散処理システム、データ転送方法、プログラム及び記録媒体
US8473844B2 (en) * 2004-03-26 2013-06-25 Harman International Industries, Incorporated Audio related system link management
US8285809B2 (en) * 2005-12-13 2012-10-09 Audio Pod Inc. Segmentation and transmission of audio streams
US8898062B2 (en) * 2007-02-19 2014-11-25 Panasonic Intellectual Property Corporation Of America Strained-rough-voice conversion device, voice conversion device, voice synthesis device, voice conversion method, voice synthesis method, and program
US20080250101A1 (en) * 2007-04-05 2008-10-09 Matsushita Electric Industrial Co., Ltd. Multimedia data transmitting apparatus and multimedia data receiving apparatus
JP4544278B2 (ja) * 2007-07-18 2010-09-15 ヤマハ株式会社 波形生成システム
JP5228432B2 (ja) * 2007-10-10 2013-07-03 ヤマハ株式会社 素片検索装置およびプログラム
US20090276673A1 (en) * 2008-05-05 2009-11-05 Industrial Technology Research Institute Methods and systems for optimizing harq communication
TWI407322B (zh) * 2009-06-19 2013-09-01 Ipeer Multimedia Internat Ltd 多媒體辨識系統與方法,及其應用之多媒體客製化方法
US9147385B2 (en) * 2009-12-15 2015-09-29 Smule, Inc. Continuous score-coded pitch correction

Also Published As

Publication number Publication date
EP2388776B1 (en) 2018-07-04
US9087502B2 (en) 2015-07-21
JP2011243136A (ja) 2011-12-01
US20110296253A1 (en) 2011-12-01
EP2388776A1 (en) 2011-11-23

Similar Documents

Publication Publication Date Title
US20140359122A1 (en) Session terminal apparatus and network session system
CN108877804B (zh) 语音服务方法、***、电子设备及存储介质
US9460203B2 (en) Sound processing apparatus
JP2020174339A (ja) 段落と映像を整列させるための方法、装置、サーバー、コンピュータ可読記憶媒体およびコンピュータプログラム
US20210082380A1 (en) Enhanced System, Method, and Devices for Capturing Inaudible Tones Associated with Content
TW201839601A (zh) 智慧語音系統、語音輸出調整之方法及電腦可讀取記憶媒體
JP5625482B2 (ja) 音響処理装置、音処理システムおよび音処理方法
CN102394860A (zh) 信号传送***、方法、电脑程序产品及电脑可读取储存媒体
JP2006119320A5 (ja)
TW200903447A (en) Efficient identification of sets of audio parameters
TW200844977A (en) Musical instrument digital interface hardware instruction set
WO2022143530A1 (zh) 音频处理方法、装置、计算机设备及存储介质
US10885806B2 (en) Musical score processing method and musical score processing system
WO2022160669A1 (zh) 音频处理方法和音频处理装置
US8965755B2 (en) Acoustic data communication device
JP2008097096A (ja) サーバ装置及び通信セッション確立方法
JP7456215B2 (ja) オーディオインターフェース装置、及び、録音システム
JP2018180489A (ja) 演奏支援装置、及びプログラム
CN113611266B (zh) 适用于多人k歌的音频同步方法、装置及存储介质
TWI844231B (zh) 提供伴唱服務的系統和方法
JP6966738B1 (ja) 音データ生成システム、音データ生成プログラム、及び音データ生成方法
WO2022264537A1 (ja) 触覚信号生成装置、触覚信号生成方法、プログラム
JP4192798B2 (ja) 通信端末
JP6492754B2 (ja) 楽器及び楽器システム
JP2014066894A (ja) 音楽再生システム、音楽再生装置、及び音楽再生用プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140915

R150 Certificate of patent or registration of utility model

Ref document number: 5625482

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150