JP2011123462A - 音響処理装置 - Google Patents

音響処理装置 Download PDF

Info

Publication number
JP2011123462A
JP2011123462A JP2010041524A JP2010041524A JP2011123462A JP 2011123462 A JP2011123462 A JP 2011123462A JP 2010041524 A JP2010041524 A JP 2010041524A JP 2010041524 A JP2010041524 A JP 2010041524A JP 2011123462 A JP2011123462 A JP 2011123462A
Authority
JP
Japan
Prior art keywords
processing
sound
data
acoustic
storage device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010041524A
Other languages
English (en)
Other versions
JP5803056B2 (ja
Inventor
Yuji Koike
祐二 小池
Genichi Tamura
元一 田邑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2010041524A priority Critical patent/JP5803056B2/ja
Priority to EP10191328.3A priority patent/EP2334028B1/en
Priority to US12/947,711 priority patent/US8818540B2/en
Publication of JP2011123462A publication Critical patent/JP2011123462A/ja
Priority to US14/337,291 priority patent/US9460203B2/en
Application granted granted Critical
Publication of JP5803056B2 publication Critical patent/JP5803056B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/61Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0033Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058Transmission between separate instruments or between individual components of a musical system
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/02Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
    • H04H60/04Studio equipment; Interconnection of studios
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/325Musical pitch modification
    • G10H2210/331Note pitch correction, i.e. modifying a note pitch or replacing it by the closest one in a given scale
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/281Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
    • G10H2240/295Packet switched network, e.g. token ring
    • G10H2240/305Internet or TCP/IP protocol use for any electrophonic musical instrument data or musical parameter transmission purposes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/765Media network packet handling intermediate

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Telephonic Communication Services (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】音響処理装置に音響処理を代行させる場合の問題を解決する。
【解決手段】音響処理装置30は、制御装置32と主記憶装置342と補助記憶装置344とを具備する。補助記憶装置344は、管理プログラムPAと音響処理プログラムPBとを記憶する。制御装置32は、管理プログラムPAの常駐で実現される管理部62および音響処理プログラムPBの常駐で実現される音響処理部64として機能する。管理部62は、端末装置10からストリーミング方式で順次に送信される音データDaを受信して主記憶装置342に順次に格納し、音データDaから生成された処理済データDbを主記憶装置342から順次に取得してストリーミング方式で端末装置10に送信する。音響処理部64は、管理部62が主記憶装置342に格納した音データDaに対する音響処理の実行で処理済データDbを順次に生成して主記憶装置342に格納する。
【選択図】図1

Description

本発明は、通信網を介して端末装置から受信したデータに対して音響処理を実行したうえで端末装置に返送する技術に関する。
端末装置と通信する音響処理装置(サーバ装置)に各種の音響処理を代行させる技術が従来から提案されている(例えば特許文献1や特許文献2)。音響処理装置は、端末装置から受信した波形ファイルに対して音響処理を実行し、処理後のファイルを端末装置に送信する。以上の技術によれば、音響処理に必要なハードウェアやソフトウェアを端末装置に実装せずに、音響処理で生成されたファイルを端末装置にて利用する(例えば、音響処理後の音を再生する)ことが可能である。
特開平10−177380号公報 特開平11−085148号公報
しかし、音響処理装置に音響処理を代行させるシステムを実際に構築する場面では、特許文献1や特許文献2には言及されていない様々な問題が発生し得る。例えば、特許文献1や特許文献2の技術のもとでは、音響処理の対象となる1個のファイルの全体を端末装置から受信した後に音響処理装置が音響処理を開始するから、利用者が処理の開始を端末装置に指示してから音響処理後のファイルが端末装置にて実際に利用可能となるまでの時間が長いという問題がある。以上の事情を考慮して、本発明は、音響処理装置に音響処理を代行させる場合に発生し得る問題の解決を目的とする。
以上の課題を解決するために、本発明の第1態様に係る音響処理装置は、通信網を介して端末装置と通信する音響処理装置であって、主記憶装置と、管理プログラムおよび音響処理プログラムを記憶する補助記憶装置と、管理プログラムを主記憶装置に常駐させることで実現される管理手段であって、端末装置からストリーミング方式で順次に送信される音データを受信して主記憶装置に順次に格納し、音データに対する音響処理で生成された処理済データを主記憶装置から順次に取得してストリーミング方式で端末装置に送信する管理手段と、音響処理プログラムを主記憶装置に常駐させることで実現される音響処理手段であって、管理手段が音データを主記憶装置に格納するたびに当該音データに対する音響処理の実行で処理済データを順次に生成して主記憶装置に格納する音響処理手段とを具備する。
以上の構成においては、音データがストリーミング方式で音響処理装置に送信されて音響処理が実行され、音響処理後の処理済データがストリーミング方式で端末装置に送信されて再生される。したがって、ファイルの全体を音響処理装置が受信してから音響処理を開始する構成や、音響処理後のファイルの全体を端末装置が受信してから再生を開始する構成と比較して、端末装置からの音データの送信から実際に音響処理後の再生音を利用者が聴取できるまでの時間を短縮することが可能である。しかも、管理手段を実現する管理プログラムや音響処理手段を実現する音響処理プログラムを主記憶装置に常駐させることで音データや処理済データを主記憶装置に格納することが可能となるから、音データや処理済データを補助記憶装置に格納する場合と比較して、処理の遅延が有効に防止されるという利点もある。
本発明における音響処理は、音に関する各種の処理を意味し、典型的には音の変調や生成が例示される。音の変調には、例えば、音データが示す音に残響音や遅延(エコー)を付加する処理,および音データが示す音の音高や周波数特性を変更する処理が包含される。音の生成には、例えば、音符を時系列に指示する音データから楽音を生成する処理(シーケンサ)や、歌詞や音高を時系列に指示する音データから歌唱音を合成する処理が包含される。
第1態様の好適例において、管理手段は、複数の音データを主記憶装置に記憶し、音響処理手段は、管理手段が主記憶装置に格納した一の音データに対して、主記憶装置に格納された他の音データを利用した音響処理を実行する。以上の態様では、一の音データの音響処理に他の音データが反映されるから、例えば各音データの音響処理に前後の音データが影響し得る場合に、音響処理後の音の特性が各処理済データの境界にて不連続に変化することを防止できるという利点がある。さらに好適な態様において、管理手段は、一の音データと他の音データとを含む所定個の音データ以外の音データを主記憶装置から順次に消去する。以上の態様においては、所定個の音データ以外の音データは主記憶装置から順次に消去されるから、過去の総ての音データを主記憶装置に保持する構成と比較して、主記憶装置に必要な容量が削減されるという利点がある。
第1態様の好適例において、各音データは、音響処理の対象となる処理対象データと、音響処理の処理変数について端末装置にて指示された設定値を示す変数設定データとを含み、音響処理手段は、音データの処理対象データに対して、当該音データの変数設定データが示す設定値に応じた音響処理を実行する。以上の態様においては、音データに対する音響処理の処理変数を端末装置にて変更することが可能である。さらに好適な態様において、変数設定データは、処理変数の数値を設定値に変更する時点を処理対象データに対して指定するタイミングデータを含み、音響処理手段は、音データに対して実行される音響処理の処理変数を、タイミングデータが指定する時点にて設定値に変更する。以上の態様においては、処理変数の変更の時点を指定するタイミングデータが変数設定データに含まれるから、処理対象データの任意の時点にて処理変数を変更できるという利点がある。
なお、特許文献1や特許文献2の技術では、音響処理に適用される処理変数が所定値に固定されるから、音響処理後の音が利用者の所望の特性にならない可能性がある。そこで、本発明の第2態様に係る音響処理システムは、通信網を介して端末装置と通信する管理装置および音響処理装置を具備し、管理装置は、音響処理の処理変数に関する変数情報を端末装置に送信する処理手段を含み、音響処理装置は、音響処理の対象となる処理対象データと、変数情報に応じて端末装置にて設定された処理変数の設定値を示す変数設定データとを含む音データを端末装置から受信する受信手段と、変数設定データが示す設定値に応じた音響処理を処理対象データに対して実行することで処理済データを生成する音響処理手段と、音響処理手段が生成した処理済データを端末装置に送信する送信手段とを含む。以上の態様においては、音響処理手段の実行する音響処理の処理変数が端末装置にて可変に設定されるから、利用者の所望の特性の音を音響処理で生成することが可能となる。しかも、音響処理の処理変数に関する変数情報が端末装置に送信されて処理変数の設定値の設定に利用されるから、処理変数の設定値を端末装置において適切に設定することが可能である。
第2態様の好適例において、管理装置は、複数種の音響処理のうち端末装置の利用者が利用可能な各音響処理の変数情報を選択的に端末装置に送信する。以上の態様においては、複数の音響処理のうち利用者が利用可能な音響処理の変数情報が選択的に端末装置に送信されるから、総ての音響処理について変数情報を端末装置に送信する場合と比較して、端末装置にて変数情報を選択する処理の負荷や端末装置と管理装置との間の通信量が削減されるという利点がある。
なお、特許文献1や特許文献2には、複数の端末装置から音響処理が要求された場合の処理について何ら言及されておらず、複数の端末装置からの音響処理の要求が音響処理装置に集中する可能性がある。そこで、本発明の第3態様に係る音響処理システムは、通信網を介して端末装置と通信する管理装置および複数の音響処理装置を具備し、複数の音響処理装置の各々は、端末装置から音データを受信する受信手段と、音データに対して音響処理を実行することで処理済データを生成する音響処理手段と、処理済データを端末装置に送信する送信手段とを具備し、管理装置は、複数の音響処理装置の各々について負荷状況を記憶する記憶手段と、複数の音響処理装置のうち端末装置からの音データの送信先となる音響処理装置を、各音響処理装置の負荷状況に応じて選択する。以上の態様においては、音データの送信先となる音響処理装置が各音響処理装置の負荷状況に応じて選択されるから、複数の端末装置から音響処理が要求された場合でも、各音響処理装置を各端末装置に対して適切に割当てることが可能である。
なお、第2態様や第3態様の好適例において、受信手段は、端末装置からストリーミング方式で順次に送信される音データを受信し、送信手段は、処理済データをストリーミング方式で順次に端末装置に送信する。以上の態様では、音データがストリーミング方式で音響処理装置に送信されて音響処理が実行され、音響処理後の処理済データがストリーミング方式で端末装置に送信されて再生される。端末装置からの音データの送信から実際に音響処理後の再生音を利用者が聴取できるまでの時間を短縮することが可能である。もっとも、第2態様や第3態様においては、ストリーミング方式でのデータの授受は必須ではない。例えば、端末装置から送信される音データや音響処理装置から送信される処理済データは、1個のファイルの全体であってもよい。
なお、音響処理装置に音響処理を代行させ得る環境でも、端末装置自身が音響処理を実行すること(ローカル処理)が適切または必要な場合がある。例えば、音響処理後のデータを端末装置にて再生するときの遅延を確実に低減する必要がある場合や、音響処理装置と端末装置との間の通信網の伝送能力が充分でない場合には、端末装置自身が音響処理を実行することが適切である。また、利用者が自身の端末装置による音響処理を希望する場合もある。
そこで、本発明の第4態様に係る音響処理システムは、処理代行モードと自己処理モードとを選択する選択手段と、選択手段が処理代行モードを選択した場合に、端末装置から受信した音データに対する音響処理で処理済データを生成して端末装置に送信する音響処理手段と、選択手段が自己処理モードを選択した場合に、音響処理を端末装置に実行させる音響処理プログラムを端末装置に配信する配信手段とを具備する。以上の態様においては、音響処理手段が音響処理を代行する処理代行モードのほかに、音響処理プログラムを端末装置に送信して端末装置自身に音響処理を実行させる自己処理モードが選択され得る。したがって、音響処理の代行が適切な状況や端末装置自身による音響処理の実行が適切な状況等の多様な状況に柔軟に対応できるという利点がある。
なお、第4態様に係る音響処理システムの具体例は、第4実施形態および第5実施形態として後述される。また、第4態様に係る音響処理システムの各要素は、別個の装置としても単一の装置としても実現され得る。例えば、後掲の第4実施形態は、選択手段(例えば図20の選択部66)と音響処理手段(例えば図20の音響処理部64)と配信手段(例えば図20の管理部62)とを含む単一の音響処理装置として第4態様の音響処理システムを実現した形態である。また、第5実施形態は、選択手段(例えば図22の管理装置40(処理部422))と音響処理手段(例えば図22の音響処理装置30)と配信手段(例えば図22の配信装置50)とを別個の装置として実現した音響処理システムの形態である。
第4態様の音響処理システムにおいて、選択手段が処理代行モードを選択した場合、音響処理手段は、第1音響処理プログラムの実行で処理済データを生成し、選択手段が自己処理モードを選択した場合、配信手段は、第2音響処理プログラムを端末装置に送信する。例えば、第1音響処理プログラムと第2音響処理プログラムとを共通のプログラムとした構成や、第1音響処理プログラムと第2音響処理プログラムとで音響処理の種類は共通するが内容を相違させた構成が採用される。第1音響処理プログラムと第2音響処理プログラムとが相違する構成としては、例えば、第1音響処理プログラムおよび第2音響処理プログラムの一方を、他方と比較して簡略化した内容(例えば特定の機能を省略した内容や音響処理の品質を低下させた内容)とした構成が想定され得る。
なお、第4態様の音響処理システムの選択手段が動作モードを選択する基準は任意であるが、例えば、端末装置に対する利用者からの指示に応じて処理代行モードと自己処理モードとの何れかを選択する構成が採用され得る。通信網の伝送能力(伝送速度)に応じて処理代行モードと自己処理モードとの何れかを選択する構成(例えば伝送能力が低い場合に自己処理モードを選択する構成)や、音響処理の対象となる音データの合計データ量に応じて処理代行モードと自己処理モードとの何れかを選択する構成(例えば音データの合計データ量が多い場合には自己処理モードを選択する構成)も好適である。また、第4態様では、ストリーミング形式でのデータの授受や管理プログラムおよび音響処理プログラムの常駐といった第1態様の特徴は省略され得る。
また、本発明は、以上の各態様における音響処理装置や管理装置としてコンピュータを機能させるプログラムとしても特定される。本発明に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。
第1実施形態に係る音響処理システムのブロック図である。 端末装置のブロック図である。 音データの模式図である。 登録装置のブロック図である。 利用登録の手順の説明図である。 音響処理装置のブロック図である。 音響処理装置の機能的な構成を示すブロック図である。 管理装置のブロック図である。 割当情報の更新の手順の説明図である。 音響処理サービスの概略的な手順の説明図である。 準備処理の説明図である。 開始処理の説明図である。 変数設定画面の模式図である。 代行処理の説明図である。 音響処理の具体例の説明図である。 終了処理の説明図である。 第2実施形態における音データの模式図である。 第3実施形態における代行処理の説明図である。 第4実施形態における変数設定画面の模式図である。 第4実施形態における音響処理装置のブロック図である。 第4実施形態における動作モードの変更に関する動作の説明図である。 第5実施形態に係る音響処理システムのブロック図である。 第5実施形態における動作モードの変更に関する動作の説明図である。
<A:第1実施形態>
<A−1:構成>
図1は、本発明の第1実施形態に係る音響処理システム100のブロック図である。図1に示すように、音響処理システム100は、登録装置20と複数の音響処理装置30と管理装置40とを具備するコンピュータネットワークシステムである。音響処理システム100の各要素(登録装置20,各音響処理装置30,管理装置40)は通信網200を介して相互に通信する。通信網200の典型例はインターネットである。ただし、音響処理システム100の各要素を専用の回線で相互に接続した構成も採用され得る。
通信網200には端末装置10が接続される。端末装置10は、例えばパーソナルコンピュータや可搬型の情報端末(例えば携帯電話機)である。音響処理システム100の各要素(登録装置20,各音響処理装置30,管理装置40)は、例えばHTTP(HyperText Transfer Protocol)に準拠した方式で端末装置10と通信する。なお、実際には複数の端末装置10が通信網200に接続されるが、図1では便宜的に1個の端末装置10のみを図示した。1個の端末装置10について以下に説明する構成や処理は、通信網200に接続された複数の端末装置10について同様に適用される。
音響処理システム100は、音響処理を代行するサービス(以下「音響処理サービス」という)を端末装置10に提供する。音響処理サービスは、概略的には、端末装置10から送信された音データDaに対して音響処理を実行(すなわち代行)し、処理後のデータ(以下「処理済データ」という)Dbを端末装置10に送信するサービスである。残響音や特定の周波数特性などの音響効果を付与する処理(効果付与)を以下では音響処理として例示する。
図2は、端末装置10のブロック図である。図2に示すように、端末装置10は、制御装置12と記憶装置14と入力装置16と表示装置17と放音装置18とを具備する。制御装置12は、記憶装置14に格納されたプログラムPGM1の実行で様々な処理(後述)を実行する。記憶装置14は、プログラムPGM1や処理ファイルFを記憶する。処理ファイルFは、音響処理システム100による音響処理の対象となるデータファイルである。楽曲の演奏音や歌唱音の時間波形を表す波形データを処理ファイルFとした場合を以下では例示する。
入力装置16は、利用者からの指示を受付ける機器(例えばマウスやキーボード)である。表示装置(例えば液晶表示装置)17は、制御装置12から指示された画像を表示する。放音装置(例えばスピーカやヘッドホン)18は、制御装置12からの指示に応じた音波を放射する。例えば、音響処理システム100から提供される処理済データDbや記憶装置14に記憶された処理ファイルFに応じた音波が放音装置18から放射される。
第1実施形態では、記憶装置14内の処理ファイルFを分割した複数のデータ(ストリーミングデータ)が音データDaとしてストリーミング方式で順次に音響処理装置30に送信および処理され、各音データDaに対応する処理済データDbがストリーミング方式で順次に端末装置10に送信および再生される。図3は、1個の音データDaの模式図である。図3に示すように、音データDaは、処理対象データWと変数設定データVとを含んで構成される。
処理対象データWは、音響処理の対象となる時系列データである。具体的には、図3に示すように、記憶装置14に格納された処理ファイルFを分割した複数の波形データ(ストリーミングデータ)の各々が1個の処理対象データWとして音データDaに含められる。処理対象データWは、複数のフレーム(処理の単位となる所定長の区間)で構成される。1個の処理対象データWを構成するフレームの総数は音データDa毎に相違し得る。
変数設定データVは、音響処理に反映される変数(以下「処理変数」という)Xの数値を指定するデータであり、変数識別子VIDと設定値vAとタイミングデータvTとを含んで構成される。処理変数Xは、例えば、残響音を付加する音響処理については残響時間や反射音の次数であり、周波数特性を変更する音響処理(イコライジング)については帯域毎のゲインである。変数識別子VIDは、処理変数Xの種類を識別するための符号(例えば処理変数Xの名称)である。設定値vAは、処理変数Xに指定された数値を意味し、入力装置16に対する利用者からの操作に応じて可変に設定される。タイミングデータvTは、処理変数Xの数値を設定値vAに変更する時点を指定する情報である。例えば、タイミングデータvTは、処理対象データWの先頭からの経過時間(フレーム数)を指定する。
音響処理サービスの利用を希望する利用者は、事前に利用登録を受ける。図1の登録装置20は、利用登録を管理する装置である。図4に示すように、登録装置20は、制御装置22と記憶装置24とを具備するコンピュータシステムで実現される。制御装置22は、記憶装置24に格納されたプログラムPGM2の実行で様々な処理(後述)を実行する。記憶装置24は、プログラムPGM2や登録情報BRを記憶する。登録情報BRは、利用登録が完了した利用者毎のレコードrAの集合である。各レコードrAは、利用者の識別子(以下「利用者識別子」という)UID(user ID)と、パスワードPWDおよび決済情報PYと、利用者が利用できる音響処理の識別子(以下「処理識別子」という)PIDとを含んで構成される。決済情報PYは、音響処理サービスの利用時の決済(課金)に必要な情報であり、例えば利用者の氏名および住所等の個人情報や利用者が所有するクレジットカードの番号である。
図5は、利用登録の手順の説明図である。端末装置10の制御装置12は、プログラムPGM1内の閲覧ソフトを起動することで登録装置20に接続し、登録装置20が提供する登録画面および購入画面を表示装置17に表示させる(QA1)。登録画面は、個人情報(UID,PWD,PY)を利用者に入力させる画像である。他方、購入画面は、複数の商品のうち購入を希望する商品を利用者に選択させる画像である。各商品は、音響処理サービスを利用する権利に相当する。利用者が利用できる音響処理の種類は商品毎に相違する。なお、複数種の音響処理を一括的に利用する権利を1個の商品として用意した構成も好適である。
端末装置10の制御装置12は、登録画面に対して利用者が入力した個人情報(UID,PWD,PY)と、購入画面に対して利用者が指示した商品に対応する音響処理の処理識別子PIDとを登録装置20に送信する(QA2)。登録装置20の制御装置22は、端末装置10から受信した個人情報(UID,PWD,PY)と処理識別子PIDとを含むレコードrAを登録情報BRに追加する(QA3)。なお、利用者が購入した商品の識別子を端末装置10から登録装置20に送信し、登録装置20の制御装置22がその商品に対応する音響処理の処理識別子PIDを特定してレコードrAを生成する構成も採用され得る。
図1における複数の音響処理装置30の各々は、音データDaに対する音響処理を実行する。各音響処理装置30は、複数種の音響処理を選択的に実行する。なお、提供可能な音響処理の種類が複数の音響処理装置30で共通する場合を以下では便宜的に例示するが、音響処理装置30毎に音響処理の種類が相違する構成も採用され得る。
図6は、音響処理装置30のブロック図である。図6に示すように、音響処理装置30は、制御装置32と記憶部34とを具備するコンピュータシステムで実現される。記憶部34は、主記憶装置(1次記憶装置)342と補助記憶装置(2次記憶装置)344とを含んで構成される。主記憶装置342は、制御装置32による直接的な書込や読出が可能な記録媒体(例えば半導体記録媒体)である。補助記憶装置344は、主記憶装置342と比較して書込や読出の速度は遅いが容量は大きい記録媒体(例えば磁気記録媒体)である。補助記憶装置344にはプログラムPGM3が記憶される。制御装置32は、補助記憶装置344に格納されたプログラムPGM3の実行で様々な処理(後述)を実行する。
図6に示すように、プログラムPGM3は、通信網200を介した端末装置10や管理装置40との通信を管理するための管理プログラム(サーバプログラム)PAと、音響処理を実現する音響処理プログラムPBとを含んで構成される。音響処理プログラムPBは、例えば音響処理装置30の機能を拡張するプラグイン(例えばVST(Virtual Studio Technology)プラグイン)の形態で提供される(「VST」は登録商標)。
図7は、音響処理装置30の機能的な構成を示すブロック図である。図7に示すように、制御装置32は、管理部62および音響処理部64として機能する。管理部62は、管理プログラムPAの実行で実現され、通信網200を介した端末装置10や管理装置40との通信を管理する。管理部62は、受信部622と送信部624とを含んで構成される。受信部622は、端末装置10から順次に送信される音データDaを受信して主記憶装置342に順次に格納する。送信部624は、音データDaから生成された処理済データDbを順次に端末装置10に送信する。
音響処理部64は、音響処理プログラムPBの実行で実現され、管理部62が主記憶装置342に格納した音データDaに対する音響処理の実行で処理済データDbを生成して主記憶装置342に格納する。音響処理部64は、複数種の音響処理を選択的に実行することが可能である。
管理プログラムPAや音響処理プログラムPBは主記憶装置342に常駐する。すなわち、管理プログラムPAおよび音響処理プログラムPBは、音データDaの処理が要求されるたびに補助記憶装置344から主記憶装置342に読込まれるのではなく、音響処理装置30の起動時(OSの起動)に補助記憶装置344から主記憶装置342に読込まれ、音響処理装置30の起動中は常に音データDaの処理が可能な状態(管理部62や音響処理部64が機能する状態)に維持される。
図1の管理装置40は、複数の音響処理装置30を利用した音響処理サービスを統括的に管理する装置であり、図8に示すように、制御装置42と記憶装置44とを具備するコンピュータシステムで実現される。制御装置42は、記憶装置44に格納されたプログラムPGM4を実行することで様々な機能(処理部422,割当部424)を実現する。処理部422は、音響処理サービスを管理する要素であり、端末装置10の利用者の認証や端末装置10との通信に必要な準備など各種の処理を実行する。割当部424は、端末装置10に対して音響処理サービスを提供する音響処理装置30を複数の音響処理装置30から選択する。
記憶装置44は、制御装置42が実行するプログラムPGM4と、相異なる音響処理に対応する複数の変数情報BVと、端末装置10に対する音響処理装置30の割当に利用される割当情報BAとを記憶する。各音響処理に対応する1個の変数情報BVは、その音響処理に適用される処理変数X(単数または複数)に関する情報である。具体的には、変数情報BVは、処理変数Xの変数識別子VIDと指示値vBとを、音響処理の処理変数X毎に含んで構成される。変数情報BVの指示値vBは、処理変数Xの設定値vA(図3)を端末装置10にて設定するときに利用される数値である。例えば、処理変数Xの初期値や数値範囲(最大値,最小値)が指示値vBとして変数情報BVで指定される。
図8の割当情報BAは、各音響処理装置30の負荷の状況を示す情報であり、図8に示すように、音響処理装置30毎のレコードrBの集合である。各レコードrBは、音響処理装置30の識別子(以下「装置識別子」という)HID(host ID)と起動状況C1および負荷状況C2とを含んで構成される。装置識別子HIDは、例えば音響処理装置30の所在を示す情報(IPアドレスやポート番号)を含む。起動状況C1は、音響処理装置30の起動/停止を示す情報(フラグ)であり、負荷状況C2は、音響処理装置30の負荷の状況(例えば、音響処理装置30が音響処理サービスを提供している端末装置10の台数)を示す情報である。なお、起動中の音響処理装置30のみについてレコードrBを生成する構成(したがって、起動状況C1は省略される)も採用され得る。
図9は、割当情報BAの更新の手順の説明図である。図9に示すように、音響処理装置30の起動を契機として、管理部62は、自身の装置識別子HIDを含む登録要求を管理装置40に送信する(QB1)。管理装置40の処理部422は、音響処理装置30から受信した登録要求を割当部424に転送する(QB2)。登録要求を受信すると、割当部424は、割当情報BAのうち登録要求で指定された装置識別子HIDに対応する起動状況C1を、起動中を示す数値に変更する(QB3)。
割当部424は、端末装置10に対する音響処理サービスの提供に並行して、音響処理装置30の負荷の状況に応じて負荷状況C2を随時に更新する。具体的には、割当部424は、例えば所定の間隔で発生する割込を契機として、複数の音響処理装置30の各々に状況照会を送信する(QB4)。状況照会を受信すると、音響処理装置30の管理部62は、自身の負荷の状況を示す状況通知を管理装置40の割当部424に送信する(QB5)。割当部424は、音響処理装置30から受信した状況通知に応じて割当情報BAの負荷状況C2を更新する(QB6)。また、複数の音響処理装置30の各々は、例えば所定の間隔で発生する割込を契機として、自身の負荷の状況を示す状況通知を管理装置40に送信する(QB7)。管理装置40の処理部422を介して状況通知を受信すると(QB8)、割当部424は、ステップQB6と同様に、割当情報BAの負荷状況C2を状況通知に応じて更新する(QB9)。
他方、音響処理装置30の停止が指示されると、管理部62は、自身の装置識別子HIDを含む解除要求を管理装置40に送信する(QB10)。管理装置40の処理部422を介して解除要求を受信すると(QB11)、割当部424は、割当情報BAのうち解除要求で指定された装置識別子HIDに対応する起動状況C1を、停止中を示す内容に変更する(QB12)。複数の音響処理装置30の各々について以上の処理が順次に実行されることで、割当情報BAは、各音響処理装置30の最新の状況を示す内容に維持される。
<A−2:動作>
図10は、音響処理システム100の全体の概略的な処理を示すフローチャートである。まず、端末装置10が音響処理システム100との通信を開始するために必要な準備処理が、端末装置10からの要求を契機として実行される(SA)。次いで、音響処理サービスを端末装置10に提供するために必要な開始処理が実行される(SB)。開始処理SBは、端末装置10に対する音響処理装置30の割当を含む。開始処理SBが完了すると、端末装置10に対して音響処理サービスを実際に提供する処理(以下「代行処理」という)が実行される(SC)。代行処理SCが終了すると、音響処理サービスを終了するために必要な処理(以下「終了処理」という)が実行される(SD)。各処理の具体的な手順を以下に詳述する。
[1]準備処理SA(図11)
図11は、準備処理SAの手順の説明図である。入力装置16に対する利用者からの指示を契機として,端末装置10の制御装置12は、音響処理サービスの開始の要求(INITIATE要求)を管理装置40に送信する(SA1)。INITIATE要求は、利用者が入力装置16に入力した利用者識別子UIDとパスワードPWDとを含む。INITIATE要求を受信すると、管理装置40の処理部422は、INITIATE要求内の利用者識別子UIDとパスワードPWDとを含む認証要求を登録装置20に送信する(SA2)。登録装置20の制御装置22は、管理装置40から受信した認証要求内の利用者識別子UIDおよびパスワードPWDと記憶装置24内の登録情報BRとの照合で利用者の正当性を検証する(SA3)。具体的には、制御装置22は、利用者識別子UIDとパスワードPWDとを含むレコードrAが登録情報BRに存在する場合には利用者の正当性を肯定し、該当するレコードrAが存在しない場合には利用者の正当性を否定する。制御装置22は、認証結果を管理装置40に送信する(SA4)。
登録装置20から受信した認証結果が否定である場合、管理装置40の処理部422は、認証の失敗を端末装置10の利用者に通知して処理を終了する(図示略)。他方、認証結果が肯定である場合、処理部422は、利用者が利用可能な音響処理(購入済の音響処理)を登録装置20に照会(利用照会)する(SA5)。利用照会は、利用者識別子UIDを含む。登録装置20の制御装置22は、利用照会内の利用者識別子UIDに対応する各処理識別子PID(すなわち、利用者が利用可能な音響処理の処理識別子PID)を記憶装置24の登録情報BRから検索し(SA6)、各処理識別子PIDを含む照会応答(処理識別子PIDの一覧)を管理装置40に送信する(SA7)。
登録装置20から照会応答を受信すると、管理装置40の処理部422は、秘密鍵KSおよび公開鍵KPと利用処理情報A1および利用変数情報A2とを生成して記憶装置44に格納する(SA8)。秘密鍵KSおよび公開鍵KPの生成には公知の技術が任意に採用される。なお、端末装置10と音響処理システム100との間で授受される情報の認証(正当性の検証)には、秘密鍵KSと公開鍵KPとを利用する方法(デジタル署名)に代えて、メッセージ認証コードを利用する技術など公知の技術が任意に採用され得る。
利用処理情報A1は、利用者が利用可能な音響処理を指定する情報(すなわち、購入済の商品に対応する音響処理のリスト)であり、照会応答内の各処理識別子PIDを含んで構成される。他方、利用変数情報A2は、照会応答内の各処理識別子PIDが示す音響処理の処理変数Xに関する情報である。処理部422は、記憶装置44に音響処理毎に格納された複数の変数情報BVのうち、照会要求内の各処理識別子PIDが示す音響処理の変数情報BVを選択的に抽出して利用変数情報A2に含ませる。すなわち、利用変数情報A2は、複数種の音響処理のうち利用者が利用可能な音響処理の変数情報BVの集合(パラメータリスト)である。
管理装置40の処理部422は、開始応答を端末装置10に送信する(SA9)。開始応答は、ステップSA8で生成した秘密鍵KSと利用処理情報A1と利用変数情報A2とを含んで構成される。端末装置10の制御装置12は、管理装置40から受信した開始応答内の各情報(KS,A1,A2)を記憶装置14に格納し、利用処理情報A1が示す音響処理のリストを、利用者による選択の候補として表示装置17に表示させる(SA10)。
利用者が入力装置16の操作で所望の音響処理を選択すると、端末装置10の制御装置12は、チケット情報TCKの要求(TICKET要求)を管理装置40に送信する(SA11)。チケット情報TCKは、音響処理サービスの利用の許可を意味する情報である。TICKET要求は、利用者識別子UIDおよび署名情報SGと、利用者がステップSA10で選択した音響処理の処理識別子PIDとを含んで構成される。署名情報SGは、秘密鍵KSを利用した演算で利用者識別子UIDおよび処理識別子PIDから生成される。
端末装置10からTICKET要求を受信すると、管理装置40の処理部422は、記憶装置44内の公開鍵KPを利用してTICKET要求内の署名情報SGの正当性を検証し、署名情報SGが正当である場合には、TICKET要求内の利用者識別子UIDと処理識別子PIDとを含む照合要求を登録装置20に送信する(SA12)。署名情報SGの正当性が否定される場合、処理部422は、TICKET要求の拒否を端末装置10の利用者に通知して処理を終了する(図示略)。
登録装置20の制御装置22は、管理装置40から受信した照合要求内の利用者識別子UIDと処理識別子PIDとを含むレコードrAに決済情報PYが登録されているか否かを判定し(SA13)、判定の結果(照合結果)を管理装置40に送信する(SA14)。照合結果が否定である場合、管理装置40の処理部422は、TICKET要求の拒否を端末装置10の利用者に通知して処理を終了する(図示略)。他方、照合結果が肯定である場合、管理装置40の処理部422は、チケット情報TCKを生成して端末装置10に送信する(SA15)。チケット情報TCKは、端末装置10と音響処理システム100との間の通信(セッション)毎に変化するように生成される。端末装置10の制御装置12は、管理装置40から受信したチケット情報TCKを記憶装置14に格納する。
[2]開始処理SB(図12)
以上の準備処理SAで音響処理システム100との通信が許可されると、端末装置10に対する音響処理サービスの提供に必要な開始処理SBが実行される。図12は、開始処理SBの手順の説明図である。端末装置10の制御装置12は、音響処理サービスの開始の要求(OPEN要求)を管理装置40に送信する(SB1)。OPEN要求は、利用者がステップSA10にて選択(SA10)した音響処理の処理識別子PIDと、利用者識別子UIDと、準備処理(SA15)で取得したチケット情報TCKと、以上の情報(PID,UID,TCK)から秘密鍵KSを利用して生成された署名情報SGとを含む。
端末装置10から受信したOPEN要求が正当なチケット情報TCKを含む場合、管理装置40の処理部422は、セッション識別子SID(session ID)を生成して記憶装置44に格納する(SB2)。OPEN要求が正当なチケット情報TCKを含まない場合、処理部422は、OPEN要求の拒否を端末装置10に対して通知して処理を終了する(図示略)。
セッション識別子SIDを生成すると、処理部422は、端末装置10に対する音響処理装置30の割当の要求(割当要求)を割当部424に対して送信する(SB3)。割当要求は、ステップSB2で生成したセッション識別子SIDと、割当要求が初回の要求であるか否かを示す情報(フラグ)Nとを含んで構成される。現段階での割当要求は初回であるから、情報Nは、初回を意味する「1」に設定される。
割当要求を受信すると、割当部424は、端末装置10に割当可能な音響処理装置30が存在するか否かを、割当情報BAを参照して判定する(SB4)。例えば、割当部424は、割当情報BAの起動状況C1が起動を示し、かつ、負荷状況C2(音響処理サービスの提供中の端末装置10の台数)が所定の閾値を下回る音響処理装置30の有無を判定する。割当可能な音響処理装置30が存在しない場合、以下に詳述するように、割当の待機の要求を意味する通知(QUEUE通知)と端末装置10からのOPEN要求の再送とを含む再試行処理SB5(SB51〜SB54)が反復される(ポーリング処理)。他方、割当可能な音響処理装置30が存在するとステップSB4にて判定した場合、割当部424は、再試行処理SB5を実行せずに処理をステップSB6に移行する。
再試行処理SB5が実行される場合、管理装置40の割当部424は、割当の待機を要求するQUEUE通知を処理部422に送信する(SB51)。QUEUE通知を受信した処理部422は、ステップSB2で生成したセッション識別子SIDとOPEN要求の再送時期tとをQUEUE通知に付加して端末装置10に送信する(SB52)。端末装置10の制御装置12は、管理装置40から受信したQUEUE通知内のセッション識別子SIDを記憶装置14に格納し、QUEUE通知で指定された再送時期tの到来を契機として管理装置40にOPEN要求を再送する(SB53)。例えば、制御装置12は、再送時期tで指定された時間(例えば5秒)がQUEUE通知の受信から経過した時点でOPEN要求を再送する。2回目以降のOPEN要求はセッション識別子SIDを含む。管理装置40の処理部422は、2回目以降のOPEN要求を意味する「0」に設定された情報NをOPEN要求に付加した割当要求を割当部424に送信する(SB54)。以上に説明した再試行処理SB5(SB51〜SB54)は、端末装置10に対する音響処理装置30の割当が可能となるまで順次に反復される。
再試行処理SB5の実行中に音響処理装置30の割当が可能な状況に遷移した場合、または、ステップSB4での判定の結果が肯定である場合、割当部424は、割当通知を処理部422に送信する(SB6)。割当通知は、端末装置10に割当てる音響処理装置30の装置識別子HIDを含んで構成される。割当通知を受信すると、処理部422は、今回の音響処理サービスの通信に適用される共通鍵(セッション鍵)KCを生成する(SB7)。
管理装置40の処理部422は、割当通知内の装置識別子HIDで特定される音響処理装置30に対してOPEN要求を送信する(SB8)。音響処理装置30に対するOPEN要求は、ステップSB1で端末装置10から受信した各情報(PID,UID)と、準備処理SA(SA8)で生成した公開鍵KPと、今回の開始処理SB(SB2,SB7)で生成したセッション識別子SIDおよび共通鍵KCとを含んで構成される。音響処理装置30の管理部62は、管理装置40から受信したOPEN要求内の各情報(PID,UID,KP,SID,KC)を記憶部34(主記憶装置342)に格納する。
また、管理装置40の処理部422は、割当通知を端末装置10に送信する(SB9)。割当通知は、今回の開始処理SB(SB2,SB7)で生成したセッション識別子SIDおよび共通鍵KCと、割当部424が選択した音響処理装置30の装置識別子HIDとを含んで構成される。端末装置10の制御装置12は、管理装置40から受信した割当通知内の各情報(HID,SID,KC)を記憶装置14に格納する。以上に説明した開始処理SBが実行されることで、セッション識別子SIDと共通鍵KCとが端末装置10と音響処理装置30とで共有される。なお、準備処理SAや開始処理SBの実行時に端末装置10と管理装置40とで授受される情報は、例えばSSL(Secure Socket Layer)に準拠した方法で暗号化される。
[3]代行処理SC(図13)
以上に説明した準備処理SAおよび開始処理SBの完了を契機として、端末装置10から音響処理装置30に対する音データDaの送信と、音データDaに対する音響処理の実行(処理済データDbの生成)と、音響処理装置30から端末装置10に対する処理済データDbの送信とが順次に並列的に実行される。
利用者は、入力装置16を適宜に操作することで、代行処理SC(音データDaや処理済データDbの授受)の実行中の任意の時点にて処理変数Xの設定値vAを変更することが可能である。以下に説明するように、準備処理SA(SA9)で管理装置40から受信した利用変数情報A2(パラメータリスト)が処理変数Xの設定(変更)に利用される。
端末装置10の制御装置12は、準備処理SA(SA10)で利用者が選択した音響処理毎に変数設定画面172を表示装置17に表示させる。ひとつの音響処理に対応する変数設定画面172は、その音響処理の処理変数Xの設定時に利用者が視認する画像であり、図13の例示のように、その音響処理(音響処理α)の処理変数X(X_A,X_B,X_C)に対応する複数の操作子174を含んで構成される。利用者は、入力装置16を利用して各操作子174を操作することが可能である。
制御装置12は、管理装置40から受信した利用変数情報A2(変数情報BV)と各操作子174に対する利用者からの操作とに応じて処理変数Xの設定値vAを設定する。例えば、利用変数情報A2に含まれる変数情報BVの指示値vBが処理変数Xの数値範囲や初期値を指定する場合、制御装置12は、処理変数Xの設定値vAを、指示値vBが示す初期値から、指示値vBが示す数値範囲内で、操作子174に対する利用者からの操作に応じて可変に設定する。なお、処理変数Xの変更を利用者が指示しない場合、制御装置12は、利用変数情報A2に含まれる変数情報BVの指示値vBが示す初期値を設定値vAとして設定する。
代行処理SCの実行中に以上の手順で処理変数Xの設定値vAが指示されると、制御装置12は、その処理変数Xの変数識別子VIDと、利用者から指示された設定値vAと、処理変数Xの変更の時点(例えば利用者が設定値vAを指示した時点)を示すタイミングデータvTとを含む変数設定データVを直後の音データDaに付加する。変数設定データVは、設定値vAを利用者が指示するたびに、図3の例示のように音データDaに付加され、設定値vAが変更されない場合には付加されない。
図14は、代行処理SCの手順の説明図である。図14に示すように、代行処理SCは、送信処理SC1(SC11〜SC14)と加工処理SC2(SC21,SC22)と返信処理SC3(SC31〜SC34)とを含んで構成される。送信処理SC1は、処理ファイルFを区分した処理対象データW毎に順次に実行され、加工処理SC2は送信処理SC1のたびに順次に実行される。返信処理SC3は、処理済データDb毎に順次に実行される。送信処理SC1と返信処理SC3とは非同期に実行され得る。
送信処理SC1を開始すると、端末装置10の制御装置12は、記憶装置14に格納された処理ファイルFを区分した1個の処理対象データWを含む音データDaを生成する(SC11)。処理変数Xの設定値vAが利用者から指示された場合には変数設定データVが音データDaに付加される。制御装置12は、ステップSC11で生成した音データDaに対する音響処理の要求(PUT要求)を音響処理装置30に送信する(SC12)。図12の開始処理SB(SB9)で管理装置40から通知された装置識別子HIDに対応する音響処理装置30(すなわち、割当部424が端末装置10に割当てた音響処理装置30)がPUT要求の送信先として選定される。PUT要求は、例えば所定の間隔で順次に送信される。
PUT要求は、音データDaと付加情報B1と署名情報SGとを含んで構成される。付加情報B1は、端末装置10の利用者が入力した利用者識別子UIDと、開始処理SB(SB53,SB9)にて管理装置40から通知されたセッション識別子SIDと、音データDa内の処理対象データWのサイズ(例えばフレーム数)とを含む。署名情報SGは、準備処理SA(SA9)で通知された秘密鍵KSを利用した演算で音データDaと付加情報B1とから生成される。また、音データDaは、開始処理SB(SB9)で管理装置40から通知された共通鍵KCを利用して暗号化される。なお、付加情報B1のみから署名情報SGを生成することで処理の負荷を軽減する構成も採用され得る。
PUT要求を受信すると、音響処理装置30の受信部622は、開始処理SB(SB8)で管理装置40から取得した公開鍵KPを利用してPUT要求内の署名情報SGの正当性を検証し(SC13)、署名情報SGの正当性が否定される場合にはPUT要求の拒否を端末装置10の利用者に通知して処理を終了する(図示略)。他方、署名情報SGの正当性が肯定されると、受信部622は、開始処理SB(SB8)にて管理装置40から取得した共通鍵KCを利用してPUT要求内の音データDaを復号し、復号後の音データDaを主記憶装置342に格納する(SC14)。以上が送信処理SC1の内容である。
音響処理装置30の音響処理部64は、管理部62(受信部622)が主記憶装置342に格納した音データDaに対して加工処理SC2を実行する。具体的には、音響処理部64は、開始処理SB(SB8)にて管理装置40から通知された処理識別子PIDの各音響処理(すなわち利用者がステップSA10で選択した音響処理)を音データDa内の処理対象データWに対して順次に実行することで処理済データDbを生成する(SC21)。すなわち、利用者が選択した音響処理に応じた音響効果を処理対象データWに付加した処理済データDbが生成される。音響処理部64は、音響処理で生成した処理済データDbを主記憶装置342に順次に格納する(SC22)。以上の加工処理SC2(SC21,SC22)は、音データDaが送信処理SC1(SC12)で主記憶装置342に格納されるたびに送信処理SC1と並行して順次に実行される。すなわち、音データDa(処理ファイルF)はストリーミング方式で授受および処理される。
音データDa内の処理対象データWに対する各音響処理(SC21)には、その音データDa内の変数設定データVが示す設定値vAが適用される。すなわち、音響処理部64は、変数設定データVの変数識別子VIDが示す処理変数Xの数値を、タイミングデータvTが示す時点で設定値vAに変更して音響処理を実行する。したがって、処理済データDbが示す音には利用者からの指示(設定値vA)が反映される。音響処理の実行や処理変数Xの制御には公知の技術が任意に採用される。
ところで、特定の時点の音に対して音響処理で付加される音響効果は以後の音にも影響する場合がある。例えば、図15に示すように、音響処理(残響音の付加)で時点t0の音に付加された残響音は、以後の期間Tにわたって維持される。したがって、音響処理部64が図15の1個の処理対象データW_2のみから処理済データDbを生成する構成(すなわち、処理対象データW_1を加味しない構成)では、直前の処理対象データW_1の音響処理で発生した残響音が、図15に破線で示すように処理対象データW_2の先頭で不連続に消滅し、聴感的に不自然となる可能性がある。そこで、第1実施形態では、以下に説明するように、処理対象データW_2から生成される処理済データDbに直前の処理対象データW_1の影響が反映されるように音響処理が実行される。
管理部62(受信部622)は、図7に示すように、端末装置10から順次に受信する音データDaのうち、最新の音データDa_2(処理対象データW_2)とその直前の音データDa_1(処理対象データW_1)とが主記憶装置342に保持されるように、各音データDaを主記憶装置342に順次に格納する。具体的には、端末装置10から新規な音データDaを受信すると、管理部62は、主記憶装置342内の過去の2個の音データDaのうち古い方の音データDaを消去して新規な音データDaを主記憶装置342に格納する。
音響処理部64は、最新の処理対象データW_2に対する音響処理を、直前の処理対象データW_1の影響を加味して実行することで、処理対象データW_2に対応する処理済データDbを生成する。例えば、直前の音響処理で処理対象データW_1に付加された残響音が処理対象データW_2に対する音響処理後の処理済データDbでも継続し、かつ、処理対象データW_1の処理済データDbと処理対象データW_2の処理済データDbとの境界で音が連続するように、音響処理部64は音響処理を実行する。
以上の構成によれば、処理対象データW_1に付加された音響効果が処理対象データW_2の先頭で不連続に消滅することが回避される。したがって、各処理済データDbの再生音を聴感的に自然に連続させることが可能である。また、音響処理に利用される音データDa(Da_1,Da_2)以外の音データDaは主記憶装置342から消去されるため、処理ファイルFの全体に相当する音データDaを主記憶装置342に保持する構成と比較して、主記憶装置342に必要な容量を削減できるという利点がある。
図14の返信処理SC3は、音響処理部64が生成した処理済データDbを端末装置10に送信する処理である。端末装置10の制御装置12は、処理済データDbの要求(GET要求)を音響処理装置30に送信する(SC31)。開始処理SB(SB9)で通知された装置識別子HIDの音響処理装置30がGET要求の送信先として選定される。GET要求は、例えば所定の間隔で順次に送信される。
GET要求は、付加情報B2と署名情報SGとを含んで構成される。付加情報B2は、PUT要求の付加情報B1と同様に、利用者識別子UIDおよびセッション識別子SIDと、音響処理装置30に要求する処理済データDbのサイズ(例えばフレーム数)とを含む。署名情報SGは、秘密鍵KSを利用した演算で付加情報B2から生成される。
GET要求を受信すると、音響処理装置30の管理部62(受信部622)は、公開鍵KPを利用してGET要求内の署名情報SGの正当性を検証する(SC32)。署名情報SGの正当性が肯定された場合、送信部624は、GET要求の付加情報B2で指示されたサイズの処理済データDbを主記憶装置342から取得し、共通鍵KCで暗号化したうえで端末装置10に送信する(SC33)。端末装置10の制御装置12は、音響処理装置30から受信した処理済データDbを共通鍵KCで復号したうえで放音装置18に供給する(SC34)。放音装置18は、処理済データDbが示す再生音を放射する。処理済データDbの再生(SC34)は、端末装置10が処理済データDbを受信するたびに順次に実行される。すなわち、処理済データDbはストリーミング方式で授受および処理(再生)される。利用者は、自身が選択した音響処理を処理ファイルFに対して実行した再生音を聴取することが可能である。
[4]終了処理SD(図16)
利用者から終了が指示された場合や処理ファイルF内の全体について処理が完了した場合には、音響処理サービスを終了するための終了処理SDが実行される。図16は、終了処理SDの手順の説明図である。図16に示すように、端末装置10の制御装置12は、通信の完了の要求(CLOSE要求)を音響処理装置30に送信する(SD1)。CLOSE要求は、利用者識別子UIDおよびセッション識別子SIDと、秘密鍵KSで生成された署名情報SGとを含んで構成される。
CLOSE要求を受信すると、音響処理装置30の管理部62は、CLOSE要求内の署名情報SGの正当性を検証し、署名情報SGの正当性が肯定される場合には、利用者識別子UIDとセッション識別子SIDとを含む終了通知を管理装置40に送信する(SD2)。終了通知を受信した管理装置40の処理部422は、終了通知で指定されたセッション識別子SIDを記憶装置44から削除する(SD3)。すなわち、端末装置10と音響処理システム100との通信(セッション)が終了する。また、割当部424は、割当情報BAのうち終了通知を送信してきた音響処理装置30の負荷状況C2を更新する(SD4)。例えば、割当部424は、負荷状況C2が示す端末装置10(音響処理サービスの提供中の端末装置10)の台数を減少させる。以上の処理が完了すると、処理部422は、利用者識別子UIDを含む利用通知を登録装置20に送信する(SD5)。
利用通知を受信すると、登録装置20の制御装置22は、利用通知内の利用者識別子UIDに対応する決済情報PYを登録情報BRから検索し、この決済情報PYを利用した決済処理(今回の音響処理サービスの提供に対する課金)を実行する(SD6)。決済処理には公知の技術が任意に採用される。決済処理の完了が管理装置40に通知されることで(SD7)、終了処理SDが完了する。
以上に説明したように、本実施形態においては、音データDa(処理対象データW)がストリーミング方式で音響処理装置30に送信されて音響処理が実行され、音響処理後の処理済データDbがストリーミング方式で端末装置10に送信されて再生される。したがって、処理ファイルFの全体を音響処理装置30が受信してから音響処理を開始する構成や、音響処理後のファイルの全体を端末装置10が受信してから再生を開始する構成と比較して、音響処理サービスの開始から音響処理後の再生音を利用者が実際に聴取するまでの時間を短縮することが可能である。
また、以上のように処理対象データWの音響処理や処理済データDbの再生が実時間的に実行されるから、音響処理の処理変数Xを代行処理SCに並行して随時に変化させることが可能である。したがって、再生音を実際に聴取しながら、所望の特性の再生音が生成されるように利用者が処理変数Xを調整できるという利点がある。
ところで、処理ファイルFの全体を取得してから音響処理を開始する構成では、処理ファイルFの書込や読出に高い速度は要求されないから、処理ファイルFを補助記憶装置344に格納したうえで音響処理の実行時に随時に読出す構成も採用され得る。しかし、第1実施形態のように音データDaや処理済データDbをストリーミング方式で処理する構成のもとで音データDaや処理済データDbを補助記憶装置344に格納する場合には、補助記憶装置344に対する書込や読出の遅延の影響で再生音の中断などの不具合が発生する可能性がある。他方、第1実施形態においては、高速な書込や読出が可能な主記憶装置342に音データDaや処理済データDbが直接に格納されるから、処理の遅延が充分に抑制される(したがって、再生音の中断が発生し難い)という利点がある。ストリーミング方式で授受される音データDaや処理済データDbを主記憶装置342に格納する構成は、前述のように、管理プログラムPAや音響処理プログラムPBを主記憶装置342に常駐させることで有効に実現される。
また、音響処理装置30毎の負荷状況C2が管理装置40(割当部424)にて管理され、複数の音響処理装置30のうち音響処理を実行可能な音響処理装置30が音響処理サービスの提供元として選択的に端末装置10に割当てられる。したがって、例えば各音響処理装置30の負荷を均等化しながら複数の端末装置10に対して並列に音響処理サービスを提供できるという利点がある。
<B:第2実施形態>
次に、本発明の第2実施形態について説明する。第1実施形態では、音響処理装置30の音響処理部64が実行する音響処理として効果付与を例示した。第2実施形態では、効果付与に加えて、処理対象データWが示す音の音高(ピッチ)を変更する処理(音高補正)を音響処理部64が実行する。なお、以下の各例示において作用や機能が第1実施形態と同等である要素については、以上と同じ符号を付して各々の詳細な説明を適宜に省略する。
図17は、第2実施形態において端末装置10から音響処理装置30に送信される音データDaの模式図である。図17に示すように、音データDaは、第1実施形態と同様の処理対象データW(波形データ)および変数設定データVに加えて音高指示データPTを含んで構成される。音高指示データPTは、音高を順次に指定するデータ(例えばMIDI規格に準拠した時系列データ)であり、時系列に配列された複数の単位データUを含んで構成される。各単位データUは、音高を指定する音高データu1(イベントデータ)と、音高の変化の時点を指定するタイミングデータu2とを含む。タイミングデータu2は、処理対象データWが示す音を音高データu1の音高に変更する時点(例えば処理対象データWの先頭からの時間)を指定する。
音響処理装置30の管理部62(受信部622)は、図17の構造の音データDaを含むPUT要求を端末装置10から順次に受信して主記憶装置342に格納する。音響処理部64は、主記憶装置342に格納された音データDaの処理対象データWが示す音の音高を、音高指示データPTの各単位データUのタイミングデータu2が示す時点で、その単位データUの音高データu1が示す音高に変更する。また、音響処理部64は、音高の変更後の処理対象データWに対して、第1実施形態と同様の方法で、変数設定データVに応じた音響効果を付加する。以上の処理で生成された処理済データDbが主記憶装置342に順次に格納され、端末装置10からのGET要求に応じて送信部624から送信される。したがって、処理対象データWが示す音の音高を音高指示データPTに応じて変更した音が端末装置10の放音装置18から出力される。
<C:第3実施形態>
次に、本発明の第3実施形態について説明する。第3実施形態では、音響処理サービスの試用が可能である。具体的には、利用者は、利用者識別子UIDとパスワードPWDとを登録情報BRに登録すること(決済情報PYの登録は不要)で音響処理サービスの試用が可能となり、決済情報PYを登録情報BRに追加的に登録することで音響処理サービスの本使用が可能となる。なお、チケット情報TCKは、決済情報PYの登録を条件に発行されるから、試用の段階ではチケット情報TCKは発行されない。すなわち、図11の準備処理SAのうちステップSA11からステップSA15の処理が省略される。
試用の段階では、所定の制限(以下「試用制限」という)のもとで音響処理サービスが提供される。試用制限としては、例えば、音響処理サービスが提供される時間に対する制限(例えばOPEN要求の送信から5分以内という制限)や、音響処理が実行される処理対象データWのデータ量の合計に対する制限(例えば、再生音の30秒分に相当する処理対象データWという制限)が想定され得る。
第1実施形態では、端末装置10から受信したOPEN要求がチケット情報TCKを含まない場合には管理装置40の処理部422がOPEN要求を拒否したが、第3実施形態では、OPEN要求内のチケット情報TCKの有無に応じて音響処理サービスの試用(無料)と本使用(有料)とを区別する構成が採用され得る。すなわち、端末装置10から送信されたOPEN要求がチケット情報TCKを含む場合には、音響処理サービスの本使用のために第1実施形態と同様の処理(図12)が実行され、OPEN要求がチケット情報TCKを含まない場合には、図18に例示する代行処理SCが実行されることで音響処理サービスの試用が可能となる。
端末装置10からPUT要求またはGET要求を受信するたびに(SC60)、音響処理装置30の管理部62は、今回の要求が試用制限の範囲内か否かを判定する(SC61)。判定の結果が肯定である場合、管理部62は、第1実施形態と同様の手順で音データDaの受信および処理と処理済データDbの送信とを実行する(図示略)。他方、判定の結果が否定である場合(試用制限の範囲を超えた場合)、端末装置10との通信を強制的に終了させるために以下の処理(SC62〜SC66)が実行される。
音響処理装置30の管理部62は、今回の要求を破棄し、セッション識別子SIDを含む超過通知を管理装置40に送信する(SC62)。管理装置40の処理部422は、超過通知で指定されたセッション識別子SIDを記憶装置44から削除する(SC63)。また、割当部424は、割当情報BAのうち超過通知を送信してきた音響処理装置30の負荷状況C2を更新する(SC64)。例えば、割当部424は、負荷状況C2が示す端末装置10(音響処理サービスの提供中の端末装置10)の台数を減少させる。以上の処理にも関わらず端末装置10が音響処理装置30にPUT要求またはGET要求を送信してきた場合(SC65)、音響処理装置30の管理部62は、試用制限を超過したことを示すエラー通知を端末装置10に送信する(SC66)。
以上の形態によれば、利用者は、音響処理サービスを試用したうえで音響処理サービスの続行の要否を判定できるという利点がある。なお、以上においては試用の段階での制限を例示したが、端末装置10と音響処理装置30との間の通信を本使用の段階で図18の例示のように制限する構成も採用され得る。
<D:第4実施形態>
以上の各形態では、音響処理装置30が音響処理を代行する構成を例示した。第4実施形態では、音響処理装置30が音響処理を代行する動作モード(以下「処理代行モード」という)と、端末装置10自身が音響処理を実行する動作モード(以下「自己処理モード」という)とが選択される。
図19は、準備処理SA(図11)および開始処理SB(図12)の実行後に端末装置10の表示装置17に表示される変数設定画面176の模式図である。図19に示すように、変数設定画面176は、音響処理システム100(音響処理装置30)の動作モード(処理代行モード/自己処理モード)を指示するための操作子178を、第1実施形態の変数設定画面172(図13)に追加した構成である。入力装置16を利用して利用者が操作子178を操作するたびに、音響処理システム100の動作モードが処理代行モードおよび自己処理モード(図19の“Local Processing”)の一方から他方に変更される。
図20は、第4実施形態の音響処理装置30のブロック図である。図20に示すように、第4実施形態の音響処理装置30の制御装置32は、前述の管理部62および音響処理部64に加えて選択部66として機能する。選択部66は、動作モードを処理代行モードおよび自己処理モードの何れかに可変に設定する。
図21は、動作モードの設定に関連する動作の説明図である。利用者が操作子178を操作するたびに、端末装置10の制御装置12は、管理装置40が開始処理SB(SB9)で自身に割当てた音響処理装置30に対してモード指示を送信する(SF11)。モード指示は、利用者が操作子178に対する操作で指示した動作モードを示すモード情報Mと、付加情報B1と同様に利用者識別子UIDおよびセッション識別子SIDを含む付加情報B0と、モード情報Mおよび付加情報B0から秘密鍵KSで生成された署名情報SGとを含んで構成される。
端末装置10からモード指示を受信すると、音響処理装置30の管理部62は、図14のステップSC13と同様にモード指示内の署名情報SGの正当性を検証し(SF12)、署名情報SGの正当性が否定される場合には動作モードの変更の拒否を端末装置10の利用者に通知して処理を終了する(図示略)。他方、署名情報SGの正当性が肯定されると、選択部66は、音響処理装置30の動作モードを、モード指示内のモード情報Mが指定する動作モード(処理代行モード/自己処理モード)に設定する(SF13)。
選択部66が処理代行モードを選択した場合、図14と同様の代行処理SCが実行される。すなわち、受信部622が端末装置10から音データDaを受信する送信処理SC1と、音データDaに対する音響処理で音響処理部64が処理済データDbを生成する加工処理SC2と、送信部624が処理済データDbを端末装置10に送信する返信処理SC3とが順次に実行される。音響処理部64による音響処理には、第1実施形態と同様に、図19の変数設定画面176の操作子174に対する操作で利用者が設定した設定値vAが適用される。以上の処理代行モードでは、自己処理モードと比較して端末装置10の処理負荷が軽減されるという利点がある。
他方、選択部66が自己処理モードを選択した場合、端末装置10に音響処理を実行させるための処理が実行される。すなわち、まず、音響処理装置30の管理部62は、準備処理SA(SA10)で利用者が選択した音響処理に対応する音響処理プログラムPBを補助記憶装置344(または主記憶装置342)から取得する(SF14)。そして、管理部62(送信部624)は、ステップSF14で取得した音響処理プログラムPBを共通鍵KCで暗号化したうえで端末装置10に送信する(SF15)。音響処理プログラムPBの送信先となる端末装置10は、ステップSF11で端末装置10から受信したモード指示内の付加情報B0から特定される。
端末装置10の制御装置12は、音響処理装置30から受信した音響処理プログラムPBを共通鍵KCで復号したうえで記憶装置14に格納して実行する(SF16)。すなわち、制御装置12は、音響処理装置30の音響処理部64と同様の音響処理(図14のステップSC21)を、記憶装置14に格納された処理ファイルF(処理対象データW)に対して実行し、処理後の処理対象データW(処理済データDb)を放音装置18に供給する(SF17)。制御装置12による音響処理には、処理代行モードと同様に、図19の変数設定画面176の操作子174に対する操作で利用者が設定した設定値vAが適用される。放音装置18は、制御装置12が生成した処理対象データWを音波として再生する。以上のように、自己処理モードでは端末装置10が音響処理を実行する(すなわち端末装置10と音響処理装置30との間で音データDaや処理済データDbの授受が不要である)から、処理代行モードと比較して処理済データDbの再生の遅延が低減されるという利点がある。
以上に説明した第4実施形態では、音響処理装置30の動作モードが、音響処理装置30が音響処理を代行する処理代行モードと、音響処理プログラムPBの配信で端末装置10に音響処理を実行させる自己処理モードとの何れかに設定される。したがって、端末装置10の処理負荷を軽減できる処理代行モードの利点と再生の遅延が低減される自己処理モードの利点とを、利用者の意図に応じて選択的に優先させることが可能である。
また、利用者が操作する変数設定画面176は処理代行モードと自己処理モードとで共通するから、音響処理の主体(音響処理装置30/端末装置10)を利用者に意識させずに音響処理装置30の動作モードを変更できるという利点もある。また、処理代行モードと自己処理モードとで変数設定画面176を相違させる構成と比較して、変数設定画面176等の作成(開発)の手間が削減されるという利点もある。
<E:第5実施形態>
第4実施形態では、動作モード(処理代行モード/自己処理モード)の選択と音響処理の代行と音響処理プログラムPBの配信とを音響処理装置30が実行した。第5実施形態では、音響処理システム100内の別個の装置が以上の各動作を実行する。
図22は、第5実施形態に係る音響処理システム100のブロック図である。図22に示すように、第5実施形態の音響処理システム100は、端末装置10に音響処理プログラムPBを配信する配信装置50を第1実施形態に追加した構成である。図22に示すように、配信装置50は、制御装置52と記憶装置54とを具備するコンピュータシステムで実現される。記憶装置54は、制御装置52が実行するプログラムPGM5と端末装置10に音響処理を実行させる音響処理プログラムPBとを記憶する。制御装置52は、記憶装置54に格納されたプログラムPGM5の実行で端末装置10に音響処理プログラムPBを配信する。
図23は、第5実施形態における開始処理SB(図12の変形)の手順の説明図である。図23に示すように、端末装置10から管理装置40に送信されるOPEN要求(SB1)は、第1実施形態と同様の情報(PID,UID,TCK,SG)に加えてモード情報Mを含んで構成される。モード情報Mは、第4実施形態と同様に、変数設定画面176(図19)に対する利用者からの指示に応じて処理代行モードおよび自己処理モードの何れかを指定する。
端末装置10からOPEN要求を受信すると、管理装置40の処理部422は、OPEN要求内のモード情報Mに応じて処理代行モードおよび自己処理モードの何れかを選択する(SB21)。処理部422が処理代行モードを選択した場合、第1実施形態と同様に、端末装置10に対する音響処理装置30の割当(SB2〜SB9)が実行されたうえで図14の代行処理SCが実行される。
他方、自己処理モードを選択すると、処理部422は、OPEN要求に対する応答を端末装置10に送信する(SB22)。管理装置40から応答を受信すると、端末装置10の制御装置12は、利用者が利用可能な音響処理(購入済の音響処理)を実現する音響処理プログラムPBの要求(配信要求)を配信装置50に送信する(SB23)。配信要求の送信先となる配信装置50や音響処理プログラムPBの所在は、例えば管理装置40から事前に通知される所在情報(例えばURL(Uniform Resource Locator))で特定される。所在情報は、例えば、図11のステップSA9で管理装置40から端末装置10に送信される開始応答(INITIATE要求に対する応答)や、図23のステップSB22で管理装置40から端末装置10に送信される応答に含められる。
配信要求を受信すると、配信装置50の制御装置52は、配信要求内の所在情報で指定される音響処理プログラムPBを記憶装置54から取得して端末装置10に送信する(SB24)。端末装置10の制御装置12は、図21のステップSF16およびSF17と同様に、配信装置50から受信した音響処理プログラムPBを記憶装置14に格納して実行し(SB25)、音響処理後の処理対象データW(処理済データDb)を放音装置18に供給する(SB26)。変数設定画面176で指示された設定値vAを端末装置10での音響処理に適用する動作も第4実施形態と同様である。以上に説明した第5実施形態でも第4実施形態と同様の効果が実現される。
<F:変形例>
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は適宜に併合され得る。
(1)変形例1
音響処理の内容は、第1実施形態で例示した効果付与や第2実施形態で例示した音高補正に限定されない。例えば、楽曲の演奏音や歌唱音を音響処理装置30が音響処理で生成する構成も採用され得る。例えば、楽曲の各楽音の音高と発音の時点とを時系列に指定する音データDaを音響処理装置30の管理部62が端末装置10から受信すると、音響処理部64は、音データDaが時系列に指定する楽音の演奏音を示す処理済データDbを生成する。すなわち、音響処理装置30は、例えばMIDIシーケンサと楽音合成用のソフトウェアとを音響処理プログラムPBとして実行することで、楽音合成(自動演奏)を音響処理として実行する。
また、歌唱音の音高と歌詞(音節)とを時系列に指定する音データDaを音響処理装置30の管理部62が端末装置10から受信すると、音響処理部64は、音データDaが指定する歌詞に対応した音素を音データDaが示す音高に調整して相互に連結することで、歌唱音を示す処理済データDbを生成する。すなわち、音響処理装置30は、歌唱合成プログラムを音響処理プログラムPBとして実行することで、歌唱合成(音声合成)を音響処理として実行する。
以上の例示から理解されるように、本発明における音響処理は、音響に関する処理として包括され、具体的な内容の如何は不問である。第1実施形態の効果付与,第2実施形態の音高補正,および変形例1の楽音合成や歌唱合成は、音響処理の概念に包含される典型例である。また、音データDaや処理済データDbの形式や各々が示す内容は、音響処理の種類や内容に応じて適宜に選定され、具体的な形式の如何は本発明では不問である。例えば、前述の例示から理解される通り、第1実施形態の効果付与や第2実施形態の音高補正を音響処理として実行する場合には、波形データを処理対象データWとして含む音データDaが好適に採用され、変形例1のように演奏音や歌唱音の合成を音響処理として実行する場合には、合成音を指示する時系列データが音データDaとして好適に採用される。なお、音楽的な要素は音データDaにとって必須ではない。例えば、直接的には音楽と関係しない自然音や人工音等の様々な音響(例えば波音や風音やエンジン音)の波形データを処理対象データWとして音データDaに含ませて音響処理を実行する構成も採用され得る。
(2)変形例2
以上の各形態では、音響処理装置30の主記憶装置342に2個の音データDa(Da_1,Da_2)が格納される場合を例示したが、主記憶装置342に格納される音データDaの個数は任意に変更される。したがって、音データDaの音響処理に適用される他の音データDaの個数も適宜に変更される。なお、例えば各音データDaに対する音響処理に前後の音データDaが影響しない場合には、音データDaの音響処理に他の音データDaを利用する構成は省略され得る。
(3)変形例3
以上の各形態では、事前に作成されて記憶装置14に記憶された処理ファイルF(音データDa)をストリーミング方式で端末装置10から音響処理装置30に送信したが、端末装置10において、音響処理装置30に対して音データDaを順次に送信する処理に並行して音データDaを動的に生成する構成も採用され得る。すなわち、端末装置10(制御装置12)は、利用者による操作(演奏)に応じて電子楽器等の入力装置から端末装置10に供給される音データDaを、順次に(すなわち、静的な処理ファイルFとして記憶装置14に記憶せずに)音響処理装置30にストリーミング方式で送信する。
(4)変形例4
以上の各形態においては、変数設定データVが処理変数Xを指定する場合を例示したが、音響処理(特に効果付与や音高補正)の実行の有無(オン/オフ)を指示する情報を変数設定データVに含ませた構成も好適である。音響処理装置30の音響処理部64は、音響処理の実行が変数設定データVで指示されると音響処理を実行し、音響処理の停止が変数設定データVで指示されると音響処理を停止する。以上の構成によれば、利用者が選択した音響処理をストリーミング方式で処理している途中の時点(代行処理SCの途中の時点)で音響処理を開始/停止することが可能である。
(5)変形例5
第4実施形態および第5実施形態では、利用者からの指示(操作子178の操作)に応じて動作モード(処理代行モード/自己処理モード)を変更したが、動作モードの選択の契機や基準は、以下に例示するように適宜に変更される。
例えば、通信網200の伝送能力が低い場合(例えば伝送速度が低い場合や通信トラヒックが多い場合)には、音データDaや処理済データDbの授受が不要な自己処理モードが適切である。したがって、通信網200の伝送能力が高い場合には処理代行モードを選択し、通信網200の伝送能力が低い場合には自己処理モードを選択する構成が好適である。
また、音響処理の対象となる処理ファイルFのサイズ(合計データ量)が音響処理プログラムPBのサイズと比較して大きい場合には、通信網200の通信トラヒックの低減という観点から自己処理モードが適切である。したがって、処理ファイルFのサイズが所定の閾値(例えば音響処理プログラムPBのサイズ)を下回る場合には処理代行モードを選択し、処理ファイルFのサイズが閾値を上回る場合には自己処理モードを選択する構成好適にが採用され得る。
(6)変形例6
第4実施形態および第5実施形態では、処理代行モードと自己処理モードとで共通の音響処理プログラムPBを使用したが、以下に例示するように、処理代行モードで音響処理装置30が実行する音響処理プログラムPB(PB1)と、自己処理モードで端末装置10が実行する音響処理プログラムPB(PB2)とで内容が相違する構成も採用され得る。
例えば、処理代行モードの音響処理プログラムPB1を簡略化(例えば特定の機能を省略)した音響処理プログラムPB2を自己処理モードで使用する構成が採用され得る。以上の構成は、端末装置10の処理能力が低い場合(例えば端末装置10が携帯型の情報端末である場合)に好適である。
また、以上の例示とは逆に、自己処理モードの音響処理プログラムPB2を簡略化した音響処理プログラムPB1を処理代行モードで使用する構成が採用される。例えば、第3実施形態における音響処理サービスの試用の段階では、処理代行モードが選択されて簡易版の音響処理プログラムPB1が音響処理装置30にて実行され、利用者が音響処理サービスの本使用(あるいは音響処理プログラムPBの購入)の手続を完了すると、自己処理モードが選択されて音響処理プログラムPB2(音響処理プログラムPB1と比較して高品位な再生音を生成可能なプログラム)が端末装置10に配信されるという構成が好適である。以上の構成では、音響処理サービスの本使用や音響処理プログラムPBの購入を確定するための操作子が図19の変数設定画面176に追加され得る。
(7)変形例7
第4実施形態および第5実施形態では、音響処理装置30による音響処理(処理代行モード)と端末装置10による音響処理(自己処理モード)とを択一的に選択したが、音響処理装置30と端末装置10とで音響処理を分担する構成も採用され得る。例えば、1種類の音響処理を構成する複数の処理のうちの一部の処理を音響処理装置30が実行するとともに他の処理を端末装置10が実行する構成や、利用者が選択した複数種の音響処理のうちの一部の音響処理を音響処理装置30が実行するとともに他の音響処理を端末装置10が実行する構成が採用され得る。
(8)変形例8
音響処理システム100が提供する各機能と音響処理システム100を構成する各装置の単体/別体との関係は適宜に変更される。例えば、登録装置20や音響処理装置30を管理装置40と一体の装置として実現した構成や、管理装置40の処理部422と割当部424とを別体の装置として実現した構成も採用され得る。
100……音響処理システム、200……通信網、10……端末装置、12,22,32,42,52……制御装置、14,24,44,54……記憶装置、16……入力装置、17……表示装置、18……放音装置、20……登録装置、30……音響処理装置、34……記憶部、342……主記憶装置、344……補助記憶装置、PA……管理プログラム、PB……音響処理プログラム、62……管理部、64……音響処理部、66……選択部、40……管理装置、422……処理部、424……割当部、50……配信装置。

Claims (5)

  1. 通信網を介して端末装置と通信する音響処理装置であって、
    主記憶装置と、
    管理プログラムおよび音響処理プログラムを記憶する補助記憶装置と、
    前記管理プログラムを前記主記憶装置に常駐させることで実現される管理手段であって、前記端末装置からストリーミング方式で順次に送信される音データを受信して前記主記憶装置に順次に格納し、前記音データに対する音響処理で生成された処理済データを前記主記憶装置から順次に取得してストリーミング方式で前記端末装置に送信する管理手段と、
    前記音響処理プログラムを前記主記憶装置に常駐させることで実現される音響処理手段であって、前記管理手段が前記音データを前記主記憶装置に格納するたびに当該音データに対する前記音響処理の実行で前記処理済データを順次に生成して前記主記憶装置に格納する音響処理手段と
    を具備する音響処理装置。
  2. 前記管理手段は、複数の音データを前記主記憶装置に記憶し、
    前記音響処理手段は、前記管理手段が前記主記憶装置に格納した一の音データに対して、前記主記憶装置に格納された他の音データを利用した音響処理を実行する
    請求項1の音響処理装置。
  3. 前記管理手段は、前記一の音データと前記他の音データとを含む所定個の音データ以外の音データを前記主記憶装置から順次に消去する
    請求項2の音響処理装置。
  4. 前記各音データは、前記音響処理の対象となる処理対象データと、前記音響処理の処理変数について前記端末装置にて指示された設定値を示す変数設定データとを含み、
    前記音響処理手段は、前記音データの前記処理対象データに対して、当該音データの前記変数設定データが示す設定値に応じた音響処理を実行する
    請求項1または請求項2の音響処理装置。
  5. 前記変数設定データは、前記処理変数の数値を前記設定値に変更する時点を前記処理対象データに対して指定するタイミングデータを含み、
    前記音響処理手段は、前記音データに対して実行される音響処理の処理変数を、前記タイミングデータが指定する時点にて前記設定値に変更する
    請求項4の音響処理装置。
JP2010041524A 2009-11-16 2010-02-26 音響処理システムおよび音響処理方法 Active JP5803056B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010041524A JP5803056B2 (ja) 2009-11-16 2010-02-26 音響処理システムおよび音響処理方法
EP10191328.3A EP2334028B1 (en) 2009-11-16 2010-11-16 Sound processing apparatus
US12/947,711 US8818540B2 (en) 2009-11-16 2010-11-16 Sound processing apparatus
US14/337,291 US9460203B2 (en) 2009-11-16 2014-07-22 Sound processing apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009260788 2009-11-16
JP2009260788 2009-11-16
JP2010041524A JP5803056B2 (ja) 2009-11-16 2010-02-26 音響処理システムおよび音響処理方法

Publications (2)

Publication Number Publication Date
JP2011123462A true JP2011123462A (ja) 2011-06-23
JP5803056B2 JP5803056B2 (ja) 2015-11-04

Family

ID=43899552

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010041524A Active JP5803056B2 (ja) 2009-11-16 2010-02-26 音響処理システムおよび音響処理方法

Country Status (3)

Country Link
US (2) US8818540B2 (ja)
EP (1) EP2334028B1 (ja)
JP (1) JP5803056B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013042758A1 (ja) * 2011-09-21 2013-03-28 日本電気株式会社 コンテンツ配信システム、キャッシュサーバおよびコンテンツ配信方法
JP2015170296A (ja) * 2014-03-10 2015-09-28 株式会社リコー 情報処理システム及び情報処理方法
JP2019174526A (ja) * 2018-03-27 2019-10-10 日本電気株式会社 音楽再生システム、端末装置、音楽再生方法、及びプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5803056B2 (ja) 2009-11-16 2015-11-04 ヤマハ株式会社 音響処理システムおよび音響処理方法
US11418580B2 (en) * 2011-04-01 2022-08-16 Pure Storage, Inc. Selective generation of secure signatures in a distributed storage network
US10210111B2 (en) * 2017-04-10 2019-02-19 Dell Products L.P. Systems and methods for minimizing audio glitches when incurring system management interrupt latency
CN111210826B (zh) * 2019-12-26 2022-08-05 深圳市优必选科技股份有限公司 语音信息处理方法、装置、存储介质和智能终端

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0476750A (ja) * 1990-07-19 1992-03-11 Hitachi Micro Comput Eng Ltd データ通信端末装置及びデータ通信システム
JPH10177380A (ja) * 1996-10-18 1998-06-30 Yamaha Corp 動作端末の機能拡張方法及びこの機能拡張方法を適用するための動作端末並びにプログラムを記録した媒体
JPH1185148A (ja) * 1997-09-09 1999-03-30 N T T Data:Kk エフェクタ実験サービスシステム
JP2001042865A (ja) * 1999-08-03 2001-02-16 Sony Corp オーディオデータ送信装置および方法、オーディオデータ受信装置および方法、並びに記録媒体
JP2002236490A (ja) * 2001-02-09 2002-08-23 Seiko Epson Corp データ転送システム、転送元端末及び中間処理端末
JP2004094683A (ja) * 2002-08-30 2004-03-25 Casio Comput Co Ltd サーバ、通信方法及び観客端末
JP2004094163A (ja) * 2002-09-04 2004-03-25 Megafusion Corp ネットワークサウンドシステムおよびサウンドサーバ
JP2005038436A (ja) * 2004-08-16 2005-02-10 Yamaha Corp データ処理方法、データ処理装置および記録媒体
JP2005055672A (ja) * 2003-08-05 2005-03-03 Onkyo Corp 機能分散型コンテンツ再生システム
JP2006171549A (ja) * 2004-12-17 2006-06-29 Yamaha Corp オーディオデータ送信装置、オーディオデータ受信装置
JP2007114561A (ja) * 2005-10-21 2007-05-10 Taito Corp 携帯電話内蔵形音声変換システム
JP2008009832A (ja) * 2006-06-30 2008-01-17 Digion Inc 情報処理システム、情報処理方法、及びその方法をコンピュータに実行させることが可能なプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002023649A (ja) 2000-03-15 2002-01-23 Nitto Denko Corp 透明衝撃緩和積層体とそれを用いたディスプレイ表示装置
JP3666364B2 (ja) * 2000-05-30 2005-06-29 ヤマハ株式会社 コンテンツ生成サービス装置、システム及び記録媒体
JP3804824B2 (ja) * 2001-09-19 2006-08-02 ヤマハ株式会社 ディジタルミキサ
JP3894062B2 (ja) * 2002-07-11 2007-03-14 ヤマハ株式会社 楽曲データ配信装置、楽曲データ受信装置及びプログラム
CN1661671B (zh) * 2004-02-27 2010-05-05 雅马哈株式会社 用于数字混合器的情景数据编辑装置
US20070028750A1 (en) * 2005-08-05 2007-02-08 Darcie Thomas E Apparatus, system, and method for real-time collaboration over a data network
JP4924018B2 (ja) * 2006-12-27 2012-04-25 ヤマハ株式会社 音響信号処理システム
JP5803056B2 (ja) 2009-11-16 2015-11-04 ヤマハ株式会社 音響処理システムおよび音響処理方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0476750A (ja) * 1990-07-19 1992-03-11 Hitachi Micro Comput Eng Ltd データ通信端末装置及びデータ通信システム
JPH10177380A (ja) * 1996-10-18 1998-06-30 Yamaha Corp 動作端末の機能拡張方法及びこの機能拡張方法を適用するための動作端末並びにプログラムを記録した媒体
JPH1185148A (ja) * 1997-09-09 1999-03-30 N T T Data:Kk エフェクタ実験サービスシステム
JP2001042865A (ja) * 1999-08-03 2001-02-16 Sony Corp オーディオデータ送信装置および方法、オーディオデータ受信装置および方法、並びに記録媒体
JP2002236490A (ja) * 2001-02-09 2002-08-23 Seiko Epson Corp データ転送システム、転送元端末及び中間処理端末
JP2004094683A (ja) * 2002-08-30 2004-03-25 Casio Comput Co Ltd サーバ、通信方法及び観客端末
JP2004094163A (ja) * 2002-09-04 2004-03-25 Megafusion Corp ネットワークサウンドシステムおよびサウンドサーバ
JP2005055672A (ja) * 2003-08-05 2005-03-03 Onkyo Corp 機能分散型コンテンツ再生システム
JP2005038436A (ja) * 2004-08-16 2005-02-10 Yamaha Corp データ処理方法、データ処理装置および記録媒体
JP2006171549A (ja) * 2004-12-17 2006-06-29 Yamaha Corp オーディオデータ送信装置、オーディオデータ受信装置
JP2007114561A (ja) * 2005-10-21 2007-05-10 Taito Corp 携帯電話内蔵形音声変換システム
JP2008009832A (ja) * 2006-06-30 2008-01-17 Digion Inc 情報処理システム、情報処理方法、及びその方法をコンピュータに実行させることが可能なプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013042758A1 (ja) * 2011-09-21 2013-03-28 日本電気株式会社 コンテンツ配信システム、キャッシュサーバおよびコンテンツ配信方法
CN103843358A (zh) * 2011-09-21 2014-06-04 日本电气株式会社 内容发布***、缓存服务器以及内容发布方法
JPWO2013042758A1 (ja) * 2011-09-21 2015-03-26 日本電気株式会社 コンテンツ配信システム、キャッシュサーバおよびコンテンツ配信方法
JP2015170296A (ja) * 2014-03-10 2015-09-28 株式会社リコー 情報処理システム及び情報処理方法
JP2019174526A (ja) * 2018-03-27 2019-10-10 日本電気株式会社 音楽再生システム、端末装置、音楽再生方法、及びプログラム
JP7143607B2 (ja) 2018-03-27 2022-09-29 日本電気株式会社 音楽再生システム、端末装置、音楽再生方法、及びプログラム

Also Published As

Publication number Publication date
EP2334028A2 (en) 2011-06-15
US20140336802A1 (en) 2014-11-13
EP2334028A3 (en) 2014-04-30
EP2334028B1 (en) 2016-04-13
US8818540B2 (en) 2014-08-26
JP5803056B2 (ja) 2015-11-04
US20110118861A1 (en) 2011-05-19
US9460203B2 (en) 2016-10-04

Similar Documents

Publication Publication Date Title
JP5803056B2 (ja) 音響処理システムおよび音響処理方法
US5883957A (en) Methods and apparatus for encrypting and decrypting MIDI files
US6956162B2 (en) Apparatus and method for providing real-play sounds of musical instruments
US20050154908A1 (en) Contents data management apparatus
JP2009535988A (ja) データ信号を処理するシステム及び方法
JP5267406B2 (ja) 音声信号処理装置及びプログラム
JP2004118256A (ja) コンテンツ配信装置及びプログラム
US8448253B2 (en) Program licence management technique in an audio signal processing system
JP2011076546A (ja) データ書き込み装置及びインストール装置
WO2022049732A1 (ja) 情報処理装置及び情報処理方法
JP4055054B2 (ja) 音響処理装置
JP4096734B2 (ja) 音楽活動支援システム、及びプログラム
JP2006031478A (ja) コンテンツ再生端末およびコンテンツ配信システム
JP2007028142A (ja) コンテンツ管理装置および方法、再生装置およびその制御方法、並びにプログラム
JPWO2003015075A1 (ja) 楽曲データ送受信システム
JP2004093975A (ja) 通信端末及びプログラム
JP2021056942A (ja) コンテンツ配信システム
JP4148690B2 (ja) データ送信方法、データ再生方法およびデータ再生装置
JP2004094085A (ja) 音声データ配信装置及び依頼者端末
WO2011117942A1 (ja) コンテンツ受信機、コンテンツ利用システム、コンテンツ再生方法、プログラム、および記録媒体
JP6492754B2 (ja) 楽器及び楽器システム
JP2021057847A (ja) コンテンツ配信システム
JP2021190915A (ja) コンテンツ利用システム、コンテンツ利用方法、ユーザ端末、プログラムおよび配信サーバ
JP5413109B2 (ja) プログラムの起動認証装置
JP5625482B2 (ja) 音響処理装置、音処理システムおよび音処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150105

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150817

R151 Written notification of patent or utility model registration

Ref document number: 5803056

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151