JP6191572B2 - 収録システム、収録方法およびプログラム - Google Patents

収録システム、収録方法およびプログラム Download PDF

Info

Publication number
JP6191572B2
JP6191572B2 JP2014198056A JP2014198056A JP6191572B2 JP 6191572 B2 JP6191572 B2 JP 6191572B2 JP 2014198056 A JP2014198056 A JP 2014198056A JP 2014198056 A JP2014198056 A JP 2014198056A JP 6191572 B2 JP6191572 B2 JP 6191572B2
Authority
JP
Japan
Prior art keywords
recording
sound
acoustic
acoustic data
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014198056A
Other languages
English (en)
Other versions
JP2015100103A (ja
Inventor
祐 高橋
祐 高橋
近藤 多伸
多伸 近藤
田邑 元一
元一 田邑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2014198056A priority Critical patent/JP6191572B2/ja
Priority to US14/514,743 priority patent/US9824674B2/en
Priority to EP14188977.4A priority patent/EP2881950B1/en
Publication of JP2015100103A publication Critical patent/JP2015100103A/ja
Application granted granted Critical
Publication of JP6191572B2 publication Critical patent/JP6191572B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W56/00Synchronisation arrangements
    • H04W56/0005Synchronisation arrangements synchronizing of arrival of multiple uplinks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101Music Composition or musical creation; Tools or processes therefor
    • G10H2210/131Morphing, i.e. transformation of a musical piece into a new different one, e.g. remix

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

本発明は、音響を収音する技術に関する。
音響空間内に位置する歌唱者や楽器等の複数の発音源から放射された音響を複数の収音装置で収音したうえで混合するマルチチャネルの収録システムが例えば特許文献1に開示されている。特許文献1の技術によれば、臨場感がある音場を受聴者に知覚させ得る音響信号を生成することが可能である。
特開2003−250200号公報
しかし、特許文献1の技術では、音響空間内の発音源の総数に応じた多数の収音装置を具備する大規模な収録システムが必要である。以上の事情を考慮して、本発明は、収録システムの構成を簡素化することを目的とする。
以上の課題を解決するために、本発明の収録システムは、音響空間内に位置する可搬型の複数の端末装置であって、音響を表す音響データを生成する収録手段を各々が含む複数の端末装置と、収音手段による収録後の音響データを各端末装置から取得し、各音響データを同期させる同期処理と同期処理の実行後の複数の音響データを混合する混合処理とを実行する音響処理手段とを具備する。以上の構成では、音響データの生成が各端末装置にて実行され、各端末装置での収録後の音響データについて同期処理および混合処理が実行される。したがって、多数の収音装置が接続された従来の収録システムと比較して全体構成が簡素化(小規模化)されるという利点がある。
本発明の好適な態様において、複数の端末装置の各々は、収録手段が生成した音響データを編集する編集手段を含み、音響処理手段は、編集手段による編集後の音響データを各端末装置から取得する。以上の構成によれば、音響データの生成および編集が各端末装置にて実行され、各端末装置での編集後の音響データについて同期処理および混合処理が実行される。したがって、多数の収音装置が接続された従来の収録システムと比較して全体構成が簡素化されるという前述の効果は格別に顕著である。
本発明の好適な態様において、音響処理手段は、複数の端末装置の各々と通信網を介して通信可能な音響処理装置に設置され、各端末装置から通信網を介して受信した音響データについて同期処理と混合処理とを実行する。以上の構成では、通信網を介して各端末装置と通信する音響処理装置が、各端末装置から受信した音響データについて同期処理と混合処理とを実行するから、各端末装置は同期処理と混合処理とを実行する必要がない。したがって、端末装置の構成が簡素化されるという利点がある。ただし、複数の端末装置のうち何れかが、自装置で生成された音響データと他端末から受信した音響データとについて同期処理と混合処理とを実行する構成(音響処理装置の機能を端末装置に搭載した構成)も採用される。
本発明の好適な態様において、複数の端末装置の各々は、他端末との間で近距離無線通信が可能であり、編集手段は、他端末から近距離無線通信で取得した情報を利用して音響データを編集する。以上の態様では、各端末装置の相互間の近距離無線通信で授受される情報が各端末装置での音響データの編集に適用されるから、各端末装置における収音状態の関係を加味した編集が実現される。
本発明の好適な態様において、複数の端末装置の各々は、他端末との間で近距離無線通信が可能であり、他端末から近距離無線通信で送信された指示に応じて、収録手段が生成した音響データの記録を開始する。以上の態様では、各端末装置の相互間の近距離無線通信で授受される指示に応じて各端末装置での音響データの記録が開始されるから、各端末装置の音響データを容易に同期させる(あるいは同期処理を不要とする)ことが可能である。
以上の各態様に係る収録システムは、収録に専用されるDSP(Digital Signal Processor)等のハードウェア(電子回路)によって実現されるほか、CPU(Central Processing Unit)等の汎用の演算処理装置とプログラムとの協働によっても実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性(non-transitory)の記録媒体であり、CD-ROM等の光学式記録媒体(光ディスク)が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。本発明のプログラムは、例えば通信網を介した配信の形態で提供されてコンピュータにインストールされ得る。また、本発明は、以上に説明した各態様に係る収録システムの動作方法(収録方法)としても特定される。
本発明の実施形態に係る収録システムの構成図である。 収録システムの概略的な動作の説明図である。 制御処理のフローチャートである。 記録処理のフローチャートである。 管理情報の模式図である。 第1処理のフローチャートである。 第2処理のフローチャートである。 確認画面の模式図である。 記録後処理のフローチャートである。 変形例の動作の説明図である。
図1は、本発明の好適な実施形態に係る収録システム100の構成図である。本実施形態の収録システム100は、収録スタジオや演奏ホール等の音響空間内に位置するK個(Kは2以上の自然数)の発音源S[1]〜S[K]から放射された音響を収録する音響システムである。音響空間内の各発音源S[k](k=1〜K)は、任意の楽曲(以下「対象楽曲」という)の相異なる演奏パートの音響(歌唱音や楽音)を放射する歌唱者や楽器である。すなわち、本実施形態の収録システム100は、複数の演奏パートで構成される対象楽曲の演奏音の収録に利用される。図1に例示される通り、収録システム100は、音響空間内の相異なる発音源S[k]に対応するK個の端末装置12[1]〜12[K]と音響処理装置14とを具備する。本実施形態の音響処理装置14は、例えばウェブサーバ等のサーバ装置で実現される。各端末装置12[k]は、例えば移動通信網やインターネット等の通信網16を介して音響処理装置14と相互に通信する通信端末である。例えば携帯電話機やスマートフォンやタブレット端末が端末装置12[k]として好適に利用される。
任意の1個の端末装置12[1]について図1に代表的に例示される通り、各端末装置12[k]は、制御装置21と記憶装置22と通信装置23と通信装置24と表示装置25と入力装置26と収音装置27と放音装置28とを具備するコンピュータシステムで実現される。制御装置21は、記憶装置22に記憶されたプログラムを実行することで各種の制御処理および演算処理を実行する演算処理装置(CPU)である。記憶装置22(例えば半導体記録媒体)は、制御装置21が実行するプログラムや制御装置21が使用する各種のデータを記憶する。
通信装置23は、通信網16を介して音響処理装置14と通信する。通信装置23と通信網16との間の通信は無線通信である。通信装置24は、音響空間内の他の端末装置12[k]との間で近距離無線通信(通信網16を利用しない通信)を実行する。例えばBluetooth(登録商標)やWi-Fi(登録商標)等の近距離無線通信が通信装置24による通信方式として好適に採用される。以上の通り、通信装置23と通信装置24とは相異なる方式の通信を実行する。
表示装置25(例えば液晶表示パネル)は、制御装置21から指示された画像を表示する。入力装置26は、端末装置12[k]に対する利用者からの指示を受付ける操作機器であり、例えば利用者が操作する複数の操作子を含んで構成される。なお、表示装置25と一体に構成されたタッチパネルを入力装置26として利用することも可能である。放音装置(例えばスピーカやヘッドホン)28は、制御装置21から指示された音響を放射する。
端末装置12[k]の収音装置27は、音響空間内の周囲の音響の収音により音響データXA[k]を生成する。音響データXA[k]は、音響の時間波形を表現する数値列である。端末装置12[k]は、収音装置27が発音源S[k]に接近した状態(オンマイク)で保持される。したがって、音響データXA[k]で表現される音響は、発音源S[k]から放射された音響を優勢に包含するが、他の発音源Sから放射されて端末装置12[k]の収音装置27に到達した音響(かぶり音)も含有する。なお、収音装置27による収音直後のアナログの音響信号をデジタルの音響データXA[k]に変換するA/D変換器の図示は便宜的に省略した。制御装置21は、収音装置27が生成した音響データXA[k]の編集(加工)で音響データXB[k]を生成する。
図1の音響処理装置14は、各端末装置12が生成するK系統(Kチャネル)の音響データXB[1]〜XB[K]から音響データYを生成する信号処理装置であり、制御装置31と記憶装置32と通信装置33とを具備するコンピュータシステムで実現される。なお、相互に別体に構成された複数の装置(例えば通信網16を介して相互に通信する複数のサーバ装置)で音響処理装置14を実現することも可能である。
制御装置31は、記憶装置32に記憶されたプログラムを実行することで各種の制御処理および演算処理を実行する演算処理装置である。例えば制御装置31は、各端末装置12が生成するK系統(Kチャネル)の音響データXB[1]〜XB[K]の混合(ミキシング)で音響データYを生成する。記憶装置32は、制御装置31が実行するプログラムや制御装置31が使用する各種のデータを記憶する。例えば半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数の記録媒体の組合せが記憶装置32として採用され得る。なお、音響処理装置14とは別体の外部装置(例えばサーバ装置)に記憶装置32を設置し、音響処理装置14が通信網16を介して外部装置の記憶装置32に対する情報の書込や読出を実行する構成も採用され得る。通信装置33は、通信網16を介して各端末装置12[k]と通信する。
図2は、本実施形態の収録システム100の概略的な動作の説明図である。図2から理解される通り、収音装置27による音響データXA[k]の生成と音響データXA[k]の編集(音響データXB[k]の生成)とが各端末装置12[k]にて並列に実行される。音響処理装置14は、編集後の音響データXB[k](XB[1]〜XB[K])を各端末装置12[k]から取得し、同期処理と混合処理とを実行する。同期処理は、各音響データXB[k]で表現される音響の時系列が時間軸上で相互に同期する(すなわち各音響データXB[k]で表現される音響の拍点が時間軸上で合致する)ように各音響データXB[k]を調整する信号処理である。また、混合処理は、同期処理の実行後のK個の音響データXB[1]〜XB[K]を混合(加重加算)することで音響データYを生成する信号処理である。音響処理装置14が生成した音響データYが各端末装置12[k]に送信され、放音装置28に供給されることで音響として放射される。したがって、複数の演奏パートの楽音が相互に同期する対象楽曲の演奏音が放音装置28から放射される。
任意の1個の端末装置12[k]は、図3の制御処理SAと図4の記録処理SBとを実行する。図3の制御処理SAは、音響データXA[k]に関連する全般的な処理であり、図4の記録処理SBは、音響データXA[k]を記憶装置22に格納する処理である。制御処理SAと記録処理SBとは、例えば入力装置26に対する利用者からの指示を契機として開始されて相互に並列に実行される。なお、以下の説明では1個の端末装置12[k]に着目するが、実際にはK個の端末装置12[1]〜12[K]の各々で同様の処理が実行される。
<制御処理SA>
制御処理SAには管理情報Aが利用される。管理情報Aは、各端末装置12[k]の記憶装置22に格納される。本実施形態の管理情報Aは、図5に例示される通り、音響データXA[k]の収録に使用される端末装置12[k]毎に端末情報Dが登録されたデータテーブルである。端末情報Dは、端末識別情報DAと録音状態情報DBと制御変数情報DCとを含んで構成される。端末識別情報DAは、端末装置12[k]を識別するための情報である。録音状態情報DBは、音響データXA[k]の録音状態を表す情報である。本実施形態の録音状態情報DBは、収音装置27が生成する音響データXA[k]の音量を指定する。したがって、録音状態情報DBは、発音源S[k]が放射する音響に応じて刻々と更新される。また、制御変数情報DCは、音響データXA[k]の編集に適用される変数の数値を指定する。本実施形態の制御変数情報DCは、音響データXA[k]の録音レベル(ゲイン)を指定する。各端末装置12[k]の記憶装置22に格納された管理情報Aは、以下に詳述する通り、通信装置24による近距離無線通信で随時に更新されてK個の端末装置12[1]〜12[K]にわたり相互に同様の内容に維持される。
図3の制御処理SAを開始すると、端末装置12[k]の制御装置21は、自装置での録音状態を通知するための状態通知を、通信装置24から他の(K-1)個の端末装置12(以下「他端末」という)に送信する(SA1)。状態通知には端末装置12[k]の端末識別情報DAと録音状態情報DBとが包含される。状態通知は、各端末装置12[k]の相互間で授受される。
制御装置21は、他端末との通信が切断されたか否かを判定する(SA2)。例えば制御装置21は、最後に状態通知を受信してから所定の時間が経過した他端末(すなわち、状態通知を送信しない状態が所定の時間にわたり継続した他端末)について通信が切断されたと判定する。他端末との通信が切断された場合(SA2:YES)、端末装置12[k]の制御装置21は、記憶装置22の管理情報Aを更新する(SA3)。具体的には、制御装置21は、通信が切断された他端末の端末情報D(端末識別情報DA,録音状態情報DB,制御変数情報DC)を管理情報Aから削除する。他方、他端末との通信の切断が発生していない場合(SA2:NO)、管理情報Aの更新(SA3)は実行されない。
制御装置21は、端末装置12[k]の入力装置26に対する利用者からの指示を受付けたか否かを判定する(SA4)。利用者からの指示を受付けた場合(SA4:YES)、制御装置21は、利用者からの指示に応じた第1処理を実行する(SA5)。他方、入力装置26に対する指示を受付けない場合(SA4:NO)、制御装置21は、第1処理SA5を実行せずに、他端末から送信された指示(通知や要求)を通信装置24が受信したか否かを判定する(SA6)。他端末からの指示を受信した場合(SA6:YES)、制御装置21は、他端末からの指示に応じた第2処理を実行する(SA7)。他方、他端末からの指示を受信しない場合(SA6:NO)、制御装置21は、第2処理SA7を実行せずに、処理をステップSA1に移行して以上の処理(SA1〜SA7)を反復する。
<記録処理SB>
図4の記録処理SBには録音中フラグF1と録音停止フラグF2とが利用される。録音中フラグF1は、収音装置27から供給される音響データXA[k]を記憶装置22に格納する動作(以下「録音動作」という)が実行されているか否かを表す情報である。具体的には、録音動作の実行中には録音中フラグF1が有効状態(ON)に設定される。他方、録音停止フラグF2は、録音動作を停止すべき場合(例えば録音動作の停止が指示された場合)に有効状態(ON)に設定される。
記録処理SBを開始すると、端末装置12[k]の制御装置21は、録音中フラグF1が有効状態(ON)であるか否かを判定する(SB1)。録音中フラグF1が有効状態である場合(SB1:YES)、制御装置21は、収音装置27から供給される音響データXA[k]を記憶装置22に格納する録音動作を実行する(SB2)。他方、録音中フラグF1が無効状態(OFF)である場合(SB1:NO)、制御装置21は、録音動作を実行せずに、録音停止フラグF2が有効状態(ON)であるか否かを判定する(SB3)。録音停止フラグF2が有効状態である場合(SB3:YES)、制御装置21は、現時点までの録音動作で記憶装置22に格納された音響データXA[k]を確定する動作(以下「確定動作」という)を実行する(SB4)。確定動作は、例えば、識別情報QAと録音識別情報QBとを音響データXA[k]に付加してファイルを確定する処理である。識別情報QAは、音響データXA[k]を識別するための符号(例えばファイル名)であり、端末装置12[k]毎に利用者からの指示に応じて設定される。録音識別情報QBは、対象楽曲の録音を識別するための符号(例えば録音日時)である。すなわち、共通の音響空間で相互に並列に(すなわち1回の録音で)生成されたK個の音響データXA[1]〜XA[K]には共通の録音識別情報QBが付加される。以上の処理を実行すると、制御装置21は、録音停止フラグF2を無効状態(OFF)に変更する(SB5)。録音停止フラグF2が無効状態である場合(SB3:NO)、音響データXA[k]の確定動作(SB4)や録音停止フラグF2の変更(SB5)は実行されない。以上に説明した記録処理SBが順次に反復される。
<第1処理SA5/第2処理SA7>
図6は、入力装置26に対する利用者からの指示を受付けた場合(SA4:YES)に端末装置12[k]の制御装置21が実行する第1処理SA5のフローチャートである。利用者は、端末装置12[k]の入力装置26を適宜に操作することで複数の動作(接続開始,録音動作の開始,録音動作の停止,変数調整,処理終了)の何れかを指示することが可能である。第1処理SA5を開始すると、制御装置21は、利用者からの指示の内容を判別し(SC1)、指示の内容に応じた処理を実行する。第1処理SA5では、端末装置12[k]に対する利用者からの指示に応じて他端末に対する指示(接続要求,録音開始要求,記録停止要求,変数調整通知)が送信される。図7は、他端末からの指示を受信した場合(SA6:YES)に端末装置12[k]の制御装置21が実行する第2処理SA7のフローチャートである。第2処理SA7を開始すると、制御装置21は、通信装置24が他端末から受信した指示の内容を判別し(SD1)、指示の内容に応じた処理を実行する。各端末装置12[k]は、自装置の入力装置26に対する利用者からの指示と他端末からの指示との双方を受付け得る。
制御処理SAおよび記録処理SBの開始を指示した各端末装置12[k]の利用者は、対象楽曲の録音に先立ち、入力装置26を適宜に操作することで端末装置12[k]に接続開始を指示する。接続開始の指示は、各端末装置12[k]を音響データXA[k]の収録機器として他端末に認識させるための指示である。接続開始が利用者から指示された場合、端末装置12[k]の制御装置21は、図6に例示される通り、自装置(端末装置12[k])の端末情報Dを特定するとともに(SC11)、端末情報Dを含む管理情報Aを生成して記憶装置22に格納する(SC12)。また、制御装置21は、接続要求を通信装置24から各他端末に送信する(SC13)。接続要求には、ステップSC11で取得した端末情報D(端末識別情報DA,録音状態情報DB,制御変数情報DC)が包含される。
以上の手順で他端末から送信された接続要求を受信した場合、端末装置12[k]の制御装置21は、図7に例示される通り、他端末から受信した接続要求に包含される端末情報Dを取得し(SD11)、記憶装置22に記憶された管理情報Aに他端末の端末情報Dを追加する(SD12)。そして、制御装置21は、更新後の管理情報Aを表象する図8の確認画面Gを表示装置25に表示させる(SD13)。図8から理解される通り、確認画面Gは、端末装置12[k]毎の端末情報Dを利用者に提示する画像である。すなわち、端末装置12[k]毎に端末識別情報DAと録音状態情報DBと制御変数情報DCとが表示装置25に表示される。音響空間内の任意の各端末装置12[k]の相互間で接続要求が授受される結果、各端末装置12[k]の端末情報Dを含む管理情報Aが生成され、管理情報Aに応じた確認画面Gが各端末装置12[k]の表示装置25に表示される。したがって、各端末装置12[k]の利用者は、確認画面Gを視認することで、各端末装置12[k]の録音状態情報DBと制御変数情報DCとを把握することが可能である。
図3を参照して説明した通り、各端末装置12[k]は、端末識別情報DAと録音状態情報DBとを含む状態通知(SA1)を他端末から受信する。状態通知を他端末から受信した場合、端末装置12[k]の制御装置21は、図7に例示される通り、端末識別情報DAと録音状態情報DBとを状態通知から取得し(SD15)、管理情報Aおよび確認画面Gを録音状態情報DBに応じて更新する(SD16,SD17)。具体的には、管理情報Aのうち状態通知の端末識別情報DAに対応する録音状態情報DBが、今回の状態通知の録音状態情報DBに更新される。状態通知の送信(SA1)はK個の端末装置12[1]〜12[K]の各々にて反復されるから、各端末装置12[k]の管理情報Aは、他端末の録音状態情報DBを反映した内容に随時に更新される。したがって、確認画面Gに表示される録音状態情報DBは刻々と変動する。録音状態情報DBの時間変化(数値の時系列)を記憶装置22に記憶することも可能である。
任意の端末装置12[k]の入力装置26に対して利用者が録音動作の開始を指示した場合、端末装置12[k]の制御装置21は、図6に例示される通り、録音中フラグF1が有効状態(ON)であるか否かを判定する(SC21)。録音中フラグF1が無効状態である場合(SC21:NO)、制御装置21は、識別情報QAを生成するとともに(SC22)、録音識別情報QBを生成する(SC23)。識別情報QAは、例えば利用者からの指示に応じて生成され、録音識別情報QBは例えば録音日時に応じて設定される。識別情報QAおよび録音識別情報QBは記憶装置22に格納される。制御装置21は、録音中フラグF1を有効状態に変更し(SC24)、録音開始要求(録音動作の開始の要求)を通信装置24から各他端末に送信する(SC25)。録音開始要求は、ステップSC23で生成した録音識別情報QBを包含する。他方、録音中フラグF1が既に有効状態である場合(SC21:YES)、制御装置21は、以上の各処理(SC22からSC25)を実行せずに第1処理SA5を終了する。
以上の手順で他端末から送信された録音開始要求を受信した場合、端末装置12[k]の制御装置21は、図7に例示される通り、録音中フラグF1が有効状態であるか否かを判定する(SD21)。録音中フラグF1が無効状態である場合(SD21:NO)、制御装置21は、例えば利用者からの指示に応じて識別情報QAを生成するとともに(SD22)、録音開始要求に包含される録音識別情報QBを取得する(SD23)。識別情報QAおよび録音識別情報QBは記憶装置22に格納される。制御装置21は、録音中フラグF1を有効状態に変更する(SD24)。他方、録音中フラグF1が既に有効状態である場合(SD21:YES)、制御装置21は、以上の各処理(SD22からSD24)を実行せずに第2処理SA7を終了する。以上の説明から理解される通り、任意の1個の端末装置12[k]に対する録音動作の開始の指示を契機として各他端末の録音中フラグF1が有効状態に設定されることで、発音源S[k]からの音響に応じた音響データXA[k]を生成する録音動作(SB2)がK個の端末装置12[1]〜12[K]にて並列に開始される。
任意の端末装置12[k]の入力装置26に対して利用者が録音動作の停止を指示した場合、端末装置12[k]の制御装置21は、図6に例示される通り、録音中フラグF1が有効状態であるか否かを判定する(SC31)。録音中フラグF1が有効状態である場合(SC31:YES)、すなわち録音動作の実行中である場合、制御装置21は、録音中フラグF1を無効状態に変更するとともに(SC32)、録音停止フラグF2を有効状態に変更する(SC33)。したがって、直後の記録処理SBでは確定動作(SB4)が実行されて録音動作が停止する。記録処理SBの確定動作では、記憶装置22に格納された識別情報QAと録音識別情報QBとが音響データXA[k]に付加される。制御装置21は、録音停止要求(録音動作の停止の要求)を通信装置24から各他端末に送信する(SC34)。そして、制御装置21は、確定動作の実行後の音響データXA[k]の編集を含む記録後処理を実行(SC35)して第1処理SA5を終了する。記録後処理の具体的な内容については後述する。他方、録音中フラグF1が無効状態である場合(SC31:NO)、制御装置21は、以上の各処理(SC32からSC35)を実行せずに第1処理SA5を終了する。
以上の手順で他端末から送信された録音停止要求を受信した場合、端末装置12[k]の制御装置21は、図7に例示される通り、録音中フラグF1が有効状態であるか否かを判定する(SD31)。録音中フラグF1が有効状態である場合(SD31:YES)、制御装置21は、録音中フラグF1を無効状態に変更するとともに(SD32)、録音停止フラグF2を有効状態に変更する(SD33)。したがって、直後の記録処理SBでは、録音停止要求を受信した各端末装置12[k]においても確定動作(SB4)が実行されて録音動作が停止する。確定動作では、記憶装置22に格納された識別情報QAと録音識別情報QBとが音響データXA[k]に付加される。制御装置21は、確定動作の実行後の音響データXA[k]の編集を含む記録後処理を実行(SD35)して第2処理SA7を終了する。記録後処理の具体的な内容については後述する。他方、録音中フラグF1が無効状態である場合(SD31:NO)、制御装置21は、以上の各処理(SD32からSD35)を実行せずに第2処理SA7を終了する。
利用者は、制御変数情報DC(録音レベル)の変更(変数調整)を、入力装置26に対する操作で端末装置12[k]に指示することが可能である。変数調整が利用者から指示された場合、制御装置21は、図6に例示される通り、制御変数情報DCの数値を入力装置26に対する利用者からの指示に応じて変更する(SC41)。そして、制御装置21は、変数調整通知を通信装置24から各他端末に送信する(SC42)。変数調整通知は、端末装置12[k]の端末識別情報DAと利用者による調整後の制御変数情報DCとを包含する。
他方、以上の手順で他端末から送信された変数調整通知を受信した場合、端末装置12[k]の制御装置21は、図7に例示される通り、端末識別情報DAと制御変数情報DCとを変数調整通知から取得し(SD41)、管理情報Aおよび確認画面Gを制御変数情報DCに応じて更新する(SD42,SD43)。具体的には、管理情報Aおよび確認画面Gにおいて変数調整通知の端末識別情報DAに対応する制御変数情報DCが、今回の変数調整通知から取得された調整後の制御変数情報DCに更新される。したがって、各端末装置12[k]における制御変数情報DCの設定値を各利用者が実時間的に確認することが可能である。
任意の端末装置12[k]の入力装置26に対して利用者が処理終了を指示した場合、端末装置12[k]の制御装置21は、制御処理SAと記録処理SBとを終了する。以上が、制御処理SAにて実行される第1処理SA5および第2処理SA7の具体例である。
<記録後処理>
図9は、第1処理SA5および第2処理SA7にて録音動作の停止時に実行される記録後処理(SC35,SD35)のフローチャートである。図9では、記録後処理に並行して音響処理装置14の制御装置31が実行する処理が併記されている。
記録後処理を開始すると、各端末装置12[k]の制御装置21は、記憶装置22に記憶された音響データXA[k](確定動作による確定後の音響データXA[k])に対する編集処理で音響データXB[k]を生成する(SE1)。音響データXA[k]の編集処理には、管理情報Aで規定される他端末の録音状態情報DBや制御変数情報DCが適用される。例えば、制御装置21は、各他端末の録音状態情報DBが示す音量の平均値に近付くように音響データXA[k]の音量を調整する。また、制御装置21は、端末装置12[k]の利用者が入力装置26に指示した制御変数情報DC(録音レベル)に応じて音響データXA[k]の振幅を調整する。なお、管理情報Aが指定する各端末装置12[k]の制御変数情報DCの平均値をゲインとして音響データXA[k]の振幅を調整することも可能である。また、制御装置21は、音響データXA[k]に対して各種の音響効果(例えば残響効果)を付与する。以上の説明から理解される通り、各端末装置12[k]の制御装置21は、収音装置27が生成した音響データXA[k]を編集する要素(編集手段)として機能する。
端末装置12[k]の制御装置21は、音響データXA[k]に対する編集処理で生成した音響データXB[k]を通信装置23から音響処理装置14に送信する(SE2)。音響処理装置14に送信される音響データXB[k]には録音識別情報QBが付加される。各端末装置12[k]が以上の動作を実行することで、相異なる発音源S[k]に対応するK個の音響データXB[1]〜XB[K]が音響処理装置14に送信される。
音響処理装置14の制御装置31は、通信装置33が各端末装置12[k]から受信した編集後の音響データXB[k]を取得して記憶装置32に格納する(SF1)。制御装置31は、相互に対応する音響データXB[1]〜XB[K]に対する音響処理で音響データYを生成する(SF2,SF3)。各端末装置12[k]からの送信時に付加された録音識別情報QBが共通するK個の音響データ(すなわち、共通の音響空間内で相互に並列に生成されたK個の音響データ)XB[1]〜XB[K]を対象として音響処理が実行される。すなわち、音響空間や録音時期が相違する多数の音響データXB[k]から、共通の録音に対応するK個の音響データXB[1]〜XB[K]が録音識別情報QBにより判別される。本実施形態の音響処理は、図2を参照して前述した通り、同期処理SF2と混合処理SF3とを包含する。
前述の通り、1個の端末装置12[k]に対する録音動作の開始の指示を契機としてK個の端末装置12[1]〜12[K]における録音動作が開始されるが、実際に録音が開始される時刻は各端末装置12[k]で相違する可能性がある。同期処理SF2は、各音響データXB[k]が表す音響を時間軸上で相互に同期させる処理である。例えば、K個のうち任意の2個の各音響データXB[k]の相互相関が最大となるように各音響データXB[k]を調整する処理が同期処理SF2として好適である。また、各音響データXB[k]の標本化周波数の誤差を補正することで各音響データXB[k]を同期させることも可能である。なお、同期処理SF2における標本化周波数の誤差については、例えば宮部等,“非同期録音ブラインド同期のための線形位相補償の効率的最尤解探索”,日本音響学会 春期研究発表会講演集,p.733-736,2013にも開示されている。
他方、混合処理SF3は、同期処理SF2の実行後のK個の音響データXB[1]〜XB[K]を混合(ミキシング)することで音響データYを生成する処理である。具体的には、録音状態に応じて自動的に音量を調整して混合する処理(オートミキシング)が好適に採用される。例えば、K個の音響データXB[1]〜XB[K]の混合後の周波数特性(スペクトル)にて各周波数の成分値が均一化されるように各音響データXB[k]の音量を調整する構成や、混合後の周波数特性を近似する直線の勾配が所定の範囲内の数値となるように各音響データXB[k]の音量を調整する構成が好適である。なお、以上の例示では周波数特性に着目したが、ラウドネス特性(ISO 226)を基準として各音響データXB[k]を混合することも可能である。各音響データXB[k]の混合には、例えばD.Dugan,"Automatic microphone mixing", J.Audio Eng. Soc, vol. 23, no.6, p.442-449, 1975や、J. Scott, et al., "AUTOMATIC MULTI-TRACK MIXING USING LINEAR DYNAMICAL SYSTEMS", Proc. SMC 2011にも開示されたオートミキシング技術も採用され得る。以上の説明から理解される通り、音響処理装置14の制御装置31は、各端末装置12[k]から取得したK個の音響データXB[1]〜XB[K]について同期処理SF2と混合処理SF3とを実行する要素(音響処理手段)として機能する。音響処理で生成された音響データYは記憶装置32に格納される。なお、同期処理SF2を省略することも可能である。
他方、音響データXB[k]を送信(SE2)した各端末装置12[k]の制御装置21は、音響処理の完了/未了を音響処理装置14に照会するとともに照会結果を取得する(SE3)。音響処理装置14に対する照会(SE3)は、音響処理の完了が音響処理装置14から通知されるまで所定の時間毎に反復される(SE4:NO)。音響処理の完了が音響処理装置14から通知されると(SE4:YES)、端末装置12[k]の制御装置21は、音響処理後の音響データYを音響処理装置14に対して要求する(SE5)。端末装置12[k]からの要求を受信した音響処理装置14の制御装置31は、前述の音響処理(SF2,SF3)で生成した音響データYを端末装置12[k]に送信する(SF4)。端末装置12[k]の制御装置21は、通信装置23が音響処理装置14から受信した音響データYを取得して記憶装置22に格納する(SE6)。そして、制御装置21は、記憶装置22に記憶された音響データYを放音装置28に供給する(SE7)。したがって、K個の発音源S[1]〜S[K]が放射した音響の混合音(対象楽曲の演奏音)が放音装置28から再生される。
以上に説明した通り、本実施形態では、各発音源S[k]の音響の収音(音響データXA[k]の生成)と音響データXA[k]の編集処理とが各端末装置12[k]にて実行されたうえで、各端末装置12[k]で生成された音響データXB[k]を集約する音響処理(同期処理SF2および混合処理SF3)が実行される。したがって、収録システム100の全体構成が簡素化(小規模化)されるという利点がある。例えば、特許文献1の技術では、収音チャネル数の最大値(音響空間内の発音源の総数の最大値)に対応した個数の収音装置を具備する大規模な収録システムが必要であるが、第1実施形態では、音響空間内の発音源S[k]の総数に応じた個数の端末装置12[k]を用意すれば対象楽曲の収録を実現できる。また、各端末装置12[k]には、携帯電話機やスマートフォン等の広範に普及した通信端末を利用できるという利点もある。
本実施形態では、各端末装置12[k]が他端末から取得した情報(録音状態情報DBや制御変数情報DC)を利用して音響データXA[k]の編集処理が実行される。したがって、各発音源S[k]の音響の関係を加味した音響データXB[k]を生成できるという利点がある。しかも、各端末装置12[k]での編集処理に利用される情報は近距離無線通信で授受されるから、例えば各端末装置12[k]が相互に有線通信する構成と比較して、各端末装置12[k]の設置の位置や姿勢の自由度が高い(各発音源S[k]に対して自由な位置や姿勢に配置できる)という利点がある。
また、任意の1個の端末装置12[k]から各他端末に送信される指示(録音動作の開始また停止の指示)に応じて音響データXA[k]の録音動作が開始または停止されるから、K個の端末装置12[1]〜12[K]に対して各利用者が一斉に録音動作の開始や停止を指示するといった煩雑な作業が不要であるという利点もある。
<変形例>
前述の形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様を適宜に併合することも可能である。
(1)前述の形態では、各音響データXB[k]に対する音響処理を各端末装置12とは別個の音響処理装置14(サーバ装置)が実行したが、任意の1個の端末装置12[k](以下「対象端末装置12[k]」という)が前述の形態における音響処理装置14の機能を実現することも可能である。すなわち、対象端末装置12[k]は、通信装置24が他端末から受信した音響データXBと自装置で生成した音響データXB[k]とに対して音響処理(同期処理SF2,混合処理SF3)を実行することで音響データYを生成し、音響データYを自装置の放音装置28に供給するとともに通信装置24から各他端末に送信する。以上の構成によれば、音響処理装置14と各端末装置12[k]との間の通信(音響データXB[k]や音響データYの授受)が不要であるから、通信網16の処理負荷(通信トラヒック)が軽減されるという利点がある。他方、前述の形態のように各端末装置12[k]とは別個の音響処理装置14が音響処理を実行する構成によれば、各端末装置12[k]に音響処理の機能を搭載する必要がない(したがって各端末装置12[k]には高度な演算性能が要求されない)という利点がある。以上の説明から理解される通り、音響データXB[k]に対する音響処理(同期処理SF2および混合処理SF3)を実行する要素(音響処理手段)が音響処理装置14(サーバ装置)および端末装置12[k]の何れに設置されるかは本発明において不問である。
(2)編集処理に関する情報を各端末装置12[k]の相互間で授受することも可能である。例えば、任意の1個の端末装置12[k]に対して利用者が指示した情報を端末装置12[k]から各他端末に送信して共有することで、編集処理の種類や内容(編集処理に適用される変数の数値)をK個の端末装置12[1]〜12[K]にわたり共通化することが可能である。
(3)編集処理(SE1)や音響処理(SF2,SF3)の内容は以上の例示に限定されない。例えば、音響データXB[k]の特定の区間を他のデータに置換する処理を編集処理として実行することも可能である。また、K個の音響データXB[1]〜XB[K]に対する信号処理で任意のチャネル数(例えば5.1ch)の音響データYを生成する処理を混合処理SF3として実行することも可能である。マルチチャネルの音響データYを生成する場合、各端末装置12[k]の位置に発音源S[k]の音像が定位するように音響データYの各チャネルが生成される。端末装置12[k]の位置の検出には、例えば端末装置12[k]に搭載されたGPS(Global Positioning System)が利用される。
(4)前述の形態では、各発音源S[k]の音響の収音(音響データXA[k]の生成)と音響データXA[k]の編集処理とを各端末装置12[k]にて実行したが、音響データXA[k]の編集処理は省略され得る。すなわち、収音装置27が生成した音響データXA[k]を、同期処理SFおよび混合処理SFの対象となる音響データXB[k]として、各端末装置12[k]が音響処理装置14に送信することも可能である。また、前述の形態において端末装置12[k]の制御装置21が実行する編集処理の一部または全部を、音響処理装置14の制御装置31が実行する構成も採用され得る。
(5)前述の形態では、制御処理SAおよび記録処理SBを実行することでK個の端末装置12[1]〜12[K]にわたり並列的に録音動作を開始および停止させたが、制御処理SAおよび記録処理SBは省略され得る。すなわち、K個の端末装置12[1]〜12[K]の各々に対して各利用者が録音動作の開始および停止を個別に指示することも可能である。なお、例えば掛け声等の特定の合図の時点で各利用者が録音動作の開始および停止を自身の端末装置12[k]に指示すれば、複数の音響データXB[1]〜XB[K]にわたり時間軸上の始点や終点を概略的には合致させることが可能であるが、制御処理SAや記録処理SBを実行する前述の形態と比較すると、各音響データXB[k]の時間軸上のずれが顕著となる可能性がある。以上の傾向を考慮すると、制御処理SAおよび記録処理SBを省略した構成では、各音響データXB[k]の時間軸上のずれが顕著である場合に好適な同期処理を、前述の形態で例示した同期処理とともに(または当該同期処理に代えて)実行する構成が好適である。各音響データXB[k]のずれが顕著である場合の同期処理としては、例えば、P, Misra, et al., "Efficient Cross-Correlation Via Sparse Representation In Sensor Networks", IPSN 2012に記載された方法(ダウンサンプリングと相互相関とを利用した位置合わせ)が好適に採用される。
(6)各発音源S[k]から離間した位置(例えばK個の発音源S[1]〜S[K]が位置する舞台から離間した観客席)に設置された収音装置(以下「参照用収音装置」という)でK個の発音源S[1]〜S[K]からの音響の混合音を収音し、参照用収音装置による収音結果を混合処理に適用することも可能である。例えば、参照用収音装置が収音した混合音から各発音源S[k]の音量比を推定し、K個の音響データXB[1]〜XB[K]を各発音源S[k]の音量比で混合する構成が採用される。参照用収音装置には、前述の形態の端末装置12[k]と同様に、携帯電話機やスマートフォン等の通信端末が好適に利用される。また、参照用収音装置が収音した音響の音響データを、各端末装置12から送信されたK個の音響データXB[1]〜XB[K]に混合することで、音響処理装置14が音響データYを生成することも可能である。以上の構成によれば、音響空間内の全体的な雰囲気や残響音等の効果を音響データYに付加することが可能である。
(7)音響データXA[k]や音響データXB[k]の形式(音響符号化方式)は任意である。また、音響データXA[k]や音響データXB[k]の形式を適宜に変更することも可能である。例えば、第1動作モードでは、圧縮率が高い音響符号化方式(例えばMP3形式)の音響データXB[k]を音響処理装置14に送信することで音響データYを生成し、第2動作モードでは、圧縮率が低い音響符号化方式(例えばWAV形式)の音響データXB[k]を音響処理装置14に送信することで音響データYを生成する。以上の構成によれば、例えば、対象楽曲の演奏音の試聴時には第1動作モードを利用し、試聴結果が良好である場合に最終的な音響データYを生成するために第2モードを利用するといった対応が可能である。第1動作モードでは音響データXB[k]のデータ量の削減により効率的な通信が実現され、第2動作モードでは高音質な音響データYを生成できる。また、通信環境に応じて音響データXA[k]や音響データXB[k]の形式を変更することも可能である。例えば、4G(4th Generation)やLTE(Long Term Evolution)等の通信方式のもとでは圧縮率が高い音響符号化方式(例えばMP3形式)の音響データXB[k]を端末装置12[k]から音響処理装置14に送信し、Wi-Fi等の通式方式を利用可能な環境では圧縮率が低い音響符号化方式(例えばWAV形式)の音響データXB[k]を端末装置12[k]から音響処理装置14に送信する。
(8)前述の形態では、録音識別情報QBが共通するK個の音響データXB[1]〜XB[K]について音響処理(同期処理SF2および混合処理SF3)を実行したが、音響処理の対象となる音響データXB[k]を利用者が任意に選択する構成も採用される。例えば、複数回にわたる対象楽曲の演奏の各々について各演奏パートの音響データXB[k]を各端末装置12[k]から音響処理装置14に送信し、対象楽曲の演奏パート毎に、相異なる演奏で記録された複数の音響データXB[k]のうち端末装置12[k]の利用者が選択した音響データXB[k]を抽出して、音響処理装置14の制御装置31が同期処理SF2および混合処理SF3を実行する。以上の構成によれば、複数回のうち最良の演奏の音響データXB[k]を演奏パート毎に組合せた対象楽曲の演奏音を生成できるという利点がある。なお、以上のようにK個の音響データXB[1]〜XB[K]を選択的に音響データYの生成に利用する構成では、音響データYの生成に適用される音響データXB[k]の総数が、録音動作に使用された端末装置12[k]の総数Kを下回り得る。
(9)前述の形態では、各端末装置12[k]の録音状態情報DB(音響データXA[k]の音量)を確認画面Gに表示する構成を例示したが、各端末装置12[k]の録音状態を利用者に報知する方法は以上の例示に限定されない。例えば、任意の1個の端末装置12[k]から状態通知を受信できない状況が所定の時間にわたり継続した場合や、録音状態情報DBが表す音量が所定の時間にわたり継続して閾値を下回る場合(オンマイクの録音状態が維持されていないと推定される場合)に各端末装置12[k]から利用者に異常を報知する構成が採用される。異常の報知の方法は任意であるが、例えば音声や画像で報知する方法のほか、端末装置12[k]に搭載された撮像用の照明装置(例えば被写体を照明するLED)を点灯させる方法が採用される。また、任意の1個の端末装置12[k]の電池残量が所定値を下回る場合に通信装置24から各他端末に通知する構成や、目標の発音源S[k]以外からの到来音(かぶり音)の音量が大きい場合に端末装置[k]の利用者に報知するとともに通信装置24から各他端末に通知する構成も好適である。
(10)録音動作で生成される音響データXA[k]のうち入力装置26に対する利用者からの指示に応じた時点を指定する情報(以下「補助情報」という)を記録動作の実行中に随時に付加することも可能である。例えば、録音動作(制御処理SAおよび記録処理SB)の実行中の任意の時点で利用者が入力装置26を操作した場合に、端末装置12[k]の制御装置21は、音響データXA[k]の当該時点に補助情報を付加する。例えば、発音源S[k]の音響のうち音楽的な問題がある区間(例えば演奏を間違えた区間)の始点および終点に補助情報が付加される。以上の構成によれば、音響データXA[k](音響データXB[k])のうち補助情報で規定される区間を他の演奏に置換したり、音響データXA[k]のうち演奏が適切でない区間を演奏後に確認したりすることが可能である。また、利用者が指定した文字列(コメント)を補助情報に含ませて利用者が事後的に確認できる構成も好適である。
(11)以上の形態では音響の収録を例示したが、音響とともに画像(典型的には動画像)を収録することも可能である。例えば、各端末装置12[k]に搭載された撮像装置により発音源S[k]や周囲の画像が撮影される。また、各端末装置12[k]で撮影された画像を、例えば動画配信サイトから不特定の端末に配信することも可能である。具体的には、各端末装置12[k]で撮影された画像を素材(いわゆるVJ(Video Jockey)素材)として時間軸上で相互に連結した動画像を、音響処理後の音響データYの音響とともに配信する構成が好適である。また、録音状態情報DBや制御変数情報DCの時間変化を画像に重畳して表示させることも可能である。
また、図10に例示される通り、端末装置12[k1](k1=1〜K)で収録された動画像に画像データZとともに包含される音響データXB[k1]と、端末装置12[k2](k2≠k1)で生成された音響データXB[k2]とを混合処理SF3の対象とすることも可能である。例えば、音響データXB[k1]の混合比(ゲイン)を0付近の数値に設定するとともに音響データXB[k2]の混合比を1付近の数値に設定したうえで音響データXB[k1]と音響データXB[k2]とを混合処理SF3にて混合(加重加算)することで、音響データXB[k1]を音響データXB[k2]に置換した動画像が生成される。例えば、通信端末12[k1](例えばスマートフォンやビデオカメラ)と比較して高性能な収音装置27を具備するPA用の音響機器を端末装置12[k2]として利用すれば、端末装置12[k1]で収録された動画像の音響(比較的に低品質な音響)を、端末装置12[k2]で収録された高品質な音響に置換した動画像を生成することが可能である。例えば演奏会等のイベントの観覧者が自身の端末装置12[k1]を利用して動画像を収録し、当該イベントの主催者が高性能な端末装置12[k2]を利用するという状況が想定される。
(12)音響処理措置14が生成した音響データYの再生音を聴取しながら端末装置12[k]の利用者が対象楽曲の演奏パートを演奏し、演奏音を端末装置12[k]にて収録および編集した音響データXB[k]を、収録済の音響データXB[k](すなわち既存の音響データYの生成に利用された音響データXB[k])の代わりに利用して混合処理SF3を実行することで、音響処理装置14が新規な音響データYを生成することも可能である。なお、以上の説明では音響データXB[k]の差替を例示したが、既存の音響データXB[k]とは別個の演奏パートの音響を収録および編集した音響データXB[k]を、収録済のK個の音響データXB[1]〜XB[K]に追加して混合処理SF3を実行することで新規な音響データYを生成すること(演奏パートの追加)も可能である。
(13)前述の形態では、発音源S[k]が放射した音響の波形を表す音響データXA[k](XB[k])を例示したが、音響データXA[k]の形式は以上の例示に限定されない。例えばMIDI(Musical Instrument Digital Interface)規格に準拠した電子楽器を発音源S[k]として利用した構成では、音響の音高と発音/消音とを時系列に指定するMIDI形式の時系列データが音響データXA[k]として生成される。以上の説明から理解される通り、前述の形態における収音装置27やMIDI楽器等の電子楽器は、音響を表す音響データXA[k]を生成する要素(収録手段)として包括的に表現される。
(14)前述の形態では、発音源S[k]と端末装置12[k]とが1対1に対応する場合を例示したが、発音源S[k]と端末装置12[k]との対応関係は以上の例示に限定されない。例えば、複数の発音源S[k]について1個の端末装置12[k]を配置した構成や、1個の発音源S[k]について複数の端末装置12[k]を配置した構成も採用され得る。
(15)前述の形態では、K個の端末装置12[1]〜12[K](発音源S[1]〜S[K])が共通の音響空間内に位置する場合を例示したが、K個のうちの一部の端末装置12[k]が他端末とは別個の空間に所在する場合にも本発明を適用することが可能である。例えば、相異なる音響空間内に位置する複数の端末装置12[k]が相互に通信する(例えば通信網16を介して通信する)ことで、各端末装置12[k]にて並列的に録音動作を実行することが可能である。
(16)前述の形態では、端末装置12[k]の通信装置23と通信装置24とで通信方式を相違させた構成を例示したが、端末装置12[k]と音響処理装置14との間の通信方式と各端末装置12[k]の相互間の通信方式とを共通させることも可能である。例えば、各端末装置12[k]と音響処理装置14との間で前述の形態と同様に通信網16を介した通信を実行し、かつ、複数の端末装置12[k]の相互間でも通信網16を介した通信を実行する構成が採用される。また、各端末装置12[k]の相互間で前述の形態と同様に近距離無線通信を実行し、各端末装置12[k]と音響処理装置14との間でも近距離無線通信を実行する構成も採用され得る。したがって、通信装置23と通信装置24とを端末装置12[k]が別個に具備する構成は必須ではなく、音響処理装置14に対する通信と他の端末装置12[k]に対する通信とに単一の通信装置を利用することも可能である。
100……収録システム、12[k](12[1]〜12[K])……端末装置、14……音響処理装置、16……通信網、21……制御装置、22……記憶装置、23……通信装置、24……通信装置、25……表示装置、26……入力装置、27……収音装置、28……放音装置、31……制御装置、32……記憶装置、33……通信装置、S[k](S[1]〜S[K])……発音源、XA[k](XA[1]〜XA[K]),XB[k](XB[1]〜XB[K]),Y……音響データ。

Claims (8)

  1. 音響を表す音響データを生成する収録手段と、前記収録手段が生成した音響データを編集する編集手段とを各々が含む複数の端末装置と、
    前記編集手段による編集後の音響データを前記各端末装置から取得し、前記各音響データを同期させる同期処理と当該同期処理の実行後の複数の音響データを混合する混合処理とを実行する音響処理手段と
    を具備する収録システム。
  2. 前記複数の端末装置の各々における前記編集手段は、他端末から取得した情報を利用して前記音響データを編集する
    請求項1の収録システム。
  3. 前記複数の端末装置の各々は、前記各端末装置の前記編集手段による音響データの編集に適用される制御変数を示す制御変数情報を含む管理情報を記憶し、前記複数の端末装置の何れかにおいて制御変数が変化すると、前記管理情報を、他端末との間の通信により、当該変化を反映した内容に更新する
    請求項1の収録システム。
  4. 音響を表す音響データを生成する収録手段を各々が含む複数の端末装置と、
    前記収録手段による収録後の音響データを前記各端末装置から取得し、前記各音響データを同期させる同期処理と当該同期処理の実行後の複数の音響データを混合する混合処理とを実行する音響処理手段とを具備し、
    前記複数の端末装置の各々は、前記各端末装置における音響データの録音状態を示す録音状態情報を含む管理情報を記憶し、前記複数の端末装置の何れかにおいて録音状態が変化すると、前記管理情報を、他端末との間の通信により、当該変化を反映した内容に更新する
    収録システム。
  5. 前記複数の端末装置の各々は、前記管理情報を表示する表示手段を具備する
    請求項3または請求項4の収録システム。
  6. 音響処理装置が、音響を表す音響データを生成する収録手段と、前記収録手段が生成した音響データを編集する編集手段とを各々が含む複数の端末装置から、前記編集手段による編集後の音響データを取得し、前記各音響データを同期させる同期処理と当該同期処理の実行後の複数の音響データを混合する混合処理とを実行する
    収録方法。
  7. 音響処理装置が、音響を表す音響データを生成する収録手段を各々が含む複数の端末装置から、前記収録手段による収録後の音響データを取得し、前記各音響データを同期させる同期処理と当該同期処理の実行後の複数の音響データを混合する混合処理とを実行し、
    前記複数の端末装置の各々が、前記各端末装置における音響データの録音状態を示す録音状態情報を含む管理情報を記憶し、前記複数の端末装置の何れかにおいて録音状態が変化すると、前記管理情報を、他端末との間の通信により、当該変化を反映した内容に更新する
    収録方法。
  8. コンピュータを、
    音響を表す音響データを生成する収録手段と、前記収録手段が生成した音響データを編集する編集手段とを各々が含む複数の端末装置から、前記編集手段による編集後の音響データを取得し、前記各音響データを同期させる同期処理と当該同期処理の実行後の複数の音響データを混合する混合処理とを実行する音響処理手段
    として機能させるプログラム。
JP2014198056A 2013-10-16 2014-09-29 収録システム、収録方法およびプログラム Expired - Fee Related JP6191572B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014198056A JP6191572B2 (ja) 2013-10-16 2014-09-29 収録システム、収録方法およびプログラム
US14/514,743 US9824674B2 (en) 2013-10-16 2014-10-15 Recording method, recording system, recording program storage medium, acoustic processing method, and acoustic processing device
EP14188977.4A EP2881950B1 (en) 2013-10-16 2014-10-15 Recording method, recording system, recording program, recording program storage medium, acoustic processing method, and acoustic processing device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013215708 2013-10-16
JP2013215708 2013-10-16
JP2014198056A JP6191572B2 (ja) 2013-10-16 2014-09-29 収録システム、収録方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2015100103A JP2015100103A (ja) 2015-05-28
JP6191572B2 true JP6191572B2 (ja) 2017-09-06

Family

ID=51726410

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014198056A Expired - Fee Related JP6191572B2 (ja) 2013-10-16 2014-09-29 収録システム、収録方法およびプログラム

Country Status (3)

Country Link
US (1) US9824674B2 (ja)
EP (1) EP2881950B1 (ja)
JP (1) JP6191572B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7414946B2 (ja) 2014-08-29 2024-01-16 フィリップ・モーリス・プロダクツ・ソシエテ・アノニム 取り外し可能部分を持つラッパーを備えた容器

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6662063B2 (ja) 2016-01-27 2020-03-11 ヤマハ株式会社 収録データ処理方法
JP6733221B2 (ja) * 2016-03-04 2020-07-29 ヤマハ株式会社 録音システム、録音方法及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5925843A (en) * 1997-02-12 1999-07-20 Virtual Music Entertainment, Inc. Song identification and synchronization
JP3896865B2 (ja) 2002-02-25 2007-03-22 ヤマハ株式会社 マルチチャンネルオーディオシステム
KR100724836B1 (ko) * 2003-08-25 2007-06-04 엘지전자 주식회사 디지털 오디오 기기에서의 오디오 출력 레벨 조절장치 및방법
US7711443B1 (en) * 2005-07-14 2010-05-04 Zaxcom, Inc. Virtual wireless multitrack recording system
US8301076B2 (en) * 2007-08-21 2012-10-30 Syracuse University System and method for distributed audio recording and collaborative mixing
US20120323606A1 (en) * 2010-02-26 2012-12-20 Anand Ananthasubramaniam Method and a mobile device for reviewing patient information

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7414946B2 (ja) 2014-08-29 2024-01-16 フィリップ・モーリス・プロダクツ・ソシエテ・アノニム 取り外し可能部分を持つラッパーを備えた容器

Also Published As

Publication number Publication date
US9824674B2 (en) 2017-11-21
JP2015100103A (ja) 2015-05-28
EP2881950A1 (en) 2015-06-10
US20150104043A1 (en) 2015-04-16
EP2881950B1 (en) 2019-09-25

Similar Documents

Publication Publication Date Title
US20220103924A1 (en) Remotely Controlling a Hearing Device
JP6662063B2 (ja) 収録データ処理方法
JP2014530377A5 (ja)
JP6191572B2 (ja) 収録システム、収録方法およびプログラム
JP5311071B2 (ja) 楽曲再生装置及び楽曲再生プログラム
JP6051075B2 (ja) 通信障害時にデュエット歌唱を継続可能な通信カラオケシステム
JP6785169B2 (ja) カラオケ装置、リモコン装置
JP5713214B2 (ja) カラオケシステム及びカラオケ装置
JP5794934B2 (ja) コラボレーション歌唱の録画システム
JP6343539B2 (ja) 通信カラオケシステム
JP6007098B2 (ja) 歌唱動画生成システム
JP2020122857A (ja) カラオケシステム
JP2014235301A (ja) ジェスチャーによるコマンド入力識別システム
JP6366469B2 (ja) 映像データの汎用性を有する通信カラオケシステム
JP2011215221A (ja) カラオケ歌唱者映像及び歌唱音声記録システム
JP2009094701A (ja) 情報処理装置及びプログラム
JP6648464B2 (ja) カラオケシステム及び複合投稿情報作成方法
JP2022181977A (ja) カラオケ装置およびカラオケシステム
JP2017044765A (ja) 映像提供装置、映像提供システム及びプログラム
JP6648463B2 (ja) カラオケシステム及び複合投稿情報作成方法
JP2014199282A (ja) ユーザーカメラで撮影された静止画を利用可能な歌唱動画データ生成装置
JP6110623B2 (ja) コラボレーション歌唱映像の明るさ調整システム
JP2017183883A (ja) 端末装置および編集データ生成方法
JP6027870B2 (ja) カラオケ楽曲検索時における歌唱データ存在識別表示システム
JP6170738B2 (ja) 通信デュエット時の通信方式に特徴を有する通信カラオケシステム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150410

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170724

R151 Written notification of patent or utility model registration

Ref document number: 6191572

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees