JP7497755B2 - 信号処理方法、信号処理装置、及びプログラム - Google Patents

Description

本発明は、信号処理方法、信号処理装置、及びプログラムに関する。
本願は、２０２０年５月１１日に、米国に出願された６３／０２２，５９１号に基づき優先権を主張し、その内容をここに援用する。

遠隔地間をネットワークで接続して、オンライン音楽レッスンや遠隔会議を行ないたいという要求がある。スカイプ（登録商標）など、オンライン通話サービスを提供する、既存のアプリケーションプログラム（以下、通話アプリという）を利用して、映像と音とを連動させることにより、オンライン音楽レッスン等を行うことが考えられる。

オンライン音楽レッスンなど、音を主体とするコミュニケーションを行う場合においては、遅延を抑えつつ、特に高品質な音の伝送が求められる。一方、映像については、音と映像とが同期していればよく、それほど高度な画質は求められない。例えば、特許文献１には、遅延を抑えつつ音楽セッションの参加人数を拡張する技術が開示されている。特許文献２には、高品質かつリアルタイムにオンライン演奏を実現する技術が開示されている。特許文献３には、複数の画像を同期させる技術が開示されている。

特開２０１５－１３８０４０号公報 米国特許第１０１８２０９３号明細書 特開２００８－１９３５６１号公報

しかしながら、既存の通話アプリの内部仕様は一般には開示されておらず、ブラックボックス化されている。このため、既存の通話アプリに、特許文献１－３に開示されている技術を適用しようとしても一般的には困難である。

市場にはすでに複数の通話アプリが存在していることから、音楽レッスンに適したアプリを選択することも考えられる。スカイプ（登録商標）などの汎用の通話アプリが広く普及しており、大抵の人がこのような汎用の通話アプリの操作に慣れているため導入がスムーズである。しかし、このような汎用の通話アプリでは、音や画像の伝送状態が帯域の状況によって変動し、必ずしも高品質な音が伝送されるものではない。これに対し、伝送遅延を極力抑えながら、互いの演奏を高品質な音で伝送することが可能な、音響専用のセッションアプリが存在する。しかし、音響伝送に特化されており一般の通話に用いられることが少ないため、一般の人がアプリの操作に慣れておらず、導入が困難である。また、音響のみで映像がないためレッスンには不向きである。

すなわち、既存の通話アプリやセッションアプリには、これから音楽を始めようとする初心者にとって導入が容易で、かつ高品質な音を伝送できるものがない。このため、オンライン音楽レッスンに利用し難いという問題があった。

本発明は、このような事情に鑑みてなされたものである。その目的は、一般に普及している通話アプリを利用して、高品質な音を伝送することができる信号処理方法、信号処理装置、及びプログラムを提供することにある。

上述した課題を解決するために、本発明の信号処理方法は、同一の音源が収音された第１音響信号、及び第２音響信号の信号処理方法であり、前記第１音響信号は、前記第２音響信号よりも高品質な音の信号である信号処理方法であって、第１受信部が、第１伝送路を経由して伝送される前記第１音響信号を受信し、第２受信部が、伝送に係る遅延時間が前記第１伝送路より大きい第２伝送路であり前記第１伝送路とは異なる第２伝送路を経由して伝送される前記第２音響信号を受信し、遅延量算出部が、前記第１音響信号と前記第２音響信号における相対的な遅延量である伝送遅延量を算出し、遅延量付加部が、前記伝送遅延量に基づいて前記第１音響信号を遅延させ、当該遅延させた前記第１音響信号を出力する。

また、本発明の信号処理装置は、同一の音源が収音された第１音響信号、及び第２音響信号の信号処理を行う信号処理装置であり、前記第１音響信号は、前記第２音響信号よりも高品質な音の信号である信号処理装置であって、第１伝送路を経由して伝送される前記第１音響信号を受信する第１受信部と、伝送に係る遅延時間が前記第１伝送路より大きい第２伝送路であり前記第１伝送路とは異なる第２伝送路を経由して伝送される前記第２音響信号を受信する第２受信部と、前記第１音響信号と前記第２音響信号における相対的な遅延量である伝送遅延量を算出する遅延量算出部と、前記伝送遅延量に基づいて前記第１音響信号を遅延させ、当該遅延させた前記第１音響信号を出力する遅延量付加部と、を備える。

また、本発明のプログラムは、同一の音源が収音された第１音響信号、及び第２音響信号の信号処理を行う信号処理装置であり、前記第１音響信号は、前記第２音響信号よりも高品質な音の信号である信号処理装置であるコンピュータに、第１伝送路を経由して伝送される前記第１音響信号を受信する第１受信ステップ、伝送に係る遅延時間が前記第１伝送路より大きい第２伝送路であり前記第１伝送路とは異なる第２伝送路を経由して伝送される前記第２音響信号を受信する第２受信ステップ、前記第１音響信号と前記第２音響信号における相対的な遅延量である伝送遅延量を算出する遅延量算出ステップ、前記伝送遅延量に基づいて前記第１音響信号を遅延させ、当該遅延させた前記第１音響信号を出力する遅延量付加ステップ、を実行させるためのプログラムである。

以上説明したように、本発明によれば、一般に普及している通話アプリを利用して、高品質な音を伝送することができる。

第１の実施形態に係る伝送システム１の構成例を示すブロック図である。 第１の実施形態に係る制御部２３が行う処理を説明する図である。 第１の実施形態に係る伝送システム１の処理の流れを示すシーケンス図である。 第２の実施形態に係る伝送システム１Ａの構成例を示すブロック図である。 第２の実施形態に係る伝送システム１Ａの処理の流れを示すシーケンス図である。

以下、実施形態による伝送システムについて図面を参照して説明する。

（第１の実施形態）
図１は、第１の実施形態に係る伝送システム１の構成例を示すブロック図である。伝送システム１は、例えば、送信側端末１０と、受信側端末２０と、マイク３０と、スピーカ４０とを備える。送信側端末１０と受信側端末２０とは、例えば、インターネットなどの汎用の通信回線を介して通信可能に接続されている。

伝送システム１は、例えば、オンライン音楽レッスンなどの遠隔で行う音楽コミュニケーションを行う際に適用される。この場合、伝送システム１において、送信側端末１０と受信側端末２０が音響信号を相互に伝送し合う。以下の説明では、送信側端末１０から受信側端末２０に音響信号ｘ（ｔ）が伝送される場合を例に説明する。受信側端末２０から送信側端末１０に音響信号が伝送される場合にも、同様の方法を適用することができる。

本実施形態では、送信側端末１０、及び受信側端末２０の両方に、セッションアプリと通話アプリとの２つのアプリがインストールされている。セッションアプリ（以下、専用アプリという）は、音響専用のセッションアプリである。専用アプリでは、伝送による遅延を極力抑えながら、高品質な音を伝送することが可能である。通話アプリ（以下、汎用アプリという）は、スカイプ（登録商標）のように一般に広く普及している汎用の通話アプリである。しかしながら、汎用アプリでは、伝送状態が帯域の状況によって変動し、高品質な音が伝送されるものではない。

送信側端末１０は、セッションアプリと通話アプリの両方を用いて、同一の音源が収音された音響信号ｘ（ｔ）を受信側端末２０に送信する。受信側端末２０は、セッションアプリと通話アプリのそれぞれから伝送された音響信号ｘ（ｔ）を受信する。

具体的に、受信側端末２０は、専用アプリを介して伝送された音響信号ｘ（ｔ）（以下、受信音響信号ｘＮ（ｔ）という）を受信する。また、汎用アプリを介して伝送された音響信号ｘ（ｔ）（以下、受信音響信号ｘＳ（ｔ）という）を受信する。

ここで、専用アプリでは伝送路ＮＤを介した伝送が行われる。汎用アプリでは、伝送路ＳＤを介した伝送が行われる。伝送路ＮＤと、ＳＤとでは、一般的に、伝送の経路が異なる。このため、受信側端末２０には、受信音響信号ｘＮ（ｔ）と、受信音響信号ｘＳ（ｔ）とが互いに異なるタイミングで受信される。

ここで、専用アプリでは遅延を極力抑えた伝送が行われることから、受信音響信号ｘＳ（ｔ）と比較して、受信音響信号ｘＮ（ｔ）の方がより少ない遅延で受信側端末２０に受信されるものとする。この場合、受信音響信号ｘＮ（ｔ）は、「第１音響信号」の一例である。伝送路ＮＤは「第１伝送路」の一例である。また、受信音響信号ｘＳ（ｔ）は、「第２音響信号」の一例である。伝送路ＳＤは「第２伝送路」の一例である。

受信側端末２０は、異なるタイミングで受信した二つの音響信号を同期させて出力する。受信側端末２０は、二つの音響信号の相対的な伝送遅延量を算出する。以下の説明では、伝送遅延量のことを単に遅延量と記載する。

受信側端末２０は、算出した遅延量τを用いて、遅延が少ない方の音響信号である受信音響信号ｘＮ（ｔ）を遅延量τだけ遅らせた受信音響信号ｘＮ（ｔ－τ）を生成する。そして、受信側端末２０は、受信音響信号ｘＳ（ｔ）に代えて、受信音響信号ｘＮ（ｔ－τ）をスピーカ４０に出力する。これにより、汎用アプリが受信側で音を出力するタイミングに合わせて、高品質な音響を出力させることが可能である。したがって、汎用アプリを介した通話が、高品質な音で行われるようすることができる。

送信側端末１０は、送信者側のコンピュータ装置であり、例えば、スマートフォン、パーソナルコンピュータ、携帯電話、タブレット端末、ウェアラブル端末などである。送信側端末１０は、例えば、通信部１１と、記憶部１２と、制御部１３と、入出力部１４とを備える。

通信部１１は、受信側端末２０と通信を行う。例えば、通信部１１は、専用アプリの制御にしたがって音響信号ｘ（ｔ）を、受信側端末２０に送信する。また、通信部１１は、汎用アプリの制御にしたがって音響信号ｘ（ｔ）を、受信側端末２０に送信する。

記憶部１２は、記憶媒体、例えば、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＡＭ（Random Access read/write Memory）、ＲＯＭ（Read Only Memory）、または、これらの記憶媒体の任意の組み合わせによって構成される。記憶部１２は、送信側端末１０の各種の処理を実行するためのプログラム、及び各種の処理を行う際に利用される一時的なデータを記憶する。

制御部１３は、送信側端末１０が備えるハードウェアとしてのＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のProcessing Unit（プロセッシングユニット）が記憶部１２に記憶されたプログラムを実行することにより、機能が実現される。

制御部１３は、例えば、専用アプリ１３０と、汎用アプリ１３１と、装置制御部１３２とを備える。専用アプリ１３０は、汎用アプリの機能を実現する機能部であり、マイク３０から取得される音響信号ｘ（ｔ）を、予め設定された通信先の装置（ここでは、受信側端末２０）に伝送する。汎用アプリ１３１は、汎用アプリの機能を実現する機能部であり、マイク３０から取得される音響信号ｘ（ｔ）を、予め設定された通信先の装置（ここでは、受信側端末２０）に伝送する。装置制御部１３２は、送信側端末１０を統括的に制御する。例えば、装置制御部１３２は、マイク３０から入力される音響信号ｘ（ｔ）を専用アプリ１３０、及び汎用アプリ１３１に出力する。また、装置制御部１３２は、専用アプリ１３０及び汎用アプリ１３１から出力される、通信先の装置との通信を確立させるための制御信号を通信部１１に出力することによって、受信側端末２０に送信する。

入出力部１４は、送信側端末１０に接続される外部機器との信号の入出力を仲介する機能部である。ここでは、入出力部１４には、マイク３０によって収音された音響信号ｘ（ｔ）が入力される。

受信側端末２０は、受信者側のコンピュータ装置であり、例えば、スマートフォン、パーソナルコンピュータ、携帯電話、タブレット端末、ウェアラブル端末などである。ここでは、受信側端末２０は、送信側端末１０と同等の構成を備えるものとする。以下の説明では、受信側端末２０の機能のうち、送信側端末１０とは異なる機能のみを説明し、送信側端末１０と同等の機能については詳細な説明を省略する場合がある。

受信側端末２０は、例えば、通信部２１と、記憶部２２と、制御部２３と、入出力部２４とを備える。通信部２１は、送信側端末１０と通信を行う。例えば、通信部２１は、送信側端末１０から受信音響信号ｘＮ（ｔ）を受信する。通信部２１は、送信側端末１０から受信音響信号ｘＳ（ｔ）を受信する。

記憶部２２は、記憶媒体、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＡＭ、ＲＯＭ、または、これらの記憶媒体の任意の組み合わせによって構成される。記憶部２２は、受信側端末２０の各種の処理を実行するためのプログラム、及び各種の処理を行う際に利用される一時的なデータを記憶する。

制御部２３は、受信側端末２０が備えるハードウェアとしてのＣＰＵ、ＧＰＵ等のProcessing Unit（プロセッシングユニット）が記憶部２２に記憶されたプログラムを実行することにより、機能が実現される。

入出力部２４は、受信側端末２０に接続される外部機器との信号の入出力を仲介する機能部である。ここでは、入出力部２４は、受信音響信号ｘＮ（ｔ－τ）をスピーカ４０に出力する。

制御部２３は、例えば、遅延推定部２３０と、ディレイ部２３１と、装置制御部２３２と、専用アプリ２３３と、汎用アプリ２３４とを備える。遅延推定部２３０は、「遅延量算出部」の一例である。ディレイ部２３１は、「遅延量付加部」の一例である。装置制御部２３２は、受信側端末２０を統合的に制御する。専用アプリ２３３は、専用アプリ１３０と同等の機能部である。汎用アプリ２３４は、汎用アプリ１３１と同等の機能部である。

図２は、制御部２３が行う処理を説明する図である。遅延推定部２３０は、受信音響信号ｘＮ（ｔ）と、受信音響信号ｘＳ（ｔ）とを取得して両信号の相対的な遅延量τを算出する。遅延推定部２３０は、算出した遅延量τをディレイ部２３１に出力する。

ディレイ部２３１は、遅延推定部２３０から取得した遅延量τを用いて受信音響信号ｘＮ（ｔ）を遅延させた受信音響信号ｘＮ（ｔ－τ）を生成し、生成した受信音響信号ｘＮ（ｔ－τ）を出力する。

ここで、遅延推定部２３０が遅延量を算出する具体的な方法について説明する。遅延推定部２３０は、例えば、受信音響信号ｘＮ（ｔ）を一定の時間区間（例えば、１秒間）相当分バッファリングする。すなわち、遅延推定部２３０は、通信部２１によって受信された受信音響信号ｘＮ（ｔ）を順次記憶させ、一定の時間区間に相当する信号を、例えば記憶部２２に、一時的に記憶させる。

また、遅延推定部２３０は、例えば、受信音響信号ｘＳ（ｔ）を一定の時間区間（例えば、１秒間）相当分バッファリングする。すなわち、遅延推定部２３０は、通信部２１によって受信された受信音響信号ｘＳ（ｔ）を順次記憶させ、一定の時間区間に相当する信号を、例えば記憶部２２に、一時的に記憶させる。

遅延推定部２３０は、バッファリングした一定の時間区間Ｔの受信音響信号ｘＮ（ｔ）と、受信音響信号ｘＳ（ｔ）との相互相関値を取る。例えば、遅延推定部２３０は、以下の（１）式を用いて、相互相関値Ｒを算出する。（１）式において、Ｒ（ｎ）は、遅延量をｎとした場合における相互相関値を示す。Ｔは一定の時間区間を示す。ｔは時間を示す。

例えば、遅延推定部２３０は、ｎを変更しながら相互相関値Ｒ（ｎ）を算出する。遅延推定部２３０は、算出した相互相関値Ｒ（ｎ）のうち、絶対値｜Ｒ（ｎ）｜が最大となる遅延量ｎを、受信音響信号ｘＮ（ｔ）と受信音響信号ｘＳ（ｔ）との相対的な遅延量とする。

また、遅延推定部２３０は、以下の（２）式に示すように、相互相関値Ｒ´（ｎ）の重みづけ和を、相互相関値Ｒ（ｎ）としてもよい。ここでの相互相関値Ｒ´（ｎ）は、直近（例えば、一つ前の時間区間）で得られた相互相関値である。（２）式において、Ｒ´（ｎ）は直近の相互相関値であって遅延量をｎとした場合における相互相関値を示す。Ｔは一定の時間区間を示す。ｔは時間を示す。

ここで、伝送路ＮＤや伝送路ＳＤによる遅延量は、常に一定の値をとるものではなく、帯域の状況やで送受信される信号の込み具合などによって時々刻々と変動するのが通常である。このため、算出した遅延量を用いて受信音響信号ｘＮ（ｔ）を遅延させても、徐々に、受信音響信号ｘＮ（ｔ）と受信音響信号ｘＳ（ｔ）の同期が外れてしまう場合があり得る。

この対策として、遅延推定部２３０は、適宜、遅延量を更新する。例えば、遅延推定部２３０は、所定の算出タイミングが到来する度に遅延量を算出する。遅延推定部２３０は、算出した遅延量を、例えば、遅延量ｎ（１）、ｎ（２）、…、ｎ（Ｎ）として、記憶部２２に記憶させる。遅延量ｎの引数（１、２、…、Ｎ）は算出タイミングを示している。遅延推定部２３０は、各算出タイミングｋ（ｋ＝１～Ｎ）で得られた遅延量ｎ（ｋ）を、その時点における遅延量とする。これにより、伝送に係る遅延量が時々刻々と変化する場合であっても、その変化に追従させた受信音響信号ｘＮ（ｔ）を出力させることができる。

なお、算出タイミングは任意に設定されてよい。例えば、受信音響信号ｘＮ（ｔ）、あるいは受信音響信号ｘＳ（ｔ）を受信する度に遅延量を算出するようにしてもよい。あるいは、バッファリングする時間区間Ｔ（あるいは、１／２Ｔや、１／４Ｔ等）ごとに算出タイミングが到来するようにしてもよいし、ランダムに算出タイミングが到来するようにしてもよい。

上記では、遅延量が算出される度に、その算出した遅延量で受信音響信号ｘＮ（ｔ）を遅延させる場合を例に説明したが、これに限定されない。例えば、ディレイ部２３１は、遅延推定部２３０によって算出された遅延量に基づいて、その算出した遅延量で、受信音響信号ｘＮ（ｔ）を遅延させるか否か、つまり、遅延量を更新させるか否かを判定するようにしてもよい。

例えば、ディレイ部２３１は、予め記憶部２２などに記憶された基準の遅延量である基準値ｎｆを取得する。ディレイ部２３１は、取得した基準値ｎｆと、算出した遅延量ｎ（ｋ）とを用いて、その算出した遅延量ｎ（ｋ）で、受信音響信号ｘＮ（ｔ）の遅延量を更新させるか否かを判定する。ディレイ部２３１は、例えば、基準値ｎｆと遅延量ｎ（ｋ）の差分の絶対値｜ｎｆ－ｎ（ｋ）｜が、所定の閾値（後述する許容範囲）以上である場合、遅延量を更新させると判定する。ディレイ部２３１は、絶対値｜ｎｆ－ｎ（ｋ）｜が、所定の閾値未満である場合、遅延量を更新させないと判定する。あるいは、ディレイ部２３１は、絶対値｜ｎｆ－ｎ（ｋ）｜が、所定の閾値未満となる場合、遅延量を基準値ｎｆとするようにしてもよい。

換言すると、ディレイ部２３１は、遅延量ｎ（ｋ）が、（基準値ｎｆ＋許容範囲）よりも大きいか、あるいは（基準値ｎｆ－許容範囲）よりも小さい場合には、遅延量を更新させると判定する。ディレイ部２３１は、遅延量ｎ（ｋ）が、（基準値ｎｆ＋許容範囲）よりも小さく、かつ（基準値ｎｆ－許容範囲）よりも大きいには、遅延量を更新させないと判定する。この場合における、（基準値ｎｆ＋許容範囲）は、「第１閾値」の一例である。これにより、算出された遅延量ｎ（ｋ）が、現在設定されている値から許容範囲を超えている場合にのみ、遅延量を更新することができる。したがって、微小な遅延量の変化を抑えて音響的な違和感の発生を軽減させつつ、実際の遅延量の変化に追従させていくことができる。

上記では、基準値ｎｆが固定値である場合を例に説明した。しかしながら、これに限定されない。基準値ｎｆを可変値としてもよい。遅延推定部２３０は、例えば、基準値ｎｆを、各算出タイミングで算出された遅延量ｎ（１）、ｎ（２）、…、ｎ（Ｎ）の平均としてもよい。平均は、算出タイミング１～Ｎまでの単純加算平均値であってもよいし、重みづけ平均値であってもよい。或いは、直近の移動平均であってもよい。直近の移動平均とは、最新の遅延量がｎ（Ｎ）である場合、遅延量ｎ（Ｎ）と直近の複数の遅延量（例えば、算出タイミングＮ－１、Ｎ－２の遅延量ｎ（Ｎ－１）、ｎ（Ｎ－２））の平均値のことである。

また、ディレイ部２３１は、遅延量を更新（変化）させる場合において、その変化が滑らかとなるように、段階的に変化させるようにしてもよい。例えば、ディレイ部２３１は、遅延量を更新する際に、まず、現状の遅延量と、更新後の遅延量との差分を変化量として算出する。ディレイ部２３１は、算出した変化量に基づいて、変化速度（単位時間当たりの変化量）が所定の閾値を超えないようにする。これにより、ディレイ部２３１は、徐々に、遅延量を変化させることができ、音切れや音飛びなどの発生を抑制することが可能である。

なお、上記では、遅延推定部２３０が、相互相関値の絶対値｜Ｒ（ｎ）｜のピーク値（最大値）となる場合における遅延量ｎを、受信音響信号ｘＮ（ｔ）と受信音響信号ｘＳ（ｔ）との相対的な遅延量とする場合を例に説明した。

しかしながら、無音に近い音響信号が伝送された場合などにおいては、受信した音響信号は、無音でない場合と比較して、全体的な信号振幅が小さくなる。この場合、相互相関値Ｒ（ｎ）に突出したピーク値が出現せず、遅延量ｎの値によらず同じような相互相関値をとることが考えられる。このような場合、相互相関値Ｒ（ｎ）が最大となるｎの値が、実際の遅延量として信頼できない可能性が高い。

この対策として、遅延推定部２３０は、相互相関値Ｒ（ｎ）のピーク値が所定の閾値未満である場合、対応する遅延量ｎを、実際の遅延量として採用しないと判定する。つまり、遅延推定部２３０は、相互相関値Ｒ（ｎ）のピーク値が所定の閾値以上である場合に、対応する遅延量ｎを、実際の遅延量として採用する。これにより、遅延推定部２３０は、精度よく遅延量を算出することができる。

また、何らかの理由により、伝送路ＳＤ、または伝送路ＮＤのいずれか一方の伝送路を介した信号の伝送が途切れてしまう場合があり得る。このような場合、相互相関値Ｒ（ｎ）を用いて算出た遅延量は信頼することができない。この対策として、遅延推定部２３０は、伝送路が途切れているか否かを判定し、いずれか一方の伝送路が途切れたと判定される場合には、相互相関値Ｒ（ｎ）の算出を行わないようにする。

例えば、遅延推定部２３０は、バッファリングした受信音響信号ｘＳ（ｔ）、及び受信音響信号ｘＮ（ｔ）のそれぞれのパワー（最大レベル）を算出する。ここでのパワーは、バッファリングされた信号の強さを示す指標である。パワーは、例えば、バッファリングされた信号における信号振幅の絶対値の和であってもよいし、バッファリングされた信号のうち信号振幅の絶対値が最大となる信号の信号振幅値であってもよい。

遅延推定部２３０は、算出した受信音響信号ｘＳ（ｔ）、及び受信音響信号ｘＮ（ｔ）のそれぞれのパワーのうち、一方が所定の閾値を超え、他方がその閾値を下回っている場合、閾値が下回った方の伝送路が途切れていると判定する。ここでの閾値は、「第２閾値」の一例である。

具体的に、遅延推定部２３０は、受信音響信号ｘＮ（ｔ）のパワーが閾値未満であり、受信音響信号ｘＳ（ｔ）のパワーが閾値以上の場合、相互相関値Ｒ（ｎ）の算出を行わず、遅延量を算出しないと判定する。また、遅延推定部２３０は、受信音響信号ｘＮ（ｔ）のパワーが閾値以上であり、受信音響信号ｘＳ（ｔ）のパワーが閾値未満の場合、相互相関値Ｒ（ｎ）の算出を行わず、遅延量を算出しないと判定する。

なお、遅延推定部２３０は、伝送路ＳＤ、または伝送路ＮＤのいずれか一方の伝送路を介した信号の伝送が途切れたと判定した場合、途切れていない方の音響信号を再生するようにしてもよい。具体的に、遅延推定部２３０は、受信音響信号ｘＮ（ｔ）のパワーが閾値未満であり、受信音響信号ｘＳ（ｔ）のパワーが閾値以上の場合、受信音響信号ｘＳ（ｔ）を、入出力部２４を介してスピーカ４０に出力させる。また、遅延推定部２３０は、受信音響信号ｘＮ（ｔ）のパワーが閾値以上であり、受信音響信号ｘＳ（ｔ）のパワーが閾値未満の場合、受信音響信号ｘＮ（ｔ－τ）を、入出力部２４を介してスピーカ４０に出力させる。ここでの遅延量τは、現在設定されている遅延量である。これにより、遅延推定部２３０は、一方の伝送路が途切れた場合であっても音の再生を継続させることができる。

図３は、第１の実施形態における伝送システム１の処理の流れを示すシーケンス図である。送信側端末１０は音響信号ｘ（ｔ）をマイク３０から取得する(ステップＳ１０)。送信側端末１０は、専用アプリ、及び汎用アプリのそれぞれによって音響信号ｘ（ｔ）を受信側端末２０に送信する（ステップＳ１１）。専用アプリを介した音響信号ｘ（ｔ）は、伝送路ＮＤを経て、受信音響信号ｘＮ（ｔ）として受信側端末２０に到達する。汎用アプリを介した音響信号ｘ（ｔ）は、伝送路ＳＤを経て、受信音響信号ｘＳ（ｔ）として受信側端末２０に到達する。

受信側端末２０は、受信音響信号ｘＮ（ｔ）を受信する（ステップＳ１２）。受信側端末２０は、受信音響信号ｘＳ（ｔ）を受信する（ステップＳ１３）。受信側端末２０は、受信した受信音響信号ｘＮ（ｔ）と受信音響信号ｘＳ（ｔ）とを用いて、遅延量τを推定（算出）する（ステップＳ１４）。受信側端末２０は、推定した遅延量τを用いて受信音響信号ｘＮ（ｔ）を遅延させ、遅延させた受信音響信号ｘＮ（ｔ－τ）をスピーカ４０に出力する（ステップＳ１６）。

以上、説明したように、第１の実施形態の伝送システム１による伝送方法は、同一の音源である音響信号ｘ（ｔ）が収音された受信音響信号ｘＮ（ｔ）、及び受信音響信号ｘＳ（ｔ）の伝送方法である。伝送方法は、「信号処理方法」の一例である。受信音響信号ｘＮ（ｔ）は、「第１音響信号」の一例である。受信音響信号ｘＳ（ｔ）は「第２音響信号」の一例である。

伝送システム１による伝送方法では、通信部２１が、伝送路ＮＤを経由して伝送される受信音響信号ｘＮ（ｔ）を受信する。通信部２１は、「第１受信部」の一例である。伝送路ＮＤは、「第１伝送路」の一例である。通信部２１が、伝送路ＳＤを経由して伝送される受信音響信号ｘＳ（ｔ）を受信する。通信部２１は「第２受信部」の一例である。伝送路ＳＤは、伝送に係る遅延時間が伝送路ＮＤより大きい伝送路であり、「第２伝送路」の一例である。遅延推定部２３０が受信音響信号ｘＮ（ｔ）と受信音響信号ｘＳ（ｔ）における相対的な遅延量τを算出する。遅延推定部２３０は「遅延量算出部」の一例である。遅延量τは「伝送遅延量」の一例である。ディレイ部２３１は、算出された遅延量τに基づいて受信音響信号ｘＮ（ｔ）を遅延させ、当該遅延させた受信音響信号ｘＮ（ｔ－τ）を出力する。

これによって、第１の実施形態の伝送システム１では、汎用アプリから出力される音に同期させたタイミングで、高品質の音響を出力させることができる。したがって、一般に普及している通話アプリを利用して、高品質な音を伝送することができる。

また、第１の実施形態の伝送システム１による伝送方法では、遅延推定部２３０が所定の算出タイミングｋが到来する度に、遅延量τを算出する。ディレイ部２３１が、遅延量τが算出される度に、今回算出された遅延量τにより受信音響信号ｘＮ（ｔ）を遅延させる。ディレイ部２３１は、当該遅延させた受信音響信号ｘＮ（ｔ－τ）を出力する。これにより実施形態の伝送システム１による伝送方法では、遅延量が時々刻々と変化する場合であっても、その変化に追従することができ、受信音響信号ｘＳ（ｔ）に同期する受信音響信号ｘＮ（ｔ）を出力し続けることが可能である。

また、第１の実施形態の伝送システム１による伝送方法では、ディレイ部２３１が、遅延量が算出される度に、今回算出された遅延量τが閾値（第１閾値）以上であるか否かを判定する。ディレイ部２３１は、今回算出された遅延量τが閾値以上である場合、今回算出された遅延量τにより受信音響信号ｘＮ（ｔ）を遅延させる。ディレイ部２３１は、当該遅延させた受信音響信号ｘＮ（ｔ－τ）を出力する。これにより、遅延量に大きな変化が発生した際に、その変化に追従させていくことができる。

また、第１の実施形態の伝送システム１による伝送方法では、ディレイ部２３１が、遅延量τが算出される度に、今回算出された遅延量τが閾値（第１閾値）以上であるか否かを判定する。ディレイ部２３１は、今回算出された遅延量τが閾値以上でない場合、所定の遅延量（例えば、基準値ｎｆ）により受信音響信号ｘＮ（ｔ）を遅延させる。ディレイ部２３１は、当該遅延させた受信音響信号ｘＮ（ｔ－ｎｆ）を出力する。これにより、微小な遅延量の変化を抑えて音響的な違和感の発生を軽減させることができる。

また、第１の実施形態の伝送システム１による伝送方法では、閾値（第１閾値）は、所定の算出タイミングｋが到来する度に算出された遅延量ｎ（ｋ）の平均である。これにより、今までの遅延量の平均と比べて、今回算出した遅延量に大きな変化がある場合にその変化に追従し、今回算出した遅延量が今までの遅延量と同程度であった場合には、微小な変化として遅延量を現状維持させることができる。したがって、上述した効果と同様の効果を奏することができる。

また、第１の実施形態の伝送システム１による伝送方法では、ディレイ部２３１は、遅延量τが算出される度に、前回算出された遅延量と今回算出された遅延量とに基づいて、段階的に受信音響信号ｘＮ（ｔ）を遅延させる。これにより徐々に、遅延量を変化させることができ、音切れや音飛びなどの発生を抑制することが可能である。

また、第１の実施形態の伝送システム１による伝送方法では、遅延推定部２３０が、所定の時間区間Ｔに受信された、受信音響信号ｘＮ（ｔ）の時系列変化と受信音響信号ｘＳ（ｔ）の時系列変化との相互相関値Ｒ（ｎ）が最大となる遅延量ｎを算出する。遅延推定部２３０は、当該算出した遅延量が閾値（第２閾値）以上である場合、当該算出した遅延量ｎを遅延量τとする。これにより、無音の状態が続く場合など、算出した遅延量が信頼できない場合に、その信頼できない遅延量を適用させないようにすることができる。

また、第１の実施形態の伝送システム１による伝送方法では、遅延推定部２３０は、算出した遅延量が閾値（第２閾値）以上である場合に、当該算出した遅延量ｎを遅延量τとする。遅延推定部２３０は、算出した遅延量が閾値（第２閾値）未満である場合に、当該算出した遅延量ｎを遅延量τとしない。これにより、無音の状態が続く場合など、算出した遅延量が信頼できない場合に、その信頼できない遅延量を適用させないようにすることができる。

また、第１の実施形態の伝送システム１による伝送方法では、遅延推定部２３０は、所定の時間区間Ｔに受信された受信音響信号ｘＮ（ｔ）の最大レベルが閾値（第２閾値）以上であり、受信音響信号ｘＳ（ｔ）の最大レベルが閾値（第２閾値）未満の場合、遅延量を算出しない。遅延推定部２３０は、所定の時間区間Ｔに受信された受信音響信号ｘＮ（ｔ）の最大レベルが閾値（第２閾値）未満であり、受信音響信号ｘＳ（ｔ）の最大レベルが閾値（第２閾値）以上の場合、遅延量を算出しない。これにより、一方の伝送路が途絶えた場合など算出した遅延量が信頼できない場合に、その信頼できない遅延量を適用させないようにすることができる。

（第２の実施形態）
次に、第２の実施形態について説明する。本実施形態では、汎用アプリで、音響信号ｘ（ｔ）と共に、映像信号ｙ（ｔ）を送信する点において、上述した実施形態と相違する。

図４は、第２の実施形態に係る伝送システム１Ａの構成例を示すブロック図である。伝送システム１Ａにおいて、送信側端末１０にはカメラ５０が接続されている。また、伝送システム１において、受信側端末２０にはディスプレイ６０が接続されている。

送信側端末１０は、入出力部１４を介して、マイク３０から音響信号ｘ（ｔ）を取得する。また、送信側端末１０は、入出力部１４を介して、カメラ５０から映像信号ｙ（ｔ）を取得する。送信側端末１０は、専用アプリ１３０によって専用アプリを介した音響信号ｘ（ｔ）を受信側端末２０に送信する。また、送信側端末１０は、汎用アプリ１３１によって汎用アプリを介した音響信号ｘ（ｔ）と映像信号ｙ（ｔ）を、受信側端末２０に送信する。

受信側端末２０は、伝送路ＮＤを介して受信音響信号ｘＮ（ｔ）を受信する。また、受信側端末２０は、伝送路ＳＤを介して、受信音響信号ｘＳ（ｔ）、及び受信映像信号ｙＳ（ｔ）を受信する。受信音響信号ｘＮ（ｔ）は、遅延推定部２３０によって、受信音響信号ｘＮ（ｔ）と受信音響信号ｘＳ（ｔ）の相対的な遅延量τを算出する。受信側端末２０は、算出した遅延量τだけ遅らせた受信音響信号ｘＮ（ｔ－τ）を、入出力部２４を介してスピーカ４０に出力する。受信側端末２０は、受信映像信号ｙＳ（ｔ）を、入出力部２４を介してディスプレイ６０に出力する。

図５は、第２の実施形態に係る伝送システム１Ａの処理の流れを示すシーケンス図である。送信側端末１０は、音響信号ｘ（ｔ）をマイク３０から取得すると共に、映像信号ｙ（ｔ）をカメラ５０から取得する(ステップＳ２０)。送信側端末１０は、専用アプリによって音響信号ｘ（ｔ）を受信側端末２０に送信すると共に、汎用アプリによって音響信号ｘ（ｔ）及び映像信号ｙ（ｔ）を受信側端末２０に送信する（ステップＳ２１）。専用アプリを介した音響信号ｘ（ｔ）は、伝送路ＮＤを経て、受信音響信号ｘＮ（ｔ）として受信側端末２０に到達する。汎用アプリを介した音響信号ｘ（ｔ）及び映像信号ｙ（ｔ）は、伝送路ＳＤを経て、受信音響信号ｘＳ（ｔ）及び受信映像信号ｙＳ（ｔ）として受信側端末２０に到達する。

受信側端末２０は、受信音響信号ｘＮ（ｔ）を受信する（ステップＳ２２）。受信側端末２０は、受信音響信号ｘＳ（ｔ）及び受信映像信号ｙＳ（ｔ）を受信する（ステップＳ２３）。受信側端末２０は、受信した受信音響信号ｘＮ（ｔ）と受信音響信号ｘＳ（ｔ）とを用いて、遅延量τを推定（算出）する（ステップＳ２４）。受信側端末２０は、推定した遅延量τを用いて受信音響信号ｘＮ（ｔ）を遅延させ、遅延させた受信音響信号ｘＮ（ｔ－τ）をスピーカ４０に出力すると共に、受信映像信号ｙＳ（ｔ）をディスプレイ６０に出力する（ステップＳ２６）。

以上、説明したように、第２の実施形態の伝送システム１Ａによる伝送方法は、同一の音源である音響信号ｘ（ｔ）が収音された受信音響信号ｘＮ（ｔ）、及び受信音響信号ｘＳ（ｔ）の伝送方法である。

伝送システム１Ａによる伝送方法では、通信部２１が、伝送路ＮＤを経由して伝送される受信音響信号ｘＮ（ｔ）を受信する。通信部２１が、伝送路ＳＤを経由して伝送される受信音響信号ｘＳ（ｔ）、及び受信映像信号ｙＳ（ｔ）を受信する。遅延推定部２３０が受信音響信号ｘＮ（ｔ）と受信音響信号ｘＳ（ｔ）における相対的な遅延量τを算出する。ディレイ部２３１は、算出された遅延量τに基づいて受信音響信号ｘＮ（ｔ）を遅延させ、当該遅延させた受信音響信号ｘＮ（ｔ－τ）を出力する。

これによって、第２の実施形態の伝送システム１Ａでは、汎用アプリによって伝送された映像に同期させて、高品質な音響を再生することができる。したがって、一般に普及している通話アプリを利用して、高品質な音を伝送することができる。

以上に例示した実施形態によれば、オンライン音楽レッスンなどに適用される伝送システムを提供することができる。

１…伝送システム、１０…送信側端末、１１…通信部、１２…記憶部、１３…制御部１３、１３０…専用アプリ、１３１…汎用アプリ、２０…受信側端末（信号処理装置）、２１…通信部、２２…記憶部、２３…制御部、２３０…遅延推定部（遅延量算出部）、２３１…ディレイ部（遅延付与部）、３０…マイク、４０…スピーカ、５０…カメラ、６０…ディスプレイ

Claims (21)

1. 同一の音源が収音された第１音響信号、及び第２音響信号の信号処理方法であり、前記第１音響信号は、前記第２音響信号よりも高品質な音の信号である信号処理方法であって、
   第１受信部が、第１伝送路を経由して伝送される前記第１音響信号を受信し、
   第２受信部が、伝送に係る遅延時間が前記第１伝送路より大きい第２伝送路であり前記第１伝送路とは異なる第２伝送路を経由して伝送される前記第２音響信号を受信し、
   遅延量算出部が、前記第１音響信号と前記第２音響信号における相対的な遅延量である伝送遅延量を算出し、
   遅延量付加部が、前記伝送遅延量に基づいて前記第１音響信号を遅延させ、当該遅延させた前記第１音響信号を出力する、
   信号処理方法。
2. 同一の音源が収音された第１音響信号、及び第２音響信号の信号処理方法であり、前記第１音響信号は、前記第２音響信号よりも高品質な音の信号である信号処理方法であって、
   第１受信部が、第１伝送路を経由して伝送される前記第１音響信号を受信し、
   第２受信部が、伝送に係る遅延時間が前記第１伝送路より大きい第２伝送路であり前記第１伝送路とは異なる第２伝送路を経由して、映像信号と共に伝送される前記第２音響信号を受信し、
   遅延量算出部が、前記第１音響信号と前記第２音響信号における相対的な遅延量である伝送遅延量を算出し、
   遅延量付加部が、前記伝送遅延量に基づいて前記第１音響信号を遅延させ、当該遅延させた前記第１音響信号を出力する、
   信号処理方法。
3. 前記遅延量算出部が、所定の算出タイミングが到来する度に、前記伝送遅延量を算出し、
   前記遅延量付加部が、前記伝送遅延量が算出される度に、今回算出された前記伝送遅延量により前記第１音響信号を遅延させ、当該遅延させた前記第１音響信号を出力する、
   請求項１または請求項２に記載の信号処理方法。
4. 前記遅延量算出部が、所定の算出タイミングが到来する度に、前記伝送遅延量を算出し、
   前記遅延量付加部が、前記伝送遅延量が算出される度に、今回算出された前記伝送遅延量が第１閾値以上であるか否かを判定し、今回算出された前記伝送遅延量が前記第１閾値以上である場合、今回算出された前記伝送遅延量により前記第１音響信号を遅延させ、当該遅延させた前記第１音響信号を出力する、
   請求項１または請求項２に記載の信号処理方法。
5. 前記遅延量算出部が、所定の算出タイミングが到来する度に、前記伝送遅延量を算出し、
   前記遅延量付加部が、前記伝送遅延量が算出される度に、今回算出された前記伝送遅延量が第１閾値以上であるか否かを判定し、今回算出された前記伝送遅延量が前記第１閾値以上でない場合、所定の遅延量により前記第１音響信号を遅延させ、当該遅延させた前記第１音響信号を出力する、
   請求項１または請求項２、請求項４のいずれか一項に記載の信号処理方法。
6. 前記第１閾値は、所定の算出タイミングが到来する度に算出された前記伝送遅延量の平均である、
   請求項４又は請求項５に記載の信号処理方法。
7. 前記遅延量算出部が、所定の算出タイミングが到来する度に、前記伝送遅延量を算出し、
   前記遅延量付加部が、前記伝送遅延量が算出される度に、前回算出された前記伝送遅延量と今回算出された前記伝送遅延量とに基づいて、段階的に前記第１音響信号を遅延させ、当該遅延させた前記第１音響信号を出力する、
   請求項１または請求項２、請求項４、又は請求項５のいずれか一項に記載の信号処理方法。
8. 前記遅延量算出部が、所定の時間区間に受信された、前記第１音響信号の時系列変化と前記第２音響信号の時系列変化との相互相関値が最大となる遅延量を算出し、当該算出した遅延量が第２閾値以上である場合、当該算出した遅延量を前記伝送遅延量とする、
   請求項１から請求項６のいずれか一項に記載の信号処理方法。
9. 前記遅延量算出部が、所定の時間区間に受信された前記第１音響信号の最大レベルが前記第２閾値未満であり、前記第２音響信号の最大レベルが前記第２閾値以上の場合、前記伝送遅延量を算出しない、
   請求項８に記載の信号処理方法。
10. 前記遅延量算出部は、所定の時間区間に受信された前記第１音響信号の最大レベルが前記第２閾値以上であり、前記第２音響信号の最大レベルが前記第２閾値未満の場合、前記伝送遅延量を算出しない、
    請求項８に記載の信号処理方法。
11. 同一の音源が収音された第１音響信号、及び第２音響信号の信号処理を行う信号処理装置であり、前記第１音響信号は、前記第２音響信号よりも高品質な音の信号である信号処理装置であって、
    第１伝送路を経由して伝送される前記第１音響信号を受信する第１受信部と、
    伝送に係る遅延時間が前記第１伝送路より大きい第２伝送路であり前記第１伝送路とは異なる第２伝送路を経由して伝送される前記第２音響信号を受信する第２受信部と、
    前記第１音響信号と前記第２音響信号における相対的な遅延量である伝送遅延量を算出する遅延量算出部と、
    前記伝送遅延量に基づいて前記第１音響信号を遅延させ、当該遅延させた前記第１音響信号を出力する遅延量付加部と、
    を備える信号処理装置。
12. 同一の音源が収音された第１音響信号、及び第２音響信号の信号処理を行う信号処理装置であり、前記第１音響信号は、前記第２音響信号よりも高品質な音の信号である信号処理装置であって、
    第１伝送路を経由して伝送される前記第１音響信号を受信する第１受信部と、
    伝送に係る遅延時間が前記第１伝送路より大きい第２伝送路であり前記第１伝送路とは異なる第２伝送路を経由して、映像信号と共に伝送される前記第２音響信号を受信する第２受信部と、
    前記第１音響信号と前記第２音響信号における相対的な遅延量である伝送遅延量を算出する遅延量算出部と、
    前記伝送遅延量に基づいて前記第１音響信号を遅延させ、当該遅延させた前記第１音響信号を出力する遅延量付加部と、
    を備える信号処理装置。
13. 前記遅延量算出部は、所定の算出タイミングが到来する度に、前記伝送遅延量を算出し、
    前記遅延量付加部は、前記伝送遅延量が算出される度に、今回算出された前記伝送遅延量により前記第１音響信号を遅延させ、当該遅延させた前記第１音響信号を出力する、
    請求項１１または請求項１２に記載の信号処理装置。
14. 前記遅延量算出部は、所定の算出タイミングが到来する度に、前記伝送遅延量を算出し、
    前記遅延量付加部は、前記伝送遅延量が算出される度に、今回算出された前記伝送遅延量が第１閾値以上であるか否かを判定し、今回算出された前記伝送遅延量が前記第１閾値以上である場合、今回算出された前記伝送遅延量により前記第１音響信号を遅延させ、当該遅延させた前記第１音響信号を出力する、
    請求項１１または請求項１２に記載の信号処理装置。
15. 前記遅延量算出部は、所定の算出タイミングが到来する度に、前記伝送遅延量を算出し、
    前記遅延量付加部は、前記伝送遅延量が算出される度に、今回算出された前記伝送遅延量が第１閾値以上であるか否かを判定し、今回算出された前記伝送遅延量が前記第１閾値以上でない場合、所定の遅延量により前記第１音響信号を遅延させ、当該遅延させた前記第１音響信号を出力する、
    請求項１１から請求項１２、請求項１４のいずれか一項に記載の信号処理装置。
16. 前記第１閾値は、所定の算出タイミングが到来する度に算出された前記伝送遅延量の平均である、
    請求項１４又は請求項１５に記載の信号処理装置。
17. 前記遅延量算出部は、所定の算出タイミングが到来する度に、前記伝送遅延量を算出し、
    前記遅延量付加部は、前記伝送遅延量が算出される度に、前回算出された前記伝送遅延量と今回算出された前記伝送遅延量とに基づいて、段階的に前記第１音響信号を遅延させ、当該遅延させた前記第１音響信号を出力する、
    請求項１１から請求項１２、請求項１４、又は請求項１５のいずれか一項に記載の信号処理装置。
18. 前記遅延量算出部は、所定の時間区間に受信された、前記第１音響信号の時系列変化と前記第２音響信号の時系列変化との相互相関値が最大となる遅延量を算出し、当該算出した遅延量が第２閾値以上である場合、当該算出した遅延量を前記伝送遅延量とする、
    請求項１１から請求項１６のいずれか一項に記載の信号処理装置。
19. 前記遅延量算出部は、所定の時間区間に受信された前記第１音響信号の最大レベルが前記第２閾値未満であり、前記第２音響信号の最大レベルが前記第２閾値以上の場合、前記伝送遅延量を算出しない、
    請求項１８に記載の信号処理装置。
20. 前記遅延量算出部は、所定の時間区間に受信された前記第１音響信号の最大レベルが前記第２閾値以上であり、前記第２音響信号の最大レベルが前記第２閾値未満の場合、前記伝送遅延量を算出しない、
    請求項１８に記載の信号処理装置。
21. 同一の音源が収音された第１音響信号、及び第２音響信号の信号処理を行う信号処理装置であり、前記第１音響信号は、前記第２音響信号よりも高品質な音の信号である信号処理装置であるコンピュータに、
    第１伝送路を経由して伝送される前記第１音響信号を受信する第１受信ステップ、
    伝送に係る遅延時間が前記第１伝送路より大きい第２伝送路であり前記第１伝送路とは異なる第２伝送路を経由して伝送される前記第２音響信号を受信する第２受信ステップ、
    前記第１音響信号と前記第２音響信号における相対的な遅延量である伝送遅延量を算出する遅延量算出ステップ、
    前記伝送遅延量に基づいて前記第１音響信号を遅延させ、当該遅延させた前記第１音響信号を出力する遅延量付加ステップ、
    を実行させるためのプログラム。

Images