JP6721977B2 - 音声音響信号符号化装置、音声音響信号復号装置、音声音響信号符号化方法、及び、音声音響信号復号方法 - Google Patents

Description

本開示は、音声音響信号符号化装置、音声音響信号復号装置、音声音響信号符号化方法、及び、音声音響信号復号方法に関する。

非特許文献１には、ＥＶＳ（Enhanced Voice Services）コーデックのアルゴリズムが開示されている。ＥＶＳコーデックでは、入力信号を分析し、入力信号の特徴に応じて最適な符号化モードを用いて入力信号の符号化を行うことにより、高品質な音声音響（サウンド）信号（以下、単に「音響信号」と呼ぶ）の符号化及び復号処理を効率的に行うことができる。

非特許文献２には、マイクロホンアレイを用いたビームフォーマ（例えば、Griffiths-Jim型ビームフォーマ）技術が開示されている。非特許文献２には、Griffiths-Jim型ビームフォーマの一例として、マイクロホンアレイの各チャネル信号の総和信号と、隣接するチャネル信号の差分信号とを用いて特定方向から到来する音響信号を抽出する構成が開示されている。

3GPP TS 26.445 v12.4.0、 "Codec for Enhanced Voice Services (EVS); Detailed Algorithmic Description (Release 12)" 浅野太，"分割構造を持つGriffiths-Jim型ビームフォーマについて"，信学技報EA95-97（1996-03），pp.17-24

ＥＶＳコーデックを用いて、マイクロホンアレイで取得したマルチチャネル信号の各チャネル信号に対して独立して符号化すると、各チャネル信号に対して、独立した符号化誤差が加えられることになる。このため、各チャネル信号の相関関係が崩れてしまい、各チャネル信号の相互相関を利用しているビームフォーミング処理に影響を及ぼしてしまう。

本開示の一態様は、ＥＶＳコーデックにおいてマルチチャネル信号の符号化を行う場合にビームフォーミング性能の劣化を抑えることができる音声音響信号符号化装置、音声音響信号復号装置、音声音響信号符号化方法、及び、音声音響信号復号方法を提供することである。

本開示の一態様に係る音声音響信号符号化装置は、マルチチャネルの音声音響入力信号を構成する複数のチャネル信号を全て加算して加算信号を生成し、前記複数のチャネル信号のチャネル間の差分信号を生成する変換部と、前記加算信号の特徴に応じた符号化モードで前記加算信号を符号化して第１符号化データを生成する第１符号化部と、前記加算信号の符号化に用いられた符号化モードで前記差分信号をそれぞれ符号化して第２符号化データを生成する第２符号化部と、前記第１符号化データと前記第２符号化データとを多重化して、マルチチャネル符号化データを生成する多重化部と、を具備する構成を採る。

本開示の一態様に係る音声音響信号符号化装置は、少なくとも３チャネルのマルチチャネルの音声音響入力信号を構成する複数のチャネル信号を全て加算して１チャネルの加算信号を生成し、前記複数のチャネル信号のチャネル間の差分信号を少なくとも２チャネル生成する、変換部と、前記１チャネルの加算信号を符号化して第１符号化データを生成する第１符号化部と、前記少なくとも２チャネルの差分信号をそれぞれ符号化して第２符号化データを生成する第２符号化部と、前記第１符号化データと前記第２符号化データとを多重化して、マルチチャネル符号化データを生成する多重化部と、を具備する構成を採る。

本開示の一態様に係る音声音響信号復号装置は、次の構成を具備する。まず、逆多重化部で、音声音響信号符号化装置から出力されたマルチチャネル符号化データを第１符号化データと第２符号化データに分離する。ここで、前記第１符号化データは、前記音声音響信号符号化装置において、マルチチャネルの音声音響入力信号を構成する複数のチャネル信号を全て加算して生成される加算信号を、前記加算信号の特徴に応じた符号化モードで符号化して生成されたデータであり、前記第２符号化データは、前記音声音響信号符号化装置において、前記複数のチャネル信号のチャネル間の差分信号を前記加算信号の符号化に用いられた符号化モードで、それぞれ符号化して生成されたデータである。さらに、第１復号部で、前記加算信号の符号化に用いられた符号化モードで前記第１符号化データを復号して復号加算信号を得る。第２復号部では、前記加算信号の符号化に用いられた符号化モードで前記第２符号化データを復号して復号差分信号を得る。逆変換部は、前記復号加算信号及び前記復号差分信号に対して重み付け加算を施し、復号音声音響信号を生成する。

本開示の一態様に係る音声音響信号符号化方法は、マルチチャネルの音声音響入力信号を構成する複数のチャネル信号を全て加算して加算信号を生成し、前記複数のチャネル信号のチャネル間の差分信号を生成し、前記加算信号の特徴に応じた符号化モードで前記加算信号を符号化して第１符号化データを生成し、前記加算信号の符号化に用いられた符号化モードで前記差分信号をそれぞれ符号化して第２符号化データを生成し、前記第１符号化データと前記第２符号化データとを多重化して、マルチチャネル符号化データを生成する。

本開示の一態様に係る音声音響復号方法は、音声音響信号符号化装置から出力されたマルチチャネル符号化データを第１符号化データと第２符号化データに分離し、前記第１符号化データは、前記音声音響信号符号化装置において、マルチチャネルの音声音響入力信号を構成する複数のチャネル信号を全て加算して生成される加算信号を、前記加算信号の特徴に応じた符号化モードで符号化して生成され、前記第２符号化データは、前記音声音響信号符号化装置において、前記複数のチャネル信号のチャネル間の差分信号を前記加算信号の符号化に用いられた符号化モードでそれぞれ符号化して生成され、前記加算信号の符号化に用いられた符号化モードで前記第１符号化データを復号して復号加算信号を得て、前記加算信号の符号化に用いられた符号化モードで前記第２符号化データを復号して復号差分信号を得て、前記復号加算信号及び前記復号差分信号に対して重み付け加算を施し、復号音声音響信号を生成する。

なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本開示の一態様によれば、ＥＶＳコーデックにおいてマルチチャネル信号の符号化を行う場合にビームフォーミング性能の劣化を抑えることができる。

本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

マルチチャネル音響信号符号化復号システムの構成例を示す図 変換器の内部構成の一例を示す図 エンコーダの内部構成の一例を示す図 デコーダの内部構成の一例を示す図 逆変換器の内部構成の一例を示す図 収音処理システムの構成例を示す図

以下、本開示の各実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
［システム構成］
図１は、本実施の形態に係るシステムの構成例を示す。図１に示すシステム１は、少なくとも、音声音響信号の符号化を行う符号化装置１０（マルチチャネルエンコーダ）及び音声音響信号の復号を行う復号装置２０（マルチチャネルデコーダ）を備える。

符号化装置１０には、マルチチャネルデジタル音響信号の各チャネル信号が入力される。例えば、マルチチャネルデジタル音響信号は、マイクロホンアレーユニット（図示せず）が取得したアナログ音響信号に対してデジタル変換を施すことにより得られる。なお、図１では、４個のチャネル信号（ｃｈ１〜ｃｈ４）が入力される場合について示すが、マルチチャネルデジタル音響信号のチャネル数は４個に限定されない。

［符号化装置の構成］
符号化装置１０は、変換器１１（変換部に相当する）及びエンコーダ１２を含む構成を採る。

変換器１１は、入力信号である各チャネル信号（ｃｈ１〜ｃｈ４）に対して重み付け加算処理を施し、各チャネル信号（ｃｈ１〜ｃｈ４）をマルチチャネルデジタル信号（Ｓ、Ｘ、Ｙ、Ｚ）に変換する。

図２は、変換器１１の内部構成の一例を示す。図２において、加算器１１１−１、１１１−２、１１１−３は、複数のチャネル信号ｃｈ１〜ｃｈ４を全て加算して加算信号Ｓ（＝ｃｈ１＋ｃｈ２＋ｃｈ３＋ｃｈ４）を生成する。

また、図２に示す減算器１１２−１、１１２−２、１１２−３は、複数のチャネル信号ｃｈ１〜ｃｈ４のチャネル間の差分信号を生成する。例えば、図２では、減算器１１２−１は隣接するチャネル信号ｃｈ１とチャネル信号ｃｈ２との差分信号Ｘ（＝ｃｈ１−ｃｈ２）を生成し、減算器１１２−２は隣接するチャネル信号ｃｈ２とチャネル信号ｃｈ３との差分信号Ｙ（＝ｃｈ２−ｃｈ３）を生成し、減算器１１２−３は隣接するチャネル信号ｃｈ３とチャネル信号ｃｈ４との差分信号Ｚ（＝ｃｈ３−ｃｈ４）を生成する。

変換器１１は、加算信号Ｓ及び差分信号Ｘ、Ｙ、Ｚを含むマルチチャネルデジタル信号をエンコーダ１２に出力する。

エンコーダ１２は、ＥＶＳコーデックを用いて、変換器１１から出力されるマルチチャネルデジタル信号をそれぞれ符号化してモノラル符号化データを生成し、モノラル符号化データを多重化してマルチチャネル符号化データとして出力する。

図３は、エンコーダ１２の内部構成の一例を示す。図３に示すエンコーダ１２は、モノラルマルチモードエンコーダ１２１、１２２、１２３、１２４及び多重化部１２５を含む構成を採る。

モノラルマルチモードエンコーダ１２１（第１符号化部に相当する）は、変換器１１から入力される加算信号Ｓを符号化してモノラル符号化データ（第１符号化データに相当する）を生成する。モノラルマルチモードエンコーダ１２１は、モノラル符号化データを多重化部１２５へ出力する。

なお、モノラルマルチモードエンコーダ１２１は、符号化の際、入力される加算信号Ｓの特徴（例えば、音声、非音声などの種類）に応じて符号化モードを判定し、判定した符号化モードを用いて加算信号Ｓの符号化を行う。モノラルマルチモードエンコーダ１２１は、加算信号Ｓの符号化に用いられた符号化モードを示すモード情報を、モノラルマルチモードエンコーダ１２２〜１２４へ出力する。また、モノラルマルチモードエンコーダ１２１は、モード情報を符号化し、モノラル符号化データに含めて、多重化部１２５へ出力する。

つまり、モノラルマルチモードエンコーダ１２１〜１２４は、加算信号Ｓの符号化に用いられた符号化モードを共有する。

モノラルマルチモードエンコーダ１２２〜１２４（第２符号化部に相当する）は、モノラルマルチモードエンコーダ１２１から入力されるモード情報に示される符号化モードを用いて、変換器１１から入力される差分信号Ｘ、Ｙ、Ｚをそれぞれ符号化してモノラル符号化データ（第２符号化データに相当する）を生成する。モノラルマルチモードエンコーダ１２２〜１２４は、モノラル符号化データを多重化部１２５へ出力する。

多重化部１２５は、マルチモードエンコーダ１２１〜１２４から入力される各符号化データを多重して、マルチチャネル符号化データとして伝送路へ出力する。

［復号装置の構成］
復号装置２０は、デコーダ２１及び逆変換器２２（逆変換部に相当する）を含む構成を採る。

デコーダ２１は、受信したマルチチャネル符号化データを、複数のモノラル符号化データに分離し、複数のモノラル符号化データを復号して、復号マルチチャネルデジタル信号（Ｓ’、Ｘ’、Ｙ’、Ｚ’）を得る。

図４は、デコーダ２１の内部構成の一例を示す。図４に示すデコーダ２１は、逆多重化部２１１及びモノラルマルチモードデコーダ２１２〜２１５を含む構成を採る。

逆多重化部２１１は、伝送路を介して符号化装置１０から受け取ったマルチチャネル符号化データを、加算信号に対応するモノラル符号化データと各差分信号に対応するモノラル符号化データとに分離する。逆多重化部２１１は、加算信号に対応するモノラル符号化データをモノラルマルチモードデコーダ２１２（第１復号部に相当する）に出力し、各差分信号に対応するモノラル符号化データをモノラルマルチモードデコーダ２１３〜２１５（第２復号部に相当する）にそれぞれ出力する。なお、加算信号に対応するモノラル符号化データには、加算信号の符号化に用いられた符号化モードを示すモード情報が含まれている。

モノラルマルチモードデコーダ２１２は、逆多重化部２１１から入力されるモード情報を復号して、符号化装置１０で用いられた符号化モードを特定する。モノラルマルチモードデコーダ２１２は、特定した符号化モードに基づいて、加算信号Ｓに対応するモノラル符号化データを復号し、得られる復号信号Ｓ’を逆変換器２２へ出力する。また、モノラルマルチモードデコーダ２１２は、符号化モードを示すモード情報をモノラルマルチモードデコーダ２１３〜２１５へ出力する。

つまり、モノラルマルチモードデコーダ２１２〜２１５は、符号化装置１０において加算信号Ｓの符号化に用いられた符号化モードを共有する。

モノラルマルチモードデコーダ２１３〜２１５は、モノラルマルチモードデコーダ２１２から入力されるモード情報に示される符号化モードに従って、逆多重化部２１１から入力される、差分信号Ｘ、Ｙ、Ｚにそれぞれ対応するモノラル符号化データを復号し、得られる復号信号Ｘ’、Ｙ’、Ｚ’を逆変換器２２へ出力する。

逆変換器２２は、デコーダ２１から入力される各復号信号Ｓ’，Ｘ’，Ｙ’，Ｚ’に対して重み付け加算を施し、復号信号Ｓ’，Ｘ’，Ｙ’，Ｚ’を復号マルチチャネルデジタル音響信号（ｃｈ１’〜ｃｈ４’）に変換する。

図５は、逆変換器２２の内部構成の一例を示す。図５において、増幅器２２１−１〜２２１−７には、各復号信号Ｓ’，Ｘ’，Ｙ’，Ｚ’に対する重み付け係数が設定されている。加算器２２２−１〜２２２−４は、各増幅器２２１−１〜２２１−７から出力される信号を加算して、マルチチャネルデジタル音響信号の各復号チャネル信号を生成する。

例えば、増幅器２２１−１〜２２１−７及び加算器２２２−１〜２２２−４は、以下のようにして各復号チャネル信号ｃｈ１’〜ｃｈ４’を生成する。
ｃｈ１’＝０．２５×（Ｓ’＋３Ｘ’＋２Ｙ’＋ Ｚ）
ｃｈ２’＝０．２５×（Ｓ’− Ｘ’＋２Ｙ’＋ Ｚ）
ｃｈ３’＝０．２５×（Ｓ’− Ｘ’−２Ｙ’＋ Ｚ）
ｃｈ４’＝０．２５×（Ｓ’− Ｘ’−２Ｙ’−３Ｚ）

［効果］
以上のように、本実施の形態では、符号化装置１０は、マルチチャネル信号を、全てのチャネルの加算信号と、チャネル間の差分信号とにミキシングして符号化する。この際、符号化装置１０は、加算信号の符号化において判定された符号化モードを、差分信号の符号化にも用いる。また、復号装置２０は、加算信号及び差分信号の各々に対応するモノラル符号化データを、符号化装置１０で用いた符号化モードに従って復号する。

このように加算信号の符号化復号を行い、復号加算信号を用いて各チャネル信号を再合成することによって，各チャネル信号に加わる符号化誤差を共通化することができる。さらに、加算信号及び差分信号の符号化モードを共通とすることにより、各チャネル信号に加わる符号化誤差の特性を揃えることができる。これにより、チャネル信号間の相関関係の崩れを抑えることができる。よって、復号装置２０では、復号チャネル信号間の位相歪みを低減できる。換言すると、符号化／復号に用いる符号化モードが全てのチャネルで同じになり、また、全てのチャネルの信号が全チャネルの平均信号の復号信号を用いて表現される。このため、復号装置２０では、同一時間において異なる符号化モードが使用されたり、各チャネルで符号化誤差を共有しなかったりすることによって生じる、復号信号の歪特性がチャネル間で異なるというマルチチャネル信号の品質劣化を回避することができる。

これにより、例えば、復号装置２０の後段において、各チャネル信号の位相関係を利用するビームフォーミング処理への符号化誤差の影響を低減させることができる。つまり、本実施の形態によれば、ＥＶＳコーデックによって符号化されたマルチチャネル信号を用いてビームフォーミング処理を行う場合に、ビームフォーミング性能の劣化を抑えることができる。

また、符号化装置１０の各モノラルマルチモードエンコーダ及び復号装置２０の各モノラルマルチモードデコーダでは符号化モードが共有されるので、符号化装置１０は、全てのモノラルマルチモードエンコーダ１２１〜１２４に対するモード情報を符号化する必要はなく、１つのモード情報のみを復号装置２０へ送信すればよい。

また、符号化装置１０は、全チャネルの加算信号Ｓに基づいて符号化モードを判定するので、マルチチャネル全体として最適な符号化モードを選択することができる。これは、加算信号Ｓにはマルチチャネル音響信号における音の平均的な特徴が含まれているのに対して、差分信号Ｘ，Ｙ，Ｚは加算信号Ｓに対して信号のレベルが小さく、音の特徴を捉えにくいためである。

また、本実施の形態によれば、隣接チャネルの信号位相を補正してから差分信号を算出する場合でも、差分信号の符号化歪を少なくする、という効果が得られる。

なお、本実施の形態では、複数の符号化モード（マルチモード）を有する符号化装置について説明したが、１つの符号化モードのみを有し、モード切替を行わない符号化装置についても適用可能である。例えば、変換器において、少なくとも３チャネルのマルチチャネルの音声音響入力信号を構成する複数のチャネル信号を全て加算して１チャネルの加算信号を生成し、複数のチャネル信号のチャネル間の差分信号を少なくとも２チャネル生成する。エンコーダにおいて、第１符号化部では、変換器から出力された１チャネルの加算信号を符号化して第１符号化データを生成し、第２符号化部では、少なくとも２チャネルの差分信号をそれぞれ符号化して第２符号化データを生成する。そして、多重化部において、第１符号化データと前記第２符号化データとを多重化して、マルチチャネル符号化データを生成し、出力する。

このような構成においても、本実施形態のマルチモードと同様に、エンコーダにおいて復号加算信号を用いて各チャネル信号を再合成することによって、各チャネル信号に加わる符号化誤差を共通化することができるため、各チャネル信号の位相関係を利用するビームフォーミング処理への符号化誤差の影響を低減させることができる。

また、デコーダについても、本実施の形態では、符号化装置から出力された、符号化モード情報に示される符号化モードに従って逆多重化をする復号装置について説明したが、符号化モード情報が入力されない場合についても適用可能である。

（実施の形態２）
本実施の形態では、マルチチャネル音響信号に対してビームフォーミング処理（収音処理）を行う収音システムについて説明する。

図６は、本実施の形態に係る収音システムの構成例を示す。図６に示す収音システム１ａは、マイクロホンアレーユニット３０と収音処理部４０と、実施の形態１で説明した符号化装置１０及び復号装置２０と、を含む構成を採る。

マイクロホンアレーユニット３０は、音響信号をアナログ電気信号に変換する複数のマイクロホン（図６では４個のマイクロホン）と、アナログ電気信号をデジタル音響信号に変換するＡ／Ｄ変換器とを含む。マイクロホンアレーユニット３０は、各マイクロホンに対応するデジタル音響信号（チャネル信号ｃｈ１〜ｃｈ４）から構成されるマルチチャネルデジタル音響信号を符号化装置１０に出力する。

実施の形態１で説明したように、符号化装置１０はマルチチャネルデジタル音響信号を符号化し、復号装置２０は符号化装置１０から受け取るマルチチャネル符号化データを復号し、各復号チャネル信号（ｃｈ１’〜ｃｈ４’）から構成される復号マルチチャネル音響信号を収音処理部４０へ出力する。

収音処理部４０は、復号装置２０から入力される復号マルチチャネル音響信号に対してビームフォーミング処理を行って、収音対象の信号（目標信号）のみを抽出して出力する。

具体的には、収音処理部４０は、位相補正部４１と、加算部４２と、減算部４３と、サイドローブキャンセラ４４と、サイドローブサプレッサ４５とを含む構成を採る。

位相補正部４１は、目標信号の到来方向に応じて、復号マルチチャネル音響信号の各復号チャネル信号の位相を補正して、位相補正後の復号チャネル信号を加算部４２及び減算部４３に出力する。

加算部４２は、位相補正後の全ての復号チャネル信号を加算する。加算信号では、目標信号の成分が強調される。加算部４２は、加算信号をサイドローブキャンセラ４４に出力する。

減算部４３は、位相補正後の復号チャネル信号に対して、隣接チャネル間の差分信号を生成する。隣接チャネル間の差分信号では、目標信号の成分が相殺され、雑音成分が強調される。減算部４３は、差分信号をサイドローブキャンセラ４４及びサイドローブサプレッサ４５に出力する。

サイドローブサプレッサ４４及びサイドローブサプレッサ４５は、加算部４２から入力される加算信号と減算部４３から入力される差分信号とを用いて、目標信号の成分を強調するとともに目標信号以外の成分を抑圧する抑圧部として機能する。

具体的には、サイドローブキャンセラ４４は、加算部４２から入力される加算信号から、減算部４３から入力される差分信号に対応する成分を取り除くことにより、目標信号以外の信号成分（雑音成分など）を抑圧して、目標信号を強調させる。

サイドローブサプレッサ４５は、サイドローブキャンセラ４４から入力される信号、及び、減算部４３から入力される差分信号を用いて、目標信号以外の信号成分を周波数領域（スペクトル領域）において更に抑圧して、目標信号を強調させる。

サイドローブサプレッサ４５の出力信号は、ビームフォーム処理の最終出力信号として出力される。

例えば、収音システム１ａにおいて、収音処理部４０の処理は、クラウドサーバが行ってもよい。すなわち、復号装置２０は、復号マルチチャネル音響信号を、インターネットなどのネットワークを介して接続されるクラウドサーバに送信し、クラウドサーバが収音処理を行ってもよい。

このようにして、本実施の形態によれば、収音処理（ビームフォーミング処理）の性能劣化を抑えたマルチチャネル音響信号の伝送が可能となる。

以上、本開示各実施の形態について説明した。

なお、図５では、復号装置２０の逆変換器２２において重み付け係数を設定する場合について説明したが、変換器１１及び逆変換器２２の重み付け係数は任意に変更可能である。例えば、符号化装置１０の変換器１１において重み付け係数を設定してもよい。この場合、変換器１１は、以下のように加算信号Ｓ及び差分信号Ｘ，Ｙ，Ｚを生成する。
Ｓ＝０．２５×（ｃｈ１＋ｃｈ２＋ｃｈ３＋ｃｈ４）
Ｘ＝０．２５×（ｃｈ１−ｃｈ２）
Ｙ＝０．２５×（ｃｈ２−ｃｈ３）
Ｚ＝０．２５×（ｃｈ３−ｃｈ４）

また、この場合、逆変換器２２は、以下のように各復号チャネル信号ｃｈ１’〜ｃｈ４’を生成する。
ｃｈ１’＝Ｓ’＋３Ｘ’＋２Ｙ’＋ Ｚ
ｃｈ２’＝Ｓ’− Ｘ’＋２Ｙ’＋ Ｚ
ｃｈ３’＝Ｓ’− Ｘ’−２Ｙ’＋ Ｚ
ｃｈ４’＝Ｓ’− Ｘ’−２Ｙ’−３Ｚ

また、例えば、収音システム１ａにおいて、変換器１１及び逆変換器２２の重み付け加算の内容は、収音処理における加算部４２の加算処理及び減算部４３の減算処理の内容が本実施の形態と異なる場合には、それに合わせてもよい。

また、本開示の一態様は、上記各実施の形態に限定されず、種々変更して実施することが可能である。

例えば、Ｘ，Ｙ，Ｚは以下のようなチャネル間差分信号とすることも可能である。
Ｘ＝（ｃｈ１＋ｃｈ２）−（ｃｈ３＋ｃｈ４）
Ｙ＝（ｃｈ１＋ｃｈ３）−（ｃｈ２＋ｃｈ４）
Ｚ＝（ｃｈ１＋ｃｈ４）−（ｃｈ２＋ｃｈ３）
これに対応するための各復号チャネル信号ｃｈ１’〜ｃｈ４’も導出可能である。

また、上記各実施の形態では、本開示の一態様をハードウェアで構成する場合を例にとって説明したが、本開示はハードウェアとの連携においてソフトウェアでも実現することも可能である。

また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。集積回路は、上記実施の形態の説明に用いた各機能ブロックを制御し、入力端子と出力端子を備えてもよい。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）または、ＬＳＩ内部の回路セルの接続若しくは設定を再構成可能なリコンフィギュラブル／プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

本開示の音声音響信号符号化装置は、マルチチャネルの音声音響入力信号を構成する複数のチャネル信号を全て加算して加算信号を生成し、複数のチャネル信号のチャネル間の差分信号を生成する変換部と、加算信号の特徴に応じた符号化モードで加算信号を符号化して第１符号化データを生成する第１符号化部と、加算信号の符号化に用いられた符号化モードで差分信号をそれぞれ符号化して第２符号化データを生成する第２符号化部と、第１符号化データと第２符号化データとを多重化して、マルチチャネル符号化データを生成する多重化部と、を具備する構成を採る。

本開示の音声音響信号符号化装置は、少なくとも３チャネルのマルチチャネルの音声音響入力信号を構成する複数のチャネル信号を全て加算して１チャネルの加算信号を生成し、前記複数のチャネル信号のチャネル間の差分信号を少なくとも２チャネル生成する、変換部と、前記１チャネルの加算信号を符号化して第１符号化データを生成する第１符号化部と、前記少なくとも２チャネルの差分信号をそれぞれ符号化して第２符号化データを生成する第２符号化部と、前記第１符号化データと前記第２符号化データとを多重化して、マルチチャネル符号化データを生成する多重化部と、を具備する構成を採る。

本開示の音声音響信号符号化装置において、音声音響入力信号は、マイクロホンアレーユニットから出力される信号である。

本開示の音声音響信号符号化装置において、差分信号は、複数のチャネル信号の隣接チャネル間の差分信号である。

本開示の音声音響信号符号化装置において、第１符号化データには、加算信号の符号化に用いられた符号化モードを示すモード情報が含まれる。

本開示の音声音響信号復号装置は、音声音響信号符号化装置から出力されたマルチチャネル符号化データを第１符号化データと第２符号化データに分離し、第１符号化データは、音声音響信号符号化装置において、マルチチャネルの音声音響入力信号を構成する複数のチャネル信号を全て加算して生成される加算信号を、加算信号の特徴に応じた符号化モードで符号化して生成され、第２符号化データは、音声音響信号符号化装置において、複数のチャネル信号のチャネル間の差分信号を加算信号の符号化に用いられた符号化モードでそれぞれ符号化して生成される、逆多重化部と、加算信号の符号化に用いられた符号化モードで第１符号化データを復号して復号加算信号を得る第１復号部と、加算信号の符号化に用いられた符号化モードで第２符号化データを復号して復号差分信号を得る第２復号部と、復号加算信号及び復号差分信号に対して重み付け加算を施し、復号音声音響信号を生成する逆変換部と、を具備する構成を採る。

本開示の音声音響信号復号装置において、差分信号は、複数のチャネル信号の隣接チャネル間の差分信号である。

本開示の音声音響信号復号装置において、第１符号化データには、加算信号の符号化に用いられた符号化モードを示すモード情報が含まれる。

本開示の収音システムは、復号装置から出力される復号音声音響信号に対してビームフォーミング処理を行い、目標信号を抽出する収音処理部を具備し、収音処理部は、復号音声音響信号の各復号チャネル信号の位相を補正する位相補正部と、位相補正された復号チャネル信号の全てを加算して加算信号を生成する加算部と、位相補正された復号チャネル信号の隣接チャネル間の差分信号を生成する減算部と、加算信号と差分信号とを用いて、目標信号の成分を強調するとともに目標信号以外の成分を抑圧する抑圧部と、を具備する。

本開示の音声音響信号符号化方法は、マルチチャネルの音声音響入力信号を構成する複数のチャネル信号を全て加算して加算信号を生成し、複数のチャネル信号のチャネル間の差分信号を生成し、加算信号の特徴に応じた符号化モードで加算信号を符号化して第１符号化データを生成し、加算信号の符号化に用いられた符号化モードで差分信号をそれぞれ符号化して第２符号化データを生成し、第１符号化データと第２符号化データとを多重化して、マルチチャネル符号化データを生成する。

本開示の音声音響信号復号方法は、音声音響信号符号化装置から出力されたマルチチャネル符号化データを第１符号化データと第２符号化データに分離し、第１符号化データは、音声音響信号符号化装置において、マルチチャネルの音声音響入力信号を構成する複数のチャネル信号を全て加算して生成される加算信号を、加算信号の特徴に応じた符号化モードで符号化して生成され、第２符号化データは、音声音響信号符号化装置において、複数のチャネル信号のチャネル間の差分信号を加算信号の符号化に用いられた符号化モードでそれぞれ符号化して生成され、加算信号の符号化に用いられた符号化モードで第１符号化データを復号して復号加算信号を得て、加算信号の符号化に用いられた符号化モードで第２符号化データを復号して復号差分信号を得て、復号加算信号及び復号差分信号に対して重み付け加算を施し、復号音声音響信号を生成する。

本開示の一態様は、マルチチャネルの音声音響（サウンド）信号の符号化及び復号を行う装置に有用である。

１ システム
１ａ 収音システム
１０ 符号化装置
１１ 変換器
１２ エンコーダ
２０ 復号装置
２１ デコーダ
２２ 逆変換器
３０ マイクロホンアレーユニット
４０ 収音処理部
４１ 位相補正部
４２ 加算部
４３ 減算部
４４ サイドローブキャンセラ
４５ サイドローブサプレッサ
１１１，２２２ 加算器
１１２ 減算器
１２１，１２２，１２３，１２４ モノラルマルチモードエンコーダ
１２５ 多重化部
２１１ 逆多重化部
２１２，２１３，２１４，２１５ モノラルマルチモードデコーダ
２２１ 増幅器

Claims (10)

1. マルチチャネルの音声音響入力信号を構成する複数のチャネル信号を全て加算して加算信号を生成し、前記複数のチャネル信号のチャネル間の差分信号を生成する変換部と、
   前記加算信号の特徴に応じた符号化モードで前記加算信号を符号化して第１符号化データを生成する第１符号化部と、
   前記加算信号の符号化に用いられた符号化モードで前記差分信号をそれぞれ符号化して第２符号化データを生成する第２符号化部と、
   前記第１符号化データと前記第２符号化データとを多重化して、マルチチャネル符号化データを生成する多重化部と、
   を具備する音声音響信号符号化装置。
2. 少なくとも３チャネルのマルチチャネルの音声音響入力信号を構成する複数のチャネル信号を全て加算して１チャネルの加算信号を生成し、前記複数のチャネル信号のチャネル間の差分信号を少なくとも２チャネル生成する、変換部と、
   前記１チャネルの加算信号を符号化して第１符号化データを生成する第１符号化部と、
   前記少なくとも２チャネルの差分信号をそれぞれ符号化して第２符号化データを生成する第２符号化部と、
   前記第１符号化データと前記第２符号化データとを多重化して、マルチチャネル符号化データを生成する多重化部と、
   を具備する音声音響信号符号化装置。
3. 前記音声音響入力信号は、マイクロホンアレーユニットから出力される信号である、
   請求項１または２に記載の音声音響信号符号化装置。
4. 前記差分信号は、４チャネルの前記音声音響入力信号の差分信号であり、以下の数式に基づいて計算される、
   請求項１または２に記載の音声音響信号符号化装置。
   Ｘ＝（ｃｈ１＋ｃｈ２）−（ｃｈ３＋ｃｈ４）
   Ｙ＝（ｃｈ１＋ｃｈ３）−（ｃｈ２＋ｃｈ４）
   Ｚ＝（ｃｈ１＋ｃｈ４）−（ｃｈ２＋ｃｈ３）
   ｃｈ１〜ｃｈ４は前記複数のチャネル信号であり、Ｘ，Ｙ，Ｚは前記チャネル間の差分信号である。
5. 前記第１符号化データには、前記加算信号の符号化に用いられた符号化モードを示すモード情報が含まれる、
   請求項１に記載の音声音響信号符号化装置。
6. 音声音響信号符号化装置から出力されたマルチチャネル符号化データを第１符号化データと第２符号化データに分離し、前記第１符号化データは、前記音声音響信号符号化装置において、マルチチャネルの音声音響入力信号を構成する複数のチャネル信号を全て加算して生成される加算信号を、前記加算信号の特徴に応じた符号化モードで符号化して生成され、前記第２符号化データは、前記音声音響信号符号化装置において、前記複数のチャネル信号のチャネル間の差分信号を前記加算信号の符号化に用いられた符号化モードでそれぞれ符号化して生成される、逆多重化部と、
   前記加算信号の符号化に用いられた符号化モードで前記第１符号化データを復号して復号加算信号を得る第１復号部と、
   前記加算信号の符号化に用いられた符号化モードで前記第２符号化データを復号して復号差分信号を得る第２復号部と、
   前記復号加算信号及び前記復号差分信号に対して重み付け加算を施し、復号音声音響信号を生成する逆変換部と、
   を具備する音声音響信号復号装置。
7. 前記差分信号は、４チャネルの前記音声音響入力信号の差分信号であり、以下の数式に基づいて計算される、
   請求項６に記載の音声音響信号復号装置。
   Ｘ＝（ｃｈ１＋ｃｈ２）−（ｃｈ３＋ｃｈ４）
   Ｙ＝（ｃｈ１＋ｃｈ３）−（ｃｈ２＋ｃｈ４）
   Ｚ＝（ｃｈ１＋ｃｈ４）−（ｃｈ２＋ｃｈ３）
   ｃｈ１〜ｃｈ４は前記複数のチャネル信号であり、Ｘ，Ｙ，Ｚは前記チャネル間の差分信号である。
8. 前記第１符号化データには、前記加算信号の符号化に用いられた符号化モードを示すモード情報が含まれる、
   請求項６に記載の音声音響信号復号装置。
9. マルチチャネルの音声音響入力信号を構成する複数のチャネル信号を全て加算して加算信号を生成し、前記複数のチャネル信号のチャネル間の差分信号を生成し、
   前記加算信号の特徴に応じた符号化モードで前記加算信号を符号化して第１符号化データを生成し、
   前記加算信号の符号化に用いられた符号化モードで前記差分信号をそれぞれ符号化して第２符号化データを生成し、
   前記第１符号化データと前記第２符号化データとを多重化して、マルチチャネル符号化データを生成する、
   音声音響信号符号化方法。
10. 音声音響信号符号化装置から出力されたマルチチャネル符号化データを第１符号化データと第２符号化データに分離し、前記第１符号化データは、前記音声音響信号符号化装置において、マルチチャネルの音声音響入力信号を構成する複数のチャネル信号を全て加算して生成される加算信号を、前記加算信号の特徴に応じた符号化モードで符号化して生成され、前記第２符号化データは、前記音声音響信号符号化装置において、前記複数のチャネル信号のチャネル間の差分信号を前記加算信号の符号化に用いられた符号化モードでそれぞれ符号化して生成され、
    前記加算信号の符号化に用いられた符号化モードで前記第１符号化データを復号して復号加算信号を得て、
    前記加算信号の符号化に用いられた符号化モードで前記第２符号化データを復号して復号差分信号を得て、
    前記復号加算信号及び前記復号差分信号に対して重み付け加算を施し、復号音声音響信号を生成する、
    音声音響信号復号方法。

Images