JP6411780B2 - オーディオ信号処理回路、その方法、それを用いた電子機器 - Google Patents

Description

本発明は、オーディオ信号処理に関する。

デジタルビデオカメラやデジタルカメラ、携帯電話端末、ノート型コンピュータ、カーナビゲーションシステム、ヘッドセットをはじめとする様々な電子機器に、録音機能や通話機能が搭載されている。音源の存在する特定方向に対する指向性を高め、目的音を集中的に録音し、その他の方向からの非目的音を除去するために、ビームフォーミングと称される技術が開発されている。

図１（ａ）〜（ｃ）は、ビームフォーミングを模式的に示す図である。録音システム１ｒは、信号処理回路１０、複数のマイク１２ａ、１２ｂを備える。マイク１２ａ、１２ｂは無指向性であり、指向軸１４の方向に所定の間隔で近接して配置される。

信号処理回路１０は、マイク１２ａ、１２ｂそれぞれにより電気信号に変換されたオーディオ信号Ｓ１ａ、Ｓ１ｂを受ける。信号処理回路１０は、一方のオーディオ信号Ｓ１ｂを遅延する遅延素子１１を含み、ビームフォーミング処理を行うことにより、指向軸１４を中心とする方向からの目的音を抽出し、明瞭に録音する。遅延素子１１の遅延量τは、指向軸１４と反対方向からの音の検出レベルが実質的にゼロとなるように設定される。ビームフォーミング処理のアルゴリズムは公知であるため、ここでは詳細な説明は控えるものとし、その原理を簡単に説明する。

図１（ａ）は、音源２が指向軸１４の方向に存在する場合を、図１（ｂ）は、音源２が指向軸１４と垂直方向に存在する場合を、図１（ｃ）は、音源２が指向軸１４と反対方向に存在する場合を示す。図２（ａ）〜（ｃ）は、図１（ａ）〜（ｃ）それぞれにおいて得られるオーディオ信号の波形図である。本明細書における波形図やタイムチャートの縦軸および横軸は、理解を容易とするために適宜拡大、縮小したものであり、また示される各波形も、理解の容易のために簡略化され、あるいは強調されている。

２つのマイク１２ａ、１２ｂは数ｃｍの間隔で近接して配置されるため、音源２から発せられる音４は、２つのマイクにほとんど同じ振幅で入力され、それらの位相差Δφが、音源２の方向に応じて変化する。すなわち、図１（ａ）のように、指向軸１４の方向に音源２が存在する場合、２つのオーディオ信号Ｓ１ａ、Ｓ１ｂの位相差が大きくなる。反対に、図１（ｂ）のように、指向軸１４と垂直方向１６に音源２が存在する場合、２つのオーディオ信号Ｓ１ａ、Ｓ１ｂの位相差Δφはゼロに近づく。

ビームフォーミングでは、マイク１２ａ、１２ｂから出力されるオーディオ信号Ｓ１ａ、Ｓ１ｂのゲイン差（振幅の差）および／または位相差を利用する。２つの波形が同一である場合にはゲイン差あるいは位相差は本質的には等価と考えることもでき、２つのオーディオ信号Ｓ１ａとＳ１ｂの差分（Ｓ１ａ−Ｓ１ｂ）と相関を有する。そこでオーディオ信号処理回路１０は、差分信号（Ｓ１ａ−Ｓ１ｂ）を利用した演算処理を行うことにより、指向軸１４の方向からの音４を集中的に集音することができる。

国際公開第０９／０２５０９０号パンフレット 国際公開第０９／０４４５６２号パンフレット

本発明者らは、ビームフォーミングにより指向性を高めた録音システム１ｒについて検討した結果、以下の課題を認識するに至った。

たとえばＥＣＭ（エレクトレットコンデンサマイク）を用いた録音機能付きの電子機器を、風が吹いている環境下で使用すると、ＥＣＭの振動板が物理的に振動するため、風音あるいは風切り音と呼ばれるノイズが記録される。このようなノイズが、２つのオーディオ信号Ｓ１ａ、Ｓ１ｂに混入すると、ゲイン差／位相差を大きく乱すこととなり、ビームフォーミング処理に悪影響を及ぼすこととなる。ゲイン差／位相差の乱れは、ノイズが生ずる周波数帯域のみでなく、それ以外の帯域にも顕著なノイズを発生させる。同様の問題は、振動が与えられる環境下で録音システムを用いた場合にも生じうる。

なおかかる問題を当業者の一般的な認識としてとらえてはならず、本発明者等が独自に認識したものである。

本発明はかかる課題に鑑みてなされたものであり、そのある態様の例示的な目的のひとつは、ノイズの影響を抑制可能なオーディオ信号処理回路の提供にある。

本発明のある態様は、第１マイク、第２マイクそれぞれにより集音された第１入力オーディオ信号、第２入力オーディオ信号を処理するオーディオ信号処理回路に関する。オーディオ信号処理回路は、第１入力オーディオ信号および第２入力オーディオ信号に、許容量を超えるノイズが含まれるか否かを判定し、含まれるときにアサートされるノイズ検出信号を生成するノイズ検出回路と、（i）ノイズ検出信号がネゲートされるとき、第１入力オーディオ信号に応じた第１中間オーディオ信号および第２入力オーディオ信号に応じた第２中間オーディオ信号を出力し、（ii）ノイズ検出信号がアサートされるとき、第１入力オーディオ信号と第２入力オーディオ信号に所定のノイズ補正処理を施して得られる第３中間オーディオ信号を生成し、第３中間オーディオ信号を含む第１中間オーディオ信号と、第３中間オーディオ信号を含む第２中間オーディオ信号と、を出力するノイズ除去回路と、ノイズ除去回路から出力される第１中間オーディオ信号および第２中間オーディオ信号を受け、それらの差分信号を利用してビームフォーミング処理を行うビームフォーミング回路と、を備える。

この態様によると、ノイズが発生したときには、第１、第２中間オーディオ信号を、第３中間オーディオ信号を利用して得られる信号に置換して後段のビームフォーミング回路に提供することにより、ノイズの影響を抑制できる。

ノイズ除去回路は、第１入力オーディオ信号と第２入力オーディオ信号それぞれの所定の帯域を対象としてノイズ補正処理を行ってもよい。
これにより、ノイズ補正の対象外の帯域については指向性を維持することができる。

ノイズ除去回路は、第１入力オーディオ信号および第２入力オーディオ信号それぞれを、複数の帯域に分割するフィルタを含んでもよい。

ノイズ除去回路は、（i）ノイズ検出信号がネゲートされるとき、複数の帯域に分割された第１入力オーディオ信号を合成し、合成された信号に応じた第１中間オーディオ信号を出力するとともに、複数の帯域に分割された第２入力オーディオ信号を合成し、合成された信号に応じた第２中間オーディオ信号を生成してもよい。またノイズ除去回路は、（ii）ノイズ検出信号がアサートされるとき、第１入力オーディオ信号の複数の帯域のうちの所定のひとつである補正対象帯域と第２入力オーディオ信号の補正対象帯域にノイズ補正処理を施すことにより第３中間オーディオ信号を生成し、第３中間オーディオ信号を、第１入力オーディオ信号のその他の帯域と合成して第１中間オーディオ信号を生成し、第３中間オーディオ信号を、第２入力オーディオ信号のその他の帯域と合成して第２中間オーディオ信号を生成してもよい。

ノイズ除去回路による補正対象の帯域は、０〜５００Ｈｚの帯域を含んでもよい。
これにより、振動や風によるノイズを好適に低減できる。

ノイズ除去回路は、第１入力オーディオ信号、第２入力オーディオ信号の全体域を補正対象としてもよい。

ノイズ補正処理は、補正対象の２つの信号の平均値を演算する処理を含んでもよい。

平均値は、２つの信号の単純平均であってもよい。

平均値は、２つの信号の重み付け平均であってもよい。
この場合、重み付け係数の組み合わせにより、ノイズ低減の効果と指向性のトレードオフの関係を調節できる。
２つの信号のうち大きい一方の重み付け係数は、２つの信号のうち小さい他方の重み付け係数よりも小さくてもよい。
２つの信号のうち、信号レベルが大きい方は、風音などのノイズによってレベルが増大している可能性が高い。そこで、信号レベルが小さい方の重み付け係数を大きくすることにおり、目的音を多く抽出し、ノイズを抑制できる。

ノイズ補正処理は、補正対象の２つの信号に所定の係数を乗算する処理、および平均値に所定の係数を乗算する処理の少なくとも一方をさらに含んでもよい。

係数は、検出されたノイズのレベルに応じて可変であってもよい。

本発明の別の態様は、第１マイク、第２マイクそれぞれにより集音された第１入力オーディオ信号、第２入力オーディオ信号を処理するオーディオ信号処理回路に関する。このオーディオ信号処理は、第１入力オーディオ信号および第２入力オーディオ信号それぞれを複数の帯域に分割するフィルタと、第１入力オーディオ信号および第２入力オーディオ信号に許容量を超えるノイズが含まれるか否かを判定し、含まれるときにアサートされるノイズ検出信号を生成するノイズ検出回路と、（i）ノイズ検出信号がネゲートされるとき、第１入力オーディオ信号、第２入力オーディオ信号それぞれのすべての帯域を対象としたビームフォーミング処理を行い、（ii）ノイズ検出信号がアサートされるとき、第１入力オーディオ信号、第２入力オーディオ信号それぞれの補正対象帯域を、ビームフォーミング処理の対象から除外し、残りの帯域についてビームフォーミング処理を行うビームフォーミング回路と、を備える。

この態様によると、ノイズによりゲイン差／位相差が乱された差分信号にもとづいてビームフォーミング処理が行われるのを防止でき、ノイズを抑制できる。

ある態様のオーディオ信号処理回路は、第１チャンネルのマイクの出力信号を増幅する第１アンプと、第２チャンネルのマイクの出力信号を増幅する第２アンプと、第１アンプの出力信号をデジタルの第１入力オーディオ信号に変換する第１Ａ／Ｄコンバータと、第２アンプの出力信号をデジタルの第２入力オーディオ信号に変換する第２Ａ／Ｄコンバータと、をさらに備えてもよい。

ある態様において、オーディオ信号処理回路は、ひとつの半導体基板に一体集積化されてもよい。「一体集積化」とは、回路の構成要素のすべてが半導体基板上に形成される場合や、回路の主要構成要素が一体集積化される場合が含まれ、回路定数の調節用に一部の抵抗やキャパシタなどが半導体基板の外部に設けられていてもよい。

本発明の別の態様は、電子機器に関する。電子機器は、第１チャンネルのマイクと、第２チャンネルのマイクと、上述のいずれかのオーディオ信号処理回路と、を備える。

なお、以上の構成要素の任意の組み合わせや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

本発明に係るオーディオ信号処理回路によれば、ノイズの影響を抑制できる。

図１（ａ）、（ｂ）は、ビームフォーミングを模式的に示す図である。 図２（ａ）、（ｂ）は、図１（ａ）、（ｂ）それぞれにおいて得られるオーディオ信号の波形図である。 第１の実施の形態に係るオーディオ信号処理回路を備える録音システムのブロック図である。 ノイズ除去回路の機能ブロック図である。 オーディオ信号処理回路により得られるオーディオ信号のスペクトルを示す図である。 第２の実施の形態に係るオーディオ信号処理回路を備える録音システムのブロック図である。 オーディオ信号処理回路を搭載する電子機器の斜視図である。

以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。

本明細書において、「部材Ａが、部材Ｂと接続された状態」とは、部材Ａと部材Ｂが物理的に直接的に接続される場合のほか、部材Ａと部材Ｂが、それらの電気的な接続状態に実質的な影響を及ぼさない、あるいはそれらの結合により奏される機能や効果を損なわせない、その他の部材を介して間接的に接続される場合も含む。
同様に、「部材Ｃが、部材Ａと部材Ｂの間に設けられた状態」とは、部材Ａと部材Ｃ、あるいは部材Ｂと部材Ｃが直接的に接続される場合のほか、それらの電気的な接続状態に実質的な影響を及ぼさない、あるいはそれらの結合により奏される機能や効果を損なわせない、その他の部材を介して間接的に接続される場合も含む。

（第１の実施の形態）
図３は、第１の実施の形態に係るオーディオ信号処理回路１０を備える録音システム１のブロック図である。録音システム１は、オーディオ信号処理回路１０、第１マイク１２ａ、第２マイク１２ｂを備える。第１マイク１２ａおよび第２マイク１２ｂは、図１（ａ）、（ｂ）と同様に無指向性であり、指向軸１４の方向に所定の間隔で近接して配置される。

信号処理回路１０は、第１マイク１２ａ、第２マイク１２ｂそれぞれにより電気信号に変換されたオーディオ信号Ｓ１ａ、Ｓ１ｂを受け、ビームフォーミング処理を行うことにより、指向軸を中心とする方向からの目的音を抽出し、明瞭に録音する。

オーディオ信号処理回路１０は、第１アンプ１０２ａ、第２アンプ１０２ｂ、第１Ａ／Ｄコンバータ１０４ａ、第２Ａ／Ｄコンバータ１０４ｂ、ノイズ検出回路１０６、ノイズ除去回路１０８、ビームフォーミング回路１１０を備え、ひとつの半導体基板に一体集積化された機能ＩＣ（Integrated Circuit）である。オーディオ信号処理回路１０は、そのほか、第１マイク１２ａ、第２マイク１２ｂにバイアス電圧を供給するマイクバイアス回路（不図示）を備えてもよい。

オーディオ信号処理回路１０の入力端子ＩＮＡ、ＩＮＢは、ＤＣブロックキャパシタＣ１ａ、Ｃ１ｂを介して、第１マイク１２ａ、第２マイク１２ｂと接続されており、第１マイク１２ａ、第２マイク１２ｂからのアナログオーディオ信号Ｓ１ａ、Ｓ１ｂを受ける。

第１アンプ１０２ａ、第２アンプ１０２ｂはそれぞれ、アナログオーディオ信号Ｓ１ａ、Ｓ１ｂを増幅する。第１Ａ／Ｄコンバータ１０４ａ、第２Ａ／Ｄコンバータ１０４ｂはそれぞれ、対応する第１アンプ１０２ａ、第２アンプ１０２ｂから出力されるアナログオーディオ信号Ｓ２ａ、Ｓ２ｂをデジタルのオーディオ信号Ｄ１ａ、Ｄ２ｂに変換する。オーディオ信号Ｄ１ａ、Ｄ１ｂをそれぞれ、第１入力オーディオ信号、第２入力オーディオ信号と称する。

ノイズ検出回路１０６は、第１入力オーディオ信号Ｄ１ａおよび第２入力オーディオ信号Ｄ１ｂを受け、オーディオ信号Ｓ１ａ、Ｓ１ｂに、許容量を超えるノイズが含まれるか否かを判定し、判定結果を示すノイズ検出信号Ｓ４を生成する。たとえばノイズ検出回路１０６は、ノイズが含まれると判定したとき、ノイズ検出信号Ｓ４をアサート（たとえばハイレベル）する。ノイズの検出方法は特に限定されるものではなく、たとえば特開２０１４−０６０５２５号公報等に記載される公知技術、あるいは将来利用可能な技術を用いればよい。検出対象のノイズは、好ましくは風音あるいは振動に代表される低周波ノイズ、より具体的にはたとえば０〜３００Ｈｚ、０〜５００Ｈｚ、あるいは０〜１ｋＨｚの帯域のノイズであるが、特に限定されない。

ノイズ除去回路１０８は、第１入力オーディオ信号Ｄ１ａ、第２入力オーディオ信号Ｄ１ｂを受け、第１中間オーディオ信号Ｄ２ａ、第２中間オーディオ信号Ｄ２ｂを出力する。

ノイズ除去回路１０８は、（i）ノイズ検出信号Ｓ４がネゲートされているとき、つまりノイズ検出回路１０６により許容値を超えるノイズが検出されないとき、第１入力オーディオ信号Ｄ１ａに応じた第１中間オーディオ信号Ｄ２ａおよび第２入力オーディオ信号Ｄ１ｂに応じた第２中間オーディオ信号Ｄ２ｂを出力する。

たとえばＤ２ａ＝Ｄ１ａ、Ｄ２ｂ＝Ｄ１ｂであってもよい。この場合、ノイズ除去回路１０８は、ノイズ検出信号Ｓ４がネゲートされるとき、入力オーディオ信号Ｄ１ａ、Ｄ１ｂをそのまま通過させる。
あるいは、パラメータα、βを用いて定義される関数ｆ（ｘ）＝αｘ＋βを定義しておき、Ｄ１ａ、Ｄ１ｂそれぞれを関数ｆ（ｘ）を用いて演算処理し、Ｄ２ａ＝ｆ（Ｄ１ａ）、Ｄ２ｂ＝ｆ（Ｄ１ｂ）を出力してもよい。

ノイズ除去回路１０８は、（ii）ノイズ検出信号Ｓ４がアサートされるとき、つまりノイズ検出回路１０６により許容値を超えるノイズが検出されたとき、第１入力オーディオ信号Ｄ１ａと第２入力オーディオ信号Ｄ１ｂに所定のノイズ補正処理を施して得られる第３中間オーディオ信号Ｄ３を生成する。そしてノイズ除去回路１０８は、第３中間オーディオ信号Ｄ３の成分を含む第１中間オーディオ信号Ｄ２ａと、第３中間オーディオ信号Ｄ３の成分を含む第２中間オーディオ信号Ｄ２ｂと、を出力する。

ここでのノイズ補正処理は、風音等の低周波ノイズの影響を除去しうるように定められる。このノイズ補正処理は、２つの信号Ｄ１ａ、Ｄ１ｂの全体域を対象として行ってもよいが、好ましくは、風音や振動などのノイズが含まれる所定の帯域のみを対象として行ってもよい。ノイズ補正処理は、ノイズがビームフォーミング回路１１０において生成されるゲイン差（位相差）にもたらす乱れを低減する処理であり、したがって、位相補正、あるいはゲイン補正としてとらえることもできる。

一例として、ノイズ補正処理は、補正対象の２つの信号Ｄ１ａ、Ｄ１ｂの平均値を演算する処理を含む。平均値Ｙは、２つの信号Ｄ１ａとＤ１ｂの単純平均であってもよい。
Ｙ＝（Ｄ１ａ＋Ｄ１ｂ）／２ …（１）

ノイズ除去回路１０８は、式（１）の平均値Ｙを、第３中間オーディオ信号Ｄ３としてもよい。

あるいは平均値Ｙに所定の係数Ｋを乗じた値Ｙ’を、第３中間オーディオ信号Ｄ３として出力してもよい。
Ｄ３＝Ｙ’＝Ｙ×Ｋ
つまりノイズ補正処理は、補正対象の２つの信号Ｄ１ａ、Ｄ１ｂそれぞれに所定の係数Ｋを乗算する処理を行った後に、式（１）の平均値を求めてもよいし、式（１）により平均値Ｙを求めた後に、所定の係数Ｋを乗算してもよい。

係数Ｋは固定してもよいが、可変としてもよい。たとえば弱い風が検出されているときにはＫ＝１／２、より強い風が検出されるときにはＫ＝１／４のように、多段階で切り換えてもよい。つまり係数Ｋは、風の強度に応じて、言い換えれば検出されたノイズのレベルに応じて可変であってもよい。さらには係数Ｋは、ノイズのレベル以外のその他のパラメータにもとづいて変更されてもよい。

ノイズ補正処理としては、そのほかにも二乗平均平方根（ＲＭＳ）やその他の処理などを用いることもできよう。

ビームフォーミング回路１１０は、ノイズ除去回路１０８からの第１中間オーディオ信号Ｄ２ａ、第２中間オーディオ信号Ｄ２ｂを受け、少なくともそれらの差分信号（Ｄ２ａ−Ｄ２ｂ）を利用して、ビームフォーミング処理を行う。ビームフォーミング処理のアルゴリズムは公知技術、あるいは将来利用可能な技術を用いればよく、本発明において特に限定されない。

ビームフォーミングが施された出力オーディオ信号Ｄ４ａ、Ｄ４ｂは、図示しない後段の回路に供給される。ビームフォーミング回路１１０の後段の処理は特に限定されないが、たとえばフィルタリングやイコライジング処理などのデジタル信号処理および圧縮処理やエンコード処理を経て、メモリなどに書き込まれる。

図４は、ノイズ除去回路１０８の機能ブロック図である。このノイズ除去回路１０８は、第１入力オーディオ信号Ｄ１ａと第２入力オーディオ信号Ｄ１ｂそれぞれのうち、ノイズの周波数を包含する所定の帯域（補正対象帯域という）を対象としてノイズ補正処理を行う。

ノイズ除去回路１０８には、フィルタ１１２が設けられる。フィルタ１１２は、第１入力オーディオ信号Ｄ１ａ、第２入力オーディオ信号Ｄ１ｂそれぞれを、複数の帯域に分割する。ここでは、ローパスフィルタおよびハイパスフィルタによって、第１入力オーディオ信号Ｄ１ａが、高周波成分Ｄ１ａＨと低周波成分Ｄ１ａＬに分割される。同様にローパスフィルタおよびハイパスフィルタによって、第２入力オーディオ信号Ｄ１ｂが、高周波成分Ｄ１ｂＨと低周波成分Ｄ１ｂＬに分割される。低周波成分が補正対象帯域に相当する。

ノイズ除去回路１０８は、（i）ノイズ検出信号Ｓ４がネゲート（ローレベル、０）されるとき、複数の帯域Ｄ１ａＬ、Ｄ１ａＨに分割された第１入力オーディオ信号Ｄ１ａを再合成し、再合成された信号に応じた第１中間オーディオ信号Ｄ２ａを出力する。合成は、加算演算であってもよい。また複数の帯域Ｄ１ｂＬ、Ｄ１ｂＨに分割された第２入力オーディオ信号Ｄ１ｂを再合成し、再合成された信号に応じた第２中間オーディオ信号Ｄ２ｂを出力する。

ノイズ除去回路１０８は、（ii）ノイズ検出信号Ｓ４がアサート（ハイレベル、１）されるとき、第１入力オーディオ信号Ｄ１ａの複数の帯域のうちの補正対象帯域Ｄ１ａＬと第２入力オーディオ信号Ｄ１ｂの補正対象帯域Ｄ１ｂＬに、上述のノイズ補正処理を施すことにより、第３中間オーディオ信号Ｄ３を生成する。そして第３中間オーディオ信号Ｄ３を、第１入力オーディオ信号Ｄ１ａのその他の帯域Ｄ１ａＨと合成して第１中間オーディオ信号Ｄ２ａを生成する。同様にノイズ除去回路１０８は、第３中間オーディオ信号Ｄ３を、第２入力オーディオ信号Ｄ１ｂのその他の帯域Ｄ１ｂＨと合成して第２中間オーディオ信号Ｄ２ｂを生成する。

これらの機能は、ノイズ補正部１１４、第１セレクタ１１６ａ、第２セレクタ１１６ｂ、第１合成部１１８ａ、第２合成部１１８ｂにより実現される。

ノイズ補正部１１４は、第１入力オーディオ信号Ｄ１ａ、第２入力オーディオ信号Ｄ１ｂそれぞれの補正対象帯域Ｄ１ａＬ、Ｄ１ｂＬを受け、それらに所定のノイズ補正処理を施すことにより、第３中間オーディオ信号Ｄ３を生成する。ノイズ補正処理は、上述のように、単純平均であってもよく、この場合、第３中間オーディオ信号Ｄ３は、式（２）で与えられる。
Ｄ３＝（Ｄ１ａＬ＋Ｄ１ｂＬ）／２ …（２）

第１セレクタ１１６ａは、第３中間オーディオ信号Ｄ３および第１入力オーディオ信号Ｄ１ａの補正対象帯域Ｄ１ａＬを受け、ノイズ検出信号Ｓ４がアサート（１）されるとき、Ｄ３を、ネゲートされるときＤ１ａＬを選択する。同様に第２セレクタ１１６ｂは、第３中間オーディオ信号Ｄ３および第２入力オーディオ信号Ｄ１ｂの補正対象帯域Ｄ１ｂＬを受け、ノイズ検出信号Ｓ４がアサート（１）されるときＤ３を、ネゲートされるときＤ１ｂＬを選択する。

第１合成部１１８ａは、第１セレクタ１１６ａの出力と、第１入力オーディオ信号Ｄ１ａのうち補正対象帯域以外の成分Ｄ１ａＨを加算する。同様に第２合成部１１８ｂは、第２セレクタ１１６ｂの出力と、第２入力オーディオ信号Ｄ１ｂのうち補正対象帯域以外の成分Ｄ１ｂＨを加算する。

なおノイズ除去回路１０８の構成は、図４には限定されず、当業者によれば同等の機能を具備するさまざまな変形例が存在しうることが理解される。たとえば第１セレクタ１１６ａ、第２セレクタ１１６ｂを省略し、ノイズ検出信号Ｓ４に応じてノイズ補正部１１４の動作を切りかえてもよい。たとえば（i）ノイズ検出信号Ｓ４がアサートされるとき、ノイズ補正部１１４は第３中間オーディオ信号Ｄ３を、第１合成部１１８ａ、第２合成部１１８ｂに出力し、（ii）ノイズ検出信号Ｓ４がネゲートされるとき、ノイズ補正部１１４はノイズ補正処理を行わずに、Ｄ１ａＬを第１合成部１１８ａに出力し、Ｄ１ｂＬを第２合成部１１８ｂに出力してもよい。

なお、ノイズ補正部１１４の機能は、ハードウェアにより実現してもよいし、組み込みプロセッサとソフトウェアの組み合わせにより実現してもよい。

以上が実施の形態に係るオーディオ信号処理回路１０の構成である。続いてその動作を、ノイズが検出されない場合、ノイズが検出された場合に分けて説明する。

１． ノイズが検出されない場合
風音や振動に起因するノイズが存在しないとき、ノイズ検出信号Ｓ４はネゲートされる。このとき、ノイズ除去回路１０８はその入力であるＤ１ａ、Ｄ１ｂをスルーし、そのまま後段のビームフォーミング回路１１０に出力する。つまりノイズ除去回路１０８は、入力オーディオ信号に影響を与えない。後段のビームフォーミング回路１１０は、元の入力オーディオ信号Ｄ１ａ、Ｄ１ｂを受け、ビームフォーミング処理を施す。つまりノイズが入力されないときの動作は、従来と同様である。

２． ノイズが検出された場合
風音や振動に起因するノイズが存在するとき、ノイズ検出回路１０６によりノイズ検出信号Ｓ４がアサートされる。これにより、ノイズ除去回路１０８は、第１入力オーディオ信号Ｄ１ａ、第２入力オーディオ信号Ｄ１ｂそれぞれの補正対象帯域に関してはノイズ補正処理を施して第３中間オーディオ信号Ｄ３に置き換え、その他の帯域についてはそのままスルーする。

以上がオーディオ信号処理回路１０の動作である。
このオーディオ信号処理回路１０によれば、補正対象帯域については、第１中間オーディオ信号Ｄ２ａ、第２中間オーディオ信号Ｄ２ｂが同じ成分Ｄ３となるため、指向性は損なわれることとなるが、ビームフォーミング回路１１０において生成される差分信号（Ｄ２ａ−Ｄ２ｂ）から、風音や振動の影響を除去することができる。また、補正対象帯域以外の帯域については、従来と同様の処理が行われるため、指向性を残すことができる。別の観点から見れば、ノイズが検出されたときには、ノイズを含む帯域をビームフォーミング処理の対象から除外しているものと把握できる。

図５は、オーディオ信号処理回路１０により得られるオーディオ信号Ｄ４ａ（Ｄ４ｂ）のスペクトルを示す図である。スペクトルは、第１マイク１２ａ、第２マイク１２ｂに対して、風速４．５ｍ／ｓの風を当てた状態で、目的音４を入力し、このときに得られる出力オーディオ信号Ｄ４ａ（Ｄ４ｂ）を高速フーリエ変換（ＦＦＴ）したものである。

図５のグラフ（i）は、実施の形態に係るオーディオ信号処理回路１０により得られるスペクトルである。比較のために、ビームフォーミング処理のみを行ったときに得られるスペクトル（ii）と、オーディオ信号処理回路において、ノイズ補正処理およびビームフォーミグ処理を行わないときに得られるスペクトル（iii）と、をあわせて示す。

オーディオ信号処理回路のスペクトル（ii）は、ノイズ検出回路１０６の検出結果にかかわらずノイズ検出信号Ｓ４を強制的にネゲートすることにより得られるものと等価である。スペクトル（iii）は、ノイズ検出信号Ｓ４を強制的にネゲートした上で、ビームフォーミング回路１１０を停止（スルー）することにより得られる。

グラフ（ii）と（iii）の対比から分かるように、風音などのノイズが入力された状態でビームフォーミング処理を行うと、第１中間オーディオ信号Ｄ２ａと第２中間オーディオ信号Ｄ２ｂのゲイン差（位相差）が大きく乱されるため、１００〜１ｋＨｚの帯域におけるノイズレベルが非常に大きくなる（ii）。またノイズによるゲイン差（位相差）の乱れは、１ｋＨｚ以上の帯域のノイズレベルも悪化させる。

これに対して、実施の形態に係るオーディオ信号処理回路１０によれば、グラフ（i）に示したように、ビームフォーミング処理を行っているにもかかわらず、ノイズレベルを、ビームフォーミング処理を行わない場合（iii）よりも、さらに低いレベルに抑制することができる。ノイズ低減の効果は、ノイズ補正部１１４による補正対象帯域（０〜１ｋＨｚ）のみでなく、それより高い帯域にも及んでいることに留意されたい。

続いて、第１の実施の形態に係るオーディオ信号処理回路１０について、いくつかの変形例を説明する。

（第１変形例）
実施の形態では、ノイズ補正処理として平均処理、より具体的には単純平均を用いる場合を説明したが本発明はそれには限定されない。
平均値Ｙは、２つの信号Ｄ１ａとＤ１ｂの重み付け平均であってもよい。
Ｙ＝（Ｋａ×Ｄ１ａ＋Ｋｂ×Ｄ１ｂ）／（Ｋａ＋Ｋｂ） …（３）
Ｋａ、Ｋｂは、重み付け係数である。Ｋａ＋Ｋｂ＝１の条件を課せば、式（３’）を得る。
Ｙ＝（Ｋａ×Ｄ１ａ＋Ｋｂ×Ｄ１ｂ） …（３’）

Ｋａ，Ｋｂの組み合わせにより、ノイズ低減の効果と指向性のトレードオフの関係を調節できる。たとえば、係数Ｋａ，Ｋｂは、第１入力オーディオ信号Ｄ１ａ、第２入力オーディオ信号Ｄ１ｂそれぞれの信号レベル｜Ｄ１ａ｜、｜Ｄ１ｂ｜に応じて設定してもよい。

具体的には、２つの信号Ｄ１ａ、Ｄ１ｂ（もしくは、Ｄ１ａＬ、Ｄ１ｂＬ）のうち、信号レベルが大きい一方の重み付け係数は、２つの信号のうち信号レベルが小さい他方の重み付け係数よりも小さくすることが好ましい。
｜Ｄ１ａ｜＞｜Ｄ１ｂ｜であるときには、第１入力オーディオ信号Ｄ１ａ側に、風音が多く含まれていることが推定される。そしてこの場合には、第２入力オーディオ信号Ｄ１ｂ側の方が、目的音の示す割合が大きい可能性が高い。この場合には、Ｋａ＜Ｋａとすることにより、第２入力オーディオ信号Ｄ１ｂに含まれる目的音を多く抽出して第３中間オーディオ信号Ｄ３を生成できる。反対に｜Ｄ１ａ｜＜｜Ｄ１ｂ｜であるときには、Ｋａ＞Ｋｂとすればよい。

（第２変形例）
実施の形態において第１入力オーディオ信号Ｄ１ａ、第２入力オーディオ信号Ｄ１ｂはそれぞれ、２個の帯域に分割されたが、本発明はそれには限定されず、３個以上の帯域に分割してもよい。

また実施の形態において、ノイズ除去回路１０８は、所定の帯域のみをノイズ補正処理の対象としたが本発明はそれには限定されず、すべての帯域をノイズ補正の対象としてもよい。

（第３変形例）
実施の形態では、ノイズが検出されたときに、第１中間オーディオ信号Ｄ２ａの低周波成分Ｄ２ａＬと第２中間オーディオ信号Ｄ２ｂの低周波成分Ｄ２ｂＬが、同じ信号すなわち第３中間オーディオ信号Ｄ３となる場合を説明したが、本発明はそれには限定されない。第１中間オーディオ信号Ｄ２ａの低周波成分Ｄ２ａＬと第２中間オーディオ信号Ｄ２ｂの低周波成分Ｄ２ｂＬは必ずしも同じ信号である必要はなく、少なくとも第３中間オーディオ信号Ｄ３を含んでいればよい。Ｄ２ａＬを、Ｄ３と、第１入力オーディオ信号Ｄ１ａの低周波成分Ｄ１ａＬに応じた信号の和とし、Ｄ２ｂＬを、Ｄ３と、第２入力オーディオ信号Ｄ１ｂの低周波成分Ｄ１ｂＬに応じた信号の和としてもよい。この場合、補正対象帯域についても、指向性を残すことができる。

（第２の実施の形態）
第１の実施の形態において、ノイズが検出されたときに、第１中間オーディオ信号Ｄ２ａ、第２中間オーディオ信号Ｄ２ｂそれぞれの補正対象帯域を、第３中間オーディオ信号Ｄ３に置き換える処理は、それらの帯域を、ビームフォーミング回路１１０によるビームフォーミング処理の対象から除外することと把握できる。

図６は、第２の実施の形態に係るオーディオ信号処理回路１０ａを備える録音システム１ａのブロック図である。オーディオ信号処理回路１０ａは、第１アンプ１０２ａ、第２アンプ１０２ｂ、第１Ａ／Ｄコンバータ１０４ａ、第２Ａ／Ｄコンバータ１０４ｂ、ノイズ検出回路１０６、フィルタ１１２、ビームフォーミング回路１１０ａを含む。

フィルタ１１２は、第１入力オーディオ信号Ｄ１ａおよび第２入力オーディオ信号Ｄ１ｂそれぞれを、複数の帯域に分割する。

ノイズ検出回路１０６は、第１入力オーディオ信号Ｄ１ａおよび第２入力オーディオ信号Ｄ１ｂに、許容量を超えるノイズが含まれるか否かを判定する。ノイズ検出信号Ｓ４は、ノイズが含まれると判定されたときにアサートされる。

ビームフォーミング回路１１０ａは、（i）ノイズ検出信号Ｓ４がネゲートされるとき、第１入力オーディオ信号Ｄ１ａ、第２入力オーディオ信号Ｄ１ｂそれぞれのすべての帯域を対象としたビームフォーミング処理を行う。またビームフォーミング回路１１０ａは、（ii）ノイズ検出信号Ｓ４がアサートされるとき、第１入力オーディオ信号Ｄ１ａ、第２入力オーディオ信号Ｄ１ｂそれぞれの補正対象帯域（低周波数領域）を、ビームフォーミング処理の対象から除外し、残りの帯域（高周波数領域）についてビームフォーミング処理を行う。

ビームフォーミング回路１１０ａは、ビームフォーミング回路１１０、第３合成部１２０ａ、第４合成部１２０ｂ、第５合成部１２２ａ、第６合成部１２２ｂを含む。ビームフォーミング回路１１０の機能は、図３のそれと同様である。

第３合成部１２０ａは、ノイズ検出信号Ｓ４がネゲートされるときに、フィルタ１１２により分割された第１入力オーディオ信号Ｄ１ａの複数の帯域Ｄ１ａＬ，Ｄ１ａＨを再合成し、ビームフォーミング回路１１０に出力する。第３合成部１２０ａは、ノイズ検出信号Ｓ４がアサートされるときは、Ｄ１ａＨのみをビームフォーミング回路１１０に出力する。

同様に第４合成部１２０ｂは、ノイズ検出信号Ｓ４がネゲートされるときに、フィルタ１１２により分割された第２入力オーディオ信号Ｄ１ｂの複数の帯域Ｄ１ｂＬ，Ｄ１ｂＨを再合成し、ビームフォーミング回路１１０に出力する。第４合成部１２０ｂは、ノイズ検出信号Ｓ４がアサートされるときは、Ｄ１ｂＨのみをビームフォーミング回路１１０に出力する。

第５合成部１２２ａは、ノイズ検出信号Ｓ４がネゲートされるときに、ビームフォーミング回路１１０の出力Ｄ５ａをそのまま出力し、ノイズ検出信号Ｓ４がアサートされるときに、ビームフォーミング回路１１０の出力Ｄ５ａに、Ｄ１ａＬを合成する。
同様に第６合成部１２２ｂは、ノイズ検出信号Ｓ４がネゲートされるときに、ビームフォーミング回路１１０の出力Ｄ５ｂをそのまま出力し、ノイズ検出信号Ｓ４がアサートされるときに、ビームフォーミング回路１１０の出力Ｄ５ｂに、Ｄ１ｂＬを合成する。

このオーディオ信号処理回路１０ａによれば、第１の実施の形態と同様の効果を得ることができる。

最後に、オーディオ信号処理回路１０の用途を説明する。
図７は、オーディオ信号処理回路１０を搭載する電子機器の斜視図である。図７は電子機器の一例である、デジタルビデオカメラ（カムコーダ）である。

デジタルビデオカメラ８００は、筐体８０２、レンズ８０４、図示しない撮像素子、画像処理プロセッサ、記録メディアを備える。それに加えてデジタルビデオカメラ８００は、第１マイク１２ａ、第２マイク１２ｂおよびオーディオ信号処理回路１０を備える。第１マイク１２ａ、第２マイク１２ｂは、指向軸１４の方向に沿って配置される。

そのほか、電子機器は、デジタルカメラ、ボイスレコーダ、携帯電話端末、スマートホン、ＰＨＳ（Personal Handy-phone System）、ＰＤＡ（Personal Digital Assistant）、ノート型コンピュータ、タブレット端末、オーディオプレイヤ、カーナビゲーションシステム、ヘッドセットなどであってもよい。

実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。

１…録音システム、２…音源、４…音、１０…オーディオ信号処理回路、１２ａ…第１マイク、１２ｂ…第２マイク、１４…指向軸、１０２ａ…第１アンプ、１０２ｂ…第２アンプ、１０４ａ…第１Ａ／Ｄコンバータ、１０４ｂ…第２Ａ／Ｄコンバータ、１０６…ノイズ検出回路、１０８…ノイズ除去回路、１１０…ビームフォーミング回路、１１２…フィルタ、１１４…ノイズ補正部、１１６ａ…第１セレクタ、１１６ｂ…第２セレクタ、１１８ａ…第１合成部、１１８ｂ…第２合成部、１２０ａ…第３合成部、１２０ｂ…第４合成部、１２２ａ…第５合成部、１２２ｂ…第６合成部、Ｄ１ａ…第１入力オーディオ信号、Ｄ１ｂ…第２入力オーディオ信号、Ｄ２ａ…第１中間オーディオ信号、Ｄ２ｂ…第２中間オーディオ信号、Ｄ３…第３中間オーディオ信号、Ｓ４…ノイズ検出信号、８００…デジタルビデオカメラ。

Claims (18)

1. 第１マイク、第２マイクそれぞれにより集音された第１入力オーディオ信号、第２入力オーディオ信号を処理するオーディオ信号処理回路であって、
   前記第１入力オーディオ信号および前記第２入力オーディオ信号に、許容量を超えるノイズが含まれるか否かを判定し、含まれるときにアサートされるノイズ検出信号を生成するノイズ検出回路と、
   （i）前記ノイズ検出信号がネゲートされるとき、前記第１入力オーディオ信号の成分のみを含む第１中間オーディオ信号と、前記第２入力オーディオ信号の成分のみを含む第２中間オーディオ信号と、を出力し、（ii）前記ノイズ検出信号がアサートされるとき、前記第１入力オーディオ信号と前記第２入力オーディオ信号に所定のノイズ補正処理を施して得られる第３中間オーディオ信号を生成し、前記第３中間オーディオ信号を含む前記第１中間オーディオ信号と、前記第３中間オーディオ信号を含む前記第２中間オーディオ信号と、を出力するノイズ除去回路と、
   前記ノイズ除去回路から出力される前記第１中間オーディオ信号および前記第２中間オーディオ信号を受け、それらの差分信号を利用してビームフォーミング処理を行うビームフォーミング回路と、
   を備えることを特徴とするオーディオ信号処理回路。
2. 前記ノイズ除去回路は、前記第１入力オーディオ信号と前記第２入力オーディオ信号それぞれの所定の帯域を対象としてノイズ補正処理を行うことを特徴とする請求項１に記載のオーディオ信号処理回路。
3. 前記ノイズ除去回路は、前記第１入力オーディオ信号および前記第２入力オーディオ信号それぞれを、複数の帯域に分割するフィルタを含むことを特徴とする請求項１または２に記載のオーディオ信号処理回路。
4. 前記ノイズ除去回路は、
   （i）前記ノイズ検出信号がネゲートされるとき、複数の帯域に分割された前記第１入力オーディオ信号を合成し、合成された信号に応じた前記第１中間オーディオ信号を出力するとともに、複数の帯域に分割された前記第２入力オーディオ信号を合成し、合成された信号に応じた前記第２中間オーディオ信号を生成し、
   （ii）前記ノイズ検出信号がアサートされるとき、前記第１入力オーディオ信号の複数の帯域のうちの所定のひとつである補正対象帯域と前記第２入力オーディオ信号の前記補正対象帯域に前記ノイズ補正処理を施すことにより前記第３中間オーディオ信号を生成し、前記第３中間オーディオ信号を、前記第１入力オーディオ信号のその他の帯域と合成して前記第１中間オーディオ信号を生成し、前記第３中間オーディオ信号を、前記第２入力オーディオ信号のその他の帯域と合成して前記第２中間オーディオ信号を生成することを特徴とする請求項３に記載のオーディオ信号処理回路。
5. 前記ノイズ除去回路による補正対象の帯域は、０〜５００Ｈｚの帯域を含むことを特徴とする請求項２から４のいずれかに記載のオーディオ信号処理回路。
6. 前記ノイズ除去回路は、前記第１入力オーディオ信号、前記第２入力オーディオ信号の全体域を補正対象とすることを特徴とする請求項１に記載のオーディオ信号処理回路。
7. 前記ノイズ補正処理は、補正対象の２つの信号の平均値を演算する処理を含むことを特徴とする請求項１から６のいずれかに記載のオーディオ信号処理回路。
8. 前記平均値は、前記２つの信号の単純平均であることを特徴とする請求項７に記載のオーディオ信号処理回路。
9. 前記平均値は、前記２つの信号の重み付け平均であることを特徴とする請求項７に記載のオーディオ信号処理回路。
10. 前記２つの信号のうち大きい一方の重み付け係数は、前記２つの信号のうち小さい他方の重み付け係数よりも小さいことを特徴とする請求項９に記載のオーディオ信号処理回路。
11. 前記ノイズ補正処理は、前記補正対象の２つの信号に所定の係数を乗算する処理、および前記平均値に所定の係数を乗算する処理の少なくとも一方をさらに含むことを特徴とする請求項７に記載のオーディオ信号処理回路。
12. 前記係数は、検出されたノイズのレベルに応じて可変であることを特徴とする請求項１１に記載のオーディオ信号処理回路。
13. 第１、第２マイクにより集音された第１入力オーディオ信号、第２入力オーディオ信号を処理するオーディオ信号処理回路であって、
    前記第１入力オーディオ信号および前記第２入力オーディオ信号それぞれを、複数の帯域に分割するフィルタと、
    前記第１入力オーディオ信号および前記第２入力オーディオ信号に、許容量を超えるノイズが含まれるか否かを判定し、含まれるときにアサートされるノイズ検出信号を生成するノイズ検出回路と、
    （i）前記ノイズ検出信号がネゲートされるとき、前記第１入力オーディオ信号、前記第２入力オーディオ信号それぞれのすべての帯域を対象としたビームフォーミング処理を行い、（ii）前記ノイズ検出信号がアサートされるとき、前記第１入力オーディオ信号、前記第２入力オーディオ信号それぞれの補正対象帯域を、ビームフォーミング処理の対象から除外し、残りの帯域についてビームフォーミング処理を行った後に、前記第１入力オーディオ信号、前記第２入力オーディオ信号それぞれの前記補正対象帯域の信号に、前記ビームフォーミング処理を行った信号を合成する、ビームフォーミング回路と、
    を備えることを特徴とするオーディオ信号処理。
14. 第１チャンネルのマイクの出力信号を増幅する第１アンプと、
    第２チャンネルのマイクの出力信号を増幅する第２アンプと、
    前記第１アンプの出力信号をデジタルの前記第１入力オーディオ信号に変換する第１Ａ／Ｄコンバータと、
    前記第２アンプの出力信号をデジタルの前記第２入力オーディオ信号に変換する第２Ａ／Ｄコンバータと、
    をさらに備えることを特徴とする請求項１から１３のいずれかに記載のオーディオ信号処理回路。
15. ひとつの半導体基板に一体集積化されることを特徴とする請求項１から１４のいずれかに記載のオーディオ信号処理回路。
16. 第１チャンネルのマイクと、
    第２チャンネルのマイクと、
    請求項１４に記載のオーディオ信号処理回路を備えることを特徴とする電子機器。
17. 第１、第２マイクにより集音された第１入力オーディオ信号、第２入力オーディオ信号を処理する方法であって、
    前記第１入力オーディオ信号および前記第２入力オーディオ信号に、許容量を超えるノイズが含まれるか否かを判定するステップと、
    （i）前記ノイズが含まれないと判定されたとき、前記第１入力オーディオ信号の成分のみを含む第１中間オーディオ信号および前記第２入力オーディオ信号の成分のみを含む第２中間オーディオ信号を出力し、（ii）前記ノイズが含まれると判定されたとき、前記第１入力オーディオ信号と前記第２入力オーディオ信号に所定のノイズ補正処理を施して得られる第３中間オーディオ信号を生成し、前記第３中間オーディオ信号を、前記第１中間オーディオ信号および前記第２中間オーディオ信号とするステップと、
    前記第１中間オーディオ信号および前記第２中間オーディオ信号を受け、それらの差分信号を利用してビームフォーミング処理を行うステップと、
    を備えることを特徴とする方法。
18. 第１、第２マイクにより集音された第１入力オーディオ信号、第２入力オーディオ信号を処理する方法であって、
    前記第１入力オーディオ信号および前記第２入力オーディオ信号それぞれを、複数の帯域に分割するステップと、
    前記第１入力オーディオ信号および前記第２入力オーディオ信号に、許容量を超えるノイズが含まれるか否かを判定するステップと、
    （i）前記ノイズが含まれないと判定された場合に、前記第１入力オーディオ信号、前記第２入力オーディオ信号それぞれのすべての帯域を対象としたビームフォーミング処理を行うステップと、
    （ii）前記ノイズが含まれると判定されたとき、前記第１入力オーディオ信号、前記第２入力オーディオ信号それぞれの補正対象帯域をビームフォーミング処理の対象から除外し、残りの帯域についてビームフォーミング処理を行った後に、前記第１入力オーディオ信号、前記第２入力オーディオ信号それぞれの前記補正対象帯域の信号に、前記ビームフォーミング処理を行った信号を合成するステップと、
    を備えることを特徴とする方法。

Images