JP2018521520A

JP2018521520A - 聴音装置

Info

Publication number: JP2018521520A
Application number: JP2017551306A
Authority: JP
Inventors: カムカーパルシホマヨウン; プダーヘニング; イーディアンナ
Original assignee: シバントスピーティーイーリミテッド
Priority date: 2015-04-02
Filing date: 2016-04-01
Publication date: 2018-08-02
Anticipated expiration: 2036-04-01
Also published as: EP3278575B1; US10798494B2; CN107431869B; DK3278575T3; US20180027340A1; CN107431869A; EP3278575A1; WO2016156595A1; JP6479211B2

Abstract

聴音装置（１）の作動方法および聴音装置（１）を提供する。この聴音装置（１）は、第１のマイクロホン信号（ｙＬ）および第２のマイクロホン信号（ｙＲ）をそれぞれ生成する第１のマイクロホン（４）および第２のマイクロホン（５）であって、第１の聴音デバイス（２）および第２の聴音デバイス（３）のうちの少なくとも１つに配置されている第１のマイクロホン（４）および第２のマイクロホン（５）のうちの少なくとも１つと、第３のマイクロホン信号（ｚ）を生成する第３のマイクロホン（１１）であって、外部デバイス（１０）に配置されている第３のマイクロホン（１１）と、信号処理部（１４）とを備え、信号処理部（１４）において、第３のマイクロホン信号（ｚ）と、第１のマイクロホン信号（ｙＬ）および第２のマイクロホン信号（ｙＲ）のうちの少なくとも１つとが一緒に処理されることにより、第１のマイクロホン信号（ｙＬ）および／または第２のマイクロホン信号（ｙＲ）と比較して、信号対ノイズ比が向上した出力信号（ｚｅｎｈ）を生成する。

Description

本発明は、聴音装置、および聴音装置の作動方法に関する。聴音装置は、特に、第１のマイクロホンおよび第２のマイクロホンのうちの少なくとも１つを備え、この第１のマイクロホンおよび第２のマイクロホンは、第１の聴音デバイスおよび第２の聴音デバイスのうちの少なくとも１つに配置されている。聴音装置は、外部デバイス、特に携帯電話、スマートフォン、または音響センサネットワークに配置された第３のマイクロホンをさらに備える。より具体的には、聴音装置は、第１の聴音デバイスおよび第２の聴音デバイスを備え、これらが相互に接続されて両耳聴音デバイスを形成している。

無指向性マイクロホンの使用時であっても、１つまたは複数の外部マイクロホンを用いて方向性効果を可能にする聴音装置が、例えば欧州特許出願公開第２１６１９４９Ａ２号明細書に開示されている。

欧州特許出願公開第２１６１９４９Ａ２号明細書

本発明は、ユーザに出力される音声信号の信号対ノイズ比の向上を可能にする聴音装置ならびに、聴音装置の作動方法を明示することを目的とする。

本発明によれば、この目的は、聴音装置であって、第１のマイクロホン信号および第２のマイクロホン信号をそれぞれ生成する第１のマイクロホンおよび第２のマイクロホンであって、第１の聴音デバイスおよび第２の聴音デバイスのうちの少なくとも１つに配置されている第１のマイクロホンおよび第２のマイクロホンのうちの少なくとも１つと、第３のマイクロホン信号を生成する第３のマイクロホンであって、外部デバイス（すなわち外部マイクロホン）に配置されている第３のマイクロホンと、信号処理部とを備え、信号処理部において、第３のマイクロホン信号、ならびに第１のマイクロホン信号および第２のマイクロホン信号のうちの少なくとも１つが、第１のマイクロホン信号および／または、第２のマイクロホン信号と比較して、信号対ノイズ比（ＳＮＲ：ｓｉｇｎａｌｔｏｎｏｉｓｅｒａｔｉｏ）が向上した出力信号に一緒に処理および／または合成される聴音装置により実現される。特に、聴音デバイスは、補聴器として具体化され、以下の説明では、聴音デバイスはさらに、わかり易くするために、補聴器と呼ばれる場合が多い。

所与のノイズのシナリオに対して、外部マイクロホンの戦略的な配置は、空間的情報、および、補聴器の内部マイクロホンにより生成される補聴器信号よりも良好な信号対ノイズ比を提示することができる。近傍のマイクロホンは、補聴器のユーザの身体をノイズ信号の減衰に有効活用することができる。例えば、補聴器のユーザの身体付近の前方に外部マイクロホンを置くと、身体は、補聴器と比較して、より減衰されたノイズ信号を外部マイクロホンが拾い上げるように、後ろ方向から到来するノイズを遮蔽する。これは、身体遮蔽効果と呼ばれる。身体遮蔽効果を活用した外部マイクロホン信号は、次に、補聴器の信号を強調するために、補聴器の信号と合成される。

外部マイクロホン、すなわち聴音デバイスに配置されていないマイクロホンは、現在主に補聴器の付属品として使用されている。しかしながら、信号は、さらなる強調のために補聴器の信号と合成されない。現在の用途は、外部マイクロホン信号を補聴器に単にストリーミングするだけである。よくある用途としては、目標話者、例えば教師がＦＭマイクロホンを身につけ、補聴器のユーザが、ストリーミングされるＦＭマイクロホン信号を聞く教室の場が含まれる。例えば、Ｂｏｏｔｈｒｏｙｄ，Ａ．，“ＨｅａｒｉｎｇＡｉｄＡｃｃｅｓｓｏｒｉｅｓｆｏｒＡｄｕｌｔｓ：ＴｈｅＲｅｍｏｔｅＦＭＭｉｃｒｏｐｈｏｎｅ”，ＥａｒａｎｄＨｅａｒｉｎｇ，２５（１）：２２−３３，２００４；Ｈａｗｋｉｎｓ，Ｄ．，“ＣｏｍｐａｒｉｓｏｎｓｏｆＳｐｅｅｃｈＲｅｃｏｇｎｉｔｉｏｎｉｎＮｏｉｓｅｂｙＭｉｌｄｌｙ−ｔｏ−ＭｏｄｅｒａｔｅｌｙＨｅａｒｉｎｇ−ＩｍｐａｉｒｅｄＣｈｉｌｄｒｅｎＵｓｉｎｇＨｅａｒｉｎｇＡｉｄｓａｎｄＦＭＳｙｓｔｅｍｓ”，ＪｏｕｒｎａｌｏｆＳｐｅｅｃｈａｎｄＨｅａｒｉｎｇＤｉｓｏｒｄｅｒｓ，４９：４０９−４１８，１９８４；Ｐｉｔｔｍａｎ，Ａ．，Ｌｅｗｉｓ，Ｄ．，Ｈｏｏｖｅｒ，Ｂ．，ＳｔｅｌｍａｃｈｏｗｉｃｚＰ．，“ＲｅｃｏｇｎｉｔｉｏｎＰｅｒｆｏｒｍａｎｃｅｆｏｒＦｏｕｒＣｏｍｂｉｎａｔｉｏｎｓｏｆＦＭＳｙｓｔｅｍａｎｄＨｅａｒｉｎｇＡｉｄＭｉｃｒｏｐｈｏｎｅＳｉｇｎａｌｓｉｎＡｄｖｅｒｓｅＬｉｓｔｅｎｉｎｇＣｏｎｄｉｔｉｏｎｓ”，ＥａｒａｎｄＨｅａｒｉｎｇ，２０（４）：２７９，１９９９を参照されたい。

補聴器アルゴリズムにおける信号推定またはパラメータ推定のために、無線音響センサネットワーク（ＷＡＳＮ：ｗｉｒｅｌｅｓｓａｃｏｕｓｔｉｃｓｅｎｓｏｒｎｅｔｗｏｒｋｓ）を使用する研究の関心がますます高まっている。しかしながら、ＷＡＳＮの用途は、目標とする話者の近くに、またはノイズ源の近くにマイクロホンを配置して、目標とする話者またはノイズの推定値を生成することに焦点を当てている。例えば、Ｂｅｒｔｒａｎｄ，Ａ．，Ｍｏｏｎｅｎ，Ｍ．“ＲｏｂｕｓｔＤｉｓｔｒｉｂｕｔｅｄＮｏｉｓｅＲｅｄｕｃｔｉｏｎｉｎＨｅａｒｉｎｇＡｉｄｓｗｉｔｈＥｘｔｅｒｎａｌＡｃｏｕｓｔｉｃＳｅｎｓｏｒＮｏｄｅｓ”，ＥＵＲＡＳＩＰ，２０（４）：２７９，１９９９を参照されたい。

本発明の好適な実施形態によれば、聴音装置は、相互に接続されて両耳聴音デバイスを形成する左耳聴取デバイスおよび右耳聴音デバイスを備える。特に、聴音デバイス間の音声信号を交信または送信するように、右耳聴取デバイスと左耳聴取デバイスとの間に両耳間通信リンクが確立されている。両耳間通信リンクは、無線リンクであることが有利である。聴音装置において使用されるマイクロホンがすべて、無線通信リンクによって接続されていることがより好ましい。

外部デバイスは、モバイルデバイス（例えば携帯型コンピュータ）、スマートフォン、音響センサ、および音響センサネットワークの一部である音響センサ素子のうちの１つであることが好ましい。モバイルフォンまたはスマートフォンは、前方の目標話者からの直接信号を受信するために聴音デバイスのユーザの前に戦略的に配置することができ、またはポケットに身に着ければ、前方の目標話者との会話中にすでに優良な位置にある。無線音響センサネットワークは、自動車やビデオ会議でのハンズフリー通話、音響モニタリング、および環境知能を含む様々な技術的用途で使用されている。

さらに別の好適な実施形態によれば、音響出力信号を生成するために、出力信号が、第１の聴音デバイスおよび第２の聴音デバイスのうちの少なくとも１つの出力カプラに結合されている。この実施形態によれば、聴音デバイスのユーザは、聴音デバイスの出力カプラまたは受信機を介して信号処理部によって出力された、外部マイクロホン信号を用いて強調された音声信号を受信する。

信号処理部は、必ずしも聴音デバイスのうちの１つの中になくてもよい。信号処理部は、外部デバイスの一部であってもまたよい。特に、信号処理は、外部デバイス内、例えばモバイルコンピュータまたはスマートフォン内において実行され、聴音デバイスのユーザによってダウンロード可能な特定のソフトウェアアプリケーションの一部である。

すでに述べたように、聴音デバイスは、例えば補聴器である。さらに別の有利な実施形態によれば、聴音デバイスは、挿耳型（ＩＴＥ：ｉｎ−ｔｈｅ−ｅａｒ）聴音デバイスとして、特に完全外耳道挿入型（ＣＩＣ：ｃｏｍｐｌｅｔｅｌｙ−ｉｎ−ｃａｎａｌ）聴音デバイスとして具体化されている。使用される聴音デバイスはそれぞれ、単一の無指向性マイクロホンを備えることが好ましい。したがって、第１の聴音デバイスは第１のマイクロホンを備え、第２の聴音デバイスは第２のマイクロホンを備える。しかしながら、本発明は、単一の聴音デバイス、特に単一の補聴器が、第１のマイクロホンおよび第２のマイクロホンを備える実施形態もまた範囲に含む。

本発明の別の好適な実施形態では、信号処理部は、適応型ノイズキャンセラ部であって、強調された出力信号を得るために、第３のマイクロホン信号、ならびに第１のマイクロホン信号および第２のマイクロホン信号のうちの少なくとも１つが供給され、さらに合成される適応型ノイズキャンセラ部を備える。第３のマイクロホン信号は、特に、ビーム形成された信号のように用いられて、空間フィルタリングによって信号対ノイズ比を向上させる。その戦略的な配置により、第３のマイクロホン信号それ自体が自然な方向性を示す。

適応型ノイズキャンセラ部内において、第１のマイクロホン信号および第２のマイクロホン信号のうちの少なくとも１つが前処理されてノイズ参照信号を生成し、第３のマイクロホン信号が、ノイズ参照信号と合成されて出力信号を得ることが有利である。第１のマイクロホン信号および／または第２のマイクロホン信号は、特に前述の身体遮蔽効果により、ノイズ推定に用いられる。

適応型ノイズキャンセラ部において、第１のマイクロホン信号および第２のマイクロホン信号が合成されて、ノイズ参照信号を生成することが好ましい。特に、第１のマイクロホン信号および第２のマイクロホン信号の差分信号が形成される。前方の話者、ならびに左耳マイクロホンおよび右耳マイクロホンを備える両耳聴装置の場合、差分信号はノイズ信号の推定と見なすことができる。

本発明のさらに別の好適な実施形態によれば、適応型ノイズキャンセラ部は、目標等化部であって、目標位置成分に関して、第１のマイクロホン信号および第２のマイクロホン信号が、そこで等化される目標等化部をさらに備え、等化された第１のマイクロホン信号、および等化された第２のマイクロホン信号が合成されて、ノイズ参照信号を生成する。目標方向が既知であると仮定して、好適な実施形態によれば、ただ単に遅延を信号のうちの１つに追加することができる。目標方向が０°（すなわち、前方の話者）であると仮定すると、両耳聴音デバイスの左耳マイクロホン信号および右耳マイクロホン信号は、対称性によりほぼ等しい。

適応型ノイズキャンセラ部は、目標音声検出のために、第１のマイクロホン信号および第２のマイクロホン信号が、そこで比較される比較デバイスであって、特に、適応型ノイズキャンセラ部が、目標音声活動が存在しない間にのみ適応されるように、適応型ノイズキャンセラ部を制御するための制御信号を生成する比較デバイスをさらに備えることが好ましい。この実施形態は、目標音声漏出による目標信号のキャンセルを防止するという特定の利点を有する。

別の有利な実施形態によれば、信号処理部が、較正部および／または等化部をさらに備え、第３のマイクロホン信号、ならびに第１のマイクロホン信号および第２のマイクロホン信号のうちの少なくとも１つが、群遅延を補正するために較正部に供給され、および／または、レベルおよび位相を補正するために等化部に供給され、かつ、補正されたマイクロホン信号が、適応型ノイズキャンセラ部に供給される。較正部および／または等化部を実装することにより、内部マイクロホン信号間、および内部マイクロホン信号と外部マイクロホン信号との間の遅延時間の差、位相および／またはレベルが補正される。

本発明は、聴音デバイス信号を強調するために、外部マイクロホンにおける身体遮蔽効果の利点を有効活用する。外部マイクロホンは、特に、後ろ方向のノイズ信号を減衰させるために、身体の近くに配置される。身体遮蔽効果の利点は、１８０°において後ろ方向のノイズの減衰が実現できない、完全外耳道挿入（ＣＩＣ）型補聴器のような単一マイクロホン式補聴器デバイスでは、特に有用である。補聴器システムのマイクロホンだけを使用するとき、前方位置（０°）と後方位置（１８０°）とを区別することは、身体の正中面に沿って存在する対称性により困難である。補聴器による身体遮蔽効果を活用した外部マイクロホンは、後ろ方向のノイズが減衰されるので、このように前後が曖昧になることがない。補聴器マイクロホンの信号をこのように強調して、補聴器の信号を外部マイクロホンの信号と合成することにより、後ろ方向のノイズを低減することができる。

本発明は、特に、外部マイクロホン信号をただ単にストリーミングするのではなく、聴音デバイス信号に付加的な信号強調を提供する。信号の強調は、補聴器の信号を外部マイクロホンの信号と合成することにより提供される。マイクロホンが補聴器のユーザの近くにある場合、外部マイクロホンの配置は、身体遮蔽効果を有効活用する。無線音響センサネットワークとは異なり、マイクロホンの位置は、目標とする話者またはノイズ源の近くにあるようには配置されない。

本発明のさらなる詳細および利点は、概略図に基づいた、いくつかの実施形態の後続の説明から明らかになるが、本発明を限定するものではない。

身体遮蔽効果を活用した外部マイクロホンの実施可能な構成を示す。補聴器およびスマートフォンのマイクロホン、ならびに目標話者および干渉話者を有する構成を示す。信号合成スキームの概要を図示している。適応型ノイズキャンセラ部の詳細図を示す。

図１は、第１の左耳聴音デバイス２、および第２の右耳聴音デバイス３を備える改良された聴音装置１を示す。第１の左耳聴音デバイス２は、第１の左耳マイクロホン４を備え、第２の右耳聴音デバイス３は、第２の右耳マイクロホン５を備える。第１の聴音デバイス２および第２の聴音デバイス３は相互に接続されており、聴音デバイスのユーザ７の両耳聴音デバイス６を形成している。０°においては、前方の目標話者８が位置している。１８０°においては、干渉話者９が位置している。第３の、外部マイクロホン１１を有するスマートフォン１０が、聴音デバイスのユーザ７と前方の目標話者８との間に配置されている。ユーザ７の背後には、身体遮蔽効果に起因する後ろ方向の減衰域１２が存在している。補聴器デバイス６の内部マイクロホン４、５の使用時には、前方位置（０°）と後方位置（１８０°）とを区別することは、身体の正中面に沿って存在する対称性により困難である。身体遮蔽効果を活用した外部マイクロホン１１は、後ろ方向のノイズが減衰されるので、このように前後が曖昧になることがない。これにより、聴音デバイスのマイクロホン４、５の信号は、聴音デバイスのマイクロホン４、５の信号を、外部マイクロホン１１の信号と合成することにより、後ろ方向のノイズを減らすように強調することができる。

図２は、図１に示されているシナリオとはわずかに異なるシナリオを図示している。干渉話者９が、１３５°の方向に位置している。スマートフォン１０の第３の、外部マイクロホン１１は、以下ＥＭＩＣとも呼ばれるが、聴音デバイスのユーザ７と前方の目標話者８との間に配置されている。聴音デバイス２、３は、例えば、各デバイスに１つのマイクロホン４、５を有する完全外耳道挿入（ＣＩＣ）型補聴器（ＨＡ：ｈｅａｒｉｎｇａｉｄ）である。全体的な聴音装置１は、３つのマイクロホン４、５、１１で構成されている。

ｙ_{Ｌ，ｒａｗ（ｔ）}、ｙ_{Ｒ，ｒａｗ（ｔ）}およびｚ_{ｒａｗ（ｔ）}が、離散的な時間サンプルｔで、左右の聴音デバイス２、３、および第３の外部マイクロホン１１においてそれぞれ受信されるマイクロホン信号を表示しているとする。これらの信号のサブバンド表現は、ｋおよびｎで指数が付されており、このときｋは、サブバンド時係数ｎにおけるｋ番目のサブバンド周波数を指している。２つのデバイス２、３の間でマイクロホン信号を合成する前に、ハードウェアを較正して、外部マイクロホン１１のマイクロホン特性を聴音デバイス２、３のマイクロホン４、５に合致させることが必要である。例示的なアプローチでは、外部マイクロホン１１（ＥＭＩＣ）を較正して、参照マイクロホンとしての役割を果たす内部マイクロホン４、５のうちの１つを合致させる。較正されたＥＭＩＣ信号は、ｚ_{ｃａｌｉｂ}によって表示される。この実施形態では、較正は、ＥＭＩＣ信号にさらなる処理を適用する前に最初に完了する。

デバイス間の差を較正するために、デバイスに固有の群遅延特性およびマイクロホン特性を考慮しなければならない。アナログ−デジタル変換および音声バッファに起因する音声遅延は、外部デバイス１０と聴音デバイス２、３との間で異なっている可能性が高く、したがって、時間遅延のこの差を補正するには注意を要する。内部聴音デバイスのマイクロホン４、５によって受信される入力信号と、補聴器のレシーバ（スピーカ）における出力信号との間の処理の群遅延は、スマートフォンのような複雑なデバイスにおけるよりも何桁も小さい。外部デバイス１０の群遅延を最初に測定し、次に、必要であれば補正することが好ましい。外部デバイス１０の群遅延を測定するには、入力マイクロホン信号がシステムの出力として送信されるように処理される伝達関数の群遅延を推定するだけでよい。スマートフォン１０の場合には、入力信号は前方のマイクロホン信号であり、出力はヘッドホンポートを通して得られる。群遅延を補正するために、好適な実施形態によれば、ｙ_{Ｌ，ｒａｗ}およびｙ_{Ｒ，ｒａｗ}は、ＥＭＩＣデバイスの測定された群遅延の分だけ遅延している。遅延信号は、ｙ_Ｌおよびｙ_Ｒによってそれぞれ表示されている。

異なるデバイス待ち時間を補正した後に、マイクロホン特性のレベル差および位相差を補正する等化フィルタ（ＥＱ：ｅｑｕａｌｉｚａｔｉｏｎｆｉｌｔｅｒ）を用いることが推奨される。ＥＱフィルタを適用して、ｙ_ｒｅｆとして表示される参照としての役割を果たすｙ_Ｌまたはｙ_Ｒのいずれかに、ＥＭＩＣの信号を合致させる。ＥＱフィルタ係数ｈ_ｃａｌは、オフラインで計算され、次に、オンライン処理の間に適用される。これらの重みをオフラインで計算するために、参照マイクロホンおよびＥＭＩＣがフリーフィールドの大体同じ位置で保持されるホワイトノイズ信号の記録が最初に行われる。次に、最小２乗法を用いて、費用関数を最小にすることにより、出力ｙ_{ｒｅｆ（ｋ，ｎ）}に対する入力ｚ_ｒａｗの相対伝達関数を推定する。

式中、ｚ_ｒａｗ（ｋ，ｎ）は、現在および過去のｚ_ｒａｗ（ｋ，ｎ）のＬ_ｃａｌ−１の値のベクトルであり、Ｌ_ｃａｌは、ｈ_ｃａｌ（ｋ）の長さである。

較正の後、例示的な研究において、外部マイクロホン１１（ＥＭＩＣ）の戦略的な位置が考察される。信号の強調に関して、内部マイクロホン４、５の信号と比較して、ＥＭＩＣがより良好なＳＮＲを有する位置を探究した。図２に示されるシナリオに焦点が当てられた。この場合、外部マイクロホン１１は、スマートフォン使用の典型的な距離である２０ｃｍの距離で聴音デバイスのユーザ７の身体の前方に、センタリングされている。目標話者８は、０°に位置し、一方、ノイズ干渉源９の位置は、聴音デバイスのユーザ７の周りの半径１ｍの円に沿って変動する。音声干渉源９の位置は、４５°の増分で変動し、各位置には、騒音レベルが異なる音声干渉源９が一人だけいる。次に、ただ一人の音声干渉源９が目標話者８とともに活動しているときに、ＥＭＩＣおよびＣＩＣ補聴器２、３のＳＮＲが比較される。結果として、ノイズ干渉源９が１３５〜２２５°の範囲の角度から到来しているときに、ＥＭＩＣの生信号は、補聴器の生信号よりも高いＳＮＲを有することが示された。それに加えて、ＥＭＩＣのＳＮＲは、２マイクロホン式耳かけ型（ＢＴＥ：ｂｅｈｉｎｄ−ｔｈｅ−ｅａｒ）聴音デバイスで実現される、適応型一次微分ビーム形成器（ＦＯＤＢＦ：ｆｉｒｓｔｏｒｄｅｒｄｉｆｆｅｒｅｎｔｉａｌｂｅａｍｆｏｒｍｅｒ）を用いて処理される信号と同様の性能を有することが示された。なお、ＦＯＤＢＦは、各デバイスに少なくとも２つのマイクロホンが必要になるので、ＣＩＣのような単一マイクロホン式補聴器デバイスでは実現できないことに留意されたい。したがって、外部マイクロホン１１を追加することにより、単一マイクロホン式補聴器デバイス２、３の後ろ方向から到来するノイズの減衰が可能になる場合がある。

以下の例示的な実施形態は、２つの聴音デバイス２、３の間の両耳間リンクを仮定して、図１または図２に示されたシナリオに従って３つのマイクロホンを用いて強調された両耳信号を生成するために、一般化サイドローブキャンセラ（ＧＳＣ：ＧｅｎｅｒａｌｉｚｅｄＳｉｄｅｌｏｂｅＣａｎｃｅｌｌｅｒ）構造を用いた合成スキームを提示する。同期サンプリングをともなう、外部マイクロホン１１（ＥＭＩＣ）と聴音デバイス２、３との間の理想的なデータ伝送リンクもまた仮定されている。

３つのマイクロホン信号を合成するために、ＧＳＣ構造の変形例が考察される。ＧＳＣビーム形成器は、固定ビーム形成器、ブロッキング行列（ＢＭ：ｂｌｏｃｋｉｎｇｍａｔｒｉｘ）および適応型ノイズキャンセラ（ＡＮＣ：ａｄａｐｔｉｖｅｎｏｉｓｅｃａｎｃｅｌｌｅｒ）で構成されている。全体的な合成スキームが図３に示されており、そこでは、最初に外部マイクロホンの信号に関してハードウェア較正が実施され、続いて、ノイズ低減のためのＧＳＣ合成スキームが実施されることによって、ｚ_ｅｎｈとして表される強調されたモノラル信号が得られる。したがって、信号処理部１４は、較正部１５および等化部１６を備える。次に、較正部１５および等化部１６の出力信号は、ＧＳＣ型処理部１７に供給される。ＧＳＣ型処理部１７はさらに、ＡＮＣを備える適応型ノイズキャンセラ部と呼ばれる。

ＧＳＣの固定ビーム形成器と同様に、ＥＭＩＣ信号の身体遮蔽のメリットにより、ビーム形成された信号の代わりにＥＭＩＣ信号が用いられる。ＢＭは、聴音デバイスのペアの信号を合成してノイズ参照信号を生成する。ＡＮＣは正規化した最小２乗平均（ＮＬＭＳ：ｎｏｒｍａｌｉｚｅｄｌｅａｓｔｍｅａｎｓｑｕａｒｅｓ）フィルタを用いて実現される。ＧＳＣ構造または適応型ノイズキャンセラ部１７の構造はそれぞれ、図４に示されており、サブバンド領域において実施される。ブロッキング行列ＢＭは、参照数字１８で表示されている。ＡＮＣは、参照数字１９で表示されている。

ＢＭに用いられるスキームは、図４において明らかになっている。そこでは、ｙ_Ｌ，ＥＱおよびｙ_Ｒ，ＥＱは、（目標等化部２０における）目標等化後の左耳聴音デバイス信号および右耳聴音デバイス信号を指し、ｎ_ＢＭは、ノイズ参照信号を指す。目標方向が既知であると仮定して、目標等化部２０は、ＨＡのペアにおいて目標音声成分を等化する。実際には、システムが必ず因果的であるように、因果的な遅延が参照信号に追加される。例えば、ｙ_Ｌが目標ＥＱに対する参照信号として選ばれた場合には、
Ｙ_Ｌ，ＥＱ（ｋ，ｎ）＝ｙ_Ｌ（ｋ，ｎ−Ｄ_{ｔａｒＥＱ}）
であり、式中、Ｄ_{ｔａｒＥＱ}は、追加された因果的遅延である。次に、目標信号がｙ_Ｌ，ＥＱに合致するように、ｙ_Ｒがフィルタリングされる。すなわち、

であり、式中、ｙ_Ｒは、ｙ_Ｒの現在および過去のＬ_{ｔａｒＥＱ}−１の値のベクトルであり、Ｌ_{ｔａｒＲＥＱ}は、ｈ_{ｔａｒＥＱ}の長さである。次いで、ノイズ参照ｎ_ＢＭ（ｋ，ｎ）が、次式により得られる。
ｎ_ＢＭ（ｋ，ｎ）＝Ｙ_Ｌ，ＥＱ（ｋ，ｎ）−Ｙ_Ｒ，ＥＱ（ｋ，ｎ）

実際には、目標位置０度という仮定が、ＨＡ用途において一般に用いられる。これは、聴音デバイスのユーザは、会話中には所望の話者に対面する傾向があり、自然な位置である中央正面から到来する音を聞きたいと仮定している。目標方向が０°であると仮定すると、左耳聴音デバイスおよび右耳聴音デバイスの目標話者信号は、対称性によりほぼ等しい。この場合には、目標等化は省略してもよく、以下の仮定がなされる。
ｙ_Ｌ，ＥＱ（ｋ，ｎ）≒ｙ_Ｌ（ｋ，ｎ）かつｙ_Ｒ，ＥＱ（ｋ，ｎ）≒ｙ_Ｒ（ｋ，ｎ）

ＡＮＣは、サブバンドＮＬＭＳアルゴリズムを用いて実施される。ＡＮＣの目的は、ＥＭＩＣ信号ｚ_{ｃａｌｉｂ}におけるノイズを推定し、除去することである。その結果、強調されたＥＭＩＣ信号を生じる。ＡＮＣの入力のうちの１つは、ｎ_ＢＭ、すなわちｎ_ＢＭの現在および過去のＬ_ＡＮＣ−１の値を含む長さＬ_ＡＮＣのベクトルである。因果的な遅延Ｄをｚ_{ｃａｌｉｂ}に導入して、システムが必ず因果的であるようにする。
ｄ（ｋ，ｎ）＝ｚ_{ｃａｌｉｂ}（ｋ，ｎ−Ｄ）
式中、ｄ（ｋ，ｎ）は、ＮＬＭＳへの一次入力である。
ｚ_ｅｎｈ（ｋ，ｎ）＝ｅ（ｋ，ｎ）＝ｄ（ｋ，ｎ）−ｈ_ＡＮＣ（ｋ，ｎ）^Ｈｎ_ＢＭ（ｋ，ｎ）
また、フィルタ係数ベクトルｈ_ＡＮＣ（ｋ，ｎ）は、以下のようになる。

式中、μ（ｋ）は、ＮＬＭＳステップサイズである。正則化係数δ（ｋ）は、較正後のＥＭＩＣマイクロホンノイズの平均パワーをＰｚ（ｋ）、定数スカラーをαとすると、δ（ｋ）＝αＰｚ（ｋ）によって計算される。α＝１．５が、上記計算中にゼロ除算を回避するのに十分であることが分かった。

ｎ_ＢＭにおける目標音声漏出による目標信号のキャンセルを防止するために、ＮＬＭＳフィルタは、目標音声活動が存在しない間にのみ適応されるように制御される。目標音声活動は、比較デバイス２１（図４参照）において、以下の、閾値Ｔ_ｋに対するパワー比を比較することによって決定される。パワー比は、加算平均パワーに対するＨＡ信号の差分平均パワーを考慮する。

目標音声の活動時には、上記式中の比の分子は分母よりも小さい。これは、ＨＡペア間の目標信号成分の等化に起因し、それにより、減算が目標信号のキャンセルにつながる。干渉源によって点源として生成されるノイズ成分は無相関であり、キャンセルされることがない。ノイズ成分の差分対加算のパワーは、大体同じになる。上記の数式における比が所定の閾値Ｔ_ｋよりも小さい場合、目標活動が存在する。

別個の音声およびノイズ録音を使用して、ノイズ低減アルゴリズムを評価するＨａｇｅｒｍａｎ法を用いて、ＧＳＣ処理の音声およびノイズに及ぼす効果を別々に評価する。目標音声とノイズを区別するために、目標音声信号およびノイズ信号は、ｓとｎの添字でそれぞれ表示される。ｓ（ｋ，ｎ）が目標音声信号のベクトルを表示し、ｎ（ｋ，ｎ）が、ノイズ信号のベクトルを表示すると仮定すると、ｓ（ｋ，ｎ）＝［ｙ_Ｌ，ｓ（ｋ，ｎ），ｙ_Ｒ，ｓ（ｋ，ｎ），ｚ_ｓ（ｋ，ｎ）］およびｎ（ｋ，ｎ）＝［ｙ_Ｌ，ｎ（ｋ，ｎ），ｙ_Ｒ，ｎ（ｋ，ｎ），ｚ_ｎ（ｋ，ｎ）］である。次に、ＧＳＣ処理が行われる入力信号ａ_ｉｎ（ｋ，ｎ）＝ｓ（ｋ，ｎ）＋ｎ（ｋ，ｎ）、およびｂ_ｉｎ（ｋ，ｎ）＝ｓ（ｋ，ｎ）−ｎ（ｋ，ｎ）の２つのベクトルを定義する。その結果得られた処理済の出力は、ａ_ｏｕｔ（ｋ，ｎ）およびｂ_ｏｕｔ（ｋ，ｎ）によってそれぞれ表示されている。ＧＳＣ処理の出力は、図３に示されるような強調されたＥＭＩＣ信号である。処理済の目標音声信号は、ｚ_{ｅｎｈ，ｓ}（ｋ，ｎ）＝０．５（ａ_ｏｕｔ（ｋ，ｎ）＋ｂ_ｏｕｔ（ｋ，ｎ））を用いて推定され、また処理済のノイズ信号は、ｚ_{ｅｎｈ，ｎ}（ｋ，ｎ）＝０．５（ａ_ｏｕｔ（ｋ，ｎ）−ｂ_ｏｕｔ（ｋ，ｎ））を用いて推定される。図２における構成に従って、ＧＳＣ法は、様々な後ろ方向のノイズシナリオにおいて試験される。別々に処理された信号、ｚ_{ｅｎｈ，ｓ}（ｋ，ｎ）およびｚ_{ｅｎｈ，ｎ}（ｋ，ｎ）を用いて、ＧＳＣにより強調された信号、およびマイクロホンの生信号のＳＮＲの真値がデシベルで計算され、それらが以下の表１にまとめられている。セグメントＳＮＲは、３０ｍｓのブロックサイズおよび５０％のオーバーラップを用いて、時間領域において計算される。

較正された外部マイクロホン信号のＳＮＲをＨＡペアと比較すれば、ＥＭＩＣが、大幅に向上したＳＮＲを提供していることが明らかである。ＧＳＣ処理がなければ、ＥＭＩＣの戦略的な配置により、良聴耳のＣＩＣマイクロホンの生信号と比較して、平均で少なくとも５ｄＢのＳＮＲの向上が得られた。ＧＳＣ処理の結果、ノイズ干渉源が１３５°または２２５°に位置しているときに、平均で少なくとも２ｄＢのさらなる強調に結びついている。

ＳＮＲに加えて、さらに音声歪みおよびノイズ低減を時間領域において評価して、ＧＳＣ処理により生じた音声変形およびノイズ低減の程度を定量化する。音声歪みＰ_{ｓ＿ｄｉｓｔ}は、ＧＳＣ処理に先立つｄの目標音声信号であるｄ_ｓと、Ｎ個のサンプルのＭ個のフレームにわたる強調された信号ｚ_{ｅｎｈ，ｓ}とを比較することによって推定される。Ｎは、３０ｍｓのサンプルに対応するように選択され、またフレームは、５０％のオーバーラップを有する。用いる数式は以下のとおりである。

ノイズ低減は、次式を用いて推定される。

式中、ｄ_ｎは、ｄにおけるノイズ信号を示す。これらの測定値はデシベルで表され、表１にも示されている。

高いＳＮＲを活用する戦略的な位置に配置された場合には、外部マイクロホンは、有用な聴音デバイスの付属品であることが証明されている。単一マイクロホン式両耳聴音デバイスが、後ろ方向からのノイズを減衰できないことに対処して、本発明は、身体遮蔽効果による後方干渉源の減衰をもたらす。提示されたＧＳＣノイズ低減スキームは、最小の音声歪みでＳＮＲ向上のためのＥＭＩＣ信号のさらなる強調を提供する。

１聴音装置
２第１の左耳聴音デバイス
３第２の右耳聴音デバイス
４第１の左耳マイクロホン
５第２の右耳マイクロホン
６両耳聴音デバイス
７聴音デバイスのユーザ
８前方の話者
９干渉話者
１０外部デバイス
１１第３の外部マイクロホン
１２減衰域
１４信号処理部
１５較正部
１６等化部
１７適応型ノイズキャンセラ部
１８ブロッキング行列
１９適応型ノイズキャンセラ
２０目標等化部
２１比較デバイス

Claims

聴音装置（１）であって、
第１のマイクロホン信号（ｙ_Ｌ）および第２のマイクロホン信号（ｙ_Ｒ）をそれぞれ生成する第１のマイクロホン（４）および第２のマイクロホン（５）であって、第１の聴音デバイス（２）および第２の聴音デバイス（３）のうちの少なくとも１つに配置されている前記第１のマイクロホン（４）および前記第２のマイクロホン（５）のうちの少なくとも１つと、
第３のマイクロホン信号（ｚ）を生成する第３のマイクロホン（１１）であって、外部デバイス（１０）に配置されている前記第３のマイクロホン（１１）と、
信号処理部（１４）と
を備え、
前記信号処理部（１４）において、前記第３のマイクロホン信号（ｚ）と、前記第１のマイクロホン信号（ｙ_Ｌ）および前記第２のマイクロホン信号（ｙ_Ｒ）のうちの少なくとも１つとが一緒に処理されることにより、前記第１のマイクロホン信号（ｙ_Ｌ）および／または前記第２のマイクロホン信号（ｙ_Ｒ）と比較して、信号対ノイズ比が向上した出力信号（ｚ_ｅｎｈ）を生成する聴音装置（１）。
前記外部デバイス（１０）が、モバイルデバイス、スマートフォン、音響センサ、および音響センサネットワークの一部である音響センサ素子のうちの１つである、請求項１に記載の聴音装置（１）。
音響出力信号を生成するために、前記出力信号（ｚ_ｅｎｈ）が、前記第１の聴音デバイス（２）および前記第２の聴音デバイス（３）のうちの少なくとも１つの出力カプラ（１６）に結合されている、請求項１または２に記載の聴音装置（１）。
前記第１の聴音デバイス（２）および前記第２の聴音デバイス（３）がそれぞれ、挿耳型聴音デバイスとして、特に完全外耳道挿入型聴音デバイスとして具体化されている、請求項１〜３のいずれか一項に記載の聴音装置（１）。
前記第１の聴音デバイス（２）が、前記第１のマイクロホン（４）を備え、前記第２の聴音デバイス（３）が、前記第２のマイクロホン（５）を備える、請求項１〜４のいずれか一項に記載の聴音装置（１）。
前記信号処理部（１４）が、適応型ノイズキャンセラ部（１７）であって、前記出力信号（ｚ_ｅｎｈ）を得るために、前記第３のマイクロホン信号（ｚ）と、前記第１のマイクロホン信号（ｙ_Ｌ）および前記第２のマイクロホン信号（ｙ_Ｒ）のうちの少なくとも１つとが供給され、さらに合成される適応型ノイズキャンセラ部（１７）を備える、請求項１〜５のいずれか一項に記載の聴音装置（１）。
前記適応型ノイズキャンセラ部（１７）において、前記第１のマイクロホン信号（ｙ_Ｌ）および前記第２のマイクロホン信号（ｙ_Ｒ）のうちの少なくとも１つが前処理されてノイズ参照信号（ｎ_ＥＭ）を生成し、前記第３のマイクロホン信号（ｚ）が、前記ノイズ参照信号（ｎ_ＥＭ）と合成されて前記出力信号（ｚ_ｅｎｈ）を得る、請求項６に記載の聴音装置（１）。
前記適応型ノイズキャンセラ部（１７）において、前記第１のマイクロホン信号（ｙ_Ｌ）および前記第２のマイクロホン信号（ｙ_Ｒ）が合成されて、前記ノイズ参照信号（ｎ_ＥＭ）を生成する、請求項７に記載の聴音装置（１）。
前記適応型ノイズキャンセラ部（１７）が目標等化部（２０）をさらに備え、前記目標等化部（２０）において、目標位置成分に関して、前記第１のマイクロホン信号（ｙ_Ｌ）および前記第２のマイクロホン信号（ｙ_Ｒ）が等化され、前記等化された第１のマイクロホン信号（ｙ_Ｌ，ＥＱ）、および前記等化された第２のマイクロホン信号（ｙ_Ｒ，ＥＱ）が合成されて、前記ノイズ参照信号（ｎ_ＥＭ）を生成する、請求項８に記載の聴音装置（１）。
前記適応型ノイズキャンセラ部（１７）が比較デバイス（２１）をさらに備え、前記比較デバイス（２１）において、目標音声検出のために、前記第１のマイクロホン信号（ｙ_Ｌ）および前記第２のマイクロホン信号（ｙ_Ｒ）が比較され、特に、前記適応型ノイズキャンセラ部（１７）が、目標音声活動が存在しない間にのみ適応されるように、前記適応型ノイズキャンセラ部（１７）を制御するための制御信号（ｓｐＶＡＤ）を生成する、請求項６〜９のいずれか一項に記載の聴音装置（１）。
前記信号処理部（１４）が、較正部（１５）および／または等化部（１６）をさらに備え、前記第３のマイクロホン信号（ｚ）と、前記第１のマイクロホン信号（ｙ_Ｌ）および前記第２のマイクロホン信号（ｙ_Ｒ）のうちの少なくとも１つとが、群遅延を補正するために前記較正部（１５）に供給され、かつ／または、レベルおよび位相を補正するために前記等化部（１６）に供給され、かつ、前記補正されたマイクロホン信号が、前記適応型ノイズキャンセラ部（１７）に供給される、請求項６〜１０のいずれか一項に記載の聴音装置（１）。