JP2007013400A

JP2007013400A - 集音装置

Info

Publication number: JP2007013400A
Application number: JP2005189809A
Authority: JP
Inventors: Makoto Tanaka; 田中　　良
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2005-06-29
Filing date: 2005-06-29
Publication date: 2007-01-18
Anticipated expiration: 2025-06-29
Also published as: JP4760160B2

Abstract

【課題】音源方向を検出してこの音源方向に対する集音指向性を任意に実現することができる集音装置を提供する。
【解決手段】音声信号処理部２は、ディジタルフィルタ２１Ａ〜２１Ｍから出力される時間遅延処理信号を用いて、各部分領域に対応する集音ビームＸｃ１〜Ｘｃ４を形成する。音声信号処理部２は、これら集音ビームＸｃ１〜Ｘｃ４から最も信号強度の強い集音ビームを選択して、音源が存在する部分領域を検出する。音声信号処理部３はこの部分領域をさらに分割する局所領域に対して同様に集音ビームＸｃ５〜Ｘｃ８を形成して、さらに詳細な音源方向を検出する。音声信号処理部２は、この結果に基づき、音源方向に対応する集音ビームの合成音声信号を出力する。
【選択図】図１

Description

この発明は、マイクロホンアレイを備えた集音装置、特に、受信した音声信号から音源方向を検出し、音源方向の受信指向性を高める集音装置に関するものである。

従来、複数のマイクを用いて、話者等の音源からの音声を、他のノイズ等と区別して集音する装置やシステムが各種開示されている。

特許文献１には、音声作動スイッチング装置として、複数の指向性マイクロホンから最も強い音声信号を受信しているマイクロホンを判定して、このマイクロホンで受信した音声信号に対して、他のマイクロホンで受信した音声信号よりも強い重み付け処理をして出力する装置が開示されている。

特許文献２には、直交円形マイクアレイシステムおよびこれを用いた音源の３次元方向検出方法として、経度方向に配列されたアレイマイクと、緯度方向に配列されたアレイマイクとで受信した音声信号から音源方向を検出し、これらとは別の超指向性マイクを検出した音源方向に機械的に向けるシステムおよび方法が開示されている。
特開平８−７０４９４号公報特開２００３−３０４５８９公報

しかしながら、特許文献１に記載の装置では、指向性マイクロホンを用いることで特定方向からの音声しか集音できず、任意方向への集音指向性を実現することができなかった。このため、音源が移動した場合の音源方向追尾を行うことができなかった。また、特許文献２に記載の装置では、任意方向への集音指向性を実現するために、超指向性のマイクロホンを目的とする方向へ向けるように機械的に回転させなければならなかった。さらに、特許文献２に記載の装置は、目的とする方向を検出するために、３次元配置されたマイクロホンからなるアレイマイクを使用し、複雑な音声信号処理を行わなければならなかった。

したがって、本発明の目的は、比較的簡素な構造および音声信号処理を用いて、音源方向を検出してこの音源方向に対する集音指向性を任意に実現し、音源が移動した場合に追尾しながら集音することができる集音装置を提供することにある。

この発明の集音装置は、複数のマイクロホンを所定パターンに配列して構成されるマイクロホンアレイと、複数のマイクロホンが集音した音声信号をそれぞれ所定の遅延時間で遅延して合成することにより、特定方向に強い指向性の集音ビームを形成するビーム形成部であって、並列にそれぞれ独立した遅延時間を設定することで同時に複数方向に集音ビームを形成するビーム形成部と、該ビーム形成部が形成した複数の集音ビームのうち、構成する音声信号のレベルが最も高い集音ビームが集音する音声信号、または、該レベルが最も高い集音ビームと該レベルが最も高い集音ビームに隣接する集音ビームとが集音する音声信号を選択して後段に出力する信号選択部と、を備えたことを特徴としている。

この構成では、マイクロホンアレイの正面側の領域における或る位置に話者等の音源が存在して、この音源から音声が発せられると、マイクロホンアレイを構成する各マイクが集音する。この際、音声は各マイクと音源との距離に応じた伝搬時間で伝搬されて、各マイクでは同じ音声の集音タイミングに差が生じる。

図９（Ａ）は音源とマイクロホンとの位置関係と、音源から発生した音が各マイクロホンで集音される際のディレイとの関係を示した図であり、図９（Ｂ），（Ｃ）は集音された音声信号のディレイに基づくディレイ補正量の形成概念を示す図である。なお、この説明では、マイクロホンの所定配列パターンとして、マイクロホンが直線状に配列されたマイクロホンアレイについて説明する。

具体的には、音源１００Ａが、図９（Ａ）に示す位置に存在する場合、音源１００Ａで発生した音は、最も近いマイクロホン１０Ａで最初に集音される。そして、音源１００Ａと各マイクロホン１０Ｂ〜１０Ｉとの距離に応じて順に、各マイクロホン１０Ｂ〜１０Ｉで集音され、最も遠いマイクロホン１０Ｊで最後に集音される。一方、音源１００Ｂが、図９（Ａ）に示す位置に存在する場合、音源１００Ｂで発生した音は、最も近いマイクロホン１０Ｊで最初に集音される。そして、音源１００Ｂと各マイクロホン１０Ｉ〜１０Ｂとの距離に応じて順に、各マイクロホン１０Ｉ〜１０Ｂで集音され、最も遠いマイクロホン１０Ａで最後に集音される。このように、音源で発生した音は音源とマイクロホンとの距離に応じた遅延時間（ディレイ）で、マイクロホンに集音される。

この関係を用いることで、ビーム形成部は集音ビームを形成する。例えば、音源１００Ａに対しては、図９（Ｂ）に示すように、各マイクロホン１０Ａ〜１０Ｊで集音される音声信号を遅延処理する。すなわち、図９（Ａ）に示すディレイを補正するように、前記遅延時間に対応するディレイ補正量を設定する。また、音源１００Ｂに対しては、図９（Ｃ）に示すように、各マイクロホン１０Ａ〜１０Ｊで集音される音声信号を遅延処理する。すなわち、図９（Ａ）に示すディレイを補正するように、ディレイ補正量を設定する。

このように遅延処理された音声信号を合成することで、図９（Ｂ）に示すような補正を行えば、音源１００Ａ方向に強い指向性を有する集音ビームが形成され、図９（Ｃ）に示すような補正を行えば、音源１００Ｂ方向に強い指向性を有する集音ビームが形成される。

ビーム形成部は、このように各マイクロホンで集音される音声信号の遅延処理した信号をそれぞれに異なる組み合わせで合成することにより、複数方向の集音ビームを形成する。

信号選択部は、ビーム形成部が形成した複数の集音ビームの信号強度を比較して、信号レベルが最も高い集音ビームが集音する音声信号を選択する。または、信号選択部は、ビーム形成部が形成した複数の集音ビームの信号強度を比較して、信号レベルが最も高い集音ビームと該レベルが最も高い集音ビームに隣接する集音ビームとが集音する音声信号を選択する。ここで、信号レベルが最も高い集音ビームの指向性が向く方向は音源方向に相当する。これにより、音源方向が検出されて、該音源方向への強い集音指向性が実現される。

また、この発明の集音装置は、複数のマイクロホンを所定パターンに配列して構成されるマイクロホンアレイと、複数のマイクロホンが集音した音声信号をそれぞれ所定の遅延時間で遅延して合成することにより、特定方向に強い指向性の集音ビームを形成するビーム形成部であって、並列にそれぞれ独立した遅延時間を設定することで同時に複数方向に集音ビームを形成するビーム形成部と、複数エリアのそれぞれに向けて集音ビームを形成するように前記ビーム形成部を制御し、信号レベルが最も高い集音ビームに対応するエリアを複数の小エリアに再分割し、該小エリアのそれぞれに向けて集音ビームを形成するようにビーム形成部を制御し、これら小エリアに対応する複数の集音ビームのうち、信号レベルが最も高い集音ビームが集音する音声信号、または、該信号レベルが最も高い集音ビームと該信号レベルが最も高い集音ビームに隣接する集音ビームとが集音する音声信号を選択して後段に出力する信号選択部と、を備えたことを特徴としている。

この構成では、ビーム形成部は、信号選択部の制御にしたがい２段階で集音ビームを形成する。まず、ビーム形成部が予め設定されたエリア毎に対して前述のように集音ビームを形成する。信号選択部は、最も信号強度の強い集音ビームを選択して、この集音ビームに対応するエリアを検出する。信号選択部は、この検出したエリアをさらに複数の小エリアの分割し、各小エリアに対する集音ビームが形成されるように、ビーム形成部での遅延処理量を設定する。

ビーム形成部は、新たに設定された遅延時間に応じて複数の集音ビームを形成する。信号選択部は、この新たに形成された集音ビームの信号強度を比較して、最も信号強度の強い集音ビームを形成する音声信号を選択して出力する。これにより、前述よりも詳細な方向での音源方向が検出されて、該音源方向への強い集音指向性が実現される。

また、この発明の集音装置は、ビーム形成部で所定タイミング毎に集音ビームを形成し、信号選択部がこの所定タイミング毎に集音する音声信号の選択を行うことを特徴としている。

この構成では、ビーム形成部は予め設定されたタイミング毎に前述の各集音ビームの形成を行い、信号選択部は、このタイミング毎に信号強度の比較を行い、集音ビームの選択すなわち音声信号の選択を切り替える。これにより、タイミング毎に最適な集音指向性が実現される。

また、この発明の集音装置の信号選択部は、前後するタイミングで異なる集音ビームを用いて、集音する音声信号を選択する場合に、前のタイミングで集音された音声信号による合成音声信号と、後のタイミングで集音された音声信号による合成音声信号とをクロスフェード処理して出力することを特徴としている。

この構成では、音源の移動に伴い選択される集音ビームが切り替えられるが、この際、移動前の集音ビームを形成する合成音声信号に対してフェードアウト処理を行うとともに、移動後の集音ビームを形成する合成音声信号に対してフェードイン処理を行う。これにより、音源の移動に伴って集音指向性の切り替わり、出力される合成音声信号の切り替えが平滑化される。すなわち、出力される音声を聞くユーザにとって、出力音声の切り替わりが滑らかになる。

また、この発明の集音装置の信号選択部は、各音声信号の所定周波数成分のみからなる集音ビームを用いて集音する音声信号を選択することを特徴としている。

この構成では、マイクロホンアレイの幅（配列方向の長さ）、および、マイクロホンの設置間隔に応じて、ビーム化される周波数帯域が異なることを利用し、所定の周波数成分のみバンドパスフィルタで通過することで、マイクロホンアレイの構造に基づいて設定される各集音ビームが所望の指向性に設定される。

この発明によれば、マイクロホンアレイを用いて集音される音声信号に対して時間遅延処理および組み合わせ処理をするという、簡単な構造および簡単な信号処理だけで、音源方向を検出でき、さらに、この音源方向に対して強い集音指向性を与えることができる。これにより、音源からの音声を除くノイズを抑圧し、音源からの音声を鮮明に集音し出力することができる。

また、この発明によれば、音源が移動しても、簡素な構造および簡素な処理で音源方向を追尾することができる。これにより、移動する音源に対しても、音声を鮮明に集音し続けて出力することができる。

本発明の実施形態に係る集音装置について図１〜図８を参照して説明する。
以下の説明では、音源検知領域全体を４つの部分領域、および各部分領域をさらに分割する４つの局所領域で音源１００の検知を行うための構成について説明するが、領域の分割数は装置仕様や所望とする音源検知方向の分解能に基づいて、適宜設定すればよい。また、マイクロホンアレイ１は、マイクロホン１０Ａ〜１０Ｍを直線状に配列したものを用いて説明する。

図１は本実施形態の集音装置の主要部の構成を示すブロック図である。
また、図２、図３は本実施形態の音声信号処理部２の構成を示すブロック図であり、図２が集音ビームの形成、選択を行う部分を示し、図３は目的とする局所領域に対する集音ビームの選択、出力を行う部分を示す。なお、図２では、ディジタルフィルタ２１Ａ〜２１Ｍの内のディジタルフィルタ２１Ａについてのみ詳細なブロック図を図示し、詳細な説明を行うが、他のディジタルフィルタ２１Ｂ〜２１Ｍについても同様の構造である。

図４は音声信号処理部２の他の構成（図３に対応する部分）を示す部分ブロック図である。

図５、図６は音源方向検知方法の概念図である。図５は、図２に示すディジタルフィルタ２１Ａ〜２１Ｍからレベル判定部２７までの部分による検出概念を示す。図６は図２に示すディジタルフィルタ２１Ａ〜２１Ｍから、図３に示すＢＰＦ２８、レベル判定部２９までの部分による検出概念を示す。

図７は音声信号処理部２の処理フローを示すフロー図である。

本実施形態の集音装置は、所定方向に直線状に配列された複数のマイクロホン１０Ａ〜１０Ｍを有するマイクロホンアレイ１を備える。各マイクロホン１０Ａ〜１０Ｍは、特に特定方向に指向性を有する指向性マイクではなく、全てが同じ無指向性マイクにより構成されている。そして、各マイクロホン１０Ａ〜１０Ｍは、集音領域方向を正面として配置されている。また、マイクロホンアレイ１のマイクロホン配列個数および配置間隔は、集音領域の広さや、後述する音源方向の検出精度（方位分解能）、集音する音声の周波数帯域等により、適宜設定されている。

マイクロホンアレイ１の各マイクロホン１０Ａ〜１０Ｍは、それぞれ、図示しないＡ／Ｄ変換器を介して、音声信号処理部２のディジタルフィルタ２１Ａ〜２１Ｍに接続されている。

音源から音声が発生すると、マイクロホン１０Ａ〜１０Ｍはこれを集音して電気的な音声信号に変換して出力する。マイクロホン１０Ａ〜１０Ｍから出力された音声信号は、Ａ／Ｄ変換器にて所定のサンプリング周期でサンプリングされる。このサンプリングにより得られるディジタル音声信号ｘ１（ｎ），ｘ２（ｎ）〜ｘｍ（ｎ）が、ディジタルフィルタ２１Ａ，２１Ｂ〜２１Ｍにそれぞれ入力される（Ｓ１）。

ディジタルフィルタ２１Ａは、予め設定されたサンプリング周期に応じた所定段のディレイバッファメモリ２２Ａを備える。ディレイバッファメモリ２２Ａの各段の遅延量に相当するサンプリング周期は、マイクロホンアレイ１におけるマイクロホン１０Ａ〜１０Ｍの配置、および、音源検知を行う領域からマイクロホンアレイ１までの距離から設定される。ディレイバッファメモリ２２Ａには８段の出力が備えられており、これらの出力がＦＩＲフィルタ２３１Ａ〜２３８Ａにそれぞれ入力される。

ディレイバッファメモリ２２Ａは、サンプリング周期に準じて、入力音声信号ｘ１（ｎ）に対してそれぞれに異なる遅延処理を施した音声信号を各段に記憶し、まずＦＩＲフィルタ２３１Ａ〜２３４Ａに対して記憶された各遅延処理信号を出力する（Ｓ２）。さらに、ディレイバッファメモリ２２Ａは、レベル判定部２７の検知結果に基づいてＦＩＲフィルタ２３５Ａ〜２３８Ａに対して記憶された各遅延処理信号を出力する。このようなディレイバッファメモリ２２Ａは、例えばシフトレジスタ等で構成することができる。

ここで、ディレイバッファメモリ２２Ａにおける、ＦＩＲフィルタ２３１Ａ〜２３４Ａに入力される出力は、予め設定されている。具体的には、ＦＩＲフィルタ２３１Ａに出力される信号は部分領域１０１に対応する集音ビームＸｃ１を構成するための遅延処理信号であり、ＦＩＲフィルタ２３２Ａに出力される信号は部分領域１０２に対応する集音ビームＸｃ２を構成するための遅延処理信号である。また、ＦＩＲフィルタ２３３Ａに出力される信号は部分領域１０３に対応する集音ビームＸｃ３を構成するための遅延処理信号であり、ＦＩＲフィルタ２３４Ａに出力される信号は部分領域１０４に対応する集音ビームＸｃ４を構成するための遅延処理信号である。

また、ＦＩＲフィルタ２３５Ａに出力される信号は、後述するレベル判定部２７で検出された部分領域１０４（図５，図６の場合）を再分割する局所領域１４１に対応する集音ビームＸｃ５を構成するための遅延処理信号であり、ＦＩＲフィルタ２３６Ａに出力される信号は局所領域１４２に対応する集音ビームＸｃ６を構成するための遅延処理信号である。また、ＦＩＲフィルタ２３７Ａに出力される信号は局所領域１４３に対応する集音ビームＸｃ７を構成するための遅延処理信号であり、ＦＩＲフィルタ２３８Ａに出力される信号は局所領域１４４に対応する集音ビームＸｃ８を構成するための遅延処理信号である。ここで、局所領域１４１〜１４４は部分領域１０１〜１０４のうちで音源１００方向が含まれる部分領域を再分割した局所領域であり、レベル判定部２７の検知結果に応じて変わる。そして、これらの局所領域に応じて各集音ビームＸｃ５〜Ｘｃ８を構成するための遅延処理信号が、検知結果に基づいて更新されながら設定される。

そして、これらの遅延処理信号は、図９に示すような集音ビームと遅延処理との関係により設定される。

ＦＩＲフィルタ２３１Ａ〜２３８Ａは全て同じ構成からなり、それぞれに入力された遅延処理信号をＦＩＲ処理して、遅延処理信号Ｘ１Ｓ１〜Ｘ１Ｓ８を出力する。このように、ＦＩＲフィルタ２３１Ａ〜２３８ＡでＦＩＲ処理を行うことにより、ディレイバッファメモリ２２Ａでは実現できない、サンプリング周期間の詳細な遅延を実現することができる。すなわち、ＦＩＲフィルタのフィルタ内サンプリング周期とタップ数とを所望値に設定することにより、ディレイバッファメモリ２２Ａでのサンプリング周期を遅延時間の整数部分とする場合に、この遅延時間の小数点部分を実現することができる。これにより、ディジタルフィルタ２１Ａは、入力音声信号ｘ１（ｎ）に対して、サンプリング周期に単に準じた遅延処理よりも、さらに詳細な遅延処理を行い、遅延処理信号Ｘ１Ｓ１〜Ｘ１Ｓ８を生成することができる。

各ＦＩＲフィルタ２３１Ａ〜２３８Ａから出力された遅延処理信号Ｘ１Ｓ１〜Ｘ１Ｓ８は、それぞれアンプ２４１Ａ〜２４８Ａで増幅されて、それぞれ加算器２５Ａ〜２５Ｈに入力される。

他のディジタルフィルタ２１Ｂ〜２１Ｍも、ディジタルフィルタ２１Ａと同じ構造であり、それぞれに予め設定された遅延処理信号の選択条件にしたがって、入力された音声信号Ｘ２（ｎ）〜Ｘｍ（ｎ）から集音ビームＸｃ１〜Ｘｃ８を形成するための遅延処理信号Ｘ２Ｓ１〜Ｘ２Ｓ８，・・・，ＸＭＳ１〜ＸＭＳ８を各加算器２５Ａ〜２５Ｈに出力する。

加算器２５Ａは、各ディジタルフィルタ２１Ａ〜２１Ｍから入力される遅延処理信号Ｘ１Ｓ１，Ｘ２Ｓ１，・・・，ＸＭＳ１を合成して集音ビームＸｃ１を生成し、加算器２５ＢはＸ１Ｓ２，Ｘ２Ｓ２，・・・，ＸＭＳ２を合成して集音ビームＸｃ２を生成する。加算器２５Ｃは、各ディジタルフィルタ２１Ａ〜２１Ｍから入力される遅延処理信号Ｘ１Ｓ３，Ｘ２Ｓ３，・・・，ＸＭＳ３を合成して集音ビームＸｃ３を生成し、加算器２５ＤはＸ１Ｓ４，Ｘ２Ｓ４，・・・，ＸＭＳ４を合成して集音ビームＸｃ４を生成する（Ｓ３）。

バンドパスフィルタＢＰＦ２６は、入力された集音ビームＸｃ１〜Ｘｃ４のフィルタリングを行って、レベル判定部２７に出力する。ここで、ＢＰＦ２６は、マイクロホンアレイ１の幅（配列方向の長さ）、および、マイクロホン１０Ａ〜１０Ｍの設置間隔に応じてビーム化される周波数帯域が異なることを利用し、各集音ビームＸｃ１〜Ｘｃ４で集音したい音声に対応する周波数帯域を通過帯域に設定している。

レベル判定部２７は、集音ビームＸｃ１〜Ｘｃ４の信号強度を比較し、最も信号強度が強い集音ビームを選択する（Ｓ４）。ところで、集音ビームの信号強度が最も強いということは、この集音ビームにより集音される領域に音源が存在することを意味する。これにより、音源探知領域全体を４つの部分領域に区分した場合における、音源が存在する部分領域を検出することができる。例えば、図５の例では、部分領域１０４に対応する集音ビームＸｃ４の信号強度が他の集音ビームＸｃ１〜Ｘｃ３の信号強度よりも強いので、レベル検出部２７は集音ビームＸｃ４を選択し、部分領域１０４に音源１００が存在することを検知する。

レベル判定部２７は、検出した部分領域をさらに再分割した局所領域に対応する選択信号を生成し、ディジタルフィルタ２１Ａ〜２１Ｍに出力する。より具体的に、例えば、図５，図６の例であれば、レベル判定部２７は、部分領域１０４をさらに方位方向に４分割する局所領域１４１〜１４４に対する集音ビームＸｃ５〜Ｘｃ８を形成するための各ディジタルフィルタ２１Ａ〜２１Ｍから出力される遅延処理信号を選択する。そして、この選択内容が含まれる選択信号を各ディジタルフィルタ２１Ａ〜２１Ｍに出力する。

各ディジタルフィルタ２１Ａ〜２１Ｍはこの選択信号にしたがい、それぞれのディレイバッファメモリから加算器２５Ｅ〜２５Ｈに出力する遅延処理信号を選択設定する。例えば、ディジタルフィルタ２１Ａは、レベル判定部２７から入力された選択信号にしたがい、ディレイバッファメモリ２２ＡからＦＩＲフィルタ２３５Ａ〜２３８Ａにそれぞれ選択された遅延処理信号を出力する。ＦＩＲフィルタ２３５Ａ〜２３８Ａは、それぞれ入力された遅延処理信号をＦＩＲ処理してアンプ２４５Ａ〜２４８Ａを介して、加算器２５Ｅ〜２５Ｈに出力する（Ｓ５）。

加算器２５Ｅは、各ディジタルフィルタ２１Ａ〜２１Ｍから入力される遅延処理信号Ｘ１Ｓ５，Ｘ２Ｓ５，・・・，ＸＭＳ５を合成して集音ビームＸｃ５を生成し、加算器２５ＦはＸ１Ｓ６，Ｘ２Ｓ６，・・・，ＸＭＳ６を合成して集音ビームＸｃ６を生成する。加算器２５Ｇは、各ディジタルフィルタ２１Ａ〜２１Ｍから入力される遅延処理信号Ｘ１Ｓ７，Ｘ２Ｓ７，・・・，ＸＭＳ７を合成して集音ビームＸｃ７を生成し、加算器２５ＨはＸ１Ｓ８，Ｘ２Ｓ８，・・・，ＸＭＳ８を合成して集音ビームＸｃ８を生成する（Ｓ６）。

加算器２５Ｅ〜２５Ｈのそれぞれから出力された集音ビームＸｃ５〜Ｘｃ８は、２系統に分配され、一方はバンドパスフィルタＢＰＦ２８に入力され、他方はセレクタ３０に入力される。

バンドパスフィルタＢＰＦ２８は、入力された集音ビームＸｃ５〜Ｘｃ８のフィルタリングを行って、レベル判定部２９に出力する。ここで、ＢＰＦ２８は、マイクロホンアレイ１の幅（配列方向の長さ）、および、マイクロホン１０Ａ〜１０Ｍの設置間隔に応じてビーム化される周波数帯域が異なることを利用し、各集音ビームＸｃ５〜Ｘｃ８で集音したい音声に対応する周波数帯域を通過帯域に設定している。

レベル判定部２９は、集音ビームＸｃ５〜Ｘｃ８の信号強度を比較し、最も信号強度が強い集音ビームを選択する（Ｓ７）。ところで、集音ビームの信号強度が最も強いということは、この集音ビームにより集音される領域に音源が存在することを意味する。これにより、部分領域全体を４つの局所領域に区分した場合における、音源が存在する局所領域を検出することができる。例えば、図６の例では、部分領域１０４における局所領域１４１に対応する集音ビームＸｃ５の信号強度が他の集音ビームＸｃ６〜Ｘｃ８の信号強度よりも強いので、レベル検出部２９は集音ビームＸｃ５を選択し、局所領域１４１に音源１００が存在することを検知する。

レベル判定部２９は、検出した局所領域に対応する選択信号を生成し、セレクタ３０に出力する。セレクタ３０は、入力された選択信号にしたがい、検出された局所領域に対応する集音ビームを選択して出力する。例えば、図６の例であれば、局所領域１４１に対応する集音ビームＸｃ５を選択して、この集音ビームＸｃ５により形成される音声信号を出力する（Ｓ８）。

このような構成および処理を用いることにより、音源方向からの音声のみを集音して出力することができる。これにより、話者等の音源からの音声とは異なるノイズを抑圧して、音源からの音声のみを集音することができる。このように出力された合成信号はスピーカ５により音声として外部に放音される。

以上のように、本実施形態の構成および処理を用いることにより、音源方向を検出して、検出した音源方向に対する集音指向性を高めることができ、ノイズを抑圧して音源方向からの音声のみを集音することができる。この際、マイクロホンアレイを用いて、機械的にマイク方向を移動させることがないので、従来よりも簡単な構造で且つ簡素な処理で音源方向の検出と、音源方向に強い指向性を有する集音を行うことができる。

また、音源検知を２段階に分けて徐々に詳細に行うことで、一度に詳細な音源領域検知を行うよりも処理量を低減することができる。例えば、図５、図６に示したような局所領域分割を一度に処理する場合、１６分割の局所領域となり、１６方向の集音ビームを形成しなければならない。しかしながら、本実施形態の構成および処理方法を用いることにより、８方向の集音ビーム形成で、音源領域の検知を行うことができる。

なお、前述の説明では、局所領域に関するレベル判定部２９で選択する集音ビームが１つの場合について説明した。しかしながら、複数の集音ビームを選択して処理してもよい。

図４は、複数の集音ビームを選択する場合の音声信号処理部２の部分構成を示すブロック図である。なお、この音声信号処理部２は、ディジタルフィルタ２１Ａ〜２１Ｍから加算器２５Ｅ〜２５Ｈまでの図２に示した構成は同じであるので図示説明は省略し、異なる部分（図３に対応）のみを図示したものである。

レベル判定部２９は、集音ビームＸｃ５〜Ｘｃ８の信号強度を比較し、最も信号強度が強い集音ビームと、次に信号強度が強い集音ビームとの２つの集音ビームを選択する選択信号Ｓをセレクタ３０に出力する。これと同時に、レベル判定部２９は、これら２つの集音ビームの信号強度を重み付け設定部３１に出力する。

セレクタ３０は、入力された選択信号にしたがい、検出された２つの局所領域にそれぞれ対応する２つの集音ビームＸｃａ，Ｘｃｂを選択する。そして、セレクタ３０は、集音ビームＸｃａを信号合成部３２の可変アンプ３２１に出力し、集音ビームＸｃｂを信号合成部３２の可変アンプ３２２に出力する。

重み付け設定部３１、２つの集音ビームの信号強度から重み付け係数をｗ１，ｗ２を設定する。ここで、重み付け設定部３１は、より信号強度が強い集音ビームが強調されるような重み付けを行う。例えば、２つの集音ビームの信号強度の比が７：３であれば、合成信号の振幅が正規化されるように、各集音ビームに対する重み付け係数をそれぞれ０．７と０．３とに設定する。

信号合成部３２は、可変アンプ３２１，３２２と加算器３２３とを備える。可変アンプ３２１は与えられた重み付け係数ｗ１で集音ビームＸｃａの合成信号を増幅し、可変アンプ３２２は与えられた重み付け係数ｗ２で集音ビームＸｃｂの合成信号を増幅する。加算器３２３は可変増幅器３２１，３２２からの出力信号を合成し、合成信号をスピーカ５に出力する。

これらの処理を、図６を例に説明すると、レベル判定部２９は、信号強度から集音ビームＸｃ５，Ｘｃ６を選択する。すなわち、局所領域１４１，１４２からなる領域に音源１００が存在すると検知する。セレクタ３０は、入力される集音ビームＸｃ５〜Ｘｃ８から集音ビームＸｃ５，Ｘｃ６の２つを選択して、集音ビームＸｃ５の合成信号を可変アンプ３２１に出力し、集音ビームＸｃ６の合成信号を可変アンプ３２２に出力する。重み付け設定部３１は、集音ビームＸｃ５，Ｘｃ６の振幅強度の比から、集音ビームＸｃ５に対する重み付け係数ｗ１と、集音ビームＸｃ６に対する重み付け係数ｗ２を設定して、重み付け係数ｗ１を可変アンプ３２１に与え、重み付け係数ｗ２を可変アンプ３２２に与える。可変アンプ３２１は重み付け係数ｗ１で集音ビームＸｃ５の合成信号を増幅し、可変アンプ３２２は重み付け係数ｗ２で集音ビームＸｃ６の合成信号を増幅する。加算器３２３は重み付け係数ｗ１の集音ビームＸｃ５からなる合成信号と、重み付け係数ｗ２の集音ビームＸｃ６からなる合成信号とをさらに合成してスピーカ５に出力する。

このような構成および処理を用いることにより、音源方向を含む領域とこれに隣接する領域とからなる所定範囲からの音声を集音して出力することができる。これにより、音源が前述のように設定される局所領域の境界付近に存在しても、話者等の音源からの音声を強調し、それ以外のノイズを抑圧することができる。

ところで、前述の説明は音源が移動していない状態を示したが、前述の音源方向の検出処理および合成処理を、予め設定した所定タイミング周期で行うことで、音源の追尾を行うことができる。すなわち、音源が移動すれば、この移動に応じてそれぞれのタイミングで検出される音源方向も変化（移動）する。そして、この検出される音源方向の変化に応じて、集音指向性を変化させることで、実質的に集音しながら音源の追尾を行うことができる。この処理は機械的動作を含まないものであるので、装置の構成を単純化することができる。

この際、音声信号処理部２は、前記タイミング周期の隣り合うタイミングで検出音源方向が異なれば、先に出力した音声信号と、後に出力する音声信号とをクロスフェード処理してもよい。すなわち、先に出力している音声信号の信号強度を出力段で徐々に抑圧していくとともに、後に出力する音声信号の信号強度を出力段で徐々に増幅していく処理を行い、これらを合成して出力する。このような処理を行うことで、音源の移動に伴う音声の移動が、聴覚上滑らかに行われ、出力される音声を聞く者に違和感を与えない。ここで、音源が部分領域間を完全に移動するのではなく、部分領域の境界で音源が停止した場合には、前述のように、完全に出力信号が切り替わる処理を行う必要はない。この場合、クロスフェードを開始してから、徐々に集音ビームの比を変化させていき、最終的に互いの集音ビームの比が０．５：０．５になる合成処理を行ってもよい。

なお、前述の説明では、音源が存在する全体領域を４つの部分領域に分割し、さらに音源が存在する部分領域を４つの局所領域に分割して、音源検知を行ったが、これら分割数は、装置の仕様や、装置の適用環境（音源検知領域の広さ等）に応じて、任意に設定することができる。

また、前述の説明では、２段で音源検知を行ったが、１段で行っても、３段以上の複数段でおこなってもよい。また、前述の各処理は、物理的な回路素子の組み合わせで実現しても、ＤＳＰ等の集積回路を用いてソフトウエア処理で実現してもよい。

また、前述の説明ではマイクロホンを直線状に配列したマイクロホンアレイを例に示したが、マトリクス状であってもよく、さらに、図８に示すようなマイクロホンの配置からなるマイクロホンアレイでもあってよい。

図８（Ａ）は１次元の円状にマイクロホンを配置したマイクホロンアレイの構成を示し、（Ｂ）は複数次元の円状にマイクロホンを配置したマイクロホンアレイの構成を示す。なお、図８では、代表するマイクロホンにのみ記号を付し、他のマイクロホンへの記号は省略する。
図８（Ａ）に示すマイクロホンアレイ１は、各マイクロホン１０が所定間隔で１つ（１次元）の円周上に配置されたものである。図８（Ｂ）に示すマイクロホンアレイ１は、各マイクロホン１０が複数（複数次元）の円周上に配置されたものである。
このようにマイクロホン１０が配列されたマイクロホンアレイ１に対しても、前述の構成および処理を適用することができ、音源方向の検知と、この検知音源方向からの集音を実現することができる。

さらに、ここに示したマイクロホンアレイのマイクロホンの配置は一部の例にすぎず、マイクロホンが所定の配置パターンで配置されたマイクロホンアレイであれば、前述の構成および処理を実現することができ、前述の効果を奏することができる。

本発明の実施形態に係る集音装置の主要部の構成を示すブロック図音声信号処理部２の概略構成を示すブロック図（前半部）音声信号処理部２の概略構成を示すブロック図（後半部）複数の集音ビームを選択する場合の音声信号処理部３の部分構成を示すブロック図音源方向検知方法（部分領域の検出）の概念図音源方向検知方法（局所領域の検出）の概念図音声信号処理部２の処理フローを示すフロー図円状にマイクロホンを配置したマイクホロンアレイの構成図音源とマイクロホンとの位置関係と、音源から発生した音が各マイクロホンで集音される際のディレイとの関係を示した図、および、集音された音声信号のディレイに基づくディレイ補正量の形成概念を示す図

符号の説明

１−マイクロホンアレイ、１０Ａ〜１０Ｍ−マイクロホン、２−音声信号処理部、２１Ａ〜２１Ｍ−ディジタルフィルタ、２２Ａ−ディレイバッファメモリ、２３１Ａ〜２３８Ａ−ＦＩＲフィルタ、２４１Ａ〜２４８Ａ−アンプ、２５Ａ〜２５Ｈ−加算器、２６，２８−ＢＰＦ、２７，２９−レベル判定部、３０−セレクタ、３１−重み付け設定部、３２−信号合成部、３２１，３２２−可変アンプ、３２３−加算器、５−スピーカ、１００−音源、１０１〜１０４−部分領域、１４１〜１４４−局所領域

Claims

複数のマイクロホンを所定パターンに配列して構成されるマイクロホンアレイと、
前記複数のマイクロホンが集音した音声信号をそれぞれ所定の遅延時間で遅延して合成することにより、特定方向に強い指向性の集音ビームを形成するビーム形成部であって、並列にそれぞれ独立した遅延時間を設定することで同時に複数方向に集音ビームを形成するビーム形成部と、
該ビーム形成部が形成した複数の集音ビームのうち、信号レベルが最も高い集音ビームが集音する音声信号、または、該信号レベルが最も高い集音ビームと該信号レベルが最も高い集音ビームに隣接する集音ビームとが集音する音声信号を選択して後段に出力する信号選択部と、
を備えた集音装置。
複数のマイクロホンを所定パターンに配列して構成されるマイクロホンアレイと、
前記複数のマイクロホンが集音した音声信号をそれぞれ所定の遅延時間で遅延して合成することにより、特定方向に強い指向性の集音ビームを形成するビーム形成部であって、並列にそれぞれ独立した遅延時間を設定することで同時に複数方向に集音ビームを形成するビーム形成部と、
複数エリアのそれぞれに向けて集音ビームを形成するように前記ビーム形成部を制御し、信号レベルが最も高い集音ビームに対応するエリアを複数の小エリアに再分割し、該小エリアのそれぞれに向けて集音ビームを形成するように前記ビーム形成部を制御し、これら小エリアに対応する複数の集音ビームのうち、信号レベルが最も高い集音ビームが集音する音声信号、または、該信号レベルが最も高い集音ビームと該信号レベルが最も高い集音ビームに隣接する集音ビームとが集音する音声信号を選択して後段に出力する信号選択部と、
を備えた集音装置。
前記ビーム形成部は、所定タイミング毎に集音ビームを形成し、
前記信号選択部は、前記所定タイミング毎に集音する音声信号の選択を行う請求項１または請求項２に記載の集音装置。
前記信号選択部は、前後するタイミングで異なる集音ビームを用いて、集音する音声信号を選択する場合に、前のタイミングで集音された音声信号による合成音声信号と、後のタイミングで集音された音声信号による合成音声信号とをクロスフェード処理して出力する請求項３に記載の集音装置。
前記信号選択部は、各音声信号の所定周波数成分のみからなる集音ビームを用いて集音する音声信号を選択する請求項１〜４のいずれかに記載の集音装置。