JP2011066805A - 収音装置および収音方法 - Google Patents

Abstract

【課題】２人以上の話者が同時に発話する場合でも、所望の音声を良好な状態で入力可能な、収音装置および収音方法を提供する。
【解決手段】２個以上のマイクロホンＭＣ１〜ＭＣｍを用いて２以上の方向に収音指向性を形成する指向性形成部１０１と、２以上の方向から収音される音声信号の有無を検出する音声信号検出部１０２と、２以上の方向から同時に音声信号が検出される場合に、２以上の方向からの音声信号を同時に選択する同時選択機能を実行する発話選択部１０３と、を備える。これにより、２人以上の話者が同時に発話する場合でも、所望の音声を良好な状態で入力することができる。
【選択図】図５

Description

本発明は、収音装置および収音方法に関する。

テレビ／音声会議、遠隔講義、ＩＰ電話等のシステムでは、マイクロホン等の収音装置を用いて音声信号が入力されて遠隔地に送信される。ところで、収音装置として無指向性マイクロホンを用いる場合、受信したい話者の音声とともに、周辺の雑音、反響、雑談等も受信されてしまい、所望の音声が聴取し難くなるという問題がある。

上記問題に鑑みて、下記特許文献１、２は、２個以上のマイクロホンを用いて２以上の方向に収音指向性を形成し、２以上の収音ビームのうち最大レベルの信号を伴う収音ビームの方向に所望の音源が存在するとして収音方向を限定する技術を開示している。

特許文献１には、最大レベルの信号を伴う収音ビームの方向を検出し、当該方向に指向性の照準を合わせて収音される音声信号を、話者の音声として入力することが記載されている。

特許文献２には、最大レベルの信号を伴う収音ビームおよび当該ビームに隣接する収音ビームにより収音される音声信号を、話者の音声として入力することが記載されている。

特開２００３−３０４５８９号公報 特開２００７−１３４００号公報

上記方法は、いずれも最大レベルの信号を伴う収音ビームの方向に話者が存在することを想定して、収音方向を限定するものである。しかし、会議システム等の利用状況を想定すると、話者が１人に限定されず、２人以上の話者が同時に発話する場合もしばしば生じる。また、このような利用状況は、会議システム等に限定されず、遠隔講義、ＩＰ電話等のシステムでも同様に想定される。

この場合、話者を１人に限定して収音すると、他の話者の音声が入力されず、一方、話者を限定せずに収音すると、複数の話者の音声が混信して所望の音声が聴取し難くなってしまう。

そこで、本発明は、２人以上の話者が同時に発話する場合でも、所望の音声を良好な状態で入力可能な、収音装置および収音方法を提供しようとするものである。

本発明のある実施形態によれば、２個以上のマイクロホンを用いて２以上の方向に収音指向性を形成する指向性形成部と、２以上の方向から収音される音声信号の有無を検出する音声信号検出部と、２以上の方向から同時に音声信号が検出される場合に、２以上の方向からの音声信号を同時に選択する同時選択機能を実行する発話選択部と、を備える収音装置が提供される。

かかる構成によれば、２以上の方向から同時に音声信号が検出される場合でも、２以上の方向からの音声信号を選択的に入力することができる。これにより、２人以上の話者が同時に発話する場合でも、所望の音声を良好な状態で入力することができる。

また、上記発話選択部は、同時選択機能を実行する際に、２以上の方向から同時に検出される音声信号のうち最大レベルで検出される音声信号を基準とする、他の音声信号のレベル比が所定の閾値未満である場合に、所定の閾値未満のレベルで検出される音声信号の方向を選択しなくてもよい。

また、上記発話選択部は、同時選択機能を実行する際に、所定数を超える方向から同時に音声信号が検出される場合に、２個以上のマイクロホンの少なくともいずれか１個を用いて無指向性収音を行ってもよい。

また、上記発話選択部は、２以上の方向からの音声信号を同時に選択する同時選択機能、または１の優先方向からの音声信号を選択する優先選択機能のいずれかを選択して実行してもよい。

また、上記発話選択部は、優先選択機能を実行する際に、ユーザーの指示に応じて、２以上の方向から同時に検出される音声信号のうち最も先行して検出される音声信号の方向を、１の優先方向として選択してもよい。

また、上記発話選択部は、優先選択機能を実行する際に、ユーザーの指示に応じて、２以上の方向から同時に検出される音声信号のうち最大レベルで検出される音声信号の方向を、１の優先方向として選択してもよい。

また、上記発話選択部は、ユーザーの指示に応じて、同時選択機能または優先選択機能のいずれかを選択してもよい。

また、本発明の別の実施形態によれば、２個以上のマイクロホンを用いて２以上の方向に収音指向性を形成するステップと、２以上の方向から収音される音声信号の有無を検出するステップと、２以上の方向から同時に音声信号が検出される場合に、２以上の方向からの音声信号を同時に選択する同時選択機能を実行するステップと、を含む収音方法が提供される。

本発明によれば、２人以上の話者が同時に発話する場合でも、所望の音声を良好な状態で入力可能な、収音装置および収音方法を提供することができる。

本発明の一実施形態に係る収音装置の構成を示すブロック図である。 ビームフォーミングの基本原理を示す図である。 収音装置の詳細を説明する図（１／２）である。 収音装置の詳細を説明する図（２／２）である。 本発明の一実施形態に係る収音方法を示すフロー図である。 優先選択動作時の処理を説明する図（１／３）である。 優先選択動作時の処理を説明する図（２／３）である。 優先選択動作時の処理を説明する図（３／３）である。 同時選択動作時の処理を説明する図（１／３）である。 同時選択動作時の処理を説明する図（２／３）である。 同時選択動作時の処理を説明する図（３／３）である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

［１．収音装置］
以下では、図１〜図４を参照しながら、本発明の一実施形態に係る収音装置について説明する。図１は、本発明の一実施形態に係る収音装置の構成を示すブロック図である。図２は、ビームフォーミングの基本原理を示す図である。図３および図４は、収音装置の詳細を説明する図である。

収音装置は、ｍ個のマイクロホン１００−１〜１００−ｍ（ＭＣ１〜ＭＣｍ）からなるマイクロホンアレイ、指向性形成部１０１、音声信号検出部１０２、発話選択部１０３、操作部１０４、セレクタ１０５、ミキサ１０６を含む。収音装置は、所定の配列で配置された２個以上のマイクロホンＭＣ１〜ＭＣｍから入力される信号に、指向性形成部１０１により所定の信号処理を施し、任意の方向に収音指向性を形成する。

本実施形態では、話者Ｓの方向を検出するために、ビームフォーミングの原理を用いて収音指向性が形成される。ビームフォーミングの原理を用いると、２個以上の無指向性マイクロホンを用いて任意の方向に収音指向性を形成することができる。なお、以下では、収音方向をＪ方向に分割する場合を想定する。

なお、収音指向性は、例えば、Ｊ個の指向性マイクロホン１００−１〜１００−Ｊを準備し、円周をＪ等分した各円弧の中心方向に各マイクロホン１００−１〜１００−Ｊの指向性を向けて設置することで形成されてもよい。

図２には、θ方向から到来する音波（平面波）を距離ｌで離間して配置された２個のマイクロホンＭＣ１、ＭＣ２により受信する場合が示されている。θ方向から到来する音波は、マイクＭＣ１により受信された後、距離ｄだけ伝播してマイクＭＣ２により受信される。ここで、距離ｄは、次式で表される。
ｄ＝ｌｓｉｎθ・・・（１）

よって、マイクＭＣ２の受信信号ｘ２（ｔ）は、マイクＭＣ１の受信信号ｘ_１（ｔ）に比して、音波が距離ｄの伝播に要する時間差（遅延量）τで遅れた信号となる。ここで、受信信号ｘ_２（ｔ）および遅延量τは、次式で表される。
ｘ_２(ｔ)＝ｘ_１（ｔ−τ）・・・（２）
τ＝ｄ／ｃ （ｃ：音速）・・・（３）

よって、受信信号ｘ_１（ｔ）に遅延量τを付加して受信信号ｘ_２（ｔ）に加算すると、同位相の信号同士が加算された加算信号ｂ（ｔ）では、特定方向θから到来する音波（の振幅）が強調される。なお、θの符号が逆であれば、受信信号ｘ_２（ｔ）に遅延量τが付加される。
ｂ（ｔ）＝ｘ_２（ｔ）＋ｘ_１（ｔ−τ）・・・（４）

上記原理による指向性形成は、時間領域と同様に周波数領域でも行うことができる。時間軸上で遅延量τを付加した信号のフーリエ変換は、元の信号のフーリエ変換にｅ^−ｊωτを乗じたものとなる。よって、加算信号ｂ（ｔ）、受信信号ｘ_１（ｔ）、ｘ_２（ｔ）のフーリエ変換をＢ（ω）、Ｘ_１（ω）、Ｘ_２（ω）とすると、時間軸上の加算信号ｂ（ｔ）は、周波数軸上で次式により表される。
Ｂ（ω）＝Ｘ_２（ω）＋ｅ^−ｊωτＸ_１（ω）・・・（５）

ここで、時間軸上では、デジタル処理を行う場合に遅延量τをサンプリング周期間隔でしか選択することができない。一方、周波数軸上では、遅延量τを任意に選択できるので、遅延量τを変化させて指向方向を任意に設定することができる。

図３には、周波数領域で指向性形成を行う指向性形成部１０１の構成が示されている。指向性形成部１０１は、高速フーリエ変換を用いた時間−周波数変換部３０１−１〜３０１−ｍ（ＦＦＴ（高速フーリエ変換）部とも称する。）、遅延制御部３０２、乗算部３０３−１〜３０３−ｍ、加算部３０４を含む。

直線状に距離ｌで離間して配置されたｍ個のマイクロホンＭＣ１〜ＭＣｍにより収音された音声信号ｘ_１（ｔ）〜ｘ_ｍ（ｔ）（図４参照）は、不図示のＡ／Ｄ変換器によりデジタル信号に変換され、指向性形成部１０１に供給される。マイクＭＣ２、ＭＣ３、・・・、ＭＣｍには、音源の方向θに起因して、マイクＭＣ１を基準として到達時間差τ、２τ、・・・、（ｍ−１）τが生じる。

よって、到達時間差τ、２τ、・・・、（ｍ−１）τに相当する遅延量を受信信号ｘ_ｍ−１（ｔ）、ｘ_ｍ−２（ｔ）、・・・、ｘ_１（ｔ）に付加することで、全ての信号が同位相化される。同位相化された信号を加算することで、θ方向から到来する音声のみが強調される。そして、マイクロホンＭＣの増加に比例して加算される信号が増加すると、指向方向の利得が増加する。

指向性形成部１０１は、上記原理を周波数領域で実現する。受信信号ｘ_１（ｔ）、ｘ_２（ｔ）、・・・、ｘ_ｍ（ｔ）は、ＦＦＴ部３０１−１〜３０１−ｍによりスペクトルＸ_１（ω）、Ｘ_２（ω）、・・・、Ｘ_ｍ（ω）に変換され、乗算部３０３−１〜３０３−ｍにより遅延係数が乗じられて遅延が付加される。

遅延係数は、指向性の方向に応じて、遅延制御部３０２により乗算部３０３−１〜３０３−ｍ−１に供給される。遅延係数は、距離差ｄにより生じる時間差τを想定すると、ｅ^{−ｊω（ｍ−１）τ}、ｅ^{−ｊω（ｍ−２）τ}、・・・、ｅ^−ｊωτとなる。なお、θの符号が逆であれば、マイクＭＣｍが音源に最も近接するので、スペクトルＸ_ｍ（ω）に最大の遅延量（ｍ−１）τが付加される。

遅延制御部３０２は、マイクアレイの周囲に均等な指向性を形成するように遅延量を制御する。これにより、各方向からの収音信号スペクトルＢ_１（ω）、Ｂ_２（ω）、・・・、Ｂ_Ｊ（ω）が得られる。

図３に示すＢ_０（ω）は、任意のマイクＭＣの収音信号スペクトルを直接出力したものであり、指向性を有しない無指向性（全方位）信号である。なお、図３では、Ｂ_０（ω）として受信信号ｘ_１（ｔ）のスペクトルＸ_１（ω）が出力されているが、他のマイクＭＣの受信信号が出力されてもよい。

図１に説明を戻すと、音声信号検出部１０２は、各方向からの収音信号から音声信号の有無を検出する。音声検出は、収音信号中に音声信号の有無を検出可能な公知の方法を用いて行われる。音声検出では、例えば、信号レベルを基準とし、所定レベル以上の受信信号が所定時間以上継続した場合に音声入力の開始が判定され、所定レベル未満の受信信号が所定時間以上継続した場合に音声入力の終了が判定される。音声信号検出部１０２は、収音した全ての方向の信号について音声信号の有無を検出し、検出結果および信号レベル（レベル情報）を発話選択部１０３に供給する。

発話選択部１０３は、２以上の方向から同時に音声信号が検出される場合に、２以上の方向からの音声信号を同時に選択する同時選択動作、または１の優先方向からの音声を選択する優先選択動作を行う。ユーザーは、同時選択動作または優先選択動作を動作モードとして指定することができる。動作モードは、操作部１０４のディップスイッチ等を介してユーザーにより指定され、発話選択部１０３に通知される。

［２．収音方法］
以下では、図５〜図７を参照しながら、本発明の一実施形態に係る収音方法について説明する。図５は、本発明の一実施形態に係る収音方法を示すフロー図である。図６Ａ〜６Ｃおよび図７Ａ〜７Ｃは、優先選択動作時および同時選択動作時の発話選択部１０３の処理を各々に説明する図である。

まず、発話選択部１０３は、音声信号が検出された方向の数（音声検出数ｎ）を評価する（ステップＳ３０１）。音声検出数ｎ＝０の場合、特定の方向に指向性を有する信号が検出されていないので、無指向性（全方位）信号が選択されて無指向性収録が行われる（Ｓ３０９）。音声検出数ｎ＝１の場合、音声信号が検出された方向が選択される（Ｓ３０２）。

一方、音声検出数ｎ＞１の場合、発話選択部１０３は、動作モードの指定状況を確認し（Ｓ３０３）、同時選択動作または優先選択動作を選択する。そして、優先選択動作が選択されている場合に、優先方向の選択基準が選択される（Ｓ３０４）。選択基準は、動作モードと同様に、操作部１０４を介してユーザーにより指定され、発話選択部１０３に通知されるものとする。

第１の選択基準では、２以上の方向から同時に検出されている音声信号のうち最も先行して検出されている音声信号の方向が選択される。この場合、所定レベル以上の音声が収音されている限り、後続話者Ｓ´の音声信号のレベルに拘らずに、先行する優先話者Ｓｐの音声を継続して収音することができるが、後続話者Ｓ´の音声信号を選択することができない。

第２の選択基準では、２以上の方向から同時に検出されている音声信号のうち最大レベルで検出されている音声信号の方向が選択される。この場合、先行する優先話者Ｓｐの音声信号よりもレベルが高ければ、後続話者Ｓ´の音声信号を選択することができるが、先行話者Ｓの音声を継続して収音することができない。

第１の選択基準が選択されている場合に、先行して音声信号が検出されている方向の話者Ｓを優先話者Ｓｐとして、音声検出が行われなくなるまで当該方向が選択される（Ｓ３０５）。一方、第２の選択基準が選択されている場合に、最大レベルで検出されている音声の方向の話者Ｓを優先話者Ｓｐとして、最大レベルで検出されている音声信号の方向が変更されるまで当該方向が選択される（Ｓ３０６）。

図６Ａ〜６Ｃには、選択基準に基づく優先選択動作時の処理が示されている。図６Ａでは、話者Ｓ１（優先話者Ｓｐ）の音声が収音ビームＢ１により受信されている。ここで、話者Ｓ１よりも大きな音量で話者Ｓ２が発話を開始する場合を想定する。図６Ｂに示すように、第１の選択基準が選択されていれば、話者Ｓ１を優先話者Ｓｐとして、先行する話者Ｓ１の音声信号の収音が優先され、収音ビームＢ１により話者Ｓ１の音声信号の受信が継続される。一方、図６Ｃに示すように、第２の選択基準が選択されていれば、話者Ｓ１の代わりに話者Ｓ２を優先話者Ｓｐとして、音量の大きな話者Ｓ２の音声信号の収音が優先され、収音ビームＢ１の代わりに収音ビームＢ２により話者Ｓ２の音声信号の受信が開始される。

ステップＳ３０３の処理で同時選択動作が選択されている場合に、音声信号が検出される各方向の音声レベルが評価され、所定の基準を満たす方向の数が音声検出数ｎ´として求められる（Ｓ３０７）。ここで、各方向の音声信号は、最大レベルの音声信号に対して所定の比率以上のレベルを伴う場合に、所定の基準を満たすと判断される。

そして、音声検出数ｎ´が所定の閾値ｎ_ｍａｘを超えるかが判定される（Ｓ３０８）。多数の方向から同時に音声信号が検出される場合に、該当する全ての方向が選択されてもよいが、方向の数が余り多くなると、指向性形成により特定の方向からの音声信号を収音する意義が薄れてしまう。つまり、収音方向を絞ると発話が聴取し易くなる一方で、収音方向以外の環境音に伴う雰囲気が伝わり難くなる。そして、同時発話数が多くなりすぎると、発話が聴取され難くなるとともに、雰囲気も伝わり難くなる。よって、同時発話数が多くなりすぎた場合は、無指向性マイクに切替えて、雰囲気が伝わり易くなるようにした方が望ましいためである。

このため、本実施形態では、同時に選択可能な方向数の閾値ｎ_ｍａｘを設定する。そして、音声検出数ｎ´が閾値ｎ_ｍａｘを超える場合に、特定の方向が選択されずに無指向性（全方位）信号が選択されて無指向収録が行われる（Ｓ３０９）。

一方、音声検出数ｎ´が閾値ｎ_ｍａｘ以下である場合には、前述した所定の基準を満たす方向が同時に選択される（Ｓ３１０）。これは、検出された信号間でレベル差が大きい場合には、混信を回避するために、最大レベルの音声信号に対して所定の比率未満のレベルを伴う音声信号の方向を選択しないことが望ましいためである。

図７Ａ〜７Ｃには、音声検出数ｎ´に基づく同時選択動作時の処理が示されている。図７Ａでは、話者Ｓ１〜Ｓ４の音声信号が収音ビームＢ１〜Ｂ４により受信されている。なお、音声検出数ｎ´の閾値ｎ_ｍａｘが４に設定されている。ここで、図７Ｂに示すように、話者Ｓ１〜Ｓ４の音声信号のうち、最大レベルで検出されている話者Ｓ１の音声信号を基準として、話者Ｓ２〜Ｓ３の音声信号が所定未満のレベルを伴う場合、収音ビームＢ１〜Ｂ４の代わりに収音ビームＢ１により話者Ｓ１の音声信号が受信される。

また、図７Ｃに示すように、話者Ｓ５が発話を開始すると、音声検出数ｎ´（＝５）が閾値ｎ_ｍａｘ（＝４）を超えるので、収音ビームＢ１〜Ｂ４の代わりに収音ビームＢ０により無指向性収録が行われる。なお、図７Ｃでは、マイクロホンＭＣ１〜ＭＣｍの前面にのみ収音ビームＢ０が示されているが、側面および背面にも形成される。

そして、発話選択部１０３は、選択された指向方向を指向方向の選択情報としてセレクタ１０５に通知する（Ｓ３１１）。セレクタ１０５は、選択情報に基づいて、指向性形成部１０１の出力信号から選択すべき方向の信号を抽出してミキサ１０６に供給する。ミキサ１０６は、供給された信号をミキシングし、送信音声信号として出力する。

［３．まとめ］
以上説明したように、上記実施形態に係る収音装置および収音方法によれば、２以上の方向から同時に音声信号が検出される場合でも、２以上の方向からの音声信号を選択的に入力することができる。これにより、２人以上の話者Ｓが同時に発話する場合でも、所望の音声を良好な状態で入力することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１００ マイクロホン
１０１ 指向性形成部
１０２ 音声信号検出部
１０３ 発話選択部
１０４ 操作部
１０５ セレクタ
１０６ ミキサ
３０１ 時間−周波数変換部（ＦＦＴ部）
３０２ 遅延制御部
３０３ 乗算部
３０４ 加算部

Claims (8)

1. ２個以上のマイクロホンを用いて２以上の方向に収音指向性を形成する指向性形成部と、
   前記２以上の方向から収音される音声信号の有無を検出する音声信号検出部と、
   前記２以上の方向から同時に音声信号が検出される場合に、前記２以上の方向からの音声信号を同時に選択する同時選択機能を実行する発話選択部と、
   を備える収音装置。
2. 前記発話選択部は、前記同時選択機能を実行する際に、前記２以上の方向から同時に検出される音声信号のうち最大レベルで検出される音声信号を基準とする、他の音声信号のレベル比が所定の閾値未満である場合に、前記所定の閾値未満のレベルで検出される音声信号の方向を選択しない、請求項２に記載の収音装置。
3. 前記発話選択部は、前記同時選択機能を実行する際に、所定数を超える方向から同時に音声信号が検出される場合に、前記２個以上のマイクロホンの少なくともいずれか１個を用いて無指向性収音を行う、請求項１または２に記載の収音装置。
4. 前記発話選択部は、前記２以上の方向からの音声信号を同時に選択する同時選択機能、または１の優先方向からの音声信号を選択する優先選択機能のいずれかを選択して実行する、請求項１〜３のいずれかに記載の収音装置。
5. 前記発話選択部は、前記優先選択機能を実行する際に、ユーザーの指示に応じて、前記２以上の方向から同時に検出される音声信号のうち最も先行して検出される音声信号の方向を、前記１の優先方向として選択する、請求項４に記載の収音装置。
6. 前記発話選択部は、前記優先選択機能を実行する際に、ユーザーの指示に応じて、前記２以上の方向から同時に検出される音声信号のうち最大レベルで検出される音声信号の方向を、前記１の優先方向として選択する、請求項４または５に記載の収音装置。
7. 前記発話選択部は、ユーザーの指示に応じて、前記同時選択機能または前記優先選択機能のいずれかを選択する、請求項４に記載の収音装置。
8. ２個以上のマイクロホンを用いて２以上の方向に収音指向性を形成するステップと、
   前記２以上の方向から収音される音声信号の有無を検出するステップと、
   前記２以上の方向から同時に音声信号が検出される場合に、前記２以上の方向からの音声信号を同時に選択する同時選択機能を実行するステップと、
   を含む収音方法。

Images