JP2005354223A - 音源情報処理装置、音源情報処理方法、音源情報処理プログラム - Google Patents

Abstract

【課題】周囲の環境を考慮して、より確実性の高く、目的にあった処理を行うことができる実用性の高い音源情報処理装置、音源情報処理方法、及び音源情報処理プログラムを得る。
【解決手段】複数の音源の音声信号を収音する複数の収音手段（１０１−１〜１０１−Ｎ）と、前記複数の収音手段で収音された音声信号に基づいて少なくとも１つの音源の方向を推定する音源推定手段１０４と、前記推定した方向の音源のうち目的音源に関する音源情報を抽出する音源情報抽出手段１０８と、前記抽出した音源情報に対して施す処理内容を選択するための、１つまたは複数の音源と周囲の状況のうち少なくとも一方に関する音源状況情報を取得する音源状況情報取得手段１０９と、前記音源状況情報に基づいて、前記抽出された音源情報に対して所定の処理を施す処理手段１１０と、を備える。
【選択図】 図１

Description

本発明は、複数の収音手段からの入力信号を用いて推定された音源情報を、目的や状況にあわせて適切に処理するための音源情報処理装置、音源情報処理方法、及び音源情報処理プログラムに関するものである。

従来、周囲雑音のある環境下において目的音のみを収音する方法であり、複数のマイクを使ったマイクロホンアレイの技術は様々なものが提案されている（例えば非特許文献１参照）。これらは主に、複数のマイクから入力された信号の中から目的となる音声を判断及びその音源方向を定位して、その定位方向に指向性をあわせたフィルタ処理をかけることで目的となる音声を収音するものである。ここではこのように複数の音源が考えられる中で、対象となる音源の情報を取り出す問題を音源分離問題と呼ぶことにする。目的によっては音源方向の定位のみである場合や、音源からの音声情報の抽出までを指す場合を含むこともある。

このような音源分離問題においては、現実の環境下では音源分離に大きな影響を与える問題がいくつかある。このような問題としては音源の数とマイクの数との関係、雑音や残響、音源の移動が主要なものとして挙げられる。これらの問題に対応するものとして例えば短時間で所望の方向に指向性を得る手段、音源方向が時間と共に変化する場合にも指向性を得るための手段を提供しているものがある（例えば、特許文献１参照）。また、少ない演算量で安定して目的音源の方向検出と雑音抑圧を行う方法について扱っているものがある（例えば、特許文献２参照）。

特開２００２―１８６０８４号公報 特開平１０−２０７４９０号公報 金田豊著「騒音下音声認識のためのマイクロホンアレー技術」 日本音響学会誌５３巻１１号（１９９７）、ｐｐ．８７２−８７６

このように現実の環境下で問題となるいくつかの項目について、それぞれ効果のある手法や手段が提案されているが、実際には問題となる原因が複合的に発生することにより、提案されている手法で仮定している条件を逸脱する場合が生じる。特にこれらの解決手段として適応的な信号処理手法を用いている場合には、ある制約のもとでの最適化問題を解くという定式化が一般的であるため、制約を満たせないような環境になると推定自体もうまくいかなくなる可能性がある。このような場合には、上記のような音源分離技術を用いても十分な性能が得られない以外に、想定外の動作や、結果として全く用をなさなくなってしまうことは十分考えられることである。つまり、推定された音源に関する情報を、目的と周囲の環境の様子によっては修正した方が実際の使用時に適切であると考えられ、従来の技術では必ずしもそのような点に留意していなかったという問題がある。

すなわち、上述したように、音源分離問題を処理する音源情報処理システムが実際に使われる環境において、音源を推定する手法自体が十分に対応できない状況になったり、周囲環境によってはシステムに期待される動作が規定されたりすることが考えられる。したがって、周囲の環境を考慮し実用性に優れる音源情報処理システムは未だ確立されていないのが現状である。

本発明は、上記に鑑みてなされたものであって、周囲の環境を考慮した、より確実性の高い処理を行うことができる実用性の高い音源情報処理装置、音源情報処理方法、及び音源情報処理プログラムを得ることを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる音源情報処理装置は、複数の音源の音声信号を収音する複数の収音手段と、複数の収音手段で収音された音声信号に基づいて少なくとも１つの音源の方向を推定する音源推定手段と、推定した方向の音源のうち目的音源に関する音源情報を抽出する音源情報抽出手段と、抽出した音源情報に対して施す処理内容を選択するための、１つまたは複数の音源と周囲の状況のうち少なくとも一方に関する音源状況情報を取得する音源状況情報取得手段と、音源状況情報に基づいて、抽出された音源情報に対して所定の処理を施す処理手段と、を備えることを特徴とする。

また、本発明にかかる音源情報処理方法は、複数の音源の音声信号を収音する収音工程と、収音工程で収音された音声信号に基づいて少なくとも１つの音源の方向を推定する音源推定工程と、推定した方向の音源のうち出力対象に関する音源情報を抽出する音源情報抽出工程と、抽出した音源情報に対して施す処理内容を選択するための、１つまたは複数の音源と周囲の状況のうち少なくとも一方に関する音源状況情報を取得する音源状況情報取得工程と、音源状況情報に基づいて、抽出された音源情報に対して所定の処理を施す処理工程と、を備えることを特徴とする。

また、本発明にかかる音源情報処理プログラムは、複数の音源の音声信号を収音する収音工程と、収音工程で収音された音声信号に基づいて少なくとも１つの音源の方向を推定する音源推定工程と、推定した方向の音源のうち出力対象に関する音源情報を抽出する音源情報抽出工程と、抽出した音源情報に対して施す処理内容を選択するための、１つまたは複数の音源と周囲の状況のうち少なくとも一方に関する音源状況情報を取得する音源状況情報取得工程と、音源状況情報に基づいて、抽出された音源情報に対して所定の処理を施す処理工程と、をコンピュータに実行させることを特徴とする。

この発明によれば、所定の判断基準に基づいて、音源推定手段で推定した出力対象となる音源情報に適切な処理を施す。具体的には、音源状況情報取得手段により所定の音源状況情報が取得され、該音源状況情報に基づいて、推定された音源の情報（出力対象となる音源情報）に対して施す所定の処理を選択して該処理を施す。したがって、この発明において出力される音源情報は、目的や周囲の状況に合わせて適切な処理が施された情報となる。

上記の音源状況情報は、最終的な出力には直接は含まれないが音源及びその周囲の情報を知るため、すなわち処理手段での処理を選択する判断に用いられるために抽出される情報である。この音源状況情報は音源情報から得られた情報でも良く、また、音声情報以外の他の情報であっても良い。このような音源状況情報に基づいて、出力対象となる音源情報に目的や周囲の状況に合わせた適切な処理を施す。

この発明によれば、目的や周囲の状況に合わせて出力対象となる音源情報に適切な処理を施すため、より周囲の状況に沿った、より確実性の高い処理を行うことができ、実用性に優れた音源情報処理装置、音源情報処理方法、及び音源情報処理プログラムを得ることができる。

以下に、本発明にかかる音源情報処理装置、音源情報処理方法、及び音源情報処理プログラムについて図面を参照しながら詳細に説明する。なお、本発明は、以下の記述に限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。

まず、本発明の基本的な概念を説明する。本発明にかかる音源情報処理装置は、複数の音源の音声信号を収音する複数の収音手段と、前記複数の収音手段で収音された音声信号に基づいて少なくとも１つの音源の方向を推定する音源推定手段と、推定した方向の音源のうち目的音源に関する音源情報を抽出する音源情報抽出手段と、抽出した音源情報に対して施す処理内容を選択するための、１つまたは複数の音源と周囲の状況のうち少なくとも一方に関する音源状況情報を取得する音源状況情報取得手段と、音源状況情報に基づいて、抽出された音源情報に対して所定の処理を施す処理手段と、を備えることを特徴とするものである。

ここで、音源推定手段では、例えば１つまたは複数の音源の方向を推定すること、推定された方向の音声を強調して出力すること、を一般的な機能として備える。この音源推定手段は、例えばマイクロホンアレイによって実現できる。

音源情報抽出手段で抽出する音源情報は、音源情報処理装置からの出力に関わる情報であり、音源情報処理装置が出力する目的とする情報である。例えば２つのマイクロホンで音声を収音して、音声の来た方向のみの音声を音源情報処理装置が出力する場合には、推定された音声の到来方向について強調された音声が該当し、音源情報処理装置がロボットや応答システムに適用された場合に、どの方向から話しかけられているかのみを音源情報処理装置が出力する場合には、推定された音声の到来方向の角度が該当する。

音源状況情報取得手段が取得する、抽出した音源情報に対して施す処理内容を選択するための音源状況情報は、音源情報処理装置からの最終的な出力には直接は含まれないが音源及びその周囲の情報を知るため、すなわち処理手段での判断に用いられるために抽出される情報である。例えば、音源推定手段によって複数の音源を推定して、その推定された中である一つの音声が音源情報処理装置から出力されるとした場合に、推定された複数の音源のそれぞれの音量を音源状況情報として用いることができる。この音量は音源推定手段で推定した推定音源から容易に得ることができる。

また、例えば、音源推定手段によって複数の音源を推定して、その推定された中である一つの音声が音源情報処理装置から出力されるとした場合に、推定された複数の音源についてそれぞれ、人間の声らしいかどうかの情報を抽出して音源状況情報として用いることができる。この人間の声らしいかどうかの情報の抽出は、例えば波形のゼロ交差や調波構造を推定するなどの既存の技術で実現できる。

また、例えば音源推定手段によって複数の音源を推定して、その推定された中である一つの音声が音源情報処理装置から出力されるとした場合に、推定された複数の音声についてそれぞれ、話者認証を行い、この話者認証の結果を音源状況情報として用いることができる。認証には話者ごとのＨＭＭ（Hidden Markov Modeling）のスコアを用いるなど既存の技術を用いることができる。

また、処理手段では、音源状況情報取得手段が取得した音源状況情報に基づいて、音源情報抽出手段で抽出された音源情報に対してどのような処理を施すかを判断、選択し、その結果に従って、音源情報抽出手段で抽出された音源情報に対して所定の処理を施す。すなわち、音源情報抽出手段で抽出された音源情報を入力として、この入力に対して所定の処理を施す。そして、この処理手段において所定の処理が施された音源情報が最終的な出力内容とされる。ここでは、入力に対して何の処理も施さないことも所定の処理の一形態としてもよい。その場合には、処理手段に入力された情報がそのままの状態で出力されることになる。

また、例えば音源状況情報に基づいて抽出された音源情報に対して施す処理内容を保持する保持手段を装置が備え、処理手段がこの保持手段から音源状況情報に基づいて所定の処理手続を呼び出して処理を実行することができる。この保持手段には、例えば入力がある閾値以上である場合にはこの処理、入力が閾値未満である場合には他の処理というように、表引きやツリー構造（例えば一例として、「男性ですか？」→「年齢は？」→…のように、判断条件が階層的に構成されている構造）の情報がテーブルとして保持されており、このテーブルを用いることにより処理手段における入力と出力との対応付けを行うことができる。

このような処理手段での判断としては、上述したように推定された複数の音源のそれぞれの音量を音源状況情報として用いる場合には、例えばその複数の音源の音量に注目して、出力する予定の推定音源の音量が他の音源の音量より一定値以上大きければ、音源推定には有利な環境であるとして推定音源の情報をそのまま出力し、そうでない場合には音源推定が困難であるとして予め規定された初期値方向の音源情報のみを出力する、というような処理を施すことができる。このような処理を行うことにより、音源推定が容易な場合は推定情報をそのまま使用して出力し、音源推定が困難な場合は音源推定のミスがあってもシステム全体として確実な動作を行えるようにすることができる。

また、上述したように推定された音声の人間の声らしさを音源状況情報として用いる場合には、入力に対して例えば以下のような処理を施すことができる。人間の声らしさの情報について各候補に対して一定時間保存できるものとし、この人間の声らしさの度合いが所定の閾値を越え、且つ所定の時間の閾値を越えて継続される候補が一つしかない場合には、音源推定手段の音源推定の第一候補がその方向の音声でなくてもその候補を出力する。

一方、人間の声らしさの度合いが所定の閾値を越える音源が一定個数以上ある場合には、初期値方向の音源情報のみを出力するようにする。そして、上記のどちらにも当てはまらない場合には、音源推定手段の音源推定の第一候補を出力する。このような処理を行うことにより、音源推定手段が音源推定を誤った場合でも、極力人間の音声を捉えられるようにすることができる。そして人間の声らしい音源が複数ある場合には、無理に一つの音声を推定せずに特定の動作（例えば予め規定された初期値方向の音源情報のみを出力する）を行うことにより、音源情報処理装置全体の挙動に一定の規則性を付与することが可能となり、且つその挙動を理解し易くなる。

また、上述したように話者認証の結果を音源状況情報として用いる場合には、入力に対して例えば以下のような処理を施すことができる。例えば音源情報処理装置が対話装置に用いられている場合、音源推定された音源が現在話しているはずの話者であると認証された場合にはその推定された音源情報を出力し、音源推定された音源が現在話しているはずの話者ではないと判断された場合には無音を返すなどしてその音声を出力しないようにする。このような処理を行うことにより、周りの雑音に対して誤って音源推定してしまうような場合でも、目的の音源以外には反応しないようにすることができる。

また、推定音源方向の音声を出力するシステムとして用いた場合に、推定された音源の方向によって出力の音量を変えることも可能である。例えば音源方向が正面であると推定された音源の音量が強められて出力され、推定された音源方向が横方向にずれるにつれて出力の音量を小さくなるようにする。音源情報処理装置からの出力が推定音源からの音声そのままだけである場合にはどの方向から音が来たのかがわからなくなるが、上記のような形態とすることでシステムが左右に向きを変えれば同じ音源でも音量が変わる。これにより、例えばこのシステムをロボットに適用した場合には人間の聴覚に近い状況を実現することができ、音源方向に関する情報を後段のシステムで知覚することができる。

また、推定音源方向の音声を出力するシステムとして用いた場合には、ある方向の音声強調を行って出力することができる。すなわち、処理手段において、ある方向の音声を収音して出力すると判断された場合には、処理手段において複数のマイクロホンからの入力に遅延和処理を行うなどして、推定方向の音声を得てそれを出力する。例えば、音源推定手段において１０度方向に音源があると推定されて、その方向の音声を出力しようとしても、音源に関する音源状況情報からその出力はふさわしくないと判断して９０度方向の音声を出力すると判断したとする。この場合は処理手段においてマイクロホンからの音声に遅延和処理等を行うことで、該当方向の音声を強調して出力する。これにより、音源推定手段における音源推定に推定誤りが生じやすい状況下においても目的に合わせた出力を行うことができる。

（第１の実施の形態）
次に、本発明にかかる音源情報処理装置、音源情報処理方法、及び音源情報処理プログラムについて、具体的な実施の形態に基づいてより詳細に説明する。

図１は、本発明を適用した音源情報処理システムの一構成例を示すブロック図である。図１に示した本発明を適用した音源情報処理システム１００は、Ｎ個のマイクロホン（Ｎ≧２）１０１−１〜１０１−Ｎと、入力処理部１０２と、マイクロホンアレイ処理部１０４と音源情報処理部１０５とを有する信号処理部１０３と、を備えて構成されている。ここで、音源情報処理部１０５は、マイクロホンアレイ処理部１０４で推定した音源のうち音源情報処理システム１００から出力する出力情報、すなわち音源情報処理システム１００が出力する目的とする音源情報を抽出する音源情報抽出手段（機能）１０８と、抽出した音源情報に対して施す処理内容を選択するための音源状況情報を取得する音源状況情報取得手段（機能）１０９と、音源状況情報に基づいて、抽出された音源情報に対して所定の処理を施す処理手段（機能）１１０と、を有するものである。

このように構成された音源情報処理システム１００においては、まずＮ個のマイクロホン１０１−１〜１０１−Ｎにより音声が収音され、入力処理部１０２に入力される。このマイクロホンは特に限定されるものではなく、音声を確実に収音可能なものであれば通常用いられるマイクロホンを用いることができる。また、このＮ個のマイクロホンとしては、すべて同じ種類のマイクロホンを使用しても良く、また、周波数特性などが計測されることで後段の信号処理で収音特性の違いを吸収することが可能ならば、異なる種類のマイクロホンを使用することも可能である。

マイクロホン１０１−１〜１０１−Ｎで収音されたこれらの音声は、入力処理部１０２において増幅回路やＡ／Ｄコンバータ等によってデジタル信号処理可能な形式に変換される。入力処理部１０２は、マイクロホンで収音された音声をデジタル信号処理可能な形に変換することが可能であれば、その構成は特に限定されるものではなく、既存の電子回路や、マイクロホンアレイの入力システム等の種々の手段により実現可能である。また、マイクロホン１０１−１〜１０１−Ｎと入力処理部１０２との信号の伝達は有線であっても無線であっても構わない。これについても入力処理部１０２に信号が伝達可能であれば特に限定はなく、既存の信号伝達技術で実現可能である。

入力処理部１０２においてデジタル信号処理可能な形式に変換された音声信号は、信号処理部１０３に入力される。信号処理部１０３においては次のような信号処理がなされる。まず、マイクロホンアレイ処理部１０４においてマイクロホンアレイ処理が行われる。マイクロホンアレイ処理では、音源情報処理システム１００の使用目的によるが、音源定位を行ったり、さらにその定位方向の音声を強調したり、あるいは指定方向の音声を強調して他の方向からの音声を抑圧したりすることができる。すなわち、マイクロホンアレイ処理部１０４では、音源情報処理システム１００で必要とする特徴量を得るための信号処理が行われ、特に複数マイクロホンで収音された音声信号から音源情報を得るための処理が行われる。

そしてマイクロホンアレイ処理部１０４からの情報をうけて音源情報処理部１０５では、音源情報抽出機能によりマイクロホンアレイ処理部１０４からの音源情報のうち音源情報処理システムから出力する目的音源に関する音源情報を抽出し、音源状況情報取得機能により前記の抽出した音源情報に対して施す処理内容を選択するための音源状況情報を取得し、処理機能により音源状況情報に基づいて、前記の抽出された音源情報に対して所定の処理を施して、音源情報処理システムの出力対象に合わせた情報を所定の形式で出力１０６する。

これらのマイクロホンアレイ処理部１０４及び音源情報処理部１０５を含む信号処理部１０３は、上述した処理が可能な形態であれば特に限定されるものではなく既存の信号処理チップ、電子回路等を用いて実現することが可能であり、また、デジタル化された信号をコンピュータ内でデジタル信号処理を行う形態とすることもできる。さらにコンピュータ内のプロセスによって実現することも可能である。

上述した入力処理部１０２、信号処理部１０３、マイクロホンアレイ処理部１０４、音源情報処理部１０５においては、本発明の機能において個別に名前を付けたが、実現形態においてはプログラムのプロセスであったり、ネットワーク上で情報の授受を可能とする関係において分散配置されたりしても構わないものとする。また機能において名前付けられた個々の処理部の調整を行うために、音源情報処理システムの上位のシステムで全体の処理を管理してもよい。また、本明細書においては、上記の音源情報処理システム１００において、マイクロホンアレイ処理部１０４と音源情報処理部１０５とを有する信号処理部１０３を音源情報処理装置とする。

次に、上述した音源情報処理システム１００を自動車２０１に適用した場合の具体的な実施の形態について説明する。図２は本発明を適用した音源情報処理システムを自動車内において適用した形態例について説明する図である。自動車２０１内の運転席２０２ａと助手席２０３ａとにはそれぞれ運転席のユーザ２０２及び助手席のユーザ２０３が居る。また、自動車２０１内の天井部分には、マイクロホンが一体化された音源情報処理システム２０４が配置されている。そして、音源情報処理システム２０４は車載情報システム２０５と情報伝達を行って所定の処理を行うことができる。音源情報処理システム２０４と車載情報システム２０５との情報伝達は無線により行っても良く、また有線により行っても良い。また、車載情報システム２０５は自動車の操作系２０６からも各種の情報を得ることが可能であり、これにより車載情報システム２０５では自動車２０１の運転状況を知ることができ、さらにこの運転状況の情報を音源情報処理システム２０４に伝達することも可能である。なお、音源情報処理システム２０４の詳細については、上記において説明した図１に示す音源情報処理システム１００と同じ構成を有するものである。

ここでは、ユーザ２０２、２０３と車載情報システム２０５とは音源情報処理システム２０４を介して音声で情報のやり取りができるものとする。ユーザ２０２、２０３の音声による命令は、周囲の雑音や車載情報システム２０５と対話中以外の話者からの発声による影響を受ける可能性がある。そして、このような影響を受けた音声がそのまま伝えられた場合には車載情報システム２０５において十分な性能が得られないこと以外に、想定外の動作や結果として全く用をなさなくなってしまう虞もある。すなわち、周囲の環境によっては車載情報システム２０５が正常に機能できない虞がある。

そこで、音源情報処理システム２０４において、現在の音声による命令がどこからの発声かということを正確に処理できれば、適切な話者からの発声を収音することができ、その結果を車載情報システム２０５に送ることが可能となる。このような音源に関する情報とその利用については例を挙げて後述する。

ここで、図３に示したフローチャートを用いて音源情報処理システム２０４における処理の流れを説明する。まず、ユーザ２０２、２０３と車載情報システム２０５との対話が開始されると（Ｓ３０１）、音源情報処理システム２０４は予め決められたＮ本（２本以上）のマイクロホンが車内音を収音する（Ｓ３０２）。収音された音声の信号は入力処理部１０２に入力される。入力処理部１０２ではマイクロホンからの音声信号を取り込んで、これをデジタル信号処理可能な形式に変換する（Ｓ３０３）。入力処理部１０２における受信信号の増幅については、音源情報処理システム２０４を構成した際に、どのマイクロホンも一定の方向に一定の音量があるときに同程度の音量が得られるように校正されているとする。あるいは、所定の操作により、システムやユーザが任意に校正できるようにしてもよい。校正法自体は本発明とは直接に関係ないので、詳細は省略する。

次に、入力処理部１０２においてデジタル信号処理可能な形式に変換された音声信号は信号処理部１０３に入力される。このようにして信号処理部１０３に入力された音声信号からは、マイクロホンアレイ処理部１０４での信号処理により、音源情報処理システム２０４の目的に沿った音源の推定が行われる（Ｓ３０４）。

マイクロホンアレイ処理部１０４では、受信した信号の位相差や音量などによって、音源位置を定位したり、目的方向の音声を収音したりすることができる。マイクロホンアレイ処理部１０４での信号処理、すなわちマイクロホンアレイ処理は以降の実施の形態で説明するように、目的に合った音源情報を得られるものなら、実現手法自体は本発明では問わない。非特許文献１の公知文献で挙げられているような、遅延和アレーや適応形アレーによる手法で実現できるものとする。ここではその詳細は省略する。また、Ｎ本のマイクの配置や向きについても同様に、本発明については目的に合わせて対応可能であればよいとする。ここでは、マイクロホンは２本で特許文献２に従ったマイクロホンアレイ処理を行ったものとして説明する。この場合、２本のマイクロホンに対して適応ビームフォーマを２つ構成して、一方が目的音源、他方が雑音源を抑圧するようにお互いに制御するような構成となる。

そして、マイクロホンアレイ処理部１０４で推定された音源の情報は、音源情報処理部１０５に入力される。音源情報処理部１０５では、マイクロホンアレイ処理部１０４で推定した音源のうち音源情報処理システム１００からの出力対象とする目的音源の音源情報を抽出し、抽出した音源情報に対して施す処理内容を選択するための音源状況情報を取得する。この音源状況情報は、マイクロホンアレイ処理部１０４で推定された音源の情報、他の音源の情報、または音源の情報以外の他の情報など、種々の情報を用いることができる。そして、この音源状況情報に基づいて、推定された音源情報に対して所定の処理を施す必要があるか否か、どのような処理を施すかを判断する。この判断についての詳細と、処理内容については後述する。

この判断結果を受けて、抽出した音源情報に対して所定の処理を施す必要があると判断された場合には（Ｓ３０５肯定）、音源情報処理部１０５では該音源情報に対して所定のルールに従って処理を施す（Ｓ３０６）。そして、所定の処理が施された音源情報を音源情報処理システム２０４からの最終的な出力情報として所定の出力形式に変換して（Ｓ３０７）、車載情報システム２０５に対して出力して（Ｓ３０８）一連の処理が終了する。ここで音源情報処理システム２０４からの出力形式は、目的によって適宜変更することが可能である。

一方、抽出した音源情報に対して所定の処理を施す必要がないと判断された場合には（Ｓ３０５否定）、抽出した音源情報をそのまま音源情報処理システム２０４からの最終的な出力情報として所定の出力形式に変換して（Ｓ３０７）、車載情報システム２０５に対して出力して（Ｓ３０８）一連の処理が終了する。

本実施の形態での説明においては、音源情報処理システム２０４からの出力は目的音源と推定した方向の音声とする。そして、以上の処理は一定時間ごと、あるいは任意の時間ごとに処理することができるものとする。また、ここで説明する実施の形態においての出力は連続的なものとする。すなわち、ある単位時間ごとの音源を推定し、その単位時間の間は目的音源方向の音声が収音、処理されて、音源情報処理システム２０４の出力とされる。

次に、前述の抽出された音源情報に対して所定の処理を施す必要があるか否かの判断、及びその処理について説明する。以下ではマイクロホンアレイ処理部１０４の出力を、車内でのユーザの発声を定位して、その方向に指向性を当てて収音した結果とした場合について図４及び図５を用いて説明する。また、２つのビームフォーマが、一方は雑音方向を抑圧して目的音声を収音し、他方が目的音源方向を抑圧して雑音を収音するものとする。そして目的音源ではない雑音の強さを測定し、所定の閾値を設定して目的音源以外の周囲の雑音が強いか否かを判断し、抽出された音源情報（目的音源の情報）に所定の処理を施すか否かを判断するものとする。ここで、図４は、雑音の強さを音源状況情報とした場合の判断条件と音源情報に対する処理内容とを関連付ける手続情報をまとめたテーブルである。このテーブルは、例えば音源情報処理部１０５内の情報保持手段１０７に保持されており、この情報が音源情報処理部１０５により適宜呼び出され、所定の処理が行われる。また図５は、抽出された音源情報に対して所定の処理を施す必要があるか否かの判断、及びその処理の流れを示すフローチャートである。

まず、音源情報処理部１０５が所定の処理を施す必要があるか否かの音源状況情報として、目的音源ではない雑音の強さを取得する。そして雑音の強さが所定の閾値よりも低い値となっているか否かを判断する（Ｓ５０１）。ここで、雑音の強さが所定の閾値よりも低いと判断された場合は（Ｓ５０１肯定）、抽出された音源情報はユーザからの発声とみなして所定の処理は不要と判断され（Ｓ５０２）、抽出された音源情報がそのまま音源情報処理システム２０４からの最終的な出力となる。したがって、抽出した音源情報をそのまま所定の出力形式に変換して（Ｓ３０７）、車載情報システム２０５に対して出力して（Ｓ３０８）一連の処理が終了する。その結果、その出力を受けた車載情報システム側では、自動車内の任意の位置でのユーザの発声を収音することができ、その内容を音声認識する、ハンズフリー電話に利用するなどの音声利用をすることができる。

一方、雑音の強さが所定の閾値よりも高いと判断された場合は（Ｓ５０１否定）、周囲の雑音が強くて目的音声の音源定位などの推定精度が落ちる状況である。特に自動車においては、高速走行中や外の天気が悪い場合などは、音声情報を利用するには困難な状況であると予想される。このような場合に推定された目的音源情報をそのまま出力すると、推定が困難なために誤った推定結果の出力が音源情報処理システムから出ることで、後段の車載情報システム２０５での処理に悪い影響が出る虞がある。具体的には、高速走行中の対向車とのすれ違い音をユーザの発声と誤推定して車載情報システムに送ってしまい、車載情報システムではそれを音声認識してユーザの意図しない命令を解釈してしまうことなどが考えられる。

そこで、雑音の強さを判断した結果、雑音の強さが所定の閾値よりも高いと判断された場合は（Ｓ５０１否定）、抽出された音源情報に対する所定の処理が必要と判断され（Ｓ５０３）、推定した目的音声の音源情報を無視して運転席方向のみに目的音声のビームフォーマを向け、運転席方向の音声のみを収音、抽出する処理を施す（Ｓ５０４）。そして、前記の処理が施された音源情報を音源情報処理システム２０４からの最終的な出力情報として所定の出力形式に変換して（Ｓ３０７）、車載情報システム２０５に対して出力して（Ｓ３０８）一連の処理が終了する。

このような処理を施すことにより、運転席方向以外の方向からの雑音で、車載情報システム２０５が誤動作する可能性が大幅に減少する。もちろん、運転席方向以外から、ユーザの音声が入る可能性もあるが、雑音の強いような状況、前述のような高速走行などのような場合では運転席以外からの音声入力の必要性はあまり考えられない。そしてそれ以上に、雑音が強い状況で音源情報に所定の処理を施すことにより、音源推定誤りによる車載情報システムの誤動作の可能性を減少させることと、運転席からの音声は少なくとも確実に収音するという効果を得ることができる。以上のように出力対象となる音源情報に所定の処理を施すことにより、より周囲の状況に沿った、より実用性の高い処理を行うことができるという効果が得られる。

また、音源情報処理システム２０４から、推定音源方向の音声（または所定の処理が施された特定方向の音声）を出力する場合に、処理による時間差を考慮しなければならない場合が考えられる。例えば、時刻０で音が入ってきたとして、音源推定に１秒かかり、音源に関する情報を抽出して判断するのに２秒かかるとする。この判断によって、ある方向の音声を強調して出力するとした場合、（１秒＋２秒）後の音声からしか反映されないことになってしまう。したがって、このような場合には信号処理部１０３にリングバッファを配置し、Ｎ本のマイクからの情報を適当な形式で（１秒＋２秒）分以上の音声を保存できるようにしておき、保存した音声に対して処理を行うことで、本発明に対応する出力を得ることができる。

図６は、実施の形態１に係る音源情報処理システム２０４のハードウェア構成を示す図である。音源情報処理システム２０４は、ハードウェア構成として、音源情報処理システム２０４におけるマイクロホンアレイ処理を実行するマイクロホンアレイ処理プログラムや音源情報処理部１０５における上述した音源情報抽出機能、音源状況情報取得機能、処理機能にかかる処理を実行するプログラムなどが格納されているＲＯＭ２５２と、ＲＯＭ２５２内のプログラムに従って音源情報処理システム２０４の各部を制御し、バッファリング時間変更処理等を実行するＣＰＵ２５１と、ワークエリアが形成され、音源情報処理システム２０４の制御に必要な種々のデータを記憶するＲＡＭ２５３と、ネットワークに接続して通信を行う通信Ｉ／Ｆ２５７と、音源からの音声信号を収音するマイクロホン２５８と、各部を接続するバス２６２とを備えている。

先に述べた音源情報処理システム２０４におけるマイクロホンアレイ処理プログラムなどのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク（ＦＤ）などの磁気ディスク、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。

この場合には、マイクロホンアレイ処理プログラムなどのプログラムは、音源情報処理システム２０４において上記記録媒体から読み出して実行することにより主記憶装置上にロードされ、上記ソフトウェア構成で説明した各部が主記憶装置上に生成されるようになっている。

また、本実施の形態のマイクロホンアレイ処理プログラムなどのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。

以上、本発明を第１の実施の形態を用いて説明したが、上記実施の形態に多様な変更または改良を加えることができる。

（第２の実施の形態）
次に本発明を適用した音源情報処理システムの第２の実施の形態について説明する。理解の容易のため、本実施の形態の音源情報処理システムの構成やその処理の流れは第１の実施の形態と同様とし、上記の説明を参照することとしてここではその詳細な説明は省略する。したがって、以下においては第１の実施の形態と異なる点について説明する。

第２の実施の形態が第１の実施の形態と異なる点は、過去の音源情報の履歴を上述した音源状況情報として用いることである。すなわち、第２の実施の形態においては、図１に示した音源情報処理部１０５が過去の音源情報を記憶することができる記憶領域を備え、該記憶領域に記録された過去の音源情報を用いて抽出された音源情報に対して所定の処理を施すものである。以下ではこの記憶領域として上述した情報保持手段１０７を利用するものとする。

本実施の形態にかかる音源情報処理システムが図３に示した流れで処理をしていくときに、音源情報を抽出してその情報を一定個数または一定時間分だけ情報保持手段１０７に記憶する。本実施の形態においては、一例として種々の音源情報の中でも推定した目的音源の方向を記憶しておくものとする。図７は、情報保持手段１０７に記憶された、推定した目的音源の方向の情報の履歴を示す特性図である。図７においては、過去の一定時期から現在までの一定時間分だけ、時間ごとの推定した音源方向の情報（図７における星印）の履歴が記憶されている。そして推定した目的音源の方向の情報の履歴を音源状況情報として用いて、一定時間毎もしくは任意のタイミングで抽出された音源情報に対して所定の処理を施すことができる。

そして、本実施の形態にかかる音源情報処理システム２０４においては、前述の記憶された過去の音源方向の情報に対して図７に示す実線のように関数近似を行い、この関数をもとに音源情報に対して所定の処理を施す必要があるか否かを判断する。具体的には、推定した目的音源の方向（角度）が近似関数による推定値より一定値以内の範囲に入っている場合には、推定した目的音源の方向（角度）をそのまま音源情報処理システム２０４からの最終的な出力情報として用いる。

一方、推定した目的音源の方向（角度）が近似関数による推定値より一定値以上離れている場合には、最終的な出力情報となる目的音源の方向は近似関数の値を使用することとし、その方向の音声をビームフォームで収音して出力する、または、毎回近似関数の推定方向の音声を収音して出力するなどの処理を施すこともできる。

関数近似については、移動平均や局所的に線形関数や多項式関数を当てはめるものや、音源の移動にモデルを仮定してそのモデルから推定するものなどを用いることができる。このように関数近似を用いることで、外乱等により目的音源の推定方向が大きく撹乱されることはなくなる。すなわち、過去の推定結果と比較して特異な推定結果が生じた場合などには、その推定結果をそのまま用いるのではなく、過去の経緯を考慮した出力を行うことが可能となる。したがって、上記のように過去の音源情報を上述した音源状況情報として用いて出力対象となる音源情報に所定の処理を施すことにより、より周囲の状況に沿った、より実用性の高い処理を行うことができるという効果が得られる。

（第３の実施の形態）
次に本発明の第３の実施形態について説明する。理解の容易のため、本実施の形態の音源情報処理システムの構成やその処理の流れは第１の実施の形態と同様とし、上記の説明を参照することとしてここではその詳細な説明は省略する。したがって、以下においては第１の実施の形態と異なる点について説明する。

第３の実施の形態が第１の実施の形態と異なる点は、マイクロホン以外の情報入力装置を用いる点である。すなわち、図１に示した構成において、マイクロホンと同様に一つもしくは複数の情報入力装置をさらに用いることである。本実施の形態では図２に示した形態において、自動車内の各座席にユーザが居るか否かを判断するための対人センサが各座席に備えられているものとする。このような対人センサを用いて自動車内の各座席にユーザが居るか否かを判断する手法としては、例えば図８に示すように運転席２０２ａにユーザ２０２が座ったことを感知する圧力センサ２０２ｂを用いることができる。また、カメラで自動車内を撮影して画像認識技術によって各座席にユーザが居るか否かを判断してもよい。このように自動車内の各座席にユーザが居るか否かを判断する手法は特に限定されるものではなく、種々の手法を用いることが可能である。このようにしてマイクロホンにより収音した音声入力以外の情報、すなわちここでは自動車内の各座席にユーザが居るか否かという情報を得ることができる。

以下では、図３に示した流れに従って前記の対人センサ２０２ｂを用いて音源情報に対して所定の処理を施す必要があるか否かの判断を行う処理について、図９に示したフローチャートを用いて説明する。

まず、ユーザ２０２、２０３と車載情報システム２０５との対話が開始されると（Ｓ９０１）、第１の実施形態と同様に目的音源の情報、特にその推定方向を得る（Ｓ９０２）。次に対人センサ２０２ｂから自動車内の各座席にユーザが居るか否かという情報が得られているかどうかを判断する（Ｓ９０３）。ここでその情報が得られていない場合には（Ｓ９０３否定）、前記のステップ９０２において推定音源情報（推定方向）が得られていても、ユーザからの発声はなかったものとして音源情報処理システム２０４から出力する（Ｓ９０５）。また、前記のステップ９０２とステップ９０３との順序を入れ替えて、対人センサ２０２ｂからの情報があると判断してから目的音声の音源情報を得てもよい。

そして、対人センサ２０２ｂから自動車内の各座席にユーザが居るか否かという情報が得られている場合（Ｓ９０３肯定）、すなわち推定した目的音源の情報（推定方向）と対人センサ２０２ｂからの情報との双方が得られた場合には、反応のあった対人センサの座席ごとに許容される音源方向の角度と、前記の推定方向とを比較し（Ｓ９０４）、目的音源の推定方向が、反応した対人センサ２０２ｂの座席に対応しているか否かを判断する（Ｓ９０６）。この結果、目的音源の推定方向が、反応した対人センサ２０２ｂの座席に対応していない場合には（Ｓ９０６否定）、推定した音源は推定誤りであったか、またはユーザ以外の音声だったと判断して、前記と同様にユーザからの発声はなかったものとして音源情報を出力する（Ｓ９０５）。

一方、目的音源の推定方向が、反応した対人センサ２０２ｂの座席に対応している場合は（Ｓ９０６肯定）、該当する座席のユーザからの発声だったと判断して、該当する方向にビームフォームをあてた収音を行い、その音源情報を出力する（Ｓ９０７）。

以上のような本実施の形態にかかる音源情報処理システム２０４では、上述したようにマイクロホン以外の情報入力装置からの入力情報を用いることにより、マイクロホンアレイ処理で得られる音源情報に所定の処理を施して適切な出力情報を出力することができる。その結果、外乱等によってマイクロホンアレイ処理結果に誤りが生じた場合においても、異常な出力をして後段の車載情報システム２０５での処理に悪い影響を与えることを防止することができる。したがって、上記のように出力対象となる音源情報に対して所定の処理を施すことにより、より周囲の状況に沿った、より実用性の高い処理を行うことができるという効果が得られる。

（第４の実施の形態）
次に本発明の第４の実施形態について説明する。理解の容易のため、本実施の形態の音源情報処理システムの構成やその処理の流れは第１の実施の形態と同様とし、上記の説明を参照することとしてここではその詳細な説明は省略する。したがって、以下においては第１の実施の形態と異なる点について説明する。

第４の実施の形態が第１の実施の形態と異なる点は、推定した目的音源と目的音源ではない雑音にあたる音源（非目的音源）の音源情報のいずれか、あるいは両方の内容を推定して、その内容に基づいて、前述の抽出された音源情報に対して所定の処理を施すことである。ここでは理解の容易のため、両方の音源情報の内容から推定する例を図１０及び図１１を用いて説明する。ここで、図１０は、目的音源と非目的音源の音源情報の内容を音源状況情報とした場合の判断条件と音源情報に対する処理内容とを関連付ける手続情報をまとめたテーブルである。このテーブルは、例えば上述した情報保持手段１０７に保持されており、適宜呼び出され、所定の処理が行われる。また図１１は、抽出された音源情報に対して所定の処理を施す必要があるか否かの判断、及びその処理の流れを示すフローチャートである。

図３の処理の流れに従ってマイクロホンアレイ処理により、目的音源の音源情報とその方向を死角とするビームフォームから得られる音源情報が得られたものとする。ここで、「その方向を死角とする」とは、「その特定の方向について指向性を外して収音すること」を意味する。これにより、その特定の方向以外の音声を収音することができる。すなわち、目的音声の音源情報と、雑音にあたる非目的音源の音源情報とが得られる。

そして、この両者の音源情報から、目的音声、非目的音源（雑音）の内容をそれぞれ推定する。ここでは目的音声は自動車内のユーザの発声であって人間の声であるので、収音された音声が人間の声であるか否かに焦点をあてて収音された音源情報の内容を推定する。音源情報の内容の推定は、例えば音声波形の零交差やスペクトラムを利用するなど既存の技術で実現できるが、このような判断手法自体は本発明とは直接は関係ないのでここでは詳細な説明は省略する。

一方、非目的音源（雑音）については、非目的音源（雑音）の発生の様子、すなわち該非目的音源（雑音）が定常的なものであるか、非定常なものであるかに焦点をあてて内容を推定する。非目的音源（雑音）の内容の推定は、例えば音量の時間的な変化などを利用するなど既存の技術で実現できるが、このような定常雑音か否かの判断手法自体は本発明と直接は関係ないので、その詳細は省略する。

以上のようにして目的音声と非目的音源（雑音）との内容が推定されたときに、その内容に基づいて前述の抽出された音源情報に対して以下に説明するような所定の処理が施される。

まず、目的音源の内容を推定して（Ｓ１１０１）、推定された目的音源が人の発声であるか否かを判断する（Ｓ１１０２）。推定された目的音源が人の発声である場合には（Ｓ１１０２肯定）、次に非目的音源の内容を推定し、推定された非目的音源が定常雑音であるか否かを判断する（Ｓ１１０３）。ここで、推定された非目的音源が定常雑音である場合には（Ｓ１１０３肯定）、音源情報抽出にとっては都合の良い状況であり、推定誤りが生じる可能性は少ない。したがって、この場合には推定された通りの音源情報を用いて座席方向のみの音声を収音して（Ｓ１１０４）、それを音源情報処理システム２０４の出力として扱う。

一方、推定された非目的音源が定常雑音であるか否かを判断した結果、推定された非目的音源が定常雑音でないと判断された場合は（Ｓ１１０３否定）、音源情報抽出においては推定誤りが生じやすい状況であると考えられる。例えば、突発的な雑音を人の発声と推定してしまい、人の発声を非定常音と推定してしまうという状況が発生し得る。そこでこのような場合は後段での誤動作を防ぐために、当初の目的音源の推定方向を修正して運転席方向のみに注目して収音を行うという処理を施し（Ｓ１１０５）、それを音源情報処理システム２０４の出力として扱う。このような処理を施すことで、突発的な雑音を誤って人の発声と推定して音源情報処理システムから出力してしまう可能性を効果的に減少させることができる。

また、目的音源の内容を推定し（Ｓ１１０１）、推定された目的音源が人の発声ではないと判断された場合においても（Ｓ１１０２否定）、次に非目的音源の内容を推定し、推定された非目的音源が定常雑音であるか否かを判断する（Ｓ１１０６）。ここで、推定された非目的音源が定常雑音である場合には（Ｓ１１０６肯定）、定常雑音であることを明示してそれを音源情報処理システムの出力として扱う（Ｓ１１０７）。これにより後段のシステムでは、得られた定常雑音から雑音の内容を推定することで、一般に用いられる雑音抑圧法を用いることができ、音声認識や音声強調などの自身の行う処理の精度をより高めることができる。

一方、推定された非目的音源が定常雑音であるか否かを判断した結果、推定された非目的音源が定常雑音でないと判断された場合には（Ｓ１１０６否定）、２通りの状況が考えられる。すなわち、第１の状況は、実際にユーザの発声がなく非定常雑音があった場合である。そして第２の状況は、音源定位に誤りがあって雑音を目的音源として推定し、ユーザの発声を非定常雑音として推定してしまった場合である。そこで、この場合には、推定内容のチェックを行う（Ｓ１１０８）。すなわち、目的音源と非目的音源の推定方向を入れ替えて、最初の非目的音源方向を目的音源方向とみなして人の発声か否かを再度判断するという処理を行い、非目的音源方向が人の発声か否かを判断する（Ｓ１１０９）。

この場合の判断において非目的音源が人の発声と推定された場合には（Ｓ１１０９肯定）、非目的音源方向からの音声をユーザからの発声とみなしてこれを音源情報処理システム２０４の出力として扱う（Ｓ１１１０）。一方、ここでの判断においても人の発声と推定されない場合には（Ｓ１１０９否定）、ユーザからの発声はなかったものとして扱う（Ｓ１１１１）。

以上のような本実施の形態にかかる音源情報処理システム２０４では、上述したように音源の内容を推定し、これを音源状況情報として用いることにより、マイクロホンアレイ処理で得られる音源情報に所定の処理を施して適切な出力情報を出力することができる。したがって、上記のように出力対象となる音源情報に対して所定の処理を施すことにより、より周囲の状況に沿った、より実用性の高い処理を行うことができるという効果が得られる。

（第５の実施の形態）
次に本発明の第５の実施形態について説明する。理解の容易のため、本実施の形態の音源情報処理システムの構成やその処理の流れは第１の実施の形態と同様とし、上記の説明を参照することとしてここではその詳細な説明は省略する。したがって、以下においては第１の実施の形態と異なる点について説明する。

第５の実施の形態が第１の実施の形態と異なる点は、推定された音源情報の確信度を上述した音源状況情報として用いることである。また、本実施の形態においては、音源情報処理システム２０４からの出力は、車の中のどこからユーザの発声が来ているのかとその方向、あるいはユーザの発声がない（有益な情報がない）、または車載情報システム２０５を介してユーザの確認を要求するという、大別して３種の意味を持つものとする。こうすることにより、車載情報システム２０５において、擬人化エージェントを用いてユーザと対話をする際に、発声したユーザに対して擬人化エージェントが適切に処理を行うことを可能とする。

音源情報処理システム２０４においてはユーザが車内で発声したということを推定すると、その音源方向を求める。この場合の車内における音源方向の規定を図１２に示す。ここでは、右ハンドル２１５を備えた自動車の場合について説明する。

自動車の幅方向における中心部を通って自動車の後方に延びる仮想線の方向を０度としたときに、運転席方向を正方向、助手席方向を負方向とする。音源方向が＋１５度〜＋４５度の範囲は運転席２０２ａに対応するものとし、−１５度〜−４５度の範囲は助手席２０３ａに対応するものとする。また、音源方向が−１５度〜＋１５度の範囲は後部座席２２０に対応するものとする。これらの音源方向情報から該当座席情報への変換は、音源情報処理部１０５が音源状況情報取得機能により、マイクロホンアレイ処理部１０４で推定した音源の方向情報を入力として情報保持手段１０７に格納された所定の写像情報のテーブル（図示せず）を参照することにより行うことができる。そして、音源情報処理部１０５では、その処理機能によりこの変換した音源状況情報として用いることができる。ここでの写実情報とは、音源方向が何度から何度までの範囲は運転席に対応する、何度から何度までの範囲は助手席に対応する、といった音源方向情報から該当座席情報への変換を可能とする手続情報である。

また、この写実情報は、音源情報処理システム２０４の外部から書き換え可能とする。このように写実情報を音源情報処理システム２０４の外部から書き換え可能とすることにより、周囲の環境が変化した場合においても音源の情報に対する処理の判断を的確に行うことができる。例えば今まで右ハンドルの自動車で使っていた音源情報処理システム２０４を左ハンドルの自動車に持っていった場合に、角度に対応した写像情報を書き換えるだけで、音源の情報に対する処理内容を書き換えることなく、目的にあった処理を行うことができる。すなわち、使用環境が変化した際の利便性に優れた音源情報処理システム２０４が実現できる。

例えばロボットに音源情報処理システム２０４が使われている場合に、音源方向が何度から何度までの範囲はロボットの顔が向いている方向であるということがわかるとする。こうすることで、顔の向いている方向ならば音源推定の確信度が高くなくても確実に応答するようにし、確信度が高くない場合には音源推定の確信度が所定の閾値以上でないとその方向の音声は無視するような処理を施すことで、外乱に強くすることができる。また、上記のような角度に対応した写像情報を書き換えるだけで、「ロボットにとっての顔の向いている方向」の概念を適宜変更することができ、ロボットの使用形態の自由度を大きくすることができる。

なお、当然のことながらここでの角度の規定は本実施の形態を説明するための一例であり、自動車の形態によって変更する、左右ハンドルに合わせて正負方向を変えるなど適宜変更することが可能である。すなわち音源方向に応じてなんらかの意味付けができ、それが音源情報と関連づけができればよい。

本実施の形態においては、音源方向を推定すると同時にその推定の確信度を見積もるものとする。この確信度の見積もりは、マイクロホンアレイ処理部１０４において音源方向の推定と共に行われる。この確信度は、音源定位に用いる適応フィルタの収束後の残差、推定に用いたモデルとの誤差、音量と相関をもつ値、人間の声らしさの尺度、音源方向の時間的な変化やその分散など音源情報抽出に関連する特徴量から設定されるものとして既存の技術で実現できるが、このような確信度の算出手法自体は本発明とは直接は関係ないのでここでは詳細な説明は省略する。

本実施の形態における確信度はこれらの組み合わせから得られるものとし、その確信度は高、中、低の３つの離散値をとるものとする。また、確信度が関数で連続的に得られていたものを閾値で離散化したものとしてもよい。そして、ここでは確信度を離散値で説明するが、連続値を用いたものについても本発明は問題なく適用することができる。

このようにして得られた音源方向の情報と、音源方向の推定の確信度を用いて前述の抽出された音源情報に対して所定の処理を施す処理について図１３を参照して説明する。まず、音源方向の推定の確信度が高である（高レベルである）場合について説明する。音源方向の推定の確信度が高である場合であって、推定された音源方向が−１５〜＋１５度の範囲にある場合は上述した写実情報により音源の座席は後部座席２２０と判断され、後部座席２２０のユーザから発声があったものと判断してマイクロホンアレイ処理部１０４で推定された音源情報をその音源方向の情報とともに出力する。

また、音源方向の推定の確信度が高である場合であって、推定された音源方向が−１５〜＋１５度の範囲外である場合には、上述した写実情報により音源の座席は運転席２０２ａあるいは助手席２０３ａと判断され、運転席あるいは助手席でユーザからの発声があったものと判断してマイクロホンアレイ処理部１０４で推定された音源情報を音源方向（角度）の情報とともに出力する。特に推定された音源方向が＋４５〜＋９０度のように座席から離れた方向である場合においても、ユーザが移動したものと判断して、運転席あるいは助手席でユーザからの発声があったものと判断してマイクロホンアレイ処理部１０４で推定された音源情報を音源方向の情報とともに出力する。

次に、音源方向の推定の確信度が中である（中レベルである）場合について説明する。音源方向の推定の確信度が中である場合であって、＋１５度〜＋４５度または−１５度〜−４５度の範囲にある場合は、上述した写実情報により音源の座席は運転席２０２ａ、助手席２０３ａ、または後部座席２２０と判断され、運転席２０２ａ、助手席２０３ａ、または後部座席２２０からユーザの発声があったものと判断してマイクロホンアレイ処理部１０４で推定された音源情報を音源方向の情報とともに出力する。

また、音源方向の推定の確信度が中である場合であって、推定された音源方向が＋１５度〜＋４５度または−１５度〜−４５度の範囲外である場合には、ユーザからの発声があったか否かは確実に判断することができない。したがって、この場合は音源情報処理システム２０４からは、推定した音源方向をそのまま出力するのでなく、音源の確認を要求する出力情報を出力する。例えば情報保持手段１０７に予め格納されている所定の情報（「判断不能」や「音源再確認」などの趣旨の情報）を出力する。このような処理を行うことにより、例えば車載情報システム２０５ではユーザに対して音源の確認を要求するために「もう一度発声してください」と呼びかけることもできる。これにより、音源情報処理システム２０４からの不確定な情報に起因して車載情報システム２０５が誤作動を起こすことを防止することができる。

次に、音源方向の推定の確信度が低である（低レベルである）場合について説明する。音源方向の推定の確信度が低である場合であって、推定された音源方向が＋１５度〜＋４５度または−１５度〜−４５度の範囲にある場合は、推定された音源がユーザの発声であるかもしれないが確実に判断することができない。したがって、この場合は音源情報処理システム２０４からは、推定した音源方向をそのまま出力するのでなく、音源の確認を要求する出力情報を出力する。例えば情報保持手段１０７に予め格納されている所定の情報（「判断不能」や「音源再確認」などの趣旨の情報）を出力する。このような処理を行うことにより、上記と同様に車載情報システム２０５ではユーザに対して音源の確認を要求することができる。これにより、音源情報処理システム２０４からの不確定な情報に起因して車載情報システム２０５が誤作動を起こすことを防止することができる。

また、音源方向の推定の確信度が低である場合であって、推定された音源方向が＋１５度〜＋４５度または−１５度〜−４５度の範囲外である場合には、確信度が低く、且つ音源方向もユーザからの発声とは考えにくい。したがって、この場合は音源情報処理システム２０４からは、推定した音源方向をそのまま出力するのでなく、ユーザからの発声が無い（有益な音源がない）ものとして、ユーザからの発声が無いという出力情報を出力する。例えば情報保持手段１０７に予め格納されている所定の情報（「音声入力無し」や「出力無し」などの趣旨の情報）を出力する。このような処理を行うことにより、車載情報システム２０５では音源情報処理システム２０４からの不確定な情報に起因して車載情報システム２０５が誤作動を起こすことを防止することができる。

以上のような本実施の形態にかかる音源情報処理システム２０４では、ユーザからの発声に対して、その推定された音源角度や推定の確信度を上述した音源状況情報として用いて、前述の抽出された音源情報に対して所定の処理を施すことができる。そして、この音源情報処理システム２０４を用いた擬人化エージェントでは、音源情報処理システム２０４からの出力に基づいて処理を行うことにより、より適切な処理を行うことができる。すなわち、車載情報システム２０５において擬人化エージェントを用いてユーザと対話をする際に、発声したユーザに対して擬人化エージェントがより周囲の状況に沿った、より確実性の高い応答を行うことができるという効果が得られる。

以上のように、本発明にかかる音源情報処理装置は、周囲雑音のある環境下で目的音のみを収音する場合に有用であり、特に、カーナビゲーションシステムやテレビ電話などの用途に適している。

本発明を適用した音源情報処理システムの一構成例を示すブロック図である。 本発明を適用した音源情報処理システムを自動車内において適用した形態例について説明する図である。 音源情報処理システムにおける処理の流れを説明するフローチャートである。 雑音の強さを音源状況情報とした場合の判断条件と音源情報に対する処理内容とを関連付ける手続情報をまとめたテーブルを示す図である。 抽出された音源情報に対して所定の処理を施す必要があるか否かの判断、及びその処理の流れを示すフローチャートである。 実施の形態１に係る音源情報処理システムのハードウェア構成を示す図である。 情報保持手段に記憶された、推定した目的音源の方向の情報の履歴を示す特性図である。 ユーザが座ったことを感知する圧力センサが運転席に配置された状態を示す図である。 対人センサを用いて音源情報に対して所定の処理を施す必要があるか否かの判断を行う処理の流れを説明するフローチャートである。 目的音源と非目的音源の音源情報の内容を音源状況情報とした場合の判断条件と音源情報に対する処理内容とを関連付ける手続情報をまとめたテーブルを示す図である。 抽出された音源情報に対して所定の処理を施す必要があるか否かの判断、及びその処理の流れを示すフローチャートである。 車内における音源方向の規定を表した図である。 音源方向と音源情報推定の確信度とを音源状況情報とした場合の判断条件と音源情報に対する処理内容とを関連付ける手続情報をまとめたテーブルを示す図である。

符号の説明

１０１−１〜１０１−Ｎ マイクロホン
１０２ 入力処理部
１０３ 信号処理部
１０４ マイクロホンアレイ処理部
１０５ 音源情報処理部
１０６ 出力
１０７ 情報保持手段
２０１ 自動車
２０２ 運転席のユーザ
２０２ａ 運転席
２０３ 助手席のユーザ
２０３ａ 助手席
２０４ 音源情報処理システム
２０５ 車載情報システム
２０６ 自動車の操作系

Claims (12)

1. 複数の音源の音声信号を収音する複数の収音手段と、
   前記複数の収音手段で収音された音声信号に基づいて少なくとも１つの音源の方向を推定する音源推定手段と、
   前記推定した方向の音源のうち目的音源に関する音源情報を抽出する音源情報抽出手段と、
   前記抽出した音源情報に対して施す処理内容を選択するための、１つまたは複数の音源と周囲の状況のうち少なくとも一方に関する音源状況情報を取得する音源状況情報取得手段と、
   前記音源状況情報に基づいて、前記抽出された音源情報に対して所定の処理を施す処理手段と、
   を備えることを特徴とする音源情報処理装置。
2. 前記音源状況情報に基づいて前記抽出された音源情報に対して施す処理内容を保持する保持手段を備え、
   前記処理手段が、前記保持手段から所定の処理手続を呼び出して処理を実行すること
   を特徴とする請求項１に記載の音源情報処理装置。
3. 前記音源状況情報取得手段が、前記音源推定手段で推定された音源の音源情報の履歴を保持し、
   前記処理手段が、前記音源情報の履歴を前記音源状況情報として用いること
   を特徴とする請求項１に記載の音源情報処理装置。
4. 前記処理手段が、一定時間毎もしくは任意のタイミングで前記抽出された音源情報に対して所定の処理を施すこと
   を特徴とする請求項１に記載の音源情報処理装置。
5. 前記音源状況情報取得手段が、前記収音手段以外の情報入力手段から前記音源状況情報を取得すること
   を特徴とする請求項１に記載の音源情報処理装置。
6. 前記音源状況情報取得手段が、前記音源推定手段で推定された音源の音声信号から該音源の内容を推定し、
   前記処理手段が、前記音源の内容を前記音源状況情報として用いること
   を特徴とする請求項１に記載の音源情報処理装置。
7. 前記音源状況情報取得手段が、前記音源推定手段で推定された音源の音源方向について指向性を外して収音された音声信号から、前記推定された音源の音源方向以外の音源の内容を推定し、
   前記処理手段が、前記推定された音源の音源方向以外の音源の内容を前記音源状況情報として用いること
   を特徴とする請求項１に記載の音源情報処理装置。
8. 前記音源状況情報取得手段が、前記音源推定手段で推定した音源の方向情報を入力として所定の音源状況情報に変換し、
   前記処理手段が、前記変換した音源状況情報として用いること
   を特徴とする請求項１に記載の音源情報処理装置。
9. 前記音源推定手段が、音源を推定するとともに推定の確信度を見積もり、
   前記音源状況情報取得手段が、前記推定の確信度を前記音源状況情報として取得し、
   前記処理手段が、前記推定の確信度を前記音源状況情報として用いること
   を特徴とする請求項１に記載の音源情報処理装置。
10. 前記処理手段が、予め格納されている所定の情報を出力すること
    を特徴とする請求項１に記載の音源情報処理装置。
11. 複数の音源の音声信号を収音する収音工程と、
    前記収音工程で収音された音声信号に基づいて少なくとも１つの音源の方向を推定する音源推定工程と、
    前記推定した方向の音源のうち出力対象に関する音源情報を抽出する音源情報抽出工程と、
    前記抽出した音源情報に対して施す処理内容を選択するための、１つまたは複数の音源と周囲の状況のうち少なくとも一方に関する音源状況情報を取得する音源状況情報取得工程と、
    前記音源状況情報に基づいて、前記抽出された音源情報に対して所定の処理を施す処理工程と、
    を備えることを特徴とする音源情報処理方法。
12. 複数の音源の音声信号を収音する収音工程と、
    前記収音工程で収音された音声信号に基づいて少なくとも１つの音源の方向を推定する音源推定工程と、
    前記推定した方向の音源のうち出力対象に関する音源情報を抽出する音源情報抽出工程と、
    前記抽出した音源情報に対して施す処理内容を選択するための、１つまたは複数の音源と周囲の状況のうち少なくとも一方に関する音源状況情報を取得する音源状況情報取得工程と、
    前記音源状況情報に基づいて、前記抽出された音源情報に対して所定の処理を施す処理工程と、
    をコンピュータに実行させることを特徴とする音源情報処理プログラム。
    

Images