JP2007325201A

JP2007325201A - 音源分離法

Info

Publication number: JP2007325201A
Application number: JP2006156206A
Authority: JP
Inventors: Shigeki Matsumoto; 重貴松本; Masayuki Hashimoto; 真幸橋本
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2006-06-05
Filing date: 2006-06-05
Publication date: 2007-12-13

Abstract

【課題】携帯端末において高い分離度で音源を分離することができる音源分離法を提供すること。
【解決手段】携帯端末１は、音源ａ，ｂからの音声を受信する。携帯端末２は、携帯端末１の周囲に存在し、音源ａ，ｂ，ｃからの音声を受信する。携帯端末２は、携帯端末１からの音声情報送信要求に従って受音手段２１での受信による音声情報を主たる携帯端末１に送信する。携帯端末１は、受音手段１１を主たる受音手段とし、携帯端末２の受音手段２１を従たる受音手段とし、両受音手段１１，２１での受信による音声情報を基に音源ａ，ｂの音声を分離する。従たる受音手段は、無線マイクロフォンでもよい。
【選択図】図１

Description

本発明は、音源分離法に関し、特に、複数の受音器を用いた音源分離において、高い分離度で音源分離を行うことができる音源分離法に関する。

複数音源からの音声を離間配置したマイクロフォン(受音器)やマイクロフォンアレイで受信し、それにより得られる音声情報を処理することにより、複数音源からの音声を個々の音声に分離できる。例えば、人の音声に雑音が含まれている場合、人の音声と雑音を互いに分離できる。

特許文献１には、話者音源からの音声と雑音源からの雑音との混合音を第１および第２マイクで受信し、それにより得られる音声情報を処理することにより、話者音源からの音声と雑音源からの雑音を分離する音信号処理方法が記載されている。

特許文献２には、マイクロフォンアレイ装置の各マイクロフォンから出力される信号を処理することにより、目的音を分離する音源分離方法が記載されている。

特許文献３には、互いに離れた２つのマイクロフォンから出力される信号を処理することにより、信号源からの音声と雑音源からの音声を分離する音源分離法が記載されている。

特許文献４には、複数の同時マイクロフォン録音から得られる音声音源や雑音音源などの信号を混合処理して音源分離を行う幾何学的音源分離による信号処理方法が記載されている。
特開２００５−２２７５１２号公報特開２００５−７７７３１号公報特開２００４−３３６２０２号公報特開２００４−５２３７５２号公報

特許文献１−４に記載されているように、複数の受音器で受信される音声を基に複数音源からの音声を個々の音声に分離する場合、一般的に、各音源から各受音器に達する音声の強度が受音器ごとに大きく異なっているほど音声の分離度を高くすることができる。

携帯電話のような携帯端末は、携帯端末使用者の音声以外に周囲から種々の雑音が到来する環境で使用されることが多い。このような携帯端末において、種々の音声から特定の音声、例えば携帯端末使用者の音声を分離しようとしてそれに複数の受音器を設けた場合、携帯端末は幾何学的形状が小さいので、受音器ごとに受信する音声の強度を大きく異ならせることはできない。したがって、音声の分離度を高くすることができないという課題がある。

本発明の目的は、上記課題を解決し、携帯端末において高い分離度で音声を分離することができる音源分離法を提供することを目的としている。

上記課題を解決するため、本発明は、空間的に離れた位置の受音手段により受信した音声を基に音源分離を行う音源分離法において、音源分離を行う主たる携帯端末の受音手段を主たる受音手段とし、これが受信した音声と前記主たる携帯端末の周囲に存在し、前記主たる受音手段が受信する音声と一部同じ音声を受信する従たる受音手段が受信した音声を基に音源分離を行う点に第１の特徴がある。

また、本発明は、前記従たる受音手段が、前記主たる携帯端末の周囲に存在する従たる携帯端末の受音手段であり、前記従たる携帯端末は、前記主たる携帯端末から送信される音声情報送信要求に対して自携帯端末の受音手段での受信による音声情報を前記主たる携帯端末に送信する点に第２の特徴がある。

また、本発明は、前記従たる携帯端末が、前記主たる携帯端末から音声情報送信要求が送信されても自携帯端末の受音手段での受信による音声情報を前記主たる携帯端末に送信しないように設定可能である点に第３の特徴がある。

また、本発明は、前記従たる携帯端末が、公衆網を介して通話中であるときには前記主たる携帯端末から音声情報送信要求が送信されても自携帯端末の受音手段での受信による音声情報を前記主たる携帯端末に送信しないように自動的あるいは手動で設定可能である点に第４の特徴がある。

さらに、本発明は、前記従たる受音手段が、無線マイクロフォンであり、該無線マイクロフォンは、前記主たる携帯端末から送信される音声情報送信要求に対して自無線マイクロフォンでの受信による音声情報を前記主たる携帯端末に送信する点に第５の特徴がある。

上記第１の特徴によれば、音源分離を行う主たる携帯端末の受音手段を主たる受音手段とし、これが受信した音声と主たる携帯端末の周囲に存在する従たる受音手段が受信した音声を基に音源分離を行うので、１つの携帯端末に複数の受音手段を設けて音源分離を行う場合に比較して受音手段間の空間的な離間距離を大きくとることができる。したがって、受音器ごとに受信する音声の強度を大きく異ならせることができ、高い分離度で音源分離を行うことが可能になる。

これにより、携帯端末使用者のみの音声情報を公衆網に伝送し、また、公衆網から送られてきた音声情報と携帯端末使用者の音声情報のみによる音声を音声発生手段により発生させることで周囲の騒音の影響が少ない通話が可能となり、市街地あるいは車中など周囲の騒音が大きな環境で公衆網を介して通話を行う場合に通話音声中に周囲の騒音が入り込んで聞き取りにくい状態をなくすことができる。また、公衆網を介して通話相手に特定の周囲音の音声情報のみを送ることもできる。

上記第２の特徴によれば、音源分離を行う主たる携帯端末とその周囲に存在する少なくとも１個の従たる携帯端末を利用し、従たる携帯端末の受音手段での受信による音声情報を主たる携帯端末に送信するので、主たる携帯端末では強度が大きく異なる複数の音声を基に高い分離度で音源分離を行うことが可能になる。また、主たる携帯端末の使用者が特に意識することなくその周囲に存在する従たる携帯端末を利用できるようになり、また、従たる携帯端末の所有者の手を煩わせることなくその携帯端末の受音手段を従たる受音手段として機能させることが可能になる。

上記第３の特徴によれば、従たる携帯端末の所有者の意志により、自己所有の携帯端末が音源分離に利用されるのを拒否することができる。

上記第４の特徴によれば、公衆網を介しての通話中の携帯端末が音源分離に利用されるのを自動的あるいは手動で拒否することができる。これにより、通信の秘密を保持することができる。

上記第５の特徴によれば、音源分離を行う主たる携帯端末の受音手段および主たる携帯端末の周囲に存在する無線マイクロフォンが受信した音声を基に音源分離を行うので、１つの携帯端末に複数の受音手段を設けて音源分離を行う場合に比較して受音手段間の離間距離を大きくとることができる。したがって、受音器ごとに受信する音声の強度を大きく異ならせることができ、高い分離度で音源分離を行うことが可能になる。

本発明は、音源分離を行う主たる携帯端末の受音手段(主たる受音手段)が受信した音声と主たる携帯端末の周囲に存在し、主たる携帯端末の受音手段が受信する音声と一部同じ音声を受信する従たる受音手段が受信した音声を基に音源分離を行うことを基本構成としているが、以下では、従たる受音手段が主たる携帯端末の周囲に存在する携帯端末(従たる携帯端末)の受音手段であるとして説明する。

以下、図面を参照して本発明を説明する。図１は、本発明に従って動作する音源分離システムの一実施形態を示すブロック図である。携帯端末１，２，３はそれぞれ、受音手段１１，２１，３１、演算制御手段１２，２２，３２、記憶手段１３，２３，３３、音声発生手段１４，２４，３４および無線通信手段１５，２５，３５を備える。

受音手段１１，２１，３１は、音源からの音声を受信し、これにより得られるアナログ信号をデジタル信号に変換する機能を持つ。アナログ信号をデジタル信号に変換する機能は、受音手段１１，２１，３１に代えて演算制御手段１２，２２，３２に持たせることもできる。

演算制御手段１２，２２，３２は、受音手段１１，２１，３１、記憶手段１３，２３，３３、音声発生手段１４，２４，３４および無線通信手段１５，２５，３５を制御するとともに、それらの間のデータの流れを制御する。

また、演算制御手段１２，２２，３２は、自携帯端末が主たる携帯端末として機能するとき、受音手段１１，２１，３１での受信による音声情報と従たる携帯端末から送信されてきた音声情報を演算処理(音源分離処理)し、自携帯端末使用者の音声や特定音源からの音声を分離する。上述のアナログ信号をデジタル信号に変換する機能は演算制御手段１３，２３，３３に持たせてもよい。

記憶手段１３，２３，３３は、受音手段１１，２１，３１での受信によるデジタル信号を音声情報として記憶し、また、演算制御手段１２，２２，３２での音源分離処理により分離された各音声のデジタル信号を音声情報として記憶する。

音声発生手段１４，２４，３４は、演算制御手段１２，２２，３２での音源分離処理により分離された後の音声情報を記憶手段１３，２３，３３から読み出し、これををアナログ信号に変換して音声として出力する機能を持つ。これにより音源分離後の特定の音声情報、例えば携帯端末使用者の音声情報を音声として出力することができる。デジタル信号をアナログ信号に変換する機能は、音声発生手段１４，２４，３４に代えて演算制御手段１２，２２，３２に持たせることもできる。

また、音声発生手段１４，２４，３４は、公衆網５から公衆網基地局４および無線通信手段１５，２５，３５を介して伝送されてきた音声情報を音声として出力する機能も持つ。

無線通信手段１５，２５，３５は、自携帯端末周囲の携帯端末との間で直接通信する無線通信機能(以下、無線通信機能Ａと称する)と公衆網基地局４を介して公衆網５と無線通信を行う無線通信機能(以下、無線通信機能Ｂと称する)を有する。

携帯端末１，２，３は、無線通信機能Ａを用いて、周囲に存在する携帯端末に音声情報送信要求を送信し、この音声情報送信要求に従って周囲の携帯端末から送信されてくる音声情報を受信する機能、および他の携帯端末からの音声情報送信要求を受信し、それに従って自携帯端末の受音手段での受信による音声情報を送信する機能を持つ。

なお、携帯端末は、従たる携帯端末として機能する限りでは、受音手段および無線通信手段を備え、無線通信機能Ａは、他の携帯端末からの音声情報送信要求を受信し、それに従って自携帯端末の受音手段での受信による音声情報を送信する機能だけを持てばよい。すなわち、主たる携帯端末からの声情報送信要求に従って、自携帯端末の受音手段での受信による音声情報を送信するだけでよい。しかし、携帯端末１，２，３は、主たる携帯端末として機能する場合もあるので、全ての携帯端末を同一構成および同一機能としている。

次に、図１の音源分離システムにおける音源分離動作の手順を説明する。図２は、音源分離を行う主たる携帯端末における動作を示すフローチャートであり、図３は、従たる携帯端末における動作を示すフローチャートである。

以下では、携帯端末１が音源分離を行う主たる携帯端末として機能し、携帯端末２が主たる携帯端末１の周囲に存在する従たる携帯端末として機能し、携帯端末３は、携帯端末１の受音手段１１が受信する音声と同じ音声を受信しない、つまり、同じ音源からの音声を受信せず、従たる携帯端末としては機能しないものとする。

まず、主たる携帯端末１は、無線通信機能Ａを用いて自携帯端末の周囲に従たる携帯端末(従たる受音手段)が存在するかどうかを確認する(S21)。

音源分離のための従たる携帯端末となり得るためには、その受音手段で受信される音声の音源の少なくとも一部が主たる携帯端末の受音手段で受信される音声の音源と同じでなければならない。このためには、主たる携帯端末から１ｍないし２０ｍ程度の距離内に存在する携帯端末を探索し、それを従たる携帯端末として選択する必要がある。

このような携帯端末を選択するためには、無線通信機能Ａを利用し、この機能で使用する電磁波の電力を最小値から徐々に増しながら携帯端末を探索し、応答があった順に携帯端末を選択するという手法を採用できる。これにより選択された携帯端末を従たる携帯端末とし、その受音手段を従たる受音手段とする。

以上のように、無線通信機能Ａを利用して従たる携帯端末として動作可能な携帯端末の存在を確認し、少なくとも1個以上で予め決められた最大個数までの従たる携帯端末を確保する。なお、主たる携帯端末の周囲に携帯端末が存在せず、従たる受音手段の確保が不可能な場合には音源分離を放棄する(S22)。

図１の例では、携帯端末２が従たる携帯端末として選択され、その受音手段２１が従たる受音手段として選択される。

次に、携帯端末１は、無線通信機能Ａにより、従たる携帯端末２に対して音声情報送信要求を送信する(S23)とともに、カウンタをリセットした後、それによる計時をスタートさせる(S24)。音声情報送信要求は、従たる携帯端末に対してその受音手段での受信による音声情報の送信を要求するものであり、カウンタは、音声情報送信要求の送信時点からの経過時間を所定クロックによりカウントするものである。

携帯端末２は、主たる携帯端末１から音声情報送信要求を受信すると(S31)、カウンタをリセットした後、それによる計時をスタートさせる(S32)。このカウンタは、音声情報送信要求の受信時点からの経過時間を所定クロックによりカウントするものである。また、携帯端末２は、音声情報送信要求に対する応答として受音手段２１での受信による音声情報を携帯端末１に送信する(S33)。

携帯端末１は、携帯端末２から送信された音声情報を受信し、記憶手段１２に記憶する。また、これと同時に、自携帯端末の受音手段１１での受信による音声情報を記憶手段１２に記憶する(S25)。

次に、携帯端末１の演算制御手段１３は、記憶手段１５に記憶した音声情報を演算処理し、音源ごとの音声情報に分離する(S26)。この分離は、分離後の音声情報間の相関に依存する評価値を用いて行うことができる。例えば、分離後の音声情報間の相関が小さくなるに従って小さい値となる評価値を用いた場合には、結果的にその評価値が小さくなるように分離を行う。

ここで、図１に示すように、携帯端末２の使用者が公衆網５を介して音声通話を行っておらず、携帯端末１の受音手段１１が音源(携帯端末１の使用者)ａおよび音源(雑音源)ｂからの音声を受信し、携帯端末２の受音手段２１が音源ａ，ｂおよび音源(雑音源)ｃからの音声を受信するとすると、携帯端末１，２の受音手段１１，２１で受信される携帯端末１の使用者の音声の強度は大きく異なるが、雑音ｂの強度は同程度となる。主たる携帯端末１では、この強度の差に基づいて自携帯端末で受信による音声情報を基に音源ａからの音声と音源ｂからの音声を分離できる。

音源分離には、複数の受音手段により受信される音声を基に音源分離を行う如何なる手法も採用でき、特定のものに限定されない。これについては既に多くの提案がなされているので説明を省略する。なお、無線通信機能Ａをアドホック(ad hoc)通信を用いて実現する場合には、通信での遅延時間が大きくなる可能性があるので、周波数領域で音源分離を行う手法が好ましい。

携帯端末１は、演算制御手段１３で分離された使用者の音声などを音声発生手段１２で発生させる機能(S27)、無線通信機能Ｂを用いて、携帯端末使用者の音声情報のみあるいは特定の音源からの音声情報を公衆網基地局４を介して公衆網５に送信する機能(S27)、公衆網５から公衆網基地局４を介して音声情報を受信する機能を持つ。

これらの機能において、どの音声を音声発生手段１４で発生させるか、どの音声情報を公衆網基地局４を介して公衆網５に送信するかを選択できるようにすることもできる。これにより、分離された任意の音声を選択して音声発生手段１４で発生させることができ、また、任意の音声情報を選択して公衆網５に送信することができる。この場合、音声発生手段１４と公衆網５に送出する音声が同じでなくてもよい。また、音声発生手段１４での音声の発生と公衆網５への音声情報の送信を同時に行う必要はなく、一方のみでもよく、また、タイミングをずらして行ってもよい。

主たる携帯端末１は、その使用者による音源分離終了操作(S28)があれば音源分離動作を終了する。しかし、音源分離終了操作がなければ、カウンタのカウント値がＴ_１未満であるかを判断する(S29)。

S29で、カウンタのカウント値がＴ_１未満と判断された場合にはS25に戻って従たる携帯端末２からの音声情報の受信・記憶を継続し、音源分離を継続する。ここで、Ｔ_１以上と判断された場合にはS21に戻り、改めて従たる携帯端末が存在するかどうかを確認してからS22以下の処理を行う。

また、従たる携帯端末２は、音声情報送信要求の受信時点からの経過時間をカウントするカウンタのカウント値がＴ_２未満であるかを判断し(S34)、ここで、カウンタのカウント値がＴ_２未満と判断された場合にはS33に戻って受音手段２１での受信による音声情報を携帯端末１に送信し続ける、また、Ｔ_２以上と判断された場合には音声情報の送信を停止(S35)してS31に戻り、主たる携帯端末からの音声情報送信要求の待ち状態となる。

なお、Ｔ_２＞Ｔ_１であり、他の携帯端末から音声情報送信要求が送信されなくなった場合や他の携帯端末からの音声情報送信要求が受信されなくなった場合に待ち状態になるようにする。また、主たる携帯端末からの音声情報送信要求が複数回連続して受信されなかった場合に音声情報の送信を停止するようにすることも好ましい。

音声情報送信要求の待ち状態において、従たる携帯端末２の使用者による音源分離拒否操作(S35)があれば、従たる携帯端末としての機能を強制的に終了することができる。音源分離拒否操作は、携帯端末の使用者が自分の意志で自携帯端末を従たる携帯端末として機能させないようにする操作である。

以上のように、本実施形態では、主たる携帯端末１で、定期的(Ｔ_１ごと)に周囲に携帯端末が存在するかどうかを再確認し、この再確認で確保される携帯端末を従たる携帯端末として利用し得るようにしている。また、従たる携帯端末２では、所定時間Ｔ_２以上に亘り音声情報送信要求を受信しない場合には音声情報の送信を停止するようにして無駄な送信をなくしている。

以上、実施形態について説明したが、本発明は、上記実施形態に限定されない。例えば、携帯端末が公衆網５を介して音声通話を行っている場合、その携帯端末を従たる携帯端末として機能させないようにすることができる。これは、通信の秘密保持の点から望ましいものであり、公衆網５を介して通話中であるときには主たる携帯端末からの音声情報送信要求があっても携帯端末が音声情報を送信しないように自動的あるいは手動で設定可能にすることで実現できる。

また、主たる携帯端末は、従たる携帯端末を複数用いて音源分離を行うこともできる。例えば、図１において、音源分離を行う主たる携帯端末が携帯端末２である場合、携帯端末２は、携帯端末１を従たる携帯端末として機能させることにより音源ａ，ｂの音声を分離でき、さらに携帯端末３を従たる携帯端末として機能させることにより音源ｃの音声を分離できる。

また、上記実施形態では、従たる受音手段として主たる携帯端末の周囲に存在する携帯端末の受音手段を利用したが、従たる受音手段は無線マイクロフォンなどでもよい。この場合、主たる携帯端末の使用者がズボンのポケットなどに無線マイクロフォンを携行することにより、主たる携帯端末から空間的に離れた位置での受信による音声情報を得ることができるので、他の携帯携帯端末の存在を何ら気にすることなく、高い分離度で音源分離を行うことができる。

本発明の音源分離法は、例えば以下の(1)〜(4)のような使用形態となる。
(1)主たる携帯端末が、その周囲に存在する携帯端末の受音手段を従たる受音手段として用いて、主たる携帯端末の使用者の音声を分離し、その音声を公衆網に送信する。また、主たる携帯端末の使用者の音声と公衆網から伝送されてきた音声を主たる携帯端末の音声発生手段で発生させる。
(2)主たる携帯端末が、その周囲に存在する携帯端末の受音手段を従たる受音手段として用いて、主たる携帯端末の受音手段で受信された音声から少なくとも１個の音声(主たる携帯端末の使用者の音声に限られない)を選択し、その音声情報を公衆網に送信する。例えば、主たる携帯端末の使用者の音声とそれ以外の特定の音源からの音声を公衆網に送信する。
(3)互いに近傍に存在する携帯端末の内の複数個がそれぞれ主たる携帯端末として動作し、上記(1)あるいは(2)の動作を行う。主たる携帯端末の使用者でグループを構成し、ＴＶ会議のように相互に会話したり、公衆網を介して遠隔地の話者と会話することなどが可能になる。
(4)主たる携帯端末で選択されたその使用者の音声、公衆網を介して送信されてきた通話中の相手の音声を主たる携帯端末の音声発生手段で発生させる。さらに、これ以外の選択された特定の音声を主たる携帯端末の音声発生手段で発生させて、主たる携帯端末の使用者に周囲音の内の有用な音声を選択的に提供する。このとき、公衆網を介して通話している相手に対して使用者の音声を伝送し、さらに必要に応じて周囲の音声を加えて伝送する。

本発明に従って動作する音源分離システムの一実施形態を示すブロック図である。音源分離を行う主たる携帯端末における動作を示すフローチャートであり、従たる携帯端末における動作を示すフローチャートである。

符号の説明

１，２，３・・・携帯端末、４・・・公衆網基地局、５・・・公衆網１１，２１，３１・・・受音手段、１２，２２，３２・・・演算制御手段、記憶手段・・・１３，２３，３３、１４，２４，３４・・・音声発生手段、１５，２５，３５・・・無線通信手段

Claims

空間的に離れた位置の受音手段により受信した音声を基に音源分離を行う音源分離法において、
音源分離を行う主たる携帯端末の受音手段を主たる受音手段とし、これが受信した音声と前記主たる携帯端末の周囲に存在し、前記主たる受音手段が受信する音声と一部同じ音声を受信する従たる受音手段が受信した音声を基に音源分離を行うことを特徴とする音源分離法。
前記従たる受音手段は、前記主たる携帯端末の周囲に存在する従たる携帯端末の受音手段であり、前記従たる携帯端末は、前記主たる携帯端末から送信される音声情報送信要求に対して自携帯端末の受音手段での受信による音声情報を前記主たる携帯端末に送信することを特徴とする請求項１に記載の音源分離法。
前記従たる携帯端末は、前記主たる携帯端末から音声情報送信要求が送信されても自携帯端末の受音手段での受信による音声情報を前記主たる携帯端末に送信しないように設定可能であることを特徴とする請求項２に記載の音源分離法。
前記従たる携帯端末は、公衆網を介して通話中であるときには前記主たる携帯端末から音声情報送信要求が送信されても自携帯端末の受音手段での受信による音声情報を前記主たる携帯端末に送信しないように自動的あるいは手動で設定可能であることを特徴とする請求項２に記載の音源分離法。
前記従たる受音手段は、無線マイクロフォンであり、該無線マイクロフォンは、前記主たる携帯端末から送信される音声情報送信要求に対して自無線マイクロフォンでの受信による音声情報を前記主たる携帯端末に送信することを特徴とする請求項１に記載の音源分離法。