JP5707871B2 - 音声通話装置及び携帯電話 - Google Patents

Description

本発明は、収音した音声をマスキングするためのマスカ音を出力するマスカ音出力装置及び音声通話装置に関する。

従来、ある音（対象音）が聞こえているときに対象音に近い音響特性（周波数特性など）を持つ別の音が存在した場合、その対象音が聞こえにくくなるという現象（マスキング効果）が一般に知られている。このマスキング効果を利用して、会話の内容が第三者に漏れないようにした所謂スピーチプライバシーと呼ばれる技術が提案されている（例えば、特許文献１参照）。特許文献１には、マイクロフォン（以下、マイクという）で収音した音声の解析結果（音量レベル及び周波数特性など）に応じてホワイトノイズなどの音源に音響処理を施して、第三者に不快感を与えることのない最低限のマスカ音をスピーカから出力する技術が開示されている。

特開２００６−２６７１７４号公報

しかしながら、特許文献１の場合、例えば、音声がマスキングされる領域（以下、マスキング領域という）で話者が携帯電話機などの通信装置で通話したとき、通話先には、話者の音声だけでなく、マスカ音も一緒に送信される。このため、特許文献１では、話者の近くにいる第三者に対して、話者の音声をマスキングすることはできるが、同時に、通信先に対しても話者の音声をマスキングすることになり、通話に支障を来たすおそれがある。

そこで、本発明の目的は、ユーザの近傍にいる第三者に対してはマスカ音を聞かせつつ、通信先にはマスカ音が聞こえないようにして、会話の内容が第三者に漏れることを防止しながら、通信先には明瞭なユーザの音声を送信できる音声通話装置及び携帯電話を提供することにある。

本発明に係るマスカ音出力装置は、収音する収音手段と、マスカ音生成手段と、放音手段と、エコー除去手段と、送信手段とを備える。マスカ音生成手段は、収音手段が収音した音をマスキングするマスカ音を生成する。放音手段は、マスカ音生成手段が生成したマスカ音を出力する。除去手段は、収音手段が収音した音に係る収音信号から、放音手段が出力するマスカ音のエコー成分を除去する。送信手段は、エコー除去手段によりマスカ音のエコー成分が除去された収音信号を、通信可能に接続された外部装置へ送信する。

この構成では、放音手段からマスカ音を出力すると共に、外部装置へ送信すべき収音信号からマスカ音のエコー成分を除去する。これにより、ユーザの近傍にはマスカ音を出力しつつ、通信先にはマスカ音が送信されることがないため、ユーザは、近傍にいる第三者に会話の内容が聞かれるおそれがなく、通信先には明瞭な音声を聞かせることができる。

本発明に係るマスカ音出力装置は、エコー除去手段によりマスカ音のエコー成分が除去された収音信号からノイズを除去するノイズ除去手段をさらに備える。

この構成では、収音信号からさらにノイズを除去するため、通信先によりクリアなユーザの音声を送信できる。

本発明に係るマスカ音出力装置は、算出手段と、報知手段とを備える。算出手段は、放音手段から出力されるマスカ音の放音範囲を算出する。報知手段は、算出手段が算出した放音範囲を報知する。

この構成では、ユーザがマスカ音の放音範囲を把握することができる。

本発明に係るマスカ音出力装置は、前記マスカ音生成手段が複数のマスカ音を生成した場合、マスカ音の選択を受け付ける選択手段をさらに備える。放音手段は、選択手段により選択されたマスカ音を出力する。

この構成では、ユーザが所望のマスカ音を放音手段から出力することができる。

本発明に係る音声通話装置は、本発明に係るマスカ音出力装置と、外部装置から音声信号を受信する受信手段とを備える。マスカ音出力装置の収音手段は、ユーザの音声を収音する。

この構成では、ユーザの近傍にマスカ音を出力しつつ、通信先にはマスカ音が聞こえないようにして、スムーズな通話が可能となる。

本発明によれば、ユーザの近傍にいる第三者に対してはマスカ音を聞かせつつ、通信先にはマスカ音が聞こえないようにして、会話の内容が第三者に漏れることを防止しながら、通信先には明瞭なユーザの音声を送信できる。

実施形態に係る携帯電話機を説明するための模式図である。 携帯電話機の電気的構成を模式的に示すブロック図である。 携帯電話機の制御部で実現される機能を模式的に示すブロック図である。 エコーキャンセル部の構成を示すブロック図である。 ノイズキャンセル部の構成を示すブロック図である。 マスキング領域の範囲を表示部に表示した画面の一例を示す模式図である。 携帯電話機で実行される動作の処理手順を示すフローチャートである。

以下、本発明に係るマスカ音出力装置の好適な実施の形態について図面を参照して説明する。以下に説明する実施形態では、本発明に係るマスカ音出力装置は、通話用のマイク及びスピーカを備えた携帯電話機として説明する。

図１は、本実施形態に係る携帯電話機を説明するための模式図である。図１は、携帯電話機１のユーザＵ１と、離れた場所にいる携帯電話機２のユーザＵ２とが通話しており、ユーザＵ１の近傍にユーザＵ１，Ｕ２の会話には無関係の第三者（以下、聴取者という）Ｕ３がいる状態を示す。携帯電話機１，２は、図示しない無線基地局などを介して通信接続し、それぞれが通話用のマイク及びスピーカを筐体前面に備えている。また、携帯電話機１は、通話用のスピーカとは異なり、例えば着信音を出力するスピーカ（以下、背面スピーカという）１７を筐体背面に備えている。

携帯電話機１は、マイクからユーザＵ１の音声を収音した場合、収音した音声に基づいて、ユーザＵ１の音声をマスキングするマスカ音を生成する。携帯電話機１は、生成したマスカ音を、背面スピーカ１７から出力する。携帯電話機１のユーザＵ１は、背面スピーカ１７の向きを、聴取者Ｕ３がいる方向に向けることで、聴取者Ｕ３の方向に、マスキング領域１００を形成することができる。これにより、携帯電話機１のユーザＵ１は、聴取者Ｕ３に自分の会話の内容が聞き取られないようにできる。

また、携帯電話機１は、背面スピーカ１７から出力されたマスカ音がマイクに回り込み、その回り込んだ音をマイクが収音した場合に、収音した回り込み音を除去する、所謂エコーキャンセル機能を備えている。携帯電話機１のマイクが回り込んだマスカ音を収音し、ユーザＵ１の音声と共に携帯電話機２へ送信した場合、携帯電話機２のユーザＵ２は、ユーザＵ１の音声とマスカ音とが混ざり合って、ユーザＵ１の音声が聞き取り難くなる。このため、携帯電話機１は、回り込み成分を除去することで、ユーザＵ２にユーザＵ１の音声を確実に届けることができる。なお、携帯電話機１の通話先の携帯電話機２は、携帯電話機１と同様に、マスカ音を出力し、エコーキャンセル機能を備える構成であってもよいし、一般的な携帯電話機であってもよい。

以下、携帯電話機１の具体的な構成及び動作についてさらに詳述する。

図２は、携帯電話機１の電気的構成を模式的に示すブロック図である。携帯電話機１は、制御部１０、記憶部１１、表示部１２、操作部１３、通信部１４、音声信号入力部１５、音声信号出力部１６、背面スピーカ１７及び二次電池１８などを備えている。各部はバスにより接続しており、二次電池１８は、制御部１０等に電力を供給し、動作可能にする。

制御部１０は、例えばマイクロコンピュータであり、携帯電話機１全体を制御している。制御部１０は、プログラムを実行するＣＰＵ（Central Processing Unit）、ＣＰＵが実行するプログラムを格納するＲＯＭ(Read Only Memory)、及びプログラム等で使用するデータを一時的に記憶するＲＡＭ(Random Access Memory)などから構成される。制御部１０は、電話の発着信処理や音声通話処理など携帯電話機の一般的な処理に加え、出力するマスカ音に係るデータ（以下、マスカ音データという）の生成処理、マスカ音の出力処理、及びマスカ音の回り込み成分を除去するエコーキャンセル処理等を行う。

記憶部１１は、例えば不揮発性メモリであり、マスカ音データ、アドレス帳データやアプリケーション等のプログラムを不揮発的に記憶する。記憶部１１に記憶されるデータは、制御部１０が生成したデータ又は予め記憶されたデータであってもよい。また、ネットワークを介してダウンロードしたデータであってもよいし、接続したパーソナルコンピュータ（以下、パソコンという）から取り込まれたデータであってもよい。

表示部１２は、携帯電話機１の設定画面及び現在時刻に加え、マスカ音が出力されるマスキング領域１００の範囲等を表示する。マスキング領域１００の範囲は、制御部１０により算出される。操作部１３は、数字又は文字を入力する操作ボタンである。操作部１３は、例えば、マスカ音の出力設定のオンオフ操作、又はマスキング領域１００の表示設定のオンオフ操作などを受け付ける。通信部１４には、アンテナ１４Ａが接続されている。通信部１４は、制御部１０により動作制御され、アンテナ１４Ａを通じて電波を媒体として図示しない基地局に対して音声信号等を送受信する。

音声信号入力部１５は、図示しないＡ／Ｄコンバータを有し、ユーザＵ１の音声を収音するマイク１５Ａが接続されている。ユーザＵ１の音声を収音したマイク１５Ａは、音声信号（収音信号）をＡ／ＤコンバータでＡ／Ｄ変換した後、制御部１０へ出力する。音声信号は、制御部１０でＤ／Ａ変換などの信号処理がなされた後、通信部１４から携帯電話機２へ送信される。

音声信号出力部１６は、図示しないＤ／Ａコンバータ及びアンプなどを有し、スピーカ１６Ａが接続されている。音声信号出力部１６には、通信部１４から制御部１０を通じて入力された音声信号をＤ／Ａ変換し、アンプで振幅（ボリューム）を適切な値に調整した後、スピーカ１６Ａから出力する。

背面スピーカ１７は、制御部１０により出力制御され、制御部１０が生成したマスカ音データに基づくマスカ音を出力する。背面スピーカ１７は、指向性又は無指向性の何れであってもよい。

図３は、携帯電話機１の制御部１０で実現される機能を模式的に示すブロック図である。制御部１０は、送受信部３１、エコーキャンセル部３２、マスカ音データ生成部３３、ノイズキャンセル部３４、マスカ音出力制御部３５及びマスキング領域算出部３６等の機能を有している。

送受信部３１は、通信部１４を通じて携帯電話機２との間で音声信号の送受信を行う。送受信部３１は、携帯電話機２から受信した音声信号を音声信号出力部１６へ出力する。また、送受信部３１は、音声信号入力部１５から入力され、後述のエコーキャンセル部３２及びノイズキャンセル部３４でエコー及びノイズが除去された音声信号を、携帯電話機２へ送信する。

エコーキャンセル部３２は、音声信号入力部１５から入力された音声信号に対してエコーを除去する。スピーカ１６Ａからマスカ音を出力した場合、マイク１５Ａがそのマスカ音を収音することで、音声信号にエコーが含まれることとなる。このため、エコーキャンセル部３２は、適応フィルタを備え、音声信号に対してエコーを除去する。

図４は、エコーキャンセル部３２の構成を示すブロック図である。エコーキャンセル部３２は、適応型フィルタ３２１とポストプロセッサ３２２とを備える。適応型フィルタ３２１は、エコーキャンセル後の信号Ｓｒｅに基づいて、マスカ音の回り込み音の伝達特性を推定し、推定した伝達特性に準じたフィルタ係数を決定する。適応型フィルタ３２１は、決定したフィルタ係数でマスカ音信号Ｓｍをフィルタ処理することで、マスカ音の回り込み音に相当する疑似回帰音信号を生成する。ポストプロセッサ３２２は、音声信号Ｓｒから疑似回帰音信号を減算することで、エコーキャンセル後の信号Ｓｒｅを生成する。このようなエコーキャンセル処理は、エコーキャンセル後の信号Ｓｒｅに含まれる回り込み音成分が０（零）となるように、継続的に適応化される。

したがって、適応後のエコーキャンセル後の信号Ｓｒｅは、略ユーザＵ１の音声のみによって構成されることになる。エコーキャンセル部３２が適応型フィルタ３２１を備えることで、エコーキャンセル部３２は、ユーザＵ１がいる部屋等の残響音又は反射音（伝達特性又は伝達関数）に適応して回り込むマスカ音をより効果的に除去することができる。

なお、携帯電話機１での音声通話開始直後、エコーキャンセル部３２の適応型フィルタ３２１は、エコーキャンセル後の信号Ｓｒｅが取得できず、音声通話開始直後では疑似回帰音信号を生成できない。このため、マスカ音のエコーを除去できず、携帯電話機１，２のユーザＵ１，Ｕ２は、マスカ音のエコーにより、音声通話ができなくなるおそれがある。そこで、音声通話開始直後は、適応型フィルタ３２１に、マスカ音が回り込む時間を推定して決定した初期値のフィルタ係数を設定して、疑似回帰音信号を生成し、収音信号から初期エコーを除去するようにしてもよい。また、携帯電話機１から携帯電話機２へコール中に、ホワイトノイズを出力し、そのホワイトノイズのエコーを利用して、適応型フィルタ３２１に、マスカ音の回り込み音に相当する疑似回帰音信号を生成させるようにしてもよい。

エコーキャンセル部３２がエコーを除去する方法は、適宜変更可能である。例えば、エコーキャンセル部３２は、マスカ音データ生成部３３が生成し、マスカ音として出力されるマスカ音データを、マスカ音データ生成部３３から取得し、取得したマスカ音データと同じ成分を音声信号から除去するようにしてもよい。

ノイズキャンセル部３４は、エコーキャンセル部３２によりエコーが除去された音声信号からさらにノイズを除去する。ノイズとは、マイク１５Ａが収音した、ユーザＵ１の音声以外の定常的に発生する音、例えば、空調設備又はオフィス機器などの雑音などである。

図５は、ノイズキャンセル部３４の構成を示すブロック図である。ノイズキャンセル部３４は、ＦＦＴ（Fast Fourier Transform）３４１、ノイズ推定部３４２、減算器３４３及びＩＦＦＴ（Inverse FFT）３４４を有している。ＦＦＴ３４１は、エコーキャンセル部３２から入力された音声信号に対し高速フーリエ変換処理を行う。一般的にノイズは大きさが定常的で、多くの周波数成分を含む一方、音声信号は大きさが常に変動し、あまり多くの周波数成分を含んでいない。ノイズ推定部３４２は、この二つの信号の性質の違いを利用し、例えば、携帯電話機１から携帯電話機２へのコール中、ユーザＵ１が発話していないときに、時間的な変化が緩やかで定常的な周波数成分をノイズとして疑似ノイズ信号を推定する。そして、ノイズ推定部３４２は、話者の発話中に推定した場合、話者の音声がノイズとして推定されるため、話者が発話していないときに入力された収音信号と推定した疑似ノイズ信号とに基づいて、新たに疑似ノイズ信号を推定する。減算器３４３は、音声信号からノイズ推定部３４２により推定された擬似ノイズ信号を減算する。ＩＦＦＴ３４４は、擬似ノイズ信号を減算した音声信号に対し高速フーリエ逆変換処理を行う。これにより、音声信号からノイズを除去することができる。また、ノイズキャンセル部３４は、エコーキャンセル部３２により除去しきれなかったエコーもノイズとして除去することができるため、話者の音声のみを通信先の携帯電話機２に送信することができる。なお、ノイズキャンセル部３４は、ノイズゲートを備え、所定レベル以下の周波数成分をカットすることで、ノイズを除去するようにしてもよい。

エコーキャンセル部３２及びノイズキャンセル部３４がエコー及びノイズを除去した音声信号は、送受信部３１により、通信部１４を通じて携帯電話機２へ送信される。これにより、携帯電話機２のユーザＵ２は、マスカ音及びノイズを含まないユーザＵ１の音声のみを聞くことになり、ユーザＵ１，Ｕ２は音声通話がし易くなる。

マスカ音データ生成部３３は、エコーキャンセル部３２によりエコーが除去された音声信号に基づいて、マスカ音データを生成する。マスカ音データ生成部３３は、エコーが除去された音声信号からマスカ音データを生成するため、より効果的にユーザＵ１の音声をマスキングできるマスカ音データを生成することができる。マスカ音データ生成部３３によるマスカ音データの生成は、適宜変更可能である。マスカ音データ生成部３３は、音声信号をフーリエ変換した後、周波数スペクトルを抽出し、そのスペクトルに基づいて、マスカ音データを生成してもよい。また、マスカ音データ生成部３３は、記憶部１１に予め記憶しておいたマスカ音データから、音声信号と近似の音響特性を有するマスカ音データを検索してもよいし、音声信号と近似の音響特性を有するノイズデータをマスカ音データとして生成してもよい。また、音声信号に近似するように、記憶部１１に予め記憶しておいたマスカ音データの周波数特性を変更してもよい。さらに、音声信号をフレームに分けて、順序を入れ替えたり、逆再生したりするなど、時間軸上で処理するようにしてもよい。

なお、マスカ音データ生成部３３は、生成したマスカ音データを、音声信号の音響特性等と対応付けて記憶部１１に記憶するようにしてもよい。この場合、以降同じ音響特性を有する音声信号が入力された場合、マスカ音データ生成部３３は、対応するマスカ音データを記憶部１１から取得すればよく、マスカ音を出力するまでの時間を短縮できる。

マスカ音出力制御部３５は、マスカ音データ生成部３３が生成したマスカ音データをＤ／Ａ変換し、アンプで振幅（ボリューム）を、操作部１３などで設定された値に調整した後、背面スピーカ１７からマスカ音として出力する。なお、マスカ音データ生成部３３が複数のマスカ音データを生成した場合、マスカ音出力制御部３５は、操作部１３からユーザＵ１の選択を受け付けて、複数の中から選択されたマスカ音データに基づいて、マスカ音を出力するようにしてもよい。

マスキング領域算出部３６は、マスカ音出力制御部３５によりマスカ音が出力されるマスキング領域１００の範囲を算出する。マスキング領域算出部３６は、マスカ音の出力音量に基づいて、出力されたマスカ音が、携帯電話機１からどの距離まで届くかを算出し、表示部１２へ表示する。

図６は、マスキング領域１００の範囲を表示部１２に表示した画面の一例を示す模式図である。図６に示すように、表示部１２には、携帯電話機１からどの距離までマスキング領域１００が形成されるかを示す画像が尺度Ｍと共に表示される。マスキング領域１００は、出力音量が大きくなると、マスキング領域１００’のようになる。マスキング領域１００は、スピーカ１６Ａの放音方向は視認できるが、どこまでマスカ音が届くかまでは視認できないため、ユーザＵ１は、画像でマスキング領域１００の範囲を確認することで、携帯電話機１の方向及び音量調節をより効果的に行うことができる。

次に、本実施形態に係る携帯電話機１の動作について説明する。図７は、携帯電話機１で実行される動作の処理手順を示すフローチャートである。

制御部１０は、携帯電話機２との音声通話を開始するか否かを判定する（Ｓ１）。音声通話を開始しない場合（Ｓ１：ＮＯ）、制御部１０は本処理を終了する。音声通話を開始する場合（Ｓ１：ＹＥＳ）、制御部１０は、マスカ音の出力設定がオンであるか否かを判定する（Ｓ２）。マスカ音の出力設定は、例えば操作部１３から行われる。出力設定がオンでない場合（Ｓ２：ＮＯ）、制御部１０は、Ｓ９の処理に移る。出力設定がオンの場合（Ｓ２：ＹＥＳ）、制御部１０は、マイク１５Ａが収音した音声に係る音声信号から、出力されるマスカ音の回り込み成分であるエコー及びノイズを除去する（Ｓ３）。続いて、制御部１０は、エコーを除去した音声信号に基づいて、マスカ音データを生成する（Ｓ４）。

次に、制御部１０は、マスキング領域１００の表示設定がオンであるか否かを判定する（Ｓ５）。表示設定は、例えば操作部１３から行われる。表示設定がオンである場合（Ｓ５：ＹＥＳ）、制御部１０は、マスカ音の出力音量に基づいて、マスキング領域１００を算出する（Ｓ６）。そして、制御部１０は、算出したマスキング領域１００を表示部１２へ表示する（Ｓ７）。制御部１０は、Ｓ４で生成したマスカ音データに基づいて、背面スピーカ１７からマスカ音を出力する（Ｓ８）。一方、Ｓ５において、表示設定がオンでない場合（Ｓ５：ＮＯ）、制御部１０は、Ｓ８の処理に移る。

制御部１０は、携帯電話機２との音声通話を実行する（Ｓ９）。具体的には、マスカ音の出力設定がオンである場合には、制御部１０は、マイク１５Ａで収音し、生成した音声信号から、エコー及びノイズを除去した音声信号を携帯電話機２へ送信する。マスカ音の出力設定がオンでない場合には、制御部１０は、マイク１５Ａで収音し、生成した音声信号をそのまま携帯電話機２へ送信する。また、制御部１０は、携帯電話機２から受信した音声信号をスピーカ１６Ａから出力する。そして、制御部１０は、携帯電話機２との音声通話を終了するか否かを判定する（Ｓ１０）。終了しない場合（Ｓ１０：ＮＯ）、制御部１０は、Ｓ２の処理を実行する。終了する場合（Ｓ１０：ＹＥＳ）、制御部１０は本処理を終了する。

以上説明したように、本実施形態では、ユーザＵ１の音声をマスキングするマスカ音を背面スピーカ１７から出力すると共に、通信先の携帯電話機２へ送信すべき音声信号からマスカ音の回り込み成分を除去している。これにより、ユーザＵ１の近傍にはマスカ音を出力しつつ、通信先にはマスカ音が送信されることがないため、ユーザＵ１は、近傍にいる聴取者Ｕ３にユーザＵ１の会話の内容が聞かれなるおそれがなく、通信先のユーザＵ２とはスムーズに通話することができる。また、ユーザＵ１は、背面スピーカ１７の向きを変えるだけで、マスキング領域１００を所望の位置に形成することができる。このため、聴取者Ｕ３がどの位置にいても、ユーザＵ１は、自身の会話が聞かれないようにすることができる。

なお、本発明に係るマスカ音出力装置の具体的構成などは、適宜設計変更可能であり、上述の実施形態に記載された作用及び効果は、本発明から生じる最も好適な作用及び効果を列挙したに過ぎず、本発明による作用及び効果は、上述の実施形態に記載されたものに限定されるものではない。上述の本実施形態では、本発明に係るマスカ音出力装置を、携帯電話機１として説明したが、ＩＰ（Internet Protocol）電話など、マイク及びスピーカを備え、音声通話が可能なＰＤＡ（Personal Digital Assistant）又はパソコンなどであってもよいし、有線の固定電話機又はその子機であってもよく、適宜変更可能である。

１−携帯電話機（音声通話装置）、２−携帯電話機（外部装置）、１２−表示部（報知手段）、１３−操作部（選択手段）、１４−通信部（送信手段）、１５Ａ−マイク（収音手段）、１７−背面スピーカ（放音手段）、３３−マスカ音データ生成部（マスカ音生成手段）、３２−エコーキャンセル部（エコー除去手段）、３４−ノイズキャンセル部（ノイズ除去手段）、１００−マスキング領域（放音範囲）

Claims (4)

1. 外部装置から音声信号を受信する受信手段と、
   ユーザの音声を収音する収音手段と、
   該収音手段が収音した音をマスキングするマスカ音を生成するマスカ音生成手段と、
   該マスカ音生成手段が生成したマスカ音を出力する放音手段と、
   該収音手段が収音した音に係る収音信号から、前記放音手段が出力するマスカ音のエコー成分を除去するエコー除去手段と、
   該エコー除去手段によりマスカ音のエコー成分が除去された収音信号を、通信可能に接続された外部装置へ送信する送信手段と、
   前記放音手段から出力されるマスカ音の放音範囲を算出する算出手段と、
   該算出手段が算出した放音範囲を、どの距離までマスキング領域が形成されるかを示す画像として尺度と共に表示する表示手段と
   を備えることを特徴とする音声通話装置。
2. 前記エコー除去手段によりマスカ音のエコー成分が除去された収音信号からノイズを除去するノイズ除去手段
   をさらに備えることを特徴とする請求項１に記載の音声通話装置。
3. 前記マスカ音生成手段が複数のマスカ音を生成した場合、
   マスカ音の選択を受け付ける選択手段
   をさらに備え、
   前記放音手段は、
   前記選択手段により選択されたマスカ音を出力する
   ことを特徴とする請求項１又は２に記載の音声通話装置。
4. 請求項１乃至３の何れか一つに記載の音声通話装置からなる携帯電話。

Images