JP6111795B2 - 信号処理装置、及び信号処理方法 - Google Patents

Description

本発明は、信号処理装置、及び信号処理方法に関する。

通話を目的とした電話機などの全二重の送受信機では、マイクロフォンとスピーカを備えている。この場合、スピーカから出力された音をマイクロフォンが拾い、この音がネットワークを経由してスピーカから出力されることによって、エコーが発生することがある。このエコーを音響エコーと呼ぶ。この音響エコーを防止する処理を音響エコーキャンセルと呼ぶ。そして、音響エコーキャンセルを行う処理をつかさどる処理部を音響エコーキャンセラと呼ぶ。

通常の固定電話機、又は携帯電話において、ハンズフリー機能を用いた場合には、スピーカからマイクロフォンへの音の回り込みの量がより大きくなる。このため、明瞭な通話を実現するために、音響エコーキャンセルを行うことが非常に重要となる。電話会議用のシステムなどにおいても同様である。また、通常の固定電話機、又は携帯電話においても、スピーカ等からマイクロフォンへの音声の回り込みが発生するため、音響エコーキャンセルの処理を行うことは重要である。

音響エコーキャンセルの処理には、音声信号を時間領域で処理する方式と、音声信号を周波数領域の信号に変換して処理する方式等が存在する。現在の電話機では、マイクロフォンで検出された音声信号は、ＡＤ変換部によりディジタル信号に変換され、その後、ディジタル処理されるのが普通である。この場合の音響エコーキャンセラは、ディジタル信号を時間領域から周波数領域に変換した信号を用いるのが一般的である。

また、電話機には、通話相手の音声の音程を維持しつつそのスピードを遅く、或いは速くする話速変換機能を搭載したものがある。電話機の用途においては、話し相手の話の内容を聞き取りやすくするため、主として音声のスピードを遅くする話速変換が利用される。この話速変換は、通常、時間領域で処理される。

このように、電話機においては、その他の処理も含めて、時間領域での処理を必要とするものと、周波数領域での処理を必要とするものとが複数存在する。この場合、サンプリングされたディジタル信号の複数のサンプリング値を１つのフレームとし、フレーム単位でのディジタル処理が行われることが多い。そして、フレーム単位で、時間領域の信号のフレームから周波数領域の信号のフレームに変換する時間周波数変換、及び、周波数領域の信号のフレームから時間領域の信号のフレームに変換する周波数時間変換が利用されている。

図１は、電話機の機能ブロック図の一例を示している。受話音信号１００は、受話音信号の周波数領域の信号であり、ＡＧＣ処理、ノイズ除去処理、音声強調処理等の加工処理（何れも不図示）を経た信号であってもよい。

周波数時間変換部１１０は、周波数領域の受話音信号１００を時間領域の信号１１１に変換し、話速変換部１１２に与える。話速変換部１１２は、時間領域の信号１１１に話速変換処理を施し、時間領域の話速変換後の信号１１３を出力し、スピーカ１１４に与えると共に、時間周波数変換部１０８にも与える。

時間周波数変換部１０８は、時間領域の話速変換後の信号１１３を、周波数領域の信号１０９Ａに変換し、音響エコーキャンセラ１０６に与える。

スピーカ１１４から出力されたアナログ音響信号１２０は、空気中及び電話機の筐体などを通じてマイクロフォン１０２に到達する。マイクロフォン１０２は、スピーカ１１４からのアナログ音響信号１２０の一部を、ディジタルの時間領域の送話音信号１０３に変換する。なお、ＡＤ変換部、ＤＡ変換部、及び増幅部等は、簡略化のため図示していない。

時間周波数変換部１０４は、時間領域の送話音信号１０３を周波数領域の送話音信号１０５に変換し、音響エコーキャンセラ１０６に与える。

ここで、話速変換部１１２から、スピーカ１１４と、マイクロフォン１０２と、時間周波数変換部１０４とを介し、音響エコーキャンセラ１０６に至る信号伝達経路には、所定の伝達特性が存在する。周波数領域の送話音信号１０５には、時間領域の話速変換後の信号１１３に伝達特性を考慮した信号が混入している。この混入した信号が音響エコーの原因となる。

音響エコーキャンセラ１０６は、例えば、この混入した信号を打ち消すように、周波数領域の信号１０９Ａと、伝達特性を基にした周波数領域における適応フィルタ（不図示）を用いることによって、周波数領域の送話音信号１０５の処理を行う。この処理によって、音響エコーの発生が抑制される。音響エコーキャンセラ１０６は、音響エコーを抑止した周波数領域の送話音信号１３０を出力する。

なお、電話回線を介して到来する通話相手の音声信号の時間軸を変更する話速変換手段と、側音信号（エコー）を消去するエコーキャンセラ部とを備え、話速変換部の前段に設けられたエコーキャンセラ部によって側音を除去し、側音が話速変換部に到達しないようにし、話者が話速変換された側音によって喋り難くなることを防止する技術が存在する（例えば、特許文献１参照）。

また、入力信号の適応的話速変換を行う話速変換装置であって、入力信号を単位時間毎に分割した各セグメントについて、当該入力信号の物理指標を算出する物理指標算出部と、前記物理指標算出部によって算出した物理指標に応じて、入力信号の各セグメントに指定すべき話速変換の倍率を決定して話速変換を行う話速変換倍率決定部と、を備える技術が存在する。この技術では、背景音と音声が混合している入力信号に対しても、安定して話速変換が行える（例えば、特許文献２参照）。

特開２００１−１６３１９号公報 特開２０１１−３３７８９号公報

上述のように、音響エコーキャンセラの処理において、周波数領域の信号が必要な方式を採用した場合、話速変換後の時間領域の信号を周波数領域の信号に変換する処理を行わなければならない。話速変換処理の前まで周波数領域の信号が存在しても、この周波数領域の信号は、話速変換のために時間領域の信号に変換される。したがって、話速変換後の信号の周波数領域の信号を音響エコーキャンセラに提供するためには、再度時間周波数変換によって、話速変換後の信号の周波数量域への変換処理が必要となる。これは、信号を変換するために多くのリソースを必要とすることを意味する。

本実施形態は、上述のような信号処理におけるリソースの消費を低減させることを目的とする。

一実施形態によれば、音響エコーキャンセラに、受話信号の周波数領域の信号のフレームを与える信号処理装置であって、前記受話信号の話速を変化させる話速変換処理の前の周波数領域の受話音信号の複数のフレームを受け取る第１の受取部と、フレーム単位に前記話速変換処理が行われた、複数の話速変換後の時間領域の信号を受け取る第２の受取部と、前記信号処理装置が処理しているフレームに位置する、前記話速変換後の時間領域の信号と、前記前記話速変換後の時間領域の信号に対応する前記周波数領域の受話音信号のフレームと、に基づいて、前記音響エコーキャンセラに与えるための前記受話信号の周波数領域の信号のフレームを合成する、周波数領域フレーム合成部と、を有する、信号処理装置が提供される。

本実施形態により、一側面では、信号処理におけるリソースの消費を低減させることができる。

話速変換処理と実施形態との関係を説明する図である。 話速変換処理における信号処理と、本発明の実施形態との関係を示す図である。 一実施形態の機能ブロック図である。 一実施形態の詳細な機能ブロック図である。 一実施形態のハードウェア構成図である。 一実施形態の移動端末の構成図である。 一実施形態の方法の概略を示すフローチャートである。 一実施形態の周波数領域信号の推定方法を示すフローチャートである。

以下、図面を参照しながら、実施形態について説明する。同じ対象には、異なる図においても同じ参照番号が付されていることに留意すべきである。

図２は、話速変換処理における信号処理と、本発明の実施形態との関係を示している。

実施形態におけるディジタルの信号処理では、所定の数のディジタル値を１つのフレームとして処理してもよい。たとえば、８ｋＨｚのサンプリング周波数で、音響信号のデータをサンプリングし、１６０サンプルを１フレームとして処理してもよい。この場合は、１フレームが、２０ｍＳｅｃとなる。データの各種の処理は、フレーム単位に行うことができる。また、256サンプルのデータを時間周波数変換すると、サンプリング定理により、128個の周波数ビン（スペクトル）を持つ周波数領域の信号に変換され得る。また、下記に説明する時間周波数変換、及び周波数時間変換は、例えばフーリエ変換（ＦＦＴ）、及び逆フーリエ変換（ＩＦＦＴ）を用いることができる。なお、変換は、フーリエ変換に限られない。

また、以下の説明では、各種の信号処理は、フレームを単位として順次処理される。なお、信号が停滞すること無く処理されるようにするため、全ての信号処理に要する時間は、１フレームの時間未満になるように設計することが望ましい。なお、１つのフレームが処理される時刻は、各処理において異なるが、図においては、同じフレーム番号のフレームは、分かりやすいように同じ縦位置に整列した形で示されている点に留意すべきである。

なお、本明細書では、時間領域の信号を時間周波数変換した情報を周波数領域の信号と呼ぶ。また、所定の数のサンプリングデータを含む１つのフレームを時間領域の信号のフレームと呼ぶ。そして、この時間領域の信号のフレームを時間周波数変換した後の信号を、周波数領域の信号のフレームと呼ぶ。

図２において、最上段のフレーム番号２１０は、各フレームに付された番号を示している。音声判定２２０は、例えば、話速変換部１１２において実行されてもよい。回線を経由して受信した受話音信号が音声と判断された場合には「Ｓ」、音声以外のノイズなどの無音声と判断された場合には「Ｎ」と判断される。

このように、音声であるか否かを判断するのは、話速変換部１１２において、音声の受話音信号部分を伸張し、音声以外の信号部部分は、必要に応じてカット（又は圧縮）する処理を行う。このようにして、話速変換部１１２は、単語間の無音声部分を圧縮することで、音声部分により伸張された時間を吸収する。音声判定２２０は、当業者に知られている音声検出の技法を用いればよい。

音声と判断された受話音信号部分は、予め定められた伸張倍率に近い倍率で伸張される。話速変換技術としては、例えば、PICOLA法、STRAIGHT法など、種々の技術が提案されている。本実施形態では、当業者に知られている既知の話速変換技術を用いることができる。このため、話速変換技術についての説明は、本明細書において省略する。

図２に示す受話音信号１００は、周波数領域の信号である。通信回線から受信された信号は、周波数領域において種々の信号処理（例えば、不図示のＡＧＣ処理、強調処理、ノイズ除去処理）を施すために、周波数領域の信号に変換される。受話音信号１００は、必要に応じて、このような信号処理を経た後の信号である。

周波数領域の受話音信号１００の各フレーム（フレーム１００−１ないしフレーム１００−５）は、周波数時間変換部１１０において、時間領域の話速変換前の信号１１１の各フレーム（フレーム１１１−１ないしフレーム１１１−５）に順次フレーム単位で変換される。話速変換処理は、時間領域の信号を用いるため、時間領域の信号に変換することが望ましい。

図２の伸張率２４０の欄に示されるように、話速変換部１１２は、各フレームを伸張率で伸張又は圧縮する。本実施形態の場合、音声部分は、伸張するため、伸張率は１よりも大きくなる。無音声部分のフレームは、伸張したことによってフレームが伸張された時間を相殺するために、長さが圧縮されるか、ゼロとされる。なお、伸張率が一定でないのは、フレーム毎の音声パターンに応じて、自然な形で伸張しているためである。

そして、図２には、時間領域の話速変換後の信号１１３の例が示されている。すなわちフレーム１１１−１は、１．２倍に伸張され信号１１３ａとなっている。フレーム１１１−２は、２．０倍伸張され、信号１１３ｂとなっている。フレーム１１１−３は、無音声部分であるため、カットされ（０倍の伸張）、消滅している。フレーム１１１−４も、無音声部分であるが、フレーム番号（４）のフレームを埋めるため、０．８倍され、信号１１３ｃとなっている。フレーム１１１−５は、１．１倍伸張され、信号１１３ｄとなっている。なお、フレーム番号（５）までが、現在時刻までに処理を終了したフレームであり、その直後に現在時刻が存在することになる。このため、フレーム（５）以降は図示されていない。

電話機では、リアルタイムでの音声処理が行われるため、現在時刻の直前に取得されたフレームが、音響エコーキャンセルなどの処理における受話音信号の処理対象フレームとすることが望ましい。もっとも、ＡＤ／ＤＡ変換、時間周波数変換、周波数時間変換などの処理は、フレームを単位として実行されるため、完全なリアルタイム性が担保できるわけではないことは、他のディジタル信号処理と同様である。

そして、例えば、図１に示した時間周波数変換部１０８を利用した場合、図２の周波数領域の話速変換後の信号１０９Ａ（フレーム１０９−１ないしフレーム１０９−５）が得られる。

まず、フレーム番号（１）についてより詳しく分析すると、以下の通りである。すなわち、フレーム番号（１）の話速変換前の信号のフレーム１１１−１は、時間領域の話速変換後の信号１１３ａで、１．２倍に伸張されている。しかしながら、話速変換においては、音声のピッチを維持したまま音声の時間的長さを伸張させる。このため、フレーム番号（１）における受話音信号のフレーム１００−１の周波数成分と周波数領域の話速変換後のフレーム１０９−１は、同じ（厳密には極めて類似した）周波数成分を持ち得ることとなる。

上記のことは、話速変換が、音声のピッチを維持するように動作することが前提となっており、周波数成分を変化させないようにして音声の長さだけを変化させるよう設計されるからである。現実にインプリメントされた話速変換においても、極めて僅かな周波数成分の変動が観察されるに止まるものである。

したがって、一般的には、話速変換の前後において、変換前のフレームを伸張させた信号を有する話速変換後のフレームは、話速変換の後においても周波数成分が維持されることを意味する。このため、以下のフレームの対は、同じ（極めて近似した）周波数成分を持つことになる。

フレーム１００−１：フレーム１０９−１
フレーム１００−２：フレーム１０９−３
フレーム１００−５：フレーム１０９−５
次に、図２におけるフレーム番号（２）を例として、以下の検討を行う。

すなわち、時間領域の話速変換後の信号のフレーム１１３−２では、フレーム１１１−１の信号（すなわち信号１１３ａ）が２割、フレーム１１１−２の信号（すなわち信号１１３ｂ）が８割存在する。したがって、エルゴード性の仮説から、周波数領域の話速変換後の信号のフレーム１０９−２には、フレーム１００−１の周波数成分の２割と、フレーム１００−２の周波数成分８割が含まれることとなる。

図２の欄２６０には、話速変換後の信号に含まれる話速変換前のフレームの周波数成分の比率を簡略化した形で示している。

以上のことは、話速変換前の周波数領域の信号と、話速変換後の時間領域の信号の伸張率に関する情報から、話速変換後の周波数領域の信号が、フレーム単位で推定できることを意味している。

一般的な式を用いて表現すれば、以下の通りである。

ここで、
P(n₀,f)：話速変換後の周波数領域の信号のn₀フレームの周波数成分f の振幅
F(n_−k,f)：話速変換前の周波数領域の信号のn_−kフレームの周波数成分f の振幅
α_−k：話速変換前の時間領域の信号のn_−kフレームの話速変換後の信号が、n₀フレーム内において占める比率
また、添え字は、フレームの相対的な時間的位置関係を意味しており、n₀は、現在処理しているフレームの番号を意味する。そして、フレームn_−１は、フレームn₀よりも、時間的に１つ前（過去）のフレームを意味する。したがって、n_−ｍは、フレームn₀よりも、時間的にｍ個前（過去）のフレームを意味する。ｍの値は、１つ前（過去）の処理フェーズで利用された話速変換前の周波数領域の信号のフレームのうち、一番現在に近いフレームを指す値に設定すればよい。

上式において、例えば、図２のフレーム番号（１）では、ｍ＝０であり、α₀＝１である。フレーム番号（２）においては、ｍ＝１であり、α₀＝０．８、α₋₁＝０．２である。フレーム番号（３）においては、ｍ＝１であり、α₀＝０、α₋₁＝１である。フレーム番号（４）においては、ｍ＝２であり、α₀＝０．８、α₋₁＝０、α₋₁＝０．２である。フレーム番号（５）では、ｍ＝０であり、α₀＝１である。

図３は、一実施形態の機能ブロック図を示している。図３は、図１における時間周波数変換部１０８を、実施形態である話速変換信号の周波数領域信号推定部３０８に置き換えたものである。図３におけるその他の構成は、図１と同様であってもよい。

図３の話速変換信号の周波数領域信号推定部３０８は、図２に示した、周波数領域の変換後の信号１０９Ａを、式（１）を用いて、推定された周波数領域の話速変換後の信号１０９Ｂを、音響エコーキャンセラ１０６に与える。このため、話速変換信号の周波数領域信号推定部３０８は、時間領域の話速変換後の信号１１３と、周波数領域の受話音信号１００を受け取り利用する。

図３における音響エコーキャンセラ１０６は、当業者において種々の方式が知られている。例えば、時間領域の話速変換後の信号１１３がスピーカ１１４と、マイクロフォン１０２と、時間周波数変換部１０４とを介して音響エコーキャンセラ１０６に混入する信号を打ち消すように、周波数領域の送話音信号１０５から、推定された周波数領域の信号１０９Ｂを単純に差し引いてもよい。

或いは、既に述べたように、話速変換部１１２から、スピーカ１１４と、マイクロフォン１０２と、時間周波数変換部１０４とを介し、音響エコーキャンセラ１０６に至る信号伝達経路の伝達特性が存在する。周波数領域の送話音信号１０５には、時間領域の話速変換後の信号１１３に伝達特性を考慮した信号が混入している。この混入した信号が音響エコーの原因となる。音響エコーキャンセラ１０６は、例えば、この混入した信号を打ち消すように、周波数領域の信号１０９Ｂと、伝達特性を基にした周波数領域での適応フィルタを用いることによって、周波数領域の送話音信号１０５から音響エコー成分の除去の処理を行ってもよい。

また、時間領域での信号処理を組み合わせて、音響エコーキャンセルの処理を行ってもよい。

本実施形態の話速変換信号の周波数領域信号推定部３０８は、周波数領域の信号を処理するいかなるタイプの音響エコーキャンセラ１０６に利用してもよい。話速変換信号の周波数領域信号推定部３０８は、信号処理装置の一例である。

図４は、一実施形態の詳細な機能ブロック図である。話速変換信号の周波数領域信号推定部３０８は、第１の受取部４１０と、第２の受取部４２０と、周波数領域フレーム合成部４３０とを有してもよい。

そして、周波数領域フレーム合成部４３０は、フレーム割合特定部４３２と、重み付け加算部４３４とを含んでもよい。

第１の受取部４１０は、周波数領域の受話音信号１００を受け取る。そして、第１の受取部４１０は、受け取った周波数領域の受話音信号１００を重み付け加算部４３４に与えてもよい。

第２の受取部４２０は、時間領域の話速変換後の信号１１３を受け取る。そして、第２の受取部４２０は、受け取った時間領域の話速変換後の信号１１３をフレーム割合特定部４３２に与えてもよい。

フレーム割合特定部４３２は、図２において示したように、現在処理しているフレームに含まれる時間領域の話速変換後の信号１１３の内容をチェックする。例えば、現在処理しているフレームが、図２におけるフレーム番号（２）である場合、時間領域の話速変換後の信号のフレーム１１３−２に含まれる信号１１３ａと、信号１１３ｂとを特定し、かつ、フレーム１１３−２内における信号１１３ａの割合（すなわち、０．２）と、信号１１３ｂの割合（すなわち０．８）を特定することができる。フレーム割合特定部４３２は、この特定された情報を、重み付け加算部４３４に与える。

なお、現在処理しているフレームとは、現在時刻における直近の過去のサンプリング済みフレームであることが望ましい。電話などの通信機器に、本実施形態を用いた場合には、可能な限り音声処理の時間遅れを小さくすることが重要だからである。

そして、重み付け加算部４３４は、例えば、受け取った情報１１３ａから、周波数領域の受話音信号１００のフレーム１００−１を特定する。また、受け取った情報１１３ｂから、周波数領域の受話音信号１００のフレーム１００−２を特定する。

重み付け加算部４３４は、これらの情報から、具体的に以下の計算を行い、推定された話速変換信号の周波数領域の信号１０９Ｂ（P(2,f)）を以下のように計算する。

P(2,f)＝0.2×F(1,f)+ 0.8×F(2,f)
推定された話速変換信号の周波数領域の信号１０９Ｂを求める一般式は、式（１）に示したとおりである。

なお、第１の受取部及び第２の受取部は、受け取った情報をメモリに順次格納しておくことが望ましい。そして、第１の受取部及び第２の受取部は、受け取った情報がどの部分まで、周波数領域フレーム合成部で利用されたかを記憶しておくことが望ましい。この記憶を行っておくことによって、話速変換信号の周波数領域信号推定部３０８が、次のフレームで処理するべき情報を容易に特定することができる。

図５は、例えば、図３及び図４に示す実施形態をコンピュータが実行するためのハードウェア構成を示している。

本実施形態のハードウェアは、動的メモリ５０２、静的メモリ５０４、外部メモリインタフェース５０６、処理装置（プロセッサ）５０８、表示制御部５１０、通信制御部５１２、入出力インターフェース５１４を有してもよい。そして、これらは、バス５２０によって相互接続される。

表示装置５１１は表示制御部５１０に接続される。送信機、受信機、ネットワーク等５１３は、通信制御部５１２に接続される。キーボード、タッチパネル等５１５は、入出力インターフェース５１４に接続される。また、マイクロフォン、スピーカ等５１７は、ＡＤ／ＤＡ変換部５１６を介して、入出力インターフェース５１４に接続される。

また、外部メモリインタフェース５０６は、可搬記憶媒体５０７を読み書きすることができる。

動的メモリ５０２、静的メモリ５０４、又は可搬記憶媒体５０７には、本実施形態をインプリメントするプログラムの一部又は全部が格納されてもよい。また、このプログラムのソース及び、ソースに関連する世代等の管理情報が格納されてもよい。実施形態の一部又は全部を実現するプログラムは、処理装置（プロセッサ）５０８によって実行され得る。

図３及び図４に記載された、実施形態の一部又は全部は、図１０に記載されたハードウェアによって、実現されてもよい。

また、実施形態の一部又は全部は、ＤＳＰ（ディジタルシグナルプロセッサ、不図示）によって実現されてもよい。

プログラムは、可搬記憶媒体５０７に格納することができる。可搬記憶媒体５０７とは、構造（ｓｔｒｕｃｔｕｒｅ）を有する１つ以上の非一時的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）な記憶媒体を言う。例示として、可搬記憶媒体５０７としては、磁気記録媒体、光ディスク、光磁気記録媒体、不揮発性メモリなどがある。磁気記録媒体には、ＨＤＤ、フレキシブルディスク（ＦＤ）、磁気テープ（ＭＴ）などがある。光ディスクには、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ（Ｒｅｃｏｒｄａｂｌｅ）／ＲＷ（ＲｅＷｒｉｔａｂｌｅ）などがある。また、光磁気記録媒体には、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）などがある。不揮発性メモリには、ＳＤメモリ、ＵＳＢメモリなどがある。可搬記憶媒体５０７に格納されたプログラムが読み込まれ、プロセッサによって実行されることにより、実施形態の全部又は一部が実施され得る。

図６は、一実施形態の移動端末６００の構成を示している。移動端末６００は、送話音声を入力するマイクロフォン６１０、送話音声を増幅する増幅器６２０、送話音声をディジタル信号に変換するＡＤ変換部６３０、送話音声を処理する音声処理部６４０を含んでもよい。移動端末６００は、更に送話音声を符号化する音声符号化部６５０、送話音声のディジタル信号にベースバンド処理を施すベースバンド信号処理部６６０を含んでもよい。移動端末６００は、更にベースバンド信号をアナログ信号に変換するＤＡ変換部６７０、無線信号を送受信するＲＦ送受信部６８０、無線信号を空中に発射し又は無線信号を受信するアンテナ６９０を有してもよい。移動端末６００は、更に受話音信号をディジタルに変換するＡＤ変換部６７１、受話音信号のディジタル信号にベースバンド処理を施すベースバンド信号処理部６６１を含んでもよい。移動端末６００は、更に受話音信号の復号化を行う音声復号化部６５１、受話音信号の処理を行う音声処理部６４１を含んでもよい。移動端末６００は、更に受話音信号をアナログ信号に変換するＤＡ変換部６３１、受話音信号を増幅する増幅器６２１、受話音声を出力するスピーカ６１１、話速変換信号の周波数領域信号推定部３０８を有してもよい。

話速変換信号の周波数領域信号推定部３０８は、図３及び図４において説明した。

図７は、一実施形態の方法の概略を示すフローチャートである。

ステップ７０２で、第１の受取部４１０は、周波数領域の受話音信号１００を受け取る。

ステップ７０４で、周波数時間変換部１１０は、周波数領域の受話音信号１００を時間領域の信号１１１に変換する。

ステップ７０６で、話速変換部１１２は、時間領域の信号１１１を話速変換する。

ステップ７０８で、第２の受取部４２０は、話速変換後の信号１１３を受け取る。

ステップ７１０で、周波数領域フレーム合成部４３０は、周波数領域の受話音信号１００と、話速変換後の信号１１３とから、話速変換信号の周波数領域の信号の合成（推定）を行う。

ステップ７１２で、音響エコーキャンセラ１０６は、音響エコーのキャンセリング処理を行う。

以上の処理によって、音響エコーのキャンセリング処理が、より少ないリソースで実行される。

図８は、一実施形態の周波数領域の信号の推定方法を示すフローチャートを示している。

ステップ８０２で、フレーム割合特定部４３２は、現在処理しているフレームの時間範囲に含まれる話速変換後の各フレームの時間範囲の長さに対する割合を特定する。

ステップ８０４で、重み付け加算部４３４は、時間範囲に存在する時間領域の信号に対応する周波数領域のフレームの各周波数成分を、各フレームの割合を用いて重み付け加算する。重み付け加算部４３４は、この処理によって、話速変換信号の推定された周波数領域の信号１０９Ｂを、音響エコーキャンセラ１０６に与える。

以上の処理によって、音響エコーキャンセラ１０６は、音響エコーのキャンセリング処理を実行することができる。

以上、図面を用いて実施形態を詳細に説明した。なお、上述の記載は、実施形態を理解するためのものであり、実施形態の範囲を限定するためのものではない点に留意すべきである。また、上述の複数の実施形態は、相互に排他的なものではない。したがって、矛盾が生じない限り、異なる実施形態の各要素を組み合わせることも意図されていることに留意すべきである。また、請求項に記載された方法、及びプログラムに係る実施形態は、矛盾のない限り処理の順番を入れ替え、或いはスキップしてもよい。或いは、複数の処理を同時に実行してもよい。そして、これらの実施形態も、請求項の技術的範囲に包含されることは言うまでもない。

また、コンピュータが読み出したプログラムコードを実行することにより、上述の実施形態の機能が実現され得る。そして、そのプログラムコードの指令に基づき、コンピュータ上で稼働しているＯＳ、仮想マシンモニタＶＭＭ、ファームウエア、ＢＩＯＳなどのプログラムが実際の処理の一部または全部を行ない、その処理によって実施形態の機能が実現される場合も、本実施形態に含まれることは言うまでもない。

また、各種実施形態のそれぞれの構成要素は、物理的に分離された複数のハードウェアで実現されてもよい。また、各種実施形態のそれぞれの構成要素は、１つ以上のサーバ上で動作することによって実現されてもよい。また、実施形態に係るプログラムを実行するＣＰＵは複数であってもよく、また、各ＣＰＵは複数のコアを含んでいてもよい。

以上の実施形態は、電話だけでなく、テレビ会議システム、インターフォンなど、全二重通信を行う通話システムにおいて、広く利用することができることは言うまでもない。

以上の実施形態に関して、以下の付記を開示する。
（付記１）
音響エコーキャンセラに、受話信号の周波数領域の信号のフレームを与える信号処理装置であって、
前記受話信号の話速を変化させる話速変換処理の前の周波数領域の受話音信号の複数のフレームを受け取る第１の受取部と、
フレーム単位に前記話速変換処理が行われた、複数の話速変換後の時間領域の信号を受け取る第２の受取部と、
前記信号処理装置が処理しているフレームに位置する、前記話速変換後の時間領域の信号と、前記前記話速変換後の時間領域の信号に対応する前記周波数領域の受話音信号のフレームと、に基づいて、前記音響エコーキャンセラに与えるための前記受話信号の周波数領域の信号のフレームを合成する、周波数領域フレーム合成部と、
を有する信号処理装置。
（付記２）
前記周波数領域フレーム合成部は、前記前記話速変換後の時間領域の信号について、前記処理しているフレームの長さに対する、前記処理しているフレームに含まれる前記話速変換後の時間領域の信号の部分の長さの割合を特定する、フレーム割合特定部、を含み、
前記受話信号の周波数領域の信号のフレームを合成するために、前記割合を利用する、
付記１記載の信号処理装置。
（付記３）
前記周波数領域フレーム合成部は、前記前記話速変換後の時間領域の信号に対応する前記周波数領域の前記受話音信号のフレームに含まれる周波数成分の値を、対応する前記割合に応じて、前記合成された前記受話信号の周波数領域の信号のフレームを算出するために、周波数成分毎に重み付け加算する、重み付け加算部、を含む、付記２記載の信号処理装置。
（付記４）
音響エコーキャンセラに、受話信号の周波数領域の信号のフレームを与える信号処理方法であって、
前記受話信号の話速を変化させる話速変換処理の前の周波数領域の受話音信号の複数のフレームを受け取る第１の段階と、
フレーム単位に前記話速変換処理が行われた、複数の話速変換後の時間領域の信号を受け取る第２の段階と、
処理しているフレームに位置する、前記話速変換後の時間領域の信号と、前記前記話速変換後の時間領域の信号に対応する前記周波数領域の受話音信号のフレームと、に基づいて、前記音響エコーキャンセラに与えるための前記受話信号の周波数領域の信号のフレームを合成する段階と、
を有する信号処理方法。
（付記５）
前記周波数領域のフレームを合成する段階は、前記前記話速変換後の時間領域の信号について、前記処理しているフレームの長さに対する、前記処理しているフレームに含まれる前記話速変換後の時間領域の信号の部分の長さの割合を特定する段階、を含み、
前記受話信号の周波数領域の信号のフレームを合成するために、前記割合を利用する、
付記４記載の信号処理方法。
（付記６）
前記周波数領域のフレームを合成する段階は、前記前記話速変換後の時間領域の信号に対応する前記周波数領域の前記受話音信号のフレームに含まれる周波数成分の値を、対応する前記割合に応じて、前記合成された前記受話信号の周波数領域の信号のフレームを算出するために、周波数成分毎に重み付け加算する段階、を含む、付記５記載の信号処理方法。
（付記７）
音響エコーキャンセラに、受話信号の周波数領域の信号のフレームを与える信号処理プログラムであって、
前記受話信号の話速を変化させる話速変換処理の前の周波数領域の受話音信号の複数のフレームを受け取り、
フレーム単位に前記話速変換処理が行われた、複数の話速変換後の時間領域の信号を受け取り、
処理しているフレームに位置する、前記話速変換後の時間領域の信号と、前記前記話速変換後の時間領域の信号に対応する前記周波数領域の受話音信号のフレームと、に基づいて、前記音響エコーキャンセラに与えるための前記受話信号の周波数領域の信号のフレームを合成する、
処理をコンピュータに実行させる信号処理プログラム。
（付記８）
前記周波数領域のフレームを合成する処理は、前記前記話速変換後の時間領域の信号について、前記処理しているフレームの長さに対する、前記処理しているフレームに含まれる前記話速変換後の時間領域の信号の部分の長さの割合を特定する処理、を含み、
前記受話信号の周波数領域の信号のフレームを合成するために、前記割合を利用する、
付記７記載の信号処理プログラム。
（付記９）
前記周波数領域のフレームを合成する処理は、前記前記話速変換後の時間領域の信号に対応する前記周波数領域の前記受話音信号のフレームに含まれる周波数成分の値を、対応する前記割合に応じて、前記合成された前記受話信号の周波数領域の信号のフレームを算出するために、周波数成分毎に重み付け加算する処理、を含む、付記８記載の信号処理プログラム。

１００ 受話音信号
１０２ マイクロフォン
１０６ 音響エコーキャンセラ
１０８ 時間周波数変換部
１１０ 周波数時間変換部
１１２ 話速変換部
１１４ スピーカ
１３０ 送話音信号
３０８ 話速変換信号の周波数領域信号推定部
４１０ 第１の受取部
４１０ フレーム同期信号
４２０ 第２の受取部
４３０ 周波数領域フレーム合成部
４３２ フレーム割合特定部
４３４ 重み付け加算部

Claims (5)

1. 音響エコーキャンセラに、受話信号の周波数領域の信号のフレームを与える信号処理装置であって、
   前記受話信号の話速を変化させる話速変換処理の前の周波数領域の受話音信号の複数のフレームを受け取る第１の受取部と、
   フレーム単位に前記話速変換処理が行われた、複数の話速変換後の時間領域の信号を受け取る第２の受取部と、
   前記信号処理装置が処理しているフレームに位置する、前記話速変換後の時間領域の信号と、前記前記話速変換後の時間領域の信号に対応する前記周波数領域の受話音信号のフレームと、に基づいて、前記音響エコーキャンセラに与えるための前記受話信号の周波数領域の信号のフレームを合成する、周波数領域フレーム合成部と、
   を有する信号処理装置。
2. 前記周波数領域フレーム合成部は、前記前記話速変換後の時間領域の信号について、前記処理しているフレームの長さに対する、前記処理しているフレームに含まれる前記話速変換後の時間領域の信号の部分の長さの割合を特定する、フレーム割合特定部、を含み、
   前記受話信号の周波数領域の信号のフレームを合成するために、前記割合を利用する、
   請求項１記載の信号処理装置。
3. 前記周波数領域フレーム合成部は、前記前記話速変換後の時間領域の信号に対応する前記周波数領域の前記受話音信号のフレームに含まれる周波数成分の値を、対応する前記割合に応じて、前記合成された前記受話信号の周波数領域の信号のフレームを算出するために、周波数成分毎に重み付け加算する、重み付け加算部、を含む、請求項２記載の信号処理装置。
4. 音響エコーキャンセラに、受話信号の周波数領域の信号のフレームを与える信号処理方法であって、
   前記受話信号の話速を変化させる話速変換処理の前の周波数領域の受話音信号の複数のフレームを受け取る第１の段階と、
   フレーム単位に前記話速変換処理が行われた、複数の話速変換後の時間領域の信号を受け取る第２の段階と、
   処理しているフレームに位置する、前記話速変換後の時間領域の信号と、前記前記話速変換後の時間領域の信号に対応する前記周波数領域の受話音信号のフレームと、に基づいて、前記音響エコーキャンセラに与えるための前記受話信号の周波数領域の信号のフレームを合成する段階と、
   を有する信号処理方法。
5. 音響エコーキャンセラに、受話信号の周波数領域の信号のフレームを与える信号処理プログラムであって、
   前記受話信号の話速を変化させる話速変換処理の前の周波数領域の受話音信号の複数のフレームを受け取り、
   フレーム単位に前記話速変換処理が行われた、複数の話速変換後の時間領域の信号を受け取り、
   処理しているフレームに位置する、前記話速変換後の時間領域の信号と、前記前記話速変換後の時間領域の信号に対応する前記周波数領域の受話音信号のフレームと、に基づいて、前記音響エコーキャンセラに与えるための前記受話信号の周波数領域の信号のフレームを合成する、
   処理をコンピュータに実行させる信号処理プログラム。

Images