JP3946074B2 - 音声処理装置 - Google Patents
音声処理装置 Download PDFInfo
- Publication number
- JP3946074B2 JP3946074B2 JP2002104363A JP2002104363A JP3946074B2 JP 3946074 B2 JP3946074 B2 JP 3946074B2 JP 2002104363 A JP2002104363 A JP 2002104363A JP 2002104363 A JP2002104363 A JP 2002104363A JP 3946074 B2 JP3946074 B2 JP 3946074B2
- Authority
- JP
- Japan
- Prior art keywords
- processing
- unit
- signal
- frequency domain
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Description
【発明の属する技術分野】
この発明は例えばエコーキャンセラなどの前処理と符号化及び復号化を後処理とするような音声処理装置、又は符号化、復号化を前処理とし、ノイズキャンセラを後処理とする音声処理装置に関する。
【0002】
【従来の技術】
図14にこの発明で対象とする音声処理装置の一例を示す。この発明で対象とする音声処理装置は拡声系の通信システムを想定している。端末1Aと端末1BはそれぞれマイクMとスピーカSPを有し、端末1A側のマイクMから入力された音声信号はエコーキャンセラ2Aで反響抑圧処理などの前処理が施され、符号器3Aで圧縮符号化処理されて相手の端末1Bでは復号器4Bで復号されてスピーカSPから放音される。
【0003】
図14に示したような拡声系の通信システムでは図示したように、エコーキャンセラ2Aと例えば圧縮符号化及び符号化を組み合わせることで実現される。エコーキャンセラ2Aには逐次適応型と時間的にオーバーラップする音声信号をフレーム単位で周波数領域に変換し、周波数領域で反響抑圧処理を行う処理型とに分けることができるが、時間的にオーバーラップするフレーム単位で反響抑圧処理を行う形式の方が効率が高い。
また、音声や音楽の符号化でも時間的にオーバーラップする窓を使って変換符号化を行う場合がある。このように時間的にオーバーラップする窓を使った符号化とエコーキャンセラのような前処理を組み合わせると処理の遅延が大きくなってしまうという欠点があった。
【0004】
その理由を明らかにするために、予め時間的にオーバーラップする窓を使って周波数領域で反響抑圧処理を施すエコーキャンセラと、時間的にオーバーラップする窓を使って符号化及び符号化処理を行う符号器及び符号器について説明する。
図15はそのエコーキャンセラの構成を示す。同図において、まず、送信者が発した音声は、受話信号x(k)として受信者側の受信端2から入力され、受信端2から受信端1へと送出される経路において、遅延器303、エコー経路伝搬遅延推定部302、エコー経路601へそれぞれ入力される。なお、ここでエコー経路601は、実際の音響エコー経路もしくは、回線エコー経路(ハイブリッド回路)を意図している。
【0005】
受話信号x(k)は、エコー経路601を伝搬することによりエコー信号b(k)として出力される。一方、送信端1からは受信者側の音声が送話信号s(k)として入力される。
エコー経路601を伝搬した後のエコー信号b(k)及び受信者側からの送話信号s(k)は加算器602に入力され、加算器602によりこれら信号は重畳されてエコー重畳信号y(k)となり、続くエコーキャンセラ301内のエコー経路伝搬遅延推定部302に入力される。
【0006】
エコー経路伝搬遅延推定部302は、先ほど入力された受話信号x(k)と今回入力されたエコー重畳信号y(k)との特徴量の相関から、エコー経路601の伝搬遅延量を算出して出力する。
遅延器303は、エコー経路伝搬遅延推定部302から入力された伝搬遅延量に基づいてFIRフィルタを作成し、作成したFIRフィルタに受信信号x(k)を通過させる。FIRフィルタ通過後の受話信号X(k)は、参照信号Xr(k)となり、続く適応フィルタ部304及びエコー抑圧ゲイン算出部305へ出力される。
【0007】
適応フィルタ部304では、入力される参照信号Xr(k)及び、残留エコー信号y(k)を用いて、残留エコー信号y(k)の振幅と位相を推定した推定エコー信号ye(k)を生成する。加算器307ではエコー重畳信号y(k)から推定エコー信号ye(k)を差し引くことでエコーを低減した残留エコー重畳信号yre(k)を生成する。
エコー抑圧ゲイン算出部305では、参照信号Xr(k)、エコー重畳信号y(k)を用いて、エコー重畳信号y(k)の振幅を推定し、エコー重畳信号y(k)の振幅を抑圧するようにエコー抑圧ゲインGを算出する。
【0008】
乗算器306は、エコー重畳信号y(k)にエコー抑圧ゲイン算出部305から出力されるエコー抑圧ゲインGを乗ずることにより、入力される残留エコー重畳信号yre(k)のエコー信号b(k)を抑圧し、送信端2から入力された送信信号s(k)にできるだけ近い信号を相手の端末へと出力する。
以上は主にエコーキャンセラ301の動作状況であるが、この発明で対象とするエコーキャンセラは特にエコーキャンセラ301へ入力される参照信号Xr(k)とエコー重畳信号y(k)を周波数分析部401で周波数領域の係数に変換し、加算器307と乗算器306では分析された周波数領域係数毎に反響抑圧処理を施している点を特徴とするものである。なお、エコーキャンセラの範囲にハウリングを防いだり、送受話音声の音量を適切に調整するための利得調節器310を含めることもあるが、以降の説明では、利得調節器を省略する。
【0009】
周波数分析部401は例えば、図16に示すようにフレーム分割部14と、窓掛け部15と、時間領域信号を周波数領域係数に変換する変換部16とによって構成することができる。フレーム分割部14は入力端子11から入力される音声データ列をNサンプル毎にフレーム分割する。窓掛け部15は例えばNフレーム分のデータ列一般には2フレームのデータ列に対して窓関数を乗算する。変換部16は窓掛けされたデータ列を周波数領域係数に変換し、出力端子12に周波数領域係数を出力する。
【0010】
変換部16は例えばFFT(高速フ−リエ変換)或はDCT(Discrete cosine Transform:離散コサイン変換)、或はMDCT(Modified Discrete Cosine Transform:変形離散コサイン変換)などを用いることができる。尚、DCTについてはK.R.Rao.P.Yip著、安田、藤原訳“画像符号化技術−DCTとその国際標準”第2章(オーム社)、MDCTについてはISO/IEC標準IS−11172−3に述べられている。
窓掛け部15で施される窓掛け演算は2フレーム分の演算処理を1フレーム分づつシフトさせながら実行され、その演算結果を変換部16で周波数領域係数に変換する。このことから時間的にオーバーラップする窓を使って反響抑圧処理を行うエコーキャンセラと称せられている。
【0011】
図17は周波数合成部403の構成を示す。周波数合成部403は逆変換部58と、窓掛け部59と、オーバーラップ加算部61とによって構成される。入力端子13に入力された周波数領域係数は逆変換部58により時間領域の信号に変換され、その時間領域の信号に窓掛け部59は窓掛け演算を施す。オーバーラップ加算部61は2フレーム分のデータ列を前の2フレームの後半のデータと、後の2フレームの前半のデータを重ね合わせて加算し、その重ね合わされたフレームの波形を確定し、出力端子14から音声信号を出力する。
【0012】
次に時間的にオーバーラップする窓を使って符号化及び復号化を行う符号器及び復号器の例を説明する。図18は特許3087814号明細書に開示された符号器と復号器の構成を示す。この発明では符号器と復号器の詳細な構成を要件とするものでないから、各部の構成は各ブロック内に名称を記入して示すに留め、 ここでは、符号器10側の入力部分にフレーム分割部14と、窓掛け部15と、変換部16とによって構成される周波数分析部401が格納されている点と、復号器50側の出力部分に逆変換部58と、窓掛け部59、オーバーラップ加算部61とによって構成される周波数合成部403が格納されている点を理解されたい。
【0013】
図18に示した構成を簡素化してこの発明の説明に適した必要最小限の構成を図19に示す。符号器10は周波数分析部401と量子化部411とを縦続接続して表示することができる。また、復号器50は逆量子化部412と周波数合成部403を縦続接続して表示することができる。
符号器10では入力端子11から音声信号が入力され、この音声信号が周波数分析部401で周波数領域係数に変換される。周波数領域係数は量子化部411で量子化処理されて伝送路に送出される。
【0014】
復号器50では逆量子化部412で逆量子化処理し、その逆量子化された周波数領域係数が周波数合成部403で時間領域の信号に変換され、出力端子91から音声信号が再生される。
符号器10でも2フレーム分ずつ窓掛け演算処理が施され、変換部16で2フレーム分ずつ周波数領域係数に変換され、その2フレーム分の周波数領域係数が1フレーム分づつシフトされながら量子化部411で量子化される。
量子化部411で量子化された周波数領域係数は伝送路を通じて相手側の復号器50に伝送され、逆量子化部412で逆量子化され、更に逆変換部58で時間領域信号に逆変換され、窓掛け部59で窓掛け演算が施され、オーバーラップ加算部61で2フレーム分ずつ出力される時間領域信号の前の2フレームの後半の1フレームと後の2フレームの前半の1フレームとを重ね合わせて加算し、その重ね合わせたフレームの音声波形を再生する。
【0015】
【発明が解決しようとする課題】
以上の説明から分かるように、上述したエコーキャンセラ301及び符号器10、復号器50は音声信号を一旦周波数領域係数に変換し、周波数領域で反響抑圧処理及び符号化復号化処理を施すから、窓掛け部15及びオーバーラップ加算部61で遅延が発生する欠点がある。
図20に周波数領域で反響抑圧処理を行うエコーキャンセラ301と、周波数領域で符号化処理する符号器10と、符号処理を行う復号器50を縦続接続した音声処理装置の一例を示す。尚、図20に示す周波数分析部401は同一符号を付して示しているが、一般にエコーキャンセラ301の前段に用いられるものと、符号器10の前段に用いられるものはそれぞれ異なる仕様で動作する周波数分析部が用いられており、共通の仕様の周波数分析部が用いられる例はない。この音声処理装置動作状況を図21に示す。図21の右側程新しく左が過去になる。一番右のフレームF0を現在のフレームとすると、この現在のフレームF0に実時間で音声データが蓄えられる。このフレームF0の時間の中ですでにサンプルが蓄えられている過去のフレームF1、F2、F3…の信号に対する処理を逐次すべて行うことを前提とする。尚、伝送遅延はこの図では0としている。
【0016】
まず、1つ前のフレームF1と2つ前のフレームF2にまたがった信号Bに対して、エコーキャンセラの処理を行う。この処理が終った時点で前回エコーキャンセル処理が終了している1フレームの信号Aの後半の1フレームF2と現在エコーキャンセル処理が終った2フレームの信号Bの後半の1フレーム(これもフレームF2になる)との重ね合わせ加算が終了してフレームF2の反響抑圧処理された波形が確定する。この波形を使って窓掛けから始まる符号化を行う。すなわち符号化は2つ前のフレームF2と3つ前のフレームF3にまたがる信号Aに対応する圧縮ビット列を作成する。
【0017】
このビット列が瞬時に相手の復号器に渡り、十分高速に復号できたとすると、復号器ではフレームF2とF3をまたぐ2フレームの信号とフレームF3とF4をまたぐ2フレームの信号から3つ前のフレームF3の信号を確定することができるのでその信号を再生することができる。すなわち、伝送速度を除くとフレーム長の4倍の時間の遅れが生じているということになる。
図22に図21を用いて説明した動作の処理の流れを示す。ステップSP1〜SP5はエコーキャンセラで実行される前処理ステップを示す。ステップSP1では2フレーム分の音声信号に対してオーバーラップ窓掛けを実行する。
【0018】
ステップSP2では周波数領域係数への変換処理を実行する。
ステップSP3では反響抑圧のための処理と、データの変形処理を実行する。
ステップSP4では周波数領域係数を時間軸データに逆変換し、ステップSP5で窓掛け演算とオーバーラップ加算を実行し、音声信号を再生する。
ステップSP6〜SP10は符号器及び符号器で実行される後処理ステップを示す。ステップSP6でオーバーラップ窓掛け処理を実行し、ステップSP7で周波数領域係数に変換し、ステップSP8で符号化のための量子化処理と、伝送、復号化のための逆量子化処理が実行される。ステップSP9で時間軸データに逆変換され、ステップSP10で窓掛けオーバーラップ加算処理により音声信号を再生する。
【0019】
図20に示した音声処理装置では符号化及び復号化を行う前に反響抑圧処理を実行する形式の場合を説明したが、符号化及び復号化処理後に例えばノイズ抑圧のような後処理を行う場合もある。
図23はその形式の音声処理装置を示す。この形式の音声処理装置の場合も符号器10と後処理となるノイズキャンセラのような後処理手段404のそれぞれで、図24に示すステップSP11とSP16に示すように別々にオーバーラップ窓掛けを施し、更に符号器50とエコーキャンセラ301でステップSP15とSP20に示すように別々に窓掛けオーバーラップ加算を実行しているから、図20で説明したと同様の遅延が発生する。
【0020】
更に、他の例として周波数領域係数を演算処理してノイズ抑圧処理を実行する後処理手段404は図23にも示しているように周波数分析部401を利用している。このために周波数分析部401の数が多く必要となるため、装置の規模が大きくなる欠点もある。
この発明の目的は周波数領域で反響抑圧処理のような前処理と、周波数領域で符号化、復号化処理を継続して実行する音声処理装置或はその逆に符号化、復号化処理の後に後処理として反響抑圧処理を施す音声処理装置において、処理に要する遅延量を小さくし、更に、装置規模も小さくできる音声処理装置を提供しようとするものである。
【0021】
【課題を解決するための手段】
この発明では音声信号をNサンプルからなるフレーム時刻ごと(Nは2以上の整数)に2Nサンプルの切り出し窓を乗算してサンプルの取り込みが完了している1フレーム前と2フレーム前の2Nサンプルの窓掛け音声信号を得る第1オーバーラップ窓掛け演算処理部と、
この第1オーバーラップ窓掛け演算処理部が演算処理した2Nサンプルの窓掛け音声信号を周波数領域係数に変換する第1変換部と、
この第1変換部で変換した周波数領域係数を演算処理して反響抑圧処理を施す前処理手段と、
この前処理手段の演算処理結果を時間領域信号に変換する第1逆変換部と、
この第1逆変換部で逆変換した時間領域信号を直接、周波数領域係数に変換する第2変換部と、
この第2変換部で変換した周波数領域係数を量子化し、符号化・復号化する手段と、
この手段の処理結果を時間領域信号に変換する第2逆変換部と、
この第2逆変換部が逆変換した時間領域信号を1フレーム分ずつオーバーラップさせて加算し、オーバーラップしたフレームの音声信号を確定するオーバーラップ加算部と、
によって構成した音声処理装置を提案する。
【0022】
この発明では更に音声信号をNサンプルからなるフレーム時刻ごと(Nは2以上の整数)に2Nサンプルの切り出し窓を乗算してサンプルの取り込みが完了している1フレーム前と2フレーム前の2Nサンプルとの窓掛け音声信号を得るオーバーラップ窓掛け演算処理部と、
このオーバーラップ窓掛け演算処理部が演算処理した2Nサンプルの窓掛け音声信号を周波数領域係数に変換する変換部と、
この変換部で変換した周波数領域係数を演算処理して反響抑圧処理を施す前処理手段と、
この前処理手段の処理結果に直接、符号化・復号化処理を施す手段と、
この手段で処理した処理結果を時間領域信号に変換する逆変換部と、
この逆変換部が変換した時間領域信号を1フレーム分ずつオーバーラップさせて加算し、オーバーラップされたフレームの音声信号を確定するオーバーラップ加算部と、
によって構成した音声処理装置を提案する。
【0023】
この発明では更に音声信号をNサンプルからなるフレーム時刻ごと(Nは2以上の整数)に2Nサンプルの切り出し窓を乗算してサンプルの取り込みが完了している1フレーム前と2フレーム前の2Nサンプルの窓掛け音声信号を得る第1オーバーラップ窓掛け演算処理部と、
この第1オーバーラップ窓掛け演算処理部が演算処理した2Nサンプルの窓掛け音声信号を周波数領域係数に変換する第1変換部と、
この第1変換部が変換した周波数領域係数を圧縮符号化及び復号化処理する符号器及び復号器と、
復号器が復号した復号信号を時間領域信号に逆変換する逆変換部と、
この逆変換部で逆変換した時間領域信号を直接、周波数領域係数に変換する第2変換部と、
この第2変換部で変換した周波数領域係数を参照信号として利用するエコーキャンセラと、
によって構成した音声処理装置を提案する。
【0024】
この発明では更に音声信号をNサンプルからなるフレーム時刻ごと(Nは2以上の整数)に2Nサンプルの切り出し窓を乗算してサンプルの取り込みが完了している1フレーム前と2フレーム前の2Nサンプルの窓掛け音声信号を得る第1オーバーラップ窓掛け演算部と、
この第1オーバーラップ窓掛け演算部が演算処理した2Nサンプルの窓掛け音声信号を周波数領域係数に変換する第1変換部と、
この第1変換部が変換した周波数領域係数を圧縮符号化及び復号化処理する符号器及び復号器と、
この復号器の復号結果を直接、参照信号として利用するエコーキャンセラと、
によって構成した音声処理装置を提案する。
【0025】
この発明では更に音声信号をNサンプルからなるフレーム時刻ごと(Nは2以上の整数)に2Nサンプルの切り出し窓を乗算してサンプルの取り込みが完了している1フレーム前と2フレーム前の2Nサンプルの窓掛け音声信号を得る第1オーバーラップ窓掛け演算処理部と、
この第1オーバーラップ窓掛け演算処理部が演算処理した2Nサンプルの窓掛け音声信号を周波数領域係数に変換する第1変換部と、
この第1変換部で変換した周波数領域係数を演算処理して符号化・復号化処理を施す手段と、
この手段の演算処理結果を時間領域信号に変換する第1逆変換部と、
この第1逆変換部で逆変換した時間領域信号を直接、周波数領域係数に変換する第2変換部と、
この第2変換部で変換した周波数領域係数に雑音抑圧処理を施す後処理手段と、
この後処理手段の処理結果を時間領域信号に変換する第2逆変換部と、
この第2逆変換部が逆変換した時間領域信号を1フレーム分ずつオーバーラップさせて加算し、オーバーラップしたフレームの音声信号を確定するオーバーラップ加算部と、
によって構成した音声処理装置を提案する。
【0026】
この発明では更に音声信号をNサンプルからなるフレーム時刻ごと(Nは2以上の整数)に2Nサンプルの切り出し窓を乗算してサンプルの取り込みが完了している1フレーム前と2フレーム前の2Nサンプルとの窓掛け音声信号を得るオーバーラップ窓掛け演算処理部と、
このオーバーラップ窓掛け演算処理部が演算処理した2Nサンプルの窓掛け音声信号を周波数領域係数に変換する変換部と、
この変換部で変換した周波数領域係数を演算処理して符号化・復号化処理を施す手段と、
この手段の処理結果に直接、雑音抑圧処理を施す後処理手段と、
この後処理手段で処理した処理結果を時間領域信号に変換する逆変換部と、
この逆変換部が変換した時間領域信号を1フレーム分ずつオーバーラップさせて加算し、オーバーラップされたフレームの音声信号を確定するオーバーラップ加算部と、
によって構成した音声処理装置を提案する。
【0027】
作用
この発明によれば前処理及び後処理の何れでも少なくとも窓を共通に用いることにより、前処理と後処理を同一のフレームで処理を実現することができる。この結果、遅延量を縮小することができる。
更に、前処理と後処理の双方において、窓と変換及び逆変換を共通とすることにより、前処理から後処理に至る処理ステップを減縮することができる。この結果、装置の演算量を少なくできるため、装置の規模も縮小することができる。この結果装置のコストダウンも期待することができる。
【0028】
【発明の実施の形態】
図1にこの発明の請求項1で提案する音声処理装置の一実施例を示す。この実施例では前処理手段としてエコーキャンセラ301を用いた場合を示す。エコーキャンセラ301は図15に示した構成のものとし、その入力端子側には周波数分析部401が挿入され、また出力端子側には周波数合成部403が接続され、エコーキャンセラ301の内部ではフレーム単位で時間領域でオーバーラップのある窓を使って周波数領域で反響抑圧処理が行われる。
この発明では、この例のように時間領域でオーバーラップのある窓を使って周波数領域で前処理を行い、その前処理された音声信号を圧縮符号化して伝送し、復号化して再生する音声処理装置において、周波数分析部401で施した窓掛け処理を符号器10で共用することにより処理ステップを省略して遅延フレーム数を低減しようとするものである。
【0029】
図1に示す実施例ではエコーキャンセラ301の出力側に設けた周波数合成部403の逆変換部58の後段から、時間軸に逆変換された音声信号を取り出し、この音声信号を符号器10に入力する構成とした場合を示す。符号器10には図19で説明したように変換部16と量子化部411を有し、変換部16で周波数領域係数に変換し、量子化部411で量子化して符号化が達せられる。
図1ではこの発明の効果を主張するために、エコーキャンセラ301の出力側に設けた周波数合成部403に窓掛け部59とフレームオーバーラップ加算部61を設けている状況を示しているが、この発明を適用する場合はこれらの窓掛け部59とオーバーラップ加算部61は削除することができる。
逆変換部58の出力を直接符号器10に接続した構成とした場合には符号器10は周波数分析部401で窓掛け部15が施した窓をそのまま利用することができる。この結果として、符号器10の符号化処理は前処理である反響抑圧処理と同一のフレーム内で処理することができる。
【0030】
図2にその様子を示す。フレームF0は現在音声信号を蓄積中のフレームである。フレームF1とF2にまたがって前処理が施され、更に、その同一の窓を使って符号化処理を実行することができる。つまり、周波数合成部403のフレームオーバーラップ加算処理を省略した結果、1フレームの遅延を削除することができる。
復号器50ではフレームF2とF3にまたがる信号に関して復号化処理を実行する。つまり、復号器50の周波数合成部403に備えられているオーバーラップ加算部61は前回フレームF2とF3にまたがって逆量子化した復号信号と今回フレームF1とF2にまたがって複合処理した復号信号をフレームF2に関してオーバーラップして加算することによりフレームF2の音声波形を確定する。従って、図21で説明した従来の復号処理に至るまでの遅延と比較して1フレーム短縮することができる。
【0031】
図3にこの発明による音声処理装置の処理の流れを示す。図22に示した処理ステップと対応するステップには同一のステップ番号SP1〜SP10を付して示す。図3から分かるように前処理と符号化、復号化処理を共通の窓を使うことによりステップSP5の窓掛け及びオーバーラップ加算処理と、ステップSP6のオーバーラップ窓掛け処理を削除することができる。
尚、図1に示した実施例では前処理側では一旦逆変換部58により周波数領域係数を時間領域の信号の逆変換し、符号器50ではその逆変換した信号を再び周波数領域係数に変換しているから、前処理側の変換方式と、符号器10及び符号器50側の変換方式を揃える必要はない。
【0032】
つまり、前処理側の変換方式がMDCTであっても、符号器10の変換方式はDCTであってもFFTであってもよく、その選択は自由である。
図4はこの発明の請求項2で提案する音声処理装置の実施例を示す。この発明の請求項2では前処理と符号化、復号化処理を共通の窓と、共通の変換及び逆変換を行うことを特徴とするものである。
つまり、前処理の処理直後から直接符号器10の特に量子化部411に信号を取り出す構成とする点を特徴とするものである。この結果、この実施例ではエコーキャンセラ301の出力側に設けられる周波数合成部403と符号器10に格納されている周波数分析部401は全く存在しなくてよく、エコーキャンセラ301の出力側に直接符号器10を構成する量子化部411を接続した構成とすることができる。
【0033】
この構成とすることにより、エコーキャンセラ301から取り出される信号は周波数領域係数の形態であるため、符号器10には周波数分析部401を設ける必要がない。つまり、エコーキャンセラ301の出力(周波数領域係数の形態にある信号)をそのまま量子化部411に入力し、量子化することにより、直ちに符号化処理を達することができる。符号化された信号は符号器50に送られ、図1の場合と同様に復号処理され、オーバーラップ加算部61から音声信号が出力される。尚、この場合には前処理の前段に設けられる変換部16と復号器50に設ける逆変換部は同一の変換形式に揃える必要がある。
【0034】
図5に図4に示した実施例の処理の流れを示す。この実施例ではステップSP4の逆変換処理からステップSP7の変換処理までを削除することができる。
図4に示した実施例によれば遅延量の短縮に関しては図1に示した実施例の場合と同じで従来より1フレーム分の遅延を短縮することができる。然し乍ら、この図4の実施例ではエコーキャンセラ301の出力側に存在するはずの周波数合成部403を全く必要としないことと、符号器10でも周波数分析部401を省略できることから、装置の規模を図1の実施例の場合より縮小することができコストの低減を期待することができる。
【0035】
上述では前処理と符号化・復号化処理を縦続的に実行する場合に関してこの発明を適用した実施例を説明したが、符号化・復号化処理の後に後処理を実行する場合にも、この発明を適用することができる。つまり、図6に示すように例えばノイズキャンセラのような後処理手段404を復号器50の出力側に設けた場合にも、図23及び図24を用いて説明したように遅延量が4フレームになる問題点が発生する。
この発明の請求項3はこの欠点を解消するためにオーバーラップのある窓を使う周波数領域の符号化と復号化を行う手段と、時間領域でオーバーラップのある窓を使う周波数領域の後処理を行う手段とを縦続して音声信号の処理を行う音声処理装置において、共通の窓を使い、符号化及び復号化と後処理とを同一のフレーム内で実行する音声処理装置を提案するものである。
【0036】
図6に請求項3の実施例を示す。図6に示す実施例では送信端側で符号器10で2フレームに渡って窓関数を乗算し、時間軸領域の音声信号を周波数領域係数に変換し、その変換された周波数領域係数を量子化部で量子化し、符号化処理を施す。
符号化処理された音声信号は復号器50に渡され、復号器50で逆量子化され、周波数合成部403で時間軸領域の音声信号に変換される。
この発明の請求項3では符号器、復号器及び後処理としてのノイズキャンセラのような後処理手段404の処理において、窓を共通に用いることを特徴とするものである。つまり、符号器10の窓掛け部で施された窓掛け関数をそのまま後処理側の後処理手段404でも共通に使用するものである。
【0037】
このために、復号器50に設けられる周波数合成部403は逆変換部58のみが存在すればよく、この逆変換部58で時間領域の信号に逆変換した信号を後処理手段404の入力側に設けた周波数分析部401の変換部16に入力し、この変換部16で再度周波数領域係数に変換した信号で雑音抑圧処理を施し、その雑音抑圧処理後の信号を周波数合成部403で時間領域の信号に変換し、更にオーバーラップ加算部61でオーバーラップ加算して、1フレーム毎に音声信号を再生する。
【0038】
図7に図6に示した実施例の処理の流れを示す。図6に示した実施例からも明らかなように、復号器50における窓掛け及びオーバーラップ加算処理を行うステップSP15と、後処理側で実行するはずのオーバーラップ窓掛け処理を行うステップSP16を削除することができる。
従って、図6に示す実施例によれば復号器50において、オーバーラップ加算を削除し、符号化処理と復号化処理及び後処理を同一フレーム内で実行させることができるから遅延時間を1フレーム分短縮することができ、図2に示したと同様に全体で3フレームの遅延に改善することができる。
【0039】
図8はこの発明の請求項4で提案する音声処理装置の実施例を示す。この発明の請求項4ではフレーム単位で時間領域でオーバーラップのある窓を使う周波数領域の符号化と復号化を行う手段と、時間領域でオーバーラップのある窓を使う周波数領域の後処理を行う手段とを縦続接続して音声信号の処理を行う音声処理装置において、
共通の窓と共通の変換及び逆変換を用いて符号化と復号処理とを同一のフレーム内で行う音声処理装置を提案する。
【0040】
このために、図8に示す実施例では復号器50において、逆量子化部412の出力を直接後処理手段404に入力し、後処理手段404で後処理した後に周波数合成部403で時間領域の音声信号に再生するように構成し、符号器10で行われたオーバーラップ窓掛けと、変換処理を後処理でも共用した例を示す。
図8に示した実施例の処理の流れを図9に示す。つまり、図8に示す実施例では復号器50で行われていた逆変換処理ステップSP14と、窓掛けオーバーラップ加算処理ステップSP15を削除し、更に、後処理で行われていたオーバーラップ窓掛け処理ステップSP16と、変換処理ステップSP17とを削除することができる。
【0041】
この処理ステップの削除により図2を用いて説明したのと同様に全体で3フレームの遅延に改善することができる。然も、この実施例によれば削除するステップ量が多いことから、装置の規模を大きく縮小することができる。この結果、コストの低減を期待することができる効果が得られる。
図10はこの発明の請求項5で提案する音声処理装置の実施例を示す。この発明の請求項5は参照信号Xr(k)を作成する周波数分析部401の構成を簡素化し、装置の規模を縮小することを目的とした発明である。
【0042】
つまり、時間軸でオーバーラップを持たせる窓の形状が、符号化・復号化と、エコーキャンセラ301で共通であれば参照信号Xr(k)を復号化処理の途中から抜き出すことができる。図10に示す例では復号器50に使われている逆変換部58の出力信号を抜き出して周波数分析部401を構成する変換部16に入力し、変換部16で周波数領域係数に変換して参照信号Xr(k)を得るように構成した場合を示す。
図11にその様子を説明する処理の流れを示す。図10に示した実施例によれば復号化処理ステップSP14の逆変換処理が終了した信号を変換部16に入力し、この変換部16で周波数領域係数への変換ステップSP22を実行すれば周波数領域で動作するエコーキャンセラ301に入力する参照信号を作成することができる。
【0043】
図10からも明らかなようにエコーキャンセラ301に参照信号Xr(k)を入力するために設けられている周波数分析部401は変換部16のみによって構成され、窓掛け部を省略できることから装置の規模を縮小することができる。但し、この実施例でも、参照信号Xr(k)を得るまでの遅延量を短縮することができるが、エコーキャンセラ301の参照信号の性格から遅延時間の短縮効果は大きな効果とは言えない。
図12はこの発明の請求項6で提案する音声処理装置の実施例を示す。請求項6では参照信号作成のための周波数分析部401を全く必要としない音声処理装置を提案するものである。
つまり、時間軸でオーバーラップを持たせる窓の形状及び周波数領域係数への変換方式がエコーキャンセラ301と符号器10及び復号器50で共通であれば復号器50に設けられている逆量子化部412の出力をそのまま参照信号Xr(k)として利用することができる。従って、参照信号Xr(k)を作成するために必要としていた周波数分析部401は全く不要のものとなる。
【0044】
図13は図12に示した実施例の処理の流れを示す。この実施例によれば逆量子化を実行するステップSP13を終了した信号を参照信号Xr(k)として利用し、その後、逆変換ステップSP14と窓掛けオーバーラップ加算ステップSP15を実行して出力音を得る。従って、ここでは従来行われていたオーバーラップ窓掛けステップSP21と変換ステップSP22は削除される。
図12に示す実施例によれば参照信号作成のために周波数分析部401は全く不要となり、装置の規模を更に一層縮小することができる。
【0045】
【発明の効果】
以上説明したように、この発明によれば時間軸でオーバーラップを持たせる窓と周波数領域係数を用いて符号化処理及び復号化処理と反響抑圧処理とを実行する音声処理装置の遅延を削減することができる。また処理ステップの軽減により演算量及び装置の規模を減縮することができる利点が得られる。
【図面の簡単な説明】
【図1】 この発明の請求項1で提案する音声処理装置の一実施例を説明するためのブロック図。
【図2】 図1の動作を説明するためのタイミングチャート。
【図3】 図1の動作を説明するための処理の流れを示すフローチャート。
【図4】 この発明の請求項2で提案する音声処理装置の一実施例を説明するためのブロック図。
【図5】 図4の動作を説明するための処理の流れを示すフローチャート。
【図6】 この発明の請求項3で提案する音声処理装置の一実施例を説明するためのブロック図。
【図7】 図6に示した装置の操作を説明するための処理の流れを示すフローチャート。
【図8】 この発明の請求項4で提案する音声処理装置の一実施例を説明するためのブロック図。
【図9】 図8に示した装置の動作を説明するための処理の流れを示すロフローチャート。
【図10】 この発明の請求項5で提案する音声処理装置の一実施例を説明するためのブロック図。
【図11】 図10の動作を説明するための処理の流れを示すフローチャート。
【図12】 この発明の請求項6で提案する音声処理装置の一実施例を説明するためのブロック図。
【図13】 図12に示した装置の動作を説明するための処理の流れを示すフローチャート。
【図14】 従来の技術を説明するためのブロック図。
【図15】 従来より使われているフレーム単位の窓を使用して反響抑圧処理を実行する形式のエコーキャンセラの一例を説明するためのブロック図。
【図16】 図15に示した周波数分析部の内部の構成を説明するためのブロック図。
【図17】 図15に示した周波数合成部の内部の構成を説明するためのブロック図。
【図18】 従来から使用されているフレーム単位の窓を使用して符号化・復号化を実行する形式の符号器及び復号器の一例を説明するためのブロック図。
【図19】 図18に示した符号器及び復号器を簡素化して説明するためのブロック図。
【図20】 図15に示したエコーキャンセラと、図19に示した符号器及び復号器を組み合わせて音声処理を構成した一例を説明するためのブロック図。
【図21】 図20に示した音声処理装置の動作を説明するためのタイミングチャート。
【図22】 図20に示した音声処理装置の不都合を説明するための処理の流れを説明するためのフローチャート。
【図23】 従来の音声処理装置の変形を説明するためのブロック図。
【図24】 図23に示した音声処理装置の動作を説明するためのフローチャート。
【符号の説明】
10 符号器 58 逆変換部
14 フレーム分割部 50 復号器
15 窓掛け部 59 窓掛け部
16 変換部 61 オーバーラップ加算部
301 エコーキャンセラ 401 周波数分析部
403 周波数合成部 404 後処理手段
Claims (6)
- 音声信号をNサンプルからなるフレーム時刻ごと(Nは2以上の整数)に2Nサンプルの切り出し窓を乗算してサンプルの取り込みが完了している1フレーム前と2フレーム前の2Nサンプルの窓掛け音声信号を得る第1オーバーラップ窓掛け演算処理部と、
この第1オーバーラップ窓掛け演算処理部が演算処理した2Nサンプルの窓掛け音声信号を周波数領域係数に変換する第1変換部と、
この第1変換部で変換した周波数領域係数を演算処理して反響抑圧処理を施す前処理手段と、
この前処理手段の演算処理結果を時間領域信号に変換する第1逆変換部と、
この第1逆変換部で逆変換した時間領域信号を直接、周波数領域係数に変換する第2変換部と、
この第2変換部で変換した周波数領域係数を量子化し、符号化・復号化する手段と、
この手段の処理結果を時間領域信号に変換する第2逆変換部と、
この第2逆変換部が逆変換した時間領域信号を1フレーム分ずつオーバーラップさせて加算し、オーバーラップしたフレームの音声信号を確定するオーバーラップ加算部と、
によって構成したことを特徴とする音声処理装置。 - 音声信号をNサンプルからなるフレーム時刻ごと(Nは2以上の整数)に2Nサンプルの切り出し窓を乗算してサンプルの取り込みが完了している1フレーム前と2フレーム前の2Nサンプルとの窓掛け音声信号を得るオーバーラップ窓掛け演算処理部と、
このオーバーラップ窓掛け演算処理部が演算処理した2Nサンプルの窓掛け音声信号を周波数領域係数に変換する変換部と、
この変換部で変換した周波数領域係数を演算処理して反響抑圧処理を施す前処理手段と、
この前処理手段の処理結果に直接、符号化・復号化処理を施す手段と、
この手段で処理した処理結果を時間領域信号に変換する逆変換部と、
この逆変換部が変換した時間領域信号を1フレーム分ずつオーバーラップさせて加算し、オーバーラップされたフレームの音声信号を確定するオーバーラップ加算部と、
によって構成したことを特徴とする音声処理装置。 - 音声信号をNサンプルからなるフレーム時刻ごと(Nは2以上の整数)に2Nサンプルの切り出し窓を乗算してサンプルの取り込みが完了している1フレーム前と2フレーム前の2Nサンプルの窓掛け音声信号を得る第1オーバーラップ窓掛け演算処理部と、
この第1オーバーラップ窓掛け演算処理部が演算処理した2Nサンプルの窓掛け音声信号を周波数領域係数に変換する第1変換部と、
この第1変換部が変換した周波数領域係数を圧縮符号化及び復号化処理する符号器及び復号器と、
復号器が復号した復号信号を時間領域信号に逆変換する第1逆変換部と、
この第1逆変換部で逆変換した時間領域信号を直接、周波数領域係数に変換する第2変換部と、
この第2変換部で変換した周波数領域係数を後処理する後処理手段と、
この後処理手段で処理した処理結果を時間領域信号に変換する第2逆変換部と、
この第2逆変換部が変換した時間領域信号を1フレーム分ずつオーバーラップさせて加算し、オーバーラップされたフレームの音声信号を確定するオーバーラップ加算部と、
によって構成したことを特徴とする音声処理装置。 - 音声信号をNサンプルからなるフレーム時刻ごと(Nは2以上の整数)に2Nサンプルの切り出し窓を乗算してサンプルの取り込みが完了している1フレーム前と2フレーム前の2Nサンプルとの窓掛け音声信号を得るオーバーラップ窓掛け演算処理部と、
このオーバーラップ窓掛け演算処理部が演算処理した2Nサンプルの窓掛け音声信号を周波数領域係数に変換する変換部と、
この変換部で変換した周波数領域係数を演算処理して符号化・復号化処理を施す手段と、
この手段の処理結果に直接、雑音抑圧処理を施す後処理手段と、
この後処理手段で処理した処理結果を時間領域信号に変換する逆変換部と、
この逆変換部が変換した時間領域信号を1フレーム分ずつオーバーラップさせて加算し、オーバーラップされたフレームの音声信号を確定するオーバーラップ加算部と、
によって構成したことを特徴とする音声処理装置。 - 音声信号をNサンプルからなるフレーム時刻ごと(Nは2以上の整数)に2Nサンプルの切り出し窓を乗算してサンプルの取り込みが完了している1フレーム前と2フレーム前の2Nサンプルの窓掛け音声信号を得る第1オーバーラップ窓掛け演算処理部と、
この第1オーバーラップ窓掛け演算処理部が演算処理した2Nサンプルの窓掛け音声信号を周波数領域係数に変換する第1変換部と、
この第1変換部が変換した周波数領域係数を圧縮符号化及び復号化処理する符号器及び復号器と、
復号器が復号した復号信号を時間領域信号に逆変換する逆変換部と、
この逆変換部で逆変換した時間領域信号を直接、周波数領域係数に変換する第2変換部と、
この第2変換部で変換した周波数領域係数を参照信号として利用するエコーキャンセラと、
によって構成したことを特徴とする音声処理装置。 - 音声信号をNサンプルからなるフレーム時刻ごと(Nは2以上の整数)に2Nサンプルの切り出し窓を乗算してサンプルの取り込みが完了している1フレーム前と2フレーム前の2Nサンプルの窓掛け音声信号を得る第1オーバーラップ窓掛け演算部と、
この第1オーバーラップ窓掛け演算部が演算処理した2Nサンプルの窓掛け音声信号を周波数領域係数に変換する第1変換部と、
この第1変換部が変換した周波数領域係数を圧縮符号化及び復号化処理する符号器及び復号器と、
この復号器の復号結果を直接、参照信号として利用するエコーキャンセラと、
によって構成したことを特徴とする音声処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002104363A JP3946074B2 (ja) | 2002-04-05 | 2002-04-05 | 音声処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002104363A JP3946074B2 (ja) | 2002-04-05 | 2002-04-05 | 音声処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003295898A JP2003295898A (ja) | 2003-10-15 |
JP3946074B2 true JP3946074B2 (ja) | 2007-07-18 |
Family
ID=29242919
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002104363A Expired - Fee Related JP3946074B2 (ja) | 2002-04-05 | 2002-04-05 | 音声処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3946074B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5455295B2 (ja) * | 2007-08-03 | 2014-03-26 | キヤノン株式会社 | 撮像装置およびその制御方法およびプログラムおよび記録媒体 |
CN112767959B (zh) * | 2020-12-31 | 2023-10-17 | 恒安嘉新(北京)科技股份公司 | 语音增强方法、装置、设备及介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FI100840B (fi) * | 1995-12-12 | 1998-02-27 | Nokia Mobile Phones Ltd | Kohinanvaimennin ja menetelmä taustakohinan vaimentamiseksi kohinaises ta puheesta sekä matkaviestin |
EP1190495A1 (en) * | 1999-07-02 | 2002-03-27 | Tellabs Operations, Inc. | Coded domain echo control |
-
2002
- 2002-04-05 JP JP2002104363A patent/JP3946074B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003295898A (ja) | 2003-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4567655B2 (ja) | 音声信号中の暗騒音を抑制する方法及び装置、並びに反響消去を伴う対応する装置 | |
JP3881943B2 (ja) | 音響符号化装置及び音響符号化方法 | |
EP1798724B1 (en) | Encoder, decoder, encoding method, and decoding method | |
CN101916567B (zh) | 应用于双麦克风***的语音增强方法 | |
JP3483958B2 (ja) | 広帯域音声復元装置及び広帯域音声復元方法及び音声伝送システム及び音声伝送方法 | |
JP5535241B2 (ja) | 音声信号復元装置および音声信号復元方法 | |
AU2003243441B2 (en) | Audio coding system using characteristics of a decoded signal to adapt synthesized spectral components | |
JPH0955778A (ja) | 音声信号の広帯域化装置 | |
KR20060135699A (ko) | 신호 복호화 장치 및 신호 복호화 방법 | |
KR102156846B1 (ko) | 디지털 오디오 신호 내의 프리-에코의 효과적인 감쇠 | |
JP2002372996A (ja) | 音響信号符号化方法及び装置、音響信号復号化方法及び装置、並びに記録媒体 | |
JPH0946233A (ja) | 音声符号化方法とその装置、音声復号方法とその装置 | |
US7024008B2 (en) | Acoustic quality enhancement via feedback and equalization for mobile multimedia systems | |
GB2305831A (en) | Noise suppression using Fourier/Inverse Fourier technique | |
JP4786183B2 (ja) | 音声復号化装置、音声復号化方法、プログラム、記録媒体 | |
JP3946074B2 (ja) | 音声処理装置 | |
US6012025A (en) | Audio coding method and apparatus using backward adaptive prediction | |
JP3724705B2 (ja) | 反響抑圧方法・反響抑圧装置 | |
JPH08278800A (ja) | 音声通信システム | |
JP2004302259A (ja) | 音響信号の階層符号化方法および階層復号化方法 | |
CN101689372B (zh) | 信号分析装置、信号控制装置及其***、方法 | |
JP4253232B2 (ja) | 雑音抑圧方法、雑音抑圧装置、雑音抑圧プログラム | |
US9111527B2 (en) | Encoding device, decoding device, and methods therefor | |
JP4373693B2 (ja) | 音響信号の階層符号化方法および階層復号化方法 | |
JP3593201B2 (ja) | オーディオ復号装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040803 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060606 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060613 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060811 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060811 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070403 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070410 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100420 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110420 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120420 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |