JP2947788B1 - 音声および音響信号の高速な符号化方法および装置および記録媒体 - Google Patents

Abstract

【要約】 【課題】 低いビットレート、少ないメモリ量、少ない
演算量で、高品質な再生音声を得られる音声および音響
信号の符号化を提供すること。 【解決手段】 目標音響信号と再生音響信号との間の歪
みを計算する過程で、周期化の周期化ゲインを１に設定
し、周期化のための周期を整数サンプル値で近似し、合
成フィルタまたは聴覚重みを考慮した合成フィルタのイ
ンパルス応答を求め、上記インパルス応答を周期化の周
期の２分の１以下の長さで打ち切り、上記打ち切ったイ
ンパルス応答を用いてインパルス応答行列の相関行列を
計算し、周期化を上記整数サンプル値による近似処理で
置き換えることを前提とし、上記打ち切ったインパルス
応答より計算されたインパルス応答行列の相関行列を用
いて、再生される音響信号のパワーの近似値を計算す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、音声、音楽また
は音響信号の、スペクトル包絡特性を表すフィルタを音
源ベクトルで駆動して音声を合成する予測符号化によ
り、音声の信号系列を少ない情報量でディジタル符号化
する高能率音声符号化方法および装置および記録媒体に
関する。

【０００２】

【従来の技術】ディジタル移動体通信において電波を効
率的に利用したり、音声または音楽蓄積サービス等で通
信回線や記憶媒体を効率的に利用するために、高能率音
声符号化方法が用いられる。現在、音声を高能率に符号
化する方法として、原音声をフレームまたはサブフレー
ムと呼ばれる５〜５０ミリ秒程度の一定間隔の区間（以
降、フレームまたはサブフレームを総称してフレームと
呼ぶ。）に分割し、その１フレームの音声を周波数スペ
クトルの包絡特性を表す線形フィルタの特性と、そのフ
ィルタを駆動するための駆動音源信号との２つの情報に
分離し、それぞれを符号化する手法が提案されている。

【０００３】この手法において、駆動音源信号を符号化
する方法として、音声のピッチ周期（基本周波数）に対
応すると考えられる周期成分と、それ以外の成分に分離
して符号化する方法が知られている。この駆動音源情報
の符号化法の例として、符号駆動線形予測符号化（Code
-Excited Linear Prediction：ＣＥＬＰ）がある。上記
技術の詳細については、文献 M.R.Schroeder and B.S.A
tal, "Code-Excited Linear Prediction(CELP): High Q
uality Speech at Very Low Bit Rates", IEEEProc. IC
ASSP-85, pp.937-940, 1985に記載されている。

【０００４】図４に上記符号化方法の構成例を示す。入
力端子に入力された音声は、線形予測分析部１−１にお
いて、入力音声の周波数スペクトル包絡特性を表す線形
予測パラメータが計算される。得られた線形予測パラメ
ータは線形予測パラメータ符号化部１−２において、符
号化されて線形予測パラメータ復号部１−３に送られ
る。また、歪み計算に聴覚特性を考慮するなど、入力音
声のスペクトル情報を利用して歪み計算を行う場合に
は、線形予測パラメータは歪み計算部１−６へも送られ
る。

【０００５】線形予測パラメータ復号部１−３では、受
け取った符号から合成フィルタ係数を再生し、合成フィ
ルタ１−５に送る。歪み計算に聴覚特性を考慮する場合
に、歪み計算部１−６において量子化前の線形予測パラ
メータを用いる代わりに、上記復号された線形予測パラ
メータを歪み計算に使用することもある。なお、線形予
測分析の詳細および線形予測パラメータの符号化例につ
いては、例えば古井貞煕著”ディジタル音声処理”（東
海大学出版会）に記載されている。ここで、線形予測分
析部１−１，線形予測パラメータ符号化部１−２，線形
予測パラメータ復号部１−３および合成フィルタ１−５
は非線形なものに置き換えてもよい。

【０００６】駆動音源ベクトル生成部１−４では、１フ
レーム分の長さの駆動音源ベクトル候補を生成し、合成
フィルタ１−５に送る。駆動音源ベクトル生成部１−４
は大きく分けて、音声のピッチ周期（基本周波数）に対
応する部分と、それ以外の非周期成分に対応する部分か
らなる。適応符号帳１−１０はピッチ周期に対応する部
分で、バッファに記憶された直前の過去の駆動音源ベク
トル（既に量子化された直前の１〜数フレーム分の駆動
音源ベクトル）ｃ（ｔ−１）を、ある周期に相当する長
さで切り出し、その切り出したベクトルをフレームの長
さになるまで繰り返すことによって、音声の周期成分に
対応する時系列ベクトルの候補を出力する。上記「ある
周期」とは、歪み計算部１−６における歪みが小さくな
るような周期が選択されるが、選択された周期は、一般
には音声のピッチ周期に相当することが多い。

【０００７】固定符号帳１−１１は、音声の基本周期以
外の成分に対応する部分で、入力音声とは独立に符号化
のためのビット数に応じてあらかじめ指定された数の候
補ベクトルが記憶されており、そこから１フレーム分の
長さの時系列符号ベクトルの候補を出力する。固定符号
帳１−１１から出力された固定符号ベクトル候補は、周
期化部１−１６において、周期符号で指定される周期
（上記のように一般にピッチ周期に相当）で必要に応じ
て周期化される。周期化とは、指定された周期位置にタ
ップを持つ櫛形フィルタをかけるか、適応符号帳と同様
に、ベクトルの先頭から指定された周期に相当する長さ
で切り出したベクトルを繰り返すことをいう。周期が非
整数サンプル値の場合は、標本化関数の畳み込みを利用
して、非整数サンプル周期の周期化を実現する。なお周
期化部１−１６は、子音区間や非音声区間など、音声そ
のものにピッチ成分がないかまたはピッチ成分が少ない
場合などには適用されない場合がある。

【０００８】適応符号帳１−１０および周期化部１−１
６から出力された時系列ベクトルの候補は、乗算部１−
１３，１−１４において、それぞれ重み作成部１−１２
において作成された重みが乗算され、加算部１−１５に
おいて加算され、駆動音源ベクトルの候補ｃとなる。な
お、適応符号帳１−１０を用いないで、固定符号帳１−
１１のみの構成としてもよく、特に子音部や非音声区間
などのピッチ周期性の少ない信号を符号化するときに
は、ビットを節約するために、適応符号帳１−１０を用
いない構成にすることが多い。

【０００９】合成フィルタ１−５は、線形予測パラメー
タ復号部１−３の出力をフィルタの係数とする線形フィ
ルタで、駆動音源ベクトル候補ｃを入力として再生音声
の候補ｙを出力する。合成フィルタ１−５の次数すなわ
ち線形予測分析の次数は、一般に１０〜１６次程度が用
いられることが多い。なお、既に述べたように、合成フ
ィルタ１−５は非線形なフィルタでもよい。

【００１０】歪み計算部１−６では、合成フィルタ１−
５の出力である再生音声の候補ｙと、入力音声ｘとの歪
みを計算する。この歪みの計算は、例えば聴覚重み付け
など、合成フィルタの係数または量子化していない線形
予測係数を考慮にいれて行なうことが多い。

【００１１】符号帳検索制御部１−８では、各再生音声
候補ｙと入力音声ｘとの歪みが最小となるような周期符
号、固定符号および重み符号を選択し、そのフレームに
おける駆動音源ベクトルを決定する。このとき、理想的
には歪みが最小となる周期符号、固定符号および重み符
号の最適組み合わせを選択するべきであるが、そのため
には膨大な処理量が必要となり、現実的な時間内で処理
することは困難である。そこで実際には、周期符号→重
み符号の適応符号帳成分ｇ_a→固定符号→重み符号の固
定符号帳成分ｇ_rの順か、周期符号→重み符号の適応符
号帳成分ｇ_aの暫定値→固定符号→重み符号（固定符号
帳成分ｇ_rと適応符号帳成分ｇ_aの両方）の順に決め、順
番に決めた結果をもって最適組み合わせとみなすことが
多い。

【００１２】上記のように各符号を順番に決める場合、
最適な周期符号と重み符号の適応符号帳成分を探索する
ときには、固定符号帳はないものとして（固定符号帳成
分はゼロであると仮定して）探索する。周期符号と重み
符号の適応符号帳成分を決めた後に、固定符号と重み符
号を決めるときの構成例を図５に示す。図の簡略化のた
め、図５では図４に記載されている各部のうち、線形予
測関連の一部を省略している。

【００１３】先に決められた適応符号帳出力ｖ_aに先に
決めた重み、または重みの暫定値を乗算部２−１３にお
いて乗じ、適応符号ベクトルｃ_aを作成する。このｃ_aを
合成フィルタ２−１８に通したベクトルを入力音声ｘか
ら差し引く。これを固定符号帳成分の参照音声ｘ_rと呼
び、固定符号と重み符号を決めるときには、適応符号帳
成分はないものとして、固定符号帳の成分によって生成
された再生音声と、上記参照音声ｘ_rとの歪みが最小に
なるように最適値を探索する。なお、適応符号帳を用い
ない構成の場合には、入力音声と参照音声は同じであ
る。

【００１４】図５は適応符号帳と固定符号帳という、２
つの符号帳を用いる構成での探索方法であるが、固定符
号帳が例えば２段構成になっている場合など、３つ以上
の符号帳を用いる場合にも一般化することができる。簡
潔に表現すれば、既に決定しているかまたは暫定的に決
めた符号帳出力を合成して得られる再生音声成分を入力
音声から差し引いて参照音声を作成し、これから探索し
たい符号帳以外は存在しないものとして、上記参照音声
との歪みが最小になるような符号を探索する。なお、上
記符号を順番に決める手順において、各符号を順に１つ
だけに決めてしまうのではなく、途中の段階でいくつか
の候補を残しておいて最後にそれらの組み合わせの中か
ら最適なものを選ぶ場合もあり、これはディレードデシ
ジョンと呼ばれる。

【００１５】図４の符号帳検索制御部１−８において決
定された駆動音源符号（周期符号、雑音符号、重み符
号）と、線形予測パラメータ符号化部１−２の出力であ
る線形予測パラメータ符号は、符号送出部１−９に送ら
れ、利用の形態に応じて記憶装置に記憶されるか、また
は通信路を介して受信側へ送られる。

【００１６】このようなＣＥＬＰ方式において問題とな
るのは、駆動音源ベクトル候補の選択をするための歪み
計算、特に固定符号帳を探索する際の歪み計算に、非常
に多くの演算処理が必要になることである。この問題に
対して、パルス駆動型のＣＥＬＰ、あるいはスパース符
号帳によるＣＥＬＰ方式が提案されている。いずれも、
固定符号帳から出力される固定符号ベクトルの一部の要
素（サンプル点）のみに値を持ち、その他の要素（サン
プル点）では値が０であるベクトルを固定符号ベクトル
として用いる。

【００１７】前者の一例を挙げるとパルス駆動型のＣＥ
ＬＰは、固定符号帳を、フレーム長のベクトルパターン
として蓄えるのではなく、高さが１のパルスを、フレー
ム内に数本、例えば、８０サンプルのフレームに対し
て、４本、適当な位置に立てることによって、固定符号
ベクトルとする方式である。このようなパルス型の駆動
音源の採用と、歪み計算において演算順序を工夫すれ
ば、従来のＣＥＬＰ方式に比べて演算処理を減らすこと
ができる。以下、パルス駆動型の方式における歪み計算
の例を図を用いて示す。

【００１８】図５の固定符号帳を探索する構成におい
て、聴覚重みづけを考慮して歪みを計算する構成例を図
６に示す。図６において、固定符号帳（固定符号帳のベ
クトル形状）を探索するときには、一般に、重みｇ_rは
任意の値をとってよいものとして探索し、最適な固定符
号べクトルを決めるか、あるいは適当な固定符号ベクト
ルの候補を少数に絞った後に重み符号を探索するので、
重み符号帳部分は省略し、重みは単にｇと表記した。ｇ
は各固定符号ベクトル毎に任意の値をとってよいものと
する。聴覚重みづけは、量子化していない線形予測パラ
メータもしくは量子化された合成フィルタ係数を用いた
聴覚重みフィルタの形で構成される。

【００１９】合成フィルタ３−１から出力される再生音
声候補ｙ_rは、聴覚重みフィルタ３−２を通され、同じ
く聴覚重みフィルタ３−３に通された参照音声ｘ_rとの
間で、歪みが計算される。ここで、聴覚重みフィルタ３
−２，３−３は通常同一のフィルタ係数を用いるため、
聴覚重みフィルタ３−２，３−３は、距離計算部３−４
の後にｌつのフィルタとして入れても等価であるが、処
理量の点から、図６に示されるように、距離計算部３−
４の手前で２ヶ所に分けて入れることが多い。

【００２０】距離計算部３−４では、聴覚重み付き参照
音声ｘ_wと聴覚重み付き再生音声候補ｙ_wの間の距離を測
定する。このときの距離尺度には例えば、

【数１】 といった距離尺度を用いればよい。（１）式の距離尺度
を最小にするような駆動音源ベクトルが選択される。な
お、聴覚重みフィルタ３−２，３−３は人間の聴覚特性
を利用して再生音声の雑音感を低減するような歪み計算
をするためのフィルタで、必ずしも用いなくてもよい。

【００２１】図６の構成において、駆動音源ベクトル候
補を合成フィルタ３−１と聴覚重みづけフィルタ３−２
に通す操作を高速に実行するためには、これらの２つの
フィルタを合わせて、等価なフィルタ特性を持つ１つの
聴覚重み付き合成フィルタとするとよい。等価な１つの
フィルタとするには、例えば合成フィルタ３−１の入力
から聴覚重みフィルタ３−２の出力までのインパルス応
答をフィルタ係数とするＦＩＲフィルタで表現すること
ができる。このとき、合成フィルタはＩＩＲフィルタで
あるので、ＦＩＲフィルタで等価なフィルタ特性を実現
するためには、フレーム長のタップ数のＦＩＲフィルタ
が必要となる。

【００２２】フレームの長さ（サンプル数またはベクト
ル長）をＮ、上記インパルス応答（ＦＩＲフィルタの係
数列）をｈ₀，ｈ₁，ｈ₂，…，ｈ_N-1とし、これらのイン
パルス応答を使って以下のようなインパルス応答行列Ｈ
を定義する。

【数２】 また、周期化部３−７の機能も行列で表現することがで
き、この行列をＰで表す。

【００２３】上記行列ＨおよびＰを用いると、重みの値
ｇが任意の値をとることができるという前提のもとで
（１）式を最小にすることは、以下の（３）式を最大に
することと等価になる。

【数３】 上記（３）式を最大にすることをもって符号帳を探索す
るのは、（ＨＰ）^t（ＨＰ）とｘ_w ^t（ＨＰ）は１つのフ
レームに対して探索の最初に１回のみ計算をすればよ
く、パルス駆動型またはスパース符号帳を用いる場合
に、高速な探索を実現できるからである。なお、上記式
で、記号ｔはベクトルおよび行列の転置を表す。また、
（３）式における分母は、合成された信号のパワー（ベ
クトルの二乗和）に相当する。

【００２４】上記（３）式の値を高速に求める方法の構
成例を図７に示す。聴覚重み付き合成フィルタインパル
ス応答算出部４−１では、図６における聴覚重み付き合
成フィルタ部３−９のインパルス応答を計算する。図６
では、周期化部３−７は固定符号帳と合成フィルタの間
にあるが、図７の構成ではＨＰｖ_rの計算において、Ｈ
Ｐの値を先に計算することから、周期化部４−２はイン
パルス応答算出部４−１の次に配置し、インパルス応答
ｈを周期化する。

【００２５】相関行列計算部４−５では、周期化部４−
２の出力である、周期化されたインパルス応答を用い
て、相関行列（ＨＰ）^t（ＨＰ）を計算する。畳み込み
部４−４では、同じく周期化されたインパルス応答と聴
覚重みづけされた参照音声ｘ_wを用いてｘ_w ^t（ＨＰ）を
計算する。最終距離尺度計算部４−７では、相関行列計
算部４−５の出力行列、および畳み込み部４−４の出力
ベクトルと、固定符号帳４−６の出力である固定符号ベ
クトルを用いて、（３）式の値を計算する。

【００２６】

【発明が解決しようとする課題】図７の構成を用いて歪
み計算を行う際に問題となるのは、フレームが長い場合
である。例えば、サンプリング周波数が８ｋＨｚでフレ
ーム長を１０ミリ秒とすると、フレーム長は８０点とな
り、相関行列（ＨＰ）^t（ＨＰ）のサイズは８０×８０
となる。このため、要素数が６４００の行列計算をしな
ければならず、多大なメモリと演算処理が必要となる。
低ビットレートで高能率な音声符号化を実現しようとす
る場合には、上記フレームを長くしなければならないた
め、図７の方法を用いて演算量の少ない低ビットレート
の音声符号化を実現することは不可能であった。

【００２７】この問題を解決するひとつの方法として、
本発明者等が既に出願した「音響信号符号化方法」（特
願平９−０４０４０４）がある。この方式の構成例を図
８に示す。この方法はまず、歪み計算に用いる聴覚重み
付き合成フィルタのインパルス応答を途中で打ち切っ
て、有限長のＦＩＲフィルタとする。参照音声には、い
ったん合成フィルタの逆フィルタをかけたあとに、上記
有限長で打ち切ったＦＩＲフィルタをかけて、参照音声
にもインパルス応答の打ち切り歪みを重畳する。図６，
図７の構成では、駆動音源ベクトルをピッチ周期化して
いるが、図８の構成では参照音声側にピッチ逆フィルタ
を入れる。

【００２８】この方法を用いることにより、相関行列Ｈ
_f ^tＨ_fのサイズを非常に小さくできる。例えば、インパ
ルス応答を５タップで打ち切ったと仮定すると、相関行
列は５×５のサイズの行列計算をするだけでよい。この
方法は、フレームが長い場合でも、非常に少ない処理量
で符号化を実現でき、さらに、インパルス応答を打ち切
った歪みが重畳した参照音声と、同じく打ち切り歪みが
重畳した合成音声との間で歪み計算がされるので、両者
間で打ち切りに起因する歪み成分が相殺され、結果とし
て短いタップでインパルス応答を打ち切っても音質劣化
を少なく抑えることができるというメリットがある。

【００２９】しかしながら、図８の方法では、高速演算
を実現できる代償として少ないながら品質劣化を避ける
ことができない。品質劣化の主な要因は、本来の駆動音
源ベクトル側のピッチ周期化を、ピッチ周期化逆フィル
タとして参照音声側に入れるためである。インパルス応
答の打ち切り手法そのものは品質にほとんど影響を与え
ない。そこで、ピッチ周期化を駆動音源ベクトル側に残
したままで、インパルス応答の打ち切りによる高速演算
を実現したい。しかし、ピッチ周期化部を単純に駆動音
源ベクトル側に戻したのでは、インパルス応答ｈを有限
長で打ち切っても、インパルス応答をピッチ周期化した
Ｐｈは有限長にならず、高速な演算を実現できない。

【００３０】この発明の目的は、低いビットレート、か
つ安価なプロセッサで許容される範囲内の少ないメモリ
量、少ない演算量で、高品質な再生音声を得られるよう
な、音声または音楽またはその他の音響信号をディジタ
ル符号化する方法および装置および記録媒体を提供する
ことにある。

【００３１】

【課題を解決するための手段】本発明は、符号帳から取
り出した時系列ベクトルを、音声の基本周期に対応する
周期で周期化したベクトルを用いて作成した駆動音源ベ
クトルにより、合成フィルタを駆動して音響信号を再生
し、目標となる音響信号と、上記再生された音響信号の
間の歪みが最小または最小に準ずるような駆動音源ベク
トルを決定する符号化において、上記歪みを計算する過
程で、周期化の周期化ゲインを１に設定し、周期化のた
めの周期を整数サンプル値で近似し、合成フィルタまた
は聴覚重みを考慮した合成フィルタのインパルス応答を
求め、上記インパルス応答を周期化の周期の２分の１以
下の長さで打ち切り、上記打ち切ったインパルス応答を
用いてインパルス応答行列の相関行列を計算し、周期化
を上記整数サンプル値による近似処理で置き換えること
を前提とし、上記打ち切ったインパルス応答より計算さ
れたインパルス応答行列の相関行列を用いて、再生され
る音響信号のパワーの近似値を計算することを特徴とす
る。

【００３２】

【発明の実施の形態】§１．概要 この発明では、（３）式における、分子と分母のピッチ
周期化行列Ｐの両方か、分母のピッチ周期化行列のみ
を、整数サンプル点ピッチで近似し、周期符号の示すピ
ッチ周期の変動範囲を考慮して、インパルス応答の打ち
切り次数を、一定の範囲内に設定することにより、ピッ
チ周期化部を駆動音源ベクトル側に入れたままで、小さ
いサイズの行列を用いた高速な歪み計算を実現できる。

【００３３】§２．実施形態 以下にこの発明の実施形態を、図表および式を用いて説
明する。なお、本実施形態において、本発明による符号
化方法は、具体的にはパーソナルコンピュータで実行さ
れる。即ち、以下に説明する符号化方法は、上記パーソ
ナルコンピュータのＣＰＵ（中央処理装置）を制御する
ための制御プログラムとして、半導体メモリ（ＲＯＭ，
ＲＡＭ等）またはその他の記録媒体（磁気ディスク等）
に格納されている。そして、上記ＣＰＵは、上記制御プ
ログラムに基づいて音声を符号化する。

【００３４】まず、ピッチ周期化の周期化ゲインを１に
設定する。さらに、（３）式において、分母のピッチ周
期化行列Ｐを近似行列Ｐ_aで置き換える。分子のピッチ
周期化行列ＰはＰ_aに置き換えても置き換えなくてもよ
いが、置き換えないほうが音質の点ではよい。ここでピ
ッチ周期化行列の近似行列Ｐ_aとは、ピッチ周期が非整
数サンプル値、例えば４６．２５サンプル（８ｋＨｚサ
ンプリングの場合では約１７３Ｈｚに相当）であった場
合に、整数値、例えば４６サンプルに近似して作成した
ピッチ周期化行列をいう。

【００３５】一般に非整数サンプル周期のピッチ周期化
は、標本化関数を過去の信号系列に畳み込む処理が必要
であるが、整数サンプル値でしかも周期化ゲインが１の
場合には、過去のサンプル値を単純に繰り返すか、単純
に加算するだけでよい。以下に、周期化ゲインを１に設
定し、周期を整数サンプル値に近似したピッチ周期化行
列の例を示す。

【数４】 さらに、インパルス応答ｈを、前記「音響信号符号化方
法」（特願平９−０４０４０４）で述べられているのと
同様に有限長で打ち切る、すなわち打ち切りより先のイ
ンパルス応答は０であるとみなす。

【００３６】この打ち切ったインパルス応答を用いて作
成するインパルス応答行列をＨ_fで表し、分子および分
母のＨと置き換える。すると、（３）式は以下の（４）
式で表現される。

【数５】 （４）式は（３）式の近似式とみなすことができ、
（３）式を最大にするコードベクトルｖ_rを探索する代
わりに、（４）式を最大にするコードベクトルを探索す
る。（４）式の分母は、ピッチ周期化の周期を整数サン
プル値で近似して合成した信号のパワーに相当する。

【００３７】（４）式において、インパルス応答の打ち
切り次数を短くすれば、相関行列Ｈ _f ^tＨ_fのサイズを非
常に小さくできる。例えば、インパルス応答を５タップ
で打ち切ったと仮定すると、相関行列は５×５のサイズ
の行列計算をするだけでよい。相関行列Ｈ_f ^tＨ_fを計算
した後、Ｐ_a ^tＨ_f ^tＨ_fＰ_aを計算する。このとき「インパ
ルス応答の打ち切り次数がピッチ周期の半分以下」の条
件のもとでは、非常に簡単な処理でＨ_f ^tＨ_fからＰ_a ^tＨ_f
^tＨ_fＰ_aが求められる。「インパルス応答の打ち切り次
数がピッチ周期の半分以下」の場合とは、例えば、ピッ
チ周期が２０サンプル（８ｋＨｚサンプリングの場合に
は４００Ｈｚに相当）のときに、インパルス応答の打ち
切りの次数が１０次（１０タップ）以下の場合に相当す
る。

【００３８】人間のピッチ周波数は、高くても４００Ｈ
ｚ以下と言われており、例えばインパルス応答を５タッ
プで打ち切ることにすると、常にこの条件を満たす。イ
ンパルス応答の打ち切り次数は、３タップ程度までは再
生音の品質劣化に与える影響は小さいため、再生音の品
質と演算処理量の観点から、３〜１０タップ程度に設定
するとよい。

【００３９】図１に、Ｐ_a ^tＨ_f ^tＨ_fＰ_aがＨ_f ^tＨ_fから簡
単な処理で計算できることを示す模式図を示す。この図
は、仮にフレーム長が２０サンプル、ピッチ周期が１２
サンプル、インパルス応答の打ち切り次数を５とした場
合の、行列Ｐ_a ^tＨ_f ^tＨ_fＰ_aの例である。実際には、本発
明を適用すると効果が大きいのは、フレーム長が例えば
８０点といった長い場合であり、前述のように人間のピ
ッチ周波数が４００Ｈｚを越えることはないので、実音
声でピッチ周期が１２サンプルになることもない。した
がって、図１の例は実際に本発明を適用するときの例と
は条件が異なるが、図をわかりやすく簡略化して説明を
容易にするために上記の条件のもとでの例を示した。ま
た、行列Ｐ_a ^tＨ_f ^tＨ_fＰ_aは常に対称行列であるため、右
上の三角行列部分は省略した。ｉ行ｊ列の値はｊ行ｉ列
の値と同じである。要素の記号が同じところは値が同じ
になることを示す。例えば、ｍ₃₄と表記してある要素は
すべて同じ値をとる。この行列の特徴を以下に列挙す
る。

【００４０】特徴１：左上から右下にかけて帯状になっ
ており、帯と帯の間の要素は値が０である。 特徴２：帯を左もしくは右にピッチ周期分シフトする
と、値が完全に一致する。 特徴３：ｍ_ijで表記される部分に関して言えば、０≦ｉ
≦４、ｉ≦ｊ≦４のみ値が独立で、それ以外はｍ_i4（０
≦ｉ≦４）の値が斜めに並んでいるだけである。ｋ_ijで
表記される部分についても同様である。 特徴４：ｍ_ijとｋ_ijには密接な関係があって、 ｋ_ij＝ｍ_ij＋ｍ_4-(j-i),4 （０≦ｉ≦４，ｉ≦ｊ≦
４） である。上記特徴１〜４を利用すれば、打ち切ったイン
パルス応答の相関行列Ｈ _f ^tＨ_f、すなわち５×５の行列
ｍ_ij（０≦ｉ≦４，ｉ≦ｊ≦４）のみを計算すれば、Ｐ
_a ^tＨ_f ^tＨ_fＰ_aがＨ_f ^tＨ_fから簡単に変換できることがわ
かる。

【００４１】図２は、行列の規模を少し大きくして、フ
レーム長がピッチ長の２倍よりも大きい場合を模式的に
示した図である。図２におけるフレーム長は４０サンプ
ル、ピッチ周期は１８サンプル、インパルス応答の打ち
切りは５タップを仮定している。図２でも図１と同様に
対称行列のため、右上の三角行列部分は省略している。
また、通常、行列を表記するときには、インデックスは
左から右に向かって大きくなり、上から下に向かって大
きくなるように表記するが、行列の性質上、説明をわか
りやすくするために、右下から上と左ヘインデックスが
大きくなるように表記している。この行列のｉ行ｊ列の
要素を便宜上、φ_ijで表すこととする。

【００４２】図２の例でも、上記特徴１〜４があてはま
る。この例では、フレーム長がピッチ周期の２倍より大
きく３倍よりも小さいので、行列の帯は３本できてお
り、縦縞で表記する帯と帯の間のエリアは値が０にな
る。また、帯を左または右にピッチ周期の整数倍シフト
すると値は完全に一致する。例えば、φ_4,20＝φ_4,38で
ある。斜めの格子縞で表す領域、例えば、φ_ij（１８≦
ｉ≦２２，ｉ≦ｊ≦２２）やφ_ij（３６≦ｉ≦３９，ｉ
≦ｊ≦３９）は、右斜線で示す部分行列φ_ij（０≦ｉ≦
４、ｉ≦ｊ≦４）から前記特徴４の法則およびその拡張
から簡単に計算できる。例えば、 φ_18,18＝φ_0,0＋φ_4,4 φ_20,21＝φ_2,3＋φ_3,4 φ_36,38＝φ_0,2＋φ_20,22＝φ_0,2＋２×φ_2,4 となる。ここで注意することは、ピッチのｎ周期目以降
の領域、本例ではφ_ij（３６≦ｉ≦３９，ｉ≦ｊ≦３
９）が３周期目に相当するが、この場合には後ろの項が
ｎ−１倍（本例では３−１＝２倍）になる。フレームが
長くてピッチ周期が短い場合など、４周期目以上になる
ときも同様にｎ−１倍する。

【００４３】これらの特徴を利用すれば、距離計算のた
めの（４）式の値を非常に少ない演算量で求めることが
可能になり、従来、例えばフレーム長が８０サンプルの
場合に、８０×８０の行列計算が必要であったものが、
例えば５×５の行列計算と、簡単な行列の変換処理で実
現できることになる。図１，図２では説明をわかりやす
くするため行列の要素を全部表示しているが、実際には
例えば５×５の行列のみをメモリに記憶しておき、
（４）式の分母を展開して、５×５の行列の要素のみで
表現すれば、行列を記憶するためのメモリ領域も大幅に
減らすことができる。

【００４４】ただし、分母を展開すると、従来法では１
回のテーブル（行列）参照で済む処理が、式の展開によ
って項が増えるため、相関行列を計算するための処理量
は大幅に削減できるけれども、分母の計算のための演算
回数は若干増加する。５×５などのように、極端にメモ
リ領域を少なくする必要がなければ、例えば５×（フレ
ーム長）のメモリ領域を確保し、行列の値を代入してお
けば、適度に少ないメモリ量と、非常に少ない演算量を
両立することができる。例えば、図２において、φ
_ij（０≦ｉ≦３９，３６≦ｊ≦４０）の値のみを記憶す
る。このときフレームよりも長い部分（ｊ＝４０）につ
いては、フレームを延長したものとみなして計算する。
行列の他の要素（例えば、０≦ｉ≦３９，０≦ｊ≦３
５）は記憶したメモリ領域の参照で代用することができ
る。

【００４５】図３に、本発明による高速な歪み計算方法
の構成例を示す。まず参照音声ｘ_rは量子化された（復
号された）合成フィルタ係数による合成フィルタの逆フ
ィルタ（合成逆フィルタ）８−３を通り、理想の（量子
化しない）駆動音源ベクトルｅに変換される。有限タッ
プ長ＦＩＲ型聴覚重み付き合成フィルタ係数算出部８−
１では、合成フィルタと聴覚重みフィルタを合わせた聴
覚重みつき合成フィルタのインパルス応答を求め、ピッ
チ周期の半分以下の有限タップ長、例えば５タップでイ
ンパルス応答を打ち切る。ここで得られたフィルタ係数
を使ったＦＩＲ型合成フィルタに、理想の駆動音源ベク
トルｅを通し、打ち切り歪みが重畳されたターゲット音
声ｘ_fを得る。

【００４６】打ち切られたインパルス応答は、ピッチ周
期化フィルタ８−２で周期化され、畳み込み部８−４に
送られる。このときのピッチ周期化は、標本化関数を用
いて非整数サンプル周期で行っても良いし、整数サンプ
ル点に近似してもよいが、非整数サンプル周期のままの
ほうが再生音声の品質がよい。畳み込み部８−４と距離
尺度分子計算部８−９で、（４）式の分子が計算され
る。

【００４７】一方、打ち切られたインパルス応答は相関
行列計算部８−５に送られ、相関行列Ｈ_f ^tＨ_fが計算さ
れる。この相関行列は、例えば５タップでインパルス応
答を打ち切った場合には、５×５の行列を計算するだけ
でよい。ピッチ周期化相関行列変換部８−７では、周期
符号によって指定されるピッチ周期を整数サンプル周期
に近似し、前述の変換方法によってＰ_a ^tＨ_f ^tＨ_fＰ_aを計
算する。このとき、Ｐ _a ^tＨ_f ^tＨ_fＰ_aは本来（フレーム
長）×（フレーム長）、例えば８０×８０の行列である
が、前述の特徴があるため、Ｐ_a ^tＨ_f ^tＨ_fＰ_aの一部分、
例えば８０×５の部分行列のみをメモリに記憶し、記憶
した部分を参照することによって（フレーム長）×（フ
レーム長）の行列を参照することと同等の結果が得ら
れ、著しい処理量とメモリ量の削減が可能となる。

【００４８】なお、前述のように、（４）式の分母を展
開して計算すれば、Ｈ_f ^tＨ_fを参照するだけで、Ｐ_a ^tＨ_f
^tＨ_fＰ_aの参照と同等の結果が得られるため、ピッチ周
期化相間行列変換部８−７を省略することもできる。再
生信号パワー（分母）計算部８−８では、行列Ｐ_a ^tＨ_f ^t
Ｈ_fＰ_aまたはＨ_f ^tＨ_fを使って（４）式の分母ｖ_r ^tＰ_a ^t
Ｈ_f ^tＨ_fＰ_aｖ_r'すなわちピッチ周期化の周期を整数サン
プル値で近似した再生信号のパワーを計算する。なお、
固定符号帳として振幅が１の時系列パルスを用いる場合
には、行列Ｐ_a ^tＨ_f ^tＨ_fＰ_aまたはＨ_f ^tＨ_fの要素を参照
して、読み出した要素の値を加算する簡単な処理で分母
の値を計算できる。

【００４９】振幅が１でない実数値をとる場合でも、パ
ルス型の駆動方法で、固定符号ベクトルｖ_rのほとんど
のサンプル位置で値が０、少数のサンプル位置で０でな
い値を持つときには、本発明の方法を使って、非常に高
速な距離計算をすることができる。距離計算部８−１０
では、計算された分子と分母の値から、（４）式の値を
計算し、歪みを求める。このときの歪みは、分母のピッ
チ周期化行列を整数サンプル周期に近似しているため、
本来の歪みの近似値であるが、分母のみを整数サンプル
周期で近似する（分子は近似しない）場合には、近似に
よる再生音の品質劣化はほとんど生じない。

【００５０】以上、この発明の実施形態を図面を参照し
て詳述してきたが、具体的な構成はこの実施形態に限ら
れるものではなく、この発明の要旨を逸脱しない範囲の
設計の変更等があってもこの発明に含まれる。

【００５１】本発明を適用して４ｋｂｉｔ／ｓの音声符
号化を設計し、コンピュータプログラムの形で実現し
た。サンプリング周波数は８ｋＨｚ、線形予測のフレー
ム長は２０ミリ秒（１６０サンプル）、駆動音源ベクト
ルのフレーム長は１０ミリ秒（８０サンプル）、ピッチ
周期を探索する際の許容範囲の下限は１８サンプル、イ
ンパルス応答の打ち切り次数は６次とした。固定符号帳
の構成としては、振幅が１のパルス列を用いた。ピッチ
周期を非整数サンプル数で表現する場合の解像度は１／
３サンプル精度とした。なお、今回は効果を確認するた
めにコンピュータプログラムの形で実現したが、信号処
理用のプロセッサに実装したり、専用のハードウェアの
形で実現してもよい。

【００５２】符号化にかかる処理時間を調べた結果、普
及型パソコンで十分に実時間処理が可能であった。ま
た、再生音を実際に聴いた場合の主観的品質を調べた結
果、ＩＴＵ−Ｔ Ｇ．７２６（３２ｋｂｉｔ／ｓのＡＤ
ＰＣＭ）と同等の品質であった。したがって、Ｇ．７２
６方式と比べると、同等の品質が１／８のビットレート
で実現できたことになる。また、携帯電話で利用されて
いるビットレートが３．４５ｋｂｉｔ／ｓのＰＳＩ−Ｃ
ＥＬＰ方式と比較すると、より高い品質が１／４以下の
処理量で実現できたことになる。このように、本発明を
利用した場合に、非常に少ない処理量と少ないメモリ量
で、高品質な音声符号化を実現でき、近似計算に伴う品
質の劣化は非常に少ないことが確認された。

【００５３】なお、本発明は再生音の品質劣化への影響
が非常に少ない、歪みの近似計算方法を実現するもので
あるが、近似でない歪みを計算したい場合には、本発明
による方法を用いて、歪みの近似値が小さい順（（４）
式の値の大きい順）にいくつかの候補に絞り、それらの
各々の候補について近似でない歪みを計算して最終的に
１つのコードベクトルを決定する方法も可能である。こ
のような二段階選抜で最適なものを選択する場合の一段
階目は予備選択と呼ばれる。本発明は予備選択のための
方法としても有効である。

【００５４】

【発明の効果】本発明によれば、低いビットレート、少
ないメモリ量、少ない演算量で、高品質な再生音声を得
ることができる。

【図面の簡単な説明】

【図１】 本発明において用いられるピッチ周期化相関
行列Ｐ_a ^tＨ_f ^tＨ_fＰ_aの特性を説明する模式図である。

【図２】 本発明において用いられるピッチ周期化相関
行列Ｐ_a ^tＨ_f ^tＨ_fＰ_aの特性を説明する模式図であり、図
１をより一般化して説明する図である。

【図３】 本発明を用いて高速に歪み計算を行う装置の
構成例を説明するブロック図である。

【図４】 従来のＣＥＬＰ型音声符号化装置の構成例を
説明するブロック図である。

【図５】 ＣＥＬＰ型音声符号化装置における固定符号
帳探索装置の構成例を説明するブロック図である。

【図６】 合成歪みを計算する装置の構成例を説明する
ブロック図である。

【図７】 インパルス応答を用いて歪み計算を行う装置
の構成例を説明するブロック図である。

【図８】 本発明者等が既に出願した方法で、インパル
ス応答の打ち切りとピッチ逆フィルタを用いる高速な歪
み計算装置の構成例を説明するブロック図である。

【符号の説明】

８−１……有限タップ長ＦＩＲ型聴覚重みつき合成フィ
ルタ係数算出部 ８−２……ピッチ周期化フィルタ ８−３……合成逆フィルタ ８−４……畳み込み部 ８−５……相関行列計算部 ８−６……固定符号帳 ８−７……ピッチ周期化相関行列変換部 ８−８……再生信号パワー（分母）計算部 ８−９……距離尺度分子計算部 ８−１０……距離尺度計算部 ８−１１……ＦＩＲ型合成フィルタ

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁶，ＤＢ名) G10L 3/00 - 9/20 H03M 7/30 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (15)

(57)【特許請求の範囲】
1. 【請求項１】 符号帳から取り出した時系列ベクトル
   を、音声の基本周期に対応する周期で周期化したベクト
   ルを用いて作成した駆動音源ベクトルにより、合成フィ
   ルタを駆動して音響信号を再生し、 目標となる音響信号と、上記再生された音響信号の間の
   歪みが最小または最小に準ずるような駆動音源ベクトル
   を決定する符号化方法において、 上記歪みを計算する過程で、 周期化の周期化ゲインを１に設定し、 周期化のための周期を整数サンプル値で近似し、 合成フィルタまたは聴覚重みを考慮した合成フィルタの
   インパルス応答を求め、 上記インパルス応答を周期化の周期の２分の１以下の長
   さで打ち切り、 上記打ち切ったインパルス応答を用いてインパルス応答
   行列の相関行列を計算し、 周期化を上記整数サンプル値による近似処理で置き換え
   ることを前提とし、上記打ち切ったインパルス応答より
   計算されたインパルス応答行列の相関行列を用いて、再
   生される音響信号のパワーの近似値を計算することを特
   徴とする音響信号の符号化方法。
2. 【請求項２】 請求項１に記載の音響信号の符号化方法
   において、 目標となる音響信号に合成フィルタの逆フィルタをかけ
   た信号に、上記打ち切ったインパルス応答を係数とする
   ＦＩＲ型フィルタをかけて、インパルス応答の打ち切り
   歪みが重畳された目標音響信号を作成し、この打ち切り
   歪みが重畳された目標音響信号を新たな目標音響信号と
   みなして駆動音源ベクトルを決定することを特徴とする
   音響信号の符号化方法。
3. 【請求項３】 請求項２に記載の音響信号の符号化方法
   において、 インパルス応答の打ち切り次数を３〜１０タップ程度に
   短く設定することを特徴とする音響信号の符号化方法。
4. 【請求項４】 請求項１から請求項３の何れかに記載の
   音響信号の符号化方法において、 ピッチ周期化相関行列が、打ち切ったインパルス応答よ
   り計算されたインパルス応答行列の相関行列のみから算
   出できる特徴を利用して、 再生信号パワーの計算式を、打ち切ったインパルス応答
   より計算されたインパルス応答行列の相関行列の要素の
   みで表現して、 打ち切ったインパルス応答より計算されたインパルス応
   答行列の相関行列の要素を参照しながら再生信号のパワ
   ーを計算することを特徴とする音響信号の符号化方法。
5. 【請求項５】 請求項１から請求項３の何れかに記載の
   音響信号の符号化方法において、 ピッチ周期化相関行列の要素が、周期化の周期分ずれた
   位置で同じ値をとる、すなわち行または列を周期分シフ
   トした位置で値が一致するという特徴を利用して、 （フレームまたはサブフレーム長）×（インパルス応答
   の打ち切り次数）サイズの行列をメモリに蓄え、 ピッチ周期化相関行列の参照を、上記メモリの参照によ
   って行うことを特徴とする音響信号の符号化方法。
6. 【請求項６】 符号帳から取り出した時系列ベクトル
   を、音声の基本周期に対応する周期で周期化したベクト
   ルを用いて作成した駆動音源ベクトルにより、合成フィ
   ルタを駆動して音響信号を再生し、 目標となる音響信号と、上記再生された音響信号の間の
   歪みが最小または最小に準ずるような駆動音源ベクトル
   を決定する符号化装置において、 上記歪みを計算する歪計算手段は、 周期化の周期化ゲインを１に設定する設定手段と、 周期化のための周期を整数サンプル値で近似する周期近
   似手段と、 合成フィルタまたは聴覚重みを考慮した合成フィルタの
   インパルス応答を求める応答手段と、 上記インパルス応答を周期化の周期の２分の１以下の長
   さで打ち切る打切手段と、 上記打ち切ったインパルス応答を用いてインパルス応答
   行列の相関行列を計算する相関行列計算手段と、 周期化を上記整数サンプル値による近似処理で置き換え
   ることを前提とし、上記打ち切ったインパルス応答より
   計算されたインパルス応答行列の相関行列を用いて、再
   生される音響信号のパワーの近似値を計算する音響信号
   近似手段とを具備することを特徴とする音響信号の符号
   化装置。
7. 【請求項７】 請求項６に記載の音響信号の符号化装置
   において、 目標となる音響信号に合成フィルタの逆フィルタをかけ
   た信号に、上記打ち切ったインパルス応答を係数とする
   ＦＩＲ型フィルタをかけて、インパルス応答の打ち切り
   歪みが重畳された目標音響信号を作成し、この打ち切り
   歪みが重畳された目標音響信号を新たな目標音響信号と
   みなして駆動音源ベクトルを決定する駆動音源ベクトル
   決定手段を具備することを特徴とする音響信号の符号化
   装置。
8. 【請求項８】 請求項７に記載の音響信号の符号化装置
   において、 インパルス応答の打ち切り次数を３〜１０タップ程度に
   短く設定することを特徴とする音響信号の符号化装置。
9. 【請求項９】 請求項６から請求項８の何れかに記載の
   音響信号の符号化装置において、 前記音響信号近似手段は、 ピッチ周期化相関行列が、打ち切ったインパルス応答よ
   り計算されたインパルス応答行列の相関行列のみから算
   出できる特徴を利用して、 再生信号パワーの計算式を、打ち切ったインパルス応答
   より計算されたインパルス応答行列の相関行列の要素の
   みで表現して、 打ち切ったインパルス応答より計算されたインパルス応
   答行列の相関行列の要素を参照しながら再生信号のパワ
   ーを計算することを特徴とする音響信号の符号化装置。
10. 【請求項１０】 請求項６から請求項８の何れかに記載
    の音響信号の符号化装置において、 前記音響信号近似手段は、 ピッチ周期化相関行列の要素が、周期化の周期分ずれた
    位置で同じ値をとる、すなわち行または列を周期分シフ
    トした位置で値が一致するという特徴を利用して、 （フレームまたはサブフレーム長）×（インパルス応答
    の打ち切り次数）サイズの行列をメモリに蓄え、 ピッチ周期化相関行列の参照を、上記メモリの参照によ
    って行うことを特徴とする音響信号の符号化装置。
11. 【請求項１１】 コンピュータを、 符号帳から取り出した時系列ベクトルを、音声の基本周
    期に対応する周期で周期化したベクトルを用いて作成し
    た駆動音源ベクトルにより、合成フィルタを駆動して音
    響信号を再生し、 目標となる音響信号と、上記再生された音響信号の間の
    歪みが最小または最小に準ずるような駆動音源ベクトル
    を決定する符号化装置として機能させるためのプログラ
    ムを記録した媒体において、 上記歪みを計算する過程で、 コンピュータを、 周期化の周期化ゲインを１に設定する設定手段と、 周期化のための周期を整数サンプル値で近似する周期近
    似手段と、 合成フィルタまたは聴覚重みを考慮した合成フィルタの
    インパルス応答を求める応答手段と、 上記インパルス応答を周期化の周期の２分の１以下の長
    さで打ち切る打切手段と、 上記打ち切ったインパルス応答を用いてインパルス応答
    行列の相関行列を計算する相関行列計算手段と、 周期化を上記整数サンプル値による近似処理で置き換え
    ることを前提とし、上記打ち切ったインパルス応答より
    計算されたインパルス応答行列の相関行列を用いて、再
    生される音響信号のパワーの近似値を計算する音響信号
    近似手段ととして機能させるためのプログラムを記録し
    た媒体。
12. 【請求項１２】 請求項１１に記載の記録媒体におい
    て、 コンピュータを、 目標となる音響信号に合成フィルタの逆フィルタをかけ
    た信号に、上記打ち切ったインパルス応答を係数とする
    ＦＩＲ型フィルタをかけて、インパルス応答の打ち切り
    歪みが重畳された目標音響信号を作成し、この打ち切り
    歪みが重畳された目標音響信号を新たな目標音響信号と
    みなして駆動音源ベクトルを決定する駆動音源ベクトル
    決定手段として機能させるためのプログラムを記録した
    媒体。
13. 【請求項１３】 請求項１２に記載の記録媒体におい
    て、 インパルス応答の打ち切り次数を３〜１０タップ程度に
    短く設定することを特徴とする記録媒体。
14. 【請求項１４】 請求項１１から請求項１３の何れかに
    記載の記録媒体において、 前記音響信号近似手段は、 ピッチ周期化相関行列が、打ち切ったインパルス応答よ
    り計算されたインパルス応答行列の相関行列のみから算
    出できる特徴を利用して、 再生信号パワーの計算式を、打ち切ったインパルス応答
    より計算されたインパルス応答行列の相関行列の要素の
    みで表現して、 打ち切ったインパルス応答より計算されたインパルス応
    答行列の相関行列の要素を参照しながら再生信号のパワ
    ーを計算することを特徴とする記録媒体。
15. 【請求項１５】 請求項１１から請求項１３の何れかに
    記載の記録媒体において、 前記音響信号近似手段は、 ピッチ周期化相関行列の要素が、周期化の周期分ずれた
    位置で同じ値をとる、すなわち行または列を周期分シフ
    トした位置で値が一致するという特徴を利用して、 （フレームまたはサブフレーム長）×（インパルス応答
    の打ち切り次数）サイズの行列をメモリに蓄え、 ピッチ周期化相関行列の参照を、上記メモリの参照によ
    って行うことを特徴とする記録媒体。