JP3230782B2 - 広帯域音声信号復元方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は狭帯域音声信号から広
帯域音声信号を生成する方法に関し、具体的には、現在
電話音声やＡＭラジオ等で出力されているような狭帯域
音声信号を、オーディオセットやＦＭラジオ等で出力さ
れているような広帯域音声信号に高品質化することを可
能とする方法に関する。

【０００２】

【従来の技術】狭帯域音声信号の例として電話音声につ
いて説明する。既存の電話システムが伝送できる信号の
スペクトル帯域は、約３００Hzから3.４kHz である。従
来の音声の符号化技術の目的は、この電話帯域の音声の
品質を保ち、かつ伝送パラメータ量を最小にすることで
あった。すなわち従来の音声の符号化技術では入力音声
を再現することは可能であるが、入力音声の品質を超え
る音声を得ることは不可能である。一方、最近の音響技
術の発展やディジタル処理の開発により日常生活で使わ
れる音の品質が向上してきており、現状の電話帯域の音
声の音質では満足できない状況が発生している。この要
望を解決する方法としては、既存の電話システムを破棄
し、広帯域の信号を伝送できるような電話システムを再
構築することが考えられるが、経済的に大きな負担であ
るばかりでなく、再構築するにしてもかなりの時間を要
すると考えられる。

【０００３】

【発明が解決しようとする課題】この発明の主たる目的
は、例えば既存の電話システムを有効に利用して伝送さ
れた狭帯域音声信号を広帯域の音声信号として出力でき
るようにすること、また例えば広帯域の信号を伝送でき
るような電話システムと既存の狭帯域の電話システムと
が共存する様な状況においても、両方の電話システムの
組み合わせに関係なく、広帯域の音声信号を利用できる
ようにする広帯域音声信号復元方法を提供することにあ
る。

【０００４】

【課題を解決するための手段】請求項１の発明によれ
ば、第１のステップで入力された狭帯域音声信号をスペ
クトル分析し、その分析結果を、第２のステップで、予
め用意した狭帯域音声信号のコードブックを用いてベク
トル量子化し、その量子化値を、第３のステップで、予
め用意した代表波形素片のコードブックを用いて復元し
て広帯域音声信号を得る。

【０００５】請求項２の発明によれば、請求項１の発明
において、更に第４のステップで、入力された狭帯域音
声信号をアップサンプリングしてサンプリング値を算出
し、第５のステップで、第３のステップで得た広帯域音
声信号から入力狭帯域音声信号の帯域外の広帯域部分を
取り出し、その取り出した広帯域部分を第６のステップ
で上記サンプリング値に加えて広帯域音声信号を得る。

【０００６】請求項３の発明によれば、請求項１又は２
の発明で用いる代表波形素片のコードブックを次のよう
にして作る。即ち学習用広帯域音声信号をスペクトル分
析し、そのスペクトル分析の結果と、予め用意した広帯
域音声信号のコードブックとを比較し、その各コードに
ついてそのパラメータと最も近いスペクトル分析結果と
対応する学習用広帯域音声信号を、有声音なら１ピッチ
分、無声音なら１フレーム分抽出し、そのコードの代表
波形素片とする。

【０００７】請求項４の発明によれば入力狭帯域音声信
号を第１のステップでスペクトル分析し、その分析結果
を、第２のステップで、予め用意した狭帯域音声信号の
コードブックを用いてベクトル量子化し、その量子化値
を、第３のステップで、予め用意した広帯域音声信号の
コードブックを用いて復元して広帯域音声信号を得、そ
の広帯域音声信号から入力狭帯域音声信号より低域の成
分を第４のステップで取出して低域信号を復元し、第２
のステップで得た量子化値を、予め用意した狭帯域音声
信号よりも高域の音声信号の代表波形素片のコードブッ
クを用いて、第５のステップで高域信号を復元し、入力
狭帯域音声信号を第６のステップでアップサンプリング
を行ってサンプリング値を算出し、そのサンプリング値
と、上記復元低域信号と、上記復元高域信号とを第７の
ステップで加えて広帯域音声信号を得る。

【０００８】

【実施例】この発明の方法では狭帯域音声信号のコード
ブックと、代表波形素片のコードブックとを必要とし、
その代表波形素片のコードブックを作る際に広帯域音声
信号のコードブックを用いる。従ってまずこれらコード
ブックの作成方法を説明する。

【０００９】まず図１を参照して広帯域音声信号のコー
ドブック作成手順について説明する。この作成手順は従
来より知られ、広帯域音声信号の特徴を効率良く表現す
るために、広帯域音声信号の特徴を適切に表現するパラ
メータを用いてクラスタリングを行いコードブックを作
成する。音声信号を特徴付けるパラメータとして線形予
測分析（ＬＰＣ）による音声スペクトル包絡や、ＦＦＴ
ケプストラム分析法による音声スペクトル包絡、ＰＳＥ
音声分析合成法、正弦波の重ね合わせによる音声の表現
法等が考えられるが、この実施例においては、ＬＰＣに
よる音声スペクトル包絡を特徴パラメータとして用いた
場合について説明する。まず入力された広帯域、例えば
８kHz 帯域の音声はステップ１０１においてＡ／Ｄ変換
器によってディジタル信号に変換される。その後、ステ
ップ１０２においてＬＰＣ分析が施され、スペクトル情
報（自己相関係数、ＬＰＣケプストラム係数）のパラメ
ータが得られる。これらのパラメータを充分多く、例え
ば２００単語程度について収集した後にステップ１０３
においてクラスタリングを行う。クラスタリングはＬＢ
Ｇアルゴリズムで行われるが、この際使用される距離尺
度は（１）式で示すごとくＬＰＣケプストラムのユーク
リッド距離Ｄである。

【００１０】 Ｄ＝Σ〔Ｃ(i) −Ｃ′(i) 〕 …… （１） ここでΣはｉ＝１からｐまで、Ｃ及びＣ′は異なる音声
信号をＬＰＣ分析して求めた各ＬＰＣケプストラム係
数、ｐはＬＰＣケプストラム係数の次数である。なお、
上述のＬＢＧアルゴリズムについては、Linde,Buzo,Gra
y;"An algorithm for Vector Quantization Design" IE
EE COM-28(1980-01)に詳細に記載されている。

【００１１】上述の（１）式に基づいて、広帯域音声信
号コードブック１０４が求まる。次に図２を参照して、
広帯域音声信号コードブックとの対応関係をとりなが
ら、狭帯域音声信号コードブックを作成する手順につい
て説明する。まずステップ２０１において、学習用の広
帯域音声信号から入力となる狭帯域音声信号と同一帯域
の信号を作成する。この実施例においては広帯域音声信
号を８kHz 帯域の音声信号とし、狭帯域音声信号を電話
帯域の音声信号として説明する。従って、ステップ２０
１は３００Hz以下の周波数を除去するハイパスフィルタ
と3.４kHz 以上の周波数を除去するローパスフィルタと
に広帯域音声信号を通すことによって実現される。一
方、入力広帯域音声信号はステップ２０２においてＬＰ
Ｃ分析が施され、ステップ２０３において、前述の図１
に示したコードブックの作成手順に従って求めた広帯域
音声信号のコードブック１０４を用いて、ベクトル量子
化される。

【００１２】ところで、狭帯域音声信号は広帯域音声信
号から作成されたものであるから、狭帯域音声信号と広
帯域音声信号との時間対応はＬＰＣ分析を施すフレーム
番号で１対１に対応をとることができる。この原理に従
って、ステップ２０３でベクトル量子化した広帯域音声
信号に対応する狭帯域音声信号を求め、この信号をステ
ップ２０５でＬＰＣ分析し、その分析結果をステップ２
０６において、ステップ２０３のベクトル量子化で得ら
れたコードベクトル番号ごとに分類し保存する。つまり
広帯域音声信号と狭帯域音声信号との時間対応とステッ
プ２０２，２０５の両フレームとの対応と一致させ、同
一フレーム番号の広帯域音声信号のベクトル量子化され
たコードベクトル番号と、狭帯域音声信号のＬＰＣ分析
結果とをそれぞれ対応させて保存する。以上、ステップ
２０１からステップ２０６の処理を学習用に準備された
全ての広帯域音声信号、例えば２００単語分に対して施
す。ステップ２０７では、以上の全ての処理を通じてス
テップ２０６で保存されたＬＰＣ分析結果を、各クラス
タ（同一コードベクトル番号）ごとに平均化処理を行
い、その平均値をコードベクトルとして持つ狭帯域音声
信号のコードブック２０８を作成する。

【００１３】次に代表波形素片のコードブックを作成す
る手順を図３を参照して説明する。図１の広帯域音声信
号のコードブックの作成に用いた学習用広帯域音声信
号、又は異なるほぼ同一の周波数帯の学習用広帯域音声
信号を入力してステップ３０１でＡ／Ｄ変換器によりデ
ィジタル信号に変換し、ステップ３０２でそのディジタ
ル信号に付してＬＰＣ分析を行ってスペクトル情報（自
己相関係数、ＬＰＣケブストラム係数）のパラメータを
得る。このパラメータは図１のコードブックを作成した
時のパラメータと同一のものとする。従って、図３のス
テップ３０１，３０２は省略し、図１のステップ１０２
で得られたパラメータを用いてもよい。このパラメータ
を充分多く収集した後、例えば２００単語程度について
収集した後、ステップ３０３で、図１で作成した広帯域
音声信号のコードブック１０４を参照して、各セントロ
イドに最も近いフレームを選ぶ、つまり、コードブック
１０４の各コード番号について、そのコードベクトルに
最も近いスペクトル情報パラメータを選択し、そのパラ
メータと対応した原広帯域音声信号における１分析窓
長、（ＬＰＣ分析における）の波形を、有声音ならば１
ピッチ分、無声音ならば１分析窓長分抽出し、その抽出
波形をそのコード番号に対する代表波形素片とする。こ
のようにして各コード番号に対する代表波形素片を収容
した代表波形素片コードブック３０５を得る。

【００１４】次に請求項１の発明により狭帯域音声信号
から広帯域音声信号を復元する手順を図４を参照して説
明する。入力された、例えば３００Hz〜３．４kHz の狭
帯域音声信号を、ステップ４０１においてＬＰＣ分析し
て図１で用いたものと同様のスペクトル情報を得、この
得られたスペクトル情報パラメータを、ステップ４０１
においてベクトル量子化する。このベクトル量子化で
は、図２で示した方法で作成した狭帯域音声信号コード
ブック２０８が使用される。次に、ステップ４０４にお
いて、図３で求めた代表波形素片３０５を用いてコード
ベクトル番号と対応する代表波形素片を取り出し、有声
部分はピッチ同期の重ね合わせで、無声部分は窓長シフ
ト幅（ＬＰＣ分析における）分の波形をランダムに使用
することによって波形合成して例えば８kHz 帯域の広帯
域音声信号を得る。

【００１５】以上の処理で求まった広帯域音声信号は、
狭帯域音声信号には存在しない信号を含んでいるが、狭
帯域音声信号に存在していた信号を歪ませるという副作
用を起こす。そこで、請求項２の発明では次に述べる処
理を行う。すなわちステップ４０５において、ステップ
４０４で得られた広帯域音声信号を、３００Hz以下の周
波数を取り出すローパスフィルタと３．４kHz 以上の周
波数を取り出すハイパスフィルタとに通し、入力狭帯域
音声信号の帯域外の広帯域部分を取り出す。一方、入力
狭帯域音声信号をステップ４０６で８kHz 帯域にアップ
サンプリングし、そのサンプリング値と、ステップ４０
５の出力広帯域部分とをステップ４０７でたしあわせ
て、復元された広帯域音声信号を得る。

【００１６】上述において、代表波形素片コードブック
による入力信号帯域外の復元を高域側のみとし、低域側
は、音声素片を用いなくてもよい。即ち例えば図５に示
すように図４について述べたように、入力狭帯域音声信
号をＬＰＣ分析し、（４０１）その分析結果を狭帯域音
声信号コードブック２０８を用いてベクトル量子化する
が（４０２）、その量子化コードを、広帯域音声信号コ
ードブック１０４を用いて、復元し、つまり、この量子
化コードと同一コードの広帯域音声信号コードブック１
０４のコードベクトルでＬＰＣ音声合成器のフィルタ係
数を制御し、そＬＰＣ音声合成器にステップ４０１での
ＬＰＣ分析にもとづくピッチの励振信号を入力し、また
出力レベルをステップ４０１のＬＰＣ分析のレベルに応
じて制御する（５０１）。このように復元された広帯域
音声信号から狭帯域入力信号より低域成分、例えば３０
０Hz以下を低域通過フィルタで取出す（５０２）。この
時、ステップ４０１でのＬＰＣ分析による検出パワーは
３００Hz〜３．４kHz の入力狭帯域信号のパワーであ
り、この、パワーとステップ５０１からの、ＬＰＣ合成
信号、例えば８kHz 帯の信号がパワーが等しくなるよう
にされる。よってこの復元された広帯域音声信号のパワ
ーレベルは、入力狭帯域信号の帯域についてみると低下
したものとなっている。その低下した分をステップ５０
２の低域通過フィルター出力に対して調整して入力狭帯
域音声信号のパワーレベルと対応するように上げる（５
０３）。このようにして入力狭帯域音声信号と対応した
その帯域よりも低い帯域の信号が復元される。

【００１７】次に、入力狭帯域音声信号と対応するその
帯域よりも高域の信号を復元するために二つの代表波形
素片コードブックを予め作成しておく。つまり、図３に
示すように、学習広帯域音声信号から代表波形素片コー
ドブック３０５を作る場合と、同様の手法で図６に示す
ように、学習広帯域音声信号を、広帯域音声信号コード
ブック１０４を用いてベクトル量子化し、その各コード
についてコードベクトルを最も近い学習広帯域音声信号
の波形を有音声については１ピッチ分、無声音について
はＬＰＣ分析における１分析窓長分抽出する（３０
３）。この抽出した各代表波形素片を、例えば３００Hz
〜３．４kHz を通過帯域とするフィルタに通して（６０
１）、狭帯域の代表波形素片コードブック６０２を作
り、またステップ３０３で抽出した各代表波形素片を例
えば３．４kHz 以上を通過させる高域通過フィルタに通
して（６０３）、高域の代表波形素片コードブック６０
４を作る。

【００１８】これら両代表波形素片コードブック６０
２、６０４を用いて、入力狭帯域音声信号から、その帯
域よりも高い帯域の信号を復元する手法を図７を用いて
説明する。図４のステップ４０２で入力狭帯域信号を、
狭帯域音声信号コードブック２０８を用いてベクトル量
子化したが、その量子化コード番号を用いて、狭帯域代
表波形素片コードブック６０２から代表波形素片を選択
し（７０１）、また前記量子化コード番号を用いて、広
帯域の代表波形素片コードブック６０４から代表波形素
片を選択する。これら選択した狭帯域、広帯域の各代表
波形素片がそれぞれ無声音か有声音かの判定を行う（７
０３、７０４）。無声音と判定されると、それぞれその
選択した狭帯域、広帯域の各代表波形素片から、窓シフ
ト幅分ずつ、開始点をランダムに選定して取出す（７０
５、７０６）。ステップ７０３、７０４で有声音と判定
されると、その選択した狭帯域、広帯域の各代表波形素
片を、ＬＰＣ分析（図４のステップ４０１）の結果得ら
れているピッチと同期して取出して重ね合わせる（７０
７、７０８）。ステップ７０５、７０７で取出した各代
表波形素片列のパワーと、ＬＰＣ分析（図４のステップ
４０１）の結果得られているパワーとの比をそれぞれ求
める（７０９、７１０）。これら求めた比を、ステップ
７０６、７０８より得られ、代表波形素片列のレベルに
掛算して、入力狭帯域音声信号のパワーと対応するパワ
ーとして（７１１、７１２）、加算することにより入力
狭帯域音声信号と対応するその帯域の高域側の復元信号
を得る（７１３）。

【００１９】この高域側復元信号と、図５で得られた低
域側復元信号と、図４中のステップ４０６で得られた狭
帯域音声信号とを加えて広帯域音声信号を得る。図１中
のステップ１０２，図２中のステップ２０２，２０５，
図３中のステップ３０２，図４中のステップ４０１にお
ける各スペクトル分析は同一分析法により同種のパラメ
ータを求める。図２の狭帯域音声信号コードブック２０
８の作成に用いる学習用広帯域音声信号は、広帯域音声
信号コードブック１０４の作成に用いた広帯域音声信号
を用いることが好ましい。何れにしても両音声信号の特
徴の対応関係を保存しながら両コードブックを作成する
とよい。しかし、この場合より音質が多少悪くなるが、
広帯域音声信号のコードブック１０４と、狭帯域音声信
号のコードブック２０８の各作成に全く別の音声信号を
用いてもよく、かつ狭帯域音声信号のコードブック２０
８を図２に示したように、広帯域音声信号と狭帯域音声
信号の特徴の対応関係を保存させて作成するのではな
く、図１に示した通常の手法で狭帯域音声信号コードブ
ック２０８を作ってもよい。このようにしても広帯域音
声信号と狭帯域音声信号とは、例えば同一音韻について
みればその特徴は一般的にかなり相関があり、狭帯域音
声信号の同一音韻について広帯域音声信号のコードブッ
ク中の同一音韻を用いれば音質がかなり向上することが
期待できる。この場合広帯域音声信号のコードブック１
０４と狭帯域音声信号のコードブック２０８との各同一
コード番号について両コードベクトルを対応付けておく
必要がある。

【００２０】広帯域音声コードブック１０４を作るため
の広帯域音声信号と、代表波形素片コードブック３０５
を作るための広帯域音声信号とは同様に同一でも異なっ
ていてもよい。

【００２１】

【発明の効果】学習データとして音韻バランス単語１８
６単語を用い、分析窓にハミング窓を用い、分析窓長を
２１ミリ秒とし、窓シフト幅を３ミリ秒とし、ＬＰＣ分
析次数を１４次とし、ＦＦＴポイント数を５１２とし、
コードブック作成時の距離尺度をＬＰＣケプストラムユ
ークリッド距離とし、広帯域音声信号コードブック１０
４のサイズを１６、狭帯域音声信号コードブック２０６
のサイズを２５６として、次の試験を行った。

【００２２】Ａ及びＢとして電話帯域音声、７．３kHz
帯域音声をランダムに提示する。３番目に提示される音
声Ｘを次の（１）から（４）とした。 （１） 電話帯域音声 （２） ７．３kHz 帯域音声 （３） 図５、図７の復元法（本発明）を利用した音声 （４） （２）のＬＰＣ分析合成音の低域、高域を電話
帯域音声に加え合わせた音声 （４）がＬＰＣ系を利用した場合に最良の復元音声にな
ると考え、被験者にはＸの音声がＡに近いかＢに近いか
を判断させた。全部で１２５組の音声をヘッドホンを用
いて提示した。被験者は６名である。Ｘが７．３kHz 帯
域音声に近いと判断した割合を下記に示す。 （１） （２） （３） （４） ６．９％ ９６．９％ ８６．２％ ８６．４％ （３）の本発明による復元音声、（４）のＬＰＣ合成音
による復元音声が７．３kHz 帯域音声に近いという結果
が、それぞれ、８６．２％、８６．４％であり、復元音
声が、７．３kHz 帯域音声に近いという結果が８６．４
％であり、この発明によれば、可成りよく、帯域の復元
がなされていることが理解される。

【００２３】以上述べたように、この発明によれば、狭
帯域音声信号と、広帯域音声との特徴の対応により、狭
帯域音声信号に存在しない音声信号の特徴を効率よく復
元することができる。特に、広帯域音声信号をそのまま
音声波形素片として用いて復元するため高品質な復元音
声を得ることができる。

【図面の簡単な説明】

【図１】広帯域音声信号コードブックを作成する手順を
示す図。

【図２】狭帯域音声信号コードブックを作成する手順を
示す図。

【図３】代表波形素片コードブックを作成する手順を示
す図。

【図４】請求項１及び２の各発明による広帯域音声信号
復元方法の手順を示す図。

【図５】入力狭帯域音声信号よりも低い帯域の信号を復
元する方法の手順を示す図。

【図６】狭帯域の代表波形素片コードブック及び高域の
代表波形素片コードブックを作成する手順を示す図。

【図７】入力狭帯域音声信号よりも高い帯域の信号を復
元する方法の手順を示す図。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10L 19/00

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 入力された狭帯域音声信号から広帯域音
   声信号を生成して出力する広帯域音声復元方法におい
   て、 入力された狭帯域音声信号をスペクトル分析する第１の
   ステップと、 その第１のステップで得た結果を、予め用意した狭帯域
   音声信号のコードブックを用いてベクトル量子化する第
   ２のステップと、 その第２のステップで得た量子化値を、予め用意した代
   表波形素片のコードブックを用いて復元して広帯域音声
   信号を得る第３のステップと、 からなる広帯域音声信号復元方法。
2. 【請求項２】 上記入力された狭帯域音声信号をアップ
   サンプリングを行ってサンプリング値を算出する第４の
   ステップと、 上記第３のステップで得た広帯域音声信号から上記入力
   狭帯域音声信号帯域外の広帯域部分を取り出す第５のス
   テップと、 その第５のステップで得た広帯域部分と上記第４のステ
   ップで得たサンプリング値とを加えて広帯域音声信号を
   得る第６のステップと、 を備えることを特徴とする請求項１記載の広帯域音声信
   号復元方法。
3. 【請求項３】 上記代表波形素片のコードブックは、学
   習用広帯域音声信号をスペクトル分析し、そのスペクト
   ル分析の結果と、予め用意した広帯域音声信号のコード
   ブックとを比較し、その各コードについてそのパラメー
   タと、最も近いスペクトル分析結果と対応する学習用広
   帯域音声信号を、有声音なら１ピッチ分、無声音なら１
   フレーム分抽出し、そのコードの代表波形素片としたも
   のであることを特徴とする請求項１又は２記載の広帯域
   音声信号復元方法。
4. 【請求項４】 入力された狭帯域音声信号から広帯域音
   声信号を生成して出力する広帯域音声復元方法におい
   て、 入力された狭帯域音声信号をスペクトル分析する第１の
   ステップと、 その第一のステップで得た結果を、予め用意した狭帯域
   音声信号のコードブックを用いてベクトル量子化する第
   ２のステップと、 その第２のステップで得た量子化値を、予め用意した広
   帯域音声信号のコードブックを用いて復元する第３のス
   テップと、 その復元された広帯域音声信号から上記入力狭帯域音声
   信号より低域の成分を取出す第４のステップと、 上記第２のステップで得た量子化値を、予め用意した、
   狭帯域音声信号より高域の音声信号の代表波形素片のコ
   ードブックを用いて復元して高域音声信号を得る第５の
   ステップと、 上記入力された狭帯域音声信号をアップサンプリングを
   行ってサンプリング値を算出する第６のステップと、 上記第４のステップで取出した低域成分と、上記第５の
   ステップで復元した高域音声信号と、上記第６のステッ
   プで算出したサンプリング値とを加えて広帯域音声信号
   を得る第７のステップと、 を備えることを特徴とする広帯域音声信号復元方法。