JP4099879B2 - 帯域幅拡張方法及び装置 - Google Patents
帯域幅拡張方法及び装置 Download PDFInfo
- Publication number
- JP4099879B2 JP4099879B2 JP30430298A JP30430298A JP4099879B2 JP 4099879 B2 JP4099879 B2 JP 4099879B2 JP 30430298 A JP30430298 A JP 30430298A JP 30430298 A JP30430298 A JP 30430298A JP 4099879 B2 JP4099879 B2 JP 4099879B2
- Authority
- JP
- Japan
- Prior art keywords
- component
- bandwidth
- band
- narrowband signal
- band component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
- Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、通信、放送によって伝えられる周波数帯域の狭い音声信号またはそれを構成するパラメータを、送信、伝送路ではそのままにし、受信側で帯域幅を拡張して広帯域音声信号にする帯域幅拡張方法及び装置に関する。また、パッケージメディアに蓄積された信号の帯域幅を拡張して広帯域信号とする帯域幅拡張方法及び装置に関する。
【０００２】
【従来の技術】
電話回線の帯域は例えば３００〜３４００Ｈｚと狭く、電話回線を介して送られてくる音声信号の周波数帯域は制限されている。このため、従来のアナログ電話回線の音質はあまり良好とは言えない。また、ディジタル携帯電話の音質についても不満がある。
【０００３】
しかしながら、伝送路の規格が定まっているため、この帯域幅を広げることは難しい。したがって、受信側で帯域外の信号成分を予測し、広帯域信号を生成するシステムが様々提案されている。
【０００４】
中でも、我が国の自動車／携帯電話の音声コーデック方式であるベクトル和励起線形予測（Vector Sum Excited Linear Prediction：ＶＳＥＬＰ）符号化、ピッチ同期雑音励振源−符号励起線形予測（Pitch Synchronus Innovation−Code Exited Linear Prediction：ＰＳＩ−ＣＥＬＰ）符号化方式に適用を試みた方式では、ＬＰＣ合成を行うことに着目し、線形予測係数αと励振源の両方を広帯域化し、広帯域化されたαと励振源によりＬＰＣ合成を行うものがある。
【０００５】
しかしながら、これによって得られた広帯域音声には歪みが含まれる。そこで、原音声に含まれていた周波数成分においては、当然原音声のままの方が品質は良いので、合成された広帯域音声のうちこの成分をフィルタにより除去し、原音声を加算するという手法を取っている。
【０００６】
【発明が解決しようとする課題】
ところで、以上のように合成された広帯域音声であるが、音質の好みの個人差が大きく、推測合成された高域成分のゲインは固定値にしない方が良いことが分かった。同様に、６ＫＨｚ以上の高域成分は若干抑圧したほうが好まれるが、この値も固定にしない方が好ましい。
【０００７】
本発明は、上記実情に鑑みてなされたものであり、高域成分の周波数特性をユーザの好みに合わせて調整することのできる帯域幅拡張方法及び装置の提供を目的とする。
【０００８】
【課題を解決するための手段】
ゲインに関しては、原音声と合成された帯域外成分を加算するという手法を取っているために、加算前に帯域外成分のゲインを調整することで可能となる。また帯域幅に関しては、加算前もしくは加算後に周波数特性を調整するフィルタをかけることで可能となる。
【０００９】
このため、本発明の帯域幅拡張方法は、狭帯域信号もしくはこれを合成することが可能なパラメータから、帯域外成分を推測し、上記狭帯域信号に加算して帯域幅を拡張する帯域幅拡張方法において、上記帯域外成分の周波数特性を、予め与えられた変更可能なパラメータ値によって調整して人の声の周波数成分以上を抑圧し、さらにゲインを調整し、当該帯域外成分を上記狭帯域信号に加算する。
【００１０】
また、狭帯域信号もしくはこれを合成することが可能なパラメータから、帯域外成分を推測し、上記狭帯域信号に加算して帯域幅を拡張する帯域幅拡張方法において、上記狭帯域信号に加算された後の上記帯域外成分の周波数特性を、予め与えられた変更可能なパラメータ値によって人の声の周波数成分以上を抑圧し、さらにゲインを調整する。
【００１１】
さらに、本発明の帯域幅拡張装置は、狭帯域信号もしくはこれを合成することが可能なパラメータから、帯域外成分を推測し、上記狭帯域信号に加算して帯域幅を拡張する帯域幅拡張装置において、上記帯域外成分の周波数特性を、予め与えられた変更可能なパラメータ値によって人の声の周波数成分以上を抑圧し、さらにゲインを調整する周波数特性調整手段と、上記周波数特性調整手段で周波数特性が調整された帯域外成分を上記狭帯域信号に加算する加算手段とを備える。
【００１２】
また、狭帯域信号もしくはこれを合成することが可能なパラメータから、帯域外成分を推測し、上記狭帯域信号に加算して帯域幅を拡張する帯域幅拡張装置において、上記帯域外成分を上記狭帯域信号に加算する加算手段と、上記加算手段の加算出力の内の、上記帯域外成分の周波数特性を予め与えられた変更可能なパラメータ値によって人の声の周波数成分以上を抑圧し、さらにゲインを調整する周波数特性調整手段とを備える。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。この実施の形態は、本発明に係る帯域幅拡張方法を用いながら、入力された狭帯域音声の帯域幅を拡張する音声帯域幅拡張装置である。この音声帯域幅拡張装置が用いる帯域幅拡張方法は、伝送路で制限される狭帯域信号を合成することが可能なパラメータから、帯域外成分を推測し、パラメータから合成した狭帯域信号に加算して帯域幅を拡張する帯域幅拡張方法であり、上記帯域外成分の周波数特性を、ユーザの所望により予め与えられた変更可能なパラメータ値によって調整してから上記狭帯域信号に加算するという方法である。詳細については後述する。
【００１４】
この音声帯域幅拡張装置は、ディジタル携帯電話装置に適用される。先ず、このディジタル携帯電話装置の構成を説明しておく。ここでは、送信機側と受信機側を別々に記しているが、実際には一つの携帯電話装置内にまとめて内蔵されている。
【００１５】
送信機側では、マイクロホン１から入力された音声信号を、Ａ／Ｄ変換器２によりディジタル信号に変換し、音声符号化器３により符号化してから送信器４で出力ビットに送信処理を施し、アンテナ５から送信する。
【００１６】
このとき、音声符号化器３は、伝送路により制限される狭帯域化を考慮した符号化パラメータを送信器４に供給する。例えば、符号化パラメータとしては、励振源に関するパラメータや、線形予測係数αがある。
【００１７】
また、受信機側では、アンテナ６で捉えた電波を、受信器７で受信する。そして、音声復号化器８で上記符号化パラメータを復号し、音声帯域幅拡張装置９で上記復号化パラメータを用いて音声を拡張する。その後、Ｄ／Ａ変換器１０でアナログ音声信号に戻して、スピーカ１１から出力する。
【００１８】
このディジタル携帯電話装置における、上記音声帯域幅拡張装置９の第１の具体例を図２に示す。この図２に示す音声帯域幅拡張装置９は、上記ディジタル携帯電話装置の送信側の音声符号化器３から送られてきた符号化パラメータを用いて音声の帯域幅を拡張する。
【００１９】
上記符号化パラメータは音声復号化器８により復号される。音声符号器３での符号化方法がＰＳＩ−ＣＥＬＰ（Pitch Synchronus Innovation - CELP：ピッチ同期雑音励振源−ＣＥＬＰ）符号化方式によるものであるとすれば、この音声復号化器８での復号化方法もＰＳＩ−ＣＥＬＰによる。
【００２０】
音声復号化器８で復号された、上記符号化パラメータの内の第１の符号化パラメータである励振源に関するパラメータは、ゼロ詰め部１２に供給される。また、上記符号化パラメータの内の第２の符号化パラメータである線形予測係数αはα→ｒ（線形予測係数→自己相関）変換回路１３に供給される。また、音声復号化器８で復号された信号は、Ｖ／ＵＶ判定回路１４に供給される。
【００２１】
また、音声帯域幅拡張装置９は、ゼロ詰め部１２と、α→ｒ変換回路１３と、Ｖ／ＵＶ判定回路１４の他、広帯域有声音及び無声音から抽出した有声音用及び無声音用パラメータを用いて予め作成されている広帯域有声音用コードブック１５と広帯域無声音用コードブック１６とを備える。
【００２２】
さらに、この音声帯域幅拡張装置９は、広帯域有声音用コードブック１５と広帯域無声音用コードブック１６内の各コードベクトルを部分抽出して狭帯域パラメータを求める部分抽出回路１７及び部分抽出回路１８と、α→ｒ変換回路１３からの狭帯域有声音用自己相関を部分抽出回路１７からの狭帯域パラメータを用いて量子化する狭帯域有声音用量子化器１９と、上記α→ｒ変換回路１３からの狭帯域無声音用自己相関を部分抽出回路１８からの狭帯域パラメータを用いて量子化する狭帯域無声音用量子化器２０と、狭帯域有声音用量子化器１９からの狭帯域有声音用量子化データを広帯域有声音用コードブック１５を用いて逆量子化する広帯域有声音用逆量子化器２１と、狭帯域無声音用量子化器２０からの狭帯域無声音用量子化データを広帯域無声音用コードブック１６を用いて逆量子化する広帯域無声音用逆量子化器２２と、広帯域有声音用逆量子化器２１からの逆量子化データとなる広帯域有声音用自己相関を広帯域有声音用の線形予測係数に変換すると共に広帯域無声音用逆量子化器２２からの逆量子化データとなる広帯域無声音用自己相関を広帯域無声音用の線形予測係数に変換する自己相関→線形予測係数（ｒ→α）変換回路２３と、このｒ→α変換回路２３からの広帯域有声音用線形予測係数と広帯域無声音用線形予測係数とゼロ詰め部１２からの励振源とに基づいて広帯域音声を合成するＬＰＣ合成回路２４とを備えてなる。
【００２３】
また、この音声帯域幅拡張装置９は、音声復号化器８で復号化された狭帯域音声データのサンプリング周波数を８ｋＨｚから１６ｋＨｚにオーバーサンプリングするアップサンプル回路２５と、ＬＰＣ合成回路２４からの合成出力から入力狭帯域音声データの周波数帯域３００Ｈｚ〜３４００Ｈｚの信号成分を除去するバンドストップフィルタ（ＢＳＦ）２５を備えている。
【００２４】
さらに、この音声帯域幅拡張装置９は、ＢＳＦ２５からの３４００Ｈｚ以上の高い周波数成分の周波数特性を、予め与えられた変更可能なパラメータ値によって調整する周波数特性調整部２６と、この周波数特性調整部２６で周波数特性が調整された３４００Ｈｚ以上の周波数成分を上記アップサンプル回路２５からの周波数帯域３００Ｈｚ〜３４００Ｈｚの元の狭帯域音声データ成分に加算する加算器３１とを備えている。
【００２５】
そして、出力端子３２からは、周波数帯域が３００〜７０００Ｈｚで、サンプリング周波数が１６ｋＨｚのディジタル音声信号が出力される。
【００２６】
ここで、周波数特性調整部２６は、上記帯域外成分の周波数帯域を高域抑圧フィルタ２７で調整する。高域抑圧フィルタ２７は、例えば約６ＫＨｚ以上の成分を抑圧するフィルタで、上記帯域外成分を聴きやすいものとする。高域抑圧フィルタ２７にはフィルタ係数保持メモリ２８が接続されている。このフィルタ係数保持メモリ２８には、周波数特性の減衰をなだらかにしたり、急峻にしたりするフィルタ係数がいくつか記憶されている。これらのフィルタ係数は、操作部３３上でのユーザによる操作に応じて選択される。そして、高域抑圧フィルタ２７では、ユーザの好みに応じて選択されたフィルタ係数を用いて帯域外成分の周波数帯域を調整する。
【００２７】
また、周波数特性調整部２６は、上記帯域外成分のゲインを調整する。具体的には、予め設定されたいくつかのゲイン設定値をゲイン設定値メモリ３０に記憶しておき、操作部３３におけるユーザの所望に応じて選択して乗算器２９に供給する。このため、乗算器２９では、ユーザの所望に応じて、上記帯域外成分のゲインを調整することができる。
【００２８】
この音声帯域幅拡張装置９は、全体的に以下のように動作する。先ず、狭帯域パラメータから広帯域パラメータを推定し、ＬＰＣ合成回路２４で広帯域音声信号を求めている。そして、その後、原音声の周波数帯域である低域側を原音声に置換する。すなわち、高域通過フィルタとしてＢＳＦ２５を用い、高域のみを残し、この高域成分の中でも高い周波数成分を高域抑圧フィルタ２７で抑圧し、さらに信号処理部２９でゲインを調整し、原音声に加算している。
【００２９】
広帯域パラメータの推定は、αの広帯域化、励振源の広帯域化の二つが必要である。また、αの広帯域化には、αと相互に変換可能なパラメータである自己相関ｒによるコードブックを予め作成しておく必要がある。このコードブックによる量子化、逆量子化によって自己相関ｒが広帯域化される。
【００３０】
先ず、αの広帯域化について説明する。αはスペクトル包絡を表すフィルタ係数であることに着目し、高域側を推定しやすい別のスペクトル包絡を表すパラメータである自己相関ｒに一旦変換し、これを広帯域化し、その後で広帯域自己相関ｒwからαwに逆変換する。拡張にはベクトル量子化を用いる。狭帯域自己相関ｒnをベクトル量子化し、そのインデックスから対応するｒwを求めればよい。
【００３１】
狭帯域自己相関と広帯域自己相関には、後述するように一定の関係が成り立つため、広帯域自己相関によるコードブックのみを用意すればよく、狭帯域自己相関をこれによりベクトル量子化でき、また逆量子化により広帯域自己相関が求まる。
【００３２】
狭帯域信号を、広帯域信号を帯域制限したものとすれば、広帯域自己相関と狭帯域自己相関には以下の（１）式に示す関係がある。
【００３３】
【数１】
【００３４】
ここで、φは自己相関、ｘnは狭帯域信号、ｘwは広帯域信号、ｈは帯域制限フィルタのインパルス応答である。
【００３５】
さらに、自己相関とパワースペクトルの関係から、次の（２）式が得られる。
【００３６】
【数２】
【００３７】
この帯域制限フィルタのパワー特性と等しい周波数特性を持つ、もう一つの帯域制限フィルタを考え、これをＨ’とすれば、上記（２）式は、次の（３）式のようになる。
【００３８】
【数３】
【００３９】
この新たなフィルタの通過域、阻止域は当初の帯域制限フィルタと同等であり、減衰特性が２乗となる。したがって、この新たなフィルタもまた、帯域制限フィルタといえる。これを考慮すると、狭帯域自己相関は、広帯域自己相関と帯域制限のフィルタのインパルス応答との畳み込み、すなわち広帯域自己相関を帯域制限したものと単純化される。すなわち、次の（４）式となる。
【００４０】
【数４】
【００４１】
以上より、狭帯域自己相関をベクトル量子化するにあたっては、広帯域コードブックのみを用意すれば、量子化時に必要な狭帯域ベクトルは演算により作成が可能であり、狭帯域自己相関から予めコードブックを用意しておく必要がない。
【００４２】
さらに、各ｒwコードベクタは単調減少もしくはなだらかに増減するカーブを持つために、Ｈ’により低域通過させても大きな変化がなく、ｒn量子化は、直接ｒwコードブックで行える。ただし、サンプリング周波数が１／２のため、１次おきに比較する必要がある。
【００４３】
αの拡張は有声音（Ｖ）と無声音（ＵＶ）に分けることによって、さらに精度良い拡張が可能であるため、これも行っている。これに伴いコードブックもＶ用、ＵＶ用の二つを用いている。
【００４４】
次に、励振源の拡張について説明する。ＰＳＩ−ＣＥＬＰにおいては狭帯域での励振源を、ゼロ詰め部１２でゼロ値を挿入することでアップサンプルし、エイリアシング歪みを発生させたものを用いる。この方法は非常に単純であるが、元の音声のパワーや調波構造の差分が保存されるので、励振源としては十分な品質であるといえる。
【００４５】
そして、以上で得られた広帯域αと広帯域励振源によりＬＰＣ合成回路２４でＬＰＣ合成を行う。
【００４６】
また、広帯域ＬＰＣ合成された音声は、このままでは品質が悪いので、低域側はコーデック出力のオリジナル音声ＳＮＤNで置換する。このために、合成音のうち３．４ＫＨｚ以上を抽出し、一方でコーデック出力をｆs＝１６ＫＨｚにアップサンプルし、これらを加算する。
【００４７】
このとき、周波数特性調整部２６の乗算器２９で高域側に乗算するゲインをユーザの好みに応じて調整可能としている。ユーザ毎の個人差が大きいため、この値を可変にしている。つまり、高域側ゲインの値をユーザからの入力により予め設定しておき、この値を参照し、乗算を行う。
【００４８】
また、加算前に高域側に対し、周波数特性調整部２６の高域抑圧フィルタ２７で約６ＫＨｚ以上の成分を若干抑圧するフィルタリングを施すことで、聴きやすい音にしている。このフィルタ係数は、ユーザの好みに応じて選択可能である。選択されたフィルタ係数を用いて高域抑圧フィルタ２７で処理を行うことで、好みに応じ高域側の周波数帯域を選択可能とした。
【００４９】
ただし、この高域抑圧フィルタ２６を用いての処理は、低域側のパワー特性に影響を与えないため、加算器３１の加算出力中の帯域外成分に施してもよい。すなわち、加算器３１の後段に、周波数特性調整部２６の高域抑圧フィルタ２７を設けてもよい。あるいは、あえて低域側にも影響のあるフィルタを加算後に施す事も可能である。以上により広帯域音声が得られる。
【００５０】
次に、この音声帯域幅拡張装置９の詳細な動作について図３のフローチャートを用いて説明する。
【００５１】
ステップＳ１でα→ｒ変換回路１３は、音声復号化器８でデコードされた線形予測係数αを自己相関ｒに変換する。また、音声復号化器８でデコードされた信号はステップＳ２でＶ／ＵＶ判定回路１４により解読され、Ｖ／ＵＶの判別が行われる。
【００５２】
このステップＳ２で有声音／無声音判定フラグがＶと判定されると、α→ｒ変換回路１３からの出力を切り替えるスイッチＳＷは、狭帯域有声音量子化回路１９に接続する。また、ＵＶと判定されるとスイッチＳＷは、α→ｒ変換回路１３からの出力を狭帯域無声音量子化回路２０に接続する。
【００５３】
ＵＶ判定回路１４が上記有声音／無声音判定フラグをＶと判定したとき、ステップＳ４ではスイッチＳＷからの有声音用自己相関ｒを狭帯域Ｖ量子化回路１９に供給して量子化する。この量子化は、上述したように部分抽出回路１７によりステップＳ３で求めた狭帯域Ｖ用パラメータを用いる。
【００５４】
一方、ＵＶ判定回路１４が上記有声音／無声音判定フラグをＵＶと判定したときには、ステップＳ３では、スイッチＳＷからの無声音用自己相関ｒを狭帯域ＵＶ量子化回路２０に供給して量子化するが、ここでも、部分抽出回路１８で演算により求めた狭帯域ＵＶ用パラメータを用いて量子化する。
【００５５】
そして、ステップＳ５でそれぞれ対応する広帯域Ｖ逆量子化回路２１又は広帯域ＵＶ逆量子化回路２２により広帯域Ｖコードブック１５又は広帯域ＵＶコードブック１６を用いて逆量子化し、これにより広帯域自己相関が得られる。
【００５６】
そして、広帯域自己相関はステップＳ６でｒ→α変換回路２３によりαに変換される。
【００５７】
一方で、音声復号化器８からの励振源に関するパラメータは、ステップＳ７でゼロ詰め部１２によりサンプル間にゼロが詰められることでアップサンプルされ、エイリアシングにより広帯域化される。そして、これが広帯域励振源として、ＬＰＣ合成回路２４に供給される。
【００５８】
そして、ステップＳ８で、ＬＰＣ合成回路２４が広帯域αと広帯域励振源とを、ＬＰＣ合成し、広帯域の音声信号が得られる。
【００５９】
しかし、このままでは予測によって求められた広帯域信号にすぎず、予測による誤差が含まれているので品質が悪い。特に入力狭帯域音声の周波数範囲に関しては、コーデック出力のオリジナル音声ＳＮＤN（入力音声）をそのまま利用したほうが良い。
【００６０】
したがって、ＬＰＣ合成回路２４からの合成音のうち、入力狭帯域音声の周波数範囲３００〜３４００ＨｚをステップＳ９でＢＳＦ２５を用いたフィルタリングにより除去する。
【００６１】
そして、ステップＳ１０でアップサンプル回路２５により上記オリジナル音声ＳＮＤNをアップサンプルしたものと、ステップＳ１３で加算器２９により加算する。このとき、ステップＳ１１で高域側に対し、約６ＫＨｚ以上の成分を若干抑圧する高域抑圧フィルタ２７によりフィルタリングを施すことで、聴きやすい音にしている。このフィルタ係数は上述したように選択可能とされている。
【００６２】
さらに、ステップＳ１２では、乗算器２９を用いてユーザの好みに応じて高域側ゲインを調整可能としている。
【００６３】
なおここで、音声帯域幅拡張装置９で用いる、コードブックの作成について説明する。
【００６４】
コードブックの作成は一般によく知られたＧＬＡ(Generalized Lloyd Algorithm)による方法である。広帯域音声を一定時間、例えば２０msecごとのフレームに区切り、そのフレーム毎に、一定次例えば６次までの自己相関を求めておく。このフレーム毎の自己相関をトレーニングデータとし、６次元のコードブックを作成する。このとき、有声音、無声音の区別を行い、有声音の自己相関、無声音の自己相関を別々に集め、それぞれのコードブックを作成してもよい。この場合、帯域拡張処理中αの拡張時、コードブックを参照するが、このときにも有声音、無声音の判別を行い、対応するコードブックを利用する。
【００６５】
音声帯域幅拡張装置９では、広帯域有声音用コードブック１２と広帯域無声音用コードブック１４を用いているが、図４及び図５を参照しながらその作成について詳細に説明する。
【００６６】
先ず、広帯域音声信号を学習用に用意し、ステップＳ３１で１フレーム２０msecにフレーミングする。次に、ステップＳ３２で各フレームにおいて、例えばフレームエネルギーやゼロクロスの値等を調べることによって有声音（Ｖ）か無声音（ＵＶ）かの分類を行う。
【００６７】
そして、ステップＳ３３で広帯域有声音フレームにおいて、例えば６次までの自己相関パラメータｒを計算する。また、ステップＳ３４では広帯域無声音フレームにおける、例えば６次までの自己相関パラメータｒを求める。
【００６８】
この各フレームの６次の自己相関パラメータから、図５のステップＳ４１で広帯域パラメータを抽出し、ＧＬＡにより次元６の広帯域Ｖ（ＵＶ）コードブックをステップＳ４２で作成する。
【００６９】
以上、ＰＳＩ−ＣＥＬＰによる復号化方法を用いた音声帯域幅拡張装置では、高域ゲイン、高域抑圧フィルタを可変とすることで、ユーザの好み合う広帯域音声を提供することができる。
【００７０】
次に、上記音声帯域幅拡張装置の第２の具体例について図６を参照しながら説明する。この第２の具体例も、上記ディジタル携帯電話装置の送信側の音声符号化器３から送られてきた符号化パラメータを用いて音声帯域幅を拡張する装置であるため、音声符号化器３での符号化方法に従った復号化を行う。
【００７１】
音声符号器３での符号化方法がＶＳＥＬＰ（Vector Sum Excited Linear Prediction：ベクトル和励起線形予測）符号化方式によるものであるとすれば、この音声帯域幅拡張装置の前段の音声復号化器８での復号化方法もＶＳＥＬＰによる。
【００７２】
音声復号化器８で復号された、上記符号化パラメータの内の第１の符号化パラメータである励振源に関するパラメータは、図６の励振源切り換え部３６に供給される。また、上記符号化パラメータの内の第２の符号化パラメータである線形予測係数αはα→ｒ（線形予測係数→自己相関）変換回路１３に供給される。また、復号された信号はＶ／ＵＶ判定回路１４に供給される。
【００７３】
上記図２に示したＰＳＩ−ＣＥＬＰを用いた音声帯域幅拡張装置と異なるのは、励振源切り換え回路３６をゼロ詰め部１２の前段に設けている点である。
【００７４】
ＰＳＩ−ＣＥＬＰは、コーデック自体、特にＶを聴感上滑らかに聞こえるような処理を行っているが、ＶＳＥＬＰにはこれがなく、このために帯域幅拡張したときに若干雑音が混入したように聞こえる。そこで、広帯域励振源を作成する際に、励振源切り換え回路３６により図７のような処理を施す。ここでの処理は、ステップＳ８７〜ステップＳ８９を上記図３に示した処理と異ならせるだけである。
【００７５】
ＶＳＥＬＰの励振源は、コーデックに利用されるパラメータβ(長期予測係数), bL[i](長期フィルタ状態),γ(利得), c1[i](励起コードベクタ)により、β * bL[i] + γ * c1[i]
として作成されるが、このうち前者がピッチ成分、後者がノイズ成分を表すので、これをβ * bL[i]とγ * c1[i]に分け、ステップＳ８７で、一定の時間範囲において、前者のエネルギーが大きい場合にはピッチが強い有声音と考えられるため、ステップＳ８８でＹＥＳに進み、励振源をパルス列とし、ピッチ成分のない部分ではＮＯに進み０に抑圧した。また、ステップＳ８７でエネルギーが大きくない場合には従来どおりとし、こうして作成された狭帯域励振源にステップＳ８９でゼロ詰め部１２によりPSI-CELP同様０を詰めアップサンプルすることにより広帯域励振源とした。これにより、ＶＳＥＬＰにおける有声音の聴感上の品質が向上した。
【００７６】
この処理をソフトウェア的に書くと以下の（５）式のようになる。
【００７７】
【数５】
【００７８】
そして、ステップＳ９２でアップサンプル回路２５により上記オリジナル音声ＳＮＤNをアップサンプルしたものと、ステップＳ１３で加算器３１により加算する。このとき、ステップＳ９４で高域側に対し、約６ＫＨｚ以上の成分を若干抑圧する高域抑圧フィルタ２７によりフィルタリングを施すことで、聴きやすい音にしている。このフィルタ係数は上述したように選択可能としている。
【００７９】
さらに、ステップＳ９５では、乗算器２９を用いてユーザの好みに応じて高域側ゲインを調整可能としている。
【００８０】
なお、本発明は低域から高域を予測するものだけに限定するものではない。広帯域スペクトルを予測する手段においては信号を音声に限るものではない。
【００８１】
また、パッケージメディアに蓄積された信号を再生装置で再生するときに帯域幅を拡張するときにも適用できる。
【００８２】
【発明の効果】
本発明によれば、高域成分の周波数特性、例えばゲイン、周波数帯域を可変とすることで、ユーザの好みに合う広帯域音声を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態となる音声帯域幅拡張装置が適用されるディジタル携帯電話装置のブロック図である。
【図２】上記音声帯域幅拡張装置の第１の具体例のブロック図である。
【図３】上記音声帯域幅拡張装置の第１の具体例の動作を説明するためのフローチャートである。
【図４】上記音声帯域幅拡張装置の第１の具体例で用いられるコードブックに使われるトレーニングデータ生成処理を説明するためのフローチャートである。
【図５】上記コードブックの生成を説明するためのフローチャートである。
【図６】上記音声帯域幅拡張装置の第２の具体例のブロック図である。
【図７】上記音声帯域幅拡張装置の第２の具体例の動作を説明するためのフローチャートである。
【符号の説明】
８ 音声復号化器、９ 音声帯域幅拡張装置、１２ ゼロ詰め部、１３ 線形予測係数→自己相関（α→ｒ）変換回路、１４ 有声音Ｖ／無声音ＵＶ判定回路、１５ 広帯域有声音用コードブック、１６ 広帯域無声音用コードブック、１７ 部分抽出回路、１８ 部分抽出回路、１９ 狭帯域有声音用量子化器、２０狭帯域無声音用量子化器、２１ 広帯域有声音用逆量子化器、２２ 広帯域無声音用逆量子化器、２３ 自己相関→線形予測係数（ｒ→α）変換回路、２４ ＬＰＣ合成回路、２５ バンドストップフィルタ（ＢＳＦ）、２６ 周波数特性調整部、２７ 高域抑圧フィルタ、２８ フィルタ係数メモリ、２９ 乗算器、３０ ゲイン設定値メモリ
【発明の属する技術分野】
本発明は、通信、放送によって伝えられる周波数帯域の狭い音声信号またはそれを構成するパラメータを、送信、伝送路ではそのままにし、受信側で帯域幅を拡張して広帯域音声信号にする帯域幅拡張方法及び装置に関する。また、パッケージメディアに蓄積された信号の帯域幅を拡張して広帯域信号とする帯域幅拡張方法及び装置に関する。
【０００２】
【従来の技術】
電話回線の帯域は例えば３００〜３４００Ｈｚと狭く、電話回線を介して送られてくる音声信号の周波数帯域は制限されている。このため、従来のアナログ電話回線の音質はあまり良好とは言えない。また、ディジタル携帯電話の音質についても不満がある。
【０００３】
しかしながら、伝送路の規格が定まっているため、この帯域幅を広げることは難しい。したがって、受信側で帯域外の信号成分を予測し、広帯域信号を生成するシステムが様々提案されている。
【０００４】
中でも、我が国の自動車／携帯電話の音声コーデック方式であるベクトル和励起線形予測（Vector Sum Excited Linear Prediction：ＶＳＥＬＰ）符号化、ピッチ同期雑音励振源−符号励起線形予測（Pitch Synchronus Innovation−Code Exited Linear Prediction：ＰＳＩ−ＣＥＬＰ）符号化方式に適用を試みた方式では、ＬＰＣ合成を行うことに着目し、線形予測係数αと励振源の両方を広帯域化し、広帯域化されたαと励振源によりＬＰＣ合成を行うものがある。
【０００５】
しかしながら、これによって得られた広帯域音声には歪みが含まれる。そこで、原音声に含まれていた周波数成分においては、当然原音声のままの方が品質は良いので、合成された広帯域音声のうちこの成分をフィルタにより除去し、原音声を加算するという手法を取っている。
【０００６】
【発明が解決しようとする課題】
ところで、以上のように合成された広帯域音声であるが、音質の好みの個人差が大きく、推測合成された高域成分のゲインは固定値にしない方が良いことが分かった。同様に、６ＫＨｚ以上の高域成分は若干抑圧したほうが好まれるが、この値も固定にしない方が好ましい。
【０００７】
本発明は、上記実情に鑑みてなされたものであり、高域成分の周波数特性をユーザの好みに合わせて調整することのできる帯域幅拡張方法及び装置の提供を目的とする。
【０００８】
【課題を解決するための手段】
ゲインに関しては、原音声と合成された帯域外成分を加算するという手法を取っているために、加算前に帯域外成分のゲインを調整することで可能となる。また帯域幅に関しては、加算前もしくは加算後に周波数特性を調整するフィルタをかけることで可能となる。
【０００９】
このため、本発明の帯域幅拡張方法は、狭帯域信号もしくはこれを合成することが可能なパラメータから、帯域外成分を推測し、上記狭帯域信号に加算して帯域幅を拡張する帯域幅拡張方法において、上記帯域外成分の周波数特性を、予め与えられた変更可能なパラメータ値によって調整して人の声の周波数成分以上を抑圧し、さらにゲインを調整し、当該帯域外成分を上記狭帯域信号に加算する。
【００１０】
また、狭帯域信号もしくはこれを合成することが可能なパラメータから、帯域外成分を推測し、上記狭帯域信号に加算して帯域幅を拡張する帯域幅拡張方法において、上記狭帯域信号に加算された後の上記帯域外成分の周波数特性を、予め与えられた変更可能なパラメータ値によって人の声の周波数成分以上を抑圧し、さらにゲインを調整する。
【００１１】
さらに、本発明の帯域幅拡張装置は、狭帯域信号もしくはこれを合成することが可能なパラメータから、帯域外成分を推測し、上記狭帯域信号に加算して帯域幅を拡張する帯域幅拡張装置において、上記帯域外成分の周波数特性を、予め与えられた変更可能なパラメータ値によって人の声の周波数成分以上を抑圧し、さらにゲインを調整する周波数特性調整手段と、上記周波数特性調整手段で周波数特性が調整された帯域外成分を上記狭帯域信号に加算する加算手段とを備える。
【００１２】
また、狭帯域信号もしくはこれを合成することが可能なパラメータから、帯域外成分を推測し、上記狭帯域信号に加算して帯域幅を拡張する帯域幅拡張装置において、上記帯域外成分を上記狭帯域信号に加算する加算手段と、上記加算手段の加算出力の内の、上記帯域外成分の周波数特性を予め与えられた変更可能なパラメータ値によって人の声の周波数成分以上を抑圧し、さらにゲインを調整する周波数特性調整手段とを備える。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。この実施の形態は、本発明に係る帯域幅拡張方法を用いながら、入力された狭帯域音声の帯域幅を拡張する音声帯域幅拡張装置である。この音声帯域幅拡張装置が用いる帯域幅拡張方法は、伝送路で制限される狭帯域信号を合成することが可能なパラメータから、帯域外成分を推測し、パラメータから合成した狭帯域信号に加算して帯域幅を拡張する帯域幅拡張方法であり、上記帯域外成分の周波数特性を、ユーザの所望により予め与えられた変更可能なパラメータ値によって調整してから上記狭帯域信号に加算するという方法である。詳細については後述する。
【００１４】
この音声帯域幅拡張装置は、ディジタル携帯電話装置に適用される。先ず、このディジタル携帯電話装置の構成を説明しておく。ここでは、送信機側と受信機側を別々に記しているが、実際には一つの携帯電話装置内にまとめて内蔵されている。
【００１５】
送信機側では、マイクロホン１から入力された音声信号を、Ａ／Ｄ変換器２によりディジタル信号に変換し、音声符号化器３により符号化してから送信器４で出力ビットに送信処理を施し、アンテナ５から送信する。
【００１６】
このとき、音声符号化器３は、伝送路により制限される狭帯域化を考慮した符号化パラメータを送信器４に供給する。例えば、符号化パラメータとしては、励振源に関するパラメータや、線形予測係数αがある。
【００１７】
また、受信機側では、アンテナ６で捉えた電波を、受信器７で受信する。そして、音声復号化器８で上記符号化パラメータを復号し、音声帯域幅拡張装置９で上記復号化パラメータを用いて音声を拡張する。その後、Ｄ／Ａ変換器１０でアナログ音声信号に戻して、スピーカ１１から出力する。
【００１８】
このディジタル携帯電話装置における、上記音声帯域幅拡張装置９の第１の具体例を図２に示す。この図２に示す音声帯域幅拡張装置９は、上記ディジタル携帯電話装置の送信側の音声符号化器３から送られてきた符号化パラメータを用いて音声の帯域幅を拡張する。
【００１９】
上記符号化パラメータは音声復号化器８により復号される。音声符号器３での符号化方法がＰＳＩ−ＣＥＬＰ（Pitch Synchronus Innovation - CELP：ピッチ同期雑音励振源−ＣＥＬＰ）符号化方式によるものであるとすれば、この音声復号化器８での復号化方法もＰＳＩ−ＣＥＬＰによる。
【００２０】
音声復号化器８で復号された、上記符号化パラメータの内の第１の符号化パラメータである励振源に関するパラメータは、ゼロ詰め部１２に供給される。また、上記符号化パラメータの内の第２の符号化パラメータである線形予測係数αはα→ｒ（線形予測係数→自己相関）変換回路１３に供給される。また、音声復号化器８で復号された信号は、Ｖ／ＵＶ判定回路１４に供給される。
【００２１】
また、音声帯域幅拡張装置９は、ゼロ詰め部１２と、α→ｒ変換回路１３と、Ｖ／ＵＶ判定回路１４の他、広帯域有声音及び無声音から抽出した有声音用及び無声音用パラメータを用いて予め作成されている広帯域有声音用コードブック１５と広帯域無声音用コードブック１６とを備える。
【００２２】
さらに、この音声帯域幅拡張装置９は、広帯域有声音用コードブック１５と広帯域無声音用コードブック１６内の各コードベクトルを部分抽出して狭帯域パラメータを求める部分抽出回路１７及び部分抽出回路１８と、α→ｒ変換回路１３からの狭帯域有声音用自己相関を部分抽出回路１７からの狭帯域パラメータを用いて量子化する狭帯域有声音用量子化器１９と、上記α→ｒ変換回路１３からの狭帯域無声音用自己相関を部分抽出回路１８からの狭帯域パラメータを用いて量子化する狭帯域無声音用量子化器２０と、狭帯域有声音用量子化器１９からの狭帯域有声音用量子化データを広帯域有声音用コードブック１５を用いて逆量子化する広帯域有声音用逆量子化器２１と、狭帯域無声音用量子化器２０からの狭帯域無声音用量子化データを広帯域無声音用コードブック１６を用いて逆量子化する広帯域無声音用逆量子化器２２と、広帯域有声音用逆量子化器２１からの逆量子化データとなる広帯域有声音用自己相関を広帯域有声音用の線形予測係数に変換すると共に広帯域無声音用逆量子化器２２からの逆量子化データとなる広帯域無声音用自己相関を広帯域無声音用の線形予測係数に変換する自己相関→線形予測係数（ｒ→α）変換回路２３と、このｒ→α変換回路２３からの広帯域有声音用線形予測係数と広帯域無声音用線形予測係数とゼロ詰め部１２からの励振源とに基づいて広帯域音声を合成するＬＰＣ合成回路２４とを備えてなる。
【００２３】
また、この音声帯域幅拡張装置９は、音声復号化器８で復号化された狭帯域音声データのサンプリング周波数を８ｋＨｚから１６ｋＨｚにオーバーサンプリングするアップサンプル回路２５と、ＬＰＣ合成回路２４からの合成出力から入力狭帯域音声データの周波数帯域３００Ｈｚ〜３４００Ｈｚの信号成分を除去するバンドストップフィルタ（ＢＳＦ）２５を備えている。
【００２４】
さらに、この音声帯域幅拡張装置９は、ＢＳＦ２５からの３４００Ｈｚ以上の高い周波数成分の周波数特性を、予め与えられた変更可能なパラメータ値によって調整する周波数特性調整部２６と、この周波数特性調整部２６で周波数特性が調整された３４００Ｈｚ以上の周波数成分を上記アップサンプル回路２５からの周波数帯域３００Ｈｚ〜３４００Ｈｚの元の狭帯域音声データ成分に加算する加算器３１とを備えている。
【００２５】
そして、出力端子３２からは、周波数帯域が３００〜７０００Ｈｚで、サンプリング周波数が１６ｋＨｚのディジタル音声信号が出力される。
【００２６】
ここで、周波数特性調整部２６は、上記帯域外成分の周波数帯域を高域抑圧フィルタ２７で調整する。高域抑圧フィルタ２７は、例えば約６ＫＨｚ以上の成分を抑圧するフィルタで、上記帯域外成分を聴きやすいものとする。高域抑圧フィルタ２７にはフィルタ係数保持メモリ２８が接続されている。このフィルタ係数保持メモリ２８には、周波数特性の減衰をなだらかにしたり、急峻にしたりするフィルタ係数がいくつか記憶されている。これらのフィルタ係数は、操作部３３上でのユーザによる操作に応じて選択される。そして、高域抑圧フィルタ２７では、ユーザの好みに応じて選択されたフィルタ係数を用いて帯域外成分の周波数帯域を調整する。
【００２７】
また、周波数特性調整部２６は、上記帯域外成分のゲインを調整する。具体的には、予め設定されたいくつかのゲイン設定値をゲイン設定値メモリ３０に記憶しておき、操作部３３におけるユーザの所望に応じて選択して乗算器２９に供給する。このため、乗算器２９では、ユーザの所望に応じて、上記帯域外成分のゲインを調整することができる。
【００２８】
この音声帯域幅拡張装置９は、全体的に以下のように動作する。先ず、狭帯域パラメータから広帯域パラメータを推定し、ＬＰＣ合成回路２４で広帯域音声信号を求めている。そして、その後、原音声の周波数帯域である低域側を原音声に置換する。すなわち、高域通過フィルタとしてＢＳＦ２５を用い、高域のみを残し、この高域成分の中でも高い周波数成分を高域抑圧フィルタ２７で抑圧し、さらに信号処理部２９でゲインを調整し、原音声に加算している。
【００２９】
広帯域パラメータの推定は、αの広帯域化、励振源の広帯域化の二つが必要である。また、αの広帯域化には、αと相互に変換可能なパラメータである自己相関ｒによるコードブックを予め作成しておく必要がある。このコードブックによる量子化、逆量子化によって自己相関ｒが広帯域化される。
【００３０】
先ず、αの広帯域化について説明する。αはスペクトル包絡を表すフィルタ係数であることに着目し、高域側を推定しやすい別のスペクトル包絡を表すパラメータである自己相関ｒに一旦変換し、これを広帯域化し、その後で広帯域自己相関ｒwからαwに逆変換する。拡張にはベクトル量子化を用いる。狭帯域自己相関ｒnをベクトル量子化し、そのインデックスから対応するｒwを求めればよい。
【００３１】
狭帯域自己相関と広帯域自己相関には、後述するように一定の関係が成り立つため、広帯域自己相関によるコードブックのみを用意すればよく、狭帯域自己相関をこれによりベクトル量子化でき、また逆量子化により広帯域自己相関が求まる。
【００３２】
狭帯域信号を、広帯域信号を帯域制限したものとすれば、広帯域自己相関と狭帯域自己相関には以下の（１）式に示す関係がある。
【００３３】
【数１】
ここで、φは自己相関、ｘnは狭帯域信号、ｘwは広帯域信号、ｈは帯域制限フィルタのインパルス応答である。
【００３５】
さらに、自己相関とパワースペクトルの関係から、次の（２）式が得られる。
【００３６】
【数２】
この帯域制限フィルタのパワー特性と等しい周波数特性を持つ、もう一つの帯域制限フィルタを考え、これをＨ’とすれば、上記（２）式は、次の（３）式のようになる。
【００３８】
【数３】
この新たなフィルタの通過域、阻止域は当初の帯域制限フィルタと同等であり、減衰特性が２乗となる。したがって、この新たなフィルタもまた、帯域制限フィルタといえる。これを考慮すると、狭帯域自己相関は、広帯域自己相関と帯域制限のフィルタのインパルス応答との畳み込み、すなわち広帯域自己相関を帯域制限したものと単純化される。すなわち、次の（４）式となる。
【００４０】
【数４】
以上より、狭帯域自己相関をベクトル量子化するにあたっては、広帯域コードブックのみを用意すれば、量子化時に必要な狭帯域ベクトルは演算により作成が可能であり、狭帯域自己相関から予めコードブックを用意しておく必要がない。
【００４２】
さらに、各ｒwコードベクタは単調減少もしくはなだらかに増減するカーブを持つために、Ｈ’により低域通過させても大きな変化がなく、ｒn量子化は、直接ｒwコードブックで行える。ただし、サンプリング周波数が１／２のため、１次おきに比較する必要がある。
【００４３】
αの拡張は有声音（Ｖ）と無声音（ＵＶ）に分けることによって、さらに精度良い拡張が可能であるため、これも行っている。これに伴いコードブックもＶ用、ＵＶ用の二つを用いている。
【００４４】
次に、励振源の拡張について説明する。ＰＳＩ−ＣＥＬＰにおいては狭帯域での励振源を、ゼロ詰め部１２でゼロ値を挿入することでアップサンプルし、エイリアシング歪みを発生させたものを用いる。この方法は非常に単純であるが、元の音声のパワーや調波構造の差分が保存されるので、励振源としては十分な品質であるといえる。
【００４５】
そして、以上で得られた広帯域αと広帯域励振源によりＬＰＣ合成回路２４でＬＰＣ合成を行う。
【００４６】
また、広帯域ＬＰＣ合成された音声は、このままでは品質が悪いので、低域側はコーデック出力のオリジナル音声ＳＮＤNで置換する。このために、合成音のうち３．４ＫＨｚ以上を抽出し、一方でコーデック出力をｆs＝１６ＫＨｚにアップサンプルし、これらを加算する。
【００４７】
このとき、周波数特性調整部２６の乗算器２９で高域側に乗算するゲインをユーザの好みに応じて調整可能としている。ユーザ毎の個人差が大きいため、この値を可変にしている。つまり、高域側ゲインの値をユーザからの入力により予め設定しておき、この値を参照し、乗算を行う。
【００４８】
また、加算前に高域側に対し、周波数特性調整部２６の高域抑圧フィルタ２７で約６ＫＨｚ以上の成分を若干抑圧するフィルタリングを施すことで、聴きやすい音にしている。このフィルタ係数は、ユーザの好みに応じて選択可能である。選択されたフィルタ係数を用いて高域抑圧フィルタ２７で処理を行うことで、好みに応じ高域側の周波数帯域を選択可能とした。
【００４９】
ただし、この高域抑圧フィルタ２６を用いての処理は、低域側のパワー特性に影響を与えないため、加算器３１の加算出力中の帯域外成分に施してもよい。すなわち、加算器３１の後段に、周波数特性調整部２６の高域抑圧フィルタ２７を設けてもよい。あるいは、あえて低域側にも影響のあるフィルタを加算後に施す事も可能である。以上により広帯域音声が得られる。
【００５０】
次に、この音声帯域幅拡張装置９の詳細な動作について図３のフローチャートを用いて説明する。
【００５１】
ステップＳ１でα→ｒ変換回路１３は、音声復号化器８でデコードされた線形予測係数αを自己相関ｒに変換する。また、音声復号化器８でデコードされた信号はステップＳ２でＶ／ＵＶ判定回路１４により解読され、Ｖ／ＵＶの判別が行われる。
【００５２】
このステップＳ２で有声音／無声音判定フラグがＶと判定されると、α→ｒ変換回路１３からの出力を切り替えるスイッチＳＷは、狭帯域有声音量子化回路１９に接続する。また、ＵＶと判定されるとスイッチＳＷは、α→ｒ変換回路１３からの出力を狭帯域無声音量子化回路２０に接続する。
【００５３】
ＵＶ判定回路１４が上記有声音／無声音判定フラグをＶと判定したとき、ステップＳ４ではスイッチＳＷからの有声音用自己相関ｒを狭帯域Ｖ量子化回路１９に供給して量子化する。この量子化は、上述したように部分抽出回路１７によりステップＳ３で求めた狭帯域Ｖ用パラメータを用いる。
【００５４】
一方、ＵＶ判定回路１４が上記有声音／無声音判定フラグをＵＶと判定したときには、ステップＳ３では、スイッチＳＷからの無声音用自己相関ｒを狭帯域ＵＶ量子化回路２０に供給して量子化するが、ここでも、部分抽出回路１８で演算により求めた狭帯域ＵＶ用パラメータを用いて量子化する。
【００５５】
そして、ステップＳ５でそれぞれ対応する広帯域Ｖ逆量子化回路２１又は広帯域ＵＶ逆量子化回路２２により広帯域Ｖコードブック１５又は広帯域ＵＶコードブック１６を用いて逆量子化し、これにより広帯域自己相関が得られる。
【００５６】
そして、広帯域自己相関はステップＳ６でｒ→α変換回路２３によりαに変換される。
【００５７】
一方で、音声復号化器８からの励振源に関するパラメータは、ステップＳ７でゼロ詰め部１２によりサンプル間にゼロが詰められることでアップサンプルされ、エイリアシングにより広帯域化される。そして、これが広帯域励振源として、ＬＰＣ合成回路２４に供給される。
【００５８】
そして、ステップＳ８で、ＬＰＣ合成回路２４が広帯域αと広帯域励振源とを、ＬＰＣ合成し、広帯域の音声信号が得られる。
【００５９】
しかし、このままでは予測によって求められた広帯域信号にすぎず、予測による誤差が含まれているので品質が悪い。特に入力狭帯域音声の周波数範囲に関しては、コーデック出力のオリジナル音声ＳＮＤN（入力音声）をそのまま利用したほうが良い。
【００６０】
したがって、ＬＰＣ合成回路２４からの合成音のうち、入力狭帯域音声の周波数範囲３００〜３４００ＨｚをステップＳ９でＢＳＦ２５を用いたフィルタリングにより除去する。
【００６１】
そして、ステップＳ１０でアップサンプル回路２５により上記オリジナル音声ＳＮＤNをアップサンプルしたものと、ステップＳ１３で加算器２９により加算する。このとき、ステップＳ１１で高域側に対し、約６ＫＨｚ以上の成分を若干抑圧する高域抑圧フィルタ２７によりフィルタリングを施すことで、聴きやすい音にしている。このフィルタ係数は上述したように選択可能とされている。
【００６２】
さらに、ステップＳ１２では、乗算器２９を用いてユーザの好みに応じて高域側ゲインを調整可能としている。
【００６３】
なおここで、音声帯域幅拡張装置９で用いる、コードブックの作成について説明する。
【００６４】
コードブックの作成は一般によく知られたＧＬＡ(Generalized Lloyd Algorithm)による方法である。広帯域音声を一定時間、例えば２０msecごとのフレームに区切り、そのフレーム毎に、一定次例えば６次までの自己相関を求めておく。このフレーム毎の自己相関をトレーニングデータとし、６次元のコードブックを作成する。このとき、有声音、無声音の区別を行い、有声音の自己相関、無声音の自己相関を別々に集め、それぞれのコードブックを作成してもよい。この場合、帯域拡張処理中αの拡張時、コードブックを参照するが、このときにも有声音、無声音の判別を行い、対応するコードブックを利用する。
【００６５】
音声帯域幅拡張装置９では、広帯域有声音用コードブック１２と広帯域無声音用コードブック１４を用いているが、図４及び図５を参照しながらその作成について詳細に説明する。
【００６６】
先ず、広帯域音声信号を学習用に用意し、ステップＳ３１で１フレーム２０msecにフレーミングする。次に、ステップＳ３２で各フレームにおいて、例えばフレームエネルギーやゼロクロスの値等を調べることによって有声音（Ｖ）か無声音（ＵＶ）かの分類を行う。
【００６７】
そして、ステップＳ３３で広帯域有声音フレームにおいて、例えば６次までの自己相関パラメータｒを計算する。また、ステップＳ３４では広帯域無声音フレームにおける、例えば６次までの自己相関パラメータｒを求める。
【００６８】
この各フレームの６次の自己相関パラメータから、図５のステップＳ４１で広帯域パラメータを抽出し、ＧＬＡにより次元６の広帯域Ｖ（ＵＶ）コードブックをステップＳ４２で作成する。
【００６９】
以上、ＰＳＩ−ＣＥＬＰによる復号化方法を用いた音声帯域幅拡張装置では、高域ゲイン、高域抑圧フィルタを可変とすることで、ユーザの好み合う広帯域音声を提供することができる。
【００７０】
次に、上記音声帯域幅拡張装置の第２の具体例について図６を参照しながら説明する。この第２の具体例も、上記ディジタル携帯電話装置の送信側の音声符号化器３から送られてきた符号化パラメータを用いて音声帯域幅を拡張する装置であるため、音声符号化器３での符号化方法に従った復号化を行う。
【００７１】
音声符号器３での符号化方法がＶＳＥＬＰ（Vector Sum Excited Linear Prediction：ベクトル和励起線形予測）符号化方式によるものであるとすれば、この音声帯域幅拡張装置の前段の音声復号化器８での復号化方法もＶＳＥＬＰによる。
【００７２】
音声復号化器８で復号された、上記符号化パラメータの内の第１の符号化パラメータである励振源に関するパラメータは、図６の励振源切り換え部３６に供給される。また、上記符号化パラメータの内の第２の符号化パラメータである線形予測係数αはα→ｒ（線形予測係数→自己相関）変換回路１３に供給される。また、復号された信号はＶ／ＵＶ判定回路１４に供給される。
【００７３】
上記図２に示したＰＳＩ−ＣＥＬＰを用いた音声帯域幅拡張装置と異なるのは、励振源切り換え回路３６をゼロ詰め部１２の前段に設けている点である。
【００７４】
ＰＳＩ−ＣＥＬＰは、コーデック自体、特にＶを聴感上滑らかに聞こえるような処理を行っているが、ＶＳＥＬＰにはこれがなく、このために帯域幅拡張したときに若干雑音が混入したように聞こえる。そこで、広帯域励振源を作成する際に、励振源切り換え回路３６により図７のような処理を施す。ここでの処理は、ステップＳ８７〜ステップＳ８９を上記図３に示した処理と異ならせるだけである。
【００７５】
ＶＳＥＬＰの励振源は、コーデックに利用されるパラメータβ(長期予測係数), bL[i](長期フィルタ状態),γ(利得), c1[i](励起コードベクタ)により、β * bL[i] + γ * c1[i]
として作成されるが、このうち前者がピッチ成分、後者がノイズ成分を表すので、これをβ * bL[i]とγ * c1[i]に分け、ステップＳ８７で、一定の時間範囲において、前者のエネルギーが大きい場合にはピッチが強い有声音と考えられるため、ステップＳ８８でＹＥＳに進み、励振源をパルス列とし、ピッチ成分のない部分ではＮＯに進み０に抑圧した。また、ステップＳ８７でエネルギーが大きくない場合には従来どおりとし、こうして作成された狭帯域励振源にステップＳ８９でゼロ詰め部１２によりPSI-CELP同様０を詰めアップサンプルすることにより広帯域励振源とした。これにより、ＶＳＥＬＰにおける有声音の聴感上の品質が向上した。
【００７６】
この処理をソフトウェア的に書くと以下の（５）式のようになる。
【００７７】
【数５】
そして、ステップＳ９２でアップサンプル回路２５により上記オリジナル音声ＳＮＤNをアップサンプルしたものと、ステップＳ１３で加算器３１により加算する。このとき、ステップＳ９４で高域側に対し、約６ＫＨｚ以上の成分を若干抑圧する高域抑圧フィルタ２７によりフィルタリングを施すことで、聴きやすい音にしている。このフィルタ係数は上述したように選択可能としている。
【００７９】
さらに、ステップＳ９５では、乗算器２９を用いてユーザの好みに応じて高域側ゲインを調整可能としている。
【００８０】
なお、本発明は低域から高域を予測するものだけに限定するものではない。広帯域スペクトルを予測する手段においては信号を音声に限るものではない。
【００８１】
また、パッケージメディアに蓄積された信号を再生装置で再生するときに帯域幅を拡張するときにも適用できる。
【００８２】
【発明の効果】
本発明によれば、高域成分の周波数特性、例えばゲイン、周波数帯域を可変とすることで、ユーザの好みに合う広帯域音声を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態となる音声帯域幅拡張装置が適用されるディジタル携帯電話装置のブロック図である。
【図２】上記音声帯域幅拡張装置の第１の具体例のブロック図である。
【図３】上記音声帯域幅拡張装置の第１の具体例の動作を説明するためのフローチャートである。
【図４】上記音声帯域幅拡張装置の第１の具体例で用いられるコードブックに使われるトレーニングデータ生成処理を説明するためのフローチャートである。
【図５】上記コードブックの生成を説明するためのフローチャートである。
【図６】上記音声帯域幅拡張装置の第２の具体例のブロック図である。
【図７】上記音声帯域幅拡張装置の第２の具体例の動作を説明するためのフローチャートである。
【符号の説明】
８ 音声復号化器、９ 音声帯域幅拡張装置、１２ ゼロ詰め部、１３ 線形予測係数→自己相関（α→ｒ）変換回路、１４ 有声音Ｖ／無声音ＵＶ判定回路、１５ 広帯域有声音用コードブック、１６ 広帯域無声音用コードブック、１７ 部分抽出回路、１８ 部分抽出回路、１９ 狭帯域有声音用量子化器、２０狭帯域無声音用量子化器、２１ 広帯域有声音用逆量子化器、２２ 広帯域無声音用逆量子化器、２３ 自己相関→線形予測係数（ｒ→α）変換回路、２４ ＬＰＣ合成回路、２５ バンドストップフィルタ（ＢＳＦ）、２６ 周波数特性調整部、２７ 高域抑圧フィルタ、２８ フィルタ係数メモリ、２９ 乗算器、３０ ゲイン設定値メモリ
Claims (12)
- 狭帯域信号もしくはこれを合成することが可能なパラメータから、帯域外成分を推測し、上記狭帯域信号に加算して帯域幅を拡張する帯域幅拡張方法において、
上記帯域外成分の周波数特性を、予め与えられた変更可能なパラメータ値によって人の声の周波数成分以上を抑圧し、さらにゲインを調整し、当該帯域外成分を上記狭帯域信号に加算することを特徴とする帯域幅拡張方法。 - 励振源に関するパラメータのピッチ成分のエネルギーがノイズ成分のエネルギーよりも大きい場合、上記ピッチ成分のサンプル値に基づいて上記励振源をパルス列とし、上記帯域外成分を推測することを特徴とする請求項１記載の帯域幅拡張方法。
- 予め与えられた変更可能なフィルタ係数に基づいて６ｋＨｚ以上の成分を抑圧することを特徴とする請求項１記載の帯域幅拡張方法。
- 予め与えられた変更可能なゲイン設定値を上記帯域外成分に乗算し、上記ゲインを調整することを特徴とする請求項１記載の帯域幅拡張方法。
- 狭帯域信号もしくはこれを合成することが可能なパラメータから、帯域外成分を推測し、上記狭帯域信号に加算して帯域幅を拡張する帯域幅拡張方法において、
上記狭帯域信号に加算された後の上記帯域外成分の周波数特性を、予め与えられた変更可能なパラメータ値によって人の声の周波数成分以上を抑圧し、さらにゲインを調整することを特徴とする帯域幅拡張方法。 - 励振源に関するパラメータのピッチ成分のエネルギーがノイズ成分のエネルギーよりも大きい場合、上記ピッチ成分のサンプル値に基づいて上記励振源をパルス列とし、上記帯域外成分を推測することを特徴とする請求項５記載の帯域幅拡張方法。
- 狭帯域信号もしくはこれを合成することが可能なパラメータから、帯域外成分を推測し、上記狭帯域信号に加算して帯域幅を拡張する帯域幅拡張装置において、
上記帯域外成分の周波数特性を、予め与えられた変更可能なパラメータ値によって人の声の周波数成分以上を抑圧し、さらにゲインを調整する周波数特性調整手段と、
上記周波数特性調整手段で周波数特性が調整された帯域外成分を上記狭帯域信号に加算する加算手段とを備えることを特徴とする帯域幅拡張装置。 - 励振源に関するパラメータのピッチ成分のエネルギーがノイズ成分のエネルギーよりも大きい場合、上記ピッチ成分のサンプル値に基づいて上記励振源をパルス列とし、上記帯域外成分を推測する推測手段を有することを特徴とする請求項７記載の帯域幅拡張装置。
- 上記周波数特性調整手段は、予め与えられた変更可能なフィルタ係数に基づいて６ｋＨｚ以上の成分を抑圧することを特徴とする請求項７記載の帯域幅拡張装置。
- 上記周波数特性調整手段は、予め与えられた変更可能なゲイン設定値を上記帯域外成分に乗算し、上記ゲインを調整することを特徴とする請求項７記載の帯域幅拡張装置。
- 狭帯域信号もしくはこれを合成することが可能なパラメータから、帯域外成分を推測し、上記狭帯域信号に加算して帯域幅を拡張する帯域幅拡張装置において、
上記帯域外成分を上記狭帯域信号に加算する加算手段と、
上記加算手段の加算出力の内の、上記帯域外成分の周波数特性を予め与えられた変更可能なパラメータ値によって人の声の周波数成分以上を抑圧し、さらにゲインを調整する周波数特性調整手段とを備えることを特徴とする帯域幅拡張装置。 - 励振源に関するパラメータのピッチ成分のエネルギーがノイズ成分のエネルギーよりも大きい場合、上記ピッチ成分のサンプル値に基づいて上記励振源をパルス列とし、上記帯域外成分を推測する推測手段を有することを特徴とする請求項１１記載の帯域幅拡張装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30430298A JP4099879B2 (ja) | 1998-10-26 | 1998-10-26 | 帯域幅拡張方法及び装置 |
| US09/417,585 US6539355B1 (en) | 1998-10-15 | 1999-10-14 | Signal band expanding method and apparatus and signal synthesis method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30430298A JP4099879B2 (ja) | 1998-10-26 | 1998-10-26 | 帯域幅拡張方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000134162A JP2000134162A (ja) | 2000-05-12 |
| JP4099879B2 true JP4099879B2 (ja) | 2008-06-11 |
Family
ID=17931406
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30430298A Expired - Fee Related JP4099879B2 (ja) | 1998-10-15 | 1998-10-26 | 帯域幅拡張方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4099879B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1308927B9 (en) | 2000-08-09 | 2009-02-25 | Sony Corporation | Voice data processing device and processing method |
| US7283961B2 (en) * | 2000-08-09 | 2007-10-16 | Sony Corporation | High-quality speech synthesis device and method by classification and prediction processing of synthesized sound |
| DE602006019723D1 (de) * | 2005-06-08 | 2011-03-03 | Panasonic Corp | Vorrichtung und verfahren zur verbreiterung eines audiosignalbands |
| JP5547081B2 (ja) | 2007-11-02 | 2014-07-09 | 華為技術有限公司 | 音声復号化方法及び装置 |
| JP5126145B2 (ja) * | 2009-03-30 | 2013-01-23 | 沖電気工業株式会社 | 帯域拡張装置、方法及びプログラム、並びに、電話端末 |
| JP5338962B2 (ja) * | 2012-10-23 | 2013-11-13 | 沖電気工業株式会社 | 帯域拡張装置、方法及びプログラム、並びに、電話端末 |
-
1998
- 1998-10-26 JP JP30430298A patent/JP4099879B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000134162A (ja) | 2000-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6539355B1 (en) | Signal band expanding method and apparatus and signal synthesis method and apparatus | |
| JP4132154B2 (ja) | 音声合成方法及び装置、並びに帯域幅拡張方法及び装置 | |
| JP3869211B2 (ja) | 広帯域信号の復号における周期性の強調 | |
| JP3881943B2 (ja) | 音響符号化装置及び音響符号化方法 | |
| CA2562916C (en) | Coding of audio signals | |
| JP4296622B2 (ja) | エコー消去装置及び方法、並びに音声再生装置 | |
| JP4302978B2 (ja) | 音声コーデックにおける擬似高帯域信号の推定システム | |
| JP3881946B2 (ja) | 音響符号化装置及び音響符号化方法 | |
| JP5301471B2 (ja) | 音声符号化システム及び方法 | |
| JP2000305599A (ja) | 音声合成装置及び方法、電話装置並びにプログラム提供媒体 | |
| JP4958780B2 (ja) | 符号化装置、復号化装置及びこれらの方法 | |
| JPH0713600A (ja) | 駆動同期時間符号化ボコーダおよび方法 | |
| KR20000047944A (ko) | 수신장치 및 방법과 통신장치 및 방법 | |
| JPH06337699A (ja) | ピッチ・エポック同期線形予測符号化ボコーダおよび方法 | |
| JPH0946233A (ja) | 音声符号化方法とその装置、音声復号方法とその装置 | |
| JP4558734B2 (ja) | 信号復号化装置 | |
| JP4099879B2 (ja) | 帯域幅拡張方法及び装置 | |
| EP1619666A1 (en) | Speech decoder, speech decoding method, program, recording medium | |
| JP4135242B2 (ja) | 受信装置及び方法、通信装置及び方法 | |
| JP4135240B2 (ja) | 受信装置及び方法、通信装置及び方法 | |
| JP2004302259A (ja) | 音響信号の階層符号化方法および階層復号化方法 | |
| JP2000122679A (ja) | 音声帯域拡張方法及び装置、音声合成方法及び装置 | |
| JP4269364B2 (ja) | 信号処理方法及び装置、並びに帯域幅拡張方法及び装置 | |
| JP3462464B2 (ja) | 音声符号化方法、音声復号化方法及び電子装置 | |
| JP2000206995A (ja) | 受信装置及び方法、通信装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050708 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070904 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071101 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071218 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080123 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080226 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080310 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110328 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |