JP5148414B2 - Signal band expander - Google Patents
Signal band expander Download PDFInfo
- Publication number
- JP5148414B2 JP5148414B2 JP2008222297A JP2008222297A JP5148414B2 JP 5148414 B2 JP5148414 B2 JP 5148414B2 JP 2008222297 A JP2008222297 A JP 2008222297A JP 2008222297 A JP2008222297 A JP 2008222297A JP 5148414 B2 JP5148414 B2 JP 5148414B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- wideband
- narrowband
- band
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
この発明は、帯域制限された音声や音楽・オーディオなどの信号を広帯域信号に変換する信号帯域拡張装置に関する。 The present invention relates to a signal band extending apparatus for converting a band-limited signal such as voice or music / audio into a wideband signal.
周知のように、従来の信号帯域拡張装置では、入力信号について線形予測分析を行い、この分析によって得た線形予測残差信号から基本周波数成分の存在する周波数帯域のみを切り出し、非線形に歪ませて広帯域残差信号を得るようにしている（例えば、特許文献１参照）。しかしながら、原音との歪みが大きくなるため、音質の向上が望まれていた。
従来の信号帯域拡張装置では、原音との歪みが大きくなるため、音質の向上が望まれていた。
この発明は上記の問題を解決すべくなされたもので、原音に忠実で高音質な広帯域信号を生成することが可能な信号帯域拡張装置を提供することを目的とする。
In the conventional signal band extending apparatus, since distortion with the original sound becomes large, improvement in sound quality has been desired.
The present invention has been made to solve the above problems, and an object of the present invention is to provide a signal band extending device capable of generating a wide band signal faithful to the original sound and having high sound quality.
上記の目的を達成するために、請求項１に係る発明は、入力信号を分析し、狭帯域スペクトルパラメータと狭帯域音源信号を求める分析手段と、前記分析手段が得た狭帯域音源信号に対して前記分析手段が求めた狭帯域スペクトルパラメータに基づくフォルマント強調を行うフォルマント強調手段と、前記フォルマント強調手段でフォルマントが強調された狭帯域音源信号から広帯域音源信号に変換する広帯域化手段と、前記分析手段が求めた狭帯域スペクトルパラメータに基づいた広帯域スペクトルパラメータと前記広帯域化手段が得た広帯域音源信号によって、広帯域信号を合成する合成手段と、前記合成手段が合成した広帯域信号から拡張した帯域を抽出して前記入力信号に加算する加算手段とを具備して構成するようにした。
To achieve the above object, the invention according to
以上述べたように、この発明では、原音に忠実で高音質な広帯域信号を生成することが可能な信号帯域拡張装置を提供することができる。 As described above, according to the present invention, it is possible to provide a signal band extending device capable of generating a wideband signal faithful to the original sound and having high sound quality.
以下、図面を参照して、この発明の実施形態について説明する。
図１は、この発明の一実施形態に係わる信号帯域拡張装置が適用された通信装置の構成を示すものである。この図に示す通信装置は、例えば携帯電話などの無線通信装置の受信系を示すものであって、無線通信部１と、デコーダ２と、帯域拡張処理部３と、Ｄ／Ａ変換器４とを備えている。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 shows a configuration of a communication apparatus to which a signal band extending apparatus according to an embodiment of the present invention is applied. The communication apparatus shown in this figure shows a reception system of a wireless communication apparatus such as a cellular phone, for example, and includes a
無線通信部１は、移動通信網に収容される無線基地局と無線通信し、そしてこの無線基地局および移動通信網を通じて通信相手局との間に通信リンクを確立して通信する。
デコーダ２は、無線通信部１が通信相手局から受信した受信データを、事前に決められた単位（1フレーム=Nサンプル）ごとに復号して、ディジタルの入力信号x[n] (n=0,1,…N-1)を得る。ここで１フレームをN=160サンプルとする。ただし、この入力信号x[n]は、サンプリング周波数はfs[Hz]でfs_nb_low[Hz]からfs_nb_high[Hz]までに帯域制限された狭帯域の信号である。このようにして得られたディジタルの入力信号x[n]は、フレーム単位で帯域拡張処理部３に出力される。
The
The
帯域拡張処理部３は、１フレーム単位で上記受話信号x[n] (n=0,1,…N-1)に帯域拡張処理を施し、帯域拡張処理によりfs_wb_low[Hz]からfs_wb_high[Hz]までの帯域に拡張される。このとき、サンプリング周波数はデコーダ２でのサンプリング周波数fs[Hz]のままであるか、あるいはより高いサンプリング周波数fs’[Hz]に変更される。すなわち、帯域拡張処理部３によって、サンプリング周波数fs[Hz]あるいはサンプリング周波数fs’[Hz]の帯域拡張された出力信号y[n]が１フレーム単位で得られる。なお、帯域拡張処理部３の具体的な構成例については後に詳述する。
The bandwidth
D/A変換器４は、上記帯域拡張された出力信号y[n]をアナログ信号y(t)に変換して、スピーカ５に出力する。スピーカ５は、アナログ信号である出力信号y(t)を音響空間へ出力する。
The D /
なお、図１では、この発明に関わる信号帯域拡張装置を通信装置に適用しているが、図２に示すように、ディジタルオーディオプレイヤに適用することも可能である。このディジタルオーディオプレイヤは、無線通信部１に代わって、フラッシュメモリやHDD(Hard Disk Drive)を用いた記憶部６を備え、この記憶部６から読み出した音楽データをデコーダ２が上述したように復号する。
In FIG. 1, the signal band extending apparatus according to the present invention is applied to a communication apparatus. However, as shown in FIG. 2, it can also be applied to a digital audio player. The digital audio player includes a
次に、帯域拡張処理部３の構成例について説明する。
Next, a configuration example of the bandwidth
（帯域拡張処理部３の第１の構成例）
図３は、この発明に係わる帯域拡張処理部３の第１の構成例を示すものである。この第１の構成例では、帯域拡張処理部３で、サンプリング周波数をデコーダ２で用いたサンプリング周波数fs[Hz]からfs'[Hz]にアップサンプリングを伴う帯域拡張処理するものとする。すなわち、fs < fs'である。ただし、fs_wb_low ≦ fs_nb_low < fs_nb_high ≦ fs_wb_high < fs/2 を満たし、fs_nb_high < fs/2 < fs_wb_high < fs’/2 を満たすものとする。
(First configuration example of the bandwidth extension processing unit 3)
FIG. 3 shows a first configuration example of the bandwidth
また以下の説明では、高域拡張を例に挙げるため、fs_nb_low = fs_wb_lowとして説明し、例えば、fs=8000[Hz]、fs’=16000[Hz]、fs_nb_low=100[Hz]、fs_nb_high=3950[Hz]、fs_wb_low=100[Hz]、fs_wb_high=7950[Hz]とする。これらは例であって、帯域制限の周波数帯域やサンプリング周波数については、これに限らない。 Also, in the following description, fs_nb_low = fs_wb_low will be described as an example of high frequency expansion, for example, fs = 8000 [Hz], fs' = 16000 [Hz], fs_nb_low = 100 [Hz], fs_nb_high = 3950 [ Hz], fs_wb_low = 100 [Hz], fs_wb_high = 7950 [Hz]. These are examples, and the frequency band of the band limitation and the sampling frequency are not limited to this.
この図に示すように、第１の構成例の帯域拡張処理部３は、線形予測分析部３０１と、逆フィルタ３０２と、フォルマント強調部３０３と、アップサンプリング部３０４と、帯域通過フィルタ３０５と、広帯域化処理部３０６と、スペクトル包絡広帯域化処理部３０７と、信号合成部３０８と、帯域通過フィルタ３０９と、アップサンプリング部３１０と、信号遅延処理部３１１と、信号加算部３１２とを備える。これらは、１つのプロセッサと、図示しない記憶媒体に記録されたソフトウェアによって実現することも可能である。
As shown in this figure, the band
線形予測分析部３０１は、狭帯域に帯域制限された現在のフレームｆの入力信号x[n] (n=0,1,…N-1)が入力され、これについて線形予測分析して、狭帯域のスペクトル包絡を表す狭帯域スペクトルパラメータとしてDn次の線形予測係数LPC[f,d]（d=1,…,Dn）を得る。ここでは例えば、Dn=10とする。具体的には、線形予測分析の対象となる現在のフレームｆの入力信号x[n] (n=0,1,…N-1)と、このフレームの直前の１フレーム前の入力信号の合計２フレームを時間方向に結合したデータ長2Nの入力信号x[n] (n=0,1,…2N-1)に対して、窓関数をハミング窓として窓関数を入力信号に乗じて、データ長2Nの窓掛けを行い、その信号wx[n] (n=0,1,…2N-1)に対してDn次の線形予測分析を行う。なお、１フレーム前の入力信号は、線形予測分析部３０１が備えるメモリを用いて保持する。
The linear
ここでは、例として、次の時刻（フレーム）での入力信号x[n]のシフト幅（ここではNサンプル）と窓掛けを行った入力信号wx[n]のデータ長（ここでは2Nサンプル）の比であるオーバーラップは50%としている。ただし、窓掛けに用いる窓関数は、ハミング窓に限定せず、他の対称窓（ハニング窓、ブラックマン窓、正弦波窓など）あるいは音声符号化処理で用いられるような非対称窓などに適宜変更してよい。またオーバーラップは、50%に限らない。この実施形態では、狭帯域のスペクトル包絡を表現する狭帯域スペクトルパラメータとして線形予測係数を用いる場合を例にしているが、線スペクトル対(LSP)や線スペクトル周波数(LSF)、PARCOR係数、メルケプストラム係数などを用いてもよい。 Here, as an example, the shift width (N samples here) of the input signal x [n] at the next time (frame) and the data length (2N samples here) of the input signal wx [n] windowed The overlap ratio is 50%. However, the window function used for windowing is not limited to the Hamming window, but is appropriately changed to another symmetric window (Hanning window, Blackman window, sine wave window, etc.) or an asymmetric window used in speech coding processing. You can do it. The overlap is not limited to 50%. In this embodiment, the case where a linear prediction coefficient is used as a narrowband spectral parameter expressing a narrowband spectral envelope is taken as an example, but a line spectrum pair (LSP), a line spectrum frequency (LSF), a PARCOR coefficient, a mel cepstrum A coefficient or the like may be used.
逆フィルタ３０２は、線形予測分析部３０１で得た狭帯域スペクトルパラメータである線形予測係数LPC[f,d]を用いて、システム関数を下式（１）とする逆フィルタA(z)を形成し、その逆フィルタA(z)に線形予測分析部３０１でデータ長2Nの窓掛けした入力信号wx[n]を入力して、狭帯域音源信号としてデータ長2Nの線形予測残差信号e[n]を得る。
フォルマント強調部３０３は、狭帯域スペクトルパラメータに基づくシステム関数を下式（２）とするフォルマント強調フィルタF(z)であって、スペクトル包絡の谷の部分を抑圧する特性を持ち、この特性を狭帯域音源信号である上記線形予測残差信号e[n]に掛けることで、フォルマント強調を行う。
なおフォルマント強調は、狭帯域音源信号である上記線形予測残差信号e[n]に、特性を下式（３）とする線形予測合成フィルタを通して、さらに特性を下式（４）とする逆フィルタを通すことで実現してもよい。このようにして、フォルマント強調された線形予測残差信号ew[n]は、線形予測残差信号e[n]と比べて、狭帯域信号のパワースペクトルの谷の部分を抑圧することでフォルマントの谷の信号抑圧し、その分フォルマントの山と谷の差が強調される。ここでは例えば、γn=0.6、γd=0.8とする。
なお、フォルマント強調部３０３は、狭帯域スペクトルパラメータに基づくフォルマント強調フィルタに限らず、フォルマントの山と谷の差を強調する処理であればどのようなものでも構わない。例えば、特開２００４−２１９７５７号に示されているフォルマント強調処理あるいはアンチフォルマント減衰処理や、特開２００４−８６１０２号に示されているスペクトルパラメータを変更してスペクトル包絡の極の密度を変更する処理であっても構わない。
Note that the
アップサンプリング部３０４は、フォルマント強調部３０３によりフォルマント強調された線形予測残差信号ew[n]をサンプリング周波数fs[Hz]からそれよりも高いサンプリング周波数fs'[Hz]にアップサンプリングし、エイリアシングを除去し、アップサンプリングされたデータ長4Nの線形予測残差信号ew_us[n]を出力する。
帯域通過フィルタ３０５は、アップサンプリング部３０４の出力から広帯域化に用いる周波数帯域（例えば1k[Hz]〜4k[Hz]）を通過させる特性であって、アップサンプリング部３０４で得たデータ長4Nの線形予測残差信号ew_us[n]を入力として、帯域通過フィルタ処理し、帯域通過処理した線形予測残差信号ew2_us[n]を広帯域化処理部３０６に出力する。
The up-
The band-
広帯域化処理部３０６は、帯域通過フィルタ３０５で得た線形予測残差信号ew2_us[n]に、半波整流などの非線形処理を施して、有声音では基本周波数の倍音ごとに周波数領域でピークを持つ構造（調波構造）となる広帯域信号に変換する。これによって、広帯域化されたデータ長4Nの線形予測残差信号ew_wb[n]が得られる。線形予測残差信号ew_wb[n]は、線形予測残差信号e[n]を広帯域化処理した場合に比べて、フォルマントの山と谷の差が強調される。
The
このような調波構造に変換する非線形処理の一例としては、図４（ａ）や図４（ｂ）に示すような非線形関数を用いた非線形処理がある。図４（ａ）は半波整流を表す。また、調波構造にする非線形処理としては図４（ｂ）のように全波整流を用いる。これらの処理に限らないが、帯域制限された入力信号が、この帯域制限によって、有声音において基本周波数が欠落していた場合は基本周波数を生成し、基本周波数が欠落していない場合は基本周波数を生成しないようにするために、少なくとも周期性を残す関数が望ましい。 As an example of the non-linear processing for converting to such a harmonic structure, there is a non-linear processing using a non-linear function as shown in FIG. 4 (a) or 4 (b). FIG. 4A shows half-wave rectification. In addition, full-wave rectification is used as nonlinear processing to make a harmonic structure as shown in FIG. Although not limited to these processes, the band-limited input signal generates a fundamental frequency if the fundamental frequency is missing in the voiced sound due to this band restriction, and the fundamental frequency if the fundamental frequency is not missing. In order not to generate, a function that at least keeps periodicity is desirable.
スペクトル包絡広帯域化処理部３０７は、狭帯域信号のスペクトル包絡を表す狭帯域スペクトルパラメータと広帯域信号のスペクトル包絡を表す広帯域スペクトルパラメータとの対応を事前にモデル化しておき、狭帯域信号のスペクトル包絡を表す狭帯域スペクトルパラメータ（ここでは線形予測係数LPC[f,d]）を取得し、この狭帯域スペクトルパラメータを用いて、モデル化しておいた狭帯域信号のスペクトル包絡を表す狭帯域スペクトルパラメータと広帯域信号のスペクトル包絡を表す広帯域スペクトルパラメータとの対応から広帯域化されたスペクトル包絡を表す広帯域スペクトルパラメータ（ここでは線スペクトル周波数LSF_WB[f,d]）を求める処理を行う。狭帯域のスペクトル包絡を表す狭帯域スペクトルパラメータから広帯域のスペクトル包絡を表す広帯域スペクトルパラメータに変換する手法としては、ベクトル量子化(VQ)による符号帳を用いる手法（例えば、吉田, 阿部, ”コードブックマッピングによる狭帯域音声から広帯域音声の生成法”, 信学論(D-II), vol.J78-D-II, No.3, pp.391-399, Mar. 1995.）や、GMMを用いる手法（例えば、K. Y. Park, H. S. Kim, ”Narrowband to Wideband Conversion of Speech using GMM based Transformation”, Proc. ICASSP2000, vol.3, pp.1843-1846, Jun. 2000.）や、ベクトル量子化(VQ)による符号帳とHMMを用いる手法（例えば、G. Chen, V. Parsa, ”HMM-based Frequency Bandwidth Extension for Speech Enhancement using Line Spectral Frequencies”, Proc. ICASSP2004, vol.1, pp.709-712, 2004.）や、HMMを用いる手法（例えば、S. Yao, C. F. Chan, ”Block-based Bandwidth Extension of Narrowband Speech Signal by using CDHMM”, Proc. ICASSP2005, vol.1, pp.793-796, 2005.）などがあり、どれを用いても構わない。ここでは、例えばGMM(Gaussian mixture model)を利用する手法を用いるとして、線形予測分析部３０１で得た狭帯域スペクトルパラメータである線形予測係数LPC[f,d]を、fs_wb_low[Hz]からfs_wb_high[Hz]までに対応する広帯域スペクトルパラメータであるDw次の広帯域の線スペクトル周波数LSF_WB[f,d]（d=1,…,Dw）に、事前に線形予測係数LPC[f,d]と線スペクトル周波数LSF_WB[f,d]の対応をモデル化しておいたGMMを利用して変換する。ここでは例えばDw=18とする。なお、狭帯域スペクトルパラメータであるスペクトル包絡を表す特徴量データは、線形予測係数限らず、PARCOR係数や反射係数、線スペクトル周波数、ケプストラム係数、メルケプストラム係数などでも構わない。同様に、広帯域スペクトルパラメータであるスペクトル包絡を表す特徴量データは、線スペクトル周波数に限らず、例えばLPC係数、PARCOR係数や反射係数、ケプストラム係数、メルケプストラム係数などでも構わない。
The spectral envelope broadening
スペクトル包絡広帯域化処理部３０７のより具体的な構成例を図５に示す。スペクトル包絡広帯域化処理部３０７は、線スペクトル周波数変換部３０７ａと、GMM格納部３０７ｂと、スペクトル包絡生成部３０７ｃとを備える。
A more specific configuration example of the spectrum envelope broadening
線スペクトル周波数変換部３０７ａは、狭帯域スペクトルパラメータである線形予測係数LPC[f,d]（d=1,…,Dn）を、同じ次数の線スペクトル周波数（LSF）であるLSF_NB[f,d]（d=1,…,Dn）に変換して、スペクトル包絡生成部３０７ｃに出力する。
ＧＭＭ格納部３０７ｂは、事前に学習された混合数Ｑ（ここではQ=64）のGMM λq={ｗq,μq,Σq}（q=1,…,Q）を格納している。なお、ｗqはq番目の混合正規分布の混合重みを示し、μqはq番目の混合正規分布の平均ベクトル、Σqはq次数目の混合正規分布の共分散行列（対角共分散行列または全共分散行列）を表している。なお、平均ベクトルμqと共分散行列Σqの成分の数である次数は、Dn＋Dwである。
The line spectrum
The
スペクトル包絡生成部３０７ｃは、線スペクトル周波数（LSF）であるLSF_NB[f,d]（d=1,…,Dn）を入力として、ＧＭＭ格納部３０７ｂからGMM λq={ｗq,μq,Σq}（q=1,…,Q）を読み出して、最小平均２乗推定（MMSE：Minimam Mean Square Error）に従って以下のように、広帯域信号のスペクトル包絡を表す広帯域スペクトルパラメータとして線スペクトル周波数LSF_WB[f,d]（d=1,…,Dw）を算出して出力する。下式（５）は、次元（d=1,…,Dn+Dw）方向のベクトルとして記載している。また、平均ベクトルμq（d=1,…,Dn+Dw）は次元方向で、μq N（d=1,…,Dn）とμq W（d=Dn,…,Dn+Dw）に分割し、（Dn+Dw）×（Dn+Dw）行列である共分散行列Σqも以下のように、Dn×Dn行列であるΣq NNとDn×Dw行列であるΣq NWとDw×Dn行列であるΣq WNとDw×Dw行列であるΣq WWとに分割する。
事前のGMMの学習生成方法について、フローチャートを図６に示し、説明する。
GMMの生成に用いる信号は、サンプリング周波数fs’[Hz]でfs_wb_low[Hz]からfs_wb_high[Hz]までに対応する理想的な広帯域信号（原音）とし、なるべく多数の音声信号を用いた信号群を用意する。この信号群は、多数の話者、様々な音量、様々な発話内容であることが望ましい。以下では、GMMの生成に用いる理想的な広帯域信号の信号群をまとめて１つにして、広帯域信号データwb[n]と表記する。また、ｎは時刻（サンプル）を表す。
A flowchart of the prior GMM learning generation method will be described with reference to FIG.
The signal used to generate the GMM is an ideal wideband signal (original sound) corresponding to fs_wb_low [Hz] to fs_wb_high [Hz] at the sampling frequency fs' [Hz], and a signal group using as many audio signals as possible is used. prepare. This signal group is preferably a large number of speakers, various volumes, and various utterance contents. In the following, the ideal wideband signal group used to generate the GMM is grouped into one and represented as wideband signal data wb [n]. N represents time (sample).
まず、広帯域信号データwb[n]を入力して、ダウンサンプリングフィルタによってサンプリング周波数fs[Hz]にダウンサンプリングし、fs_nb_low[Hz]からfs_nb_high[Hz]までの狭帯域に帯域制限された狭帯域信号データnb[n]を得る（ステップＳ１０１）。なお、図示しないが、上記ダウンサンプリングフィルタや帯域制限処理でアルゴリズム遅延が生じる場合には、狭帯域信号データnb[n]を広帯域信号データwb[n]と同期を合わせる処理を行う。 First, the wideband signal data wb [n] is input, downsampled to the sampling frequency fs [Hz] by the downsampling filter, and the narrowband signal is limited to the narrow band from fs_nb_low [Hz] to fs_nb_high [Hz]. Data nb [n] is obtained (step S101). Although not shown, when an algorithm delay occurs in the downsampling filter or the band limiting process, a process for synchronizing the narrowband signal data nb [n] with the wideband signal data wb [n] is performed.
次に、上記狭帯域信号データnb[n]からフレームf単位で所定の次数の狭帯域のスペクトル包絡を表す特徴量データを抽出する（ステップＳ１０２）。ステップ１０２ではまず、狭帯域信号データnb[n]からフレーム毎に線形予測分析を行い、Dn次の線形予測係数LPC_NB[f,d]（d=1,…,Dn）を得る（ステップＳ１０２Ａ）。次にDn次の線形予測係数LPC_NB[f,d]から同じ次数の線スペクトル周波数LSF_NB[f,d]（d=1,…,Dn）に変換する（ステップＳ１０２Ｂ）。
Next, feature amount data representing a narrow-band spectrum envelope of a predetermined order is extracted from the narrow-band signal data nb [n] in units of frame f (step S102). In
一方、上記に並行して、広帯域信号データwb[n]からフレームf単位で所定の次数の広帯域のスペクトル包絡を表す特徴量データを抽出する（ステップＳ１０３）。ステップＳ１０３ではまず、広帯域信号データwb[n]からフレーム毎に線形予測分析を行い、Dw次の線形予測係数LPC_WB[f,d]（d=1,…,Dw）を得る（ステップＳ１０３Ａ）。次にDw次の線形予測係数LPC_WB[f,d]から同じ次数の線スペクトル周波数LSF_WB[f,d]（d=1,…,Dw）に変換する（ステップＳ１０３Ｂ）。 On the other hand, in parallel with the above, feature value data representing a broadband spectral envelope of a predetermined order is extracted in units of frame f from the broadband signal data wb [n] (step S103). In step S103, first, linear prediction analysis is performed for each frame from the wideband signal data wb [n] to obtain Dw-th order linear prediction coefficients LPC_WB [f, d] (d = 1,..., Dw) (step S103A). Next, the Dw-th order linear prediction coefficient LPC_WB [f, d] is converted into a line spectrum frequency LSF_WB [f, d] (d = 1,..., Dw) of the same order (step S103B).
次に、完全に時間的に同期が取れた狭帯域のスペクトル包絡を表す特徴量データである線スペクトル周波数LSF_NB[f,d]（d=1,…,Dn）と、広帯域のスペクトル包絡を表す特徴量データである線スペクトル周波数LSF_WB[f,d]（d=1,…,Dw）の２つの特徴量データをフレーム単位で次数方向（次元方向）に連結して、次数Dn+Dwの連結特徴量データP[f,d]（d=1,…,Dn+Dw）を生成する（ステップＳ１０４）。 Next, the line spectrum frequency LSF_NB [f, d] (d = 1,..., Dn), which is feature amount data representing a narrow-band spectrum envelope that is completely synchronized in time, and a broadband spectrum envelope Link the two feature data of the line spectrum frequency LSF_WB [f, d] (d = 1, ..., Dw), which is the feature data, in the order direction (dimension direction) in units of frames, and connect the order Dn + Dw Feature quantity data P [f, d] (d = 1,..., Dn + Dw) is generated (step S104).
最後に、上記連結特徴量データＰ[f,d] から混合数Q=1の初期GMMを生成し、各GMMの平均ベクトルをわずかにずらして2倍の数のGMMを生成することで混合数Qを増やす処理と、上記連結特徴量データＰ[f,d]を用いてＥＭアルゴリズムにより収束するまでGMMの尤度最大化学習を行う処理とを交互に繰り返し行い、混合数Ｑ（ここではQ=64）のGMM λq={ｗq,μq,Σq}（q=1,…,Q）を生成する（ステップＳ１０５）。EMアルゴリズムについては、D.A.Reynols and R.C.Rose,“Robust text-independent speaker identification using Gaussian mixture models”,IEEE Trans. Speech and Audio Processing, Vol.3, no.1, pp.72-83, Jan.1995. などの文献に詳細な記述がある。 Finally, an initial GMM with a mixture number Q = 1 is generated from the connected feature data P [f, d], and the average vector of each GMM is slightly shifted to generate twice as many GMMs. The process of increasing Q and the process of performing likelihood maximization learning of the GMM using the connected feature data P [f, d] until convergence by the EM algorithm are alternately repeated until the number of mixtures Q (here, Q = 64) GMM λq = {wq, μq, Σq} (q = 1,..., Q) is generated (step S105). For the EM algorithm, see DAReynols and RCRose, “Robust text-independent speaker identification using Gaussian mixture models”, IEEE Trans. Speech and Audio Processing, Vol. 3, no.1, pp.72-83, Jan. 1995. There are detailed descriptions in the literature.
信号合成部３０８は、スペクトル包絡広帯域化処理部３０７から出力された広帯域スペクトルパラメータである上記線スペクトル周波数LSF_WB[f,d]（d=1,…,Dw）に基づいて、線スペクトル対LSP_WB[f,d]（d=1,…,Dw）を生成して、広帯域化処理部３０６で得た広帯域音源信号であるデータ長4Nの線形予測残差信号ew_wb[n]にＬＳＰ合成フィルタ処理を行い、データ長4Nの広帯域信号y1[n]を算出し、データ長4Nの広帯域信号y1[n]の時間的に前半のデータ（データ長2N）と、１フレーム前に信号合成部３０８が出力した広帯域信号y1[n]の時間的に後半のデータ（データ長2N）とを、これらのオーバーラップ分を考慮して加算し、データ長2Nの広帯域信号y1[n]を算出する。
Based on the line spectrum frequency LSF_WB [f, d] (d = 1,..., Dw), which is the broadband spectrum parameter output from the spectrum envelope broadening
帯域通過フィルタ３０９は、データ長2Nの広帯域信号y1[n]に対して、拡張したい周波数帯域のみを通過させるフィルタ処理を施し、これにより通過した信号、すなわち拡張したい周波数帯域の信号をデータ長2Nの広帯域信号y2[n]として出力する。つまり、上記帯域通過フィルタ処理により、fs_nb_high[Hz]からfs_wb_high[Hz]までの周波数帯域を通過させて、この周波数帯域の信号が第２の広帯域信号y2[n]として得られる。
The band-
アップサンプリング部３１０は、データ長Nの入力信号x[n]を、サンプリング周波数fs[Hz]からfs’[Hz]にアップサンプリングし、エイリアシングを除去し、データ長2Nのx_wb[n]として出力する。
The up-
信号遅延処理部３１１は、データ長2Nのアップサンプリングされた入力信号x_wb[n]を所定の時間（Dサンプル分）だけバッファし、アップサンプリングされた入力信号x_wb[n-D]として遅延させて出力することで、帯域通過フィルタ３０９から出力される第２の広帯域信号y2[n]とタイミングを合わせる。すなわち、所定の時間（Dサンプル分）は、線形予測分析部３０１への入力から帯域通過フィルタ３０９から出力が得られるまでの処理遅延の時間から、アップサンプリング部３１０での処理遅延の時間を引いた分の時間に相当する。この値は、事前に求めておき、Dを常に固定値として用いる。
The signal
信号加算部３１２は、信号遅延処理部３１１から出力されるアップサンプリングされたデータ長2Nの入力信号x_wb[n-D]と、帯域通過フィルタ３０９から出力されるデータ長2Nの広帯域信号y2[n]を、共にサンプリング周波数fs'[Hz]で加算して、データ長2Nの広帯域信号y[n]を出力信号として得る。これにより、アップサンプリングされた入力信号x[n-D]は、広帯域信号y2[n]分だけ帯域拡張される。
The
図７に第１の構成例のシミュレーション結果として、入力信号x[n]を音声信号とした場合の出力信号y[n]のパワースペクトルとフォルマントの一例を示す。フォルマント強調部３０３を設けた場合のパワースペクトルを細実線ＰＳ１で、そのフォルマントを太実線Ｆ１でそれぞれ示している。また、フォルマント強調部３０３を設けない場合のパワースペクトルを細破線ＰＳ０で、そのフォルマントを太破線Ｆ０でそれぞれ示している。この図に示すように、フォルマント強調部３０３を設けた場合の出力信号y[n]のパワースペクトルは、帯域拡張を行った帯域4000〜8000[Hz]においてフォルマントの谷が深くなることが分かる。
FIG. 7 shows an example of the power spectrum and formant of the output signal y [n] when the input signal x [n] is an audio signal as a simulation result of the first configuration example. The power spectrum when the
以上のように、上記構成の信号帯域拡張装置では、フォルマント強調部３０３を設けて、線形予測残差信号にフォルマント強調を行い、線形予測残差信号についてフォルマントの山と谷の差を強調するようにしている。そして、フォルマント強調後の線形予測残差信号を広帯域化して、広帯域化したフォルマント強調後の線形予測残差信号に基づいて広帯域信号を求めるようにしている。
したがって、上記構成の信号帯域拡張装置によれば、広帯域化した信号のフォルマントの山と谷の差をはっきりすることができるので、原音に忠実で高音質な広帯域信号を生成することができる。
As described above, in the signal band extending apparatus having the above-described configuration, the
Therefore, according to the signal band extending apparatus having the above configuration, it is possible to clarify the difference between the peak and valley of the formant of the widened signal, and thus it is possible to generate a broadband signal that is faithful to the original sound and has high sound quality.
また、スペクトル包絡広帯域化処理部３０７のように、狭帯域信号のスペクトル包絡を表す狭帯域スペクトルパラメータと広帯域信号のスペクトル包絡を表す広帯域スペクトルパラメータとの対応を事前に複数の信号からモデル化する場合、得られる広帯域化されたスペクトル包絡を表す広帯域スペクトルパラメータは、平均化され平滑化されているためフォルマントの山と谷の差が浅いようなスペクトルパラメータとなる。これに対して、上記構成の信号帯域拡張装置によれば、フォルマント強調部３０３を設けて、線形予測残差信号にフォルマント強調を行い、広帯域化し、広帯域化されたスペクトル包絡を表すスペクトルパラメータと合成することにより広帯域信号を得るため、広帯域化されたスペクトル包絡を表す広帯域スペクトルパラメータによってフォルマントの山と谷の差が浅くなる傾向を防ぐことができ、広帯域化した信号のフォルマントの山と谷の差をはっきりすることができるので、原音に忠実で高音質な広帯域信号を生成することができる。
In addition, when the correspondence between the narrowband spectrum parameter representing the spectrum envelope of the narrowband signal and the broadband spectrum parameter representing the spectrum envelope of the wideband signal is modeled from a plurality of signals in advance, as in the spectrum envelope broadening
（帯域拡張処理部３の第１の構成例の変形例１）
なお、図３に示した構成の変形例として、図８に示すような構成も考えられる。図８に示す信号帯域拡張装置の帯域拡張処理部は、図３に示した構成に加え、有声／無声推定部３１３と、雑音生成部３１４と、パワー制御部３１５と、パワー制御部３１６と、信号加算処理部３１７とを備え、信号合成部３０８が広帯域化処理部３０６の出力に代わって、信号加算処理部３１７の出力を入力として用いるようにしたものである。
(
As a modification of the configuration shown in FIG. 3, a configuration as shown in FIG. 8 is also conceivable. The band extension processing unit of the signal band extension apparatus shown in FIG. 8 includes, in addition to the configuration shown in FIG. 3, a voiced /
有声／無声推定部３１３は、入力信号x[n]と、線形予測分析部３０１が線形予測分析したDn次の線形予測係数LPC[f,d]とを入力として、入力信号x[n]がフレーム単位で「有声音」であるか「無声音」であるかを推定し、その推定情報vuv[f]を出力する。具体的には、有声／無声推定部３１３は、まず入力信号x[n]からフレーム単位での零交差の数を算出し、それをフレーム長Nで割って平均化した上でマイナスにした、負の平均零交差数Zi[f]を算出する。次に、下式（６）に示すように、フレーム単位での入力信号x[n]の２乗和を以下のようにdB単位で計算し、これをフレームパワーCi[f]とする。
また、下式（７）に示すように、フレーム単位での１次自己相関係数In[f]を以下のように計算する。
そして、Dn次の線形予測係数LPC[f,d]に零詰めして256点の信号として256点ＦＦＴを行い、周波数スペクトルL[f,ω]を得て、周波数スペクトルL[f,ω]の２乗であるパワースペクトル|L[f,ω]|2に対して１０を底とする対数を取り−１０倍することでLPCによるスペクトル包絡をdB単位で算出し、基本周波数が存在すると想定される帯域におけるLPCによるスペクトル包絡の平均値Vi[f]を下式（８）に示すように算出する。なお、例えば基本周波数が存在すると想定される帯域を75[Hz]≦fs・ω/256[Hz]≦325[Hz]とし、つまりVi[f]として2≦ω≦11の平均を求める。
そして有声／無声推定部３１３は、負の平均零交差数Zi[f]、フレームパワーCi[f]、１次自己相関係数In[f]、LPCスペクトル包絡の平均値Vi[f]に対してそれぞれ適宜重みを付けた線形和をフレーム毎に監視し、所定の閾値を超えた場合に「有声音」であると推定し、所定の閾値を超えない場合に「無声音」と推定し、その推定情報vuv[f]を出力する。
雑音生成部３１４は、有声／無声推定部３１３の推定結果である推定情報vuv[f]が「無声音」の場合に、一様にランダムな乱数を生成し、それを信号の振幅値にすることにより、白色化された雑音信号wn[n]をデータ長4N分生成して出力する。
The voiced /
When the estimation information vuv [f], which is the estimation result of the voiced /
パワー制御部３１５は、アップサンプリング部３０４から出力されたデータ長4Nの線形予測残差信号ew_us[n]と有音／無声推定部３１３から出力された１次自己相関係数In[f]に基づいて、雑音生成部３１４が生成した雑音信号wn[n]を所定のレベルまで増幅し、信号加算処理部３１７に出力する。具体的には、まずデータ長4Nの線形予測残差信号ew_us[n]の２乗和を求め、データ長4Nの雑音信号wn[n]の２乗和を求め、線形予測残差信号ew_us[n]の２乗和を雑音信号wn[n]の２乗和で割って増幅ゲインg1[f]を求める。次に、無声音である程レベルを増幅させるために、１次自己相関係数In[f]の絶対値が0に近づけば1に近づき、１次自己相関係数In[f]の絶対値が1に近づけば0に近づく増幅ゲインg2[f]を求める。そして、増幅ゲインg1[f]とg2[f]を雑音信号wn[n]に乗じる。
The
パワー制御部３１６は、アップサンプリング部３０４から出力されたデータ長4Nの線形予測残差信号ew_us[n]と有音／無声推定部３１３から出力された１次自己相関係数In[f]に基づいて、広帯域化処理部３０６で得られた広帯域化されたデータ長4Nの線形予測残差信号e_wb[n]を所定のレベルまで増幅し、信号加算処理部３１７に出力する。具体的には、まずデータ長4Nの線形予測残差信号ew_us[n]の２乗和を求め、データ長4Nの線形予測残差信号e_wb[n]の２乗和を求め、線形予測残差信号ew_us[n]の２乗和を線形予測残差信号e_wb[n]の２乗和で割って増幅ゲインg3[f]を求める。次に、有声音である程レベルを増幅させるために、１次自己相関係数In[f]の絶対値が1に近づけば1に近づき、１次自己相関係数In[f]の絶対値が0に近づけば0に近づく増幅ゲインg4[f]を求める。そして、増幅ゲインg3[f]とg4[f]を線形予測残差信号e_wb[n]に乗じる。
The
信号加算処理部３１７は、パワー制御部３１５から出力される雑音信号と、パワー制御部３１６から出力される線形予測残差信号e_wb[n]とを加算して、広帯域音源信号として、信号合成部３０８に出力する。
信号合成部３０８は、スペクトル包絡広帯域化処理部３０７から出力された広帯域スペクトルパラメータである上記線スペクトル周波数LSF_WB[f,d]（d=1,…,Dw）に基づいて、線スペクトル対LSP_WB[f,d]（d=1,…,Dw）を生成して、信号加算処理部３１７から出力される広帯域音源信号であるデータ長4Nの信号にＬＳＰ合成フィルタ処理を行い、データ長4Nの広帯域信号y1[n]を算出し、データ長4Nの広帯域信号y1[n]の時間的に前半のデータ（データ長2N）と、１フレーム前に信号合成部３０８が出力した広帯域信号y1[n]の時間的に後半のデータ（データ長2N）とを、これらのオーバーラップ分を考慮して加算し、データ長2Nの広帯域信号y1[n]を算出する。
The signal
Based on the line spectrum frequency LSF_WB [f, d] (d = 1,..., Dw), which is the broadband spectrum parameter output from the spectrum envelope broadening
このような構成であっても、同様の効果を発揮する。また、このような構成によれば、有音／無声推定部３１３により有声音と無声音でそれぞれに適した信号を生成することができ、広帯域化して帯域拡張された信号を原音に近づけて、音質を向上させることができる。
Even with such a configuration, the same effect is exhibited. In addition, according to such a configuration, the voiced /
（帯域拡張処理部３の第１の構成例の変形例２）
なお、図３に示した構成のさらなる変形例として、図９に示すような構成も考えられる。図９に示す信号帯域拡張装置の帯域拡張処理部は、図３に示した構成に加え、広帯域フォルマント強調部３１８を備え、信号合成部３０８が広帯域化処理部３０６の出力に代わって、広帯域フォルマント強調部３１８の出力を入力に用いるようにしたものである。
(
As a further modification of the configuration shown in FIG. 3, a configuration as shown in FIG. 9 is also conceivable. 9 includes a wideband
広帯域フォルマント強調部３１８は、スペクトル包絡広帯域化処理部３０７から出力される広帯域信号のスペクトル包絡を表す広帯域スペクトルパラメータと広帯域化処理部３０６から出力される広帯域化された広帯域音源信号であるデータ長4Nの線形予測残差信号ew_wb[n]を入力として、広帯域信号のスペクトル包絡を表す広帯域スペクトルパラメータから広帯域のフォルマント強調フィルタを生成し、広帯域化された線形予測残差信号ew_wb[n]に掛けてフォルマント強調を行い、そのフォルマント強調され広帯域化された線形予測残差信号をew_wb2[n]として信号合成部３０８に出力する。ここでは具体的に、まずスペクトル包絡広帯域化処理部３０７から出力される広帯域スペクトルパラメータである線スペクトル周波数LSF_WB[f,d]（d=1,…,Dw）を同じ次数の線形予測係数LPC_WB[f,d]（d=1,…,Dw）に変換して、システム関数を下式（９）である広帯域のフォルマント強調フィルタF’(z)を生成する。
ここでは例えば、γｎ=0.6、γd=0.8とする。このフォルマント強調フィルタF’(z)も上記フォルマント強調フィルタF(z)と同様にスペクトル包絡の谷の部分を抑圧する特性を持ち、この特性を広帯域化された線形予測残差信号ew_wb[n]に掛けてることで、フォルマント強調を行う。同様に、広帯域のフォルマント強調は、広帯域化された線形予測残差信号ew_wb[n]に、特性を下式（１０）とする線形予測合成フィルタを通して、さらに特性を下式（１１）とする逆フィルタを通すことで実現してもよい。
このようにすることで、フォルマント強調され広帯域化された線形予測残差信号ew_wb2[n]は、広帯域化された線形予測残差信号ew_wb[n]と比べて、信号のパワースペクトルの谷の部分を抑圧することでフォルマントの谷の信号抑圧し、その分フォルマントの山と谷の差が強調される。 In this way, the formant-enhanced and widened linear prediction residual signal ew_wb2 [n] is compared with the wideband linear prediction residual signal ew_wb [n], which is the valley portion of the signal power spectrum. Suppresses the signal in the formant valley, and the difference between the formant mountain and valley is emphasized.
以上のように、上記構成の信号帯域拡張装置では、広帯域フォルマント強調部３１８を設けて、広帯域化された線形予測残差信号にフォルマント強調を行い、広帯域化された線形予測残差信号についてフォルマントの山と谷の差を強調するようにしている。そして、フォルマント強調後の広帯域化された線形予測残差信号に基づいて広帯域信号を求めるようにしている。
したがって、上記構成の信号帯域拡張装置によれば、広帯域化されたスペクトル包絡を表す広帯域スペクトルパラメータによってフォルマントの山と谷の差が浅くなる傾向を防ぐことができ、広帯域化した信号のフォルマントの山と谷の差を第１の構成例よりもよりはっきりすることができるので、原音に忠実で高音質な広帯域信号を生成することができる。
As described above, in the signal band extending apparatus having the above configuration, the wideband
Therefore, according to the signal band extending apparatus having the above configuration, it is possible to prevent a tendency that the difference between the peak and valley of the formant becomes shallow due to the broadband spectrum parameter representing the broadband spectrum envelope. Since the difference between the valley and the valley can be made clearer than in the first configuration example, it is possible to generate a broadband signal that is faithful to the original sound and has high sound quality.
また、広帯域フォルマント強調部３１８は、信号合成部３０８で算出する広帯域スペクトルパラメータである線スペクトル対LSP_WB[f,d]（d=1,…,Dw）に基づいて線形予測係数LPC_WB[f,d]（d=1,…,Dw）に変換し、広帯域のフォルマント強調フィルタF’(z)を生成するようにしてもよく、同様の効果が得られる。
The wideband
（帯域拡張処理部３の第２の構成例）
さらに、図３では、帯域拡張処理部が高域拡張処理を行うものとして構成例を示したが、図１０に示すように低域拡張処理を行う帯域拡張処理部に対しても本発明を適用することができる。
(Second configuration example of the bandwidth extension processing unit 3)
Further, in FIG. 3, the configuration example is shown on the assumption that the band extension processing unit performs the high band extension process, but the present invention is also applied to the band extension processing unit that performs the low band extension process as shown in FIG. can do.
この第２の構成例では、帯域拡張処理部３の帯域拡張処理で、サンプリング周波数fs[Hz]のまま、fs_wb_low[Hz]からfs_wb_high[Hz]までの帯域に拡張されるものとする。ただし、fs_wb_low ≦ fs_nb_low < fs_nb_high ≦ fs_wb_high < fs/2 を満たすものとする。
In the second configuration example, it is assumed that the bandwidth extension processing of the bandwidth
また以下の説明では、低域拡張を例に挙げるため、fs_wb_low < fs_nb_low、fs_nb_high = fs_wb_highとして説明し、例えば、fs=8000[Hz]、fs_nb_low=340[Hz]、fs_nb_high=3950[Hz]、fs_wb_low=50[Hz]、fs_wb_high=3950[Hz]とする。帯域制限の周波数帯域やサンプリング周波数については、これに限らない。 In the following explanation, fs_wb_low <fs_nb_low, fs_nb_high = fs_wb_high, for example, fs_8000 [Hz], fs_nb_low = 340 [Hz], fs_nb_high = 3950 [Hz], fs_wb_low = 50 [Hz], fs_wb_high = 3950 [Hz]. The frequency band of the band limitation and the sampling frequency are not limited to this.
図１０に示す信号帯域拡張装置の帯域拡張処理部は、図３に示した構成から、アップサンプリング部３０４と、帯域通過フィルタ３０５と、スペクトル包絡広帯域化処理部３０７と、アップサンプリング部３１０とを除いて、広帯域化処理部３０６を広帯域化処理部３０６ａに、信号合成部３０８を線形予測合成部３０８ａに、帯域通過フィルタ部３０９を帯域通過フィルタ部３０９ａに、信号遅延処理部３１１を信号遅延処理部３１１ａに、信号加算部３１２を信号加算部３１２ａにそれぞれ置き換えて、アップサンプリングは行わずに信号処理を行うものである。これに伴い、各処理部の入出力のデータ長は半分になる。これらは、１つのプロセッサと、図示しない記憶媒体に記録されたソフトウェアによって実現することも可能である。
The band extension processing unit of the signal band extension apparatus shown in FIG. 10 includes an
広帯域化処理部３０６ａは、フォルマント強調部３０３で得た線形予測残差信号ew[n]に、半波整流などの非線形処理を施して、有声音では基本周波数の倍音ごとに周波数領域でピークを持つ構造（調波構造）となる広帯域信号に変換する。これによって、広帯域化されたデータ長2Nの線形予測残差信号ew_wb[n]が得られ、これを広帯域音源信号として線形予測合成部３０８ａに出力する。線形予測残差信号ew_wb[n]は、線形予測残差信号e[n]を広帯域化処理した場合に比べて、フォルマントの山と谷の差が強調される。
The
線形予測合成部３０８ａは、線形予測分析部３０１で得られた狭帯域スペクトルパラメータである線形予測係数LPC[f,d]（d=1,…,Dn）をそのまま広帯域スペクトルパラメータとして、この広帯域スペクトルパラメータに基づいて、システム関数を下式（１２）とする線形予測合成フィルタを生成し、このフィルタを用いて広帯域処理部３０６から出力される広帯域音源信号であるデータ長2Nの線形予測残差信号ew_wb[n]に線形予測合成を行い、データ長2Nの広帯域信号y1[n]を算出し、データ長2Nの広帯域信号y1[n]の時間的に前半のデータ（データ長N）と、１フレーム前に線形予測合成部３０８ａが出力した広帯域信号y1[n]の時間的に後半のデータ（データ長N）とを、これらのオーバーラップ分を考慮して加算し、データ長Nの広帯域信号y1[n]を算出する。
帯域通過フィルタ３０９ａは、データ長Nの広帯域信号y1[n]に対して、拡張したい周波数帯域のみを通過させるフィルタ処理を施し、これにより通過した信号、すなわち拡張したい周波数帯域の信号をデータ長Nの広帯域信号y2[n]として出力する。つまり、上記帯域通過フィルタ処理により、fs_wb_low[Hz]からfs_nb_low[Hz]までの周波数帯域を通過させて、この周波数帯域の信号が第２の広帯域信号y2[n]として得られる。
The band-
信号遅延処理部３１１ａは、データ長Nの入力信号x[n]を所定の時間（D1サンプル分）だけバッファし、入力信号x[n-D1]として遅延させて出力することで、帯域通過フィルタ３０９ａから出力される第２の広帯域信号y2[n]とタイミングを合わせる。すなわち、所定の時間（D1サンプル分）は、線形予測分析部３０１への入力から帯域通過フィルタ３０９ａから出力が得られるまでの処理遅延の時間に相当する。この値は、事前に求めておき、D1を常に固定値として用いる。
The signal
信号加算部３１２ａは、信号遅延処理部３１１ａから出力されるデータ長Nの入力信号x[n-D1]と、帯域通過フィルタ３０９ａから出力されるデータ長Nの広帯域信号y2[n]を、共にサンプリング周波数fs[Hz]で加算して、データ長Nの広帯域信号y[n]を出力信号として得る。これにより、入力信号x[n-D1]は、広帯域信号y2[n]分だけ帯域拡張される。
The
このような構成によれば、サンプリング周波数の変更を伴わない帯域拡張においても、広帯域化した信号のフォルマントの山と谷の差をはっきりすることができるので、原音に忠実で高音質な広帯域信号を生成することができる。
また、図３から図８に追加した構成を、図１０に適用することも可能である。
また、図３から図９に追加した構成を、図１０に適用することも可能である。
なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。
According to such a configuration, even in the band expansion without changing the sampling frequency, the difference between the formant peaks and valleys of the widened signal can be clarified, so that a high-quality broadband signal faithful to the original sound can be obtained. Can be generated.
Further, the configuration added to FIGS. 3 to 8 can be applied to FIG.
Also, the configuration added to FIGS. 3 to 9 can be applied to FIG.
Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. Further, for example, a configuration in which some components are deleted from all the components shown in the embodiment is also conceivable. Furthermore, you may combine suitably the component described in different embodiment.
１…無線通信部、２…デコーダ、３…帯域拡張処理部、４…Ｄ／Ａ変換器、５…スピーカ、６…記憶部、３０１…線形予測分析部、３０２…逆フィルタ、３０３…フォルマント強調部、３０４…アップサンプリング部、３０５…帯域通過フィルタ、３０６…広帯域化処理部、３０７…スペクトル包絡広帯域化処理部、３０７ａ…線スペクトル周波数変換部、３０７ｂ…GMM格納部、３０７ｃ…スペクトル包絡生成部、３０８…信号合成部、３０９…帯域通過フィルタ、３１０…アップサンプリング部、３１１…信号遅延処理部、３１２…信号加算部、３１３…有声／無声推定部、３１４…雑音生成部、３１５…パワー制御部、３１６…パワー制御部、３１７…信号加算処理部。
DESCRIPTION OF
Claims (7)
前記分析手段が得た狭帯域音源信号に対して前記分析手段が求めた狭帯域スペクトルパラメータに基づくフォルマント強調を行うフォルマント強調手段と、
前記フォルマント強調手段でフォルマントが強調された狭帯域音源信号から広帯域音源信号に変換する広帯域化手段と、
前記分析手段が求めた狭帯域スペクトルパラメータに基づいた広帯域スペクトルパラメータと前記広帯域化手段が得た広帯域音源信号によって、広帯域信号を合成する合成手段と、
前記合成手段が合成した広帯域信号から拡張した帯域を抽出して前記入力信号に加算する加算手段とを具備することを特徴とする信号帯域拡張装置。 Analyzing means for analyzing the input signal to obtain a narrowband spectral parameter and a narrowband sound source signal;
A formant emphasizing means for performing formant emphasis based on narrowband spectral parameter is the analyzing means is determined for narrowband excitation signal the analyzing means is obtained,
Widening means for converting a narrowband sound source signal in which the formant is emphasized by the formant emphasizing means into a wideband sound source signal;
A synthesizing unit for synthesizing a wideband signal based on the wideband spectral parameter based on the narrowband spectral parameter obtained by the analyzing unit and the wideband sound source signal obtained by the broadbanding unit;
It said combining means the signal band extending apparatus, wherein a comprises an adding means for adding to the input signal to extract the band which extends from the synthesized wideband signal.
前記分析手段が得た狭帯域音源信号に対して前記分析手段が求めた狭帯域スペクトルパラメータに基づくフォルマント強調を行うフォルマント強調手段と、
前記フォルマント強調手段でフォルマントが強調された狭帯域音源信号をアップサンプリングする第１アップサンプリング手段と、
前記第１アップサンプリング手段でアップサンプリングされた狭帯域音源信号から広帯域音源信号に変換する広帯域化手段と、
前記分析手段が求めた狭帯域スペクトルパラメータと、予めモデル化しておいた狭帯域スペクトルパラメータと広帯域スペクトルパラメータの対応に基づいて、広帯域スペクトルパラメータを求めるスペクトルパラメータ広帯域化手段と、
前記スペクトルパラメータ広帯域化手段が求めた広帯域スペクトルパラメータと前記広帯域化手段が得た広帯域音源信号に基づいて、広帯域信号を合成する合成手段と、
前記入力信号をアップサンプリングする第２アップサンプリング手段と、
前記合成手段が合成した広帯域信号から拡張した帯域を抽出した信号を、前記第２アップサンプリング手段でアップサンプリングされた入力信号に加算する加算手段とを具備することを特徴とする信号帯域拡張装置。 Analyzing means for analyzing the input signal to obtain a narrowband spectral parameter and a narrowband sound source signal;
A formant emphasizing means for performing formant emphasis based on narrowband spectral parameter is the analyzing means is determined for narrowband excitation signal the analyzing means is obtained,
First upsampling means for upsampling a narrowband sound source signal in which formants are emphasized by the formant emphasizing means;
A broadening means for converting a narrowband sound source signal upsampled by the first upsampling means into a wideband sound source signal;
A spectral parameter broadening means for obtaining a wideband spectral parameter based on a correspondence between the narrowband spectral parameter obtained by the analyzing means, and a narrowband spectral parameter and a wideband spectral parameter that have been modeled in advance;
Based on the wide-band excitation signal is the spectral parameter broadband means wideband spectral parameters and the broadband unit determined to give a synthesizing means for synthesizing a wideband signal,
Second upsampling means for upsampling the input signal;
A signal band extending apparatus comprising: an adding means for adding a signal obtained by extracting a band extended from the wide band signal synthesized by the synthesizing means to the input signal up-sampled by the second up-sampling means.
前記推定手段が無声と推定した場合に、雑音信号を生成する雑音生成手段と、
前記雑音生成手段が生成した雑音信号を、前記広帯域化手段が得た信号に加算する加算処理手段とを備え、
前記合成手段は、前記広帯域スペクトルパラメータと前記加算処理手段が得た信号を合成することを特徴とする請求項１乃至請求項５のいずれか１項に記載の信号帯域拡張装置。 And estimating means for estimating whether the input signal is voiced or unvoiced based on the input signal and the narrowband spectral parameter obtained by the analyzing means;
When said estimating means has estimated that unvoiced, a noise generating means for generating a noise signal,
The noise signals said noise generating means has generated, and an addition processing means for adding the signals the broadband unit has obtained,
The combining means, the signal band extending apparatus according to any one of claims 1 to 5, wherein the combining signals the broadband spectral parameter and the addition processing means is obtained.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008222297A JP5148414B2 (en) | 2008-08-29 | 2008-08-29 | Signal band expander |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008222297A JP5148414B2 (en) | 2008-08-29 | 2008-08-29 | Signal band expander |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010055002A JP2010055002A (en) | 2010-03-11 |
| JP5148414B2 true JP5148414B2 (en) | 2013-02-20 |
Family
ID=42070959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008222297A Expired - Fee Related JP5148414B2 (en) | 2008-08-29 | 2008-08-29 | Signal band expander |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5148414B2 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5450298B2 (en) * | 2010-07-21 | 2014-03-26 | Ｔｏａ株式会社 | Voice detection device |
| JP5777041B2 (en) * | 2010-07-23 | 2015-09-09 | 沖電気工業株式会社 | Band expansion device and program, and voice communication device |
| JP6284003B2 (en) | 2013-03-27 | 2018-02-28 | パナソニックＩｐマネジメント株式会社 | Speech enhancement apparatus and method |
| MY180722A (en) | 2013-10-18 | 2020-12-07 | Fraunhofer Ges Forschung | Concept for encoding an audio signal and decoding an audio signal using speech related spectral shaping information |
| MY187944A (en) | 2013-10-18 | 2021-10-30 | Fraunhofer Ges Forschung | Concept for encoding an audio signal and decoding an audio signal using deterministic and noise like information |
| JP6386237B2 (en) * | 2014-02-28 | 2018-09-05 | 国立研究開発法人情報通信研究機構 | Voice clarifying device and computer program therefor |
| CN106992003A (en) * | 2017-03-24 | 2017-07-28 | 深圳北斗卫星信息科技有限公司 | Voice signal auto gain control method |
| JP2019008206A (en) * | 2017-06-27 | 2019-01-17 | 日本放送協会 | Voice band extension device, voice band extension statistical model learning device and program thereof |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2779886B2 (en) * | 1992-10-05 | 1998-07-23 | 日本電信電話株式会社 | Wideband audio signal restoration method |
| JP2956548B2 (en) * | 1995-10-05 | 1999-10-04 | 松下電器産業株式会社 | Voice band expansion device |
| JP2000206996A (en) * | 1999-01-13 | 2000-07-28 | Sony Corp | Receiver and receiving method, communication equipment and communicating method |
| JP4047296B2 (en) * | 2004-03-12 | 2008-02-13 | 株式会社東芝 | Speech decoding method and speech decoding apparatus |
| JP2005331783A (en) * | 2004-05-20 | 2005-12-02 | Fujitsu Ltd | Speech enhancing system, speech enhancement method, and communication terminal |
| JP4447546B2 (en) * | 2005-11-18 | 2010-04-07 | 三菱電機株式会社 | Wideband voice restoration method and wideband voice restoration apparatus |
-
2008
- 2008-08-29 JP JP2008222297A patent/JP5148414B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010055002A (en) | 2010-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4818335B2 (en) | Signal band expander | |
| JP4945586B2 (en) | Signal band expander | |
| JP5127754B2 (en) | Signal processing device | |
| JP5148414B2 (en) | Signal band expander | |
| JP4892021B2 (en) | Signal band expander | |
| RU2552184C2 (en) | Bandwidth expansion device | |
| JP5419876B2 (en) | Spectrum smoothing device, coding device, decoding device, communication terminal device, base station device, and spectrum smoothing method | |
| JP5535241B2 (en) | Audio signal restoration apparatus and audio signal restoration method | |
| JP5975243B2 (en) | Encoding apparatus and method, and program | |
| JP3881946B2 (en) | Acoustic encoding apparatus and acoustic encoding method | |
| JP2004101720A (en) | Device and method for acoustic encoding | |
| JPH10124088A (en) | Device and method for expanding voice frequency band width | |
| JPWO2010098112A1 (en) | Encoding device, decoding device and methods thereof | |
| Kornagel | Techniques for artificial bandwidth extension of telephone speech | |
| KR20050049103A (en) | Method and apparatus for enhancing dialog using formant | |
| JP5443547B2 (en) | Signal processing device | |
| JP2009223210A (en) | Signal band spreading device and signal band spreading method | |
| JP5711645B2 (en) | Audio signal output apparatus and audio signal output method | |
| JP2004151423A (en) | Band extending device and method | |
| JP2019090930A (en) | Sound source enhancement device, sound source enhancement learning device, sound source enhancement method and program | |
| JP4413546B2 (en) | Noise reduction device for audio signal | |
| JP2015206958A (en) | Audio sound signal processor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101110 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120420 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121030 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121128 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151207 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |