JP2008134649A - Method and apparatus for reproducing speech signals - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To solve the problem that speed conversion processing on a time axis is difficult in a high efficiency speech encoding method on the time axis. <P>SOLUTION: An encoding unit 2 discriminates whether an input speech signal is voiced or unvoiced. Based on the results of discrimination, the encoding unit 2 performs sinusoidal synthesis and encoding for a signal portion found to be voiced, while performing vector quantization by closed-loop search for an optimum vector for a portion found to be unvoiced using an analysis-by-synthesis method, in order to find encoded parameters. A period modification unit 3 modifies an output period of the encoded parameters by expanding and compressing the time axis. A decoding unit 4 interpolates the encoded parameters which is output with the period modified by the period modification unit 3, and creates the modified encoded parameters corresponding to desired time. Based on the modified encoded parameters, a speech signal is synthesized and output from an output terminal 201. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、音声信号をスピードコントロールして再生する音声信号の再生方法及び装置に関する。   The present invention relates to an audio signal reproduction method and apparatus for reproducing an audio signal by speed-controlling it.

オーディオ信号（音声信号や音響信号を含む）の時間領域や周波数領域における統計的性質と人間の聴感上の特性を利用して信号圧縮を行うような符号化方法が種々知られている。この符号化方法としては、大別して時間領域での符号化、周波数領域での符号化、分析合成符号化等が挙げられる。   Various encoding methods are known in which signal compression is performed using statistical properties of audio signals (including audio signals and acoustic signals) in the time domain and frequency domain, and characteristics of human audibility. This coding method is roughly classified into time domain coding, frequency domain coding, analysis / synthesis coding, and the like.

音声信号等の高能率符号化の例として、ＭＢＥ（Multiband Excitation: マルチバンド励起）符号化、ＳＢＥ（Singleband Excitation:シングルバンド励起）あるいはサイン波合成符号化、ハーモニック（Harmonic）符号化、ＳＢＣ（Sub-band Coding:帯域分割符号化）、ＬＰＣ（Linear Predictive Coding: 線形予測符号化）、あるいはＤＣＴ（離散コサイン変換）、ＭＤＣＴ（モデファイドＤＣＴ）、ＦＦＴ（高速フーリエ変換）等が知られている。   Examples of high-efficiency encoding of speech signals include MBE (Multiband Excitation) encoding, SBE (Singleband Excitation) or sine wave synthesis encoding, Harmonic encoding, SBC (Sub) Known are -band Coding (band division coding), LPC (Linear Predictive Coding), DCT (Discrete Cosine Transform), MDCT (Modified DCT), FFT (Fast Fourier Transform), and the like.

従来技術として、特許文献１〜５が知られている。   Patent documents 1-5 are known as conventional technology.

特開昭５８−１５０９９９号公報JP 58-150999 A 特開平０５−１８１４９７号公報Japanese Patent Laid-Open No. 05-181497 特開平０７−１７７１０５号公報JP 07-177105 A 特開平０７−０４４１９３号公報Japanese Patent Application Laid-Open No. 07-044193 特開平０３−２１１５９９号公報Japanese Patent Laid-Open No. 03-211599

ところで、符号励起線形予測（ＣＥＬＰ：Code Excited Linear Prediction）符号化に代表されるような上記時間軸上の処理による音声高能率符号化方法では、時間軸のスピード変換（Modify）処理が困難であった。これは、復号化（デコーダ）出力の後にかなりの演算を行う必要があったためである。また、デコードした時間領域でスピードコントロールを行うため、例えばビットレートの変換などには使えなかった。   By the way, in the speech high-efficiency encoding method based on the above-described time axis processing represented by Code Excited Linear Prediction (CELP) encoding, time axis speed conversion (Modify) processing is difficult. It was. This is because a considerable operation has to be performed after the decoding (decoder) output. Also, since speed control is performed in the decoded time domain, it could not be used for bit rate conversion, for example.

また、上記各種符号化方法で符号化された音声信号を復号化しようとする場合に、音声の音韻を変えずにピッチだけを可変としたいことがあるが、通常の音声復号化装置では、復号化された音声をピッチコントロールを用いてピッチ変換しなければならず、構成が複雑化し、価格が高騰するという欠点があった。   In addition, when trying to decode a speech signal encoded by the various encoding methods described above, it may be desired to change only the pitch without changing the phoneme of the speech. There is a disadvantage that the converted voice has to be pitch-converted using pitch control, and the configuration becomes complicated and the price increases.

本発明は、上記実情に鑑みてなされたものであり、広いレンジにわたる任意のレートのスピードコントロールを、音韻，ピッチを不変として高品質に行うことのできる音声信号の再生方法及び装置の提供を目的とする。   The present invention has been made in view of the above circumstances, and it is an object of the present invention to provide a method and an apparatus for reproducing an audio signal capable of performing speed control at an arbitrary rate over a wide range with high quality with the phoneme and the pitch unchanged. And

本発明に係る音声信号の再生方法は、入力音声信号を時間軸上で、所定の符号化単位で区分し、上記入力音声信号が有声音か無声音かを判別し、その判別結果に基づいて、有声音とされた部分ではサイン波合成符号化を行い、無声音とされた部分では合成による分析法を用いて最適ベクトルのクローズドループサーチによるベクトル量子化を行うことで求めた符号化パラメータに基づいて音声信号を再生する音声信号の再生方法であって、上記符号化パラメータを補間処理して所望の時刻に対応する変更符号化パラメータを求め、この変更符号化パラメータに基づいて有声音の場合には有声音用の合成フィルタにより有声音を合成し、無声音の場合には無声音用の合成フィルタにより無声音を合成し、上記それぞれの合成フィルタからの出力を加算して音声信号を再生する。   The method for reproducing an audio signal according to the present invention divides the input audio signal in a predetermined coding unit on the time axis, determines whether the input audio signal is voiced sound or unvoiced sound, and based on the determination result, Based on the coding parameters obtained by performing sine wave synthesis coding for the voiced sound part and performing vector quantization by closed loop search of the optimal vector using the synthesis method for the unvoiced sound part. An audio signal reproduction method for reproducing an audio signal, wherein the encoding parameter is interpolated to obtain a change encoding parameter corresponding to a desired time, and in the case of voiced sound based on the change encoding parameter A voiced sound is synthesized by a voiced sound synthesis filter, and in the case of an unvoiced sound, an unvoiced sound is synthesized by an unvoiced sound synthesis filter, and output from each of the above synthesis filters Addition to playing an audio signal.

また、本発明に係る音声信号の再生装置は、入力音声信号を時間軸上で、所定の符号化単位で区分し、上記入力音声信号が有声音か無声音かを判別し、その判別結果に基づいて、有声音とされた部分ではサイン波合成符号化を行い、無声音とされた部分では合成による分析法を用いて最適ベクトルのクローズドループサーチによるベクトル量子化を行うことで求めた符号化パラメータに基づいて音声信号を再生する音声信号の再生装置であって、上記符号化パラメータを補間処理して所望の時刻に対応する変更符号化パラメータを求め、この変更符号化パラメータに基づいて有声音の場合には有声音用の合成フィルタにより有声音を合成し、無声音の場合には無声音用の合成フィルタにより無声音を合成し、上記それぞれの合成フィルタからの出力を加算して音声信号を再生する。   The audio signal reproduction device according to the present invention divides the input audio signal into predetermined coding units on the time axis, determines whether the input audio signal is voiced or unvoiced, and based on the determination result. For the voiced sound part, sine wave synthesis coding is performed, and for the unvoiced sound part, the coding parameter obtained by performing the vector quantization by the closed loop search of the optimal vector using the synthesis analysis method is used. A speech signal reproducing apparatus that reproduces a speech signal based on the above-described case, wherein the coding parameter is interpolated to obtain a modified coding parameter corresponding to a desired time, and a voiced sound is generated based on the modified coding parameter. In the case of voiced sound, a voiced sound is synthesized by a voiced sound synthesis filter. In the case of an unvoiced sound, a voiced sound is synthesized by a voiceless voice synthesis filter. It adds the output to reproduce the audio signal.

本発明によれば、時間軸上で所定の符号化単位毎に区分されて該単位毎の符号化処理により得られた符号化パラメータを補間処理して所望の時刻に対応する変更符号化パラメータを求め、この変更符号化パラメータに基づいて音声信号を再生するので、広いレンジにわたる任意のレートのスピードコントロールを簡単にかつ音韻，ピッチを不変として高品質に行うことができる。   According to the present invention, the changed encoding parameter corresponding to a desired time is obtained by interpolating the encoding parameter obtained by the encoding process for each unit divided on a predetermined encoding unit on the time axis. Thus, since the audio signal is reproduced based on the changed encoding parameter, speed control at an arbitrary rate over a wide range can be easily performed with high quality with the phoneme and the pitch unchanged.

また、本発明に係る音声信号の再生方法によれば、入力音声信号を時間軸上で所定のブロック単位毎に区分して得た符号化パラメータを用い、符号化時とは異なる長さのブロックで音声を再生するので、広いレンジにわたる任意のレートのスピードコントロールを簡単にかつ音韻，ピッチを不変として高品質に行うことができる。   In addition, according to the audio signal reproduction method of the present invention, a block having a length different from that at the time of encoding is obtained using the encoding parameter obtained by dividing the input audio signal into predetermined block units on the time axis. Since the voice is played back, it is possible to easily control the speed at an arbitrary rate over a wide range and to perform high quality with the phoneme and the pitch unchanged.

以下、先ず始めに本発明に係る音声信号の再生方法及び装置の実施例について図面を参照しながら説明する。この実施例は、入力音声信号が時間軸上で所定フレーム単位毎に区分されて符号化されることにより求められた符号化パラメータに基づいて音声信号を再生する図１の音声信号再生装置１である。   First, an embodiment of an audio signal reproduction method and apparatus according to the present invention will be described with reference to the drawings. This embodiment is an audio signal reproduction apparatus 1 of FIG. 1 that reproduces an audio signal based on an encoding parameter obtained by encoding an input audio signal by dividing it into predetermined frame units on a time axis. is there.

この音声信号再生装置１は、入力端子１０１から入力された音声信号をフレーム単位で符号化して、線スペクトル対（ＬＳＰ）パラメータや、ピッチや、有声音（Ｖ）／無声音（ＵＶ）や、スペクトル振幅Ａｍや、ＬＰＣ（線形予測符号化）残差のような符号化パラメータを出力する符号化部２と、この符号化部２からの上記符号化パラメータの出力周期を時間軸を圧縮伸長して変更する周期変更部３と、この周期変更部３により変更された周期で出力された上記符号化パラメータを補間処理して所望の時刻に対応する変更符号化パラメータを求め、この変更符号化パラメータに基づいて音声信号を合成して出力端子２０１から出力する復号化部４とを備えてなる。   The audio signal reproduction apparatus 1 encodes an audio signal input from the input terminal 101 in units of frames, and performs line spectrum pair (LSP) parameters, pitch, voiced sound (V) / unvoiced sound (UV), spectrum, and the like. An encoding unit 2 that outputs encoding parameters such as amplitude Am and LPC (Linear Predictive Coding) residual, and an output period of the encoding parameters from the encoding unit 2 by compressing and expanding the time axis A change period changing unit 3 to be changed and the above-described encoding parameter output in the period changed by the period changing unit 3 are interpolated to obtain a change encoding parameter corresponding to a desired time. And a decoding unit 4 for synthesizing the audio signal based on the output signal and outputting the synthesized signal from the output terminal 201.

先ず、符号化部２について図２及び図３を参照しながら説明する。符号化部２は、上記入力音声信号が有声音か無声音かを判別し、その判別結果に基づいて、有声音とされた部分ではサイン波合成符号化を行い、無声音とされた部分では合成による分析法を用いた最適ベクトルのクローズドループサーチによるベクトル量子化を行って符号化パラメータを求めている。つまり、入力音声信号の短期予測残差例えばＬＰＣ（線形予測符号化）残差を求めてサイン波分析（sinusoidal analysis）符号化、例えばハーモニックコーディング（harmonic coding）を行う第１の符号化部１１０と、入力音声信号に対して位相伝送を行う波形符号化により符号化する第２の符号化部１２０とを有し、入力信号の有声音（Ｖ：Voiced）の部分の符号化には第１の符号化部１１０を用い、入力信号の無声音（ＵＶ：Unvoiced）の部分の符号化には第２の符号化部１２０を用いる。   First, the encoding unit 2 will be described with reference to FIGS. The encoding unit 2 determines whether the input voice signal is a voiced sound or an unvoiced sound. Based on the determination result, the encoding unit 2 performs sine wave synthesis encoding on a portion that is a voiced sound and performs synthesis on a portion that is an unvoiced sound. The encoding parameter is obtained by performing vector quantization by closed loop search of the optimal vector using the analysis method. That is, a first encoding unit 110 that performs short-term prediction residual of an input speech signal, such as LPC (Linear Predictive Coding) residual, and performs sinusoidal analysis encoding, for example, harmonic coding, And a second encoding unit 120 that encodes the input speech signal by waveform encoding that performs phase transmission, and the first part is used to encode the voiced sound (V: Voiced) portion of the input signal. The encoding unit 110 is used, and the second encoding unit 120 is used to encode the unvoiced (UV) portion of the input signal.

図２の例では、入力端子１０１に供給された音声信号が、第１の符号化部１１０のＬＰＣ逆フィルタ１１１及びＬＰＣ分析・量子化部１１３に送られている。ＬＰＣ分析・量子化部１１３で得られたＬＰＣ係数あるいはいわゆるαパラメータは、ＬＰＣ逆フィルタ１１１に送られて、このＬＰＣ逆フィルタ１１１により入力音声信号の線形予測残差（ＬＰＣ残差）が取り出される。また、ＬＰＣ分析・量子化部１１３からは、後述するようにＬＳＰ（線スペクトル対）の量子化出力が取り出され、これが出力端子１０２に送られる。ＬＰＣ逆フィルタ１１１からのＬＰＣ残差は、サイン波分析符号化部１１４に送られる。サイン波分析符号化部１１４では、ピッチ検出やスペクトルエンベロープ振幅計算が行われると共に、Ｖ（有声音）／ＵＶ（無声音）判定部１１５によりＶ／ＵＶの判定が行われる。サイン波分析符号化部１１４からのスペクトルエンベロープ振幅データがベクトル量子化部１１６に送られる。スペクトルエンベロープのベクトル量子化出力としてのベクトル量子化部１１６からのコードブックインデクスは、スイッチ１１７を介して出力端子１０３に送られ、サイン波分析符号化部１１４からのピッチ出力は、スイッチ１１８を介して出力端子１０４に送られる。また、Ｖ／ＵＶ判定部１１５からのＶ／ＵＶ判定出力は、出力端子１０５に送られると共に、スイッチ１１７、１１８の制御信号に使われる。スイッチ１１７、１１８は、上記制御信号により有声音（Ｖ）のとき上記インデクス及びピッチを選択して各出力端子１０３及び１０４からそれぞれ出力する。   In the example of FIG. 2, the audio signal supplied to the input terminal 101 is sent to the LPC inverse filter 111 and the LPC analysis / quantization unit 113 of the first encoding unit 110. The LPC coefficient or the so-called α parameter obtained by the LPC analysis / quantization unit 113 is sent to the LPC inverse filter 111, and the LPC inverse filter 111 extracts the linear prediction residual (LPC residual) of the input speech signal. . Further, from the LPC analysis / quantization unit 113, an LSP (line spectrum pair) quantization output is taken out and sent to the output terminal 102 as described later. The LPC residual from the LPC inverse filter 111 is sent to the sine wave analysis encoding unit 114. The sine wave analysis encoding unit 114 performs pitch detection and spectrum envelope amplitude calculation, and the V (voiced sound) / UV (unvoiced sound) determination unit 115 performs V / UV determination. Spectral envelope amplitude data from the sine wave analysis encoding unit 114 is sent to the vector quantization unit 116. The codebook index from the vector quantization unit 116 as the vector quantization output of the spectrum envelope is sent to the output terminal 103 via the switch 117, and the pitch output from the sine wave analysis encoding unit 114 is sent via the switch 118. To the output terminal 104. The V / UV determination output from the V / UV determination unit 115 is sent to the output terminal 105 and used as a control signal for the switches 117 and 118. The switches 117 and 118 select the index and pitch and output from the output terminals 103 and 104, respectively, in the case of voiced sound (V) based on the control signal.

また、上記ベクトル量子化部１１６でのベクトル量子化の際には、例えば、周波数軸上の有効帯域１ブロック分の振幅データに対して、ブロック内の最後のデータからブロック内の最初のデータまでの値を補間するようなダミーデータ，又は最後のデータ及び最初のデータを延長するようなダミーデータを最後と最初に適当な数だけ付加してデータ個数をＮ_Ｆ個に拡大した後、帯域制限型のＯ_Ｓ倍（例えば８倍）のオーバーサンプリングを施すことによりＯ_Ｓ倍の個数の振幅データを求め、このＯ_Ｓ倍の個数（（ｍ_ＭＸ＋１）×Ｏ_Ｓ個）の振幅データを直線補間してさらに多くのＮ_Ｍ個（例えば２０４８個）に拡張し、このＮ_Ｍ個のデータを間引いて上記一定個数Ｍ（例えば４４個）のデータに変換した後、ベクトル量子化している。 In the vector quantization by the vector quantization unit 116, for example, from the last data in the block to the first data in the block with respect to the amplitude data for one effective band on the frequency axis. dummy data as to interpolate the value of, or the last data and the first data of the last and first added by an appropriate number of data number of dummy data as to extend the after expanding the N _F, band limitation obtain an amplitude data of _{O S} times the number by performing oversampling _{O S} times the type (e.g., 8 times), linear amplitude data of _{O S} times the number _{((m MX +1) × O} S pieces) after extended to more N _M pieces by interpolating (e.g., 2048), it was converted to the data of the predetermined number M (e.g., 44) by thinning the N _M pieces of data, and vector quantization.

第２の符号化部１２０は、この例ではＣＥＬＰ（符号励起線形予測）符号化構成を有しており、合成による分析（Analysis by Synthesis）法を用いたクローズドループサーチを用いた時間軸波形のベクトル量子化を行っている。具体的に、雑音符号帳１２１からの出力を、重み付きの合成フィルタ１２２により合成処理し、得られた重み付き合成音声を減算器１２３に送り、入力端子１０１に供給された音声信号の聴覚重み付けフィルタ１２５による音声との誤差を求める。距離計算回路１２４は、距離計算を行い、上記誤差が最小となるようなベクトルを雑音符号帳１２１でサーチする。このＣＥＬＰ符号化は、上述したように無声音部分の符号化に用いられており、雑音符号帳１２１からのＵＶデータとしてのコードブックインデクスは、上記Ｖ／ＵＶ判定部１１５からのＶ／ＵＶ判定結果が無声音（ＵＶ）のときオンとなるスイッチ１２７を介して、出力端子１０７より取り出される。   In this example, the second encoding unit 120 has a CELP (Code Excited Linear Prediction) encoding configuration, and generates a time-axis waveform using a closed loop search using an analysis by synthesis method. Vector quantization is performed. Specifically, the output from the noise codebook 121 is synthesized by the weighted synthesis filter 122, the obtained weighted synthesized speech is sent to the subtractor 123, and auditory weighting of the speech signal supplied to the input terminal 101 is performed. An error from the sound by the filter 125 is obtained. The distance calculation circuit 124 performs distance calculation and searches the noise codebook 121 for a vector that minimizes the error. This CELP encoding is used for encoding the unvoiced sound part as described above, and the codebook index as the UV data from the noise codebook 121 is the V / UV determination result from the V / UV determination unit 115. Is taken out from the output terminal 107 via the switch 127 which is turned on when the sound is unvoiced sound (UV).

次に、上記図２に示した符号化部２のより具体的な構成について、図３を参照しながら説明する。なお、図３において、上記図２の各部と対応する部分には同じ指示符号を付している。   Next, a more specific configuration of the encoding unit 2 shown in FIG. 2 will be described with reference to FIG. In FIG. 3, parts corresponding to those in FIG. 2 are given the same reference numerals.

この図３に示された符号化部２において、入力端子１０１に供給された音声信号は、ハイパスフィルタ（ＨＰＦ）１０９にて不要な帯域の信号を除去するフィルタ処理が施された後、ＬＰＣ（線形予測符号化）分析・量子化部１１３のＬＰＣ分析回路１３２と、ＬＰＣ逆フィルタ回路１１１とに送られる。   In the encoding unit 2 shown in FIG. 3, the audio signal supplied to the input terminal 101 is subjected to filter processing for removing a signal in an unnecessary band by a high-pass filter (HPF) 109, and then subjected to LPC ( Linear prediction coding) analysis / quantization section 113 and LPC analysis circuit 132 and LPC inverse filter circuit 111.

ＬＰＣ分析・量子化部１１３のＬＰＣ分析回路１３２は、入力信号波形の２５６サンプル程度の長さを１ブロックとしてハミング窓をかけて、自己相関法により線形予測係数、いわゆるαパラメータを求める。データ出力の単位となるフレーミングの間隔は、１６０サンプル程度とする。サンプリング周波数ｆｓが例えば８ｋHzのとき、１フレーム間隔は１６０サンプルで２０ｍsec となる。   The LPC analysis circuit 132 of the LPC analysis / quantization unit 113 obtains a linear prediction coefficient, a so-called α parameter by an autocorrelation method by applying a Hamming window with a length of about 256 samples of the input signal waveform as one block. The framing interval as a unit of data output is about 160 samples. When the sampling frequency fs is 8 kHz, for example, one frame interval is 20 samples with 160 samples.

ＬＰＣ分析回路１３２からのαパラメータは、α→ＬＳＰ変換回路１３３に送られて、線スペクトル対（ＬＳＰ）パラメータに変換される。これは、直接型のフィルタ係数として求まったαパラメータを、例えば１０個、すなわち５対のＬＳＰパラメータに変換する。変換は例えばニュートン−ラプソン法等を用いて行う。このＬＳＰパラメータに変換するのは、αパラメータよりも補間特性に優れているからである。   The α parameter from the LPC analysis circuit 132 is sent to the α → LSP conversion circuit 133 and converted into a line spectrum pair (LSP) parameter. This converts the α parameter obtained as a direct filter coefficient into, for example, 10 LSP parameters. The conversion is performed using, for example, the Newton-Raphson method. The reason for converting to the LSP parameter is that the interpolation characteristic is superior to the α parameter.

α→ＬＳＰ変換回路１３３からのＬＳＰパラメータは、ＬＳＰベクトル量子化器１３４によりベクトル量子化される。このとき、フレーム間差分をとってからベクトル量子化してもよく、複数フレーム分をまとめてマトリクス量子化してもよい。ここでは、２０ｍsec を１フレームとし、２０ｍsec 毎に算出されるＬＳＰパラメータをベクトル量子化している。   The LSP parameters from the α → LSP conversion circuit 133 are vector quantized by the LSP vector quantizer 134. At this time, vector quantization may be performed after taking the interframe difference, or matrix quantization may be performed for a plurality of frames. Here, 20 msec is one frame, and LSP parameters calculated every 20 msec are vector quantized.

このＬＳＰベクトル量子化器１３４からの量子化出力、すなわちＬＳＰ量子化のインデクスは、端子１０２を介して復号化部３に取り出され、また量子化済みのＬＳＰベクトルは、ＬＳＰ補間回路１３６に送られる。   The quantization output from the LSP vector quantizer 134, that is, the LSP quantization index, is extracted to the decoding unit 3 via the terminal 102, and the quantized LSP vector is sent to the LSP interpolation circuit 136. .

ＬＳＰ補間回路１３６は、上記２０ｍsecあるいは４０ｍsec毎に量子化されたＬＳＰのベクトルを補間し、８倍のレートにする。すなわち、２．５ｍsec 毎にＬＳＰベクトルが更新されるようにする。これは、残差波形をハーモニック符号化復号化方法により分析合成すると、その合成波形のエンベロープは非常になだらかでスムーズな波形になるため、ＬＰＣ係数が２０ｍsec 毎に急激に変化すると異音を発生することがあるからである。すなわち、２．５ｍsec 毎にＬＰＣ係数が徐々に変化してゆくようにすれば、このような異音の発生を防ぐことができる。   The LSP interpolation circuit 136 interpolates the LSP vector quantized every 20 msec or 40 msec to make the rate 8 times. That is, the LSP vector is updated every 2.5 msec. This is because, if the residual waveform is analyzed and synthesized by the harmonic coding / decoding method, the envelope of the synthesized waveform becomes a very smooth and smooth waveform, and therefore an abnormal sound is generated when the LPC coefficient changes rapidly every 20 msec. Because there are things. That is, if the LPC coefficient is gradually changed every 2.5 msec, such abnormal noise can be prevented.

このような補間が行われた２．５ｍsec 毎のＬＳＰベクトルを用いて入力音声の逆フィルタリングを実行するために、ＬＳＰ→α変換回路１３７により、ＬＳＰパラメータを例えば１０次程度の直接型フィルタの係数であるαパラメータに変換する。このＬＳＰ→α変換回路１３７からの出力は、上記ＬＰＣ逆フィルタ回路１１１に送られ、このＬＰＣ逆フィルタ１１１では、２．５ｍsec 毎に更新されるαパラメータにより逆フィルタリング処理を行って、滑らかな出力を得るようにしている。このＬＰＣ逆フィルタ１１１からの出力は、サイン波分析符号化部１１４、具体的には例えばハーモニック符号化回路、の直交変換回路１４５、例えばＤＦＴ（離散フーリエ変換）回路に送られる。   In order to perform the inverse filtering of the input speech using the LSP vector for every 2.5 msec subjected to such interpolation, the LSP → α conversion circuit 137 converts the LSP parameter into a coefficient of a direct filter of about 10th order, for example. Is converted to an α parameter. The output from the LSP → α conversion circuit 137 is sent to the LPC inverse filter circuit 111. The LPC inverse filter 111 performs an inverse filtering process with an α parameter updated every 2.5 msec to obtain a smooth output. Like to get. The output from the LPC inverse filter 111 is sent to a sine wave analysis encoding unit 114, specifically, an orthogonal transformation circuit 145 of, for example, a harmonic coding circuit, for example, a DFT (Discrete Fourier Transform) circuit.

ＬＰＣ分析・量子化部１１３のＬＰＣ分析回路１３２からのαパラメータは、聴覚重み付けフィルタ算出回路１３９にも送られて聴覚重み付けのためのデータが求められ、この重み付けデータが後述する聴覚重み付きのベクトル量子化器１１６と、第２の符号化部１２０の聴覚重み付けフィルタ１２５及び聴覚重み付きの合成フィルタ１２２とに送られる。   The α parameter from the LPC analysis circuit 132 of the LPC analysis / quantization unit 113 is also sent to the perceptual weighting filter calculation circuit 139 to obtain perceptual weighting data. The signal is sent to the quantizer 116 and the perceptual weighting filter 125 and perceptual weighted synthesis filter 122 of the second encoding unit 120.

ハーモニック符号化回路等のサイン波分析符号化部１１４では、ＬＰＣ逆フィルタ１１１からの出力を、ハーモニック符号化の方法で分析する。すなわち、ピッチ検出、各ハーモニクスの振幅Ａｍの算出、有声音（Ｖ）／無声音（ＵＶ）の判別を行い、ピッチによって変化するハーモニクスのエンベロープあるいは振幅Ａｍの個数を次元変換して一定数にしている。   A sine wave analysis encoding unit 114 such as a harmonic encoding circuit analyzes the output from the LPC inverse filter 111 by a harmonic encoding method. That is, pitch detection, calculation of the amplitude Am of each harmonic, discrimination of voiced sound (V) / unvoiced sound (UV), and the number of harmonic envelopes or amplitude Am that change according to the pitch are converted to a constant number. .

図３に示すサイン波分析符号化部１１４の具体例においては、一般のハーモニック符号化を想定しているが、特に、ＭＢＥ（Multiband Excitation: マルチバンド励起）符号化の場合には、同時刻（同じブロックあるいはフレーム内）の周波数軸領域いわゆるバンド毎に有声音（Voiced）部分と無声音（Unvoiced）部分とが存在するという仮定でモデル化することになる。それ以外のハーモニック符号化では、１ブロックあるいはフレーム内の音声が有声音か無声音かの択一的な判定がなされることになる。なお、以下の説明中のフレーム毎のＶ／ＵＶとは、ＭＢＥ符号化に適用した場合には全バンドがＵＶのときを当該フレームのＵＶとしている。   In the specific example of the sine wave analysis encoding unit 114 shown in FIG. 3, general harmonic encoding is assumed. In particular, in the case of MBE (Multiband Excitation) encoding, Modeling is based on the assumption that a voiced (Voiced) portion and an unvoiced (Unvoiced) portion exist for each band, that is, a frequency axis region (in the same block or frame). In other harmonic encoding, an alternative determination is made as to whether the voice in one block or frame is voiced or unvoiced. The V / UV for each frame in the following description is the UV of the frame when all bands are UV when applied to MBE coding.

図３のサイン波分析符号化部１１４のオープンループピッチサーチ部１４１には、上記入力端子１０１からの入力音声信号が、またゼロクロスカウンタ１４２には、上記ＨＰＦ（ハイパスフィルタ）１０９からの信号がそれぞれ供給されている。サイン波分析符号化部１１４の直交変換回路１４５には、ＬＰＣ逆フィルタ１１１からのＬＰＣ残差あるいは線形予測残差が供給されている。オープンループピッチサーチ部１４１では、入力信号のＬＰＣ残差をとってオープンループによる比較的ラフなピッチのサーチが行われ、抽出された粗ピッチデータは高精度ピッチサーチ１４６に送られて、後述するようなクローズドループによる高精度のピッチサーチ（ピッチのファインサーチ）が行われる。また、オープンループピッチサーチ部１４１からは、上記粗ピッチデータと共にＬＰＣ残差の自己相関の最大値をパワーで正規化した正規化自己相関最大値ｒ(p) が取り出され、Ｖ／ＵＶ（有声音／無声音）判定部１１５に送られている。   In the open loop pitch search unit 141 of the sine wave analysis encoding unit 114 in FIG. 3, the input audio signal from the input terminal 101 is received, and in the zero cross counter 142, the signal from the HPF (high pass filter) 109 is received. Have been supplied. The LPC residual or linear prediction residual from the LPC inverse filter 111 is supplied to the orthogonal transform circuit 145 of the sine wave analysis encoding unit 114. In the open loop pitch search unit 141, an LPC residual of the input signal is taken to perform a search for a relatively rough pitch by an open loop, and the extracted coarse pitch data is sent to a high precision pitch search 146, which will be described later. A highly accurate pitch search (fine pitch search) is performed by such a closed loop. Also, from the open loop pitch search unit 141, the normalized autocorrelation maximum value r (p) obtained by normalizing the maximum value of the autocorrelation of the LPC residual together with the rough pitch data by the power is extracted, and V / UV (existence) is obtained. Voiced / unvoiced sound) determination unit 115.

直交変換回路１４５では例えばＤＦＴ（離散フーリエ変換）等の直交変換処理が施されて、時間軸上のＬＰＣ残差が周波数軸上のスペクトル振幅データに変換される。この直交変換回路１４５からの出力は、高精度ピッチサーチ部１４６及びスペクトル振幅あるいはエンベロープを評価するためのスペクトル評価部１４８に送られる。   The orthogonal transform circuit 145 performs orthogonal transform processing such as DFT (Discrete Fourier Transform), for example, and converts the LPC residual on the time axis into spectral amplitude data on the frequency axis. The output from the orthogonal transform circuit 145 is sent to the high-precision pitch search unit 146 and the spectrum evaluation unit 148 for evaluating the spectrum amplitude or envelope.

高精度（ファイン）ピッチサーチ部１４６には、オープンループピッチサーチ部１４１で抽出された比較的ラフな粗ピッチデータと、直交変換部１４５により例えばＤＦＴされた周波数軸上のデータとが供給されている。この高精度ピッチサーチ部１４６では、上記粗ピッチデータ値を中心に、0.2〜0.5きざみで±数サンプルずつ振って、最適な小数点付き（フローティング）のファインピッチデータの値へ追い込む。このときのファインサーチの手法として、いわゆる合成による分析 (Analysis by Synthesis)法を用い、合成されたパワースペクトルが原音のパワースペクトルに最も近くなるようにピッチを選んでいる。このようなクローズドループによる高精度のピッチサーチ部１４６からのピッチデータについては、スイッチ１１８を介して出力端子１０４に送っている。   The high-precision (fine) pitch search unit 146 is supplied with the relatively rough coarse pitch data extracted by the open loop pitch search unit 141 and the data on the frequency axis that has been subjected to DFT, for example, by the orthogonal transform unit 145. Yes. The high-accuracy pitch search unit 146 oscillates by ± several samples in increments of 0.2 to 0.5 around the coarse pitch data value to drive the optimum value of the fine pitch data with a decimal point (floating). As a fine search method at this time, a so-called analysis by synthesis method is used, and the pitch is selected so that the synthesized power spectrum is closest to the power spectrum of the original sound. Pitch data from the highly accurate pitch search unit 146 by such a closed loop is sent to the output terminal 104 via the switch 118.

スペクトル評価部１４８では、ＬＰＣ残差の直交変換出力としてのスペクトル振幅及びピッチに基づいて、各ハーモニクスの大きさ及びその集合であるスペクトルエンベロープが評価され、高精度ピッチサーチ部１４６、Ｖ／ＵＶ（有声音／無声音）判定部１１５及び聴覚重み付きのベクトル量子化器１１６に送られる。   The spectrum evaluation unit 148 evaluates the magnitude of each harmonic and the spectrum envelope that is a set of the harmonics based on the spectrum amplitude and pitch as the orthogonal transform output of the LPC residual, and the high-precision pitch search unit 146, V / UV ( Voiced / unvoiced sound) determination unit 115 and auditory weighted vector quantizer 116.

Ｖ／ＵＶ（有声音／無声音）判定部１１５は、直交変換回路１４５からの出力と、高精度ピッチサーチ部１４６からの最適ピッチと、スペクトル評価部１４８からのスペクトル振幅データと、オープンループピッチサーチ部１４１からの正規化自己相関最大値ｒ(p) と、ゼロクロスカウンタ１４２からのゼロクロスカウント値及び、該当フレームのr.m.sであるlevに基づいて、当該フレームのＶ／ＵＶ判定が行われる。さらに、ＭＢＥの場合の各バンド毎のＶ／ＵＶ判定結果の境界位置も当該フレームのＶ／ＵＶ判定の一条件としてもよい。このＶ／ＵＶ判定部１１５からの判定出力は、出力端子１０５を介して取り出される。   The V / UV (voiced / unvoiced sound) determination unit 115 outputs the output from the orthogonal transformation circuit 145, the optimum pitch from the high-precision pitch search unit 146, the spectrum amplitude data from the spectrum evaluation unit 148, and the open loop pitch search. Based on the normalized autocorrelation maximum value r (p) from the unit 141, the zero cross count value from the zero cross counter 142, and lev which is rms of the corresponding frame, the V / UV determination of the frame is performed. Furthermore, the boundary position of the V / UV determination result for each band in the case of MBE may also be a condition for V / UV determination of the frame. The determination output from the V / UV determination unit 115 is taken out via the output terminal 105.

ところで、スペクトル評価部１４８の出力部あるいはベクトル量子化器１１６の入力部には、データ数変換（一種のサンプリングレート変換）部が設けられている。このデータ数変換部は、上記ピッチに応じて周波数軸上での分割帯域数が異なり、データ数が異なることを考慮して、エンベロープの振幅データ｜Ａ_ｍ｜を一定の個数にするためのものである。すなわち、例えば有効帯域を３４００ｋＨｚまでとすると、この有効帯域が上記ピッチに応じて、８バンド〜６３バンドに分割されることになり、これらの各バンド毎に得られる上記振幅データ｜Ａ_ｍ｜の個数ｍ_ＭＸ＋１も８〜６３と変化することになる。このためデータ数変換部では、この可変個数ｍ_ＭＸ＋１の振幅データを一定個数Ｍ個、例えば４４個、のデータに変換している。 Incidentally, a data number conversion (a kind of sampling rate conversion) unit is provided at the output unit of the spectrum evaluation unit 148 or the input unit of the vector quantizer 116. This number-of-data conversion unit is for making the amplitude data | A _m | of the envelope constant by considering that the number of divided bands on the frequency axis differs according to the pitch and the number of data is different. It is. That is, for example, if the effective band is up to 3400 kHz, this effective band is divided into 8 to 63 bands according to the pitch, and the amplitude data | A _m | obtained for each of these bands The number m _MX +1 also changes from 8 to 63. Therefore, the data number conversion unit converts the variable number m _MX +1 of the amplitude data into a predetermined number M, for example, 44 data.

このスペクトル評価部１４８の出力部あるいはベクトル量子化器１１６の入力部に設けられたデータ数変換部からの上記一定個数Ｍ個（例えば４４個）の振幅データあるいはエンベロープデータが、ベクトル量子化器１１６により、所定個数、例えば４４個のデータ毎にまとめられてベクトルとされ、重み付きベクトル量子化が施される。この重みは、聴覚重み付けフィルタ算出回路１３９からの出力により与えられる。ベクトル量子化器１１６からの上記エンベロープのインデクスは、スイッチ１１７を介して出力端子１０３より取り出される。なお、上記重み付きベクトル量子化に先だって、所定個数のデータから成るベクトルについて適当なリーク係数を用いたフレーム間差分をとっておくようにしてもよい。   The fixed number M (for example, 44) of amplitude data or envelope data from the data number conversion unit provided at the output unit of the spectrum evaluation unit 148 or the input unit of the vector quantizer 116 is converted into the vector quantizer 116. Thus, a predetermined number, for example, 44 pieces of data are collected into vectors, and weighted vector quantization is performed. This weight is given by the output from the auditory weighting filter calculation circuit 139. The envelope index from the vector quantizer 116 is taken out from the output terminal 103 via the switch 117. Prior to the weighted vector quantization, an inter-frame difference using an appropriate leak coefficient may be taken for a vector composed of a predetermined number of data.

次に、第２の符号化部１２０について説明する。第２の符号化部１２０は、いわゆるＣＥＬＰ（符号励起線形予測）符号化構成を有しており、特に、入力音声信号の無音声部分の符号化のために用いられている。この無声音部分用のＣＥＬＰ符号化構成において、雑音符号帳、いわゆるストキャスティック・コードブック（stochastic code book）１２１からの代表値出力である無声音のＬＰＣ残差に相当するノイズ出力を、ゲイン回路１２６を介して、聴覚重み付きの合成フィルタ１２２に送っている。重み付きの合成フィルタ１２２では、入力されたノイズをＬＰＣ合成処理し、得られた重み付き無声音の信号を減算器１２３に送っている。減算器１２３には、上記入力端子１０１からＨＰＦ（ハイパスフィルタ）１０９を介して供給された音声信号を聴覚重み付けフィルタ１２５で聴覚重み付けした信号が入力されており、合成フィルタ１２２からの信号との差分あるいは誤差を取り出している。この誤差を距離計算回路１２４に送って距離計算を行い、誤差が最小となるような代表値ベクトルを雑音符号帳１２１でサーチする。このような合成による分析（Analysis by Synthesis ）法を用いたクローズドループサーチを用いた時間軸波形のベクトル量子化を行っている。   Next, the second encoding unit 120 will be described. The second encoding unit 120 has a so-called CELP (Code Excited Linear Prediction) encoding configuration, and is particularly used for encoding a non-speech part of an input speech signal. In the CELP coding configuration for the unvoiced sound part, the gain circuit 126 outputs a noise output corresponding to the LPC residual of the unvoiced sound, which is a representative value output from the noise codebook, so-called stochastic code book 121. To the synthesis filter 122 with auditory weights. The weighted synthesis filter 122 performs LPC synthesis processing on the input noise and sends the obtained weighted unvoiced sound signal to the subtractor 123. The subtracter 123 receives a signal obtained by auditory weighting the audio signal supplied from the input terminal 101 via the HPF (high pass filter) 109 by the auditory weighting filter 125, and the difference from the signal from the synthesis filter 122. Or the error is taken out. This error is sent to the distance calculation circuit 124 to perform distance calculation, and a representative value vector that minimizes the error is searched in the noise codebook 121. Vector quantization of the time-axis waveform using a closed loop search using such an analysis by synthesis method is performed.

このＣＥＬＰ符号化構成を用いた第２の符号化部１２０からのＵＶ（無声音）部分用のデータとしては、雑音符号帳１２１からのコードブックのシェイプインデクスと、ゲイン回路１２６からのコードブックのゲインインデクスとが取り出される。雑音符号帳１２１からのＵＶデータであるシェイプインデクスは、スイッチ１２７ｓを介して出力端子１０７ｓに送られ、ゲイン回路１２６のＵＶデータであるゲインインデクスは、スイッチ１２７ｇを介して出力端子１０７ｇに送られている。   The data for the UV (unvoiced sound) portion from the second encoding unit 120 using this CELP encoding configuration includes the codebook shape index from the noise codebook 121 and the codebook gain from the gain circuit 126. Index is taken out. The shape index that is UV data from the noise codebook 121 is sent to the output terminal 107s via the switch 127s, and the gain index that is UV data of the gain circuit 126 is sent to the output terminal 107g via the switch 127g. Yes.

ここで、これらのスイッチ１２７ｓ、１２７ｇ及び上記スイッチ１１７、１１８は、上記Ｖ／ＵＶ判定部１１５からのＶ／ＵＶ判定結果によりオン／オフ制御され、スイッチ１１７、１１８は、現在伝送しようとするフレームの音声信号のＶ／ＵＶ判定結果が有声音（Ｖ）のときオンとなり、スイッチ１２７ｓ、１２７ｇは、現在伝送しようとするフレームの音声信号が無声音（ＵＶ）のときオンとなる。   Here, these switches 127 s and 127 g and the switches 117 and 118 are on / off controlled based on the V / UV determination result from the V / UV determination unit 115, and the switches 117 and 118 are frames to be currently transmitted. The switch 127s and 127g are turned on when the voice signal of the frame to be transmitted is unvoiced sound (UV).

符号化部２の出力した上記符号化パラメータは、周期変更部３に供給される。周期変更部３は、上記符号化パラメータの出力周期を時間軸を圧縮伸長して変更する。この周期変更部３により変更された周期で出力された上記符号化パラメータは、復号化部４に供給される。   The encoding parameter output from the encoding unit 2 is supplied to the period changing unit 3. The period changing unit 3 changes the output period of the encoding parameter by compressing and expanding the time axis. The coding parameters output at the cycle changed by the cycle changing unit 3 are supplied to the decoding unit 4.

復号化部４は、周期変更部３により時間軸が例えば圧縮された上記符号化パラメータを補間処理して所定フレーム毎の時刻に対応する変更符号化パラメータを生成するパラメータ変更処理部５と、上記変更符号化パラメータに基づいて有声音部分と無声音部分を合成する音声合成処理部６とを備えてなる。   The decoding unit 4 includes a parameter change processing unit 5 that interpolates the coding parameter whose time axis is compressed by the period changing unit 3 to generate a modified coding parameter corresponding to a time for each predetermined frame, and the above A speech synthesis processing unit 6 that synthesizes a voiced sound part and an unvoiced sound part based on the change encoding parameter is provided.

この復号化部４について図４及び図５を参照しながら説明する。図４において、入力端子２０２には周期変更部３からの上記ＬＳＰ（線スペクトル対）の量子化出力としてのコードブックインデクスが入力される。入力端子２０３、２０４、及び２０５には、上記周期変更部３からの各出力、すなわちエンベロープ量子化出力としてのインデクス、ピッチ、及びＶ／ＵＶ判定出力がそれぞれ入力される。また、入力端子２０７には、上記周期変更部３からのＵＶ（無声音）用のデータとしてのインデクスが入力される。   The decoding unit 4 will be described with reference to FIGS. In FIG. 4, a codebook index as a quantization output of the LSP (line spectrum pair) from the period changing unit 3 is input to the input terminal 202. Each of the outputs from the period changing unit 3, that is, the index, pitch, and V / UV determination output as the envelope quantization output are input to the input terminals 203, 204, and 205, respectively. An index as UV (unvoiced sound) data from the period changing unit 3 is input to the input terminal 207.

入力端子２０３からのエンベロープ量子化出力としてのインデクスは、逆ベクトル量子化器２１２に送られて逆ベクトル量子化され、ＬＰＣ残差のスペクトルエンベロープが求められる。このＬＰＣ残差のスペクトルエンベロープは、有声音合成部２１１に送られる前に、図中矢印で示すＰ_１付近において一旦パラメータ変更処理部５に取り出されて後述するパラメータ変更処理が施された後、有声音合成部２１１に送られる。 The index as the envelope quantization output from the input terminal 203 is sent to the inverse vector quantizer 212 and inverse vector quantized to obtain the spectral envelope of the LPC residual. Spectral envelope of the LPC residuals, before being sent to the voiced sound synthesis unit 211, after the parameter changing process described later is performed once fetched in the parameter changing unit 5 in the vicinity of P ₁ shown by the arrow, It is sent to the voiced sound synthesis unit 211.

有声音合成部２１１は、サイン波合成により有声音部分のＬＰＣ（線形予測符号化）残差を合成する。この有声音合成部２１１には、入力端子２０４及び２０５から入力されてＰ_２及びＰ_３の位置で一旦パラメータ変更処理部５に取り出され、パラメータ変更処理が施されたピッチ及びＶ／ＵＶ判定出力も供給される。有声音合成部２１１からの有声音のＬＰＣ残差は、ＬＰＣ合成フィルタ２１４に送られる。 The voiced sound synthesis unit 211 synthesizes an LPC (Linear Predictive Coding) residual of the voiced sound part by sine wave synthesis. The voiced sound synthesizing unit 211 is input from the input terminals 204 and 205 and is once taken out to the parameter change processing unit 5 at the positions P ₂ and P ₃ , and the pitch and V / UV determination output subjected to the parameter change processing. Is also supplied. The LPC residual of voiced sound from the voiced sound synthesis unit 211 is sent to the LPC synthesis filter 214.

また、入力端子２０７からのＵＶデータのインデクスは、無声音合成部２２０に送られる。このＵＶデータのインデクスは、無声音合成部２２０内にて雑音符号帳を参照することにより無声音部分のＬＰＣ残差とされる。この際、ＵＶデータのインデクスは無声音合成部２２０内からＰ_４に示すようにパラメータ変更処理部５に一旦取り出され、パラメータ変更処理が施される。パラメータ変更処理が施された後のＬＰＣ残差もＬＰＣ合成フィルタ２１４に送られる。 Further, the index of the UV data from the input terminal 207 is sent to the unvoiced sound synthesis unit 220. The index of the UV data is made an LPC residual of the unvoiced sound part by referring to the noise codebook in the unvoiced sound synthesis unit 220. In this case, the index of the UV data is temporarily taken out from the unvoiced synthesis unit 220. the parameter changing unit 5 as shown in P _4, the parameter changing process is performed. The LPC residual after the parameter changing process is also sent to the LPC synthesis filter 214.

ＬＰＣ合成フィルタ２１４では、上記有声音部分のＬＰＣ残差と無声音部分のＬＰＣ残差とにそれぞれ独立に、ＬＰＣ合成処理を施す。あるいは、有声音部分のＬＰＣ残差と無声音部分のＬＰＣ残差とが加算されたものに対してＬＰＣ合成処理を施すようにしてもよい。   The LPC synthesis filter 214 performs LPC synthesis processing on the LPC residual of the voiced sound part and the LPC residual of the unvoiced sound part independently. Alternatively, the LPC synthesis process may be performed on the sum of the LPC residual of the voiced sound part and the LPC residual of the unvoiced sound part.

また、入力端子２０２からのＬＳＰのインデクスは、ＬＰＣパラメータ再生部２１３に送られる。このＬＰＣパラメータ再生部２１３では、最終的にＬＰＣのαパラメータが取り出されるが、その途中にあってＬＳＰの逆ベクトル量子化データが矢印Ｐ_５に示すように一旦パラメータ変更処理部５に取り出されてパラメータ変更処理される。 Also, the LSP index from the input terminal 202 is sent to the LPC parameter playback unit 213. In the LPC parameter reproducing unit 213, but eventually LPC of α parameters are retrieved, inverse vector quantized data of the LSP be in the middle is retrieved parameter changing unit 5 temporarily as indicated by arrow P ₅ Parameter change processing is performed.

パラメータ変更処理された逆量子化データは、このＬＰＣパラメータ再生部２１３に戻されＬＳＰの補間を行った後、ＬＰＣのαパラメータとされてＬＰＣ合成フィルタ１４に供給される。ＬＰＣ合成フィルタ２１４によりＬＰＣ合成されて得られた音声信号は、出力端子２０１より取り出される。   The inversely quantized data subjected to the parameter change processing is returned to the LPC parameter reproducing unit 213, subjected to LSP interpolation, and then supplied to the LPC synthesis filter 14 as an α parameter of LPC. An audio signal obtained by LPC synthesis by the LPC synthesis filter 214 is taken out from the output terminal 201.

この図４に示した音声合成処理部６は、上述したようにパラメータ変更処理部５で算出された変更符号化パラメータを受け取って合成音声を出力している。実際には、図５に示すような構成となる。この図５において、上記図４の各部と対応する部分には、同じ指示符号を付している。   The speech synthesis processing unit 6 shown in FIG. 4 receives the changed coding parameters calculated by the parameter change processing unit 5 as described above and outputs synthesized speech. Actually, the configuration is as shown in FIG. In FIG. 5, parts corresponding to those in FIG. 4 are given the same reference numerals.

この図５において、入力端子２０２を介して入力されたＬＳＰのインデクスは、ＬＰＣパラメータ再生部２１３のＬＳＰの逆ベクトル量子化器２３１に送られてＬＳＰ（線スペクトル対）データに逆ベクトル量子化されてからパラメータ変更処理部５に送られる。   In FIG. 5, the LSP index input via the input terminal 202 is sent to the LSP inverse vector quantizer 231 of the LPC parameter reproduction unit 213 and inverse vector quantized into LSP (line spectrum pair) data. And then sent to the parameter change processing unit 5.

入力端子２０３からのスペクトルエンベロープＡｍのベクトル量子化されたインデクスデータは、逆ベクトル量子化器２１２に送られて逆ベクトル量子化が施され、スペクトルエンベロープのデータとなって、パラメータ変更処理部５に送られる。   The vector quantized index data of the spectrum envelope Am from the input terminal 203 is sent to the inverse vector quantizer 212 and subjected to the inverse vector quantization to become spectrum envelope data, which is sent to the parameter change processing unit 5. Sent.

また、入力端子２０４、２０５からのピッチ、Ｖ／ＵＶ判定データもパラメータ変更処理部５に送られる。   The pitch and V / UV determination data from the input terminals 204 and 205 are also sent to the parameter change processing unit 5.

また、図５の入力端子２０７ｓ及び２０７ｇには、周期変更部３を介した上記図３の出力端子１０７ｓ及び１０７ｇからのＵＶデータとしてのシェイプインデクス及びゲインインデクスがそれぞれ供給され、無声音合成部２２０に送られている。端子２０７ｓからのシェイプインデクスは、無声音合成部２２０の雑音符号帳２２１に、端子２０７ｇからのゲインインデクスはゲイン回路２２２にそれぞれ送られている。雑音符号帳２２１から読み出された代表値出力は、無声音のＬＰＣ残差に相当するノイズ信号成分であり、これがゲイン回路２２２で所定のゲインの振幅となりパラメータ変更処理部５に送られる。   5 are supplied with the shape index and gain index as UV data from the output terminals 107s and 107g of FIG. 3 via the period changing unit 3 to the input terminals 207s and 207g, respectively. It has been sent. The shape index from the terminal 207 s is sent to the noise codebook 221 of the unvoiced sound synthesizer 220, and the gain index from the terminal 207 g is sent to the gain circuit 222. The representative value output read from the noise codebook 221 is a noise signal component corresponding to the LPC residual of the unvoiced sound, and this is converted into a predetermined gain amplitude by the gain circuit 222 and sent to the parameter change processing unit 5.

パラメータ変更処理部５は、符号化部２が出力し、周期変更部３で出力周期が変更された上記符号化パラメータに補間処理を施して変更符号化パラメータを生成し、音声合成処理部６に供給する。ここで、パラメータ変更処理部５は、上記符号化パラメータをスピード変換している。このため、音声信号再生装置１はデコーダ出力後のスピード変換処理が不要で、かつ同様のアルゴリズムで異なるレートでの固定レートに容易に対応することもできる。   The parameter change processing unit 5 performs an interpolation process on the encoding parameter output from the encoding unit 2 and whose output cycle has been changed by the cycle changing unit 3 to generate a changed encoded parameter. Supply. Here, the parameter change processing unit 5 performs speed conversion on the encoding parameter. For this reason, the audio signal reproduction device 1 does not require the speed conversion processing after the decoder output, and can easily cope with fixed rates at different rates with the same algorithm.

以下、図６及び図８のフローチャートを参照しながら周期変更部３とパラメータ変更処理部５の動作について説明する。   Hereinafter, the operations of the period changing unit 3 and the parameter changing processing unit 5 will be described with reference to the flowcharts of FIGS.

先ず、図６のステップＳ１に示すように、周期変更部３はＬＳＰ，ピッチ，有声音／無声音Ｖ／ＵＶ，スペクトルエンベロープＡｍ，ＬＰＣ残差のような符号化パラメータを受け取る。ここで、ＬＳＰをｌ_ｓｐ[ｎ][ｐ]，ピッチをｐ_ｃｈ[ｎ]，Ｖ／ＵＶをｖｕ_ｖ[ｎ]，Ａｍをａ_ｍ[ｎ][ｋ]，ＬＰＣ残差をｒ_ｅｓ[ｎ][ｉ][ｊ]とする。 First, as shown in step S1 of FIG. 6, the period changing unit 3 receives encoding parameters such as LSP, pitch, voiced / unvoiced sound V / UV, spectral envelope Am, and LPC residual. Here, the _{LSP l sp [n] [p} ], the pitch _{p ch} [n], the _{V / UV vu v [n]} , Am a _{a m [n] [k]} , the LPC residuals _{r es} [ n] [i] [j].

なお、パラメータ変更処理部５で最終的に算出される変更符号化パラメータをmod_ｌ_ｓｐ[ｍ][ｐ]，mod_ｐ_ｃｈ[ｍ]，mod_ｖｕ_ｖ[ｍ]，mod_ａ_ｍ[ｍ][ｋ]，mod_ｒ_ｅｓ[ｍ][ｉ][ｊ]とする。ここで、ｋはハーモニクス数、ｐはＬＳＰ次数である。ｎ，ｍは、時間軸のインデクスに相当するフレームナンバーに対応する。ｎは時間軸変更前、ｍは時間軸変更後である。ｎ，ｍともに例えば２０msecをフレームインターバルとするフレームのインデクスである。また、iはサブフレーム番号、jはサンプル番号である。 Incidentally, the modified encoding parameters are finally calculated by the parameter changing unit _{5 mod_l sp [m] [p} ], mod_p ch [m], mod_vu v [m], mod_a m [m] [k], mod_r _{Let es} [m] [i] [j]. Here, k is the harmonic number and p is the LSP order. n and m correspond to frame numbers corresponding to time-axis indexes. n is before the time axis is changed, and m is after the time axis is changed. Both n and m are frame indexes having a frame interval of 20 msec, for example. Further, i is a subframe number, and j is a sample number.

次に、周期変更部３は、ステップＳ２に示すようにオリジナルの時間長となるフレーム数をＮ_１とし、変更後の時間長となるフレーム数をＮ_２としてから、ステップＳ３に示すようにＮ_１の音声をＮ_２の音声に時間軸圧縮する。すなわち、周期変更部３での時間軸圧縮の比をspdとすると、spdをＮ_２／Ｎ_１として求める。ここで、０≦ｎ＜Ｎ_１，０≦ｍ＜Ｎ_２である。 Next, the period changing unit 3 sets the number of frames having the original time length as N ₁ as shown in step S2 and N _{2 as the} number of frames having the changed time length as shown in step S3. Time-base compression of ₁ speech to N ₂ speech. That is, assuming that the time axis compression ratio in the period changing unit 3 is spd, spd is obtained as N ₂ / N ₁ . Here, 0 ≦ n <N ₁ and 0 ≦ m <N ₂ .

次に、パラメータ変更処理部５は、ステップＳ４に示すように、時間軸変更後の時間軸のインデクスに相当するフレームナンバーに対応するｍを２とする。   Next, as shown in step S4, the parameter change processing unit 5 sets m corresponding to the frame number corresponding to the time axis index after the time axis change to 2.

そして、パラメータ変更処理部５は、ステップＳ５に示すように、二つのフレームｆ_ｒ０，ｆ_ｒ１と、該二つのフレームｆ_ｒ０，ｆ_ｒ１とｍ／spdとの差left，rightとを求める。 Then, the parameter changing unit 5, as shown in step S5, determining the two frames _{f r0, f r1,} the two frames _{f r0, f r1} and m / spd difference between left, and a. Right.

上記符号化パラメータのｌ_ｓｐ，ｐ_ｃｈ，ｖｕ_ｖ，ａ_ｍ，ｒ_ｅｓを＊とするときmod_＊[ｍ]は、
mod_＊[ｍ]＝＊[ｍ／spd] （０≦ｍ＜Ｎ_２）
という一般式で表せる。しかし、ｍ／spdは、整数にはならないので、
ｆ_ｒ０＝「ｍ／spd」
ｆ_ｒ１＝ｆ_ｒ０＋１
の２フレームから補間して、ｍ／spdにおける変更符号化パラメータを作る。 _{L sp,} p _ch of the encoding _{parameters, vu v, a m, mod} _ * [m] when the a _{r es} * is
mod _ * [m] = * [m / spd] (0 ≦ m <N ₂ )
It can be expressed by the general formula However, since m / spd is not an integer,
f _r0 = “m / spd”
f _r1 = f _r0 +1
The change encoding parameter in m / spd is made by interpolating from the two frames.

ここで、フレームｆ_ｒ０とｍ／spdとフレームｆ_ｒ１との間には、図７に示すような関係、すなわち、
left＝ｍ／spd−ｆ_ｒ０
right＝ｆ_ｒ１−ｍ／spdが成立する。 Here, between the frame _{f r0} and m / spd and the frame _{f r1,} the relation as shown in FIG. 7, i.e.,
left = m / spd−f _r0
right = f _r1 −m / spd is established.

この図７におけるｍ／spdのときの符号化パラメータ、すなわち変更符号化パラメータをステップＳ６に示すように、補間処理によって作ればよい。   The encoding parameter at the time of m / spd in FIG. 7, that is, the changed encoding parameter may be generated by interpolation processing as shown in step S6.

単純に直線補間により求めると、
mod_＊[ｍ]＝＊[ｆ_ｒ０]×right＋＊[ｆ_ｒ１]×left
となる。 When simply obtained by linear interpolation,
mod _ * [m] = * [f _r0 ] × right + * [f _r1 ] × left
It becomes.

しかし、２つのフレームｆ_ｒ０，ｆ_ｒ１間での補間では、それらのフレームが有声音（Ｖ）と，無声音（ＵＶ）というように異なる場合には、上記一般式を適用できない。このため、２つのフレームｆ_ｒ０，ｆ_ｒ１間における有声音（Ｖ）と，無声音（ＵＶ）との関係によって、パラメータ変更処理部５は、図８のステップＳ１１以降に示すように、上記符号化パラメータの求め方を変える。 However, in the interpolation between the two frames f _r0 and f _r1 , the above general formula cannot be applied when the frames are different, such as voiced sound (V) and unvoiced sound (UV). For this reason, the parameter change processing unit 5 performs the above encoding as shown in step S11 and subsequent steps of FIG. 8 according to the relationship between the voiced sound (V) and the unvoiced sound (UV) between the two frames f _r0 and f _r1 . Change how to find parameters.

先ず、ステップＳ１１に示すように２つのフレームｆ_ｒ０，ｆ_ｒ１が有声音（Ｖ），有声音（Ｖ）であるか否かを判断する。ここで、２つのフレームｆ_ｒ０，ｆ_ｒ１が共に、有声音（Ｖ）であると判断すると、ステップＳ１２に進み、全てのパラメータを線形補間して以下のように表す。 First, as shown in step S11, it is determined whether or not the two frames f _r0 and f _r1 are voiced sound (V) and voiced sound (V). If it is determined that the two frames f _r0 and f _r1 are both voiced sounds (V), the process proceeds to step S12, and all parameters are linearly interpolated and expressed as follows.

mod_ｐ_ｃｈ[ｍ]＝ｐ_ｃｈ[ｆ_ｒ０]×right＋ｐ_ｃｈ[ｆ_ｒ１]×left
mod_ａ_ｍ[ｍ][ｋ]＝ａ_ｍ[ｆ_ｒ０][ｋ]×right＋ａ_ｍ[ｆ_ｒ１][ｋ]×left
ただし、０≦ｋ＜Ｌである。ここで、Ｌはハーモニクスとしてとりうる最大の数である。また、ａ_ｍ[ｎ][ｋ]は、ハーモニクスの存在しない位置では０を入れておく。フレームｆ_ｒ０とフレームｆ_ｒ１とで、ハーモニクスの数が異なる時には、余った方のハーモニクスは、相方を０として補間する。または、デコーダ側でデータ数変換器を通す前であれば、０≦ｋ＜ＬのＬ＝４３といった固定の値でもよい。 mod_p _ch [m] = p _ch [f _r0 ] × right + p _ch [f _r1 ] × left
_{mod_a m [m] [k]} = a m [f r0] [k] × right + a m [f r1] [k] × left
However, 0 ≦ k <L. Here, L is the maximum number that can be taken as harmonics. Also, a _m [n] [k] is set to 0 at a position where no harmonics exist. When the number of harmonics differs between the frame f _r0 and the frame f _r1 , the remaining harmonics are interpolated with the other as 0. Alternatively, a fixed value such as L = 43 where 0 ≦ k <L may be used before the data number converter is passed on the decoder side.

mod_ｌ_ｓｐ[ｍ][ｐ]＝ｌ_ｓｐ[ｆ_ｒ０][ｐ]×right＋ｌ_ｓｐ[ｆ_ｒ１][ｐ]×left
ただし、０≦ｐ＜Ｐである。ここで、ＰはＬＳＰの次数であり、通常は１０を使用する。 mod_l _sp [m] [p] = l _sp [f _r0 ] [p] × right + l _sp [f _r1 ] [p] × left
However, 0 ≦ p <P. Here, P is the order of the LSP, and 10 is usually used.

ｍｏｄ＿ｖｕ_ｖ[ｍ]＝１
Ｖ／ＵＶの判定で１は有声音（Ｖ）を、０は無声音（ＵＶ）を意味する。 mod_vu _v [m] = 1
In the determination of V / UV, 1 means voiced sound (V) and 0 means unvoiced sound (UV).

次に、ステップＳ１１で２つのフレームｆ_ｒ０，ｆ_ｒ１が共に有声音（Ｖ）でないと判断すると、ステップＳ１３に示すような判断、すなわち、２つのフレームｆ_ｒ０，ｆ_ｒ１が共に無声音（ＵＶ）であるか否かを判断する。 Next, when it is determined in step S11 that the two frames f _r0 and f _r1 are not voiced sounds (V), the determination as shown in step S13, that is, the two frames f _r0 and f _r1 are both unvoiced sounds (UV). It is determined whether or not.

ここで、ＹＥＳ（共に無声音である。）となると、補間処理部５は、ステップＳ１４に示すように、ｐ_ｃｈを最大値とし、ｍ／ｓｐｄを中心にｒ_ｅｓの前後８０サンプルづつ切り出してmod_ｒ_ｅｓを作る。 Here, if a YES (are both unvoiced.), The interpolation processing unit 5, as shown in step _S14, the _{p ch} as a maximum value, centered on m / spd cut 80 samples at a time before and after the _{r es mod_r} make _es .

実際、このステップＳ１４においては、left＜rightであるときに、ｍ／ｓｐｄを中心に図９の（Ａ）に示すようにｒesの前後８０サンプルづつ切り出してmod_ｒesに入れる。すなわち、
ｆｏｒ（ｊ＝０；ｊ＜FRM×（１／２−ｍ／ｓｐｄ＋ｆ_ｒ０）；ｊ^＋＋）｛mod_ｒ_ｅｓ[ｍ][０][ｊ]＝ｒ_ｅｓ[ｆ_ｒ０][０][ｊ＋（ｍ／ｓｐｄ−ｆ_ｒ０）×FRM]；｝；
ｆｏｒ（ｊ＝FRM×（１／２−ｍ／ｓｐｄ＋ｆ_ｒ０）；ｊ＜FRM／２；ｊ^＋＋）｛mod_ｒ_ｅｓ[ｍ][０][ｊ]＝ｒ_ｅｓ[ｆ_ｒ０][１][ｊ−FRM×（１／２−ｍ／ｓｐｄ＋ｆ_ｒ０）]；｝；
ｆｏｒ（ｊ＝０；ｊ＜FRM×（１／２−ｍ／ｓｐｄ＋ｆ_ｒ０）；ｊ++）｛mod_ｒ_ｅｓ[ｍ][１][ｊ]＝ｒ_ｅｓ[ｆ_ｒ０][１][ｊ＋（ｍ／ｓｐｄ−ｆ_ｒ０）×FRM]；｝；
ｆｏｒ（ｊ＝FRM×（１／２−ｍ／ｓｐｄ＋ｆ_ｒ０）；ｊ＝FRM／２；ｊ^＋＋）｛mod_ｒ_ｅｓ[ｍ][１][ｊ]＝ｒ_ｅｓ[ｆ_ｒ０][０][ｊ−FRM×（１／２−ｍ／ｓｐｄ＋ｆ_ｒ０）]；｝；
とする。ここで例えばFRMは１６０である。 Actually, in this step S14, when left <right, 80 samples before and after res are cut out into mod_res as shown in FIG. 9A centering on m / spd. That is,
for (j = 0; j < FRM × (1/2-m / spd + f r0); j ++) {mod_r es [m] [0] [j] = r es [f r0] [0] [j + (m / Spd−f _r0 ) × FRM];
for (j = FRM × (1 /2-m / spd + f r0); j <FRM / 2; j ++) {mod_r es [m] [0] [j] = r es [f r0] [1] [j −FRM × (1 / 2−m / spd + f _r0 )];};
for (j = 0; j < FRM × (1/2-m / spd + f r0); j ++) {mod_r es [m] [1] [j] = r es [f r0] [1] [j + ( m / spd−f _r0 ) × FRM];
for (j = FRM × (1 /2-m / spd + f r0); j = FRM / 2; j ++) {mod_r es [m] [1] [j] = r es [f r0] [0] [j −FRM × (1 / 2−m / spd + f _r0 )];};
And Here, for example, FRM is 160.

一方、このステップＳ１４においては、left≧rightであるときに、ｍ／ｓｐｄを中心に図９の（Ｂ）に示すようにｒ_ｅｓの前後８０サンプルづつ切り出してmod_ｒ_ｅｓとする。 On the other hand, in this step S14, when it is left ≧. Right, and Mod_r _es cut 80 samples at a time before and after the _{r es,} as shown in (B) of FIG. 9 around the m / spd.

ステップＳ１３の条件を満たさない場合、ステップＳ１５に進み、フレームｆ_ｒ０が有声音（Ｖ）で，ｆ_ｒ１が無声音（ＵＶ）であるか否かを判断する。ここでＹＥＳ（フレームｆ_ｒ０が有声音（Ｖ）で，ｆ_ｒ１が無声音（ＵＶ）である。）となると、ステップＳ１６に進み、ＮＯ（フレームｆ_ｒ０が無声音（ＵＶ）であり、ｆ_ｒ１が有声音（Ｖ）である。）となると、ステップＳ１７に進む。 If the condition of step S13 is not satisfied, the process proceeds to step S15 to determine whether or not the frame f _r0 is a voiced sound (V) and f _r1 is an unvoiced sound (UV). If YES (frame f _r0 is voiced sound (V) and f _r1 is unvoiced sound (UV)), the process proceeds to step S16, and NO (frame f _r0 is unvoiced sound (UV) and f _r1 is If it is a voiced sound (V)), the process proceeds to step S17.

ステップＳ１５以降の処理では、二つのフレームｆ_ｒ０，ｆ_ｒ１が、例えば有声音（Ｖ），無声音（ＵＶ）のように、異なった場合について説明している。これは、例えば有声音（Ｖ），無声音（ＵＶ）のように、異なった２つのフレームｆ_ｒ０，ｆ_ｒ１間でパラメータを補間すると意味のないものになってしまうためである。 In the processing after step S15, the case where the two frames f _r0 and f _r1 are different, such as voiced sound (V) and unvoiced sound (UV), is described. This is because, for example, if a parameter is interpolated between two different frames f _r0 and f _r1 such as voiced sound (V) and unvoiced sound (UV), it becomes meaningless.

ステップＳ１６では、図７に示す上記left（＝ｍ／spd−ｆ_ｒ０）と上記right（＝ｆ_ｒ１−ｍ／spd）の大きさを比較している。これにより、ｍ／spdに対してフレームｆ_ｒ０が近いのか否かを判断している。 In step S16, the size of the left (= m / spd−f _r0 ) and the right (= f _r1 −m / spd) shown in FIG. 7 are compared. Thereby, it is determined whether or not the frame _fr0 is close to m / spd.

フレームｆ_ｒ０が近い場合には、ステップＳ１８に示すように、このフレームｆ_ｒ０側のパラメータを用いて、
mod_ｐ_ｃｈ[ｍ]＝ｐ_ｃｈ[ｆ_ｒ０]
mod_ａ_ｍ[ｍ][ｋ]＝ａ_ｍ[ｆ_ｒ０][ｋ] ，（ただし、０≦ｋ＜Ｌである。）
mod_ｌ_ｓｐ[ｍ][ｐ]＝ｌ_ｓｐ[ｆ_ｒ０][ｐ] ，（ただし、０≦ｐ＜Ｉである。）
mod_ｖｕ_ｖ[ｍ]＝１とする。 If the frame f _r0 is close, as shown in step S18, using the parameters on the frame f _r0 side,
mod_p _ch [m] = p _ch [f _r0 ]
_{mod_a m [m] [k]} = a m [f r0] [k], ( provided that 0 ≦ k <L.)
mod — l _sp [m] [p] = l _sp [f _r0 ] [p], where 0 ≦ p <I.
It is assumed that mod_vu _v [m] = 1.

また、ステップＳ１６でＮＯと判断したときには、left≧rightでありフレームｆ_ｒ１の方が近いので、ステップＳ１９に進み、ピッチを最大値にすると共に、図９の（Ｃ）に示すようにｆ_ｒ１側のｒ_ｅｓをそのまま使用してmod_ｒ_ｅｓとする。すなわち、mod_ｒ_ｅｓ[ｍ][ｉ][ｊ]＝ｒ_ｅｓ[f_ｒ１][ｉ][ｊ]とする。これは、有声音であるf_ｒ０ではＬＰＣ残差ｒ_ｅｓが伝送されないためである。 Further, when it is determined that the NO at step S16, since it is closer frame f _r1 is left ≧. Right, the process proceeds to step S19, while the maximum value of pitch, as shown in (C) of FIG. 9 f _r1 and mod_r _es accept the side of _{r es.} That is, the _{mod_r es [m] [i]} [j] = r es [f r1] [i] [j]. This is the _{f r0} is voiced LPC residuals _{r es} in order not transmitted.

次に、ステップＳ１７では、ステップＳ１５で２つのフレームｆ_ｒ０，ｆ_ｒ１が無声音（ＵＶ），有声音（Ｖ）であるという判断を受けて、上記ステップＳ１６と同様の判断を行う。すなわち、図７に示す上記left（＝ｍ／spd−ｆ_ｒ０）と上記right（＝ｆ_ｒ１−ｍ／spd）の大きさを比較している。これにより、ｍ／spdに対してフレームｆ_ｒ０が近いのか否かを判断している。 Next, in step S17, in response to the determination in step S15 that the two frames f _r0 and f _r1 are unvoiced sound (UV) and voiced sound (V), the same determination as in step S16 is performed. That is, the size of the left (= m / spd−f _r0 ) and the right (= f _r1 −m / spd) shown in FIG. 7 are compared. Thereby, it is determined whether or not the frame _fr0 is close to m / spd.

フレームｆ_ｒ０が近い場合には、ステップＳ１８に進み、ピッチを最大値にすると共に、図９の（Ｄ）に示すようにｆ_ｒ０側のｒ_ｅｓをそのまま使用してmod_ｒ_ｅｓとする。すなわち、mod_ｒ_ｅｓ[ｍ][ｉ][ｊ]＝ｒ_ｅｓ[f_ｒ０][ｉ][ｊ]とする。これは、有声音であるf_ｒ１ではＬＰＣ残差ｒ_ｅｓが伝送されないためである。 If the frame _{f r0} is closer, the process proceeds to step S18, while the maximum value of the pitch, and Mod_r _es accept the _{r es} of _{f r0} side as shown in (D) of FIG. 9. That is, the _{mod_r es [m] [i]} [j] = r es [f r0] [i] [j]. This is the _{f r1} is voiced LPC residuals _{r es} in order not transmitted.

また、ステップＳ１７でＮＯと判断したときには、left≧rightでありフレームｆ_ｒ１の方が近いので、ステップＳ２１に進み、このフレームｆ_ｒ１側のパラメータを用いて、
mod_ｐ_ｃｈ[ｍ]＝ｐ_ｃｈ[ｆ_ｒ１]
mod_ａ_ｍ[ｍ][ｋ]＝ａ_ｍ[ｆ_ｒ１][ｋ] ，（ただし、０≦ｋ＜Ｌである。）
mod_ｌ_ｓｐ[ｍ][ｐ]＝ｌ_ｓｐ[ｆ_ｒ１][ｐ] ，（ただし、０≦ｐ＜Ｉである。）
mod_ｖｕ_ｖ[ｍ]＝１
とする。 When NO is determined in step S17, since left ≧ right and the frame _fr1 is closer, the process proceeds to step S21, and the parameters on the frame _fr1 side are used.
mod_p _ch [m] = p _ch [f _r1 ]
_{mod_a m [m] [k]} = a m [f r1] [k], ( provided that 0 ≦ k <L.)
mod — l _sp [m] [p] = l _sp [f _r1 ] [p], where 0 ≦ p <I.
mod_vu _v [m] = 1
And

このように２つのフレームｆ_ｒ０，ｆ_ｒ１間における有声音（Ｖ）と，無声音（ＵＶ）との関係によって、補間処理部５は、図８に詳細を示した図６のステップＳ６の補間処理を異ならせる。このステップＳ６の補間処理が終了すると、ステップＳ７に進み、ｍをインクリメントする。そして、このｍがＮ_２に等しくなるまで、ステップＳ５，ステップＳ６の処理を繰り返す。 As described above, the interpolation processing unit 5 performs the interpolation process in step S6 of FIG. 6 shown in detail in FIG. 8 according to the relationship between the voiced sound (V) and the unvoiced sound (UV) between the two frames f _r0 and f _r1 . Make them different. When the interpolation process in step S6 ends, the process proceeds to step S7, and m is incremented. Then, until the m is equal to _{N 2,} step S5, and repeats the processing in step S6.

ここで、周期変更部３とパラメータ変更処理部５の動作について図１０を参照しながらまとめて説明しておく。図１０の（Ａ）に示すように、符号化部２が例えば周期２０msec毎に抽出している符号化パラメータの該周期を、周期変更部３は、図１０の（Ｂ）に示すように、時間圧縮して１５msecとする。そして、上述したように、パラメータ変更処理部５が二つのフレームｆ_Ｒ０，ｆ_ｒ１のＶ／ＵＶの状態に応じた補間処理により、図１０の（Ｃ）に示すように周期２０msec毎に変更符号化パラメータを算出する。 Here, the operations of the period changing unit 3 and the parameter changing processing unit 5 will be described together with reference to FIG. As shown in FIG. 10 (A), the cycle of the coding parameter extracted by the encoding unit 2 every, for example, every 20 msec, and the cycle changing unit 3 as shown in (B) of FIG. Time compression is set to 15 msec. Then, as described above, the parameter change processing unit 5 performs the change code every 20 msec as shown in FIG. 10C by the interpolation process according to the V / UV state of the two frames f _R0 and f _r1 . Calculation parameters are calculated.

また、周期変更部３とパラメータ変更処理部５を逆の順番として、図１１の（Ａ）に示す符号化パラメータを先ず図１１の（Ｂ）に示すように補間してから、図１１の（Ｃ）に示すように圧縮して変更符号化パラメータを算出してもよい。   Further, with the period changing unit 3 and the parameter changing processing unit 5 in the reverse order, the encoding parameters shown in FIG. 11A are first interpolated as shown in FIG. The changed encoding parameter may be calculated by compression as shown in C).

ここで、図５に戻る。パラメータ変更処理部５で算出されたＬＳＰデータに関する変更符号化パラメータmod_ｌ_ｓｐ[ｍ][ｐ]は、ＬＳＰ補間回路２３２_ｖ、２３２_ｕに送られてＬＳＰの補間処理が施された後、ＬＳＰ→α変換回路２３４_ｖ、２３４_ｕｖでＬＰＣ（線形予測符号）のαパラメータに変換され、このαパラメータがＬＰＣ合成フィルタ２１４に送られる。ここで、ＬＳＰ補間回路２３２_ｖ及びＬＳＰ→α変換回路２３４_ｖは有声音（Ｖ）用であり、ＬＳＰ補間回路２３２_ｕ及びＬＳＰ→α変換回路２３４_ｕは無声音（ＵＶ）用である。またＬＰＣ合成フィルタ２１４は、有音声部分のＬＰＣ合成フィルタ２３６と、無声音部分のＬＰＣ合成フィルタ２３７とを分離している。すなわち、有音声部分と無音声部分とでＬＰＣの係数補間を独立に行うようにして、有音声から無音声への遷移部や、無音声から有音声への遷移部で、全く性質の異なるＬＳＰ同士を補間することによる悪影響を防止している。 Returning now to FIG. The change encoding parameter mod_l _sp [m] [p] related to the LSP data calculated by the parameter change processing unit 5 is sent to the LSP interpolation circuits 232 _v and 232 _u and subjected to the LSP interpolation processing, and then the LSP → The α conversion circuit 234 _v , 234 _uv converts the _L parameter (linear prediction code) to an α parameter, and the α parameter is sent to the LPC synthesis filter 214. Here, the LSP interpolation circuit 232 _v and the LSP → α conversion circuit 234 _v are for voiced sound (V), and the LSP interpolation circuit 232 _u and the LSP → α conversion circuit 234 _u are for unvoiced sound (UV). The LPC synthesis filter 214 separates the LPC synthesis filter 236 for the voiced portion and the LPC synthesis filter 237 for the unvoiced sound portion. In other words, the LPC coefficient interpolation is performed independently for the voiced portion and the voiceless portion, so that the LSP having completely different characteristics in the transition portion from voiced to voiceless or the transition portion from voiceless to voiced voice. The bad influence by interpolating each other is prevented.

パラメータ変更処理部５で算出されたスペクトルエンベロープデータに関する変更符号化パラメータmod_ａ_ｍ[ｍ][ｋ]は有声音合成部２１１のサイン波合成回路２１５に送られている。このサイン波合成回路２１５には、パラメータ変更処理部５で算出されたピッチに関する変更符号化パラメータmod_ｐ_ｃｈ[ｍ]及び上記Ｖ／ＵＶ判定データに関する変更符号化パラメータmod_ｖｕ_ｖ[ｍ]も供給されている。サイン波合成回路２１５からは、上述した図３のＬＰＣ逆フィルタ１１１からの出力に相当するＬＰＣ残差データが取り出され、これが加算器２１８に送られている。 Changes to the spectral envelope data calculated by the parameter changing unit 5 encoding parameter mod_a _{m [m]} [k] is sent to the sinusoidal synthesis circuit 215 of the voiced sound synthesis unit 211. The sine wave synthesis circuit 215 is also supplied with the change encoding parameter mod_p _ch [m] related to the pitch calculated by the parameter change processing unit 5 and the change encoding parameter mod_vu _v [m] related to the V / UV determination data. Yes. From the sine wave synthesis circuit 215, LPC residual data corresponding to the output from the LPC inverse filter 111 of FIG. 3 described above is extracted and sent to the adder 218.

また、パラメータ変更処理部５で算出されたスペクトルエンベロープデータに関する変更符号化パラメータmod_ａ_ｍ[ｍ][ｋ]と、ピッチに関する変更符号化パラメータmod_ｐ_ｃｈ[ｍ]及び上記Ｖ／ＵＶ判定データに関する変更符号化パラメータmod_ｖｕ_ｖ[ｍ]とは、有声音（Ｖ）部分のノイズ加算のためのノイズ合成回路２１６に送られている。このノイズ合成回路２１６からの出力は、重み付き重畳加算回路２１７を介して加算器２１８に送られている。これは、サイン波合成によって有声音のＬＰＣ合成フィルタへの入力となるエクサイテイション（Excitation：励起、励振）を作ると、男声等の低いピッチの音で鼻づまり感がある点、及びＶ（有声音）とＵＶ（無声音）とで音質が急激に変化し不自然に感じる場合がある点を考慮し、有声音部分のＬＰＣ合成フィルタ入力すなわちエクサイテイションについて、音声符号化データに基づくパラメータ、例えばピッチ、スペクトルエンベロープ振幅、フレーム内の最大振幅、残差信号のレベル等を考慮したノイズをＬＰＣ残差信号の有声音部分に加えているものである。 Further, changes and changes to the spectral envelope data calculated by the parameter changing unit 5 encoding parameter _{mod_a m [m] [k]} , relates to modified encoding parameters mod_p _ch [m] and the V / UV decision data with respect to the pitch code The conversion parameter mod_vu _v [m] is sent to the noise synthesis circuit 216 for noise addition of the voiced sound (V) portion. The output from the noise synthesis circuit 216 is sent to the adder 218 via the weighted superposition addition circuit 217. This is because when excitement (excitation: excitation, excitation) is input to the LPC synthesis filter of voiced sound by sine wave synthesis, there is a sense of stuffy nose with low pitch sounds such as male voices, and V ( In consideration of the fact that the sound quality may suddenly change between UV (unvoiced sound) and UV (unvoiced sound) and may feel unnatural, parameters for the LPC synthesis filter input of the voiced sound part, ie, the excitation, based on the speech coding data, For example, noise considering the pitch, spectrum envelope amplitude, maximum amplitude in the frame, residual signal level, and the like is added to the voiced portion of the LPC residual signal.

加算器２１８からの加算出力は、ＬＰＣ合成フィルタ２１４の有声音用の合成フィルタ２３６に送られてＬＰＣの合成処理が施されることにより時間波形データとなり、さらに有声音用ポストフィルタ２３８ｖでフィルタ処理された後、加算器２３９に送られる。   The addition output from the adder 218 is sent to the voiced sound synthesis filter 236 of the LPC synthesis filter 214 to be subjected to LPC synthesis processing, thereby becoming time waveform data, and further filtered by the voiced sound postfilter 238v. Is sent to the adder 239.

ここで、ＬＰＣ合成フィルタ２１４は、上述したように、Ｖ（有声音）用の合成フィルタ２３６と、ＵＶ（無声音）用の合成フィルタ２３７とに分離されている。すなわち、合成フィルタを分離せずにＶ／ＵＶの区別なしに連続的にＬＳＰの補間を２０サンプルすなわち２．５ｍsec 毎に行う場合には、Ｖ→ＵＶ、ＵＶ→Ｖの遷移（トランジェント）部において、全く性質の異なるＬＳＰ同士を補間することになり、Ｖの残差にＵＶのＬＰＣが、ＵＶの残差にＶのＬＰＣが用いられることにより異音が発生するが、このような悪影響を防止するために、ＬＰＣ合成フィルタをＶ用とＵＶ用とで分離し、ＬＰＣの係数補間をＶとＵＶとで独立に行わせたものである。   Here, as described above, the LPC synthesis filter 214 is separated into a synthesis filter 236 for V (voiced sound) and a synthesis filter 237 for UV (unvoiced sound). That is, when LSP interpolation is performed every 20 samples, that is, every 2.5 msec without separating the synthesis filter without distinguishing V / UV, in the transition part of V → UV and UV → V Interpolating between LSPs with completely different properties, UV LPC is used for the V residual and V LPC is used for the UV residual. Therefore, the LPC synthesis filter is separated for V and UV, and LPC coefficient interpolation is performed independently for V and UV.

また、パラメータ変更処理部５で算出されたＬＰＣ残差に関する変更符号化パラメータmod_ｒ_ｅｓ[ｍ][ｉ][ｊ]は、窓かけ回路２２３に送られて、上記有声音部分とのつなぎを円滑化するための窓かけ処理が施される。 Further, changes to the LPC residuals calculated by the parameter changing unit 5 encoding parameter _{mod_r es [m] [i]} [j] is sent to a windowing circuit 223, facilitates connecting between the voiced portion A windowing process is performed to make it easier.

窓かけ回路２２３からの出力は、無音声合成部２２０からの出力として、ＬＰＣ合成フィルタ２１４のＵＶ（無音声）用の合成フィルタ２３７に送られる。合成フィルタ２３７では、ＬＰＣ合成処理が施されることにより無音声部分の時間波形データとなり、この無声音部分の時間波形データは無声音用ポストフィルタ２３８ｕでフィルタ処理された後、加算器２３９に送られる。   The output from the windowing circuit 223 is sent to the UV (no voice) synthesis filter 237 of the LPC synthesis filter 214 as the output from the no voice synthesis unit 220. In the synthesis filter 237, the LPC synthesis processing is performed to obtain time waveform data of the unvoiced portion. The time waveform data of the unvoiced sound portion is filtered by the unvoiced sound post filter 238u and then sent to the adder 239.

加算器２３９では、有声音用ポストフィルタ２３８ｖからの有声音部分の時間波形信号と、無声音用ポストフィルタ２３８ｕからの無声音部分の時間波形データとが加算され、出力端子２０１より取り出される。   In the adder 239, the time waveform signal of the voiced sound part from the voiced sound post filter 238v and the time waveform data of the unvoiced sound part from the unvoiced sound post filter 238u are added and taken out from the output terminal 201.

このように、この音声信号再生装置１は、変更符号化パラメータmod_＊[ｍ]の配列（０≦ｍ＜Ｎ_２）を本来の配列＊[ｎ]（０≦ｎ＜Ｎ_１）のかわりにデコードしている。デコード時のフレーム間隔は従来通り例えば２０ｍsecのように固定である。このため、Ｎ_２＜Ｎ_１の時には、時間軸圧縮となり、スピードアップとなる。他方、Ｎ_２＞Ｎ_１の時には、時間軸伸長となり、スピードダウンとなる。 As described above, the audio signal reproduction device 1 replaces the array (0 ≦ m <N ₂ ) of the modified encoding parameter mod _ * [m] with the original array * [n] (0 ≦ n <N ₁ ). Decoding. The frame interval at the time of decoding is fixed as usual, for example, 20 msec. For this reason, when N ₂ <N ₁ , the time axis compression is performed and the speed is increased. On the other hand, when N ₂ > N ₁ , the time axis is extended and the speed is reduced.

上記時間軸変更を行っても、瞬時スペクトル、ピッチが不変である為、０．５≦spd≦２程度以上の広い範囲の変更を行っても劣化が少ない。   Even if the time axis is changed, the instantaneous spectrum and pitch are not changed. Therefore, even if a wide range of about 0.5 ≦ spd ≦ 2 or more is changed, the deterioration is small.

この方式では、最終的に得られたパラメータ列を本来のスペーシング（２０ｍsec）に並べてデコードするため、任意のスピードコントロール（上下）が簡単に実現できる。又、スピードアップとスピードダウンが区別なしに、同一の処理で可能である。   In this method, since the finally obtained parameter sequence is arranged and decoded in the original spacing (20 msec), arbitrary speed control (up and down) can be easily realized. In addition, speed-up and speed-down are possible with the same processing without distinction.

このため、例えば固体録音した内容をリアルタイムの倍のスピードで再生できる。このとき、再生スピードを高速にしてもピッチ、音韻が不変であるため、かなりの高速再生を行っても内容を聞きとることができる。ここで、Ｎ_２＜Ｎ_１のとき、すなわち再生スピードを遅くした場合、無声音フレームにおいては同じＬＰＣ残差ｒ_ｅｓから複数のmod_ｒ_ｅｓが作られるので再生音が不自然になることがある。そこで、mod_ｒ_ｅｓに対し、ノイズを適量加えることにより不自然さを改善する事が可能である。また、ノイズを加える以外にも、mod_r_ｅｓを適当に生成したガウシアンノイズなどで置き換えたり、コードブックよりランダムに選択した励起ベクトルを用いることも考えられる。 For this reason, for example, the content recorded in solid state can be reproduced at a speed twice that of real time. At this time, since the pitch and phoneme are unchanged even when the playback speed is increased, the contents can be heard even if the playback is performed at a considerably high speed. Here, when the N 2 _{<N 1,} that is, when you slow down the playback speed, in the unvoiced frame reproduced sound since a plurality of Mod_r _es are made from the same LPC residuals r _es may become unnatural. Therefore, with respect to Mod_r _es, it is possible to improve the unnaturalness by adding an appropriate amount of noise. In addition to adding the noise, or replaced with like Gaussian noise generated appropriately the Mod_r _es, it is considered to use a randomly selected excitation vector from the codebook.

なお、上記音声信号再生装置１では、周期変更部３によって符号化部２からの上記符号化パラメータの出力周期の時間軸を圧縮してスピードアップさせていたが、復号化部４にてフレーム長を可変にしてスピードをコントロールしてもよい。   In the audio signal reproduction apparatus 1, the period changing unit 3 compresses the time axis of the output period of the encoding parameter from the encoding unit 2 to increase the speed. The speed may be controlled by making the variable.

この場合、復号化部４を構成するパラメータ変更処理部５は、上記フレーム長が可変となるためパラメータ生成前後でフレーム番号ｎを変化させない。   In this case, the parameter change processing unit 5 constituting the decoding unit 4 does not change the frame number n before and after parameter generation because the frame length is variable.

先ず、パラメータ変更処理部５は、該当フレームが有声音、無声音に拘らず、ｌ_ｓｐ[ｎ][ｐ]、ｖ_ｕｖ[ｎ]を、mod_ｌ_ｓｐ[ｎ][ｐ]、mod_ｖｕ_ｖ[ｎ]とする。 First, the parameter change processing unit 5 changes l _sp [n] [p], v _uv [n] to mod_l _sp [n] [p], mod_v _{v v} [n] regardless of whether the corresponding frame is voiced sound or unvoiced sound. And

ｐ_ｃｈ[ｎ]，ａ_ｍ[ｎ][ｋ]については、mod_ｖｕ_ｖ[ｎ]が１、すなわち該当フレームが有声音（Ｖ）である場合、mod_ｐ_ｃｈ[ｎ]，mod_ａ_ｍ[ｎ][ｋ]とする。 p _ch [n], for _{a m [n] [k]} , when mod_vu _v [n] is 1, i.e., the corresponding frame is a voiced _{(V), mod_p ch [n} ], mod_a m [n] [ k].

ｒ_ｅｓ[ｎ][ｉ][ｊ]については、mod_ｖｕ_ｖ[ｎ]が０、すなわち該当フレームが無声音（ＵＶ）である場合、mod_ｒ_ｅｓ[ｎ][ｉ][ｊ]とする。 For _{r es [n] [i]} [j], mod_vu v [n] is 0, that is, if the corresponding frame is unvoiced (UV), and _{mod_r es [n] [i]} [j].

ここで、パラメータ変更処理部５は、各パラメータの変換を、ｌ_ｓｐ[ｎ][ｐ]，ｐ_ｃｈ[ｎ]，ｖｕ_ｖ[ｎ]，ａ_ｍ[ｎ][ｋ]についてはそのまま、mod_ｌ_ｓｐ[ｎ][ｐ]，mod_ｐ_ｃｈ[ｎ]，mod_ｖｕ_ｖ[ｎ]，mod_ａ_ｍ[ｎ][ｋ]とするが残差信号ｒ_ｅｓ[ｎ][ｉ][ｊ]についてはスピードspdによって、mod_ｒ_ｅｓ[ｎ][ｉ][ｊ]を異ならせる。 Here, the parameter changing unit 5, the transform of each _{parameter, l sp [n] [p} ], p ch [n], vu v [n], a m [n] [k] as for, Mod_l _{sp [n] [p],} mod_p ch [n], mod_vu v [n], by mod_a _m [n] [k] to but residual signal _{r es [n] [i]} [j] speed spd for , varying the _{mod_r es [n] [i]} [j].

スピードspd＜１．０のとき、すなわちスピードが速い場合、図１２に示すように、元のフレームの残差信号を中央から切り出す。元フレーム長をorgFrmLとしたとき、元フレームｒ_ｅｓ[ｎ][ｉ]から(orgFrmL-frmL)/2≦ｊ≦(orgFrmL+frmL)/2の部分を切り出し、mod_ｒ_ｅｓ[ｎ][ｉ]とする。なお、元フレームの先頭から切り出すことも可能である。 When the speed spd <1.0, that is, when the speed is high, the residual signal of the original frame is cut out from the center as shown in FIG. When the original frame length was OrgFrmL, original frame r _es [n] from [i] cut out (orgFrmL-frmL) / 2 ≦ j ≦ (orgFrmL + frmL) / 2 _{parts, mod_r es [n] [i} ] And It is also possible to cut out from the beginning of the original frame.

一方、スピードspd＞１．０のとき、すなわちスピードが遅い場合、図１３に示すように、元のフレームを用い、不足分は元のフレームにノイズ成分を加えたものを用いる。なお、不足分として、コードブックよりランダムに選んだ励起ベクトルを用いてもよい。また、デコードされた励起ベクトルに適当に生成したノイズ成分を付加してもよい。さらに、ガウシアンノイズを発生し、それを励起ベクトルとして用いてよい。これは同じ波形形状のフレームが連続することにより生じる違和感を軽減するためである。また、元フレームの両端に上記のようなノイズ成分等を付加してもよい。   On the other hand, when the speed spd> 1.0, that is, when the speed is low, the original frame is used as shown in FIG. 13, and the shortage is obtained by adding a noise component to the original frame. Note that an excitation vector randomly selected from the code book may be used as the shortage. Further, a noise component appropriately generated may be added to the decoded excitation vector. Furthermore, Gaussian noise may be generated and used as an excitation vector. This is to reduce the sense of incongruity caused by consecutive frames having the same waveform shape. In addition, the above-described noise component or the like may be added to both ends of the original frame.

このため、音声合成処理部６は、フレーム長を変更することによりスピードコントロールを実現する音声信号再生装置１にあっては、ＬＳＰ補間部２３２_ｖ、２３２_ｕと、サイン波合成部２１５と、窓かけ部２２３の動作を時間軸圧縮伸長によりスピードをコントロールする場合に対して異ならせる。 For this reason, the speech synthesis processing unit 6 includes the LSP interpolation units 232 _v and 232 _u , the sine wave synthesis unit 215, the window in the speech signal reproduction device 1 that realizes speed control by changing the frame length. The operation of the hooking unit 223 is different from that in the case where the speed is controlled by time axis compression / expansion.

先ず、ＬＳＰ補間部２３２_ｖでは、該当フレームが有声音（Ｖ）ならばfrmL/p≦２０を満たす最小の整数ｐを、また、ＬＳＰ補間部２３２_ｕでは、該当フレームが無声音（ＵＶ）ならばfrmL/p≦８０を満たす最小の整数ｐを求め、ＬＳＰ補間のためのサブフレームsubl[ｉ][ｊ]の範囲を、以下の式により定める。 First, in the LSP interpolation unit 232 _v , if the corresponding frame is voiced sound (V), the minimum integer p satisfying frmL / p ≦ 20 is set. In the LSP interpolation unit 232 _u , if the corresponding frame is unvoiced sound (UV). The minimum integer p satisfying frmL / p ≦ 80 is obtained, and the range of subframe subl [i] [j] for LSP interpolation is determined by the following equation.

nint(frmL/p×i)≦ｊ≦nint(frmL/p×(i+1)),(0≦ｉ≦p-1)ここで、nint(x)は小数第１位を四捨五入することにより、xに最も近い整数を返す関数である。ただし、有声音、無声音いずれの場合もfrmLが２０、８０以下となった場合はｐ＝１とする。例えば、ｉ番目のサブフレームについて、サブフレームの中心はfrmL×（２ｉ＋１）／２ｐであるから、frmL×（２ｐ−２ｉ−１）／２ｐ：frmL×（２ｉ＋１）／２ｐの割合でＬＳＰの補間を行う。   nint (frmL / p × i) ≦ j ≦ nint (frmL / p × (i + 1)), (0 ≦ i ≦ p-1) where nint (x) is rounded off to the first decimal place. , A function that returns the closest integer to x. However, for both voiced and unvoiced sounds, if frmL is 20, 80 or less, p = 1. For example, for the i-th subframe, since the center of the subframe is frmL × (2i + 1) / 2p, LSP interpolation is performed at a ratio of frmL × (2p−2i−1) / 2p: frmL × (2i + 1) / 2p. I do.

なお、この他にも、サブフレーム数をある定数に固定してしまい、つねに同じ比で各サブフレームのＬＳＰ補間を行ってもよい。サイン波合成部２１５では、フレーム長frmLに応じてサンプル数を発生する。サイン波合成の具体的な方法としては本件出願人が先に提案した特願平６ー１９８４５１号の明細書及び図面に開示したものを挙げることができる。窓かけ部２２３では、フレーム長frmLに合わせて、窓長を変更する。   In addition, the number of subframes may be fixed to a certain constant, and LSP interpolation of each subframe may always be performed at the same ratio. The sine wave synthesis unit 215 generates the number of samples according to the frame length frmL. Specific methods of sine wave synthesis include those disclosed in the specification and drawings of Japanese Patent Application No. 6-198451 previously proposed by the present applicant. In the window cover 223, the window length is changed in accordance with the frame length frmL.

なお、上記音声信号再生装置１では、周期変更部３、及びパラメータ変更処理部５を用いて、出力周期を時間軸上で圧縮伸長した符号化パラメータを変更することによって、ピッチ、音韻を不変としながらも再生スピードを可変としているが、周期変更部３を省略して符号化部２からの符号化データを図１４に示す復号化部８のデータ数変換部２７０により処理して音韻を変えずにピッチを可変とすることもできる。図１４において、上記図４の各部と対応する部分には、同じ指示符号を付している。   In the audio signal reproduction apparatus 1, the pitch and phoneme are made invariant by changing the encoding parameter obtained by compressing and expanding the output period on the time axis using the period changing unit 3 and the parameter changing processing unit 5. However, although the reproduction speed is variable, the period changing unit 3 is omitted, and the encoded data from the encoding unit 2 is processed by the data number conversion unit 270 of the decoding unit 8 shown in FIG. It is also possible to make the pitch variable. In FIG. 14, parts corresponding to those in FIG. 4 are given the same reference numerals.

この復号化部８の基本的な考え方は、符号化部２から入力された音声符号化データのハーモニクスの基本周波数と所定の帯域内における個数をデータ変換手段となるデータ数変換部２７０により変換して、復号化処理を施すことにより、音韻を変えずにピッチのみを変更するものである。データ数変換部２７０は、入力された各ハーモニクスにおけるスペクトルの大きさを表すデータの個数を補間処理により変更することによってピッチを変更する。   The basic concept of the decoding unit 8 is that a fundamental number of harmonics of speech encoded data input from the encoding unit 2 and the number within a predetermined band are converted by a data number conversion unit 270 serving as data conversion means. Thus, by performing a decoding process, only the pitch is changed without changing the phoneme. The data number conversion unit 270 changes the pitch by changing the number of data representing the magnitude of the spectrum in each input harmonic by interpolation processing.

図１４において、入力端子２０２には、上記図２、３の出力端子１０２からの出力に相当するＬＳＰのベクトル量子化出力、いわゆるコードブックのインデクスが供給されている。   14, an LSP vector quantization output corresponding to the output from the output terminal 102 shown in FIGS. 2 and 3, that is, a so-called codebook index, is supplied to the input terminal 202.

このＬＳＰのインデクスは、ＬＰＣパラメータ再生部２１３のＬＳＰの逆ベクトル量子化器２３１に送られてＬＳＰ（線スペクトル対）データに逆ベクトル量子化され、ＬＳＰ補間回路２３２、２３３に送られてＬＳＰの補間処理が施された後、ＬＳＰ→α変換回路２３４、２３５でＬＰＣ（線形予測符号）のαパラメータに変換され、このαパラメータがＬＰＣ合成フィルタ２１４に送られる。ここで、ＬＳＰ補間回路２３２及びＬＳＰ→α変換回路２３４は有声音（Ｖ）用であり、ＬＳＰ補間回路２３３及びＬＳＰ→α変換回路２３５は無声音（ＵＶ）用である。またＬＰＣ合成フィルタ２１４は、有声音部分のＬＰＣ合成フィルタ２３６と、無声音部分のＬＰＣ合成フィルタ２３７とを分離している。すなわち、有声音部分と無声音部分とでＬＰＣの係数補間を独立に行うようにして、有声音から無声音への遷移部や、無声音から有声音への遷移部で、全く性質の異なるＬＳＰ同士を補間することによる悪影響を防止している。   This LSP index is sent to the LSP inverse vector quantizer 231 of the LPC parameter reproducing unit 213, and inverse vector quantized to LSP (line spectrum pair) data, and sent to the LSP interpolation circuits 232 and 233 to send the LSP index. After the interpolation processing is performed, the LSP → α conversion circuits 234 and 235 convert it to an α parameter of LPC (linear prediction code), and the α parameter is sent to the LPC synthesis filter 214. Here, the LSP interpolation circuit 232 and the LSP → α conversion circuit 234 are for voiced sound (V), and the LSP interpolation circuit 233 and the LSP → α conversion circuit 235 are for unvoiced sound (UV). The LPC synthesis filter 214 separates the LPC synthesis filter 236 for the voiced sound part and the LPC synthesis filter 237 for the unvoiced sound part. In other words, LPC coefficient interpolation is performed independently between the voiced sound part and the unvoiced sound part, and LSPs having completely different properties are interpolated between the transition part from voiced sound to unvoiced sound and the transition part from unvoiced sound to voiced sound. To prevent adverse effects.

また、図１４の入力端子２０３には、上記図２、図３のエンコーダ側の端子１０３からの出力に対応するスペクトルエンベロープ（Ａｍ）の重み付けベクトル量子化されたコードインデクスデータが供給され、入力端子２０４には、上記図２、図３の端子１０４からのピッチのデータが供給され、入力端子２０５には、上記図２、図３の端子１０５からのＶ／ＵＶ判定データが供給されている。   Further, weighted vector quantized code index data of the spectrum envelope (Am) corresponding to the output from the encoder-side terminal 103 in FIGS. 2 and 3 is supplied to the input terminal 203 in FIG. 204 is supplied with pitch data from the terminal 104 in FIGS. 2 and 3, and the input terminal 205 is supplied with V / UV determination data from the terminal 105 in FIGS.

入力端子２０３からのスペクトルエンベロープＡｍのベクトル量子化されたインデクスデータは、逆ベクトル量子化器２１２に送られて逆ベクトル量子化が施される。この逆ベクトル量子化されたエンベロープの振幅データの個数は、上述したように一定個数、例えば４４個とされており、基本的には、ピッチデータに応じた本数のハーモニクスとなるようにデータ数変換する。これに対して本例のように、ピッチを変更したい場合には、逆ベクトル量子化器２１２からのエンベロープデータをデータ数変換部２７０に送って、変更したいピッチに応じて補間処理等によりエンベロープの振幅データの個数を変更している。   The index-quantized index data of the spectral envelope Am from the input terminal 203 is sent to the inverse vector quantizer 212 and subjected to inverse vector quantization. The number of amplitude data of the envelope subjected to inverse vector quantization is a fixed number, for example, 44 as described above. Basically, the number of data is converted so that the number of harmonics corresponds to the pitch data. To do. On the other hand, as in this example, when it is desired to change the pitch, the envelope data from the inverse vector quantizer 212 is sent to the data number conversion unit 270, and the envelope is changed by interpolation processing or the like according to the pitch to be changed. The number of amplitude data is changed.

また、データ数変換部２７０には、入力端子２０４からのピッチデータも供給されており、エンコード時のピッチが、変更したいピッチに変換されて出力される。このデータ数変換部２７０からのＬＰＣ残差のスペクトルエンベロープの変更ピッチに応じた個数の振幅データと、変更されたピッチデータとが有声音合成部２１１のサイン波合成回路２１５に送られている。   The data number conversion unit 270 is also supplied with pitch data from the input terminal 204, and the pitch at the time of encoding is converted into a pitch to be changed and output. The number of amplitude data corresponding to the change pitch of the spectrum envelope of the LPC residual from the data number conversion unit 270 and the changed pitch data are sent to the sine wave synthesis circuit 215 of the voiced sound synthesis unit 211.

ここで、データ数変換部２７０でのＬＰＣ残差のスペクトルエンベロープの振幅データの個数を変換するには、種々の補間方法が考えられるが、例えば、周波数軸上の有効帯域１ブロック分の振幅データに対して、ブロック内の最後のデータからブロック内の最初のデータまでの値を補間するようなダミーデータを付加してデータ個数をＮ_Ｆ個に拡大した後あるいはブロック内の左端及び右端（最初と最後）のデータを延長してダミーデータとして、帯域制限型のＯ_Ｓ倍（例えば８倍）のオーバーサンプリングを施すことによりＯ_Ｓ倍の個数の振幅データを求め、このＯ_Ｓ倍の個数（（ｍ_ＭＸ＋１）×Ｏ_Ｓ個）の振幅データを直線補間してさらに多くのＮ_Ｍ個（例えば２０４８個）に拡張し、このＮ_Ｍ個のデータを間引いて、変更したいピッチに応じた個数Ｍのデータに変換すればよい。 Here, in order to convert the number of amplitude data of the spectrum envelope of the LPC residual in the data number conversion unit 270, various interpolation methods can be considered. For example, amplitude data for one block of the effective band on the frequency axis can be considered. respect, left and right (first first by adding dummy data as to interpolate a value from the data or block after the enlarged data number in the N _F block from the last data in a block last) as dummy data by extending the data, obtains the amplitude data of O _S times the number by performing oversampling O _S times the band-limited (e.g., 8 times), the O _S times the number ( the _(m MX +1) × _O amplitude data _S pieces) extended to more _{N M} pieces and linear interpolation (e.g., 2048), by thinning the _{N M} number of data, and changes It may be converted to the data of the number M in accordance with the pitch.

データ数変換部２７０においては、スペクトルエンベロープの形状を変えないで、ハーモニクスの立っている位置だけを変更するようにしている。このため、音韻は不変である。   In the data number conversion unit 270, only the position where the harmonics are standing is changed without changing the shape of the spectrum envelope. For this reason, the phoneme is invariant.

ここで、上記データ数変換部２７０における動作の一例として、ピッチラグＬのときの周波数Ｆ_０＝ｆs／Ｌを、Ｆx に変換する場合について説明する。ｆs はサンプリング周波数であり、例えば ｆs＝８ｋHz＝８０００Hzとする。 Here, as an example of the operation in the data number conversion unit 270, a case where the frequency F ₀ = fs / L at the pitch lag L is converted to Fx will be described. fs is a sampling frequency, for example, fs = 8 kHz = 8000 Hz.

このとき、ピッチ周波数Ｆ_０＝８０００／Ｌ であり、ハーモニクスは４０００Hzまでの間にｎ＝Ｌ／２本立っている。通常の音声帯域の３４００Hz幅では、約（Ｌ／２）×（３４００／４０００）である。これを、上述したデータ数変換あるいは次元変換により一定の本数、例えば４４本に変換した後、ベクトル量子化を行う。なお、単にピッチ変換を行うのであれば、量子化を行う必要はない。 At this time, the pitch frequency is F ₀ = 8000 / L, and n = L / 2 harmonics stands up to 4000 Hz. In the 3400 Hz width of a normal voice band, it is about (L / 2) × (3400/4000). This is converted into a fixed number, for example, 44 by the above-described data number conversion or dimension conversion, and then vector quantization is performed. If the pitch conversion is simply performed, it is not necessary to perform quantization.

ベクトル逆量子化後に、データ数変換部２７０において、４４本のハーモニクスを次元変換で任意の本数、すなわち任意のピッチ周波数Ｆx に変更できる。ピッチ周波数Ｆx （Hz）に対応するピッチラグＬx は、Ｌx＝８０００／Ｆxであり、３４００Hzまでの間には、(Lx/2)×(3400/4000) ＝ (4000/Fx)×(3400/4000) ＝ 3400/Fxすなわち、３４００／Ｆx 本のハーモニクスが立っている。すなわち、データ数変換部２７０内での次元変換あるいはデータ数変換で、４４点→３４００／Ｆxへの変換を行えばよい。   After the vector inverse quantization, the number-of-data conversion unit 270 can change the 44 harmonics to an arbitrary number, that is, an arbitrary pitch frequency Fx by dimension conversion. The pitch lag Lx corresponding to the pitch frequency Fx (Hz) is Lx = 8000 / Fx, and between 3400 Hz, (Lx / 2) × (3400/4000) = (4000 / Fx) × (3400/4000 ) = 3400 / Fx, that is, 3400 / Fx harmonics are standing. That is, the conversion from 44 points to 3400 / Fx may be performed by dimension conversion or data number conversion in the data number conversion unit 270.

なお、エンコード時にスペクトルのベクトル量子化に先だってフレーム間差分をとっている場合には、ここでの逆ベクトル量子化後にフレーム間差分の復号を行ってからデータ数変換を行い、スペクトルエンベロープのデータを得る。   In addition, when the interframe difference is taken prior to the vector quantization of the spectrum during encoding, the number of data is converted after decoding the interframe difference after the inverse vector quantization here, and the spectrum envelope data is converted. obtain.

サイン波合成回路２１５には、データ数変換部２７０からのＬＰＣ残差のスペクトルエンベロープ振幅データやピッチデータの他にも、入力端子２０５からの上記Ｖ／ＵＶ判定データが供給されている。サイン波合成回路２１５からは、ＬＰＣ残差データが取り出され、これが加算器２１８に送られている。   In addition to the spectral envelope amplitude data and pitch data of the LPC residual from the data number conversion unit 270, the V / UV determination data from the input terminal 205 is supplied to the sine wave synthesis circuit 215. From the sine wave synthesis circuit 215, LPC residual data is extracted and sent to the adder 218.

また、逆ベクトル量子化器２１２からのエンベロープのデータと、入力端子２０４、２０５からのピッチ、Ｖ／ＵＶ判定データとは、有声音（Ｖ）部分のノイズ加算のためのノイズ合成回路２１６に送られている。このノイズ合成回路２１６からの出力は、重み付き重畳加算回路２１７を介して加算器２１８に送っている。これは、サイン波合成によって有声音のＬＰＣ合成フィルタへの入力となるエクサイテイション（Excitation：励起、励振）を作ると、男声等の低いピッチの音で鼻づまり感がある点、及びＶ（有声音）とＵＶ（無声音）とで音質が急激に変化し不自然に感じる場合がある点を考慮し、有声音部分のＬＰＣ合成フィルタ入力すなわちエクサイテイションについて、音声符号化データに基づくパラメータ、例えばピッチ、スペクトルエンベロープ振幅、フレーム内の最大振幅、残差信号のレベル等を考慮したノイズをＬＰＣ残差信号の有声音部分に加えているものである。   The envelope data from the inverse vector quantizer 212 and the pitch and V / UV determination data from the input terminals 204 and 205 are sent to the noise synthesis circuit 216 for adding noise of the voiced sound (V) portion. It has been. The output from the noise synthesis circuit 216 is sent to the adder 218 via the weighted superposition addition circuit 217. This is because when excitement (excitation: excitation, excitation) is input to the LPC synthesis filter of voiced sound by sine wave synthesis, there is a sense of stuffy nose with low pitch sounds such as male voices, and V ( In consideration of the fact that the sound quality may suddenly change between UV (unvoiced sound) and UV (unvoiced sound) and may feel unnatural, parameters for the LPC synthesis filter input of the voiced sound part, ie, the excitation, based on the speech coding data, For example, noise considering the pitch, spectrum envelope amplitude, maximum amplitude in the frame, residual signal level, and the like is added to the voiced portion of the LPC residual signal.

加算器２１８からの加算出力は、ＬＰＣ合成フィルタ２１４の有声音用の合成フィルタ２３６に送られてＬＰＣの合成処理が施されることにより時間波形データとなり、さらに有声音用ポストフィルタ２３８ｖでフィルタ処理された後、加算器２３９に送られる。   The addition output from the adder 218 is sent to the voiced sound synthesis filter 236 of the LPC synthesis filter 214 to be subjected to LPC synthesis processing, thereby becoming time waveform data, and further filtered by the voiced sound postfilter 238v. Is sent to the adder 239.

次に、図１４の入力端子２０７ｓ及び２０７ｇには、上記図３の出力端子１０７ｓ及び１０７ｇからのＵＶデータとしてのシェイプインデクス及びゲインインデクスがそれぞれ供給され、無声音合成部２２０に送られている。端子２０７ｓからのシェイプインデクスは、無声音合成部２２０の雑音符号帳２２１に、端子２０７ｇからのゲインインデクスはゲイン回路２２２にそれぞれ送られている。雑音符号帳２２１から読み出された代表値出力は、無声音のＬＰＣ残差に相当するノイズ信号成分であり、これがゲイン回路２２２で所定のゲインの振幅となり、窓かけ回路２２３に送られて、上記有声音部分とのつなぎを円滑化するための窓かけ処理が施される。   Next, the shape index and the gain index as UV data from the output terminals 107 s and 107 g in FIG. 3 are respectively supplied to the input terminals 207 s and 207 g in FIG. 14 and sent to the unvoiced sound synthesis unit 220. The shape index from the terminal 207 s is sent to the noise codebook 221 of the unvoiced sound synthesizer 220, and the gain index from the terminal 207 g is sent to the gain circuit 222. The representative value output read from the noise codebook 221 is a noise signal component corresponding to the LPC residual of the unvoiced sound, which becomes a predetermined gain amplitude in the gain circuit 222, and is sent to the windowing circuit 223, which A windowing process for smoothing the connection with the voiced sound part is performed.

窓かけ回路２２３からの出力は、無声音合成部２２０からの出力として、ＬＰＣ合成フィルタ２１４のＵＶ（無声音）用の合成フィルタ２３７に送られる。合成フィルタ２３７では、ＬＰＣ合成処理が施されることにより無声音部分の時間波形データとなり、この無声音部分の時間波形データは無声音用ポストフィルタ２３８ｕでフィルタ処理された後、加算器２３９に送られる。   The output from the windowing circuit 223 is sent to the UV (unvoiced sound) synthesis filter 237 of the LPC synthesis filter 214 as the output from the unvoiced sound synthesis unit 220. In the synthesis filter 237, the LPC synthesis processing is performed, so that the time waveform data of the unvoiced sound part is obtained. The time waveform data of the unvoiced sound part is filtered by the unvoiced sound post filter 238u and then sent to the adder 239.

加算器２３９では、有声音用ポストフィルタ２３８ｖからの有声音部分の時間波形信号と、無声音用ポストフィルタ２３８ｕからの無声音部分の時間波形データとが加算され、出力端子２０１より取り出される。   In the adder 239, the time waveform signal of the voiced sound part from the voiced sound post filter 238v and the time waveform data of the unvoiced sound part from the unvoiced sound post filter 238u are added and taken out from the output terminal 201.

以上説明したように、スペクトルエンベロープの形状を変えないでハーモニクスの本数を変えることにより、音声の音韻を変えることなくピッチを変えることができる。従って、１つの音声パターンの符号化されたデータすなわちエンコーデッドビットストリームを持っていれば、そのピッチを任意に変更して合成することができる。   As described above, the pitch can be changed without changing the phoneme of the voice by changing the number of harmonics without changing the shape of the spectrum envelope. Therefore, if there is encoded data of one voice pattern, that is, an encoded bit stream, the pitch can be arbitrarily changed and synthesized.

すなわち、図１５において、符号化データ出力部３０１からは、上述した図２や図３のエンコーダ等により符号化されることによって得られたエンコーデッドビットストリームあるいは符号化データが出力され、これらのデータの内、少なくともピッチデータ及びスペクトルエンベロープデータがデータ変換部３０２を介して波形合成部３０３に送られ、またＶ／ＵＶ（有声音／無声音）判定データのようなピッチ変換に無関係のデータは直接的に波形合成部３０３に送られる。   That is, in FIG. 15, the encoded data output unit 301 outputs an encoded bit stream or encoded data obtained by encoding with the encoders of FIGS. 2 and 3 described above, and these data. Among them, at least pitch data and spectrum envelope data are sent to the waveform synthesis unit 303 via the data conversion unit 302, and data unrelated to pitch conversion such as V / UV (voiced / unvoiced sound) determination data is directly To the waveform synthesizer 303.

波形合成部３０３は、スペクトルエンベロープデータやピッチデータに基づいて音声波形を合成するものであり、上記図４や図５のような方式の合成装置の場合には、ＬＳＰデータやＣＥＬＰ用のデータ等も符号化データ出力部３０１から取り出されて供給されることは勿論である。   The waveform synthesizer 303 synthesizes a speech waveform based on spectrum envelope data or pitch data. In the case of a synthesizer of the type shown in FIGS. 4 and 5, the LSP data, CELP data, etc. Of course, the data is taken out from the encoded data output unit 301 and supplied.

この図１５のような構成において、少なくともピッチデータやスペクトルエンベロープデータが、上述したように、データ変換部３０２で変更したいピッチに応じて変換された後、波形合成部３０３に送られて音声波形が合成されることにより、音韻を変化させることなくピッチが変更された音声信号を、出力端子３０４から取り出すことができる。   In the configuration as shown in FIG. 15, at least the pitch data and the spectrum envelope data are converted according to the pitch to be changed by the data converter 302 as described above, and then sent to the waveform synthesizer 303 to generate the voice waveform. By synthesizing, an audio signal whose pitch is changed can be extracted from the output terminal 304 without changing the phoneme.

また、このような技術を、規則合成、テキスト合成等と組み合わせることもできる。   Such a technique can be combined with rule synthesis, text synthesis, and the like.

図１６は、音声のテキスト合成に本発明を適用した例を示すものであり、上述したような音声圧縮符号化のデコーダと、テキスト音声合成の音声合成器とを兼用させることができる。また、図１６の例では、音声データの再生も組み合わせて使用している。   FIG. 16 shows an example in which the present invention is applied to speech text synthesis, and a speech compression coding decoder as described above can be used as a text speech synthesis speech synthesizer. Further, in the example of FIG. 16, reproduction of audio data is also used in combination.

すなわち、図１６において、規則音声合成部３００内に、音声の規則合成部と、上述したようなピッチ変更のためのデータ変換を伴った音声合成部とが含まれており、テキスト解析部３１０からデータが入力されて、合成された所望のピッチの音声信号が出力され、この合成音声信号は切換スイッチ３３０の被選択端子ａに送られる。また、音声再生部３２０は、必要に応じて圧縮処理が施されてＲＯＭ等に記憶された音声データを読み出し、圧縮処理に対応する伸長処理が施して、音声信号を出力するものである。この再生音声信号は切換スイッチ３３０の被選択端子ｂに送られる。切換スイッチ３３０で上記合成音声信号、再生音声信号の一方が選択されて、出力端子３４０より取り出される。   That is, in FIG. 16, the regular speech synthesizer 300 includes a speech regular synthesizer and a speech synthesizer with data conversion for pitch change as described above. Data is input and a synthesized voice signal with a desired pitch is output. This synthesized voice signal is sent to the selected terminal a of the changeover switch 330. The audio playback unit 320 reads audio data that has been subjected to compression processing as necessary and stored in a ROM or the like, and performs decompression processing corresponding to the compression processing to output an audio signal. This reproduced audio signal is sent to the selected terminal b of the changeover switch 330. One of the synthesized audio signal and the reproduced audio signal is selected by the changeover switch 330 and taken out from the output terminal 340.

この図１６に示すような装置は、例えば自動車等のナビゲーション装置に適用することができる。このナビゲーション装置に適用する場合において、例えば「右に曲がってください。」といった方向指示等の定形の発話には、音声再生部３２０からの高品質でクリアな再生音声を用い、地名や建物名等のように数が膨大でＲＯＭ等に音声情報として蓄えることが難しい特殊な名称等の発話には、規則音声合成部３００からの合成音声を用いることが挙げられる。   The apparatus as shown in FIG. 16 can be applied to a navigation apparatus such as an automobile. In the case of application to this navigation device, for example, a high-quality and clear reproduction voice from the voice reproduction unit 320 is used for a regular utterance such as “turn right”. For example, the synthesized speech from the regular speech synthesizer 300 is used for utterances of special names and the like that are very large and difficult to store as speech information in a ROM or the like.

また、本発明を用いることで同一のハードウェアが、３００と３２０の両方に使用できるメリットがある。   Further, by using the present invention, there is an advantage that the same hardware can be used for both 300 and 320.

なお、本発明は上記実施の形態のみに限定されるものではなく、例えば上記図１、図３の音声分析側（エンコード側）の構成や、図１４の音声合成側（デコード側）の構成については、各部をハードウェア的に記載しているが、いわゆるＤＳＰ（ディジタル信号プロセッサ）等を用いてソフトウェアプログラムにより実現することも可能である。また、上記ベクトル量子化の代わりに、複数フレームのデータをまとめてマトリクス量子化を施してもよい。さらに、本発明は、種々の音声分析／合成方法に適用でき、用途としても、伝送や記録再生に限定されず、ピッチ変換やスピード変換、規則音声合成、あるいは雑音抑圧のような種々の用途に応用できることは勿論である。   The present invention is not limited to the above-described embodiment. For example, the configuration on the speech analysis side (encoding side) in FIGS. 1 and 3 and the configuration on the speech synthesis side (decoding side) in FIG. Each part is described in hardware, but can be realized by a software program using a so-called DSP (digital signal processor) or the like. Further, instead of the vector quantization, data of a plurality of frames may be collected and subjected to matrix quantization. Further, the present invention can be applied to various speech analysis / synthesis methods, and the usage is not limited to transmission and recording / reproduction, and various uses such as pitch conversion, speed conversion, regular speech synthesis, or noise suppression. Of course, it can be applied.

以上説明したような符号化部及び復号化部は、例えば図１７及び図１８に示すような携帯通信端末あるいは携帯電話機等に使用される音声コーデックとして用いることができる。   The encoding unit and decoding unit as described above can be used as an audio codec used in, for example, a mobile communication terminal or a mobile phone as shown in FIGS.

すなわち、図１７は、上記図２、図３に示したような構成を有する音声符号化部１６０を用いて成る携帯端末の送信側構成を示している。この図１７のマイクロホン１６１で集音された音声信号は、アンプ１６２で増幅され、Ａ／Ｄ（アナログ／ディジタル）変換器１６３でディジタル信号に変換されて、音声符号化部１６０に送られる。この音声符号化部１６０は、上述した図２、図３に示すような構成を有しており、この入力端子１０１に上記Ａ／Ｄ変換器１６３からのディジタル信号が入力される。音声符号化部１６０では、上記図２、図３と共に説明したような符号化処理が行われ、図２、図３の各出力端子からの出力信号は、音声符号化部１６０の出力信号として、伝送路符号化部１６４に送られる。伝送路符号化部１６４では、いわゆるチャネルコーディング処理が施され、その出力信号が変調回路１６５に送られて変調され、Ｄ／Ａ（ディジタル／アナログ）変換器１６６、ＲＦアンプ１６７を介して、アンテナ１６８に送られる。   That is, FIG. 17 shows a transmission side configuration of a portable terminal using the speech encoding unit 160 having the configuration as shown in FIGS. The voice signal collected by the microphone 161 in FIG. 17 is amplified by the amplifier 162, converted into a digital signal by the A / D (analog / digital) converter 163, and sent to the voice encoding unit 160. The speech encoding unit 160 has the configuration shown in FIGS. 2 and 3 described above, and the digital signal from the A / D converter 163 is input to the input terminal 101. The speech encoding unit 160 performs the encoding process described with reference to FIGS. 2 and 3, and the output signals from the output terminals in FIGS. 2 and 3 are output signals from the speech encoding unit 160. It is sent to the transmission path encoding unit 164. In the transmission path encoding unit 164, so-called channel coding processing is performed, the output signal is sent to the modulation circuit 165 and modulated, and the antenna is passed through the D / A (digital / analog) converter 166 and the RF amplifier 167. 168.

また、図１８は、上記図５、図１４に示したような構成を有する音声復号化部２６０を用いて成る携帯端末の受信側構成を示している。この図１８のアンテナ２６１で受信された音声信号は、ＲＦアンプ２６２で増幅され、Ａ／Ｄ（アナログ／ディジタル）変換器２６３を介して、復調回路２６４に送られ、復調信号が伝送路復号化部２６５に送られる。２６４からの出力信号は、上記図５、図１４に示すような構成を有する音声復号化部２６０に送られる。音声復号化部２６０では、上記図５、図１４と共に説明したような復号化処理が施され、図５、図１４の出力端子２０１からの出力信号が、音声復号化部２６０からの信号としてＤ／Ａ（ディジタル／アナログ）変換器２６６に送られる。このＤ／Ａ変換器２６６からのアナログ音声信号がスピーカ２６８に送られる。   FIG. 18 shows the configuration of the receiving side of a mobile terminal using the speech decoding unit 260 having the configuration shown in FIGS. The audio signal received by the antenna 261 in FIG. 18 is amplified by an RF amplifier 262 and sent to a demodulation circuit 264 via an A / D (analog / digital) converter 263, and the demodulated signal is subjected to transmission path decoding. To the unit 265. The output signal from H.264 is sent to speech decoding section 260 having the configuration shown in FIGS. The speech decoding unit 260 performs the decoding process described with reference to FIGS. 5 and 14, and the output signal from the output terminal 201 in FIGS. 5 and 14 is D as the signal from the speech decoding unit 260. / A (digital / analog) converter 266. The analog audio signal from the D / A converter 266 is sent to the speaker 268.

本発明の実施の形態に係る音声信号の再生方法及び装置は、時間軸上で所定の符号化単位毎に区分されて該単位毎の符号化処理により得られた符号化パラメータを補間処理して所望の時刻に対応する変更符号化パラメータを求め、この変更符号化パラメータに基づいて音声信号を再生するので、広いレンジにわたる任意のレートのスピードコントロールを簡単にかつ音韻，ピッチを不変として高品質に行うことができる。   An audio signal reproduction method and apparatus according to an embodiment of the present invention interpolates coding parameters obtained by coding processing for each unit divided into predetermined coding units on a time axis. Since a change encoding parameter corresponding to a desired time is obtained and a sound signal is reproduced based on the change encoding parameter, speed control at an arbitrary rate over a wide range can be easily performed with high quality by changing the phoneme and pitch. It can be carried out.

また、本発明の実施の形態に係る音声信号の再生方法によれば、入力音声信号を時間軸上で所定のブロック単位毎に区分して得た符号化パラメータを用い、符号化時とは異なる長さのブロックで音声を再生するので、広いレンジにわたる任意のレートのスピードコントロールを簡単にかつ音韻，ピッチを不変として高品質に行うことができる。   Also, according to the audio signal reproduction method according to the embodiment of the present invention, the encoding parameter obtained by dividing the input audio signal into predetermined block units on the time axis is used, which is different from the encoding time. Since sound is played back with a block of length, speed control at an arbitrary rate over a wide range can be easily performed with high quality with unchanged phoneme and pitch.

また、本発明の実施の形態に係る音声復号化方法及び装置は、入力されたデータのハーモニックスの基本周波数と所定の帯域内における個数を変換し、上記入力された各ハーモニックスにおけるスペクトルの大きさを表すデータの個数を補間処理することによってピッチを変更するので、簡単な構成で任意のピッチに変更することができる。   Also, the speech decoding method and apparatus according to the embodiment of the present invention converts the fundamental frequency of the input data and the number in a predetermined band, and the magnitude of the spectrum in each input harmonic. Since the pitch is changed by interpolating the number of pieces of data representing the height, the pitch can be changed to an arbitrary pitch with a simple configuration.

この場合、音声圧縮のデコーダとテキスト音声合成の音声合成器を兼用させることが挙げられる。ここで、定型の発話には圧縮・伸張によりクリアな再生音を得て、特殊な合成にはテキスト合成あるいは規則合成を用いることにより、効率的な音声出力システムを構成することができる。   In this case, a speech compression decoder and a text speech synthesis speech synthesizer may be combined. Here, a clear reproduction sound is obtained by compression / expansion for a standard utterance, and text synthesis or rule synthesis is used for special synthesis, whereby an efficient voice output system can be configured.

また、本発明の実施の形態に係る携帯無線端末装置は、ピッチ変換あるいはピッチコントロールされた音声信号を簡単な構成で送受信できる。   In addition, the mobile radio terminal apparatus according to the embodiment of the present invention can transmit and receive a pitch-converted or pitch-controlled audio signal with a simple configuration.

本発明に係る音声信号の再生方法及び装置の実施の形態となる音声信号再生装置の基本構成を示すブロック図である。1 is a block diagram showing a basic configuration of an audio signal reproduction apparatus as an embodiment of an audio signal reproduction method and apparatus according to the present invention. 上記音声信号再生装置の符号化部の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the encoding part of the said audio | voice signal reproduction | regeneration apparatus. 上記符号化部の詳細な構成を示すブロック図である。It is a block diagram which shows the detailed structure of the said encoding part. 上記音声信号再生装置の復号化部の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the decoding part of the said audio | voice signal reproduction | regeneration apparatus. 上記復号化部の詳細な構成を示すブロック図である。It is a block diagram which shows the detailed structure of the said decoding part. 上記復号化部の変更符号化パラメータ算出部の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of the change encoding parameter calculation part of the said decoding part. 上記変更符号化パラメータ算出部で得られる変更符号化パラメータを時間軸上で表現した模式図である。It is the schematic diagram which represented on the time axis the change encoding parameter obtained by the said change encoding parameter calculation part. 上記変更符号化パラメータ算出部の補間処理の動作を詳細に説明するためのフローチャートである。It is a flowchart for demonstrating in detail the operation | movement of the interpolation process of the said change encoding parameter calculation part. 上記補間処理の動作を説明するための模式図である。It is a schematic diagram for demonstrating the operation | movement of the said interpolation process. 上記変更符号化パラメータ算出部の動作例を説明するための模式図である。It is a schematic diagram for demonstrating the operation example of the said change encoding parameter calculation part. 上記変更符号化パラメータ算出部の他の動作例を説明するための模式図である。It is a schematic diagram for demonstrating the other operation example of the said change encoding parameter calculation part. 復号化部にてフレーム長を可変にしてスピードを速くコントロールする場合の動作を説明するための図である。It is a figure for demonstrating the operation | movement in the case of making a frame length variable and controlling speed fast in a decoding part. 復号化部にてフレーム長を可変にしてスピードを遅くコントロールする場合の動作を説明するための図である。It is a figure for demonstrating operation | movement in the case of controlling a slow speed by making a frame length variable in a decoding part. 上記復号化部の詳細な他の構成を示すブロック図である。It is a block diagram which shows the other detailed structure of the said decoding part. 音声合成装置への適用例を示すブロック図である。It is a block diagram which shows the example of application to a speech synthesizer. テキスト音声合成装置への適用例を示すブロック図である。It is a block diagram which shows the example of application to a text speech synthesizer. 上記符号化部が用いられる携帯端末の送信側構成を示すブロック図である。It is a block diagram which shows the transmission side structure of the portable terminal in which the said encoding part is used. 上記復号化部が用いられる携帯端末の受信側構成を示すブロック図である。It is a block diagram which shows the receiving side structure of the portable terminal in which the said decoding part is used.

符号の説明Explanation of symbols

１ 音声信号再生装置、２ 符号化部、３ 周期変更部、４ 復号化部、５パラメータ変更処理部、６ 音声合成処理部   DESCRIPTION OF SYMBOLS 1 Audio | voice signal reproduction apparatus, 2 Encoding part, 3 Period change part, 4 Decoding part, 5 Parameter change process part, 6 Speech synthesis process part

Claims (4)

入力音声信号を時間軸上で、所定の符号化単位で区分し、上記入力音声信号が有声音か無声音かを判別し、その判別結果に基づいて、有声音とされた部分ではサイン波合成符号化を行い、無声音とされた部分では合成による分析法を用いて最適ベクトルのクローズドループサーチによるベクトル量子化を行うことで求めた符号化パラメータに基づいて音声信号を再生する音声信号の再生方法であって、
上記符号化パラメータを補間処理して所望の時刻に対応する変更符号化パラメータを求め、
この変更符号化パラメータに基づいて有声音の場合には有声音用の合成フィルタにより有声音を合成し、無声音の場合には無声音用の合成フィルタにより無声音を合成し、上記それぞれの合成フィルタからの出力を加算して音声信号を再生する
ことを特徴とする音声信号の再生方法。 The input speech signal is divided into predetermined coding units on the time axis, and it is determined whether the input speech signal is voiced sound or unvoiced sound. The voice signal playback method reproduces the voice signal based on the coding parameters obtained by performing the vector quantization by the closed loop search of the optimal vector using the analysis method by synthesis in the part that is made unvoiced sound There,
Interpolating the above encoding parameters to obtain a changed encoding parameter corresponding to a desired time,
Based on the changed coding parameters, voiced sounds are synthesized by a voiced sound synthesis filter in the case of voiced sounds, and unvoiced sounds are synthesized by an unvoiced voice synthesis filter in the case of unvoiced sounds. A method for reproducing an audio signal, wherein the output is added to reproduce an audio signal. 上記変更符号化パラメータの補間は、有声音から無声音または無声音から有声音に変わる場合には、有声音から有声音または無声音から無声音の場合と異なる方法で補間することを特徴とする請求項１記載の音声信号の再生方法。   2. The method of claim 1, wherein the change encoding parameter is interpolated by a method different from the case of voiced to voiced or unvoiced to unvoiced when changing from voiced to unvoiced or unvoiced to voiced. Audio signal playback method. 入力音声信号を時間軸上で、所定の符号化単位で区分し、上記入力音声信号が有声音か無声音かを判別し、その判別結果に基づいて、有声音とされた部分ではサイン波合成符号化を行い、無声音とされた部分では合成による分析法を用いて最適ベクトルのクローズドループサーチによるベクトル量子化を行うことで求めた符号化パラメータに基づいて音声信号を再生する音声信号の再生装置であって、
上記符号化パラメータを補間処理して所望の時刻に対応する変更符号化パラメータを求め、
この変更符号化パラメータに基づいて有声音の場合には有声音用の合成フィルタにより有声音を合成し、無声音の場合には無声音用の合成フィルタにより無声音を合成し、上記それぞれの合成フィルタからの出力を加算して音声信号を再生する
ことを特徴とする音声信号の再生装置。 The input speech signal is divided into predetermined coding units on the time axis, and it is determined whether the input speech signal is voiced sound or unvoiced sound. This is a voice signal playback device that plays back a voice signal based on the coding parameters obtained by performing vector quantization by closed loop search of the optimal vector using the analysis method by synthesis in the part that is made unvoiced sound There,
Interpolating the above encoding parameters to obtain a changed encoding parameter corresponding to a desired time,
Based on the changed coding parameters, voiced sounds are synthesized by a voiced sound synthesis filter in the case of voiced sounds, and unvoiced sounds are synthesized by an unvoiced voice synthesis filter in the case of unvoiced sounds. An audio signal reproducing apparatus, wherein outputs are added to reproduce an audio signal. 上記変更符号化パラメータの補間は、有声音から無声音または無声音から有声音に変わる場合には、有声音から有声音または無声音から無声音の場合と異なる方法で補間することを特徴とする請求項３記載の音声信号の再生装置。   4. The change coding parameter is interpolated by a method different from the case of voiced to voiced or unvoiced to unvoiced when changing from voiced to unvoiced or unvoiced to voiced. Audio signal playback device.

Images