JPS5969798A - Extraction of pitch - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。(57) [Summary] This bulletin contains application data before electronic filing, so abstract data is not recorded.

Description

【発明の詳細な説明】 産業上の利用分野 本発明は音声分所合成系における基本的なパラメータの
１つである音声ピッチの抽出方法に関するものである。DETAILED DESCRIPTION OF THE INVENTION Field of Industrial Application The present invention relates to a method for extracting speech pitch, which is one of the basic parameters in a speech segmental synthesis system.

従来例の構成とその問題点 音声ピッチとは、有声時における声の高さに相当する基
本周波数で、音声の基本的なパラメータの１つであり、
この音声ピッチを音声波形より抽出した結果が、合成時
における音声合成音の品質に非常に影響する。音声波形
のピッチ抽出法は従来から色々な方法が提案されており
、たとえば、音声信号をある時間長のフレーム周期で分
割し、各フレーム毎に音声信号の自己相関係数を算出し
抽出する方法が広く用いられている。しかし、この方法
は正しいピッチの２倍周期や％倍周期のピッチ周波数を
誤まって抽出することがしばしばあリピノチ抽出の精度
を高くすることができない。Conventional configuration and its problems Voice pitch is a fundamental frequency corresponding to the pitch of the voice when voiced, and is one of the fundamental parameters of voice.
The result of extracting this speech pitch from the speech waveform greatly affects the quality of speech synthesized speech during synthesis. Various methods have been proposed for pitch extraction of audio waveforms. For example, there is a method in which the audio signal is divided into frame periods of a certain length of time, and the autocorrelation coefficient of the audio signal is calculated and extracted for each frame. is widely used. However, this method often erroneously extracts a pitch frequency that is twice or % times the correct pitch, and cannot improve the accuracy of pitch extraction.

発明の目的 本発明は上記の問題を改善するもので、その目的は、自
己相関係数によるピッチ抽出法におけるピンチの誤抽出
を防ぎ、精度の高いピッチ抽出が可能であるピッチ抽出
方法を提供するものである。Purpose of the Invention The present invention is intended to improve the above-mentioned problems, and its purpose is to provide a pitch extraction method that prevents erroneous pinch extraction in the pitch extraction method using autocorrelation coefficients and enables highly accurate pitch extraction. It is something.

発明の構成 本発明は、音声波形の状態によってピンチ抽出の探策範
囲を可変にしている。Structure of the Invention The present invention makes the search range for pinch extraction variable depending on the state of the audio waveform.

つまり、音声波形のピッチ抽出において、母音はもとよ
り、音声波形のパワーがあらかじめ定められた値以上で
ほぼ定常と見なせる部分においては、抽出されたピッチ
周波数の変動は少なく、また、音声波形の語頭の部分で
は、ピッチ周波数の変動は非常に大きいことに着目する
。すなわち長期無音後の「言葉」の立ち上がり、つまり
音声の語頭の部分を語頭部１．音声波形のパワーが、あ
らかじめ定められた値以下になった時又は一時的に無音
になった時後の語頭の部分を語頭部２、さらに、音声波
形があるパワー値以上で定常状態と見なせる部分を有声
定常部として、音声波形をピッチ周期の数倍程度のフレ
ーム周期に分割した各区間の音声波形が上記の３つのい
ずれの場合に相当する音声波形であるかを検出して語頭
部１では、予め定めた初期値によって決定した探索範囲
でピッチ抽出を行ない、語頭部２では、直前の有声音定
常部の最初の区間で検出されたピッチ周期の近傍に制限
してピッチ周期の探索を行ない、有声音定常部では、直
前の区間において検出されたピッチ周期の近傍に制限し
た探索範囲で、ピッチ周期を抽出する。上記の様に音声
波形に対応したピッチ抽出範囲を用意して、適応的にピ
ッチ抽出の探索範囲を変更することによって、２倍、あ
るいは％倍のピッチ周波数を、誤って抽出することを防
ぐことが出来る。In other words, when extracting the pitch of a speech waveform, the variation in the extracted pitch frequency is small not only for vowels but also for parts where the power of the speech waveform is above a predetermined value and can be considered almost stationary. In this section, we note that the variation in pitch frequency is very large. In other words, the rise of a "word" after a long period of silence, that is, the beginning of a voice, is called "word beginning 1." When the power of the speech waveform falls below a predetermined value or becomes temporarily silent, the initial part of the word can be considered as word initial 2, and when the speech waveform exceeds a certain power value, it can be considered as a steady state. The voice waveform is divided into a frame period of several times the pitch period, with the voiced stationary part as the voiced stationary part.The voice waveform of each section is detected to correspond to which of the three cases above, and the beginning of the word is detected. In 1, pitch extraction is performed in the search range determined by a predetermined initial value, and in word beginning 2, the pitch period is extracted by restricting it to the vicinity of the pitch period detected in the first section of the immediately preceding voiced sound stationary part. A search is performed, and in the voiced sound stationary part, a pitch period is extracted in a search range limited to the vicinity of the pitch period detected in the immediately previous section. By preparing a pitch extraction range corresponding to the audio waveform as described above and adaptively changing the pitch extraction search range, it is possible to prevent erroneously extracting a pitch frequency that is twice or % times as large. I can do it.

実施例 以下、本発明の一実施例を図を用いて説明する。Example An embodiment of the present invention will be described below with reference to the drawings.

尚、本実施例は入力音声波を、８ＫＨｚでサンプリング
し、分析するフレーム長を可変とするものである。ピッ
チの抽出は、普通の男性と女性のピンチ変化をカバーで
きる範囲として、５０Ｈｚから４００　Ｈｚの間にして
いる。In this embodiment, the input audio wave is sampled at 8 KHz, and the frame length for analysis is made variable. Pitch extraction is performed between 50 Hz and 400 Hz, which is a range that can cover the pinch changes of ordinary men and women.

第１図はピッチ抽出装置のブロック図を表わす。FIG. 1 represents a block diagram of a pitch extraction device.

１はパワー検出器で、入力された音声波形はここでパワ
ーを検出される。２は有声無声音判別器で、有声か無声
か、あるいは無音であるかを判別する。1 is a power detector, and the power of the input audio waveform is detected here. 2 is a voiced/unvoiced sound discriminator that discriminates whether the sound is voiced, unvoiced, or silent.

３はパワー増減検出器で、パワーが増加状態であるか、
減少状態であるかを検出する。有声無声無音判別器２と
・ζワー増減検器３で得られた結果と前のフレームで算
出しだピッチの値より、ピッチ抽出探索範囲を範囲決定
器４より得る。６はピッチ算出器で、範囲決定器４で決
定された範囲の周期について、入力波形信号の自己相関
係数を算出し、係数を最大にする周期をピッチ周期とし
て出力する。3 is a power increase/decrease detector, which indicates whether the power is increasing or not.
Detect whether it is in a decreasing state. A pitch extraction search range is obtained by a range determiner 4 based on the results obtained by the voiced/unvoiced/silence discriminator 2 and the .zeta.war increase/decrease detector 3 and the pitch value calculated in the previous frame. A pitch calculator 6 calculates the autocorrelation coefficient of the input waveform signal for the period in the range determined by the range determiner 4, and outputs the period that maximizes the coefficient as the pitch period.

最初に、探索範囲の移行条件を説明する。First, the conditions for shifting the search range will be explained.

本発明では、語頭部１．及び２．音声定常部との判別を
する為に、言葉の切れ目、及び音韻の切れ目を表わすフ
ラッグ、Ｉ　ＦＡＧＧを設定する。In the present invention, word beginning 1. and 2. In order to distinguish it from a speech stationary part, a flag, IFAGG, is set to indicate a break between words and a break between phonemes.

ＩＦＡＧＧは、言葉の切れ目、及び音韻の切れ目を探索
し、その時を１とし、その音韻の・くワーが極大になっ
た後に０となるものである。IFAGG searches for breaks between words and phonemes, takes a value of 1 at that time, and becomes 0 after the value of the phoneme reaches its maximum.

ＩＦＡＧＧが、１にセントされる条件は、条件１−音声
波形が無音状態になった時。無音状態とは、入力音声波
形の・（ワーがある決められた値より小さい時に、その
フレームは無音状態であると見なす。The condition for IFAGG to be set to 1 is condition 1 - when the audio waveform becomes silent. A silent state means that when the value of the input audio waveform is smaller than a certain predetermined value, that frame is considered to be silent.

又は、 条件２−音声波形のパワーが増加状態で、かつ前のフレ
ームにおける音声波形の）くワーが、予め定められた値
（以下ＰＷＬ　　と略す）より小さい時 であり、どちらかが満足した時に、ＩＦＡＧＧは１にな
る。Or, Condition 2 - When the power of the audio waveform is increasing and the power of the audio waveform in the previous frame is smaller than a predetermined value (hereinafter abbreviated as PWL), and either of these is satisfied. , IFAGG becomes 1.

Ｉ　ＦＡＧＧが０にリセットされる条件は、条件３−音
声波形が減少状態で、かつ、前のフレーム時における音
声波形のノくワーが予め定められだ値（以下ＰＷＨと略
す）より大きい時であり、条件３を満足した時のみＩ　
ＦＡＧＧは０になる。条件３は前述した音韻ノくワーが
極大になった後を意味している。条件１．及び２．又は
条件３を満足しない時は、Ｉ　ＦＡＧＧはその時の１又
は○の状態を維持している。The condition for IFAGG to be reset to 0 is Condition 3 - When the audio waveform is in a decreasing state and the noise of the audio waveform in the previous frame is greater than a predetermined value (hereinafter abbreviated as PWH). Yes, only when condition 3 is satisfied
FAGG becomes 0. Condition 3 means that the above-mentioned phonological noise has reached its maximum. Condition 1. and 2. Or, when condition 3 is not satisfied, IFAGG maintains the current state of 1 or ○.

本実施例では、語頭部１の探索範囲を範囲Ａ、音声定常
部の探索範囲を範囲Ｂ１語頭部２の探索範囲を範囲Ｃと
する。表１は探索範囲の移行条件を表にしだものである
。In this embodiment, the search range for word beginning 1 is range A, the search range for voice stationary parts is range B1, and the search range for word beginning 2 is range C. Table 1 lists the search range transition conditions.

表　１　探索範囲の移行条件 移行■は、範囲Ａへ移行する条件で、７ラノグＩ　ＦＡ
ＧＧが１になり、その時点の前に無音区間が予め定めた
値Ｔｓ（本実施例では、Ｔｓは１０１００Ｏ）以上線い
ていた時に、探索範囲は範囲Ａへ移行する。移行■は、
範囲Ｃへ移行する条件で、ＩＦＡＧＧが１になったが、
その時点の前に無音区間がＴｓよりも短かい時は、探索
範囲は範囲Ｃへ移行する。移行■は、範囲Ｂへ移行する
条件で、Ｉ　ＦＡＧＧが０になった時、探索範囲は範囲
Ｂへ移行する。Table 1 Search range transition conditions Transition ■ is the condition for shifting to range A, and 7ranog I FA
When GG becomes 1 and the silent interval was equal to or greater than a predetermined value Ts (in this embodiment, Ts is 10100O), the search range shifts to range A. The transition ■ is
Under the condition of moving to range C, IFAGG became 1, but
If the silent period is shorter than Ts before that point, the search range shifts to range C. Transition ■ is a condition for shifting to range B, and when I FAGG becomes 0, the search range shifts to range B.

第２図は、探索範囲の移行経路を図にしだものである。FIG. 2 is a diagram illustrating the migration route of the search range.

ある範囲から他の範囲へ移行する移行番号１，２．３は
、表１の移行条件１，２．３と同じである。Transition numbers 1, 2.3 that transition from one range to another range are the same as transition conditions 1, 2.3 in Table 1.

ピッチ探索範囲は最初の無音区間でＩ　ＦＡＧＧが１に
なったあと、Ｔｓつづいて無音区間が続くと、語頭部１
と見なして、範囲Ａとする（移行■）。The pitch search range is the first silent section, and after I FAGG becomes 1, if Ts is followed by a silent section, the initial part of the word is 1.
Considering this, it is set as range A (transition ■).

次にＩ　ＦＡＧＧが０になると、音声定常部と判断して
範囲Ｂとする（移行■）。ＩＦＡＧＧが１になり、無音
区間がＴｓまで続かないと、語頭部２として範囲Ｃとな
り（移行■）、無音区間がＴｓ以以上−た場合には、範
囲へへ変わる（移行■）。Next, when I FAGG becomes 0, it is determined that the sound is a stationary part and the range B is set (transition ■). If IFAGG becomes 1 and the silent interval does not continue until Ts, it becomes range C as the word beginning 2 (transition ■), and if the silent interval lasts for more than Ts, it changes to range C (transition ■).

次に音声波形を例に上げて、探索範囲の決定方法を説明
する。第３図は音声波形パワーの変化図で横軸に時間、
縦軸に音声波形の各フレームごとのパワーをとっている
。Ｉ　ＦＡＧＧと探索範囲は右方向へ時間の経過を表わ
し、上図の音声波形パワーの横軸の時間と一致している
。Next, a method for determining the search range will be explained using a voice waveform as an example. Figure 3 is a diagram of changes in audio waveform power, with time on the horizontal axis;
The vertical axis represents the power of each frame of the audio waveform. I FAGG and the search range represent the passage of time to the right, which coincides with the time on the horizontal axis of the audio waveform power in the above diagram.

範囲を決定するのに、範囲Ａ、及びＢでは、センターピ
ッチ周波数（Ｈｚ〕を導入する。センターピッチ周波数
とは、Ｉ　ＦＡＧＧが１から０に変わるその時点のフレ
ームのピンチ周波数を維持するもので以下ＰＭＰ　Ｉ　
Ｔと略す。音声波形の中で、この部分の波形がパワーも
大きく、ピッチ周期が一番安定して抽出でき、真のピッ
チ周期の２倍や％倍の周期の抽出がきわめて少ない。し
だがってＰＭＰ　Ｉ　Ｔをその音声の近傍に対する代表
値として使用するのが賢明である。このＰＭＰ　Ｉ　Ｔ
の初期値をｆＰとすると、もし無音区間が１８以上続く
と、ＰＭＰ　Ｉ　ＴはＴｓの時間を経過するごとに、Ｐ
ＭＰ　Ｉ　Ｔ　＝　（ＰＭＰ　Ｉ　Ｔ　＋　ｆｐ　）　
／２として変換し、ｆｐの値に近似する。（本実施例で
は、ｆＰ−２００Ｈ２とし、又、ＰＭＰ　Ｉ　Ｔの砲り
得る範囲は８０〜２８０Ｈｚとしている。）まず、範囲
Ａを説明する。語頭部１０時点ではその時点の前で無音
区間がＴｓ以以上−ている。To determine the range, we introduce a center pitch frequency (Hz) in ranges A and B. The center pitch frequency is the one that maintains the pinch frequency of the frame at the time when IFAGG changes from 1 to 0. Below is PMP I
Abbreviated as T. Among the audio waveforms, this part of the waveform has a large power, and the pitch period can be extracted most stably, and extraction of periods that are twice or % times the true pitch period is extremely rare. It is therefore wise to use PMP I T as a representative value for that audio neighborhood. This PMP I T
If the initial value of is fP, if the silent period continues for 18 or more, PMP I
MPIT = (PMPIT + fp)
/2 to approximate the value of fp. (In this embodiment, fP-200H2 is used, and the range that PMP I T can shoot is 80 to 280 Hz.) First, range A will be explained. At the 10th point at the beginning of a word, there is a silent section of Ts or more before that point.

１８以上の無音区間後では、前にしゃべった話者と後の
話者が異なる場合も想定されるので、広い探索範囲が必
要となる。この時のＰＭＰ　Ｉ　Ｔはほとんどｆｐに近
似した値となっている。第３図では、音声波形パワーが
ｔｌ　の時点である。この時のＰＭＰ　Ｉ　Ｔのピッチ
周期をＩＰＭとすると範囲Ａは、 ％ＩＰＭ≦範囲Ａ≦２　Ｉ　ＰＭ に設定して、語頭部１ではピッチを探索する。After 18 or more silent periods, it is assumed that the previous speaker and the subsequent speaker may be different, so a wide search range is required. PMP I T at this time is almost a value close to fp. In FIG. 3, the voice waveform power is at tl. If the pitch period of PMP I T at this time is IPM, range A is set to % IPM≦range A≦2 I PM , and the pitch is searched for at the beginning of the word 1.

次に範囲Ｃを説明する。語頭部２の時点では無音区間が
Ｔｓより短いのでＰＭＰ　ＩＴはｆ、に近似されずに、
前の区間においてＩ　ＦＡＧＧが１から○に変わる時点
のＰＭＰ　Ｉ　Ｔを維持している。Next, range C will be explained. At the beginning of the word 2, the silent interval is shorter than Ts, so PMP IT is not approximated to f, but
The PMP I T at the time when I FAGG changes from 1 to ○ in the previous section is maintained.

語頭部２とは、話者は同一人物で、その人物の音韻の変
化点を検出していることになり、例えば１力」かも「す
」に移る場合に、「す」の頭に語頭部２が現われる。一
般に音韻が変化した時は、無声音を含めてピンチは変化
が大きい。そのだめに、同一人物とみなせる前の音韻の
代表ピンチＰＭＰ　Ｉ　Ｔを中心として、広い範囲を探
索するのが有利である。Word-initial 2 means that the speaker is the same person, and the point of change in the phonology of that person is detected.For example, when ``Ichiriki'' changes to ``su'', the word at the beginning of ``su'' is detected. Head 2 appears. Generally, when the phoneme changes, the pinch changes greatly, including voiceless sounds. To avoid this, it is advantageous to search a wide range, centering on the phoneme representative pinch PMP I T before it can be considered as the same person.

第３図の例では、音声波形パワーがｔ３の時点の範囲Ｃ
において、この時点のＰＭＰ　ＩＴの値は、時刻ｔ２の
ＩＦＡＧＧが１から０に変わった時のＰＭＰ　Ｉ　Ｔを
維持している。この時のＰＭＰ　Ｉ　Ｔのピッチ周期を
ＩＰＭとすると、範囲Ｃは％±ＰＭ≦範囲Ｃ≦２±ＰＭ に設定して、ピンチを探索する。In the example of FIG. 3, the audio waveform power is in the range C at time t3.
In this case, the value of PMP IT at this point in time maintains the value of PMP IT at time t2 when IFAGG changed from 1 to 0. If the pitch period of PMP I T at this time is IPM, the range C is set to %±PM≦range C≦2±PM to search for a pinch.

次に範囲Ｂを説明する。範囲Ｂをとる音声定常部は、Ｉ
　ＦＡＧＧ−ｏの時である。第３図の例では時間ｔ２〜
ｔ３．ｔ４〜ｔ５のときの音声波形パワーが音声定常部
になる。Next, range B will be explained. The sound stationary part that takes range B is I
It's time for FAGG-o. In the example of FIG. 3, time t2~
t3. The audio waveform power from t4 to t5 becomes the audio steady portion.

この部分は、発声された音韻の母音が定常的に減衰する
部分で、比較的にゆるやかにピッチが変動することがわ
かっている。It is known that this part is a part where the vowel of the uttered phoneme is constantly attenuated, and the pitch fluctuates relatively gently.

この音声定常部において、前フレーム時で算出したピッ
チ周期をＩＰＴとすると、範囲Ｂは４／６ＩＰＴ≦範囲
Ｂ≦４／３ＩＰＴ に設定して、ピンチを探索する。In this steady voice part, if the pitch period calculated in the previous frame is IPT, range B is set to 4/6IPT≦rangeB≦4/3IPT to search for a pinch.

但し、ＩＰＴの値は、前のフレームが無声の時は前々フ
レームのピンチ周期のままで、又、前のフレームが無音
の時は、センターピッチ周波数のピッチ周期ＩＰＭＯ値
とする。However, when the previous frame is silent, the IPT value remains the pinch cycle of the frame before the previous frame, and when the previous frame is silent, it is set to the pitch cycle IPMO value of the center pitch frequency.

発明の効果 以上のように、本発明は非線形自己相関係数により音声
波形のピッチを抽出する際、音声波形の状態に応じてピ
ッチ周期の探索範囲を変えるようにしたピンチ抽出方法
で、ピッチの誤抽出を大幅に減少させ、高精度のピッチ
抽出を行なうことができる。Effects of the Invention As described above, the present invention is a pinch extraction method that changes the pitch period search range depending on the state of the audio waveform when extracting the pitch of the audio waveform using a nonlinear autocorrelation coefficient. Erroneous extraction can be greatly reduced and pitch extraction can be performed with high accuracy.

【図面の簡単な説明】[Brief explanation of drawings]

第１図は本発明によるピンチ抽出方法を実施するだめの
装置の一実施例を示すブロック図、第２図は本発明の詳
細な説明するだめの探索範囲移行経路図、第３図は本発
明の詳細な説明するための音声パワー波形図である。 １−−パワー検出器、２・・・有声無声音判別器、３　
・・パワー増減検出器、４−−範囲決定器、５−・−ピ
ッチ算出器。FIG. 1 is a block diagram showing an embodiment of a device for implementing the pinch extraction method according to the present invention, FIG. 2 is a search range transition route diagram for explaining the present invention in detail, and FIG. 3 is a block diagram showing an embodiment of the pinch extraction method according to the present invention. FIG. 3 is an audio power waveform diagram for explaining in detail. 1--power detector, 2...voiced and unvoiced sound discriminator, 3
...power increase/decrease detector, 4--range determiner, 5--pitch calculator.

Claims (1)

【特許請求の範囲】[Claims] ０）音声波形をピンチ周期の数倍程度のフレーム周期で
分割し、各区間の音声波形が長期無音後の第１の語頭部
、それ以外の第２の語頭部、有声音定常部のいずれに相
当するかを検出し、各部におけるピッチ周期の探索範囲
を、第１のＰ頭部では予め定めた所定の範囲とし、第２
の緒頭部では直前の有声音定常部の最初の区間で検出さ
れたピンチ周期の近傍の範囲とし、有声音定常部では過
去の区間において検出されたピッチ周期の近傍の範囲に
設定してピッチ周期を探索することを特徴とするピッチ
抽出方法。0) Divide the speech waveform into a frame period several times the pinch period, and divide the speech waveform in each section into the first word beginning after a long period of silence, the second word beginning after a long period of silence, and the voiced sound stationary part. The search range of the pitch period in each part is set to a predetermined range for the first P head, and the pitch period search range for each part is set to a predetermined range for the first
At the beginning, the pitch is set to a range near the pinch period detected in the first section of the immediately preceding steady voiced part, and in the steady voiced part, the pitch is set to a range near the pitch period detected in the past section. A pitch extraction method characterized by searching for a period.