JP2010277023A - Telephone voice section detector and program of the same - Google Patents
Telephone voice section detector and program of the same Download PDFInfo
- Publication number
- JP2010277023A JP2010277023A JP2009131925A JP2009131925A JP2010277023A JP 2010277023 A JP2010277023 A JP 2010277023A JP 2009131925 A JP2009131925 A JP 2009131925A JP 2009131925 A JP2009131925 A JP 2009131925A JP 2010277023 A JP2010277023 A JP 2010277023A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- telephone voice
- telephone
- power integrated
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Telephone Function (AREA)
Abstract
Description
本発明は、放送音声から電話音声区間を検出する電話音声区間検出装置およびそのプログラムに関する。 The present invention relates to a telephone voice section detecting apparatus for detecting a telephone voice section from broadcast voice and a program thereof.
従来から、音声区間を検出する方法が種々提案されている。
例えば、短時間の対数エネルギーにおいて適応的な2つの閾値により音声/非音声を判定する方法が知られている(例えば、非特許文献1参照)。
また例えば、放送音声中の音声と音楽とを判別する方法として、単位時間中のゼロ交差の割合とエネルギーを特徴ベクトルとして学習モデルを用いて判定する方法(例えば、非特許文献2参照)や、周波数領域のパラメータを特徴ベクトルとして統計的な識別学習を用いて判定する方法(例えば、非特許文献3参照)が知られている。
Conventionally, various methods for detecting a speech section have been proposed.
For example, a method is known in which speech / non-speech is determined based on two threshold values that are adaptive in a short logarithmic energy (see, for example, Non-Patent Document 1).
In addition, for example, as a method of discriminating between sound and music in broadcast audio, a method of determining using a learning model with a zero crossing rate and energy in unit time as a feature vector (for example, see Non-Patent Document 2), A method is known that uses a frequency discrimination parameter as a feature vector for determination using statistical discrimination learning (see, for example, Non-Patent Document 3).
ここで、放送番組の受信機側では、放送音声をユーザの年代に応じて聞き取りやすい速さに変更して享受することが行われている。このような音声処理は、放送音声の帯域を特定の手法で予め分析し、この分析結果を用いて行われている。 Here, on the receiver side of the broadcast program, the broadcast audio is changed and enjoyed at a speed that is easy to hear according to the user's age. Such audio processing is performed by analyzing the band of broadcast audio in advance by a specific method and using the analysis result.
ところで、例えばクイズ番組やニュース番組等では、スタジオの司会者等が電話で外部の人間と会話をしながら番組を進行する場面がみられることがある。このような電話音声の帯域は、放送音声の帯域に比べて狭いことから、放送音声に対するのと同様の手法によっては、電話音声の帯域を正確に分析することが困難である。このため、電話音声については、放送音声と別の手法によって帯域を分析する必要がある。したがって、放送音声中の電話音声についても前記したような音声処理を行うためには、放送音声から電話音声を抽出する必要があり、このために、放送音声中の電話音声区間を正確に検出する必要がある。 By the way, for example, in a quiz program or a news program, there may be a scene in which a moderator of a studio or the like advances a program while talking to an external person by telephone. Since the telephone voice band is narrower than the broadcast voice band, it is difficult to accurately analyze the telephone voice band by the same technique as for the broadcast voice. For this reason, it is necessary to analyze the bandwidth of telephone voice by a method different from that for broadcast voice. Therefore, in order to perform the voice processing as described above for the telephone voice in the broadcast voice, it is necessary to extract the telephone voice from the broadcast voice. For this reason, the telephone voice section in the broadcast voice is accurately detected. There is a need.
しかしながら、非特許文献1に開示された技術は、入力データ中の音声区間もしくは非音声区間を検出し判定するものであり、放送音声中の電話音声区間を検出することはできなかった。
また、非特許文献2に開示された方法は、ゼロ交差の割合とエネルギーに基づき、学習により放送音声が音声か音楽かを判定するものであり、放送音声中の電話音声区間を検出することはできなかった。
また、非特許文献3に開示された技術は、周波数領域のパラメータを特徴ベクトルとし、音声か音楽かを学習したうえで識別するものであり、放送音声データ中の電話音声区間を検出し判定することはできなかった。このように、いずれの技術によっても放送音声中の電話音声区間を自動的に検出することができなかった。
However, the technique disclosed in Non-Patent Document 1 detects and determines a voice section or non-voice section in input data, and cannot detect a telephone voice section in broadcast voice.
In addition, the method disclosed in Non-Patent Document 2 is based on learning based on the zero crossing rate and energy, and determines whether the broadcast sound is speech or music by learning. could not.
The technique disclosed in Non-Patent Document 3 uses a frequency-domain parameter as a feature vector to identify whether it is voice or music, and detects and determines a telephone voice section in broadcast voice data. I couldn't. As described above, the telephone voice section in the broadcast voice cannot be automatically detected by any technique.
また、図9に示されるような放送音声のデータを用いて電話音声区間を検出することも考えられる。ここで、図9(a)は、音声波形を、図9(b)は、ソナグラムをそれぞれ示したものである。すなわち、図9(a)、(b)に示されるように、音声波形を時間、周波数、強度(パワー)で表示したソナグラム上では、音声のホルマント(主要周波数成分)が縦縞となって特徴的なパターンで出現するため、放送音声中に混在する電話音声を目視で検出することが可能であるが、この方法によると、操作者が放送音声のデータを確認して手作業で電話音声区間を検出しなければならないため、手数がかかってしまっていた。 It is also conceivable to detect a telephone voice section using broadcast voice data as shown in FIG. Here, FIG. 9A shows a speech waveform, and FIG. 9B shows a sonagram. That is, as shown in FIGS. 9A and 9B, on the sonagram in which the speech waveform is displayed in time, frequency, and intensity (power), the formant (main frequency component) of the speech is a vertical stripe. It is possible to visually detect the telephone voice mixed in the broadcast voice because it appears in a simple pattern. However, according to this method, the operator confirms the data of the broadcast voice and manually sets the telephone voice section. Because it had to be detected, it took time.
本発明は上記した課題を解決するためになされたものであり、放送音声データ中に含まれる電話音声区間を自動検出する電話音声区間検出装置およびそのプログラムを提供することを目的とする。 The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a telephone voice section detecting apparatus and a program for automatically detecting a telephone voice section included in broadcast voice data.
上記した課題を解決するために、本発明の請求項1に記載の電話音声区間検出装置は、入力された放送音声から電話音声区間を検出する電話音声区間検出装置であって、入力音声切出し手段と、パワー積算手段と、対数変換手段と、差分生成手段と、平滑化処理手段と、閾値判定手段とを備えたことを特徴とする。 In order to solve the above-mentioned problem, a telephone voice section detecting device according to claim 1 of the present invention is a telephone voice section detecting apparatus for detecting a telephone voice section from an inputted broadcast voice, and includes an input voice cutting means. And a power integration unit, a logarithmic conversion unit, a difference generation unit, a smoothing processing unit, and a threshold value determination unit.
かかる構成において、電話音声区間検出装置は、入力音声切出し手段によって、前記放送音声データから予め定められた時間間隔でフレーム毎に音声波形を切り出す。 In such a configuration, the telephone voice section detecting device cuts out a voice waveform for each frame at a predetermined time interval from the broadcast voice data by the input voice cut-out means.
また、電話音声区間検出装置は、パワー積算手段によって、前記入力音声切出し手段によって切り出された前記音声波形に含まれる電話音声周波数帯域のパワー積算値と、当該電話音声周波数帯域外の帯域のパワー積算値とを演算する。これによって、電話音声区間検出装置は、フレーム毎に、電話音声周波数帯域と電話音声周波数帯域外のそれぞれについてのパワー積算値を算出することができる。 In addition, the telephone voice section detecting device includes a power integration unit that integrates a power integration value of a telephone voice frequency band included in the voice waveform extracted by the input voice extraction unit and a power integration of a band outside the telephone voice frequency band. Calculate the value. Thereby, the telephone voice section detecting device can calculate the power integrated value for each of the telephone voice frequency band and the outside of the telephone voice frequency band for each frame.
さらに、電話音声区間検出装置は、対数変換手段によって、前記パワー積算手段によって算出されたそれぞれの前記パワー積算値を対数化する。これによって、それぞれの前記パワー積算値を対比しやすい値とすることができる。 Further, the telephone voice section detecting device uses the logarithmic conversion means to logarithmize each of the power integrated values calculated by the power integrating means. As a result, each of the power integrated values can be easily compared.
またさらに、電話音声区間検出装置は、差分生成手段によって、前記対数変換手段によって対数化されたそれぞれの前記パワー積算値の差分を生成する。これによって、電話音声区間検出装置は、フレーム毎に、電話音声周波数帯域のパワー積算値の、電話音声周波数帯域外のパワー積算値に対する割合を算出することができる。 Still further, the telephone voice section detecting device generates a difference between the respective power integrated values logarithmized by the logarithmic conversion unit by the difference generation unit. Thus, the telephone voice section detecting device can calculate the ratio of the power integrated value of the telephone voice frequency band to the power integrated value outside the telephone voice frequency band for each frame.
そして、電話音声区間検出装置は、平滑化処理手段によって、前記差分生成手段によって生成された前記差分の時間的変化を平滑化する。これによって、ノイズ等の余分な成分を消すことができるので、閾値判定手段による誤判定を防止することができる。 Then, the telephone voice section detecting apparatus smoothes the temporal change of the difference generated by the difference generating means by the smoothing processing means. As a result, excess components such as noise can be eliminated, and erroneous determination by the threshold determination means can be prevented.
そして、電話音声区間検出装置は、閾値判定手段によって、前記平滑化処理手段によって平滑化された値と、予め設定された閾値とを比較して前記電話音声区間か否かを判定する。これによって、放送音声中の電話音声区間を自動で検出することができる。具体的には、平滑化された値が閾値以上の場合、電話音声区間と判定し、平滑化された値が閾値よりも小さい場合、電話音声区間ではないと判定する。 Then, the telephone voice interval detecting device determines whether or not the telephone voice interval is the threshold value determining means by comparing the value smoothed by the smoothing processing means with a preset threshold value. Thereby, the telephone voice section in the broadcast voice can be automatically detected. Specifically, when the smoothed value is equal to or greater than the threshold value, it is determined that the telephone voice period is selected. When the smoothed value is smaller than the threshold value, it is determined that the telephone voice period is not selected.
また、請求項2に記載の電話音声区間検出装置は、請求項1に記載の電話音声区間検出装置において、前記パワー積算手段は、帯域分割手段と、パワー積算値演算手段とを備えることを特徴とする。 According to a second aspect of the present invention, in the telephone voice interval detecting device according to the first aspect, the power integrating means includes a band dividing means and a power integrated value calculating means. And
かかる構成によれば、電話音声区間検出装置は、帯域分割手段によって、前記入力音声切出し手段によって切り出された前記音声波形を、前記電話音声周波数帯域と、当該電話音声周波数帯域外の帯域とに帯域分割する。例えば、フィルタによって音声波形をそれぞれの帯域に帯域分割することができる。 According to such a configuration, the telephone voice section detecting device is configured to band the voice waveform cut out by the input voice cutting out means by the band dividing means into the telephone voice frequency band and a band outside the telephone voice frequency band. To divide. For example, the speech waveform can be divided into bands by a filter.
また、電話音声区間検出装置は、パワー積算値演算手段によって、前記帯域分割手段によって分割された前記電話音声周波数帯域のパワー積算値と、前記電話音声周波数帯域外の帯域のパワー積算値とを演算する。 Further, the telephone voice interval detecting device calculates a power integrated value of the telephone voice frequency band divided by the band dividing means and a power integrated value of a band outside the telephone voice frequency band by the power integrated value calculating means. To do.
また、請求項3に記載の電話音声区間検出装置は、請求項1に記載の電話音声区間検出装置において、前記パワー積算手段は、周波数特性演算手段と、スペクトル算出手段と、パワー積算値演算手段と、を備えることを特徴とする。
かかる構成によれば、電話音声区間検出装置は、周波数特性演算手段によって、前記入力音声切出し手段によって切り出された前記音声波形の周波数特性を算出する。例えば、音声波形をフーリエ変換することによって、周波数特性を算出することができる。
According to a third aspect of the present invention, there is provided the telephone voice interval detecting device according to the first aspect, wherein the power integrating means includes a frequency characteristic calculating means, a spectrum calculating means, and a power integrated value calculating means. And.
According to such a configuration, the telephone voice interval detecting device calculates the frequency characteristic of the voice waveform cut out by the input voice cutting out means by the frequency characteristic calculating means. For example, the frequency characteristic can be calculated by Fourier transforming the speech waveform.
また、電話音声区間検出装置は、スペクトル算出手段によって、前記周波数特性演算手段によって算出された前記周波数特性に基づいて前記電話音声周波数帯域のスペクトルと、前記電話音声周波数帯域外のスペクトルとを算出する。
そして、電話音声区間検出装置は、パワー積算値演算手段によって、前記スペクトル算出手段によって算出された前記電話音声周波数帯域の前記スペクトルのパワー積算値と、前記電話音声周波数帯域外の前記スペクトルのパワー積算値とを演算する。
In the telephone voice section detection device, the spectrum calculation means calculates the spectrum of the telephone voice frequency band and the spectrum outside the telephone voice frequency band based on the frequency characteristic calculated by the frequency characteristic calculation means. .
Then, the telephone voice section detecting device includes a power integrated value calculating unit that calculates a power integrated value of the spectrum in the telephone voice frequency band calculated by the spectrum calculating unit and a power integrated value of the spectrum outside the telephone voice frequency band. Calculate the value.
さらに、請求項4に記載の電話音声区間検出装置は、請求項3に記載の電話音声区間検出装置において、前記周波数特性演算手段が、前記音声波形の振幅スペクトル、線形予測符号によるスペクトル包絡、線形予測符号によるケプストラム包絡、フーリエ解析ケプストラム包絡の少なくとも一つの音声解析を実行して前記周波数特性を算出することを特徴とする。 Furthermore, the telephone voice activity detection device according to claim 4 is the telephone voice activity detection device according to claim 3, wherein the frequency characteristic calculation means includes an amplitude spectrum of the voice waveform, a spectrum envelope by a linear prediction code, a linear The frequency characteristic is calculated by executing at least one speech analysis of a cepstrum envelope by a prediction code and a Fourier analysis cepstrum envelope.
かかる構成によれば、音声特徴量に基づいて、周波数特性を算出することができる。 According to this configuration, the frequency characteristic can be calculated based on the audio feature amount.
また、請求項5に記載の電話音声区間検出装置は、請求項1から請求項4のいずれか一項に記載の電話音声区間検出装置において、前記平滑化処理手段は、IIRによる低域フィルタ、またはFIRによる低域フィルタとすることを特徴とする。 Further, the telephone voice activity detection device according to claim 5 is the telephone voice activity detection device according to any one of claims 1 to 4, wherein the smoothing processing means includes a low-pass filter by IIR, Or it is set as the low-pass filter by FIR.
かかる構成によれば、良好な振幅特性を取り出すことができる。 According to such a configuration, it is possible to extract good amplitude characteristics.
また、請求項6に記載の音声区間検出プログラムは、入力された放送音声から電話音声区間を検出するために、コンピュータを、入力音声切出し手段、パワー積算手段、対数変換手段、差分生成手段、平滑化処理手段、閾値判定手段として機能させるためのものである。 According to a sixth aspect of the present invention, there is provided a program for detecting a voice section in order to detect a telephone voice section from an input broadcast voice. It is for functioning as a processing unit and a threshold determination unit.
かかる構成によれば、音声区間検出プログラムは、入力音声切出し手段によって、前記放送音声データから予め定められた時間間隔でフレーム毎に音声波形を切り出す。
そして、音声区間検出プログラムは、パワー積算手段によって、前記入力音声切出し手段によって切り出された前記音声波形に含まれる電話音声周波数帯域のパワー積算値と、当該電話音声周波数帯域外の帯域のパワー積算値とを演算する。
さらに、音声区間検出プログラムは、対数変換手段によって、前記パワー積算手段によって算出されたそれぞれの前記パワー積算値を対数化する。
またさらに、音声区間検出プログラムは、差分生成手段によって、前記対数変換手段によって対数化されたそれぞれの前記パワー積算値の差分を生成する。
そして、音声区間検出プログラムは、平滑化処理手段によって、前記差分生成手段によって生成された前記差分の時間的変化を平滑化する。
そして、音声区間検出プログラムは、閾値判定手段によって、前記平滑化処理手段によって平滑化された値と、予め設定された閾値とを比較して前記電話音声区間か否かを判定する。
According to this configuration, the voice segment detection program cuts out a voice waveform for each frame from the broadcast voice data at a predetermined time interval by the input voice cutout means.
Then, the voice segment detection program includes a power integration value of a telephone voice frequency band included in the voice waveform cut out by the input voice cut-out means by a power integration means, and a power integration value of a band outside the telephone voice frequency band. And
Further, the speech section detection program logarithmizes each of the power integration values calculated by the power integration unit by the logarithmic conversion unit.
Furthermore, the speech section detection program generates a difference between the respective power integrated values logarithmized by the logarithmic conversion unit by the difference generation unit.
Then, the speech section detection program smoothes the temporal change of the difference generated by the difference generation means by the smoothing processing means.
Then, the voice segment detection program compares the value smoothed by the smoothing processing unit with a threshold value set in advance by the threshold determination unit, and determines whether or not it is the telephone voice segment.
本発明によれば、放送音声データ中に含まれる電話音声区間を自動で検出することが可能となる。 According to the present invention, it is possible to automatically detect a telephone voice section included in broadcast audio data.
以下、本発明の実施の形態について、詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail.
[第1の実施形態]
図1〜図6を参照しながら第1の実施形態に係る電話音声区間検出装置1Aについて説明する。
図1に示されるように、第1の実施形態に係る電話音声区間検出装置1Aは、入力音声切出し手段11Aと、パワー積算手段12Aと、対数変換手段13と、差分生成手段14と、平滑化処理手段15と、閾値判定手段16と、閾値記憶手段17と、を含む構成とした。
[First Embodiment]
A telephone voice section detecting device 1A according to the first embodiment will be described with reference to FIGS.
As shown in FIG. 1, the telephone voice interval detecting device 1A according to the first embodiment includes an input voice cutout means 11A, a power integration means 12A, a logarithmic conversion means 13, a difference generation means 14, and a smoothing. The processing unit 15, the threshold determination unit 16, and the threshold storage unit 17 are included.
入力音声切出し手段11Aは、外部から放送音声データが入力されると、この入力された放送音声から予め定められた時間間隔で分析フレーム毎に音声波形を切り出すものである。ここで入力される放送音声データは、標本化周波数48kHz、量子化16ビットでAD(Analog-Digital)変換されたデジタル信号とする。入力音声切出し手段11Aは、放送音声データから、例えば、窓幅50ms、シフト幅5msのフレームで音声波形を切り出す。以下では、mフレーム、nサンプルのデータをx(m,n)で表す。但し、0≦n<Nであり、Nは窓幅50ms相当のサンプル数とする。例えば、所定の窓幅とシフト幅のフレームで音声波形を切り出す。切り出された音声波形は、パワー積算手段12Aへ出力される。 The input voice cutout means 11A cuts out a voice waveform for each analysis frame at a predetermined time interval from the inputted broadcast voice when broadcast voice data is inputted from the outside. The broadcast audio data input here is a digital signal that has been subjected to AD (Analog-Digital) conversion at a sampling frequency of 48 kHz and quantization of 16 bits. The input voice cutout unit 11A cuts out a voice waveform from broadcast voice data, for example, in a frame having a window width of 50 ms and a shift width of 5 ms. Hereinafter, data of m frames and n samples is represented by x (m, n). However, 0 ≦ n <N, where N is the number of samples corresponding to a window width of 50 ms. For example, a speech waveform is cut out with a frame having a predetermined window width and shift width. The extracted speech waveform is output to the power integrating means 12A.
パワー積算手段12Aは、入力音声切出し手段11Aによって切り出された音声波形に含まれる電話音声周波数帯域のパワー積算値と、当該電話音声周波数帯域外の帯域のパワー積算値とを算出するものであり、ここでは、帯域分割手段12Aaと、パワー積算値演算手段12Abとを備えることとした。
帯域分割手段12Aaは、入力音声切出し手段11Aにより切り出されたフレーム毎の音声波形を、低域、中域、高域の3つの帯域に分割するものである。例えば、中域を電話音声周波数帯域である300〜3500Hzとし、低域を300Hzより小さい帯域とし、高域を3500Hzより大きい帯域とする。帯域分割手段12Aaは、IIRフィルタまたはFIRフィルタにより、音声波形をそれぞれの帯域に分割する。ここでは、低域の音声波形をxL(m,n)とし、中域の音声波形をxM(m,n)とし、高域の音声波形をxH(m,n)とする。帯域毎の音声波形は、パワー積算値演算手段12Abへ出力される。
The power integrating means 12A calculates a power integrated value of the telephone voice frequency band included in the voice waveform cut out by the input voice cutting out means 11A and a power integrated value of a band outside the telephone voice frequency band, Here, the band dividing means 12Aa and the power integrated value calculating means 12Ab are provided.
The band dividing means 12Aa divides the voice waveform for each frame cut out by the input voice cutting out means 11A into three bands, low band, middle band and high band. For example, the middle range is a telephone voice frequency band of 300 to 3500 Hz, the low band is a band smaller than 300 Hz, and the high band is a band larger than 3500 Hz. The band dividing unit 12Aa divides the voice waveform into the respective bands by the IIR filter or the FIR filter. Here, the low-frequency speech waveform is x L (m, n), the mid-range speech waveform is x M (m, n), and the high-frequency speech waveform is x H (m, n). The sound waveform for each band is output to the power integrated value calculation means 12Ab.
パワー積算値演算手段12Abは、帯域分割手段12Aaで分割された音声波形の帯域毎に音声波形のパワー積算値(振幅の自乗値)を演算するものである。すなわち、パワー積算値演算手段12Abは、分割された帯域の音声波形において、音声波形の振幅の自乗値を、所定の窓幅とシフト幅のフレーム分積算する。
パワー積算値演算手段12Abは、例えば式(1)によって低域のパワー積算値PL(m)と、中域のパワー積算値PM(m)と、高域のパワー積算値PH(m)とを算出する。
The power integrated value calculation means 12Ab calculates the power integrated value (amplitude square value) of the voice waveform for each band of the voice waveform divided by the band dividing means 12Aa. That is, the power integrated value calculation means 12Ab integrates the square value of the amplitude of the speech waveform for the frame of a predetermined window width and shift width in the speech waveform of the divided band.
The power integrated value calculation means 12Ab is, for example, a low-range power integrated value P L (m), a mid-range power integrated value P M (m), and a high-frequency power integrated value P H (m ) Is calculated.
さらに、パワー積算値演算手段12Abは、低域のパワー積算値PL(m)と、高域のパワー積算値PH(m)とを加算し、パワー積算加算値PL+H(m)=PL(m)+PH(m)を算出する。このようにして算出されたパワー積算加算値PL+H(m)と、中域のパワー積算値PM(m)は、対数変換手段13へ出力される。 Further, the power integrated value calculation means 12Ab adds the low-frequency power integrated value P L (m) and the high-frequency power integrated value P H (m), and the power integrated addition value P L + H (m) = P L (m) + P H (m) is calculated. The power addition value P L + H (m) calculated in this way and the power integration value P M (m) in the middle range are output to the logarithmic conversion means 13.
対数変換手段13は、パワー積算値演算手段12Abにより算出されたパワー積算加算値PL+H(m)と、中域のパワー積算値PM(m)とをそれぞれ対数化するものである。パワー積算加算値PL+H(m)と、中域のパワー積算値PM(m)とを対数化することで、桁数を揃えることができるので、対比をしやすくなる。ここでは、パワー積算加算値PL+H(m)を対数化した値を、log(PL+H(m))とし、中域のパワー積算値PM(m)を対数化した値をlog(PM(m))とする。
このようにして対数化後のパワー積算加算値log(PL+H(m))と、対数化後の中域のパワー積算値log(PM(m))は、差分生成手段14へ出力される。
The logarithmic conversion means 13 is for logarithmizing the power integrated addition value P L + H (m) calculated by the power integrated value calculating means 12Ab and the mid-range power integrated value P M (m). Since the power integration addition value P L + H (m) and the mid-range power integration value P M (m) are logarithmized, the number of digits can be made uniform, which makes comparison easier. Here, the logarithm value of the power integrated addition value P L + H (m) is defined as log (P L + H (m)), and the logarithm value of the mid-range power integrated value P M (m) is expressed as log (P M (M)).
Thus, the logarithmized power integrated addition value log (P L + H (m)) and the logarithmized intermediate power integrated value log (P M (m)) are output to the difference generation means 14. .
差分生成手段14は、対数変換手段13により対数化された対数化後の中域のパワー積算値log(PM(m))と、対数化後のパワー積算加算値log(PL+H(m))との差分演算を行い、差分値D(m)=log(PL+H(m))−log(PM(m))を生成するものである。生成された差分値D(m)は、平滑化処理手段15へ出力される。 The difference generation means 14 is a logarithmized mid-range power integrated value log (P M (m)) logarithmized by the logarithmic conversion means 13 and a logarithmic power integrated addition value log (P L + H (m)). ) To generate a difference value D (m) = log (P L + H (m)) − log (P M (m)). The generated difference value D (m) is output to the smoothing processing means 15.
平滑化処理手段15は、差分生成手段14より出力される差分値を平滑化するものである。平滑化処理手段15は、例えば、IIR(Infinite Impulse Response)フィルタまたはFIR(Finite Impulse Response)フィルタ等のデジタルフィルタにより差分値を平滑化する。
平滑化処理手段15は、例えば、以下に示す式(2)で示す一次のIIRフィルタで差分値を平滑化する。
The smoothing processing means 15 smoothes the difference value output from the difference generating means 14. The smoothing processing means 15 smoothes the difference value with a digital filter such as an IIR (Infinite Impulse Response) filter or an FIR (Finite Impulse Response) filter.
The smoothing processing means 15 smoothes the difference value with, for example, a primary IIR filter represented by the following expression (2).
ここでα=0.99とする。図3は、IIRフィルタを使用した場合における差分値の平滑化処理例を時間軸上に表したグラフである。図3に示すように、差分値D(m)を平滑化した値Dsmz(m)は、入力される放送音声データに対するパワー積算値の対数値の0近辺に分布している。
Here, α = 0.99. FIG. 3 is a graph showing, on the time axis, an example of the difference value smoothing process when the IIR filter is used. As shown in FIG. 3, the value D smz (m) obtained by smoothing the difference value D (m) is distributed in the vicinity of 0 of the logarithmic value of the power integrated value for the input broadcast audio data.
一方、オフライン処理を行う場合は、平滑化処理手段15は、例えば、標本化周波数を1.0としたとき、カットオフ周波数が0.005のFIR型のローパスフィルタで平滑化する。
図4は、FIRフィルタを使用した場合における差分値の平滑化処理例を時間軸上に表したグラフである。図4に示すように、差分値D(m)を平滑化した値Dsmz(m)は、入力される放送音声データに対するパワー積算値の対数値の0近辺に分布している。
このようにして平滑化された差分値Dsmz(m)は、閾値判定手段16へ出力される。
On the other hand, when performing off-line processing, the smoothing processing means 15 performs smoothing with a FIR type low-pass filter having a cutoff frequency of 0.005, for example, when the sampling frequency is 1.0.
FIG. 4 is a graph showing, on the time axis, an example of the difference value smoothing process when the FIR filter is used. As shown in FIG. 4, the value D smz (m) obtained by smoothing the difference value D (m) is distributed in the vicinity of 0 of the logarithmic value of the power integrated value with respect to the input broadcast audio data.
The difference value D smz (m) smoothed in this manner is output to the threshold value determination means 16.
閾値判定手段16は、平滑化処理手段15により平滑化された差分値と、閾値記憶手段17に記憶された最適化された閾値とを比較し、入力音声切出し手段11Aで切り出された分析フレーム毎に電話音声区間を判定するものである。最適化された閾値の決定方法については後述する。 The threshold value determination unit 16 compares the difference value smoothed by the smoothing processing unit 15 with the optimized threshold value stored in the threshold value storage unit 17 and analyzes each analysis frame cut out by the input voice cutout unit 11A. The telephone voice section is determined. A method for determining the optimized threshold will be described later.
以下、図2のフローチャートを参照しながら、図1に示した本発明の第1の実施形態に係る電話音声区間検出装置1Aの動作について詳細に説明する。 Hereinafter, the operation of the telephone voice interval detecting device 1A according to the first embodiment of the present invention shown in FIG. 1 will be described in detail with reference to the flowchart of FIG.
電話音声区間検出装置1Aは、入力音声切出し手段11Aによって、入力された放送音声データを、予め定めた時間間隔で分析フレーム毎に切り出す(ステップS201)。電話音声区間検出装置1Aは、入力音声切出し手段11Aによって、フレーム毎に切り出した音声波形をパワー積算手段12Aに出力する。 The telephone voice section detecting device 1A cuts the input broadcast voice data for each analysis frame at a predetermined time interval by the input voice cutting means 11A (step S201). The telephone voice section detecting device 1A outputs a voice waveform cut out for each frame to the power integrating means 12A by the input voice cutting means 11A.
電話音声区間検出装置1Aは、パワー積算手段12Aの帯域分割手段12Aaによって、入力音声切出し手段11Aによりフレーム毎に切り出された音声波形を、低域の音声波形xL(m,n)と、中域の音声波形xM(m,n)と、高域の音声波形xH(m,n)とに分割する(ステップS202)。
そして、電話音声区間検出装置1Aは、帯域分割手段12Aaによって、低域の音声波形xL(m,n)と、中域の音声波形xM(m,n)と、高域の音声波形xH(m,n)とを、パワー積算値演算手段12Abに出力する。
The telephone voice section detecting device 1A is configured so that the voice waveform cut out for each frame by the input voice cut-out means 11A by the band dividing means 12Aa of the power integrating means 12A and the low-frequency voice waveform x L (m, n) The voice waveform x M (m, n) in the region and the speech waveform x H (m, n) in the high region are divided (step S202).
Then, the telephone voice section detecting device 1A uses the band dividing unit 12Aa to generate a low-frequency voice waveform x L (m, n), a middle-frequency voice waveform x M (m, n), and a high-frequency voice waveform x. H (m, n) is output to the power integrated value calculation means 12Ab.
電話音声区間検出装置1Aは、パワー積算手段12Aのパワー積算値演算手段12Abによって、帯域分割手段12Aaにより帯域毎に分割されたフレーム毎の音声波形のパワー積算値を前記式(1)により演算し、低域のパワー積算値PL(m)と、中域のパワー積算値をPM(m)と、高域のパワー積算値をPH(m)とを得る(ステップS203〜S205)。 The telephone voice section detecting device 1A calculates the power integrated value of the voice waveform for each frame divided for each band by the band dividing unit 12Aa by the power integrated value calculating unit 12Ab of the power integrating unit 12A by the above formula (1). The low-range power integrated value P L (m), the mid-range power integrated value P M (m), and the high-frequency power integrated value P H (m) are obtained (steps S203 to S205).
さらに、電話音声区間検出装置1Aは、パワー積算値演算手段12Abによって、ステップS204で演算した低域のパワー積算値PL(m)と、ステップS206で演算した高域のパワー積算値PH(m)とを加算し、パワー積算加算値PL+H(m)を算出する(ステップS206)。そして、電話音声区間検出装置1Aは、パワー積算値演算手段12Abによって、得られたパワー積算加算値PL+H(m)と中域のパワー積算値PM(m)とを、対数変換手段13へ出力する。 Furthermore, the telephone voice section detecting device 1A uses the power integrated value calculating means 12Ab to calculate the low-frequency integrated power P L (m) calculated in step S204 and the high-frequency integrated power P H (calculated in step S206). m) is added to calculate a power integrated addition value P L + H (m) (step S206). Then, the telephone voice section detecting device 1A uses the power integrated value calculation means 12Ab to convert the power integrated addition value P L + H (m) and the intermediate power integrated value P M (m) to the logarithmic conversion means 13. Output.
電話音声区間検出装置1Aは、対数変換手段13によって、パワー積算手段12Aのパワー積算値演算手段12Abにより算出されたパワー積算加算値PL+H(m)を対数化して対数化後のパワー積算加算値log(PL+H(m))を得る(ステップS207)。また、電話音声区間検出装置1Aは、対数変換手段13によって、パワー積算手段12Aのパワー積算値演算手段12Abにより算出された中域のパワー積算値PM(m)を対数化して、対数化後の中域のパワー積算値log(PM(m))を得る(ステップS208)。
そして、電話音声区間検出装置1Aは、対数変換手段13によって、得られた対数化後のパワー積算加算値log(PL+H(m))と、対数化後の中域のパワー積算値log(PM(m))を差分生成手段14に出力する。
The telephone voice section detecting device 1A uses the logarithmic conversion means 13 to logarithmize the power integration addition value P L + H (m) calculated by the power integration value calculation means 12Ab of the power integration means 12A to logarithmize the power integration addition value after logarithmization. log (P L + H (m)) is obtained (step S207). Further, the telephone voice section detecting device 1A uses the logarithmic conversion means 13 to logarithmize the intermediate power integrated value P M (m) calculated by the power integrated value calculating means 12Ab of the power integrating means 12A, and after logarithmic conversion An intermediate power integrated value log (P M (m)) is obtained (step S208).
Then, the telephone speech section detecting device 1A uses the logarithmic conversion means 13 to obtain the logarithmized power integrated addition value log (P L + H (m)) and the logarithmized midrange power integrated value log (P M (m)) is output to the difference generation means 14.
電話音声区間検出装置1Aは、差分生成手段14によって、対数変換手段13から入力された対数化後のパワー積算加算値log(PL+H(m))と、対数化後の中域のパワー積算値log(PM(m))との差分演算を行い、差分値D(m)を得る(ステップS209)。そして、電話音声区間検出装置1Aは、差分生成手段14によって、得られた差分値D(m)を平滑化処理手段15に出力する。 The telephone voice section detecting device 1A uses the difference generating means 14 to add the logarithmized power integrated addition value log (P L + H (m)) input from the logarithmic converting means 13 and the logarithmic intermediate power integrated value. A difference calculation with log (P M (m)) is performed to obtain a difference value D (m) (step S209). Then, the telephone voice section detection device 1 </ b> A outputs the obtained difference value D (m) to the smoothing processing unit 15 by the difference generation unit 14.
電話音声区間検出装置1Aは、平滑化処理手段15によって、差分生成手段14により得られた差分値D(m)を平滑化し、差分値D(m)を平滑化した値Dsmz(m)を生成する(ステップS210)。そして、電話音声区間検出装置1Aは、平滑化処理手段15によって、差分値D(m)を平滑化した値Dsmz(m)を閾値判定手段16に出力する。 The telephone voice section detection device 1A smoothes the difference value D (m) obtained by the difference generation means 14 by the smoothing processing means 15, and obtains a value D smz (m) obtained by smoothing the difference value D (m). Generate (step S210). Then, the telephone voice section detecting device 1A outputs a value D smz (m) obtained by smoothing the difference value D (m) to the threshold value determining unit 16 by the smoothing processing unit 15.
電話音声区間検出装置1Aは、閾値判定手段16によって、平滑化処理手段15から入力された差分値D(m)を平滑化した値Dsmz(m)を、閾値記憶手段17に記憶された予め適切に設定した閾値DTHと比較判定する(ステップS211)。そして、電話音声区間検出装置1Aは、閾値判定手段16によって、差分値D(m)を平滑化した値Dsmz(m)が、閾値DTH未満と判定した場合には(ステップS211“<”)、この分析フレームを電話音声区間と判定する(ステップS212)。
以上の動作によって、電話音声区間検出装置1Aは、電話音声区間を自動で検出することができる。
The telephone voice section detecting device 1A stores the value D smz (m) obtained by smoothing the difference value D (m) input from the smoothing processing unit 15 by the threshold determination unit 16 in the threshold storage unit 17 in advance. compared with a threshold value D TH set appropriately determined (step S211). Then, when the threshold value determination unit 16 determines that the value D smz (m) obtained by smoothing the difference value D (m) is less than the threshold value D TH by the threshold value determination unit 16 (step S211 “<”). ), This analysis frame is determined as a telephone voice section (step S212).
With the above operation, the telephone voice interval detecting device 1A can automatically detect a telephone voice period.
[閾値設定方法]
ここで、電話音声区間検出装置1Aの閾値判定手段16によって、最適な閾値DTHを設定する方法について説明する。
図5に、閾値DTHを2.0としたときの音声データ毎の再現率RRと、適合率RP、および、検出率Fの例を示す。検出率Fは、閾値DTHにより、電話音声区間を正しく判定できたか否かを評価する指標である。なお、閾値DTHは、入力される各放送音声データに対し、各分析フレームが、電話音声区間か、電話音声区間以外かを事前に人手により判定したものを正解とし、以下に説明する方法で設定している。
検出率Fは、以下に示す式(3)に示されるように、再現率RRと、適合率RPから求められる。
[Threshold setting method]
Here, a method for setting the optimum threshold value D TH by the threshold value judging means 16 of the telephone voice section detecting device 1A will be described.
FIG. 5 shows an example of the reproduction rate R R , the matching rate R P , and the detection rate F for each audio data when the threshold value D TH is 2.0. The detection rate F is an index for evaluating whether or not the telephone voice section has been correctly determined based on the threshold value DTH . The threshold value D TH is a correct answer for each broadcast audio data that is input by manually determining in advance whether each analysis frame is a telephone voice zone or a phone voice zone. It is set.
Detection rate F, as shown in equation (3) below, the recall R R, obtained from the relevance ratio R P.
つまり、再現率RRと適合率RPとをこのように定義したときに、一例として、検出率Fは式(3)により求められる。 In other words, the adaptation rate R P and recall R R when thus defined, as an example, the detection rate F is calculated by the equation (3).
また、図6に、入力される放送音声データ毎の閾値DTHの違いによる検出率Fの変化例を示す。図6に示す例によれば、閾値DTHが2.0のときに、音声データによらずに比較的高い性能を示す最適値となる。 FIG. 6 shows an example of a change in the detection rate F due to a difference in the threshold value DTH for each input broadcast audio data. According to the example shown in FIG. 6, when the threshold value DTH is 2.0, the optimum value indicates a relatively high performance regardless of the audio data.
すなわち、閾値判定手段16は、放送音声データを構成するフレームのそれぞれが電話音声区間か電話音声区間外かについて予め人手により判定したデータ(学習データ)に基づき、自身による電話音声区間の判定が人手による電話音声区間判定に合致したフレーム数と、人手により合致したと判定したフレーム数との割合を示す再現率RRと、人手による判定が電話音声区間判定に合致したフレーム数と、自身による電話音声区間判定フレーム数との割合を示す適合率RPとを算出し、ここで算出された再現率RRと適合率RPを式(3)に代入して求めた検出率Fに基づき最適な閾値DTHを設定する。 That is, the threshold value determination means 16 determines whether the frame of the broadcast audio data is manually determined in advance based on the data (learning data) that has been previously determined manually by the user regarding whether each frame of the broadcast audio data is outside the telephone audio interval. the number of frames that matches the telephone speech segment determination by the reproduction rate R R indicating the ratio of the number of frames determined to have matched manually, the number of frames is determined by manually matching the determined telephone voice section, telephone by itself optimal calculating a matching ratio R P that indicates the ratio of the speech segment determination number of frames, wherein based and calculated recall R R adaptation rate R P in the detection rate F found by replacing the equation (3) A threshold value DTH is set.
上述した第1の実施形態によれば、電話音声区間検出装置1Aは、入力される放送音声データに対してフレーム毎に音声波形を切り出し、低域、中域、高域に帯域分割して、電話音声周波数帯域(中域)のパワー積算値と、電話音声周波数帯域外(低域と高域)の帯域のパワー積算値(パワー積算加算値)の対数をとった差分を平滑化した値について、閾値と比較判定することで、放送音声中の電話音声区間を自動的に検出することができる。また、閾値を決定するにあたり、事前に与えられた学習データセットによって得られた最適値を用いることで、電話音声区間のより正確な検出が可能になる。 According to the first embodiment described above, the telephone voice section detecting device 1A cuts out a voice waveform for each frame of the input broadcast voice data, and divides the band into a low band, a middle band, and a high band, About the value obtained by smoothing the logarithm of the logarithm of the power integrated value of the telephone voice frequency band (middle) and the power integrated value (power integrated addition value) of the band outside the telephone voice frequency band (low and high) By comparing with the threshold, it is possible to automatically detect the telephone voice section in the broadcast voice. Further, in determining the threshold value, it is possible to more accurately detect the telephone voice section by using the optimum value obtained from the learning data set given in advance.
[第2の実施形態]
次に、図7を参照しながら本発明の第2の実施形態に係る電話音声区間検出装置1Bについて説明する。
以下に説明する本発明の第2の実施形態に係る電話音声区間検出装置1Bにおいて、本発明の第1の実施形態に係る電話音声区間検出装置1Aとの差異は、入力音声切出し手段の構成およびパワー積算手段の構成を変更した点にある。以下の第2の実施形態に係る電話音声区間検出装置1Bの説明において、第1の実施形態に係る電話音声区間検出装置1Aと共通する構成については同一の符号を付し重複する説明を省略する。
[Second Embodiment]
Next, a telephone voice section detecting device 1B according to the second embodiment of the present invention will be described with reference to FIG.
In the telephone voice section detecting device 1B according to the second embodiment of the present invention described below, the difference from the telephone voice section detecting device 1A according to the first embodiment of the present invention is that the configuration of the input voice cutting means and The configuration of the power integrating means is changed. In the following description of the telephone voice section detecting device 1B according to the second embodiment, the same reference numerals are given to the same components as those in the telephone voice section detecting device 1A according to the first embodiment, and redundant description is omitted. .
電話音声区間検出装置1Bは、入力音声切出し手段11Bと、パワー積算手段12Bと、対数変換手段13と、差分生成手段14と、平滑化処理手段15と、閾値判定手段16と、閾値記憶手段17と、を備える構成とした。 The telephone voice section detection device 1B includes an input voice cutout means 11B, a power integration means 12B, a logarithmic conversion means 13, a difference generation means 14, a smoothing processing means 15, a threshold determination means 16, and a threshold storage means 17. And a configuration comprising:
入力音声切出し手段11Bは、音声波形切出し手段11Baと、窓関数乗算手段11Bbとを備える。
音声波形切出し手段11Baは、外部から放送音声データが入力されると、この入力された放送音声から予め定められた時間間隔で分析フレーム毎に音声波形を切り出すものである。切り出された音声波形は、窓関数乗算手段11Bbに出力される。
The input voice cutout unit 11B includes a voice waveform cutout unit 11Ba and a window function multiplication unit 11Bb.
The voice waveform cutout means 11Ba cuts out a voice waveform for each analysis frame at a predetermined time interval from the inputted broadcast voice when broadcast voice data is inputted from the outside. The extracted speech waveform is output to the window function multiplication unit 11Bb.
窓関数乗算手段11Bbは、音声波形切出し手段11Baによって切り出された音声波形に窓関数を乗算するものである。窓関数を乗じるのは、次に述べるFFT演算手段12Baによって周波数特性を求める際に、切り出し区間の始めと終わりの部分が不連続となることによりスペクトル特性に与える影響を極力少なくするためである。窓関数が乗算された音声波形は、パワー積算手段12Bに出力される。 The window function multiplying unit 11Bb multiplies the speech waveform cut out by the speech waveform cutting out unit 11Ba by a window function. The reason for multiplying the window function is to minimize the influence on the spectral characteristics due to the discontinuity at the beginning and end of the cut-out section when the frequency characteristics are obtained by the FFT operation means 12Ba described below. The voice waveform multiplied by the window function is output to the power integrating means 12B.
パワー積算手段12Bは、FFT(Fast Fourier Transform)演算手段12Ba(周波数特性演算手段)と、スペクトル算出手段12Bbと、パワー積算値演算手段12Bcを備えたことにある。 The power integrating means 12B includes an FFT (Fast Fourier Transform) calculating means 12Ba (frequency characteristic calculating means), a spectrum calculating means 12Bb, and a power integrated value calculating means 12Bc.
FFT演算手段12Baは、入力音声切出し手段11Bによってフレーム毎に切り出された放送音声データ中にどの周波数成分がどれくらい含まれているかを示す周波数特性X(m,k)=FFT(x(m,n))をフーリエ変換により抽出するものである。但し、ここでは、0≦k<Kとし、Kは、窓幅50ms相当のサンプル数を超える最小の2の累乗数であり、たとえば、標本化周波数48kHzでは4096ポイントになる。演算された周波数特性は、スペクトル算出手段12Bbへ出力される。 The FFT operation means 12Ba has a frequency characteristic X (m, k) = FFT (x (m, n) indicating which frequency component is included in the broadcast audio data extracted for each frame by the input audio extraction means 11B. )) Is extracted by Fourier transform. However, here, 0 ≦ k <K, and K is the minimum power of 2 that exceeds the number of samples corresponding to the window width of 50 ms, for example, 4096 points at a sampling frequency of 48 kHz. The calculated frequency characteristic is output to the spectrum calculating means 12Bb.
スペクトル算出手段12Bbは、FFT演算手段12Baにより演算された周波数特性から、周波数振幅特性を算出するものである。スペクトル算出手段12Bbは、FFT演算手段12Baにより演算された周波数特性から、スペクトルSX(m,k)=|X(m,k)|を演算する。
なお、周波数振幅で表現可能な音声特徴量であれば特に限定されるものではなく、例えば、振幅スペクトル、LPC(線形予測符号:Linear Predictive Coding)によるスペクトル包絡、LPCケプストラムによるスペクトル包絡、または、FFTケプストラムによるスペクトル包絡に類するものを用いることができる。
The spectrum calculating means 12Bb calculates frequency amplitude characteristics from the frequency characteristics calculated by the FFT calculating means 12Ba. The spectrum calculation unit 12Bb calculates the spectrum S X (m, k) = | X (m, k) | from the frequency characteristic calculated by the FFT calculation unit 12Ba.
Note that there is no particular limitation as long as it is an audio feature amount that can be expressed by frequency amplitude. For example, an amplitude spectrum, a spectrum envelope by LPC (Linear Predictive Coding), a spectrum envelope by LPC cepstrum, or FFT A spectrum envelope similar to a cepstrum can be used.
パワー積算値演算手段12Bcは、スペクトル算出手段12Bbによって算出されたスペクトルSX(m,k)に基づき、帯域毎のパワー積算値(振幅スペクトルの自乗和)を演算するものである。
パワー積算値演算手段12Bcは、例えば式(4)によって低域のパワー積算値PL(m)と、中域のパワー積算値PM(m)と、高域のパワー積算値PH(m)とを演算する。
The power integrated value calculation means 12Bc calculates the power integrated value (square sum of amplitude spectrum) for each band based on the spectrum S X (m, k) calculated by the spectrum calculation means 12Bb.
The power integrated value calculation means 12Bc is, for example, a low-frequency power integrated value P L (m), a mid-range power integrated value P M (m), and a high-frequency power integrated value P H (m ).
ここで、例えば標本化周波数48kHzにおけるフーリエ変換のポイント数Kを4096ポイントとしたとき、KLを300Hz相当の25とし、KMを3500Hz相当の298とし、KHを標本化周波数の半分に相当する24kHz相当の2048とする。
さらに、パワー積算値演算手段12Bcは、低域のパワー積算値PL(m)と、高域のパワー積算値PH(m)とを加算し、パワー積算加算値PL+H(m)=PL(m)+PH(m)を算出する。このようにして算出されたパワー積算加算値PL+H(m)と、中域のパワー積算値PM(m)は、対数変換手段13へ出力される。
Here, for example, when the number of points K of the Fourier transform at the sampling frequency 48kHz to 4096 points, the K L and 300Hz equivalent 25, the K M and 3500Hz equivalent 298, corresponding to half the sampling frequency of K H 2048 corresponding to 24 kHz.
Furthermore, the power integrated value calculation means 12Bc adds the low-frequency integrated power value P L (m) and the high-frequency integrated power value P H (m), and adds the integrated power value P L + H (m) = P L (m) + P H (m) is calculated. The power addition value P L + H (m) calculated in this way and the power integration value P M (m) in the middle range are output to the logarithmic conversion means 13.
以下、図8のフローチャートを参照しながら、図7に示した本発明の第2の実施形態に係る電話音声区間検出装置1Bの動作について、第1の実施形態に係る電話音声区間検出装置1Aの動作と異なる点を主に説明する。 Hereinafter, with reference to the flowchart of FIG. 8, the operation of the telephone voice interval detecting device 1B according to the second embodiment of the present invention shown in FIG. The difference from the operation will be mainly described.
まず、電話音声区間検出装置1Bは、入力音声切出し手段11Bによって、放送音声データが入力される。ここで入力される放送音声データは、標本化周波数48kHz、量子化16ビットでAD(Analog-Digital)変換されたデジタル信号とする。電話音声区間検出装置1Bは、入力音声切出し手段11Bの音声波形切出し手段11Baによって、入力された放送音声データを、予め定めた時間間隔で分析フレーム毎に切り出し、窓関数乗算手段11Bbに出力する(ステップS801)。
次に、電話音声区間検出装置1Bは、入力音声切出し手段11Bの窓関数乗算手段1Bbによって、音声波形切出し手段11Baによって切り出された音声波形に、窓関数を乗算し、パワー積算手段12Bに出力する(ステップS802)。
First, in the telephone voice section detection device 1B, broadcast voice data is input by the input voice cutout means 11B. The broadcast audio data input here is a digital signal that has been subjected to AD (Analog-Digital) conversion at a sampling frequency of 48 kHz and quantization of 16 bits. The telephone voice section detecting device 1B uses the voice waveform cutting means 11Ba of the input voice cutting means 11B to cut the input broadcast voice data for each analysis frame at a predetermined time interval, and outputs it to the window function multiplication means 11Bb ( Step S801).
Next, the telephone voice section detecting device 1B multiplies the voice waveform cut out by the voice waveform cutout means 11Ba by the window function multiplication means 1Bb of the input voice cutout means 11B, and outputs the result to the power integration means 12B. (Step S802).
続いて、電話音声区間検出装置1Bは、パワー積算手段12BのFFT演算手段12Baによって、音声波形切出し手段11Baによりフレーム毎に切り出され、窓関数乗算手段11Bbによって窓関数が乗算された音声波形をフーリエ変換することで、周波数特性を求める(ステップS803)。電話音声区間検出装置1Bは、FFT演算手段12Baによって、演算した周波数特性を、スペクトル算出手段12Bbに出力する。 Subsequently, in the telephone voice section detecting device 1B, the FFT operation means 12Ba of the power integration means 12B is subjected to Fourier transform of the voice waveform cut out for each frame by the voice waveform cutout means 11Ba and multiplied by the window function by the window function multiplication means 11Bb. By converting, the frequency characteristic is obtained (step S803). The telephone voice section detection device 1B outputs the frequency characteristic calculated by the FFT calculation unit 12Ba to the spectrum calculation unit 12Bb.
次に、電話音声区間検出装置1Bは、パワー積算手段12Bのスペクトル算出手段12Bbによって、FFT演算手段12Baにより演算された周波数特性からスペクトルSX(m,k)を算出する(ステップS804)。
そして、電話音声区間検出装置1Bは、パワー積算値演算手段12Bcによって、スペクトル算出手段12Bbにより算出されたスペクトルSX(m,k)に基づいて、帯域毎のパワー積算値をそれぞれ演算する(ステップS805〜S807)。すなわち、パワー積算値演算手段12Bcによって、低域のパワー積算値PL(m)と、中域のパワー積算値PM(m)と、高域のパワー積算値PH(m)とを演算する。
Next, the telephone voice interval detecting device 1B calculates the spectrum S X (m, k) from the frequency characteristic calculated by the FFT calculating means 12Ba by the spectrum calculating means 12Bb of the power integrating means 12B (step S804).
Then, the telephone voice section detecting device 1B calculates the power integrated value for each band based on the spectrum S X (m, k) calculated by the spectrum calculating unit 12Bb by the power integrated value calculating unit 12Bc (step). S805 to S807). That is, the power integrated value calculation means 12Bc calculates the low-frequency integrated power value P L (m), the mid-range integrated power value P M (m), and the high-frequency integrated power value P H (m). To do.
さらに、電話音声区間検出装置1Bは、パワー積算値演算手段12Bcによって、ステップS805で演算した低域のパワー積算値PL(m)と、ステップS807で演算した高域のパワー積算値PH(m)とを加算し、パワー積算加算値PL+H(m)を算出する(ステップS808)。そして、電話音声区間検出装置1Bは、パワー積算値演算手段12Bcによって、得られたパワー積算加算値PL+H(m)と中域のパワー積算値PM(m)とを、対数変換手段13に出力する。 Further, the telephone voice section detecting device 1B uses the power integrated value calculating means 12Bc to calculate the low frequency power integrated value P L (m) calculated in step S805 and the high frequency power integrated value P H (calculated in step S807). m) is added to calculate a power integrated addition value P L + H (m) (step S808). Then, the telephone voice section detecting device 1B uses the power integrated value calculation means 12Bc to convert the power integrated addition value P L + H (m) and the intermediate power integrated value P M (m) to the logarithmic conversion means 13. Output.
以降の動作は、第1の実施形態と同様であり、電話音声周波数帯域のパワー積算値と電話音声周波数帯域以外の帯域のパワー積算値の対数変換を行い、その差の時間変化を平滑化した値について閾値判定する。なお、第2の実施形態においても、第1の実施形態と同様、閾値を決定するにあたり、事前に与えられた学習データセットによって得られた最適値を用いることとする。
すなわち、ステップS809は、図2のステップS207に、ステップS810は、図2のステップS208に、ステップS811は、図2のステップS209に、ステップS812は、図2のステップS210に、ステップS813は、図2のステップS211に、ステップS814は、図2のステップS212に、それぞれ相当する。
The subsequent operations are the same as in the first embodiment, and logarithmic conversion is performed between the power integrated value of the telephone voice frequency band and the power integrated value of the band other than the telephone voice frequency band, and the time change of the difference is smoothed. A threshold is determined for the value. In the second embodiment, as in the first embodiment, the optimum value obtained from the learning data set given in advance is used for determining the threshold value.
That is, step S809 is step S207 of FIG. 2, step S810 is step S208 of FIG. 2, step S811 is step S209 of FIG. 2, step S812 is step S210 of FIG. Step S211 in FIG. 2 and step S814 correspond to step S212 in FIG. 2, respectively.
上述した第2の実施形態によれば、電話音声区間検出装置1Bは、入力される放送音声データに対してフレーム毎に音声波形を切り出し、切り出した音声波形の周波数特性を算出し、さらに、音声波形の周波数特性のスペクトルを算出し、電話音声周波数帯域(中域)と、電話音声周波数帯域以外の音声帯域(低域と高域)のスペクトルのパワーの積算値をそれぞれ算出し、電話音声周波数帯域のパワー積算値と、それ以外の音声帯域のパワー積算値(パワー積算加算値)の対数をとった差分を平滑化した値について閾値判定することで、放送音声中の電話音声区間を自動的に検出することができる。 According to the second embodiment described above, the telephone voice section detecting device 1B cuts out a voice waveform for each frame from the input broadcast voice data, calculates the frequency characteristics of the cut out voice waveform, Calculate the spectrum of the frequency characteristic of the waveform, calculate the integrated value of the power of the spectrum of the telephone voice frequency band (middle) and the voice band (low and high) other than the telephone voice frequency band, respectively. By automatically determining the threshold value for the value obtained by smoothing the logarithm of the power integrated value of the band and the power integrated value (power integrated addition value) of the other audio band, the telephone voice interval in the broadcast audio is automatically determined. Can be detected.
1A、1B 電話音声区間検出装置
11A 入力音声切出し手段
11B 入力音声切出し手段
11Ba 音声波形切出し手段
11Bb 窓関数乗算手段
12A パワー積算手段
12Aa 帯域分割手段
12Ab パワー積算値演算手段
12B パワー積算手段
12Ba FFT演算手段(周波数特性演算手段)
12Bb スペクトル算出手段
12Bc パワー積算値演算手段
13 対数変換手段
14 差分生成手段
15 平滑化処理手段
16 閾値判定手段
17 閾値記憶手段
1A, 1B Telephone voice section detector 11A Input voice cutout means 11B Input voice cutout means 11Ba Voice waveform cutout means 11Bb Window function multiplication means 12A Power integration means 12Aa Band division means 12Ab Power integration value calculation means 12B Power integration means 12Ba FFT calculation means (Frequency characteristics calculation means)
12Bb Spectrum calculation means 12Bc Power integrated value calculation means 13 Logarithmic conversion means 14 Difference generation means 15 Smoothing processing means 16 Threshold determination means 17 Threshold storage means
Claims (6)
前記放送音声データから予め定められた時間間隔でフレーム毎に音声波形を切り出す入力音声切出し手段と、
前記入力音声切出し手段によって切り出された前記音声波形に含まれる電話音声周波数帯域のパワー積算値と、当該電話音声周波数帯域外の帯域のパワー積算値とを演算するパワー積算手段と、
前記パワー積算手段によって算出されたそれぞれの前記パワー積算値を対数化する対数変換手段と、
前記対数変換手段によって対数化されたそれぞれの前記パワー積算値の差分を生成する差分生成手段と、
前記差分生成手段によって生成された前記差分の時間的変化を平滑化する平滑化処理手段と、
前記平滑化処理手段によって平滑化された値と、予め設定された閾値とを比較して前記電話音声区間か否かを判定する閾値判定手段と、を備えたことを特徴とする電話音声区間検出装置。
A telephone voice section detecting device for detecting a telephone voice section from input broadcast voice data,
Input voice cutout means for cutting out a voice waveform for each frame at a predetermined time interval from the broadcast voice data;
Power integrating means for calculating a power integrated value of a telephone voice frequency band included in the voice waveform cut out by the input voice cutting means and a power integrated value of a band outside the telephone voice frequency band;
Logarithmic conversion means for logarithmizing each of the power integrated values calculated by the power integrating means;
Difference generating means for generating a difference between the respective power integrated values logarithmized by the logarithmic conversion means;
Smoothing processing means for smoothing a temporal change of the difference generated by the difference generating means;
Threshold value determining means for comparing the value smoothed by the smoothing processing means with a preset threshold value to determine whether or not the telephone voice period is detected, the telephone voice interval detection apparatus.
前記入力音声切出し手段によって切り出された前記音声波形を、前記電話音声周波数帯域と、当該電話音声周波数帯域外の帯域とに帯域分割する帯域分割手段と、
前記帯域分割手段によって分割された前記電話音声周波数帯域のパワー積算値と、前記電話音声周波数帯域外の帯域のパワー積算値とを演算するパワー積算値演算手段と、を備えることを特徴とする請求項1に記載の電話音声区間検出装置。
The power integrating means is
Band dividing means for dividing the voice waveform cut out by the input voice cutting means into the telephone voice frequency band and a band outside the telephone voice frequency band;
And a power integrated value calculating means for calculating a power integrated value of the telephone voice frequency band divided by the band dividing means and a power integrated value of a band outside the telephone voice frequency band. Item 2. The telephone voice interval detecting device according to Item 1.
前記入力音声切出し手段によって切り出された前記音声波形の周波数特性を算出する周波数特性演算手段と、
前記周波数特性演算手段によって算出された前記周波数特性に基づいて前記電話音声周波数帯域のスペクトルと、前記電話音声周波数帯域外のスペクトルとを算出するスペクトル算出手段と、
前記スペクトル算出手段によって算出された前記電話音声周波数帯域の前記スペクトルのパワー積算値と、前記電話音声周波数帯域外の前記スペクトルのパワー積算値とを演算するパワー積算値演算手段と、を備えることを特徴とする請求項1に記載の電話音声区間検出装置。
The power integrating means is
Frequency characteristic calculating means for calculating frequency characteristics of the voice waveform cut out by the input voice cutting means;
Spectrum calculating means for calculating a spectrum of the telephone voice frequency band and a spectrum outside the telephone voice frequency band based on the frequency characteristic calculated by the frequency characteristic calculating means;
A power integrated value calculating means for calculating a power integrated value of the spectrum in the telephone voice frequency band calculated by the spectrum calculating means and a power integrated value of the spectrum outside the telephone voice frequency band. 2. The telephone voice section detecting device according to claim 1, wherein
前記音声波形の振幅スペクトル、線形予測符号によるスペクトル包絡、線形予測符号によるケプストラム包絡、フーリエ解析ケプストラム包絡の少なくとも一つの音声解析を実行して前記周波数特性を算出することを特徴とする請求項3に記載の電話音声区間検出装置。
The frequency characteristic calculating means is
The frequency characteristic is calculated by executing at least one speech analysis of an amplitude spectrum of the speech waveform, a spectrum envelope by a linear prediction code, a cepstrum envelope by a linear prediction code, and a Fourier analysis cepstrum envelope. The telephone voice section detecting device as described.
IIRによる低域フィルタ、またはFIRによる低域フィルタとすることを特徴とする請求項1から請求項4のいずれか一項に記載の電話音声区間検出装置。
The smoothing processing means includes
5. The telephone voice interval detecting device according to claim 1, wherein a low-pass filter using IIR or a low-pass filter using FIR is used.
コンピュータを、
前記放送音声データから予め定められた時間間隔でフレーム毎に音声波形を切り出す入力音声切出し手段、
前記入力音声切出し手段によって切り出された前記音声波形に含まれる電話音声周波数帯域のパワー積算値と、当該電話音声周波数帯域外の帯域のパワー積算値とを演算するパワー積算手段、
前記パワー積算手段によって算出されたそれぞれの前記パワー積算値を対数化する対数変換手段、
前記対数変換手段によって対数化されたそれぞれの前記パワー積算値の差分を生成する差分生成手段、
前記差分生成手段によって生成された前記差分の時間的変化を平滑化する平滑化処理手段、
前記平滑化処理手段によって平滑化された値と、予め設定された閾値とを比較して前記電話音声区間か否かを判定する閾値判定手段、として機能させるための電話音声区間検出プログラム。 In order to detect the telephone voice section from the input broadcast audio,
Computer
Input voice cutout means for cutting out a voice waveform for each frame at a predetermined time interval from the broadcast voice data;
Power integrating means for calculating a power integrated value of a telephone voice frequency band included in the voice waveform cut out by the input voice cutting means and a power integrated value of a band outside the telephone voice frequency band;
Logarithmic conversion means for logarithmizing each of the power integrated values calculated by the power integrating means;
Difference generating means for generating a difference between the respective power integrated values logarithmized by the logarithmic conversion means;
Smoothing processing means for smoothing the temporal change of the difference generated by the difference generating means;
A telephone voice section detection program for functioning as threshold judgment means for comparing the value smoothed by the smoothing processing means with a preset threshold value and judging whether or not the telephone voice section.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009131925A JP5193130B2 (en) | 2009-06-01 | 2009-06-01 | Telephone voice section detecting device and program thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009131925A JP5193130B2 (en) | 2009-06-01 | 2009-06-01 | Telephone voice section detecting device and program thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010277023A true JP2010277023A (en) | 2010-12-09 |
JP5193130B2 JP5193130B2 (en) | 2013-05-08 |
Family
ID=43424010
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009131925A Expired - Fee Related JP5193130B2 (en) | 2009-06-01 | 2009-06-01 | Telephone voice section detecting device and program thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5193130B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014170132A (en) * | 2013-03-04 | 2014-09-18 | Fujitsu Ltd | State estimation device, state estimation method and computer program for state estimation |
JP2019184867A (en) * | 2018-04-12 | 2019-10-24 | 富士通株式会社 | Coded sound determination program, coded sound determination method, and coded sound determination device |
JP2020537198A (en) * | 2017-10-03 | 2020-12-17 | グーグル エルエルシー | Identify music as a particular song |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001285523A (en) * | 2000-03-28 | 2001-10-12 | Kddi Corp | Call discriminating device |
JP2001359196A (en) * | 2000-06-12 | 2001-12-26 | Matsushita Electric Ind Co Ltd | Audio reproducing device |
JP2008158301A (en) * | 2006-12-25 | 2008-07-10 | Sony Corp | Signal processing device, signal processing method, reproduction device, reproduction method and electronic equipment |
JP2009157337A (en) * | 2007-12-06 | 2009-07-16 | Sanyo Electric Co Ltd | Sound collection environment deciding device, electronic equipment having the same, and sound collection environment deciding method |
-
2009
- 2009-06-01 JP JP2009131925A patent/JP5193130B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001285523A (en) * | 2000-03-28 | 2001-10-12 | Kddi Corp | Call discriminating device |
JP2001359196A (en) * | 2000-06-12 | 2001-12-26 | Matsushita Electric Ind Co Ltd | Audio reproducing device |
JP2008158301A (en) * | 2006-12-25 | 2008-07-10 | Sony Corp | Signal processing device, signal processing method, reproduction device, reproduction method and electronic equipment |
JP2009157337A (en) * | 2007-12-06 | 2009-07-16 | Sanyo Electric Co Ltd | Sound collection environment deciding device, electronic equipment having the same, and sound collection environment deciding method |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014170132A (en) * | 2013-03-04 | 2014-09-18 | Fujitsu Ltd | State estimation device, state estimation method and computer program for state estimation |
US10074384B2 (en) | 2013-03-04 | 2018-09-11 | Fujitsu Limited | State estimating apparatus, state estimating method, and state estimating computer program |
JP2020537198A (en) * | 2017-10-03 | 2020-12-17 | グーグル エルエルシー | Identify music as a particular song |
US11256472B2 (en) | 2017-10-03 | 2022-02-22 | Google Llc | Determining that audio includes music and then identifying the music as a particular song |
JP7143327B2 (en) | 2017-10-03 | 2022-09-28 | グーグル エルエルシー | Methods, Computer Systems, Computing Systems, and Programs Implemented by Computing Devices |
JP2019184867A (en) * | 2018-04-12 | 2019-10-24 | 富士通株式会社 | Coded sound determination program, coded sound determination method, and coded sound determination device |
JP7056340B2 (en) | 2018-04-12 | 2022-04-19 | 富士通株式会社 | Coded sound determination program, coded sound determination method, and coded sound determination device |
Also Published As
Publication number | Publication date |
---|---|
JP5193130B2 (en) | 2013-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2546831B1 (en) | Noise suppression device | |
US11869519B2 (en) | Apparatus and method for decomposing an audio signal using a variable threshold | |
JP6174856B2 (en) | Noise suppression device, control method thereof, and program | |
US11183199B2 (en) | Apparatus and method for decomposing an audio signal using a ratio as a separation characteristic | |
JP6073456B2 (en) | Speech enhancement device | |
WO2012131438A1 (en) | A low band bandwidth extender | |
KR101907808B1 (en) | Method for estimating noise in an audio signal, noise estimator, audio encoder, audio decoder and system for transmitting audio signals | |
JP5193130B2 (en) | Telephone voice section detecting device and program thereof | |
EP2362390B1 (en) | Noise suppression | |
JP4922427B2 (en) | Signal correction device | |
JP2020190606A (en) | Sound noise removal device and program | |
JP2010026323A (en) | Speech speed detection device | |
Oukherfellah et al. | FPGA implementation of voice activity detector for efficient speech enhancement | |
JP2905112B2 (en) | Environmental sound analyzer | |
Boyer et al. | Dynamic temporal segmentation in parametric non-stationary modeling for percussive musical signals | |
JP2003316380A (en) | Noise reduction system for preprocessing speech- containing sound signal | |
Fong | Adaptive Pitch Detection employing the use of Fast Fourier Transform and Autocorrelation Function | |
JP2011180417A (en) | Device and method for estimating pitch of music acoustic signal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120420 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20120420 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20120420 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130201 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160208 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |