JP2010026323A

JP2010026323A - 話速検出装置

Info

Publication number: JP2010026323A
Application number: JP2008188950A
Authority: JP
Inventors: Teppei Washi; 哲平鷲; Keiichi Yoshida; 恵一吉田; Katsuhiko Kimura; 克彦木村
Original assignee: Panasonic Electric Works Co Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 2008-07-22
Filing date: 2008-07-22
Publication date: 2010-02-04

Abstract

【課題】環境ノイズなどの影響を受けにくく、話者の話速をより正確に検出しうる話速検出装置を提供する。
【解決手段】音声信号に対して線形予測を行い、線形予測係数の変化量を演算する線形予測計数変化量演算部１１と、線形予測計数の変化量の総和のエンベロープを求める第１エンベロープ演算部１２と、エンベロープのピークを検出する第１ピーク検出部１３と、検出されたピークの数から、単位時間あたりのピーク数を演算する第１話速演算部１４と、音声信号の絶対値を求める音声絶対値演算部２１と、エンベロープを求める第２エンベロープ演算部２２と、エンベロープのピークを検出する第２ピーク検出部２３と、検出されたピークの数から、単位時間あたりのピーク数を演算する第２話速演算部２４と、２つの単位時間あたりのピーク数に基づいて話速を演算する総合話速演算部１０を備える。
【選択図】図２

Description

本発明は、インターホンなどのリアルタイム型の通話装置に用いられ、話速変換のために、話者の話す速度（話速）を検出する話速検出装置に関する。

従来から、ＩＣレコーダなどの分野において、ディジタル化された音声信号を時間軸上で圧縮／伸長処理を行い、圧縮／伸長された音声信号をアナログ信号に変換してスピーカから出力することにより、音声速度を変換することが行われている。周知のように、話者によって話速はさまざまであり、同じ話者が話している場合であっても、その間の話速は一定ではない。そのため、音声信号に対して一定の圧縮／伸長率で話速変換を行うと、再生される音声はユーザ（聴者）が所望する話速よりも速く又は遅くなり、ユーザにとって聞き取りにくくなる可能性がある。

そのため、実際の話者の話速を検出し、検出した話速に応じて圧縮／伸長率を設定して話速変換を行う方法が提案されている。例えば特許文献１では、音声の時間軸波形のエンベロープにスムージング処理を施し、単位時間あたりの波形のピークの数をカウントして話速を演算し、その値に応じて話速変換を行っている。ところが、音声の変化は振幅だけでなく周波数にも現れるため、このような方法では話速の検出精度が低く、再生される音声が不自然に聞こえる場合がある。

ところで、インターホンなどのようにリアルタイムで通話を行うような装置の場合、通話を行う両者が互いに面識がなく、相手がどのような話速で話すのか予測がつかない場合が多く、通話開始時において、相手の話の内容を聞き逃す可能性が高い。そのため、リアルタイム型の通話装置において、話者の話速をより正確に検出することが要求されている。
特開平７−６４５９７号公報

本発明は、上記従来例の問題を解決するためになされたものであり、話者の話速をより正確に検出しうる話速検出装置を提供することを目的とする。

上記目的を達成するために請求項１の発明は、話速検出装置であって、入力される音声信号に対して線形予測分析を行い、得られた予測係数の変化量の総和のエンベロープを求め、エンベロープにおける単位時間あたりのピーク数を第１話速パラメータとし、前記音声信号の絶対値のエンベロープをとり、エンベロープにおける単位時間あたりのピーク数を第２話速パラメータとし、前記第１話速パラメータ及び前記第２話速パラメータにそれぞれ所定の寄与率を掛けて足し算したものに基づいて話速を演算することを特徴とする。

請求項２の発明は、話速演算装置であって、入力される音声信号に対して線形予測を行い、線形予測係数の変化量を演算する線形予測計数変化量演算部と、前記線形予測計数変化量演算部により得られた前記線形予測計数の変化量の総和のエンベロープを求める第１エンベロープ演算部と、前記第１エンベロープ演算部により得られたエンベロープのピークを検出する第１ピーク検出部と、前記第１ピーク検出部により検出されたピークの数から、単位時間あたりのピーク数を演算し、得られたピーク数を第１話速パラメータとして出力する第１話速演算部と、前記入力される音声信号の絶対値を求める音声絶対値演算部と、前記音声絶対値演算部により得られた音声絶対値のエンベロープを求める第２エンベロープ演算部と、前記第２エンベロープ演算部により得られたエンベロープのピークを検出する第２ピーク検出部と、前記第２ピーク検出部により検出されたピークの数から、単位時間あたりのピーク数を演算し、得られたピーク数を第２話速パラメータとして出力する第２話速演算部と、前記第１話速パラメータと、前記第２話速パラメータにそれぞれ所定の寄与率を掛けて足し算したものに基づいて話速を演算する総合話速演算部を備えたことを特徴とする。

請求項３の発明は、請求項２に記載の話速演算装置において、入力される音声信号から音声区間を検出する音声区間検出部をさらに備え、前記音声区間検出部が音声区間であると判断した区間に対してのみ、前記第１話速演算部及び前記第２話速演算部は、それぞれ単位時間あたりのピーク数の演算を行うことを特徴とする。

請求項４の発明は、請求項２に記載の話速演算装置において、前記第１ピーク検出部及び前記第２ピーク検出部は、エンベロープの極大値から極小値への変化量が所定の設定値よりも小さい場合、その極大値をピークとしては検出しないことを特徴とする。

請求項１又は２の発明によれば、線形予測係数の変化量のエンベロープから音声の周波数特性などの変化を抽出することができる。一方、線形予測係数の変化量は、振幅の小さい信号に対しては変動が小さく、音声の特徴の変化を抽出できない場合がある。そのため、信号レベルの小さい音声の変化も抽出することができる音声絶対値のエンベロープを組み合わせることにより、精度の高い話速検出を実現することができる。

請求項３の発明によれば、音声信号のうち、話者が実際に話している音声区間に対してだけ話速検出処理を行うので、話者が話していない非音声区間における環境ノイズなどによる影響を排除することができ、より精度の高い話速検出を行うことができる。

請求項４の発明によれば、変化の大きいピークのみを検出するので、ノイズなどによる影響を低減することができ、精度の高い話速検出を行うことができる。

本発明の一実施形態に係る話速検出装置について、図面を参照しつつ説明する。はじめに、話速検出装置１の使用例を図１に示す。例えばマイクロホン（図示せず）などから入力される音声信号は、話速検出装置１に入力され、以下に説明する処理が行われ、話者の話速が検出される。検出された話速は、話速パラメータとして音声伸長率決定部２に入力され、音声伸長率が決定される。音声信号は、話速変換装置１とパラレルに話速変換部３に入力され、音声伸長率決定部２により決定された音声伸長率に基づいて音声信号の話速変換が行われる。そして、話速変換が行われた音声信号は、スピーカ４から音声に変換されて出力される。話速変換装置１は、電話やインターホンなどの話速変換機能を備えた通話装置の回路の一部として構成されていてもよいし、専用のＩＣとしてモジュール化されていてもよい。

図２は、本実施形態に係る話速検出装置１の一構成例を示す。また、図３は、話速検出装置１の他の構成例を示す。話速検出装置１は、入力される音声信号に対して線形予測を行い、線形予測係数の変化量を演算する線形予測計数変化量演算部１１と、線形予測計数変化量演算部１１により得られた線形予測計数の変化量の総和のエンベロープを求める第１エンベロープ演算部１２と、第１エンベロープ演算部１２により得られたエンベロープのピークを検出する第１ピーク検出部１３と、第１ピーク検出部１３により検出されたピークの数から、単位時間あたりのピーク数を演算し、得られたピーク数を第１話速パラメータとして出力する第１話速演算部１４と、入力される音声信号の絶対値を求める音声絶対値演算部２１と、音声絶対値演算部２１により得られた音声絶対値のエンベロープを求める第２エンベロープ演算部２２と、第２エンベロープ演算部２２により得られたエンベロープのピークを検出する第２ピーク検出部２３と、第２ピーク検出部２３により検出されたピークの数から、単位時間あたりのピーク数を演算し、得られたピーク数を第２話速パラメータとして出力する第２話速演算部２４と、第１話速パラメータと、前記第２話速パラメータにそれぞれ所定の寄与率を掛けて足し算したものに基づいて話速を演算する総合話速演算部１０を備えている。図２に示す構成例では、さらに入力される音声信号から音声区間を検出する音声区間検出部２０を備えている。

これら線形予測計数変化量演算部１１、第１エンベロープ演算部１２、第１ピーク検出部１３、第１話速演算部１４、音声絶対値演算部２１、第２エンベロープ演算部２２、第２ピーク検出部２３、第２話速演算部２４、総合話速演算部１０及び音声区間検出部２０は、それぞれ個別の回路で構成されていてもよく、あるいは同一のＣＰＵ、ＲＯＭ及びＲＡＭなどで構成されていてもよく、ディジタル化された音声信号に所定の処理を行う。

図２又は図３から明らかなように、本実施形態に係る話速検出装置１では、入力される音声信号に対して線形予測分析を行い、得られた予測係数の変化量の総和のエンベロープを求め、エンベロープにおける単位時間あたりのピーク数を第１話速パラメータとして出力する第１話速演算系統と、音声信号の絶対値のエンベロープをとり、エンベロープにおける単位時間あたりのピーク数を第２話速パラメータとして出力する第２話速演算系統の２系統を備えており、最終的に第１話速パラメータ及び第２話速パラメータにそれぞれ所定の寄与率を掛けて足し算したものに基づいて話速を演算する。

線形予測計数変化量演算部１１では、ＦＩＲフィルタに音声信号を入力し、フィルタ係数に対してＬＭＳアルゴリズムなどを用いることで線形予測係数を求める。時刻ｎでのＭ次線形予測フィルタにおける線形予測係数の時間変化量の総和ｈｅ（ｎ）は、以下の式から求まる。ｈ_ｍ（ｎ）は、時刻ｎでのｍ番目の線形予測係数である。

第１エンベロープ演算部１２は、予測係数の変化量の総和のエンベロープをとり、第１ピーク検出部１３は、音節特徴量としてエンベロープピーク数を検出し、第１話速演算部１４は、単位時間あたりのピーク数をカウントし、カウントした単位時間あたりのピーク数を第１話速パラメータとして出力する。定常的な信号に対する線形予測分析を行った場合、得られた線形予測係数は時間により変化せず一定の値になるので、入力信号が音声信号に定常雑音が重畳したものであっても、音節特徴量を抽出することができるので、雑音環境下でも安定して話速を検出することができる。

一方、音声絶対値演算部２１は、入力される音声信号の絶対値を求め、第２エンベロープ演算部２２は、音声信号の絶対値のエンベロープをとる。第２ピーク検出部２３は、音節特徴量としてエンベロープピーク数を検出し、第２話速演算部２４は、単位時間あたりのピーク数をカウントし、カウントした単位時間あたりのピーク数を第２話速パラメータとして出力する。総合話速演算部１０は、第１話速パラメータと、第２話速パラメータにそれぞれ所定の寄与率（例えば３：７、４：６、５：５、６：４、７：３など）を掛けて足し算したものに基づいて話速を演算する。

図４（ａ）に入力信号の時間波形を、図４（ｂ）に、入力信号の時間波形と線形予測係数の時間変化量の総和に対してエンベロープをかけた波形の一例を、図４（ｃ）に入力信号の時間波形の信号絶対値にエンベロープをかけた波形の一例を示す。

前述のように、線形予測係数の変化量のエンベロープから音声の周波数特性などの変化を抽出することができるけれども、線形予測係数の変化量は、振幅の小さい信号に対しては変動が小さく、音声の特徴の変化を抽出できない場合がある。例えば図４（ｂ）の円Ａ及び図４（ｃ）の円Ｂに注目すると、話速検出のために線形予測係数の変化量のエンベロープを用いた場合、信号絶対値のエンベロープからでは抽出できないような音声の変化を検出することができる。それに対して、図４（ａ）の円Ｃ、図４（ｂ）の円Ｄ及び図４（ｃ）の円Ｅに注目すると、音声の振幅が小さい部分（円Ｃ）では、線形予測係数の変化量のエンベロープからは音声に変化を抽出することはできないが（円Ｄ）、信号絶対値のエンベロープからは音声の変化を抽出することができる（円Ｅ）。このように、線形予測係数の変化量のエンベロープと信号絶対値のエンベロープを併用することにより、互いに他方の欠点を補完し合うため、精度の高い話速検出を実現することができる。

図３に示す構成例では、音声区間検出部２０により、入力される音声信号から音声区間を検出し、音声区間検出部２０が音声区間であると判断した区間に対してのみ、すなわち、音声区間フラグがオンしている期間のみ、第１話速演算部１４及び第２話速演算部２４は、それぞれ単位時間あたりのピーク数の演算を行う。すなわち、音声信号のうち、話者が実際に話している音声区間に対してだけ話速検出処理を行うので、話者が話していない非音声区間における環境ノイズなどによる影響を排除することができ、より精度の高い話速検出を行うことができる。なお、音声区間検出部２０は、特開２００５−１５６８８６号公報に記載された方法などにより、音声区間と非音声区間の区別及び音声区間の検出を行うものとし、その詳細な説明は省略する。

なお、図５に示すように、第１ピーク検出部１３及び第２ピーク検出部２３において、エンベロープの極大値から極小値への変化量が所定の設定値（閾値）よりも小さい場合、その極大値をピークとしては検出しないように構成してもよい。線形予測係数の変化量のエンベロープ及び信号絶対値のエンベロープでは、交互に極大値と極小値が連続する。図５中×印を付けたピークに着目すると、極小値から極大値への変化が比較的大きくても、極大値から極小値への変化は非常に小さい。従って、極大値から極小値への変化量を所定の設定値と比較し、変化量が設定値よりも小さい場合はピークとしてカウントしないようにすれば、変化の大きいピークのみが検出され、ノイズなどによる影響を低減することができ、その結果として、精度の高い話速検出を行うことができる。

図１に示す音声伸長率決定部２は、総合話速演算部１０により演算された話速パラメータに基づいて音声信号を再生する際の音声伸長率を決定する。また、話速変換部３は、音声伸長率決定部２により決定された音声伸長率に基づいて、音声信号の話速変換を行う。話速演算アルゴリズムとしては、例えばＰＩＣＯＬＡ(Pointer Interval Controlled OverLap and Add)アルゴリズムなどを用いることができる。

なお、本発明は、上記実施形態の記載に限定されるものではなく、発明の趣旨を逸脱しない範囲で様々な変形や応用が可能である。例えば、本発明は、電話やインターホンなどのリアルタイム型の通話装置だけでなくＩＣレコーダなどの音声再生装置の話速検出に用いることことができることはいうまでもない。

本発明の一実施形態に係る話速検出装置の使用例を示すブロック図。本実施形態に係る話速検出装置の一構成例を示すブロック図。本実施形態に係る話速検出装置の他の構成例を示すブロック図。（ａ）は入力信号の時間波形を示す図、（ｂ）は入力信号の時間波形にエンベロープをかけた波形の一例を示す図、（ｃ）は入力信号の時間波形と線形予測係数の時間変化量の総和に対してエンベロープをかけた波形の一例を示す図。エンベロープにおける極大値から極小値への変化が小さい場合にピークとしてカウントしないようにした変形例を説明するための波形図。

符号の説明

１話速検出装置
１０総合話速演算部
１１線形予測係数変化量演算部
１２第１エンベロープ演算部
１３第１ピーク検出部
１４第１話速演算部
２０音声区間検出部
２１音声絶対値演算部
２２第２エンベロープ演算部
２３第２ピーク検出部
２４第２話速演算部

Claims

入力される音声信号に対して線形予測分析を行い、得られた予測係数の変化量の総和のエンベロープを求め、エンベロープにおける単位時間あたりのピーク数を第１話速パラメータとし、
前記音声信号の絶対値のエンベロープをとり、エンベロープにおける単位時間あたりのピーク数を第２話速パラメータとし、
前記第１話速パラメータ及び前記第２話速パラメータにそれぞれ所定の寄与率を掛けて足し算したものに基づいて話速を演算することを特徴とする話速検出装置。
入力される音声信号に対して線形予測を行い、線形予測係数の変化量を演算する線形予測計数変化量演算部と、
前記線形予測計数変化量演算部により得られた前記線形予測計数の変化量の総和のエンベロープを求める第１エンベロープ演算部と、
前記第１エンベロープ演算部により得られたエンベロープのピークを検出する第１ピーク検出部と、
前記第１ピーク検出部により検出されたピークの数から、単位時間あたりのピーク数を演算し、得られたピーク数を第１話速パラメータとして出力する第１話速演算部と、
前記入力される音声信号の絶対値を求める音声絶対値演算部と、
前記音声絶対値演算部により得られた音声絶対値のエンベロープを求める第２エンベロープ演算部と、
前記第２エンベロープ演算部により得られたエンベロープのピークを検出する第２ピーク検出部と、
前記第２ピーク検出部により検出されたピークの数から、単位時間あたりのピーク数を演算し、得られたピーク数を第２話速パラメータとして出力する第２話速演算部と、
前記第１話速パラメータと、前記第２話速パラメータにそれぞれ所定の寄与率を掛けて足し算したものに基づいて話速を演算する総合話速演算部を備えたことを特徴とする話速演算装置。
入力される音声信号から音声区間を検出する音声区間検出部をさらに備え、前記音声区間検出部が音声区間であると判断した区間に対してのみ、前記第１話速演算部及び前記第２話速演算部は、それぞれ単位時間あたりのピーク数の演算を行うことを特徴とする請求項２に記載の話速演算装置。
前記第１ピーク検出部及び前記第２ピーク検出部は、エンベロープの極大値から極小値への変化量が所定の設定値よりも小さい場合、その極大値をピークとしては検出しないことを特徴とする請求項２に記載の話速演算装置。