JP5326311B2

JP5326311B2 - 音声帯域拡張装置、方法及びプログラム、並びに、音声通信装置

Info

Publication number: JP5326311B2
Application number: JP2008071466A
Authority: JP
Inventors: 弘美青柳
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2008-03-19
Filing date: 2008-03-19
Publication date: 2013-10-30
Anticipated expiration: 2028-03-19
Also published as: EP2104097B1; US8396703B2; JP2009229519A; EP2104097A1; US20090240489A1

Description

本発明は、音声帯域拡張装置、方法及びプログラム、並びに、音声通信装置に関し、特に、帯域が制限された音声信号に対し、その帯域上限を超える信号を生成、付加して帯域を拡張しようとしたものである。

現在、盛んに行われている音声通信である電話は、伝送可能な音声周波数に制限がある。具体的には、３００Ｈｚ〜３．４ｋＨｚの音声信号しか伝送できず、その通話音声の品質は十分とは言えない。また、帯域制限のために、聴き取りやすさも阻害されている。

このような課題に対し、例えば、特許文献１に示すように、帯域が制限された音声信号の帯域を拡張し、音声品質、聴き取りやすさを向上しようとする試みがある。特許文献１に記載の音声帯域拡張方法は、図４に示すように、帯域が制限された音声信号から、その折り返し成分を生成、付加することにより帯域を拡張しているものである。
特開２００２−８２６８５号公報

しかしながら、特許文献１の記載技術では、以下のような二つの音質的な課題が存在する。

第１は、ホルマントについての課題である。一般に、音声信号は、ホルマントと呼ばれる周波数成分の概形的特徴（図４（ａ）の点線）を持つ。この特徴をそのまま高域部分（制限された帯域上限を超える部分）に折り返すと、本来の高域部分が持つ概形的特徴と大きくかけ離れ、必ずしも十分な音質を得ることができない。

第２は、周波数的調波構造についての課題である。一般に、音声信号は、ピッチ周波数（声の高さ）に基づく周波数的調波構造（図４（ａ）の実線）を持つ。この調波構造は、本来の高域部分にも存在するが、一般に、その強度（山谷の深さ）は高域になればなるほど減衰していく。特許文献１の記載技術のように、折り返しにより生成した高域部分の調波構造は、その強度が強すぎ、必ずしも十分な音質が得られない。

特許文献１は、帯域が制限された音声信号から、その折り返し成分を生成、付加して帯域を拡張する方法の他、帯域が制限された音声信号の周波数特性の形状（図４（ａ）参照）をそのまま、低域から高域にシフト（コピー）して高域成分を生成し、生成した高域成分を付加して帯域を拡張することも記載している。

しかしながら、このような周波数シフトにより生成した高域成分に対しても、同様に、上述した二つの音質的な課題が存在する。

本発明は、上記課題に鑑みてなされたものであり、高品質で聴き取りやすい拡張音声信号を生成する音声帯域拡張装置、方法及びプログラムを提供しようとしたものであり、また、そのような音声帯域拡張装置を適用した音声通信装置を提供しようとしたものである。

第１の本発明は、帯域が制限された入力音声信号の帯域を拡張する音声帯域拡張装置において、（１）上記入力音声信号から、周波数成分の概形的特徴又は調波構造的特徴の少なくとも一方を低減した、上記入力音声信号の帯域と同様な帯域を有する特徴低減信号を生成する特徴低減信号生成手段と、（２）上記入力音声信号における帯域の上限を超える部分の拡張用信号を、上記特徴低減信号の周波数成分を折り返すことにより、又は、上記特徴低減信号を高域側に周波数シフトすることにより生成する拡張用信号生成手段と、（３）上記入力音声信号と上記拡張用信号とを合成し、帯域を拡張した帯域拡張信号を形成する帯域拡張信号形成手段とを備えることを特徴とする。

第２の本発明は、帯域が制限された入力音声信号の帯域を拡張する音声帯域拡張方法において、特徴低減信号生成手段、拡張用信号生成手段及び帯域拡張信号形成手段を備え、（１）上記特徴低減信号生成手段が、上記入力音声信号から、周波数成分の概形的特徴又は調波構造的特徴の少なくとも一方を低減した、上記入力音声信号の帯域と同様な帯域を有する特徴低減信号を生成し、（２）上記拡張用信号生成手段が、上記入力音声信号における帯域の上限を超える部分の拡張用信号を、上記特徴低減信号の周波数成分を折り返すことにより、又は、上記特徴低減信号を高域側に周波数シフトすることにより生成し、（３）上記帯域拡張信号形成手段が、上記入力音声信号と上記拡張用信号とを合成し、帯域を拡張した帯域拡張信号を形成することを特徴とする。

第３の本発明の音声帯域拡張プログラムは、コンピュータを、（１）帯域が制限された入力音声信号から、周波数成分の概形的特徴又は調波構造的特徴の少なくとも一方を低減した、上記入力音声信号の帯域と同様な帯域を有する特徴低減信号を生成する特徴低減信号生成手段と、（２）上記入力音声信号における帯域の上限を超える部分の拡張用信号を、上記特徴低減信号の周波数成分を折り返すことにより、又は、上記特徴低減信号を高域側に周波数シフトすることにより生成する拡張用信号生成手段と、（３）上記入力音声信号と上記拡張用信号とを合成し、帯域を拡張した帯域拡張信号を形成する帯域拡張信号形成手段として機能させることを特徴とする。

第４の本発明は、受信した音声信号の帯域が制限されている音声通信装置において、第１の本発明の音声帯域拡張装置を備え、受信した音声信号の帯域を拡張することを特徴とする。

本発明によれば、高品質で聴き取りやすい拡張音声信号を生成することができる。

（Ａ）主たる実施形態
以下、本発明による音声帯域拡張装置、方法及びプログラム、並びに、音声通信装置の一実施形態を、図面を参照しながら詳述する。

（Ａ−１）実施形態の構成
図２は、実施形態に係る音声通信装置の主要部構成を示すブロック図である。

実施形態の音声通信装置１は、例えば、ＩＰ電話装置（ソフトフォンを含む）であり、送信する音声信号を圧縮符号化すると共に、受信した符号化音声信号を復号するコーデック装置２を備えている。コーデック装置２から出力された復号音声信号は、音声帯域を高域側に拡張する実施形態の音声帯域拡張装置３に与えられるようになされている。なお、実施形態の音声通信装置１がソフトフォンの場合には、コーデック装置２や音声帯域拡張装置３は、ＣＰＵ、及び、このＣＰＵが実行するプログラム（コーデックプログラムや、音声帯域拡張プログラム）によって実現される。

図１は、実施形態に係る音声帯域拡張装置の内部構成を示すブロック図である。仮に、実施形態の音声帯域拡張装置３が、ＣＰＵ、及び、このＣＰＵが実行する音声帯域拡張プログラムによって実現された場合であっても、機能的には、図１で表すことができる。

図１において、実施形態の音声帯域拡張装置３は、ＬＰＣ分析回路１０１、ＬＰＣ分析フィルタ１０２、ピッチ分析回路１０３、ピッチ分析フィルタ１０４、高域生成回路１０５及び加算器１０６を有する。

ＬＰＣ分析回路１０１には、所定期間（フレーム；例えば１０ｍｓ）毎に切り分けられた音声信号（ディジタル音声信号）ｓ（ｎ）が入力される。この切り分けは、重複することなく行うものであっても良く、１／２フレームずつなど、一部が重複するように切り分けられたものであっても良い。この実施形態の場合、ＬＰＣ分析回路１０１に入力される音声信号ｓ（ｎ）は、帯域が制限されているものである。ＬＰＣ分析回路１０１は、入力された音声信号ｓ（ｎ）に対してＬＰＣ分析を行い、得られたＬＰＣ係数ａｉ（ｉはＬＰＣ分析での次数である）をＬＰＣ分析フィルタ１０２に出力する。

ＬＰＣ分析フィルタ１０２は、ＬＰＣ係数ａｉを基に、音声信号ｓ（ｎ）からホルマント構造を除去若しくは減衰させた信号ｅ（ｎ）を生成する。例えば、ＬＰＣ分析フィルタ１０２は、音声信号ｓ（ｎ）に、（１）式で表される伝達関数Ｈ（ｚ）を乗算して信号ｅ（ｎ）を得る。（１）式の総和はｉ＝１から最大次数までである。αは、０＜α≦１の範囲の値であって、除去若しくは減衰させる量を規定するパラメータである。このパラメータαは、利用者が外部から可変設定できるようにしても良い（例えば、利用者が操作するボリュームと連動して値を変えるようにしても良い）。

Ｈ（ｚ）＝１−Σα^ｉ・ａｉ・ｚ^−ｉ …（１）
ピッチ分析回路１０３は、信号ｅ（ｎ）からピッチ周期Ｌ及びピッチ強度ｂを計算してピッチ分析フィルタ１０４に出力する。計算方法として、自己相関法など既存の手法を用いることができる。また、計算に用いる信号として、信号ｅ（ｎ）に代え、入力音声信号ｓ（ｎ）を適用するようにしても良い。

ピッチ分析フィルタ１０４は、ピッチ周期Ｌ、ピッチ強度ｂを基に、信号ｅ（ｎ）からピッチ調波構造を除去若しくは減衰させた信号ｐ（ｎ）を生成する。例えば、ＬＰＣ分析フィルタ１０２は、信号ｅ（ｎ）に、（２）式で表される伝達関数Ｈ（ｚ）を適用して信号ｐ（ｎ）を得る。（２）式のβは、０＜β≦１の範囲の値であって、除去若しくは減衰させる量を規定するパラメータである。このパラメータβは、利用者が外部から可変設定できるようにしても良い（例えば、利用者が操作するボリュームと連動して値を変えるようにしても良い）。

Ｈ（ｚ）＝１−β・ｂ・ｚ^−Ｌ …（２）
高域生成回路１０５は、信号ｐ（ｎ）から、制限された帯域の上限を超える成分（高域成分）を生成し、拡張用信号ｈ（ｎ）として加算器１０６に出力する。高域成分の生成法としては、例えば、上述した特許文献１に記載の折り返しによる生成や、周波数シフトによる生成など、既存の手法を適用することができる。

加算器１０６は、入力音声信号ｓ（ｎ）と拡張用信号ｈ（ｎ）とを加算し、帯域拡張信号ｗ（ｎ）を生成する。

（Ａ−２）実施形態の動作
次に、実施形態の音声帯域拡張装置３の動作（実施形態の音声帯域拡張方法）を、図面を参照しながら詳述する。ここで、図３は、各部音声信号における周波数特性を示している。

ＬＰＣ分析回路１０１、ＬＰＣ分析フィルタ１０２及び加算器１０６には、所定期間（フレーム；例えば１０ｍｓ）毎に切り分けられた音声信号ｓ（ｎ）が入力される。この入力音声信号は、例えば、図３（ａ）に示すように、所定周波数Ｆｓ／２以下の帯域に制限されたものである。

ＬＰＣ分析回路１０１によって、入力された音声信号ｓ（ｎ）に係るＬＰＣ係数ａｉが得られ、ＬＰＣ分析フィルタ１０２によって、ＬＰＣ係数ａｉを基に、音声信号ｓ（ｎ）からホルマント構造を除去若しくは減衰させた信号ｅ（ｎ）が生成される。

また、ピッチ分析回路１０３によって、信号ｅ（ｎ）からピッチ周期Ｌ及びピッチ強度ｂが計算され、ピッチ分析フィルタ１０４によって、ピッチ周期Ｌ、ピッチ強度ｂを基に、信号ｅ（ｎ）からピッチ調波構造を除去若しくは減衰させた信号ｐ（ｎ）が生成される。

以上のようにして、ホルマント構造が除去若しくは減衰され、かつ、ピッチ調波構造が除去若しくは減衰された信号ｐ（ｎ）は、図３（ｂ）に示すようになる。高域生成回路１０５によって、このような信号ｐ（ｎ）から、折り返し又は周波数シフトによって、拡張用信号ｈ（ｎ）が生成される。図３（ｃ）は、拡張用信号ｈ（ｎ）の周波数特性を示している。

そして、加算器１０６によって、入力音声信号ｓ（ｎ）と拡張用信号ｈ（ｎ）とが加算され、帯域拡張信号ｗ（ｎ）が生成される。図３（ｄ）は、帯域拡張信号ｗ（ｎ）の周波数特性を示している。

（Ａ−３）実施形態の効果
上記実施形態によれば、周波数成分の概形的特徴が少なく、また調波構造の強度が弱い高域成分（図３（ｃ）参照）を生成することができる。すなわち、音声品質、聴き取りやすさが良好になるように、音声帯域を拡張することができる。

（Ｂ）他の実施形態
上記実施形態の説明においても、種々変形実施形態に言及したが、さらに、以下に例示するような変形実施形態を挙げることができる。

上記実施形態では、ホルマント構造の低減（除去若しくは減衰）動作を、ピッチ調波構造の低減（除去若しくは減衰）動作より先に行うものを示したが、ピッチ調波構造の低減動作を先に行うものであっても良い。

また、上記実施形態では、ホルマント構造の低減動作と、ピッチ調波構造の低減動作とを共に実行するものを示したが、ホルマント構造の低減動作とピッチ調波構造の低減動作の一方だけを行う音声帯域拡張装置であっても良い。

さらに、上記実施形態では、拡張用信号ｈ（ｎ）の生成に、入力音声信号ｓ（ｎ）の帯域全体を利用したものを示したが、バンドパスフィルタ等によって、入力音声信号ｓ（ｎ）における、拡張帯域に近い側の帯域成分を抽出し、その抽出した帯域成分信号から、拡張用信号ｈ（ｎ）を生成するようにしても良い。

上記実施形態では、声道分析方法としてＬＰＣ分析を適用したものを示したが、他の声道分析方法を適用するようにしても良い。

上記では、実施形態の音声帯域拡張装置を利用した音声通信装置の例として、ＩＰ電話装置を挙げたが、実施形態の音声帯域拡張装置の用途はこれに限定されないことは勿論である。

実施形態に係る音声帯域拡張装置の内部構成を示すブロック図である。実施形態に係る音声通信装置の主要部構成を示すブロック図である。実施形態の音声帯域拡張装置における各部音声信号の周波数特性を示す説明図である。従来の音声帯域拡張方法の説明図である。

符号の説明

１…音声通信装置、３…音声帯域拡張装置、１０１…ＬＰＣ分析回路、１０２…ＬＰＣ分析フィルタ、１０３…ピッチ分析回路、１０４…ピッチ分析フィルタ、１０５…高域生成回路、１０６…加算器。

Claims

帯域が制限された入力音声信号の帯域を拡張する音声帯域拡張装置において、
上記入力音声信号から、周波数成分の概形的特徴又は調波構造的特徴の少なくとも一方を低減した、上記入力音声信号の帯域と同様な帯域を有する特徴低減信号を生成する特徴低減信号生成手段と、
上記入力音声信号における帯域の上限を超える部分の拡張用信号を、上記特徴低減信号の周波数成分を折り返すことにより、又は、上記特徴低減信号を高域側に周波数シフトすることにより生成する拡張用信号生成手段と、
上記入力音声信号と上記拡張用信号とを合成し、帯域を拡張した帯域拡張信号を形成する帯域拡張信号形成手段と
を備えることを特徴とする音声帯域拡張装置。
上記特徴低減信号生成手段における、周波数成分の概形的特徴を低減させる構成が、当該構成への入力信号に対してＬＰＣ分析するＬＰＣ分析回路と、ＬＰＣ分析で得られたＬＰＣ係数を適用し、上記入力信号の周波数成分の概形的特徴を低減させるＬＰＣ分析フィルタとを有することを特徴とする請求項１に記載の音声帯域拡張装置。
上記特徴低減信号生成手段における、調波構造的特徴を低減させる構成が、当該構成への入力信号のピッチ及びピッチ強度を得るピッチ分析回路と、得られたピッチ及びピッチ強度を適用し、上記入力信号の調波構造的特徴を低減させるピッチ分析フィルタとを有することを特徴とする請求項１又は２に記載の音声帯域拡張装置。
帯域が制限された入力音声信号の帯域を拡張する音声帯域拡張方法において、
特徴低減信号生成手段、拡張用信号生成手段及び帯域拡張信号形成手段を備え、
上記特徴低減信号生成手段が、上記入力音声信号から、周波数成分の概形的特徴又は調波構造的特徴の少なくとも一方を低減した、上記入力音声信号の帯域と同様な帯域を有する特徴低減信号を生成し、
上記拡張用信号生成手段が、上記入力音声信号における帯域の上限を超える部分の拡張用信号を、上記特徴低減信号の周波数成分を折り返すことにより、又は、上記特徴低減信号を高域側に周波数シフトすることにより生成し、
上記帯域拡張信号形成手段が、上記入力音声信号と上記拡張用信号とを合成し、帯域を拡張した帯域拡張信号を形成する
ことを特徴とする音声帯域拡張方法。
コンピュータを、
帯域が制限された入力音声信号から、周波数成分の概形的特徴又は調波構造的特徴の少なくとも一方を低減した、上記入力音声信号の帯域と同様な帯域を有する特徴低減信号を生成する特徴低減信号生成手段と、
上記入力音声信号における帯域の上限を超える部分の拡張用信号を、上記特徴低減信号の周波数成分を折り返すことにより、又は、上記特徴低減信号を高域側に周波数シフトすることにより生成する拡張用信号生成手段と、
上記入力音声信号と上記拡張用信号とを合成し、帯域を拡張した帯域拡張信号を形成する帯域拡張信号形成手段と
して機能させることを特徴とする音声帯域拡張プログラム。
受信した音声信号の帯域が制限されている音声通信装置において、
請求項１〜３のいずれかに記載の音声帯域拡張装置を備え、受信した音声信号の帯域を拡張することを特徴とする音声通信装置。