JP4527287B2 - オーディオ信号の時間スケール及び／又は基本周波数を変更するための信号処理技術 - Google Patents

Description

（技術分野）
本発明は、ディジタル信号の符号化及び操作に関する。より詳細には、他を排除するものではないが、オーディオ信号の時間スケール及び／又は基本周波数（ピッチ）の変更に関する。ここに開示される信号分析方法及び信号再合成方法は、オーディオ信号についてのものとして限定されない。本発明は、ここに開示される（ウェーブレット等の）方法による他の信号の符号化にも適用可能である。そのような応用例には、画像圧縮がある。本発明は、本質的には、周波数領域の異なる部分を時間的／空間的分解能を異ならせて同時分析する場合に適用される。
（背景技術)
本技術分野において公知である、オーディオ信号の時間スケール／ピッチを変更するための技術は、多数存在する。これらは、大方、次のように分類することができる。
（ａ）時間領域法：
これらの技術は、オーディオ信号の周期変動を検出することにより、音声信号の基本周期を評価しようとするものである。この処理により、入力信号を遅延して、さらに遅延していない信号と掛け合わせた後、その結果をローパスフィルタで平滑化し、自己相関関数の近似測定値を提供する。そして、自己相関関数を利用して、ノイズに隠された非周期的な又は弱周期的な信号を検出する。音声信号の基本周期が分かれば、本処理を繰り返し、分析対象区域の信号をオーバーラップする。これらの技術における重大な短所は、大抵のオーディオ信号に基本周期がないことである。例えば、ポリフォニック楽器について言えば、反響音及び打撃音を伴う録音記録は、認識可能な基本周期を有していない。さらに、上記方法を適用する場合には、楽音の遷移部が繰り返される。このことは、複数の始部及び終部を有する音符群に繋がる。この技術に関する他の問題は、楽音の遅延部のオーバーラップにより、金属的、機械的であるか又はエコー的特性を示すオーディオ効果が生じることである。
（ｂ）正弦分析法：
これらの技術では、入力信号が完全なシヌソイドから形成されるものと仮定する。従って、上記方法に固有な短所は、自ずと明らかである。
正弦分析技術は、短時間高速フーリエ変換（ＦＦＴ）を利用して、成分シヌソイドの周波数を見積もる。その後、得られた信号は、トーン発生器のバンクと合成され、所望の出力を発生する。高速フーリエ解析は、選択した窓関数により支配される時間間隔内で、信号の周波数コンテントについての情報を捕らえるものである。このような技術の重大な短所は、単一の時間領域窓が信号の全周波数コンテントに適用されるため、信号分析が信号コンテントに対する人間の知覚に正確に対応できない、ということである。また、従来の正弦分析法は、マグニチュードスペクトルの極大測定値を利用して、分析フレーム間の相対位相変化を考慮に入れた成分シヌソイドの周波数を決定する。この技術は、各極大値周辺にあるいかなる側バンド情報をも無視している。このことによる影響は、１つの分析フレーム内において生じる全信号変調が除外される結果、音声スミアリングや、遷移部のほぼ完全な損失を来すことである。このような遷移部のオーディオ面での一例として、ギタープラックがある。
（ｃ）位相ボコーダ法：
この種の技術は、高速フーリエ変換をフィルタの大バンクとして利用し、各フィルタ出力を個別に処理する。２つの連続する入力分析間での相対位相変化を利用して、各ビン（ｂｉｎ）の信号コンテントの周波数を見積もる。結果の周波数領域信号は、この情報から合成され、各ビンを独立信号として処理する。正弦分析技術に対して、本方法は、元信号のスペクトル的エネルギー分布を維持する。しかしながら、全遷移部情報の相対位相が損なわれる。従って、結果の音声は、スミアされ、かつ、エコー的である。
よって、従来技術の観点では、結果の出力が元信号の音的特性を維持し、かつ、スミアリングや出力信号に対するエコー的特性の付与なく、正確に遷移音声を捕らえることができるように、オーディオ信号を分析し及び処理することが望まれる。
従って、本発明の目的は、上記目的を実現し、従来技術に固有な上記短所のうちの少なくとも幾つかを改善し、又は少なくとも一般公衆に対して便利な選択肢を提供するオーディオ信号処理技術を提供することである。さらに、本発明の目的は、信号の符号化に普遍的に適用可能な信号分析及び合成方法を提供することである。
（発明の開示）
一形態において、本発明は、波形の符号化及び再合成方法を提供する。
本方法は、（イ）波形をサンプルして一連の個別サンプルを獲得し、これから夫々複数のサンプルをスパンする一連のフレームを構築すること、（ロ）各フレームと、ピークが各フレームの略ゼロ点に集中した窓関数、好ましくは、二乗余弦関数とを掛け合わせること、（ハ）各フレームに高速フーリエ変換を適用して、周波数領域波形を形成すること、（ニ）結果の周波数領域データを、周波数に応じて仕様が異なる可変カーネル関数で重畳すること、（ホ）重畳後の各フレームのマグニチュードスペクトルにおける極大値及び周囲の極小値を検出し、ここに、各極大値及びその関連の極小値は、信号の周波数成分に対応する複数の部分領域を夫々形成すること、及び（へ）規定部分領域内に位置するビンの複素周波数成分を合計して信号ベクトルとすることにより、各部分領域を周波数領域表示で個別分析し、ここに、前記可変カーネル関数を適宜に変化させて、信号の周波数レンジにおける周波数及び時間的分解能間の異なるトレードオフを達成すること、を含んで構成される。
好ましい実施形態では、前記波形は、計数化されたオーディオ周波数波形に相当し、ここで、前記可変カーネル関数を変化させて人間の耳の知覚特性に近づけることが可能である。
前記波形がオーディオ信号に対応する場合には、その極大値の位置は、周波数成分の知覚ピッチに対応させる。
本方法は、信号ベクトルとして表示する間に信号を操作するステップを更に含んで構成することもできる。
そのような操作として、（オーディオ信号では）ピッチ又は時間スケールの変更の形態、又は効率的な信号の保存及び／又は伝送に適合させた更なるデータリダクションを採用することができる。
オーディオ信号を変更する場合には、分析後の信号ベクトルの周波数位置及び位相を、時間及び／又はピッチのスケーリングを達成する必要に応じてシフトすることができる。
信号のサンプル時間領域表示への逆変換は、等価信号を周波数領域に蓄積することにより達成することができ、その等価信号の成分は、元信号の分析で決定されたそれらの信号ベクトルに対応する。
解読信号を生成する際に適して窓処理及び蓄積可能な時間領域信号を与えるために、逆高速フーリエ変換を適用するのが好ましい。
重畳関数の形態は、合成出力の品質を主観的に評価することにより、経験的に決定されるのが好ましい。
可変カーネル関数の周波数領域データへの適用は、該データの単極ローパスフィルタ演算として実現されるのが好ましく、その極の位置は、周波数に応じて変化する。
オーディオ信号の分析においては、前記極は、次の制御関数ｓ（ｆ）の特性であるのが好ましい。ここで、ｆは、ヘルツ（サイクル毎秒）表示の周波数である。
【数４】

周波数領域フィルタは、次の相関をなす特性であるのが好ましい。
【数５】

オーディオ信号を操作するという目的のためには、各信号ベクトルが個別に処理されるのが好ましい。ピッチシフトのために、成分周波数を実数ピッチ係数と掛け合わせる。ピッチシフトと時間スケール変更との双方のために、グリッチなしの再構成に不可欠な位相シフトを算出し、適用する。
本方法は、周波数領域出力アレーをゼロに合わせるステップと、分析信号ベクトルとして表示される分析後の各周波数成分について、実数周波数を、２つの最も近い整数周波数ビンにマップするステップと、前記分析信号ベクトルを、前記２つのビンの間で、実数周波数及び各対応のビン位置を１から減じた値に比例して分配するステップと、を更に含んで構成されるのが好ましい。
他の形態では、極大値の位置が周辺の部分領域の変換時に測定されるように、結果の部分領域を周波数において変換してもよい。
極大値と第１及び第２の関連極小値とを有する各部分領域について、オーディオ信号のピッチシフトのために、フレームの各極大値の位置をピッチシフト係数によりスケールし、また、第１及び第２の極小値間の関連調波情報を、測定対象極大値周辺の各位置に変換する。
信号を時間伸長又は圧縮するには、周波数領域のバンド又は極大値に関連する調波情報を伸長又は圧縮しつつ、各極大値を周波数領域の同一位置に維持することにより、入力信号のピッチを保ちつつ、高調波の振幅及び周波数変調を伸長する。
本方法は、各フレームのデータを複数のビンに再サンプルするステップと、各ビンを出力フレームの実数位置にマップするステップと、を更に含んで構成することができ、周波数ｆｒｅｑ_ｍａｘで極大となるバンドにある１つのビンｘについて、出力周波数領域の実数位置は、ｙである。
【数６】

但し、ｓｈｉｆｔは、周波数シフトに等しく、また、ｓｃａｌｅは、時間拡大比率に等しい。
上記ｙは、ｙと等しいか又はｙより小さい最も近い整数ｚまで落とし込まれ、ここで、出力ビンｚ及びｚ＋１は、ｙとそのビンの整数位置との偏差を１から減じた値に比例して加算される。
他の形態では、本発明は、上記方法を実施するために適用されるソフトウェアを提供する。
他の形態では、本発明は、上記方法を実施するために適用されるハードウェアを提供する。
（発明を実施するための最良の形態）
ここで、添付の図面を参照して、本発明を単に例示として説明する。
図１を参照して、本信号処理方法の一実施形態における全ステップを簡単なフローチャートにより説明する。明確さのため、本チャートは、図１〜３に分割して示す。
入力オーディオ信号を計数化し、フレームに取り込む（ステップ１０）。その後、これらの各フレームを、下記のように処理する。
各フレームは、（例えば、）ステップ３０の広帯余弦関数を用いて窓処理し（ステップ２０）、入力信号フレーム１０を時間領域変更して表示する。ここで、フレームに高速フーリエ変換を適用し（ステップ５０）、周波数領域表示の入力信号を生成する（ステップ６０）。
その後、ステップ６０の周波数領域データに、ｓ（ｆ）をパラメータとするフィルタ関数を用いてフィルタをかける（ステップ７１）。フィルタ関数は、本実施形態ではローパス単極フィルタとして考えることもできる。ステップ７０の関数ｓ（ｆ）は、周波数に応じてフィルタ動作がいかに変化するかを特定するものである。ステップ７１のフィルタ関数は、帰納的相関により表示することができる。
【数７】

従って、関数ｓ（ｆ）は、フィルタ（ステップ７１）の“厳格さ”を制御する。従って、実際には、各周波数ビンについて異なる重畳カーネルが使用される。各ビンの実成分及び虚成分は、別々に重畳される。本実施形態では、フィルタ又は重畳関数（ステップ７１）は、周波数領域情報を“ぼかす”効果を奏するものであるため、重畳関数は、ぼかし関数とも呼ばれる。周波数領域データをぼかす又は広げることは、時間領域フレームで等価の窓を狭めることに相当する。従って、高速フーリエ変換の各周波数ビンは、あたかもそのＦＦＴ（高速フーリエ変換）演算前に異なる規模の時間領域窓が適用されたかのように、効率的に演算される。
フィルタ効果により、必ずしもデータをぼかすものでなければならないものではない。例えば、時間領域サンプルを半分規模の窓により変換することは、時間領域において同一等価な窓処理を達成するために、周波数領域データにハイパスフィルタをかけることを必要とする。
周波数領域フィルタ（ステップ７１）は、各ビンに対して上りオーダーで適用された後、下りオーダーの周波数ビンに適用される。これにより、周波数領域データに位相シフトがないことが保証される。
本発明の重大な局面は、オーディオ周波数データを処理する場合において、人間の耳内部の基底膜上にある繊毛の刺激応答に近づけるために、制御関数ｓ（ｆ）が選択されることである。実際には、関数ｓ（ｆ）を選択して、人間の耳の時間／周波数応答に近づける。
制御関数ｓ（ｆ）の形態は、本好適な実施形態では、変化する条件下で出力波形又は合成波形の品質を測定することにより、経験的に決定する。これは、主観的な手法ではあるが、合成後の音声品質を繰り返しかつ多様に評価することにより、高度に満足な重畳関数を得ることができる。
制御関数ｓ（ｆ）の好ましい形態は、次式の通りであり、ｆは、ヘルツ（サイクル毎秒）表示の周波数である。
【数８】

事実上、以上のステップは、大バンクのフィルタを介して信号を処理するために有効な方法に類似し、各フィルタのバンド幅は、制御関数ｓ（ｆ）により個々に制御可能である。
フィルタ（ステップ７１）を適用したならば、ステップ８０の重畳された周波数領域データを分析して、極大値及びその関連の極小値の位置を決定する（ステップ９０）。
本ステップ９０を実行する際には、強度スペクトルを利用すると、より効果的である。
従って、各周波数について、Ｉ（ｆ）＞Ｉ（ｆ−１）であり、かつ、Ｉ（ｆ）＞Ｉ（ｆ＋１）であるデータを極大値とする。極小値の条件は、Ｉ（ｆ）＜Ｉ（ｆ−１）であり、かつ、Ｉ（ｆ）＜Ｉ（ｆ＋１）である。
【数９】

図２を参照すると、各極大値及びその関連の極小値を用いて、元のオーディオ周波数信号の可聴高調波に対応する（図７において影矢印で示す）部分領域が形成されている。周波数領域での極大値の位置は、高調波の知覚ピッチに対応しており、また、極大値周辺の周波数領域情報のバンドに、その高調波に関連するあらゆる振幅又は周波数変更が現れている。この情報を失わないことが重要であるので、ピーク周辺のバンド全体の周波数の合計を用いて、信号ベクトルを求める。この方法による分析サンプルの時間的分解能は、あらゆる変更が行われるバンド幅に適合する。
それぞれの部分領域は、下記技術に従って個別に処理する。各極大値の位置の正確な見積値を決定する。図７の下表を参照すると、大きな矢印ａ（３００）は、３つの強度矢印のうち最小強度のもの（ｍａｘ−１）と最大強度のもの（ｍａｘ）との偏差である。小さな矢印ｂ（３１０）は、最小強度のもの（ｍａｘ−１）と中間強度のもの（ｍａｘ＋１）との偏差である。２つの比率を用いて、整数極大値をオフセットする。
図２において、位相シフト及び時間スケール変更を符号１３０で示している。この時点では、他の適用例を、データリダクション（１３３）ステップ又は伝送／保存（１３４）ステップで示している。これらは、図２において選択的オプションとして説明される。
操作後のデータは、次の方法に従って再合成する。
第ｉ番目の分析後周波数成分について、ｖｅｃｔｏｒ（ｉ）は、周波数領域出力において実数位置ｙを有する。ｙは、ｙに等しいか又はｙより小さい最も近い整数に落とし込み、ｚで示す。ここで、ｚ＝Ｉｎｔ（ｙ）とする。
そして、出力ビンｚ及びｚ＋１は、ｙとこれらのビンの整数位置との偏差を１から減じた値に比例してｖｅｃｔｏｒ（ｉ）に加算する。ここで、すべての演算は、複素数で行われる。
【数１０】

分析対象信号の時間スケール又はピッチを変更するに際しては、合成後の出力が一貫する（すなわち、グリッチがない）ように、いかなる位相シフトも補償される必要がある。そのために、いずれか１つのフレームの出力信号を、一定数のサンプルにより時間的に前進させる。従って、一定のピッチ値について、出力を以前に合成したフレームと円滑に結合するために、出力位相をどの程度変化させるべきであるかを判定することができる。
しかしながら、入力時間フレームは、他の幾らかのサンプルにより移動している。従って、分析した位相値は、分析窓が入力データを介して移動するのに伴って既に変化している。
従って、入力位相の変化率と出力位相の要求変化率との偏差を算出する。これらの位相間の偏差は、分析と合成との間の周波数領域データの位相をどの程度速く回転させるかを示す尺度である。以上のように生成された各信号ベクトルは、周波数値を有する。この値を用いて、マグニチュード１のベクトルをどの程度速くスピンするかを算出する。ここで、ベクトルは、複素数表示である。このベクトルを信号ベクトルと掛け合わせ、各部分領域について減衰特性又は他の変更の時間的調節に影響を与えることのない合成に必要な位相シフトを提供する。
上記位相シフト（ラジアン表示）は、次式により与えられる。ここで、ｔ_ｒは、サンプルの再構成時間ステップであり、ｔ_ａは、サンプルの分析時間ステップであり、ｔ_ｗは、サンプルの高速フーリエ変換規模である。
【数１１】

周波数値は、１つの合成フレームとその次のフレームとの位相差の尺度を提供するものであるから、これらの偏差は、合成が進むに従って累積的に加算すべきである。
累積加算を１つの部分領域に対してのみ適用することにより、部分領域は、１つの合成フレームずつトラックすべきである。
部分領域を１つのフレームずつトラックするのに簡便なデータ構造を開発したので、図８を参照してこれを説明する。１つの整数アレーは、１つの部分領域内における、その部分領域のすべてのビンについての極大値の位置を包含する。対応のアレーは、当該部分領域の位相を回転する際に使用される最終位相値（ラジアン表示）を包含する。位相値は、極大値の位置と同一指標によりビンに保存する。
従って、新たなフレームを分析して極大値を検出したときには、極大値の位置を用いて整数アレーに指標を付する。これにより、以前のフレームに存在した極大値の指標を提供する。その後、この指標を用いて、以前の合成フレームで対応の部分領域について使用された最終位相値を包含するアレーにアクセスする。これを、図８（ａ）及び（ｂ）に示し、分析フレームｎを近似極大値アレー及び位相アレーと共に示す。第ｎ＋１番目の分析フレームを考えると、第１の周波数極大値は、７である。以前のフレームｎから、近似極大値アレーのうち対応する第７番目の要素を求めると、５である。以前のフレームｎから、位相アレーフレームのうち第５番目の要素を求めると、１２°である。これは、極大値の見積値を用いて更新された後、次のフレームのための位相アレーに位置７を用いて保存する。第２の部分領域（図４のステップ４１０）については、以前の分析フレームｎから、近似極大値アレーの１３番目の要素を求めれば、１６が与えられる。以前の分析フレームｎの位相アレーからは、位相は、５７°で与えられる。周波数見積値を用いてこの位相値を更新し、次の位相アレーの位置１３に配置する。
信号の周波数領域表示は、公知の信号成分から構成する。各信号ベクトルについて、ベクトルを、周波数領域出力アレーに加える。周波数位置が実数値であるので、信号ベクトルからのエネルギーは、最も近い２つの（整数の）ビン位置間で分配される。その後、周波数領域表示を逆高速フーリエ変換して（図３のステップ１５０）、時間領域表示の合成信号を提供する。信号は、異なる周波数で時間的分解能を異ならせて分析されたので、合成後の時間領域信号は、最も高い時間的分析分解能が使用されたのに等しい部分領域においてのみ妥当する。そのために、合成後の時間領域信号は、最終の合成信号（ステップ１８０）にオーバーラップ式に加える（ステップ１７２）前に、ステップ１７０の（比較的に）小さい正余弦窓により窓処理する（ステップ１６０）。
ピッチシフト及び時間伸長を達成するための情報操作方法の（等価な）バリエーションは、以下の通りである。
他の方法は、第１の方法とほぼ近似しており、図４に示すように、窓処理ステップ４２０、高速フーリエ変換ステップ４５０、フィルタ処理ステップ４７１、並びに極小値及び極大値検出ステップ４９０に同様に分かれる。これら２つの方法の主な相違点は、この後にある。第１の方法では、各部分領域のコンテントを足し合わせて信号ベクトルとしたが（ステップ１１０）、他の方法では、代わりとして、各部分領域のコンテントが明確に保たれる（ステップ５１０）。その後、各部分領域のコンテントを変換し、それぞれピッチシフト及び時間伸長係数に従ってスケールする（ステップ５３０）。ピッチシフト演算のために、部分領域のコンテントは、極大値が周波数で測定されるように変換する。時間伸長演算のために、部分領域のコンテントは、極大値が周波数表示で変化しないように、時間伸長係数によりスケールする。
位相シフトの補償は、図８（ａ）及び（ｂ）を参照して前述とほぼ同様に行われる。出力を合成するために、合成されるべき周波数領域データを、高速フーリエ変換ステップの不変出力から部分領域に一時にコピーする。各部分領域のコンテントは、第１の方法と同様の方式により、出力周波数領域バッファに蓄積していく。
これら２つの技術の実現において当業者にとって明らかなバリエーションがある。しかしながら、本発明の重要な特徴は、制御関数ｓ（ｆ）を用いて、異なる周波数で周波数領域フィルタを変化させる点にある。このことは、周波数に応じて変化する等価な時間領域データにおいて窓処理効果を生じさせる。オーディオ周波数信号を処理する場合には、この制御関数を選択して、人間の繊毛の反応をオーディオ周波数レンジに反映させる。その曲線形状は、経験的に決定するものであるが、他の操作技術及び応用に適した他の曲線も試すことができる。
本発明の更なる特徴は、極大値及び関連の極小値のアイデンティフィケーション及び位置にある。ここに開示した技術は、計算面で非常に効率的であり、オーディオ信号の高速高品質な時間伸長及びピッチシフトを可能とする。
実験上は、本技術は、極めて向上した音質の音声を発生することが分かっており、このことは、極大周波数の側バンドにおける高調波情報の保存を通して広範囲に達成される。
本発明の実用的実現の観点では、本技術は、ソフトウェア的に、又はハードウェア的に実現されることが想定される。後者では、そのハードウェアは、オーディオプレーヤー等のオーディオ構成要素の一部を形成する。本発明の潜在的適用分野には、非常に高い再生品質標準を満たすためにオーディオ信号処理／合成が一般に要求される音声記録産業が含まれる。他の適用分野には、娯楽産業におけるものが含まれ、本発明を、ピッチ又はテンポの変化が望まれる音声再生／伝送システムに適用することが想定される。一般的な信号処理、データリダクション、及び／又はデータ伝送及び保存における適用も、更に想定される。後者の場合には、特定の重畳関数の選択を変える。
以上の説明において、公知の均等物を有する要素又は完全体について参照するときは、そのような均等物を、それらがあたかも個々に説明されたかのように含む。
本発明を、例示的に、かつ、特定の実施形態を参照して説明したが、修正及び／又は改良は、特許請求の範囲から逸脱することなく可能であることが理解される。
【図面の簡単な説明】
【図１】 本発明に係る方法の一実施形態の概略フローチャートを示す。
【図２】 同上フローチャートの続きを示す。
【図３】 同上フローチャートの続きを示す。
【図４】 本発明に係る方法の他の実施形態の概略フローチャートを示す。
【図５】 同上フローチャートの続きを示す。
【図６】 同上フローチャートの続きを示す。
【図７】 極大値／極小値についての調査処理の概略フローチャートを示す。
【図８】 ２つの極大値に関するピッチ及び時間伸長の説明図を示す。

Claims (22)

1. 波形の符号化及び再合成方法であって、
   波形をサンプルして一連の個別サンプルを獲得し、これから夫々複数のサンプルをスパンする一連のフレームを構築することと、
   各フレームと、ピークが各フレームの略ゼロ点に集中した窓関数とを掛け合わせることと、
   各フレームに高速フーリエ変換を適用して、周波数領域波形を形成することと、
   結果の周波数領域データを、周波数に応じて仕様が異なる可変カーネル関数で重畳することと、
   重畳後の各フレームのマグニチュードスペクトルにおける極大値及び周囲の極小値を検出し、ここに、各極大値及びその関連の極小値は、信号の周波数成分に対応する複数の部分領域を夫々形成することと、
   規定部分領域内に位置するビンの複素周波数成分を合計して信号ベクトルとすることにより、各部分領域を周波数領域表示で個別分析し、ここに、前記可変カーネル関数を適宜に変化させて、信号の周波数レンジにおける周波数及び時間的分解能間の異なるトレードオフを達成することと、
   を含んで構成される方法。
2. 前記窓関数は、二乗余弦関数であることを特徴とする請求項１に記載の波形の符号化及び再合成方法。
3. 前記波形は、計数化されたオーディオ周波数波形に相当し、前記可変カーネル関数を変化させて人間の耳の知覚特性に近づけることを特徴とする請求項１に記載の波形の符号化及び再合成方法。
4. 前記波形は、オーディオ信号に対応し、前記極大値の位置は、周波数成分の知覚ピッチに対応することを特徴とする請求項１に記載の波形の符号化及び再合成方法。
5. 信号ベクトルとして表示する間に信号を操作するステップを更に含んで構成されることを特徴とする請求項１に記載の波形の符号化及び再合成方法。
6. 前記操作として、オーディオ信号のピッチ又は時間スケールの変更の形態、又は効率的な信号の保存及び／又は伝送に適合させた更なるデータリダクションを採用することを特徴とする請求項１に記載の波形の符号化及び再合成方法。
7. オーディオ信号を変更する場合に、分析後の信号ベクトルの周波数位置及び位相を所定量に応じてシフトし、時間及び／又はピッチのスケーリングを達成することを特徴とする請求項１に記載の波形の符号化及び再合成方法。
8. 元信号の分析において決定した信号ベクトルに対応する成分を有する等価信号を、周波数領域に蓄積することにより、信号のサンプル時間領域表示への逆変換を達成することを特徴とする請求項１に記載の波形の符号化及び再合成方法。
9. 解読信号を生成する際に適して窓処理及び蓄積される時間領域信号を求めるために、逆高速フーリエ変換を適用することを特徴とする請求項１に記載の波形の符号化及び再合成方法。
10. 前記重畳関数の形態は、合成出力の品質を主観的に評価することにより、経験的に決定することを特徴とする請求項１に記載の波形の符号化及び再合成方法。
11. 前記可変カーネル関数の周波数領域データへの適用は、該データの単極ローパスフィルタ演算として実現され、その極の位置は、周波数に応じて変化することを特徴とする請求項１に記載の波形の符号化及び再合成方法。
12. オーディオ信号の分析において、前記極は、ｆをヘルツ表示の周波数として、次式の制御関数ｓ（ｆ）の特性であることを特徴とする請求項１１に記載の波形の符号化及び再合成方法。
    

    
13. 前記周波数領域フィルタは、次式の特性であることを特徴とする請求項１に記載の波形の符号化及び再合成方法。
    

    
14. オーディオ信号を操作するために、各信号ベクトルを個別に処理し、ピッチシフトのために、成分周波数を実数ピッチ係数と掛け合わせ、ピッチシフトと時間スケール変更との双方のために、グリッチなしの再構成に必要な位相シフトを算出し及び適用することを特徴とする請求項１に記載の波形の符号化及び再合成方法。
15. 周波数領域出力アレーをゼロに合わせるステップと、
    分析信号ベクトルとして表示される分析後の各周波数成分について、実数周波数を、２つの最も近い整数周波数ビンにマップするステップと、
    前記分析信号ベクトルを、前記２つのビンの間で、前記実数周波数及び各対応のビン位置を１から減じた値に比例して分配するステップと、
    を更に含んで構成される請求項１に記載の波形の符号化及び再合成方法。
16. 結果である周波数領域表示の部分領域を、各極大値周辺で異なる周波数に変換し、極大値の位置が周囲の部分領域の変換時にスケールされるように、極大値の位置及び結果の信号を、極大値の周波数の倍数とすることを特徴とする請求項１に記載の波形の符号化及び再合成方法。
17. 極大値と第１及び第２の関連極小値とを有する各部分領域について、オーディオ信号のピッチシフトのために、フレームの各極大値の位置をスケールし、また、第１及び第２の極小値と極大値との間の関連調波情報を、極大値周辺の対応位置に変換することを特徴とする請求項１６に記載の波形の符号化及び再合成方法。
18. 周波数領域のバンド又は極大値に関連する調波情報を圧縮しつつ、各極大値を周波数領域の同一位置に維持して信号を時間伸長することにより、入力信号のピッチを保ちつつ、高調波の振幅及び周波数変調を伸長することを特徴とする請求項１６又は１８に記載の波形の符号化及び再合成方法。
19. 各フレームのデータを複数のビンに再サンプルするステップと、
    各ビンを出力フレームの実数位置にマップするステップと、
    を更に含んで構成され、
    周波数ｆｒｅｑ_ｍａｘで極大となるバンドにある１つのビンｘについて、前記出力周波数領域の実数位置は、ｓｈｉｆｔを周波数シフトに等しく、また、ｓｃａｌｅを時間拡大比率に等しいものとして、ｙとなることを特徴とする請求項１に記載の波形の符号化及び再合成方法。
    

    
20. 前記ｙを、ｙと等しいか又はｙより小さい最も近い整数ｚまで落とし込み、出力ビンｚ及びｚ＋１を、ｙとそのビンの整数位置との偏差を１から減じた値に比例して加算することを特徴とする請求項１９に記載の波形の符号化及び再合成方法。
21. 波形をサンプルして一連の個別サンプルを獲得し、これから夫々複数のサンプルをスパンする一連のフレームを構築する処理と、
    各フレームと、ピークが各フレームの略ゼロ点に集中した窓関数とを掛け合わせる処理と、
    各フレームに高速フーリエ変換を適用して、周波数領域波形を形成する処理と、
    結果の周波数領域データを、周波数に応じて仕様が異なる可変カーネル関数で重畳する処理と、
    重畳後の各フレームのマグニチュードスペクトルにおける極大値及び周囲の極小値を検出する処理であって、各極大値及びその関連の極小値は、信号の周波数成分に対応する複数の部分領域を夫々形成する処理と、
    規定部分領域内に位置するビンの複素周波数成分を合計して信号ベクトルとすることにより、各部分領域を周波数領域表示で個別分析する処理であって、前記可変カーネル関数を適宜に変化させて、信号の周波数レンジにおける周波数及び時間的分解能間の異なるトレードオフを達成する処理と、
    を実行するようにプログラムされたコンピュータ。
22. 波形をサンプルして一連の個別サンプルを獲得し、これから夫々複数のサンプルをスパンする一連のフレームを構築する手段と、
    各フレームと、ピークが各フレームの略ゼロ点に集中した窓関数とを掛け合わせる手段と、
    各フレームに高速フーリエ変換を適用して、周波数領域波形を形成する手段と、
    結果の周波数領域データを、周波数に応じて仕様が異なる可変カーネル関数で重畳する手段と、
    重畳後の各フレームのマグニチュードスペクトルにおける極大値及び周囲の極小値を検出する手段であって、各極大値及びその関連の極小値は、信号の周波数成分に対応する複数の部分領域を夫々形成する手段と、
    規定部分領域内に位置するビンの複素周波数成分を合計して信号ベクトルとすることにより、各部分領域を周波数領域表示で個別分析する手段であって、前記可変カーネル関数を適宜に変化させて、信号の周波数レンジにおける周波数及び時間的分解能間の異なるトレードオフを達成する手段と、
    を含んで構成される波形の符号化及び再合成装置。

Images