JP4033906B2 - 時間領域エイリアシング相殺を用いる効率的奇数積重ね単一側波帯フィルタバンクを有する分析・合成濾波システム - Google Patents
時間領域エイリアシング相殺を用いる効率的奇数積重ね単一側波帯フィルタバンクを有する分析・合成濾波システム Download PDFInfo
- Publication number
- JP4033906B2 JP4033906B2 JP53357697A JP53357697A JP4033906B2 JP 4033906 B2 JP4033906 B2 JP 4033906B2 JP 53357697 A JP53357697 A JP 53357697A JP 53357697 A JP53357697 A JP 53357697A JP 4033906 B2 JP4033906 B2 JP 4033906B2
- Authority
- JP
- Japan
- Prior art keywords
- transform
- time domain
- generating
- samples
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
- H03H17/00—Networks using digital techniques
- H03H17/02—Frequency selective networks
- H03H17/0248—Filters characterised by a particular frequency response or filtering method
- H03H17/0264—Filter sets with mutual related characteristics
- H03H17/0266—Filter banks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/66—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/66—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission
- H04B1/665—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission using psychoacoustic properties of the ear, e.g. masking effect
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Mathematical Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Investigating Or Analyzing Non-Biological Materials By The Use Of Chemical Means (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Nitrogen And Oxygen Or Sulfur-Condensed Heterocyclic Ring Systems (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Filters And Equalizers (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Stereophonic System (AREA)
- Complex Calculations (AREA)
- Sampling And Sample Adjustment (AREA)
Description
概して本発明は信号分析濾波及び信号合成濾波に関する。特に本発明は時間領域エイリアシング相殺を用いる奇数積重ね単一側波帯分析・合成フィルタバンクのようなをフィルタバンクの効率的実施に関する。
以下の論議及び特に背景技術論議を通して、オーディオ符号化適用例に特に言及しているが、本発明は他の用途にも適用できることを理解されたい。
背景技術
序文
情報を伝送又は記憶するより効率的手段を開発する努力では情報容量要件を下げること、即ち、伝送又は記憶の間十分に信号を表すために要する情報量を低減させること及び処理源要件を下げること、即ち、符号化及び復号処理を実施するために要する処理量を低減させることが対象とされてきた。
情報容量要件を下げることに関しては、例えば、各種の心理音響効果を用いる多くの高品質オーディオ符号化用途がある。いわゆる分割帯域技術では、有効な信号帯域幅を人の耳の臨界帯域を近似する帯域幅を有する狭帯域に分割することで、心理音響的隠蔽効果を用いることができる。この様な分割帯域技術では、信号帯域幅は分析フィルタバンクで分割され、各フィルタ帯域を通過した信号が処理され、分析フィルタバンクで原信号のレプリカが再構成される。
2つの一般的分割符号化技術には、サブバンド符号化及び変換符号化がある。これらの技術では、不正確な符号化によって生じるノイズが他のスペクトル成分によって聴取されなくなるような特定の周波数帯域において、情報要件が低減される。サブバンドコーダは、変化する帯域幅のサブバンドを定めるデジタル帯域濾波フィルタバンクによって実施できる。変換コーダは、幾つかの時間領域・周波数領域変換の任意のものによって実施できる。1以上の隣接変換係数は、個々の変換係数帯域幅の和である有効帯域幅を有する『サブバンド』を定めるために共にグループ化される。
デジタルサブバンドフィルタバンク及びブロック変換の数学的基礎は、本質的に同一である。Tribolet・Crochiereの『スピーチの周波数領域符号化』(IEEE Trans.Acoust.,Speech,and Signal Proc.,ASSP-27,Oct.1979,pp.512-30)を参照のこと。分割帯域処理の各タイプは、信号サンプルの間隔又は『ブロック』に適用される変換によって表すことができる。従って、以下の論議を通して、『フィルタ』又は『変換』の用語は概して交換可能である。『サブバンド』の用語は、真のサブバンドコーダ又は変換コーダのいずれで実施されようと有効信号の部分を指す。
処理源要件の低減に関しては、サブバンド濾波の計算上の複雑さを下げることによって多くのデジタル用途においてかなりの改良が実現可能である。計算上の複雑さの低減で、作るのにより安いか若しくはシステムを通してより低い信号伝播遅延を与えるシステムの実施が可能になる。
多くの符号化システムは、単一側波帯(SSB)フィルタバンクを用いている。R.Crochiere及びL.Rabinerの『多重レートデジタル信号処理』(Pretice-Hall,1983,pp.366-376)で論じられているように、単一側波帯フィルタバンクでは、実数値の入力信号サンプルに応答して純粋に実数又は純粋に虚数の成分値を有するスペクトル表示が生成される。
重複ブロック変換によって実施される2つの公知のSSB分析フィルタバンクにより、時間領域エイリアシング相殺(TDAC)を用いて、臨界サンプリングでの完全な再構成が可能となる。1番目のフィルタバンクは、J.Pricenand A.Bradleyの『時間領域エイリアシング相殺に基づく分析・合成フィルタバンクデザイン』(IEEE Trans.on Acoust.,Speech,Signal Proc,.ASSP-34,1986,pp.1153-1161)に記載されており、同フィルタバンクは、修正された離散余弦変換(DCT)と修正された離散正弦変換(DST)との交互適用とから成り、偶数積重ねされ(evenly−stacked)、臨界サンプリングされた単一側波帯分析・合成システムの時間領域同等物として記載されている。修正されたDCT及びDSTは、本明細書では一まとめにして偶数積重ね時間領域エイリアシング相殺(E−TDAC)と称する。2番目のフィルタバンクは、J.Pricen,A.Johnson,and A.Bradleyの『時間領域エイリアシング相殺に基づくフィルタバンクデザインを用いるサブバンド・変換符号化』(ICASSP1987 Conf.Proc.,May 1987,pp.1261-64)に記載されており、同フィルタバンクは、単一の修正DCTによって実施され、奇数積重ねされ(oddly−stacked)、臨界サンプリングされた単一側波帯分析・合成システムの時間領域同等物として記載されている。ここでは奇数積重ね時間領域エイリアシング相殺(O−TDAC)と称する。TDAC分析フィルタバンクの各々は、ブロック長の半分だけ重複する信号サンプルブロックに適用されるが、臨界的サンプリングで変換係数の半分を効率的に捨てることによって完全な再構成を達成している。失われる係数は相手の合成フィルタバンクにおける時間領域エイリアシングを発生させるが、そのエイリアシングは重複すること及び合成フィルタバンクによって発生されるブロックを加えることによって相殺される。
TDACフィルタバンクを用いることは多くの符号化用途で非常に魅力的である。これらのフィルタバンクでは、臨界的にサンプリングされかつ適度に効率的な方法を用いて実施することができる重複ブロック変換を用いて再構成ができるからである。例えば、幾つかの効率的な実施例が以下の文献に開示されている。即ち、S.Cramer and R.Gluthの『修正O2DFTに基づく効率計算っ実数値フィルタバンク』(Signal Processing V:Theories and Application,Elsevier Publishers B.V.,1990,pp.585-588)、H,Malvarの『効率的変換・サブバンド符号化のための重複変換』(IEEE Trans.Acoust.,Speech,and Signal Pric.,ASSP-38,June 1990,pp.969-78)、R.Glthの『DCT・DSTに基づく多位相フィルタバンクのための正則FET関連変換核』(ICASSP 1991 Conf.Proc.,vol.3,May 1991,pp.2205-2208)、及びP.Duhamel,Y.Mahieux,and J.Petitの『時間領域エイリアシングに基づくフィルタバンク実施のための高速アルゴリズム』(ICASSP 1991 Conf.Proc.,vol.3,May 1991,pp.2209-2212)。
これらの文献の各々は、信号サンプルの固定長ブロック、即ち、ブロック毎に変わらないサンプル数Nを有するブロックに適用されるフィルタバンクの実施につき記載している。不幸にして、固定長ブロックの長さはフィルタバンクの時間的分解能及びスペクトル分解能間の兼合いを釣り合わせるように選択しなければならない。一方では、より長いブロック長でフィルタバンクの選択的又は周波数分解能的能力が改良され、よりよいフィルタの選択性で心理音響的隠蔽効果を利用するためのコーダの能力が概して改良される。他方では、より長いブロック長はサブバンドフィルタバンクの時間分解能を劣化させる。トランジエントのような量子化誤差により聴覚心理的テンポラルマスキング間隔を越えるトランジエント前のリンギングやトランジエント後のリンギングを生じさせたとき、時間分解能が低い場合、歪による可聴アーティファクトをもたらす可能性がある。この兼合いの結果、コーダの性能を最適化させるためには、長さの変化する信号サンプルブロックに適用し得る適応長フィルタバンクを実施するのが望ましい。
US第5,297,236号は、固定長及び適応長の両フィルタバンクの適度に効率的な実施につき記載している。とくにE・TDAC及びO・TDACフィルタバンクの実施形態が開示されている。しかし、これらの実施形態は最適ではなくかつO・TDACフィルタバンクに対する技術はE・TDACに対して開示されているものより計算的により集中的である。
発明の開示
本発明の目的は、計算的に効率的な適応長分析合成フィルタバンクの実施形態を提供することにある。
本発明の他の目的及び有利な実施形態については本開示を通して記載されている。本発明はオーディオ符号化及び復号用途につき記載されているが、本発明はさらに広範で他の用途にも適用し得ることを理解すべきである。概して本発明を組入れたエンコーダの論議は信号分析濾波に関し、また本発明を組入れたデコーダの論議は信号合成濾波に関する。
本発明の教示による分析濾波装置の一実施形態では、オーディオ又はビデオ情報を表す入力信号サンプルは、零でない長さN=a+bの時間領域信号サンプルにグループ化される。ここでa及びbは基数4の非負の整数であり、a又はbは時間領域信号サンプルブロックの少なくとも2つに対して異なった値を有する。一連の時間領域信号サンプルブロックの隣接ブロックは互いに重複し、各ブロックは前のブロックとaサンプルだけ重複し、かつ後のブロックとbサンプルだけ重複し、1個以上1/4N個以下の修正された複素値のサンプルを持つブロックが生成され、修正されたサンプルブロックに1以上の離散変換関数を適用することによって周波数領域変換係数が生成され、周波数領域変換係数に順方向後変換関数を適用することによってスペクトル情報が生成され、スペクトル情報の表現が変換又は記憶に適した形にアセンブルされる。
本発明の教示による合成濾波装置の一実施形態では、受信されたスペクトル情報から周波数領域変換係数のセットが発生される。ここで各セットは1個以上1/4N=1/4(a+b)個以下の係数を含み、a及びbは基数4の非負の整数であり、a又はbは少なくとも2つのセットにおいて異なった値を有し、周波数領域変換係数のセットに1以上の逆変換関数を適用することによって時間領域変換係数が生成され、時間領域変換係数に逆後変換関数を適用することによって時間領域サンプルブロックが生成され、各ブロックは零でない長さN=a+bを有し、一連の時間領域信号サンプルブロックの隣接ブロックは互いに重複し、各ブロックは前のブロックとaサンプルだけ重複し、かつ後のブロックとbサンプルだけ重複し、時間領域信号サンプルブロックに応答してオーディオ又はビデオ情報を表す出力信号サンプルが発生される。
本発明を組入れた符号化システムの実施形態は以下の論議及び添付図面に記載されている。図面では同一特性は同一参照番号で示される。
【図面の簡単な説明】
図1は、本発明の実施形態を組み入れた分析濾波装置の基本的構成を例示する機能構成図である。
図2は、本発明の実施形態を組み入れた合成濾波装置の基本的構成を例示する機能構成図である。
図3は、順方向前変換関数内の信号サンプルの組合せ及び混合を例示する構成図である。
図4は、従来のTDAC位相項を用いてO−TDAC変換によって作り出される時間領域エイリアシング成分の時間反転領域を例示する仮想グラフである。
図5は、後の1/2Nサンプル長ブロックと重複されるNサンプル長ブロック内の時間領域エイリアシングを相殺するために要する、TDAC位相項を用いてO−TDAC変換によって作り出される時間領域エイリアシング成分の時間反転領域を例示する仮想グラフである。
図6は、1/4Nサンプル長ブロック内の時間領域エイリアシング成分の時間反転領域間の境界を例示する
図7は、時間領域エイリアシング成分の時間反転領域を例示するブリッジ変換の仮想グラフである。
発明の実施形態
I 基本実施形態
A 機能構成外観
図1は、本発明の実施形態を組み入れた分析濾波装置の機能的構成を例示する。この構成による装置は、入力路100から受信する入力サンプルを時間領域サンプルブロック内に一時記憶するバッファ記憶装置102と、路104から受信される情報に応答してバッファ102から受信する信号サンプルから修正されたサンプルを発生させ、時間領域信号サンプルブロックを構成する多くの信号サンプルを設定させる順方向前変換装置106と、路104から受信される情報に応答してその長さが適応化される変換を適用することによって修正サンプルを周波数領域変換係数に変換する順方向変換装置108と、路104から受信される情報に応答して周波数領域変換係数からスペクトル情報を発生させる順方向後変換装置110と、スペクトル情報の表示を含むデジタル情報を路114に沿って伝送及び記憶に適した形にアセンブルするフォーマッタ112とからなる。表示は多くの形を取ることが可能で、スペクトル情報それ自身又は、例えば、心理音響的原理に応じてスペクトル情報を符号化することによって得られる符号化された形等がある。順方向前変換装置106、順方向変換装置108及び順方向後変換装置110によって行われる諸機能で分析フィルタバンク120が実行される。バッファ記憶装置102及びフォーマッタ112によって行われる機能はここでは詳説しない。
図2は、本発明の実施形態を組み入れた合成濾波装置の機能的構成を例示する。この構成による装置は、スペクトル情報及び路200から受信する信号から逆変換長を設定するデフォーマッタ202と、路204に沿って受信する逆変換長を設定する情報に応答して抽出されるスペクトル情報から周波数領域変換係数を発生させる逆方向前変換装置206と、路204から受信する情報に応答してその長さが適応化される変換を適用することによって周波数領域変換係数を時間領域変換係数に変換する逆方向変換装置208と、路204から受信する情報に応答して時間領域変換係数から時間領域信号サンプルを発生させる逆方向後変換装置210と、時間領域信号サンプルに応答して路214に沿って出力サンプルを発生させる出力プロセッサ212とから成る。路200から受信される信号は多くの形を取ることが可能で、スペクトル情報それ自身又は、例えば、心理音響的原理に応じて符号化される形等がある。逆方向前変換装置206、逆方向変換装置208及び逆方向後変換装置210によって行われる諸機能で合成フィルタバンク220が実行される。デフォーマッタ202及び出力プロセッサ212によって行われる機能はここでは詳説しない。
以下の開示及び添付の請求の範囲を考察することによって、図1及び2に示す要素の中には本発明の各種の実施形態を実施する上で不必要なものがあることが理解さるべきである。
B 入力サンプル一時記憶
図1のボックス102で表されるバッファでは、信号サンプルが受信されそれらが時間領域信号サンプルブロック内にグループ化される。信号サンプルは、アナログ信号のサンプリングから、アナログ信号を表すか若しくはアナログ信号をシミュレートする多数のサンプル又は時間領域信号に相当する他のサンプル源から受信してもよい。
離散変換によって実施されるフィルタバンクの周波数分解能力又は選択性は、変換長が増すにつれて改良される。フィルタ選択性は、概して窓(ウインドー)と呼ばれる加重関数より時間領域信号サンプルを加重することによって著しく影響され得る。Harrisによる『離散フーリエ変換調和解析用窓の使用について』(Proc.IEEE,vol.66,1978,pp.51-83)が一般的に参照される。
分析及び合成窓加重の双方がO−TDAC変換と共に用いられる。本明細書において本発明を組入れた実際的実施形態では、必要又は所望により適切な窓加重が行われることが仮定される。例えば、エンコード又は他の分析濾波装置では、入力信号の前か、同時若しくは後で窓加重が行われる。デコーダ又は他の合成濾波装置で必要か若しくは所望なら、以下に簡単に述べるように出力信号発生の前か若しくはそれと同時に窓加重が行われる。この様な窓加重が行われる方法は本発明の実施上決定的ではない。
C 分析フィルタバンク
分析フィルタバンク120は、下式の修正された離散余弦変換(MDCT)によって簡単な方法で実施できる。
ここで k=周波数領域変換係数の数
n=時間領域信号サンプル数
M=時間領域信号サンプルブロック長
m=TDACに要する位相項(式2参照)
x(n)=時間領域信号n
C(k)=MDCT周波数領域変換係数k
O−TDA変換では、0<k<1/2Mに対してC(M−1−k)=−C(k)なので、各時間領域信号サンプルブロックに応答して、1/2M個の一意的な周波数領域変換係数のセットからなるスペクトル情報が生成される。
入力信号の正確なレプリカは、MDCT係数の各セットに対して単に逆方向変換を適用することによって復元することはできない。逆方向変換の結果は、時間領域エイリアシング成分を含んでいるので入力信号からかなりはずれる。しかし、Princen他は、重複されたブロックに適切な位相項m及び分析・合成窓の適切な対を適用することで、O−TDAC技術で時間領域エイリアシング成分を相殺して入力信号を正確に復元し得ることを明らかにしている。
位相項mで、時間領域エイリアシング成分の位相ずれが制御される。このエイリアシング成分を相殺して元の時間領域入力信号を復元するためには、Princen他により開示されたO−TDAC変換では、時間領域エイリアシング成分が、サンプルブロックの約4分の1時点で時間的に逆にされかつ符号が反転された振幅を有する、サンプリングされかつ窓を通された信号の第1半分から成り、さらにサンプルブロックの約4分の3時点で時間的に逆にされた、サンプリングされかつ窓を通された信号の第2半分から成るようにされた位相項を要する。図4に例示されるこれらの関係は、適切な合成窓によって重ね付けされた後であるが隣接ブロックの重複加算で時間領域エイリアシングが相殺されてしまう前に、逆方向O−TDAC変換によって復元された2つの隣接した重複Mサンプル長時間領域信号サンプルブロックの仮想グラフ表示を与える。所望の信号成分は実線で、また長時間領域エイリアシング成分は破線で表される。この図及びその他の図の各種成分の表示は個々の信号サンプルは示さないが、その代わりに分析・合成窓機能の適用から結果的に生じる仮想的な定振幅信号の包絡線を例示する。
Princen他によって開示されているように、対称的窓機能によって加重される信号サンプルに適用される固定長O−TDAC変換に対するエイリアシング相殺に適切なエイリアシング成分を生成するために必要な位相項は次式で表される。
既に述べた通り、コーダ性能を最適化させるためには可変長の信号サンプルブロックに適用し得る適応長フィルタバンクを用いるのが望ましい。適応変換長コーダを実施するための要件についてはここでは触れないが、米国特許第5,394,473号に記載されている。
O−TDAC変換長の変更では、長時間領域エイリアシング相殺を行うために位相項mの変更が必要である。既に述べた通り、エイリアシング成分は窓処理された入力信号の時間反転レプリカであり、2つの別個の領域で発生する。O−TDAC変換に対する位相項mで、これらの2つの領域間の境界位置が制御される。固定長O−TDAC変換では、境界が信号サンプルブロックの中点に位置する。この条件下での時間領域エイリアシング相殺に要する位相項は式2で示される。
図5は、図4に例示したものと類似の仮想グラフ表現を与えるが、そこでは時間領域エイリアシング相殺に先立って逆方向O−TDAC変換から復元されるような可変長の3ブロックを例示する。第1ブロックの長さはMであり、第2及び第3ブロックの長さは共にそれぞれ1/2Mである。ブロック内の信号成分及び時間領域エイリアシング成分は、それぞれ実線及び破線で表される。第1ブロックの第2半分を第2ブロック全部に重複して加えることによるエイリアシング相殺を行うために第2ブロック内の時間領域エイリアシング成分は、両端を逆にして反転させた振幅及び時間反転させた第2ブロック全体のレプリカでなければならない。第2ブロックでこの様なエイリアシング成分を生成するために要する位相項mはm=1/2である。
既に引用した米国特許第5,394,473号では、各ブロック変換の位相項はより一般的に次式で表し得る。
ここでφは時間反転領域間の境界位置で、ブロックの右手又は立下り縁(後端部)からの時間領域信号サンプルの数として表される。
例えば、図6は2つの非重複で窓加重された時間領域信号サンプルブロックを例示する。右のブロックは、長さが1/4Mのブロックである。このブロック以内では、時間反転領域間の境界位置はブロックの右手又は立下り縁からM/8サンプルの時点にある。従って、1/4Mサンプルブロックの各領域内でエイリアシング成分の時間は反転を起こさせるために要する位相項は次式で表せる。
この設定された背景により『ブリッジ変換』を導入することが可能になる。ブリッジ変換とは、一変換長から他の変換長への移転を橋渡しする変換を意味する。図7は、例えば、他の後続1/4Mサンプルを有する1/2MサンプルのブロックにO−TDACフィルタバンクを適用した結果を例示する。
各ブロックに対して別個の変換を行うことが可能である。その理由は本論議の範囲を越えるが、ブリッジ変換ではその代わりに3/4Mサンプルの単一ブロックを変換することによってコーダ性能が改良される。図7に示す3/4Mサンプルブロックの処理に要するブリッジ変換は、3つの1/4Mブロックの変換を計算するための高速フーリエ変換(FFT)及びその後の再結合操作によって実施できる。この技術は、Oppenheim及びSchaferによる『デジタル信号処理』(Englewood Cliffs,N.J.;Prentice-Hall,Inc.,1975,pp.304-14)に記載されている。
以下に述べる合成フィルタバンクでは、既に述べた時間領域エイリアシング相殺に要する位相項を含む順方向変換の適応長変換及びブリッジ変換に対する同一の要件が逆方向変換にも適用される。
以下の論議では、各時間領域信号サンプルは正確にa+b(a+b=N>0)のサンプルブロックを有する。a及びb並びに和Nの数値は、ブロック毎に変わり得る基数4の整数に制限される。a又はbのいずれか一方のみは、任意のブロックにおいて零でもよい。各ブロックは、aサンプルだけ直前のブロックと重複し、bサンプルだけ直後のブロックと重複する。従って、時間領域間の境界は、2つのサブブロック間の境界と一致するか若しくはブロックの後端部からbサンプルにおいて一致する。各ブロックにおいて若しa又はbのいずれかが零なら、そのブロックは零サンプルだけ隣接ブロックと重複する。これは隣接ブロックが互いに当接することを意味する。式3から、この境界を与えるのに要するMDCTの位相項は次式で表せる。
図7は、例えば、N=3/4Mサンプルのブリッジ変換を例示し、そこではa=1/2Mサンプル及びb=1/4Mサンプルである。
D 効率的適応長分析フィルタバンク
一実施形態による分析フィルタバンクを実施するのに要する処理源は、1/4Nの修正されたサンプルブロックを生成するために順方向前変換関数を時間領域信号サンプルブロックに適用し、1以上の変換を修正されたサンプルブロックに適用し、所望のTDAC係数を得るために順方向後変換関数を変換係数に適用することによって低減され得る。以下に述べるように、適用例の中には順方向後変換関数が零又は自明な場合もあり得る。この実施形態の数学的根拠は、次の通り、第1に式1のMDCTを2変換の和として表現することによって理解し得る。即ち、0≦k<Nに対して
式5a及び5bに示す第1変換は、aサンプルの第1サブブロックに適用される。式5aはこのブロックの第1半分内のサンプルに相当し、式5bはこのブロックの第2半分内のサンプルに相当する。式5c及び5dに示す第2変換は、bサンプルの第2サブブロックに適用される。式5c及び5dは、それぞれこのブロックの第1及び第2半分内のサンプルに相当する。
式4から以下のことが分かる。
この同値関係を式5a乃至5dに代入することで、式5a乃至5dの正弦及び余弦変数の符号が逆にされる。これらの演算から得られる結果は下式で表される。
即ち、0≦k<Nに対して
以下の2つの恒等式を代入することによって
式7a乃至7dにおける2つのサブブロック変換は0≦k<Nに対して以下の通り書き替えられる。
以下の式(11,12)により修正サンプルセットを定めるために入力信号を組合せかつ混合することによって
式10a及び10bのサブバンド変換は集合的に以下の通り表し得る。
次に、修正されたサンプルq(i)が2グループに分割される。第1グループは偶数番号(i=2n)のサンプルを含み、第1グループは奇数番号(i=N/2-1-2n)のサンプルを含む。これにより式13は以下の通り書き替えられる。
以下の2つの恒等式を代入して、
式14a及び14bのkに2pを代入することによって偶数番号係数は以下の通り書き替えられる。
上記式15及び16の2つの恒等式を代入して、式14a及び14bのkにN/2-1-2pを代入することによって奇数番号係数は以下の通り書き替えられる。
上記式9及び16の恒等式を用いることによって次式が得られる。
下式の複素値サンプルg(n)を形成するために偶数及び奇数番号の修正サンプルを結合することによって、
O−DTAC変換係数C(k)が記変換の実数及び虚数部分から得られることを立証できる。
式21は次のように書き替えられる。
ここで以下に示す角括弧内の第1項は、順方向前変換関数部分を形成する。
前変換関数のいずれかの側の和及び指数関数は、N/4点離散フーリエ変換(DFT)と理解し得る。
論議を簡単にするために、修正されたサンプルq(n)の順方向変換から得られる変換係数は、Q(P)で表される。これらの複素値係数は下式で表される。
再び式25に言及すると、以下に示す中括弧外の最終項は、以下に論じる順方向後変換関数部分を形成する複素回転である。
図3は、式11及び12により16サンプルブロックから8つの修正されたサンプルのブロックを得るための回路の構成図である。ここではa=12及びb=4である。路10a乃至10pの各々は、入力信号ブロックの第1乃至第16を表す信号をそれぞれ受信する。路16a乃至16hの各々は、修正されたサンプルブロックの第1乃至第8修正サンプルを表す信号をそれぞれ伝える。インバータ12a乃至12fは、路10a乃至10pから受信した信号する信号をそれぞれ逆変換し、それによって和成分14a乃至14fにおける減算を行う。
順方向前変換関数、順方向変換及び順方向後変換関数は、図3に示すようなインバータ、アンプ及び和算成分からなる回路等各種の方法で実施することができる。しかし、望ましい実施形態ではこれらの演算を行うためにソフトウエア制御のプロセッサを内臓している。これらのすべての実施形態では、順方向前変換関数の組合せ及び混合演算と共に信号サンプルに分析窓関数を適用することもできる。
E 分析フィルタバンクの効率的実施
上記の式11、12、20及び26で表される順方向前変換関数106は、順方向変換108への入力として与えられるべき、1/4N複素値修正サンプルのセットを得るために用いられる。式11、12及び20は、各時間領域信号サンプルブロック内の信号サンプルに対する『組合せ』及び『混合』演算を集合的に表し、それぞれ修正されたサンプルのセットを形成する。式26は、これらの修正サンプルの複素回転を表す。
順方向変換108はN/4点DFTであり、FFTの使用を含めて、各種の方法で効率的に実施することができる。
上記の式22、23及び28で表される順方向後変換110は、順方向変換の変換係数Q(p)から周波数領域変換係数C(k)を含むスペクトル情報を得るために用いられる。式22及び23は、順方向前変換関数によって行われる混合効果を反転させる、『逆混合』演算を集合的に表す。式28は複素回転を表す。順方向後変換関数は、それぞれ0≦p<1/4Nに対し次式によって実施し得る。
原則的に、順方向前変換106、順方向変換108及び順方向後変換110の組合せは、入力信号に応答して周波数領域変換係数C(k)を発生させる。入力信号は、同一入力信号に適用されるO−TDAC変換によって発生される変換係数と等価である。これらの変換係数は、入力信号のスペクトル内容に相当する。もし特定の適用例で特定の形のスペクトル情報が不要なら、本発明の実施形態を組入れた分析濾波装置は、零又は自明な順方向後変換を組入れることができる。この様に適用されるシステムでは、例えば、変換係数Q(p)それ自体を送信又は記憶することができる。
不幸にして、順方向変換によって発生される変換係数Q(p)は、概して低ビットレート送信又は効率的記憶には適していない。信号の無関係性を利用することによって情報要件を低減させるためには、各種の符号化及び量子化技術が必要である。この様な符号化用途では、簡単な手段による入力信号スペクトル内容が必要である。例えば、符号化される信号情報要件を低減させるために心理音響原理を利用するエンコーダ・デコーダシステムでは、信号スペクトル成分の心理音響的効果を推定するためにスペクトル内容を推定することを要する。
F 出力フォーマット化
図1のボックス112で表される出力フォーマット化は本発明を実施する上で必要ではないが、信号符号化適用例ではしばしば用いられる。概して、出力フォーマット化では、送信又は記憶のために必要なスペクトル情報及び他の情報の表示記号がアセンブルされる。符号化用途では、デコーダで必要な追加の副情報もフォーマット化される信号にアセンブルされる。送信のために必要なフレーム同期ビット及び誤差検出・訂正コードを用いることができる。記憶に必要なデータベースポインタ又はキーを追加しても良い。フォーマット化されたデータは、図1の路114に沿った送信又は記憶の準備ができている。
C 入力デフォーマット化
図2のボックス202で表される入力デフォーマット化は本発明を実施する上で必要ではないが、信号復号適用例ではしばしば用いられる。デフォーマット化では、送信されるか又は記憶装置から検索される信号の受信によって路200から受信されるフォーマット化された信号からスペクトル及び副情報が得られる。
H 合成フィルタバンク
合成フィルタバンク202は、次式の逆修正離散正弦変換(IMDCT)によって簡単な方法で実施され得る。
ここで、
=復元されるMDCT周波数領域変換係数、及び
=復元される時間領域信号サンプルである。
本明細書では信号合成中に得られる情報と信号分析中に得られる対応する情報とを区別するために『ハット(帽子)』付名称が用いられる。多くの実際的適用例においては、行われたかもしれない符号化、量子化のために、受信された信号から復元されるスペクトル情報は分析フィルタバンクから得られるスペクトル情報と同一でない可能性がある。その結果、信号分析及び信号合成間の対応する情報は、概して同一ではないが、この差は本発明の実施上重要ではない。
I 適応長さ合成フィルタバンクの実施
一実施形態による合成フィルタバンクを実施するために要する源は、むしろ1/4N修正周波数領域係数のセットを発生させるために受信される信号から得られるスペクトル情報に逆前変換関数を適用し、修正された周波数領域係数のために1以上の逆離散変換数値を求め、次いで逆後変換関数を適用することによって低減し得る。既に述べた通り、適用例の中には逆前変換関数が本質的に零又は自明で良いものもある。
順方向変換に対して既に述べたものと類似の誘導により、逆方向前変換206、逆方向変換208及び逆方向後変換210が次式で表し得ることを立証することができる。
時間領域信号サンプルは以下のように得られる。
式32の角括弧内の複素回転、即ち、
及び式33、34は、上記の逆前変換関数を集合的に形成する。式32の逆前変換関数のいずれかの側についての和及び指数関数は、N/4点逆離散フーリエ変換(IDFT)として認められ得る。式31の中括弧外の最終項、即ち
及び式35、42は、上記の逆後変換関数を集合的に形成する。
J 合成フィルタバンクの効率的実施
逆方向前変換関数206では、受信される信号のスペクトル情報から周波数領域変換係数が得られる。もし受信信号のスペクトル情報が、順方向変換によって発生される周波数領域変換係数Q(p)に事実上相当するなら、逆方向前変換関数は、例えば、スペクトル情報をブロック内にグループ化するように、零又は自明であり得る。本発明を組入れたデコーダの実際的実施形態における逆方向前変換関数は、符号化される信号を逆方向変換フィルタバンクへの入力に適した形に脱符号化及び脱量子化することを含み得る。
受信されるスペクトル情報が事実上O−TDACフィルタバンクの変換係数C(k)と同一な適用例においては、次式の周波数領域係数を得るために逆方向前変換関数を用い得る。
逆方向前変換関数は、それぞれ0≦p<1/4Nに対して次式によって実施され得る。
逆方向変換208はN/4点IDFTであり、これは逆方向FFTNの使用等各種の方法で効率的に実施し得る。
式35乃至42及び44で表される逆方向後変換210は、逆方向変換208によって与えられる時間領域変換係数に応答してN実数値時間領域サンプルのセット得るために用いられる。式44は複素回転を表す。式35乃至42は、『逆組合せ』及び『逆混合』演算を集合的に表し、これは、順方向前変換106の組合せを含めて、先の組合せ及び逆組合せの効果を反転させる。
K 出力サンプル処理
原入力信号サンプルに相当する信号サンプルを発生させるために、O−TDACに次いで重複加算プロセスが用いられる。図のボックス212で表されるこのプロセスでは、回復される時間領域サンプルの隣接ブロックが重複されると共に一ブロックのサンプルが隣接重複ブロックのサンプルに加算される。重複加算に先立って、合成窓関数が回復される時間領域サンプルブロックに適用される。
Claims (18)
- 入力サンプルから成ると共にオーディオ又はビデオ情報を表す入力信号を受信する入力手段と、
前記入力サンプルを零でない長さN=a+bの時間領域信号サンプルブロックにグループ化する入力バッファ記憶手段であって、a及びbは基数4の非負の整数でありかつa又はbのいずれかが少なくとも2つの前記時間領域信号サンプルブロックに対して異なった値となることがあり、一連の前記時間領域信号サンプルブロックの隣接ブロックが互いに重複し、それぞれの時間領域信号サンプルブロックが先のブロックとaサンプルだけ重複すると共に後のブロックとbサンプルだけ重複する入力バッファ記憶手段と、
前記時間領域信号サンプルブロックの各1つに応答してスペクトル情報を発生させる分析フィルタバンクであって、
1個以上1/4N個以下の複素値修正サンプルから成る修正サンプルブロックを発生させる順方向前変換手段と、
1以上の離散変換関数を前記修正サンプルブロックに適用することによって周波数領域変換係数を発生させる順方向変換手段と、
前記周波数領域変換係数に応答してスペクトル情報を発生させる順方向後変換手段とから成る分析フィルタバンクと、
前記スペクトル情報の表示記号を送信又は記憶に適した形にアセンブルする出力手段とから成る分析濾波装置。 - 前記スペクトル情報が、奇数積重ね時間領域エイリアシング相殺変換の変換係数と実質的に等価である、請求項1の装置。
- スペクトル情報を受信する入力手段と、
前記スペクトル情報に応答して時間領域信号サンプルを発生させる合成フィルタバンクであって、
前記スペクトル情報に応答して周波数領域変換係数のセットを発生させる逆方向前変換手段であって、前記セットの各々が少なくとも1個以上1/4N=1/4(a+b)個以下の係数から成り、a及びbは基数4の非負の整数でありかつa又はbのいずれかが少なくとも2つの前記セットに対して異なった値となることがあることを特徴とする逆方向前変換手段と、
前記周波数領域変換係数のセットに1以上の逆離散変換関数を適用することによって、時間領域変換係数から成る変換ブロックを発生させる逆方向変換手段と、
各々が零でない長さN=a+bの時間領域信号サンプルブロックを発生させる逆方向後変換手段であって、一連の前記時間領域信号サンプルブロックの隣接ブロックが互いに重複し、それぞれの時間領域信号サンプルブロックが先のブロックとaサンプルだけ重複すると共に後のブロックとbサンプルだけ重複することを特徴とする逆方向後変換手段とからなる合成フィルタバンクと、
前記時間領域信号サンプルブロックに応答してオーディオ又はビデオ情報を表す出力サンプルを発生させる出力手段とから成る合成濾波装置。 - 前記スペクトル情報が、奇数積重ね時間領域エイリアシング相殺変換の変換係数と実質的に等価である、請求項5の装置。
- a及びbが零でない、請求項1乃至8のいずれか1つの装置。
- a)入力サンプルから成ると共にオーディオ又はビデオ情報を表す入力信号を受信するステップと、
b)前記入力サンプルを零でない長さN=a+bの時間領域信号サンプルブロックにグループ化するステップであって、a及びbは基数4の非負の整数でありかつa又はbのいずれかが少なくとも2つの前記時間領域信号サンプルブロックに対して異なった値となることがあり、一連の前記時間領域信号サンプルブロックの隣接ブロックが互いに重複し、それぞれの時間領域信号サンプルブロックが先のブロックとaサンプルだけ重複すると共に後のブロックとbサンプルだけ重複することを特徴とする、ステップと、
c)前記時間領域信号サンプルブロックの各1つに応答してスペクトル情報を発生させ、1)少なくとも1個以上1/4N個以下の複素値修正サンプルから成る修正サンプルブロックを発生させ、2)1以上の離散変換関数を前記修正サンプルブロックに適用することによって第1周波数領域変換係数を発生させ、3)前記周波数領域変換係数に応答してスペクトル情報を発生させるようにさせるステップと、
d)前記スペクトル情報の表示記号を送信又は記憶に適した形にアセンブルするステップと、
e)前記スペクトル情報の符号化された表示記号を受信すると共にそこから再構成されるスペクトル情報を入手するステップと、
f)1)前記スペクトル情報から第2周波数領域変換係数のセットを発生させるステップであって、前記第2周波数領域変換係数のセットの各々が1個以上1/4N=1/4(a+b)個以下の係数から成り、a又はbのいずれかが少なくとも2つの前記セットに対して異なった値となることがあることを特徴とするステップと、2)1以上の逆離散変換関数を前記第2周波数領域変換係数のセットに適用することによって時間領域変換係数から成る変換ブロックを発生させるステップと、3)前記時間領域変換係数から各々が零でない長さNの第2時間領域信号サンプルブロックを発生させるステップであって、前第2記時間領域信号サンプルブロックの隣接ブロックが互いに重複し、それぞれの第2時間領域信号サンプルブロックが先のブロックとaサンプルだけ重複すると共に後のブロックとbサンプルだけ重複することを特徴とするステップと、
g)前記第2時間領域信号サンプルブロックに応答してオーディオ又はビデオ情報を表す出力サンプルを発生させるステップと、
から成る、オーディオ又はビデオ情報を表すサンプルを符号化及び復号する方法。 - 前記スペクトル情報が、奇数積重ね時間領域エイリアシング相殺変換の変換係数と実質的に等価である、請求項10の方法。
- 前記修正サンプルブロックを発生させる段階が、
次式により
q(i)=-x(a/2-i-1)+x(a/2+i) 0≦i<1/2a
q(i)=x(a/2+i)+x(N+a/2-1-i) 1/2a≦i<1/2N
前記入力サンプルx(i)に応答して実数値中間サンプルq(i)を形成し、
次式により
g(n)=q(N/2-1-2n)+jq(2n)
複素値中間サンプルg(n)を形成し、
により複素回転を適用することによって前記複素値修正サンプルを発生させることから成り、
前記1以上の離散変換関数が実質的に離散フーリエ変換と等価であり、前記1以上の逆離散変換関数が実質的に逆離散フーリエ変換と等価であり、前記第2時間領域信号サンプルを発生させる段階が、
により前記時間領域変換係数に複素回転を適用することによって複素値中間サンプル
を形成し、
次式により
前記時間領域信号サンプル
を発生させることから成る、請求項10の方法。 - スペクトル情報を受信し、
前記スペクトル情報から、各係数のセットが1個以上1/4 N=1/4(a+b)個以下の係数からなり、a及びbは基数4の非負の整数でありかつa又はbのいずれかが少なくとも2つの前記セットで異なった値となることがあるような周波数領域変換係数のセットを発生させるステップと、
前記周波数領域変換係数のセットに1以上の逆方向離散変換関数を適用することによって、時間領域変換係数から成る変換ブロックを発生させるステップと、
前記時間領域変換係数から、一連の前記時間領域信号サンプルブロックの隣接ブロックが互いに重複し、それぞれの時間領域信号サンプルブロックが先のブロックとaサンプルだけ重複すると共に後のブロックとbサンプルだけ重複するような、各々が零でない長さN=a+bの時間領域信号サンプルブロックを発生させるステップと、
前記時間領域信号サンプルブロックに応答してオーディオ又はビデオ情報を表す出力サンプルを発生させるステップと、
から成る、合成濾波方法。 - 前記スペクトル情報が、奇数積重ね時間領域エイリアシング相殺変換の変換係数と実質的に等価である、請求項14の方法。
- a及びbが零でない、請求項10乃至17のいずれか1つの方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US61850696A | 1996-03-19 | 1996-03-19 | |
US08/618,506 | 1996-03-19 | ||
PCT/US1997/004164 WO1997035386A1 (en) | 1996-03-19 | 1997-03-17 | Analysis/synthesis filtering system with efficient oddly-stacked single-sideband filter bank using time-domain aliasing cancellation |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11507492A JPH11507492A (ja) | 1999-06-29 |
JP4033906B2 true JP4033906B2 (ja) | 2008-01-16 |
Family
ID=24478002
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP53357697A Expired - Lifetime JP4033906B2 (ja) | 1996-03-19 | 1997-03-17 | 時間領域エイリアシング相殺を用いる効率的奇数積重ね単一側波帯フィルタバンクを有する分析・合成濾波システム |
Country Status (10)
Country | Link |
---|---|
EP (1) | EP0827647B1 (ja) |
JP (1) | JP4033906B2 (ja) |
KR (1) | KR100424036B1 (ja) |
AT (1) | ATE220831T1 (ja) |
AU (1) | AU712719B2 (ja) |
CA (1) | CA2221845C (ja) |
DE (1) | DE69713971T2 (ja) |
DK (1) | DK0827647T3 (ja) |
ES (1) | ES2176722T3 (ja) |
WO (1) | WO1997035386A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5899969A (en) * | 1997-10-17 | 1999-05-04 | Dolby Laboratories Licensing Corporation | Frame-based audio coding with gain-control words |
US5913191A (en) * | 1997-10-17 | 1999-06-15 | Dolby Laboratories Licensing Corporation | Frame-based audio coding with additional filterbank to suppress aliasing artifacts at frame boundaries |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU631404B2 (en) * | 1989-01-27 | 1992-11-26 | Dolby Laboratories Licensing Corporation | Low bit rate transform coder, decoder and encoder/decoder for high-quality audio |
EP0610975B1 (en) * | 1989-01-27 | 1998-09-02 | Dolby Laboratories Licensing Corporation | Coded signal formatting for encoder and decoder of high-quality audio |
US5297236A (en) * | 1989-01-27 | 1994-03-22 | Dolby Laboratories Licensing Corporation | Low computational-complexity digital filter bank for encoder, decoder, and encoder/decoder |
-
1997
- 1997-03-17 KR KR1019970708058A patent/KR100424036B1/ko not_active IP Right Cessation
- 1997-03-17 JP JP53357697A patent/JP4033906B2/ja not_active Expired - Lifetime
- 1997-03-17 AU AU22140/97A patent/AU712719B2/en not_active Expired
- 1997-03-17 WO PCT/US1997/004164 patent/WO1997035386A1/en active IP Right Grant
- 1997-03-17 EP EP97915117A patent/EP0827647B1/en not_active Expired - Lifetime
- 1997-03-17 DE DE69713971T patent/DE69713971T2/de not_active Expired - Lifetime
- 1997-03-17 DK DK97915117T patent/DK0827647T3/da active
- 1997-03-17 AT AT97915117T patent/ATE220831T1/de active
- 1997-03-17 ES ES97915117T patent/ES2176722T3/es not_active Expired - Lifetime
- 1997-03-17 CA CA002221845A patent/CA2221845C/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
AU2214097A (en) | 1997-10-10 |
EP0827647A1 (en) | 1998-03-11 |
DE69713971T2 (de) | 2003-03-20 |
AU712719B2 (en) | 1999-11-11 |
WO1997035386A1 (en) | 1997-09-25 |
KR100424036B1 (ko) | 2004-07-05 |
JPH11507492A (ja) | 1999-06-29 |
ES2176722T3 (es) | 2002-12-01 |
CA2221845A1 (en) | 1997-09-25 |
DK0827647T3 (da) | 2002-09-02 |
CA2221845C (en) | 2004-06-08 |
KR19990014716A (ko) | 1999-02-25 |
DE69713971D1 (de) | 2002-08-22 |
EP0827647B1 (en) | 2002-07-17 |
ATE220831T1 (de) | 2002-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0587733B1 (en) | Low computational-complexity digital filter bank | |
JP3224130B2 (ja) | 高品質オーディオ用符号器・復号器 | |
US5890106A (en) | Analysis-/synthesis-filtering system with efficient oddly-stacked singleband filter bank using time-domain aliasing cancellation | |
US5727119A (en) | Method and apparatus for efficient implementation of single-sideband filter banks providing accurate measures of spectral magnitude and phase | |
JP4473913B2 (ja) | スペクトル/変調スペクトル域表現における変形による情報信号処理 | |
US6963842B2 (en) | Efficient system and method for converting between different transform-domain signal representations | |
CN102150207B (zh) | 通过二维变换压缩音频比例因子 | |
US8452605B2 (en) | Apparatus and method for generating audio subband values and apparatus and method for generating time-domain audio samples | |
RU2407069C2 (ru) | Кодирование и декодирование аудиосигналов с использованием гребенок фильтров с комплексным значением | |
JP2004531151A (ja) | 時間離散オーディオサンプル値を処理する方法と装置 | |
EP0590790A2 (en) | Modified DCT signal transforming system | |
JP4033906B2 (ja) | 時間領域エイリアシング相殺を用いる効率的奇数積重ね単一側波帯フィルタバンクを有する分析・合成濾波システム | |
EP1421579B1 (en) | Audio coding with non-uniform filter bank | |
Kozuka et al. | Investigation on wavelet basis function of DNN-based time domain audio source separation inspired by multiresolution analysis | |
Xiong et al. | A nonuniform modulated complex lapped transform | |
Hermann et al. | Low-power implementation of the Bluetooth subband audio codec | |
Yang et al. | Fast and low roundoff implementation of quadrature mirror filters for subband coding | |
O'Neill | The representation of continuous speech with a periodically sampled orthogonal basis | |
Glasow Jr | A REVIEW OF SUBBAND CODERS FROM A PRACTICAL PERSPECTIVE | |
Bosi et al. | Time to Frequency Mapping Part I: The PQMF | |
Sheikhzadeh et al. | Low-power implementation of the Bluetooth subband audio codec | |
Schuller | Filter Banks and Audio Coding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20040226 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060822 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20061117 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070105 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20070222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070424 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070724 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071009 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071024 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131102 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |