JP4842265B2 - 信号の状況(コンテキスト)ベース符号化及び復号化 - Google Patents

信号の状況(コンテキスト)ベース符号化及び復号化 Download PDF

Info

Publication number
JP4842265B2
JP4842265B2 JP2007521436A JP2007521436A JP4842265B2 JP 4842265 B2 JP4842265 B2 JP 4842265B2 JP 2007521436 A JP2007521436 A JP 2007521436A JP 2007521436 A JP2007521436 A JP 2007521436A JP 4842265 B2 JP4842265 B2 JP 4842265B2
Authority
JP
Japan
Prior art keywords
situation
decoding
value
bit plane
bitstream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007521436A
Other languages
English (en)
Other versions
JP2008506987A (ja
Inventor
ユ,ロンシャン
リン,シャオ
ラハージャ,スサント
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agency for Science Technology and Research Singapore
Original Assignee
Agency for Science Technology and Research Singapore
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agency for Science Technology and Research Singapore filed Critical Agency for Science Technology and Research Singapore
Publication of JP2008506987A publication Critical patent/JP2008506987A/ja
Application granted granted Critical
Publication of JP4842265B2 publication Critical patent/JP4842265B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、データの符号化システム及び方法に関する。より詳細には、状況ベース(context-based)符号化システム及び方法に関する。
状況(又は文脈或いはコンテキスト)ベース符号化の技術は、供給源(source)から生成される複数のサンプルの統計的依存性を把握するために、有限状態の統計モデル、即ち状況(コンテキスト)を用いることに基づいている。状況ベース符号化システムでは、与えられたサンプルを符号化する際の確率割当は、その状況(又はコンテキスト)に依存しており、またこの状況は、既にエンコーダ及びデコーダに知られた情報、例えば、既に符号化され送信された履歴サンプルを用いて構成される。状況に係る詳細な設計は、異なる用途で様々に変えられる。例えば、テキスト圧縮では、文字を符号化する状況は、先行の文字により形成することができる。画像符号化では、与えられた画素を符号化する確率割当は、その隣接(符号化された)画素値により決定される。
図1に、従来知られている状況ベース符号化システムを示す。従来のシステム100では、データ源110から出力された各サンプルは、状況モデルモジュール130により決定される確率割当と共に、統計コーダ120、通常、算術コーダを用いて符号化される。従来、状況モデルモジュールは、与えられた状況に対する確率割当を決定する2つの手法のうちのいずれかの手法を用いていた。第1の手法では、固定周波数テーブルを用いていた。ここでは、各状況は、考えられ得るサンプルに対する確率割当を記録した固定且つ予め練られた周波数テーブルを用いており、それは、状況が該当すると、呼び出される。第2の手法では、適応周波数テーブルを用いていた。ここでは、各状況における周波数テーブルは、その状況と共に符号化されたサンプルに応じて、符号化工程中に調整される。
ビットプレーン符号化技術は、これまでは画像符号化で用いられていた。例えば、A. Said and W. A. Pearlman in "A New, Fast, and Efficient Image Codec Based on Set Partitioning in Hierarchical Trees," IEEE Transactions on Circuits and Systems For Video Technology, vol. 6, no. 3, pp. 243-250, June 1996。ビットプレーン符号化は、細粒度ビットレートスケーラビリティ(拡張可能性)を達成するような符号化システムを構成するために、マルチメディア符号化に広く応用されてきた。ビットプレーン符号化では、先ず、符号化すべきデジタルサンプルを一連のベクトルにグループ化する。そして、各ベクトルは、最上位ビット(MSB)から最下位ビット(LSB)に、データ要素が逐次符号化される逐次ビットプレーンスキャン及び符号化方法を用いて、符号化される。状況ベース符号化技術は、各ビットプレーンシンボルが、その状況に応じて状況モデルモジュールから与えられた確率割当で符号化されるようなやり方で、ビットプレーン符号化に適用することができる。これは、状況ベースビットプレーン符号化技術(CB−BPC)につながることになる。CB−BPC技術は、JPEG2000(D. Taubman, "High Performance Scalable Image Compression with EBCOT," IEEE Tran. Image Processing, vol. 9, no. 7, pp. 1158-1170, July 2000参照)及びMPEG Audio BSAC(S. H. Park, Y. B. Kim and Y. S. Seo, "Multi-layer bit-sliced bit-rate scalable audio coder," 103rd AES convention preprint 4520, 1997参照)等のマルチメディア符号化に広く応用されてきた。
求められているのは、より良い圧縮性能を達成するために、興味の対象であるデータに、より良いモデルを提供し、且つ好適にビットプレーン符号化のスケーラビリティを組み込んだ、改良された状況ベース符号化工程である。
本発明は、スケーラビリティを可能にするためにビットプレーン符号化を組み込んだ、状況ベース符号化及び復号化システム並びに工程(プロセス)を提供する。任意に、符号化工程並びに係数の周波数帯域、遅延ビットプレーンまでの距離、有意状態、及び量子化間隔等の特定の状況特徴が、性能を更に向上させるために含まれてよい。
一の実施形態において、状況ベース符号化システムは、ドメイン変換モジュールと、状況ベース符号化モジュールを含む。ドメイン変換モジュールは、前記入力信号を変換係数c[i]の配列に変換可能である。状況ベース符号化モジュールは、ビットプレーンスキャンモジュールと、状況モデルモジュールと、統計符号化モジュールとを含む。ビットプレーンスキャンモジュールは、各ビットプレーン[bp]及び各変換係数c[i]に対してビットプレーンシンボルbps[i, bp]を生成可能である。状況モデルモジュールは、前記受信したビットプレーンシンボルbps[i, bp]の夫々に対して一又は複数の状況値を割り当てることが可能である。統計符号化モジュールは、前記ビットプレーンシンボルbps[i, bp]の夫々を前記一又は複数の対応する状況値の関数として符号化し、状況ベース符号化シンボルストリームを生成可能である。
本発明におけるこれらの特性及びその他の特性は、次の図面及び詳細な説明に照らすとより理解されるであろう。
本発明は、入力デジタル信号におけるビットプレーンシンボルの状況ベース符号化における問題に対し、新たな状況(コンテキスト)設計を提示する。その設計は、音声状況に対して特定の適用性を有しているが、別の実施例において、画像ベースデータ及びストリーミングビデオを処理するのに用いられてもよい。
本発明によれば、入力信号を符号化するために、4種の状況(コンテキスト)が個別に又は互いに併用して用いられる。ここで、これらの状況は、遅延(Lazy)ビットプレーンまでの距離(D2L)状況、周波数帯域(FB)状況、有意状態(SS)状況、及び量子化間隔(QI)と称される。以下に更に例示するように、ビットプレーンbpからの変換係数c[i](i=0, ...N-1)における各ビットプレーンシンボルb[i, bp]は、D2L、FB、SS、QI状況のうちの一又は複数の状況で符号化される。これを以下に説明する。更に、bpが小さければ最下位ビットプレーンを意味し、bpは0から開始すると規定される。従って、
Figure 0004842265
但し、s[i]及びMは夫々c[i]に対する記号及び語長である。
以下の状況設計は、入力音声信号の観点から記載されるが、当業者は、これらの設計を少し変更して、本発明をその他の形態の状況(コンテキスト)を含む信号の符号化且つ復号化に適合させてよいことを理解するであろう。
(状況1:周波数帯域(FB))
FB状況は、その周波数位置に従って各変換係数に割り当てられる。周波数位置は、周波数位置に対する、変換係数におけるビットプレーンシンボルの確率分布の依存性を把握するために用いられる。模範的実施例では、変換係数c[i]は、その周波数位置に応じて3つの異なる帯域に分類される。即ち、低帯域(0から4kHz)、中帯域(4kHzから11kHz)、並びに高帯域(11kHz以上)である。そして各変換係数のFB状況は、それが属する各周波数帯域に応じて割り当てられる。
Figure 0004842265
もちろん、異なる状況の数及び/又は異なる周波数範囲で分類された異なる周波数帯域構成を用いることができる。
(状況2:遅延ビットプレーンまでの距離(D2L))
本発明で採用された第2の状況は、予め決められた整数の符号化パラメータlazy_bpに対する、符号化されるべきビットプレーンシンボルのビットプレーン番号の関係を表している。この状況は、パラメータlazy_bpまでの距離が同じである場合に、音声信号からのビットプレーンシンボルの分布が、同じような確率の非対称性を示す傾向があると観察することから実現される。本発明では、D2L状況は、D2L(bp) =bp − lazy_bpとして規定される。
更に、ビットプレーンシンボルの確率の非対称性(skew)は、bpが小さくなると減少する傾向が見られる。従って、D2L(bp)<LであるD2L状況全てをグループ化することにより状況設計を単純化することができる。但し、Lは、一の状況として予め選択されたパラメータであり、これに対して、ビットプレーンは、等しい確率分布、即ち、確率割当1/2で符号化される。
ある実施例では、最適な符号化性能のためのCB−BPCエンコーダにおいて選択されたパラメータlazy_bpは、CB−BPCデコーダに送信され、正確な復号化のためのD2L状況が正確に復元される。
(状況3:有意状態(SS))
有意状態状況は、音声信号用の隣接する変換係数の振幅間の相関関係をモデル化するために採用される。ある実施例では、有意状態sig_state(i,bp)は、次のように規定される。
Figure 0004842265
但し、「有意な」及び「有意でない」は、非ゼロビットプレーンシンボルb[i, j](j<bp)が存在する/存在しないことを意味する。そして符号化すべき各ビットプレーンシンボルに対するSS状況は、その隣接する係数の有意状態により与えられる。例えば、4つの最短隣接係数が考えられる場合、ビットプレーンシンボルb[i, bp]に対するSS状況は次式により与えられるであろう。
SS(i,bp)={sig_state(i-2, bp), sig_state(i-1, bp), sig_state(i+1,bp), sig_state(i+2, bp)} (3)
(状況4:量子化間隔(QI))
幾つかの符号化システムアーキテクチャは、アドバンストオーディオジップ(R. Yu, X. Lin, S. Rahardja and C. C. Ko, "A Scalable Lossy to Lossless Audio Coder for MPEG-4 Audio Scalable Lossless Coding," Proc. ICASSP 2004参照)及びFGS(細粒度)ロスレスオーディオコーダ等のコアエンコーダを組み込んでいる。このようなシステムにおいて、コアエンコーダは、変換係数c[i], i=0, ..., N-1で量子化・符号化工程を実行し、入力信号の基本品質/レート符号化単位を表すコアビットストリームを生成する。そしてエラーマッピングを用いて、既にコアビットストリームにおいて符号化された情報を除去することにより変換残留信号e[i], i=0, ..., N-1を生成する。この残留信号は、最終的にCB−BPAC符号化工程で符号化され、FGSビットストリームが生成される。このアーキテクチャの模範的実施例を以下の図3Aに図示し、説明する。
残留信号e[i], i=0, ..., N-1は、c[i], i=0, ..., N-1に対して行われた量子化動作からの残留物として生成されるので、その振幅は、通常、コアエンコーダ量子化器の量子化間隔によって決まる値によって境界される。即ち、
Figure 0004842265
但し、interval[i]は、採用された詳細なエラーマッピング工程及びc[i]に対する量子化間隔によって決まる。例えば、量子化間隔Δを有する一様な量子化器が用いられ、且つ量子化間隔の中央値に対してc[i]を減算することにより残留信号が構成される場合、inteval[i]=Δ/2を得る。
この性質を利用して符号化性能を向上させるために、量子化間隔状況QIも、コアエンコーダを用いる実施例に対して利用可能である。量子化間隔状況は次式で与えられる。
Figure 0004842265
但し、
Figure 0004842265
は、b[i, bp]の前に受信した全てのビットプレーンシンボルを有するe[i]に対して部分的に再構成された値である。
式(4)から、QI=2の場合に現ビットプレーンシンボルb[i, bp]は、確率1でゼロであると結論するのは容易である。故に、符号化する必要はない(Null状況)。加えて、QI=0と比べると、b[i, bp]が1である確率は、QI=1の場合よりも非常に低い。故にこれらは本発明において二つの状況として扱われる。
(状況ベース符号化アーキテクチャ及び方法)
図2Aは、音声信号を符号化するために用いられる状況ベース符号化システムの模範的なブロック図を示しており、図2Bは、対応する動作方法を示している。先ず図2Aのエンコーダのブロック図を参照すると、エンコーダ200は、変換モジュール210、状況ベースビットプレーン算術コーダ(CB−BPAC)220、及びマルチプレクサ230を含んでいる。状況ベースエンコーダ220は、ビットプレーンスキャンモジュール222、状況モデルモジュール224、及び統計エンコーダ226を更に備える。模範的実施例において、統計エンコーダ226は算術エンコーダである。
ここで、エンコーダの動作を説明するために図2A及び図2Bを参照すると、音声信号202は、変換モジュール210に供給され、変換係数c[i], i=0, ..., N-1に変換される(図2B中の工程251)。ある実施例では、変換モジュール210は、離散ウェーブレット変換を供給された信号に対して実行できる。本発明下の別の実施例において、その他、離散コサイン変換、離散フーリエ変換及び他の変換タイプ等の変換を用いてもよい。
252において、続いて、変換係数c[i]は、ビットプレーンスキャンモジュールに供給される。このモジュールは、各ビットプレーンbpの変換係数c[i]の夫々に対して、ビットプレーンシンボルbps[i, bp]を生成するように動作する。一の実施例におけるビットプレーンのスキャン命令は、最上位ビットプレーンから最下位ビットプレーンへ実行される。即ち、c[i]の最大語長Mから0へ実行される。
次に、ビットプレーンシンボルbps[i, bp]は、状況モデルモジュール224と統計コーダ226とに供給される。例示された実施例において、統計コーダは算術コーダにより構成される。状況モデルモジュール224は、ここに記載した4つの状況モデルのうちの一又は複数のモデルを組み込んでおり(工程253)、受信したビットプレーンシンボルbps[i, bp]に基づいて、前述の状況モデルのうちの一又は複数のモデルに対する状況値を割り当てて出力できる(工程254)。この一又は複数の状況値は、先に符号化されたビットプレーンシンボルを用いて計算された有意状態の状況値、或いは現在処理されているビットプレーンシンボルの位置により決定される遅延ビットプレーンまでの距離の状況値及び/又は周波数帯域の状況値を含んでいてよい。ある実施例においては、状況モデルモジュール224は、唯一つの状況値を統計コーダ226に割り当てて出力するように構成されてよい。例えば、変換係数の周波数帯域か、又は現在処理されているビットプレーンシンボルbps[i, bp]の遅延ビットプレーンまでの距離に対応する状況値である。別の実施例においては、状況モデルモジュールは、現在処理されているビットプレーンシンボルbps[i, bp]用の多数の状況値を割り当てて出力するように構成されてよい。例えば、周波数帯域状況、遅延ビットプレーンまでの距離状況、及び有意状態状況に対する状況値である。もちろん、これら3つの状況モデルのうちのいずれか2つの組み合わせを採用してもよい。
255において、統計コーダ226は、ビットプレーンシンボルbps[i, bp]を受信して、統計コーダが受信する一又は複数の対応する状況値の関数として符号化する。その結果生じる状況ベース符号化ビットストリームは、続いて多重化され、圧縮ビットストリームを生成する。
図3Aは、音声信号を符号化するために用いられる状況ベース符号化システムの第2の模範的なブロック図を示しており、図3Bは、対応する動作方法を示している。先に特定された構成要素に加えて、システム300は、コアエンコーダ310及び従来知られているような残留信号層を生成するエラーマッピングモジュール320を更に備える。
エンコーダの動作を説明するために図3A及び図3Bを参照すると、音声信号302は変換モジュール210に供給され、変換係数c[i], i=0, ..., N-1に変換される(図3B中の工程351)。上述のように、変換モジュール210は、離散ウェーブレット変換、離散コサイン変換、離散フーリエ変換等の様々な時間/周波数変換のうち、いずれの変換を実施してもよい。
352において、変換係数は、コアエンコーダ310に供給される。このコアエンコーダは、変換係数を係数x[i]のコアビットストリームに符号化するように動作する。コアエンコーダ310は、所定の量子化間隔を用いてビットストリームを符号化する。上述のように、量子化間隔は、本発明の符号化工程においてQI状況を決定するために用いられる。
次に353において、エラーマッピングモジュール320は、コアビットストリーム及び変換係数c[i]の配列を受信し、それらの違いをとって、残留係数e[i]のストリームを生成する。続いて、符号化工程は、上述した方法と類似の方法で進行し、これにより、残留係数e[i]はエンコーダ220により状況ベース符号化される。特に、符号化モジュール220内部では、残留係数e[i]は、符号化モジュール220内のビットプレーンスキャンモジュールに供給される。符号化モジュールは、各ビットプレーンbpの残留係数e[i]の夫々に対して、残留ビットプレーンシンボルrbps[i, bp]を生成するように動作する(工程354)。次に残留ビットプレーンシンボルrbps[i, bp]は、状況モデルモジュールと統計コーダとに供給される。状況モデルモジュールは、ここに記載した4つの状況モデルのうちの一又は複数のモデルを組み込んでおり(工程355)、受信した残留ビットプレーンシンボルrbps[i, bp]に応じて、前述の状況モデルのうちの一又は複数のモデルに対する状況値を割り当てて出力できる(工程356)。この一又は複数の状況値は、先に符号化された残留ビットプレーンシンボルを用いて計算された有意状態の状況値、或いは周波数帯域の状況値及び/又は現在処理されている残留ビットプレーンシンボルの位置により決定される遅延ビットプレーンまでの距離の状況値を含んでいてよい。更に、符号化工程は、量子化間隔の状況値を計算するために量子化間隔状況モデルの実施を含んでいてよい。状況モデルモジュールは、4つの状況モデルの夫々(或いは、これらの状況モデルのうちのいずれか2つ又は3つの組み合わせ)に対して状況値を割り当てて出力するように構成されてよい。
357において、符号化モジュール220内の統計コーダは、残留ビットプレーンシンボルrbps[i, bp]を受信して、統計コーダが受信する一又は複数の対応する状況値の関数として符号化する。その結果生じる状況ベース符号化残留ビットストリームは、続いてコアビットストリームとともに多重化され、圧縮ビットストリームを生成する。
図4A及び図4Bは、本発明に係る、上記図2A及び図2Bに示したエンコーダを補足する、状況ベース符号化デコーダ及び動作方法を示している。先ず図4Aのデコーダのブロック図を参照すると、デコーダ400は、デマルチプレクサ410、状況ベースビットプレーン算術デコーダ(CB−BPAD)420、及び逆変換モジュール430を含んでいる。状況ベースデコーダ420は、統計デコーダ422、状況モデルモジュール424及びビットプレーン再構成モジュール426を更に備える。模範的実施例において、統計デコーダ22は算術デコーダである。
デコーダ400は、上述のエンコーダ200の逆として動作する。451において、圧縮ビットストリーム402を受信し、状況ベース符号化ビットストリーム404へ逆多重化する。452において、統計コーダ422は、状況ベース符号化ビットストリーム404を受信し、これに応じて、復号化ビットプレーンシンボルbps'[i, bp]のストリームを対応する一又は複数の状況値の関数として生成する。状況値408は、状況モデルモジュール424により生成される。これは、有意状態の状況値等の、先に復号化されたビットプレーンシンボルbps'[i, bp]に基づいており、並びに/或いは、周波数帯域の状況値及び/又は遅延ビットプレーンまでの距離の状況値等の、現在処理されているビットプレーンシンボルの位置に基づいている。ある実施例において、状況モデルモジュール424は、唯一つの状況値を統計デコーダ422に割り当てて出力するように構成されてよい。例えば、変換係数の周波数帯域か、又は現在処理されているビットプレーンシンボルの遅延ビットプレーンまでの距離に対応する状況値である。別の実施例において、状況モデルモジュールは、現在処理されているビットプレーンシンボルに対して多数の状況値を割り当てて出力するように構成されてよい。例えば、周波数帯域状況、遅延ビットプレーンまでの距離状況、及び有意状態状況に対する状況値である。もちろん、これら3つの状況モデルのうちのいずれか2つの組み合わせを採用してもよい。アポストロフィー(')は、先に特定されたデータの復号化バージョン(例えば、復号化ビットプレーンシンボルは、bps'[i, bp]として特定される)を参照していることに留意されたい。また復号化データは、符号化バージョンの同一複製物であることが理想的であるが、システムを不完全に実施すること、例えば、結果の送信及び/又は復号化工程が不完全であることに起因したデータを含む又は省略するバージョンから構成されてもよい。
453において、復号化ビットプレーンシンボルbps'[i, bp]は、ビットプレーン再構成モジュール426に提供される。これに応じて、このモジュールは復号化係数412のストリームを生成する。次に454において、復号化係数412のストリームは、復号化された出力音声信号414を生成するために逆変換可能な逆変換モジュール430に入力される。この逆変換モジュール430は、エンコーダ200で用いられたドメイン変換の逆変換を適用する。これは逆離散ウェーブレット、フーリエ、又はコサイン変換を含んでよく、又は信号処理に利用可能なその他の逆ドメイン変換を含んでよい。
図5A及び図5Bは、本発明に係る、上記図3A及び図3Bに示したエンコーダを補足する、状況ベース符号化デコーダ及び動作方法を示している。図4Aの復号化システムにおける特徴については、参照符号をそのまま保持している。先に特定された構成要素に加えて、デコーダ500は、コアデコーダ440及びエラーデマッピングモジュール450を更に採用する。
デコーダの動作を説明するために図5A及び図5Bを参照すると、まず551において、圧縮ビットストリーム502を受信し、個別の状況ベース符号化残留ビットストリーム504とコアビットストリーム506に逆多重化する。552において、状況ベースデコーダ420は、状況ベース符号化残留ビットストリーム504を復号化残留係数e'[i]のストリームに復号化するよう動作する。特に、復号化モジュール420内の統計デコーダは、状況ベース符号化残留ビットストリーム504を受信し、統計コーダが受信する一又は複数の対応する状況値の関数としての残留ビットプレーンシンボルrbps'[i, bp]に符号化する。復号化工程で用いられる状況値は、現在処理されているビットプレーンシンボルの位置から夫々決定される周波数帯域の状況値及び/又は遅延ビットプレーンまでの距離の状況値であってよく、先に復号化された残留ビットプレーンシンボルを用いて計算された有意状態の状況値であってよい。更に、復号化工程は、量子化間隔の状況値を計算するための量子化間隔状況モデルの実施を含んでいて良い。これら状況モデルのうち、いずれか1、2、3、又は4つのモデルとそれらに対応する状況値とを用いて残留ビットストリーム504を残留ビットプレーンシンボルrbps'[i, bp]に復号化してよい。更に詳細には、コア復号化モジュール430は、図3A及び図3Bを参照して上述した符号化工程で適用したのと同じ量子化間隔を復号化工程に適用する。続いて、復号化残留ビットプレーンシンボルrbps'[i, bp]は、残留エラー係数e'[i]へとビットプレーン再構成される。
553において、コアデコーダ540は、コアビットストリーム506を受信し、これに応じて、復号化コア係数x'[i]を生成する。次に554において、エラーデマッピングモジュール550は、復号化コア係数x'[i]及び複合化残留係数e'[i]を受信し、これに応じて、対応する復号化変換係数c'[i]512を生成する。最後に555において、復号化変換係数c'[i]のストリームは、逆変換モジュール430に入力される。このモジュールは、補足ドメイン変換を適応して、出力音声信号514を生成する。
当業者に容易に理解されるように、記載した工程は、ハードウェア、ソフトウェア、ファームウェア、又は必要に応じてこれらの実行様式の組み合わせにおいて実施されてよい。更に、記載された工程の幾つか又は全ての工程は、コンピュータ読取可能媒体(リムーバブルディスク、揮発又は不揮発メモリ、埋め込みプロセッサ等)におけるコンピュータ読取可能な命令コードとして実施されてもよく、またその命令コードは、所望の機能を実行するためにその他のプログラム可能な装置のコンピュータをプログラミングできる。
(組み込まれた文献)
以下の文献は、全ての目的のためにその実態において参照により本願に組み込まれる。
Khalid Sayood, Introduction to Data Compression, Ch. 1, pp. 19-21, Morgan Kaufmann, 2000. A. Said and W. A. Pearlman in "A New, Fast, and Efficient Image Codec Based on Set Partitioning in Hierarchical Trees," IEEE Transactions on Circuits and Systems For Video Technology, vol. 6, no. 3, pp. 243-250, June 1996 D. Taubman, "High Performance Scalable Image Compression with EBCOT," IEEE Tran. Image Processing, vol. 9, no. 7, pp. 1158-1170, July 2000 S. H. Park, Y. B. Kim and Y. S. Seo, "Multi-layer bit-sliced bit-rate scalable audio coder," 103rd AES convention preprint 4520, 1997 R. Yu, X. Lin, S. Rahardja and C. C. Ko, "A Scalable Lossy to Lossless Audio Coder for MPEG-4 Audio Scalable Lossless Coding," Proc. ICASSP 2004 以上は本発明の詳細な説明であるが、これは単なる例であり、各種変形物、変更物、及び同等物がここに記載の各種装置及び工程において採用されてよい。従って、本発明の範囲は、次に記載の特許請求の範囲によりここに定義される。
従来知られている状況ベース符号化システムを示す図である。 本発明に係る第1実施例の状況ベースエンコーダを示す図である。 本発明に係る第1実施例のエンコード動作方法を示す図である。 本発明に係る第2実施例の状況ベースエンコーダを示す図である。 本発明に係る第2実施例のエンコード動作方法を示す図である。 本発明に係る第1実施例の状況ベースデコーダを示す図である。 本発明に係る第1実施例のデコード動作方法を示す図である。 本発明に係る第2実施例の状況ベースデコーダを示す図である。 本発明に係る第2実施例のデコード動作方法を示す図である。
符号の説明
200 エンコーダ
210 変換モジュール
220 状況ベースビットプレーン算術コーダ(CB−BPAC)
222 ビットプレーンスキャンモジュール
224 状況モデルモジュール
226 統計エンコーダ
230 マルチプレクサ

Claims (42)

  1. 入力信号を受信するように結合された入力部及び出力部を有し、前記入力信号を変換係数c[i]の配列に変換可能なドメイン変換モジュールと、
    状況ベース符号化モジュールと、
    を備える状況ベースエンコーダであって、
    前記状況ベース符号化モジュールは、
    前記変換係数の配列を受信するように結合された入力部を有し、各ビットプレーン[bp]及び各変換係数c[i]に対してビットプレーンシンボルbps[i, bp]を生成可能なビットプレーンスキャンモジュールと、
    前記ビットプレーンシンボルbps[i, bp]を受信するように結合された入力部を有し、前記受信したビットプレーンシンボルbps[i, bp]の夫々に対して一又は複数の状況値を割り当てることが可能な状況モデルモジュールであって、割り当てられた状況値の夫々は、状況モデルから得られるような状況モデルモジュールと、
    前記ビットプレーンシンボルbps[i, bp]の夫々を受信するように結合された第1入力部、これに対応する一又は複数の状況値を受信するように結合された第2入力部、及び出力部を有し、前記ビットプレーンシンボルbps[i, bp]の夫々を前記一又は複数の対応する状況値の関数として符号化し、状況ベース符号化シンボルストリームを生成可能な統計符号化モジュールと、
    を備えており、
    前記一又は複数の状況モデルは、遅延ビットプレーンまでの距離の状況D2L[bp]及び周波数帯域状況FB[i]の双方からなり、前記遅延ビットプレーンまでの距離の状況D2L[bp]の状況値は、前記ビットプレーン番号[bp]と所定の符号化パラメータ[lazy_bp]との間の所定の関係に応じて決定され、
    前記統計符号化モジュールは、前記ビットプレーンシンボルbps[i, bp]の夫々を、前記対応する周波数帯域状況の状況値及び遅延ビットプレーンまでの距離の状況値の関数として符号化可能であることを特徴とする状況ベースエンコーダ。
  2. 前記周波数帯域状況FB[i]の状況値は、前記対応する変換係数c[i]の周波数位置に応じて決定されることを特徴とする請求項1に記載の状況ベースエンコーダ。
  3. 前記一又は複数の状況モデルは、有意状態状況sig_state[i, bp]からなり、その状況値は、ビットプレーン[bp]に沿って隣接する変換係数c[i-1]及びc[i]に対する振幅値における所定の相関関係に応じて決定されることを特徴とする請求項に記載の状況ベースエンコーダ。
  4. 前記統計符号化モジュールは、前記ビットプレーンシンボルbps[i, bp]の夫々を前記対応する周波数帯域の状況値、遅延ビットプレーンまでの距離の状況値、及び有意状態の状況値の関数として符号化可能であることを特徴とする請求項に記載の状況ベースエンコーダ。
  5. 前記変換係数c[i]の夫々を受信するように結合された入力部を有し、前記変換係数c[i]の夫々を所定の間隔interval[i]で量子化及び符号化してコアビットストリームを生成可能なコア符号化モジュールと、
    前記変換係数c[i]の夫々を受信するように結合された第1入力部、及び前記コアビットストリームを受信するように結合された第2入力部を有し、前記変換係数c[i]のストリームから前記コアビットストリームを除去して、残留信号の係数e[i]を生成可能なエラーマッピングモジュールと、
    マルチプレクサと、
    を更に備え、
    前記状況ベースエンコーダは、前記残留信号を受信し、これに応じて、状況ベース符号化残留信号を生成可能であり、前記マルチプレクサは、前記コアビットストリームを受信するように結合された第1入力部、前記状況ベース符号化残留信号を受信するように結合された第2入力部、及び出力部を含んでおり、且つ前記コアビットストリーム及び前記状況ベース符号化残留信号を、前記マルチプレクサからの圧縮ビットストリーム上に結合させることができることを特徴とする請求項1に記載の状況ベースエンコーダ。
  6. 前記一又は複数の状況モデルは、量子化間隔状況QI[i, bp]からなり、その状況値は、前記量子化間隔に応じて決定されることを特徴とする請求項に記載の状況ベースエンコーダ。
  7. 前記統計符号化モジュールは、前記ビットプレーンシンボルbps[i, bp]の夫々を前記対応する周波数帯域状況の状況値、遅延ビットプレーンまでの距離の状況値、有意状態の状況値、及び量子化間隔の状態値の関数として符号化可能であることを特徴とする請求項に記載の状況ベースエンコーダ。
  8. 前記周波数帯域の状況値FB[i]は、
    Figure 0004842265
    からなることを特徴とする請求項に記載の状況ベースエンコーダ。
  9. 前記遅延ビットプレーンまでの距離の状況値D2L[bp]は、
    D2L(bp) =bp−lazy_bp
    からなることを特徴とする請求項に記載の状況ベースエンコーダ。
  10. 前記有意状態の状況値sig_state[i, bp]は、
    Figure 0004842265
    からなることを特徴とする請求項に記載の状況ベースエンコーダ。
  11. 前記量子化間隔の状況値QI[i, bp]は、
    Figure 0004842265
    からなり、
    Figure 0004842265
    は、b[i, bp]の前に受信した全てのビットプレーンシンボルを有するe[i]に対して部分的に再構成された値であることを特徴とする請求項に記載の状況ベースエンコーダ。
  12. 入力信号を複数の変換係数にドメイン変換するドメイン工程と、
    状況ベース符号化を前記複数の変換係数に適応して、符号化出力ビットストリームを生成する適応工程と、
    を備えた、信号を状況ベース符号化する方法であって、
    前記適応工程は、
    前記複数の変換係数をビットプレーンスキャン及び符号化して、複数のビットプレーンシンボルを生成するビットプレーンスキャン符号化工程と、
    前記複数のビットプレーンシンボルに対して一又は複数の状況モデルを規定する規定工程と、
    前記規定された一又は複数の状況モデルを用いて、前記複数のビットプレーンシンボルに対して、夫々の一又は複数の状況値を割り当てる割当工程と、
    前記ビットプレーンシンボルの夫々を前記一又は複数の対応する状況値の関数として符号化し、符号化出力ビットストリームを生成する統計符号化工程と、
    を更に備えており、
    前記一又は複数の状況モデルの規定工程は、遅延ビットプレーンまでの距離状況モデル及び周波数帯域状況モデルの双方を規定することからなり、前記遅延ビットプレーンまでの距離状況モデルの状況値は、前記対応するビットプレーンシンボルのビットプレーン番号と所定の符号化パラメータとの間の所定の関係に応じて決定され、
    前記一又は複数の状況値の割当工程は、前記対応するビットプレーンシンボルに対して、周波数帯域の状況値及び遅延ビットプレーンまでの距離の状況値を割り当てることからなり、
    前記各ビットプレーンシンボルの統計符号化工程は、前記ビットプレーンシンボルを前記周波数帯域状況の状況値及び遅延ビットプレーンまでの距離の状況値の関数として統計的に符号化することからなることを特徴とする状況ベース符号化方法。
  13. 前記周波数帯域状況FB[i]の状況値は、前記対応する変換係数の周波数位置に応じて決定されることを特徴とする請求項12に記載の状況ベース符号化方法。
  14. 前記一又は複数の状況モデルの規定工程は、有意状態状況モデルを規定することからなり、その状況値は、隣接する変換係数に対する振幅値における所定の相関関係に応じて決定されることを特徴とする請求項13に記載の状況ベース符号化方法。
  15. 前記一又は複数の状況値の割当工程は、前記対応するビットプレーンシンボルに対して、周波数帯域の状況値、遅延ビットプレーンまでの距離の状況値、及び有意状態の状況値を割り当てることからなり、
    前記各ビットプレーンシンボルの統計符号化工程は、前記ビットプレーンシンボルを前記周波数帯域状況の状況値、遅延ビットプレーンまでの距離の状況値、及び有意状態の状況値の関数として統計的に符号化することからなることを特徴とする請求項14に記載の状況ベース符号化方法。
  16. 入力信号を複数の変換係数にドメイン変換するドメイン工程と、
    前記複数の変換係数を符号化してコアビットストリームを生成する符号化工程であって、前記複数の変換係数を所定の間隔で量子化することからなる符号化工程と、
    前記コアビットストリームに対して前記複数の変換係数のエラーマッピングを行い、残留係数のストリームを生成するエラーマッピング工程と、
    状況ベース符号化を前記残留係数ストリームに適応して、符号化残留出力ビットストリームを生成する適応工程と、
    を備えた、信号を状況ベース符号化する方法であって、
    前記適応工程は、
    前記複数の残留係数をビットプレーンスキャンして、複数の残留ビットプレーンシンボルを生成するビットプレーンスキャン工程と、
    前記複数の残留ビットプレーンシンボルに対して一又は複数の状況モデルを規定する規定工程と、
    前記規定された一又は複数の状況モデルを用いて、前記複数の残留ビットプレーンシンボルに対して、夫々の一又は複数の状況値を割り当てる割当工程と、
    前記残留ビットプレーンシンボルの夫々を前記一又は複数の対応する状況値の関数として符号化し、符号化出力ビットストリームを生成する符号化工程と、
    を更に備えており、
    前記一又は複数の状況モデルの規定工程は、量子化間隔状況モデル、周波数帯域状況モデル及び遅延ビットプレーンまでの距離状況モデルの全てを規定することからなり、前記量子化間隔状況モデルの状況値は、前記所定の量子化間隔の関数として決定されることを特徴とする状況ベース符号化方法。
  17. 前記周波数帯域状況モデルの状況値は、前記対応する変換係数の周波数位置に応じて決定され、
    前記遅延ビットプレーンまでの距離状況モデルの状況値は、前記対応するビットプレーンシンボルのビットプレーン番号と所定の符号化パラメータとの間の所定の関係に応じて決定され、
    前記一又は複数の状況モデルの規定工程は、有意状態状況モデルを規定することからなり、その状況値は、隣接する変換係数に対する振幅値における所定の相関関係に応じて決定されることを特徴とする請求項16に記載の状況ベース符号化方法。
  18. 前記一又は複数の状況値の割当工程は、前記対応するビットプレーンシンボルに対して、周波数帯域の状況値、遅延ビットプレーンまでの距離の状況値、有意状態の状況値、及び量子化状態の状況値を割り当てることからなり、
    前記各ビットプレーンシンボルの統計符号化工程は、前記ビットプレーンシンボルを前記周波数帯域状況の状況値、遅延ビットプレーンまでの距離の状況値、有意状態の状況値、及び量子化状態の状況値の関数として統計的に符号化することからなることを特徴とする請求項17に記載の状況ベース符号化方法。
  19. 前記周波数帯域の状況値FB[i]は、
    Figure 0004842265
    からなることを特徴とする請求項18に記載の状況ベース符号化方法。
  20. 前記遅延ビットプレーンまでの距離の状況値D2L[bp]は、
    D2L(bp) =bp−lazy_bp
    からなることを特徴とする請求項18に記載の状況ベース符号化方法。
  21. 前記有意状態の状況値sig_state[i, bp]は、
    Figure 0004842265
    からなることを特徴とする請求項18に記載の状況ベース符号化方法。
  22. 前記量子化間隔の状況値QI[i, bp]は、
    Figure 0004842265
    からなり、
    Figure 0004842265
    は、b[i, bp]の前に受信した全てのビットプレーンシンボルを有するe[i]に対して部分的に再構成された値であることを特徴とする請求項18に記載の状況ベース符号化方法。
  23. ビットプレーンbpに沿ってドメイン変換された係数c[i]のストリームとして符号化された入力信号を備える状況ベース符号化ストリームを、復号可能なデコーダであって、
    状況ベース復号モジュールを備え、
    当該状況ベース復号モジュールは、
    状況ベース符号化ビットストリームを受信するように結合された第1入力部、一又は複数の状況値を受信するように結合された第2入力部、及び出力部を有し、前記状況ベース符号化ビットストリームを、前記一又は複数の状況値の関数として、復号化ビットプレーンシンボルbps'[i, bp]に復号化可能な統計符号化モジュールであって、前記一又は複数の状況値は遅延ビットプレーンまでの距離の状況値及び周波数帯域状況の状況値の双方からなる統計符号化モジュールと、
    前記復号化ビットプレーンシンボルbps'[i, bp]を受信するように結合された入力部及び出力部を有し、復号化係数c'[i]のストリームを生成可能なビットプレーン再構成モジュールと、
    復号化係数c'[i]の順序付けされたストリームを受信するように結合された入力部及び出力部を有し、前記復号化係数c'[i]のストリームを出力音声信号に変換可能な逆ドメイン変換モジュールと、
    を備えることを特徴とするデコーダ。
  24. 前記一又は複数の状況値は、有意状態の状況値を更に備えることを特徴とする請求項23に記載の状況ベースデコーダ。
  25. 前記一又は複数の状況値は、周波数帯域の状況値、遅延ビットプレーンまでの距離の状況値、及び有意状態の状況値を更に備えることを特徴とする請求項24に記載の状況ベースデコーダ。
  26. 状況ベース符号化残留ストリーム及びコアビットストリームを備える圧縮されたビットストリームを受信可能であり、前記状況ベース符号化残留ストリーム及びコアビットストリームを分離して出力可能なデマルチプレクサを更に備え、
    前記状況ベースデコーダは、前記状況ベース符号化残留ストリームを受信可能であり、またこれに応じて、復号化残留変数e'[i]を生成可能であり、
    コアビットストリームに結合された入力部及び出力部を有し、前記コアビットストリームを復号化コア係数x'[i]に復号化可能なコア復号化モジュールと、
    前記コア係数x'[i]を受信するように結合された第1入力部、前記復号化された残留係数e'[i]を受信するように結合された第2入力部、及び出力部を有し、これに応じて、復号化変換係数c'[i]を生成可能なエラーデマッピングモジュールと、
    を更に備え、
    前記逆ドメイン変換モジュールは、前記復号化変換係数c'[i]を受信するように結合された入力部を有し、これに応じて出力音声信号を生成可能であることを特徴とする請求項23に記載の状況ベースデコーダ。
  27. 前記一又は複数の状況値は、量子化間隔の状況値からなることを特徴とする請求項26に記載の状況ベースデコーダ。
  28. ビットプレーンbpに沿ってドメイン変換された係数c[i]のストリームとして符号化された入力信号を備える符号化状況ベースビットストリームを、復号化する方法であって、
    前記符号化状況ベースビットストリームを、一又は複数の状況値の関数として、復号化ビットプレーンシンボルbps'[i, bp]に統計復号化する統計復号化工程であって、前記一又は複数の状況値は遅延ビットプレーンまでの距離の状況値及び周波数帯域状況の状況値の双方からなる統計復号化工程と、
    前記復号化ビットプレーンシンボルbps'[i, bp]を復号化係数c'[i]の順序付けされたストリームにビットプレーン再構成するビットプレーン再構成工程と、
    前記復号化係数c'[i]の前記順序付けされたストリームを出力信号に逆変換する逆変換工程と、を備えることを特徴とする復号化方法。
  29. 前記一又は複数の状況値は、有意状態の状況値からなることを特徴とする請求項28に記載の方法。
  30. ビットプレーンbpに沿ってドメイン変換された係数c[i]のストリームとして符号化された入力信号を備える状況ベース符号化残留ビットストリームと、コアビットストリームとを備える符号化ビットストリームを復号化する方法であって、
    前記コアビットストリームを、復号化コア係数x'[i]に復号化する復号化工程と、
    前記状況ベース符号化残留ビットストリームを、一又は複数の状況値の関数として、復号化残留係数e'[i]に復号化する復号化工程であって、前記一又は複数の状況値は、遅延ビットプレーンまでの距離の状況値及び周波数帯域状況の状況値の双方からなるような復号化工程と、
    前記復号化コア係数x'[i]及び復号化残留係数e'[i]に対して、復号化変換係数c'[i]を生成する生成工程と、
    前記復号化係数c'[i]を出力信号に逆変換する逆変換工程と、
    を備えることを特徴とする復号化方法。
  31. 前記一又は複数の状況値は、量子化間隔の状況値を含むことを特徴とする請求項30に記載の方法。
  32. 前記状況ベース符号化残留ビットストリームの復号化工程は、
    前記状況ベース符号化残留ビットストリームを、前記一又は複数の状況値の関数として、復号化残留ビットプレーンシンボルrbps'[i, bp]に統計的に復号化する工程と、
    前記復号化残留ビットプレーンシンボルrbps'[i, bp]を復号化残留係数e'[i]にビットプレーン再構成する工程と、
    を備えることを特徴とする請求項30に記載の方法。
  33. データを状況ベース符号化する命令を実施可能であるコンピュータプログラムであって、
    入力信号を複数の変換係数にドメイン変換するドメイン変換命令コードと、
    状況ベース符号化を前記複数の変換係数に適応して、符号化出力ビットストリームを生成する適応命令コードと、
    を備え、
    前記適応命令コードは、
    前記複数の変換係数をビットプレーンスキャン及び符号化して、複数のビットプレーンシンボルを生成するビットプレーンスキャン符号化命令コードと、
    前記複数のビットプレーンシンボルに対して一又は複数の状況モデルを規定する規定命令コードと、
    前記規定された一又は複数の状況モデルを用いて、前記複数のビットプレーンシンボルに対して、夫々の一又は複数の状況値を割り当てる割当命令コードと、
    前記ビットプレーンシンボルの夫々を前記一又は複数の対応する状況値の関数として符号化し、符号化出力ビットストリームを生成する統計符号化命令コードと、
    を更に備えており、
    前記一又は複数の状況モデルの規定命令コードは、遅延ビットプレーンまでの距離状況モデル及び周波数帯域状況モデルの双方を規定する命令コードからなり、前記遅延ビットプレーンまでの距離状況モデルの状況値は、前記対応するビットプレーンシンボルのビットプレーン番号と所定の符号化パラメータとの間の所定の関係に応じて決定されることを特徴とするコンピュータプログラム。
  34. 前記周波数帯域状況モデルの状況値は、前記対応する変換係数の周波数位置に応じて決定されることを特徴とする請求項33に記載のコンピュータプログラム。
  35. データを状況ベース符号化する命令を実施可能であるコンピュータプログラムであって、
    入力信号を複数の変換係数にドメイン変換するドメイン命令コードと、
    前記複数の変換係数を符号化してコアビットストリームを生成する符号化命令コードであって、前記複数の変換係数を所定の間隔で量子化することからなる符号化命令コードと、
    前記コアビットストリームに対して前記複数の変換係数のエラーマッピングを行い、残留係数のストリームを生成するエラーマッピング命令コードと、
    状況ベース符号化を前記残留係数ストリームに適応して、符号化残留出力ビットストリームを生成する適応命令コードと、
    を備え、
    前記適応命令コードは、
    前記複数の残留係数をビットプレーンスキャン及び符号化して、複数の残留ビットプレーンシンボルを生成するビットプレーンスキャン符号化命令コードと、
    前記複数の残留ビットプレーンシンボルに対して一又は複数の状況モデルを規定する規定工程と、
    前記規定された一又は複数の状況モデルを用いて、前記複数の残留ビットプレーンシンボルに対して、夫々の一又は複数の状況値を割り当てる割当命令コードと、
    前記残留ビットプレーンシンボルの夫々を前記一又は複数の対応する状況値の関数として符号化し、符号化出力ビットストリームを生成する符号化命令コードと、
    を更に備えており、
    前記一又は複数の状況モデルの規定命令コードは、量子化間隔状況モデル、周波数帯域状況モデル及び遅延ビットプレーンまでの距離状況モデルの全てを規定する命令コードからなり、前記量子化間隔状況モデルの状況値は、前記所定の量子化間隔の関数として決定されることを特徴とするコンピュータプログラム。
  36. ビットプレーンbpに沿ってドメイン変換された係数c[i]のストリームとして符号化された入力信号を備える状況ベース符号化ビットストリームを、復号化する命令を実施可能であるコンピュータプログラムであって、
    前記状況ベース符号化ビットストリームを、一又は複数の状況値の関数として、復号化ビットプレーンシンボルbps'[i, bp]に統計復号化する統計復号化命令コードであって、前記一又は複数の状況値は遅延ビットプレーンまでの距離の状況値及び周波数帯域状況の状況値の双方からなる統計復号化命令コードと、
    前記復号化ビットプレーンシンボルbps'[i, bp]を復号化係数c'[i]の順序付けされたストリームにビットプレーン再構成するビットプレーン再構成命令コードと、
    前記復号化係数c'[i]の順序付けされたストリームを出力信号に逆変換する逆変換命令コードと、を備えることを特徴とするコンピュータプログラム。
  37. ビットプレーンbpに沿ってドメイン変換された係数c[i]のストリームとして符号化された入力信号を備える状況ベース符号化残留ビットストリームと、コアビットストリームとを備える符号化ビットストリーム復号化する命令を実施可能であるコンピュータプログラムであって、
    前記コアビットストリームを、復号化コア係数x'[i]に復号化する復号化命令コードと、
    前記状況ベース符号化残留ビットストリームを、一又は複数の状況値の関数として、復号化残留係数e'[i]に復号化する復号化工程であって、前記一又は複数の状況値は、遅延ビットプレーンまでの距離の状況値及び周波数帯域状況の状況値の双方からなるような復号化命令コードと、
    前記復号化コア係数x'[i]及び復号化残留係数e'[i]に対して、復号化変換係数c'[i]を生成する生成命令コードと、
    前記復号化係数c'[i]を出力信号に逆変換する逆変換命令コードと、
    を備えることを特徴とするコンピュータプログラム。
  38. 前記一又は複数の状況値は、所定の量子化間隔の状況値からなることを特徴とする請求項37に記載のコンピュータプログラム。
  39. ビットプレーンbpに沿ってドメイン変換された係数c[i]のストリームとして符号化された入力信号を備える状況ベース符号化ストリームを、復号可能なデコーダであって、
    状況ベース復号モジュールを備え、
    当該状況ベース復号モジュールは、
    状況ベース符号化ビットストリームを受信するように結合された第1入力部、一又は複数の状況値を受信するように結合された第2入力部、及び出力部を有し、前記状況ベース符号化ビットストリームを、前記一又は複数の状況値の関数として、復号化ビットプレーンシンボルbps'[i, bp]に復号化可能な統計符号化モジュールであって、前記一又は複数の状況値は遅延ビットプレーンまでの距離の状況値及び有意状態の状況値の双方からなる統計符号化モジュールと、
    前記復号化ビットプレーンシンボルbps'[i, bp]を受信するように結合された入力部及び出力部を有し、復号化係数c'[i]のストリームを生成可能なビットプレーン再構成モジュールと、
    復号化係数c'[i]の順序付けされたストリームを受信するように結合された入力部及び出力部を有し、前記復号化係数c'[i]のストリームを出力音声信号に変換可能な逆ドメイン変換モジュールと、
    を備えることを特徴とするデコーダ。
  40. ビットプレーンbpに沿ってドメイン変換された係数c[i]のストリームとして符号化された入力信号を備える符号化状況ベースビットストリームを、復号化する方法であって、
    前記符号化状況ベースビットストリームを、一又は複数の状況値の関数として、復号化ビットプレーンシンボルbps'[i, bp]に統計復号化する統計復号化工程であって、前記一又は複数の状況値は遅延ビットプレーンまでの距離の状況値及び有意状態の状況値の双方からなる統計復号化工程と、
    前記復号化ビットプレーンシンボルbps'[i, bp]を復号化係数c'[i]の順序付けされたストリームにビットプレーン再構成するビットプレーン再構成工程と、
    前記復号化係数c'[i]の前記順序付けされたストリームを出力信号に逆変換する逆変換工程と、を備えることを特徴とする復号化方法。
  41. ビットプレーンbpに沿ってドメイン変換された係数c[i]のストリームとして符号化された入力信号を備える状況ベース符号化残留ビットストリームと、コアビットストリームとを備える符号化ビットストリームを復号化する方法であって、
    前記コアビットストリームを、復号化コア係数x'[i]に復号化する復号化工程と、
    前記状況ベース符号化残留ビットストリームを、一又は複数の状況値の関数として、復号化残留係数e'[i]に復号化する復号化工程であって、前記一又は複数の状況値は、遅延ビットプレーンまでの距離の状況値及び量子化間隔の状況値の双方からなるような復号化工程と、
    前記復号化コア係数x'[i]及び復号化残留係数e'[i]に対して、復号化変換係数c'[i]を生成する生成工程と、
    前記復号化係数c'[i]を出力信号に逆変換する逆変換工程と、
    を備えることを特徴とする復号化方法。
  42. ビットプレーンbpに沿ってドメイン変換された係数c[i]のストリームとして符号化された入力信号を備える状況ベース符号化残留ビットストリームと、コアビットストリームとを備える符号化ビットストリーム復号化する命令を実施可能であるコンピュータプログラムであって、
    前記コアビットストリームを、復号化コア係数x'[i]に復号化する復号化命令コードと、
    前記状況ベース符号化残留ビットストリームを、一又は複数の状況値の関数として、復号化残留係数e'[i]に復号化する復号化工程であって、前記一又は複数の状況値は、遅延ビットプレーンまでの距離の状況値及び所定の量子化間隔の状況値の双方からなるような復号化命令コードと、
    前記復号化コア係数x'[i]及び復号化残留係数e'[i]に対して、復号化変換係数c'[i]を生成する生成命令コードと、
    前記復号化係数c'[i]を出力信号に逆変換する逆変換命令コードと、
    を備えることを特徴とするコンピュータプログラム。
JP2007521436A 2004-07-14 2004-07-14 信号の状況(コンテキスト)ベース符号化及び復号化 Expired - Fee Related JP4842265B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SG2004/000211 WO2006006936A1 (en) 2004-07-14 2004-07-14 Context-based encoding and decoding of signals

Publications (2)

Publication Number Publication Date
JP2008506987A JP2008506987A (ja) 2008-03-06
JP4842265B2 true JP4842265B2 (ja) 2011-12-21

Family

ID=35784185

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007521436A Expired - Fee Related JP4842265B2 (ja) 2004-07-14 2004-07-14 信号の状況(コンテキスト)ベース符号化及び復号化

Country Status (11)

Country Link
US (1) US7656319B2 (ja)
EP (2) EP1774791A4 (ja)
JP (1) JP4842265B2 (ja)
KR (1) KR101050261B1 (ja)
CN (1) CN100584023C (ja)
AU (1) AU2004321469B2 (ja)
BR (1) BRPI0418954A (ja)
MX (1) MX2007000459A (ja)
MY (1) MY143951A (ja)
TW (1) TWI361574B (ja)
WO (1) WO2006006936A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1825687B1 (en) * 2004-12-14 2015-10-28 Samsung Electronics Co., Ltd. Determining quantization parameters using color quantization
DE102005032080A1 (de) * 2005-07-08 2007-01-11 Siemens Ag Verfahren zum Senden eines Mediadatenstroms und Verfahren zum Empfangen und Erstellen eines rekonstruierten Mediadatenstroms, sowie dazugehörige Sendevorrichtung und Empfangsvorrichtung
KR20070037945A (ko) * 2005-10-04 2007-04-09 삼성전자주식회사 오디오 신호의 부호화/복호화 방법 및 장치
KR101237413B1 (ko) * 2005-12-07 2013-02-26 삼성전자주식회사 오디오 신호의 부호화 및 복호화 방법, 오디오 신호의부호화 및 복호화 장치
KR100750165B1 (ko) 2006-02-22 2007-08-17 삼성전자주식회사 압축률 향상을 위해 개선된 컨텍스트 모델 선택을 사용하는cabac 부호화 방법 및 장치, 그리고 cabac복호화 방법 및 장치
KR101411901B1 (ko) * 2007-06-12 2014-06-26 삼성전자주식회사 오디오 신호의 부호화/복호화 방법 및 장치
MY160260A (en) 2008-07-11 2017-02-28 Fraunhofer Ges Forschung Audio encoder and audio decoder
KR101622950B1 (ko) * 2009-01-28 2016-05-23 삼성전자주식회사 오디오 신호의 부호화 및 복호화 방법 및 그 장치
KR20100136890A (ko) * 2009-06-19 2010-12-29 삼성전자주식회사 컨텍스트 기반의 산술 부호화 장치 및 방법과 산술 복호화 장치 및 방법
WO2011048099A1 (en) * 2009-10-20 2011-04-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, method for encoding an audio information, method for decoding an audio information and computer program using a region-dependent arithmetic coding mapping rule
EP2517200B1 (en) 2010-01-12 2015-04-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, method for encoding an audio information, method for decoding an audio information and computer program using a modification of a number representation of a numeric previous context value
EP3550726B1 (en) * 2010-05-21 2020-11-04 BlackBerry Limited Methods and devices for reducing sources in binary entropy coding and decoding
KR101676477B1 (ko) * 2010-07-21 2016-11-15 삼성전자주식회사 컨텍스트 기반의 무손실 부호화 장치 및 방법, 그리고 복호화 장치 및 방법
USRE47366E1 (en) 2011-06-23 2019-04-23 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
EP4228264A1 (en) 2011-06-23 2023-08-16 Sun Patent Trust Image decoding device, image encoding device
JPWO2012176465A1 (ja) * 2011-06-24 2015-02-23 パナソニック株式会社 復号方法及び復号装置
US9106919B2 (en) 2011-06-24 2015-08-11 Panasonic Intellectual Property Corporation Of America Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
CA2842646C (en) 2011-06-27 2018-09-04 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
CA2837535C (en) 2011-06-28 2018-09-04 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
MX2013010892A (es) 2011-06-29 2013-12-06 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
WO2013001769A1 (ja) 2011-06-30 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
WO2013001770A1 (ja) 2011-06-30 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
CN106851295B (zh) 2011-07-11 2019-10-18 太阳专利托管公司 编码方法及编码装置
US8682091B2 (en) 2011-08-18 2014-03-25 International Business Machines Corporation Real-time image compression
CN107087186B (zh) * 2011-11-07 2019-11-29 太格文-Ii有限责任公司 图像解码方法及图像解码装置
CN105141966B (zh) * 2015-08-31 2018-04-24 哈尔滨工业大学 视频压缩中变换系数的上下文建模方法
US11113846B2 (en) * 2018-08-31 2021-09-07 Hulu, LLC Coefficient context modeling in video coding
CN112447165A (zh) * 2019-08-15 2021-03-05 阿里巴巴集团控股有限公司 信息处理、模型训练和模型构建方法、电子设备、智能音箱

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001028756A (ja) * 1999-06-07 2001-01-30 Lucent Technol Inc コンテクストベースでフレーム内コーディングモードとフレーム間コーディングモードとの間の選択を行なうための方法および装置
JP2001204031A (ja) * 1999-12-02 2001-07-27 Lucent Technol Inc ブロック変換ベースの符号化システムで用いられる方法
JP2002149153A (ja) * 2000-11-10 2002-05-24 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
JP2002223446A (ja) * 2001-01-26 2002-08-09 Ricoh Co Ltd 画像圧縮装置および画像撮像装置
WO2003027940A1 (en) * 2001-09-14 2003-04-03 Nokia Corporation Method and system for context-based adaptive binary arithmetic coding
JP2003188732A (ja) * 1995-07-03 2003-07-04 Ricoh Co Ltd 通信管理システム及び通信管理方法
US6646578B1 (en) * 2002-11-22 2003-11-11 Ub Video Inc. Context adaptive variable length decoding system and method
JP2004032772A (ja) * 2003-06-23 2004-01-29 Ricoh Co Ltd 画像処理装置
JP2004186902A (ja) * 2002-12-02 2004-07-02 Sony Corp 画像符号化装置及び方法、並びにプログラム及び記録媒体
JP2005242363A (ja) * 2004-02-27 2005-09-08 Samsung Electronics Co Ltd 無損失オーディオ符号化/復号化方法および装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5784631A (en) * 1992-06-30 1998-07-21 Discovision Associates Huffman decoder
US6141446A (en) * 1994-09-21 2000-10-31 Ricoh Company, Ltd. Compression and decompression system with reversible wavelets and lossy reconstruction
US6625321B1 (en) * 1997-02-03 2003-09-23 Sharp Laboratories Of America, Inc. Embedded image coder with rate-distortion optimization
US6263109B1 (en) * 1998-09-25 2001-07-17 Hewlett-Packard Company Context-based ordering and coding of transform coefficient bit-planes for embedded bitstreams
US6466698B1 (en) * 1999-03-25 2002-10-15 The United States Of America As Represented By The Secretary Of The Navy Efficient embedded image and video compression system using lifted wavelets
AUPQ618500A0 (en) * 2000-03-13 2000-04-06 Canon Kabushiki Kaisha Memory management of compressed images data
AUPQ982400A0 (en) * 2000-09-01 2000-09-28 Canon Kabushiki Kaisha Entropy encoding and decoding
AUPR192800A0 (en) * 2000-12-06 2001-01-04 Canon Kabushiki Kaisha Digital image compression and decompression
US6898323B2 (en) * 2001-02-15 2005-05-24 Ricoh Company, Ltd. Memory usage scheme for performing wavelet processing
US7062101B2 (en) * 2001-03-30 2006-06-13 Ricoh Co., Ltd. Method and apparatus for storing bitplanes of coefficients in a reduced size memory
JP2003235042A (ja) * 2002-02-12 2003-08-22 Sony Corp 画像符号化装置及びその符号化方法
EP1825687B1 (en) * 2004-12-14 2015-10-28 Samsung Electronics Co., Ltd. Determining quantization parameters using color quantization

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003188732A (ja) * 1995-07-03 2003-07-04 Ricoh Co Ltd 通信管理システム及び通信管理方法
JP2001028756A (ja) * 1999-06-07 2001-01-30 Lucent Technol Inc コンテクストベースでフレーム内コーディングモードとフレーム間コーディングモードとの間の選択を行なうための方法および装置
JP2001204031A (ja) * 1999-12-02 2001-07-27 Lucent Technol Inc ブロック変換ベースの符号化システムで用いられる方法
JP2002149153A (ja) * 2000-11-10 2002-05-24 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
JP2002223446A (ja) * 2001-01-26 2002-08-09 Ricoh Co Ltd 画像圧縮装置および画像撮像装置
WO2003027940A1 (en) * 2001-09-14 2003-04-03 Nokia Corporation Method and system for context-based adaptive binary arithmetic coding
US6646578B1 (en) * 2002-11-22 2003-11-11 Ub Video Inc. Context adaptive variable length decoding system and method
JP2004186902A (ja) * 2002-12-02 2004-07-02 Sony Corp 画像符号化装置及び方法、並びにプログラム及び記録媒体
JP2004032772A (ja) * 2003-06-23 2004-01-29 Ricoh Co Ltd 画像処理装置
JP2005242363A (ja) * 2004-02-27 2005-09-08 Samsung Electronics Co Ltd 無損失オーディオ符号化/復号化方法および装置

Also Published As

Publication number Publication date
MY143951A (en) 2011-07-29
EP1774791A4 (en) 2007-11-28
CN100584023C (zh) 2010-01-20
EP1774791A1 (en) 2007-04-18
AU2004321469A1 (en) 2006-01-19
WO2006006936A1 (en) 2006-01-19
US20080094259A1 (en) 2008-04-24
CN101015216A (zh) 2007-08-08
EP2006839A3 (en) 2009-02-11
TWI361574B (en) 2012-04-01
TW200620847A (en) 2006-06-16
US7656319B2 (en) 2010-02-02
EP2006839A2 (en) 2008-12-24
AU2004321469B2 (en) 2009-08-20
JP2008506987A (ja) 2008-03-06
KR101050261B1 (ko) 2011-07-19
MX2007000459A (es) 2007-07-25
BRPI0418954A (pt) 2007-12-04
KR20070040392A (ko) 2007-04-16

Similar Documents

Publication Publication Date Title
JP4842265B2 (ja) 信号の状況(コンテキスト)ベース符号化及び復号化
JP7260509B2 (ja) スペクトルエンベロープのサンプル値のコンテキストベースエントロピー符号化
JP4849466B2 (ja) デジタル信号をスケーラブルビットストリームにエンコードする方法、及びスケーラブルビットストリームをデコードする方法
JP5384780B2 (ja) 無損失オーディオ符号化方法、無損失オーディオ符号化装置、無損失オーディオ復号化方法、無損失オーディオ復号化装置及び記録媒体
JP4640020B2 (ja) 音声符号化装置及び方法、並びに音声復号装置及び方法
KR20020026242A (ko) 비트-플레인 의존 신호 압축
US20080312758A1 (en) Coding of sparse digital media spectral data
KR102089602B1 (ko) 음성 복호 장치, 음성 부호화 장치, 음성 복호 방법, 음성 부호화 방법, 음성 복호 프로그램, 및 음성 부호화 프로그램
JP3900000B2 (ja) 符号化方法及び装置、復号方法及び装置、並びにプログラム
KR20050022160A (ko) 스케일러블 비디오 코딩 및 디코딩 방법, 및 스케일러블비디오 엔코더 및 디코더
KR100643269B1 (ko) Roi를 지원하는 영상 코딩 방법 및 장치
Wang et al. Context-based adaptive arithmetic coding in time and frequency domain for the lossless compression of audio coding parameters at variable rate
KR100989686B1 (ko) 데이터 소스에 의해 생성된 비트 심볼들을 처리하기 위한 방법 및 장치, 컴퓨터 판독가능 매체, 컴퓨터 프로그램 요소
US7750829B2 (en) Scalable encoding and/or decoding method and apparatus
Yu et al. A scalable lossy to lossless audio coder for MPEG-4 lossless audio coding
JP5180782B2 (ja) 並列分散情報源符号化システム及び並列分散情報源符号化・復号化方法
JP2004048607A (ja) ディジタル画像符号化装置およびディジタル画像符号化方法
Celik et al. Gray-level-embedded lossless image compression
KR101107318B1 (ko) 스케일러블 비디오 인코딩, 디코딩 방법 및 스케일러블 비디오 인코더, 디코더
WO2011045927A1 (ja) 符号化装置、復号装置およびこれらの方法
KR20050089796A (ko) 데이터 소스에 의해 생성된 비트 심볼들을 처리하기 위한방법 및 장치, 컴퓨터 판독가능 매체, 컴퓨터 프로그램요소
De Meuleneire et al. Algebraic quantization of transform coefficients for embedded audio coding

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110405

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110803

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110906

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111005

R150 Certificate of patent or registration of utility model

Ref document number: 4842265

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141014

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees