JP2007529178A - 拡張可能な圧縮を伴い且つ基準フレームデータを記憶して回収するためのバッファを有するビデオデコーダ - Google Patents

拡張可能な圧縮を伴い且つ基準フレームデータを記憶して回収するためのバッファを有するビデオデコーダ Download PDF

Info

Publication number
JP2007529178A
JP2007529178A JP2007502447A JP2007502447A JP2007529178A JP 2007529178 A JP2007529178 A JP 2007529178A JP 2007502447 A JP2007502447 A JP 2007502447A JP 2007502447 A JP2007502447 A JP 2007502447A JP 2007529178 A JP2007529178 A JP 2007529178A
Authority
JP
Japan
Prior art keywords
reference frame
data
compressed
compression rate
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007502447A
Other languages
English (en)
Other versions
JP4778953B2 (ja
Inventor
ヨハネス、イグレック、ティチラール
ペーター、ハー.フレンケン
レムコ、シュッテ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2007529178A publication Critical patent/JP2007529178A/ja
Application granted granted Critical
Publication of JP4778953B2 publication Critical patent/JP4778953B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • H04N19/433Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428Recompression, e.g. by spatial or temporal decimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明は、拡張可能な圧縮方法を使用して基準フレームデータ(6)を圧縮するための手段を有するビデオデコーダに関する。ビデオデコーダは、少なくとも、動きベクトルの垂直開口(範囲)と基準フレーム当たりのビデオラインにおけるマクロブロックの横一列(スライス)とを一時的に記憶するためのバッファ手段(8)を更に有している。また、ビデオデコーダは、基準フレームデータを解凍することにより、前記デコーダの動き補償のための手段(10)が前記解凍された基準フレームデータを利用してベクトル予測画像およびマクロブロックを再構成できるようにする手段(7)を含んでいる。また、本発明は、そのようなビデオデコーダによって実施されるべき方法に関する。

Description

本発明の用途は、ビデオデコーダの分野に関し、特に簡略化されたメモリアクセスプロファイルを有するビデオデコーダに関する。
デジタルビデオの分野において、殆どの一般的な画像コーディングタイプは、任意の他の画像を参照することなくコード化され且つしばしば基準フレームまたはアンカーフレームと称されるI−画像(内部コード化画像);過去のI−基準画像またはP−基準画像からの動き補償予測を使用してコード化され且つ基準フレームまたはアンカーフレームと見なされる場合があるP−画像(予測コード化画像);および前の(後方)I−画像またはP−画像およびその後の(前方)I−画像またはP−画像を使用してコード化されるB−画像(双方向予測コード化画像)である。これらの画像タイプは、時として、I,PまたはBフレームとも称される。
MPEG(Moving Picture Experts Group)圧縮と称される圧縮規格は、前述したフレーム圧縮技術を使用するフルモーションビデオ画像の圧縮および解凍のための方法の組である。MPEG圧縮は、特に動き補償および離散コサイン変換(DCT)プロセスの両方を使用するとともに、非常に高い圧縮比をもたらすことができる。この圧縮規格を良く理解するため、Barry G. Haskell、Atul PuriおよびArun N. Netravliによる「Digital Video: An Introduction to MPEG−2」(Chapman & Hallにより1997年に発行)を参照する。
現在、MPEG−2デコーダなどの殆どのビデオデコーダは、ベクトル制御予測によるP−画像およびB−画像から前に記憶された基準フレームまでビデオフレームを形成するために外部メモリを使用する。この外部メモリは、それらが独立型のメモリデバイスの主流市場を表わしているため、殆どがDRAMベースである。DRAMベースのメモリは、高い帯域幅性能を得るためにバーストアクセスモードを与える。このことは、単一の読み取りコマンド或いは書き込みコマンドだけを与えることにより多くの連続するデータワード(バースト)がメモリへ転送され或いはメモリから転送されることを意味している。利用可能なデータ帯域幅を活用するため、読み取りアクセスおよび書き込みアクセスはバースト指向でなければならない。DRAMベースのメモリは、大きなサイズのバーストのみにおいては、効率的なメモリ転送を有する傾向がある。
第1の欠点は、ベクトル制御予測がメモリ内の1または複数の基準フレームへのランダム位置ブロックベースアクセスを必要とするという点である。DRAMベースメモリへの及びDRAMベースメモリからのそのようなアクセスにおける効率はかなり低い。第2の欠点は、ベクトル予測フレームを再構成するために必要なメモリアクセス帯域幅におけるビデオコンテンツ依存ダイナミクスである。
多くのデジタルシステムはMPEG−2を圧縮規格として使用するが、いわゆるメインレベルシステムと高レベルシステムとの間には市場相違がある。両方のシステムにおいては、エンコーダ実施だけではなくデコーダ実施も全く異なっている。処理速度およびメモリ要件における差異は5倍〜6倍である。他の速い来たる市場相違は、単一の高レベルデコーディングおよびダブル高レベルデコードを行なうことができるシステム(オンチップ)間である。デュアル高レベルMPEG−2デコーディングの場合、1または複数の従来技術のMPEG−2デコーダは、特に外部メモリへのメモリ帯域幅のようなかなりのシステムリソースおよび基準フレーム記憶におけるメモリフットプリントを要求する。
メインストリームCMOS性能における向上に起因して、高いデコーディング速度により、高レベルシステムにおいては6倍大きいデコーディングブロックが得られない。残念ながら、メモリ要件は、アクセス帯域幅および容量の両方においてリニアにスケーリングし、それにより、デコーダアーキテクチャに大きな影響を与える。特に、アクセス帯域幅における差は、外部メモリの場合において異なる手法を示す。これは、外部メモリがCPU、スケーラ、グラフィックスアクセラレータ、画像成分プロセッサなどの他のクライアントと共有されなければならない場合であっても複雑である。他のクラアントと共有するメモリリソースは、MPEGデコーダが統合外部メモリを使用するシステムオンチップの一部である場合の一般的な状況である。
既に知られた特許公報US6 088 391は、ピクセルデータのBフレームにおけるメモリシステムに関する。この場合、各Bフレームは複数のセクションを含んでおり、また、複数のセクションのそれぞれはフレームの上端フィールドおよび下端フィールドに対応するピクセルデータを含んでいる。メモリシステムは、ピクセルデータを記憶するための複数のセグメントに編成されたメモリを含んでいる。この場合、セグメントの数は、フレームセクションの数+2つの更なるセクションに等しい。しかしながら、各セグメントはフレームセクションのサイズの半分である。また、メモリシステムは、ピクセルデータを受けて当該ピクセルデータを各フレームの上端および下端フィールドにしたがって分離するセグメント化デバイスを含んでいる。セグメント化デバイスは、セグメントを追跡して前記メモリの2つの利用可能なセグメントを決定し、各フレームの各セクション毎に、上端フィールドからのピクセルデータを利用可能なセグメントのうちの1つに記憶するとともに、下端フィールドからのピクセルデータをメモリの他の利用可能なセグメントに記憶する。インタレースディスプレイためのメモリのセグメントを追跡するために、セグメントポインタテーブルが含められることが好ましい。デコーダシステムは、メモリおよびセグメント化デバイスを含んでおり、また、ビデオデータを受けてピクセルデータにデコードするための再構成ユニットを含んでいるとともに、セグメントからピクセルデータを回収するためのディスプレイ回路を含んでいる。ピクセルデータを記憶して回収するための方法は、ピクセルデータをフィールド毎に分離して各セグメントに記憶するステップを含んでいる。フレームの半分が記憶した後、データはインタレースディスプレイのためのディスプレイ装置により回収される。
米国特許第6 088 391号に係る前述のデコーダシステムおよび方法の欠点は、メモリサイズ要件の部分的な減少のみが可能であり、メモリ帯域幅要件を減少させず、メモリアクセスプロファイルを簡略化しないとともに、必要なメモリアクセス帯域幅におけるダイナミクスを減少させないという点である。
したがって、メモリアクセスプロファイルが簡略化され、メモリアクセス帯域幅におけるダイナミクスが減少されるとともに、メモリサイズ要件およびメモリアクセス帯域幅の更なる減少を達成することができる、ビデオデコーダ及びそれによって実施される関連する方法が必要である。
以上に鑑みて、本発明の目的は、データ圧縮・解凍と組み合わせて集積メモリバッファを有する改良されたビデオデコーダであって、ビデオコンテンツとは無関係に、外部メモリへの簡単なアクセスプロファイルを達成できるとともに、低く且つ確定的な外部メモリへのメモリアクセス帯域幅を得ることができるビデオデコーダを提供することにある。
この目的は、請求項1の特徴部分にしたがって達成される。
拡張可能な圧縮方法を使用して前記基準フレームデータを圧縮するための手段と、少なくとも、動きベクトルの垂直開口(範囲)と基準フレーム当たりのビデオラインにおけるマクロブロックの横一列(スライス)とを一時的に記憶するためのバッファ手段と、基準フレームデータを解凍することにより、動き補償(MC)のための前記手段が前記解凍された基準フレームデータを利用してベクトル予測画像およびマクロブロックを再構成できるようにする手段とを設けることにより、記憶されるべき基準フレームのサイズおよびメモリアクセス帯域幅の要件の両方が減少される。
本発明の更なる目的は、メモリアクセスプロファイルを簡略化するとともに、データ圧縮・解凍と組み合わせて集積メモリバッファを有するビデオデコーダにおけるメモリアクセス帯域幅を減少させるための方法であって、ビデオコンテンツとは無関係に、外部メモリへの簡単なアクセスプロファイルを達成できるとともに、低く且つ確定的な外部メモリへのメモリアクセス帯域幅を得ることができる方法を提供することである。
この目的は、請求項18の特徴部分にしたがって達成される。
圧縮されたビデオデータを可変長デコーディング(VLD)するステップと、内部コード化画像、内部コード化マクロブロック、内部コード化データ情報を逆走査、逆量子化、逆離散コサイン変換(IDCT)デコーディングするステップと、ベクトル予測画像およびマクロブロックをデコードする動き補償を行なうステップと、デコードされた内部コード化マクロブロックと、デコードされた内部コード化データ情報と、動き補償されたベクトル予測マクロブロックとを基準フレームデータまたは出力フレームデータへと組み合わせるステップと、拡張可能な圧縮方法を使用して前記基準フレームデータを圧縮するステップと、少なくとも、動きベクトルの垂直開口(範囲)と基準フレーム当たりのビデオラインにおけるマクロブロックの横一列(スライス)とをバッファ手段に一時的に記憶するステップと、基準フレームデータを解凍することにより、動き補償(MC)のための前記手段が前記解凍された基準フレームデータを利用してベクトル予測画像およびマクロブロックを再構成できるようにするステップと、デコードされた画像データを出力するステップとを設けることにより、記憶されるべき基準フレームのサイズおよびメモリアクセス帯域幅の要件の両方が減少される。
好ましい実施形態が従属請求項に記載されている。
図中、幾つかの図面の全体にわたって、同様の参照符号は同じような要素を示している。
本発明の更に他の目的および特徴は、添付図面と併せて考慮される以下の詳細な説明から明らかとなる。しかしながら、図面が単に例示的な目的で描かれており、本発明を限定するものとして描かれていないことは言うまでもなく、本発明に関しては添付の請求項が参照されるべきである。また、図面が必ずしも一定の縮尺で描かれておらず、また、他に示唆されていない限りこれらの図面がここに記載された構造および手続きを単に概念的に示そうとしたものであることは言うまでもない。
外部メモリアクセスプロファイルを簡略化するため、また、ビデオデコーダによる必要な外部メモリアクセス帯域幅におけるダイナミクスを除去するため、本発明においては、メモリを集積することが提案される。この集積メモリはバッファ8として使用され、このバッファ8は、ビデオデータが外部メモリ9からバッファ内へ転送されるときに先入れ先出し(FIFO)モードでアクセスされるとともに、例えばビデオデコーダ内で動きベクトルにより予測フレームを構成するデバイスの先取りユニットによりブロックベースでアクセスされる。バッファ8の機能は、複雑な(ベクトル制御された)メモリアクセスプロファイルおよびメモリアクセス帯域幅におけるダイナミクスを外部メモリ9から隠すことである。
実際に、バッファは、基準フレーム毎に1つのFIFOを実行する。そのため、MPEG−2デコーダの場合、バッファ8は最大2つのFIFOを含んでいる。FIFOモードにおけるバッファ8のFIFO要素の好ましい粒度は1スライスであり、これはマクロブロックの1つの横列(行)である。1つのスライスが画像の水平範囲全体にわたって広がっていると仮定する。この仮定は限定しようとするものではない。なお、実際には、1スライス(すなわち、1つのFIFO要素)の転送は、外部メモリ9からの幾つかの効率的なバーストアクセスを要する。好ましい更なる最適化は、バイト数で表わされる1つのFIFO要素が、外部メモリ9からの整数のバーストアクセス数によって得られるバイト数と全く等しいことである。
図1は、ATSC高レベルMPEG−2デコーディング(+/−8スライスである+/−128程度の垂直範囲)の実施例の場合におけるそのようなFIFOのための初期化および更新方法を示している。図中、基準フレームバッファ(FIFO)が8で示されており、基準ポインタが11で示されており、垂直範囲動きベクトルが12で示され、外部メモリが9で示されている。デコーダがベクトル予測画像をデコードし始めると仮定する。そのマクロブロックは、左上から始まり、左から右へと走査し、それにより上から下へと移動して右下隅で終わる連続する順序で入力される。最初の状態は、FIFO8が全体の約半分となる状態(図1参照、(左側))であり、これは、動きベクトル12の垂直開口の半分と更に1スライスとに及ぶ基準フレームの上部である。全ての可能なベクトル基準画像データが正確にFIFO8内にあるため、ベクトル予測画像の最初(第1)の入力スライス(Slice 1)を完全に処理することができる。ベクトル予測画像の第2のスライス(Slice 2)の最初(第1)のマクロブロックをデコードしなければならないときには、基準フレームの次のスライスを外部メモリ9からFIFO8へ転送しなければならない(図1の中央および右を参照)。FIFO8は全体の約半分であるため、FIFO要素は依然としてドロップされず、あるいは、古いデータがドロップされる。このプロセスは、入力スライスの上端からの垂直オフセットが垂直開口の半分を越えるまで続く。この時点から前では、デコードされるベクトル予測画像は、決してFIFO8内の第1のスライスを基準付けることはなく、これにより、この第1のスライスがドロップされる。ベクトル予測画像の次のスライスがデコードされるときには、FIFO8内の第2のスライスがドロップされる。以下、図2に示されるように同様である。これは、基準フレームの最後のスライスがFIFA8内にあるまで続く。
FIFO8内の現在の基準フレームのランアウト状態のための有利な手法は、次のベクトル予測画像のデコーディング開始時に次の必要とされる基準フレームのビデオデータをFIFO8内の所定の位置に既に有していることである。これは、図3に示されるようにベクトル予測画像の現在のスライスがデコードされており且つ次のスライスが依然としてデコードされるべきであるときに次の必要とされる基準フレームの第1のスライスをFIFO8へロードすることによって行なうことができる。予測画像の最後のスライスがデコードされたときに、状態が図1の場合と同様になるが、次の必要とされる基準フレームの第1の部分がFIFOバッファ8内にある。
MPEG−1およびMPEG−2の場合、バッファサイズ(ビット)は、バッファ8内のビデオが解凍されていることを前提に、(画像の水平サイズ全体に及ぶ、動きベクトルの垂直範囲+マクロブロックの横1列)×ライン当たりのピクセルの最大数×基準フレームの最大数×ピクセル当たりのバイト数×バイト当たりのビット数、以上でなければならない。
ATSCのための単一の高レベルMPEG−2デコーダは、256の動きベクトルの垂直範囲を有するとともに、1つのマクロブロック横列のために16個のラインを必要とし、また、ライン毎に最大1920個のピクセルを有するとともに、最大2つの基準フレームを有しており、ピクセル当たり1.5バイトであり、1バイト当たり明らかに8ビットとなっている。そのため、単一高レベルMPEG−2デコーダにおいてデータ圧縮が適用されない場合には、約13Mbitのバッファメモリが集積されなければならない。この13Mbitのメモリは、高速MPEGデコーディングパイプと共に1つのブロック内に集積することができる。そのようなブロックは、外部メモリ9を必要とすることなく50/60Hzでのメインレベルデコーディングに対処することができる。高レベルデコーディングの場合、バッファ8は、最もアクセスが集中する演算であるベクトル制御予測のために使用される。不足している記憶容量は、外部から加えなければならないが、非常に簡単な最小帯域幅のインタフェースだけを必要とする。いずれの場合にも、デコーダの出力は、外部のディスプレイメモリ13を介して出力部へ供給されなければならず、その段階中に、この出力をグラフィックスおよび他のビデオストリームと混合することができる。一部のメインレベルシステムにおいては、ディスプレイメモリ13を完全に省くこともできる。
外部メモリ9への簡単なアクセスプロファイルに起因して、本発明においては、外部メモリ9への圧縮および外部メモリ9からの解凍のためにブロックベースメモリ圧縮アルゴリズムを付加することが提案される。任意のブロックベースメモリ圧縮アルゴリズムを付加することができる。しかしながら、拡張可能な圧縮アルゴリズム、例えばその教示内容が参照することにより本願に組み込まれる国際公開第0117268 A1号に記載されているような圧縮アルゴリズムであることが好ましい。
第1の実施形態に係るビデオデコーダが図4に概略的に示されている。デコーダはMPEGデコーダであることが好ましい。しかしながら、本発明が、MPEGに限定されず、任意の特定のビデオ規格または構成のために使用されても良いことに留意されたい。本発明に係るビデオデコーダは従来技術のビデオデコーダに基づいている。圧縮されたビデオデータは、圧縮データメモリ1から回収されるとともに、データを離散コサイン変換(DCT)データへ変換する可変長デコーダ(VLD)2によりエントロピーデコードされる。逆スキャナ(IS)3、逆量子化器(IQ)4、逆離散コサイン変換(IDCT)5は、内部コード化デルタ情報を処理して、データをピクセルデータのマクロブロックへ変換する。マクロブロック(MB)は、MPEG規格のための基本的なコーディング単位である。マクロブロックは、ルミナンス(輝度)成分(Y)の1つの16ピクセル×16ライン部または4つの8ピクセル×8ラインブロックと、クロミナンス成分Cr,Cbの幾つかの空間的に対応する8×8ブロックとから成る。クロミナンス値のブロックの数は、特定のどのフォーマットが使用されるかによって決まる。ベクトル予測フレームは、動き補償器10による外部予測メモリ9からのブロックベースフェッチ(取り出し)及び存在する場合にはデルタ情報の付加によって再構成され、あるいは、内部コード化マクロブロックによって再構成される。
そのような従来技術のMPEG−2デコーダは、ビデオ転送速度の200%となる外部メモリからの最大理論転送速度を必要とする。例えば、60Hzで1920×1080インタレースのフォーマットを有する高解像度ビデオは、約93.3Mbyte/sである約62.2Mpixel/sの正味の転送速度(ブランキングが無い)を有している(YUV 4:2:0フォーマットであるとする)。そのため、この場合、従来技術の高レベルMPEG−2デコーダは、理論上、最大で187Mbyte/sのメモリアクセス帯域幅を必要とする。しかしながら、システムオンチップは、複雑なメモリアクセスプロファイルに起因して、もっと悪いケースの数字を使用しなければならず、SDRAMは大きなパケットにおいてのみ効率的である。
本発明においては、図5に示されるように、従来技術のデコーダに対して、ビデオデータ圧縮器6、ビデオデータ解凍器7、バッファ8が加えられた。圧縮器6は、拡張可能な圧縮方法を使用して基準フレームデータを圧縮するようになっている。この場合には、後に、前記圧縮された基準フレームデータが外部メモリ手段9に記憶され、これにより、圧縮基準フレームメモリが形成される。その後、圧縮された基準フレームデータが前記外部メモリ9から回収されるとともに、少なくとも、動きベクトルの垂直開口(範囲)と基準フレーム当たりのビデオラインにおけるマクロブロックの横一列(スライス)とが、外部メモリ9と動き補償のための手段10との間に配置されるバッファ8内に一時的に記憶される。基準フレームデータは解凍器7により解凍され、これにより、動き補償(MC)のための手段10は、前記解凍された基準フレームデータを利用してベクトル予測画像およびマクロブロックを再構成(復元)することができる。
バッファ8のサイズは、一例において、デコーディングのため(2×128+16)×1920×1.5×2×8=12.53376×10ビットに等しくても良く、また、スケーラ14が組み込まれる場合にはライン間変換バッファリングのために更に16×1920×1.5×8≒0.4×10ビットが加えられることが好ましく、すなわち、全体で約13Mbitとなる。外部メモリ9へのアクセスプロファイルは非常に簡単である。しかしながら、基準フレームのサイズは、図6に示されるように、圧縮比およびメモリアクセス帯域幅によって減少された。図6では、デコーディングブロックが15で示され、MBフォーマット変換器が16で示されている。なお、図6においては、1つの必要な基準フレームを記憶するためにバッファ8の半分だけが使用される。図7は、P−画像のための基準フレームがB−画像のための基準フレームよりも2倍少なく圧縮された好ましい実施形態を示している。図7の好ましい拡張可能な圧縮方法は、N:1の比の圧縮データの最上位データの約半分を取ることにより2N:1の比の圧縮データが簡単に得られるという特性を有している。当業者であれば、最上位圧縮データおよび最下位圧縮データをメモリ内にマッピングすることができ、それにより、外部メモリ9への簡単なアクセスプロファイルおよび効率的なメモリアクセスが得られる。なお、2倍および2階層レベルは、2倍以外および多階層レベルへと拡張することができる。
図5に係る第2の実施形態において、データ圧縮/解凍が前述した方法と僅かに異なる方法で適用される場合には、バッファ8のサイズを更に減少させることができる。データ圧縮は、外部メモリ9への転送前に、デコードされた基準フレームに関して適用される。しかしながら、データ解凍は、バッファ8から取り出されたデータ、したがって圧縮された基準フレームを含んでいるデータに関して適用される。この圧縮されたデータは、外部メモリ9からバッファ8へロードされたものである。データ圧縮方法は、妥当な圧縮係数、低い実施コスト、非常に高い質、反復コーディング/デコーディングのための信頼性、容易なピクセルアクセスの要件を有していることが好ましい。許容できる実施コストおよび十分に高い主観的画質において妥当なデータ圧縮比は2:1および4:1である。当業者によれば、2:1の圧縮比は可逆圧縮と見なされ、4:1の圧縮比は非常に高画質と見なされる。MPEG−2規格においては、多数のP−画像をその後にコード化することができ、それにより、特定のマクロブロックがコーデックにより繰り返し圧縮されて解凍される。デコーダがエンコーダにおいて適用されるローカル再構成ループから逸れることを防止するためには、正確な量子化が行なわれなければならない。動き補償されたメカニズムのリアルタイムな動作を可能とするためには、圧縮された領域におけるピクセルへの容易なアクセスが可能とならなければならない。
本発明によって与えられる他の利点は、圧縮および解凍と組み合わせてバッファ8を使用する際、P−画像およびB−画像における基準フレームを異なる圧縮比で与えることができるという点である。P−画像は、基本的に、P−画像の連続的な予測のため、したがって、圧縮に起因するエラーを積み重ねる危険性により、B−画像よりも損なわれない基準フレーム、したがって、B―画像よりも圧縮されない基準フレームを必要とする。例えば、高レベルMPEG−2デコーダにおいて必要なバッファサイズは、P−画像を再構成するために1つの2:1圧縮基準フレームが使用され且つB−画像を再構成するために2つの4:1圧縮基準フレームが使用される場合、約13Mbitから約3Mbitへと減少される。拡張可能な圧縮を使用する利点は、2:1圧縮基準フレームをメモリに記憶するだけで済むという点である。拡張可能な圧縮方法により、2:1圧縮基準フレームから直接に必要な4:1圧縮基準フレームを得ることが非常に簡単になり、この特徴は当業者に知られている。例えば、2:1圧縮基準フレームを2つの半分の面に分割することができる。最上位データを含む第1の面は4:1圧縮比を表わしており、最下位データを含む第2の面は、第1の面と組み合わさって2:1圧縮基準フレームを表わす。当業者であれば明らかなように、より多くの階層レベルを導入することができ、あるいは、2よりも大きい他のファクタを実施できる。
このように、本発明に係るデコーダは、比較的低いメモリアクセス帯域幅および外部メモリへの容易なアクセスプロファイルで、ダブル高レベルMPEG−2、シングル高レベルMPEG−2、少なくともデュアルメインレベルMPEG−2をデコードすることができる。非再帰的に使用されるベクトル予測画像(例えばB−画像)におけるよりも再帰的に使用されるベクトル予測画像(例えばP−画像)においてあまり圧縮されない基準フレームを使用する実施形態をバッファ(8)を伴うことなく使用することもできる。利点は、メモリアクセス幅を減少させることができ、集積バッファ(8)が不要になるという点である。しかしながら、欠点は、外部メモリへのメモリアクセスプロファイルが簡略化されないという点である。
図5は、本発明の第2の実施形態に係るビデオデコーダを概略的に示している。この第2の実施形態は、前述した第1の実施形態と比べてバッファサイズを減少させなければならない場合に好ましい。フレームの予測がバッファリングされる。バッファ8は、予測フレームの構成前に解凍器7によって解凍される圧縮ビデオデータを含んでいる。一実施例において、デコードするためのバッファメモリの量は、(2×128+16)×1920×1.5×2×8/C(ビット)に等しい。ここで、Cは圧縮比である。例えば、バッファ8のサイズは、4:1の圧縮比が基準フレームに関して適用される場合、約12.6Mbitではなく3.3Mbitに制限することができる。一般的な概念が図8に示されている。
この第2の実施形態の他の利点は、1つの基準フレームだけが必要であるため、P−画像における基準フレームをB−画像における基準フレームよりも小さい圧縮比で圧縮できるという点である。同じ量のメモリを用いると、P−画像における基準フレームは、B−画像における基準フレームよりも最大で2倍低い圧縮を有することができる。
第2の実施形態の好ましい一般概念が図9に示されている。例えば、B−画像における両方の基準フレームに関しては4:1の圧縮比であり、P−画像における基準フレームに関しては最小で2:1の圧縮である。なお、拡張可能な圧縮が適用された場合には、2:1の比だけで圧縮される基準フレームの記憶が可能である。利点は、僅かな圧縮で、したがって僅かな欠陥で連続的な予測P−画像が処理されるという点である。B−画像は、非連続予測され、したがって、大きく損なわれる可能性があり、そのため、大きい圧縮比を有する場合がある。欠点は、圧縮された基準フレームにおいてメモリフットプリントが2倍大きいという点である。
B−画像およびP−画像に関しては、6:1および3:1の圧縮比をそれぞれ有する場合、同様の計算により2.1Mbitのバッファメモリが得られる。図10および図11は、同じ基本的概念における異なる実施オプションを示している。
また、本発明は、メモリアクセスプロファイルを簡略化するとともに、ビデオデコーダの基準フレームメモリへのメモリアクセス帯域幅におけるダイナミクスを減少させるための方法であって、圧縮されたビデオデータを可変長デコーディング(VLD)するステップと、内部コード化画像、内部コード化マクロブロック、内部コード化データ情報を逆走査、逆量子化、逆離散コサイン変換(IDCT)デコーディングするステップと、ベクトル予測画像およびマクロブロックをデコードする動き補償を行なうステップと、デコードされた内部コード化マクロブロックと、デコードされた内部コード化データ情報と、動き補償されたベクトル予測マクロブロックとを基準フレームデータまたは出力フレームデータへと組み合わせるステップと、拡張可能な圧縮方法を使用して前記基準フレームデータを圧縮するステップと、少なくとも、動きベクトルの垂直開口(範囲)と基準フレーム当たりのビデオラインにおけるマクロブロックの横一列(スライス)とをバッファ手段に一時的に記憶するステップと、基準フレームデータを解凍することにより、動き補償(MC)のための前記手段が前記解凍された基準フレームデータを利用してベクトル予測画像およびマクロブロックを再構成できるようにするステップと、デコードされた画像データを出力するステップとを含む方法に関する。
1つの実施形態において、前記方法は、前記圧縮された基準フレームデータを外部メモリ手段に記憶するステップと、前記圧縮された基準フレームデータを前記外部メモリ手段から回収するステップと、前記回収された基準フレームデータを解凍するステップと、前記解凍された基準フレームデータを前記バッファ手段に一時的に記憶するステップと、前記解凍された基準フレームデータを利用してベクトル予測画像およびマクロブロックを再構成するステップとを更に含んでいる。
他の実施形態において、前記方法は、前記圧縮された基準フレームデータを外部メモリ手段に記憶するステップと、前記圧縮された基準フレームデータを前記外部メモリ手段から回収するステップと、前記圧縮された基準フレームデータを前記バッファ手段に一時的に記憶するステップと、前記一時的に記憶された基準フレームデータを解凍するステップと、前記解凍された基準フレームデータを利用してベクトル予測画像およびマクロブロックを再構成するステップとを更に含んでいる。
他の実施形態において、前記方法は、第1の圧縮率および第2の圧縮率で1つの基準フレームを圧縮するステップと、前記第1の圧縮率で圧縮された基準フレームにより基準フレームとして使用されるベクトル予測画像を再構成するとともに、前記第2の圧縮率で圧縮された基準フレームにより基準フレームとして使用されないベクトル予測画像を再構成するステップとを更に含んでいる。
更なる他の実施形態において、前記方法は、第1の圧縮率および第2の圧縮率で1つの基準フレームを圧縮するステップと、前記第1の圧縮率で圧縮された基準フレームによってP−画像を再構成するとともに、前記第2の圧縮率を用いて圧縮された基準フレームによってB−画像を再構成するステップとを更に含んでいる。
前記方法の更に他の実施形態においては、前記第1の圧縮率が前記第2の圧縮率以下である。
前記方法の更に他の実施形態においては、前記第1の圧縮率が前記第2の圧縮率の半分である。
前記方法の更に他の実施形態においては、前記第1の圧縮率が2:1であり、前記第2の圧縮率が4:1である。
前記方法の更に他の実施形態においては、前記第1の圧縮率が3:1であり、前記第2の圧縮率が6:1である。
前記方法の更に他の実施形態においては、前記第1の圧縮率が4:1であり、前記第2の圧縮率が8:1である。
更に他の実施形態において、前記方法は、前記第2の圧縮率を用いて圧縮された基準フレームのためのデータを、前記第1の圧縮率を用いて圧縮される同じ基準フレームのためのデータから直接に得るステップと、前記第1の圧縮率での前記基準フレームのためのデータのみを前記外部メモリ手段に一時的に記憶するステップとを更に含んでいる。
更に他の実施形態において、前記方法は、前記第1の圧縮率を用いて圧縮される前記基準フレームのための前記圧縮された基準フレームデータを前記外部メモリ手段に一時的に且つ階層的に記憶することにより、記憶された第1のサブ画像が前記第1の圧縮率よりも大きい前記第2の圧縮率を用いて圧縮された同じ基準フレームを表わす最上位データを含み且つ第2のサブ画像が最下位データを含むようにし、それにより、両方のサブ画像が共に前記第1の圧縮率を用いて圧縮された基準フレームのためのデータを表わすようにするステップを更に含んでいる。
前記方法の更に他の実施形態においては、前記第2の圧縮率が前記第1の圧縮率の2倍である。
更に他の実施形態において、前記方法は、前記第1の圧縮率を用いて圧縮される前記基準フレームのための前記圧縮された基準フレームデータを前記外部メモリ手段に一時的に且つ階層的に記憶することにより、記憶された第1のサブ画像が前記第1の圧縮率よりも大きい前記第2の圧縮率を用いて圧縮された同じ基準フレームを表わす最上位データを含み且つ第2のサブ画像が最下位データを含むようにし、それにより、両方のサブ画像が共に前記第1の圧縮率を用いて圧縮された基準フレームのためのデータを表わすようにするステップを更に含んでいる。
更に他の実施形態において、前記方法は、前記バッファ手段が集積メモリバッファであることを含んでいる。
以上、本発明の好ましい実施形態に適用される本発明の基本となる新規な特徴を図示して説明して指摘してきたが、当業者であれば本発明の思想から逸脱することなく例示したデバイスの形態および詳細並びにそれらの動作において様々な省略、代用、変更を行なうことができることは言うまでもない。例えば、ほぼ同じ方法でほぼ同じ機能を果たすことにより同じ結果を得る要素及び/又は方法の全ての組み合わせが本発明の範囲内に入ることは言うまでもない。また、本発明の任意の開示された形態または実施例に関連して図示し及び/又は説明した構造及び/又は要素及び/又は方法ステップが、設計上の選択の一般的な事柄として、任意の他の開示され或いは説明され或いは提案された形態または実施例に組み込まれても良いことは言うまでもない。したがって、本発明は、本明細書に添付された請求の範囲によって記載されているようにのみ限定される。
FIFOにおける初期化および更新方法を示している。 図1に従ったFIFOにおける初期化および更新方法を更に示している。 図1および図2に従ったFIFOにおける初期化および更新方法を更に示している。 本発明の第1の実施形態に係るビデオデコーダの概略図を開示している。 本発明の第2の実施形態に係るビデオデコーダの概略図を開示している。 圧縮率およびメモリアクセス帯域幅によって基準フレームのサイズがどのように減少されたかを示している。 P−画像のための基準フレームがB−画像のための基準フレームよりも2倍少なく圧縮された好ましい実施形態を示している。 第2の実施形態の一般概念を示している。 第2の実施形態の好ましい一般概念を示している。 第2の実施形態の第1の他の実施オプションを示している。 第2の実施形態の第2の他の実施オプションを示している。
符号の説明
1 圧縮データメモリ
2 可変長デコーダ
3 逆スキャナ
4 逆量子化器
5 逆離散コサイン変換
6 ビデオデータ圧縮器
7 ビデオデータ解凍器
8 バッファ
9 外部メモリ
10 動き補償のための手段

Claims (54)

  1. −圧縮されたビデオデータの可変長デコーディングのための手段と、
    −内部コード化画像、内部コード化マクロブロック、内部コード化デルタ情報の逆走査、逆量子化、逆離散コサイン変換デコーディングのための手段と、
    −ベクトル予測画像およびマクロブロックをデコードするための動き補償のための手段と、
    −デコードされた内部コード化マクロブロックと、デコードされた内部コード化データ情報と、動き補償されたベクトル予測マクロブロックとを基準フレームデータまたは出力フレームデータへと組み合わせるための手段と、
    を備えるビデオデコーダであって、
    −拡張可能な圧縮方法を使用して前記基準フレームデータを圧縮するための手段と、
    −少なくとも、動きベクトルの垂直開口と基準フレーム当たりのビデオラインにおけるマクロブロックの横一列とを一時的に記憶するためのバッファ手段と、
    −基準フレームデータを解凍することにより、動き補償のための前記手段が、前記解凍された基準フレームデータを利用してベクトル予測画像およびマクロブロックを再構成できるようにする手段と、
    −デコードされた画像データを出力するための手段と、
    を更に備えることを特徴とする、ビデオデコーダ。
  2. −前記圧縮された基準フレームデータを外部メモリ手段に記憶するための手段と、
    −前記圧縮された基準フレームデータを前記外部メモリ手段から回収するための手段と、
    を更に備え、
    −基準フレームデータを解凍するための前記手段は、前記回収された基準フレームデータを解凍するようにアレンジされており、
    −前記解凍された基準フレームデータを前記バッファ手段に一時的に記憶するための手段を更に備え、
    −動き補償のための前記手段は、前記解凍された基準フレームデータを利用してベクトル予測画像およびマクロブロックを再構成するようにアレンジされている、
    ことを特徴とする、請求項1に記載のビデオデコーダ。
  3. −前記圧縮された基準フレームデータを外部メモリ手段に記憶するための手段と、
    −前記圧縮された基準フレームデータを前記外部メモリ手段から回収するための手段と、
    −前記圧縮された基準フレームデータを前記バッファ手段に一時的に記憶するための手段と、
    を更に備え、
    −基準フレームデータを解凍するための前記手段は、前記一時的に記憶された基準フレームデータを解凍するようにアレンジされており、
    −動き補償のための前記手段は、前記解凍された基準フレームデータを利用してベクトル予測画像およびマクロブロックを再構成するようにアレンジされている、
    ことを特徴とする、請求項1に記載のビデオデコーダ。
  4. 前記基準フレームデータを前記外部メモリから回収するための前記手段は、所定数の連続するデータワードの繰り返されるバーストアクセスによって前記データを回収するようにアレンジされており、前記バッファ手段は、先入れ先出しFIFOモードでアクセスされるようにアレンジされており、前記バッファにおけるFIFO要素の好ましい粒度は、画像の水平範囲全体にわたって広がるマクロブロックの1つの横列であることを特徴とする、請求項2または3に記載のビデオデコーダ。
  5. バイトで表わされる1つのFIFO要素のサイズは、前記外部メモリ手段からデータを回収するための整数のバーストアクセス数によって得られるバイト数と全く等しくアレンジされることを特徴とする、請求項4に記載のビデオデコーダ。
  6. 基準フレームデータを圧縮するための前記手段は、第1の圧縮率および第2の圧縮率で1つの基準フレームを圧縮するようにアレンジされており、前記デコーダは、前記第1の圧縮率で圧縮された基準フレームによってP−画像を再構成するとともに、前記第2の圧縮率を用いて圧縮された基準フレームによってB−画像を再構成するようにアレンジされていることを特徴とする、請求項2または3に記載のビデオデコーダ。
  7. 前記第1の圧縮率が前記第2の圧縮率以下であることを特徴とする、請求項6に記載のビデオデコーダ。
  8. 前記第1の圧縮率が前記第2の圧縮率の半分であることを特徴とする、請求項7に記載のビデオデコーダ。
  9. 前記第1の圧縮率が2:1であり、前記第2の圧縮率が4:1であることを特徴とする、請求項8に記載のビデオデコーダ。
  10. 前記第1の圧縮率が3:1であり、前記第2の圧縮率が6:1であることを特徴とする、請求項8に記載のビデオデコーダ。
  11. 前記第1の圧縮率が4:1であり、前記第2の圧縮率が8:1であることを特徴とする、請求項8に記載のビデオデコーダ。
  12. 前記デコーダは、前記第2の圧縮率を用いて圧縮された基準フレームのためのデータを、前記第1の圧縮率を用いて圧縮される同じ基準フレームのためのデータから直接に得るようにアレンジされており、前記圧縮された基準フレームデータを前記外部メモリ手段に一時的に記憶するための前記手段は、前記第1の圧縮率での前記基準フレームのためのデータのみを記憶するようにアレンジされていることを特徴とする、請求項6に記載のビデオデコーダ。
  13. 前記圧縮された基準フレームデータを前記外部メモリ手段に記憶するための前記手段は、前記第1の圧縮率を用いて圧縮される前記基準フレームのためのデータを階層的に記憶するようにアレンジされており、それにより、記憶された第1のサブ画像が前記第1の圧縮率よりも大きい前記第2の圧縮率を用いて圧縮された同じ基準フレームを表わす最上位データを含み且つ第2のサブ画像が最下位データを含むようにして、両方のサブ画像が共に前記第1の圧縮率を用いて圧縮された基準フレームのためのデータを表わすようにすることを特徴とする、請求項12に記載のビデオデコーダ。
  14. 前記第2の圧縮率が前記第1の圧縮率の2倍であることを特徴とする、請求項13に記載のビデオデコーダ。
  15. 前記バッファ手段は、少なくとも(画像の水平サイズ全体に及ぶ、動きベクトルの垂直範囲+マクロブロックの横1列)×ライン当たりのピクセルの最大数×基準フレームの最大数×ピクセル当たりのバイト数×バイト当たりのビット数のビット容量を有していることを特徴とする、請求項1に記載のビデオデコーダ。
  16. 前記バッファ手段は、MPEG−1ビデオまたはMPEG−2ビデオにおいて、最小1つの基準フレームおよび最大2つの基準フレームの1基準フレーム当たり、少なくとも(画像の水平サイズ全体に及ぶ、動きベクトルの垂直範囲+マクロブロックの横1列)×ライン当たりのピクセルの最大数×基準フレームの最大数×ピクセル当たりのバイト数×バイト当たりのビット数のビット容量を有していることを特徴とする、請求項1に記載のビデオデコーダ。
  17. 前記バッファ手段が集積メモリバッファであることを特徴とする、請求項1から16のいずれか一項に記載のビデオデコーダ。
  18. メモリアクセスプロファイルを簡略化するとともに、ビデオデコーダの基準フレームメモリへのメモリアクセス帯域幅におけるダイナミクスを減少させるための方法であって、
    −圧縮されたビデオデータを可変長デコーディングするステップと、
    −内部コード化画像、内部コード化マクロブロック、内部コード化データ情報を逆走査、逆量子化、逆離散コサイン変換デコーディングするステップと、
    −ベクトル予測画像およびマクロブロックをデコードする動き補償を行なうステップと、
    −デコードされた内部コード化マクロブロックと、デコードされた内部コード化データ情報と、動き補償されたベクトル予測マクロブロックとを基準フレームデータまたは出力フレームデータへと組み合わせるステップと、
    −拡張可能な圧縮方法を使用して前記基準フレームデータを圧縮するステップと、
    −少なくとも、動きベクトルの垂直開口と基準フレーム当たりのビデオラインにおけるマクロブロックの横一列とをバッファ手段に一時的に記憶するステップと、
    −基準フレームデータを解凍することにより、動き補償のための前記手段が前記解凍された基準フレームデータを利用してベクトル予測画像およびマクロブロックを再構成できるようにするステップと、
    −デコードされた画像データを出力するステップと、
    を備えることを特徴とする、方法。
  19. −前記圧縮された基準フレームデータを外部メモリ手段に記憶するステップと、
    −前記圧縮された基準フレームデータを前記外部メモリ手段から回収するステップと、
    −前記回収された基準フレームデータを解凍するステップと、
    −前記解凍された基準フレームデータを前記バッファ手段に一時的に記憶するステップと、
    −前記解凍された基準フレームデータを利用してベクトル予測画像およびマクロブロックを再構成するステップと、
    を更に備えることを特徴とする、請求項18に記載の方法。
  20. −前記圧縮された基準フレームデータを外部メモリ手段に記憶するステップと、
    −前記圧縮された基準フレームデータを前記外部メモリ手段から回収するステップと、
    −前記圧縮された基準フレームデータを前記バッファ手段に一時的に記憶するステップと、
    −前記一時的に記憶された基準フレームデータを解凍するステップと、
    −前記解凍された基準フレームデータを利用してベクトル予測画像およびマクロブロックを再構成するステップと、
    を更に備えることを特徴とする、請求項18に記載の方法。
  21. −所定数の連続するデータワードの繰り返されるバーストアクセスによって前記基準フレームデータを前記外部メモリから回収するステップと、
    −先入れ先出しFIFOモードで前記バッファ手段にアクセスするステップであって、前記バッファにおけるFIFO要素の好ましい粒度が、画像の水平範囲全体にわたって広がるマクロブロックの1つの横列であるステップと、
    更に備えることを特徴とする、請求項19または20に記載の方法。
  22. −バイトで表わされる1つのFIFO要素のサイズを、前記外部メモリ手段からデータを回収するための整数のバーストアクセス数によって得られるバイト数と全く等しく設定するステップを更に備えることを特徴とする、請求項21に記載の方法。
  23. −第1の圧縮率および第2の圧縮率で1つの基準フレームを圧縮するステップと、
    −前記第1の圧縮率で圧縮された基準フレームにより基準フレームとして使用されるベクトル予測画像を再構成するとともに、前記第2の圧縮率で圧縮された基準フレームにより基準フレームとして使用されないベクトル予測画像を再構成するステップと、
    を更に備えることを特徴とする、請求項19または20に記載の方法。
  24. −第1の圧縮率および第2の圧縮率で1つの基準フレームを圧縮するステップと、
    −前記第1の圧縮率で圧縮された基準フレームによってP−画像を再構成するとともに、前記第2の圧縮率を用いて圧縮された基準フレームによってB−画像を再構成するステップと、
    を更に備えることを特徴とする、請求項19、20または23に記載の方法。
  25. 前記第1の圧縮率が前記第2の圧縮率以下であることを特徴とする、請求項23または24に記載の方法。
  26. 前記第1の圧縮率が前記第2の圧縮率の半分であることを特徴とする、請求項23または24に記載の方法。
  27. 前記第1の圧縮率が2:1であり、前記第2の圧縮率が4:1であることを特徴とする、請求項26に記載の方法。
  28. 前記第1の圧縮率が3:1であり、前記第2の圧縮率が6:1であることを特徴とする、請求項26に記載の方法。
  29. 前記第1の圧縮率が4:1であり、前記第2の圧縮率が8:1であることを特徴とする、請求項26に記載の方法。
  30. −前記第2の圧縮率を用いて圧縮された基準フレームのためのデータを、前記第1の圧縮率を用いて圧縮される同じ基準フレームのためのデータから直接に得るステップと、
    −前記第1の圧縮率での前記基準フレームのためのデータのみを前記外部メモリ手段に一時的に記憶するステップと、
    を更に含むことを特徴とする、請求項23から25のいずれか一項に記載の方法。
  31. 前記第1の圧縮率を用いて圧縮される前記基準フレームのための前記圧縮された基準フレームデータを前記外部メモリ手段に一時的に且つ階層的に記憶することにより、記憶された第1のサブ画像が前記第1の圧縮率よりも大きい前記第2の圧縮率を用いて圧縮された同じ基準フレームを表わす最上位データを含み且つ第2のサブ画像が最下位データを含むようにし、それにより、両方のサブ画像が共に前記第1の圧縮率を用いて圧縮された基準フレームのためのデータを表わすようにするステップを更に含むことを特徴とする、請求項30に記載の方法。
  32. 前記第2の圧縮率が前記第1の圧縮率の2倍であることを特徴とする、請求項31に記載の方法。
  33. −前記第1の圧縮率を用いて圧縮される前記基準フレームのための前記圧縮された基準フレームデータを前記外部メモリ手段に一時的に且つ階層的に記憶することにより、記憶された第1のサブ画像が前記第1の圧縮率よりも大きい前記第2の圧縮率を用いて圧縮された同じ基準フレームを表わす最上位データを含み且つ第2のサブ画像が最下位データを含むようにし、それにより、両方のサブ画像が共に前記第1の圧縮率を用いて圧縮された基準フレームのためのデータを表わすようにするステップを更に含むことを特徴とする、請求項30から32のいずれか一項に記載の方法。
  34. 前記バッファ手段が集積メモリバッファであることを特徴とする、請求項18から33のいずれか一項に記載の方法。
  35. −圧縮されたビデオデータの可変長デコーディングのための手段と、
    −内部コード化画像、内部コード化マクロブロック、内部コード化データ情報の逆走査、逆量子化、逆離散コサイン変換デコーディングのための手段と、
    −ベクトル予測画像およびマクロブロックをデコードする動き補償のための手段と、
    −デコードされた内部コード化マクロブロックと、デコードされた内部コード化データ情報と、動き補償されたベクトル予測マクロブロックとを基準フレームデータまたは出力フレームデータへと組み合わせるための手段と、
    を備えるビデオデコーダであって、
    −拡張可能な圧縮方法を使用して前記基準フレームデータを圧縮するための手段を更に備え、
    −基準フレームデータを圧縮するための前記手段は、第1の圧縮率および第2の圧縮率で1つの基準フレームを圧縮するようになっており、
    −基準フレームデータを解凍することにより、動き補償のための前記手段が前記解凍された基準フレームデータを利用してベクトル予測画像およびマクロブロックを再構成できるようにする手段と、
    −デコードされた画像データを出力するための手段と、
    を更に備え、
    − 前記デコーダは、前記第1の圧縮率で圧縮された基準フレームによってP−画像を再構成するとともに、前記第2の圧縮率を用いて圧縮された基準フレームによってB−画像を再構成するようになっている、
    ことを特徴とする、ビデオデコーダ。
  36. 前記第1の圧縮率が前記第2の圧縮率以下であることを特徴とする、請求項35に記載のビデオデコーダ。
  37. 前記第1の圧縮率が前記第2の圧縮率の半分であることを特徴とする、請求項36に記載のビデオデコーダ。
  38. 前記第1の圧縮率が2:1であり、前記第2の圧縮率が4:1であることを特徴とする、請求項37に記載のビデオデコーダ。
  39. 前記第1の圧縮率が3:1であり、前記第2の圧縮率が6:1であることを特徴とする、請求項37に記載のビデオデコーダ。
  40. 前記第1の圧縮率が4:1であり、前記第2の圧縮率が8:1であることを特徴とする、請求項37に記載のビデオデコーダ。
  41. 前記デコーダは、前記第2の圧縮率を用いて圧縮された基準フレームのためのデータを、前記第1の圧縮率を用いて圧縮される同じ基準フレームのためのデータから直接に得るようにアレンジされており、前記圧縮された基準フレームデータを前記外部メモリ手段に一時的に記憶するための前記手段は、前記第1の圧縮率での前記基準フレームのためのデータのみを記憶するようにアレンジされていることを特徴とする、請求項35に記載のビデオデコーダ。
  42. 前記圧縮された基準フレームデータを前記外部メモリ手段に記憶するための前記手段は、前記第1の圧縮率を用いて圧縮される前記基準フレームのためのデータを階層的に記憶するようにアレンジされており、それにより、記憶された第1のサブ画像が前記第1の圧縮率よりも大きい前記第2の圧縮率を用いて圧縮された同じ基準フレームを表わす最上位データを含み且つ第2のサブ画像が最下位データを含むようにして、両方のサブ画像が共に前記第1の圧縮率を用いて圧縮された基準フレームのためのデータを表わすようにすることを特徴とする、請求項41に記載のビデオデコーダ。
  43. 前記第2の圧縮率が前記第1の圧縮率の2倍であることを特徴とする、請求項42に記載のビデオデコーダ。
  44. ビデオデコーダの基準フレームメモリへのメモリアクセス帯域幅を減少させるための方法であって、
    −圧縮されたビデオデータを可変長デコーディングするステップと、
    −内部コード化画像、内部コード化マクロブロック、内部コード化データ情報を逆走査、逆量子化、逆離散コサイン変換デコーディングするステップと、
    −ベクトル予測画像およびマクロブロックをデコードする動き補償を行なうステップと、
    −デコードされた内部コード化マクロブロックと、デコードされた内部コード化データ情報と、動き補償されたベクトル予測マクロブロックとを基準フレームデータまたは出力フレームデータへと組み合わせるステップと、
    −拡張可能な圧縮方法を使用して前記基準フレームデータを圧縮するステップと、
    −第1の圧縮率および第2の圧縮率で1つの基準フレームを圧縮するステップと、
    −基準フレームデータを解凍することにより、動き補償のための前記手段が前記解凍された基準フレームデータを利用してベクトル予測画像およびマクロブロックを再構成できるようにするステップと、
    −前記第1の圧縮率で圧縮された基準フレームにより基準フレームとして使用されるベクトル予測画像を再構成するとともに、前記第2の圧縮率で圧縮された基準フレームにより基準フレームとして使用されないベクトル予測画像を再構成するステップと、
    −デコードされた画像データを出力するステップと、
    を含むことを特徴とする、方法。
  45. −第1の圧縮率および第2の圧縮率で1つの基準フレームを圧縮するステップと、
    −前記第1の圧縮率で圧縮された基準フレームによってP−画像を再構成するとともに、前記第2の圧縮率を用いて圧縮された基準フレームによってB−画像を再構成するステップと、
    を更に含むことを特徴とする、請求項44に記載の方法。
  46. 前記第1の圧縮率が前記第2の圧縮率以下であることを特徴とする、請求項44または45に記載の方法。
  47. 前記第1の圧縮率が前記第2の圧縮率の半分であることを特徴とする、請求項46に記載の方法。
  48. 前記第1の圧縮率が2:1であり、前記第2の圧縮率が4:1であることを特徴とする、請求項47に記載の方法。
  49. 前記第1の圧縮率が3:1であり、前記第2の圧縮率が6:1であることを特徴とする、請求項47に記載の方法。
  50. 前記第1の圧縮率が4:1であり、前記第2の圧縮率が8:1であることを特徴とする、請求項47に記載の方法。
  51. −前記第2の圧縮率を用いて圧縮された基準フレームのためのデータを、前記第1の圧縮率を用いて圧縮される同じ基準フレームのためのデータから直接に得るステップと、
    −前記第1の圧縮率での前記基準フレームのためのデータのみを前記外部メモリ手段に一時的に記憶するステップと、
    を更に含むことを特徴とする、請求項44から46のいずれか一項に記載の方法。
  52. 前記第1の圧縮率を用いて圧縮される前記基準フレームのための前記圧縮された基準フレームデータを前記外部メモリ手段に一時的に且つ階層的に記憶することにより、記憶された第1のサブ画像が前記第1の圧縮率よりも大きい前記第2の圧縮率を用いて圧縮された同じ基準フレームを表わす最上位データを含み且つ第2のサブ画像が最下位データを含むようにし、それにより、両方のサブ画像が共に前記第1の圧縮率を用いて圧縮された基準フレームのためのデータを表わすようにするステップを更に含むことを特徴とする、請求項51に記載の方法。
  53. 前記第2の圧縮率が前記第1の圧縮率の2倍であることを特徴とする、請求項52に記載の方法。
  54. −前記第1の圧縮率を用いて圧縮される前記基準フレームのための前記圧縮された基準フレームデータを前記外部メモリ手段に一時的に且つ階層的に記憶することにより、記憶された第1のサブ画像が前記第1の圧縮率よりも大きい前記第2の圧縮率を用いて圧縮された同じ基準フレームを表わす最上位データを含み且つ第2のサブ画像が最下位データを含むようにし、それにより、両方のサブ画像が共に前記第1の圧縮率を用いて圧縮された基準フレームのためのデータを表わすようにするステップを更に含むことを特徴とする、請求項51から53のいずれか一項に記載の方法。
JP2007502447A 2004-03-08 2005-02-23 拡張可能な圧縮を伴い且つ基準フレームデータを記憶して回収するためのバッファを有するビデオデコーダ Expired - Fee Related JP4778953B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP04100926.7 2004-03-08
EP04100926 2004-03-08
PCT/IB2005/050650 WO2005088983A2 (en) 2004-03-08 2005-02-23 Video decoder with scalable compression and buffer for storing and retrieving reference frame data

Publications (2)

Publication Number Publication Date
JP2007529178A true JP2007529178A (ja) 2007-10-18
JP4778953B2 JP4778953B2 (ja) 2011-09-21

Family

ID=34976318

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007502447A Expired - Fee Related JP4778953B2 (ja) 2004-03-08 2005-02-23 拡張可能な圧縮を伴い且つ基準フレームデータを記憶して回収するためのバッファを有するビデオデコーダ

Country Status (5)

Country Link
US (1) US20070195882A1 (ja)
EP (1) EP1728393A2 (ja)
JP (1) JP4778953B2 (ja)
CN (2) CN101924945B (ja)
WO (1) WO2005088983A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014123841A (ja) * 2012-12-20 2014-07-03 Jvc Kenwood Corp 画像符号化装置および画像符号化方法

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090027547A1 (en) * 2005-05-16 2009-01-29 Pioneer Corporation Rate converter
JP4384130B2 (ja) * 2006-03-28 2009-12-16 株式会社東芝 動画像復号方法及び装置
JP4734168B2 (ja) * 2006-05-09 2011-07-27 株式会社東芝 画像復号化装置及び画像復号化方法
US8204106B2 (en) * 2007-11-14 2012-06-19 Ati Technologies, Ulc Adaptive compression of video reference frames
US20100098166A1 (en) * 2008-10-17 2010-04-22 Texas Instruments Incorporated Video coding with compressed reference frames
CN101389029B (zh) * 2008-10-21 2012-01-11 北京中星微电子有限公司 一种视频图像编码和检索的方法及装置
US8548062B2 (en) 2010-07-16 2013-10-01 Sharp Laboratories Of America, Inc. System for low resolution power reduction with deblocking flag
US9313523B2 (en) 2010-07-16 2016-04-12 Sharp Laboratories Of America, Inc. System for low resolution power reduction using deblocking
WO2012008616A1 (en) * 2010-07-16 2012-01-19 Sharp Kabushiki Kaisha Video decoder for low resolution power reduction using low resolution data
US8767828B2 (en) 2010-07-16 2014-07-01 Sharp Laboratories Of America, Inc. System for low resolution power reduction with compressed image
CN103004202A (zh) * 2010-07-16 2013-03-27 夏普株式会社 使用低分辨率数据的低分辨率功率降低的视频解码器
JP5496047B2 (ja) * 2010-10-07 2014-05-21 パナソニック株式会社 画像再生方法、画像再生装置、画像再生プログラム、撮像システム、および再生システム
US9147264B2 (en) 2011-02-23 2015-09-29 Nvidia Corporation Method and system for quantizing and squeezing base values of associated tiles in an image
ES2714756T3 (es) * 2011-06-30 2019-05-29 Ericsson Telefon Ab L M Señalización de imágenes de referencia
CN102883158B (zh) * 2011-07-14 2015-09-09 华为技术有限公司 一种参考帧压缩存储和解压方法及装置
US9432665B2 (en) * 2011-12-02 2016-08-30 Qualcomm Incorporated Coding least significant bits of picture order count values identifying long-term reference pictures
US20130243100A1 (en) * 2012-03-15 2013-09-19 Mediatek Inc. System and Method for Adaptive Frame Re-compression in Video Processing System
CN103986937A (zh) * 2014-05-28 2014-08-13 东南大学 一种用于高分辨率视频的h.264帧间编码存储管理方法
US10798396B2 (en) * 2015-12-08 2020-10-06 Samsung Display Co., Ltd. System and method for temporal differencing with variable complexity
CN106162192A (zh) * 2016-07-06 2016-11-23 华为技术有限公司 处理视频数据的方法和装置
US10972738B2 (en) * 2018-03-29 2021-04-06 Mediatek Inc. Video encoding apparatus having reconstruction buffer with fixed size and/or bandwidth limitation and associated video encoding method
MX2020010474A (es) 2018-04-05 2021-01-08 Ericsson Telefon Ab L M Informacion de control de enlace lateral de varias etapas.
US11729395B2 (en) * 2021-11-26 2023-08-15 Huawei Technologies Co., Ltd. Methods and devices for extracting motion vector data from compressed video data
CN116600129B (zh) * 2023-07-17 2023-10-20 芯动微电子科技(珠海)有限公司 一种优化视频解码带宽的方法、***及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09247673A (ja) * 1996-03-04 1997-09-19 Kokusai Denshin Denwa Co Ltd <Kdd> 符号化動画像再生装置
JPH09252469A (ja) * 1996-02-09 1997-09-22 Internatl Business Mach Corp <Ibm> ディジタル・ビデオ・シーケンスをデコードする方法および装置
JPH09261635A (ja) * 1996-03-22 1997-10-03 Mitsubishi Electric Corp データ圧縮回路およびデータ伸長回路および動き補償予測復号装置
JPH10271516A (ja) * 1997-01-27 1998-10-09 Sony Corp 圧縮符号化装置、符号化方法、復号化装置および復号化方法
JP2000165861A (ja) * 1998-11-26 2000-06-16 Oki Electric Ind Co Ltd 動画像復号装置
JP2000308059A (ja) * 1999-04-19 2000-11-02 Sharp Corp ディジタル画像の圧縮方法、ディジタル動画復号器における基準フレームの蓄積及び検索方法、及び、ディジタル動画復号器
JP2002247583A (ja) * 2001-02-22 2002-08-30 Seiko Epson Corp 画像信号復号装置
WO2003039158A1 (en) * 2001-10-29 2003-05-08 Koninklijke Philips Electronics N.V. Compression
JP2003348592A (ja) * 2002-05-23 2003-12-05 Matsushita Electric Ind Co Ltd 画像データ記憶装置、符号化装置、復号化装置、及び、圧縮伸長システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5315388A (en) * 1991-11-19 1994-05-24 General Instrument Corporation Multiple serial access memory for use in feedback systems such as motion compensated television
US5623311A (en) * 1994-10-28 1997-04-22 Matsushita Electric Corporation Of America MPEG video decoder having a high bandwidth memory
IL116060A (en) * 1995-11-19 2000-02-17 Israel State Method for compression and decompression of a video signal
EP0778709B1 (en) * 1995-12-04 2001-05-23 STMicroelectronics S.r.l. MPEG-2 decoding with a reduced RAM requisite by ADPCM recompression before storing MPEG decompressed data
US6088391A (en) * 1996-05-28 2000-07-11 Lsi Logic Corporation Method and apparatus for segmenting memory to reduce the memory required for bidirectionally predictive-coded frames
US6198773B1 (en) * 1997-12-18 2001-03-06 Zoran Corporation Video memory management for MPEG video decode and display system
KR100680452B1 (ko) * 2000-02-22 2007-02-08 주식회사 팬택앤큐리텔 움직임 벡터 메모리의 갱신방법 및 장치
MXPA01011505A (es) * 2000-03-13 2002-06-04 Koninkl Philips Electronics Nv Lamacenamiento de articulos de informacion comprimida.
EP1176833A3 (en) * 2000-07-25 2012-06-27 Panasonic Corporation Image decoding method, image decoding apparatus, and data storage medium
US7403563B2 (en) * 2002-06-07 2008-07-22 Sanyo Electric Co., Ltd. Image decoding method and apparatus, and television receiver utilizing the same

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09252469A (ja) * 1996-02-09 1997-09-22 Internatl Business Mach Corp <Ibm> ディジタル・ビデオ・シーケンスをデコードする方法および装置
JPH09247673A (ja) * 1996-03-04 1997-09-19 Kokusai Denshin Denwa Co Ltd <Kdd> 符号化動画像再生装置
JPH09261635A (ja) * 1996-03-22 1997-10-03 Mitsubishi Electric Corp データ圧縮回路およびデータ伸長回路および動き補償予測復号装置
JPH10271516A (ja) * 1997-01-27 1998-10-09 Sony Corp 圧縮符号化装置、符号化方法、復号化装置および復号化方法
JP2000165861A (ja) * 1998-11-26 2000-06-16 Oki Electric Ind Co Ltd 動画像復号装置
JP2000308059A (ja) * 1999-04-19 2000-11-02 Sharp Corp ディジタル画像の圧縮方法、ディジタル動画復号器における基準フレームの蓄積及び検索方法、及び、ディジタル動画復号器
JP2002247583A (ja) * 2001-02-22 2002-08-30 Seiko Epson Corp 画像信号復号装置
WO2003039158A1 (en) * 2001-10-29 2003-05-08 Koninklijke Philips Electronics N.V. Compression
JP2003348592A (ja) * 2002-05-23 2003-12-05 Matsushita Electric Ind Co Ltd 画像データ記憶装置、符号化装置、復号化装置、及び、圧縮伸長システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014123841A (ja) * 2012-12-20 2014-07-03 Jvc Kenwood Corp 画像符号化装置および画像符号化方法

Also Published As

Publication number Publication date
CN101208954B (zh) 2010-09-08
CN101208954A (zh) 2008-06-25
US20070195882A1 (en) 2007-08-23
WO2005088983A2 (en) 2005-09-22
JP4778953B2 (ja) 2011-09-21
EP1728393A2 (en) 2006-12-06
WO2005088983A3 (en) 2007-08-16
CN101924945A (zh) 2010-12-22
CN101924945B (zh) 2012-07-18

Similar Documents

Publication Publication Date Title
JP4778953B2 (ja) 拡張可能な圧縮を伴い且つ基準フレームデータを記憶して回収するためのバッファを有するビデオデコーダ
JP3395166B2 (ja) 統合ビデオ復号化システム、フレーム・バッファ、符号化ストリーム処理方法、フレーム・バッファ割当て方法及び記憶媒体
US5923375A (en) Memory reduction in the MPEG-2 main profile main level decoder
US7489729B2 (en) Method and apparatus for implementing reduced memory mode for high-definition television
US5818533A (en) Method and apparatus for decoding B frames in video codecs with minimal memory
EP0843485B1 (en) Video decoder with unified memory
US8428126B2 (en) Image decoding device with parallel processors
US6473558B1 (en) System and method for MPEG reverse play through dynamic assignment of anchor frames
KR100504471B1 (ko) 비디오 디코딩 시스템
US6072548A (en) Video decoder dynamic memory allocation system and method allowing variable decoded image size
US6442206B1 (en) Anti-flicker logic for MPEG video decoder with integrated scaling and display functions
JPH104550A (ja) Mpeg−2復号方法及びmpeg−2ビデオ復号器
US5903282A (en) Video decoder dynamic memory allocation system and method with an efficient freeze mode
US5926227A (en) Video decoder dynamic memory allocation system and method with error recovery
JPH1084524A (ja) Mpeg伸長データを保存する前で、必要に応じてサブサンプリング・アルゴリズム後における、adpcm再圧縮によって減少したram容量によるmpegデコード方法及びそのデコーダ
US6525783B1 (en) Video decoding system
US6163576A (en) Video encoder having reduced memory bandwidth requirements
JP2000050263A (ja) 画像符号化並びに復号化装置及びこれを用いた撮像装置
JPH10271516A (ja) 圧縮符号化装置、符号化方法、復号化装置および復号化方法
JPH08280022A (ja) 符号化ビデオ信号の復号化方法及び装置
JPH10191341A (ja) 画像伸張装置
JP2898413B2 (ja) 所要メモリ容量の低減化を伴う圧縮ビデオデータ流の復号化及び符号化のための方法
JP3990011B2 (ja) 復号画像変換回路および復号画像変換装置
KR19990024295A (ko) 확장 가능한 메모리를 구비한 비디오 디코더
JP2004236321A (ja) ビデオデータ圧縮のための装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080221

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100518

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101022

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110118

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110125

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110520

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110704

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140708

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140708

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140708

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140708

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees