JP2007537653A - インターレース符号化フレームからプログレッシブフレームを生成するためのデバイス - Google Patents
インターレース符号化フレームからプログレッシブフレームを生成するためのデバイス Download PDFInfo
- Publication number
- JP2007537653A JP2007537653A JP2007512699A JP2007512699A JP2007537653A JP 2007537653 A JP2007537653 A JP 2007537653A JP 2007512699 A JP2007512699 A JP 2007512699A JP 2007512699 A JP2007512699 A JP 2007512699A JP 2007537653 A JP2007537653 A JP 2007537653A
- Authority
- JP
- Japan
- Prior art keywords
- field
- resolution
- residual error
- encoded
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
- H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
- H04N19/428—Recompression, e.g. by spatial or temporal decimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本発明は、第1の解像度(SD)の符号化フレームの組を復号し、より低い解像度(QCIF)の出力フレームの組を生成するための方法およびデバイスに関する。前記デバイスは、符号化フレームに基づいて、第1の解像度よりも低い第2の解像度の、第1の残留誤差フィールドと、第1の解像度よりも低い第3の解像度の、第2の残留誤差フィールドとを生成するための部分復号ユニット(DECp)と、第1の動き補償フィールドを、第1の残留誤差フィールド、第1の基準フィールド(Fix1)および第2の基準フィールド(Fix2)に基づいて生成するための第1の予測ユニット(PRED1)と、第1の残留誤差フィールドを、第1の動き補償フィールドと合成して、次の第1の基準フィールド(Fiy1)を得るための第1の加算器と、第2の動き補償フィールドを、第2の残留誤差フィールド、第1の基準フィールドおよび第2の基準フィールドに基づいて生成するための第2の予測ユニット(PRED2)と、第2の残留誤差フィールドを、第2の動き補償フィールドと合成して、出力フレームに対応する次の第2の基準フィールド(FIY2)を得るための第2の加算器と、を備える。
Description
本発明は、第1の解像度の符号化フレームの組を復号し、より低い解像度の出力フレームの組を生成するとともに、符号化フレームは、符号化第2フィールドとインターレースされた符号化第1フィールドを備えている、方法およびデバイスに関する。
この発明は、映像復号での適用において、特に、インターレースフォーマットの圧縮映像ビットストリームを、より低い解像度でプログレッシブディスプレイに表示する必要があるような適用において、使用することができる。典型的な適用は、DVB−T(Digital Video Broadcast − Terrestrial)プログラムを、電話やPDA(Personal Digital Assistant)などの携帯型デバイスで受信することである。
低電力消費は、携帯型デバイスの重要な特性である。携帯型デバイスは、今や、映像符号化および復号能力を提供し、これらは多くのエネルギーを損失することが知られている。よって、いわゆる低電力の映像アルゴリズムが、必要とされている。
実際に、SDRAMなどの外部メモリへのアクセスは、映像デバイスにとってボトルネックである。これは、メモリがシステムで最も電力を消費する部分として知られているように、電力消費の問題と、中央処理装置CPUとメモリの間の交換の帯域幅による、速度の限定と、の両方に起因する。
従来の映像デコーダにおいて、動き補償モジュールが、多くのこのようなアクセスを必要とし、その理由は、動き補償モジュールは、いわゆる基準フレーム内の画素のブロックを常に指すからである。この問題を克服するために、国際特許出願番号第03/010974号は、映像復号デバイスを開示しており、このデバイスでは、組み込まれたリサイジング(embedded resizing)を、外部スケーリングと共に使用して、復号の計算的な複雑さを減少させる。
このような映像復号デバイスが、図1に示されており、可変長復号ブロックVLDからなる第1のパスと、逆スキャンおよび逆量子化ブロックISIQと、8×8逆離散コサイン変換ブロックIDCTと、デシメーション(decimation)ブロックDECIと、を備える。動作の間、VLDブロックは、入力される標準解像度SDの映像ビットストリームを復号し、動きベクトルMVと、量子化変換係数とを生成する。ISIQブロックは、次いで、VLDブロックから受信された量子化変換係数を逆スキャンおよび逆量子化する。また、IDCTブロックが、フィルタリングも行い、変換係数から高周波を除去する。IDCTを行なった後に、デシメーションブロックは、次いで、8×8IDCTブロックの出力を所定のレートでサンプリングし、復号されている映像出力フレームOFの解像度を減少させる。
さらに分かるように、デコーダは、また、VLDブロックからなる第2のパスと、ダウンスケーリングブロックDSと、動き補償ユニットMCと、フレーム記憶装置MEMと、を含む。動作の間、ダウンスケーリングブロックDSは、VLDブロックにより供給された動きベクトルMVの大きさを、第1のパスにおける縮小に比例して縮小する。これは、動き補償が、第1のパスで生成されたフレームと一致する縮小された解像度で行なわれるため、メモリアクセスの減少を可能にする。加えて、記憶されたメモリフレームが、減少されたサイズであるため、メモリサイズも縮小することができる。
しかしながら、出力フレームのシーケンスが、なおもインターレースであるため、プログレッシブディスプレイで描画される際に、受け入れ難いアーティファクト(artifact)が生じる。勿論、逆インターレースユニットを、修正されたデコーダとRGB変換器の間に挿入することもできるが、複雑さおよびメモリ転送の犠牲をともなう。
本発明の目的は、インターレース映像シーケンスを復号して、ダウンサイズされたプログレッシブ映像シーケンスを生成する、妥当な複雑さを有する方法およびデバイスを提案することである。
このために、本発明に係る復号デバイスは、
―符号化フレームに基づいて、第1の解像度よりも低い第2の解像度の、第1の残留誤差フィールドと、第1の解像度よりも低い第3の解像度の、第2の残留誤差フィールドとを生成するための部分復号ユニットと、
―第1の動き補償フィールドを、第1の残留誤差フィールド、第1の基準フィールドおよび第2の基準フィールドに基づいて生成するための第1の予測ユニットと、
―第1の残留誤差フィールドを、第1の動き補償フィールドと合成して、次の第1の基準フィールドを得るための第1の加算器と、
―第2の動き補償フィールドを、第2の残留誤差フィールド、第1の基準フィールドおよび第2の基準フィールドに基づいて生成するための第2の予測ユニットと、
―第2の残留誤差フィールドを、第2の動き補償フィールドと合成して、出力フレームに対応する次の第2の基準フィールドを得るための第2の加算器と、
を備える。
―符号化フレームに基づいて、第1の解像度よりも低い第2の解像度の、第1の残留誤差フィールドと、第1の解像度よりも低い第3の解像度の、第2の残留誤差フィールドとを生成するための部分復号ユニットと、
―第1の動き補償フィールドを、第1の残留誤差フィールド、第1の基準フィールドおよび第2の基準フィールドに基づいて生成するための第1の予測ユニットと、
―第1の残留誤差フィールドを、第1の動き補償フィールドと合成して、次の第1の基準フィールドを得るための第1の加算器と、
―第2の動き補償フィールドを、第2の残留誤差フィールド、第1の基準フィールドおよび第2の基準フィールドに基づいて生成するための第2の予測ユニットと、
―第2の残留誤差フィールドを、第2の動き補償フィールドと合成して、出力フレームに対応する次の第2の基準フィールドを得るための第2の加算器と、
を備える。
同様に、本発明に係る復号方法は、
―符号化フレームに基づいて、第1の解像度よりも低い第2の解像度の、第1の残留誤差フィールドを生成するステップと、
―符号化フレームに基づいて、第1の解像度よりも低い第3の解像度の、第2の残留誤差フィールドを生成するステップと、
―第1の動き補償フィールドを、第1の残留誤差フィールド、第1の基準フィールドおよび第2の基準フィールドに基づいて生成するステップと、
―第1の残留誤差フィールドを、第1の動き補償フィールドと合成して、次の第1の基準フィールドを得るステップと、
―第2の動き補償フィールドを、第2の残留誤差フィールド、第1の基準フィールドおよび第2の基準フィールドに基づいて生成するステップと、
―第2の残留誤差フィールドを、第2の動き補償フィールドと合成して、出力フレームに対応する次の第2の基準フィールドを得るステップと、
を備える。
―符号化フレームに基づいて、第1の解像度よりも低い第2の解像度の、第1の残留誤差フィールドを生成するステップと、
―符号化フレームに基づいて、第1の解像度よりも低い第3の解像度の、第2の残留誤差フィールドを生成するステップと、
―第1の動き補償フィールドを、第1の残留誤差フィールド、第1の基準フィールドおよび第2の基準フィールドに基づいて生成するステップと、
―第1の残留誤差フィールドを、第1の動き補償フィールドと合成して、次の第1の基準フィールドを得るステップと、
―第2の動き補償フィールドを、第2の残留誤差フィールド、第1の基準フィールドおよび第2の基準フィールドに基づいて生成するステップと、
―第2の残留誤差フィールドを、第2の動き補償フィールドと合成して、出力フレームに対応する次の第2の基準フィールドを得るステップと、
を備える。
以下により詳細に説明されるように、本発明に係る復号の解決策は、組み込まれたリサイジング(embedded resizing)を含み、これは、プログレッシブシーケンスを直接出力するように適合されており、したがって、逆インターレースが、復号ループによって絶対的に行なわれる。この解決策の、計算、メモリサイズおよびアクセスについてのコストは、逆インターレースを行なわない従来技術の映像デコーダでのコストよりも高いが、この解撤策は、ずっと良い映像品質を提供する。本発明に係る復号の解決策は、また、費用対効果が高く、逆インターレースと組み合わされた従来技術の映像復号よりも安価であり、映像品質の面でこの組み合わせとほぼ同然のものを達成する。
有利なことに、部分復号ユニットは、第2または第3の解像度の変換係数のブロックを、第1の解像度の符号化データブロックから生成するためのエントロピー復号ユニットと、第2または第3の解像度の変換係数のブロックを、量子化変換係数のブロックから生成するための逆量子化復号ユニットと、第2または第3の解像度の復号係数のブロックを、変換係数のブロックから生成するための逆変換ユニットと、を直列に備える。結果として、逆変換は、より小さくなり、これは、復号の解決策の、より低い複雑さをもたらす。
本発明の実施形態によると、第2の解像度は、第3の解像度と等しい。このような特性によって、復号の解決策は、良好な映像品質を提供する。
本発明の他の実施形態によると、第2の解像度は、復号デバイスで利用可能なリソースに応じて変化することができる。結果として、復号は、バッテリーレベルまたはCPUなどの、全リソースが利用可能である場合に、完全に効率的となり、低いリソースが利用可能な場合に、なおも可能である。
本発明は、また、復号デバイスと、出力フレームの組を表示するための画面と、を含む携帯型装置に関する。
前記発明は、最後に、本発明に係る復号方法を実現するためのプログラム命令を備えるコンピュータプログラムプロダクトに関する。
本発明のこれらおよび他の態様は、以下に記述される実施形態から明らかとなり、かつこれらを参照して説明される。
本発明は、これより、例として、添付の図面を参照し、より詳細に述べられる。
本発明は、インターレース符号化フレームからプログレッシブフレームを生成するための方法およびデバイスに関する。前記方法は、フレームシーケンスをメモリに記憶する必要があるどのような映像復号デバイスにも適用することができる。これは、復号出力フレームの十分な全体的映像品質を維持しながら、基準フレームメモリのサイズを縮小することに、特に関連するものである。
本発明に係る復号デバイスの実施形態の原理が、図2に示される。
このような復号デバイスは、第1の解像度よりも低い第2の解像度の、第1の残留誤差フィールドと、第1の解像度よりも低い第3の解像度の、第2の残留誤差フィールドとを生成し、両方の残留誤差フィールドが符号化フレームに基づいて生成されるような、部分復号ユニットDECpを備える。より正確には、符号化フレームは、符号化データ値の複数のブロックに分割される。これらの符号化データ値は、例えば、画素の輝度またはクロミナンスの離散コサイン変換に対応するDCT係数である。本発明の実施形態によると、部分復号ユニットDECpは、
―第2または第3の解像度の変換係数のブロックを、第1の解像度の符号化データブロックから生成するための、例えば可変調復号に基づく、エントロピー復号ユニットVLDpと、
―第2または第3の解像度の変換係数のブロックを、量子化変換係数のブロックから生成するための逆量子化復号ユニットIQpと、
―第2または第3の解像度の復号係数のブロックを、変換係数のブロックから生成するための、例えば逆離散コサイン変換IDCTに基づく、逆変換ユニットITPと、
を、直列に備える。
―第2または第3の解像度の変換係数のブロックを、第1の解像度の符号化データブロックから生成するための、例えば可変調復号に基づく、エントロピー復号ユニットVLDpと、
―第2または第3の解像度の変換係数のブロックを、量子化変換係数のブロックから生成するための逆量子化復号ユニットIQpと、
―第2または第3の解像度の復号係数のブロックを、変換係数のブロックから生成するための、例えば逆離散コサイン変換IDCTに基づく、逆変換ユニットITPと、
を、直列に備える。
当業者には、従来技術で開示されているものなどの、部分復号ユニットのための他の実施形態も可能であることが、明らかとなるであろう。このDECpユニットは、符号化フレームの復号およびダウンスケーリングの両方を行なうため、部分復号ユニットと呼ばれる。
本発明に係る復号デバイスは、また、2つの予測ユニットPRED1およびPRED2を備える。図3に示されるように、第1の予測ユニットPRED1は、予測フレームPyの第1の動き補償フィールドを、第1の残留誤差フィールド、基準フレームIxの第1の基準フィールドFix1および/または第2の基準フィールドFix2に基づいて生成するように適合されている。次いで、第1の加算器が、第1の残留誤差フィールドを、第1の動き補償フィールドと合成して、次の第1の基準フィールドFiy1を得るように適合されている。
同様に、第2の予測ユニットPRED2は、第2の動き補償フィールドを、第2の残留誤差フィールド、第1の基準フィールドFix1またはFiy1および/または第2の基準フィールドFix2に基づいて生成するように適合されている。次いで、第2の加算器が、第2の残留誤差フィールドを、第2の動き補償フィールドと合成して、出力フレームに対応する次の第2の基準フィールドFiy2を得るように適合されている。
本明細書において、第1のフィールドは、最上のフィールドであり、第2のフィールドは、最下のフィールドであるが、当業者には、第1のフィールドが、最下のフィールド、第2のフィールドが、最上のフィールドとなり得ることが明らかであろう。加えて、符号化フレームは、ここで、予測Pフレームであるが、両方向の予測Bフレームとすることもできる。
基本的に、現在の符号化フレームの2つのフィールドは、減少された解像度で復号され、それらの1つのみが表示される。1つのフィールドが、所与の時間に表示されるため、インターレースのアーティファクト(artifact)がない。映像品質は、よって、最終的な表示に、最適に適合される。さらに、第1のフィールドは、非表示フィールドであるが、これも復号され、その理由は、表示フィールドの再構築の基準として使用できるためである。MPEG−2規格では、このことは、“フィールド動き補償(Field Motion Compensation)”が適用される場合、特に当てはまる。
勿論、表示フィールドである第2のフィールドが、ディスプレイ解像度(例えばQCIF)で復号される。他のフィールドについては、最も自然な解決策は、同じ解像度で復号することである。これは、サイズおよび転送に関するメモリ要件をもたらし、それは、逆インターレースがない従来技術の組み込まれたリサイジング(embedded resizing)の解決策と比べて、2倍である。このフィールドは、表示されることはないが、単に他の1つを予測するために、ここにあるので、任意の解像度で復号できる。さらなる詳細が、以下の記述において与えられる。
明確にするために、以下の記述は、MPEG−2符号化ビットストリームに基づいており、それは、MPEG−2が、放送の世界において最も標準的な圧縮規格であるためであるが、当業者には、符号化技術は、任意のブロックベースの符号化技術(例えばMPEG−2、MPEG−4、H.264、等)にできることが、明らかであろう。
図3に示された第1の例によると、復号方法は、インターレースの標準解像度SDのシーケンスを、2つのQCIFフィールドを復号することによってプログレッシブQCIFシーケンスに変換するように適合されている。
典型的な入力された空間的解像度は、標準解像度SDであり、これは、720×576で25Hz(PAL)または720×480で30Hz(NTSC)のインターレースフォーマットを意味する。現在、ほとんどの携帯型デバイスは、ほぼQCIF(プログレッシブで180×144または120画素)の画面が備えられている。これは、水平および垂直の両方向において、4の比率で空間的にダウンスケーリングされることを意味する。ここで、リサイジングおよび逆インターレースと、動き補償とをもたらす部分IDCTを、より詳細に説明する。
先に述べたように、VLD復号された8×8DCTマトリックスの低周波内容を用いて、アンチエイリアス低域通過フィルタリングをシミュレートすることができる。第3のアプローチによれば、上側のAC係数がスキップされ、減少されたIDCTが行なわれ、結果として、8×8の代わりにM×N画素の出力データブロックが生じる。
この場合、DCTマトリックスの下側の2×2または4×2係数が、図5で示されるように、マクロブロックヘッダ内のdct_type(フィールドDCTまたはフレームDCT)の値に応じて用いられる。より正確には、インターレースフレーム画像からの16×16画素のインターレースマクロブロックが、フレームDCT符号化され、その4つのブロックのそれぞれが、両方のフィールドからの画素を有する。インターレースフレーム画像からのインターレースマクロブロックが、フィールドDCT符号化される場合、各ブロックは、2つのフィールドの1つのみからの画素からなる。後者の場合では、各16×16のマクロブロックが、画素の交互するラインを取ることによって、幅16画素×高さ8画素のフィールドに分割され、次いで、各フィールドは、左と右の部分に分割され、1つのフィールドから2つの8×8ブロックを、および他のフィールドから2つを、作成する。
この復号の解決策では、表示フレームは、元のフィールドの1つに対応し、これは、元のフレームと比べて、既に、2の因数で縦にダウンスケールされている。このフィールドは、次いで、出力プログレッシブフレームをQCIFフォーマットで得るために、さらに2で縦方向にダウンスケールされ、かつ4で横方向にダウンスケールされる必要がある。dct_typeが1に設定される場合、フィールドDCTが、エンコーダで適用され、よって、4×2のIDCTが行なわれる。逆に、dct_typeが0にセットされると、フレームDCTが、エンコーダで適用され、よって、2つの2×2IDCTが、各フィールドに1つずつの異なるフェーズで行なわれる。
より正確には、16×16マクロブロックの4つの入力8×8DCTマトリックスから、2つの出力4×4画素ブロック(リスケールされた各フィールドに1つずつ)が得られる。このために、修正された逆変換関数が用いられ、これは、以下、IDCT_NxM()と呼ぶ。その引数は、8×8DCTマトリックスF、出力画素ブロックfの予期される大きさN×M(縦にN、横にM)、ならびに正しい画素配列を維持するために適用する必要がある縦および横フェーズシフトφverおよびφhorである。
IDCT_N×Mの定義は、次の通りである(y=0からN−1およびx=0からM−1に関する)。
ここで、f(x,y)は、位置(x,y)における出力画素を表し、F(u,v)は、位置(u,v)における入力DCT係数を表し、C(u)は、次のように定義される。
フェーズについては、これらの値が、フレームIDCTおよびフィールドIDCTモードの間の一致性を所与のフィールドに対して保つように決められており、正しい画素配列が維持される。2つのフィールドの間のフェーズシフトは、より重要性が低く、それは、前記フィールドが、提案された発明では、互いに表示されることはないからである。それでもなお、サブサンプリングされた画素の、元のグリッド上の中央の位置を確保するフェーズが、ボーダー効果を防ぐために好ましい。実際に、切捨て(truncating)DCT係数は、現在のブロック内のみで、理想的な低域通過フィルタリングと同等である。先の表の値により、第1のフィールドFi1に対応する出力画素P1、および第2のフィールドFi2に対応するP2は、図6に示されるように空間的に示される。
これにより、動き補償MCが得られる。特に、動きベクトルが調整され、2つのフィールドの間のフェーズ差が考慮に入れられる。さらに、異なるアプローチを、動きタイプ(フレームまたはフィールドMC)および動きベクトル値の両方に応じて、考慮することができる。
この戦略は、フィールド動き補償(Field Motion Compensation)の場合には、ブーリアン値が、予測に用いられる規準フィールドを明確に与えるため、単純である。
フレーム動き補償により、3つのケースが、元の動きベクトルの縦の成分のMV−yの値(MPEG−2では半画素で表される)に応じて想定される。
―ケース1:MV−yモジュロ4=0
フレーム動き補償プロセスにおいて、フィールドは整列されたままとなり、すなわち、元の補償されたフレームブロックにおいて、最上(または最下)フィールドに対応するラインが、元の基準フレーム内の最上(または最下)フィールドラインによって予測される。よって、リスケールされた動き補償において、各フィールドの予測が、対応するリサイズされた基準フィールドのみを用いて行なわれる。補間を用いて、サブ画素の精度に達することができる。
フレーム動き補償プロセスにおいて、フィールドは整列されたままとなり、すなわち、元の補償されたフレームブロックにおいて、最上(または最下)フィールドに対応するラインが、元の基準フレーム内の最上(または最下)フィールドラインによって予測される。よって、リスケールされた動き補償において、各フィールドの予測が、対応するリサイズされた基準フィールドのみを用いて行なわれる。補間を用いて、サブ画素の精度に達することができる。
―ケース2:MV−yモジュロ4=2
フレーム動き補償プロセスにおいて、最上(または最下)フィールドに対応するラインが、元の基準フレーム内の最下(または最上)フィールドラインによって予測される。よって、リスケールされた動き補償において、各フィールドの予測が、対応するリサイズされた基準フィールドのみを用いて行なわれる。補間を用いて、サブ画素の精度に達することができる。
フレーム動き補償プロセスにおいて、最上(または最下)フィールドに対応するラインが、元の基準フレーム内の最下(または最上)フィールドラインによって予測される。よって、リスケールされた動き補償において、各フィールドの予測が、対応するリサイズされた基準フィールドのみを用いて行なわれる。補間を用いて、サブ画素の精度に達することができる。
―ケース3:その他
予測は、元の基準フレーム内の2フィールド間の半画素補間によって行なわれる。これは、両方のリサイズされた基準フィールドの適切なラインの間の適切なサブ画素補間に変換される。
予測は、元の基準フレーム内の2フィールド間の半画素補間によって行なわれる。これは、両方のリサイズされた基準フィールドの適切なラインの間の適切なサブ画素補間に変換される。
図4に示される他の例によると、復号方法は、第1のフィールドをQCIFフォーマットに、かつ第2のフィールドを1/2QCIFフォーマットに復号することによって、インターレース標準解像度SDシーケンスをプログレッシブQCIFシーケンスに変換するように適合されている。本発明のこの実施形態では、非表示フィールドは、さらに縦にダウンスケールされる。IDCT_N×Mのパラメータ値は、よって、次のようになる(最下フィールドが表示された場合)。
第1のフィールドFilに対応する出力画素P1、および第2のフィールドFi2に対応するP2は、よって、図7に示されるように空間的に位置する。
動き補正は、新たなフェーズに従って得られ、非表示フィールドの新たな大きさに従って得られる。
この実施形態は、CPUおよびメモリリソースが、第1の例において述べられた解決策と比べてさらに減少される必要があるような適応において正当化される。非表示基準フィールドが、ディスプレイよりも小さな解像度であるため、映像品質が、わずかに損なわれ、ぼやけた予測をもたらすが、復号の複雑さは減少される。
当業者には、非表示フィールドの解像度が、表示フィールドの1つの半分以外の値をとり得ることが、明らかであろう。その上、非表示フィールドの解像度は、復号デバイスにおいて利用可能なリソース(バッテリーレベル、CPU、・・・)に応じて、可変にすることができる。例として、表示フィールドに対してN=4およびM=2の場合、およびフレームDCTの場合)、N×Mは、利用可能なリソースに応じて、非表示フィールドに対して、4×2、3×2、2×2、1×2、4×1、3×1、2×1または1×1の値を取ることができる。
放送条件では、符号化映像シーケンスの空間的解像度は、必ずしもSDではない。元のSDシーケンスは、しばしば、符号化される前に、横にダウンスケールされている。これは、最終的に圧縮されたビットレートをさらに減少させる前処理ステージとして機能する。テレビジョンセットに接続されたセットトップボックスなどの、通常の適用では、復号シーケンスは、横に拡大され、表示される前の正しいアスペクト比が回復される。
典型的な空間的解像度は、次の通りである(PALでは576ライン、NTSCでは480ライン)
―SD:ラインごとに720画素
―3/4SD:ラインごとに540画素
―2/3SD:ラインごとに480画素
―1/2SD:ラインごとに360画素
対象とされる適用において、提案された発明は、これらのフォーマット全てに適用することができる。同様に、対象のプログレッシブディスプレイは、QCIF(CIFまたはQVGAフォーマットは、既に市場に存在する)とは異なるものでもよい。これに応じて、入力と出力の空間的解像度の間でスケーリング比を可能な限り近く合致させるように、IDCT_N×Mのサイズを適合する必要があり、かつ、フェーズを設定する必要がある。この比率が、整数値(8×8DCTマトリックスでのn/8の形態)では表現できない場合、好適な解決策は、値を、最も近い整数値に近づけ、大きさがディスプレイ解像度よりも大きい(または小さい)場合は、値を、描画の際に切り取る(crop)(または詰め込む(pad))ことである。
―SD:ラインごとに720画素
―3/4SD:ラインごとに540画素
―2/3SD:ラインごとに480画素
―1/2SD:ラインごとに360画素
対象とされる適用において、提案された発明は、これらのフォーマット全てに適用することができる。同様に、対象のプログレッシブディスプレイは、QCIF(CIFまたはQVGAフォーマットは、既に市場に存在する)とは異なるものでもよい。これに応じて、入力と出力の空間的解像度の間でスケーリング比を可能な限り近く合致させるように、IDCT_N×Mのサイズを適合する必要があり、かつ、フェーズを設定する必要がある。この比率が、整数値(8×8DCTマトリックスでのn/8の形態)では表現できない場合、好適な解決策は、値を、最も近い整数値に近づけ、大きさがディスプレイ解像度よりも大きい(または小さい)場合は、値を、描画の際に切り取る(crop)(または詰め込む(pad))ことである。
先に述べた実施形態に対する改善は、DCTマトリックスの、最も高い縦の成分を使用して、フレームDCTの場合の2つのフィールドを、より良く区別することに存する。
例えば、SD(インターレース)からQCIF(プログレッシブ)への場合は、2×2低周波AC係数が用いられ、2つの2×2画素ブロックを生成する(各フィールドに1つずつ、異なるフェーズで)。これは、2つのフィールド間に、障害をもたらし、それは、奇数ラインが、DCT切捨てを通じて、偶数ラインで汚され、その逆も同様だからである。この問題を克服するやり方は、DCTマトリックス内の係数の最後の列を、使用することである。実際に、これらの周波数は、元のブロックの偶数および奇数ラインの間の差を表すものである。
このより良いフィールド分離を適用することは、著しい映像の向上を、非常に特定の場合において、2つのフィールドが互いに大きく異なる場合にもたらす(例えば、2つのフィールド間のシーンカット、2つのフィールドの1つの間でのフラッシュの発生、等)。これは、利用可能なリソースが十分大きい場合に、追加的な品質改善ツールとして実施することができる。
提案された発明は、圧縮されたインターレース映像シーケンスを復号し、プログレッシブディスプレイにおいて減少された解像度で描画する必要がある、映像能力を有する任意のデバイスに適用することができる。本発明は、CPUの使用、メモリ要件、メモリ帯域幅、待ち時間および電力消費を、完全に連続したプロセスと比べて大幅に減少することを可能にし、一方で、インターレース映像のアーティファクトが、既存の簡略な手法と比べて、除去される。よって、本発明は、リソース(メモリサイズ、処理速度およびエネルギー)が限られており、一方で、延長されたバッテリー寿命および良好な映像品質が重要な特性であり、差別化の要因であるような、携帯型デバイスでのDVB−T受信に特に適している。
本発明のいくつかの実施形態が、単なる例として上に述べられたが、当業者には、添付の特許請求の範囲に定義されたような本発明の範囲から逸脱することなく、述べられた実施形態の修正および変更を作製できることが、明らかであろう。また、特許請求の範囲において、括弧内に置かれたどの参照符号も、特許請求の範囲の限定としては解釈されるべきではない。用語“備える”は、特許請求の範囲に列記されるもの以外の要素またはステップの存在を除外しない。用語“1つの”は、複数性を除外しない。本発明は、いくつかの別個の要素を備えるハードウェアによって、および適切にプログラムされたコンピュータによって実施できる。いくつかの手段を列挙する装置請求項においては、これらの手段のいくつかは、全く同一のハードウェアによって具現化することができる。方法が、相互に異なる独立請求項において述べられているという単なる事実は、これらの方法の組み合わせを有利に使用することができない、ということを示すものではない。
Claims (7)
- 第1の解像度の符号化フレームの組を復号し、より低い解像度の出力フレームの組を生成するとともに、符号化フレームは、符号化第2フィールドとインターレースされた符号化第1フィールドとを備えている、デバイスであって、
―前記符号化フレームに基づいて、前記第1の解像度よりも低い第2の解像度の、第1の残留誤差フィールドと、前記第1の解像度よりも低い第3の解像度の、第2の残留誤差フィールドとを生成するための部分復号ユニットと、
―第1の動き補償フィールドを、前記第1の残留誤差フィールド、第1の基準フィールドおよび第2の基準フィールドに基づいて生成するための第1の予測ユニットと、
―前記第1の残留誤差フィールドを、前記第1の動き補償フィールドと合成して、次の第1の基準フィールドを得るための第1の加算器と、
―第2の動き補償フィールドを、前記第2の残留誤差フィールド、前記第1の基準フィールドおよび前記第2の基準フィールドに基づいて生成するための第2の予測ユニットと、
―前記第2の残留誤差フィールドを、前記第2の動き補償フィールドと合成して、出力フレームに対応する次の第2の基準フィールドを得るための第2の加算器と、
を備えることを特徴とするデバイス。 - 符号化フレームは、複数の符号化データブロックに分割され、
前記部分復号ユニットは、
―前記第2または第3の解像度の変換係数のブロックを、前記第1の解像度の符号化データブロックから生成するためのエントロピー復号ユニットと、
―前記第2または第3の解像度の変換係数のブロックを、量子化変換係数のブロックから生成するための逆量子化復号ユニットと、
―前記第2または第3の解像度の復号係数のブロックを、変換係数の前記ブロックから生成するための逆変換ユニットと、を直列に備える、
ことを特徴とする請求項1に記載のデバイス。 - 前記第2の解像度は、前記第3の解像度と等しい、ことを特徴とする請求項1に記載のデバイス。
- 前記第2の解像度は、前記デバイスで利用可能なリソースに応じて変化することができる、ことを特徴とする請求項1に記載のデバイス。
- 請求項1に記載のデバイスと、出力フレームの組を表示するための画面と、を備えることを特徴とする携帯型装置。
- 第1の解像度の符号化フレームの組を復号し、より低い解像度の出力フレームの組を生成するとともに、符号化フレームは、符号化第2フィールドとインターレースされた符号化第1フィールドを備えている、方法であって、
―前記符号化フレームに基づいて、前記第1の解像度よりも低い第2の解像度の、第1の残留誤差フィールドを生成するステップと、
―前記符号化フレームに基づいて、前記第1の解像度よりも低い第3の解像度の、第2の残留誤差フィールドを生成するステップと、
―第1の動き補償フィールドを、前記第1の残留誤差フィールド、第1の基準フィールドおよび第2の基準フィールドに基づいて生成するステップと、
―前記第1の残留誤差フィールドを、前記第1の動き補償フィールドと合成して、次の第1の基準フィールドを得るステップと、
―第2の動き補償フィールドを、前記第2の残留誤差フィールド、前記第1の基準フィールドおよび前記第2の基準フィールドに基づいて生成するステップと、
―前記第2の残留誤差フィールドを、前記第2の動き補償フィールドと合成して、出力フレームに対応する次の第2の基準フィールドを得るステップと、
を備えることを特徴とする方法。 - プログラムがプロセッサによって実行された場合に、請求項6に記載の方法を実現するためのプログラム命令を備える、ことを特徴とするコンピュータプログラムプロダクト。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP04300280 | 2004-05-14 | ||
PCT/IB2005/051549 WO2005112468A1 (en) | 2004-05-14 | 2005-05-11 | Device for producing progressive frames from interlaced encoded frames |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007537653A true JP2007537653A (ja) | 2007-12-20 |
Family
ID=34967096
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007512699A Withdrawn JP2007537653A (ja) | 2004-05-14 | 2005-05-11 | インターレース符号化フレームからプログレッシブフレームを生成するためのデバイス |
Country Status (7)
Country | Link |
---|---|
US (1) | US8208559B2 (ja) |
EP (1) | EP1751984B1 (ja) |
JP (1) | JP2007537653A (ja) |
CN (1) | CN100551059C (ja) |
AT (1) | ATE401742T1 (ja) |
DE (1) | DE602005008233D1 (ja) |
WO (1) | WO2005112468A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2012532A3 (en) * | 2007-07-05 | 2012-02-15 | Hitachi Ltd. | Video displaying apparatus, video signal processing apparatus and video signal processing method |
CN101159875B (zh) * | 2007-10-15 | 2011-10-05 | 浙江大学 | 二重预测视频编解码方法和装置 |
JP5684823B2 (ja) * | 2009-11-06 | 2015-03-18 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | ハイブリッド映像符号化 |
FR2976395B1 (fr) | 2011-06-10 | 2013-08-02 | Eurocopter France | Systeme d'aide au pilotage et aeronef. |
JP2014082541A (ja) * | 2012-10-12 | 2014-05-08 | National Institute Of Information & Communication Technology | 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5020120A (en) * | 1989-12-22 | 1991-05-28 | Eastman Kodak Company | Methods for reducing quantization error in hierarchical decomposition and reconstruction schemes |
GB2348064A (en) * | 1999-03-16 | 2000-09-20 | Mitsubishi Electric Inf Tech | Motion vector field encoding |
US6647061B1 (en) | 2000-06-09 | 2003-11-11 | General Instrument Corporation | Video size conversion and transcoding from MPEG-2 to MPEG-4 |
US20030021347A1 (en) | 2001-07-24 | 2003-01-30 | Koninklijke Philips Electronics N.V. | Reduced comlexity video decoding at full resolution using video embedded resizing |
-
2005
- 2005-05-11 EP EP05736223A patent/EP1751984B1/en not_active Not-in-force
- 2005-05-11 DE DE602005008233T patent/DE602005008233D1/de active Active
- 2005-05-11 CN CNB2005800151481A patent/CN100551059C/zh active Active
- 2005-05-11 WO PCT/IB2005/051549 patent/WO2005112468A1/en active IP Right Grant
- 2005-05-11 US US11/579,886 patent/US8208559B2/en not_active Expired - Fee Related
- 2005-05-11 AT AT05736223T patent/ATE401742T1/de not_active IP Right Cessation
- 2005-05-11 JP JP2007512699A patent/JP2007537653A/ja not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
EP1751984A1 (en) | 2007-02-14 |
EP1751984B1 (en) | 2008-07-16 |
CN100551059C (zh) | 2009-10-14 |
US8208559B2 (en) | 2012-06-26 |
ATE401742T1 (de) | 2008-08-15 |
US20070223886A1 (en) | 2007-09-27 |
WO2005112468A1 (en) | 2005-11-24 |
CN1954613A (zh) | 2007-04-25 |
DE602005008233D1 (de) | 2008-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6163674B2 (ja) | 高効率次世代ビデオコーディングのためのコンテンツ適応双方向性又は機能性予測マルチパスピクチャ | |
US6385248B1 (en) | Methods and apparatus for processing luminance and chrominance image data | |
US6310919B1 (en) | Method and apparatus for adaptively scaling motion vector information in an information stream decoder | |
KR101197506B1 (ko) | 비디오 유닛 내의 경계 아티팩트 정정 | |
US6931062B2 (en) | Decoding system and method for proper interpolation for motion compensation | |
US20060109904A1 (en) | Decoding apparatus and program for executing decoding method on computer | |
JP2005278168A (ja) | 圧縮された入力ビデオを処理する方法及びシステム | |
US9185417B2 (en) | Video decoding switchable between two modes | |
JP2000050274A (ja) | フィ―ルドモ―ド符号化を含む画像フレ―ムのサイズ変更のための方法及び装置 | |
JP5529161B2 (ja) | ビデオストリームをブラウジングする方法及び装置 | |
US20060067403A1 (en) | Information processing device and information processing method | |
EP1751984B1 (en) | Device for producing progressive frames from interlaced encoded frames | |
US8588308B2 (en) | Method and apparatus for low complexity video encoding and decoding | |
US8767831B2 (en) | Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream | |
JP2002112267A (ja) | 可変解像度復号処理装置 | |
US8848793B2 (en) | Method and system for video compression with integrated picture rate up-conversion | |
JP2013524659A (ja) | ハンドヘルド及びモバイル用途に適した低減された記憶容量及び処理要求を有するブロードキャストビデオレコーダ | |
JP2000175199A (ja) | 画像処理装置及び方法、並びに提供媒体 | |
JP2004354593A (ja) | 画像サイズの変更方法及装置 | |
WO2014163903A1 (en) | Integrated spatial downsampling of video data | |
KR20030005198A (ko) | 프레임 타입 종속형의 복잡성이 감소된 비디오 디코딩 | |
KR20070023732A (ko) | 인터레이스 인코딩 프레임으로부터 프로그레시브 프레임을생성하는 장치 | |
Chan et al. | HDTV down-conversion using a drift reduction scheme | |
JP2003143603A (ja) | 画像復号装置 | |
WO2008029346A2 (en) | Video decoding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080509 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080605 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20091019 |