JP4294095B2 - 動き補償予測処理及び、動き補償予測処理を用いた符号化器 - Google Patents
動き補償予測処理及び、動き補償予測処理を用いた符号化器 Download PDFInfo
- Publication number
- JP4294095B2 JP4294095B2 JP52110898A JP52110898A JP4294095B2 JP 4294095 B2 JP4294095 B2 JP 4294095B2 JP 52110898 A JP52110898 A JP 52110898A JP 52110898 A JP52110898 A JP 52110898A JP 4294095 B2 JP4294095 B2 JP 4294095B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- coefficients
- image
- reconstructed
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
- H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
このような技術を使用する符号化器は、例えばMPEG(動画専門化グルーム)規格に記載され知られている。
これらの符号化器では、画像を画像ブロックに分割し、係数ブロックを得るためにこれらのブロックを離散コサイン変換し、これらの係数の量子化を行い、可変長符号化を行う。
イントラ型の符号化では、上述の処理に従って、画像固有の要素のみ使用する。
インター型の符号化では、前の画像の動き補償をするために、例えば、前の画像と現在の画像の動き推定を行い、このようにして予測画像を得、そして、現在の画像と予測画像の間の差に対して符号化が行われる。
コサイン変換は、空間的冗長度を削除し、動き補償は時間的冗長度を削除することができる。
一端では、復号器は、受信機に復号画像を送るために逆動作を行う。
様々な現在の又は将来の受信機のための符号化器あるいは、それらに付随した復号器の互換性、特に、それらに許された様々な画像解像度が、常に問題となる。使用されるこれらの圧縮アルゴリズムは一般に、空間、時間冗長度を考慮して、最良な画質のための可能な限り低いビットレートを得るようになされる。最も大きな解像度の受信機に対するデータが伝送され、低い解像度に関連する受信機や復号器は、自分の解像度に必要なデータのみを選択するようにして解決することが知られている。符号化回路は、高い解像度の画像に対応したディジタルビデオ画像を処理できるように選ばれて、構成される。画像は画像ブロックに分割され、現在の画像ブロック又は以後説明する残余ブロックに離散コサイン変換が行われ、得られた係数が量子化される。そして、画像ブロックを再構成するために、これらの量子化された係数に、逆量子化と逆離散コサイン変換が行われる。これらの記憶したメモリから画像が再構成される。予測された又は動き補償された画像を与えるために、動き補償が行われる。エネルギー基準に従って符号化タイプを決定するために、現在のブロックが、予測画像の対応するブロックと比較される。これは、例えば、現在のブロックのイントラ符号化か、残余ブロックとして参照される現在のブロックと予測ブロックの差のインター符号化である。
対応する動作が、復号器においても行われる。
復号器は逆量子化を行い、画像ブロックを再構成するために受信ディジタルデータの逆離散コサイン変換を行い、画像を完成する。この場合には、受信機に接続された復号器は、符号化された画像よりも低解像度の画像を供給する。例えば、低解像度の受信機と接続しているので、画像ブロックの全ての係数は処理されるわけではない。復号器は、高周波数の係数を捨て、その解像度に必要な係数のみを選択し、又は、接続された受信機の解像度の画像を再構成する。従って、復号器で再構成された画像は、復号器の解像度である。現在のブロックを再構成するために、低解像度のこのブロックの画像は、符号化器によって伝送された残余ブロックと比較される。そして、ドリフトと称される良く知られた現象が現れる。これは、復号器で再構成された画像は、符号化器で再構成された画像の解像度と同じではないことに由来する。復号器によって受信された残余ブロックに加算されて再構成された画像ブロックは、この残余ブロックを計算するために符号化器で得られた画像とはわずかに異なる。このドリフトは、インターモードで符号化された画像の処理に沿って増幅される。この結果、復号器から出力される画像の画質は劣化する。
異なった解像度の復号器の様々な形式と符号化器の互換性を維持することができるために、一般には、各解像度に対する特定の符号化を行うことは可能ではない。解決方法は、最大の解像度に対する符号化を行い、この符号化は解像度に関わらず全ての復号器で使用される。これにより、ドリフト現象と、制御できない画質劣化が出現する。
本発明の目的は、以下に説明するように、上述した欠点を除くことである。
本発明の主題は、ビデオ画像のディジタルデータの符号化ための動き補償予測処理であって、画像を画像ブロックに分割し、現在のブロックと予測ブロックの差の計算に基づいて残余ブロックの符号化を行い、1つ又はそれ以上の再構成ブロックの動き補償後に、予測ブロックを得る符号化処理で、現在のブロックと予測ブロックは、離散コサイン変換後に得られる係数のブロックであり、再構成は対応する予測ブロックに残余ブロックを加算することに基づいて行われ、係数の予測ブロックの予測係数の計算は、再構成された係数の1つ又はそれ以上のブロックの再構成された係数に基づいて、計算された予測係数の関数として再構成された係数に重み付けをすることにより、直接行われることを特徴とする。
本発明の他の主題は、画像を画像ブロックに分割する回路と、係数のブロックを得るためにこれらのブロックの離散コサイン変換を行う回路と、動き補償回路を有する予測ループを有するディジタルビデオデータの符号化器であって、残余ブロックの係数を供給するために、係数の現在のブロックと係数の予測ブロックの差の計算をする回路を有し、再構成は対応する予測ブロックに残余ブロックを加算することに基づいて行われ、動き補償回路は、1つ又はそれ以上の再構成された係数のブロックから計算された予測係数の関数として再構成された係数に重み付けをすることにより、係数の予測ブロックの係数を直接計算することを特徴とする。
本発明の他の主題は、上記タイプの符号化器によって符号化された残余係数のブロックの復号をするためのディジタルビデオデータの復号器であって、係数の予測ブロックを1つ又はそれ以上の再構成された係数のブロックを基に直接計算する動き補償回路を有する予測ループと、係数の再構成ブロックを供給するために、係数の予測ブロックと共に、受信された係数の残余ブロックの合計を計算する回路を有することを特徴とする。
発明によると、再構成された係数の重み付けは、これらの再構成された係数から直接予測ブロックの係数を計算することを可能とする。
重み付けは、計算された予測係数の階数と等しいか又は小さい周波数階数の係数のみを考慮して、これらの係数の選択であっても良い。このようにして、符号化器は、ドリフト現象の発生が無く、いくつのの係数でも処理できる。画像ドリフト現象の削除とともに、多種の解像度の互換性は維持される。
係数は、画質のレベルにグループ化される。そして、この重み付けは、計算された予測係数が属するグループの係数の選択であっても良い。
このように、本発明の優位性は、使用される復号器の様々なタイプの関数として、画質の様々なレベルを符号化器のレベルにおいて定義し、復号器で処理される係数の所定数による画質劣化を制限することを可能とする。
高周波数階数の係数を、削除するよりも重み付けすることにより、ドリフトによる画質損失と、高周波数階数の係数を捨てることによる画質劣化の間の最も良い妥協を選択できる。
本発明は、以下の図面と説明により更に良く理解できるであろう。
図1は本発明による符号化器を示す図である。
図2はMPEG2規格を用いた予測ブロックの計算ステップを示す図である。
図3は予測係数の計算のために選択された再構成された係数を示す図である。
図4はMPEG2規格を用いた、予測ブロックの係数の計算に使用する係数と輝度を示す図である。
図5は本発明の予測係数の計算のために選択された再構成された係数を示す図である。
図6画質レベルの様々なタイプを示す図である。
図7は本発明の復号器を示す図である。
図1は本発明によるインタータイプの符号化の場合の符号化器の実施例を示したものである。例えば、MPEG規格の双方向タイプのような他のタイプの拡張も容易である。
ビデオ画像を表現するディジタル情報は、符号化器の入力、つまりDCTと称す離散コサイン変換1の入力に送られる。この回路の出力は、減算回路2の第1入力に接続している。減算回路の出力は量子化器3の入力に接続している。量子化器の出力は1つは可変長符号化器4又はVLCの入力に接続し、VLCの出力は符号化データのストリームを供給する符号化器の出力である。
量子化器3は、逆量子化器5の入力にも接続している。逆量子化器の出力は、加算回路6の第1入力に接続している。加算器の出力はメモリ7の入力に接続している。メモリの出力は、時間領域の動き補償回路8の入力に接続している。動き補償回路の出力は加算器6の第2入力と共に、減算器2の第2入力に接続している。
MPEG2規格において行われている現在の画像ブロックの輝度値と予測画像ブロックの輝度値との間の差の離散コサイン変換を行うというよりも、本発明はここで、符号化器の入力に転送された現在の画像ブロックの離散コサイン変換を最初に行い、そして次に、係数の現在のブロックと係数の予測ブロックの差を計算する。
符号化器に入力する画像ブロックは、空間領域から周波数領域に移行させることができる離散コサイン変換回路1によって係数のブロックに変換される。係数のブロックと予測と称されるであろう係数のブロックの差がとられ、そこから予測ループが始まる。この差は係数の残余ブロックと称されるであろう係数のブロックを供給する。
このブロックの量子化は量子化回路3により、重み付けとデータのシリアル化を可能とするジグザグ走査を用いて行われる。量子化器から転送されたデータの流れに対して、エントローピー符号化が最終的に可変長符号化回路4により行われる。符号化されたデータストリームは符号化器から出力される。
量子化器3によって行われたこれらと逆の動作が、逆量子化器5によって行われる。このように、再構成された係数の残余ブロックは加算器6に入力する。この残余ブロックに対して加算器6によって係数の残余ブロックを計算するのに使用する係数の予測ブロックが加算される。この加算によって得られた係数の再構成されたブロックは、次にメモリ7に記憶される。画像の前ブロックが符号化器の入力に転送されたとき、メモリは再構成された係数のブロックの組を有する。これらのブロックは、周波数領域の動き補償回路8に送られる。再構成された係数のブロックを基に、周波数領域の動き補償回路によって係数の予測ブロックが計算される。
画像の現在のブロックが伝送され、減算器2の第1入力に伝送されたとき、本図には図示していない動き推定器は、例えばブロックマッチングのような従来の方法による現在の画像のブロックと最も良く相関がある前の画像の対応するブロックが計算する。現在の画像ブロックと一致する前の画像のブロック又は部分として定義される動きベクトルがそこから得られる。
この現在のブロックに割り当てられた動きベクトルは、動き補償回路8へ送られる。動き補償回路は、動きベクトルにより転置された現在のブロックに対応する係数の予測ブロックを計算するのに有用なブロック又は複数のブロックについて、記憶された前の画像の再構成ブロックの中を検索する。係数のこの予測ブロックは、係数の残余ブロックを供給するために、減算器2によって、係数の現在のブロックから減算される。係数の予測ブロックは、また、メモリ7に記憶された係数の再構成ブロックを供給するために、加算器6により、係数の残余ブロックに加算される。
動き補償回路8は、記憶回路、予測ループと共に構成される。
本発明の動き補償回路8の機能を正しく評価するために、最初にMPEG2規格に従った動き補償処理を利用する動き補償回路の動作を検討することが必要である。即ち、動き補償が空間領域の画像に対して適用される。
この仮定をするために、動き補償回路の入力に送られた再構成されたブロックは係数のブロックであり、MPEG2規格は、空間領域の画像を得るために、逆離散コサイン変換を行う。この画像は、次に動き補償され、そして、係数の予測ブロックを供給するために、動き補償された画像に対して離散コサイン変換が行われる。
図2は、画像レベルのこれらのステップを示す。
図において、予測画像の1ブロックのみが、そして、再構成画像の4ブロックが示されている。簡単化のために、4x4の係数のブロックに対して説明する。64個の係数のブロックへの拡張は容易である。
このように、周波数画像9は、4x4の4ブロックにより定義されメモリ7の出力で有効であり、8x8画素よりなる空間画像10を与えるために逆離散コサイン変換が行われる。4x4画素の画像部分11は、いわゆる画像ブロックの大きさであり、動きベクトルと、処理された現在の画像の現在の位置により定義され、予測画像の4x4画素12の予測画像ブロックを供給するために、動きベクトルの値によって転置されている。MPEG2タイプの動き補償回路によって出力されるこの予測画像ブロック12は、4x4予測係数14よりなる係数の予測ブロック13を与えるために、離散コサイン変換を行われる。
各予測係数14は、離散コサイン変換の定義に従って予測画像ブロック12を構成する全ての画素の輝度値の重み付け合計である。この場合、画像部分11の画素の輝度値は、輝度の計算がされる画素に関連した画像ブロックに対応した係数のブロックの4x4係数から定義される。図2では、画像部分11は画像10を構成する4画像ブロックに亘っているので、周波数画像9の8x8係数が、この画像部分11の輝度の計算に関係する。
このように、係数13の予測ブロックの係数14の計算は、例えば、画像部分11が重なる前の画像の再構成された周波数の4つのブロックの全ての係数を使用する。図3は、再構成された係数9から予測係数14を計算することを示している。
数学的には、1次元のモデルと、画素のステップサイズの動きベクトルにより定義されるブロックの転置を仮定する。
ブロックiの予測係数は、離散コサイン変換を適用することにより、対応する予測画像ブロックから得られる。
f’i,xをこの画像ブロックiの画素xの値とする。Fi,uを画像ブロックiに対応する係数のブロックの周波数階数uの係数値とする。
図4はこれらの様々な係数を示す。
細長の四角15は、時刻t−1に対応する8個の係数の2つのブロックjとj+1を示す。同様に、逆離散コサイン変換を計算することにより、係数のこれらのブロックから得られる画像ブロックjとj+1は、16に示されている。
時刻tにおける現在のブロックに対応する予測画像ブロックiは17に示されている。このブロックは、18に示される予測係数のブロックを供給するために離散コサイン変換が行われる。
このブロック17は、現在のブロックのために計算された、大きさvの動きベクトルにより転置された現在のブロックの位置に対応した画像部分から得られる。図の例のように、ブロックj+1のk画素の重なりをもって、逆転置は、ブロックiからブロックjへ向かって対応する。
逆DCT処理は、次の式に対応する。
Ax,u=cos[II(2x+1).u/16]/2
uは正であり、Ax,0=1/2√2。
一般的な場合には、ブロックiは2つのブロックjとj+1に重なる領域から予測される。
xが7−kより小さい場合には、f’i,x=fj,x+k
xが7−kより大きい場合には、f’i,x=fj+1,x-k
jとkは、考慮される方向の動きベクトルvの成分に依存する。
j=i+v/8 ここで除算はユークリッドである。
k=v−8(j−i)。
kは、剰余であり、それゆえ重なりを表す。
前記の式は:
画素値は、逆離散コサイン変換を通して得られる:
これにより
を得る。
但し、
である。
Bu,v,kは、8の倍数足すk画素による転置に関するF’i,uの予測をするための係数Fj,vの貢献度係数である。
k=0に対しては、転置は8の倍数であり、予測ブロックは動きベクトルによって指定されたブロックの単なるコピーである。
この数学的な展開は、再構成された空間画像の動き補償の中間ステップを通らずに、予測係数を再構成された係数から直接計算することが可能であることを示す。現在のブロックに付随した動きベクトルは、係数の予測ブロックの計算に関係した係数の再構成されたブロックを定義することを可能とする。
所定の周波数階数に対応する係数14の予測は、周波数画像の高周波数の係数を使用するということを図2で示した。これにより、前述したように、復号器の解像度に対応したある周波数の階数までの画像の係数のみを使用する低解像度の復号器では、ドリフト現象が出現する。
本発明の1つの考えは、符号化器のレベルで、低いか等しい周波数階数の係数のみを基にした所定の周波数階数の係数の計算により、予測ブロックの様々な係数を、再構成されたブロックの係数から直接符号化することである。
デコーダのレベルで最大の解像度の場合には、画像がわずかに劣化する結果となる。これは、所定階数の係数の計算の際に、高周波数階数の係数を捨てるためである。しかし、画質劣化は、前に定義したドリフトの消失により制御され,それゆえ、時間と共に増加しない。
この原理で、様々なタイプの復号器または、いわゆる所定の解像度であるが受信データの劣化が起こったときには低い解像度に切り替えできる他の安全なタイプの同時利用ができる。復号器は、いずれかの係数の組を受信し、要求解像度に対応した処理をするために、それを処理する。例えば、受信した情報全てを処理できない安価な低解像度の受信機であったり、あるいは、受信データが正しくなかったり、または、前にある回数のフィルタがかけられた係数を受信することによるためである。
例えば、低周波数の係数のみは、これらは大部分の情報を持っているのだが、エラーに対して保護がかけられる。受信状態が良い場合は、復号器は受信した全ての係数を処理する。受信状態が悪い場合には、他の高周波係数を落として、再構成することができるであろう保護された係数のみを処理する。
ATMネットワークでは、符号化器は低周波係数を運ぶパケットに高い優先度を付けて、データを送信できる。ネットワークが過負荷の場合には他のデータに対応したパケットは使用されないか又は送信されない。
図5は、図3と関連し、再構成された係数から予測係数の計算を図示したものである。そのような計算は、発明の動き補償器により行われる。予測ブロックの係数19は、この例では、動きベクトルによって定義された係数の再構成ブロック各々の等しいかまたは低い周波数階数の再構成された係数20の関数として計算される。
これは、数学的には、F’i,uを与える前記式から得られる下記の式により与えられる。
画像ブロックiに対応する係数のブロックiの予測係数F’i,u、周波数階数uの係数の計算は、周波数階数vが周波数階数uより低いか等しい係数の再構成ブロックの係数Fj,vとFj+1,vの関数として行われる。
この理屈は、画素解像度の動きベクトルの場合に適用される。動き推定器によって動きが計算される更に一般的な場合には、画素内空間の分数である。それは、単純に、補間公式を用いて上記式を結合すれば十分である。例えば、2分の1画素のバイリニア補間を用いると上記式は次のようになる。
この技術によって、復号器は、復号を終わらせたい周波数階数を選択できる。これは、64個の係数のブロックのための64レベルの品質まで許される。これらのレベルは、品質レベルとして参照され、復号後の画質は、予測係数を計算するのに使用した係数の数に依存する。復号器によるこの選択は、ドリフト現象の出現無しになされる。
本発明の変形は、符号化器で画質のレベル数を定義することを有する。
所定の応用で64レベルが必要とされない場合、レベル数を減少することが可能であり、これで、高周波数の係数を基にした係数の予測を許すことにより、画質を高めることができる。例えばその係数は、1つのそして同じグループの要素となり、係数のグループ化はレベルを定義する。
図6は、品質のレベルの選択の様々な例を示したものである。周波数領域の画像ブロックよりなる64個の係数を含み、前に周波数画像として参照した、即ち画像ブロックの離散コサイン変換後の画像であり、横座標は画像の水平周波数を示し、縦座標は、垂直周波数を示す。係数は、左上方を起点として番号付けられたローとコラムに配列され、上方及び左方の係数は低周波数階数を示す。DC係数は左上方である。
太線は、品質レベルの限界を定義する。この線の上方および左方の係数は、下方又は右方の係数にアクセスできない。
64個の周波数係数からなる周波数画像21は、64レベル可能であり、各64個の係数は、小さいか等しい階数の係数から計算される。すなわち、計算された係数のローとコラムより小さいか又は等しいローとコラムの係数である。これは、実施例に図示されている場合である。
周波数画像22と23はそれぞれ、8レベルと4レベルの品質が可能である。
周波数画像24は、品質の1レベルのみが可能であり、係数の計算は周波数階数に関わらず全ての係数を考慮に入れる。
後者の場合は、画質は最適である。
周波数画像23の品質の最後のレベルは、低いレベルの係数の計算は更に低い階数の係数を使用するという事実のために、周波数画像22の最後のレベルよりも高い品質レベルを与える。
レベルの決定は符号化器で予め行われる。もし64レベルの品質が要求されていないなら、符号化器は、例えば単に4レベルの選択をしても良い。復号器は、64レベルが維持された場合よりも、処理される同数の係数に対して、良い品質が得られよう。
例えば、最初の16個の係数、即ち、画像23に対する1から3レベルに対応するまたは画像22に対する1から4レベルに対応する係数、のみ処理されるように設計された復号器は、もし符号化器が、送信されるべき係数を単に低階数の係数から各係数を計算する代わりに、これらのレベルの関数として計算するなら、更に良い品質の画像を与える。後者の計算は、必要ではない所定の64レベルの品質を与える。符号化器は勿論、低階数に対応する他の係数、画像23に対しては4レベル、画像22に対しては5から8レベルの、を同時に送信することができる。これらのレベルは、より良い解像度の受信機に対応した又は、動作中に前述したようにデータの受信状態のに改善応じてより高い画質レベルに切り替わることが許される復号器により使用される。
所定レベルの解像度の復号器及び、それゆえ係数の数nのみ処理できる復号器は、画質の様々なレベルを処理できるように設計されても良い。例えば、受信状態の関数として、最小レベルでは、即ち、復号器により処理されるnより小さい階数の係数を使用する。
符号化中に符号化器により決定される1つのレベルから他のレベルへ切りかえることは全く可能であり、その後、復号器により受信されるデータのストリームにより情報が伝送される。例えば、符号化器が、符号化中に変更できる量子化重みマトリックスを伝送するのと同様の方法である。ここで、8x8貢献マトリックスを含み、それは、各係数に対して前もって定義されたコードにより、予測係数は低階数の係数の関数として計算されるべきであるか、右の高階数の係数の関数として計算されるべきであるかを、識別することを可能とする。
このマトリックスは、復号器で使用するために、圧縮データのストリームと共に伝送されるであろう。
本発明は、それゆえ、伝送された全ての係数を使用する復号器に最大の品質を与えるが、低い領域のデコーダにかなりのドリフトを起こす単一レベル(画像24)を用いた符号化の使用と、わずかに画質劣化するがどのようなタイプの復号器にもドリフトを起こさない64レベル(画像21)を用いた符号化の使用の間の、第1の妥協を可能とする。
第2の妥協は、所定の周波数階数の予測係数の計算に、高周波数階数の係数の重み付けが考慮されることにより可能である。
2値の代わりに、予測係数の計算に関して、再構成された係数の貢献の選択、が重み付けされる。係数の予測では、再構成された係数の組(前の画像)を、vがuより大きい場合には0と1の間の値が又、vがuより小さいか等しい場合には1が乗される貢献係数Bu,v,kと共に使用する。
このように、重み付けと共に計算された全ての係数を使用する復号器では、この重み付けによって係数は符号化器で完全に使用されていないという事実により画像はわずかに劣化する。しかし、係数の幾つかを利用する復号器では、重み付けによるのと同様に高階数の係数が符号化器で部分的に利用されていることで、ドリフトが減少される。
貢献係数Bu,v,kは1回全てに対して計算され、テーブルに記憶される。記憶するデータの数を減少するために、対称な係数が削除される。図1の動き補償回路8は、他の処理の間に、前記した式に従って、予測係数の計算のための行列の乗算を行う。
勿論、係数のグループ化を画質のレベルに結合し、品質の所定レベルのグループに属する係数の関数として後者を行うことによる重み付けが可能である。
図7は,本発明を実行する復号器の実施例を示す。
符号化器により伝送されたデータのストリームは、可変長復号回路25の入力でもあるデコーダの入力で受信される。データは、次に、逆量子化器26に送られる。逆量子化器26の出力は、加算器27の第1入力に接続されている。加算器の出力は、ここで説明されるデコーダ部の出力である逆離散コサイン変換回路28と記憶回路29に接続される。記憶回路の出力は、周波数領域の動き補償回路30に接続されている。動き補償回路の出力は、加算器27の第2入力に接続されている。
復号器25は符号化器からのデータを受信し、解像度レベルまたは復号器のレベルに従って、他のデータの中から復号し選択する。逆量子化係数の現在の残余ブロックは、逆量子化器26により加算機27の第1入力へ送られる。予測ブロックは第2入力で受けられ、加算器は係数の再構成された現在のブロックを出力する。IDCT回路28によりこのブロックの逆離散コサイン変換が行われた後、現在の画像ブロックが再構成され、この図では図示していない画像メモリに伝送され、そして受信機に伝送される
この画像は、表示のみが意図されており、以下の画像の復号に含まれない。特徴は、独立で、それゆえ、品質と解像度を選択することを可能とする。例えば、符号化器により処理された64個の係数のうち低周波数の16個の係数を考慮する符号化器を考えるとする。表示される画像は同じ分解能であろうが、失われた係数にゼロ値を用いて8x8逆離散コサイン変換を使用する符号化器の品質よりも低品質である。又は、代わりに、4x4逆離散コサイン変換の使用によりこの画像は低分解能であろう。
係数の再構成されたブロックは、画像レベルでメモリ29に記憶される。これは、デコーダにより利用される係数のみを含む。数は、復号器の分解能のレベルに依存する。
動き補償は復号器と同じ方法で行われる。即ち、予測係数の計算は、もし、符号化器レベルでそうならば、計算されたものよりも低いか等しい周波数階数の再構成された係数のみを考慮する。
この予測ブロックの係数は、動きベクトルと現在のブロックにより定義された再構成されたブロックからこのように計算される。これらの再構成された係数は、復号器の分解能に対応した係数であり、高周波数階数の係数は捨てられる。
考慮された再構成された係数はまた、符号化器によって前もって定義された所定の品質のレベルに対応する係数であろう。復号器により処理される品質レベルに関する全ての係数は考慮される。
符号化器が1つの品質レベルのみ利用するときには、即ち、64個の再構成された係数の組から予測係数を計算するときには、周波数画像24の場合は、MPEG2復号器と互換性が維持される。
Claims (10)
- 画像の画像ブロックへの分割と、画像ブロックの動きの推定と、係数の現在のブロック与えるための画像ブロックの離散コサイン変換(1)と、現在のブロックと予測ブロックの差の計算(2)より得られた残余ブロックの量子化と、量子化された残余ブロックの逆量子化(5)と、係数の再構成されたブロックを与えるための予測ブロックへの加算とを有するビデオ画像のディジタルデータの符号化のための方法であって、係数の再構成されたブロックを記憶(7)し、動きの推定に基づいて再構成されたブロックの動き補償(8)を行い、予測ブロックにまたがる補償され再構成されたブロックの係数の対応する線形結合を求めることにより、次いで、計算された予測係数の周波数階数よりも大きな周波数階数の再構成された係数に線形結合内で更に重み付けをすることにより、予測係数のブロックの係数それぞれを計算(8)することを特徴とする方法。
- 各再構成された係数の重み付けは選択である、即ち、ゼロか1かであることを特徴とする請求項1記載の方法。
- 画像の品質のレベルは、係数のブロックの係数のグループ化により決められ、品質レベルの高いものには高周波数階数の係数が考慮され、また、計算された予測係数の品質レベルに対応する係数に対しては重み付けが1であることを特徴とする請求項1記載の方法。
- 計算された予測係数の品質のレベルより高い品質のレベルに対応する係数に対してはゼロであることを特徴とする請求項3記載の方法。
- 画像の画像ブロックへの分割のための回路と、画像ブロックの動きの推定器と、係数の現在のブロック与えるための画像ブロックの離散コサイン変換のための回路(1)と、残余ブロックを得るために現在のブロックから減算する予測ブロックの減算器(2)と、残余ブロックの量子化のための回路(3)と、量子化された残余ブロックの逆量子化のための回路(5)と、係数の再構成されたブロックを与えるために逆量子化されたブロックを予測ブロックへ加算する加算器(6)を有する請求項1によるビデオ画像の符号化のためのディジタルデータの符号器であって、再構成されたブロックを記憶するメモリ(7)と、動き推定に基づいてこれらのブロックを補償するための再構成され記憶されたブロックための動き補償器(8)と、予測ブロックにまたがる補償され再構成されたブロックの係数の線形結合を求めることにより、次いで、計算された予測係数の周波数階数よりも大きな周波数階数の再構成された係数に線形結合内で重み付けをすることにより、予測係数を計算する回路(8)とを有することを特徴とする符号器。
- 量子化された残余ブロックを受ける逆量子化回路(26)と、再構成ブロックを与えるために逆量子化された残余ブロックへ予測ブロックを加算する加算器(27)とを有する請求項1記載の処理による圧縮ディジタルデータの復号器であって、再構成されたブロックを記憶するメモリ(29)と、再構成され記憶されたブロックのための動き推定に基づいた動き補償器(30)と、予測ブロックにまたがる補償され再構成されたブロックの係数の線形結合を求めることにより、次いで、計算され予測された係数の周波数階数よりも大きな周波数階数の再構成された係数に線形結合内で重み付けをすることにより、予測されたブロックの係数を計算する回路(30)と、
復号画像を供給するために再構成されたブロックの逆離散コサイン変換を行うための回路(28)とを有することを特徴とする復号器。 - 重み付けは計算された予測係数の周波数階数よりも低い周波数階数の係数のみを選択することを特徴とする請求項6記載の復号器。
- 予測係数の計算のための重み付け値は、復号器により受信されるディジタルデータのストリームに属するディジタルデータであることを特徴とする請求項6記載の復号器。
- 逆離散コサイン変換回路(28)は、復号器の分解能に対応した係数の数に制限された大きさのブロックについて変換を行うことを特徴とする請求項6記載の復号器。
- 係数のブロックの大きさの貢献マトリックスに関係した情報を有し、そのマトリックスの各要素は予測係数の計算のための再構成された係数に対応する重み付けを表すデータストリームを有することを特徴とする請求項1記載の処理に従って符号化された圧縮ディジタルデータのストリームを伝送するための方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR96/13614 | 1996-11-07 | ||
FR9613614A FR2755527B1 (fr) | 1996-11-07 | 1996-11-07 | Procede de prediction compensee en mouvement et codeur utilisant un tel procede |
PCT/FR1997/001996 WO1998020457A1 (fr) | 1996-11-07 | 1997-11-06 | Procede et dispositif de prediction compensee en mouvement |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001503584A JP2001503584A (ja) | 2001-03-13 |
JP4294095B2 true JP4294095B2 (ja) | 2009-07-08 |
Family
ID=9497432
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP52110898A Expired - Fee Related JP4294095B2 (ja) | 1996-11-07 | 1997-11-06 | 動き補償予測処理及び、動き補償予測処理を用いた符号化器 |
Country Status (8)
Country | Link |
---|---|
EP (1) | EP0937291B1 (ja) |
JP (1) | JP4294095B2 (ja) |
KR (1) | KR100541623B1 (ja) |
CN (1) | CN1122247C (ja) |
AU (1) | AU5058098A (ja) |
DE (1) | DE69712087T2 (ja) |
FR (1) | FR2755527B1 (ja) |
WO (1) | WO1998020457A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6590938B1 (en) | 1999-09-30 | 2003-07-08 | Conexant Systems, Inc. | DCT domain conversion of a higher definition signal to lower definition signal |
ES2351306T3 (es) * | 2002-04-18 | 2011-02-02 | Kabushiki Kaisha Toshiba | Procedimiento y dispositivo para la codificación de imágen en movimiento. |
KR100612849B1 (ko) * | 2003-07-18 | 2006-08-14 | 삼성전자주식회사 | 영상 부호화 및 복호화 장치 및 방법 |
KR100647297B1 (ko) * | 2003-11-26 | 2006-11-23 | 삼성전자주식회사 | 컬러영상의 레지듀변환/역변환 방법 및 장치, 그를 이용한컬러영상 부호화/ 복호화 방법 및 장치 |
US8050331B2 (en) * | 2005-05-20 | 2011-11-01 | Ntt Docomo, Inc. | Method and apparatus for noise filtering in video coding |
JP4417919B2 (ja) * | 2006-03-31 | 2010-02-17 | 株式会社東芝 | 画像符号化装置及び画像復号化装置 |
KR20090095012A (ko) * | 2008-03-04 | 2009-09-09 | 삼성전자주식회사 | 연속적인 움직임 추정을 이용한 영상 부호화, 복호화 방법및 장치 |
CN102113326A (zh) | 2008-08-04 | 2011-06-29 | 杜比实验室特许公司 | 重叠块差异估计和补偿体系结构 |
KR101675116B1 (ko) | 2009-08-06 | 2016-11-10 | 삼성전자 주식회사 | 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
KR101474756B1 (ko) | 2009-08-13 | 2014-12-19 | 삼성전자주식회사 | 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치 |
KR101504887B1 (ko) | 2009-10-23 | 2015-03-24 | 삼성전자 주식회사 | 데이터 단위 레벨의 독립적 파싱 또는 복호화에 따른 비디오 복호화 방법 및 그 장치, 그리고 데이터 단위 레벨의 독립적 파싱 또는 복호화를 위한 비디오 부호화 방법 및 그 장치 |
KR101457396B1 (ko) | 2010-01-14 | 2014-11-03 | 삼성전자주식회사 | 디블로킹 필터링을 이용한 비디오 부호화 방법과 그 장치, 및 디블로킹 필터링을 이용한 비디오 복호화 방법 및 그 장치 |
GB2481856A (en) * | 2010-07-09 | 2012-01-11 | British Broadcasting Corp | Picture coding using weighted predictions in the transform domain |
EP3021591A1 (en) | 2011-06-28 | 2016-05-18 | Samsung Electronics Co., Ltd. | Apparatus for decoding video accompanied with context-based arithmetic decoding |
JP2014187580A (ja) * | 2013-03-25 | 2014-10-02 | Kddi Corp | 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、およびプログラム |
KR101464979B1 (ko) * | 2013-04-02 | 2014-11-25 | 삼성전자주식회사 | 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치 |
KR101464980B1 (ko) * | 2013-04-02 | 2014-11-25 | 삼성전자주식회사 | 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치 |
CN117490002B (zh) * | 2023-12-28 | 2024-03-08 | 成都同飞科技有限责任公司 | 基于流量监测数据的供水管网流量预测方法及*** |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06197334A (ja) * | 1992-07-03 | 1994-07-15 | Sony Corp | 画像信号符号化方法、画像信号復号化方法、画像信号符号化装置、画像信号復号化装置及び画像信号記録媒体 |
CA2164627A1 (en) * | 1994-04-22 | 1995-11-02 | Touradj Ebrahimi | Method and device for encoding image signal and image signal decoding device |
JP3058028B2 (ja) * | 1994-10-31 | 2000-07-04 | 三菱電機株式会社 | 画像符号化データ再符号化装置 |
KR0169657B1 (ko) * | 1994-12-19 | 1999-03-20 | 배순훈 | 동영상 부호화기 |
-
1996
- 1996-11-07 FR FR9613614A patent/FR2755527B1/fr not_active Expired - Fee Related
-
1997
- 1997-11-06 AU AU50580/98A patent/AU5058098A/en not_active Abandoned
- 1997-11-06 KR KR1019997003922A patent/KR100541623B1/ko not_active IP Right Cessation
- 1997-11-06 EP EP97913268A patent/EP0937291B1/fr not_active Expired - Lifetime
- 1997-11-06 CN CN97199526A patent/CN1122247C/zh not_active Expired - Fee Related
- 1997-11-06 DE DE69712087T patent/DE69712087T2/de not_active Expired - Lifetime
- 1997-11-06 JP JP52110898A patent/JP4294095B2/ja not_active Expired - Fee Related
- 1997-11-06 WO PCT/FR1997/001996 patent/WO1998020457A1/fr active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
EP0937291A1 (fr) | 1999-08-25 |
KR100541623B1 (ko) | 2006-01-10 |
CN1122247C (zh) | 2003-09-24 |
DE69712087T2 (de) | 2002-10-31 |
FR2755527B1 (fr) | 1999-01-08 |
WO1998020457A1 (fr) | 1998-05-14 |
AU5058098A (en) | 1998-05-29 |
FR2755527A1 (fr) | 1998-05-07 |
EP0937291B1 (fr) | 2002-04-17 |
DE69712087D1 (de) | 2002-05-23 |
JP2001503584A (ja) | 2001-03-13 |
CN1236461A (zh) | 1999-11-24 |
KR20000053028A (ko) | 2000-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4294095B2 (ja) | 動き補償予測処理及び、動き補償予測処理を用いた符号化器 | |
KR101403343B1 (ko) | 부화소 움직임 추정을 이용한 인터 예측 부호화, 복호화방법 및 장치 | |
US6690836B2 (en) | Circuit and method for decoding an encoded version of an image having a first resolution directly into a decoded version of the image having a second resolution | |
US8086052B2 (en) | Hybrid video compression method | |
US8625916B2 (en) | Method and apparatus for image encoding and image decoding | |
KR100874518B1 (ko) | 동화상 복호화 방법 및 장치 | |
KR0166722B1 (ko) | 부호화 및 복호화방법 및 그 장치 | |
US10721481B2 (en) | Method and apparatus for motion compensation prediction | |
US6985635B2 (en) | System and method for providing a single-layer video encoded bitstreams suitable for reduced-complexity decoding | |
EP2187649A1 (en) | Video coding method and video decoding method | |
KR101681353B1 (ko) | 이미지 시퀀스를 나타내는 코딩된 데이터의 스트림을 디코딩하는 방법 및 이미지 시퀀스를 코딩하는 방법 | |
US8259793B2 (en) | System and method of fast MPEG-4/AVC quantization | |
JPH0723422A (ja) | ディジタルvtrの映像信号帯域圧縮装置 | |
JPH1093966A (ja) | 画像符号化装置 | |
US20100086048A1 (en) | System and Method for Video Image Processing | |
JPWO2009157581A1 (ja) | 画像処理装置及び画像処理方法 | |
KR19980017213A (ko) | 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템 | |
JPH10304381A (ja) | 動画像符号化装置及び方法 | |
JP4532607B2 (ja) | ブロック・ベースのコード化システムにおいてコード化モードを選択するための装置および方法 | |
US5614953A (en) | Image signal decoding apparatus having an encoding error compensation | |
JP3935667B2 (ja) | Dct及び予測エラー係数のフィルタリングによるビデオ画像の活動の測定 | |
JPH06217296A (ja) | 適応的イントラ/インタモード圧縮を用いた映像信号符号化装置 | |
KR0178232B1 (ko) | 적응적인 양자화 스텝 조절장치 | |
JP2011066592A (ja) | 符号化モード選択方法,符号化モード選択装置および符号化モード選択プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070327 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070626 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070813 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070926 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080930 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081226 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090310 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090408 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130417 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130417 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140417 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |