JP2006511113A - 選択されたマクロブロックにおける動き推定のスキップを伴うビデオエンコーディング - Google Patents

選択されたマクロブロックにおける動き推定のスキップを伴うビデオエンコーディング Download PDF

Info

Publication number
JP2006511113A
JP2006511113A JP2004559920A JP2004559920A JP2006511113A JP 2006511113 A JP2006511113 A JP 2006511113A JP 2004559920 A JP2004559920 A JP 2004559920A JP 2004559920 A JP2004559920 A JP 2004559920A JP 2006511113 A JP2006511113 A JP 2006511113A
Authority
JP
Japan
Prior art keywords
macroblock
estimate
sae
value
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004559920A
Other languages
English (en)
Inventor
リチャードソン,イアン
ツァオ,ヤファン
Original Assignee
ザ ロバート ゴードン ユニヴァーシティー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ザ ロバート ゴードン ユニヴァーシティー filed Critical ザ ロバート ゴードン ユニヴァーシティー
Publication of JP2006511113A publication Critical patent/JP2006511113A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

ビデオエンコーディングの計算上の複雑度は、ビデオフレームの領域をエンコードすべきか否かを決定することにより、あるいは、先のフレーム内の同じ領域に関して任意の動きが生じたか否かを計算する前にエンコーディングをスキップするか否かを決定することにより減少される。一実施形態において、領域のエンコーディングをスキップするか否かに関する決定は、領域内のピクセル値のエネルギの推定値及び/又は離散コサイン変換係数の推定値に基づいている。更なる実施形態において、決定は、領域がエンコードされない場合に生じる可能性が高い歪みの推定値に基づいている。

Description

発明の詳細な説明
本発明は、ビデオエンコーダに関し、特に、ビデオをエンコードする際の計算の複雑度を減らすことに関する。
H263およびMPEG−4等のビデオエンコーディング規格に基づくビデオエンコーダおよびデコーダ(CODEC)は、ビデオ圧縮技術において周知である。
これらの規格の発展により、質を僅かに低下させるだけで、更に狭い帯域幅にわたってビデオを送信できるようになってきた。しかしながら、デコーディング、更に具体的には、エンコーディングは、かなりの量の計算処理リソースを必要とする。携帯端末(PDA)や携帯電話等のモバイル機器の場合、電力使用は、プロセッサ稼働率に密接に関連しており、したがって、バッテリ充電の寿命に関連している。バッテリ充電毎のモバイル機器の動作可能時間を増やすためには、モバイル機器における処理量を減らすことが望ましいことは言うまでもない。汎用パーソナルコンピュータにおいて、CODECは、処理リソースを他のアプリケーションと共有しなければならない。これにより、ドライブは、画質を落とすことなく処理稼働率を減らすことができ、したがって、電力の浪費を減らすことができた。
テレコン(テレビ会議)等の多くのビデオ用途において、カメラによって取得される領域の多くは静止している。これらの場合には、基準ビデオフレームから殆ど変更されていない領域をエンコードするために、パワーリソースまたはプロセッサリソースが不必要に使用される。
エンコーダ、例えばH263またはMPEG−4シンプルプロファイル適合のエンコーダによりビデオ画像を処理するために必要な典型的なステップを一例として説明する。
第1のステップは、現在の画像のために基準画像が選択されることを要する。これらの基準画像は、重なり合わない複数のマクロブロックに分割される。各マクロブロックは4つの輝度ブロックと2つのクロミナンスブロックとを含んでおり、これらの各ブロックは8ピクセル×8ピクセルを構成している。
最大の計算時間を一般に要するエンコーディング処理のステップが、動き推定、高速離散コサイン変換(FDCT)、逆離散コサイン変換(IDCT)であることは周知である。
動き推定ステップは、現在の画像と1つ以上の基準画像との間の類似点を検索する。現在の画像のマクロブロック毎に検索が行なわれることにより、現在の画像内の現在のマクロブロックと最もよく適合する基準画像内の予測マクロブロックが特定される。予測マクロブロックは、現在のマクロブロックからの距離のオフセットを示す動きベクトル(MV)によって特定(識別)される。その後、予測マクロブロックは、予測エラー(PE)マクロブロックを形成するために、現在のマクロブロックから差し引かれる。このPEマクロブロックは、その後、離散コサイン変換される。離散コサイン変換は、空間領域からの画像を周波数領域に変換するとともに、スペクトルサブバンドに関連する係数から成るマトリクスを出力する。殆どの画像においては、信号エネルギの大部分が低周波にある。この低周波は、人間の眼が最も反応しやすい周波数である。その後、高速DCTマトリクスが量子化される。この量子化は、DCT係数を量子化値で割り、その後、DCT係数を最も近い整数へと四捨五入することを含む。これは、多くの高周波係数をゼロまで減少させるという効果を有し、画像に歪みを引き起こすステップである。一般に、量子化ステップサイズが大きければ大きいほど、画質が悪化する。量子化ステップ後のマトリクスからの値は、その後、「ジグザグ」走査により順序付けされる。これは、マトリクスの上左側角部から対角線上にマトリクスの下右側角部へと値を読み取ることを含む。これは、ストリームをエントロピーエンコーディングにより最終的にビットストリームに変換する前にストリームを効率的にランレベルエンコード(RLE)できる複数のゼロを一緒にグループ化する傾向がある。他の「ヘッダー」データは、通常、この時点で加えられる。
MVがゼロに等しく且つ量子化されたDCT係数が全てゼロに等しい場合には、マクロブロックのためのエンコードされたデータを、エンコードされたビットストリーム中に含める必要はない。その代わり、マクロブロックが「スキップされた」ことを示すためにヘッダー情報が含められる。
米国特許第6,192,148号は、エンコーディング処理のDCTステップの前にマクロブロックがスキップされるべきか否かを予測するための方法を開示している。この方法は、MVがゼロとして戻された場合にステップを動き推定後に終了するため、マクロブロックの輝度値の平均絶対差が第1の閾値よりも小さいか否か、また、マクロブロックのクロミナンス値の平均絶対差が第2の閾値よりも小さいか否かを決定する。
全てのエンコーディング処理において、動き推定、FDCT、IDCTは、一般に、プロセッサ集約性が最も大きい。従来技術は、動き推定ステップ後にスキップされたブロックだけを予測するため、プロセッサ集約的とみなし得るステップをプロセス中に含む。
本発明は、動き推定ステップまたはDCTステップを必要としないマクロブロックであり、スキップされるマクロブロックを予測するための方法を開示している。
本発明においては、ビデオ画像をエンコードする方法であって、
上記画像を複数の領域に分割するステップと、
上記各領域が更なるステップによる処理を必要とするか否かを予測するステップと、
を備え、
上記予測するステップは、1つ以上の統計学的な尺度と、各領域のための1つ以上の閾値とを比較することを備える方法を提供する。
したがって、本発明は、可能な場合にはプロセッサ集約的な演算を避けることにより、リソースの不必要な使用を回避する。
上記更なるステップは、動き補償ステップ及び/又は変換処理ステップを含むことが好ましい。
上記変換処理ステップは、離散コサイン変換処理ステップであることが好ましい。
1つの領域は、重なり合わないマクロブロックであることが好ましい。
1つのマクロブロックは、ピクセルの16×16マトリクスであることが好ましい。
上記統計学的な尺度のうちの1つは、マクロブロックの一部または全てのピクセル値のエネルギの推定値、かつ、随意的に量子化ステップサイズで割られる推定値が所定の閾値よりも小さいか否かかということであることが好ましい。
代わりに、あるいは、更に好ましくは、上記統計学的な尺度のうちの1つは、マクロブロックの1つ以上のサブブロックにおける特定の離散コサイン変換係数の値の推定値が第2の所定の閾値よりも小さいか否かかということである。
あるいは、上記統計学的な尺度のうちの1つは、マクロブロックのスキップに起因する歪みの推定値が所定の閾値よりも小さいか否かということである。
歪みの上記推定値は、上記マクロブロックに対する1つ以上の既にコード化されたマクロブロックの一部または全てのピクセル値から1つ以上の統計学的な尺度を得ることにより計算されることが好ましい。
歪みの上記推定値は、既にコード化されたマクロブロックに対するコード化されたマクロブロックの輝度値の絶対差の合計(SAEnoskip)の推定値を、既にコード化されたマクロブロックに対するスキップされたマクロブロックの輝度値の絶対差の合計(SAEskip)から差し引くことにより計算されてもよい。
SAEnoskipは、一定の値Kによって推定されてもよく、更に正確な方法においては既にコード化されたマクロブロックの輝度値の絶対差の合計により推定されてもよく、また、既にコード化されたマクロブロックが存在しない場合には一定の値Kにより推定されてもよい。
更に好ましくは、画像をエンコードする方法は、コンピュータで使用可能な媒体上で具現化されるコンピュータプログラムによって実行されてもよい。
更に好ましくは、画像をエンコードする方法は、電気回路によって行なわれてもよい。
離散コサイン変換係数の上記値の推定は、
上記サブブロックを4つの等しいサブ領域に分割するステップと、
サブブロックの各領域における残りのピクセル値の絶対差の合計を計算するステップであって、上記残りのピクセル値は、現在のピクセル輝度値から差し引かれる対応する基準(既にコード化された)ピクセル輝度値であるステップと、
サブブロックの各領域毎に以下のような低周波離散コサイン変換係数を推定するステップであって、
01=abs(A+C−B−D)
10=abs(A+B−C−D)
11=abs(A+D−B−C)
01、Y10、Y11は、3つの低周波離散コサイン変換係数を表わし、A、B、C、Dは、サブブロックの各領域の絶対差の合計を表わし、Aは上左側角部であり、Bは上右側角部であり、Cは下左側角部であり、Dは下右側角部であるステップと、
全ての計算された推定値から、離散コサイン変換係数の推定値の最大値を選択するステップと、
を含んでいてもよい。
ピクセル値とは、当分野では、カラーピクセルを形成する3つの成分、すなわち、輝度値および2つのクロミナンス値のうちのいずれかを示していることは言うまでもない。ある場合には、3つの成分値のうちの1つを示すため、「サンプル」値がピクセル値の代わりに使用され、また、これは、ピクセル値と置き換え可能であると見なされるべきである。
また、マクロブロックは、対象のフレーム内の特定のサイズのピクセルの任意の領域であってもよいことは言うまでもない。
以下、一例として、図面を参照しながら、本発明について説明する。
図1を参照すると、第1のステップ102は、ビデオシーケンス内の画像フレームを読み取るとともに、この画像フレームを重なり合わない複数のマクロブロック(MB)に分割する。各MBは、4つの輝度ブロックと、2つのクロミナンスブロックとを含んでおり、各ブロックは8ピクセル×8ピクセルを構成している。ステップ104は、図2に示されるようにMBをエンコードする。
図2を参照すると、MBエンコーディングプロセスが104で示されている。このプロセスでは、他の任意のステップの前に、決定ステップ202が行なわれる。
現在のH263エンコーディングプロセスは、これまでのところ、ビデオエンコーディングプロセスにおいて各MBが一般に図2に示される順番で或いは異なる順番でステップ204〜ステップ226又はこれらと同等のプロセスを経由することを教示している。動き推定ステップ204は1つ以上の予測MBを識別し、各予測MBは、現在のMBからの距離のオフセット量を示すMVと基準画像の選択とによって画成される。動き補償ステップ206は、現在のMBから予測MBを差し引いて、予測エラー(PE)MBを形成する。MVの値をエンコードする必要がある場合には(ステップ208)、随意的に予測MBを参照してMVがエントロピーエンコードされる(ステップ210)。
その後、PE MBの各ブロックには、各PEブロックのスペクトルサブバンドを表わす係数のブロックを出力する高速離散コサイン変換(FDCT)212が施される。その後、FDCTブロックの係数は、量子化され(例えば、量子化ステップサイズで割ることにより)た後(ステップ214)、最も近い整数へと四捨五入される。これは、多くの係数をゼロまで減少させるという効果を有する。任意のゼロでない量子化された係数(Qcoeff)が存在する場合(ステップ216)には、結果として得られるブロックがステップ218〜222によりエントロピーエンコードされる。
更なる予測のための復元画像を形成するために、量子化係数(Qcoeff)は、再スケーリングされる(例えば、量子化ステップサイズを掛けることにより)(ステップ224)とともに、逆離散コサイン変換(IDCT)226を用いて変換される。IDCTの後、復元されたPE MBは、基準MBに対して加えられ、更なる予測のために記憶される。
決定ステップ228は前のプロセスの出力を見るとともに、MVがゼロに等しく且つ全てのQcoeffがゼロである場合には、エンコードされた情報がビットストリームに書き込まれないが、その代わりにスキップMB表示が書き込まれる。このことは、MBが前回のMBと類似している或いは同一であると見なされることから、MBをエンコードするために使用されてきた全ての処理時間が不要であったことを意味している。
本発明の一実施形態として、図2において、決定ステップ202は、現在のMBがスキップされる可能性が高いか否かを予測する。すなわち、決定ステップ202は、プロセスステップ202〜226の後にMBがコード化されないがその代わりにスキップ表示が書き込まれることを予測する。MBがスキップされるであろうと決定ステップ202が予測すると、MBは、ステップ204およびその後のプロセスステップへと移行しないが、スキップ情報がステップ232へと直接に送られる。
図3を参照すると、MBをスキップさせる決定202のフローチャートが示されている。スキップされるMBは、ゼロのMVおよびQcoeffを有している。これらの両方の条件は、現在のMBと基準フレーム中における当該MBの位置との間に強力な類似性が存在する場合に満たされる可能性が高い。動き補償を行なうことなく現在のMBから基準MBを差し引くことによって形成される残りのMBのエネルギは、以下の式によって与えられるゼロ変位を伴うMBの輝度部分における絶対差の合計(SAD0MB)によって推定される。

(i,j)およびC(i,j)はそれぞれ、現在のフレーム内のMBからの輝度サンプル、および、基準フレーム内の同じ位置の輝度サンプルである。
また、SAD0MBと、MBがスキップされる可能性との間の関係は、量子化ステップサイズによって決まる。これは、ステップサイズが大きくなると、一般に、スキップされたMBの割合が増大するからである。
第1の比較ステップ304では、計算値SAD0MB(随意的に、量子化ステップサイズ(Q)で割られる)302と第1の閾値との比較が行なわれる。計算値が第1の閾値よりも大きい場合には、MBがステップ204に送られ、通常のエンコーディングプロセスに入る。計算値が第1の閾値よりも小さい場合には、第2の計算が行なわれる(ステップ306)。
ステップ306は残りのMBに関して更なる計算を行なう。各8×8輝度ブロックは4つの4×4ブロックに分割される。A、B、C、D(式2)は各4×4ブロックのSAD値であり、R(i,j)は動き補償が無い残りのピクセル値である。
01、Y10、Y11(式3)は、3つの低周波DCT係数coeff(0,1),coeff(1,0),coeff(1,1)のそれぞれの大きさの複雑度が低い概算を行なう。これらの係数のいずれかが大きい場合には、MBがスキップされない可能性が高い。したがって、各ブロックがスキップされる場合があるか否かを予測するためにY4×4block(式4)が使用される。マクロブロックの輝度部分における最大値は、式5を使用して計算される。


Y4×4maxの計算値は第2の閾値と比較される(ステップ308)。計算値が第2の閾値よりも小さい場合には、MBがスキップされ、プロセスの次のステップは232である。計算値が第2の閾値よりも大きい場合には、MBがステップ204およびその後のエンコーディングステップへ送られる。
これらのステップは、一般に、計算の複雑さに殆ど影響を与えない。SAD0MBは、通常、任意の動き補償アルゴリズムの第1のステップで計算されるため、余計な計算をする必要がない。また、MBの各4×4−サンプルサブブロックにおけるSADの値を一緒に加えることによりSAD0MBが計算される場合には、各4×4ブロックのSAD値(式2のA、B、C、D)が不利益無く計算されてもよい。
分類アルゴリズムの更なる計算要件は式3、4、5の演算であり、これらは一般に計算的に面倒ではない。
図4を参照すると、MB202をスキップさせる決定の更なる実施形態が記載されたフローチャートが示されている。
先の実施形態(図3)において、MB202をスキップさせる決定は、基準MBに対して比較される現在のMBの輝度に基づいていた。この実施形態において、MB202をスキップさせる決定は、MBのスキップに起因して生じる推定歪みに基づいている。
デコーダがMBをデコードすると、コード化された残りのデータは、デコードされるとともに、動き補償された基準フレームサプルに対して加えられ、これにより、デコードされたMBが生成される。当初の圧縮されていないMBデータに対するデコードされたMBの歪みは、平均2乗誤差(MSE)によって推定することができる。当初の輝度サンプルbijと比較されるデコードされたMBの輝度サンプルaijのためのMSEは、以下によって与えられる。
MSEnoskipを、コード化されて送信されるマクロブロックのための輝度MSEとして画成するとともに、MSEskipを、スキップされる(コード化されない)MBのための輝度MSEとして画成する。MBがスキップされると、基準フレーム内における同じ位置のMBデータがデコーダによりその位置に挿入される。特定のMB位置において、エンコーダは、MBをコード化することを選択してもよく、あるいは、MBをスキップさせることを選択してもよい。MBのスキップまたはコーディング間の歪みの差MSEdiffは、以下のように画成される。
MSEdiffがゼロまたは低い値を有している場合には、MBをコード化する「利益」は殆ど無く或いは全く無い。これは、MBがスキップされる場合に非常に類似した復元結果が得られるからである。低い値のMSEdiffは、低い値のMSEskipを有するMBを含む。この場合、基準フレーム内の同じ位置のMBが現在のMBにおいてうまくマッチする。また、低い値のMSEdiffは、高い値のMSEskipを有するMBも含む。この場合、デコードされた復元されたMBは、量子化歪みに起因して、オリジナルのものと著しく異なっている。
MBを選択的にスキップさせる目的は、計算を省くことである。MSEは一般にエンコーダで計算されず、そのため、式7を計算するために更なる計算コストが必要である。デコードされたMBの輝度サンプルにおける絶対誤差の合計(SAE)は、以下によって与えられる。
SAEは、MSEとともに単調増加しており、そのため、MSEに対する歪みの適切な代わりの尺度である。したがって、MBのスキップに起因する歪みの増大の推定値として、スキップされたMBとコード化されたMBとの間のSAEの差である以下のようなSAEdiffが使用される。
SAEskipは、コード化されないMBと基準フレーム内の同じ位置の輝度データとの間の絶対誤差の合計である。これは、一般に、エンコーダにおける動き補償アルゴリズムの第1のステップとして計算され、一般にSAE00と称される。したがって、SAEskipは、各MBの処理の初期の段階で簡単に利用できる。
SAEnoskipは、当初のコード化されていないMBと比較されるデコードされたMBのSAEであり、一般的にはコーディング中またはデコーディング中に計算されない。また、MBが実際にスキップされる場合にはSAEnoskipを計算することができない。したがって、式9を計算するためには、SAEnoskipのためのモデルが必要である。
第1のモデルは以下の通りである。
SAEnoskip=K(Kは定数)
その後、SAEdiffが以下のように計算される。
このモデルは、計算的に簡単であるが、あまり正確ではない。これは、単純な線形傾向に合わない多くのMBが存在するからである。
他のモデルは以下の通りである。
SAEnoskip(i,n)=SAEnoskip(i,n−1)
ここで、iは現在のMB数であり、nは現在のフレームであり、n−1は前回のコード化されたフレームである。
このモデルは、SAEnoskipを計算(コード化された各MB毎に1つの方程式の計算)するためにエンコーダを必要とするが、現在のMBにおけるSAEnoskipの更に正確な推定値を与える。MB(i,n−1)がスキップされたMBである場合には、ASEnoskip(i,n−1)を計算することができず、第1のモデルに戻る必要がある。
式9に基づき且つ前述したモデルを使用すると、MBを選択的にスキップさせ従ってMBを処理しない2つのアルゴリズムは以下の通りである。
アルゴリズム(1):
(SAE00−K)<Tである場合には、
現在のMBをスキップさせ、
そうでない場合には、
現在のMBをコード化する。
アルゴリズム(1)は、SAEnoskipのための簡単な近似を使用するが、簡単に実施できる。
アルゴリズム(2):
(MB(i,n−1)がコード化された場合には、
SAEnoskip{推定}=SAEnoskip(i,n−1)
そうでない場合には、
SAEnoskip{推定}=K
(SAE00−SAEnoskip{推定})<Tである場合には、
現在のMBをスキップさせ、
そうでない場合には、
現在のMBをコード化する。
アルゴリズム(2)は、SAEnoskipの更に正確な推定値を与えるが、スキップされていない各MBのコーディング後にSAEnoskipの計算および記憶を必要とする。両方のアルゴリズムにおいて、閾値パラメータTは、スキップされたMBの割合を制御する。Tの値が高いと、スキップされるMBの数が増えるが、不正確にスキップされるMBに起因して歪みも増大する。
以上においては、本発明の範囲を逸脱することなく、予測の方法に対する改良および変更が加えられてもよい。
例えば、1つ以上の既にコード化されたマクロブロックの輝度値の絶対誤差の合計の組み合わせ又は加重組み合わせによってSAEnoskipを推定することができる。また、2乗誤差または差異の合計などの統計学的な他の尺度(手段)によってSAEnoskipを推定することができる。
ビデオ画像エンコーディング処理のフローチャートを示している。 マクロブロックエンコーディング処理のフローチャートを示している。 予測決定処理のフローチャートを示している。 他の予測決定処理のフローチャートを示している。

Claims (17)

  1. ビデオ画像をエンコードする方法であって、
    前記画像を複数の領域に分割するステップと、
    前記領域のそれぞれが更なるステップによる処理を必要とするか否かを予測するステップと、
    を備え、
    前記予測するステップが、1つ以上の統計学的な尺度と、前記領域のそれぞれについての1つ以上の閾値とを比較することを備える方法。
  2. 前記更なるステップが動き補償を含む、請求項1に記載の方法。
  3. 前記更なるステップが変換処理を含む、請求項1または2に記載の方法。
  4. 前記変換処理ステップが離散コサイン変換処理ステップである、請求項3に記載の方法。
  5. 1つの領域が、重なり合わないマクロブロックである、請求項1〜4のいずれか一項に記載の方法。
  6. 1つのマクロブロックが、ピクセルの16×16マトリクスである、請求項5に記載の方法。
  7. 前記統計学的な尺度のうちの1つが、マクロブロックの一部または全てのピクセル値のエネルギの推定値が第1の所定の閾値よりも小さいか否かということである、請求項1〜6のいずれか一項に記載の方法。
  8. エネルギの前記推定値が、前記第1の閾値と比較される前に、量子化ステップサイズで割られる、請求項7に記載の方法。
  9. 前記統計学的な尺度のうちの1つが、マクロブロックの1つ以上のサブブロックにおける特定の離散コサイン変換係数の値の推定値が第2の所定の閾値よりも小さいか否かということである、請求項1〜8のいずれか一項に記載の方法。
  10. 離散コサイン変換係数の前記値の推定が、
    前記サブブロックを4つの等しいサブ領域に分割するステップと、
    サブブロックの各サブ領域における残りのピクセル値の絶対差の合計を計算するステップであって、前記残りのピクセル値が、マクロブロックの対応するピクセル輝度値から差し引かれる対応する既にコード化されたピクセル輝度値であるステップと、
    サブブロックの各領域毎に以下のような低周波離散コサイン変換係数を推定するステップであって、
    01=abs(A+C−B−D)
    10=abs(A+B−C−D)
    11=abs(A+D−B−C)
    01、Y10、Y11が、3つの低周波離散コサイン変換係数を表わし、A、B、C、Dが、サブブロックの各領域の絶対差の合計を表わし、Aが上左側角部であり、Bが上右側角部であり、Cが下左側角部であり、Dが下右側角部であるステップと、
    全ての計算された推定値から、離散コサイン変換係数の推定値の最大値を選択するステップと、
    を備える、請求項9に記載の方法。
  11. 前記統計学的な尺度が、マクロブロックのスキップに起因する歪みの推定値が第3の所定の閾値よりも小さいか否かということである、請求項1〜6のいずれか一項に記載の方法。
  12. 歪みの前記推定値が、前記マクロブロックに対する1つ以上の既にコード化されたマクロブロックの一部または全てのピクセル値から1つ以上の統計学的な尺度を得ることにより計算される、請求項11に記載の方法。
  13. 歪みの前記推定値が、既にコード化されたマクロブロックに対するコード化されたマクロブロックの輝度値の絶対差の合計(SAEnoskip)の推定値を、既にコード化されたマクロブロックに対するスキップされたマクロブロックの輝度値の絶対差の合計(SAEskip)から差し引くことにより計算される、請求項11〜12に記載の方法。
  14. SAEnoskipが、一定の値Kによって推定される、請求項13に記載の方法。
  15. SAEnoskipが、既にコード化されたマクロブロックの輝度値の絶対差の合計により推定され、または既にコード化されたマクロブロックが存在しない場合には一定の値Kにより推定される、請求項13に記載の方法。
  16. コンピュータで使用可能な媒体上で具現化されるコンピュータプログラムによって実行される、請求項1に記載の画像をエンコードする方法。
  17. 電気回路によって行なわれる、請求項1に記載の画像をエンコードする方法。
JP2004559920A 2002-12-18 2003-12-16 選択されたマクロブロックにおける動き推定のスキップを伴うビデオエンコーディング Pending JP2006511113A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GBGB0229354.6A GB0229354D0 (en) 2002-12-18 2002-12-18 Video encoding
PCT/GB2003/005526 WO2004056125A1 (en) 2002-12-18 2003-12-16 Video encoding with skipping motion estimation for selected macroblocks

Publications (1)

Publication Number Publication Date
JP2006511113A true JP2006511113A (ja) 2006-03-30

Family

ID=9949815

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004559920A Pending JP2006511113A (ja) 2002-12-18 2003-12-16 選択されたマクロブロックにおける動き推定のスキップを伴うビデオエンコーディング

Country Status (8)

Country Link
US (1) US20060164543A1 (ja)
EP (1) EP1574072A1 (ja)
JP (1) JP2006511113A (ja)
KR (1) KR20050089838A (ja)
CN (1) CN1751522A (ja)
AU (1) AU2003295130A1 (ja)
GB (1) GB0229354D0 (ja)
WO (1) WO2004056125A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008125058A (ja) * 2006-11-13 2008-05-29 Jiaotong Univ 画像データスキップを使用するビデオコード化方法
JP2008301212A (ja) * 2007-05-31 2008-12-11 Canon Inc 符号化装置並びに符号化方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8204321B2 (en) 2005-04-19 2012-06-19 Telecom Italia S.P.A. Method and apparatus for digital image coding
KR100934671B1 (ko) 2006-03-30 2009-12-31 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
NO325859B1 (no) 2006-05-31 2008-08-04 Tandberg Telecom As Kodek-preprosessering
WO2007148906A1 (en) * 2006-06-19 2007-12-27 Lg Electronics, Inc. Method and apparatus for processing a vedeo signal
US8532178B2 (en) 2006-08-25 2013-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
EP2188978A2 (en) * 2007-09-10 2010-05-26 Nxp B.V. Method and apparatus for line-based motion estimation in video image data
US8848799B2 (en) * 2009-09-02 2014-09-30 Sony Computer Entertainment Inc. Utilizing thresholds and early termination to achieve fast motion estimation in a video encoder
US9781447B1 (en) 2012-06-21 2017-10-03 Google Inc. Correlation based inter-plane prediction encoding and decoding
US9167268B1 (en) 2012-08-09 2015-10-20 Google Inc. Second-order orthogonal spatial intra prediction
US9344742B2 (en) * 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction
WO2014190468A1 (en) 2013-05-27 2014-12-04 Microsoft Corporation Video encoder for images
CN103731669B (zh) * 2013-12-30 2017-02-08 广州华多网络科技有限公司 Skip宏块检测方法及装置
KR102185857B1 (ko) 2014-02-13 2020-12-02 삼성전자주식회사 영상 부호화, 복호화 방법 및 장치
EP3120556B1 (en) 2014-03-17 2021-01-13 Microsoft Technology Licensing, LLC Encoder-side decisions for screen content encoding
WO2016123792A1 (en) 2015-02-06 2016-08-11 Microsoft Technology Licensing, Llc Skipping evaluation stages during media encoding
US10038917B2 (en) 2015-06-12 2018-07-31 Microsoft Technology Licensing, Llc Search strategies for intra-picture prediction modes
US10136132B2 (en) 2015-07-21 2018-11-20 Microsoft Technology Licensing, Llc Adaptive skip or zero block detection combined with transform size decision
US10368074B2 (en) 2016-03-18 2019-07-30 Microsoft Technology Licensing, Llc Opportunistic frame dropping for variable-frame-rate encoding
CN105812759A (zh) * 2016-04-15 2016-07-27 杭州当虹科技有限公司 一种360度全景视频的平面投射方法及编码方法
CN107480617B (zh) * 2017-08-02 2020-03-17 深圳市梦网百科信息技术有限公司 一种肤色检测自适应单位分析方法和***
NO344797B1 (en) 2019-06-20 2020-05-04 Pexip AS Early intra coding decision

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6192148B1 (en) * 1998-11-05 2001-02-20 Winbond Electronics Corp. Method for determining to skip macroblocks in encoding video
JP2002218475A (ja) * 2000-12-18 2002-08-02 Inst For Information Industry ビデオ画像モーション評価の計算減量方法およびその装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5493514A (en) * 1993-11-24 1996-02-20 Intel Corporation Process, apparatus, and system for encoding and decoding video signals
US6876703B2 (en) * 2000-05-11 2005-04-05 Ub Video Inc. Method and apparatus for video coding
KR100833228B1 (ko) * 2002-02-21 2008-05-28 삼성전자주식회사 고정 연산량을 갖는 동영상 부호화 방법 및 그 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6192148B1 (en) * 1998-11-05 2001-02-20 Winbond Electronics Corp. Method for determining to skip macroblocks in encoding video
JP2002218475A (ja) * 2000-12-18 2002-08-02 Inst For Information Industry ビデオ画像モーション評価の計算減量方法およびその装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008125058A (ja) * 2006-11-13 2008-05-29 Jiaotong Univ 画像データスキップを使用するビデオコード化方法
JP2008301212A (ja) * 2007-05-31 2008-12-11 Canon Inc 符号化装置並びに符号化方法

Also Published As

Publication number Publication date
US20060164543A1 (en) 2006-07-27
AU2003295130A1 (en) 2004-07-09
WO2004056125A1 (en) 2004-07-01
GB0229354D0 (en) 2003-01-22
KR20050089838A (ko) 2005-09-08
EP1574072A1 (en) 2005-09-14
CN1751522A (zh) 2006-03-22

Similar Documents

Publication Publication Date Title
US11089311B2 (en) Parameterization for fading compensation
US9699458B2 (en) Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
JP2006511113A (ja) 選択されたマクロブロックにおける動き推定のスキップを伴うビデオエンコーディング
JP5406222B2 (ja) 連続的な動き推定を利用した映像符号化並びに復号化方法及び装置
RU2720975C2 (ru) Способ кодирования и декодирования изображений, устройство кодирования и декодирования и соответствующие компьютерные программы
JP2005191706A (ja) 動画像符号化方法及びその装置
US7433407B2 (en) Method for hierarchical motion estimation
US20090028241A1 (en) Device and method of coding moving image and device and method of decoding moving image
JP2004215275A (ja) 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置
KR100727988B1 (ko) 변환 영역에서의 dc 계수 예측 방법 및 장치
US20120218443A1 (en) Decoder-derived geometric transformations for motion compensated inter prediction
CN112740691A (zh) 用于编码和解码表示至少一个图像的数据流的方法和设备
US8532179B2 (en) Method and device for optimizing the compression of a video stream
US20070297517A1 (en) Entropy encoding and decoding apparatuses, and entropy encoding and decoding methods
Kim et al. Enhanced Inter Mode Decision Based on Contextual Prediction for P‐Slices in H. 264/AVC Video Coding
KR20080035390A (ko) 영상 예측 모드 결정 방법 및 장치
CN114760467A (zh) 编码模式的确定方法及装置
JP2004080682A (ja) 動画像データ符号化装置および動画像データ復号装置ならびにそれらの方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091201

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100420