JP2003530789A - ビデオ符号化及び復号方法 - Google Patents
ビデオ符号化及び復号方法Info
- Publication number
- JP2003530789A JP2003530789A JP2001575726A JP2001575726A JP2003530789A JP 2003530789 A JP2003530789 A JP 2003530789A JP 2001575726 A JP2001575726 A JP 2001575726A JP 2001575726 A JP2001575726 A JP 2001575726A JP 2003530789 A JP2003530789 A JP 2003530789A
- Authority
- JP
- Japan
- Prior art keywords
- pixels
- subband
- temporal
- pixel
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000033001 locomotion Effects 0.000 claims abstract description 36
- 230000002123 temporal effect Effects 0.000 claims abstract description 33
- 238000001914 filtration Methods 0.000 claims abstract description 16
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
- H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/553—Motion estimation dealing with occlusions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/62—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
本発明は、空間及び時間フィルタリングステップを含む3Dサブバンド分解によって、フレームのシーケンスを符号化する方法に関連する。前記分解は、時間分解の各レベルにおいて、低時間サブバンド内の動き推定及び補償動作の前記フレームに関する実行の後にのみ、連続するフレームのグループに適用される。前の基準フレームAと現在のフレームBの間の動き補償された時間フィルタリングステップは、最初に高周波数サブバンドの計算サブステップと、それに続く、基準フレームAと前に計算された高周波数サブバンドのみを使用する、低周波数サブバンドの計算サブステップとを有する。フィルタリングステップは、それらの画素が詳細サブバンド内の最小エネルギーを導くような、二重に結合している画素に関連する、前記隠されていなくなった領域の識別ステップが続き、そして、この識別ステップそれ自身には、基準フレームの二重に結合された画素の時間フィルタリングのために、詳細サブバンドの最小エネルギーを導く対応する画素を、現在のフレーム内で選択するために設けられた、判断ステップが続く。本発明は、対応する復号方法にも関連する。
Description
【0001】
発明の分野
本発明は、3次元(3D)と考えられるフレームのシーケンスに対応する3D
時空間データに与えられる空間及び時間フィルタリングステップを含む3Dサブ
バンド分解によって、フレームのシーケンスを符号化する方法であって、前記分
解は、時間分解の各レベルにおいて、低時間サブバンド内の動き推定及び補償動
作の前記フレームに関する実行の後にのみ、連続するフレームのグループに適用
され、補償動作は、フィルタされた画素の間に、動き中に隠されていなくなった
領域に対応する二重に結合された画素を導く方法に関連する。本発明は、そのよ
うな符号化方法により前に符号化された信号を復号する方法にも関連する。
時空間データに与えられる空間及び時間フィルタリングステップを含む3Dサブ
バンド分解によって、フレームのシーケンスを符号化する方法であって、前記分
解は、時間分解の各レベルにおいて、低時間サブバンド内の動き推定及び補償動
作の前記フレームに関する実行の後にのみ、連続するフレームのグループに適用
され、補償動作は、フィルタされた画素の間に、動き中に隠されていなくなった
領域に対応する二重に結合された画素を導く方法に関連する。本発明は、そのよ
うな符号化方法により前に符号化された信号を復号する方法にも関連する。
【0002】
発明の背景
ビデオ圧縮機構は、伝送前に信号から冗長な情報を削除し、そして、復号器側
で、残りの圧縮された情報から近似の画像を再構成することにより動作する。時
間の冗長度は、画素値は連続するフレームにわたる隣接する画素と独立ではなく
、相関があるという事実に対応している。これらの時間冗長度の低減は、現在の
フレームの予測が前に伝送されたフレームに基づいて計算され、そして、予測誤
差のみ、即ち、現在のフレームとその予測の間の差が、イントラ符号化されて伝
送される、”ハイブリッド”又は予測アプローチ及び、(画素値が同じフレーム
内で独立ではないという事実に対応する)空間冗長度を除去するための空間技術
と同様な方法で、時間変換によって時間冗長度が利用される3次元(3D又は、
2D+t)アプローチの、主に、2つの形式のアプローチにより達成される。
で、残りの圧縮された情報から近似の画像を再構成することにより動作する。時
間の冗長度は、画素値は連続するフレームにわたる隣接する画素と独立ではなく
、相関があるという事実に対応している。これらの時間冗長度の低減は、現在の
フレームの予測が前に伝送されたフレームに基づいて計算され、そして、予測誤
差のみ、即ち、現在のフレームとその予測の間の差が、イントラ符号化されて伝
送される、”ハイブリッド”又は予測アプローチ及び、(画素値が同じフレーム
内で独立ではないという事実に対応する)空間冗長度を除去するための空間技術
と同様な方法で、時間変換によって時間冗長度が利用される3次元(3D又は、
2D+t)アプローチの、主に、2つの形式のアプローチにより達成される。
【0003】
この3Dアプローチでは、フレームのシーケンスは3D体積として処理され、
そして、画像符号化で使用される古典的なサブバンド分解が、例えば、フィルタ
バンクによって実行されるウェーブレット又はウェーブレットパケット変換のよ
うな分離できる変換を使用して、3D時空間データに拡張される。そのような3
D構造は、異方性があるが、しかし、空間及び時間方向に異なるフィルタバンク
を使用することにより、考慮することができる(長いフィルタを使用することに
よる遅延の加算は望ましくないので、通常は、時間フィルタリングにハールフィ
ルタが使用される。更に、ハールフィルタは2タップフィルタなので、境界効果
が存在しない唯一の完全な再構成直交フィルタである)。
そして、画像符号化で使用される古典的なサブバンド分解が、例えば、フィルタ
バンクによって実行されるウェーブレット又はウェーブレットパケット変換のよ
うな分離できる変換を使用して、3D時空間データに拡張される。そのような3
D構造は、異方性があるが、しかし、空間及び時間方向に異なるフィルタバンク
を使用することにより、考慮することができる(長いフィルタを使用することに
よる遅延の加算は望ましくないので、通常は、時間フィルタリングにハールフィ
ルタが使用される。更に、ハールフィルタは2タップフィルタなので、境界効果
が存在しない唯一の完全な再構成直交フィルタである)。
【0004】
そのような3D符号化機構の符号化効率は、時間分解の各レベルで、低時間サ
ブバンド内の動き推定/補償を行うことにより改善される。例えば、J.R.O
hmによる、1994年9月の画像処理に関するIEEE論文誌、vol.3,
No5の559から571頁の”動き補償を伴なう3次元サブバンド符号化”に
は、動き補償された3Dサブバンド符号化が、所定のビットレートで、古典的な
予測機構よりも、視覚的に良好で且つピーク信号対雑音比(PSNR)のよい結
果を導くことが示されている(前記文献では、完全な動き補償を伴なう3Dサブ
バンド分解が、時間領域でハールフィルタを使用して行われ、そして、空間領域
で、2D離散ウェーブレット変換−又はDWT−が行われる)。
ブバンド内の動き推定/補償を行うことにより改善される。例えば、J.R.O
hmによる、1994年9月の画像処理に関するIEEE論文誌、vol.3,
No5の559から571頁の”動き補償を伴なう3次元サブバンド符号化”に
は、動き補償された3Dサブバンド符号化が、所定のビットレートで、古典的な
予測機構よりも、視覚的に良好で且つピーク信号対雑音比(PSNR)のよい結
果を導くことが示されている(前記文献では、完全な動き補償を伴なう3Dサブ
バンド分解が、時間領域でハールフィルタを使用して行われ、そして、空間領域
で、2D離散ウェーブレット変換−又はDWT−が行われる)。
【0005】
しかしながら、動き補償は、図1に示されて、いるように2回フィルタされる
か又は、全くフィルタされない点があるという問題がある。図1の左側の部分で
は、AとBはそれぞれ、前と現在のフレームを示し、そして、(a1からa6)
、(b1からb6)は、それぞれ前記フレームの画素である(BBY=ブロック
境界)。図1の右の部分は、ブロック一致と組合せた動き補償時間フィルタリン
グの処理を示す。結合された画素は動き軌跡に沿ってフィルタされ、そして、(
動きなし又は平行移動を除いて)隣接ブロックと重なる一致したブロックのよう
な、2重に結合された画素及び未結合の画素が、一般的には現れる。
か又は、全くフィルタされない点があるという問題がある。図1の左側の部分で
は、AとBはそれぞれ、前と現在のフレームを示し、そして、(a1からa6)
、(b1からb6)は、それぞれ前記フレームの画素である(BBY=ブロック
境界)。図1の右の部分は、ブロック一致と組合せた動き補償時間フィルタリン
グの処理を示す。結合された画素は動き軌跡に沿ってフィルタされ、そして、(
動きなし又は平行移動を除いて)隣接ブロックと重なる一致したブロックのよう
な、2重に結合された画素及び未結合の画素が、一般的には現れる。
【0006】
前記文献で採用されている、未結合の画素に対処する方策は、次のようである
。(b1のような)現在のフレーム内の未結合の画素に対しては、もとの画素値
が、 時間低(L)サブバンド内に挿入される。(a3とa4のような)前のフ
レームの未結合の画素は、隣接画素と同じ動きベクトルに関連する。動き方向の
高域通過フィルタリングの結果は、時間高(H)サブバンド内の未結合画素の位
置に置かれる(ハールフィルタの場合には、これは変移したフレーム差を示す)
。直前の再構成されたフレームを使用して、前のフレーム内の未結合画素に対し
て動き補償された予測を実行することも提案されている。フィルタリングから生
じる時間サブバンドは、もとのフレームを置換し、時間低(L)サブバンドは、
現在のフレームの場所をとり、そして、時間高(H)サブバンドは基準フレーム
を置換する。
。(b1のような)現在のフレーム内の未結合の画素に対しては、もとの画素値
が、 時間低(L)サブバンド内に挿入される。(a3とa4のような)前のフ
レームの未結合の画素は、隣接画素と同じ動きベクトルに関連する。動き方向の
高域通過フィルタリングの結果は、時間高(H)サブバンド内の未結合画素の位
置に置かれる(ハールフィルタの場合には、これは変移したフレーム差を示す)
。直前の再構成されたフレームを使用して、前のフレーム内の未結合画素に対し
て動き補償された予測を実行することも提案されている。フィルタリングから生
じる時間サブバンドは、もとのフレームを置換し、時間低(L)サブバンドは、
現在のフレームの場所をとり、そして、時間高(H)サブバンドは基準フレーム
を置換する。
【0007】
未結合の画素に対処する他の方法は、図2を参照し、S.J.Choiによる
、1999年2月の画像処理に関するIEEE論文誌のvol.8、No2の1
55から167ページに記載の、”動き補償されたビデオの3−Dサブバンド符
号化”に記載されている。(a3とa4のような)前のフレームの未結合画素に
対しては、もとの値が時間低サブバンドに挿入され、これは、最初の引用文献で
定義されている方法よりも良い視覚的結果を与える。(b1のような)現在のフ
レームの未結合画素に対しては、DFD(変移されたフレーム差)値が取られる
。動き推定の方向を、動き補償の方向と一致させることにより、追加の動き推定
の必要なしに、最も有効な動きベクトルがこのDFD値に対して使用され得る。
時間サブバンドは、図2の右側に示すように異なって再配置され、時間低(L)
サブバンドは基準フレームを置換し、一方時間高(H)サブバンドは現在のフレ
ームを置換する。高周波サブバンドはエネルギーが小さくそして、未結合画素に
対してはDFD値と互換性があるので、これは、最初の引用文献の方法よりも、
未結合画素の場合により適している。
、1999年2月の画像処理に関するIEEE論文誌のvol.8、No2の1
55から167ページに記載の、”動き補償されたビデオの3−Dサブバンド符
号化”に記載されている。(a3とa4のような)前のフレームの未結合画素に
対しては、もとの値が時間低サブバンドに挿入され、これは、最初の引用文献で
定義されている方法よりも良い視覚的結果を与える。(b1のような)現在のフ
レームの未結合画素に対しては、DFD(変移されたフレーム差)値が取られる
。動き推定の方向を、動き補償の方向と一致させることにより、追加の動き推定
の必要なしに、最も有効な動きベクトルがこのDFD値に対して使用され得る。
時間サブバンドは、図2の右側に示すように異なって再配置され、時間低(L)
サブバンドは基準フレームを置換し、一方時間高(H)サブバンドは現在のフレ
ームを置換する。高周波サブバンドはエネルギーが小さくそして、未結合画素に
対してはDFD値と互換性があるので、これは、最初の引用文献の方法よりも、
未結合画素の場合により適している。
【0008】
このアプローチを要約するために、以下の関係(1)から(3)を使用する。
【0009】
結合された画素に対しては、
【0010】
【数7】
であり、未結合の画素に対しては、
【0011】
【数8】
であり、ここで、(m,n)は画素の位置を指し、H[m,n]、L[m,n]は時
間高−及び低−サブバンドであり、A[m,n]、B[m,n]は前及び現在のフレ
ームであり、[dm,dn]は、画素に対して2つの考慮される連続するフレーム
AとBの間で推定された動きベクトルであり、
間高−及び低−サブバンドであり、A[m,n]、B[m,n]は前及び現在のフレ
ームであり、[dm,dn]は、画素に対して2つの考慮される連続するフレーム
AとBの間で推定された動きベクトルであり、
【0012】
【外3】
は、dm,dnに最も近い整数であり、そして、
【0013】
【外4】
は、動きがサブ画素精度の場合には、補完された値である。複数の結合された画
素の場合には、Aは、現れた第1の組み(A,B)で計算される。
素の場合には、Aは、現れた第1の組み(A,B)で計算される。
【0014】
実際には、未結合の画素と二重に結合された画素の問題は、動き中に隠されて
いる/隠されていなくなった領域の画素に緊密に関連している。確かに、時間T
でそのフレーム内に共通部分を有する2つの物体が、時間T+1で分離されると
きには、現在のフレーム内の2つの領域は、動き補償により、基準フレーム内の
同じ領域に対応し、これが隠されていなくなった領域であり、関係(1)から(
3)を与える前の分析の場合に二重に結合されているように見える。図3は、可
能な状況を示し、FAは、前景物体1に属する前景を示し、UAは、前記領域が
明瞭になった(即ち重なっていない)ときに、背景物体2の隠されていなくなっ
た領域を示す。第2の文献に記載されたアプローチは、動き推定処理で出くわし
た最初のブロック内のこれらの画素に関連する。
いる/隠されていなくなった領域の画素に緊密に関連している。確かに、時間T
でそのフレーム内に共通部分を有する2つの物体が、時間T+1で分離されると
きには、現在のフレーム内の2つの領域は、動き補償により、基準フレーム内の
同じ領域に対応し、これが隠されていなくなった領域であり、関係(1)から(
3)を与える前の分析の場合に二重に結合されているように見える。図3は、可
能な状況を示し、FAは、前景物体1に属する前景を示し、UAは、前記領域が
明瞭になった(即ち重なっていない)ときに、背景物体2の隠されていなくなっ
た領域を示す。第2の文献に記載されたアプローチは、動き推定処理で出くわし
た最初のブロック内のこれらの画素に関連する。
【0015】
発明の概要
本発明の目的は、前述のアプローチに関する最適な解決方法を提案することで
ある。
ある。
【0016】
このために、本発明は、明細書の導入部分内で定義されているような符号化方
法に関連し、そして、更に、以下のステップ、 (1)前の基準フレームAと現在のフレームBの間の動き補償された時間フィ
ルタリングステップを有し、前記ステップそれ自身は、最初に高周波数サブバン
ドの計算サブステップと、それに続く、基準フレームAと前に計算された高周波
数サブバンドのみを使用する、低周波数サブバンドの計算サブステップとを有し
、前記計算は、
法に関連し、そして、更に、以下のステップ、 (1)前の基準フレームAと現在のフレームBの間の動き補償された時間フィ
ルタリングステップを有し、前記ステップそれ自身は、最初に高周波数サブバン
ドの計算サブステップと、それに続く、基準フレームAと前に計算された高周波
数サブバンドのみを使用する、低周波数サブバンドの計算サブステップとを有し
、前記計算は、
【0017】
【数9】
結合された画素に対して、
【0018】
【数10】
(c)未結合の画素に対して、
【0019】
【数11】
ここで、(m,n)は画素の位置を指し、H[m,n]、L[m,n]は時間高−及
び低−サブバンドであり、A[m,n]、B[m,n]は連続する前及び現在のフレ
ームであり、[dm,dn]は、画素に対してフレームAとBの間で推定された動
きベクトルであり、
び低−サブバンドであり、A[m,n]、B[m,n]は連続する前及び現在のフレ
ームであり、[dm,dn]は、画素に対してフレームAとBの間で推定された動
きベクトルであり、
【0020】
【外5】
は、dm,dnに最も近い整数であり、そして、
【0021】
【外6】
は、補完された値であり、
(2)それらの画素が詳細サブバンド内の最小エネルギーを導くような、二重
に結合している画素に関連する、前記隠されていなくなった領域の識別ステップ
を有し、 (3)基準フレームの二重に結合された画素の時間フィルタリングのために、
詳細サブバンドの最小エネルギーを導く対応する画素を、現在のフレーム内で選
択するために設けられた、判断ステップとを有することを特徴とする。
に結合している画素に関連する、前記隠されていなくなった領域の識別ステップ
を有し、 (3)基準フレームの二重に結合された画素の時間フィルタリングのために、
詳細サブバンドの最小エネルギーを導く対応する画素を、現在のフレーム内で選
択するために設けられた、判断ステップとを有することを特徴とする。
【0022】
2つの物体1と2が基準フレーム(図3の左側部分)内で重ねられている場合
には、それらの1つの中のさえぎられる領域が存在しそして、他に属する前景領
域FAのみが有効である。これらの物体が現在のフレーム内で分離されると(図
3の右側部分)、動き推定アルゴリズムは、現在のフレーム内の2つの領域を補
償のために識別する。実際の動きは、物体1の前景領域に対応するので、物体2
内の隠されていなくなった領域UAは、詳細なサブバンドのエネルギーを高くし
、これは、補償された基準フレームと現在のフレームの間の差を表す。確かに、
実際の動きが物体1に対応する場合には、前景領域の場合にはこの差は非常に小
さく物体2の覆われていない領域に対しては高い。本発明に従って、この観測を
、時間フィルタリング処理にために正しい画素を選択するのに使用する。
には、それらの1つの中のさえぎられる領域が存在しそして、他に属する前景領
域FAのみが有効である。これらの物体が現在のフレーム内で分離されると(図
3の右側部分)、動き推定アルゴリズムは、現在のフレーム内の2つの領域を補
償のために識別する。実際の動きは、物体1の前景領域に対応するので、物体2
内の隠されていなくなった領域UAは、詳細なサブバンドのエネルギーを高くし
、これは、補償された基準フレームと現在のフレームの間の差を表す。確かに、
実際の動きが物体1に対応する場合には、前景領域の場合にはこの差は非常に小
さく物体2の覆われていない領域に対しては高い。本発明に従って、この観測を
、時間フィルタリング処理にために正しい画素を選択するのに使用する。
【0023】
本発明は、そのような方法にって前に符号化されたディジタル信号を復号する
ための方法であって、前記復号方法は、基準及び現在のフレームAとBの画素の
再構成が、低及び高周波数サブバンド内の対応する画素の値に基づいて、計算ス
テップにより得られ、前記計算は、 結合された画素に対しては、
ための方法であって、前記復号方法は、基準及び現在のフレームAとBの画素の
再構成が、低及び高周波数サブバンド内の対応する画素の値に基づいて、計算ス
テップにより得られ、前記計算は、 結合された画素に対しては、
【0024】
【数12】
未結合画素に対しては、
【0025】
【数13】
(c)
【0026】
【数14】
の関係に従って行われることを特徴とする方法にも関連する。
【0027】
本発明を、必要な場合には図面を参照して説明する。
【0028】
発明の詳細な説明
本発明の基本的な原理は、時間分析の近似と詳細なサブバンドを計算すること
を可能とする関係を異なって表現することにより、最初に、動き補償された時間
フィルタリングの元の分析を提供する。そして、この計算をするために、基準サ
ブバンド内の同じ画素に結合された画素の間で、実際の動きに対応する1つを選
択することが可能であることが示される。これらの画素により構成された領域は
、高周波サブバンドのエネルギーを最小化する。
を可能とする関係を異なって表現することにより、最初に、動き補償された時間
フィルタリングの元の分析を提供する。そして、この計算をするために、基準サ
ブバンド内の同じ画素に結合された画素の間で、実際の動きに対応する1つを選
択することが可能であることが示される。これらの画素により構成された領域は
、高周波サブバンドのエネルギーを最小化する。
【0029】
関係(2)は、以下のように書き変えることができる。
(4)結合された画素に対しては、
【0030】
【数15】
これは、最初に、関係(1)を使用して高周波サブバンドを計算し、そして、基
準フレームと、関係(4)のように、前に計算された高周波数サブバンドのみを
使用して、低周波サブバンドを計算することを可能とする。合成部分に関しては
、基準及び現在のフレーム内の画素の完全な再構成を得るために、低周波数サブ
バンドと高周波数サブバンド内の対応する画素の値、 (5)結合された画素に対しては、
準フレームと、関係(4)のように、前に計算された高周波数サブバンドのみを
使用して、低周波サブバンドを計算することを可能とする。合成部分に関しては
、基準及び現在のフレーム内の画素の完全な再構成を得るために、低周波数サブ
バンドと高周波数サブバンド内の対応する画素の値、 (5)結合された画素に対しては、
【0031】
【数16】
(6)未結合の画素に対しては、
【0032】
【数17】
に基づいて、関係(1)、(4)、(3)を、簡単に使用できる。
【0033】
一旦、基準フレーム内の値が有効であれば、現在のフレーム値は、
(7)
【0034】
【数18】
のように計算される。
【0035】
基準フレーム内の二重に結合された画素(例えば、位置(p,q)での画素)
の場合には、そして、位置(m1,n1)と(m2,n2)で動き推定アルゴリ
ズムにより見つけられた2つの画素を考慮すると、2つの対応する動きベクトル
が(dm1,dn1)及び(dm2,dn2)の場合には、
の場合には、そして、位置(m1,n1)と(m2,n2)で動き推定アルゴリ
ズムにより見つけられた2つの画素を考慮すると、2つの対応する動きベクトル
が(dm1,dn1)及び(dm2,dn2)の場合には、
【0036】
【数19】
を意味する。前の関係(1)と(4)は、2つの組みに適用できるので、
【0037】
【数20】
及び、
【0038】
【数21】
である。詳細なサブバンド内の値は、現在のフレーム内の2つのがそに対して異
なることに注意する。従って、近似サブバンド内の値を、これらの2つの値の何
れかを使用して計算できる。これらの両方は、最初に基準フレーム内の値を計算
しそして、現在のフレーム内の値を計算するために関係(7)を利用することに
より、完全な再構成を可能とする。
なることに注意する。従って、近似サブバンド内の値を、これらの2つの値の何
れかを使用して計算できる。これらの両方は、最初に基準フレーム内の値を計算
しそして、現在のフレーム内の値を計算するために関係(7)を利用することに
より、完全な再構成を可能とする。
【0039】
上述のように、2つの領域の1つは、実際の物体の動きに対応し、そして、他
の1つは、同じ動きによって覆われていなくなったものである。第1の場合は、
高周波数サブバンド内に最小のエネルギーを導き、覆われていない領域は前景領
域内の値と異なる値を有する。従って、正しい値を選択する1つの基準は、詳細
なサブバンドのエネルギーを最小化することである。これは、
の1つは、同じ動きによって覆われていなくなったものである。第1の場合は、
高周波数サブバンド内に最小のエネルギーを導き、覆われていない領域は前景領
域内の値と異なる値を有する。従って、正しい値を選択する1つの基準は、詳細
なサブバンドのエネルギーを最小化することである。これは、
【0040】
【数22】
を導き、そして、
【0041】
【数23】
であり、ここで、P(p,q)は、基準フレーム内の画素(p,q)に結合され
た現在のフレーム内の全ての画素(m,n)の組みである。
た現在のフレーム内の全ての画素(m,n)の組みである。
【0042】
実際には、最小化は、フラグを低周波数サブバンド内の各画素に関連付けるこ
とにより実行され、前記サブバンド内の画素は前のフレームに再配置されるので
、このフラグも、フレームA内の対応する位置に関連付けされる。フレームA内
の考慮される画素に結合された現在のフレームB内の画素がない場合には、フラ
グは位置”0”のまま残る。現在及のフレームからの画素が、フラグに関連する
基準フレーム内の位置を示す度に、フラグは増加される。
とにより実行され、前記サブバンド内の画素は前のフレームに再配置されるので
、このフラグも、フレームA内の対応する位置に関連付けされる。フレームA内
の考慮される画素に結合された現在のフレームB内の画素がない場合には、フラ
グは位置”0”のまま残る。現在及のフレームからの画素が、フラグに関連する
基準フレーム内の位置を示す度に、フラグは増加される。
【0043】
フラグが値”0”を有する場合には、高周波数サブバンド内の値は関係(12
)を使用して計算され、そして、低周波数サブバンド内の値は関係(13)を使
用して計算される。フラグが”0”でない場合には、AとBの間の結合が確立さ
れるときに、高周波数サブバンド内の値が前のように関係(12)を使用して計
算され、そして、絶対値が、存在する1つと比較される。前記絶対値は、前に計
算された高周波値の絶対値よりも低い場合には、関係(13)を使用して、低周
波数値を更新するのに使用される。
)を使用して計算され、そして、低周波数サブバンド内の値は関係(13)を使
用して計算される。フラグが”0”でない場合には、AとBの間の結合が確立さ
れるときに、高周波数サブバンド内の値が前のように関係(12)を使用して計
算され、そして、絶対値が、存在する1つと比較される。前記絶対値は、前に計
算された高周波値の絶対値よりも低い場合には、関係(13)を使用して、低周
波数値を更新するのに使用される。
【0044】
本発明は、上述のような符号化方法にって符号化されたディジタル信号を復号
するための方法にも関連する。Aフレーム内で考慮される画素に結合された画素
をBフレーム内で見つけるために、そして、最小エネルギー高周波サブバンドを
導くために、符号化器側で行われる動作の順序は、復号器側で再現される。
するための方法にも関連する。Aフレーム内で考慮される画素に結合された画素
をBフレーム内で見つけるために、そして、最小エネルギー高周波サブバンドを
導くために、符号化器側で行われる動作の順序は、復号器側で再現される。
【図1】
”未結合の”及び”二重に結合されている”画素の問題を示し、且つ前記問題
を解決する第1の方法に関連する図である。
を解決する第1の方法に関連する図である。
【図2】
この問題を解決する他の方法を示す図である。
【図3】
覆われていなくなった領域の問題を示す図である。
─────────────────────────────────────────────────────
フロントページの続き
Fターム(参考) 5C059 MA24 NN01 NN15 NN21 PP13
UA02 UA05 UA15
5J064 BA04 BA16 BC01 BC11 BD02
Claims (2)
- 【請求項1】 3次元(3D)体積と考えられるフレームのシーケンスに対
応する3D時空間データに与えられる空間及び時間フィルタリングステップを含
む3Dサブバンド分解によって、フレームのシーケンスを符号化する方法であっ
て、前記分解は、時間分解の各レベルにおいて、低時間サブバンド内の動き推定
及び補償動作の前記フレームに関する実行の後にのみ、連続するフレームのグル
ープに適用され、補償動作は、フィルタされた画素の間に、動き中に隠されてい
なくなった領域に対応する二重に結合された画素を導き、前記方法は、更に、 (1)前の基準フレームAと現在のフレームBの間の動き補償された時間フィ
ルタリングステップを有し、前記ステップそれ自身は、最初に高周波数サブバン
ドの計算サブステップと、それに続く、基準フレームAと前に計算された高周波
数サブバンドのみを使用する、低周波数サブバンドの計算サブステップとを有し
、前記計算は、 (a) 【数1】 (b)結合された画素に対して、 【数2】 (c)未結合の画素に対して、 【数3】 ここで、(m,n)は画素の位置を指し、H[m,n]、L[m,n]は時間高−及
び低−サブバンドであり、A[m,n]、B[m,n]は連続する前及び現在のフレ
ームであり、[dm,dn]は、画素に対してフレームAとBの間で推定された動
きベクトルであり、 【外1】 は、dm,dnに最も近い整数であり、そして、 【外2】 は、補完された値であり、 (2)それらの画素が詳細サブバンド内の最小エネルギーを導くような、二重
に結合している画素に関連する、前記隠されていなくなった領域の識別ステップ
を有し、 (3)基準フレームの二重に結合された画素の時間フィルタリングのために、
詳細サブバンドの最小エネルギーを導く対応する画素を、現在のフレーム内で選
択するために設けられた、判断ステップとを有することを特徴とする方法。 - 【請求項2】 請求項1に記載の符号化方法の実行によりで符号化されたデ
ィジタル信号を復号するための方法であって、前記復号方法は、基準及び現在の
フレームAとBの画素の再構成が、低及び高周波数サブバンド内の対応する画素
の値に基づいて、計算ステップにより得られ、前記計算は、 (a)結合された画素に対しては、 【数4】 (b)未結合画素に対しては、 【数5】 (c) 【数6】 の関係に従って行われることを特徴とする復号方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP00401004.7 | 2000-04-11 | ||
EP00401004 | 2000-04-11 | ||
PCT/EP2001/003647 WO2001078402A1 (en) | 2000-04-11 | 2001-03-30 | Video encoding and decoding method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003530789A true JP2003530789A (ja) | 2003-10-14 |
Family
ID=8173643
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001575726A Pending JP2003530789A (ja) | 2000-04-11 | 2001-03-30 | ビデオ符号化及び復号方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US6381276B1 (ja) |
EP (1) | EP1277347A1 (ja) |
JP (1) | JP2003530789A (ja) |
KR (1) | KR20020026177A (ja) |
CN (1) | CN1205818C (ja) |
WO (1) | WO2001078402A1 (ja) |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU717480B2 (en) * | 1998-08-01 | 2000-03-30 | Korea Advanced Institute Of Science And Technology | Loop-filtering method for image data and apparatus therefor |
JP2004506355A (ja) * | 2000-08-08 | 2004-02-26 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ウェーブレット分解に基づくビデオ符号化方法 |
JP2004523994A (ja) * | 2001-04-10 | 2004-08-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 一連のフレームを符号化する方法 |
US7042946B2 (en) * | 2002-04-29 | 2006-05-09 | Koninklijke Philips Electronics N.V. | Wavelet based coding using motion compensated filtering based on both single and multiple reference frames |
US20030202599A1 (en) * | 2002-04-29 | 2003-10-30 | Koninklijke Philips Electronics N.V. | Scalable wavelet based coding using motion compensated temporal filtering based on multiple reference frames |
US20040008785A1 (en) * | 2002-07-15 | 2004-01-15 | Koninklijke Philips Electronics N.V. | L-frames with both filtered and unfilterd regions for motion comensated temporal filtering in wavelet based coding |
WO2004049723A1 (en) * | 2002-11-27 | 2004-06-10 | Koninklijke Philips Electronics N.V. | Video encoding method |
FR2855356A1 (fr) * | 2003-05-23 | 2004-11-26 | Thomson Licensing Sa | Procede de codage et/ou de decodage de groupe d'images |
JP3831846B2 (ja) * | 2003-06-09 | 2006-10-11 | 富士電機デバイステクノロジー株式会社 | 半導体装置の製造方法 |
US7627040B2 (en) * | 2003-06-10 | 2009-12-01 | Rensselaer Polytechnic Institute (Rpi) | Method for processing I-blocks used with motion compensated temporal filtering |
CN1813269A (zh) * | 2003-06-30 | 2006-08-02 | 皇家飞利浦电子股份有限公司 | 使用过完备小波编码和循环预测映射进行视频处理的***及方法 |
EP1515561B1 (en) * | 2003-09-09 | 2007-11-21 | Mitsubishi Electric Information Technology Centre Europe B.V. | Method and apparatus for 3-D sub-band video coding |
EP1668889A1 (en) * | 2003-09-23 | 2006-06-14 | Koninklijke Philips Electronics N.V. | Video de -noising algorithm using inband motion-compensated temporal filtering |
US7526025B2 (en) * | 2003-10-24 | 2009-04-28 | Sony Corporation | Lifting-based implementations of orthonormal spatio-temporal transformations |
US20050117639A1 (en) * | 2003-10-24 | 2005-06-02 | Turaga Deepak S. | Optimal spatio-temporal transformations for reduction of quantization noise propagation effects |
KR100596706B1 (ko) * | 2003-12-01 | 2006-07-04 | 삼성전자주식회사 | 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치 |
AU2004310915B2 (en) * | 2003-12-01 | 2008-05-22 | Samsung Electronics Co., Ltd. | Method and apparatus for scalable video encoding and decoding |
FR2867328A1 (fr) * | 2004-03-02 | 2005-09-09 | Thomson Licensing Sa | Procede de decodage d'une sequence d'images codee avec echelonnabilite spatiale et temporelle |
US8340177B2 (en) * | 2004-07-12 | 2012-12-25 | Microsoft Corporation | Embedded base layer codec for 3D sub-band coding |
EP1617672A1 (en) * | 2004-07-13 | 2006-01-18 | Matsushita Electric Industrial Co., Ltd. | Motion estimator/compensator including a 16-bit 1/8 pel interpolation filter |
JP2008507170A (ja) * | 2004-07-13 | 2008-03-06 | フランス テレコム エス アー | ビデオ画像配列の符号化方法および装置 |
FR2873256A1 (fr) * | 2004-07-13 | 2006-01-20 | France Telecom | Procede et dispositif de densification de champ de mouvement |
WO2006080681A1 (en) * | 2004-10-05 | 2006-08-03 | Samsung Electronics Co., Ltd. | Apparatus, medium, and method for generating motion-compensated layers |
US7616824B2 (en) * | 2004-12-08 | 2009-11-10 | Ecole Polytechnique Fédérale de Lausanne (EPFL) CM - Ecublens | Method for spatially scalable video coding |
US8300693B2 (en) * | 2005-01-18 | 2012-10-30 | Ecole Polytechnique Federale De Lausanne | Image transform for video coding |
KR100732961B1 (ko) | 2005-04-01 | 2007-06-27 | 경희대학교 산학협력단 | 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치 |
US7965772B2 (en) * | 2005-05-31 | 2011-06-21 | Saratoga Technology Group, Inc. | Systems and methods for improved data transmission |
US7894522B2 (en) | 2005-09-16 | 2011-02-22 | Sony Corporation | Classified filtering for temporal prediction |
US7885335B2 (en) | 2005-09-16 | 2011-02-08 | Sont Corporation | Variable shape motion estimation in video sequence |
US7957466B2 (en) | 2005-09-16 | 2011-06-07 | Sony Corporation | Adaptive area of influence filter for moving object boundaries |
US7596243B2 (en) | 2005-09-16 | 2009-09-29 | Sony Corporation | Extracting a moving object boundary |
US8165205B2 (en) | 2005-09-16 | 2012-04-24 | Sony Corporation | Natural shaped regions for motion compensation |
US7894527B2 (en) | 2005-09-16 | 2011-02-22 | Sony Corporation | Multi-stage linked process for adaptive motion vector sampling in video compression |
US8005308B2 (en) | 2005-09-16 | 2011-08-23 | Sony Corporation | Adaptive motion estimation for temporal prediction filter over irregular motion vector samples |
US7620108B2 (en) | 2005-09-16 | 2009-11-17 | Sony Corporation | Integrated spatial-temporal prediction |
US8107748B2 (en) | 2005-09-16 | 2012-01-31 | Sony Corporation | Adaptive motion search range |
US8059719B2 (en) | 2005-09-16 | 2011-11-15 | Sony Corporation | Adaptive area of influence filter |
KR100791453B1 (ko) * | 2005-10-07 | 2008-01-03 | 성균관대학교산학협력단 | 움직임보상 시간축 필터링을 이용한 다시점 비디오 부호화및 복호화 방법 및 장치 |
SI2192783T1 (sl) * | 2006-01-09 | 2015-09-30 | Matthias Narroschke | Adaptivno kodiranje napake predikcije pri hibridnem video kodiranju |
ZA200805337B (en) | 2006-01-09 | 2009-11-25 | Thomson Licensing | Method and apparatus for providing reduced resolution update mode for multiview video coding |
KR100818921B1 (ko) * | 2006-01-12 | 2008-04-03 | 삼성전자주식회사 | 모션 벡터 압축 방법, 상기 압축 방법을 이용하는 비디오인코더 및 비디오 디코더 |
US8346000B2 (en) * | 2007-08-01 | 2013-01-01 | The Board Of Trustees Of The Leland Stanford Junior University | Systems, methods, devices and arrangements for motion-compensated image processing and coding |
MY162861A (en) * | 2007-09-24 | 2017-07-31 | Koninl Philips Electronics Nv | Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal |
CN101662678B (zh) * | 2008-08-29 | 2011-08-24 | 华为技术有限公司 | 一种运动补偿时域滤波的方法和装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5121191A (en) * | 1991-03-15 | 1992-06-09 | Aware, Inc. | Method and apparatus for coding motion pictures |
US5301020A (en) * | 1991-11-01 | 1994-04-05 | Aware, Inc. | Method and apparatus for coding motion pictures utilizing motion compensation |
-
2001
- 2001-03-30 EP EP01915426A patent/EP1277347A1/en not_active Withdrawn
- 2001-03-30 JP JP2001575726A patent/JP2003530789A/ja active Pending
- 2001-03-30 WO PCT/EP2001/003647 patent/WO2001078402A1/en not_active Application Discontinuation
- 2001-03-30 KR KR1020017015868A patent/KR20020026177A/ko not_active Application Discontinuation
- 2001-03-30 CN CNB018008895A patent/CN1205818C/zh not_active Expired - Fee Related
- 2001-04-09 US US09/829,342 patent/US6381276B1/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN1366777A (zh) | 2002-08-28 |
EP1277347A1 (en) | 2003-01-22 |
WO2001078402A1 (en) | 2001-10-18 |
KR20020026177A (ko) | 2002-04-06 |
CN1205818C (zh) | 2005-06-08 |
US6381276B1 (en) | 2002-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2003530789A (ja) | ビデオ符号化及び復号方法 | |
EP2532162B1 (en) | Filtering for image and video enhancement using asymmetric samples | |
US5311310A (en) | High efficiency coder and method employing overlapped motion compensation and perfect reconstruction filter banks | |
EP1825690B1 (en) | Method and system for decomposing multiview videos | |
EP1835749A1 (en) | Method for coding video data of a sequence of pictures | |
US7023923B2 (en) | Motion compensated temporal filtering based on multiple reference frames for wavelet based coding | |
Dubois | Motion-compensated filtering of time-varying images | |
WO2003094524A2 (en) | Scalable wavelet based coding using motion compensated temporal filtering based on multiple reference frames | |
JP2004523994A (ja) | 一連のフレームを符号化する方法 | |
JP4382284B2 (ja) | サブバンドの符号化/復号 | |
JP2005533425A (ja) | 単一の基準フレームと複数の基準フレームの両者に基づいた動き補償フィルタリングを使用したウェーブレットベースの符号化 | |
US7242717B2 (en) | Wavelet domain motion compensation system | |
US6944225B2 (en) | Resolution-scalable video compression | |
KR100901178B1 (ko) | 동화상의 부호화 방법 및 장치, 그리고 동화상의 복호 방법및 장치 | |
Tillier et al. | Improved update operators for lifting-based motion-compensated temporal filtering | |
WO2003094526A2 (en) | Motion compensated temporal filtering based on multiple reference frames for wavelet coding | |
US6061401A (en) | Method and apparatus for selectively encoding/decoding a video signal | |
KR100737808B1 (ko) | 2차원 구조의 다시점 영상 압축 방법 | |
Cui et al. | Motion estimation and compensation in the redundant-wavelet domain using triangle meshes | |
JP2006501750A (ja) | ウェーブレットベースの符号化において、動き補償された時間フィルタリングのための、フィルタリングされた領域とフィルタリングされない領域とを両方備えるlフレーム | |
KR20030001758A (ko) | 움직임 및 시차 보상을 갖는 입체영상의 부호화/복호화장치 및 그 방법 | |
Anantrasirichai et al. | Multi-view image coding with wavelet lifting and in-band disparity compensation | |
Wang | Fully scalable video coding using redundant-wavelet multihypothesis and motion-compensated temporal filtering | |
Anantrasitichai et al. | Lifting-based multi-view image coding | |
Verdicchio et al. | Architectural aspects of scalable wavelet video coding |