JP5065051B2 - 低解像度画像から高解像度画像の符号化情報を導出する方法、並びに、係る方法を実現する符号化及び復号化装置 - Google Patents

低解像度画像から高解像度画像の符号化情報を導出する方法、並びに、係る方法を実現する符号化及び復号化装置 Download PDF

Info

Publication number
JP5065051B2
JP5065051B2 JP2007555587A JP2007555587A JP5065051B2 JP 5065051 B2 JP5065051 B2 JP 5065051B2 JP 2007555587 A JP2007555587 A JP 2007555587A JP 2007555587 A JP2007555587 A JP 2007555587A JP 5065051 B2 JP5065051 B2 JP 5065051B2
Authority
JP
Japan
Prior art keywords
macroblock
block
resolution
high resolution
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007555587A
Other languages
English (en)
Other versions
JP2008530926A (ja
Inventor
ボワッソン，ギヨーム
ビュルダン，ニコラ
フランソワ，エドワール
ロペ，パトリック
マルカン，グウェナエル
ヴィエロン，ジェローム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP05101224A external-priority patent/EP1694074A1/en
Priority claimed from EP05102465A external-priority patent/EP1694075A1/fr
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2008530926A publication Critical patent/JP2008530926A/ja
Application granted granted Critical
Publication of JP5065051B2 publication Critical patent/JP5065051B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Description

本発明は、符号化情報を導出する方法を使用する空間スケーラブル符号化及び復号化処理に関する。
より詳細には、本発明は、低解像度画像の符号化情報から高解像度画像の符号化情報を導出するための、レイヤ間予測符号化方法とも呼ばれる方法に関する。
最新のスケーラブル階層型符号化方法は、異なる解像度及び／又は品質レベルでデコードされるため、情報を階層的にエンコードするのを可能にする。スケーラブル符号化装置により生成されたデータストリームは、ベースレイヤと、ハイレイヤとも呼ばれる１以上のエンハンスメントレイヤといった幾つかのレイヤに分割される。これらの装置は、固有のデータストリームを可変の送信条件（帯域幅、エラーレート）に適合させ、また受信装置（ＣＰＵ、再生装置の特性）のキャパシティにも適合させる。空間スケーラブル階層型符号化方法は、低解像度画像に関連するベースレイヤと呼ばれるデータの第一の部分をエンコード（又はデコード）し、このベースレイヤから、高解像度画像に関連するエンハンスメントレイヤと呼ばれる少なくとも別のデータ部分をエンコード（又はデコード）する。エンハンスメントレイヤに関連する符号化情報は、レイヤ間予測方法と呼ばれる方法によりベースレイヤに関連する符号化情報から受け継ぐ（すなわち導出される）。導出された符号化情報は、（前記ブロックを幾つかのサブブロックに***する）高解像度画像の画素のブロックに関連付けされる区分パターン、前記ブロックを予測するために使用される画像を参照するのを可能にするブロックに関連される動きベクトルと１以上の画像参照インデックスを含む。参照画像は、系列の別の画像を予測するために使用される系列の画像である。したがって、データストリームで明示的に符号化されない場合、エンハンスメントレイヤに関連する符号化情報は、低解像度画像に関連する符号化情報から導出される必要がある。符号化除法を導出する最新の方法は、そのフォーマットが動的な変換により低解像度画像のフォーマットにリンクされていない高解像度画像のために使用することができない。
本発明は、低解像度画像の少なくとも１つの画像部分の符号化情報から高解像度画像の少なくとも１つの画像部分の符号化情報を導出するための方法に関し、それぞれの画像は、第一のサイズのオーバラップしないブロックに分割されるオーバラップしないマクロブロックに分割される。３つのマクロブロックの３つのラインのオーバラップしないセットは、ハイパーマクロブロックを定義し、符号化情報は、少なくともマクロブロック符号化モードとブロック符号化モードを含む。本発明によれば、低解像度マクロブロックと呼ばれる少なくとも１つの低解像度の画像部分の少なくとも１つのマクロブロックは、高解像度マクロブロックと呼ばれる高解像度の画像部分のそれぞれのマクロブロックと関連され、水平及び垂直方向の両者で１．５の倍数の予め定義された割合によりアップサンプリングされる低解像度の画像部分が高解像度の画像部分と重ね合わせされるとき、関連される低解像度のマクロブロックは、高解像度のマクロブロックを少なくとも部分的にカバーする。
本方法は、以下のステップを含む。高解像度マクロブロックにおける第一のサイズの高解像度のブロックの位置に基づいて、及びマクロブロッククラスと呼ばれる高解像度のマクロブロックのハイパーマクロブロック内の位置に基づいて、第一のサイズの高解像度ブロックが属する高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードから、第一のサイズの高解像度ブロックと呼ばれる高解像度画像部分における第一のサイズのそれぞれのブロックについてブロック符号化モードを引き出すステップ、及び／又は、高解像度マクロブロックのクラスに基づいて高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードから高解像度画像部分におけるそれぞれ高解像度のマクロブロックについてマクロブロック符号化モードを引き出すステップ。
好適な実施の形態によれば、マクロブロックのマクロブロック符号化モードは、マクロブロックが符号化のために時間的に予測される場合に、INTERと呼ばれ、マクロブロックが符号化のために時間的に予測されない場合にINTRAと呼ばれる。マクロブロック符号化モードは、以下のように、高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードから高解像度マクロブロックについて引き出される。
高解像度マクロブロックがハイパーマクロブロックのセンターマクロブロックである場合、４つの低解像度マクロブロックが高解像度マクロブロックと関連付けされ、４つの低解像度マクロブロックのマクロブロック符号化モードがINTRAである場合、高解像度マクロブロック符号化モードはINTRAであり、さもなければ高解像度マクロブロック符号化モードはINTERである。
高解像度マクロブロックがハイパーマクロブロックの４つのコーナーマクロブロックのうちの１つであり、高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードがINTRAである場合、高解像度マクロブロック符号化モードはINTRAであり、さもなければ高解像度マクロブロック符号化モードはINTERである。
高解像度マクロブロックがハイパーマクロブロックのセンターマクロブロックの上及び下に位置されるハイパーマクロブロックの２つの垂直方向のマクロブロックのうちの１つであり、２つの低解像度マクロブロックが高解像度マクロブロックに関連される場合、両方の低解像度マクロブロックのモードがINTRAである場合、高解像度マクロブロックの符号化モードはINTRAであり、さもなければ高解像度マクロブロックの符号化モードはINTERである。
高解像度のマクロブロックがハイパーマクロブロックのセンターマクロブロックの左及び右に位置されるハイパーマクロブロックの２つの水平方向のマクロブロックのうちの１つであり、２つの低解像度マクロブロックが高解像度マクロブロックに関連される場合、両方の低解像度マクロブロックのモードがINTRAであり、高解像度マクロブロックの符号化モードはINTRAであり、さもなければ高解像マクロブロックの符号化モードはINTERである。
高解像度の画像部分のそれぞれの高解像度マクロブロックは、２つのブロックの２つのラインで配列される第一のサイズの４つのオーバラップしないブロックに分割され、１つのブロックは左上に位置されて、ブロックＢ1と呼ばれ、１つのブロックは右上に位置されて、ブロックＢ2と呼ばれ、１つのブロックは左下に位置されて、ブロックＢ3と呼ばれ、１つのブロックは右下に位置されて、ブロックＢ4と呼ばれる。予め定義された実施の形態によれば、あるブロックのブロック符号化モードは、ブロックが符号化のために時間的に予測される場合にはINTERと呼ばれ、ブロックが符号化のために時間的に予測されない場合にはINTRAと呼ばれる。有利なことに、ブロック符号化モードは、センターマクロブロックに関連される４つの低解像度マクロブロックのマクロブロック符号化モードからのハイパーマクロブロックのセンターマクロブロックに属する第一のサイズのそれぞれ高解像度ブロックについて引き出される。１つの低解像度マクロブロックは左上に位置されて、マクロブロックｃＭＢ1と呼ばれ、１つの低解像度マクロブロックは右上に位置されて、マクロブロックｃＭＢ2と呼ばれ、１つの低解像度マクロブロックは左下に位置されて、マクロブロックｃＭＢ3と呼ばれ、１つの低解像度マクロブロックは右下に位置されて、マクロブロックｃＭＢ4と呼ばれる。
ｃＭＢ1マクロブロック符号化モードがINTRAである場合、Ｂ1のブロック符号化モードはINTRAであり、さもなければＢ1のブロック符号化モードはINTERである。ｃＭＢ2マクロブロック符号化モードがINTRAである場合、Ｂ2のブロック符号化モードはINTRAであり、さもなければＢ2のブロック符号化モードはINTERである。ｃＭＢ3マクロブロック符号化モードがINTRAである場合、Ｂ3のブロック符号化モードはINTRAであり、さもなければＢ3のブロック符号化モードはINTERである。ｃＭＢ4マクロブロック符号化モードがINTRAである場合、Ｂ4のブロック符号化モードはINTRAであり、さもなければＢ4のブロック符号化モードはINTERである。
ブロック符号化モードは、以下のように、コーナーマクロブロックに関連されるマクロブロックｃＭＢと呼ばれる低解像度マクロブロックのマクロブロック符号化モードからハイパーマクロブロックのコーナーマクロブロックに属する第一のサイズのそれぞれの高解像度のブロックについて引き出される。ｃＭＢマクロブロック符号化モードがINTRAである場合、Ｂ1，Ｂ2，Ｂ3，Ｂ4のブロック符号化モードはINTRAであり、さもなければＢ1のブロック符号化モードはINTERである。さもなければ、Ｂ1，Ｂ2，Ｂ3，Ｂ4のブロック符号化モードはINTRAである。
ブロック符号化モードは、以下のように、垂直方向のマクロブロックに関連する２つの低解像度のマクロブロックのマクロブロック符号化モードからハイパーマクロブロックの垂直方向のマクロブロックに属する第一のサイズのそれぞれの高解像度のブロックについて引き出され、１つの低解像度のマクロブロックは左に位置されて、マクロブロックｃＭＢlと呼ばれ、１つの低解像度のマクロブロックは右に位置されて、マクロブロックｃＭＢrと呼ばれる。
ｃＭＢlマクロブロック符号化モードがINTRAである場合、Ｂ1及びＢ3のブロック符号化モードはINTRAであり、さもなければＢ1及びＢ3のブロック符号化モードはINTERである。ｃＭＢrマクロブロック符号化モードがINTRAである場合、Ｂ2及びＢ4のブロック符号化モードはINTRAであり、さもなければＢ2及びＢ4のブロック符号化モードはINTERである。
ブロック符号化モードは、以下のように、水平方向のマクロブロックに関連する２つの低解像度のマクロブロックのマクロブロック符号化モードからハイパーマクロブロックの水平方向のマクロブロックに属する第一のサイズのそれぞれの高解像度のブロックについて引き出され、１つの低解像度のマクロブロックは上に位置されて、マクロブロックｃＭＢuと呼ばれ、１つの低解像度のマクロブロックは下に位置されて、マクロブロックｃＭＢdと呼ばれる。
ｃＭＢuマクロブロック符号化モードがINTRAである場合、Ｂ1及びＢ2のブロック符号化モードはINTRAであり、さもなければＢ1及びＢ2のブロック符号化モードはINTERである。ｃＭＢdマクロブロック符号化モードがINTRAである場合、Ｂ3及びＢ4のブロック符号化モードはINTRAであり、さもなければＢ3及びＢ4のブロック符号化モードはINTERである。
好ましくは、本方法は、高解像度マクロブロックがそのブロック符号化モードがINTRAである第一のサイズの少なくとも１つのブロックを含むとき、それぞれ高解像度マクロブロック内の第一のサイズのブロックのブロック符号化モードを同質にするステップを更に有する。
有利なことに、符号化情報は動き情報を更に含み、本方法は、高解像度マクロブロックに関連される低解像度マクロブロックの動き情報からそれぞれ高解像度のマクロブロックについて動き情報を導出するステップを更に有する。
高解像度マクロブロックについて動き情報を導出するステップは、以下のステップを含む。高解像度マクロブロックのクラスに基づいて、及び、高解像度のマクロブロック内の第二のサイズの高解像度ブロックの位置に基づいて、第二のサイズの低解像度ブロックと呼ばれる高解像度マクロブロックに関連する低解像度マクロブロックにおける第二のサイズのブロックを、第二のサイズの高解像度ブロックと呼ばれる高解像度マクロブロックにおける第二のサイズのそれぞれのブロックと関連付けるステップ。第二のサイズの高解像度ブロックに関連される第二のサイズの低解像度ブロックの動き情報から高解像度マクロブロックにおける第二のサイズのそれぞれのブロックについて動き情報を導出するステップ。
好ましくは、１ブロック又は１マクロブロックの動き情報は、第一及び第二のコンポーネントと、インデックスが参照画像を識別する、第一又は第二のリファレンスインデックスのリストの中から選択された動きベクトルに関連される少なくとも１つのリファレンスインデックスを含む。
有利なことに、動き情報を導出するステップの後、本方法は、それぞれのハイレイヤマクロブロックについて、第一のサイズの同じブロックのサブブロック間での動き情報を均質にするステップを更に含む。このステップは、それぞれのリファレンスインデックスのリストについて、以下のステップを含む。
ハイレイヤマクロブロックの第一のサイズのそれぞれの高解像度ブロックについて、リファレンスインデックスの前記リストのリファレンスインデックスの中からサブブロックの最も低いインデックスを識別するステップ。その現在のリファレンスインデックスが最も低いリファレンスインデックスに等しくないサブブロックのそれぞれと最も低いリファレンスインデックスを関連付けするステップ。現在のリファレンスインデックスは前のリファレンスインデックスになる。その前のリファレンスインデックスが最も低いインデックスに等しくないサブブロックのそれぞれと、その前のリファレンスインデックスが最も低いリファレンスインデックスに等しいその近隣のサブブロックのうちの１つの動きベクトルを関連付けするステップ。
好ましくは、関連付けされた動きベクトルは、第一に水平方向の近隣のサブブロックをチェックし、第二に垂直方向の近隣のサブブロックをチェックし、第三に対角線上の近隣のサブブロックをチェックするときに遭遇する第一の近隣のサブブロックの動きベクトルである。
好ましくは、高解像度の画像部分におけるそれぞれの高解像度のマクロブロックの動きベクトルと、もしあれば高解像度マクロブロックにおけるそれぞれのブロックの動きベクトルとの動きベクトルコンポーネントは、以下の式によりスケーリングされる。
Figure 0005065051
 ここでｄx及びｄyは、導出された動きベクトルの座標を表し、ｄsx及びｄsyは、スケーリングされた動きベクトルの座標を表し、sign［x］はｘが正であるときに１に等しく、ｘが負であるときに−１である。
特定の実施の形態によれば、予め定義された割合は、３を２で割ったものに等しく、第一のサイズのブロックは、８×８画素のサイズを有し、マクロブロックは、１６×１６画素のサイズを有し、第二のサイズのブロックは、４×４画素のサイズを有する。
好ましくは、本方法は、ビデオ信号を符号化するプロセスの一部であり、及び／又はビデオ信号を復号化するプロセスの一部である。
また、本発明は、少なくとも、高解像度の画像系列と低解像度の画像系列を符号化する装置に関し、それぞれの画像は、第一のサイズのオーバラップしないブロックに分割されるオーバラップしないマクロブロックに分割される。当該装置は、以下を有している。
第一の符号化手段は、低解像度画像を符号化し、低解像度画像とベースレイヤデータストリームについて符号化情報を生成する。引継手段は、低解像度画像の少なくとも１つの画像部分の符号化情報から高解像度画像の少なくとも１つの画像部分について符号化情報を導出する。第二の符号化手段は、導出された符号化情報を使用して高解像度画像を符号化し、エンハンスメントデータストリームを生成する。
さらに、本発明は、少なくとも、先に定義された符号化装置により符号化された、高解像度画像の系列と低解像度画像の系列を復号化する装置に関し、符号化された画像は、データストリームにより表され、それぞれの画像は、第一のサイズのオーバラップしないブロックに分割されるオーバラップしないマクロブロックに分割される。当該復号化装置は、以下を有する。
第一の復号化手段は、低解像度画像と該低解像度画像の符号化情報を生成するため、データストリームの第一の部分を少なくとも復号化する。引継手段は、低解像度画像の少なくとも１つの画像部分の符号化情報から高解像度画像の少なくとも１つの画像部分について符号化情報を導出する。第二の復号化手段は、高解像度画像を生成するため、導出された符号化情報を使用してデータストリームの少なくとも第二の部分を復号化する。
本発明の重要な特徴によれば、前記高解像度画像の前記少なくとも１つの画像部分における３つのマクロブロックの３つのラインのオーバラップしないセットはハイパーマクロブロックを定義し、前記符号化情報は、少なくともマクロブロック符号化モードとブロック符号化モードを有しており、符号化及び復号化装置の引継手段は、以下を有する。
低解像度マクロブロックと呼ばれる低解像度の画像部分の少なくとも１つのマクロブロックを、高解像度マクロブロックと呼ばれる高解像度の画像部分のそれぞれのマクロブロックと関連付けする手段。水平及び垂直の両方向で１．５の倍数の予め定義された割合によりアップサンプリングされた低解像度の画像部分が高解像度の画像部分で重ね合わせされるとき、関連付けされる低解像度マクロブロックは、高解像度マクロブロックを少なくとも部分的にカバーする。
高解像度マクロブロックにおける第一のサイズの高解像度ブロックの位置に基づいて、及び、マクロブロッククラスと呼ばれる、ハイパーマクロブロックのマクロブロック内の高解像度の位置に基づいて、第一のサイズの高解像度ブロックが属する高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードから、第一のサイズの高解像度ブロックと呼ばれる、高解像度の画像部分における第一のサイズのそれぞれのブロックについてブロック符号化モードを引き出す手段。
高解像度マクロブロックのクラスに基づいて、高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードから高解像度の画像部分におけるそれぞれの高解像度マクロブロックについてマクロブロック符号化モードを引き出す手段。
有利なことに、符号化装置は、前記ベースレイヤデータストリームと前記エンハンスメントレイヤデータストリームを単一のデータストリームに結合するモジュールを更に有する。
有利なことに、復号化装置は、前記データストリームの前記第一の部分を抽出し、前記データストリームの前記第二の部分を抽出する抽出手段を更に含む。
本発明の他の特徴及び利点は、以下の実施の形態の記載により明らかとなるであろう。この記載は添付図面と共に行われる。
本発明は、高解像度の画像部分のディメンジョンと低解像度の画像部分のディメンジョンの間の割合がレイヤ間レシオと呼ばれる、特定の比率にリンクされるとき、低解像度画像の少なくとも１部の符号化情報から高解像度画像の少なくとも１部の符号化情報を導出する方法に関し、このレイヤ間の比率は、動的ではない変換に対応する３／２に等しい。
本発明は、３／２の倍数であるレイヤ間の比率に拡張される。それぞれの画像はマクロブロックに分割される。低解像度画像のマクロブロックは、低解像度マクロブロック又はベースレイヤマクロブロックと呼ばれ、ＢＬ ＭＢと示される。高解像度画像のマクロブロックは、高解像度マクロブロック又はハイレイヤマクロブロックと呼ばれ、ＨＬ ＭＢと示される。好適な実施の形態は、空間スケーラブル符号化及び復号化の環境で本発明を説明し、より詳細には、＜Information technology − Coding of audio-visual objects − Part 10: Advanced Video Coding＞と題された文献ISO/IEC 14496-10に記載される標準的なMPEG4 AVCに従う空間スケーラブル符号化及び復号化の環境で本発明を説明する。
このケースでは、低解像度の画像は、前記文献に記載される符号化／復号化プロセスに従って符号化、復号化される。低解像度画像を符号化するとき、符号化情報は、前記低解像度画像におけるそれぞれのマクロブロックと関連付けされる。この符号化情報は、たとえばブロックにおけるマクロブロック区分及び小区分、符号化モード（たとえばインター符号化モード、イントラ符号化モード）、動きベクトル及びリファレンスインデックスを含む。画素の現在のブロックに関連付けされるリファレンスインデックスは、現在のブロックを予測するために使用されるブロックが位置される画像を識別するのを可能にする。MPEG4-AVCによれば、２つのリファレンスインデックスリストＬ0及びＬ1が使用される。
本発明に係る方法は、高解像度画像について係る符号化情報を導出するのを可能にし、更に正確に、これらの画像に含まれる少なくとも幾つかのマクロブロックについて符号化情報を導出するのを可能にする。次いで、高解像度画像は、これら導出された符号化情報を使用して符号化される。このケースでは、高解像度画像をエンコードするために必要とされるビット数は減少される。これは、その符号化情報が低解像度画像から導出されるそれぞれのマクロブロックについてデータストリームで符号化情報がエンコードされないためである。確かに、高解像度画像について符号化情報を導出する同じ方法を復号化プロセスは使用するので、それを送信する必要がない。
結局、低解像度の画像に対応するロウレイヤ（ベースレイヤと呼ばれる）と高解像度の画像に対応するハイレイヤ（エンハンスメントレイヤと呼ばれる）という、２つの空間レイヤが考慮される。高解像度画像と低解像度画像は、図１に示される幾何学的な関係によりリンクされる。エンハンスメントレイヤ画像（すなわち高解像度画像）の幅及び高さは、ｗenh及びｈenhによりそれぞれ定義される。ベースレイヤ画像（すなわち低解像度画像）の幅及び高さは、ｗbase及びｈbaseによりそれぞれ定義される。
低解像度画像は、エンハンスメントレイヤ画像の座標系における座標（ｘorig，ｙorig）に位置される寸法ｗextract及びｙextractの、エンハンスメントレイヤ画像のサブ画像のダウンサンプリングされたバージョンである。また、低解像度及び高解像度の画像は、異なるカメラにより提供される場合がある。このケースでは、低解像度画像は、高解像度画像をダウンサンプリングすることで得られず、幾何学的なパラメータは、（たとえばカメラ自身によるといった）外部手段により提供される。値ｘorig及びｙorigは、高解像度画像のマクロブロック構造で揃えられる（すなわちサイズ１６×１６画素のマクロブロックについてｘorig及びｙorigは１６の倍数である必要がある）。
図１に関して、太線は、低解像度画像に対応して配置されるクロッピングウィンドウと呼ばれる高解像度画像の部分を境界設定する。さらに一般的に、高解像度画像の部分は、低解像度画像の部分に対応して配置される。両方向でレイヤ間の比率によりアップサンプリングされた低解像度の画像部分を、クロップされたウィンドウにより境界設定された高解像度の画像部分で重ね合わせたとき、関連されるベースレイヤマクロブロックが高解像度画像のマクロブロックを少なくとも部分的にカバーする場合に、ベースレイヤマクロブロックは、高解像度の画像部分のマクロブロックに関連される。エンハンスメントレイヤ画像の境界で、マクロブロックは、ベースレイヤに関連されるマクロブロックを有さないか、又はスケーリングされたベースレイヤマクロブロックにより部分的にカバーされるかの何れかである。結果的に、J.Reichel, H.Schwarz, M.Wien等による“Joint Scalable Video Model JSVM 1”と題されたJoint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG JVT-N021からの文献におけるのと異なるレイヤ間予測の管理が必要である。この文献は、結局［JSVM1］として参照される。
［JSVM1］に記載されるように空間スケーラブル符号化プロセスの環境で、高解像度マクロブロックは、低解像度画像をエンコードするために使用される古典的な符号化モード（すなわちイントラ予測及びインター予測）を使用して符号化される。その上、高解像度画像の特定のマクロブロックは、レイヤ間予測モードと呼ばれる新たなモードを使用する（すなわちレイヤ間の動き及びテクスチャ予測）。後者のモードは、スケーリングされたベースレイヤにより完全にカバーされるエンハンスメントレイヤマクロブロックについて特に認可され、すなわち、その座標（Ｍｂx，ＭＢy）は、以下の条件を確認する（すなわち図２におけるグレイカラーエリア）。ここで太線はアップサンプリングされたベースレイヤウィンドウを表し、クロッピングウィンドウの境界を確定する。
Figure 0005065051
 これらの条件に従わないマクロブロックは、古典的なモード、すなわちイントラ予測及びインター予測モードのみを使用し、これらの条件に従うマクロブロックは、イントラ予測、インター予測又はレイヤ間予測モードの何れかを使用する。係るエンハンスメントレイヤマクロブロックは、［JSVM1］に記載されるマクロブロックが揃えられた動的な空間スケーラビリティのケースにおけるように、スケーリングされたベースレイヤ動き情報を使用し、“BASE_LAYER_MODE”又は“QPEL_REFINEMENT_MODE”の何れかを使用してレイヤ間予測を利用する。“QPEL_REFINEMENT_MODE”モードを使用したとき、４分の１サンプルの動きベクトルのリファインメントが達成される。その後、符号化プロセスは、クロッピングウィンドウに完全に含まれるそれぞれのマクロブロックについて、イントラ予測、インター予測、又はレイヤ間でどの符号化モードを選択すべきかを判定する必要がある。どのモードを最終的に選択すべきかを判定する前に、グレイカラーエリアにおけるそれぞれのマクロブロックについて、レイヤ間の符号化モードが符号化プロセスにより最終的に選択された場合に、このマクロブロックを予測するために使用される符号化情報を導出するために必要とされる。
図３は、MPEG4 AVCに従うブロックにおけるマクロブロックの区分を表している。第一のラインに関して、マクロブロックは、MPEG4 AVCで提案されるような異なる可能なマクロブロックの区分で表されている（たとえば、サイズ１６×８画素のブロックで１６×８ブロックと呼ばれ、８×１６画素のブロックで８×１６ブロックと呼ばれ、８×８画素のブロックで８×８ブロックと呼ばれる）。図３の第二のラインは、MPEG4 AVCで提案されるようなサブ区分とも呼ばれる異なる可能な８×８ブロック区分により、サイズ８×８画素のブロック（８×８ブロック）を表している。確かに、MPEG4 AVCによれば、マクロブロックが４ブロック８×８に分割されるとき、前記ブロックのそれぞれは、８×４のサブブロック、４×４サブブロックに更に分割される。
レイヤ間予測とも呼ばれる符号化情報を導出する方法は、高解像度画像の、ハイパーマクロブロックＳＭHRと呼ばれる、図４においてＭHRで参照される９つのマクロブロックのグループについて記載され、図２で識別されるカラーグレイエリアに直接拡張される。３／２レシオを想定して、これら９つのマクロブロックは、図４に示されるようにベースレイヤの４つのマクロブロックから引き継ぐ。より詳細には、本発明に係る方法は、それぞれのマクロブロックＭHRについて、（たとえばブロック８×８、８×１６、１６×８、８×４、４×８又は４×４といった）小さなサイズのブロックにおける可能性のある区分及び小区分を判定することからなり、それぞれのブロックに対する関連するパラメータは、それに属する。ハイパーマクロブロックＳＭHRで囲まれるマクロブロックは、図５及び図６に示されるそれぞれのポジションに依存して４つのクラスで分類される。ハイパーマクロブロックＳＭHRのコーナーで位置されるマクロブロックは、Ｃｏｒｎｅｒ＿０，Ｃｏｒｎｅｒ＿１，Ｃｏｒｎｅｒ＿２及びＣｏｒｎｅｒ＿３で参照され、ハイパーマクロブロックのセンターに位置されるマクロブロックはＣで参照され、Ｃの上及び下の垂直軸に位置されるマクロブロックは、Ｖｅｒｔ＿０及びＶｅｒｔ＿１で参照され、Ｃから左及び右の水平軸に位置されるマクロブロックは、Ｈｏｒｉ＿０及びＨｏｒｉ＿１で参照される。
好適な実施の形態によれば、レイヤ間予測子と呼ばれる予測マクロブロックＭＢi_predは、ハイパーマクロブロックのそれぞれのマクロブロックＭＢiと関連される。別の実施の形態によれば、マクロブロックＭＢiは、係る予測マクロブロックを使用することなしにベースレイヤマクロブロックから直接に引き継ぐ。このケースでは、ＭＢi_predは、以下に記載される方法においてＭＢiと識別される。
ＭＢi_pred符号化情報を導出する方法は、図７に示されており、以下のステップを含む。
ＭＢiのマクロブロッククラスに基づいて、及び予測マクロブロック内の８×８の位置に基づいて、関連されるベースレイヤマクロブロックのマクロブロック符号化モード（マクロブロックラベルとも呼ばれる）からの予測マクロブロックＭＢi_predのそれぞれ８×８ブロックについてブロック符号化モード（ブロックラベルとも呼ばれる）を導出するステップ（１０）。
関連するベースレイヤマクロブロックの符号化モードから予測マクロブロックＭＢi_predについてマクロブロック符号化モードを導出するステップ（１１）。
関連されるベースレイヤのマクロブロックの動き情報からそれぞれ予測のマクロブロックＭＢi_predについて動き情報（すなわちリファレンスインデックス及び動きベクトル）を導出するステップ（１２）。これは以下を含む。ＭＢi_predのそれぞれ４×４ブロックと、４×４ベースレイヤブロックを関連付けするステップ（１２０）。関連される４×４ベースレイヤブロックの動き情報に基づいてＭＢi_predのそれぞれ４×４ブロックについて動き情報を導出するステップ（１２１）。
８×８ブロック及びマクロブロックをクリーニングするステップ（１３）。これは以下を含む。リファレンスインデックスと動きベクトルをマージすることでＭＢi_predのそれぞれ８×８ブロック内の動き情報１３０を均質化するステップ（１３０）。隔離された８×８イントラブロックを除くことで、ＭＢi_pred内のブロック符号化モード１３１を均質化するステップ（１３１）。
動きベクトルをスケーリングするステップ（１４）。
マクロブロック符号化モード又はマクロブロックラベルは、マクロブロック予測のタイプに関する情報、すなわち時間的な予測（INTER）又は空間予測（INTRA）を含み、INTERマクロブロック符号化モードについて、マクロブロックがどのように区分されるか（すなわちサブブロックに分割されるか）に関する情報を更に含む。マクロブロック符号化モードINTRAは、マクロブロックはイントラ符号化されることを意味し、MODE_X_Yとして定義されるマクロブロック符号化モードが、マクロブロックが予測されること、図３に示されるサイズＸ及びＹのブロックに更に区分されることを意味する。同じ説明が、INTRA又はINTERとして定義されるブロック符号化モード、及びBLK＿X_Yとしてのブロック間符号化モードについても当てはまる。
ハイパーマクロブロックのそれぞれのマクロブロックＭＢiに対して、図６に示されるようなベースレイヤに関連するマクロブロックを含むセットが関連付けされる。より詳細には、ハイパーマクロブロックの９つのマクロブロックが、前に定義された幾何学的なパラメータすなわちｘorig及びｙorigに依存して４つのアップサンプリングされたベースレイヤマクロブロックで重ね合わせされる。それぞれアップサンプリングされたベースレイヤマクロブロックに対して、それがアップサンプリングされたベースレイヤマクロブロックの符号化情報が関連付けされる。このアップサンプリングステップは、明確さのために記載される必要がない。たとえば、Ｃｏｒｎｅｒ＿０として分類されたマクロブロックＭＢiに対して、単一のベースレイヤマクロブロックが対応し、ベースレイヤマクロブロックは、図４において１で参照され、Ｖｅｒｔ＿０として分類されたマクロブロックＭＢiに対して、２つのベースレイヤマクロブロックが対応し、それらは図４において１及び２で参照される。結局、ベースレイヤマクロブロックは、そのアップサンプリングされたバージョンで識別される。次いで、これら後者のマクロブロックのモードに従って、特定のブロック符号化モードがＭＢi_predのそれぞれ８×８ブロックについて導出される。このステップ１０は、“８×８ブロック符号化モジュールラベリング”として参照される。マクロブロック符号化モジュールは、ＭＢi_predについて直接的に導出される。このステップ１１は、“マクロブロック符号化モードラベリング”として参照される。以下では、マクロブロックの８×８ブロックは、図８に示されるようにＢ1，Ｂ2，Ｂ3及びＢ4で参照される。ハイパーマクロブックのそれぞれのＭＢiについて、以下のプロセスが適用される。
「ＭＢiクラスが“Coner”である場合、８×８ブロック符号化モードのラベリング」
図６に示されるように、後にｃＭＢで参照される単一ベースレイヤのマクロブロックは、マクロブロックＭＢiに対応する。次いで、ｃＭＢのモードによれば、ＭＢiのそれぞれ８×８ブロックのラベルは以下のように導出される。
mode［cMB］＝＝INTRAである場合、すなわちｃＭＢに関連するマクロブロック符号化モードがINTRAモードである場合、全ての８×８ブロックはINTRAブロックとしてラベル付けされる。
さもなければ、８×８ブロックのラベルは、以下の表により与えられる。
Figure 0005065051
 したがって、たとえば、mode［cMB］＝＝MODE_8×16であって、考慮しているＭＢiが図５又は図６でCorner_0で参照されるマクロブロックである場合、ＭＢi_predの８×８ブロックＢ1は、BLK_8×8としてラベル付けされ、ＭＢi_predのブロックＢ2は、BLK_4×8としてラベル付けされる。
［マクロブロック符号化モードのラベリング］
mode［cMB］＝＝INTRAである場合、ＭＢi_predモードはINTRAでラベル付けされる。
さもなければ、mode［cMB］＝＝MODE_16×16である場合、ＭＢi_predは、MODE_16×16でラベル付けされる。
さもなければ、ＭＢi_predは、MODE_8×8でラベル付けされる。
［ＭＢiクラスが“Vertical”である場合、８×８ブロック符号化モードのラベリング］
図６に示されるように、２つのベースレイヤマクロブロックは、マクロブロックＭＢiに対応する。結局、それらはｃＭＢl及びｃＭＢrで参照される（ｌは左、ｒは右）。次いで、それらのモードによれば、ＭＢi_predのそれぞれ８×８ブロックについてラベル又はブロック符号化モードは、以下のように導出される。
mode［cMBl］＝＝INTRAである場合、Ｂ1及びＢ3はINTRAブロックとしてラベル付けされる。
さもなければ、Ｂ1及びＢ3ラベルは、以下の表により直接的に与えられる。
Figure 0005065051
 mode［cMBr］＝＝INTRAである場合、Ｂ2及びＢ4はINTRAブロックとしてラベル付けされる。
さもなければ、Ｂ2及びＢ4ラベルは、以下の表により直接的に与えられる。
Figure 0005065051
 したがって、たとえばmode［cMBl］＝＝MODE_8×16及びmode［cMBr］＝＝MODE_8×8であり、考慮しているＭＢiが図５又は図６においてVert_0で参照されるマクロブロックである場合、ＭＢi_predの８×８ブロックＢ1及びＢ3は、BLK_8×8として共にラベル付けされ、ＭＢi_predのブロックＢ2は、BLK_8×8としてラベル付けされ、ＭＢi_predのブロックＢ2は、BLK_8×4としてラベル付けされる。
［マクロブロック符号化モードのラベリング］
mode［cMBl］＝＝INTRA及びmode［cMBr］＝＝INTRAである場合、ＭＢi_predはINTRAでラベル付けされる。
さもなければ、少なくとも１つの８×８のブロック符号化モードがBLK_8×4に等しい場合、ＭＢi_predはMODE_8×8でラベル付けされる。
また、mode［cMBl］＝＝INTRA又はmode［cMBr］＝＝INTRAである場合、ＭＢi_predはMODE_16×16でラベル付けされる。
さもなければ、ＭＢi_predはMODE_8×16でラベル付けされる。
［ＭＢiクラスが“Horizontal”である場合、８×８ブロック符号化モードのラベリング］
図６に示されるように、２つのベースレイヤマクロブロックは、マクロブロックＭＢiに対応する。結局、（ｕは上、ｄは下として）それらはｃＭＢu及びｃＭＢdで参照される。それらのモードによれば、ＭＢi_predのそれぞれの８×８ブロックについてラベルは、以下のように導出される。
mode［cMBu］＝＝INTRAである場合、Ｂ1及びＢ2はINTRAブロックとしてラベル付けされる。
さもなければ、Ｂ1及びＢ2は以下の表により直接的に与えられる。
Figure 0005065051
 mode［cMBd］＝＝INTRAである場合、Ｂ3及びＢ4はINTRAブロックとしてラベル付けされる。
さもなければ、Ｂ3及びＢ4は以下の表により直接的に与えられる。
Figure 0005065051
 ［マクロブロック符号化モードのラベリング］
mode［cMBu］＝＝INTRA及びmode［cMBd］＝＝INTRAである場合、ＭＢi_predはINTRAでラベル付けされる。
さもなければ、少なくとも１つの８×８のブロック符号化モードがBLK_4×8に等しい場合、ＭＢi_predはMODE_8×8でラベル付けされる。
また、mode［cMBl］＝＝INTRA又はmode［cMBr］＝＝INTRAである場合、ＭＢi_predはMODE_16×16でラベル付けされる。
さもなければ、ＭＢi_predはMODE_16×8でラベル付けされる。
［ＭＢiクラスが“Center”である場合、８×８ブロック符号化モードのラベリング］
図６に示されるように、４つのベースレイヤマクロブロックは、マクロブロックＭＢiに対応する。結局、それらはｃＭＢ1，ｃＭＢ2，ｃＭＢ3及びｃＭＢ4で参照される（これらは、現在のハイパーマクロブロックと関連され、図４において１，２，３及び４で参照されるベースレイヤの４つのマクロブロックである）。次いで、それらのモードに従って、
ＭＢi_predのそれぞれの８×８ブロックについてラベルは、以下のように導出される。
それぞれのＢjについて、mode［cMBj］＝＝INTRAである場合、ＢjはINTRAブロックとしてラベル付けされる。
さもなければ、ＢjはBLK_8×8としてラベル付けされる。
［マクロブロック符号化モードのラベリング］
mode［cMBj］がINTRAに等しい場合、ＭＢi_predは、INTRAでラベル付けされる。 さもなければ、ＭＢi_predはMODE_8×8としてラベル付けされる。
ステップ１２は、それぞれのマクロブロックＭＢi_predについて、その関連されるベースレイヤマクロブロックの動き情報から動き情報を導出することからなる。
この目的のため、第一のステップ１２０は、マクロブロックＭＢi_predのそれぞれ４×４ブロックと（ベースレイヤの関連されるマクロブロックから）低解像度４×４ブロックとも呼ばれるベースレイヤ４×４ブロックを関連付けることからなる。以下では、４×４ブロックのマクロブロック内の位置は、図９に示される番号により識別される。マクロブロックＭＢi_predのそれぞれの４×４ブロックについて、関連されるベースレイヤの４×４ブロックは、ＭＢiクラス、及び以下の表で規定されるマクロブロックＭＢi_pred内の４×４ブロックの数に基づいて定義される。
Figure 0005065051
 以下に定義される第二の表は、前の表により識別される低解像度画像の４×４ブロックが属する低解像度画像の（図４において１，２，３及び４で参照される４つのマクロブロックのうちで）関連されるマクロブロックの数を与える。
Figure 0005065051
 第二のステップ１２１は、ベースレイヤの関連するマクロブロックからＭＢi_predの動き情報を引き継ぐ（すなわち導出する）ことからなる。それぞれのリストlistx（Lx＝０又は１）について、ＭＢi_predの４×４ブロックは、その数により前もって識別されている関連されるベースレイヤ４×４ブロックからリファレンスインデックス及び動きベクトルを取得する。より詳細には、エンハンスメントレイヤ４×４ブロックは、関連されるベースレイヤ４×４ブロックが属するベースレイヤブロック（すなわち区分又は小区分）からリファレンスインデックス及び動きベクトルを取得する。たとえば、関連付けされるベースレイヤ４×４ブロックが、その符号化モードがMODE_8×16であるベースレイヤマクロブロックに属する場合、ＭＢi_predの４×４ブロックは、関連するベースレイヤ４×４ブロックが属するベースレイヤ８×１６ブロックからリファレンスインデックス及び動きベクトルを取得する。
特定の実施の形態によれば、ＭＢi_pred符号化モードが小区分されていない場合（たとえばMODE_16×8でラベル付けされている場合）、それに属しているそれぞれ４×４ブロックをチェックする必要がない。確かに、（たとえば１６×８ブロックといった）マクロブロックの区分のうちの１つに属する４×４ブロックのうちの１つにより引き継がれる動き情報は全体の区分と関連付けされる。
好適な実施の形態によれば、ステップ１３は、このケースではMPEG4 AVCである所与の符号化規格と互換性のない構成を除くため、それぞれのＭＢi_predをクリーニングすることからなる。このステップは、MPEG4 AVCに従ってデータストリームを生成することが必要とされないスケーラブル符号化方法により受け継ぐ方法が使用される場合を回避する。
このため、ステップ１３０は、これら８×８ブロックコンフィギュレーションを除くことでMPEG4 AVC規格と互換性のないコンフィギュレーションでマクロブロックのＭＢi_predの８×８ブロックを均質化することからなる。たとえば、MPEG4 AVCによれば、それぞれのリストについて、同じ８×８ブロックに属する４×４ブロックは、同じリファレンスインデックスを有する。８×８ブロック内の４×４ブロックに関連されるｒbi（Ｌx）として参照される所与のリストＬxのためのリファレンスインデックス及びｍｖbi（Ｌx）として参照される動きベクトルはマージされる。以下では、８×８ブロックＢのそれぞれ４×４ブロックｂiは、図１０で示されるように識別される。結局、予測子Predicto[B]は、８×８ブロックＢの４×４ブロック予測子ｂiを表す。このPredictor[B]は、以下のように定義される。
ＭＢiクラスがCorner_X（X=0..3）に等しいか、又はＭＢiクラスがHori_X（X=0..1）に等しい場合、Predictor[B]はｂ(X+1)に設定される。
また、ＭＢiクラスがVert_X（X=0..1）に等しい場合、Predictor[B]はｂ(2*X+1)に設定される。さもなければ、何も行われない。
マクロブロックＭＢi_predのそれぞれの８×８ブロックＢ（すなわち図８に示されるようにＢ1，Ｂ2，Ｂ3，Ｂ4）について、以下のリファレンスインデックス及び動きベクトルの選択が適用される。
それぞれのリストＬx（すなわちＬ0又はＬ1）について、
４×４ブロックがこのリストを使用しない場合、すなわちこのリストにおいてリファレンスインデックスを有さない場合、このリストのリファレンスインデックス及び動きベクトルはＢに設定される。
また、ＢのリファレンスインデックスｒB（Ｌx）は以下のように計算される。
Ｂブロック符号化モードがBLK_8×4又はBLK_4×8に等しい場合、
ｒb1がｒb3に等しい場合、ｒB（Ｌx）＝ｒb1（Ｌx）であり、
又は、ｒpredictor（Ｌx）をPredictor[B]のリファレンスインデックスとし、
ｒpredictor（Ｌx）が−１に等しくない、すなわち利用可能な場合、ｒB（Ｌx）＝ｒpredictor（Ｌx）であり、
また、ｒpredictor（Ｌx）がｂ１に等しい場合、ｒB（Ｌx）＝ｒb3（Ｌx）であり、
さもなければｒB（Ｌx）＝ｒb1（Ｌx）である。
また、Ｂブロック符号化モードがBLK_4×4に等しい場合、
ＢのインデックスｒB（Ｌx）は、Ｂブロックの４つの４×４ブロックの既存のリファレンスインデックスの最小値として計算される。
Figure 0005065051
Figure 0005065051
 ステップ１３１は、これらのマクロブロック内で残りの（すなわち孤立した）ＩＮＴＲＡ８×８ブロックを除くことでMPEG4-AVCと互換性のないコンフィギュレーションをもつマクロブロックＭＢi_predをクリーニング（すなわち均質化）し、それらをINTER８×８ブロックとなるように強制することからなる。確かに、MPEG4 AVCは、あるマクロブロック内にINTRA8×8ブロック及びINTER8×8ブロックを有するのを許容しない。ステップ１３１は、ステップ１３０の前に適用される場合がある。このステップは、そのクラスがVert_0，Vert_1，Hori_0，Hori_1又はCであるマクロブロックに関連するＭＢi_predに適用される。結局、Vertical_predictor[B]及びHorizontal_predictor[B]は、８×８ブロックの垂直及び水平８×８ブロック近傍をそれぞれ表す。
mode[MBi]＝＝MODE_8×8である場合、
それぞれの８×８ブロックについて、
そのブロック符号化モードがINTRAである８×８ブロックは、８×８の区分によりINTERブロックとなるように強制され、すなわちBLK_8×8でラベル付けされる。それらのリファレンスインデックス及び動きベクトルは、以下のように計算される。ＢINTRAを係る８×８ブロックになるようにする。
Horizontal_predictor[BINTRA]がINTRAとして分類されない場合、
それぞれのリストｌｘについて、
・リファレンスインデックスｒ（ｌｘ）は、その水平方向の予測子のリファレンスインデックスｒhoriz（ｌｘ）に等しい。
・動きベクトルｍｖ（ｌｘ）は、その水平方向の予測子の動きベクトルｍｖhoriz（ｌｘ）に等しい。
また、Vertical_Predictor[BINTRA]がINTRAとして分類されない場合、
それぞれのリストｌｘについて、
・リファレンスインデックスｒ（ｌｘ）はその垂直方向の予測子のリファレンスインデックスに等しい。
・動きベクトルｍｖ（ｌｘ）はその水平方向の予測子の動きベクトルｍｖvert（ｌｘ）に等しい。
さもなければ、
・Horizontal_predictor[BINTRA]をクリーニングする。すなわちステップ１４１は、ブロックHorizontal_predictor[BINTRA]に適用される。
・ＢINTRAをクリーニングする。すなわちステップ１４１は、ブロックＢINTRAに適用される。
ステップ１４は、導出された動きベクトルをスケーリングすることからなる。このため、動きベクトルのスケーリングは、予測マクロブロックＭＢi_predの各既存の動きベクトルに適用される。動きベクトルｍｖ＝（ｄｘ，ｄｙ）は、以下の式を使用してスケーリングされる。
Figure 0005065051
 ここでsign[x]はｘが正のときに１に等しく、ｘが負のときに−１に等しい。
ステップ１０〜１４は、関連するマクロブロック及びベースレイヤのブロックの符号化情報からクロッピングウィンドウに完全に含まれるそれぞれのＭＢi（又はそれぞれ対応する中間構造ＭＢi_pred）について符号化情報を導出するのを可能にする。
以下の任意のステップは、レイヤ間動き予測と同じ原理に基づいてテクスチャを予測することからなる。また、このステップは、レイヤ間テクスチャ予測ステップとしても参照される。スケーリングされたベースレイヤウィンドウのクロッピングウィンドウ（図２におけるグレイカラーエリア）に完全に埋め込まれたマクロブロックについて使用される。テクスチャ内予測について、変換ブロックの境界にわたり補間フィルタが適用される。残余のテクスチャ予測について、このプロセスは、（変換に依存して４×４、８×８）変換ブロック内で機能する。
復号化装置におけるプロセスは、以下のように機能する。ＭＢiを補間されるべきエンハンスメントレイヤのテクスチャマクロブロックとする。ＭＢiのテクスチャサンプルは、以下のように導出される。
（ｘP，ｙP）をエンハンスメントレイヤの座標のリファレンスにおけるマクロブロックの左上画素の位置であるとする。ベースレイヤの予測アレイは、以下のようにはじめに導出される。
ベースレイヤにおける（ｘP，ｙP）の対応する４分の１画素の位置（ｘ4，ｙ4）は以下のように計算される
Figure 0005065051
 整数画素の位置（ｘB，ｙB）は、以下のように導出される。
Figure 0005065051
 ４分の１画素の位相は、以下のように導出される。
Figure 0005065051
 ベースレイヤの予測アレイは、エリア（ｘB−８，ｙB−８）及び（ｘB＋１６，ｙB＋１６）に含まれるサンプルに対応する。動的なケースで使用され、［ＪＳＶＭ１］に記載される同じ充填プロセスは、既存のものではないサンプル又は利用可能ではないサンプルに対応するサンプルエリアを充填するために適用される（たとえばテクスチャ内予測のケースでは、イントラブロックに属さないサンプル）。次いで、ベースレイヤ予測アレイがアップサンプリングされる。アップサンプリングが２つのステップで適用される。はじめに、T.Wiegand, G.Sullivan及びA.Luthraによる“Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification (ITU-T Rec. H.264|ISO/IEC 14496-10 AVC)”と題された文献JVT-N021 FROM THE Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEGに定義される、ＡＶＣハーフピクセルの６タップフィルタを使用してテクスチャがアップサンプリングされ、次いで、双一次変換が達成され、４分の１画素のサンプルが構築され、４分の１画素の補間アレイが得られる。テクスチャ内では、この補間はブロック境界にクロスする。残余のテクスチャについて、補間は、変換ブロックの境界にクロスしない。
エンハンスメントレイヤブロックのそれぞれの位置（ｘ，ｙ），ｘ＝０．.Ｎ−１，ｙ＝０．．Ｎ−１での予測サンプルpred[x,y]は、以下のように計算される。
Figure 0005065051
 interp[xl,yl]は、位置（ｘｌ，ｙｌ）での４分の１画素の補間されるベースレイヤのサンプルである。
［レイヤ間のテクスチャ内予測］
現在のレイヤの所与のマクロブロックＭＢは、ベースレイヤの共に位置される（co-located）マクロブロックが存在し、イントラマクロブロックである場合にのみ、レイヤ内の残余の予測を利用する。I_BLモードで符号化されたハイパスマクロブロックについてイントラ予測信号を生成するため、ベースレイヤのハイパス信号の対応する８×８ブロックは、「標準的な」動的な空間スケーラビリティのケースにおけるように、直接的にデブロックされ、補間される。同じパディングプロセスは、デブロッキングについても適用される。
［レイヤ間の残余予測］
現在のレイヤの所与のマクロブロックＭＢは、ベースレイヤの共に位置されるマクロブロックが存在し、イントラマクロブロックではない場合にのみ、レイヤ間の残余予測を利用する。エンコーダでは、アップサンプリングプロセスは、ブロックの境界にクロスすることなしに、それぞれ基本の変換ブロックをアップサンプリングすることからなる。たとえば、ＭＢが４つの８×８ブロックに符号化される場合、４つのアップサンプリングプロセスは、入力として正確に８×８画素に適用される。補間プロセスは、２つのステップで達成される。第一に、ベースレイヤのテクスチャは、ＡＶＣハーフピクセルの６タップフィルタを使用してアップサンプリングされ、双一次変換は、４分の１画素のサンプルを構築するために達成される。最も近い４分の１画素の位置の補間されたエンハンスメントレイヤのサンプルは、補間された画素として選択される。
本発明は、図１１に示される符号化装置８に関する。符号化装置８は、低解像度画像を符号化するための第一の符号化モジュール８０を有する。モジュール８０は、ベースレイヤストリームと前記低解像度画像のための符号化情報を生成する。好ましくは、モジュール８０は、MPEG4 AVC規格と互換性のあるベースレイヤデータストリームを生成するために適合される。符号化装置８は、第一の符号化モジュール８０により生成された低解像度画像の符号化情報から高解像度画像に符号化情報を導出するために使用される引継ぎ手段８２を有する。引継ぎ手段８２は、本発明に係る方法のステップ１０，１１，１２，１３及び１４を実現するために適合される。符号化装置８は、高解像度画像を符号化するために第二の符号化モジュール８１を有する。第二の符号化モジュール８１は、高解像度画像をエンコードするために引継ぎ手段８２により導出された符号化情報を使用する。第二の符号化モジュール８１は、エンハンスメントレイヤのデータストリームを生成する。好ましくは、符号化装置８は、（たとえばマルチプレクサである）モジュール８３を有し、このモジュールは、第一の符号化モジュール８０と第二の符号化モジュール８１により提供されるベースレイヤデータストリームとエンハンスメントレイヤデータストリームを結合して、単一のデータストリームを生成する。高解像度画像に関連する符号化情報は、モジュール８０により供給される低解像度画像に関連する符号化情報から導出されるので、データストリームで符号化されない。これによりビット数を節約することができる。
また、本発明は、図１２に示される復号化装置９に関する。この装置９は、符号化装置８で生成されたデータストリームを受信する。復号化装置９は、低解像度画像と該低解像度画像の符号化情報を生成するため、ベースレイヤデータストリームと呼ばれるデータストリームの第一の部分を復号化する第一の復号化モジュール９１を有する。好ましくは、モジュール９１は、MPEG4 AVC規格と互換性のあるデータストリームを復号化するために適合される。復号化装置９は、第一の復号化モジュール９１により生成された低解像度画像の符号化情報から高解像度画像について符号化情報を導出するために使用される引継ぎ手段８２を有する。復号化装置９は、エンハンスメントデータストリームと呼ばれる、エー多ストリームの第二の部分を復号化する第二の復号化モジュール９２を有する。第二の復号化モジュール９２は、データストリームの第二の部分をデコードするため、引継ぎ手段８２により導出される符号化情報を使用する。第二の復号化モジュール９２は、高解像度画像を生成する。有利なことに、装置９は、受信されたデータストリームからベースレイヤデータストリームとエンハンスメントデータストリームを抽出する（たとえばデマルチプレクサといった）抽出モジュール９０を有する。
別の実施の形態によれば、復号化装置は、ベースレイヤデータストリームとエンハンスメントレイヤデータストリームといった２つのデータストリームを受信する。
本発明は、記載された実施の形態に限定されるものではない。特に、２つの画像系列、すなわち２つの空間レイヤについて記載された本発明は、２を超える画像系列をエンコードするために使用される場合もある。
高解像度画像と低解像度画像の間の幾何学的な関係を示す図である。 レイヤ間予測を使用して予測される高解像度画像のマクロブロック（グレイカラーエリア）を識別する図である。 ＭＰＥＧ４ ＡＶＣに係る区分及び小区分のパターンを示す図である。 ハイパーマクロブロック（すなわち９つのエンハンスメントレイヤマクロブロック）、前記エンハンスメントレイヤマクロブロック及びこれら４つのベースレイヤマクロブロックのアップサンプリングされたバージョンと関連付けされる４つのベースレイヤマクロブロックを示す図である。 ハイパーマクロブロック内のそれらの位置に依存して、そのマクロブロックがクラス（コーナー、垂直、水平及びセンター）でラベリングされるハイパーマクロブロックを示す図である。 ９つのマクロブロックと関連付けされる４つのアップサンプリングされたベースレイヤマクロブロックで重ねあわされる９つのマクロブロックのハイパーマクロブロックを示す図である。 本発明に係る方法のフローチャートを示す図である。 ４つの８×８ブロックに分割されるマクロブロックを示す図である。 １６の４×４ブロックに分割されるマクロブロックを示す図である。 ４つの４×４ブロックに分割される８×８ブロックを示す図である。 本発明に係る符号化装置を示す図である。 本発明に係る復号化装置を示す図である。

Claims (14)

  1. 低解像度画像の少なくとも１つの画像部分の符号化情報から高解像度画像の少なくとも１つの画像部分の符号化情報を導出する、ビデオエンコーダ又はビデオデコーダが行う方法であって、
    それぞれの画像は、第一のサイズのオーバラップしないブロックに分割されるオーバラップしないマクロブロックに分割され、
    前記高解像度画像の前記少なくとも１つの画像部分における３つのマクロブロックの３つのラインのオーバラップしないセットは、ハイパーマクロブロックを定義し、前記符号化情報は、少なくともマクロブロック符号化モードとブロック符号化モードを含み、
    高解像度マクロブロックと呼ばれる前記少なくとも１つの高解像度の画像部分のそれぞれのマクロブロックと、低解像度マクロブロックと呼ばれる前記少なくとも１つの低解像度の画像部分の少なくとも１つのマクロブロックが関連付けされ、
    関連付けされた低解像度のマクロブロックは、水平及び垂直の両方向で１．５の倍数である予め定義された比率によりアップサンプリングされる前記少なくとも１つの低解像度の画像部分が前記少なくとも１つの高解像度の画像部分と重ね合わせされるときに、前記高解像度のマクロブロックを少なくとも部分的にカバーし、
    当該方法は、
    前記高解像度マクロブロックにおける第一のサイズの前記高解像度のブロックの位置に基づいて、及びマクロブロッククラスと呼ばれる、ハイパーマクロブロック内の高解像度のマクロブロックの位置に基づいて、第一のサイズの前記高解像度ブロックが属する高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードから、第一のサイズの高解像度ブロックと呼ばれる前記少なくとも１つの高解像度の画像部分における第一のサイズのそれぞれのブロックについてブロック符号化モードを引き出すステップと、
    前記高解像度マクロブロックのクラスに基づいて、前記高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードから前記少なくとも１つの高解像度の画像部分におけるそれぞれの高解像度のマクロブロックについてマクロブロック符号化モードを引き出すステップと、
    を含むことを特徴とする方法。
  2. 前記高解像度マクロブロックが、そのブロック符号化モードがINTRAである第一のサイズの少なくとも１つのブロックを含むとき、それぞれの高解像度マクロブロック内の第一のサイズのブロックのブロック符号化モードを均質にするステップを更に有する、
    請求項１記載の方法。
  3. 前記符号化情報は動き情報を更に含み、
    当該方法は、前記高解像度マクロブロックに関連される低解像度マクロブロックの動き情報からそれぞれの高解像度のマクロブロックについて動き情報を導出するステップを更に含む、
    請求項１又は２記載の方法。
  4. 高解像度マクロブロックについて動き情報を導出するステップは、
    前記高解像度マクロブロックのクラスに基づいて、及び、高解像度のマクロブロック内の第二のサイズの前記高解像度ブロックの位置に基づいて、第二のサイズの低解像度ブロックと呼ばれる前記高解像度マクロブロックに関連する低解像度マクロブロックにおける第二のサイズのブロックを、第二のサイズの高解像度ブロックと呼ばれる前記高解像度マクロブロックにおける第二のサイズのそれぞれのブロックと関連付けるステップと、
    第二のサイズの前記高解像度ブロックに関連される第二のサイズの低解像度ブロックの動き情報から前記高解像度マクロブロックにおける第二のサイズのそれぞれのブロックについて動き情報を導出するステップと、
    を含む請求項３記載の方法。
  5. １ブロック又は１マクロブロックの前記動き情報は、第一及び第二のコンポーネントを有する少なくとも１つの動きベクトルと、第一又は第二のリファレンスインデックスのリストの中から選択される前記動きベクトルに関連される少なくとも１つのリファレンスインデックスとを含み、前記インデックスは参照画像を識別する、
    請求項３又は４記載の方法。
  6. 前記動き情報を導出するステップの後、当該方法は、それぞれのハイレイヤマクロブロックについて、第一のサイズの同じブロックのサブブロック間での動き情報を均質にするステップを更に含み、
    前記均質にするステップは、それぞれのリファレンスインデックスのリストについて、
    前記ハイレイヤマクロブロックの第一のサイズのそれぞれの高解像度ブロックについて、リファレンスインデックスの前記リストのリファレンスインデックスの中からサブブロックの最も低いインデックスを識別するステップと、
    その現在のリファレンスインデックスが前記最も低いリファレンスインデックスに等しくない前記サブブロックのそれぞれと、前記最も低いリファレンスインデックスを関連付けるステップと、前記現在のリファレンスインデックスは前のリファレンスインデックスになり、
    その前記前のリファレンスインデックスが前記最も低いリファレンスインデックスに等しくない前記サブブロックのそれぞれと、その前記前のリファレンスインデックスが前記最も低いリファレンスインデックスに等しいその近隣のサブブロックのうちの１つの動きベクトルを関連付けるステップと、
    を含む請求項５記載の方法。
  7. 関連付けされた動きベクトルは、第一に水平方向の近隣のサブブロックをチェックし、第二に垂直方向の近隣のサブブロックをチェックし、第三に対角方向の近隣のサブブロックをチェックするときに遭遇する第一の近隣のサブブロックの動きベクトルである、
    請求項６記載の方法。
  8. 前記少なくとも１つの高解像度の画像部分におけるそれぞれの高解像度のマクロブロックの動きベクトルと、高解像度マクロブロックにおけるそれぞれのブロックの動きベクトルの動きベクトルコンポーネントは、
    Figure 0005065051
    によりスケーリングされ、前記ｄx及びｄyは、導出された動きベクトルの座標を表し、前記ｄsx及びｄsyは、スケーリングされた動きベクトルの座標を表し、sign［x］はｘが正であるときに１に等しく、ｘが負であるときに−１である、
    請求項５乃至７のいずれか記載の方法。
  9. 予め定義された割合は１．５に等しい、
    請求項１乃至８のいずれか記載の方法。
  10. 前記第一のサイズのブロックは、８×８画素のサイズを有し、前記マクロブロックは、１６×１６画素のサイズを有し、前記第二のサイズのブロックは、４×４画素のサイズを有する、
    請求項１乃至９のいずれか記載の方法。
  11. 高解像度の画像系列と低解像度の画像系列を少なくとも符号化する装置であって、それぞれの画像は、第一のサイズのオーバラップしないブロックに分割されるオーバラップしないマクロブロックに分割され、
    当該装置は、
    前記低解像度画像を符号化し、前記低解像度画像とベースレイヤデータストリームについて符号化情報を生成する第一の符号化手段と、
    低解像度画像の少なくとも１つの画像部分の符号化情報から高解像度画像の少なくとも１つの画像部分について符号化情報を導出する引継手段と、
    導出された符号化情報を使用して前記高解像度画像を符号化し、エンハンスメントデータストリームを生成する第二の符号化手段とを有し、
    前記高解像度画像の前記少なくとも１つの画像部分における３つのマクロブロックの３つのラインのオーバラップしないセットは、ハイパーマクロブロックを定義し、前記符号化情報は、少なくともマクロブロック符号化モードとブロック符号化モードを含み、
    前記引継ぎ手段は、
    高解像度マクロブロックと呼ばれる前記少なくとも１つの高解像度の画像部分のそれぞれのマクロブロックと、低解像度マクロブロックと呼ばれる前記少なくとも１つの低解像度の画像部分の少なくとも１つのマクロブロックを関連付けする手段と、関連付けされた低解像度のマクロブロックは、水平及び垂直の両方向で１．５の倍数である予め定義された比率によりアップサンプリングされる前記少なくとも１つの低解像度の画像部分が前記少なくとも１つの高解像度の画像部分と重ね合わせされるときに、前記高解像度のマクロブロックを少なくとも部分的にカバーし、
    前記高解像度マクロブロックにおける第一のサイズの前記高解像度のブロックの位置に基づいて、及びマクロブロッククラスと呼ばれる、ハイパーマクロブロック内の高解像度のマクロブロックの位置に基づいて、第一のサイズの前記高解像度ブロックが属する高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードから、第一のサイズの高解像度ブロックと呼ばれる前記少なくとも１つの高解像度の画像部分における第一のサイズのそれぞれのブロックについてブロック符号化モードを引き出す手段と、
    前記高解像度マクロブロックのクラスに基づいて、前記高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードから前記少なくとも１つの高解像度の画像部分におけるそれぞれの高解像度のマクロブロックについてマクロブロック符号化モードを引き出す手段と、
    を有する符号化装置。
  12. 当該装置は、前記ベースレイヤデータストリームと前記エンハンスメントレイヤデータストリームを単一のデータストリームに結合するモジュールを更に有する、
    請求項１１記載の装置。
  13. 請求項１１又は１２に記載された装置により符号化された、高解像度画像の系列と低解像度画像の系列を少なくとも復号化する装置であって、
    符号化された画像は、データストリームにより表され、それぞれの画像は、第一のサイズのオーバラップしないブロックに分割されるオーバラップしないマクロブロックに分割され、
    低解像度画像と該低解像度画像の符号化情報を生成するため、前記データストリームの少なくとも第一の部分を復号化する第一の復号化手段と、
    低解像度画像の少なくとも１つの画像部分の符号化情報から高解像度画像の少なくとも１つの画像部分について符号化情報を導出する引継手段と、
    高解像度画像を生成するため、前記導出された符号化情報を使用して前記データストリームの少なくとも第二の部分を復号化する第二の復号化手段とを有し、
    前記高解像度画像の前記少なくとも１つの画像部分における３つのマクロブロックの３つのラインのオーバラップしないセットはハイパーマクロブロックを定義し、前記符号化情報は、少なくともマクロブロック符号化モードとブロック符号化モードを有し、
    前記引継手段は、
    高解像度マクロブロックと呼ばれる前記少なくとも１つの高解像度の画像部分のそれぞれのマクロブロックと、低解像度マクロブロックと呼ばれる前記少なくとも１つの低解像度の画像部分の少なくとも１つのマクロブロックを関連付けする手段と、関連付けされる低解像度マクロブロックは、水平及び垂直の両方向で１．５の倍数の予め定義された割合によりアップサンプリングされた前記少なくとも１つの低解像度の画像部分が前記少なくとも１つの高解像度の画像部分で重ね合わせされるとき、前記高解像度マクロブロックを少なくとも部分的にカバーし、
    前記高解像度マクロブロックにおける第一のサイズの前記高解像度ブロックの位置に基づいて、及び、マクロブロッククラスと呼ばれる、前記高解像度マクロブロックのハイパーマクロブロック内の位置に基づいて、第一のサイズの前記高解像度ブロックが属する高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードから、第一のサイズの高解像度ブロックと呼ばれる、前記少なくとも１つの高解像度の画像部分における第一のサイズのそれぞれのブロックについてブロック符号化モードを引き出す手段と、
    前記高解像度マクロブロックのクラスに基づいて、高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードから前記少なくとも１つの高解像度の画像部分におけるそれぞれの高解像度マクロブロックについてマクロブロック符号化モードを引き出す手段と、
    を有する復号化装置。
  14. 当該装置は、前記データストリームの前記第一の部分を抽出し、前記データストリームの前記第二の部分を抽出する抽出手段を更に含む、
    請求項１３記載の装置。
JP2007555587A 2005-02-18 2006-02-13 低解像度画像から高解像度画像の符号化情報を導出する方法、並びに、係る方法を実現する符号化及び復号化装置 Expired - Fee Related JP5065051B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
EP05101224A EP1694074A1 (en) 2005-02-18 2005-02-18 Process for scalable coding of images
EP05101224.3 2005-02-18
FR0550477 2005-02-21
FR0550477 2005-02-21
EP05102465.1 2005-03-29
EP05102465A EP1694075A1 (fr) 2005-02-21 2005-03-29 Méthode d'héritage inter couches utilisée dans un dispositif de codage et de décodage d'une image haute résolution à partir d'une image basse résolution
EP05290819.1 2005-04-13
EP05290819 2005-04-13
PCT/EP2006/050897 WO2006087314A1 (en) 2005-02-18 2006-02-13 Method for deriving coding information for high resolution images from low resoluton images and coding and decoding devices implementing said method

Publications (2)

Publication Number Publication Date
JP2008530926A JP2008530926A (ja) 2008-08-07
JP5065051B2 true JP5065051B2 (ja) 2012-10-31

Family

ID=39730637

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007555587A Expired - Fee Related JP5065051B2 (ja) 2005-02-18 2006-02-13 低解像度画像から高解像度画像の符号化情報を導出する方法、並びに、係る方法を実現する符号化及び復号化装置

Country Status (5)

Country Link
US (1) US20080267291A1 (ja)
EP (1) EP1894412A1 (ja)
JP (1) JP5065051B2 (ja)
CN (1) CN101204092B (ja)
WO (1) WO2006087314A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150083427A (ko) * 2012-11-07 2015-07-17 엘지전자 주식회사 신호 송수신 장치 및 신호 송수신 방법

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
US8175168B2 (en) 2005-03-18 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for picture up-sampling
EP1977607A4 (en) * 2006-01-09 2014-12-17 Lg Electronics Inc INTER-LAYER PREDICTION PROCEDURE FOR A VIDEO SIGNAL
CN101438596B (zh) * 2006-05-05 2014-03-26 汤姆森许可贸易公司 用于可伸缩视频编码的简化的层间运动预测
KR100908062B1 (ko) 2006-09-07 2009-07-15 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
WO2008060125A1 (en) * 2006-11-17 2008-05-22 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US8548056B2 (en) * 2007-01-08 2013-10-01 Qualcomm Incorporated Extended inter-layer coding for spatial scability
KR101165212B1 (ko) * 2007-01-08 2012-07-11 노키아 코포레이션 비디오 코딩에서 확장된 공간 스케일러빌러티를 위한 개선된 계층 예측
EP2106666B1 (en) 2007-01-08 2019-06-12 Nokia Technologies Oy Improved inter-layer prediction for extended spatial scalability in video coding
US8199812B2 (en) 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
KR101365570B1 (ko) * 2007-01-18 2014-02-21 삼성전자주식회사 인트라 예측 부호화, 복호화 방법 및 장치
WO2009004255A1 (fr) * 2007-06-29 2009-01-08 France Telecom Selection de fonctions de decodage distribuee au decodeur
WO2009054347A1 (ja) * 2007-10-25 2009-04-30 Nippon Telegraph And Telephone Corporation 動画像スケーラブル符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体
EP2134096A1 (en) * 2008-06-13 2009-12-16 THOMSON Licensing Method and device for encoding video data in a scalable manner using a hierarchical motion estimator
EP4145825A1 (fr) 2008-10-15 2023-03-08 Orange Procédé et dispositif de codage d'une séquence d'image mettant en uvre des blocs de taille différente, signal, support de données, procédé et dispositif de décodage, et programmes d ordinateur correspondants
KR101527085B1 (ko) * 2009-06-30 2015-06-10 한국전자통신연구원 인트라 부호화/복호화 방법 및 장치
CN104822066A (zh) 2009-07-01 2015-08-05 汤姆森特许公司 用于视频编码器和解码器的方法和装置
JP5667773B2 (ja) * 2010-03-18 2015-02-12 キヤノン株式会社 情報作成装置及びその制御方法
TWI416961B (zh) * 2010-04-02 2013-11-21 Univ Nat Chiao Tung 用於可調式視訊編碼系統之選擇性移動向量預測方法、移動估測方法及其裝置
KR102145722B1 (ko) 2010-04-13 2020-08-20 지이 비디오 컴프레션, 엘엘씨 샘플 영역 병합
CN106231336B (zh) 2010-04-13 2020-06-12 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
DK3301648T3 (da) 2010-04-13 2020-04-06 Ge Video Compression Llc Nedarvning i samplearraymultitræsunderinddeling
KR102282803B1 (ko) 2010-04-13 2021-07-28 지이 비디오 컴프레션, 엘엘씨 평면 간 예측
JP2011259093A (ja) * 2010-06-07 2011-12-22 Sony Corp 画像復号化装置と画像符号化装置およびその方法とプログラム
JP5693716B2 (ja) 2010-07-08 2015-04-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 参照処理信号を使った多層画像およびビデオ送達のためのシステムおよび方法
CN106210738B (zh) * 2010-10-06 2018-10-23 株式会社Ntt都科摩 图像预测解码装置、图像预测解码方法
WO2013019219A1 (en) * 2011-08-02 2013-02-07 Hewlett-Packard Development Company, L. P. Inter-block data management
RU2604330C2 (ru) 2011-10-05 2016-12-10 Сан Пэтент Траст Способ кодирования изображений, устройство кодирования изображений, способ декодирования изображений, устройство декодирования изображений и устройство кодирования изображений
US8934544B1 (en) * 2011-10-17 2015-01-13 Google Inc. Efficient motion estimation in hierarchical structure
KR20240027889A (ko) 2011-11-11 2024-03-04 지이 비디오 컴프레션, 엘엘씨 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩
WO2013068548A2 (en) 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient multi-view coding using depth-map estimate for a dependent view
WO2013072484A1 (en) 2011-11-18 2013-05-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-view coding with efficient residual handling
CN104255031B (zh) * 2012-02-29 2017-12-22 Lg 电子株式会社 层间预测方法和使用层间预测方法的装置
GB2505643B (en) * 2012-08-30 2016-07-13 Canon Kk Method and device for determining prediction information for encoding or decoding at least part of an image
US9420285B2 (en) 2012-04-12 2016-08-16 Qualcomm Incorporated Inter-layer mode derivation for prediction in scalable video coding
US9491458B2 (en) 2012-04-12 2016-11-08 Qualcomm Incorporated Scalable video coding prediction with non-causal information
EP2901694A4 (en) * 2012-09-28 2016-05-25 Intel Corp INTER-LAYER RESIDUAL PREDICTION
US20150245066A1 (en) * 2012-09-28 2015-08-27 Sony Corporation Image processing apparatus and image processing method
SG10201507195QA (en) * 2012-09-28 2015-10-29 Sony Corp Image Processing Device
US9392268B2 (en) * 2012-09-28 2016-07-12 Qualcomm Incorporated Using base layer motion information
KR20220131366A (ko) 2012-10-01 2022-09-27 지이 비디오 컴프레션, 엘엘씨 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩
US20140098880A1 (en) 2012-10-05 2014-04-10 Qualcomm Incorporated Prediction mode information upsampling for scalable video coding
US9648319B2 (en) * 2012-12-12 2017-05-09 Qualcomm Incorporated Device and method for scalable coding of video information based on high efficiency video coding
US20140185671A1 (en) * 2012-12-27 2014-07-03 Electronics And Telecommunications Research Institute Video encoding and decoding method and apparatus using the same
US9509999B2 (en) * 2013-06-11 2016-11-29 Qualcomm Incorporated Inter-layer prediction types in multi-layer video coding
CN103731670B (zh) * 2013-12-25 2017-02-01 同观科技（深圳）有限公司 一种图像的帧内预测算法
JP6239472B2 (ja) * 2014-09-19 2017-11-29 株式会社東芝 エンコード装置、デコード装置、ストリーミングシステム、および、ストリーミング方法
US11297346B2 (en) 2016-05-28 2022-04-05 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds
US10223810B2 (en) 2016-05-28 2019-03-05 Microsoft Technology Licensing, Llc Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression
US10694210B2 (en) 2016-05-28 2020-06-23 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
US10887600B2 (en) * 2017-03-17 2021-01-05 Samsung Electronics Co., Ltd. Method and apparatus for packaging and streaming of virtual reality (VR) media content
US11363249B2 (en) * 2019-02-22 2022-06-14 Avalon Holographics Inc. Layered scene decomposition CODEC with transparency
CN114223205A (zh) * 2019-08-23 2022-03-22 北京字节跳动网络技术有限公司 参考图片重采样
CN117319645A (zh) 2019-08-23 2023-12-29 北京字节跳动网络技术有限公司 用于处理视频数据的方法、装置以及计算机可读存储介质
CN110662071B (zh) * 2019-09-27 2023-10-24 腾讯科技（深圳）有限公司 视频解码方法和装置、存储介质及电子装置
JP7395727B2 (ja) 2019-10-23 2023-12-11 北京字節跳動網絡技術有限公司 ビデオ・データを処理する方法、装置及び記憶方法
KR20220080107A (ko) 2019-10-23 2022-06-14 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 참조 픽처 리샘플링을 위한 시그널링
EP4090027A4 (en) * 2020-01-06 2024-01-17 Hyundai Motor Company IMAGE ENCODING AND DECODING BASED ON A REFERENCE IMAGE OF DIFFERENT RESOLUTION
US20230055497A1 (en) * 2020-01-06 2023-02-23 Hyundai Motor Company Image encoding and decoding based on reference picture having different resolution
US11863786B2 (en) * 2021-05-21 2024-01-02 Varjo Technologies Oy Method of transporting a framebuffer

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0474063A (ja) * 1990-07-13 1992-03-09 Matsushita Electric Ind Co Ltd 画像の符号化方法
US5831678A (en) * 1996-08-09 1998-11-03 U.S. Robotics Access Corp. Video encoder/decoder system
JP3263807B2 (ja) * 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
US5978509A (en) * 1996-10-23 1999-11-02 Texas Instruments Incorporated Low power video decoder system with block-based motion compensation
US6256347B1 (en) * 1996-12-17 2001-07-03 Thomson Licensing S.A. Pixel block compression apparatus in an image processing system
US6690724B1 (en) * 1997-01-10 2004-02-10 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing device, and data recording medium
US6351563B1 (en) * 1997-07-09 2002-02-26 Hyundai Electronics Ind. Co., Ltd. Apparatus and method for coding/decoding scalable shape binary image using mode of lower and current layers
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
US6510177B1 (en) * 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement
US6907070B2 (en) * 2000-12-15 2005-06-14 Microsoft Corporation Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
EP1597919A1 (en) * 2003-02-17 2005-11-23 Koninklijke Philips Electronics N.V. Video coding
US7142601B2 (en) * 2003-04-14 2006-11-28 Mitsubishi Electric Research Laboratories, Inc. Transcoding compressed videos to reducing resolution videos
JP2005033336A (ja) * 2003-07-08 2005-02-03 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
US7362809B2 (en) * 2003-12-10 2008-04-22 Lsi Logic Corporation Computational reduction in motion estimation based on lower bound of cost function
US8503542B2 (en) * 2004-03-18 2013-08-06 Sony Corporation Methods and apparatus to reduce blocking noise and contouring effect in motion compensated compressed video
US7817723B2 (en) * 2004-12-14 2010-10-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E. V. Apparatus and method of optimizing motion estimation parameters for encoding a video signal
US20060176955A1 (en) * 2005-02-07 2006-08-10 Lu Paul Y Method and system for video compression and decompression (codec) in a microprocessor
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150083427A (ko) * 2012-11-07 2015-07-17 엘지전자 주식회사 신호 송수신 장치 및 신호 송수신 방법
KR102094892B1 (ko) * 2012-11-07 2020-03-30 엘지전자 주식회사 신호 송수신 장치 및 신호 송수신 방법

Also Published As

Publication number Publication date
US20080267291A1 (en) 2008-10-30
CN101204092B (zh) 2010-11-03
WO2006087314A1 (en) 2006-08-24
CN101204092A (zh) 2008-06-18
JP2008530926A (ja) 2008-08-07
EP1894412A1 (en) 2008-03-05

Similar Documents

Publication Publication Date Title
JP5065051B2 (ja) 低解像度画像から高解像度画像の符号化情報を導出する方法、並びに、係る方法を実現する符号化及び復号化装置
KR100913104B1 (ko) 영상 신호의 인코딩 및 디코딩 방법
JP5011378B2 (ja) スケーラブルビデオ符号化向け簡略化されたレイヤ間動き予測
JP5112332B2 (ja) インターレイヤ動き予測方法
CN108111846B (zh) 用于可伸缩视频编码的帧间层预测方法及装置
KR100891662B1 (ko) 비디오 신호 디코딩 및 인코딩 방법
JP6342432B2 (ja) ビデオコード化のための並列処理
CN110267035B (zh) 可伸缩视频编码器、解码器、编码方法及解码方法
JP5154635B2 (ja) 拡張された空間スケーラビティにおける画像レベルの適応化方法およびシステム
CN104247423B (zh) 可伸缩视频编码***的帧内模式编码方法和装置
KR100891663B1 (ko) 비디오 신호 디코딩 및 인코딩 방법
KR20080035497A (ko) 이미지 시퀀스를 스케일러블 포맷으로 코딩하는 디바이스및 방법과 이에 대응하는 디코딩 디바이스 및 방법
JP2008530927A (ja) 高分解能ピクチャの符号化情報を低分解能ピクチャから導き出す方法、並びにその方法を実現する符号化及び復号化装置
CN113507603B (zh) 图像信号编码/解码方法及其设备
KR100963424B1 (ko) 스케일러블 영상 복호화기 및 그 제어 방법
CN113228651A (zh) 量化矩阵编码/解码方法和装置以及存储比特流的记录介质
JP5211048B2 (ja) 低解像度画像のモーションデータから高解像度画像用のモーションデータを取得する方法並びにその方法を実施する符号化及び復号装置
TWI794705B (zh) 用於參考圖像重新取樣之分數樣本內插技術

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120221

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120724

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120809

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150817

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees