JP2013176168A - 画像符号化装置および画像復号装置 - Google Patents
画像符号化装置および画像復号装置 Download PDFInfo
- Publication number
- JP2013176168A JP2013176168A JP2013124268A JP2013124268A JP2013176168A JP 2013176168 A JP2013176168 A JP 2013176168A JP 2013124268 A JP2013124268 A JP 2013124268A JP 2013124268 A JP2013124268 A JP 2013124268A JP 2013176168 A JP2013176168 A JP 2013176168A
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- encoding
- intra
- mode
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【解決手段】入力色成分信号を、符号化ブロックサイズ指示情報によって定まるサイズのブロックに分割して、前記符号化単位領域の信号を生成するブロック分割部と、予測画像生成方法を示すひとつ以上の予測モードに対応して前記符号化単位領域の信号に対する予測画像を生成する予測画像生成部と、該予測画像生成部から出力される予測画像の予測効率に応じて符号化に用いる予測モードを判定する判定部と、該判定部によって定められた予測モードに対応する予測画像と前記入力色成分信号との差分を符号化する予測誤差符号化部と、前記予測モードと予測誤差符号化部の出力とを可変長符号化する符号化部とを備える。
【選択図】図1
Description
本実施の形態1では、4:4:4フォーマットで入力される映像フレームを16×16画素の矩形領域(マクロブロック)に均等分割した単位でフレーム内に閉じた符号化を行う符号化装置、および対応する復号装置について説明する。また、本符号化装置、復号装置は非特許文献1であるMPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格で採用される符号化方式をベースとして、本発明に固有の特徴を付与したものとする。なお、以下、すべての実施の形態において、マクロブロックはフレーム画像の16x16画素に限定する必要はなく、例えばインタレース信号の場合のように、フィールドを符号化単位の画面とするケースでフィールド画像の16x16画素ブロックをマクロブロックとしてもよいし、フレーム画像としてマクロブロック符号化を行うか、フィールド画像としてマクロブロック符号化を行うかに応じて適応的にマクロブロックのブロックサイズを変更しながら符号化するような構成を伴っていてもよい。
図1の符号化装置において、入力映像信号1は、個々の映像フレームが4:4:4フォーマットで入力される。入力される映像フレームは、図10に示すように、3つの色成分を同一サイズの16画素×16画素のブロックに分割してまとめたマクロブロック単位で符号化装置に入力されるものとする。
マクロブロック内の輝度信号16×16画素ブロックを4×4画素ブロックで構成される16個のブロックに分割し、図3に示す9つのモードのいずれかを4×4画素ブロック単位に選択する。すでに符号化を終え、局部復号処理されてメモリ16に格納された周囲のブロック(左上、上、右上、左)の画素を予測画像生成に用いる。
Intra4x4_pred_mode = 1: 隣接する左部の画素をそのまま予測画像として使用する。
Intra4x4_pred_mode = 2: 隣接する8つの画素の平均値を予測画像として使用する
Intra4x4_pred_mode = 3: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(右45度エッジに対応)。
Intra4x4_pred_mode = 4: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(左45度エッジに対応)。
Intra4x4_pred_mode = 5: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(左22.5度エッジに対応)。
Intra4x4_pred_mode = 6: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(左67.5度エッジに対応)。
Intra4x4_pred_mode = 7: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(右22.5度エッジに対応)。
Intra4x4_pred_mode = 8: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(左112.5度エッジに対応)。
マクロブロックサイズに相当する16×16画素ブロックを一度に予測するモードであり、図4に示す4つのモードのいずれかをマクロブロック単位に選択する。イントラ4x4予測モードと同様、すでに符号化を終え、局部復号処理されてメモリ16に格納された周囲のマクロブロック(左上、上、左)の画素を予測画像生成に用いる。
Intra16x16_pred_mode = 1: 左マクロブロックの最右辺の16画素を予測画像として使用する。
Intra16x16_pred_mode = 2: 上マクロブロックの最下辺の16画素(図4のA部分)と左マクロブロックの最左辺の16画素(図4のB部分)の合計32画素の平均値を予測画像として使用する。
Intra16x16_pred_mode = 3: 左上のマクロブロックの右下隅の画素、上マクロブロックの最下辺の15画素(白抜き画素を除いた部分)、左マクロブロックの最右辺の15画素(白抜き画素を除いた部分)の合計31画素を用いて所定の演算処理(使用する画素と予測する画素位置に応じた重み付け加算処理)により予測画像を得る。
本実施の形態1の符号化装置の特徴であるイントラ予測モード判定処理について詳述する。本処理は上記3つの色成分をまとめたマクロブロックの単位で実施され、主として、図1の符号化装置における空間予測部2、符号化モード判定部5によって行われる。また、本処理の流れを示すフローチャートを図5に示す。以下、ブロックを構成する3つの色成分の画像データをC0、C1、C2とする。
Jm = Dm + λRm(λ:正数)
で与えられるレート・ひずみコストを用いることができる。ここで、Dmはイントラ予測モードmを適用した場合の符号化歪または予測誤差量である。符号化歪とは、イントラ予測モードmを適用して予測誤差を得、予測誤差を変換・量子化した結果から映像を復号して符号化前の信号に対する誤差を計測するものである。予測誤差量は、イントラ予測モードmを適用した場合の予測画像と符号化前の信号との差分を得、その差分の大きさを定量化したもので、たとえば差分絶対値和(Sum of Absolute Distance: SAD)などが用いられる。Rmはイントラ予測モードmを適用した場合の発生符号量である。つまり、Jmはイントラ予測モードmを適用した場合の符号量と劣化度とのトレードオフを規定する値であり、最小のJmを与えるイントラ予測モードmが最適解を与える。
図2の復号装置は、図1の符号化装置から出力される図6の配列に従うビデオストリーム22を受信して、3つの色成分が同一サイズ(4:4:4フォーマット)のマクロブロックの単位で復号処理を行い、個々の映像フレームを復元するものとする。
本実施の形態1の復号装置の特徴であるイントラ予測画像生成処理について詳述する。本処理は上記3つの色成分をまとめたマクロブロックの単位で実施され、主として、図2の復号装置における可変長復号部25、空間予測部2によって行われる。また、本処理の流れを示すフローチャートを図7に示す。
本実施の形態2では、4:4:4フォーマットで入力される映像フレームを16×16画素の矩形領域(マクロブロック)に均等分割した単位でフレーム内に閉じた符号化を行う別の符号化装置、および対応する復号装置について説明する。本符号化装置、復号装置は実施の形態1と同様、非特許文献1であるMPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格で採用される符号化方式をベースとして、本発明に固有の特徴を付与したものとする。
図11の符号化装置において、入力映像信号1は、個々の映像フレームが4:4:4フォーマットであって、かつ3つの色成分が図10に示すように同一サイズのマクロブロックに分割してまとめられた単位で符号化装置に入力されるものとする。
マクロブロック内の輝度信号16x16画素ブロックを4x4画素ブロックで構成される16個のブロックに分割し、各4x4画素ブロックに対して個別に予測モードを選択するイントラ4x4予測モードと、マクロブロック内の輝度信号16x16画素ブロックを8x8画素ブロックで構成される4個のブロックに分割し、各8x8画素ブロックに対して個別に予測モードを選択するイントラ8x8予測モードとを選択的に切り替えながら符号化を行うモードである。イントラ4x4予測モードとイントラ8x8予測モードの切り替えは、変換ブロックサイズ識別フラグ32の状態に連動する。この点は後述する。イントラ4x4予測モードについては、実施の形態1で説明したように、図3に示す9つのモードのいずれかを4x4画素ブロック単位に選択する。すでに符号化を終え、局部復号処理されてメモリ16に格納された周囲のブロック(左上、上、右上、左)の画素を予測画像生成に用いる。
Intra8x8_pred_mode = 0: 隣接する上部の画素をそのまま予測画像として使用する。
Intra8x8_pred_mode = 1: 隣接する左部の画素をそのまま予測画像として使用する。
Intra8x8_pred_mode = 2: 隣接する8つの画素の平均値を予測画像として使用する
Intra8x8_pred_mode = 3: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(右45度エッジに対応)。
Intra8x8_pred_mode = 4: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(左45度エッジに対応)。
Intra8x8_pred_mode = 5: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(左22.5度エッジに対応)。
Intra8x8_pred_mode = 6: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(左67.5度エッジに対応)。
Intra8x8_pred_mode = 7: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(右22.5度エッジに対応)。
Intra8x8_pred_mode = 8: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(左112.5度エッジに対応)。
マクロブロックサイズに相当する16x16画素ブロックを一度に予測するモードであり、図4に示す4つのモードのいずれかをマクロブロック単位に選択する。イントラ4x4予測モードと同様、すでに符号化を終え、局部復号処理されてメモリ16に格納された周囲のマクロブロック(左上、上、左)の画素を予測画像生成に用いる。モード種別は実施の形態1における図4の説明の通りである。イントラ16x16予測符号化モードでは、変換ブロックサイズは常に4x4とする。ただし、まず4x4ブロック単位のDC(直流成分、平均値)を16個分集め、その単位で4x4ブロック変換を行い、DC分を除いた残りの交流成分を4x4ブロックごとに変換する2段階の変換を施す。
本実施の形態2の符号化装置の特徴であるイントラ符号化モードおよびイントラ予測モードの判定処理について詳述する。本処理は上記3つの色成分をまとめたマクロブロックの単位で実施され、主として、図11の符号化装置における空間予測部2、符号化モード判定部5によって行われる。また、本処理の流れを示すフローチャートを図14に示す。以下、ブロックを構成する3つの色成分の画像データをC0、C1、C2とする。
Jm = Dm + λRm(λ:正数)
で与えられるレート・ひずみコストを用いることができる。ここで、Dmはイントラ予測モードmを適用した場合の符号化歪または予測誤差量である。符号化歪とは、イントラ予測モードmを適用して予測誤差を得て、予測誤差を変換・量子化した結果から映像を復号して符号化前の信号に対する誤差を計測するものである。予測誤差量は、イントラ予測モードmを適用した場合の予測画像と符号化前の信号との差分を得て、その差分の大きさを定量化したもので、たとえば差分絶対値和(Sum of Absolute Distance: SAD)などが用いられる。Rmはイントラ予測モードmを適用した場合の発生符号量である。つまり、Jmはイントラ予測モードmを適用した場合の符号量と劣化度とのトレードオフを規定する値であり、最小のJmを与えるイントラ予測モードmが最適解を与える。
図12の復号装置は、図11の符号化装置から出力される図15の配列に従うビデオストリーム22を受信して、3つの色成分が同一サイズ(4:4:4フォーマット)のマクロブロックの単位で復号処理を行い、個々の映像フレームを復元するものとする。
本実施の形態2の復号装置の特徴であるイントラ予測画像生成処理について詳述する。本処理は上記3つの色成分をまとめたマクロブロックの単位で実施され、主として、図12の復号装置における可変長復号部25、空間予測部2によって行われる。また、本処理の流れを示すフローチャートを図17に示す。
本実施の形態3では、図11の符号化装置、図12の復号装置の別の構成例を示す。本符号化装置、復号装置は実施の形態1と同様、非特許文献1であるMPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格で採用される符号化方式をベースとして、本発明に固有の特徴を付与したものとする。本実施の形態3における映像符号化装置は、図11で説明した実施の形態2の符号化装置のうち、可変長符号化部11のみが異なる。本実施の形態3における映像復号装置は、図12で説明した実施の形態2の復号装置のうち、可変長復号部25のみが異なる。他は実施の形態2と同様の動作とし、ここでは差異部分のみを説明する。
実施の形態2の符号化装置においては、その可変長符号化部11では、イントラNxN予測モードの情報について、ビットストリーム上のデータ配列は示したが、特にその符号化手順を示さなかった。本実施の形態では、その符号化手順の具体的な方法を示す。本実施の形態では特に、イントラNxN予測モードの値が色成分間で高い相関を有する場合を考慮し、各色成分で得られたイントラNxN予測モードについて、色成分間での値の相関を利用したエントロピー符号化を行う点に特徴がある。
predCurrIntraPredMode = Min( IntraPredModeA, IntraPredModeB )
{
prev_intra_pred_mode_flag = 1;
}
else
{
prev_intra_pred_mode_flag = 0;
if( CurrIntraPredMode < predCurrIntraPredMode)
rem_intra_pred_mode = CurrIntraPredMode;
else
rem_intra_pred_mode = CurrIntraPredMode - 1;
}
Encode prev_intra_pred_mode_flag;
If(prev_intra_pred_mode_flag == 0)
Encode rem_intra_pred_mode;
predCurrIntraPredMode1 = Min( IntraPredModeA, IntraPredModeB )
predCurrIntraPredMode2 = CurrIntraPredMode_C0
これを予測値候補とする背景は以下の通りである。C0成分でrem_intra_pred_modeを符号化するということは、C0成分においては近傍画像領域間でのイントラ予測の相関が低いことを意味する。その場合、C1成分でも同様に近傍画像領域間での相関が低いことが予想され、異なる色成分における同一ブロック位置のイントラ予測モードのほうが、よりよい予測値を与える可能性がある。
if( prev_intra_pred_mode_flag_C0 == 1 )
{
predCurrIntraPredMode = Min( IntraPredModeA, IntraPredModeB );
}
else
{
predCurrIntraPredMode1 = Min( IntraPredModeA, IntraPredModeB );
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
if( CurrIntraPredMode == predCurrIntraPredMode1 )
{
prev_intra_pred_mode_flag = 1;
pred_flag = 0; // 予測値候補1を使う
}
else if(CurrIntraPredMode == predCurrIntraPredMode2 )
{
prev_intra_pred_mode_flag = 1;
pred_flag = 1; // 予測値候補2を使う
}
else
{
prev_intra_pred_mode_flag = 0;
if( CurrIntraPredMode < predCurrIntraPredMode1 )
rem_intra_pred_mode = CurrIntraPredMode;
else
rem_intra_pred_mode = CurrIntraPredMode - 1;
}
}
Encode prev_intra_pred_mode_flag ;
if(prev_intra_pred_mode_flag == 1)
Encode pred_flag;
else // If(prev_intra_pred_mode_flag == 0)
Encode rem_intra_pred_mode ;
となる。結果、prev_intra_pred_mode_flag、pred_flag、rem_intra_pred_modeが符号化データとして符号化される(ステップS58)。
predCurrIntraPredMode1 = Min( IntraPredModeA, IntraPredModeB )
If( prev_intra_pred_mode_flag_C0 == 0 && pred_intra_pred_mode_flag_C1 == 1 )
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
else if(prev_intra_pred_mode_flag_C0 == 1 && pred_intra_pred_mode_flag_C1 == 0 )predCurrIntraPredMode2 = CurrIntraPredMode_C1;
else
predCurrIntraPredMode2 = CurrIntraPredMode_C1;
これを予測値候補とする背景は以下の通りである。C0ないしはC1成分でrem_intra_pred_modeを符号化するということは、C0ないしはC1成分においては近傍画像領域間でのイントラ予測の相関が低いことを意味する。その場合、C2成分でも同様に近傍画像領域間での相関が低いことが予想され、異なる色成分における同一ブロック位置のイントラ予測モードのほうが、よりよい予測値を与える可能性がある。また、この考え方によれば、C0、C1成分ともにrem_intra_pred_modeを符号化する場合には、C0、C1の両方のカレントイントラ予測モードが予測値の候補となりうるが、ここでは、C1成分のカレントイントラ予測モードを予測値として採用する。その理由は、YUV色空間が入力される場合、C0は輝度、C1/C2は色差として扱われる可能性が高く、その場合、C0よりもC1のほうがよりC2の予測モードに近いと考えられるからである。RGB色空間入力の場合においては、C0を選ぶかC1を選ぶかはそれほど大きなファクタにはならず、一般的にC1成分を予測値に採用するのは妥当と考えられる(設計によりC2成分を予測値に採用してもよい)。
If( prev_intra_pred_mode_flag_C0 == 1 && prev_intra_pred_mode_flag == 1 )
{
predCurrIntraPredMode = Min( IntraPredModeA, IntraPredModeB );
}
else
{
predCurrIntraPredMode1 = Min( IntraPredModeA, IntraPredModeB );
If( prev_intra_pred_mode_flag_C0 == 0 && pred_intra_pred_mode_flag_C1 == 1 )
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
else if(prev_intra_pred_mode_flag_C0 == 1 && pred_intra_pred_mode_flag_C1 == 0 )predCurrIntraPredMode2 = CurrIntraPredMode_C1;
else
predCurrIntraPredMode2 = CurrIntraPredMode_C1;
if( CurrIntraPredMode == predCurrIntraPredMode1 )
{
prev_intra_pred_mode_flag = 1;
pred_flag = 0; // 予測値候補1を使う
}
else if(CurrIntraPredMode == predCurrIntraPredMode2 )
{
prev_intra_pred_mode_flag = 1;
pred_flag = 1; // 予測値候補2を使う
}
else
{
prev_intra_pred_mode_flag = 0;
if( CurrIntraPredMode < predCurrIntraPredMode1 )
rem_intra_pred_mode = CurrIntraPredMode;
else
rem_intra_pred_mode = CurrIntraPredMode - 1;
}
}
Encode prev_intra_pred_mode_flag ;
if(prev_intra_pred_mode_flag == 1)
Encode pred_flag;
else // If(prev_intra_pred_mode_flag == 0)
Encode rem_intra_pred_mode ;
となる。結果、prev_intra_pred_mode_flag、pred_flag、rem_intra_pred_modeが符号化データとして符号化される(ステップS64)。
If( prev_intra_pred_mode_flag_C0 == 1 )
{
predCurrIntraPredMode = Min( IntraPredModeA, IntraPredModeB );
if( CurrIntraPredMode == predCurrIntraPredMode )
{
prev_intra_pred_mode_flag = 1;
}
Else{
if( CurrIntraPredMode < predCurrIntraPredMode )
rem_intra_pred_mode = CurrIntraPredMode;
else
rem_intra_pred_mode = CurrIntraPredMode - 1;
}
}
else
{
predCurrIntraPredMode1 = Min( IntraPredModeA, IntraPredModeB );
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
if( CurrIntraPredMode == predCurrIntraPredMode1 )
{
prev_intra_pred_mode_flag = 1;
pred_flag = 0; // 予測値候補1を使う
}
else if(CurrIntraPredMode == predCurrIntraPredMode2 )
{
prev_intra_pred_mode_flag = 1;
pred_flag = 1; // 予測値候補2を使う
}
else
{
prev_intra_pred_mode_flag = 0;
if( | CurrIntraPredMode - predCurrIntraPredMode1 | <
| CurrIntraPredMode predCurrIntraPredMode2 | )
{
pred_flag = 0;
predCurrIntraPredMode = predCurrIntraPredMode1;
}
Else
{
pred_flag = 1;
predCurrIntraPredMode = predCurrIntraPredMode2;
}
if( CurrIntraPredMode < predCurrIntraPredMode )
rem_intra_pred_mode = CurrIntraPredMode;
else
rem_intra_pred_mode = CurrIntraPredMode - 1;
}
}
Encode prev_intra_pred_mode_flag ;
If(prev_intra_pred_mode_flag_C0 == 0)
Encode pred_flag;
If(prev_intra_pred_mode_flag == 0)
Encode rem_intra_pred_mode ;
のような手順で符号化するように構成してもよい。この方法では、C0成分の同一位置のブロックにおけるイントラ予測モードにおいてrem_intra_pred_modeを符号化する場合には常時pred_flagを符号化することになるが、prev_intra_pred_mode_flag = 0の場合でもより精度のよい予測値を使用することができ、符号化効率の改善が期待できる。また、さらに進めて、C0成分の同一位置のブロックにおけるイントラ予測モードにおいてrem_intra_pred_modeを符号化するかどうかに依存せず、pred_flagを符号化するように構成してもよい。この場合は常時C0成分のイントラ予測モードを予測値候補として使用することになる。
predCurrIntraPredMode1 = Min( IntraPredModeA, IntraPredModeB );
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
if( CurrIntraPredMode == predCurrIntraPredMode1 )
{
prev_intra_pred_mode_flag = 1;
pred_flag = 0; // 予測値候補1を使う
}
else if(CurrIntraPredMode == predCurrIntraPredMode2 )
{
prev_intra_pred_mode_flag = 1;
pred_flag = 1; // 予測値候補2を使う
}
else
{
prev_intra_pred_mode_flag = 0;
if( | CurrIntraPredMode - predCurrIntraPredMode1 | <
| CurrIntraPredMode predCurrIntraPredMode2 | )
{
pred_flag = 0;
predCurrIntraPredMode = predCurrIntraPredMode1;
}
Else
{
pred_flag = 1;
predCurrIntraPredMode = predCurrIntraPredMode2;
}
if( CurrIntraPredMode < predCurrIntraPredMode )
rem_intra_pred_mode = CurrIntraPredMode;
else
rem_intra_pred_mode = CurrIntraPredMode - 1;
}
Encode prev_intra_pred_mode_flag ;
Encode pred_flag;
If(prev_intra_pred_mode_flag == 0)
Encode rem_intra_pred_mode ;
実施の形態2の復号装置においては、その可変長復号部25では、イントラNxN予測モードの情報について、ビットストリーム上のデータ配列は示したが、特にその復号手順を示さなかった。本実施の形態3では、その復号手順の具体的な方法を示す。本実施の形態3では特に、イントラNxN予測モードの値が色成分間で高い相関を有する場合を考慮し、各色成分で得られたイントラNxN予測モードについて、色成分間での値の相関を利用したエントロピー符号化が行われたビットストリームを復号する点に特徴がある。
predCurrIntraPredMode = Min( IntraPredModeA, IntraPredModeB )
predCurrIntraPredMode = Min( IntraPredModeA, IntraPredModeB );
Decode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
{
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode )
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode + 1;
}
predCurrIntraPredMode1 = Min( IntraPredModeA, IntraPredModeB )
predCurrIntraPredMode2 = CurrIntraPredMode_C0
これを予測値候補とする背景も符号化装置において説明した理由と同様である。
if( prev_intra_pred_mode_flag_C0 == 1 )
{
pred_flag = 0; // このときはpred_flagはビットストリームには含まれない
predCurrIntraPredMode = Min( IntraPredModeA, IntraPredModeB );
Decode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
{
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode )
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode + 1;
}
}
else
{
predCurrIntraPredMode1 = Min( IntraPredModeA, IntraPredModeB );
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
Decode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
{
Decode pred_flag;
If( pred_flag == 0 )
predCurrIntraPredMode = predCurrIntraPredMode1;
Else
predCurrIntraPredMode = predCurrIntraPredMode2;
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
predCurrIntraPredMode = predCurrIntraPredMode1;
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode )
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode + 1;
}
}
predCurrIntraPredMode1 = Min( IntraPredModeA, IntraPredModeB )
If( prev_intra_pred_mode_flag_C0 == 0 && pred_intra_pred_mode_flag_C1 == 1 )
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
else if(prev_intra_pred_mode_flag_C0 == 1 && pred_intra_pred_mode_flag_C1 == 0 )predCurrIntraPredMode2 = CurrIntraPredMode_C1;
else
predCurrIntraPredMode2 = CurrIntraPredMode_C1;
これを予測値候補とする背景も符号化装置において説明した理由と同様である。
if(prev_intra_pred_mode_flag_C0 == 1 && prev_intra_pred_mode_flag_C1 == 1 )
{
pred_flag = 0; // このときはpred_flagはビットストリームには含まれない
predCurrIntraPredMode = Min( IntraPredModeA, IntraPredModeB );
Decode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
{
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode )
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode + 1;
}
}
else
{
predCurrIntraPredMode1 = Min( IntraPredModeA, IntraPredModeB );
If( prev_intra_pred_mode_flag_C0 == 0 && pred_intra_pred_mode_flag_C1 == 1 )
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
else if(prev_intra_pred_mode_flag_C0 == 1 && pred_intra_pred_mode_flag_C1 == 0 )predCurrIntraPredMode2 = CurrIntraPredMode_C1;
else
predCurrIntraPredMode2 = CurrIntraPredMode_C1;
Decode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
{
Decode pred_flag;
If( pred_flag == 0 )
predCurrIntraPredMode = predCurrIntraPredMode1;
Else
predCurrIntraPredMode = predCurrIntraPredMode2;
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
predCurrIntraPredMode = predCurrIntraPredMode1;
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode )
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode + 1;
}
}
if( prev_intra_pred_mode_flag_C0 == 1 )
{
predCurrIntraPredMode = Min( IntraPredModeA, IntraPredModeB );
Decode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
{
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode )
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode + 1;
}
}
else
{
predCurrIntraPredMode1 = Min( IntraPredModeA, IntraPredModeB );
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
Decode prev_intra_pred_mode_flag;
Decode pred_flag;
If( pred_flag == 0 )
predCurrIntraPredMode = predCurrIntraPredMode1;
Else
predCurrIntraPredMode = predCurrIntraPredMode2;
if(prev_intra_pred_mode_flag == 1)
{
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode )
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode + 1;
}
}
のような手順で復号するように構成してもよい。この方法の効果は対応する符号化装置側での符号化手順の記載中に述べたとおりである。また、さらに進めて、C0成分の同一位置のブロックにおけるイントラ予測モードにおいてrem_intra_pred_modeを復号するかどうかに依存せず、pred_flagを復号するように構成してもよい。この場合は常時C0成分のイントラ予測モードを予測値候補として使用することになる。
predCurrIntraPredMode1 = Min( IntraPredModeA, IntraPredModeB );
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
Decode prev_intra_pred_mode_flag;
Decode pred_flag;
If( pred_flag == 0 )
predCurrIntraPredMode = predCurrIntraPredMode1;
Else
predCurrIntraPredMode = predCurrIntraPredMode2;
if(prev_intra_pred_mode_flag == 1)
{
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode )
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode + 1;
}
となる。
実施の形態2にて図16の形式のビットストリームについて説明した。実施の形態2では、イントラ符号化モードが「イントラNxN予測」を示している場合、変換ブロックサイズ識別フラグ0〜2(32a〜32c)の値に応じて、C0、C1、C2各色成分のイントラ予測モードがイントラ4x4予測モードか、イントラ8x8予測モードと認識されることを述べた。本実施の形態4では、このビットストリーム配列を変更して図24に示すように、C1、C2成分について、イントラ予測モード指示フラグ1、2(36a,36b)をシーケンスレベルで伝送するように構成する。イントラ予測モード指示フラグは、イントラ符号化モードにおいてイントラNxN予測モードが選択される場合で、かつ変換ブロックサイズ識別フラグが4x4変換を指示している場合、すなわちイントラ4x4予測モードの場合に有効であって、この値に応じて、以下の2つの状態を切り替えることを可能とする。
状態1:C1ないしはC2成分に対しても、使用するイントラ4x4予測モードは図3の9つから個別に選択し符号化する。
状態2:C1ないしはC2成分に対しては、使用するイントラ4x4予測モードをDC予測、つまり図3のintra4x4_pred_mode = 2に限定し、イントラ予測モード情報を符号化しない。
本実施の形態5では、図11の符号化装置、図12の復号装置の別の構成例を示す。本実施の形態5における符号化装置、復号装置は上記の他の実施の形態と同様、非特許文献1であるMPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格で採用される符号化方式をベースとして、本発明に固有の特徴を付与したものとする。本実施の形態5における映像符号化装置は、実施の形態2、3で説明した図11の符号化装置の構成のうち、可変長符号化部11の動作のみが異なる。本実施の形態5における映像復号装置は、実施の形態2、3で説明した図12の復号装置の構成のうち、可変長復号部25の動作のみが異なる。他は実施の形態2、3と同様の動作とし、ここでは差異部分のみを説明する。
実施の形態3の符号化装置においては、その可変長符号化部11では、図16の形式によるビットストリームにおいて、イントラNxN予測モード情報の具体的な符号化方法について示した。本実施の形態5では、その符号化手順の別の具体的な方法を示す。本実施の形態5では特に、イントラNxN予測モードの値が画像パターンとしてのテクスチャの構造を反映することに着目し、同一色成分中の近傍画素領域内で適応的な予測を行う方法を与える点に特徴がある。以下の説明では、図16の形式のビットストリーム配列を前提とする。また、本実施の形態5では、C0、C1、C2の各成分のイントラNxN予測モード情報の符号化は色成分ごとに独立に符号化することとして、C0成分の符号化方法をC1、C2にも同様に適用するものとし、説明の簡略化のため、C0成分についてのみ説明する。イントラ符号化モード共通化識別フラグ33の値は、イントラ符号化モードをC0、C1、C2で共通化する、と設定し、イントラ符号化モードをイントラNxN予測モード、変換ブロックサイズ識別フラグ0〜2(32a〜32c)を4x4ブロックであるとする。この際、イントラ予測モード0〜2(35a〜35c)はすべてイントラ4x4予測モードになる。C0成分のイントラNxN予測モード情報の符号化手順の説明図として、図18を用いる。図18において、符号化の対象となるカレントマクロブロックはXとする。また、その左隣のマクロブロックはマクロブロックA、真上のマクロブロックをマクロブロックBとする。また、符号化手順のフローチャートを図25に示す。
(2)IntraPredModeA, IntraPredModeBのいずれかが3以上のときで、IntraPredModeA, IntraPredModeBの予測の方向がまったく異なるとき (例:IntraPredModeAが3で、IntraPredModeBが4のとき)は、DC予測(intra4x4_pred_mode = 2) をpredCurrIntraPredModeとする。
(3)IntraPredModeA, IntraPredModeBのいずれかが3以上のときで、予測の方向が同じとき(例:IntraPredModeAが3でIntraPredModeBが7のとき(いずれも右上からの予測))は、画素を補間する予測モード(上述の例では7)をpredCurrIntraPredModeとする。
if(CurrIntraPredMode == predCurrIntraPredMode)
{
prev_intra_pred_mode_flag = 1;
}
else
{
prev_intra_pred_mode_flag = 0;
if( CurrIntraPredMode < predCurrIntraPredMode)
rem_intra_pred_mode = CurrIntraPredMode;
else
rem_intra_pred_mode = CurrIntraPredMode - 1;
}
Encode prev_intra_pred_mode_flag;
If(prev_intra_pred_mode_flag == 0)
Encode rem_intra_pred_mode;
となる。
実施の形態3の復号装置においては、図16の形式によるビットストリームに対して、可変長復号部25でのイントラNxN予測モードの情報の具体的な復号手順の一つを示した。本実施の形態5では、復号手順の別の具体的な方法を示す。本実施の形態5では特に、イントラNxN予測モードの値が画像パターンとしてのテクスチャの構造を反映することに着目し、同一色成分中の近傍画素領域内で適応的な予測を行って符号化が行われたビットストリームを復号する点に特徴がある。
Decode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
{
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode )
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode + 1;
}
本実施の形態6では、図11の符号化装置、図12の復号装置の別の構成例を示す。本実施の形態6における符号化装置、復号装置は上記の他の実施の形態と同様、非特許文献1であるMPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格で採用される符号化方式をベースとして、本発明に固有の特徴を付与したものとする。本実施の形態6における映像符号化装置は、実施の形態2、3、5で説明した図11の符号化装置の構成のうち、可変長符号化部11の動作のみが異なる。本実施の形態6における映像復号装置は、実施の形態2、3、5で説明した図12の復号装置の構成のうち、可変長復号部25の動作のみが異なる。他は実施の形態2、3、5と同様の動作とし、ここでは差異部分のみを説明する。
実施の形態3や実施の形態5の符号化装置においては、図16の形式によるビットストリームについて、イントラNxN予測モード情報の具体的な符号化方法について示した。本実施の形態6では、その符号化手順の別の具体的な方法を示す。本実施の形態6では特に、イントラNxN予測モードの値が画像パターンとしてのテクスチャの構造を反映することに着目し、同一色成分中の近傍画素領域内で適応的な算術符号化を行う方法を与える点に特徴がある。以下の説明では、図16の形式のビットストリーム配列を前提とする。また、本実施の形態6では、C0、C1、C2の各成分のイントラNxN予測モード情報の符号化は色成分ごとに独立に符号化することとして、C0成分の符号化方法をC1、C2にも同様に適用するものとし、説明の簡略化のため、C0成分についてのみ説明する。イントラ符号化モード共通化識別フラグ33の値は、イントラ符号化モードをC0、C1、C2で共通化する、と設定し、イントラ符号化モードをイントラNxN予測モード、変換ブロックサイズ識別フラグ0〜2(32a〜32c)を4x4ブロックであるとする。この際、イントラ予測モード0〜2(35a〜35c)はすべてイントラ4x4予測モードになる。C0成分のイントラNxN予測モード情報の符号化手順の説明図として、図18を用いる。図18において、符号化の対象となるカレントマクロブロックはXとする。また、その左隣のマクロブロックはマクロブロックA、真上のマクロブロックをマクロブロックBとする。符号化手順のフローチャートを図27に示す。
CA = (intra_pred_direction_flag for IntraPredModeA == 1) + (intra_pred_direction_flag for IntraPredModeB == 1);
ここで、intra_pred_direction_flagは例えば図3にて、intra4x4_pred_modeが値0、3、5、7をとる場合は縦方向予測(=0)、値1、2、4、6、8をとる場合は横方向予測(=1)に分類する。CAの4状態には、それぞれ、あらかじめIntraPredModeA、IntraPredModeBの状態を前提とするCurrIntraPredModeの条件付確率を求めておき、それに基づいて定まる(0,1)の初期生起確率テーブルを割り当てておく。このようにコンテクストを構成することで、第1ビンの条件付生起確率をよりよく推定することが可能となり、算術符号化の効率を高めることができる。CAの値に応じて第1ビンの生起確率テーブルを選択して算術符号化を実行する。また、符号化値をもって生起確率テーブルを更新する(ステップS79)。
実施の形態3、5の復号装置においては、図16の形式によるビットストリームに対して、可変長符号部25でのイントラNxN予測モードの情報の具体的な復号手順の一つを示した。本実施の形態6では、復号手順の別の具体的な方法を示す。本実施の形態6では特に、イントラNxN予測モードの値が画像パターンとしてのテクスチャの構造を反映することに着目し、同一色成分中の近傍画素領域内で適応的な算術符号化を用いて符号化が行われたビットストリームを復号する点に特徴がある。
CA = (intra_dc_pred_flag for IntraPredModeA == 1) + (intra_dc_pred_flag for IntraPredModeB == 1);
ここで、intra_dc_pred _flagは図3にて、intra4x4_pred_modeが値2をとる場合は1、その他の値をとる場合は0に設定する。CB の4状態には、それぞれ、あらかじめIntraPredModeA、IntraPredModeBの状態を前提とするCurrIntraPredModeの条件付確率を求めておき、それに基づいて定まる第1ビンの値(0,1)の初期生起確率テーブルを割り当てておく。図29では、CurrIntraPredModeがDC予測の場合に、第1ビンは値0を、DC予測以外の場合は第1ビンは値1をとるように設計している。また、第2ビンには、上述のコンテクストA(CA)を用いることとした。このようにコンテクストを構成することで、第1ビンおよび第2ビンのいずれに対しても条件付生起確率をよりよく推定することが可能となり、算術符号化の効率を高めることができる。
本実施の形態7では、4:4:4フォーマットで入力される映像フレームを16×16画素の矩形領域(マクロブロック)に均等分割した単位でフレーム間予測を用いて符号化を行う符号化装置、および対応する復号装置について説明する。また、本符号化装置、復号装置はMPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格(以下、AVC)で採用される符号化方式をベースとして、本発明に固有の特徴を付与したものとする。
図30の符号化装置において、入力映像信号1は、個々の映像フレームが4:4:4フォーマットであって、かつ3つの色成分を同一サイズのマクロブロックに分割してまとめた単位で符号化装置に入力されるものとする。
本実施の形態7の符号化装置の特徴であるインター予測モード判定処理について詳述する。なお以下の記述でインター予測モードとは、上述の動き補償予測の単位となるブロックサイズ、すなわちマクロブロックタイプ/サブマクロブロックタイプを指し、インター予測モード判定処理とは、マクロブロックタイプ/サブマクロブロックタイプと動きベクトルと参照画像を選定する処理のことである。本処理は上記3つの色成分をまとめたマクロブロックの単位で実施され、主として、図30の符号化装置における動き補償予測部102、符号化モード判定部5によって行われる。また、本処理の流れを示すフローチャートを図33に示す。以下、ブロックを構成する3つの色成分の画像データをC0、C1、C2とする。
で与えられるレート・ひずみコストを用いることができる。ここで、Dm,v,rはインター予測モードmと所定範囲の動きベクトルvと参照画像rを適用した場合の符号化歪または予測誤差量である。符号化歪とは、インター予測モードmと動きベクトルvと参照画像rを適用して予測誤差を得、予測誤差を変換・量子化した結果から映像を復号して符号化前の信号に対する誤差を計測するものである。予測誤差量は、インター予測モードmと動きベクトルvと参照画像rを適用した場合の予測画像と符号化前の信号との差分を得、その差分の大きさを定量化したもので、たとえば差分絶対値和(Sum of Absolute Distance: SAD)などが用いられる。Rm,v,rはインター予測モードmと動きベクトルvと参照画像rを適用した場合の発生符号量である。つまり、Jm,v,rはインター予測モードmおよび動きベクトルvと参照画像rを適用した場合の符号量と劣化度とのトレードオフを規定する値であり、最小のJm,v,rを与えるインター予測モードmと動きベクトルvと参照画像rが最適解を与える。
図31の復号装置は、図30の符号化装置から出力される図34の配列に従うビデオストリーム22を受信して、3つの色成分が同一サイズ(4:4:4フォーマット)のマクロブロックの単位で復号処理を行い、個々の映像フレームを復元するものとする。
図31の復号装置は、図30の符号化装置から出力される図34の配列に従うビデオストリーム22を受信して、3つの色成分が同一サイズ(4:4:4フォーマット)のマクロブロックの単位で復号処理を行い、個々の映像フレームを復元するものとする。
実施の形態7では、マクロブロックタイプ/サブマクロブロックタイプ、動きベクトル、参照画像の各々を色成分ごとに異なるものにすることができるようにしたが、本実施の形態8ではマクロブロックタイプ/サブマクロブロックタイプと参照画像を各成分で共通とし、動きベクトルのみを各成分で異なるものにすることができることを特徴とする映像符号化装置、映像復号装置について記述する。本実施の形態8における映像符号化装置および映像復号装置の構成は実施の形態7における図30および図31と同じであるが、インター予測モード共通化識別フラグ123の代わりに動きベクトル共通化識別フラグ123bを使用している点が異なる。
本実施の形態8の符号化装置の特徴であるインター予測モード判定処理について実施の形態7と異なる処理を中心に詳述する。
本実施の形態8の復号装置は、本実施の形態8の符号化装置から出力される図39の配列に従うビデオストリーム22を受信して、3つの色成分が同一サイズ(4:4:4フォーマット)のマクロブロックの単位で復号処理を行い、個々の映像フレームを復元するものとする。
実施の形態7では、インター予測モード共通化識別フラグ123またはプロファイル情報136によって、マクロブロックタイプ/サブマクロブロックタイプ106、動きベクトル137、参照画像の各々を3成分で共通にするか、色成分ごとに異なるものにするかを切り替えることができるようにしたが、本実施の形態9では、Y、Cb、Cr形式などの4:4:4フォーマット画像を想定し、輝度成分(Y)と色差成分(Cb、Cr)に対して異なるものにするかを切り替えることができるようにした(この場合、色差成分の2成分に対しては共通のモードを使用する)。すなわち、3成分で共通にするか、各成分ごとに異なるものにするか、あるいは輝度成分と色差成分に対して異なるものにするかを切り替えることができるようにしたことを特徴とする映像符号化装置および映像復号装置について説明する。本実施の形態9における映像符号化装置および映像復号装置の構成は実施の形態7における図30および図31と同じである。
本実施の形態9の符号化装置の特徴であるインター予測モード判定処理について実施の形態7と異なる処理を中心に詳述する。
本実施の形態9の復号装置は、本実施の形態9の符号化装置から出力される図34の配列に従うビデオストリーム22を受信して、3つの色成分が同一サイズ(4:4:4フォーマット)のマクロブロックの単位で復号処理を行い、個々の映像フレームを復元するものとする。
本実施の形態10では、実施の形態7で述べた符号化装置の可変長符号化部11において、入力される動きベクトル137を符号化し、ビットストリームに多重化する方法と、対応する復号装置の可変長復号部25において、ビットストリームから動きベクトル137を復号する方法を述べる。
本実施の形態11では、実施の形態7で述べた符号化装置および復号装置から派生する別の符号化装置、復号装置の実施例について述べる。本実施の形態11における符号化装置・復号装置は、マクロブロック中のC0、C1、C2成分を個別のヘッダ情報に従って符号化するか否かを所定の制御信号に応じて判断し、その制御信号の情報をビデオストリーム22に多重化する。また、当該制御信号に応じてC0、C1、C2成分の復号に必要なヘッダ情報をビデオストリーム22に多重化するとともに、当該制御信号に応じて伝送すべき動きベクトルや変換係数の情報がない場合のスキップ(またはnot coded)マクロブロックを効率よく符号化する手段を提供する点を特徴とする。
方法2:マクロブロックごとに、スキップマクロブロックか否かの指示フラグを符号化する。
マクロブロックヘッダ共通化識別フラグ123cがC0成分ヘッダ情報139aのみをC1,C2成分にも共通に用いるヘッダ情報として多重化することを示している場合は、C0、C1、C2の全成分に対して、C0成分ヘッダ情報139aに含まれている各種マクロブロックヘッダ情報に基づいてマクロブロックの復号を行う。この場合は、C0成分スキップ指示情報138aとC0成分ヘッダ情報139aをC1、C2成分に対しても共通に適用することとするため、C1、C2成分についてのスキップ指示情報(138b、138c)、ヘッダ情報(139b、139c)はビットストリーム中に多重化されない。
マクロブロックヘッダ共通化識別フラグ123cがC1成分ヘッダ情報139b、C2成分ヘッダ情報139cをC0成分ヘッダ情報139aとは別にそれぞれ個別に拡張ヘッダ情報として多重化することを示している場合は、C0、C1、C2の各成分に対して、それぞれ対応するヘッダ情報(139a〜139c)に含まれる各種マクロブロックヘッダ情報に基づいて各成分画像の復号を行う。この場合は、C1、C2成分についてのスキップ指示情報(138b、138c)、ヘッダ情報(139b、139c)がビットストリームに多重化される。
以上の動作による可変長復号部25からの出力を用いて所定の処理手順に従ってマクロブロック中のC0、C1、C2の各成分の復号を行う点は実施の形態7と同様である。
本実施の形態12では、実施の形態11で述べた符号化装置および復号装置から派生する別の符号化装置、復号装置の実施例について述べる。本実施の形態12における符号化装置・復号装置は、マクロブロック中のC0、C1、C2各成分の符号化を、適応算術符号化方式を用いて行う場合に、算術符号化に用いるシンボル生起確率ならびにその学習過程を全成分で共有するか、各成分ごとに分離するかを、ビットストリーム中に多重される指示情報によって適応的に切り替えることを特徴とする。
図54は可変長符号化部11における算術符号化処理に関わる内部構成を、図55及び図56はその動作フローを示す。
コンテクストモデルとは、情報源シンボルの生起確率の変動要因となる他の情報との依存関係をモデル化したものであり、この依存関係に対応して生起確率の状態を切り替えることで、よりシンボルの実際の生起確率に適応した符号化を行うことが可能となる。図57にコンテクストモデル(ctx)の概念を示す。なお、図57では情報源シンボルは二値としたが、多値でも構わない。図57の0〜2というctxの選択肢は、このctxを用いる情報源シンボルの生起確率の状態が、状況に応じて変化するであろうことを想定して定義されている。本実施の形態12における映像符号化で言えば、あるマクロブロックにおける符号化データとその周辺のマクロブロックの符号化データとの間の依存関係に応じてctxの値が切り替えられる。例えば、図58に、D. Marpe他, 「Video Compression Using Context-Based Adaptive Arithmetic Coding」, International Conference on Image Processing 2001に開示されるマクロブロックの動きベクトルに関するコンテクストモデルの例を示す。図58において、ブロックCの動きベクトルが符号化対象であり(正確には、ブロックCの動きベクトルを近傍から予測した予測差分値mvdk(C)が符号化される)、ctx_mvd(C,k)がコンテクストモデルを示す。mvdk(A)はブロックAにおける動きベクトル予測差分値、mvdk(B)はブロックBにおける動きベクトル予測差分値をそれぞれ示し、コンテクストモデルの切り替え評価値ek(C)の定義に用いられる。評価値ek(C)は、近傍の動きベクトルのばらつき具合を示すことになり、一般的にはこのばらつきが小さい場合にはmvdk(C)は小さく、逆にek(C)が大きい場合はmvdk(C)も大きくなる傾向がある。したがって、mvdk(C)のシンボル生起確率は、ek(C)に基づいて適応化されることが望ましい。この生起確率のバリエーションセットがコンテクストモデルであり、このケースでは3種類の生起確率バリエーションがある、といえる。
コンテクストモデルは、符号化対象データを二値化部11bにて二値系列化し、二値系列の各bin(バイナリ位置)に応じて定められる。二値化の規則は、各符号化データの取りうる値のおおまかな分布に従い、可変長の二値系列への変換を行う。二値化は、本来多値を取りうる符号化対象データをそのまま算術符号化するよりもbin単位で符号化することにより確率数直線分割数を削減でき演算を簡略化できる、コンテクストモデルのスリム化が可能になるなどのメリットがある。
上記(1)、(2)のプロセスで、多値の符号化対象データの二値化と、各binに適用するコンテクストモデルの設定が完了し、符号化準備が整う。次いで生起確率生成部11cにて算術符号化に用いる生起確率状態の生成処理が行われる。各コンテクストモデルには、0/1の各値に対する生起確率のバリエーションが含まれているので、図54に示すように、ステップS160で決定されたコンテクストモデル11fを参照して処理を行う。図58のek(C)に示したような生起確率選択のための評価値を定め、これに従って、参照するコンテクストモデルの選択肢の中からどの生起確率バリエーションを現在の符号化に用いるかを決定する(図56のステップS162a)。さらに、本実施の形態12における可変長符号化部11は、生起確率情報記憶メモリ11gを備え、符号化の過程で順次更新される生起確率状態11hを色成分別に記憶する機構を備える。生起確率生成部11cは、生起確率状態パラメータ共通化識別フラグ143の値に応じて、現在の符号化に用いる生起確率状態11hをC0〜C2の色成分別に保持されたものから選択するか、C0成分用のものをC1、C2で共有するかを選択して、実際に符号化に用いる生起確率状態11hを決定する(図56のS162b〜S162d)。
(3)によって、算術符号化プロセスに必要な確率数直線上の0/1各値の生起確率が得られるため、従来例にあげたプロセスにしたがって符号化部11dにおいて算術符号化を行う(図55のステップS163)。また、実際の符号化値(0 or 1)11eは、生起確率生成部11cへフィードバックされ、使用した生起確率状態11hの更新のため、0/1発生頻度のカウントが行われる(ステップS164)。例えば、ある特定の生起確率状態11hを用いて100個のbinの符号化処理が行われた時点で、当該生起確率バリエーションにおける0/1の生起確率が0.25、0.75であったとする。ここで、同じ生起確率バリエーションを用いて1が符号化されると、1の出現頻度が更新され、0/1の生起確率は0.247、0.752に変化する。このメカニズムにより、実際の生起確率に適応した効率的な符号化を行うことが可能となる。符号化値11eは可変長符号化部11からの出力となり、ビデオストリーム22として符号化装置から出力される。
これらのプロセスは符号化装置側のプロセス(1)〜(3)に準ずる。なお、図示していないが、生起確率状態パラメータ共通化識別フラグ143は、ビデオストリーム22からあらかじめ抽出されているものとする。
これから復号しようとするbinの生起確率が(6)までのプロセスで確定するため、復号部25aにおいて、所定の算術復号処理プロセスにしたがって、binの値を復元する(図60におけるステップS166)。binの復元値25bは、生起確率生成部11cへフィードバックされ、使用した生起確率状態11hの更新のため、0/1発生頻度のカウントが行われる(ステップS164)。復号部25aでは、各binの復元値が確定するごとに、二値化規則で定められる二値系列パターンとの合致を確認し、合致したパターンが指し示すデータ値を復号データ値として出力する(ステップS167)。復号データが確定しない限りは、ステップS166へ戻って復号処理を継続する。
・ 値0:A、Bの両方とも「C0、C1、C2で共通のマクロブロックヘッダを使用する」モードである
・ 値1:A、Bのうちいずれかが「C0、C1、C2で共通のマクロブロックヘッダを使用する」モードで、他方が「C0、C1、C2で個別のマクロブロックヘッダを使用する」モードである
・ 値2:A、Bの両方とも「C0、C1、C2で個別のマクロブロックヘッダを使用する」モードである
このようにマクロブロックヘッダ共通化識別フラグ123cを符号化することにより、近傍のマクロブロックの符号化状態に適合して算術符号化を行うことができ、符号化効率を高めることができる。なお、符号化側でも復号側でも同じ手順でコンテクストモデルを定義して算術復号することは、上記本実施の形態12の復号装置の動作説明から自明である。
本実施の形態13では、実施の形態7〜12で述べた符号化装置および復号装置から派生する別の符号化装置、復号装置の実施形態について述べる。本実施の形態13における符号化装置・復号装置は、実施の形態7〜12に記載の符号化装置の入力段で色空間変換処理を行い、撮像後に符号化装置へ入力される映像信号の色空間を符号化に適した任意の色空間に変換して、復号側で撮像時の色空間へ戻すための逆変換処理を指定する情報をビットストリームに多重化する符号化装置と、逆変換処理を指定する情報をビットストリームから抽出して、実施の形態7〜12に記載の復号装置によって復号画像を得たのち、逆変換処理を指定する情報に基づいて逆色空間変換を行う構成を特徴とする。
C0 = Y = 0.299 x R + 0.587 x G + 0.114 x B
C1 = U = -0.169 x R - 0.3316 x G + 0.500 x B
C2 = V = 0.500 x R - 0.4186 x G - 0.0813 x B
や、色成分間の予測、
C0 = G' = G
C1 = B' = B - f(G) (ただし、f(G): G成分に対するフィルタ処理結果)
C2 = R' = R - f(G)
や、RGBからYCoCgへの変換
C0 = Y = R/2 + G/2 + B/4
C1 = Co = R/2 - B/2
C2 = Cg = -R/4 + G/2 - B/4
のような変換がある。色空間変換部301に対する入力はRGBに限定する必要はなく、また変換処理も上記3種に限定するものではない。
本実施の形態14では、上記実施の形態で述べた符号化装置・復号装置につき、さらに具体的な装置構成について言及する。
第1のピクチャ符号化部503aの内部構成を図73に示す。図73において、入力映像信号1は、4:4:4フォーマットで、かつ図66の形式の3つの色成分をまとめたマクロブロックの単位で入力されるものとする。
第2のピクチャ符号化部503b0(503b1、503b2)の内部構成を図74に示す。図74において、入力映像信号1は、図67の形式の単一色成分のサンプルからなるマクロブロックの単位で入力されるものとする。
第1のピクチャ復号部603aの内部構成を図76に示す。第1のピクチャ復号部603aは、図71の符号化装置から出力される図69、図70の配列に従うビデオストリーム442cを、上位ヘッダ解析部610でNALユニット単位に分割した後、C0、C1、C2混在スライスの単位で受信して、図66に示す3つの色成分のサンプルからなるマクロブロックを単位として復号処理を行い、出力映像フレームを復元する。
第2のピクチャ復号部603b0〜603b2の内部構成を図77に示す。第2のピクチャ復号部603b0〜603b2は、図71の符号化装置から出力される図69、図70の配列に従うビデオストリーム442cが、上位ヘッダ解析部610でNALユニット単位に分割され、色成分判定部602で振り分けられたC0ないしは、C1ないしは、C2スライスNALユニット単位で受信して、図67に示す単一色成分のサンプルからなるマクロブロックを単位として復号処理を行い、出力映像フレームを復元する。
本実施の形態15では、図71や図75など上記実施の形態14の符号化装置・復号装置において、その入出力対象となるビットストリームの構成のみが異なる別の実施の形態について述べる。本実施の形態15における符号化装置は、図84に示すビットストリーム構成で符号化データの多重化を行う。
本実施の形態16では、4:4:4フォーマットで入力される映像フレームを、各色成分独立にMi×Mi画素(i=0,1,2)の矩形領域に分割した単位でフレーム内、フレーム間適応予測を用いて符号化を行う符号化装置、および対応する復号装置について説明する。Miは、映像フレームのi番目の色成分の信号を分割する領域のサイズを示す。
図87に、本実施の形態16における映像符号化装置の構成を示す。4:4:4フォーマットの入力映像信号1は、色成分分離部502において、各色成分の画面成分505b0、505b1、505b2に分離され、それぞれ同じ構成からなるピクチャ符号化部503b0、503b1、503b2に入力される。また、この際、色成分分離部502からは、各ピクチャ符号化部503b0、5003b1、503b2における符号化単位の矩形領域のサイズMiを指定する情報506b0、506b1、506b2をそれぞれ対応するピクチャ符号化部503b0、503b1、503b2へ入力する。これにより、色成分Ciを符号化するピクチャ符号化部503b0、503b1、503b2は、各画面成分505b0、505b1、505b2を矩形領域サイズMiに基づいて分割して、その単位で符号化を行う。
予測部461において、メモリ16bに格納される参照画像701を用いて、該マクロブロックの単位でイントラ予測処理が行われる。イントラ予測のモードには、N画素xNラインのブロックの単位でその周辺画素を用いた空間予測を行うイントラNxN予測モード、図89に示すマクロブロックの単位でその周辺画素を用いた空間予測を行うマクロブロック単位イントラ予測モードがある。
マクロブロック内をNxN画素ブロックで構成されるブロックに分割し、各ブロックに対して空間予測を行う。イントラNxN予測を行う単位となるブロックサイズNとしては、マクロブロックのサイズMiに対して均等分割が可能なサイズを選択するものとする。例えば、Mi=16であればN=4、8、Mi=32であればN=4、8、16のいずれかを用いる。予測値としては、すでに符号化を終え、局部復号処理されてメモリ16bに格納されたカレントピクチャの周囲のブロック(左上、上、右上、左)の画素を用いる。予測モードとして、例えば図3に示すような複数のモードを用意する。上記実施の形態1と同様に、図3は、N=4の場合の予測モード種別を図示しており、9つの予測モードがあることを示す。この9つのうちのいずれかを4x4画素ブロック単位に選択する。
Intra4x4_pred_mode = 0: 隣接する上部の画素をそのまま予測画像として使用する。
Intra4x4_pred_mode = 1: 隣接する左部の画素をそのまま予測画像として使用する。
Intra4x4_pred_mode = 2: 隣接する8つの画素の平均値を予測画像として使用する
Intra4x4_pred_mode = 3: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(右45度エッジに対応)。
Intra4x4_pred_mode = 4: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(左45度エッジに対応)。
Intra4x4_pred_mode = 5: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(左22.5度エッジに対応)。
Intra4x4_pred_mode = 6: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(左67.5度エッジに対応)。
Intra4x4_pred_mode = 7: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(右22.5度エッジに対応)。
Intra4x4_pred_mode = 8: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(左112.5度エッジに対応)。
N=4とする場合、マクロブロックあたりのモード情報は16個必要となる。モード情報自体の符号量を抑制するため、モード情報は隣接するブロック間との相関が高いことを利用して、隣接するブロックのモード情報から予測符号化を行う。Nが8、16といったサイズになる場合は、図示はしないが、N=4の場合と同様の、画像テクスチャの方向性を加味した空間予測モードを定義して、Mi×Miのマクロブロックの中を均等にN×Nで分割したサブブロックの単位でイントラ予測処理を行う。
マクロブロックサイズに相当するMixMi画素ブロックを一度に予測するモードであり、Mi=16の場合、図4に示す4つのモードのいずれかをマクロブロック単位に選択する。イントラNxN予測モードと同様、すでに符号化を終え、局部復号処理されてメモリ16bに格納された周囲のマクロブロック(左上、上、左)の画素を予測画像生成に用いる。
Intra16x16_pred_mode = 1: 左マクロブロックの最右辺の16画素を予測画像として使用する。
Intra16x16_pred_mode = 2: 上マクロブロックの最下辺の16画素(図4のA部分)と左マクロブロックの最左辺の16画素(図4のB部分)の合計32画素の平均値を予測画像として使用する。
Intra16x16_pred_mode = 3: 左上のマクロブロックの右下隅の画素、上マクロブロックの最下辺の15画素(白抜き画素を除いた部分)、左マクロブロックの最右辺の15画素(白抜き画素を除いた部分)の合計31画素を用いて所定の演算処理(使用する画素と予測する画素位置に応じた重み付け加算処理)により予測画像を得る。Miが16でない場合も、Mi=16の場合と同様の、画像テクスチャの方向性を加味したマクロブロック単位の空間予測モードを定義するものとする。
Jm = Dm + λRm(λ:正数)
で与えられるレート・ひずみコストを用いることができる。ここで、Dmはイントラ予測モードmを適用した場合の符号化歪または予測誤差量である。符号化歪とは、イントラ予測モードmを適用して予測差分信号を得、予測差分信号を変換・量子化した結果から映像を復号して符号化前の信号に対する誤差を計測するものである。予測誤差量は、イントラ予測モードmを適用した場合の予測画像と符号化前の信号との差分を得、その差分の大きさを定量化したもので、たとえば差分絶対値和(Sum of Absolute Distance: SAD)などが用いられる。Rmはイントラ予測モードmを適用した場合の発生符号量である。つまり、Jmはイントラ予測モードmを適用した場合の符号量と劣化度とのトレードオフを規定する値であり、最小のJmを与えるイントラ予測モードmが最適解を与える。
予測部461においては、さらに、メモリ16bに格納される符号化済みの局部復号画像15を用いて、該マクロブロックの単位でフレーム間動き補償予測処理が行われる。動き補償予測を行うブロックサイズとして、図90(a)から(d)に示すように、マクロブロック単位に、MixMi画素、Mix(Mi/2)、(Mi/2)xMi、(Mi/2)x(Mi/2)のいずれかの分割形状タイプを選択することができるものとする。さらに(Mi/2)x(Mi/2)が選択された場合には、各(Mi/2)x(Mi/2)ブロックごとに、図90(e)から(h)に示すように、(Mi/2)x(Mi/2)、(Mi/2)x(Mi/4)、(Mi/4)x(Mi/2)、(Mi/4)x(Mi/4)のいずれかのサイズを選択することができる。
Jm,v,r = Dm,v,r + λRm,v,r(λ:正数)
で与えられるレート・ひずみコストを用いることができる。ここで、Dm,v,rはインター予測モードmとそれに応じて定まる動きベクトルv、参照画像rを適用した場合の符号化歪または予測誤差量である。符号化歪とは、インター予測モードmと動きベクトルvと参照画像rを適用して予測差分信号を得、予測差分信号を変換・量子化した結果から映像を復号して符号化前の信号に対する誤差を計測するものである。予測誤差量は、インター予測モードmと動きベクトルvと参照画像rを適用した場合の予測画像と符号化前の信号との差分を得、その差分の大きさを定量化したもので、たとえば差分絶対値和(Sum of Absolute Distance: SAD)などが用いられる。Rm,v,rはインター予測モードmと動きベクトルvと参照画像rを適用した場合の発生符号量である。つまり、Jm,v,rはインター予測モードmおよび動きベクトルvと参照画像rを適用した場合の符号量と劣化度とのトレードオフを規定する値であり、最小のJm,v,rを与えるインター予測モードmと動きベクトルvと参照画像rが最適解を与える。
予測部461では、図3や図4に示したイントラ予測の全モードないしはそのサブセットに対して、イントラ予測処理を実行してマクロブロック単位のイントラ予測画像を生成するとともに、図90に示した動き補償予測の全モードないしはそのサブセットに対して、動き補償予測処理を実行して、Mi×Miブロックの予測画像7を出力する。予測画像7は減算器3により入力信号505から差し引かれ、予測差分信号4を得る。予測差分信号4は符号化モード判定部5においてその予測効率が評価され、予測部461で実行した予測処理の中から、予測対象のマクロブロックに対して最適な予測効率が得られる予測モードを符号化モード6として出力する。すなわち、符号化モード6は、図3などのイントラNxN予測モードを用いるか、図4などのマクロブロック単位イントラ予測モードを用いるか、図90に示すような分割パターンのいずれを用いて動き補償予測を行うかを識別するマクロブロックタイプの情報を含む。また、本実施の形態16では、カレントピクチャで選択可能な符号化モードの種類を、符号化制御部19等で定まる符号化モード定義選択情報711によって切り替える。符号化モード定義選択情報711としては、専用の選択指示情報を使用するほか、専用の情報を使わずに、例えばカレントピクチャを符号化するにあたっての量子化パラメータ21の初期値、ブロック分割部40に通知される符号化ブロックサイズ指示情報506などを単体で代用したり、または複合的に組み合わせて用いるように構成してもよい。符号化モード6の選定にあたっては、符号化制御部19の判断で定まる各符号化モードに対する重み係数20が加味されることもある。符号化モード判定部5において符号化モード6を用いて得られる最適な予測差分信号4は、変換部310へ出力される。
以上の処理をピクチャ符号化部503で実施することにより、符号化装置への入力映像信号1は、3つの独立したピクチャ符号化部503b0、503b1、503b2によってそれぞれ独立して符号化され、複数のマクロブロックを束ねたスライスの単位でビデオストリーム422b0、422b1、422b2として出力され、多重化部504において、3成分から構成される入力映像信号1としてのビデオストリーム422cの形に配列されて符号化装置から出力される。
図92の復号装置は、図87の符号化装置から出力されるビデオストリーム422cを受信して、マクロブロックの単位で復号処理を行い、個々の映像フレームを復元するものとする。
図92において、ビデオストリーム422cは、上位ヘッダ解析部610で、シーケンスレベルヘッダやピクチャレベルヘッダなどの上位ヘッダ情報を復号し、色成分判定部602、ピクチャ復号部603b0、603b1、603b2が参照可能な所定のメモリエリアへ格納しておく。
以下、ピクチャ復号部603b0、603b1、603b2の詳細動作説明を行う。本実施の形態16のピクチャ復号部603b0、603b1、603b2の説明は、図77の構成を変形する形で説明を行う。図93にピクチャ復号部603b0、603b1、603b2の内部構成を示す。同図中、図77のピクチャ復号部と同じ番号を付与した機能ブロックや信号線は、特に断らない限り、図77のものと同一のものとする。
ピクチャ復号部603b0、603b1、603b2は、色成分判定部602で振り分けられたC0ないしは、C1ないしは、C2スライス符号化データを受信して、単一色成分のサンプルからなるマクロブロックを単位として復号処理を行い、出力映像フレームの該当色成分の信号427b0(427b1、427b2)を復元する。
本実施の形態17では、実施の形態16の符号化装置、復号装置に対して、予測部における動き補償予測処理を行う際に動きベクトル検出精度を動的に切り替える符号化装置、復号装置について述べる。
本来、デジタル画像である入力信号505には、サンプリングによって生成された離散的な画素情報(以降、整数画素と呼ぶ)しか存在しないが、整数画素の間に内挿演算によって仮想的なサンプルを作り出し、それを予測画像として用いる技術が広く利用されている。この技術には、予測の候補点が増えることによる予測精度の向上と、内挿演算に伴うフィルタ効果によって予測画像の特異点が削減され予測効率が向上するという2つの効果があることが知られている。一方で、仮想サンプルの精度が向上すると、動き量を表現する動きベクトルの精度も上げる必要があるため、その符号量も増加することに注意する必要がある。
f = (C+D)//2
g = (A+C)//2
h = (B+D)//2
i = (A+B+C+D)//2
(ただし、//は丸めつき除算を示す。)
(ただし、COEk: フィルタ係数(係数総和が256)。//は丸めつき除算を示す。)
AVC(ISO/IEC 14496-10)では、半画素精度の仮想サンプルを生成する際に、[1,-5,20,20,-5,1]なる6タップのフィルタを採用しており、さらに1/4画素精度の仮想サンプルを上記MPEG-1、MPEG-2の半画素サンプル生成と同様の線形補間処理によって生成している。
本実施の形態17においても、動き補償予測処理時に仮想サンプルの精度として半画素、1/4画素精度まで指定可能とする。そのうえで、本実施の形態17の符号化装置、復号装置は各色成分ごとに利用する仮想サンプルの精度を指定できるように構成する。図96に本実施の形態17におけるピクチャ符号化部503b0、503b1、503b2の構成を示す。図88のピクチャ符号化部503b0、503b1、503b2に対して、予測部461、可変長符号化部11の動作のみが異なる。
この性質を利用することにより、色空間に伴う信号の性質の違いだけでなく、符号量全体に対して動きベクトルなど予測オーバヘッド情報463の符号量の比率が高くなる高圧縮符号化を行う場合に、仮想画素精度指示情報800を調整して動きベクトルの符号量を抑制した符号化を行うようにすることも可能である。仮想画素精度指示情報800は色成分ごとに独立して設定できるので、高圧縮時の各色成分の状況に適応した制御が可能であり、より適応性の高い符号化処理が可能となる。
図97に、図96の符号化装置から出力されるビデオストリーム422b0、422b1、422b2のデータ配列を示す。図91のストリーム配列と比べて異なる点は、ピクチャレベルヘッダ部分に仮想画素指示情報800を多重している点である。これにより、このビットストリームを受け取る復号装置は、色成分ごとに予測オーバヘッド情報463に含まれる動きベクトルの値の単位を認識して符号化装置と同じように動きベクトルを復号し、予測画像を生成することが可能となる。また、例えば前述のように半画素精度のサンプルを生成するための方法が複数用意できる場合は、仮想サンプル生成手法指示情報811をピクチャレベルヘッダに多重するように構成してもよい。図97では仮想画素指示情報800や仮想サンプル生成手法指示情報811をピクチャレベルヘッダ領域に多重しているが、3つの色成分の分をまとめてシーケンスレベルヘッダなどより上位のヘッダ領域に多重する構成としてもよい。
図98に本実施の形態17における復号装置(ピクチャ復号部603b0、603b1、603b2)の構成を示す。図93のピクチャ復号部部603b0、603b1、603b2に対して、可変長復号部25、予測部461の動作だけが異なる。可変長復号部25は、図97に示すビデオストリーム422b0、422b1、422b2を復号し、ピクチャレベルヘッダに含まれる仮想画素精度指示情報800をビデオストリームから抽出し、予測部461に出力する。仮想画素精度指示情報800の値が「1/4画素精度の動きベクトル検出」を示している場合は、予測オーバヘッド情報463に含まれる動きベクトルの値の単位を1/4画素に設定して、予測オーバヘッド情報463を予測部461へ送る。予測部461は、予測オーバヘッド情報463に含まれる動きベクトルの値が1/4画素単位であることを踏まえて、上記MPEG-4ないしはAVCのようなマルチタップフィルタに基づく半画素精度サンプルを生成した上で線形補間により1/4画素精度のサンプルを生成しながら予測画像の生成を行う。
一方、仮想画素精度指示情報800の値が「半画素精度の動きベクトル検出」を示している場合は、予測オーバヘッド情報463に含まれる動きベクトルの値の単位を1/2画素に設定して、予測オーバヘッド情報463を予測部461へ送る。予測部461は、予測オーバヘッド情報463に含まれる動きベクトルの値が1/2画素単位であることを踏まえて、上記MPEG-4ないしはAVCのようなマルチタップフィルタに基づく半画素精度サンプル生成を行うか、または、上記MPEG-1,MPEG-2の場合のような線形補間により半画素精度のサンプルを生成しながら予測画像の生成を行う。半画素サンプルの生成方法を複数選択できるように構成する場合は、可変長復号部25において図97の仮想サンプル生成手法指示情報811をビットストリームから抽出し、それを予測部461へ伝達して符号化装置と同じ方法により半画素サンプルの生成を行うように構成する。
上述した実施の形態において、単一の色成分を他の色成分とは独立に符号化・復号する個別・独立符号化処理を行う符号化装置・復号装置につき、別の実施の形態について述べる。ここでは、実施の形態16を例にして述べる。個別・独立符号化処理では、原理上非可逆符号化ができない符号化モード6や動きベクトルなどの予測オーバヘッド情報463を、色成分別に個々にビットストリームに多重するため、符号量全体に対してこれらの符号量の比率が高くなる高圧縮符号化の場合には圧縮性能の妨げとなる。そこで、本実施の形態18の符号化装置では、ある特定の色成分(例えばC0成分、と決める)でマクロブロック符号化を行った結果得られる、符号化モード6や予測オーバヘッド情報463等の情報をリファレンス情報として保持しておき、他の色成分を扱うピクチャ符号化部503において、リファレンス情報を使用するC0成分のマクロブロックと画像空間上で同一位置にあるマクロブロックの符号化を行う際、上記リファレンス情報を流用して符号化を行うか、あるいは自身の色成分で個別に符号化モード6、予測オーバヘッド情報463を決定して符号化を行うかを選択できるように構成し、いずれの手順を選択したかを示す予測情報符号化指示フラグをマクロブロック単位に多重するように構成する。このように構成することによって、色成分間で符号化モード6や予測オーバヘッド情報463に関わる相関が高い場合、これらの符号量を効果的に削減して圧縮効率を高めることができる。
Claims (4)
- 複数の色成分から構成されるカラー動画像信号を入力して、該カラー動画像信号を各色成分ごとに所定の符号化単位領域に分割して、画面内符号化ないしは動き補償予測符号化を選択的に適用することにより前記カラー動画像信号をデジタル圧縮する画像符号化装置であって、
入力色成分信号を、符号化ブロックサイズ指示情報によって定まるサイズのブロックに分割して、前記符号化単位領域の信号を生成するブロック分割部と、
予測画像生成方法を示すひとつ以上の予測モードに対応して前記符号化単位領域の信号に対する予測画像を生成する予測画像生成部と、
該予測画像生成部から出力される予測画像の予測効率に応じて符号化に用いる予測モードを判定する判定部と、
該判定部によって定められた予測モードに対応する予測画像と前記入力色成分信号との差分を符号化する予測誤差符号化部と、
前記予測モードと予測誤差符号化部の出力とを可変長符号化する符号化部とを備え、
前記符号化部は、前記符号化ブロックサイズ指示情報、ならびに各符号化単位領域ごとの前記予測モード、予測誤差を符号化した情報をビットストリームに多重化することを特徴とする画像符号化装置。 - 複数の色成分から構成されるカラー動画像信号を圧縮符号化したビットストリームを入力として、該カラー動画像信号の各色成分ごとに、画面内復号処理ないしは動き補償予測復号処理を選択的に適用することにより前記カラー動画像信号を復号する画像復号装置であって、
色成分ごとに、各色成分信号の符号化単位領域となるブロックのサイズを定める符号化ブロックサイズ指示情報をビットストリームから復号するとともに、該符号化ブロックサイズ指示情報に基づいて符号化単位領域のブロックサイズを定め、該符号化単位領域ごとに、所定のシンタックスにしたがって、該符号化単位領域の符号化に用いられる予測画像生成方法を示す予測モード、および予測誤差を符号化した情報をビットストリームから復号する復号部と、
前記符号化ブロックサイズ指示情報と前記予測モードとに基づいて前記符号化単位領域の信号に対する予測画像を生成する予測画像生成部と、
前記予測誤差を符号化した情報に基づいて予測誤差信号を復号する予測誤差復号部と、 前記予測画像生成部の出力と、前記予測誤差復号部の出力とを加算する加算部とを備えることを特徴とする画像復号装置。 - 複数の色成分から構成されるカラー動画像信号を入力して、該カラー動画像信号を各色成分ごとに所定の符号化単位領域に分割して、動き補償予測符号化を用いて前記カラー動画像信号をデジタル圧縮する画像符号化装置であって、
入力色成分信号を、所定のブロックに分割して、前記符号化単位領域の信号を生成するブロック分割部と、
動き補償予測画像生成方法を示すひとつ以上の動き補償予測モードと動きベクトルに対応して前記符号化単位領域の信号に対する予測画像を生成する予測画像生成部と、
該予測画像生成部から出力される動き補償予測画像の予測効率に応じて符号化に用いる動き補償予測モードおよび対応する動きベクトルを判定する判定部と、
該判定部によって定められた動き補償予測モードに対応する予測画像と前記入力色成分信号との差分を符号化する予測誤差符号化部と、
前記動き補償予測モードと動きベクトルと予測誤差符号化部の出力を可変長符号化する符号化部とを備え、
前記予測画像生成部は、予測画像生成に際して使用する仮想画素の上限精度を示す仮想画素精度指示情報に基づいて、指定される仮想画素までの精度で前記符号化領域単位ごとに予測画像生成を行うとともに、前記判定部は、前記仮想画素精度指示情報に基づいて、指定される仮想画素までの精度で、前記符号化領域単位ごとに動き補償予測モードと動きベクトルを求め、前記符号化部は、前記仮想画素精度指示情報をビットストリームに多重化するとともに、前記符号化単位領域ごとに、前記仮想画素精度指示情報に基づいて動きベクトルを符号化し、前記動き補償予測モードおよび予測誤差を符号化した情報をビットストリームに多重化することを特徴とする画像符号化装置。 - 複数の色成分から構成されるカラー動画像信号を圧縮符号化したビットストリームを入力として、該カラー動画像信号の各色成分ごとに、動き補償予測復号処理を用いて前記カラー動画像信号を復号する画像復号装置であって、
色成分ごとに、予測画像生成に際して使用する仮想画素の上限精度を示す仮想画素精度指示情報をビットストリームから復号するとともに、符号化単位領域ごとに、所定のシンタックスにしたがって、該符号化単位領域の符号化に用いられる動き補償予測画像生成方法を示す動き補償予測モード、対応する動きベクトルおよび予測誤差を符号化した情報をビットストリームから復号する復号部と、
前記仮想画素精度指示情報と前記動き補償予測モードと前記動きベクトルとに基づいて前記符号化単位領域の信号に対する予測画像を生成する予測画像生成部と、
前記符号化単位領域の予測誤差を符号化した情報に基づいて予測誤差信号を復号する予測誤差復号部と、
前記予測画像生成部の出力と、前記予測誤差復号部の出力とを加算する加算部とを備え、
前記復号部は、前記仮想画素精度指示情報に基づいて動きベクトルの復号処理を行うことを特徴とする画像復号装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013124268A JP2013176168A (ja) | 2007-06-28 | 2013-06-13 | 画像符号化装置および画像復号装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007170330 | 2007-06-28 | ||
JP2007170330 | 2007-06-28 | ||
JP2013124268A JP2013176168A (ja) | 2007-06-28 | 2013-06-13 | 画像符号化装置および画像復号装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009520618A Division JP5296679B2 (ja) | 2007-06-28 | 2008-06-25 | 画像復号装置および画像復号方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013176168A true JP2013176168A (ja) | 2013-09-05 |
Family
ID=40160460
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009520618A Active JP5296679B2 (ja) | 2007-06-28 | 2008-06-25 | 画像復号装置および画像復号方法 |
JP2013124268A Pending JP2013176168A (ja) | 2007-06-28 | 2013-06-13 | 画像符号化装置および画像復号装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009520618A Active JP5296679B2 (ja) | 2007-06-28 | 2008-06-25 | 画像復号装置および画像復号方法 |
Country Status (10)
Country | Link |
---|---|
US (6) | US8422803B2 (ja) |
EP (2) | EP2661088A1 (ja) |
JP (2) | JP5296679B2 (ja) |
KR (2) | KR101088972B1 (ja) |
CN (2) | CN103327328B (ja) |
BR (1) | BRPI0813996B1 (ja) |
CA (1) | CA2691742C (ja) |
HK (1) | HK1148148A1 (ja) |
RU (3) | RU2430486C1 (ja) |
WO (1) | WO2009001864A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017513315A (ja) * | 2014-03-14 | 2017-05-25 | クアルコム,インコーポレイテッド | ユニバーサル色空間逆変換コーディング |
Families Citing this family (243)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050267750A1 (en) | 2004-05-27 | 2005-12-01 | Anonymous Media, Llc | Media usage monitoring and measurement system and method |
US9560367B2 (en) * | 2004-09-03 | 2017-01-31 | Nokia Technologies Oy | Parameter set and picture header in video coding |
CN103118254B (zh) * | 2005-09-26 | 2016-01-20 | 三菱电机株式会社 | 运动图像编码装置以及运动图像译码装置 |
CN101317458B (zh) * | 2006-03-16 | 2012-04-18 | 华为技术有限公司 | 在编码过程中实现自适应量化的方法及装置 |
KR101403338B1 (ko) * | 2007-03-23 | 2014-06-09 | 삼성전자주식회사 | 영상의 부호화, 복호화 방법 및 장치 |
US8422803B2 (en) * | 2007-06-28 | 2013-04-16 | Mitsubishi Electric Corporation | Image encoding device, image decoding device, image encoding method and image decoding method |
BR122019021946B1 (pt) * | 2007-06-29 | 2024-02-06 | Velos Media International Limited | Dispositivo de codificação de imagem para codificar imagens de entrada e dispositivo de decodificação de imagem para decodificar dados de imagens codificados |
AU2007237313A1 (en) * | 2007-12-03 | 2009-06-18 | Canon Kabushiki Kaisha | Improvement for error correction in distributed vdeo coding |
US8238676B2 (en) * | 2007-12-14 | 2012-08-07 | Yamaha Corporation | Image data compressor and image data decompressor |
KR101439847B1 (ko) * | 2008-01-02 | 2014-09-16 | 삼성전자주식회사 | 부호화 정보의 압축률 향상을 이용한 영상 부호화, 복호화방법 및 장치 |
TWI375472B (en) * | 2008-02-04 | 2012-10-21 | Ind Tech Res Inst | Intra prediction method for luma block of video |
MX2010009194A (es) * | 2008-03-07 | 2010-09-10 | Toshiba Kk | Metodo y dispositivo de codificacion/decodificacion dinamica de imagen. |
JP2009218742A (ja) * | 2008-03-07 | 2009-09-24 | Canon Inc | 画像符号化装置 |
US8295356B2 (en) * | 2008-03-07 | 2012-10-23 | International Business Machines Corporation | Method and system for coding mode selection in video compression systems |
KR100939917B1 (ko) | 2008-03-07 | 2010-02-03 | 에스케이 텔레콤주식회사 | 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법 |
KR101375667B1 (ko) * | 2008-05-16 | 2014-03-18 | 삼성전자주식회사 | 영상의 부호화, 복호화 방법 및 장치 |
FR2933565A1 (fr) * | 2008-07-01 | 2010-01-08 | France Telecom | Procede et dispositif de codage d'une sequence d'images mettant en oeuvre une prediction temporelle, signal, support de donnees, procede et dispositif de decodage, et produit programme d'ordinateur correspondants |
KR101517768B1 (ko) | 2008-07-02 | 2015-05-06 | 삼성전자주식회사 | 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
US8942490B2 (en) * | 2008-07-08 | 2015-01-27 | Yin-Chun Blue Lan | Method of high performance image compression |
US8503527B2 (en) | 2008-10-03 | 2013-08-06 | Qualcomm Incorporated | Video coding with large macroblocks |
KR101377527B1 (ko) * | 2008-10-14 | 2014-03-25 | 에스케이 텔레콤주식회사 | 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법 |
KR101359490B1 (ko) * | 2008-12-23 | 2014-02-10 | 에스케이 텔레콤주식회사 | 컬러 영상 부호화/복호화 방법 및 장치 |
TWI463878B (zh) | 2009-02-19 | 2014-12-01 | Sony Corp | Image processing apparatus and method |
TWI405469B (zh) * | 2009-02-20 | 2013-08-11 | Sony Corp | Image processing apparatus and method |
EP2230849A1 (en) * | 2009-03-20 | 2010-09-22 | Mitsubishi Electric R&D Centre Europe B.V. | Encoding and decoding video data using motion vectors |
EP2442569A1 (en) * | 2009-06-09 | 2012-04-18 | Sony Corporation | Image processing device and method |
JP5199955B2 (ja) * | 2009-06-16 | 2013-05-15 | キヤノン株式会社 | 画像復号装置及びその制御方法 |
JP5199956B2 (ja) * | 2009-06-16 | 2013-05-15 | キヤノン株式会社 | 画像復号装置及びその制御方法 |
WO2010146771A1 (ja) * | 2009-06-19 | 2010-12-23 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
KR101773009B1 (ko) * | 2009-06-29 | 2017-08-30 | 톰슨 라이센싱 | 코딩되지 않은 구문에 대한 적응 확률 갱신을 위한 방법 및 장치 |
JP5597968B2 (ja) | 2009-07-01 | 2014-10-01 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
JP5375372B2 (ja) * | 2009-07-01 | 2013-12-25 | ヤマハ株式会社 | 圧縮符号化装置、および復号装置 |
JP5251774B2 (ja) * | 2009-07-27 | 2013-07-31 | ソニー株式会社 | 画像符号化装置および画像符号化方法 |
JP4844657B2 (ja) * | 2009-07-31 | 2011-12-28 | カシオ計算機株式会社 | 画像処理装置及び方法 |
JP5344238B2 (ja) | 2009-07-31 | 2013-11-20 | ソニー株式会社 | 画像符号化装置および方法、記録媒体、並びにプログラム |
US8379718B2 (en) * | 2009-09-02 | 2013-02-19 | Sony Computer Entertainment Inc. | Parallel digital picture encoding |
EP2991356B1 (en) | 2009-10-01 | 2019-09-04 | SK Telecom Co., Ltd. | Method and apparatus for encoding/decoding image using variable sized macroblocks |
EP2485490B1 (en) * | 2009-10-01 | 2015-09-30 | SK Telecom Co., Ltd. | Method and apparatus for encoding/decoding image using split layer |
CN104601996B (zh) * | 2009-10-20 | 2018-04-10 | 夏普株式会社 | 运动图像编码装置、运动图像解码装置、运动图像编码方法及运动图像解码方法 |
CN104935935B (zh) * | 2009-10-21 | 2018-04-03 | Sk电信有限公司 | 视频编码方法、视频解码方法和视频解码装置 |
KR101841783B1 (ko) | 2009-12-04 | 2018-03-23 | 톰슨 라이센싱 | 비디오 인코딩 및 디코딩에서 인터 프레임을 위한 개선된 색차 변환을 위한 방법 및 장치 |
US8654859B1 (en) | 2009-12-17 | 2014-02-18 | Ambarella, Inc. | Low cost rate-distortion computations for video compression |
KR101522850B1 (ko) * | 2010-01-14 | 2015-05-26 | 삼성전자주식회사 | 움직임 벡터를 부호화, 복호화하는 방법 및 장치 |
KR101703327B1 (ko) * | 2010-01-14 | 2017-02-06 | 삼성전자 주식회사 | 계층적 데이터 단위의 패턴 정보를 이용하는 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치 |
US8995527B2 (en) * | 2010-02-19 | 2015-03-31 | Qualcomm Incorporated | Block type signalling in video coding |
MX364986B (es) * | 2010-02-24 | 2019-05-17 | Velos Media Int Ltd | Dispositivo de codificacion de imagen y dispositivo de decodificacion de imagen. |
JP5095033B2 (ja) * | 2010-03-03 | 2012-12-12 | 三菱電機株式会社 | データ圧縮装置及びデータ圧縮方法及びプログラム |
KR101776809B1 (ko) * | 2010-03-09 | 2017-09-08 | 스프레드트럼 커뮤니케이션즈 (상하이) 컴퍼니 리미티드 | 적응적 비디오 디코딩 회로망 및 기술들 |
US8660177B2 (en) * | 2010-03-24 | 2014-02-25 | Sony Computer Entertainment Inc. | Parallel entropy coding |
WO2011126282A2 (en) | 2010-04-05 | 2011-10-13 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding video by using transformation index, and method and apparatus for decoding video by using transformation index |
WO2011126277A2 (en) | 2010-04-05 | 2011-10-13 | Samsung Electronics Co., Ltd. | Low complexity entropy-encoding/decoding method and apparatus |
US9049450B2 (en) | 2010-04-05 | 2015-06-02 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding video based on internal bit depth increment, and method and apparatus for decoding video based on internal bit depth increment |
US8306343B2 (en) * | 2010-04-09 | 2012-11-06 | Newport Media, Inc. | Optimized prediction based image compression |
WO2011126348A2 (en) | 2010-04-09 | 2011-10-13 | Lg Electronics Inc. | Method and apparatus for processing video data |
CN102215396A (zh) * | 2010-04-09 | 2011-10-12 | 华为技术有限公司 | 一种视频编解码方法和*** |
CN107046644B (zh) * | 2010-04-09 | 2020-03-24 | 三菱电机株式会社 | 运动图像编码装置以及运动图像解码装置 |
HUE057597T2 (hu) | 2010-04-13 | 2022-05-28 | Ge Video Compression Llc | Videó kódolás képek többes fa struktúrájú alosztásainak használatával |
TWI666882B (zh) | 2010-04-13 | 2019-07-21 | 美商Ge影像壓縮有限公司 | 在樣本陣列多元樹細分中之繼承技術 |
KR101549644B1 (ko) | 2010-04-13 | 2015-09-03 | 지이 비디오 컴프레션, 엘엘씨 | 샘플 영역 병합 |
KR102481529B1 (ko) | 2010-04-13 | 2022-12-23 | 지이 비디오 컴프레션, 엘엘씨 | 평면 간 예측 |
JP2013526199A (ja) * | 2010-04-26 | 2013-06-20 | パナソニック株式会社 | 予測誤差から導出されるブロック形状を用いた予測符号化 |
KR20110123651A (ko) | 2010-05-07 | 2011-11-15 | 한국전자통신연구원 | 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법 |
WO2011142801A1 (en) * | 2010-05-10 | 2011-11-17 | Thomson Licensing | Methods and apparatus for adaptive interpolative intra block encoding and decoding |
KR101379188B1 (ko) * | 2010-05-17 | 2014-04-18 | 에스케이 텔레콤주식회사 | 인트라 블록 및 인터 블록이 혼합된 코딩블록을 이용하는 영상 부호화/복호화 장치 및 그 방법 |
US9083974B2 (en) * | 2010-05-17 | 2015-07-14 | Lg Electronics Inc. | Intra prediction modes |
US9601692B1 (en) | 2010-07-13 | 2017-03-21 | Crossbar, Inc. | Hetero-switching layer in a RRAM device and method |
US9570678B1 (en) | 2010-06-08 | 2017-02-14 | Crossbar, Inc. | Resistive RAM with preferental filament formation region and methods |
US8946046B1 (en) | 2012-05-02 | 2015-02-03 | Crossbar, Inc. | Guided path for forming a conductive filament in RRAM |
US9012307B2 (en) | 2010-07-13 | 2015-04-21 | Crossbar, Inc. | Two terminal resistive switching device structure and method of fabricating |
WO2011156787A2 (en) | 2010-06-11 | 2011-12-15 | Crossbar, Inc. | Pillar structure for memory device and method |
KR101673027B1 (ko) * | 2010-07-01 | 2016-11-04 | 에스케이 텔레콤주식회사 | 색공간 예측 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치 |
US8374018B2 (en) | 2010-07-09 | 2013-02-12 | Crossbar, Inc. | Resistive memory using SiGe material |
US8569172B1 (en) | 2012-08-14 | 2013-10-29 | Crossbar, Inc. | Noble metal/non-noble metal electrode for RRAM applications |
US8884261B2 (en) | 2010-08-23 | 2014-11-11 | Crossbar, Inc. | Device switching using layered device structure |
US8168506B2 (en) | 2010-07-13 | 2012-05-01 | Crossbar, Inc. | On/off ratio for non-volatile memory device and method |
US8947908B2 (en) | 2010-11-04 | 2015-02-03 | Crossbar, Inc. | Hetero-switching layer in a RRAM device and method |
US8837577B2 (en) * | 2010-07-15 | 2014-09-16 | Sharp Laboratories Of America, Inc. | Method of parallel video coding based upon prediction type |
EP4106331A1 (en) * | 2010-07-15 | 2022-12-21 | Velos Media International Limited | Image intra-prediction mode estimation device, image encoding device, image decoding device, and encoded image data |
US8879619B2 (en) * | 2010-07-15 | 2014-11-04 | Sharp Laboratories Of America, Inc. | Method of parallel video coding based on scan order |
WO2012008125A1 (ja) * | 2010-07-15 | 2012-01-19 | 三菱電機株式会社 | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 |
US8855188B2 (en) * | 2010-07-15 | 2014-10-07 | Sharp Laboratories Of America, Inc. | Method of parallel video coding based on mapping |
KR101681307B1 (ko) * | 2010-07-23 | 2016-12-01 | 에스케이 텔레콤주식회사 | 주파수영역 복수 가중예측필터를 사용한 색공간 예측 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치 |
US8711933B2 (en) * | 2010-08-09 | 2014-04-29 | Sony Computer Entertainment Inc. | Random access point (RAP) formation using intra refreshing technique in video coding |
GB2482731B (en) * | 2010-08-13 | 2016-12-21 | Advanced Risc Mach Ltd | A video decoding apparatus and method |
US10063854B2 (en) * | 2010-08-17 | 2018-08-28 | M&K Holdings Inc. | Apparatus for decoding an image |
KR20120016991A (ko) * | 2010-08-17 | 2012-02-27 | 오수미 | 인터 프리딕션 방법 |
US11284072B2 (en) | 2010-08-17 | 2022-03-22 | M&K Holdings Inc. | Apparatus for decoding an image |
US9401475B1 (en) | 2010-08-23 | 2016-07-26 | Crossbar, Inc. | Method for silver deposition for a non-volatile memory device |
US8889521B1 (en) | 2012-09-14 | 2014-11-18 | Crossbar, Inc. | Method for silver deposition for a non-volatile memory device |
US8492195B2 (en) | 2010-08-23 | 2013-07-23 | Crossbar, Inc. | Method for forming stackable non-volatile resistive switching memory devices |
KR101677480B1 (ko) * | 2010-09-07 | 2016-11-21 | 에스케이 텔레콤주식회사 | 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치 |
KR101679233B1 (ko) * | 2010-09-08 | 2016-11-24 | 삼성전자주식회사 | 디블록킹 필터 및 이를 포함하는 영상 표시 장치 |
US9154797B2 (en) | 2010-09-20 | 2015-10-06 | Onecodec, Limited | Systems and methods for encoding and decoding |
KR101719448B1 (ko) * | 2010-09-27 | 2017-03-23 | 엘지전자 주식회사 | 블록 분할 방법 및 복호화 장치 |
US8558212B2 (en) | 2010-09-29 | 2013-10-15 | Crossbar, Inc. | Conductive path in switching material in a resistive random access memory device and control |
CN105516723B (zh) * | 2010-09-30 | 2018-07-27 | 三菱电机株式会社 | 运动图像编码装置及方法、运动图像解码装置及方法 |
US8885704B2 (en) | 2010-10-01 | 2014-11-11 | Qualcomm Incorporated | Coding prediction modes in video coding |
US9628821B2 (en) * | 2010-10-01 | 2017-04-18 | Apple Inc. | Motion compensation using decoder-defined vector quantized interpolation filters |
KR20120035096A (ko) * | 2010-10-04 | 2012-04-13 | 한국전자통신연구원 | 쿼드 트리 변환 구조에서 부가 정보의 시그널링 방법 및 장치 |
US8502185B2 (en) | 2011-05-31 | 2013-08-06 | Crossbar, Inc. | Switching device having a non-linear element |
USRE46335E1 (en) | 2010-11-04 | 2017-03-07 | Crossbar, Inc. | Switching device having a non-linear element |
EP2646984B1 (en) * | 2010-11-29 | 2018-04-11 | Thomson Licensing | Method and device for reconstructing a self-similar textured region of an image |
KR101538248B1 (ko) * | 2010-12-17 | 2015-07-20 | 미쓰비시덴키 가부시키가이샤 | 화상 부호화 장치 |
SG191347A1 (en) * | 2010-12-23 | 2013-07-31 | Samsung Electronics Co Ltd | Method and device for encoding intra prediction mode for image prediction unit, and method and device for decoding intra prediction mode for image prediction unit |
US8930174B2 (en) | 2010-12-28 | 2015-01-06 | Crossbar, Inc. | Modeling technique for resistive random access memory (RRAM) cells |
US9153623B1 (en) | 2010-12-31 | 2015-10-06 | Crossbar, Inc. | Thin film transistor steering element for a non-volatile memory device |
US8815696B1 (en) | 2010-12-31 | 2014-08-26 | Crossbar, Inc. | Disturb-resistant non-volatile memory device using via-fill and etchback technique |
KR101643528B1 (ko) | 2011-01-12 | 2016-07-27 | 미쓰비시덴키 가부시키가이샤 | 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체 |
JP5781313B2 (ja) | 2011-01-12 | 2015-09-16 | 株式会社Nttドコモ | 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム |
US10080016B2 (en) * | 2011-01-14 | 2018-09-18 | Sony Corporation | Codeword space reduction for intra chroma mode signaling for HEVC |
WO2012097376A1 (en) | 2011-01-14 | 2012-07-19 | General Instrument Corporation | Spatial block merge mode |
US9066097B2 (en) * | 2011-02-01 | 2015-06-23 | Sony Corporation | Method to optimize the transforms and/or predictions in a video codec |
US9001883B2 (en) | 2011-02-16 | 2015-04-07 | Mediatek Inc | Method and apparatus for slice common information sharing |
JP2012186733A (ja) * | 2011-03-07 | 2012-09-27 | Honda Elesys Co Ltd | 車載カメラシステム |
US20130336398A1 (en) * | 2011-03-10 | 2013-12-19 | Electronics And Telecommunications Research Institute | Method and device for intra-prediction |
US9848197B2 (en) * | 2011-03-10 | 2017-12-19 | Qualcomm Incorporated | Transforms in video coding |
US8780996B2 (en) * | 2011-04-07 | 2014-07-15 | Google, Inc. | System and method for encoding and decoding video data |
US9620206B2 (en) | 2011-05-31 | 2017-04-11 | Crossbar, Inc. | Memory array architecture with two-terminal memory cells |
EP3879833A1 (en) | 2011-05-31 | 2021-09-15 | JVCKENWOOD Corporation | Moving image encoding device, moving image encoding method and moving image encoding program, as well as moving image decoding device, moving image decoding method and moving image decoding program |
MX2013013909A (es) * | 2011-06-13 | 2014-01-24 | Panasonic Corp | Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imágenes. |
US9282338B2 (en) * | 2011-06-20 | 2016-03-08 | Qualcomm Incorporated | Unified merge mode and adaptive motion vector prediction mode candidates selection |
USRE47366E1 (en) | 2011-06-23 | 2019-04-23 | Sun Patent Trust | Image decoding method and apparatus based on a signal type of the control parameter of the current block |
CN103621087B (zh) * | 2011-06-23 | 2016-12-07 | Jvc建伍株式会社 | 图像解码装置及图像解码方法 |
US8619459B1 (en) | 2011-06-23 | 2013-12-31 | Crossbar, Inc. | High operating speed resistive random access memory |
EP4228264B1 (en) | 2011-06-23 | 2024-07-31 | Sun Patent Trust | Image decoding device, image encoding device |
KR102067683B1 (ko) | 2011-06-24 | 2020-01-17 | 선 페이턴트 트러스트 | 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치 |
SG10201406891TA (en) * | 2011-06-24 | 2014-11-27 | Mitsubishi Electric Corp | Moving image encoding device, moving image decoding device, moving image encoding method, and moving image decoding method |
CN106878722B (zh) | 2011-06-24 | 2019-11-12 | 太阳专利托管公司 | 解码方法、解码装置、编码方法、编码装置 |
RU2636672C1 (ru) | 2011-06-27 | 2017-11-27 | Самсунг Электроникс Ко., Лтд. | Способ и устройство для кодирования информации движения, а также способ и устройство для ее декодирования |
RU2608244C2 (ru) | 2011-06-27 | 2017-01-17 | Сан Пэтент Траст | Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений, устройство декодирования изображений и устройство кодирования и декодирования изображений |
CN103563377B (zh) | 2011-06-28 | 2017-05-10 | 太阳专利托管公司 | 解码方法及解码装置 |
MX2013010892A (es) | 2011-06-29 | 2013-12-06 | Panasonic Corp | Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes. |
AU2012277219A1 (en) | 2011-06-30 | 2013-09-19 | Sun Patent Trust | Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device |
US9564587B1 (en) | 2011-06-30 | 2017-02-07 | Crossbar, Inc. | Three-dimensional two-terminal memory with enhanced electric field and segmented interconnects |
MY167090A (en) | 2011-06-30 | 2018-08-10 | Sun Patent Trust | Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus |
US9627443B2 (en) | 2011-06-30 | 2017-04-18 | Crossbar, Inc. | Three-dimensional oblique two-terminal memory with enhanced electric field |
CN107105228B (zh) * | 2011-06-30 | 2020-03-20 | Jvc建伍株式会社 | 图像编码装置、图像编码方法、图像解码装置及图像解码方法 |
CN106713914B (zh) | 2011-06-30 | 2021-06-01 | 三菱电机株式会社 | 图像编码装置及方法、图像解码装置及方法 |
US8946669B1 (en) | 2012-04-05 | 2015-02-03 | Crossbar, Inc. | Resistive memory device and fabrication methods |
US9166163B2 (en) | 2011-06-30 | 2015-10-20 | Crossbar, Inc. | Sub-oxide interface layer for two-terminal memory |
RU2604680C2 (ru) | 2011-07-11 | 2016-12-10 | Сан Пэтент Траст | Способ декодирования изображений, способ кодирования изображений, устройство декодирования изображений, устройство кодирования изображений и устройство кодирования и декодирования изображений |
US9252191B2 (en) | 2011-07-22 | 2016-02-02 | Crossbar, Inc. | Seed layer for a p+ silicon germanium material for a non-volatile memory device and method |
US10056907B1 (en) | 2011-07-29 | 2018-08-21 | Crossbar, Inc. | Field programmable gate array utilizing two-terminal non-volatile memory |
US9729155B2 (en) | 2011-07-29 | 2017-08-08 | Crossbar, Inc. | Field programmable gate array utilizing two-terminal non-volatile memory |
US8674724B2 (en) | 2011-07-29 | 2014-03-18 | Crossbar, Inc. | Field programmable gate array utilizing two-terminal non-volatile memory |
US10129556B2 (en) | 2014-05-16 | 2018-11-13 | Bevara Technologies, Llc | Systems and methods for accessing digital data |
US10025787B2 (en) | 2011-08-17 | 2018-07-17 | Bevara Technologies, Llc | Systems and methods for selecting digital data for archival |
US8885706B2 (en) | 2011-09-16 | 2014-11-11 | Google Inc. | Apparatus and methodology for a video codec system with noise reduction capability |
US9294774B2 (en) | 2011-10-17 | 2016-03-22 | Kt Corporation | Adaptive transform method based on in-screen prediction and apparatus using the method |
US9807401B2 (en) * | 2011-11-01 | 2017-10-31 | Qualcomm Incorporated | Transform unit partitioning for chroma components in video coding |
US9510018B2 (en) * | 2011-11-23 | 2016-11-29 | Luca Rossato | Signal analysis and generation of transient information |
CN102509091B (zh) * | 2011-11-29 | 2013-12-25 | 北京航空航天大学 | 一种飞机尾号识别方法 |
WO2013089700A1 (en) * | 2011-12-14 | 2013-06-20 | Intel Corporation | Methods, systems, and computer program products for assessing a macroblock candidate for conversion to a skipped macroblock |
SI3654651T1 (sl) * | 2011-12-16 | 2021-08-31 | JVC Kenwood Corporation | Naprava za kodiranje dinamičnih slik, postopek za kodiranje dinamičnih slik, program za kodiranje dinamičnih slik, naprava za dekodiranje dinamičnih slik, postopek za dekodiranje dinamičnih slik in program za dekodiranje dinamičnih slik |
US9503717B2 (en) | 2012-01-09 | 2016-11-22 | Texas Instruments Incorporated | Context adaptive binary arithmetic coding (CABAC) with scalable throughput and coding efficiency |
US9531990B1 (en) | 2012-01-21 | 2016-12-27 | Google Inc. | Compound prediction using multiple sources or prediction modes |
JP2013172323A (ja) * | 2012-02-21 | 2013-09-02 | Toshiba Corp | 動き検出装置、画像処理装置および画像処理システム |
US9131073B1 (en) | 2012-03-02 | 2015-09-08 | Google Inc. | Motion estimation aided noise reduction |
US11039138B1 (en) | 2012-03-08 | 2021-06-15 | Google Llc | Adaptive coding of prediction modes using probability distributions |
US8737824B1 (en) | 2012-03-09 | 2014-05-27 | Google Inc. | Adaptively encoding a media stream with compound prediction |
RU2647693C9 (ru) * | 2012-03-28 | 2018-09-03 | ДжейВиСи КЕНВУД КОРПОРЕЙШН | Устройство декодирования изображения и способ декодирования изображения |
US9087576B1 (en) | 2012-03-29 | 2015-07-21 | Crossbar, Inc. | Low temperature fabrication method for a three-dimensional memory device and structure |
US9685608B2 (en) | 2012-04-13 | 2017-06-20 | Crossbar, Inc. | Reduced diffusion in metal electrode for two-terminal memory |
US8658476B1 (en) | 2012-04-20 | 2014-02-25 | Crossbar, Inc. | Low temperature P+ polycrystalline silicon material for non-volatile memory device |
GB2501535A (en) | 2012-04-26 | 2013-10-30 | Sony Corp | Chrominance Processing in High Efficiency Video Codecs |
CN104255028A (zh) * | 2012-05-02 | 2014-12-31 | 索尼公司 | 图像处理设备及图像处理方法 |
US8796658B1 (en) | 2012-05-07 | 2014-08-05 | Crossbar, Inc. | Filamentary based non-volatile resistive memory device and method |
EP2670140A1 (en) * | 2012-06-01 | 2013-12-04 | Alcatel Lucent | Method and apparatus for encoding a video stream |
CN109905710B (zh) * | 2012-06-12 | 2021-12-21 | 太阳专利托管公司 | 动态图像编码方法及装置、动态图像解码方法及装置 |
US9667965B2 (en) | 2012-06-25 | 2017-05-30 | Industry-University Cooperation Foundation Hanyang University | Video encoding and decoding method |
US9185414B1 (en) * | 2012-06-29 | 2015-11-10 | Google Inc. | Video encoding using variance |
GB2503875B (en) * | 2012-06-29 | 2015-06-10 | Canon Kk | Method and device for encoding or decoding an image |
WO2014009864A2 (en) * | 2012-07-09 | 2014-01-16 | Squid Design Systems Pvt Ltd | Programmable variable block size motion estimation processor |
US9344729B1 (en) | 2012-07-11 | 2016-05-17 | Google Inc. | Selective prediction signal filtering |
US9741765B1 (en) | 2012-08-14 | 2017-08-22 | Crossbar, Inc. | Monolithically integrated resistive memory using integrated-circuit foundry compatible processes |
US9583701B1 (en) | 2012-08-14 | 2017-02-28 | Crossbar, Inc. | Methods for fabricating resistive memory device switching material using ion implantation |
US8946673B1 (en) | 2012-08-24 | 2015-02-03 | Crossbar, Inc. | Resistive switching device structure with improved data retention for non-volatile memory device and method |
US20140072048A1 (en) * | 2012-09-13 | 2014-03-13 | Samsung Electronics Co., Ltd | Method and apparatus for a switchable de-ringing filter for image/video coding |
US9312483B2 (en) | 2012-09-24 | 2016-04-12 | Crossbar, Inc. | Electrode structure for a non-volatile memory device and method |
CN102883163B (zh) | 2012-10-08 | 2014-05-28 | 华为技术有限公司 | 用于运动矢量预测的运动矢量列表建立的方法、装置 |
US9576616B2 (en) | 2012-10-10 | 2017-02-21 | Crossbar, Inc. | Non-volatile memory with overwrite capability and low write amplification |
US8982647B2 (en) | 2012-11-14 | 2015-03-17 | Crossbar, Inc. | Resistive random access memory equalization and sensing |
US9412790B1 (en) | 2012-12-04 | 2016-08-09 | Crossbar, Inc. | Scalable RRAM device architecture for a non-volatile memory device and method |
US9406379B2 (en) | 2013-01-03 | 2016-08-02 | Crossbar, Inc. | Resistive random access memory with non-linear current-voltage relationship |
US9628790B1 (en) | 2013-01-03 | 2017-04-18 | Google Inc. | Adaptive composite intra prediction for image and video compression |
WO2014115283A1 (ja) * | 2013-01-24 | 2014-07-31 | シャープ株式会社 | 画像復号装置、および画像符号化装置 |
US9869432B2 (en) | 2013-01-30 | 2018-01-16 | Cree, Inc. | Luminaires using waveguide bodies and optical elements |
US10234616B2 (en) | 2013-01-30 | 2019-03-19 | Cree, Inc. | Simplified low profile module with light guide for pendant, surface mount, wall mount and stand alone luminaires |
US9324942B1 (en) | 2013-01-31 | 2016-04-26 | Crossbar, Inc. | Resistive memory cell with solid state diode |
US9112145B1 (en) | 2013-01-31 | 2015-08-18 | Crossbar, Inc. | Rectified switching of two-terminal memory via real time filament formation |
JP6033725B2 (ja) * | 2013-03-28 | 2016-11-30 | Kddi株式会社 | 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム |
EP2975848A4 (en) * | 2013-04-12 | 2016-10-26 | Samsung Electronics Co Ltd | METHOD FOR MULTILAYER VIDEO CODING FOR DIRECT ACCESS AND DEVICE THEREFOR AND METHOD FOR MULTILAYER VIDEO DECODING FOR DIRECT ACCESS AND DEVICE THEREFOR |
US9374578B1 (en) | 2013-05-23 | 2016-06-21 | Google Inc. | Video coding using combined inter and intra predictors |
US9967594B2 (en) * | 2013-06-28 | 2018-05-08 | Mozilla Corporation | Probability modeling of intra prediction modes |
JP6265705B2 (ja) * | 2013-11-25 | 2018-01-24 | キヤノン株式会社 | 画像符号化装置及び画像符号化方法 |
US9609343B1 (en) | 2013-12-20 | 2017-03-28 | Google Inc. | Video coding using compound prediction |
US10290801B2 (en) | 2014-02-07 | 2019-05-14 | Crossbar, Inc. | Scalable silicon based resistive memory device |
CN105264888B (zh) | 2014-03-04 | 2018-09-14 | 微软技术许可有限责任公司 | 用于对色彩空间、色彩采样率和/或比特深度自适应切换的编码策略 |
CN110049325B (zh) | 2014-03-04 | 2022-07-05 | 微软技术许可有限责任公司 | 色彩空间、色彩采样率和/或比特深度的自适应切换 |
EP3117612A1 (en) * | 2014-03-14 | 2017-01-18 | VID SCALE, Inc. | Systems and methods for rgb video coding enhancement |
JP6367359B2 (ja) | 2014-03-27 | 2018-08-01 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 色空間を切り替えるときの量子化/スケーリング及び逆量子化/スケーリングの調整 |
US9584817B2 (en) | 2014-03-31 | 2017-02-28 | Sony Corporation | Video transmission system with color prediction and method of operation thereof |
WO2015163317A1 (ja) * | 2014-04-22 | 2015-10-29 | 日本電信電話株式会社 | 映像表示装置、映像投影装置、動的錯覚呈示装置、映像生成装置、それらの方法、データ構造、プログラム |
WO2015176009A1 (en) | 2014-05-16 | 2015-11-19 | Bevara Technologies, Llc | Systems and methods for selecting digital data for archival |
US9386317B2 (en) | 2014-09-22 | 2016-07-05 | Sony Interactive Entertainment Inc. | Adaptive picture section encoding mode decision control |
US10102613B2 (en) | 2014-09-25 | 2018-10-16 | Google Llc | Frequency-domain denoising |
US10419760B2 (en) | 2014-09-29 | 2019-09-17 | Sony Interactive Entertainment Inc. | Picture quality oriented rate control for low-latency streaming applications |
CN105960802B (zh) | 2014-10-08 | 2018-02-06 | 微软技术许可有限责任公司 | 切换色彩空间时对编码和解码的调整 |
RU2579966C1 (ru) * | 2014-12-04 | 2016-04-10 | Общество с ограниченной ответственностью "РЭЙДИКС" | Способ сжатия изображений (варианты) |
US9716889B2 (en) * | 2014-12-09 | 2017-07-25 | Sony Corporation | Intra and inter-color prediction for Bayer image coding |
US10091506B2 (en) * | 2015-06-11 | 2018-10-02 | Sony Corporation | Data-charge phase data compression architecture |
JP6328076B2 (ja) * | 2015-06-17 | 2018-05-23 | ヴェロス メディア インターナショナル リミテッドVelos Media International Limited | 画像復号装置および方法、記録媒体、並びにプログラム |
JP6530854B2 (ja) * | 2015-07-16 | 2019-06-12 | ドルビー ラボラトリーズ ライセンシング コーポレイション | Hdrおよび広色域の信号のための信号整形および符号化 |
EP3125108A1 (en) * | 2015-07-31 | 2017-02-01 | ARM Limited | Vector processing using loops of dynamic vector length |
JP6212530B2 (ja) * | 2015-11-17 | 2017-10-11 | ジーイー ビデオ コンプレッション エルエルシー | 平面間予測 |
WO2017163441A1 (ja) * | 2016-03-24 | 2017-09-28 | 富士ゼロックス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
CN105939479B (zh) * | 2016-06-15 | 2019-06-21 | 北京奇艺世纪科技有限公司 | 一种并行编码方法和装置 |
US20170366819A1 (en) * | 2016-08-15 | 2017-12-21 | Mediatek Inc. | Method And Apparatus Of Single Channel Compression |
JP2018037936A (ja) * | 2016-09-01 | 2018-03-08 | 株式会社ドワンゴ | 画像符号化装置および画像復号装置 |
JP6891895B2 (ja) * | 2016-09-16 | 2021-06-18 | ソニーグループ株式会社 | 画像処理装置および画像処理方法 |
US10264264B2 (en) * | 2016-09-24 | 2019-04-16 | Apple Inc. | Multi-bin decoding systems and methods |
WO2019065537A1 (ja) * | 2017-09-28 | 2019-04-04 | シャープ株式会社 | 動き補償フィルタ装置、画像復号装置および動画像符号化装置 |
US10791341B2 (en) * | 2017-10-10 | 2020-09-29 | Qualcomm Incorporated | Binary arithmetic coding with progressive modification of adaptation parameters |
US10694205B2 (en) | 2017-12-18 | 2020-06-23 | Google Llc | Entropy coding of motion vectors using categories of transform blocks |
CN109076224B (zh) * | 2017-12-29 | 2021-05-07 | 深圳市大疆创新科技有限公司 | 视频解码器及其制造方法,数据处理电路、***和方法 |
WO2019143808A1 (en) | 2018-01-18 | 2019-07-25 | Bevara Technologies, Llc | Browser navigation for facilitating data access |
US10904555B2 (en) * | 2018-07-11 | 2021-01-26 | Tencent America LLC | Method and apparatus for video coding |
US11113999B2 (en) * | 2018-09-03 | 2021-09-07 | Chongqing Hkc Optoelectronics Technology Co., Ltd. | Data processing method, display device, and computer-readable storage medium |
US11412260B2 (en) * | 2018-10-29 | 2022-08-09 | Google Llc | Geometric transforms for image compression |
CN110017571B (zh) * | 2018-10-31 | 2020-11-10 | 徐州轩科农业机械有限公司 | 柜式空调背景灯控制*** |
JP2022016726A (ja) * | 2018-11-16 | 2022-01-25 | ソニーグループ株式会社 | 画像処理装置および方法 |
EP3942823A4 (en) * | 2019-03-18 | 2023-04-05 | Tencent America LLC | VIDEO CODING METHOD AND APPARATUS |
US11210813B2 (en) * | 2019-05-30 | 2021-12-28 | Tencent America LLC | Method and apparatus for point cloud compression |
EP3989557A4 (en) * | 2019-06-24 | 2023-05-24 | LG Electronics Inc. | METHOD AND APPARATUS FOR ENCODING/DECODING VIDEO USING MAXIMUM SATURATION TRANSFORM BLOCK SIZE LIMITATION, AND BITSTREAM TRANSMISSION METHOD |
US11399199B2 (en) * | 2019-08-05 | 2022-07-26 | Qualcomm Incorporated | Chroma intra prediction units for video coding |
WO2021023258A1 (en) | 2019-08-06 | 2021-02-11 | Beijing Bytedance Network Technology Co., Ltd. | Video region partition based on color format |
EP4008106A4 (en) | 2019-09-02 | 2022-11-09 | Beijing Bytedance Network Technology Co., Ltd. | PARTITION OF A VIDEO ZONE ACCORDING TO A COLOR FORMAT |
MX2022003122A (es) | 2019-09-21 | 2022-04-06 | Beijing Bytedance Network Tech Co Ltd | Modo intra basado para croma de restriccion de tama?o. |
CN111193948B (zh) * | 2020-01-07 | 2022-06-24 | 上海步频电子科技有限公司 | 一种显示终端的图片传输和显示的方法和*** |
CN112204971A (zh) * | 2020-02-24 | 2021-01-08 | 深圳市大疆创新科技有限公司 | 视频图像编码方法、设备及可移动平台 |
CN113329269A (zh) * | 2020-02-28 | 2021-08-31 | 杭州海康威视数字技术股份有限公司 | 视频编码、解码方法、装置、电子设备及存储介质 |
EP4118823A1 (en) * | 2020-03-12 | 2023-01-18 | InterDigital VC Holdings France | Method and apparatus for video encoding and decoding |
US20220107738A1 (en) * | 2020-10-06 | 2022-04-07 | Kioxia Corporation | Read controller and input/output controller |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003189312A (ja) * | 2001-12-20 | 2003-07-04 | Oki Electric Ind Co Ltd | 動画像符号化装置及び動画像復号化装置 |
WO2007010690A1 (ja) * | 2005-07-22 | 2007-01-25 | Mitsubishi Electric Corporation | 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法、画像符号化プログラム、画像復号プログラム、ならびに画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体、画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体 |
WO2007034918A1 (ja) * | 2005-09-26 | 2007-03-29 | Mitsubishi Electric Corporation | 動画像符号化装置及び動画像復号装置 |
WO2007034601A1 (ja) * | 2005-09-20 | 2007-03-29 | Mitsubishi Electric Corporation | 画像符号化方法および画像復号方法、画像符号化装置および画像復号装置、並びに画像符号化ビットストリーム及び記録媒体 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR0139164B1 (ko) * | 1994-12-19 | 1998-06-01 | 김광호 | 적응적 직교변환부호화 장치 |
CN1921375A (zh) * | 1996-03-18 | 2007-02-28 | 株式会社东芝 | 译码装置和译码方法 |
EP2369847B1 (en) * | 1997-02-13 | 2016-04-20 | Mitsubishi Denki Kabushiki Kaisha | Moving picture decoding method |
KR100531566B1 (ko) * | 1997-10-23 | 2005-11-29 | 미쓰비시덴키 가부시키가이샤 | 화상 복호화 장치 |
JP4264571B2 (ja) * | 1998-04-09 | 2009-05-20 | ソニー株式会社 | ディジタル画像復号装置及び方法、並びに記録媒体 |
JP3413720B2 (ja) * | 1998-06-26 | 2003-06-09 | ソニー株式会社 | 画像符号化方法及び装置、並びに画像復号方法及び装置 |
FR2783388B1 (fr) * | 1998-09-15 | 2000-10-13 | Thomson Multimedia Sa | Procede de compression d'images et dispositif pour la mise en oeuvre de ce procede |
US6532265B1 (en) * | 1999-03-25 | 2003-03-11 | Imec Vzw | Method and system for video compression |
US6831948B1 (en) * | 1999-07-30 | 2004-12-14 | Koninklijke Philips Electronics N.V. | System and method for motion compensation of image planes in color sequential displays |
JP2002027477A (ja) * | 2000-07-04 | 2002-01-25 | Mitsubishi Electric Corp | Mpeg画像処理装置およびそのデータ転送方法 |
JP4724351B2 (ja) * | 2002-07-15 | 2011-07-13 | 三菱電機株式会社 | 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置 |
AU2003281133A1 (en) * | 2002-07-15 | 2004-02-02 | Hitachi, Ltd. | Moving picture encoding method and decoding method |
EP1509045A3 (en) * | 2003-07-16 | 2006-08-09 | Samsung Electronics Co., Ltd. | Lossless image encoding/decoding method and apparatus using intercolor plane prediction |
JP4617644B2 (ja) * | 2003-07-18 | 2011-01-26 | ソニー株式会社 | 符号化装置及び方法 |
EP1515561B1 (en) * | 2003-09-09 | 2007-11-21 | Mitsubishi Electric Information Technology Centre Europe B.V. | Method and apparatus for 3-D sub-band video coding |
KR100754388B1 (ko) * | 2003-12-27 | 2007-08-31 | 삼성전자주식회사 | 레지듀 영상 다운/업 샘플링 방법 및 장치와 그를 이용한영상 부호화/복호화 방법 및 장치 |
JP2006074474A (ja) * | 2004-09-02 | 2006-03-16 | Toshiba Corp | 動画像符号化装置、動画像符号化方法および動画像符号化プログラム |
KR100763178B1 (ko) * | 2005-03-04 | 2007-10-04 | 삼성전자주식회사 | 색 공간 스케일러블 비디오 코딩 및 디코딩 방법, 이를위한 장치 |
EP1872587B1 (en) * | 2005-04-13 | 2021-05-05 | InterDigital VC Holdings, Inc. | Luma and chroma encoding using separate predictors |
KR101246915B1 (ko) * | 2005-04-18 | 2013-03-25 | 삼성전자주식회사 | 동영상 부호화 또는 복호화 방법 및 장치 |
JP2006304102A (ja) * | 2005-04-22 | 2006-11-02 | Renesas Technology Corp | 画像符号化ユニットと画像符号化方法 |
EP1753242A2 (en) | 2005-07-18 | 2007-02-14 | Matsushita Electric Industrial Co., Ltd. | Switchable mode and prediction information coding |
US8300694B2 (en) * | 2005-09-20 | 2012-10-30 | Mitsubishi Electric Corporation | Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium |
US8300700B2 (en) * | 2005-09-20 | 2012-10-30 | Mitsubishi Electric Corporation | Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium |
US8306112B2 (en) * | 2005-09-20 | 2012-11-06 | Mitsubishi Electric Corporation | Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium |
JP4844449B2 (ja) * | 2006-04-17 | 2011-12-28 | 日本ビクター株式会社 | 動画像符号化装置、方法、プログラム、動画像復号化装置、方法、およびプログラム |
JP5026092B2 (ja) * | 2007-01-12 | 2012-09-12 | 三菱電機株式会社 | 動画像復号装置および動画像復号方法 |
US7529404B2 (en) * | 2007-06-20 | 2009-05-05 | Ahdoot Ned M | Digital video filter and image processing |
US8422803B2 (en) * | 2007-06-28 | 2013-04-16 | Mitsubishi Electric Corporation | Image encoding device, image decoding device, image encoding method and image decoding method |
KR20100099723A (ko) * | 2008-01-09 | 2010-09-13 | 미쓰비시덴키 가부시키가이샤 | 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법 |
-
2007
- 2007-10-30 US US11/928,312 patent/US8422803B2/en active Active
- 2007-10-30 US US11/928,780 patent/US7991237B2/en active Active
- 2007-10-30 US US11/929,174 patent/US8139875B2/en active Active
- 2007-10-30 US US11/928,486 patent/US8145002B2/en active Active
- 2007-10-30 US US11/929,056 patent/US20090003449A1/en not_active Abandoned
- 2007-10-30 US US11/928,549 patent/US8345968B2/en active Active
-
2008
- 2008-06-25 RU RU2010102711/09A patent/RU2430486C1/ru not_active IP Right Cessation
- 2008-06-25 KR KR1020107001743A patent/KR101088972B1/ko active IP Right Grant
- 2008-06-25 EP EP20130177277 patent/EP2661088A1/en not_active Ceased
- 2008-06-25 CN CN201310219405.XA patent/CN103327328B/zh active Active
- 2008-06-25 WO PCT/JP2008/061566 patent/WO2009001864A1/ja active Application Filing
- 2008-06-25 CA CA2691742A patent/CA2691742C/en active Active
- 2008-06-25 JP JP2009520618A patent/JP5296679B2/ja active Active
- 2008-06-25 BR BRPI0813996-2A patent/BRPI0813996B1/pt active IP Right Grant
- 2008-06-25 KR KR1020117009137A patent/KR101379087B1/ko active IP Right Grant
- 2008-06-25 EP EP08777582.1A patent/EP2169961B1/en active Active
- 2008-06-25 CN CN2008801026459A patent/CN101889449B/zh active Active
-
2011
- 2011-03-03 HK HK11102133.1A patent/HK1148148A1/xx unknown
- 2011-05-16 RU RU2011119591/07A patent/RU2470480C1/ru active
-
2012
- 2012-09-19 RU RU2012140183/08A patent/RU2514787C1/ru active
-
2013
- 2013-06-13 JP JP2013124268A patent/JP2013176168A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003189312A (ja) * | 2001-12-20 | 2003-07-04 | Oki Electric Ind Co Ltd | 動画像符号化装置及び動画像復号化装置 |
WO2007010690A1 (ja) * | 2005-07-22 | 2007-01-25 | Mitsubishi Electric Corporation | 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法、画像符号化プログラム、画像復号プログラム、ならびに画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体、画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体 |
WO2007034601A1 (ja) * | 2005-09-20 | 2007-03-29 | Mitsubishi Electric Corporation | 画像符号化方法および画像復号方法、画像符号化装置および画像復号装置、並びに画像符号化ビットストリーム及び記録媒体 |
WO2007034918A1 (ja) * | 2005-09-26 | 2007-03-29 | Mitsubishi Electric Corporation | 動画像符号化装置及び動画像復号装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017513315A (ja) * | 2014-03-14 | 2017-05-25 | クアルコム,インコーポレイテッド | ユニバーサル色空間逆変換コーディング |
US10271052B2 (en) | 2014-03-14 | 2019-04-23 | Qualcomm Incorporated | Universal color-space inverse transform coding |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5296679B2 (ja) | 画像復号装置および画像復号方法 | |
JP4542107B2 (ja) | 画像復号装置及び画像復号方法 | |
RU2426269C2 (ru) | Кодер изображения и декодер изображения, способ кодирования изображения и способ декодирования изображения, программа кодирования изображения и программа декодирования изображения и компьютерно-считываемый носитель записи, на котором записана программа кодирования изображения, и компьютерно-считываемый носитель записи, на котором записана программа декодирования изображения | |
US20080123947A1 (en) | Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein | |
US20080123977A1 (en) | Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program | |
US20090123066A1 (en) | Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein, | |
US20090034857A1 (en) | Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program | |
US20080130990A1 (en) | Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program | |
US20080130988A1 (en) | Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130613 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140401 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140530 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150106 |