JP5289440B2 - 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 - Google Patents

画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 Download PDF

Info

Publication number
JP5289440B2
JP5289440B2 JP2010519759A JP2010519759A JP5289440B2 JP 5289440 B2 JP5289440 B2 JP 5289440B2 JP 2010519759 A JP2010519759 A JP 2010519759A JP 2010519759 A JP2010519759 A JP 2010519759A JP 5289440 B2 JP5289440 B2 JP 5289440B2
Authority
JP
Japan
Prior art keywords
motion
motion prediction
prediction mode
prediction
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010519759A
Other languages
English (en)
Other versions
JPWO2010004939A1 (ja
Inventor
俊一 関口
秀一 山岸
裕介 伊谷
悦久 山田
嘉明 加藤
光太郎 浅井
篤道 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2010519759A priority Critical patent/JP5289440B2/ja
Publication of JPWO2010004939A1 publication Critical patent/JPWO2010004939A1/ja
Application granted granted Critical
Publication of JP5289440B2 publication Critical patent/JP5289440B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像圧縮符号化技術や圧縮画像データ伝送技術等に用いられる画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法に関する。
従来、ＭＰＥＧやＩＴＵ−Ｔ Ｈ．２６ｘなどの国際標準映像符号化方式では、主として４：２：０フォーマットと呼ばれる、標準化された入力信号フォーマットを圧縮処理対象信号として用いてきた。４：２：０とは、ＲＧＢなどのカラー動画像信号を輝度成分（Ｙ）と２つの色差成分（Ｃｂ、Ｃｒ）に変換し、水平・垂直ともに色差成分のサンプル数を輝度成分の半分に削減したフォーマットである。色差成分は輝度成分に比べて視認性が落ちることから、ＭＰＥＧ−４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０）／ＩＴＵ−Ｔ Ｈ．２６４規格（以下、ＡＶＣ）（非特許文献１）のような国際標準映像符号化方式では、このように符号化を行う前に色差成分のダウンサンプルを行うことで符号化対象の原情報量を削減しておくことを前提としていた。一方、デジタルシネマなどの高品位コンテンツでは、コンテンツ制作時の色表現を上映時に正確に再現することを目的として、色差成分をダウンサンプルすることなく輝度成分と同一サンプルで符号化する４：４：４フォーマットでの直接符号化方式を必須としている。この目的に適した方式として、非特許文献１における４：４：４フォーマット対応拡張方式（Ｈｉｇｈ４：４：４ Ｉｎｔｒａないし Ｈｉｇｈ４：４：４ Ｐｒｅｄｉｃｔｉｖｅプロファイル）やＷＯ２００５／００９０５０ Ａ１「画像情報符号化装置及び方法、並びに画像情報復号装置及び方法」（特許文献１）のような方式がある。４：２：０フォーマットと４：４：４フォーマットの違いを図１９に示す。同図において、４：２：０フォーマットは輝度（Ｙ）・色差（Ｃｂ，Ｃｒ）信号から構成され、色差信号のサンプルは輝度信号の２ｘ２サンプル分相当につき１つであるのに対し、４：４：４フォーマットは特に色を表現する色空間をＹ，Ｃｂ，Ｃｒに限定せず、各色成分の信号のサンプル比が１：１となっていることを示している。以下、４：２：０、４：４：４などのタームを総称する用語として「クロマフォーマット」を用いる。
ＷＯ２００５／００９０５０ Ａ１「画像情報符号化装置及び方法、並びに画像情報復号装置及び方法」
MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格 S.Sekiguchi, et.al., "Low-overhead INTER Prediction Modes", VCEG-N45, Sep.2001. S.Kondo and H.Sasai, "A Motion Compensation Technique using Sliced Blocks and its Application to Hybrid Video Coding", VCIP 2005, July 2005. D. Marpe他, "Video Compression Using Context-Based Adaptive Arithmetic Coding", International Conference on Image Processing 2001
例えば、非特許文献１による４：４：４フォーマットの符号化では、図２０に示すように、まず、あらかじめ符号化対象となる入力映像信号１００１（４：４：４フォーマット）を直接または適当な色空間（Ｙ，Ｃｂ，Ｃｒなど）へ変換を行った後、ブロック分割部１００２においてマクロブロック（１６画素×１６ラインの矩形ブロック）の単位に分割されて符号化映像信号１００３として予測部１００４へ入力する。非特許文献１では、マクロブロックは３つの色成分をまとめた単位で構成しても良いし、各色成分を独立したピクチャとみなして、単一色成分の矩形ブロックとして構成してもよく、どちらの構成のマクロブロックを用いるかをシーケンスレベルで選択可能である。予測部１００４では、マクロブロック内の各色成分の画像信号をフレーム内・フレーム間で予測して、予測誤差信号１００５を得る。特に、フレーム間で予測を行う場合、マクロブロック自体、ないしはマクロブロックをさらに細かく分割したサブブロックの単位で動きベクトルを探索し、動きベクトルに基づいて動き補償予測画像を生成して、符号化映像信号１００３との差分を取ることによって予測誤差信号１００５を得る。圧縮部１００６は、予測誤差信号１００５に対してＤＣＴ（離散コサイン変換）などの変換処理を施して信号相関を除去した後、量子化して圧縮データ１００７を得る。圧縮データ１００７は可変長符号化部１００８でエントロピー符号化されてビットストリーム１００９として出力されるとともに、局所復号部１０１０に送られ、復号予測誤差信号１０１１を得る。これを予測誤差信号１００５の生成に用いた予測信号１０１２と加算して復号信号１０１３を得る。復号信号１０１３は、以降の符号化映像信号１００３のための予測信号１０１２を生成する目的でメモリ１０１４に格納される。図示していないが、メモリ１０１４へ書き込む前に、復号信号にデブロッキングフィルタを施してブロックひずみを除去する処理を行うように構成される。なお、予測信号１０１２を得るために予測部１００４において決定された予測信号生成用パラメータ１０１５は可変長符号化部１００８へ送られ、ビットストリーム１００９として出力される。ここで、予測信号生成用パラメータ１０１５には、例えば、フレーム内での空間予測をどのように行うかを示すイントラ予測モードや、フレーム間の動き量を示す動きベクトルなどが含まれる。マクロブロックを３つの色成分をまとめた単位で構成している場合は、予測信号生成用パラメータ１０１５は３つの色成分に共通的に適用されるパラメータとして検出され、各色成分を独立したピクチャとみなして、マクロブロックを単一色成分の矩形ブロックとして構成している場合は、予測信号生成用パラメータ１０１５は各色成分に個別に適用されるパラメータとして検出される。
４：４：４フォーマットの映像信号は、各色成分の同一数のサンプルが含まれており、従来の４：２：０フォーマットの映像信号に比べて厳密な色再現性を有する反面、圧縮符号化の意味では冗長な情報量を含んでいる。４：４：４フォーマットの映像信号の圧縮効率を高めるためには、従来の４：２：０フォーマットの固定的な色空間定義（Ｙ，Ｃｂ，Ｃｒ）に対して、さらに信号に含まれる冗長度を低減する必要がある。非特許文献１による４：４：４フォーマットの符号化では、符号化映像信号１００３は信号の統計的・局所的な性質に寄らず、各色成分を輝度信号とみなして符号化を行い、予測部１００４、圧縮部１００６、可変長符号化部１００８のいずれにおいても符号化対象信号の性質を最大限に考慮した信号処理は行われない。特許文献１では、このような課題に対し、クロマフォーマットの違いや色空間定義の違いに適応して、フレーム内・フレーム間予測を行うブロックのサイズや予測誤差信号の変換・量子化の方法を切り替える方式を開示している。これにより、各色成分の信号特性に適応した効率的な符号化を行うことを可能としているが、同文献においても、もとの画像の解像度や画像中の被写体の構造に対する適応化が十分ではないという課題がある。
そこで、本発明は、符号化対象となる４：４：４フォーマットの映像信号の統計的・局所的性質に応じて信号相関をよりよく除去して効率的な情報圧縮を行う方法を提供し、上記従来技術に述べたように、４：４：４フォーマットのような色成分間にサンプル比の区別のない動画像信号を符号化するにあたり、最適性を高めた画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法を提供することを目的とする。
本発明にかかる画像符号化装置は、デジタル映像信号の各フレームを所定の基準ブロックに分割して、その単位で動き補償予測を用いて圧縮符号化を行う画像符号化装置であって、所定の方法に基づいて前記基準ブロックのサイズを決定するとともに、前記基準ブロック内の各色成分の信号に対し、動き予測を行う単位である動き予測単位ブロックの形状をそれぞれ個別に定める基準ブロックサイズ決定手段と、前記基準ブロック内の第１の色成分の動き予測単位ブロックについて、複数の動き予測モードのうち最も効率のよい第１の動き予測モードを決定して、該決定された第１の動き予測モードに対応する第１の動きベクトルを検出し、前記基準ブロック内の第２の色成分の動き予測単位ブロックについて、前記第１の動き予測モード、前記第１および第２の色成分の動き予測単位ブロックの形状、前記第１の動きベクトルに基づいて、前記第１の動き予測モードおよび前記第１の動きベクトルから一意に定まる動きベクトル候補を用いて各動き予測モードに対応する予測効率を求め、最も予測効率が優れた形状の動き予測モードおよび動きベクトルを、第２の動き予測モード、および、第２の動きベクトルとして検出し、前記基準ブロック内の第３の色成分の動き予測単位ブロックについて、前記第１の動き予測モード、前記第１および第３の色成分の動き予測単位ブロックの形状、前記第１の動きベクトルに基づいて、前記第１の動き予測モードおよび前記第１の動きベクトルから一意に定まる動きベクトル候補を用いて各動き予測モードに対応する予測効率を求め、最も予測効率が優れた形状の動き予測モードおよび動きベクトルを、第３の動き予測モード、および、第３の動きベクトルとして検出して出力する予測手段と、前記第１の動き予測モードを算術符号化するに際して、空間的に隣接する動き予測単位ブロックで選択された動き予測モードおよび時間的に隣接する動き予測単位ブロックで選択された動き予測モードのいずれか一方に基づいて、前記第１の動き予測モードの値の生起確率を定めて算術符号化を行うとともに、前記第２および第３の動き予測モードを算術符号化するに際して、空間的に隣接する動き予測単位ブロックで選択された動き予測モードおよび時間的に隣接する動き予測単位ブロックで選択された動き予測モードのいずれか一方と、前記第１の動き予測モードとに基づいて、前記第２および第３の動き予測モードの値の生起確率を定めて算術符号化を行う可変長符号化手段とを備えるものである。
本発明の画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法によれば、４：４：４フォーマットの映像信号の符号化を行う場合において、各色成分信号の時間変化の特性に対して柔軟に適応する符号化装置・復号装置を構成することができ、４：４：４フォーマットの映像信号に対して最適な符号化処理を行うことができる。
実施例１の符号化装置の構成を示す説明図 動き予測単位ブロックの取り方の例を示す説明図 動き予測単位ブロックの分割の例を示す説明図 予測部４の処理フローを示すフローチャート コストＪの計算方法を説明する説明図 ｍｃ＿ｍｏｄｅ１−４のＰＭＶの算出例を示す説明図 色成分Ｃ0と色成分Ｃ1，Ｃ2とで、動き予測単位ブロックのサイズを変えない場合の処理を説明する説明図 色成分Ｃ0と色成分Ｃ1，Ｃ2とで、動き予測単位ブロックのサイズを変える場合の処理を説明する説明図 時間的な相関に基づいてコンテクストモデルを選択する動作を示す説明図 可変長符号化部８の内部構成を示す説明図 可変長符号化部８の動作フローを示す説明図 コンテクストモデル（ｃｔｘ）の概念を示す説明図 動きベクトルに関するコンテクストモデルの例を示す説明図 動き予測モードの相関の違いを説明する説明図 ビットストリーム９のデータ配列を示す説明図 実施例１における画像復号装置の構成を示す説明図 可変長復号部３０における算術復号処理に関わる内部構成を示す説明図 可変長復号部３０における算術復号処理に関わる動作フローを示す説明図 ４：２：０フォーマットと４：４：４フォーマットの違いを示す説明図 従来の４：４：４フォーマットの符号化装置の構成を示す説明図
本実施例では、４：４：４フォーマットで入力されるデジタル映像信号の圧縮伸張を行う画像符号化装置、画像復号装置につき、各色成分の信号の状態に適応して動き補償予測処理を行う画像符号化装置、画像復号装置について述べる。
１．画像符号化装置の動作
本実施例１の符号化装置は、４：４：４フォーマットの入力映像フレームをＭmax×Ｍmax画素ブロック（以下、「基準ブロック」と呼ぶ）に分割し、同基準ブロックの単位で動き予測を行い、予測誤差信号を圧縮符号化するように構成する。
図１に本実施例１の符号化装置の構成を示す。まず、符号化対象となる入力映像信号１（４：４：４フォーマット）は、ブロック分割部２において基準ブロック（Ｍ画素×Ｍラインの矩形ブロック）の単位に分割されて符号化信号３として予測部４へ入力される。図１においては、基準ブロックは図２に示すように、３つの色成分のＭmax×Ｍmax画素からなるブロックをまとめた単位で構成する。後述するが、Ｍmaxはフレームないしシーケンス、ＧＯＰなどの上位レイヤデータレベルで決定・符号化する。基準ブロック内の各色成分のデータは、さらにＬi×Ｍi画素ブロックの「動き予測単位ブロック」に分割され、動き予測単位ブロックをベースとして動き予測、符号化を行う。図２では、（Ａ）における動き予測単位ブロックのパターンはＬ0＝Ｍmax／２，Ｍ0＝Ｍmax／２，（Ｂ）における動き予測単位ブロックのパターンはＬ0＝Ｍmax／２，Ｍ0＝Ｍmaxであり、（Ａ）、（Ｂ）ともにＬ1＝Ｍ1＝Ｌ2＝Ｍ2＝Ｍmaxである。各色成分の動き予測単位ブロックのサイズ、Ｌi，Ｍiについては、色成分ごとに選択可能とし、シーケンス、ＧＯＰ、フレーム、基準ブロックなどの単位で変更可能となるよう構成する。なお、本実施例１では、基準ブロックについては、３つの色成分で同一とし、基準ブロックのサイズを変更する場合は、３つの色成分全てについて、同一の基準ブロックのサイズに変更するものとする。
予測部４では、基準ブロック内の各色成分の画像信号を動き補償予測して、予測誤差信号５を得る。予測部４の動作は、本実施例１の符号化装置の特徴であるため詳しく後述する。圧縮部６は、予測誤差信号５に対してＤＣＴ（離散コサイン変換）などの変換処理を施して信号相関を除去した後、量子化して圧縮データ７を得る。圧縮データ７は可変長符号化部８でエントロピー符号化されてビットストリーム９として出力されるとともに、局所復号部１０に送られ、復号予測誤差信号１１を得る。これを予測誤差信号５の生成に用いた予測信号１２と加算して復号信号１３を得る。復号信号１３は、以降の符号化信号３のための予測信号１２を生成する目的でメモリ１４に格納される。なお、予測信号１２を得るために予測部４において決定された予測信号生成用パラメータ１５は可変長符号化部８へ送られ、ビットストリーム９として出力される。予測信号生成用パラメータ１５の内容については、予測部４の説明とともに以降で詳述する。また、可変長符号化部８における予測信号生成用パラメータ１５の符号化方法についても、本実施例１における特徴のひとつであるため、後で詳しく述べる。
非特許文献１、２等の標準映像符号化方式では、基準ブロックをマクロブロックとした場合、マクロブロックの単位でフレーム内符号化、フレーム間予測符号化を選択しながら符号化する方法が一般的である。これはフレーム間の動き予測が十分でない場合に、フレーム内の相関を利用する方が、符号化が効率化される場合があることに起因している。以降、本実施例１の符号化装置では、発明のポイントを説明するに際してフレーム内符号化についての記述やその選択的使用について文中での明記は行わないが、特に断らない限り、基準ブロックを単位とするフレーム内符号化の選択的使用は可能な構成とする。（本実施例１の符号化装置において、基準ブロックはマクロブロックと定義してもよいが、動き予測の説明のために以降では基準ブロックという用語を用いる。）
以下、本実施例１の特徴のひとつである予測部４の詳細な動作について説明する。本実施例１の予測部４の特徴は以下の２点である。
（１）基準ブロック・動き予測単位ブロックのサイズと動き予測に用いる分割形状の連動適応化
（２）各色成分の性質に応じた動き予測モード、動きベクトルの決定
（１）については、基準ブロックを、各色成分の信号の性質に合わせてＬi×Ｍi画素の動き予測単位ブロックへ分割して、さらに動き予測単位ブロックをｌi×ｍi画素の組み合わせからなる複数の形状に分割し、各分割領域にそれぞれ固有の動きベクトルを割り当てて予測を行い、最も予測効率に優れる形状を動き予測モードとして選択し、その結果として得られる動きベクトルを用いて各分割領域に対する動き予測を行って予測誤差信号５を得る。動き予測単位ブロック内の分割形状は、ｌ×ｍ画素からなる「基本ブロック」の組み合わせによって構成される形状をとるものとする。本実施例１の符号化装置においては、Ｍとｍ，Ｌとｌとの間に「ｍ＝Ｍ／２」「ｌ＝Ｌ／２」なる制約を設ける。この条件によって定まる基本ブロックの分割形状を図３に示す。図３は動き予測単位ブロックの分割の様子を示すが、本実施例１の符号化装置では、この分割形状のパターン（分割パターン）は３つの色成分に対して共通であってもよいし、独立に定めることも可能とする。なお、この分割パターンｍｃ＿ｍｏｄｅ０〜７のことを以下では動き予測モードと呼ぶこととする。
非特許文献１、２等の標準映像符号化方式では、動き予測適用領域の形状は矩形に限定されており、図３のような矩形以外の対角分割を用いることができない。このように、動き予測を適用する領域の形状を多様化させることにより、動物体の輪郭部分など、基準ブロック内に複雑な動きを含む場合に、矩形分割よりも少ない動きベクトル本数で動き予測可能となる。非特許文献２、３は、従来のマクロブロックに対して動き予測適用領域の分割形状の多様化手法を開示している。非特許文献２は、Ｍmaxを１６に固定し、ｍ＝ｌ＝４として、Ｍmax ｍｏｄ ｍ＝０なる任意の値に指定して分割を定義することによって、基準ブロック内の分割形状を柔軟に定める方法が開示されている。また、非特許文献３では、分割形状を、マクロブロック分割を行う線分とそのブロック境界との交点位置によって表現する方法が開示されている。しかしながら、これらの方法はいずれもＭを固定したままで基準ブロック内の分割パターンを増加させる方法であり、以下の問題がある。
問題１：
基準ブロックの分割パターンを記述するための符号量が増加する。Ｍmax ｍｏｄ ｍ＝０なる任意のｍを許容することによって、基準ブロック内の分割パターンが増加し、そのパターンを指定するための情報をオーバヘッド情報として符号化する必要が生じる。分割パターンが増加するほど、ある特定の分割パターンの発生する確率が分散するため、分割パターンのエントロピー符号化が非効率となり、符号量としてのオーバヘッドとなって符号化トータルとしての性能に限界が生じる。
問題２：
分割パターンが増加することによって、符号化時に最適な分割を選択するために必要な演算量が増大する。動き予測は符号化処理負荷の大半を占める高負荷処理であり、やみくもに分割パターンが増加するアルゴリズムでは、符号化装置はその中から特定の分割パターンのみを検証・利用するように設計せざるを得ない。したがって符号化装置は、アルゴリズムがもつ本来の性能を最大限活かしきることができない場合がある。
本実施例１の符号化装置における図３のアプローチは、まず、１）Ｍmaxの値を符号化の条件や映像信号の解像度や性質に基づいてフレームレベルで変更可能とすること、２）Ｍmax×Ｍmaxの画素ブロックを色成分Ｃiごとの特性に合わせて基本ブロックＬi×Ｍi画素へ分割可能とすること、３）基本ブロックの分割条件を「ｍ＝Ｍ／２」「ｌ＝Ｌ／２」なる制約を満たす分割形状に限定すること、の３つの工夫により、上記問題を解決する。基準ブロックのサイズＭmaxの値はフレーム内で局所的に変更せず、フレームレベルないしフレーム列（シーケンス、ＧＯＰ）などの上位データ構造レベルでのみ変更可能とする。この仕組みは、基準ブロック内に含まれる画像信号パターンの意味の違いに対する適応化を可能とする。例えば、小さい解像度（ＶＧＡなど）の映像と大きな解像度（ＨＤＴＶなど）の映像では、同じＭmax×Ｍmax画素ブロック内の信号パターンが表現する意味が異なる。同一の被写体を予測する場合、小さい解像度の映像では被写体の構造に近い信号パターンが捕捉されるが、大きな解像度の映像では同じブロックサイズでは被写体のより局所的な部位の信号パターンを捉えられるにすぎない。したがって、基準ブロックのサイズが解像度に拠らず同一では、解像度が高くなるにつれ、基準ブロック内の信号パターンはノイズ成分の要素が大きくなり、パターンマッチング技術としての動き予測の性能を向上させることができなくなる。Ｍmaxの値を上位データ構造レベルでのみ変更可能とすることで、Ｍmaxの値のシグナリングに要する符号量を抑制しつつ、映像の解像度やシーンチェンジ、画面全体のアクティビティ変化などの状況に応じて、基準ブロックに含まれる信号パターンを動き予測の意味において最適化することができる。この仕組みに加え、図２のように色成分ごとに動き予測単位ブロック内の分割パターンを変更可能とすることによって、各色成分の信号特性に応じて動き予測の処理単位を最適化可能とする。さらに、動き予測単位ブロック内に図３のように分割パターンの限定的自由度を与えることにより、動き予測単位ブロック内の分割パターン表現に要する符号量を抑制しながら、動き予測の全体的な効率を改善することができる。また、Ｍmaxの値をフレームレベルで決定する処理を効率よく行えば、以降、基準ブロック内で検査すべき分割パターンのバリエーションは従来技術に比べ少なく抑えることができ、符号化処理の負荷を小さくすることができる。Ｍmax値を決定する方法には例えば、以下のような方法がある。
・符号化対象映像の解像度に基づいて決定する。同一Ｍmax値の場合、解像度が大きい場合は基準ブロック内の画像信号パターンがよりノイズ成分的な意味合いを持ち、動きベクトルが画像信号パターンを捉えにくくなる。そのような場合にＭmax値を大きくして画像信号パターンを捕捉できるようにする。
・フレーム間の差分値の大小をアクティビティとみなしてアクティビティが大きい場合は小さいＭmax値で、小さい場合は大きなＭmax値で動き予測を行う。また、この際の大きさ制御を、符号化対象映像のフレームレートに基づいて決定する。フレームレートが高いほどフレーム間相関が大きく動きベクトル自体のダイナミックレンジが小さくなりその符号量が小さくなるので、多少アクティビティが小さくてもＭmax値を大きすぎないように設定して細かい動きまで予測できるようにする、などの方法が考えられる。
・以上の方法を重み付けで組み合わせて判断する。
Ｍmax値が決まった後、色成分ごとにＬi、Ｍiの決定を行う。この判断基準としては、例えば入力映像信号１がＹＵＶ（ないしＹＣｂＣｒ）の色空間で定義された信号の場合、色信号であるＵ／Ｖ成分は輝度信号Ｙ成分に比べて信号帯域が狭い。したがって、ブロック内分散は輝度に比べて小さくなり、これを根拠としてＵ／Ｖ成分のＬi、Ｍiについては輝度成分のＬi、Ｍi値よりも大きな値をとるように構成する、といった例が考えられる。（図２参照）
これら制御を行った結果として得られるＭmax，Ｌi、Ｍiの値は、基準ブロックサイズ１６として基準ブロックサイズ決定部１６０からブロック分割部２、予測部４、可変長符号化部８へ通知される。なお、図２のようにＭmaxに対してＬi、Ｍiを簡易な演算で導出可能な値に設定しておけば、Ｌi、Ｍiを独立な値として符号化するのでなく、算出式の識別子を符号化すればよく、基準ブロックサイズ１６に要する符号量を抑制できる。
予測部４は、基準ブロックサイズ１６に基づいて、図２、図３の分割パターンを用いる動き検出処理を実行する。処理フローを図４に示す。予測部４は、当該フレームのＣi成分をＬi×Ｍi画素の動き予測単位ブロックの単位で動き予測していく。基本的には、このプロセスでは図３のｍｃ＿ｍｏｄｅ０〜７までの分割パターンのそれぞれについて、指定された動き探索範囲で分割領域ごとの最適動きベクトルを検出し、最終的に当該基準ブロックについてｍｃ＿ｍｏｄｅ０〜７のいずれの動き予測モードを用いるのが最も予測効率がよいかを決定する。
予測効率は、基準ブロック内の動きベクトルの総符号量Ｒと、該動きベクトルを適用してメモリ１４内に格納される参照画像から生成した予測信号１２と入力映像信号１との間の予測誤差量Ｄとから構成する下記コストＪを定義し、Ｊが最小となる動き予測モードと動きベクトルとを出力するように構成する。
Ｊ＝Ｄ＋λＲ （λ：定数） （１）
そこで、各動き予測モードに対して、コストＪの計算を行う（ステップＳ１）。図５に、ｍｃ＿ｍｏｄｅ５のケースを例にとってＪの計算方法を説明する。このとき、フレームＦ（ｔ）内の被予測対象の動き予測単位ブロックは、２つの分割領域Ｂ0、Ｂ1からなる。また、メモリ１４内には２枚の符号化・局所復号済みの参照画像Ｆ’（ｔ−１）、Ｆ’（ｔ−２）が格納されていて、分割領域Ｂ0、Ｂ1はこれら２枚の参照画像を使って動き予測できるものとする。同図では分割領域Ｂ0は参照画像Ｆ’（ｔ−２）を用いて動きベクトルＭＶt-2（Ｂ0）を検出し、分割領域Ｂ1は参照画像Ｆ’（ｔ−１）を用いて動きベクトルＭＶt-1（Ｂ1）を検出している。Ｂを分割領域、Ｓn（ｘ）を第ｎフレームの画面内位置ｘ＝（ｉ，ｊ）における画素値、ｖを動きベクトルとすると、分割領域Ｂの予測誤差量Ｄは、差分絶対値和（Sum of Absolute Difference，ＳＡＤ）を用いて、
Figure 0005289440
として計算できる。結果、得られるＢ0、Ｂ1に対応するＤ0、Ｄ1からＤ＝Ｄ0＋Ｄ1として求める。一方、Ｒは動きベクトル予測値ＰＭＶ（Ｂ0）、ＰＭＶ（Ｂ1）を用いて得られる動きベクトル予測差分値
ＭＶＤ（Ｂ0）＝ＭＶt-2（Ｂ0）−ＰＭＶ（Ｂ0）
ＭＶＤ（Ｂ1）＝ＭＶt-1（Ｂ1）− ＰＭＶ（Ｂ1）
（３）
を符号量換算して得られるＲ0、Ｒ1からＲ＝Ｒ0＋Ｒ1として求める。以上により、コストＪが求まる。探索範囲内の検査対象となるすべての動きベクトルについてコストＪの計算を行い、ｍｃ＿ｍｏｄｅ５の分割パターンとして最もコストＪが小さい解を求める。なお、ｍｃ＿ｍｏｄｅ１−４のＰＭＶの算出例を図６に示す（ｍｃ＿ｍｏｄｅ０，５，６，７は非特許文献１に開示あり）。同図において、矢印は予測ベクトル導出に利用する周辺の動きベクトルを意味し、○で囲まれた３本の動きベクトルは、それが指し示す分割領域の予測ベクトルを○で囲まれた３本の動きベクトルのメディアン（中央値）によって求める。
このようにして求まるｍｃ＿ｍｏｄｅkでのコストＪkが、それまでに検証したｍｃ＿ｍｏｄｅkでのコストよりも小さいかどうかを検証し（ステップＳ２）、小さい場合はｍｃ＿ｍｏｄｅkをその時点までの最適な動き予測モードとして保持するとともに、その際の動きベクトル及び予測誤差信号を保持しておく（ステップＳ３）。すべての動き予測モードを検証した場合は（ステップＳ４、Ｓ５）、それまでに保持されていた動き予測モード、動きベクトル、予測誤差信号を最終解として出力する（ステップＳ６）。さもなければ、次の動き予測モードを検証する。
本実施例１における符号化装置は、以上の予測部４における処理過程を３つの色成分のそれぞれに対して行い、色成分ごとに最適な動き予測モード、動きベクトル、予測誤差信号を得る処理と、ある特定の成分に対して最適な動き予測モード、動きベクトル、予測誤差信号を求めた後、これらの情報に基づいて残りの色成分の動き予測モード、動きベクトル、予測誤差信号を求める処理とを基準ブロックの単位で切り替えて実行するように構成する。前者については、上述の図４の処理フローを３つの色成分それぞれに対して実行すればよい。後者の処理について図７を用いて説明する。
図７において、「動き検出を行った色成分Ｃ0」は、上記図４の処理フローに基づいて動き検出を行った色成分を指し、基準ブロック内のＣ0成分の動き予測単位ブロックＢxに対して画像空間上同一の座標位置にある他の色成分Ｃ1、Ｃ2の動き予測単位ブロックをＢyとする。Ｃ0色成分については、すでに左および上の動き予測単位ブロックＢa、Ｂbについて、最適な動き予測モード、動きベクトルがそれぞれ算出済みであるとする。左の動き予測単位ブロックＢaについては、動き予測モードがｍｃ＿ｍｏｄｅ６、動きベクトルがＭＶ（ａ，０）、ＭＶ（ａ，１）と求まっており、上の動き予測単位ブロックＢbについては、動き予測モードがｍｃ＿ｍｏｄｅ３、動きベクトルがＭＶ（ｂ，０）、ＭＶ（ｂ，１）と求まっている。また、同一位置の動き予測単位ブロックＢxについても動き予測モードｍｃ＿ｍｏｄｅ０、動きベクトルＭＶ（ｘ，０）が求まっているものとする。この条件において、動き予測単位ブロックＢyについては、適用する動き予測モードに応じて、Ｂa、Ｂb、Ｂxの動きベクトルから、一意に動きベクトル候補を生成する。動き予測単位ブロックＢyに適用する動き予測モードがｍｃ＿ｍｏｄｅ３の場合には、
ＭＶ（ｙ，０）＝ｗa＊ＭＶ（ａ，０）＋ｗb＊ＭＶ（ｂ，０）＋ｗc＊ＭＶ（ｘ，０）
ＭＶ（ｙ，１）＝ｗd＊ＭＶ（ａ，１）＋ｗe＊ＭＶ（ｂ，０）＋ｗf＊ＭＶ（ｘ，０）
（４）
によって動きベクトル候補を求める。ｗa，ｗb，ｗc，ｗd，ｗe，ｗfは、各ベクトルに対する重みで、Ｂyに適用する動き予測モードの種別によって定めておく。Ｂa、Ｂb、Ｂxの動きベクトルの適用の仕方についても動き予測モードごとに固定的に決めておく。このように一意に定まる動きベクトル候補を用いて各動き予測モードに対応するコストＪを求め、最もコストが小さくなる動き予測モードと動きベクトル候補を、基準ブロックＢyに適用する動き予測モード、動きベクトルとして採用する。予測部４における動き検出処理をこのように構成することにより、色成分Ｃ1、Ｃ2についての動き予測モードを柔軟に選択可能となる一方、対応する動きベクトルは常に色成分Ｃ0の情報から生成することができるので、符号化すべき予測信号生成用パラメータ１５の符号量を抑制することができる。また３つの色成分の間には一定の画像構造上の相関が存在するため、Ｃ0成分の動き予測単位ブロックＢxで選択された動き予測モードは、Ｃ1、Ｃ2色成分の動き予測単位ブロックＢyにおいて最適な動き予測モードと一定の相関があると考えられる。そこで、Ｃ0成分で動き予測単位ブロックＢxで選択された動き予測モードに応じて、Ｃ1、Ｃ2色成分の対応動き予測単位ブロックでとりうる動き予測モードの種類を絞ってクラス分けして利用するように構成してもよい。こうすることで、予測効率を維持したまま、Ｃ1、Ｃ2色成分で選択可能な動き予測モードの数を少なくできるので、動き予測モードの選択に要する演算量を抑えつつ、動き予測モードの符号化効率を高めることができる。
また、以上の方法で求める動きベクトル候補は探索の結果として得られた最適な結果となる保証がないので、例えば図７において、
ＭＶ（ｙ，０）＝ＭＶ（ｘ，０）、動き予測モードをｍｃ＿ｍｏｄｅ０
（５）
とする場合とコスト比較を行い、よりコストが小さくなる方を選択するように構成してもよい。（５）式のケースでは、Ｃ1、Ｃ2色成分の動き予測モード、動きベクトルがＣ0色成分と同じであるので、（５）式の条件を選択するか否かの１ビットの情報があれば符号化可能である。また、このビットは、適応算術符号化を適切に設計することによって１ビット以下の符号量で符号化することができる。また、上記の方法で得られたＭＶ（ｙ，０），ＭＶ（ｙ，１）等について、微小な探索範囲で動きベクトルの再探索を行い、追加探索分のみの微小ベクトルを符号化するように構成してもよい。
図８には、Ｃ0色成分と、Ｃ1、Ｃ2色成分で動き予測単位ブロックのサイズが異なるケースを示す（図２の（Ａ）等）。この場合は、Ｃ1、Ｃ2色成分の動き予測モード ｍｃ＿ｍｏｄｅ３ に対する動きベクトル候補を、
ＭＶ（ｙ，０）＝ｗa＊ＭＶ（ａ，０）＋ｗb＊ＭＶ（ｃ，０）＋ｗc＊ＭＶ（ｃ，１）＋ｗ ＊ＭＶ（ｄ，０）
ＭＶ（ｙ，１）＝ｗe＊ＭＶ（ｂ，０）＋ｗf ＊ＭＶ（ｂ，１）
（６）
と求める、といった構成をとることができる。なお、ｗa，ｗb，ｗc，ｗd，ｗe，ｗfは、符号化ビットレートなどの条件によって重み値を変化させるように構成してもよい。これは、符号化ビットレートが低くなれば、符号量ファクタのＲがコストＪにおいて大きな比重を占めるため、動きベクトル場は比較的ばらつきのないように制御されるのが一般的である。したがって、Ｃ0色成分における動き予測モードと動きベクトル場の、Ｃ0、Ｃ1色成分に対する相関が変化すると考えられる。このことを考慮して、重み付けを変化可能なように構成すれば、Ｃ0、Ｃ1色成分に対してより効率的な動き予測を行うことができる。具体的には、ピクチャレベル、ＧＯＰレベル、シーケンスレベルなどの上位レイヤヘッダ情報中で値を符号化してビットストリームに多重する、ないし、量子化パラメータに連動して変化する規則を符号化装置と復号装置で共有しておく、などが考えられる。
以上の構成をとることにより、Ｃ1、Ｃ2色成分の動き予測モードを、色成分Ｃ0の動き予測モード、動きベクトルから簡易に決定することができ、かつ、色成分Ｃ0の動きベクトルの情報から一意にＣ1、Ｃ2色成分の動きベクトルを導くことができるので、符号化すべきパラメータの符号量を抑制しつつ、Ｃ1、Ｃ2色成分の信号の性質に柔軟に追随でき、効率的な符号化が可能となる。
以上述べた予測部４における処理によって、予測誤差信号５と、予測信号生成用パラメータ１５が出力され、これらは可変長符号化部８にてエントロピー符号化される。本実施例１の符号化装置では、予測誤差信号５の符号化は従来技術による符号化装置と同じ処理を行うものとする。以下では、本実施例１の符号化装置の特徴のひとつである、予測信号生成用パラメータ１５のエントロピー符号化方法について述べる。
以下で説明する予測信号生成用パラメータ１５の符号化においては、説明の対象を、動き予測モード、動きベクトルの２種類のパラメータとする。本実施例１の符号化装置では、図９に示すように、被予測・符号化対象の基本ブロックＢxの動き予測モードｍ（Ｂx）を符号化するにあたり、同一フレームの左の基本ブロックＢaの予測モードｍ（Ｂa）、上の基本ブロックＢbの予測モードｍ（Ｂb）、直前の隣接フレームにおいて基本ブロックＢxと同一位置の基本ブロックＢcの動き予測モードｍ（Ｂc）の状態を選択的に参照してエントロピー符号化を行う。
図１０は可変長符号化部８の内部構成を、図１１はその動作フローを示す。本実施例１における可変長符号化部８は、符号化対象データである動き予測モードや動きベクトルなどの個々のデータタイプに対して定義されるコンテクストモデル（後述）を定めるコンテクストモデル決定部１７、各符号化対象データタイプについて定められる二値化規則に従って多値データを二値データに変換する二値化部１８、二値化後の個々のｂｉｎの値（０ ｏｒ １）の生起確率を与える生起確率生成部１９、生成された生起確率に基づいて算術符号化を実行する符号化部２０、生起確率情報を記憶する生起確率情報記憶メモリ２１から構成される。コンテクストモデル決定部１７への入力は、ここでは予測画像生成用パラメータ１５のうち、動き予測モードと、動きベクトルとに限定して説明する。
（Ａ）コンテクストモデル決定処理（図１１におけるステップＳ１１）
コンテクストモデルとは、情報源シンボルの生起確率の変動要因となる他の情報との依存関係をモデル化したものであり、この依存関係に対応して生起確率の状態を切り替えることで、よりシンボルの実際の生起確率に適応した符号化を行うことが可能となる。図１２にコンテクストモデル（ｃｔｘ）の概念を示す。なお、同図では情報源シンボルは二値としているが、多値でも構わない。図１２の０〜２というｃｔｘの選択肢は、このｃｔｘを用いる情報源シンボルの生起確率の状態が、状況に応じて変化するであろうことを想定して定義されている。本実施例１における符号化装置で言えば、ある基準ブロックにおける符号化データとその周辺の基準ブロックの符号化データとの間の依存関係に応じてｃｔｘの値が切り替えられる。例えば、図１３に、非特許文献４に開示される動きベクトルに関するコンテクストモデルの例を示す。図１３において、ブロックＣの動きベクトルが符号化対象であり（正確には、ブロックＣの動きベクトルを近傍から予測した予測差分値ｍｖｄk（Ｃ）が符号化される）、ｃｔｘ＿ｍｖｄ（Ｃ，ｋ）がコンテクストモデルを示す。ｍｖｄk（Ａ）はブロックＡにおける動きベクトル予測差分値、ｍｖｄk（Ｂ）はブロックＢにおける動きベクトル予測差分値をそれぞれ示し、コンテクストモデルの切り替え評価値ｅk（Ｃ）の定義に用いられる。評価値ｅk（Ｃ）は、近傍の動きベクトルのばらつき具合を示すことになり、一般的にはこのばらつきが小さい場合にはｍｖｄk（Ｃ）は小さく、逆にｅk（Ｃ）が大きい場合はｍｖｄk（Ｃ）も大きくなる傾向がある。したがって、ｍｖｄk（Ｃ）のシンボル生起確率は、ｅk（Ｃ）に基づいて適応化されることが望ましい。この生起確率のバリエーションセットがコンテクストモデルであり、このケースでは３種類の生起確率バリエーションがある、といえる。
このように、符号化対象データそれぞれについてあらかじめコンテクストモデルが定義され、符号化装置と復号装置で共有される。コンテクストモデル決定部１７では、このような符号化対象データの種別に基づいてあらかじめ定められたモデルを選択する処理を行う（コンテクストモデルの中のどの生起確率バリエーションを選択するかは下記（Ｃ）の生起確率生成処理に該当する）。
本実施例１の可変長符号化部８は、動き予測モード、動きベクトルに割り当てるコンテクストモデル２２の候補を複数用意しておき、コンテクストモデル選択情報２５によって、使用するコンテクストモデル２２を切り替えることを特徴とする。図９に示すように、被予測・符号化対象の基本ブロックＢxの動き予測モードｍ（Ｂx）は、フレーム間で動きの状態についての相関が低ければ、同一フレーム内で空間的に隣接する画像領域の状態との相関が高い（すなわち、ｍ（Ｂx）の値は、ｍ（Ｂa）ないしｍ（Ｂb）の分割形状に強く影響される）と考えられるので、同一フレームの左の基本ブロックＢaの動き予測モードｍ（Ｂa）、上の基本ブロックＢbの動き予測モードｍ（Ｂb）をコンテクストモデル２２の決定に利用する。この考え方の根拠となる例を図１４に示す。図１４は、ｍ（Ｂx）＝ｍｃ＿ｍｏｄｅ３の場合について、Ｂa、Ｂbで選ばれる動き予測モードの２つの状態を比較して示したものである。同図（Ａ）においては、ｍ（Ｂx）の分割形状に対して、Ｂa、Ｂbともに分割の切れ目が自然につながっている。一方、（Ｂ）ではＢa、Ｂbともに分割の切れ目がつながっていない。一般にこの分割形状は基準ブロック内に存在する複数の異なる動き領域の存在を示すものであるので、映像の構造を反映しやすい。したがって、（Ａ）の方が、（Ｂ）よりも「起こりやすい状態」であると考えられる。つまり、ｍ（Ｂa）とｍ（Ｂb）の状態に応じて、ｍ（Ｂx）の生起確率が影響を受けることになる。
同様に、フレーム間で動きの状態についての相関が高ければ、時間的に隣接する画像領域の状態との相関が高い（すなわち、ｍ（Ｂx）は、ｍ（Ｂc）の分割形状に対応してとりうる値の確率が変化する）と考えられるので、直前の隣接フレームにおいて基本ブロックＢxと同一位置にある基本ブロックＢcの動き予測モードｍ（Ｂc）をコンテクストモデル２２の決定に利用する。
また、同様に、色成分Ｃ0の動き予測モードと、他の色成分Ｃ1、Ｃ2の対応する位置の動き予測モードは画像構造上一定の相関があると考えられるので、色成分ごとに動き予測モードを独立に決定する場合は、色成分間の相関をコンテクストモデル２２の決定に利用するように構成してもよい。
動きベクトルのコンテクストモデル２２の決定に際しても同様に、フレーム間で動きの状態についての相関が低ければ、同一フレームの左のブロックＢaの動きベクトル、上のブロックＢbの動きベクトルをコンテクストモデル２２の決定に利用する。一方、フレーム間で動きの状態についての相関が高ければ、直前の隣接フレームにおいてブロックＢxと同一位置にあるブロックＢcの動きベクトルをコンテクストモデル２２の決定に利用する。動き予測モードと同様、動きベクトルについても色成分間の相関をコンテクストモデル２２の決定に利用してもよい。
フレーム間で動きの状態についての相関の高低は、符号化装置において所定の方法によって検出して、コンテクストモデル選択情報２５の値を明示的にビットストリームに多重して復号装置に伝達してもよいし、符号化装置と復号装置の両者で検知可能な情報に基づいてコンテクストモデル選択情報２５の値を決定するように構成してもよい。映像信号は非定常であるため、このような適応制御が可能になることにより、算術符号化の効率を高めることができる。
（Ｂ）二値化処理（図１１におけるステップＳ１２）
コンテクストモデルは、符号化対象データを二値化部１８にて二値系列化し、二値系列の各ｂｉｎ（バイナリ位置）に応じて定める。二値化の規則は、各符号化データの取りうる値のおおまかな分布に従い、可変長の二値系列への変換を行う。二値化は、本来多値を取りうる符号化対象データをそのまま算術符号化するよりもｂｉｎ単位で符号化することにより確率数直線分割数を削減でき演算を簡略化できる、コンテクストモデルのスリム化が可能になるなどのメリットがある。
（Ｃ）生起確率生成処理（図１１におけるステップＳ１３）
上記（Ａ）、（Ｂ）のプロセスで、多値の符号化対象データの二値化と、各ｂｉｎに適用するコンテクストモデルの設定が完了し、符号化準備が整う。次いで生起確率生成部１９にて算術符号化に用いる生起確率情報の生成処理が行われる。各コンテクストモデルには、０／１の各値に対する生起確率のバリエーションが含まれているので、図１１に示すように、ステップＳ１１で決定されたコンテクストモデル２２を参照して処理を行う。図１３のｅk（Ｃ）に示したような生起確率選択のための評価値を定め、これに従って、参照するコンテクストモデルの選択肢の中からどの生起確率バリエーションを現在の符号化に用いるかを決定する。さらに、本実施例１における可変長符号化部８は、生起確率情報記憶メモリ２１を備え、符号化の過程で順次更新される生起確率情報２３を、使用されるコンテクストモデルのバリエーション分だけ記憶する機構を備える。生起確率生成部１９は、コンテクストモデル２２の値に応じて、現在の符号化に用いる生起確率情報２３を決定する。
（Ｄ）符号化処理（図１１におけるステップＳ１４）
（Ｃ）によって、算術符号化プロセスに必要な確率数直線上の０／１各値の生起確率が得られるため、従来例にあげたプロセスにしたがって符号化部２０において算術符号化を行う。また、実際の符号化値（０ ｏｒ １）２４は、生起確率生成部１９へフィードバックされ、使用した生起確率情報２３の更新のため、０／１発生頻度のカウントが行われる（ステップＳ１５）。例えば、ある特定の生起確率情報２３を用いて１００個のｂｉｎの符号化処理が行われた時点で、当該生起確率バリエーションにおける０／１の生起確率が０．２５、０．７５であったとする。ここで、同じ生起確率バリエーションを用いて１が符号化されると、１の出現頻度が更新され、０／１の生起確率は０．２４７、０．７５２に変化する。このメカニズムにより、実際の生起確率に適応した効率的な符号化を行うことが可能となる。算術符号化結果２６は可変長符号化部８からの出力となり、ビットストリーム９として符号化装置から出力される。
上記説明においては、コンテクストモデル選択情報２５を、同一フレーム内の情報を用いてコンテクストモデル２２を決定するか、直前の隣接フレームの情報を参照してコンテクストモデル２２を決定するかの選択としたが、同様に、図７ないし図８におけるＣ1、Ｃ2色成分の動き予測モードの符号化に用いるコンテクストモデル２２を、対応するＣ0成分の動き予測モードの状態を参照するか否か、という形で利用してもよい。このように構成することにより、Ｃ1、Ｃ2色成分の動き予測モードの状態がＣ0成分の動き予測モードの状態と高い相関がある場合には符号化効率を高めることができる。
２．符号化ビットストリームの構成
入力映像信号１は、上記処理に基づいて図１の画像符号化装置で符号化され、複数の基準ブロックを束ねた単位（以下、スライスと呼ぶ）でビットストリーム９として画像符号化装置から出力される。図１５に、ビットストリーム９のデータ配列を示す。ビットストリーム９は、フレーム中に含まれる基準ブロック数分の符号化データが集められたものとして構成され、基準ブロックはスライス単位にユニット化される。同一フレームに属する基準ブロックが共通パラメータとして参照するピクチャレベルヘッダが用意され、ピクチャレベルヘッダには、基準ブロックサイズ１６が格納される。基準ブロックサイズ１６は、シーケンスで固定化されるのであれば、シーケンスレベルヘッダに多重するように構成してもよい。
各スライスはそれぞれスライスヘッダから始まり、続いてスライス内の各基準ブロックの符号化データが配列される（この例では、第２スライスにＫ個の基準ブロックが含まれることを示す）。スライスヘッダに各基準ブロックのデータが連なる。基準ブロックデータは、基準ブロックヘッダと予測誤差圧縮データとから構成され、基準ブロックヘッダには基準ブロック内の動き予測単位ブロックの分の動き予測モードと動きベクトル、予測誤差圧縮データの生成に用いた量子化パラメータなどが配列される。動き予測モードは、まず、３つの色成分の各成分ごとに独立に多重するか否かを示す色成分別動き予測モード共通化識別フラグ２７が多重され、同フラグが「３成分で共通」であれば共通の動き予測モードが１つ、「３成分で独立」であれば図７、８に示したような方法で決定される各色成分別の動き予測モードが個別に多重される。また、動き予測モードおよび動きベクトルの算術符号化におけるコンテクストモデル選択指針を示すコンテクストモデル選択情報２５が基準ブロックヘッダに含まれる。
なお、図示していないが、基準ブロックサイズ決定部１６０を、各基準ブロック内で用いる動き予測単位ブロックの大きさＬi、Ｍiを各基準ブロックごとに選択できるように構成しておき、基準ブロック内で用いる動き予測単位ブロックの大きさＬi、Ｍiをシーケンス、ピクチャレベルヘッダに多重する代わりに、各基準ブロックヘッダに多重するように構成してもよい。これにより、基準ブロックごとに動き予測単位ブロックの大きさＬi、Ｍiを符号化する必要があるが、局所的な画像信号の性質に応じて動き予測単位ブロックの大きさを変化させることができ、より適応性の高い動き予測を行うことが可能となる。各基準ブロックヘッダに多重するか、シーケンス、ＧＯＰ、ピクチャ、スライスなどの上位レベルのヘッダに固定的に多重するかは、シーケンス、ＧＯＰ、ピクチャ、スライスなどの上位レベルヘッダ中に識別情報を多重するように構成することにより、上位レベルで固定化しても動き予測性能に影響が少ない場合は、基準ブロックごとに動き予測単位ブロックの大きさＬi、Ｍiを符号化するオーバヘッドを削減して効率的な符号化を行うことも可能である。
３．画像復号装置の動作
図１６に本実施例１における画像復号装置の構成を示す。可変長復号部３０は、図１５に示すビットストリーム９を入力とし、シーケンスレベルヘッダを復号した後、ピクチャレベルヘッダを復号して基準ブロックサイズ１６を復号する。これにより当該ピクチャで用いる基準ブロックのサイズＭmax，Ｌi、Ｍiを認識し、予測誤差復号部３４および予測部３１へ通知する。なお、動き予測単位ブロックの大きさＬi、Ｍiを各基準ブロックヘッダ中に多重可能とするビットストリーム構成の場合は、Ｌi、Ｍiが各基準ブロックヘッダ中に多重されているか否かを示す識別情報を復号し、同識別情報に基づいて、Ｌi、Ｍiが各基準ブロックヘッダ中に多重されている場合は、各基準ブロックヘッダを復号することによってＬi、Ｍiを認識するように構成する。
基準ブロックデータの復号はまず、基準ブロックヘッダの復号を行い、色成分別動き予測モード共通化識別フラグ２７を復号する。さらに、コンテクストモデル選択情報２５を復号し、色成分別動き予測モード共通化識別フラグ２７およびコンテクストモデル選択情報２５に基づいて、各色成分ごとに動き予測単位ブロックあたりに適用する動き予測モードの復号を行う。また、コンテクストモデル選択情報２５に基づいて動きベクトルの復号を行い、さらに量子化パラメータ、予測誤差圧縮データなどの情報を順次復号する。動き予測モード、動きベクトルの復号については後述する。
予測誤差圧縮データ３２、量子化ステップサイズパラメータ３３は予測誤差復号部３４に入力され、復号予測誤差信号３５に復元される。予測部３１は、可変長復号部３０によって復号される予測信号生成用パラメータ１５とメモリ３８内の参照画像とから予測信号３６を生成する（予測部３１は符号化装置における予測部４の動きベクトル検出動作は含まない）。動き予測モードは図２のいずれかであり、その分割形状に基づいて各基本ブロックに割り当てられる動きベクトルを用いて予測画像を生成する。復号予測誤差信号３５と予測信号３６は加算器により加算され、復号信号３７を得る。復号信号３７は以降の基準ブロックの動き補償予測に用いるため、メモリ３８へ格納される。
以下、基準ブロックの動き予測モード、動きベクトルの復号処理について述べる。
図１７は可変長復号部３０における算術復号処理に関わる内部構成を、図１８はその動作フローを示す。
本実施例１における可変長復号部３０は、動き予測モード、動きベクトルなどを含む予測信号生成用パラメータ１５、予測誤差圧縮データ３２、量子化ステップサイズパラメータ３３などの個々の復号対象データのタイプを特定して、それぞれに符号化装置と共通定義されるコンテクストモデルを定めるコンテクストモデル決定部１７、復号対象データのタイプに基づいて定まる二値化規則を生成する二値化部１８、二値化規則とコンテクストモデルに従って、個々のｂｉｎ（０ ｏｒ １）の生起確率を与える生起確率生成部１９、生成された生起確率に基づいて算術復号を実行し、その結果得られる二値系列と、上記二値化規則とから、符号化データを復号する復号部３９、生起確率情報を記憶する生起確率情報記憶メモリ２１とから構成される。図１０の可変長符号化部８の内部構成要素と同一の番号を付与したブロックは同じ動作を行うものとする。
（Ｅ）コンテクストモデル決定処理、二値化処理、生起確率生成処理（図１８のステップＳ１１〜Ｓ１３）
これらのプロセスは符号化装置側のプロセス（Ａ）〜（Ｃ）に準ずる。動き予測モード、動きベクトルの復号に用いるコンテクストモデルの決定には、上記復号したコンテクストモデル選択情報２５を参照する。
（Ｆ）算術復号処理
これから復号しようとするｂｉｎの生起確率が（Ｅ）までのプロセスで確定するため、復号部３９において、所定の算術復号処理プロセスにしたがって、ｂｉｎの値を復元する（図１８におけるステップＳ２１）。ｂｉｎの復元値４０は、生起確率生成部１９へフィードバックされ、使用した生起確率情報２３の更新のため、０／１発生頻度のカウントが行われる（ステップＳ１５）。復号部３９では、各ｂｉｎの復元値が確定するごとに、二値化規則で定められる二値系列パターンとの合致を確認し、合致したパターンが指し示すデータ値を復号データ値４１として出力する（ステップＳ２２）。復号データが確定しない限りは、ステップＳ１１へ戻って復号処理を継続する。
なお、上記説明では、コンテクストモデル選択情報２５を多重する単位は基準ブロック単位としたが、スライス単位やピクチャ単位などで多重化してもよい。スライス、ピクチャ、シーケンスなどの上位データレイヤに位置するフラグとして多重化されるようにすることで、スライス以上の上位レイヤでの切り替えで十分な符号化効率が確保できる場合は、基準ブロックレベルでコンテクストモデル選択情報２５を逐一多重化することなくオーバヘッドビットを削減できる。
また、コンテクストモデル選択情報２５は、それ自体とは別のビットストリーム中に含まれる関連情報に基づいて復号装置の内部で定まる情報であってもよい。また、上記説明では可変長符号化部８、可変長復号部３０は算術符号化・算術復号処理を行うものとして説明したが、これらの処理をハフマン符号化処理として、コンテクストモデル選択情報２５は可変長符号化テーブルを適応的に切り替える手段として利用するように構成してもよい。
以上の構成による、算術符号化ならびに算術復号処理を備えた符号化・復号装置によれば、コンテクストモデル選択情報２５により、符号化対象基準ブロックの周辺の状態に応じて適応的に動き予測モードや動きベクトルの情報を算術符号化することができ、より効率的な符号化が可能となる。
以上述べた本実施例１における画像符号化装置、画像復号装置によれば、４：４：４フォーマットのカラー映像信号を効率よく符号化するために、各色成分の信号の性質に応じて、動き予測モード、動きベクトルを少ない情報量で動的に切り替えることが可能となるため、高い圧縮率となる低ビットレート符号化において動きベクトルの符号量を効果的に抑制して符号化する画像符号化装置、画像復号装置を提供することができる。
なお、本実施例１では、４：４：４映像信号に対する符号化・復号の実施例を説明したが、本発明における動きベクトルの適応符号化は、従来の輝度・色差成分フォーマットで色間引きを行った４：２：０、４：２：２フォーマットを対象とする映像符号化において、その動き予測モード、動きベクトル符号化の効率化にも適用可能であることはいうまでもない。
また、ある特定の成分に対して最適な動き予測モード、動きベクトル、予測誤差信号を求めた後、これらの情報に基づいて残りの色成分の動き予測モード、動きベクトル、予測誤差信号を求める処理とを基準ブロックの単位で切り替えて実行する動作（図７、図８）と、空間的な相関だけでなく、時間的な相関に基づいてコンテクストモデルを選択する動作（図９）とを、組み合わせて説明を行ったが、それぞれ単独で動作させた場合も、上記の効果を得ることができる。
１ 入力映像信号、２ ブロック分割部、３ 符号化信号、４ 予測部、５ 予測誤差信号、６ 圧縮部、７ 圧縮データ、８ 可変長符号化部、９ ビットストリーム、１０ 局所復号部、１１ 復号予測誤差信号、１２ 予測信号、１３ 復号信号、１４ メモリ、１５ 予測信号生成用パラメータ、１６ 基準ブロックサイズ、１７ コンテクストモデル決定部、１８ 二値化部、１９ 生起確率生成部、２０ 符号化部、２１ 生起確率情報記憶メモリ、２２ コンテクストモデル、２３ 生起確率情報、２４ 符号化値、２５ コンテクストモデル選択情報、２６ 算術符号化結果、２７ 色成分別動き予測モード共通化識別フラグ、３０ 可変長復号部、３１ 予測部、３２ 予測誤差圧縮データ、３３ 量子化ステップサイズパラメータ、３４ 予測誤差復号、３５ 復号予測誤差信号、３６ 予測信号、３７ 復号信号、３８ メモリ、４０ ｂｉｎ復元値、４１ 復号データ値、１６０ 基準ブロックサイズ決定部。

Claims (6)

  1. デジタル映像信号の各フレームを所定の基準ブロックに分割して、その単位で動き補償予測を用いて圧縮符号化を行う画像符号化装置であって、
    所定の方法に基づいて前記基準ブロックのサイズを決定するとともに、前記基準ブロック内の各色成分の信号に対し、動き予測を行う単位である動き予測単位ブロックの形状をそれぞれ個別に定める基準ブロックサイズ決定手段と、
    前記基準ブロック内の第１の色成分の動き予測単位ブロックについて、複数の動き予測モードのうち最も効率のよい第１の動き予測モードを決定して、該決定された第１の動き予測モードに対応する第１の動きベクトルを検出し、前記基準ブロック内の第２の色成分の動き予測単位ブロックについて、前記第１の動き予測モード、前記第１および第２の色成分の動き予測単位ブロックの形状、前記第１の動きベクトルに基づいて、前記第１の動き予測モードおよび前記第１の動きベクトルから一意に定まる動きベクトル候補を用いて各動き予測モードに対応する予測効率を求め、最も予測効率が優れた形状の動き予測モードおよび動きベクトルを、第２の動き予測モード、および、第２の動きベクトルとして検出し、前記基準ブロック内の第３の色成分の動き予測単位ブロックについて、前記第１の動き予測モード、前記第１および第３の色成分の動き予測単位ブロックの形状、前記第１の動きベクトルに基づいて、前記第１の動き予測モードおよび前記第１の動きベクトルから一意に定まる動きベクトル候補を用いて各動き予測モードに対応する予測効率を求め、最も予測効率が優れた形状の動き予測モードおよび動きベクトルを、第３の動き予測モード、および、第３の動きベクトルとして検出して出力する予測手段と、
    前記第１の動き予測モードを算術符号化するに際して、空間的に隣接する動き予測単位ブロックで選択された動き予測モードおよび時間的に隣接する動き予測単位ブロックで選択された動き予測モードのいずれか一方に基づいて、前記第１の動き予測モードの値の生起確率を定めて算術符号化を行うとともに、前記第２および第３の動き予測モードを算術符号化するに際して、空間的に隣接する動き予測単位ブロックで選択された動き予測モードおよび時間的に隣接する動き予測単位ブロックで選択された動き予測モードのいずれか一方と、前記第１の動き予測モードとに基づいて、前記第２および第３の動き予測モードの値の生起確率を定めて算術符号化を行う可変長符号化手段と
    を備える画像符号化装置。
  2. デジタル映像信号の各フレームを所定の基準ブロックに分割して、その単位で動き補償予測を用いて圧縮符号化された画像符号化ビットストリームを受信して映像信号を復元する画像復号装置であって、
    受信した前記ビットストリームから、前記基準ブロックのサイズ、ならびに前記デジタル映像信号を構成する色成分ごとの動き予測を行う単位である動き予測単位ブロックの形状を復号するヘッダ復号手段と、
    前記基準ブロックの単位で、前記各色成分の動き予測単位ブロックの予測画像生成に用いる動き予測モードと、動きベクトルとを復号し、前記基準ブロック内の予測誤差圧縮データと、前記各色成分の動き予測単位ブロックあたりの動き予測モードを全色成分で共通化するか否かを示す識別情報とを復号し、さらに該識別情報に基づいて各色成分の動き予測モードを復号するとともに、復号した第１の色成分の動き予測モードと動きベクトルとから、第２および第３の色成分の動き予測モードに対応する動きベクトルを決定する基準ブロック復号手段と、
    前記動き予測モード、前記動きベクトルに基づいて、前記各色成分の動き予測単位ブロックの予測画像を生成する予測手段と、
    前記基準ブロック内の予測誤差圧縮データを予測誤差画像信号に復号する予測誤差復号手段と、
    前記予測画像と前記予測誤差画像信号とを加算して復号画像を生成する復号加算手段と、
    前記復号画像を動き補償予測のための参照画像データとして格納するメモリと、
    前記第１の色成分の動き予測モードを算術復号するに際して、空間的に隣接する動き予測単位ブロックで復号された動き予測モードおよび時間的に隣接する動き予測単位ブロックで復号された動き予測モードのいずれか一方に基づいて、前記第１の色成分の動き予測モードの値の生起確率を定めて算術復号を行うとともに、前記第２および第３の色成分の動き予測モードを算術復号するに際して、空間的に隣接する動き予測単位ブロックで復号された動き予測モードおよび時間的に隣接する動き予測単位ブロックで復号された動き予測モードのいずれか一方と、前記第１の色成分の動き予測モードとに基づいて、前記第２および第３の色成分の動き予測モードの値の生起確率を定めて算術復号を行う可変長復号手段と
    を備える画像復号装置。
  3. デジタル映像信号の各フレームを所定の基準ブロックに分割して、その単位で動き補償予測を用いて圧縮符号化を行う画像符号化方法であって、
    所定の方法に基づいて前記基準ブロックのサイズを決定するとともに、前記基準ブロック内の各色成分の信号に対し、動き予測を行う単位である動き予測単位ブロックの形状をそれぞれ個別に定める基準ブロックサイズ決定ステップと、
    前記基準ブロック内の第１の色成分の動き予測単位ブロックについて、複数の動き予測モードのうち最も効率のよい第１の動き予測モードを決定して、該決定された第１の動き予測モードに対応する第１の動きベクトルを検出し、前記基準ブロック内の第２の色成分の動き予測単位ブロックについて、前記第１の動き予測モード、前記第１および第２の色成分の動き予測単位ブロックの形状、前記第１の動きベクトルに基づいて、前記第１の動き予測モードおよび前記第１の動きベクトルから一意に定まる動きベクトル候補を用いて各動き予測モードに対応する予測効率を求め、最も予測効率が優れた形状の動き予測モードおよび動きベクトルを、第２の動き予測モード、および、第２の動きベクトルとして検出し、前記基準ブロック内の第３の色成分の動き予測単位ブロックについて、前記第１の動き予測モード、前記第１および第３の色成分の動き予測単位ブロックの形状、前記第１の動きベクトルに基づいて、前記第１の動き予測モードおよび前記第１の動きベクトルから一意に定まる動きベクトル候補を用いて各動き予測モードに対応する予測効率を求め、最も予測効率が優れた形状の動き予測モードおよび動きベクトルを、第３の動き予測モード、および、第３の動きベクトルとして検出して出力する予測ステップと、
    前記第１の動き予測モードを算術符号化するに際して、空間的に隣接する動き予測単位ブロックで選択された動き予測モードおよび時間的に隣接する動き予測単位ブロックで選択された動き予測モードのいずれか一方に基づいて、前記第１の動き予測モードの値の生起確率を定めて算術符号化を行うとともに、前記第２および第３の動き予測モードを算術符号化するに際して、空間的に隣接する動き予測単位ブロックで選択された動き予測モードおよび時間的に隣接する動き予測単位ブロックで選択された動き予測モードのいずれか一方と、前記第１の動き予測モードとに基づいて、前記第２および第３の動き予測モードの値の生起確率を定めて算術符号化を行う可変長符号化ステップと
    を備える画像符号化方法。
  4. デジタル映像信号の各フレームを所定の基準ブロックに分割して、その単位で動き補償予測を用いて圧縮符号化された画像符号化ビットストリームを受信して映像信号を復元する画像復号方法であって、
    受信した前記ビットストリームから、前記基準ブロックのサイズ、ならびに前記デジタル映像信号を構成する色成分ごとの動き予測を行う単位である動き予測単位ブロックの形状を復号するヘッダ復号ステップと、
    前記基準ブロックの単位で、前記各色成分の動き予測単位ブロックの予測画像生成に用いる動き予測モードと、動きベクトルとを復号し、前記基準ブロック内の予測誤差圧縮データと、前記各色成分の動き予測単位ブロックあたりの動き予測モードを全色成分で共通化するか否かを示す識別情報とを復号し、さらに該識別情報に基づいて各色成分の動き予測モードを復号するとともに、復号した第１の色成分の動き予測モードと動きベクトルとから、第２および第３の色成分の動き予測モードに対応する動きベクトルを決定する基準ブロック復号ステップと、
    前記動き予測モード、前記動きベクトルに基づいて、前記各色成分の動き予測単位ブロックの予測画像を生成する予測ステップと、
    前記基準ブロック内の予測誤差圧縮データを予測誤差画像信号に復号する予測誤差復号ステップと、
    前記予測画像と前記予測誤差画像信号とを加算して復号画像を生成する復号加算ステップと、
    前記復号画像を動き補償予測のための参照画像データとして格納する格納ステップと、
    前記第１の色成分の動き予測モードを算術復号するに際して、空間的に隣接する動き予測単位ブロックで復号された動き予測モードおよび時間的に隣接する動き予測単位ブロックで復号された動き予測モードのいずれか一方に基づいて、前記第１の色成分の動き予測モードの値の生起確率を定めて算術復号を行うとともに、前記第２および第３の色成分の動き予測モードを算術復号するに際して、空間的に隣接する動き予測単位ブロックで復号された動き予測モードおよび時間的に隣接する動き予測単位ブロックで復号された動き予測モードのいずれか一方と、前記第１の色成分の動き予測モードとに基づいて、前記第２および第３の色成分の動き予測モードの値の生起確率を定めて算術復号を行う可変長復号ステップと
    を備える画像復号方法。
  5. デジタル映像信号の各フレームを所定の基準ブロックに分割して、その単位で動き補償予測を用いて圧縮符号化を行う画像符号化装置であって、
    所定の方法に基づいて前記基準ブロックのサイズを決定するとともに、前記基準ブロック内の各色成分の信号に対し、動き予測を行う単位である動き予測単位ブロックの形状をそれぞれ個別に定める基準ブロックサイズ決定手段と、
    前記基準ブロック内の第１の色成分の動き予測単位ブロックについて、複数の動き予測モードのうち最も効率のよい第１の動き予測モードを決定して、該決定された第１の動き予測モードに対応する第１の動きベクトルを検出し、前記基準ブロック内の第２の色成分の動き予測単位ブロックについて、前記第１の動き予測モード、前記第１および第２の色成分の動き予測単位ブロックの形状、前記第１の動きベクトルに基づいて、前記第１の動き予測モードおよび前記第１の動きベクトルから一意に定まる動きベクトル候補を用いて各動き予測モードに対応する予測効率を求め、最も予測効率が優れた形状の動き予測モードおよび動きベクトルを、第２の動き予測モード、および、第２の動きベクトルとして検出し、前記基準ブロック内の第３の色成分の動き予測単位ブロックについて、前記第１の動き予測モード、前記第１および第３の色成分の動き予測単位ブロックの形状、前記第１の動きベクトルに基づいて、前記第１の動き予測モードおよび前記第１の動きベクトルから一意に定まる動きベクトル候補を用いて各動き予測モードに対応する予測効率を求め、最も予測効率が優れた形状の動き予測モードおよび動きベクトルを、第３の動き予測モード、および、第３の動きベクトルとして検出して出力する予測手段と
    を備える画像符号化装置。
  6. デジタル映像信号の各フレームを所定の基準ブロックに分割して、その単位で動き補償予測を用いて圧縮符号化された画像符号化ビットストリームを受信して映像信号を復元する画像復号装置であって、
    受信した前記ビットストリームから、前記基準ブロックのサイズ、ならびに前記デジタル映像信号を構成する色成分ごとの動き予測を行う単位である動き予測単位ブロックの形状を復号するヘッダ復号手段と、
    前記基準ブロックの単位で、前記各色成分の動き予測単位ブロックの予測画像生成に用いる動き予測モードと、動きベクトルとを復号し、前記基準ブロック内の予測誤差圧縮データと、前記各色成分の動き予測単位ブロックあたりの動き予測モードを全色成分で共通化するか否かを示す識別情報とを復号し、さらに該識別情報に基づいて各色成分の動き予測モードを復号するとともに、復号した第１の色成分の動き予測モードと動きベクトルとから、第２および第３の色成分の動き予測モードに対応する動きベクトルを決定する基準ブロック復号手段と、
    前記動き予測モード、前記動きベクトルに基づいて、前記各色成分の動き予測単位ブロックの予測画像を生成する予測手段と、
    前記基準ブロック内の予測誤差圧縮データを予測誤差画像信号に復号する予測誤差復号手段と、
    前記予測画像と前記予測誤差画像信号とを加算して復号画像を生成する復号加算手段と、
    前記復号画像を動き補償予測のための参照画像データとして格納するメモリと
    を備える画像復号装置。
JP2010519759A 2008-07-10 2009-07-03 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 Expired - Fee Related JP5289440B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010519759A JP5289440B2 (ja) 2008-07-10 2009-07-03 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008180284 2008-07-10
JP2008180284 2008-07-10
PCT/JP2009/062212 WO2010004939A1 (ja) 2008-07-10 2009-07-03 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2010519759A JP5289440B2 (ja) 2008-07-10 2009-07-03 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法

Publications (2)

Publication Number Publication Date
JPWO2010004939A1 JPWO2010004939A1 (ja) 2012-01-05
JP5289440B2 true JP5289440B2 (ja) 2013-09-11

Family

ID=41507053

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010519759A Expired - Fee Related JP5289440B2 (ja) 2008-07-10 2009-07-03 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法

Country Status (10)

Country Link
US (1) US20110129016A1 (ja)
EP (1) EP2312856A4 (ja)
JP (1) JP5289440B2 (ja)
KR (1) KR20110040893A (ja)
CN (1) CN102090065A (ja)
BR (1) BRPI0915821A2 (ja)
CA (1) CA2730383A1 (ja)
MX (1) MX2011000261A (ja)
RU (2) RU2011104707A (ja)
WO (1) WO2010004939A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8155437B2 (en) * 2007-09-07 2012-04-10 CVISION Technologies, Inc. Perceptually lossless color compression
JP5368631B2 (ja) 2010-04-08 2013-12-18 株式会社東芝 画像符号化方法、装置、及びプログラム
US20120262545A1 (en) * 2011-04-18 2012-10-18 Paul Kerbiriou Method for coding and decoding a 3d video signal and corresponding devices
US9131239B2 (en) 2011-06-20 2015-09-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
USRE47366E1 (en) 2011-06-23 2019-04-23 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
MX2013013508A (es) 2011-06-23 2014-02-27 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
TWI581615B (zh) 2011-06-24 2017-05-01 Sun Patent Trust A decoding method, a coding method, a decoding device, an encoding device, and a coding / decoding device
RU2603552C2 (ru) 2011-06-24 2016-11-27 Сан Пэтент Траст Способ декодирования изображения, способ кодирования изображения, устройство декодирования изображения, устройство кодирования изображения и устройство кодирования и декодирования изображения
MX2013013483A (es) 2011-06-27 2014-02-27 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
ES2754657T3 (es) 2011-06-27 2020-04-20 Samsung Electronics Co Ltd Codificación y decodificación de información de movimiento
CN103563377B (zh) 2011-06-28 2017-05-10 太阳专利托管公司 解码方法及解码装置
MX2013010892A (es) 2011-06-29 2013-12-06 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
WO2013001769A1 (ja) 2011-06-30 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
CN107105227B (zh) * 2011-06-30 2019-10-25 Jvc建伍株式会社 图像编码装置、图像编码方法、图像解码装置及图像解码方法
MX339141B (es) 2011-06-30 2016-05-13 Panasonic Ip Corp America Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
AU2012281918C1 (en) 2011-07-11 2016-11-17 Sun Patent Trust Decoding Method, Coding Method, Decoding Apparatus, Coding Apparatus, And Coding and Decoding Apparatus
BR112013022641B1 (pt) 2011-09-09 2022-07-12 Kt Corporation Método para derivar um vetor de predição de movimento candidato
GB2494469B (en) * 2011-09-12 2015-04-01 Canon Kk Method and device for encoding or decoding information representing prediction modes
WO2013145642A1 (ja) * 2012-03-28 2013-10-03 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム、並びに画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法及び受信プログラム
JP6066583B2 (ja) * 2012-05-01 2017-01-25 キヤノン株式会社 動画像符号化装置及び動画像符号化方法
WO2014018050A1 (en) * 2012-07-27 2014-01-30 Hewlett-Packard Development Company, L.P. Techniques for Video Compression
KR102088383B1 (ko) * 2013-03-15 2020-03-12 삼성전자주식회사 비디오의 부호화 방법 및 장치, 비디오의 복호화 방법 및 장치
CN103338377A (zh) * 2013-07-11 2013-10-02 青岛海信信芯科技有限公司 用于确定运动估计中最优运动矢量的方法
JP2016005210A (ja) * 2014-06-19 2016-01-12 三菱電機株式会社 端末装置及びデータ管理装置
JP6555856B2 (ja) * 2014-06-19 2019-08-07 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR20170009554A (ko) * 2015-07-17 2017-01-25 에스케이하이닉스 주식회사 테스트 시스템 및 테스트 방법
US10142652B2 (en) 2016-05-05 2018-11-27 Google Llc Entropy coding motion vector residuals obtained using reference motion vectors
WO2018169571A1 (en) * 2017-03-15 2018-09-20 Google Llc Segmentation-based parameterized motion models
CN111641831B (zh) * 2019-03-01 2023-09-01 杭州海康威视数字技术股份有限公司 帧内预测方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005198292A (ja) * 2003-12-27 2005-07-21 Samsung Electronics Co Ltd 剰余画像ダウン／アップサンプリング方法および該装置とそれを利用した画像符号化／復号化方法および装置
WO2007010690A1 (ja) * 2005-07-22 2007-01-25 Mitsubishi Electric Corporation 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法、画像符号化プログラム、画像復号プログラム、ならびに画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体、画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2007010901A1 (ja) * 2005-07-18 2007-01-25 Matsushita Electric Industrial Co., Ltd. 動画像符号化装置、動画像復号装置および符号列フォーマット
WO2007055552A1 (en) * 2005-11-14 2007-05-18 Samsung Electronics Co., Ltd. Method, medium, and apparatus encoding and/or decoding an image using the same coding mode across components
WO2008008238A2 (en) * 2006-07-07 2008-01-17 Eastman Kodak Company Printer having differential filtering smear correction

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4617644B2 (ja) 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
KR101088375B1 (ko) * 2005-07-21 2011-12-01 삼성전자주식회사 가변 블록 변환 장치 및 방법 및 이를 이용한 영상부호화/복호화 장치 및 방법
US20080123977A1 (en) * 2005-07-22 2008-05-29 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
KR101311403B1 (ko) * 2006-07-04 2013-09-25 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005198292A (ja) * 2003-12-27 2005-07-21 Samsung Electronics Co Ltd 剰余画像ダウン／アップサンプリング方法および該装置とそれを利用した画像符号化／復号化方法および装置
WO2007010901A1 (ja) * 2005-07-18 2007-01-25 Matsushita Electric Industrial Co., Ltd. 動画像符号化装置、動画像復号装置および符号列フォーマット
WO2007010690A1 (ja) * 2005-07-22 2007-01-25 Mitsubishi Electric Corporation 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法、画像符号化プログラム、画像復号プログラム、ならびに画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体、画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2007055552A1 (en) * 2005-11-14 2007-05-18 Samsung Electronics Co., Ltd. Method, medium, and apparatus encoding and/or decoding an image using the same coding mode across components
WO2008008238A2 (en) * 2006-07-07 2008-01-17 Eastman Kodak Company Printer having differential filtering smear correction

Also Published As

Publication number Publication date
JPWO2010004939A1 (ja) 2012-01-05
RU2011104707A (ru) 2012-08-20
EP2312856A4 (en) 2011-12-28
CA2730383A1 (en) 2010-01-14
RU2011146833A (ru) 2013-05-27
BRPI0915821A2 (pt) 2015-11-10
KR20110040893A (ko) 2011-04-20
MX2011000261A (es) 2011-02-22
EP2312856A1 (en) 2011-04-20
US20110129016A1 (en) 2011-06-02
CN102090065A (zh) 2011-06-08
WO2010004939A1 (ja) 2010-01-14

Similar Documents

Publication Publication Date Title
JP5289440B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP6347860B2 (ja) 画像復号装置、画像復号方法、画像符号化装置および画像符号化方法
JPWO2010137323A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130129

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130401

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130604

LAPS Cancellation because of no payment of annual fees