JP2003259377A - 動画像符号化方法、動画像復号化方法および符号列フォーマット - Google Patents

Abstract

(57)【要約】 【目的】 マクロブロックを分割して動き補償を行う際
に、少ない符号化モードの増加で、符号化効率を向上さ
せる。 【解決手段】 動きベクトル検出部１０８では、参照ピ
クチャ用メモリ１０７に蓄積された復号化画像データを
参照ピクチャとして用い、動きベクトルの検出を行う。
モード選択部１０９では、動きベクトルを用いて符号化
モードを決定する。この際には、マクロブロックを複数
に分割し、分割単位毎に動きベクトルの検出および符号
化モードの選択を行う。差分演算部１０９では、符号化
対象画像と参照画像との差分を演算し、予測誤差画像を
生成する。予測誤差画像は、予測誤差符号化部１０３に
おいて符号化処理を施され、符号化データとなり出力さ
れる。符号化データは、符号列生成部１０４において可
変長符号化等を施され、符号列となり出力される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像符号化方法
および動画像復号化方法に関し、特に処理対象ピクチャ
に対して、処理済みのピクチャを参照ピクチャとして用
いるピクチャ間予測符号化処理及びピクチャ間予測復号
化処理を施す際の動き補償方法に関するものである。

【０００２】

【従来の技術】動画像符号化処理では、一般に動画像が
有する空間方向および時間方向の冗長性を利用して情報
量の圧縮が行われる。ここで一般に、空間方向の冗長性
を利用する方法としては、周波数領域への変換が用いら
れ、時間方向の冗長性を利用する方法としては、ピクチ
ャ間予測符号化処理が用いられる。ピクチャ間予測符号
化処理では、あるピクチャを符号化する際に、符号化処
理の対象となる符号化対象ピクチャに対して時間的に前
方または後方にあるピクチャを、該符号化対象ピクチャ
に対応する参照ピクチャとする。そして、その参照ピク
チャに対する対象ピクチャの動き量を検出し、該動き量
に基づいて動き補償処理を行って得られた画像データと
符号化対象ピクチャの画像データとの差分を取ることに
より時間方向の冗長性を取り除く。そしてさらに、該差
分値に対して空間方向の冗長度を取り除くことにより、
符号化対象ピクチャに対する情報量の圧縮を行う。

【０００３】ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−
４、Ｈ．２６３、Ｈ．２６Ｌ等の動画像符号化方式で
は、ピクチャ間予測符号化処理を行わない、すなわちピ
クチャ内符号化処理を行うピクチャをＩピクチャと呼
ぶ。また、時間的に符号化対象ピクチャの前方にあるピ
クチャを参照してピクチャ間予測符号化が行われるピク
チャをＰピクチャと呼び、時間的に符号化対象ピクチャ
の前方および後方にあるＩピクチャまたはＰピクチャの
両方を参照してピクチャ間予測符号化が行われるピクチ
ャをＢピクチャと呼ぶ。

【０００４】図９（ａ）は、上記の動画像符号化方式に
おける、各ピクチャと、対応する参照ピクチャとの関係
を示す図である。

【０００５】ピクチャＩ１はＩピクチャであり、ピクチ
ャＰ４、Ｐ７、Ｐ１０は、Ｐピクチャであり、ピクチャ
Ｂ２，Ｂ３、Ｂ５、Ｂ６、Ｂ８、Ｂ９は、Ｂピクチャで
ある。

【０００６】つまり、ＰピクチャＰ４、Ｐ７、Ｐ１０
は、矢印で示すように、それぞれ、ＩピクチャＩ１、Ｐ
ピクチャＰ４，ＰピクチャＰ７を参照ピクチャとして用
いてピクチャ間予測符号化が施されるものである。

【０００７】また、ＢピクチャＢ２、Ｂ３はそれぞれ、
矢印で示すように、ＩピクチャＩ１及びＰピクチャＰ４
を参照ピクチャとして用いてピクチャ間予測符号化が施
されるもの、ＢピクチャＢ５、Ｂ６はそれぞれ、矢印で
示すように、ＰピクチャＰ４及びＰピクチャＰ７を参照
ピクチャとして用いてピクチャ間予測符号化が施される
もの、ＢピクチャＢ８、Ｂ９はそれぞれ、矢印で示すよ
うに、ＰピクチャＰ７及びＰピクチャＰ１０を参照ピク
チャとして用いてピクチャ間予測符号化が施されるもの
である。

【０００８】一方、ＭＰＥＧ−４やＨ．２６Ｌ等の動画
像符号化方式では、Ｂピクチャの符号化において、ダイ
レクトモードという符号化モードを選択することができ
る。ダイレクトモードにおけるフレーム間予測方法を図
１０を用いて説明する。今、ピクチャＢ６のブロックａ
をダイレクトモードで符号化するとする。この場合、ピ
クチャＢ６の後方参照ピクチャＰ７中の、ブロックａと
同じ位置にあるブロックｂの動きベクトルｃを利用す
る。動きベクトルｃは、ブロックｂが符号化された際に
用いられた動きベクトルであり、ピクチャＰ４を参照し
ている。ブロックａは、動きベクトルｃと平行な動きベ
クトルを用いて、参照ピクチャであるピクチャＰ４とピ
クチャＰ７から双方向予測を行う。この場合のブロック
ａを符号化する際に用いる動きベクトルは、ピクチャＰ
４に対しては動きベクトルｄ、ピクチャＰ７に対しては
動きベクトルｅとなる。

【０００９】ピクチャ間予測符号化において動き補償を
行う際には、一般的にはマクロブロックと呼ばれる単位
を基本単位として処理を行う。マクロブロックの大きさ
としては、例えば縦１６×横１６画素程度の大きさが用
いられる。

【００１０】動き補償の大きさとしてマクロブロックの
大きさのみを用いると、マクロブロックよりも小さな物
体の動き等を上手く検出することができず、符号化効率
の低下が起こる。したがって、マクロブロックを複数の
ブロックに分割し、その分割ブロック毎に動き補償を行
う方法が提案されている。その一例を以下で説明する。
図３は、動き補償におけるマクロブロックの分割方法に
ついて、従来例を示す模式図である。図３においては、
縦１６画素×横１６画素の大きさを有するマクロブロッ
クをどのように分割するかを示している。分割方法とし
ては、まず大きく４通りあり、それを図３（ａ）〜
（ｄ）に示している。図３（ａ）はマクロブロックを分
割せずに動き補償を行う場合、図３（ｂ）はマクロブロ
ックを縦１６画素×横８画素の２つのブロックに分割し
て動き補償を行う場合、図３（ｃ）はマクロブロックを
縦８画素×横１６画素の２つのブロックに分割して動き
補償を行う場合、図３（ｄ）はマクロブロックを縦８画
素×横８画素の４つのブロックに分割して動き補償を行
う場合を示している。さらに、図３（ｄ）の分割方法を
選択する場合には、縦８画素×横８画素の４ブロックの
それぞれについての分割方法を、図３（ｅ）〜（ｈ）か
ら選択することができる。

【００１１】Ｐピクチャの場合における、動き補償での
マクロブロックの分割方法についての表現方法（マクロ
ブロックモード）の例を表５、Ｂに示す。表５は、マク
ロブロックの分割方法を示しており、「スキップモー
ド」は動きベクトルが０であり、かつ動き補償後の残差
データに周波数変換、量子化等の処理を施した結果、す
べての係数が０となる場合を示している。すなわち、
「スキップモード」の場合には、画像データに関する情
報は符号列中に含まれないことになる。また表６は、マ
クロブロック分割方法として、縦８画素×横８画素が選
択された場合に、さらに各８×８画素ブロックに対する
分割方法を示している。符号列中には、動き補償の際の
分割方法を示すために、表５、Ｂでの番号が記述され
る。

【００１２】また、Ｂピクチャの場合における、動き補
償でのマクロブロックの分割方法についての表現方法
（マクロブロックモード）の例を表７、８に示す。表７
は、マクロブロックの分割方法を示している。表７にお
いて「ブロック１」は、マクロブロックを縦１６画素×
横８画素、または縦８画素×横１６画素に分割した際
に、上または左に位置するブロックを示し、「ブロック
２」は下または右に位置するブロックを示すとする。ま
た表８は、マクロブロック分割方法として、縦８画素×
横８画素が選択された場合に、さらに各８×８画素ブロ
ックに対する分割方法を示している。符号列中には、動
き補償の際の分割方法を示すために、表７、８での番号
が記述される。なお、動き補償におけるマクロブロック
の分割方法の決定は、一般に所定のビット量で誤差が最
小となるものを選択することにより行う。

【００１３】

【発明が解決しようとする課題】上記従来の方法では、
マクロブロックを２つ以上に分割して動き補償を行う場
合に、スキップモード（Ｐピクチャの場合）やダイレク
トモード（Ｂピクチャの場合）が用いられていない。し
たがって、符号化効率をさらに改善する余地が残されて
いる。

【００１４】本発明は上記問題点を解決するものであ
り、マクロブロックを複数に分割して動き補償を行う際
に、従来の方法よりもさらに符号化効率を向上させるこ
とができる動画像符号化方法および動画像復号化方法を
提供することを目的とする。

【００１５】

【課題を解決するための手段】上記目的を達成するため
に、本発明の動画像符号化方法は、請求項１の構成によ
ると、動画像を構成する各ピクチャに対応する画像デー
タを符号化して符号列を生成する動画像符号化方法であ
って、符号化の対象となる対象ピクチャを、既に符号化
処理済みのピクチャを参照ピクチャとして、ピクチャ間
予測符号化を施す符号化ステップを含み、前記符号化ス
テップは、縦Ｎ画素×横Ｍ画素の大きさを有する第一の
ブロックを、縦Ｓ画素×横Ｔ画素（Ｓ≦Ｎ、Ｔ≦Ｍ）の
大きさを有する第二のブロックに分割し、前記第二のブ
ロックの単位での符号化モードとして、前記参照ピクチ
ャ内の前記第二のブロックと同一位置のブロックをコピ
ーするモードを選択可能とする特徴を有している。

【００１６】また請求項２の構成によると、動画像を構
成する各ピクチャに対応する画像データを符号化して符
号列を生成する動画像符号化方法であって、符号化の対
象となる対象ピクチャを、既に符号化処理済みのピクチ
ャを参照ピクチャとして、ピクチャ間予測符号化を施す
符号化ステップを含み、前記符号化ステップは、縦Ｎ画
素×横Ｍ画素の大きさを有する第一のブロックを、縦Ｓ
画素×横Ｔ画素（Ｓ≦Ｎ、Ｔ≦Ｍ）の大きさを有する第
二のブロックに分割し、前記第二のブロックの単位での
符号化モードとして、後方参照ピクチャ内の前記第二の
ブロックと同一位置のブロックを符号化する際に用いた
動きベクトルを利用して動き補償を行うモードを選択可
能とする特徴を有している。

【００１７】また、本発明の動画像復号化方法は、請求
項３の構成によると、動画像を構成する各ピクチャに対
応する画像データを符号化して生成された符号列を復号
化する動画像復号化方法であって、復号化の対象となる
対象ピクチャに対して、前記対象ピクチャ以外の復号化
済みのピクチャを参照ピクチャとして用いる予測復号化
を施す復号化ステップを含み、前記復号化ステップは、
縦Ｎ画素×横Ｍ画素の大きさを有する第一のブロック
を、縦Ｓ画素×横Ｔ画素（Ｓ≦Ｎ、Ｔ≦Ｍ）の大きさを
有する第二のブロックに分割し、前記第二のブロックが
前記参照ピクチャ内の前記第二のブロックと同一位置の
第三のブロックをコピーするモードとして符号化されて
いる場合には、前記第三のブロックを前記第二のブロッ
クの復号化画像とする特徴を有している。

【００１８】また請求項４の構成によると、動画像を構
成する各ピクチャに対応する画像データを符号化して生
成された符号列を復号化する動画像復号化方法であっ
て、復号化の対象となる対象ピクチャに対して、前記対
象ピクチャ以外の復号化済みのピクチャを参照ピクチャ
として用いる予測復号化を施す復号化ステップを含み、
前記復号化ステップは、縦Ｎ画素×横Ｍ画素の大きさを
有する第一のブロックを、縦Ｓ画素×横Ｔ画素（Ｓ≦
Ｎ、Ｔ≦Ｍ）の大きさを有する第二のブロックに分割
し、前記第二のブロックが後方参照ピクチャ内の前記第
二のブロックと同一位置のブロックを符号化する際に用
いた動きベクトルを利用して動き補償を行うモードによ
り符号化されている場合には、前記動きベクトルを利用
して動き補償を行うことにより、前記第二のブロックの
動き補償画像を生成する特徴を有している。

【００１９】また本発明の符号列フォーマットは、動画
像を構成する各ピクチャに対応する画像データを符号化
して生成される符号列のフォーマットであって、符号化
を生成する際には、符号化の対象となる対象ピクチャ
を、既に符号化処理済みのピクチャを参照ピクチャとし
て、ピクチャ間予測符号化を施し、前記対象ピクチャ内
の縦Ｎ画素×横Ｍ画素の大きさを有する第一のブロック
を符号化して生成する符号列は、前記第一のブロック内
の縦Ｓ画素×横Ｔ画素（Ｓ≦Ｎ、Ｔ≦Ｍ）の大きさを有
する第二のブロックが、前記参照ピクチャ内の前記第二
のブロックと同一位置のブロックをコピーする符号化モ
ードとして符号化されている場合には、前記第二のブロ
ックに対応する符号列として、前記符号化モードのみを
記述する特徴を有している。

【００２０】また、請求項６の構成によると、動画像を
構成する各ピクチャに対応する画像データを符号化して
生成される符号列のフォーマットであって、符号化を生
成する際には、符号化の対象となる対象ピクチャを、既
に符号化処理済みのピクチャを参照ピクチャとして、ピ
クチャ間予測符号化を施し、前記対象ピクチャ内の縦Ｎ
画素×横Ｍ画素の大きさを有する第一のブロックを符号
化して生成する符号列は、前記第一のブロック内の縦Ｓ
画素×横Ｔ画素（Ｓ≦Ｎ、Ｔ≦Ｍ）の大きさを有する第
二のブロックが、後方参照ピクチャ内の前記第二のブロ
ックと同一位置のブロックを符号化する際に用いた動き
ベクトルを利用して動き補償を行う符号化モードとして
符号化されている場合には、前記第二のブロックに対応
する符号列には、動きベクトル情報を記述しないという
特徴を有している。

【００２１】

【発明の実施の形態】本発明における実施の形態を図面
を参照して説明する。実施の形態１は、本発明の動画像
符号化方法でＰピクチャを処理する場合、実施の形態２
は、本発明の動画像符号化方法でＢピクチャを処理する
場合、実施の形態３は、本発明の動画像復号化方法でＰ
ピクチャを処理する場合、実施の形態４は、本発明の動
画像復号化方法でＢピクチャを処理する場合である。

【００２２】（第一の実施の形態）図１は、並べ替え用
メモリ１０１、差分演算部１０２、予測誤差符号化部１
０３、符号列生成部１０４、予測誤差復号化部１０５、
加算演算部１０６、参照ピクチャ用メモリ１０７、動き
ベクトル検出部１０８、モード選択部１０９、符号化制
御部１１０、スイッチ１１１〜１１５、動きベクトル記
憶部１１６から構成される動画像符号化方法のブロック
図である。

【００２３】入力画像は表示時間順に、ピクチャ単位で
並べ替え用メモリ１０１に入力される。並べ替え用メモ
リ１０１に入力されるピクチャの順序を図２（ａ）に示
す。図２（ａ）において、縦線はピクチャを示す。ま
た、各ピクチャの右下に示す記号は、１文字目のアルフ
ァベットがピクチャタイプ（Ｉ、ＰまたはＢ）を示し、
２文字目以降の数字が表示時間のピクチャ番号を示して
いる。並べ替え用メモリ１０１に入力された各ピクチャ
は、符号化制御部１１０からの制御により、符号化順に
並び替えられる。符号化順への並び替えは、ピクチャ間
予測符号化における参照関係に基づいて行われ、参照ピ
クチャとして用いられるピクチャが、参照ピクチャとし
て用いるピクチャよりも先に符号化されるように行われ
る。例えば、ピクチャＰ１０〜Ｐ１３の各ピクチャの参
照関係は、図２（ａ）に示す矢印の通りとする。図２
（ａ）において、矢印の始点は参照されるピクチャを示
し、矢印の終点は参照するピクチャを示している。例え
ばピクチャＰ１３は、ピクチャＰ１０を参照ピクチャと
して用いて符号化されることを示している。この場合、
図２（ａ）のピクチャを符号化順に並び替えた結果は、
図２（ｂ）のようになる。

【００２４】並べ替え用メモリ１０１で並び替えが行わ
れた各ピクチャは、マクロブロックの単位で読み出され
て処理されるとする。本実施の形態では、マクロブロッ
クは縦１６画素×横１６画素の大きさであるとする。第
一の実施の形態では、ピクチャＰ１３の符号化処理を例
とし、Ｐピクチャの処理に関して説明する。

【００２５】ピクチャＰ１３は、前方向参照を用いたピ
クチャ間予測符号化を行う。この場合の参照ピクチャは
ピクチャＰ１０となる。この参照ピクチャ（ピクチャＰ
１０）は、既に符号化が終了しており、復号化画像が参
照ピクチャ用メモリ１０７に蓄積されている。

【００２６】Ｐピクチャの符号化においては、符号化制
御部１１０は、スイッチ１１３、１１４、１１５がオン
になるように各スイッチを制御する。したがって、並べ
替え用メモリ１０１から読み出されたピクチャＰ１３の
マクロブロックは、まず動きベクトル検出部１０８、モ
ード選択部１０９、差分演算部１０２に入力される。動
きベクトル検出部１０８では、参照ピクチャ用メモリ１
０７に蓄積されたピクチャＰ１０の復号化画像データを
参照ピクチャとして用いて、マクロブロック内の各ブロ
ックに対して、動きベクトルの検出を行う。

【００２７】ここで動き補償を行う際には、図３に示す
通り、縦１６×横１６画素の大きさを有するマクロブロ
ックをまず大きく４通りに分割し、その中から分割方法
を選択できるとする。それを図３（ａ）〜（ｄ）に示し
ている。図３（ａ）はマクロブロックを分割せずに動き
補償を行う場合、図３（ｂ）はマクロブロックを縦１６
画素×横８画素の２つのブロックに分割して動き補償を
行う場合、図３（ｃ）はマクロブロックを縦８画素×横
１６画素の２つのブロックに分割して動き補償を行う場
合、図３（ｄ）はマクロブロックを縦８画素×横８画素
の４つのブロックに分割して動き補償を行う場合を示し
ている。さらに、図３（ｄ）の分割方法を選択する場合
には、縦８画素×横８画素の４ブロックのそれぞれにつ
いての分割方法を、図３（ｅ）〜（ｈ）から選択するこ
とができる。

【００２８】動きベクトル検出部１０８では、まずマク
ロブロック内の４つの縦８画素×横８画素ブロックに対
して、図３（ｅ）〜（ｈ）の分割方法で動きベクトルの
検出を行う。ここで動きベクトルの検出方法としては、
例えば動きベクトルのビット量に所定の係数を乗したも
のと、動き補償誤差（現在のブロックの画素値と予測画
像の画素値との差分の絶対値和）との和が最小となる動
き量により検出することができる。

【００２９】また動きベクトル検出部１０８では、マク
ロブロックに対して図３（ａ）〜（ｃ）の分割方法で動
きベクトルの検出を行う。そして、図３（ａ）〜（ｃ）
の分割方法で動きベクトルの検出を行う。動きベクトル
検出部１０８で検出されたこの動きベクトルは、次にモ
ード選択部１０９で用いられる。

【００３０】動きベクトル検出部１０８で検出された動
きベクトルは、次にモード選択部１０９で用いられる。
モード選択部１０９では、各８×８画素ブロックに対し
て、図３（ｅ）〜（ｈ）の４通りの分割方法、縦８画素
×横８画素の単位でスキップモードを用いた場合、縦８
画素×横８画素の単位でイントラモードを用いた場合の
６通りの中から、最も良い符号化モード（分割方法）を
決定する。ここでスキップモードとは、動きベクトルを
０、動き補償後の残差成分を０として動き補償を行う符
号化モードである。この場合には、符号化モードでスキ
ップモードであることを示せば、動きベクトルや動き補
償後の残差成分を符号列中に記述する必要がなく、符号
化効率の向上を図ることができる。さて、この符号化モ
ードを決定する際の評価尺度としては、例えば、イント
ラモードとスキップモード以外では、動きベクトルのビ
ット量と、動き補償後の残差成分（に周波数変換、量子
化等の処理を施したもの）のビット量と、８×８画素ブ
ロックの分割方法を示すビット量との和に所定の係数を
乗したものと、符号化誤差（８×８画素ブロックを符号
化／復号化したものと、元の画像データの差分の二乗
和）との和を用いることができる。また、イントラモー
ドの場合には、上記の評価尺度から、動きベクトルのビ
ット量を省いたもの、スキップモードの場合には、上記
の評価尺度から、動きベクトルのビット量、動き補償後
の残差成分のビット量を省いたもの、を用いることがで
きる。そして、この評価尺度が最小となる符号化モード
を各８×８画素ブロックの符号化モードとして選択す
る。さらに、各８×８画素ブロックで選択された符号化
モードでの評価尺度の４ブロック分の合計値が、図３
（ｄ）の分割方法での評価尺度となる。

【００３１】次にモード選択部１０９では、図３（ａ）
〜（ｃ）の各分割方法に対して、上記と同様の評価尺度
を計算する。そして、マクロブロックに対して、図３
（ａ）〜（ｃ）の３通りの分割方法での評価尺度、上記
で求めた図３（ｄ）の分割方法での評価尺度、マクロブ
ロック単位でスキップモードを用いた場合の評価尺度、
マクロブロック単位でイントラモードを用いた場合の評
価尺度、の６通りの中から、最も良い評価尺度が小さく
なるものを符号化モード（分割方法）として決定する。

【００３２】モード選択部１０９で決定された符号化モ
ードおよび動きベクトルは符号列生成部１０４に対して
出力される。ここで、符号化モードの表現方法を表１、
２に示す。まず、モード選択部１０９で選択された符号
化モードを、表１で示す中から選んで番号で表現する
（これを第一の符号化モードとする）。そして、８×８
画素ブロックの分割を選択した場合（表１の"４"を選択
した場合）には、さらに表２の中から選んで番号で表現
する（これを第二の符号化モードとする）。

【００３３】また、モード選択部１０９で決定された符
号化モードがピクチャ間予測符号化である場合には、そ
のピクチャ間予測符号化で用いられる動きベクトルを動
きベクトル記憶部１１６に記憶する。

【００３４】次に、モード選択部１０９で決定された符
号化モードに基づいた参照画像が、差分演算部１０２と
加算演算部１０６とに出力される。ただし、ピクチャ内
符号化（イントラモード）が選択された場合には、参照
画像は出力されない。また、モード選択部１０９でピク
チャ内符号化（イントラモード）が選択された場合に
は、スイッチ１１１、１１２はａに接続するように制御
し、ピクチャ間予測符号化（イントラモード以外）が選
択された場合には、スイッチ１１１、１１２はｂに接続
するように制御する。以下では、モード選択部１０９で
ピクチャ間予測符号化が選択された場合について説明す
る。

【００３５】差分演算部１０２には、マクロブロックの
画像データ以外に、モード選択部１０９から参照画像が
入力される。差分演算部１０９では、マクロブロックの
画像データと参照画像との差分を演算し、予測誤差画像
を生成し、予測誤差符号化部１０３に出力する。

【００３６】予測誤差符号化部１０３では、入力された
予測誤差画像に対して周波数変換や量子化等の符号化処
理を施すことにより、符号化データを生成して出力す
る。ここで例えば、周波数変換や量子化の処理は、縦４
×横４画素や縦８×横８画素の単位で行うものとする。
予測誤差符号化部１０３から出力された符号化データ
は、符号列生成部１０４と予測誤差復号化部１０５に入
力される。

【００３７】符号列生成部１０４では、入力された符号
化データに対して、可変長符号化等を施し、さらにモー
ド選択部１０９から入力された動きベクトルの情報、符
号化モードの情報、その他のヘッダ情報、等を付加する
ことにより符号列を生成する。

【００３８】この際、第一の符号化モードが表１の"４"
であり（すなわち、縦８画素×横８画素に分割して動き
補償を行う）、各８×８画素ブロックにおいて、第二の
符号化モードとしてスキップモード（表２における"
０"）が選択されている場合、動きベクトルや動き補償
後の残差成分は符号列中には記述されない。

【００３９】図６にマクロブロックの符号列の記述例を
示す。図６（ａ）は、第一の符号化モードが表１の"０"
である場合を示している。この場合はマクロブロックが
スキップモードで符号化されるため、動きベクトルや残
差成分は符号列中には記述されない。

【００４０】図６（ｂ）は、第一の符号化モードが表１
の"１"〜"３"である場合を示している。この場合はマク
ロブロックの分割が図３の（ａ）〜（ｃ）に対応してお
り、分割数に応じた動きベクトルと、マクロブロック全
体の残差成分が符号列中に記述される。

【００４１】図６（ｃ）は、第一の符号化モードが表１
の"４"である場合を示している。この場合は、マクロブ
ロックの分割が図３の（ｄ）に対応しており、第一の符
号化モードに続いて、各８×８画素ブロックに対する第
二の符号化モードが記述される。そして、全分割数に応
じた動きベクトルと、マクロブロック全体の残差成分が
符号列中に記述される。ただし、各８×８画素ブロック
に対する第二の符号化モードがスキップモードである場
合には、動きベクトルと、残差成分は符号列中に記述さ
れない。

【００４２】予測誤差復号化部１０５では、入力された
符号化データに対して、逆量子化や逆周波数変換等の復
号化処理を施し、復号化差分画像を生成して出力する。
復号化差分画像は加算演算部１０６において、予測画像
と加算されることにより復号化画像となり、参照ピクチ
ャ用メモリ１０７に蓄積される。

【００４３】以上の処理により、ピクチャＰ１３の１マ
クロブロックの処理が完了する。同様の処理により、ピ
クチャＰ１３の残りのマクロブロックに対して、符号化
処理が行われる。

【００４４】以上のように本発明の動画像符号化方法で
は、動き補償を行う際に、マクロブロックを分割して分
割ブロック毎に動き補償を行う。そして、Ｐピクチャを
符号化する際には、分割単位毎にもスキップモードを選
択できるようにし、スキップモードを選択した場合に
は、動きベクトルや残差成分を符号列中に記述しない。

【００４５】また、本発明の符号列フォーマットは、マ
クロブロックを分割して符号化し符号列を生成する際
に、分割単位毎にスキップモードが選択された場合に
は、その分割単位に相当する符号列中には、符号化モー
ドのみを記述する。

【００４６】このような動作により、本発明の動画像符
号化方法を用いることにより、従来の方法と比較し、符
号化モードの種類（符号化モードを表現するビット量）
はあまり増やさずに、動きベクトルや残差成分のビット
量を削減することができる。これにより、符号化効率を
向上させることができる。

【００４７】なお、本実施の形態においては、マクロブ
ロックは水平１６×垂直１６画素の単位で、動き補償は
図３に示す分割方法で、ブロック予測誤差画像の符号化
は縦４×横４画素や縦８×横８画素の単位で処理する場
合について説明したが、これらの単位は別の画素数、分
割方法でも良い。

【００４８】（第二の実施の形態）第一の実施の形態で
は、Ｐピクチャの処理について説明したが、第二の実施
の形態ではＢピクチャの処理について説明する。ここで
は図１にブロック図を示す本発明の動画像符号化方法を
用いて、図２に示すピクチャＢ１１を符号化する場合に
ついて説明する。

【００４９】ピクチャＢ１１はＢピクチャであるので、
双方向参照を用いたピクチャ間予測符号化を行う。この
場合の参照画像は、前方参照ピクチャがピクチャＰ１
０、後方参照ピクチャがＰ１３となる。Ｂピクチャの処
理においては、符号化制御部１１０は、スイッチ１１３
がオン、スイッチ１１４、１１５がオフになるように各
スイッチを制御する。これにより、並べ替え用メモリ１
０１から読み出されたピクチャＢ１１のマクロブロック
は、動きベクトル検出部１０８、モード選択部１０９、
差分演算部１０２に入力される。

【００５０】動きベクトル検出部１０８では、参照ピク
チャ用メモリ１０７に蓄積されたピクチャＰ１０の復号
化画像データを前方参照ピクチャとして、ピクチャＰ１
３の復号化画像データを後方参照ピクチャとして用いる
ことにより、マクロブロックに含まれる各ブロックの前
方動きベクトルと後方動きベクトルの検出を行う。動き
補償を行う際には、図３に示す通り、縦１６×横１６画
素の大きさを有するマクロブロックをまず大きく４通り
に分割し、その中から分割方法を選択できるとする。そ
れを図３（ａ）〜（ｄ）に示している。図３（ａ）はマ
クロブロックを分割せずに動き補償を行う場合、図３
（ｂ）はマクロブロックを縦１６画素×横８画素の２つ
のブロックに分割して動き補償を行う場合、図３（ｃ）
はマクロブロックを縦８画素×横１６画素の２つのブロ
ックに分割して動き補償を行う場合、図３（ｄ）はマク
ロブロックを縦８画素×横８画素の４つのブロックに分
割して動き補償を行う場合を示している。さらに、図３
（ｄ）の分割方法を選択する場合には、縦８画素×横８
画素の４ブロックのそれぞれについての分割方法を、図
３（ｅ）〜（ｈ）から選択することができるとする。

【００５１】動きベクトル検出部１０８では、まずマク
ロブロック内の４つの縦８×横８画素ブロックに対し
て、図３（ｅ）〜（ｈ）の分割方法で動きベクトルの検
出を行う。動きベクトルの検出は、前方向動きベクトル
と後方向動きベクトルとについて行う。ここで動きベク
トルの検出方法としては、例えば動きベクトルのビット
量に所定の係数を乗したものと、動き補償誤差（現在の
ブロックの画素値と予測画像の画素値との差分の絶対値
和）との和が最小となる動き量により検出することがで
きる。

【００５２】また動きベクトル検出部１０８では、マク
ロブロックに対して図３（ａ）〜（ｃ）の分割方法で動
きベクトルの検出を行う。すなわち、図３（ａ）〜
（ｃ）の分割方法で前方向予測動きベクトルと後方向予
測動きベクトルとの検出を行う。動きベクトル検出部１
０８で検出されたこの動きベクトルは、次にモード選択
部１０９で用いられる。

【００５３】モード選択部１０９では、各８×８画素ブ
ロックに対して、図３（ｅ）〜（ｈ）の４通りの分割方
法のそれぞれについて前方向予測のみを用いた場合、後
方向予測のみを用いた場合、双方向予測を用いた場合の
３種類、の合計１２種類、および縦８画素×横８画素の
単位でダイレクトモードを用いた場合、縦８画素×横８
画素の単位でイントラモードを用いた場合の総合計１４
通りの中から、最も良い符号化モード（分割方法）を決
定する。ここでダイレクトモードは、従来の方法におい
て説明したのと同様に、後方参照ピクチャ中で、符号化
対象のブロックと同一位置にあるブロックを符号化した
際に用いた動きベクトルをスケーリングすることにより
得られる動きベクトルを用いて、双方向予測を行う符号
化モードである。この場合、符号化モードでダイレクト
モードであることを示せば、８×８画素ブロックに対す
る動きベクトル情報を符号列中に記述する必要がないた
め、符号化効率の向上を図ることができる。

【００５４】さて、この符号化モードを決定する際の評
価尺度としては、例えば、イントラモードとダイレクト
モード以外では、動きベクトルのビット量と、動き補償
後の残差成分（に周波数変換、量子化処理を施したも
の）のビット量と、８×８ブロックの分割方法を示すビ
ット量との和に所定の係数を乗したものと、符号化誤差
（８×８ブロックを符号化／復号化したものと、元の画
像データの差分の二乗和）との和を用いることができ
る。また、イントラモード、ダイレクトモードの場合に
は、上記の評価尺度から、動きベクトルのビット量を省
いたものを用いることができる。そして、この評価尺度
が最小となる符号化モードを各８×８画素ブロックの符
号化モードとして選択する。さらに、各８×８画素ブロ
ックで選択された符号化モードでの評価尺度の４ブロッ
ク分の合計値が、図３（ｄ）の分割方法での評価尺度と
なる。

【００５５】次にモード選択部１０９では、図３（ａ）
〜（ｃ）の各分割方法に対して、上記と同様の評価尺度
を計算する。ただしこの場合には、各分割単位に対し
て、ダイレクトモード、前方向予測、後方向予測、双方
向予測を用いた場合のすべての組み合わせに対して評価
尺度の計算を行う。

【００５６】そして、マクロブロックに対して、図３
（ａ）〜（ｃ）の３通りの分割方法での評価尺度（合計
３４種類）、上記で求めた図３（ｄ）の分割方法での評
価尺度、マクロブロック単位でイントラモードを用いた
場合の評価尺度、の合計３６通りの中から、最も良い評
価尺度が小さくなるものを符号化モード（分割方法）と
して決定する。

【００５７】モード選択部１０９で決定された符号化モ
ードおよび動きベクトルは符号列生成部１０４に対して
出力される。ここで、符号化モードの表現方法を表３、
４に示す。まず、モード選択部１０９で選択された符号
化モードを、表３で示す中から選んで、その番号で表現
する（これを第一の符号化モードとする）。そして、第
一の符号化モードで"３４"（８×８画素ブロックの分
割）を選択した場合には、さらに表４の中から選んで、
その番号で表現する（これを第二の符号化モードとす
る）。

【００５８】モード選択部１０９で決定された符号化モ
ードは符号列生成部１０４に対して出力される。また、
モード選択部１０４で決定された符号化モードに基づい
た参照画像が差分演算部１０２と加算演算部１０６に出
力される。ただし、イントラモードが選択された場合に
は、参照画像は出力されない。また、モード選択部１０
９でピクチャ内符号化（イントラモード）が選択された
場合には、スイッチ１１１、１１２はａに接続するよう
に制御し、ピクチャ間予測符号化（イントラモード以
外）が選択された場合には、スイッチ１１１、１１２は
ｂに接続するように制御する。以下では、モード選択部
１０９でピクチャ間予測符号化が選択された場合につい
て説明する。

【００５９】差分演算部１０２には、モード選択部１０
９から参照画像が入力される。差分演算部１０９では、
ピクチャＢ１１のマクロブロックと参照画像との差分を
演算し、予測誤差画像を生成し出力する。

【００６０】予測誤差画像は予測誤差符号化部１０３に
入力される。予測誤差符号化部１０３では、入力された
予測誤差画像に対して周波数変換や量子化等の符号化処
理を施すことにより、符号化データを生成して出力す
る。予測誤差符号化部１０３から出力された符号化デー
タは、符号列生成部１０４に入力される。

【００６１】符号列生成部１０４では、入力された符号
化データに対して、可変長符号化等を施し、さらにモー
ド選択部１０９から入力された符号化モード、動きベク
トル、ヘッダ情報、等の情報を付加することにより符号
列を生成し出力する。

【００６２】図７にマクロブロックの符号列の記述例を
示す。図７（ａ）は、第一の符号化モードが表１の"０"
である場合を示している。この場合はマクロブロックが
ダイレクトモードで符号化されるため、動きベクトルは
符号列中には記述されない。

【００６３】図７（ｂ）は、第一の符号化モードが表３
の"１"〜"３３"である場合を示している。この場合はマ
クロブロックの分割が図３の（ａ）〜（ｃ）に対応して
おり、分割数に応じた動きベクトルと、マクロブロック
全体の残差成分が符号列中に記述される。ただし、動き
ベクトルの数は、その符号化モードにより異なる。例え
ば、第一の符号化モードが表３の"１"である場合は１
つ、"２"、"３"である場合は２つ、"４"〜"１１"である
場合には１つ、"１２"〜"１５"である場合には２つ、等
となる。これは、分割されたマクロブロックのうち、一
方がダイレクトモードである場合には、動きベクトルは
符号列中に記述されないからである。

【００６４】図６（ｃ）は、第一の符号化モードが表３
の"３４"である場合を示している。この場合は、マクロ
ブロックの分割が図３の（ｄ）に対応しており、第一の
符号化モードに続いて、各８×８画素ブロックに対する
第二の符号化モードが記述される。そして、全分割数に
応じた動きベクトルと、マクロブロック全体の残差成分
が符号列中に記述される。ただし、各８×８画素ブロッ
クに対する第二の符号化モードがダイレクトモードやイ
ントラモードである場合には、その８×８画素ブロック
に対応する動きベクトルは符号列中に記述されない。

【００６５】以上の処理により、ピクチャＢ１１の１マ
クロブロックの処理が完了する。同様の処理により、ピ
クチャＢ１１の残りのマクロブロックに対して、符号化
処理が行われる。以上のように本発明の動画像符号化方
法では、動き補償を行う際に、マクロブロックを分割し
て分割ブロック毎に動き補償を行う。そして、Ｂピクチ
ャを符号化する際には、分割単位毎にもダイレクトモー
ドを選択できるようにし、ダイレクトモードを選択した
場合には、動きベクトルを符号列中に記述しない。

【００６６】また、本発明の符号列フォーマットは、マ
クロブロックを分割して符号化し符号列を生成する際
に、分割単位毎にダイレクトモードが選択された場合に
は、その分割単位に相当する符号列中には、動きベクト
ルの情報は記述しない。

【００６７】このような動作により、本発明の動画像符
号化方法を用いることにより、従来の方法と比較し、符
号化モードの種類（符号化モードを表現するビット量）
はあまり増やさずに、動きベクトルのビット量を削減す
ることができる。これにより、全体の符号化効率を向上
させることができる。

【００６８】なお、本実施の形態においては、マクロブ
ロックは水平１６×垂直１６画素の単位で、動き補償は
図３に示す分割方法で、ブロック予測誤差画像の符号化
は縦４×横４画素や縦８×横８画素の単位で処理する場
合について説明したが、これらの単位は別の画素数、分
割方法でも良い。また、本実施の形態においては、他の
ブロックの動きベクトルを利用して画像を符号化する方
法として、ダイレクトモードを例に挙げて説明したが、
これは他の方法であっても良い。

【００６９】（第三の実施の形態）本発明の第三の実施
の形態について、図４を用いて説明する。図４は、符号
列解析部４０１、予測誤差復号化部４０２、モード復号
部４０３、動き補償復号部４０５、動きベクトル記憶部
４０６、フレームメモリ４０７、加算演算部４０８、ス
イッチ４０９、４１０から構成される動きベクトル復号
化方法のブロック図である。入力される符号列中のピク
チャの順序は、図５（ａ）の通りであるとする。第三の
実施の形態では、ピクチャＰ１３の復号化処理について
順に説明する。

【００７０】ピクチャＰ１３の符号列は符号列解析部４
０１に入力される。符号列解析部４０１では、入力され
た符号列から、各種データの抽出を行う。ここで各種デ
ータとは、符号化モードや動きベクトルの情報等であ
る。抽出された符号化モードの情報は、モード復号部４
０３に対して出力される。また、抽出された動きベクト
ルの情報は、動き補償復号部４０５に対して出力され
る。さらに、予測誤差符号化データは予測誤差復号化部
４０２に対して出力される。

【００７１】モード復号部４０３では、符号列から抽出
された符号化モードを参照し、スイッチ４０９と４１０
の制御を行う。ここで、符号化モードは、表１、２を用
いて符号化されているとする。またモード復号部４０３
では、符号化モードの情報を動き補償部に対しても出力
する。

【００７２】予測誤差復号化部４０２では、入力された
予測誤差符号化データの復号化を行い、予測誤差画像を
生成する。生成された予測誤差画像はスイッチ４０９に
対して出力される。生成された予測誤差画像は、スイッ
チ４０９がａ、ｂのいずれに接続されているかにより、
スイッチ４１０か加算演算部４０８かのいずれかに対し
て出力される。

【００７３】動き補償復号部４０５は、符号列解析部４
０１から入力された、動きベクトルの情報に基づいて、
フレームメモリ４０７から動き補償画像を取得する。こ
のようにして生成された動き補償画像は加算演算部４０
８に対して出力される。

【００７４】また、動き補償復号部４０５は、Ｐピクチ
ャの復号化を行う場合には、動きベクトルを動きベクト
ル記憶部４０６に記憶する。加算演算部４０８では、入
力された予測誤差画像と動き補償画像とを加算し、復号
化画像を生成する。生成された復号化画像はスイッチ４
１０を介してフレームメモリ４０７に対して出力され
る。

【００７５】さて、以下では、各種の符号化モードによ
って、予測誤差復号部４０２、モード復号部４０３、動
き補償復号部４０５がどのように動作するかを説明す
る。まず、モード復号部４０３において得られた第一の
符号化モードが、表１の"０"である場合には、そのマク
ロブロックをスキップモードとして処理する。この場
合、動きベクトルの情報は符号列中に含まれていない
が、モード復号部４０３は、動き補償部４０５に対して
動き０の動きベクトルを出力する。また、モード復号部
４０３は、スイッチ４０９、４１０をｂに接続するよう
に制御する。また、スキップモードの場合には、予測誤
差符号化データは符号列中に含まれていないので、予測
誤差復号化部４０２はすべて０のデータを出力する。動
き補償復号部４０５は、モード復号部４０３か入力され
た動きベクトル０の情報に基づいて、フレームメモリ４
０７から動き補償画像を取得する。

【００７６】次に、モード復号部４０３において得られ
た第一の符号化モードが、表１の"１"、"２"、"３"であ
る場合には、そのマクロブロックを前方向予測のフレー
ム間符号化されているマクロブロックとして処理する。
ただし、モード選択が、表１の"１"である場合には、図
３（ａ）のようにマクロブロックが分割されずに動き補
償されており、表１の"２"である場合には、図３（ｂ）
のようにマクロブロックが２つに分割されて動き補償さ
れており、表１の"３"である場合には、図３（ｃ）のよ
うにマクロブロックが２つに分割されて動き補償されて
いると判断する。モード復号部４０３は、動き補償部４
０５に対して、マクロブロックの分割方法および前方向
予測の動き補償を行うことを示す情報を出力する。ま
た、モード復号部４０３は、スイッチ４０９、４１０を
ｂに接続するように制御する。予測誤差復号化部４０２
は、符号列解析部４０１から出力された予測誤差符号化
データの復号化を行い、予測誤差画像を生成する。動き
補償復号部４０５は、符号列解析部４０１から出力され
た動きベクトルの情報と、モード復号部４０３から入力
されたマクロブロックの分割方法および前方向予測の動
き補償を行うことを示す情報とを用いて、フレームメモ
リ４０７から動き補償画像を取得する。ここで、符号列
解析部４０１からは、マクロブロックの分割数に応じた
動きベクトルが出力されてくる。

【００７７】次に、モード復号部４０３において得られ
た第一の符号化モードが、表１の"５"である場合には、
そのマクロブロックをイントラマクロブロックとして処
理する。モード復号部４０３は、動き補償部４０５に対
して、動き補償を行う必要がないことを示す情報を出力
する。また、モード復号部４０３は、スイッチ４０９、
４１０をａに接続するように制御する。予測誤差復号化
部４０２は、符号列解析部４０１から出力された予測誤
差符号化データの復号化を行い、予測誤差画像を生成す
る。この予測誤差画像は、スイッチ４０９、４１０を介
してフレームメモリ４０７に蓄積される。

【００７８】次に、モード復号部４０３において得られ
た第一の符号化モードが、表１の"４"である場合には、
マクロブロックは図３（ｄ）のように４つに分割されて
動き補償されていることになる。この場合、続いて符号
列解析部４０１から、表２に対応する第二の符号化モー
ドが４つ出力される。８×８画素ブロック（以下では単
にブロックと呼ぶ）の処理は以下の通りとなる。

【００７９】モード復号部４０３において得られた第二
の符号化モードが表２の"０"である場合、そのブロック
をスキップモードとして処理する。この場合、動きベク
トルの情報は符号列中に含まれていないが、モード復号
部４０３は、動き補償部４０５に対して動き０の動きベ
クトルを出力する。また、モード復号部４０３は、スイ
ッチ４０９、４１０をｂに接続するように制御する。ま
た、スキップモードの場合には、予測誤差符号化データ
は符号列中に含まれていないので、予測誤差復号化部４
０２はすべて０のデータを出力する。動き補償復号部４
０５は、モード復号部４０３か入力された動きベクトル
０の情報に基づいて、フレームメモリ４０７から動き補
償画像を取得する。

【００８０】次に、第二の符号化モードが、表２の"１"
〜"４"である場合には、そのマクロブロックを前方向予
測のフレーム間符号化されているマクロブロックとして
処理する。ただし、第二の符号化モードが、表１の"１"
である場合には、図３（ｅ）のようにブロックが分割さ
れずに動き補償されており、表２の"２"である場合に
は、図３（ｆ）のようにブロックが２つに分割されて動
き補償されており、表１の"３"である場合には、図３
（ｇ）のようにブロックが２つに分割されて動き補償さ
れており、表１の"４"である場合には、図３（ｈ）のよ
うにブロックが４つに分割されて動き補償されていると
判断する。モード復号部４０３は、動き補償部４０５に
対して、ブロックの分割方法および前方向予測の動き補
償を行うことを示す情報を出力する。また、モード復号
部４０３は、スイッチ４０９、４１０をｂに接続するよ
うに制御する。予測誤差復号化部４０２は、符号列解析
部４０１から出力された予測誤差符号化データの復号化
を行い、予測誤差画像を生成する。動き補償復号部４０
５は、符号列解析部４０１から出力された動きベクトル
の情報と、モード復号部４０３か入力されたブロックの
分割方法および前方向予測の動き補償を行うことを示す
情報とを用いて、フレームメモリ４０７から動き補償画
像を取得する。また、符号列解析部４０１からは、ブロ
ックの分割数に応じた動きベクトルが出力されてくる。

【００８１】次に、第二の符号化モードが表２の"５"で
ある場合には、そのブロックをイントラモード、すなわ
ち動き補償を行わないモードとして処理する。モード復
号部４０３は、動き補償部４０５に対して、動き補償を
行う必要がないことを示す情報を出力する。また、モー
ド復号部４０３は、スイッチ４０９、４１０をａに接続
するように制御する。予測誤差復号化部４０２は、符号
列解析部４０１から出力された予測誤差符号化データの
復号化を行い、予測誤差画像を生成する。この予測誤差
画像は、スイッチ４０９、４１０を介してフレームメモ
リ４０７に蓄積される。以上のようにして、ピクチャＰ
１３の１マクロブロックの処理が完了する。同様にし
て、ピクチャＰ１３のマクロブロックが順に復号化され
る。

【００８２】以上のように、本発明の動画像復号化方法
では、動き補償を用いて符号化された符号列を復号化す
る際に、動き補償等の方法を示す符号化モードの情報に
基づいて復号化動作を切り替える。この際、マクロブロ
ックが所定の大きさ以下に分割されて動き補償されてい
る場合には、さらに分割単位毎に付加されているモード
選択情報に基づいて復号化を行う。ここで分割単位がス
キップモードで符号化されている場合、前方予測ピクチ
ャの同一位置にある分割単位の画像をそのまま復号化画
像として用いる。これにより、正しく復号化を行うこと
ができる。

【００８３】なお、本実施の形態では、マクロブロック
を縦１６画素×横１６画素の大きさとし、マクロブロッ
クを図３に示す分割方法で分割し、表１および表２に示
す符号化モードの情報から選択されて符号化されている
としたが、これらは異なるマクロブロックの大きさ、異
なる分割方法、異なる符号化モードの組み合わせであっ
ても良い。

【００８４】（第四の実施の形態）第三の実施の形態で
は、本発明の動画像復号化方法について、Ｐピクチャの
処理に関して説明したが、第四の実施の形態ではＢピク
チャの処理に関して説明する。ここでは図４にブロック
図を示す本発明の動画像符号化方法を用いて、図５に示
すピクチャＢ１１を符号化する場合について説明する。

【００８５】ピクチャＢ１１の符号列は符号列解析部４
０１に入力される。符号列解析部４０１では、入力され
た符号列から、各種データの抽出を行う。ここで各種デ
ータとは、符号化モードや動きベクトルの情報等であ
る。抽出された符号化モードの情報は、モード復号部４
０３に対して出力される。また、抽出された動きベクト
ル情報は、動き補償復号部４０５に対して出力される。
さらに、予測誤差符号化データは予測誤差復号化部４０
２に対して出力される。

【００８６】モード復号部４０３では、符号列から抽出
された符号化モードの情報を参照し、スイッチ４０９と
４１０の制御を行う。ここで、符号化モードの情報は、
表３、４を用いて符号化されているとする。

【００８７】予測誤差復号化部４０２では、入力された
予測誤差符号化データの復号化を行い、予測誤差画像を
生成する。生成された予測誤差画像はスイッチ４０９に
対して出力される。生成された予測誤差画像は、スイッ
チ４０９がａ、ｂのいずれに接続されているかにより、
スイッチ４１０か加算演算部４０８かのいずれかに対し
て出力される。

【００８８】動き補償復号部４０５は、符号列解析部４
０１から入力された動きベクトルに基づいて、フレーム
メモリ４０７から動き補償画像を取得する。このように
して生成された動き補償画像は加算演算部４０８に対し
て出力される。

【００８９】加算演算部４０８では、入力された予測誤
差画像と動き補償画像とを加算し、復号化画像を生成す
る。生成された復号化画像はスイッチ４１０を介してフ
レームメモリ４０７に対して出力される。さて、以下で
は、各種の符号化モードによって、予測誤差復号部４０
２、モード復号部４０３、動き補償復号部４０５がどの
ように動作するかを説明する。

【００９０】まず、モード復号部４０３において得られ
た第一の符号化モードが、表３の"０"〜"３"である場合
には、そのマクロブロックを分割せずに動き補償を行
う。その際の動き補償の予測方法（ダイレクトモード、
前方向予測、後方向予測、双方向予測）は、第一の符号
化モードの値により決定され、それが動き補償復号化部
４０５に対して出力される。また、モード復号部４０３
は、スイッチ４０９、４１０をｂに接続するように制御
する。動き補償復号部４０５は、符号列解析部４０１か
ら出力された動きベクトルの情報と、モード復号部４０
３か入力されたマクロブロックの分割方法および動き補
償における予測方向を示す情報とを用いて、フレームメ
モリ４０７から動き補償画像を取得する。ただし、第一
の符号化モードが"０" （ダイレクトモード）の場合に
は、符号列中には動きベクトル情報は含まれない。この
場合、動きベクトル記憶部４０６から、後方参照ピクチ
ャ（ピクチャＰ１３）を復号化した際に用いた、同一位
置のマクロブロックの動きベクトルを取得し、それをス
ケーリングすることにより得られる動きベクトルを用い
て、双方向予測することにより、動き補償画像を生成す
る

【００９１】次に、モード復号部４０３において得られ
た第一の符号化モードが、表３の"４"〜、"１５"である
場合には、マクロブロックを２つに分割して、動き補償
を行う。分割の形状としては、図３（ｂ）または図３
（ｃ）となる。この際に、各分割単位でどのような動き
補償を行うかは、第一の符号化モードの値により決定さ
れる。第一の符号化モードが、表３の"４"〜、"１５"で
ある場合、分割単位のいずれか一方がダイレクトモード
で動き補償されており、もう一方が前方向予測、後方向
予測、双方向予測のいずれかで動き補償されている。モ
ード復号部４０３は、動き補償部４０５に対して、マク
ロブロックの分割方法および各分割単位での動き補償の
予測方向を示す情報を出力する。また、モード復号部４
０３は、スイッチ４０９、４１０をｂに接続するように
制御する。予測誤差復号化部４０２は、符号列解析部４
０１から出力された予測誤差符号化データの復号化を行
い、予測誤差画像を生成する。動き補償復号部４０５
は、符号列解析部４０１から出力された動きベクトルの
情報と、モード復号部４０３か入力されたマクロブロッ
クの分割方法および前方向予測の動き補償を行うことを
示す情報とを用いて、フレームメモリ４０７から動き補
償画像を取得する。ここで、符号列解析部４０１から
は、ダイレクトモードではない分割単位に対応する動き
ベクトルが出力されてくる。ダイレクトモードで動き補
償されている分割単位に対しては、符号列中には動きベ
クトル情報は含まれていない。この場合、動きベクトル
記憶部４０６から、後方参照ピクチャであるピクチャＰ
１３を復号化した際に用いた、同一位置のブロックの動
きベクトルを取得し、それをスケーリングすることによ
り得られる動きベクトルを用いて、双方向予測すること
により、動き補償画像を生成する。

【００９２】次に、モード復号部４０３において得られ
た第一のモード選択情報が、表３の"１６"〜、"３３"で
ある場合には、マクロブロックを２つに分割して、動き
補償を行う。これらの場合の分割の形状としては、図３
（ｂ）または図３（ｃ）となる。この際に、各分割単位
でどのような動き補償を行うかは、第一の符号化モード
の値により決定される。第一の符号化モードが、表３
の"１６"〜、"３３"である場合、分割単位のいずれも、
前方向予測、後方向予測、双方向予測で動き補償されて
いる。モード復号部４０３は、動き補償部４０５に対し
て、マクロブロックの分割方法および各分割単位での動
き補償の予測方向を示す情報を出力する。また、モード
復号部４０３は、スイッチ４０９、４１０をｂに接続す
るように制御する。予測誤差復号化部４０２は、符号列
解析部４０１から出力された予測誤差符号化データの復
号化を行い、予測誤差画像を生成する。動き補償復号部
４０５は、符号列解析部４０１から出力された動きベク
トルの情報と、モード復号部４０３か入力されたマクロ
ブロックの分割方法および前方向予測の動き補償を行う
ことを示す情報とを用いて、フレームメモリ４０７から
動き補償画像を取得する。ここで、符号列解析部４０１
からは、各分割単位に対応する動きベクトルが出力され
てくる。

【００９３】次に、モード復号部４０３において得られ
た第一の符号化モードが、表３の"３５"である場合に
は、そのマクロブロックをイントラマクロブロックとし
て処理する。モード復号部４０３は、動き補償部４０５
に対して、動き補償を行う必要がないことを示す情報を
出力する。また、モード復号部４０３は、スイッチ４０
９、４１０をａに接続するように制御する。予測誤差復
号化部４０２は、符号列解析部４０１から出力された予
測誤差符号化データの復号化を行い、予測誤差画像を生
成する。この予測誤差画像は、スイッチ４０９、４１０
を介してフレームメモリ４０７に蓄積される。

【００９４】次に、モード復号部４０３において得られ
た第一の符号化モードが、表１の"３４"である場合に
は、マクロブロックは図３（ｄ）のように４つに分割さ
れていることになる。この場合、続いて符号列解析部４
０１から、表４に対応する第二の符号化モードが４つ出
力される。各８×８画素ブロック（以下では単にブロッ
クと呼ぶ）の処理は以下の通りとなる。

【００９５】モード復号部４０３において得られた第二
の符号化モードが表４の"０"である場合、そのブロック
をダイレクトモードとして処理する。この場合、モード
復号部４０３は、スイッチ４０９、４１０をｂに接続す
るように制御する。予測誤差復号化部４０２は、符号列
解析部４０１から出力された予測誤差符号化データの復
号化を行い、予測誤差画像を生成する。また、動きベク
トルの情報は符号列中に含まれていない。この場合、動
きベクトル記憶部４０６から、後方参照ピクチャである
ピクチャＰ１３を復号化した際に用いた、同一位置のブ
ロックの動きベクトルを取得し、それをスケーリングす
ることにより得られる動きベクトルを用いて、双方向予
測することにより、動き補償画像を生成する。

【００９６】次に、第二の符号化モードが、表４の"１"
〜"１２"である場合には、各分割方法および予測方向に
応じてフレーム間符号化されているブロックとして処理
する。ただし、第二のモード選択が、表４の"１"〜"３"
である場合には、図３（ｅ）のようにブロックが分割さ
れずに動き補償されており、表４の"４"、"６"、"８"で
ある場合には、図３（ｆ）のようにブロックが２つに分
割されて動き補償されており、表４の"５"、"７"、"９"
である場合には、図３（ｇ）のようにブロックが２つに
分割されて動き補償されており、表４の"１０"〜"１１"
である場合には、図３（ｈ）のようにブロックが４つに
分割されて動き補償されていると判断する。モード復号
部４０３は、動き補償部４０５に対して、ブロックの分
割方法および動き補償の予測方向を示す情報を出力す
る。また、モード復号部４０３は、スイッチ４０９、４
１０をｂに接続するように制御する。予測誤差復号化部
４０２は、符号列解析部４０１から出力された予測誤差
符号化データの復号化を行い、予測誤差画像を生成す
る。動き補償復号部４０５は、符号列解析部４０１から
出力された動きベクトルの情報と、モード復号部４０３
か入力されたブロックの分割方法および動き補償の予測
方向を示す情報とを用いて、フレームメモリ４０７から
動き補償画像を取得する。ここで、符号列解析部４０１
からは、ブロックの分割数に応じた動きベクトルが出力
されてくるものとする。

【００９７】次に、第二の符号化モードが表４の"１３"
である場合には、そのブロックをイントラモード、すな
わち動き補償を行わないモードとして処理する。モード
復号部４０３は、動き補償部４０５に対して、動き補償
を行う必要がないことを示す情報を出力する。また、モ
ード復号部４０３は、スイッチ４０９、４１０をａに接
続するように制御する。予測誤差復号化部４０２は、符
号列解析部４０１から出力された予測誤差符号化データ
の復号化を行い、予測誤差画像を生成する。この予測誤
差画像は、スイッチ４０９、４１０を介してフレームメ
モリ４０７に蓄積される。

【００９８】例えば図８において、ブロック８０１、８
０２は、縦１６画素×横８画素ブロックを示しており、
これら２つのブロックでマクロブロックを構成している
とする。このマクロブロックの第一の符号化モードは表
３の"６"である。したがって、ブロック８０１はそれぞ
れ、縦１６画素×横８画素の単位で動き補償されてお
り、またそれぞれは、前方向予測、ダイレクトモードで
動き補償されていることになる。ブロック８０１に対し
ては、動きベクトル８０３の情報が符号列中に記述され
ているので、それを用いて動き補償を行う。ブロック８
０２に対しては、後方参照ピクチャであるピクチャＰ１
３中の、ブロック８０２と同一位置にあるブロック８０
８を復号化した際に用いた動きベクトル８０５をスケー
リングし、前方向動きベクトル８０６と後方向動きベク
トル８０７とを得る。これらの動きベクトルにより、双
方向予測してブロック８０２に対して動き補償を行う。
以上のようにして、ピクチャＢ１１の１マクロブロック
の処理が完了する。同様にして、ピクチャＰ１１のマク
ロブロックが順に復号化される。

【００９９】以上のように、本発明の動画像復号化方法
では、動き補償を用いて符号化された符号列を復号化す
る際に、動き補償等の方法を示すモード選択情報に基づ
いて復号化動作を切り替える。この際、マクロブロック
が所定の大きさ以下に分割されて動き補償されている場
合には、さらに分割単位毎に付加されているモード選択
情報に基づいて復号化を行う。ここで分割単位がダイレ
クトモードで符号化されている場合、後方参照ピクチャ
内の同一位置にあるブロックを復号化する際に用いた動
きベクトルをスケーリングすることにより得られる動き
ベクトルを用いて双方向参照することにより、動き補償
画像を生成する。これにより、正しく復号化を行うこと
ができる。

【０１００】なお、本実施の形態では、マクロブロック
を縦１６画素×横１６画素の大きさとし、マクロブロッ
クを図３に示す分割方法で分割し、表３および表４に示
す符号化モードの情報から選択されて符号化されている
としたが、これらは異なるマクロブロックの大きさ、異
なる分割方法、異なる符号化モードの組み合わせであっ
ても良い。

【０１０１】

【発明の効果】以上のように本発明の動画像符号化方法
では、動き補償を行う際に、マクロブロックを分割して
分割ブロック毎に動き補償を行う。Ｐピクチャを符号化
する際には、分割単位毎にもスキップモードを選択でき
るようにし、スキップモードを選択した場合には、動き
ベクトルや残差成分を符号列中に記述しない。また、Ｂ
ピクチャを符号化する際には、分割単位毎にもダイレク
トモードを選択できるようにし、ダイレクトモードを選
択した場合には、動きベクトルを符号列中に記述しな
い。

【０１０２】また、本発明の符号列フォーマットは、マ
クロブロックを分割して符号化し符号列を生成する際
に、分割単位毎にスキップモードが選択された場合に
は、その分割単位に相当する符号列中には、符号化モー
ドのみを記述する。また、分割単位毎にダイレクトモー
ドが選択された場合には、その分割単位に相当する符号
列中には、動きベクトルの情報は記述しない。

【０１０３】このような動作により、本発明の動画像符
号化方法および符号列フォーマットを用いることによ
り、従来の方法と比較し、符号化モードの種類（符号化
モードを表現するビット量）はあまり増やさずに、動き
ベクトルや動き補償後の残差成分のビット量を削減する
ことができる。これにより、全体の符号化効率を向上さ
せることができる。

【０１０４】また、本発明の動画像復号化方法では、動
き補償を用いて符号化された符号列を復号化する際に、
動き補償等の方法を示す符号化モードの情報に基づいて
復号化動作を切り替える。この際、マクロブロックが所
定の大きさ以下に分割されて動き補償されている場合に
は、さらに分割単位毎に付加されているモード選択情報
に基づいて復号化を行う。ここで分割単位がスキップモ
ードで符号化されている場合、前方予測ピクチャの同一
位置にある分割単位の画像をそのまま復号化画像として
用いる。また、分割単位がダイレクトモードで符号化さ
れている場合、後方参照ピクチャ内の同一位置にあるブ
ロックを復号化する際に用いた動きベクトルをスケーリ
ングすることにより得られる動きベクトルを用いて双方
向参照することにより、動き補償画像を生成する。これ
により、正しく復号化処理を行うことができる。

【図面の簡単な説明】

【図１】 本発明の実施の形態を説明するためのブロッ
ク図

【図２】 本発明の実施の形態を説明するための模式図

【図３】 本発明の実施の形態および従来例を説明する
ための模式図

【図４】 本発明の実施の形態を説明するためのブロッ
ク図

【図５】 本発明の実施の形態を説明するための模式図

【図６】 本発明の実施の形態を説明するための模式図

【図７】 本発明の実施の形態を説明するための模式図

【図８】 本発明の実施の形態を説明するための模式図

【図９】 従来例を説明するための模式図

【図１０】 従来例を説明するための模式図

【符号の説明】

１０１ 並べ替え用メモリ １０２ 差分演算部 １０３ 予測誤差符号化部 １０４ 符号列生成部 １０５ 予測誤差復号化部 １０６ 加算演算部 １０７ 参照ピクチャ用メモリ １０８ 動きベクトル検出部 １０９ モード選択部 １１６ 動きベクトル記憶部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 羽飼 誠 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Ｆターム(参考） 5C059 LC09 MA00 MA05 MA14 MC11 MC38 ME01 NN08 NN28 PP05 PP06 PP07 RC12 RC16 TA11 TA17 TA25 TB07 TC02 TC03 TC04 TC06 TC08 TC12 TC41 TC42 TD02 TD05 TD06 TD11 TD16 UA02 UA05 UA33 5J064 AA02 BB01 BB03 BC01 BC25 BD01

Claims (6)

【特許請求の範囲】
1. 【請求項１】 動画像を構成する各ピクチャに対応する
   画像データを符号化して符号列を生成する動画像符号化
   方法であって、 符号化の対象となる対象ピクチャを、既に符号化処理済
   みのピクチャを参照ピクチャとして、ピクチャ間予測符
   号化を施す符号化ステップを含み、 前記符号化ステップは、 縦Ｎ画素×横Ｍ画素の大きさを有する第一のブロック
   を、縦Ｓ画素×横Ｔ画素（Ｓ≦Ｎ、Ｔ≦Ｍ）の大きさを
   有する第二のブロックに分割し、前記第二のブロックの
   単位での符号化モードとして、前記参照ピクチャ内の前
   記第二のブロックと同一位置のブロックをコピーするモ
   ードを選択可能とすることを特徴とする動画像符号化方
   法。
2. 【請求項２】 動画像を構成する各ピクチャに対応する
   画像データを符号化して符号列を生成する動画像符号化
   方法であって、 符号化の対象となる対象ピクチャを、既に符号化処理済
   みのピクチャを参照ピクチャとして、ピクチャ間予測符
   号化を施す符号化ステップを含み、 前記符号化ステップは、 縦Ｎ画素×横Ｍ画素の大きさを有する第一のブロック
   を、縦Ｓ画素×横Ｔ画素（Ｓ≦Ｎ、Ｔ≦Ｍ）の大きさを
   有する第二のブロックに分割し、前記第二のブロックの
   単位での符号化モードとして、後方参照ピクチャ内の前
   記第二のブロックと同一位置のブロックを符号化する際
   に用いた動きベクトルを利用して動き補償を行うモード
   を選択可能とすることを特徴とする動画像符号化方法。
3. 【請求項３】 動画像を構成する各ピクチャに対応する
   画像データを符号化して生成された符号列を復号化する
   動画像復号化方法であって、 復号化の対象となる対象ピクチャに対して、前記対象ピ
   クチャ以外の復号化済みのピクチャを参照ピクチャとし
   て用いる予測復号化を施す復号化ステップを含み、 前記復号化ステップは、 縦Ｎ画素×横Ｍ画素の大きさを有する第一のブロック
   を、縦Ｓ画素×横Ｔ画素（Ｓ≦Ｎ、Ｔ≦Ｍ）の大きさを
   有する第二のブロックに分割し、前記第二のブロックが
   前記参照ピクチャ内の前記第二のブロックと同一位置の
   第三のブロックをコピーするモードとして符号化されて
   いる場合には、前記第三のブロックを前記第二のブロッ
   クの復号化画像とすることを特徴とする動画像復号化方
   法。
4. 【請求項４】 動画像を構成する各ピクチャに対応する
   画像データを符号化して生成された符号列を復号化する
   動画像復号化方法であって、 復号化の対象となる対象ピクチャに対して、前記対象ピ
   クチャ以外の復号化済みのピクチャを参照ピクチャとし
   て用いる予測復号化を施す復号化ステップを含み、 前記復号化ステップは、 縦Ｎ画素×横Ｍ画素の大きさを有する第一のブロック
   を、縦Ｓ画素×横Ｔ画素（Ｓ≦Ｎ、Ｔ≦Ｍ）の大きさを
   有する第二のブロックに分割し、前記第二のブロックが
   後方参照ピクチャ内の前記第二のブロックと同一位置の
   ブロックを符号化する際に用いた動きベクトルを利用し
   て動き補償を行うモードにより符号化されている場合に
   は、前記動きベクトルを利用して動き補償を行うことに
   より、前記第二のブロックの動き補償画像を生成するこ
   とを特徴とする動画像復号化方法。
5. 【請求項５】 動画像を構成する各ピクチャに対応する
   画像データを符号化して生成される符号列のフォーマッ
   トであって、 符号化を生成する際には、符号化の対象となる対象ピク
   チャを、既に符号化処理済みのピクチャを参照ピクチャ
   として、ピクチャ間予測符号化を施し、 前記対象ピクチャ内の縦Ｎ画素×横Ｍ画素の大きさを有
   する第一のブロックを符号化して生成する符号列は、前
   記第一のブロック内の縦Ｓ画素×横Ｔ画素（Ｓ≦Ｎ、Ｔ
   ≦Ｍ）の大きさを有する第二のブロックが、前記参照ピ
   クチャ内の前記第二のブロックと同一位置のブロックを
   コピーする符号化モードとして符号化されている場合に
   は、前記第二のブロックに対応する符号列として、前記
   符号化モードのみを記述することを特徴とする符号列フ
   ォーマット。
6. 【請求項６】 動画像を構成する各ピクチャに対応する
   画像データを符号化して生成される符号列のフォーマッ
   トであって、 符号化を生成する際には、符号化の対象となる対象ピク
   チャを、既に符号化処理済みのピクチャを参照ピクチャ
   として、ピクチャ間予測符号化を施し、 前記対象ピクチャ内の縦Ｎ画素×横Ｍ画素の大きさを有
   する第一のブロックを符号化して生成する符号列は、前
   記第一のブロック内の縦Ｓ画素×横Ｔ画素（Ｓ≦Ｎ、Ｔ
   ≦Ｍ）の大きさを有する第二のブロックが、後方参照ピ
   クチャ内の前記第二のブロックと同一位置のブロックを
   符号化する際に用いた動きベクトルを利用して動き補償
   を行う符号化モードとして符号化されている場合には、
   前記第二のブロックに対応する符号列には、動きベクト
   ル情報を記述しないことを特徴とする符号列フォーマッ
   ト。