JP2008160398A - 動画像符号化装置および動画像符号化方法 - Google Patents

Abstract

【課題】Ｈ.２６４において新規に導入された符号化パラメータを決定する際にＭＰＥＧ２の符号化パラメータを利用すること。
【解決手段】本発明に係る動画像符号化装置は、ＭＰＥＧ２ストリームを復号化する復号化部１０と、ＭＰＥＧ２ストリームからＭＰＥＧ２の符号化パラメータを抽出する符号化パラメータ抽出部１１と、符号化パラメータ抽出部１１によって抽出されたＭＰＥＧの符号化パラメータに基づいて、ＭＰＥＧ２によって符号化された画像データとその参照画像との相関の強さを判定し、その判定結果に基づいてＨ.２６４の符号化パラメータを決定する再符号化パラメータ決定部１２と、再符号化パラメータ決定部１２によって決定されたＨ.２６４の符号化パラメータを用いて、復号化部１０によって復号化された画像データをＨ.２６４によって符号化する符号化部１３とを備える。
【選択図】図１

Description

本発明は、動画像符号化装置および動画像符号化方法に関し、特に、ＭＰＥＧ２によって符号化された画像データをＨ.２６４によって再符号化する際の技術に関する。

近年、ＡＶ情報のデジタル化が進み、映像信号をデジタル化して取り扱うことのできる機器が広く普及しつつある。映像信号は、膨大な情報量を有するので、記録容量および伝送効率を考慮して情報量を削減しつつ符号化することが一般的である。映像信号の符号化技術として、ＭＰＥＧ２やＨ.２６４という国際規格が定められている。

ＭＰＥＧ２とＨ.２６４とでは、画像をマクロブロックと呼ばれるブロックに分割し、マクロブロック毎に時間的な相関や周波数変換を実施する点は類似しているが、異なる部分も多い。したがって、異なる符号化方式によって符号化されたビットストリームを相互に接続したい場合や、それぞれの符号化方式にのみ対応している再生機によって再生を実現する場合は、符号化されたビットストリームを一旦復号化してから新たに再符号化する必要がある。

従来、符号化方式を変換する場合、符号化されたビットストリームを復号する際に、最初の符号化時の符号化パラメータを抽出する。そして、抽出した符号化パラメータを再符号化の際に利用する方式が提案されている（例えば、特許文献１参照）。

図１０は、従来の装置の構成を示す図である。復号化部６０は、ＭＰＥＧ２符号化ストリームを復号化する。符号化パラメータ抽出部６１は、動きベクトル情報などの符号化パラメータを抽出する。符号化部６２は、符号化パラメータ抽出部６１によって抽出された符号化パラメータを利用して、復号化部６０によって復号された画像データをＭＰＥＧ２へ再符号化する。このような従来の装置によると、符号化されたビットストリームを復号化する際に抽出される動きベクトル情報を用いて、再符号化の動きベクトルを決定することが可能である。したがって、全マクロブロックの動きベクトル検出処理を行う場合に比べ、その処理演算量を大幅に削減し、かつ、再符号化時の発生符号量の増加及び画質劣化を抑え、効率の良い再符号化を実現することができる。
特開２００３−９１５８号公報

特許文献１に記載の動画像符号化装置によれば、最初のビットストリームから抽出されたＭＰＥＧ２の符号化パラメータ（例えば、動きベクトル情報）を、同じ意味のＨ.２６４の符号化パラメータ（例えば、動きベクトル）に利用することは可能である。しかしながら、Ｈ.２６４には、ＭＰＥＧ２には存在しない新たな技術（例えば、参照画像が複数枚利用可能）が導入されており、ＭＰＥＧ２には存在しない符号化パラメータが導入されている。そのため、従来は、Ｈ.２６４で新規に導入された符号化パラメータを決定する際にＭＰＥＧ２の符号化パラメータを利用することができないという課題があった。

本発明は、前記課題を解決するものであって、第２の符号化方式において新規に導入された符号化パラメータを決定する際に第１の符号化方式における符号化パラメータを利用することが可能な動画像符号化装置を提供することを目的とする。

前記目的を達成するために、本発明に係る動画像符号化装置は、画像データを符号化する装置であって、第１の符号化方式によって符号化された画像データを復号化する復号化手段と、第１の符号化方式によって符号化された画像データから、第１の符号化方式における符号化パラメータである第１の符号化パラメータを抽出する抽出手段と、前記抽出手段によって抽出された第１の符号化パラメータに基づいて、第１の符号化方式によって符号化された画像データとその参照画像との相関の強さを判定する判定手段と、前記判定手段によって判定された結果に基づいて、第２の符号化方式における符号化パラメータである第２の符号化パラメータを決定する決定手段と、前記決定手段によって決定された第２の符号化パラメータを用いて、前記復号化手段によって復号化された画像データを第２の符号化方式によって符号化する符号化手段とを備える。これによって、第１の符号化パラメータに基づいて、第１の符号化方式によって符号化された画像データとその参照画像との相関の強さが判定され、その判定結果に基づいて、第２の符号化パラメータが決定される。すなわち、第２の符号化方式において新規に導入された符号化パラメータを決定する際に第１の符号化方式における符号化パラメータを利用することが可能となる。

ここで、前記判定手段は、前記画像データとその参照画像との相関の強さを示す指標として、参照画像毎にその参照画像が参照される数を判定し、前記決定手段は、多く参照される参照画像ほど優先的に、第２の符号化方式によって符号化する際の参照画像としてもよい。これによって、相関の強い参照画像だけが選択されるので、第２の符号化方式によって符号化する際の処理量を削減することが可能となる。

また、前記判定手段は、前記画像データとその参照画像との相関の強さを示す指標として、参照画像毎にその参照画像が参照される数を判定し、前記決定手段は、多く参照される参照画像ほど、第２の符号化方式における参照画像のインデックスとして、符号量の小さなインデックスを割り振ってもよい。これによって、相関の強い参照画像ほど、符号量の小さなインデックスが割り振られるので、第２の符号化方式における圧縮効率を向上させることが可能となる。

また、前記復号化手段は、ＭＰＥＧ２によって符号化された画像データを復号化し、前記符号化手段は、復号された画像データをＨ.２６４によって符号化してもよい。これによって、Ｈ.２６４において新規に導入された符号化パラメータを決定する際にＭＰＥＧ２における符号化パラメータを利用することが可能となる。

なお、本発明は、このような動画像符号化装置として実現することができるだけでなく、このような動画像符号化装置が備える特徴的な手段を備える集積回路として実現したり、このような動画像符号化装置が備える特徴的な手段をステップとする動画像符号化方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

以上の説明から明らかなように、本発明に係る動画像符号化装置によれば、第１の符号化パラメータに基づいて、第１の符号化方式によって符号化された画像データとその参照画像との相関の強さが判定され、その判定結果に基づいて、第２の符号化パラメータが決定される。すなわち、第２の符号化方式において新規に導入された符号化パラメータを決定する際に第１の符号化方式における符号化パラメータを利用することが可能となる。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。

（実施の形態１）
まず、本発明の実施の形態１に係る動画像符号化装置の構成を説明する。

図１は、本発明の実施の形態１に係る動画像符号化装置の構成を示すブロック図である。この図に示されるように、動画像符号化装置は、符号化されたＭＰＥＧ２ビットストリーム（ＭＰＥＧ２ストリーム）を入力とし、再符号化されたＨ.２６４ビットストリーム（Ｈ.２６４ストリーム）を出力する装置であって、復号化部１０と、符号化パラメータ抽出部１１と、再符号化パラメータ決定部１２と、符号化部１３とを備える。各部の機能を説明する前に、本発明の概要を説明する。

まず、ＭＰＥＧ２は、本発明に係る第１の符号化方式の一例であり、Ｈ.２６４は、本発明に係る第２の符号化方式の一例である。Ｈ.２６４では、参照画像を示すインデックスとして、ＲｅｆＩｄｘという新規な符号化パラメータが導入された。本実施の形態では、このＲｅｆＩｄｘを決定する際、ＭＰＥＧ２における符号化パラメータ（動き情報）を利用する。具体的には、ＭＰＥＧ２によって符号化された画像データとその参照画像との相関の強さが判定され、その判定結果に基づいて、Ｈ.２６４における符号化パラメータ（ＲｅｆＩｄｘ）が決定される。ここでは、フィールド構造またはフィールド構造のＭＰＥＧ２ストリームをフィールド構造のＨ.２６４ストリームに変換することを前提としている。

図２は、フレーム構造とフィールド構造とを説明するための図である。ＴＶ画像は１ライン毎にとびとびになった２枚の画像（フィールド）によって１枚の画像（フレーム）が形成される。このような画像をインタレース画像という。一方のフィールドともう一方のフィールドとの間には1/60秒の時間差がある。ＭＰＥＧ２では、符号化の単位としてフィールドもしくはフレームを選択することができる。画像の動きが少ない場合は２つのフィールド間の相関が強いため、フレーム全体を用いて処理するフレーム構造を用いるほうが有利となる。一方、画像の動きが激しい場合はフィールド間の相関が弱まるため、フィールド構造を用い別々に処理したほうが有利となる。

図３は、ＭＰＥＧ２における予測の種類を説明するための図である。この図に示されるように、フィールド構造の場合は、フレーム予測やフィールド予測という予測方式が用いられ、フィールド構造の場合は、フィールド予測や１６ｘ８予測という予測方式が用いられる。図中の「ＭＶ／ＭＢ」は、前方向予測の場合について１マクロブロック当たりの動きベクトルの数を示している。

図４は、ＭＰＥＧ２におけるフレーム構造ピクチャのフレーム予測とフィールド予測とを説明するための図である。フレーム予測では、インタレースされた２つのフィールドが合成されたフレーム毎に予測する。図４（Ａ）では、１フレーム離れた参照フレームから前方向の予測を行う場合を例示している。一方、フィールド予測では、フィールド毎に予測する。図４（Ｂ）では、トップフィールドにはＭＶ１、ボトムフィールドにはＭＶ２を用いて予測を行っている。参照フィールドはトップフィールドでもボトムフィールドでもよく、マクロブロックデータ中のｍｏｔｉｏｎ＿ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｓｅｌｅｃｔフラグによって設定される。図４（Ｂ）では、トップフィールド／ボトムフィールドのいずれにもトップフィールドが参照フィールドとして用いられている。

図５は、ＭＰＥＧ２におけるフィールド構造ピクチャのフィールド予測と１６ｘ８予測とを説明するための図である。フィールド予測では、図５（Ａ）に示されるように、１６画素ｘ１６ライン（以下、単に「１６ｘ１６」と記載する）毎に予想する。一方、１６ｘ８予測では、図５（Ｂ）に示されるように、１６画素ｘ１６ラインのマクロブロックを上部８ラインの１６ｘ８ブロックと下部８ラインの１６ｘ８ブロックとに分割し、その分割した単位毎に予測する。図５（Ｂ）に示されるように、参照するフィールドが上部ブロックと下部ブロックとで異なってもよい。これによって、より細かな動きに対して予測効率を高めることが可能である。

以下、ＭＰＥＧ２におけるフレーム構造ピクチャのフレーム予測とフィールド予測とを更に詳しく説明する。ここでは、図６（Ａ）に示されるように、参照画像（フレーム画像）が１枚である場合を想定して説明する。この場合、フィールド予測では、図６（Ｂ）に示されるように、１６ｘ１６のマクロブロック毎に１個の動きベクトルを持つ。一方、フィールド予測では、図６（Ｃ）に示されるように、マクロブロックを奇数・偶数ライン毎にまとめた１６ｘ８ブロック毎に１個の動きベクトルを持ち、１６ｘ１６のマクロブロック全体としては２個の動きベクトルを持つ。

次に、ＭＰＥＧ２のフィールド構造ピクチャのフィールド予測と１６ｘ８予測を更に詳しく説明する。ここでは、図７（Ａ）に示されるように、参照画像（フレーム画像）が１枚である場合を想定して説明する。この場合、フィールド予測では、図７（Ｂ）に示されるように、１６ｘ１６のマクロブロック毎に一つの動きベクトルを持つ。一方、フィールド予測では、図７（Ｃ）に示されるように、マクロブロックを奇数・偶数ライン毎にまとめた１６ｘ８ブロック毎に１個の動きベクトルを持ち、１６ｘ１６のマクロブロック全体としては２個の動きベクトルを持つ。

ＭＰＥＧ２では、２枚のフレーム画像を参照することができる。その場合、各マクロブロックは、参照画像が１枚の場合の２倍の数の動きベクトルを持つことが可能である。ｍｏｔｉｏｎ＿ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｓｅｌｅｃｔフラグは、参照画像のトップフィールド／ボトムフィールドのどちらを利用するかを示すためのフラグである。このフラグの値が「０」である場合は、参照画像のトップフィールドを利用していることを示している。一方、このフラグの値が「１」である場合は、参照画像のボトムフィールドを利用していることを示している。

次に、本発明の実施の形態における動画像符号化装置の各部の機能について説明する。この動画像符号化装置は、図１に示されるように、復号化部１０と、符号化パラメータ抽出部１１と、再符号化パラメータ決定部１２と、符号化部１３とを備える。

復号化部１０は、本発明に係る復号化手段の一例であり、第１の符号化方式によって符号化された画像データを復号化する。具体的には、復号化部１０は、ＭＰＥＧ２ストリームを復号化し、復号化した画像データを出力する。

符号化パラメータ抽出部１１は、本発明に係る抽出手段の一例であり、第１の符号化方式によって符号化された画像データから、第１の符号化方式における符号化パラメータである第１の符号化パラメータを抽出する。具体的には、符号化パラメータ抽出部１１は、復号化部１０による復号化処理の際、符号化パラメータをＭＰＥＧ２ストリームから抽出する。この符号化パラメータは、符号化時の動きベクトル情報を含み、どの参照画像をいくつのマクロブロックが参照しているかをＭＰＥＧ２ストリームのフィールド毎に示す情報である。符号化パラメータ抽出部１１は、フレーム構造ピクチャの場合、フィールド予測のマクロブロックではｍｏｔｉｏｎ＿ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｓｅｌｅｃｔフラグを抽出し、フレーム予測のマクロブロックでは動きベクトルの垂直成分を抽出する。一方、フィールド構造ピクチャの場合、フィールド予測のマクロブロックでも１６ｘ８フィールド予測のマクロブロックでもｍｏｔｉｏｎ＿ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｓｅｌｅｃｔフラグを抽出する。

再符号化パラメータ決定部１２は、本発明に係る判定手段および決定手段の一例であり、抽出手段によって抽出された第１の符号化パラメータに基づいて、第１の符号化方式によって符号化された画像データとその参照画像との相関の強さを判定し、その判定結果に基づいて、第２の符号化方式における符号化パラメータである第２の符号化パラメータを決定する。言い換えると、再符号化パラメータ決定部１２は、符号化パラメータ抽出部１１によって抽出された符号化パラメータを利用して、フィールド構造のＨ．２６４符号化に用いる再符号化パラメータを決定する。ここでいう再符号化パラメータとは、ＬｉｓｔやＲｅｆＩｄｘなどである。Ｌｉｓｔ０は、予測の方向が主として前方であることを意味し、Ｌｉｓｔ１は、予測の方向が主として後方であることを意味する。ＲｅｆＩｄｘは、動き補償に必要な情報である参照ピクチャを示す参照ピクチャ番号であり、「０」をデフォルト値とする。

符号化部１３は、本発明に係る符号化手段の一例であり、前記決定手段によって決定された第２の符号化パラメータを用いて、前記復号化手段によって復号化された画像データを第２の符号化方式によって符号化する。具体的には、符号化部１３は、再符号化パラメータ決定部１２によって決定された再符号化パラメータを用いて、復号化部１０によって復号化された画像データをＨ.２６４ストリームに再符号化する。

ここで、再符号化パラメータ決定部１２の機能を更に詳しく説明する。
本実施の形態では、フィールド構造のＨ.２６４ストリームに再符号化することを想定している。そのため、再符号化パラメータ決定部１２は、どのフィールド画像をいくつのマクロブロックが参照しているかフィールド毎に集計する。Ｂピクチャを例に説明すると、符号化するフィールド毎に、前方のトップフィールド画像を参照するマクロブロック数、前方のボトムフィールド画像を参照するマクロブロック数、後方のトップフィールド画像を参照するマクロブロック数、後方のボトムフィールド画像を参照するマクロブロック数を集計する。

最も多くのマクロブロックが参照しているフィールド画像は、元のビットストリームが参照するフィールドの中では現フィールドと最も相関が強い。従って、このようなフィールド画像を再符号化の際の参照画像として選択することによって、最も高い符号化効率を得ることができる。逆にいうと、最も少ないマクロブロックが参照しているフィールド画像は、元のビットストリームが参照するフィールドの中では現フィールドと最も相関が弱い。従って、このようなフィールド画像を再符号化の際の参照画像から除いても、画像に対する影響は最も少ない。

本実施の形態では、前記のように集計した値を使って、最も相関の強い参照画像（最も画像に影響の大きい参照画像）ほど優先的に、Ｈ.２６４によって符号化する際の参照画像となるようにしている。例えば、最も相関の弱い参照画像を選択し、その選択画像を参照画像から省く。これによって、相関の強い参照画像だけが選択されるので、Ｈ.２６４によって符号化する際の処理量を削減することが可能となる。Ｈ.２６４は、ＭＰＥＧ２と比較して動きベクトルの精度が細かく、また動き補償のサイズも多種類あり、動きベクトル検索の処理量が大きい。そのため、再符号化時の処理量を削減する手法として参照画像を削減する手法を採用するのは非常に有効である。

また、本実施の形態では、最も相関の強い参照画像ほど、Ｈ.２６４における参照画像のインデックスとして、符号量の小さなインデックスを割り振るようにしている。例えば、最も相関の強い参照画像のインデックスとしてＲｅｆＩｄｘ「０」を割り振る。このように最も参照される参照画像のインデックスにＲｅｆＩｄｘ「０」を割り振れば、ＲｅｆＩｄｘ「０」の符号量は０であるため、圧縮効率を向上させることが可能となる。

図８は、再符号化パラメータ決定部１２の動作を示すフローチャートである。ここでは、フレーム構造のＭＰＥＧ２ストリームをフィールド構造のＨ.２６４ストリームに変換する場合を想定している。以下でいう現ピクチャはＢピクチャであるとして説明する。

まず、現ピクチャ内のマクロブロック（ＭＢ）がイントラＭＢかインターＭＢかを判定する（Ｓ４０２）。イントラＭＢの場合、参照画像はないのでカウントしない。インターＭＢの場合、フレーム予測かフィールド予測かを判定する（Ｓ４０３）。

インターＭＢでフレーム予測の場合、動きベクトルの垂直成分に基づいて参照フィールドを判定する。具体的には、ＭＢに含まれる動きベクトルの垂直成分が整数精度位置か小数精度位置かを判定し、さらに整数精度位置の場合は偶数か奇数かを判定する（Ｓ４０５）。

動きベクトルの垂直成分が小数精度位置の場合、カウントしない。
動きベクトルの垂直成分が整数精度位置で偶数の場合、マクロブロックに含まれるトップフィールド部分は、参照画像のトップフィールドとの差分を、ボトムフィールド部分は、参照画像のボトムフィールドとの差分を符号化している。従って、現ピクチャのトップフィールドの集計で、予測方向によって、前方のトップフィールド画像を参照するマクロブロック数または後方のトップフィールド画像を参照するマクロブロック数を＋１する（Ｓ４０６）。また、現ピクチャのボトムフィールドの集計で、予測方向によって、前方のボトムフィールド画像を参照するマクロブロック数または、後方のボトムフィールド画像を参照するマクロブロック数を＋１する（Ｓ４０６）。

動きベクトルの垂直成分が整数精度位置で奇数の場合、マクロブロックに含まれるトップフィールド部分は、参照画像のボトムフィールドとの差分を、ボトムフィールド部分は、参照画像のトップフィールドとの差分を符号化している。従って、現ピクチャのトップフィールドの集計で、予測方向によって、前方のボトムフィールド画像を参照するマクロブロック数または後方のボトムフィールド画像を参照するマクロブロック数を＋１する（Ｓ４０７）。また、現ピクチャのボトムフィールドの集計で、予測方向によって、前方のトップフィールド画像を参照するマクロブロック数または後方のトップフィールド画像を参照するマクロブロック数を＋１する（Ｓ４０７）。

この判定を、マクロブロックに含まれる全ての動きベクトルについて繰り返す。
インターＭＢでフィールド予測の場合は、動きベクトルに関連するｍｏｔｉｏｎ＿ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｓｅｌｅｃｔフラグが０か１かを判定する（Ｓ４１０）。ｍｏｔｉｏｎ＿ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｓｅｌｅｃｔフラグが０の場合、この動きベクトルが現ピクチャのトップ／ボトムフィールドのどちらに属するかによって、現ピクチャのトップまたはボトムフィールドの集計で、トップフィールド画像を参照するマクロブロック数を＋０．５する。予測方向も考慮すると、前方のトップフィールド画像を参照するマクロブロック数または後方のトップフィールド画像を参照するマクロブロック数を＋０．５する（Ｓ４１１）。また、ｍｏｔｉｏｎ＿ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｓｅｌｅｃｔフラグが１の場合、この動きベクトルが現ピクチャのトップ／ボトムフィールドのどちらに属するかによって、現ピクチャのトップまたはボトムフィールドの集計で、ボトムフィールド画像を参照するマクロブロック数を＋０．５する。予測方向も考慮すると、前方のボトムフィールド画像を参照するマクロブロック数または後方のボトムフィールド画像を参照するマクロブロック数を＋０．５することになる（Ｓ４１２）。

この判定を、マクロブロックに含まれる全ての動きベクトルについて繰り返す。
現ピクチャに含まれる全てのマクロブロックについて以上の判定を行い、現ピクチャのトップ／ボトムフィールドに含まれるＭＢがどの参照フィールドをいくつ参照しているかを集計する。そして、現ピクチャのトップ／ボトムフィールド毎に、参照するマクロブロック数が多い順に参照画像として決定していく。ＭＰＥＧ２のＢピクチャの場合、最大２フレーム画像（４フィールド画像）を参照画像として利用することができる。ここで、Ｈ．２６４に再符号化する際の参照画像を３フィールド画像にする場合は、参照するマクロブロック数が多い順に３つのフィールド画像を参照画像として決定する。

また、Ｈ．２６４では、参照画像のインデックス（ＲｅｆＩｄｘ）が参照画像を特定する。参照画像のインデックスは、その値が小さい方が符号化ビットが少なくてすむ。したがって、多くのＭＢから参照される参照画像のインデックスを小さな値にすることで、圧縮効率を向上させることができる。この参照画像のインデックスの決定においても、参照するマクロブロック数が多い順に小さなインデックスを割り振ることにしている（Ｓ４１５）。

図９は、再符号化パラメータ決定部１２の動作を示すフローチャートである。ここでは、フィールド構造のＭＰＥＧ２ストリームをフィールド構造のＨ.２６４ストリームに変換する場合を想定している。以下でいう現ピクチャはＢピクチャであるとして説明する。

まず、現ピクチャ内のマクロブロック（ＭＢ）がイントラＭＢかインターＭＢかを判定する（Ｓ５０１）。イントラＭＢの場合、参照画像はないのでカウントしない。インターＭＢの場合、フィールド予測か１６ｘ８予測かを判定する（Ｓ５０３）。

インターＭＢでフィールド予測の場合、動きベクトルに関連するｍｏｔｉｏｎ＿ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｓｅｌｅｃｔフラグが０か１かを判定する（Ｓ５０４）。ｍｏｔｉｏｎ＿ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｓｅｌｅｃｔフラグが０の場合、現ピクチャ（フィールド）の集計で、トップフィールドを参照するＭＢ数を＋１する。予測方向も考慮すると、前方のトップフィールド画像を参照するマクロブロック数または後方のトップフィールド画像を参照するマクロブロック数を＋１することになる（Ｓ５０６）。また、ｍｏｔｉｏｎ＿ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｓｅｌｅｃｔフラグが１の場合、現ピクチャ（フィールド）の集計で、ボトムフィールドを参照するＭＢ数を＋１する。予測方向も考慮すると、前方のボトムフィールド画像を参照するマクロブロック数または後方のボトムフィールド画像を参照するマクロブロック数を＋１することになる（Ｓ５０７）。この判定を、マクロブロックに含まれる全ての動きベクトルについて繰り返す。

インターＭＢで１６ｘ８予測の場合は、動きベクトルに関連するｍｏｔｉｏｎ＿ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｓｅｌｅｃｔフラグが０か１かを判定する（Ｓ５１０）。ｍｏｔｉｏｎ＿ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｓｅｌｅｃｔフラグが０の場合、現ピクチャ（フィールド）の集計で、トップフィールドを参照するＭＢ数を＋０．５する。予測方向も考慮すると、前方のトップフィールド画像を参照するマクロブロック数または後方のトップフィールド画像を参照するマクロブロック数を＋０．５することになる（Ｓ５１１）。また、ｍｏｔｉｏｎ＿ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｓｅｌｅｃｔフラグが１の場合、現ピクチャ（フィールド）の集計で、ボトムフィールドを参照するＭＢ数を＋０．５する。予測方向も考慮すると、前方のボトムフィールド画像を参照するマクロブロック数または後方のボトムフィールド画像を参照するマクロブロック数を＋０．５することになる（Ｓ５１２）。この判定を、マクロブロックに含まれる全ての動きベクトルについて繰り返す。

現ピクチャに含まれる全てのマクロブロックについて以上の判定を行い、現ピクチャ（フィールド）に含まれるＭＢがどの参照フィールドをいくつ参照しているかを集計する。そして、現ピクチャ（フィールド）は、参照フィールドを、参照するマクロブロック数が多い順に参照画像として決定していく。ＭＰＥＧ２のＢピクチャの場合、最大２フレーム画像、（４フィールド画像）を参照画像として利用することができる。ここで、Ｈ．２６４に再符号化する際の参照画像を３フィールド画像にする場合は、参照するマクロブロック数が多い順に３つのフィールド画像を参照画像として決定する。

また、Ｈ．２６４では、参照画像のインデックス（ＲｅｆＩｄｘ）が参照画像を特定する。参照画像のインデックスは、その値が小さい方が符号化ビットが少なくてすむ。したがって、多くのＭＢから参照される参照画像のインデックスを小さな値にすることで、圧縮効率を向上させることができる。この参照画像のインデックスの決定においても、参照するマクロブロック数が多い順に小さなインデックスを割り振ることとしている（Ｓ５１５）。

以上の説明から明らかなように、本発明に係る動画像符号化装置によれば、ＭＰＥＧ２における符号化パラメータに基づいて、ＭＰＥＧ２によって符号化された画像データとその参照画像との相関の強さが判定され、その判定結果に基づいて、Ｈ.２６４における符号化パラメータが決定される。すなわち、Ｈ.２６４において新規に導入された符号化パラメータを決定する際にＭＰＥＧ２における符号化パラメータを利用することが可能となる。これによって、ＭＰＥＧ２における符号化パラメータを利用することなく、Ｈ.２６４において新規に導入された符号化パラメータを決定する場合に比べ、大幅に処理量を削減することが可能となる。

具体的には、最も相関の強い参照画像ほど優先的に、Ｈ.２６４によって符号化する際の参照画像となるようにしている。例えば、最も相関の弱い参照画像を選択し、その選択画像を参照画像から省く。これによって、相関の強い参照画像だけが選択されるので、Ｈ.２６４によって符号化する際の処理量を削減することが可能となる。Ｈ.２６４は、ＭＰＥＧ２と比較して動きベクトルの精度が細かく、また動き補償のサイズも多種類あり、動きベクトル検索の処理量が大きい。そのため、再符号化時の処理量を削減する手法として参照画像を削減する手法を採用するのは非常に有効である。

また、最も相関の強い参照画像ほど、Ｈ.２６４における参照画像のインデックスとして、符号量の小さなインデックスを割り振るようにしている。例えば、最も相関の強い参照画像のインデックスとしてＲｅｆＩｄｘ「０」を割り振る。このように最も参照される参照画像のインデックスにＲｅｆＩｄｘ「０」を割り振れば、ＲｅｆＩｄｘ「０」の符号量は０であるため、圧縮効率を向上させることが可能となる。

なお、前記の説明では、ＭＰＥＧ２における符号化パラメータ（動き情報）に基づいて、Ｈ.２６４において新規に導入された符号化パラメータ（ＲｅｆＩｄｘ等）を決定する場合を例示したが、第１の符号化方式における符号化パラメータや第２の符号化方式における符号化パラメータは特に限定されるものではない。すなわち、実施の形態では、第１の符号化方式における符号化パラメータを利用して参照回数を集計することとしているが、これは、第１の符号化方式における符号化パラメータのまとまり（パラメータ群）についてその特性を調べていることに等しい。従って、第１の符号化方式における符号化パラメータ群の特性を判定し、その判定結果に基づいて第２の符号化方式における符号化パラメータを決定する手法を採用する以上、同様の効果を得ることができる。

また、図８や図９のフローチャートでは、Ｂピクチャを想定して説明したが、本発明はもちろんＰピクチャに対しても適用することができる。ただし、Ｐピクチャでは一方向しか参照できないため、４つのフィールド画像について参照回数を集計するのはなく、２つのフィールド画像について参照回数を集計することになる。その他の点については、Ｂピクチャの場合と基本的に同じであるため、ここでは詳しい説明を省略する。

本発明は、動画像符号化装置および動画像符号化方法に適用でき、特に、通信機能を備えるパーソナルコンピュータ、ＰＤＡ（Personal Digital Assistants）、携帯電話機およびデジタル放送の放送局等に適用することができる。

図１は、本発明の実施の形態１に係る動画像符号化装置の構成を示すブロック図である。 図２は、フレーム構造とフィールド構造とを説明するための図である。 図３は、ＭＰＥＧ２における予測の種類を説明するための図である。 図４は、ＭＰＥＧ２におけるフレーム構造ピクチャのフレーム予測とフィールド予測とを説明するための図である。 図５は、ＭＰＥＧ２におけるフィールド構造ピクチャのフィールド予測と１６ｘ８予測とを説明するための図である。 図６は、ＭＰＥＧ２におけるフレーム構造ピクチャのフレーム予測とフィールド予測とを説明するための図である。 図７は、ＭＰＥＧ２におけるフィールド構造ピクチャのフィールド予測と１６ｘ８予測とを説明するための図である。 図８は、再符号化パラメータ決定部１２の動作を示すフローチャートである。 図９は、再符号化パラメータ決定部１２の動作を示すフローチャートである。 図１０は、従来の装置の構成を示す図である。

符号の説明

１０ 復号化部
１１ 符号化パラメータ抽出部
１２ 再符号化パラメータ決定部
１３ 符号化部
６０ 復号化部
６１ 符号化パラメータ抽出部
６２ 符号化部

Claims (7)

1. 動画像を符号化する動画像符号化装置であって、
   第１の符号化方式によって符号化された画像データを復号化する復号化手段と、
   第１の符号化方式によって符号化された画像データから、第１の符号化方式における符号化パラメータである第１の符号化パラメータを抽出する抽出手段と、
   前記抽出手段によって抽出された第１の符号化パラメータに基づいて、第１の符号化方式によって符号化された画像データとその参照画像との相関の強さを判定する判定手段と、
   前記判定手段によって判定された結果に基づいて、第２の符号化方式における符号化パラメータである第２の符号化パラメータを決定する決定手段と、
   前記決定手段によって決定された第２の符号化パラメータを用いて、前記復号化手段によって復号化された画像データを第２の符号化方式によって符号化する符号化手段と
   を備えることを特徴とする動画像符号化装置。
2. 前記判定手段は、前記画像データとその参照画像との相関の強さを示す指標として、参照画像毎にその参照画像が参照される数を判定し、
   前記決定手段は、多く参照される参照画像ほど優先的に、第２の符号化方式によって符号化する際の参照画像とする
   ことを特徴とする請求項１記載の動画像符号化装置。
3. 前記判定手段は、前記画像データとその参照画像との相関の強さを示す指標として、参照画像毎にその参照画像が参照される数を判定し、
   前記決定手段は、多く参照される参照画像ほど、第２の符号化方式における参照画像のインデックスとして、符号量の小さなインデックスを割り振る
   ことを特徴とする請求項１記載の動画像符号化装置。
4. 前記復号化手段は、ＭＰＥＧ２によって符号化された画像データを復号化し、
   前記符号化手段は、復号された画像データをＨ.２６４によって符号化する
   ことを特徴とする請求項１記載の動画像符号化装置。
5. 動画像を符号化する動画像符号化方法であって、
   第１の符号化方式によって符号化された画像データを復号化する復号化ステップと、
   第１の符号化方式によって符号化された画像データから、第１の符号化方式における符号化パラメータである第１の符号化パラメータを抽出する抽出ステップと、
   前記抽出ステップにおいて抽出された第１の符号化パラメータに基づいて、第１の符号化方式によって符号化された画像データとその参照画像との相関の強さを判定する判定ステップと、
   前記判定ステップにおいて判定された結果に基づいて、第２の符号化方式における符号化パラメータである第２の符号化パラメータを決定する決定ステップと、
   前記決定ステップにおいて決定された第２の符号化パラメータを用いて、前記復号化ステップにおいて復号化された画像データを第２の符号化方式によって符号化する符号化ステップと
   を含むことを特徴とする動画像符号化方法。
6. 動画像を符号化するためのプログラムであって、
   第１の符号化方式によって符号化された画像データを復号化する復号化ステップと、
   第１の符号化方式によって符号化された画像データから、第１の符号化方式における符号化パラメータである第１の符号化パラメータを抽出する抽出ステップと、
   前記抽出ステップにおいて抽出された第１の符号化パラメータに基づいて、第１の符号化方式によって符号化された画像データとその参照画像との相関の強さを判定する判定ステップと、
   前記判定ステップにおいて判定された結果に基づいて、第２の符号化方式における符号化パラメータである第２の符号化パラメータを決定する決定ステップと、
   前記決定ステップにおいて決定された第２の符号化パラメータを用いて、前記復号化ステップにおいて復号化された画像データを第２の符号化方式によって符号化する符号化ステップと
   をコンピュータに実行させるためのプログラム。
7. 動画像を符号化する集積回路であって、
   第１の符号化方式によって符号化された画像データを復号化する復号化手段と、
   第１の符号化方式によって符号化された画像データから、第１の符号化方式における符号化パラメータである第１の符号化パラメータを抽出する抽出手段と、
   前記抽出手段によって抽出された第１の符号化パラメータに基づいて、第１の符号化方式によって符号化された画像データとその参照画像との相関の強さを判定する判定手段と、
   前記判定手段によって判定された結果に基づいて、第２の符号化方式における符号化パラメータである第２の符号化パラメータを決定する決定手段と、
   前記決定手段によって決定された第２の符号化パラメータを用いて、前記復号化手段によって復号化された画像データを第２の符号化方式によって符号化する符号化手段と
   を備えることを特徴とする集積回路。

Images