JP4574444B2 - 画像復号装置及び方法、画像符号化装置及び方法、コンピュータプログラム及び記憶媒体 - Google Patents

Description

本発明は、画像復号装置及び方法、画像符号化装置及び方法、コンピュータプログラム及び記憶媒体に関する。

近年、動画像情報をデジタルデータとして取り扱い、蓄積・伝送に用いるために、画像データを高圧縮率かつ高画質で符号化する技術が望まれている。画像情報の圧縮には、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き予測・動き補償により画像情報を圧縮符号化するＭＰＥＧなどの方式が提案され広く普及している。

また、近年、更なる高圧縮率、高画質を目指した符号化方式としてＨ．２６４（ＭＰＥＧ４ ＡＶＣ）がある。このＨ．２６４はＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式と比較して、その符号化、復号処理により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている（非特許文献１を参照）。

これらの符号化方式では時間的に冗長な情報を削減することにより、情報量の圧縮を行う。時間的に冗長な情報の削減は、画像ピクチャ間で時間的に過去・未来の情報を参照してブロック単位で動き情報の検出および予測画像の作成を行い、得られた予測画像と現在のフレームの画像との差分値を算出し、この差分値を符号化することにより行われる。

ここでピクチャとは、１枚の画面を表す用語であり、プログレッシブ画像におけるフレーム画像、インタレース画像におけるフレームもしくはフィールド画像を意味する。

図１０はＨ．２６４におけるピクチャの種類とその参照関係を示す図である。図１０においてＩ、Ｐ、Ｂの符号は、それぞれＩ(イントラ符号化)ピクチャ、Ｐ（順方向予測符号化）ピクチャ、Ｂ（双方向予測符号化）ピクチャといったピクチャの種類を示す。また、符号の後に続く数字がピクチャの番号を示している。ここでは、ピクチャの番号が少ないほど時間的に先に再生されるデータであることを示す。例えば、図１０において、Ｐ５ピクチャは、Ｂ１ピクチャよりも後に再生されるピクチャということになる。また、Ｐ５ピクチャとＢ１ピクチャとは矢印で結ばれているが、このような矢印はピクチャ間の参照関係を表している。従って、Ｐ５ピクチャはＢ１ピクチャを参照しており、Ｐ５ピクチャとＢ１ピクチャとの差分が、Ｐ５ピクチャについて符号化されることとなる。

図１０においてＩ２及びはＩ１７はＩピクチャであるが、このようなＩピクチャは、ピクチャ内で閉じて符号化され、他のピクチャを参照しない。また、Ｐ５、Ｐ８、Ｐ１１、Ｐ１４のようなＰピクチャは、時間的に前に存在するピクチャのみを参照し、ピクチャ間の差分が符号化される。更に、Ｂ０、Ｂ１、Ｂ３、Ｂ４、Ｂ６、Ｂ７、Ｂ９、Ｂ１０、Ｂ１２、Ｂ１３、Ｂ１５及びＢ１６は、Ｂピクチャであるが、このようなＢピクチャは、時間的な前後関わらず２枚のピクチャを参照し、ピクチャ間の差分が符号化される。なお、Ｐ、Ｂピクチャの内部には、他のピクチャを参照せず、ピクチャ内で符号化されるブロックを含んでいてもよい。

Ｈ．２６４では、参照先の指定はピクチャに含まれる小領域であるブロック単位毎に行われ、ブロックは互いに異なるピクチャ内のブロックを参照することもできる。この参照関係を示した図が図１１である。図１１において、ＰピクチャであるＰ５ピクチャには、Ｐ５（ａ）ブロックおよびＰ５（ｂ）ブロックが含まれている。Ｐ５（ａ）ブロックがＢ１ピクチャ内のＢ１（ａ）ブロックを参照する一方で、Ｐ５（ｂ）ブロックは、Ｉ２ピクチャ内のＩ２（ｂ）ブロックを参照している。

なお、Ｈ．２６４では、ピクチャよりも小さい単位であるスライス単位で、Ｉ、Ｐ、Ｂの指定が可能であるが、説明の簡略化のため１つのピクチャ内に含まれるスライスの種類（Ｉ、Ｐ、Ｂ）はすべて同一であるとして以降の説明を行う。
ISO/IEC １４４９６−１０ (Mpeg-４ Part１０ )

ピクチャ間差分を用いて符号化されたデータを復号する場合には、参照するピクチャがすでに復号されている必要がある。ここで、図１１に示したような参照関係をもつ符号化データのＩピクチャおよびＰピクチャのみを抽出してサーチ再生を行う場合を考える。まず、Ｉ２ピクチャを復号する場合、Ｉ２ピクチャは、全てのブロックがピクチャ内で符号化されているため問題なく復号できる。次に、Ｐ５ピクチャに関しては、Ｐ５ピクチャ内のＰ５（ｂ）ブロックはすでに復号されたＩ２ピクチャのＩ２（ｂ）ブロックを参照しているため復号可能である。しかし、Ｐ５（ａ）ブロックは、復号されていないＢ１ピクチャのＢ１（ａ）ブロックを参照しているため、そのままでは復号することができない。このように、Ｉピクチャ及びＰピクチャのみを復号する場合では、Ｐピクチャの一部のブロック及びＩピクチャだけしか復号することができない。

また、Ｉピクチャのみを抽出し、復号して再生することは可能であるが、Ｉピクチャが含まれるのはＭＰＥＧ２と同等のピクチャ構成をとった場合でも１５ピクチャに１枚程度である。従って、Ｉピクチャだけを抽出しての再生では３倍速などの低速度でのサーチはできない。

また、サーチ時以外であっても、画像ストリームの途中（例えばＢピクチャ）から再生するような場合には、参照対象のピクチャが復号されていない場合が生じ、そのときは基準となるＩピクチャ（ＩＤＲピクチャ）まで戻るか進めるなどして復号する必要があり、即座に画像を復号し再生することは困難である。

本発明はこうした課題に鑑みてなされたものであり、画像の復号時に該画像の参照先のピクチャが復号されていない場合においても、該画像を近似画像として復号し再生することを可能とすることを目的とする。

上記課題を解決するための本発明は、符号化対象の画像ピクチャを所定数の画素で構成されるブロックに分割し、当該ブロック単位で参照画像が選択されて予測符号化されたピクチャ間符号化データを含む画像データを復号する画像復号方法であって、
前記画像データには、他の画像ピクチャを参照せずに圧縮符号化された第１の画像ピクチャと、他の１枚の画像ピクチャを参照して圧縮符号化された前記ピクチャ間符号化データを含む第２の画像ピクチャと、他の２枚の画像ピクチャを参照して圧縮符号化された前記ピクチャ間符号化データを含む第３の画像ピクチャとが含まれ、
前記画像復号方法は、
前記第１の画像ピクチャと前記第２の画像ピクチャのみを選択的に抽出して出力するサーチ再生工程と、
前記サーチ再生工程で抽出された復号対象の前記第２の画像ピクチャに含まれる前記ブロックによって参照される第１の参照ピクチャが、前記サーチ再生工程で抽出されないため復号されない前記第３の画像ピクチャである場合に、既に復号された前記第１又は第２の画像ピクチャの中から第２の参照ピクチャを代替参照先として選択する選択工程と、
前記第１の参照ピクチャの代替として、選択された前記第２の参照ピクチャを参照して前記復号対象の第２の画像ピクチャに含まれる前記ブロックを復号する復号工程とを有することを特徴とする。

本発明によれば、画像の復号時に該画像の参照先のピクチャが復号されていない場合においても、該画像を近似画像として復号し再生することができる。

以下、本発明の好適な実施形態について図面を参照しながら詳細に説明する。

［第１の実施形態］
図１は、本実施形態に対応する、Ｈ．２６４の符号化方式により圧縮符号化されたデータを復号する画像復号装置の構成の一例を示すブロック図である。図１において、１００は可変長復号部、１０１は逆量子化部、１０２は逆直交変換部、１０３は加算部、１０４は動き補償部、１０５はフレームメモリである。

次に図１に基づき、該画像復号装置の動作について説明する。可変長復号部１００は、圧縮符号化された符号列が入力されると可変長復号処理を行い、量子化された直交変換係数と画像関連データに復号し、逆量子化部１０１に出力する。このとき、画像関連データには、動きベクトルデータが含まれるので、該動きベクトルデータは動き補償部１０４に出力される。次に、逆量子化部１０１は図示しない量子化テーブルに格納されている量子化値に基づき、入力された量子化直交変換係数に対して逆量子化を行い、得られた直交変換係数を逆直交変換部１０２へ出力する。

逆直交変換部１０２は、周波数成分である直交変換係数に逆直交変換を行い元の画像データに変換する。逆直交変換部１０２から出力される画像データが、ピクチャ内で符号化されたデータ（即ち、Ｉピクチャのデータ）である場合は、端子（ａ）に接続され外部に出力される。一方、この出力画像データが符号化される際に他の画像データを参照している画像データ（即ち、Ｐピクチャ或いはＢピクチャのデータ）である場合には、該画像データは端子（ｂ）に接続され、加算部１０３で動き補償部１０４から出力される予測画像と加算され、出力される。このとき、加算結果はフレームメモリ１０５にも記録される。また、動き補償部１０４は、可変長復号部１００から出力された動きベクトルおよびフレームメモリ１０５に格納された画像データに対して後述する処理を行い、予測画像を生成する。

次に、図１の画像復号装置における動き補償部１０４の動作の詳細について、図２乃至図４を用いて説明する。図２は復号対象となる画像データのピクチャの並びの一例を示したものである。図２においてＩ、Ｐ、Ｂはピクチャの種類を示しており、番号は再生される時間順を示している。

また、図３は、図２におけるＢ０ピクチャからＰ５ピクチャまでの参照関係の一部を示した図である。図３においてＰ５（ａ）、Ｐ５（ｂ）は、動き参照の単位ブロックを示しており、実線の矢印は符号化時の参照先を示している。つまり、Ｐ５（ａ）ブロックはＢ１（ａ）ブロックを、Ｐ５（ｂ）ブロックはＩ２（ｂ）ブロックを参照している。このように、動き補償に際しては、画像ピクチャはブロックにより分割されるものである。なお、ブロックのサイズは、１６×１６画素、１６×８画素、８×１６画素、８×８画素、のいずれかを選択することができ、８×８画素の場合には、更に８×８画素、８×４画素、４×８画素及び４×４画素のいずれかを選択することができる。

次に、図１の画像復号装置に図２に示すような符号列が入力される場合をより具体的を説明する。但し、以下では、図２に示すピクチャ構成の画像データからＩピクチャ及びＰピクチャのみを抜き出して、３倍速のサーチ再生する場合を例に説明する。

まず、Ｉ２ピクチャの符号列が可変長復号部１００に入力されると、前述のようにＩピクチャは、ピクチャ内で符号化されたデータなので図１の逆直交変換部１０２から出力されたデータは、そのまま外部に出力される。また、Ｉ２ピクチャはＰ５ピクチャから参照されているためフレームメモリ１０５に出力され、記録される。

次に、Ｐ５ピクチャの符号列が可変長復号部１００において復号されると、その動きベクトル情報は動き補償部１０４に出力され、また、画像データは逆量子化部１０１、逆直交変換部１０２を通して加算部１０３へ出力される。

ここで、Ｐ５ピクチャを復号する場合の動き補償部１０４の具体的な動作について、図４のフローチャートを参照して説明する。図４は動き補償部の処理の流れを示したフローチャートである。まずＰ５（ｂ）のブロックに含まれる画像データを復号する場合、ステップＳ４００において参照先ピクチャが復号されているか否かを判定する。この場合、Ｐ５（ｂ）ブロックはＩ２ピクチャを参照している。Ｉ２ピクチャは前述のようにすでに復号されているので、参照先ピクチャが復号されていると判定され（ステップＳ４００において「ＹＥＳ」）、ステップＳ４０１に進む。ステップＳ４０１では、フレームメモリ１０５に記録されたＩ２ピクチャと動きベクトルとに基づき、Ｉ２（ｂ）部分の画像が予測画像として生成される。生成された予測画像は、加算部１０３に出力され、加算部１０３において復号された画像信号と加算され、ブロックＰ５（ｂ）の画像信号が復号される。これより、ブロックＰ５（ｂ）についての復号処理は終了する。

次に、Ｐ５（ａ）ブロックの復号処理を行う場合には、同様にしてステップＳ４００において、参照先ピクチャが復号されているかが判定される。図３に示されるように、Ｐ５（ａ）ブロックはＢ１ピクチャを参照している。しかし、ここでは３倍速のサーチ再生を行っており、ＢピクチャであるＢ１ピクチャは復号されないので、参照先ピクチャは復号されていないと判定される（ステップＳ４００において「ＮＯ」）。そこで、ステップＳ４０２に進む。ステップＳ４０２では、参照先のピクチャに時間的に最も近いＩピクチャ又はＰピクチャを検出する。即ち、本実施形態では、検出されたＩピクチャ又はＰピクチャを、本来参照されるはずのＢピクチャの代替ピクチャとして利用するものである。

具体的に、図２及び図３に示す例では、Ｂ１ピクチャに時間的に最も近いＩピクチャ又はＰピクチャであるＩ２ピクチャが検出されることとなる。このＩ２ピクチャが、Ｂ１ピクチャの代替として参照される。続くステップＳ４０３では、動きベクトルの補正処理を行う。

この補正処理について具体的に説明する。まず、Ｐ５（ａ）ブロックについての動きベクトルはＢ１（ａ）ブロックを参照した場合のものである。従って、そのままＩ２ピクチャに適応すると動きが大きい場合などには誤差が大きくなる。そこで、表示タイミングに応じて動きベクトルを補正することが必要となる。ここで、ブロック間の時間的な差に注目すると、Ｐ５ピクチャに対してＢ１ピクチャは４ピクチャ分、Ｉ２ピクチャは３ピクチャ分だけ差がある。よって、Ｂ１（ａ）ブロックへの動きベクトルを４分の３倍することで、Ｉ２（ａ）への補正動きベクトルを生成することができる。

以上のようにしてステップＳ４０３において動きベクトルを補正した後は、ステップＳ４０１に移行する。そして、ステップＳ４０１では、補正された動きベクトルとＩ２ピクチャとに基づいて動き補償を行い、Ｉ２（ａ）に対応するブロックを、予測画像として生成する。生成された予測画像は加算部１０３に出力され、加算部１０３において復号された画像信号と加算され元の画像信号が復号される。

このように、画像復号時に参照先ピクチャが復号されていない場合であっても、該参照先ピクチャに時間的に最も近い復号済みのピクチャを代替的に参照することで、画像を復号することが可能となる。その結果、サーチ等の柔軟な再生が可能となる。

なお、上記では補正した動きベクトルに基づいて加算処理を行う場合を記載したが、動きベクトルが大きい場合には、加算部１０３において加算処理を行わず、予測画像をそのまま出力する方法をとってもよい。これは代替的に近傍のピクチャを参照した場合、元の参照先の画像との誤差が生じており、この誤差のある画像に復号した信号を加算すると、さらに誤差が大きくなる場合があるためである。

［代替的に参照するピクチャを選択する他の方法］
上記では、代替的に参照するピクチャとして、本来参照すべきピクチャに最も近いＩピクチャもしくはＰピクチャを選択した。しかし、代替的に参照するピクチャの選択方法は、この方法に限定されるものではなく、他の方法を用いてもよい。

例えば、代替的に参照しようとするピクチャがＰピクチャの場合、復号されたＰピクチャは本来的に誤差を含んでいるので、代替参照先のピクチャをＰピクチャではなく、本来参照すべきピクチャに最も近いＩピクチャに限定してもよい。これによれば、Ｐピクチャの誤差の伝播を防ぐことができる。

また、別の例として、各ピクチャに与えられる特徴情報を考慮して代替参照先を選択する方法を用いてもよい。この特徴情報には、例えばシーン情報やカメラ情報が含まれる。

以下に、特徴情報を用いて代替参照先を選択する方法についてを説明する。図５は画像シーケンスとその参照関係の一部を示した図である。図５において、Ｉ１〜Ｂ１１までがピクチャを示しており、その中でＰ１０ピクチャは本来的にＢ５ピクチャを参照している。また、Ｐ４ピクチャとＢ５ピクチャの間でシーンチェンジがあるものとする。

このようなシーケンスについて、Ｉピクチャ又はＰピクチャのみ抜き出してサーチ再生する場合について考える。Ｐ１０ピクチャを復号する場合、通常はＢ５ピクチャが既に復号されている必要があるが、Ｉ、Ｐピクチャのみのサーチ再生時にはＢ５ピクチャは復号されない。そこで、Ｂ５ピクチャの代わりに参照するピクチャを選択することになるが、もし時間的に最も近いＩピクチャ又はＰピクチャを選択する場合には、Ｐ４ピクチャが選択されることになる。

しかし、この例ではＰ４ピクチャとＰ５ピクチャとの間でシーンチェンジが発生しており、Ｐ４ピクチャとＢ５ピクチャとの間の相関が少ないことになる。そのためＢ５ピクチャの代わりにＰ４ピクチャを参照して復号を行った場合、復号画像の誤差が非常に大きくなる可能性が非常に高い。そこで、図４のフローチャートのステップＳ４０２において、Ｐ１０ピクチャのメタデータから参照先であるＢ５ピクチャのシーン情報を取得する。そして、Ｂ５ピクチャのシーンと同じシーンに属しＢ５ピクチャに最も近く、既に復号されたＩピクチャ又はＰピクチャを選択する。この場合では、Ｐ７ピクチャが代替的に参照されるピクチャとして選択されることになる。

なお、参照先のシーン情報は符号化時などにメタデータとして記録されているものとする。上記では、シーン情報によりシーンチェンジを検知し、それに基づいて代替参照先を選択したが、同様にしてカメラ情報を用いることもできる。具体的には、本来参照すべきピクチャのカメラ情報に対応する（又は、一致する）カメラ情報を有する、時間的に最も近接するＩピクチャ或いはＰピクチャが存在する場合には、該Ｉピクチャ等を代替参照先として選択することができる。

ここで、特徴情報としてのカメラ情報には、例えば、撮影時における被写体の明るさ、レンズのズーム倍率、ストロボの発光状態、ＡＦの状態、撮影画像のサイズ、ホワイトバランスの制御状態、ＮＤフィルタの状態、撮影モード等が含まれる。

［動きベクトル補正の他の例］
上記では、本来参照されるべきピクチャ及び代替的に参照されるピクチャの再生タイミングに基づいて動きベクトルを補正したが、動きベクトルの補正方法はこれに限定されるものでなく、他の手法により補正を行っても良い。

例えば、以下で説明する方法を用いてもよい。図６、図７は、Ｐ５ピクチャ内の互いに隣接する４ブロックの参照先を示した図である。図６において、Ｐ５ピクチャのＰ５（ａ）ブロックはＩ２ピクチャを参照していることを示している。同様に、Ｐ５（ｂ）ブロックはＢ１ピクチャ、Ｐ５（ｃ）ブロックはＢ０ピクチャ、Ｐ５（ｄ）ブロックはＢ３ピクチャを参照している。

前述したように、ＩピクチャおよびＰピクチャのみを再生した際にＩ２ピクチャ以外は復号されていないためＰ５（ｂ）ブロック、Ｐ５（ｃ）ブロック及びＰ５（ｄ）ブロックはそのままでは復号できない。そこで、代替参照するピクチャを検出するが、ここでは互いに隣接しているＰ５（ａ）ブロック〜Ｐ５（ｄ）ブロックを、一纏めにして１個の大ブロックと考える。この大ブロックの中のブロックですでに復号されているピクチャを参照したものがあれば、大ブロック全体として該ピクチャを代替的に参照するピクチャに決定する。

図６の場合、Ｐ５（ａ）ブロック〜Ｐ５（ｄ）ブロックで構成される大ブロックの中で、Ｐ５（ａ）ブロックのみがすでに復号されたＩ２ピクチャを参照している。よって、Ｉ２ピクチャを大ブロックについての代替参照先に決定する。また、動きベクトルについてはＰ５（ａ）ブロックの動きベクトルを、Ｐ５（ｂ）ブロック〜Ｐ（ｄ）ブロックの動きベクトルとして代替する。その結果、図７に示すように４つのブロックがＩ２ピクチャを代替的に参照し、該４ブロック分の画像を復号することが可能となる。

この例では、Ｐ５（ａ）ブロック〜Ｐ５（ｄ）ブロックで構成される大ブロックの中で、既に復号されているピクチャを参照しているブロックはＰ５（ａ）のみであったが、Ｉ２以外の既に復号されているピクチャを参照しているブロックがある場合は、どのピクチャを代替参照先とするか選択する必要がある。この代替参照ピクチャの選択方法としては、復号対象のＰ５ピクチャに時間的に近いピクチャを代替参照先のピクチャとして選択する方法や、ＰピクチャよりもＩピクチャを優先して参照先とする方法など、どのような方法を用いてもかまわない。

また、図６に示したケースでは、Ｐ５（ａ）ブロック〜Ｐ５（ｄ）ブロックで構成される大ブロック中、Ｉ２ピクチャを参照しているブロックはＰ５（ａ）のみであったが、一つの大ブロックの中にＩ２ピクチャを参照しているブロックが複数あるような場合は、Ｉ２ピクチャを参照しているブロックの動きベクトルの平均値を代替参照の動きベクトルとして利用する方法を取ることもできる。

以上のように、本実施形態に対応する画像復号装置では、符号列に含まれる複数のピクチャのうち一部のピクチャのみを復号して再生を行う場合であっても、既に復号されたピクチャのみを用いて、復号されるべきピクチャの復号を行うことができる。

また、本実施形態では３倍速のサーチ再生について記載したが、このようなサーチ再生においては、シーンの概要が把握できれば良いので、オリジナルの画像に比べてある程度の再現性が維持されれば目的が達成される。従って、本来参照すべきピクチャに時間的に最も近いピクチャを用いてピクチャを復号した場合には、不要な復号処理を行わなくとも、上記目的を達成する範囲内で再現性を維持することができるので、サーチ再生を効率的に行うことができる。

更に、シーンチェンジのような誤差を拡大する要因については、シーン情報やカメラ情報を用いて、参照ピクチャと同一シーン内のピクチャを選択することができる。これにより、シーンが切り替わる場面であっても、復号時に発生する誤差の程度を低いものに維持することが可能となる。

［第２の実施形態］
第１の実施形態では、代替的に参照すべきピクチャを復号を行う際に決定した上で、復号処理を行う場合を説明した。これに対し、本実施形態では、代替的に参照すべきピクチャの情報を、予め符号化時に決定して符号列に含めて記録しておき、復号時には該代替的に参照すべきピクチャの情報に従って復号を行う場合について説明する。

まず、図８を参照して、本実施形態に対応する画像符号化装置について説明する。図８は、Ｈ．２６４の方式により画像圧縮符号化を行う本実施形態に対応する画像情報符号化装置の基本的な構成の一例を示す図である。図８において、８００はピクチャ並び替え部、８０１はピクチャ内予測部、８０２は直交変換部、８０３は量子化部、８０４は符号化部、８０５は逆量子化部、８０６は逆直交変換部、８０７は加算部、８０８はループフィルタ処理部、８０９はフレームメモリ、８１０は動き予測部、８１１は動き補償部、８１２は減算部である。

次に、図８における画像情報符号化装置の動作について説明する。デジタル化された入力画像信号がピクチャ並び換え部８００に入力されると、ピクチャ並べ替え部８００では符号化する順番に画像ピクチャの並べ替えを行う。これは、Ｂピクチャは時間的に後のピクチャを参照するために、参照先のピクチャが符号化された後に符号化する必要があるためである。

符号化順に並び替えられた画像は、ブロック単位毎に処理される。Ｉピクチャもしくはピクチャ内予測を行うと判断されたブロックの場合にはピクチャ内予測部８０１において、ピクチャ内で画素を予測し、予測画素との差分データを直交変換部８０２へ出力する。また、入力画像がＢピクチャもしくはＰピクチャであり、ピクチャ間予測を行う場合は、後述するピクチャ間予測による予測画像と現画像との差分画像を直交変換部８０２へ出力する。直交変換部８０２では、４×４画素の整数変換を行い周波数成分に変換する。量子化部８０３では、入力された周波数成分のデータを量子化する。量子化部８０３において量子化した画像データは符号化部８０４およびローカルデコードするため逆量子化部８０５へ出力する。

一方、逆量子化部８０５では、量子化部８０３で量子化した画像データを逆量子化し、周波数成分に復号化し、逆直交変換部８０６による逆直交変換によって、予測誤差画像（差分画像）に復号する。逆量子化部８０５から出力される画像がＰピクチャもしくはＢピクチャのものである場合は、加算部８０７によって、差分画像と動き補償画像とを加算することにより、ピクチャ画像に復号化される。この復号化された画像はループフィルタ８０８によってブロック歪みを除去するフィルタ処理が施された後、フレームメモリ８０９に格納される。フレームメモリ８０９には任意の枚数のピクチャを格納し参照ピクチャとして利用することが可能である。

動き予測部８１０は、ピクチャ間予測モードの時にフレームメモリ８０９に格納されている復号画像の中から、入力画像と差分が最も小さい参照画像をサーチし、動きベクトルを算出し符号化部８０４へ出力する。また、ここで参照画像となったピクチャに最も時間的に近いＩピクチャもしくはＰピクチャの情報を、復号時の代替参照先情報として符号化部８０４へ出力する。

動き補償部８１１では動きベクトルおよび参照方向情報で示される演算を行い、動き補償画像を出力する。減算部８１２では入力画像と動き補償画像の差分をとり、差分画像を直交変換部８０２へ出力する。符号化部８０４では、画像データおよび、動きベクトル情報、代替参照先情報を可変長符号化もしくは算術符号化を行い、符号列を生成し出力する。

なお、代替参照先とするピクチャの選定については、上記のように参照画像となったピクチャの近傍のＩピクチャ又はＰピクチャとするだけでなく、第１の実施形態で説明した方法のいずれを採用しても良い。

次に、上記のようにして生成された符号列を再生する復号装置について、図９を参照して説明する。

図９は、図１と同様に画像復号装置の構成を示すブロック図である。また、可変長復号部９００、動き補償部９０４以外のブロックは第１の実施形態における同符号ブロックと同じブロックであるため説明は省略する。

ここで、第１の実施形態と同様に入力された符号列のうちＩピクチャおよびＰピクチャのみを再生してサーチ再生する場合について説明する。

可変長復号部９００は、符号化列が入力されると可変長復号処理を行い、量子化された直交変換係数と画像関連データに復号する。画像関連データの中には動きベクトルデータおよび代替参照先情報が格納されている。この動きベクトルおよび代替参照先情報を動き補償部９０４に出力し、量子化された直交変換係数データを逆量子化部１０１に出力する。逆量子化部１０１、逆直交変換部１０２、フレームメモリでの処理は実施形態１と同様である。

動き補償部９０４は、動きベクトルおよびフレームメモリ１０５に記録されたローカルデコード画像に基づき動き補償を行い、予測画像を生成する。ここで、復号するピクチャの参照先のピクチャが復号されていない場合は、代替参照するピクチャを決定する。その際に可変長復号部９００から出力された代替参照先情報に基づき代替参照するピクチャを決定する。代替参照先を決定した後、動きベクトルを補正し、代替予測画像を生成し、加算部１０３で復号する処理は実施形態１と同様であるため省略する。

以上のように、本実施形態によれば、符号化時に代替参照先のピクチャを指定しておくことで、復号時に代替参照先のピクチャを検出する処理が不要となり、サーチ再生時の処理負荷が更に軽減される。

なお、代替参照先情報として、代替参照するピクチャだけでなく代替参照するピクチャへの動きベクトル情報などを含めて記録してもよい。該動きベクトルは、本来参照すべきピクチャについて求められた動きベクトルを補正したものであっても良いし、代替参照先となるピクチャについて改めて算出された動きベクトルであっても良い。

なお、以上の各実施形態では、符号化方式がＨ．２６４である場合を例に説明したが、符号化方式はこれに限定するものではなく、ピクチャ間での予測を用いた符号化方式であれば、どのような符号化方式であってもかまわない。

［その他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

さらに、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、磁気光ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気タイプや不揮発性タイプのメモリーカード及びＲＯＭのような記憶媒体を当該プログラムコードを提供するために利用することができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明が上述の記憶媒体について適用される場合、当該記憶媒体は上記実施形態において記載されたフローチャートに対応するプログラムコードを格納することが好ましい。その一方、本発明は上述の実施形態に限定されることなく、本発明の精神及び範囲において様々な変更や修正を加えることが可能である。それゆえに、本発明の範囲を公に知らしめるべく以下の特許請求の範囲が作成される。

このように、本発明の動作及び構成は上述の記載から明らかとなるものと信ずる。開示及び記述された方法、装置及びシステムは好適に特徴づけられる一方、以下の特許請求の範囲において定義される本発明の範囲から逸脱することなく様々な変更及び修正が可能であることは、直ちに明らかとなるであろう。

本発明の第１の実施形態に対応する画像復号装置の構成の一例を示すブロック図である。 本発明の第１の実施形態に対応する画像シーケンスのピクチャ構成を示す図である。 本発明の第１の実施形態に対応する、ピクチャの代替参照を説明するための図である。 本発明の第１の実施形態に対応する動き補償部の処理の流れの一例に対応するフローチャートである。 本発明の第１の実施形態に対応する、シーンチェンジが発生した場合のピクチャの参照関係を説明するための図である。 本発明の第１の実施形態に対応する、同一ピクチャ内の複数ブロックが、それぞれ異なるピクチャを参照する例を説明するための図である。 本発明の第１の実施形態に対応する、同一ピクチャ内の複数ブロックを１のピクチャを代替参照させる例を説明するための図である。 本発明の第２の実施形態に対応する符号化装置の構成の一例を示すブロック図である。 本発明の第２の実施形態に対応する復号装置の構成の一例を示すブロック図である。 本発明の従来例に対応するピクチャの参照関係を示す図である。 本発明の従来例に対応するピクチャの参照関係を示す図である。

Claims (14)

1. 符号化対象の画像ピクチャを所定数の画素で構成されるブロックに分割し、当該ブロック単位で参照画像が選択されて予測符号化されたピクチャ間符号化データを含む画像データを復号する画像復号方法であって、
   前記画像データには、他の画像ピクチャを参照せずに圧縮符号化された第１の画像ピクチャと、他の１枚の画像ピクチャを参照して圧縮符号化された前記ピクチャ間符号化データを含む第２の画像ピクチャと、他の２枚の画像ピクチャを参照して圧縮符号化された前記ピクチャ間符号化データを含む第３の画像ピクチャとが含まれ、
   前記画像復号方法は、
   前記第１の画像ピクチャと前記第２の画像ピクチャのみを選択的に抽出して出力するサーチ再生工程と、
   前記サーチ再生工程で抽出された復号対象の前記第２の画像ピクチャに含まれる前記ブロックによって参照される第１の参照ピクチャが、前記サーチ再生工程で抽出されないため復号されない前記第３の画像ピクチャである場合に、既に復号された前記第１又は第２の画像ピクチャの中から第２の参照ピクチャを代替参照先として選択する選択工程と、
   前記第１の参照ピクチャの代替として、選択された前記第２の参照ピクチャを参照して前記復号対象の第２の画像ピクチャに含まれる前記ブロックを復号する復号工程と
   を有することを特徴とする画像復号方法。
2. 前記選択工程では、前記既に復号された第１又は第２の画像ピクチャの中から、前記第１の参照ピクチャと時間的に最も近い画像ピクチャが前記第２の参照ピクチャとして選択されることを特徴とする請求項１に記載の画像復号方法。
3. 前記選択工程では、前記既に復号された第１又は第２の画像ピクチャの中から、前記第１の参照ピクチャと時間的に最も近い前記第１の画像ピクチャが前記第２の参照ピクチャとして選択されることを特徴とする請求項１に記載の画像復号方法。
4. 前記選択工程は、前記画像データに含まれる画像ピクチャに関連するシーンの情報及び撮影時の情報の少なくともいずれか一方を示す特徴情報を、当該画像ピクチャの圧縮符号化時に付加された情報から取得する特徴情報取得工程を備え、
   前記特徴情報取得工程で取得された前記第１の参照ピクチャに関連する前記特徴情報に基づき、前記第２の参照ピクチャが選択されることを特徴とする請求項１に記載の画像復号方法。
5. 前記選択工程では、前記既に復号された第１又は第２の画像ピクチャのうち、前記特徴情報取得工程で取得された前記第１の参照ピクチャに関連する前記特徴情報に対応する特徴情報を持つ画像ピクチャが、前記第２の参照ピクチャとして選択されることを特徴とする請求項４に記載の画像復号方法。
6. 前記復号工程は、前記復号対象の第２の画像ピクチャについて与えられる第１の動き情報を、前記第１の参照ピクチャ及び第２の参照ピクチャの、前記復号対象の第２の画像ピクチャに対する時間関係に基づいて補正する補正工程を備え、
   前記復号対象の第２の画像ピクチャが、補正された前記第１の動き情報と前記第２の参照ピクチャとを利用して復号されることを特徴とする請求項１乃至５のいずれか１項に記載の画像復号方法。
7. 前記復号対象の第２の画像ピクチャにおける第１のブロックが、前記第１の画像ピクチャを参照して圧縮符号化されたブロックであり、前記第１のブロックに隣接する第２のブロックが前記第２又は前記第３の画像ピクチャを参照して圧縮符号化されたブロックである場合に、
   前記選択工程では、前記第１及び第２のブロックについて、該第１の画像ピクチャが前記第２の参照ピクチャとして選択されることを特徴とする請求項１に記載の画像復号方法。
8. 前記復号対象の第２の画像ピクチャには、当該画像ピクチャの圧縮符号化時に付加された前記代替参照先としての前記第２の参照ピクチャを指定する情報が含まれ、
   前記選択工程では、前記指定に基づいて前記第２の参照ピクチャが選択されることを特徴とする請求項１または６に記載の画像復号方法。
9. 前記復号対象の第２の画像ピクチャには、指定された前記第２の参照ピクチャに関して与えられる第２の動き情報が更に含まれ、
   前記復号工程では、前記第２の動き情報と前記第２の参照ピクチャとを利用して前記復号が行われることを特徴とする請求項８に記載の画像復号方法。
10. 画像ピクチャを所定数の画素で構成されるブロックに分割し、当該ブロック単位で参照画像を選択した予測符号化が可能な画像符号化方法であって、
    符号化対象の画像ピクチャに含まれる前記ブロックを他の画像ピクチャを参照せずに圧縮符号化する第１の符号化工程と、
    符号化対象の画像ピクチャに含まれる前記ブロックを、ブロックごとに選択される少なくとも１枚の他の画像ピクチャを参照して圧縮符号化する第２の符号化工程と、
    前記第２の符号化工程において、前記符号化対象の画像ピクチャに含まれる前記ブロックとの差分が最も小さくなる他の画像ピクチャを参照するよう選択すると共に、前記ブロックによって参照された前記他の画像ピクチャが、他の２枚の画像ピクチャを参照して圧縮符号化された第１の画像ピクチャである場合に、前記第１の画像ピクチャに時間的に最も近い、他の画像ピクチャを参照せずに圧縮符号化された第２の画像ピクチャ、又は、他の１枚の画像ピクチャを参照して圧縮符号化された第３の画像ピクチャを代替参照先の画像ピクチャとして選択する選択工程と
    を備え、
    選択された前記代替参照先の画像ピクチャの情報は、サーチ再生時に利用可能な情報として、前記第２の符号化工程において符号化された画像ピクチャの符号化データに含まれることを特徴とする画像符号化方法。
11. 請求項１乃至１０のいずれか１項に記載の方法をコンピュータに実行させるためのコンピュータプログラム。
12. 請求項１１に記載のコンピュータプログラムを格納するコンピュータで読み取り可能な記憶媒体。
13. 符号化対象の画像ピクチャを所定数の画素で構成されるブロックに分割し、当該ブロック単位で参照画像が選択されて予測符号化されたピクチャ間符号化データを含む画像データを復号する画像復号装置であって、
    前記画像データには、他の画像ピクチャを参照せずに圧縮符号化された第１の画像ピクチャと、他の１枚の画像ピクチャを参照して圧縮符号化された前記ピクチャ間符号化データを含む第２の画像ピクチャと、他の２枚の画像ピクチャを参照して圧縮符号化された前記ピクチャ間符号化データを含む第３の画像ピクチャとが含まれ、
    前記画像復号装置は、
    前記第１の画像ピクチャと前記第２の画像ピクチャのみを選択的に抽出して出力するサーチ再生手段と、
    前記サーチ再生手段が抽出した復号対象の前記第２の画像ピクチャに含まれる前記ブロックによって参照される第１の参照ピクチャが、前記サーチ再生手段が抽出しないため復号されない前記第３の画像ピクチャである場合に、既に復号された前記第１又は第２の画像ピクチャの中から第２の参照ピクチャを代替参照先として選択する選択手段と、
    前記第１の参照ピクチャの代替として、選択された前記第２の参照ピクチャを参照して前記復号対象の第２の画像ピクチャに含まれる前記ブロックを復号する復号手段と
    を有することを特徴とする画像復号装置。
14. 画像ピクチャを所定数の画素で構成されるブロックに分割し、当該ブロック単位で参照画像を選択した予測符号化が可能な画像符号化装置であって、
    符号化対象の画像ピクチャに含まれる前記ブロックを他の画像ピクチャを参照せずに圧縮符号化する第１の符号化手段と、
    符号化対象の画像ピクチャに含まれる前記ブロックをブロックごとに選択される少なくとも１枚の他の画像ピクチャを参照して圧縮符号化する第２の符号化手段と、
    前記第２の符号化手段において、前記符号化対象の画像ピクチャに含まれる前記ブロックとの差分が最も小さくなる他の画像ピクチャを参照するよう選択すると共に、前記ブロックによって参照された前記他の画像ピクチャが、他の２枚の画像ピクチャを参照して圧縮符号化された第１の画像ピクチャである場合に、前記第１の画像ピクチャに時間的に最も近い、他の画像ピクチャを参照せずに圧縮符号化された第２の画像ピクチャ、又は、他の１枚の画像ピクチャを参照して圧縮符号化された第３の画像ピクチャを代替参照先の画像ピクチャとして選択する選択手段と
    を備え、
    選択された前記代替参照先の画像ピクチャの情報は、サーチ再生時に利用可能な情報として、前記第２の符号化手段により符号化された画像ピクチャの符号化データに含まれることを特徴とする画像符号化装置。

Images