JP2008167449A - 映像の符号化、復号化方法及び装置 - Google Patents

Abstract

【課題】 映像の符号化、復号化方法及び装置を提供する。
【解決手段】 映像シーケンスをサブグループに分割し、サブグループ内に備わった両方向ピクチャと参照ピクチャとの相関関係を利用して各サブグループ単位で適用する符号化モードを決定する映像符号化方法及び装置、その復号化方法及び装置である。これにより、符号化されるピクチャグループを、連続したＢピクチャを基準に分割してサブグループを生成し、各符号化モードによる参照ピクチャとサブグループ内に備わったＢピクチャとの相関度を計算し、最も高い相関度を有する参照ピクチャを利用する符号化モードをサブグループ単位で適用して符号化を行うことによって、符号化効率を向上させる。
【選択図】 図２

Description

本発明は、映像符号化に係り、さらに具体的には、映像シーケンスをサブグループに分割し、サブグループ内に備わった両方向ピクチャと参照ピクチャとの相関関係を利用し、各サブグループ単位で適用する符号化モードを決定することによって、符号化効率を向上させる映像符号化方法及び装置、その復号化方法及び装置に関する。

動映像符号化時には、映像シーケンス内の空間的重複性及び時間的重複性（redundancy）を除去することによって圧縮が行われる。時間的重複性を除去するためには、現在符号化されるピクチャの前方または後方に位置した他のピクチャを参照ピクチャとして利用し、現在符号化されるピクチャの領域と類似した参照ピクチャの領域を検索し、現在符号化されるピクチャと参照ピクチャとの対応する領域間の動き量を検出し、この動き量に基づいて動き補償処理を行って得られる予測映像と現在符号化される映像との差分（residue）を符号化する。

ＭＰＥＧ（Moving Picture Experts Group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ（Advance Video Coding）のような動映像標準案では、映像シーケンス内の各ピクチャを予測符号化方式によって、Ｉピクチャ、Ｐピクチャ、Ｂピクチャに区分する。Ｉピクチャは、ピクチャ間の予測符号化を行わずにピクチャ内の情報だけを利用して符号化されるピクチャを意味し、Ｐピクチャは、現在符号化されるピクチャの前方または後方に位置し、すでに処理が完了した１個のピクチャを参照して予測符号化されるピクチャを意味し、Ｂピクチャは、現在符号化されるピクチャの前方または後方に位置し、すでに処理の完了した２個のピクチャを参照して予測符号化されるピクチャを意味する。

図１Ａないし図１Ｃは、ＧＯＰ（Group of Pictures）に備わったＢピクチャの符号化方式による多様な符号化モードを表した図である。

図１Ａを参照するに、Ｈ．２６４／ＡＶＣ動映像標準案以前に提案された動映像符号化方式では、Ｂピクチャを他のピクチャの参照ピクチャとして利用せずに、参照ピクチャとして、キーピクチャ（key picture）とも呼ばれるＩピクチャやＰピクチャを利用する。このように、Ｂピクチャを他のピクチャの参照ピクチャとして利用しない符号化モード（以下、「Ｂピクチャ非参照モード」という）では、Ｂピクチャに比べて表示時間上で前方または後方に位置し、まず処理が完了したＩピクチャやＰピクチャを参照ピクチャとして利用し、Ｂピクチャに対する予測符号化を行う。例えば、図１Ａで、ＢピクチャＢ１は、符号化順序上まず符号化され、復元されたＩピクチャＩ０及びＰピクチャＰ４を利用して予測符号化される。

Ｈ．２６４／ＡＶＣのような動映像標準案では、符号化効率を向上させるために、Ｂピクチャを他のピクチャの参照ピクチャとして利用できる。これは、シーケンス・パラメータセット（ＳＰＳ：Sequence Parameter Set）によって伝送されるピクチャ順序カウントタイプ・パラメータを利用し、参照ピクチャに対する制御が可能であるためである。このように、Ｂピクチャが他のピクチャの参照ピクチャとして利用されうる場合、ＧＯＰに備わったＢピクチャの符号化方式は、あらゆるＢピクチャを他のピクチャの参照ピクチャとして利用する符号化モード（以下、「Ｂピクチャ参照モード」という）及びＧＯＰに備わった所定位置のＢピクチャを中心に階層的に予測を行う符号化モード（以下、「ピラミッド符号化モード」という）に分類される。

図１Ｂを参照するに、Ｂピクチャ参照モードでは、Ｉピクチャ及びＰピクチャだけではなく、以前に処理が完了したＢピクチャを参照ピクチャとして利用できる。例えば、図１Ｂで、ＢピクチャＢ２は、まず符号化された後で復元されたＰピクチャＰ４及びＢピクチャＢ１を利用して予測符号化される。図示されていないが、ＢピクチャＢ２の参照ピクチャとして、以前に符号化された後で復元されたＩピクチャＩ０及びＢピクチャＢ１を利用することもできる。

図１Ｃを参照するに、ピラミッド符号化モードでは、連続したＢピクチャの前方及び後方に位置したキーピクチャ（ＩピクチャまたはＰピクチャ）と、連続したＢピクチャの真ん中に位置したＢピクチャとを参照ピクチャとして利用して予測符号化を行う。例えば、図１Ｃで、連続したＢピクチャの真ん中に位置したＢピクチャＢ２は、まず符号化された後で復元されたＩピクチャＩ０及びＰピクチャＰ４を参照ピクチャとして利用して予測符号化され、ＢピクチャＢ１は、ＩピクチャＩ０及びＢピクチャＢ２を参照ピクチャとして利用して予測符号化され、ＢピクチャＢ３は、ＢピクチャＢ２及びＰピクチャＰ４を参照ピクチャとして利用して予測符号化される。

このような多様な符号化モードの性能は、符号化される映像シーケンスの特性に依存することとなる。これは、各符号化モードによってＢピクチャの符号化順序及びその参照ピクチャが変わるために、各符号化モードによる予測映像とＢピクチャとの予測誤差にも違いが発生するためである。従来技術によれば、映像符号化時にＧＯＰ内に備わったピクチャに対していずれか１つの符号化モードを適用して符号化するために、映像特性によって適応的に映像シーケンスを符号化できないという問題点がある。

本発明は、前記のような問題点を解決するために案出され、映像シーケンスの特性によって符号化モードを適応的に適用することによって、符号化効率を向上させる映像符号化方法及び装置、その復号化方法及び装置を提供するところに目的がある。

また、本発明は、ＧＯＰを小サイズのサブグループに分割し、該分割されたサブグループ内の映像特性によって、互いに異なる符号化モードを適用することによって、符号化効率を向上させる映像符号化方法及び装置、その復号化方法及び装置を提供するところに目的がある。

前記のような技術的課題を解決するために、本発明による映像符号化方法は、映像シーケンス内に備わった複数個の映像ピクチャから構成されたピクチャグループを連続した両方向ピクチャを基準に分割してサブグループを生成する段階と、複数個の符号化モード別に、第１サブグループ内に備わった第１両方向ピクチャが参照する参照ピクチャと、前記第１サブグループ内に備わった第１両方向ピクチャとの相関関係を計算する段階と、前記相関関係を利用し、前記複数個の符号化モードのうち１つの符号化モードを選択する段階と、前記選択された符号化モードによって、前記第１サブグループのＢピクチャに対する符号化を行う段階とを含むことを特徴とする。

本発明による映像符号化装置は、映像シーケンス内に備わった複数個の映像ピクチャから構成されたピクチャグループを連続した両方向ピクチャを基準に分割してサブグループを生成するサブグループ生成部と、複数個の符号化モード別に、第１サブグループ内に備わった第１両方向ピクチャが参照する参照ピクチャと、前記第１サブグループ内に備わった第１両方向ピクチャとの相関関係を計算する相関度計算部と、
前記相関関係を利用し、前記複数個の符号化モードのうち１つの符号化モードを選択する符号化モード選択部と、前記選択された符号化モードによって、前記サブグループ単位で符号化を行う符号化部とを備えることを特徴とする。

本発明による映像復号化方法は、入力されたビットストリームに備わった符号化モード情報を判読し、前記ビットストリームに備わった符号化された複数個の映像ピクチャをサブグループに分割し、第１サブグループ内に備わった第１両方向ピクチャの符号化に利用されたモードを決定する段階と、前記決定された符号化モードによって、前記第１サブグループ内に備わった第１両方向ピクチャの復号化順序及び参照ピクチャを決定する段階と、前記決定された復号化順序及び参照ピクチャを利用し、前記第１サブグループの前記第１両方向ピクチャに対する復号化を行う段階とを含むことを特徴とする。

本発明による映像復号化装置は、入力されたビットストリームに備わった符号化モード情報を判読し、前記ビットストリームに備わった符号化された複数個の映像ピクチャをサブグループに分割し、前記サブグループ内に備わった両方向ピクチャの符号化に利用されたモードを決定する符号化モード判別部と、前記決定された符号化モードによって、前記サブグループ内に備わった両方向ピクチャの復号化順序及び参照ピクチャを決定する復号化順序決定部と、前記決定された復号化順序及び参照ピクチャを利用し、前記サブグループの両方向ピクチャに対する復号化を行う復号化部とを備えることを特徴とする。

入力されたビットストリームに備わった符号化モード情報を判読し、前記ビットストリームに備わった符号化された複数個の映像ピクチャをサブグループに分割し、各サブグループ内に備わった両方向ピクチャの符号化に利用されたモードを決定する符号化モード判別部と、前記決定された符号化モードによって、前記サブグループ内に備わった両方向ピクチャの復号化順序及び参照ピクチャを決定する復号化順序決定部と、前記決定された復号化順序及び参照ピクチャを利用し、前記サブブロック単位で復号化を行う復号化部とを備えることを特徴とする。

本発明によれば、予測符号化されるピクチャと類似した参照ピクチャを利用する符号化モードをサブグループ単位で決定し、該決定された符号化モードによって符号化を行うことによって、映像特性によって予測映像と符号化される映像との予測誤差を最小化し、符号化効率を向上させることができる。

以下、添付された図面を参照しつつ、本発明の望ましい実施形態について詳細に説明する。

本発明による映像符号化装置及び方法は、入力された映像シーケンス内に備わった複数個の映像ピクチャから構成されたピクチャグループを分割してサブグループを生成し、サブグループ内に備わった各符号化される対象ピクチャと、符号化モードによる参照ピクチャとの相関関係を計算し、計算された相関関係に基づいて符号化モードを決定することによって、サブグループ単位で適応的に符号化を行うことを特徴とする。

図２は、本発明による映像符号化装置を示したブロック図である。図２を参照するに、本発明による映像符号化装置２００は、サブグループ生成部２１０、相関度計算部２２０、符号化モード選択部２３０及び符号化部２４０を備える。

サブグループ生成部２１０は、連続したＢピクチャを基準に入力映像シーケンスを分割してサブグループを生成する。

相関度計算部２２０は、分割された各サブグループ内に備わったＢピクチャと、各符号化モードによってＢピクチャが参照する参照ピクチャとの相関関係を計算する。

符号化モード選択部２３０は、相関度計算部２２０で計算されたサブグループ内のＢピクチャと、各符号化モードによる参照ピクチャとの相関関係に基づいて、現在符号化されるサブグループ内のＢピクチャと最も高い相関度を有する参照ピクチャを利用する符号化モードを選択する。

符号化部２４０は、選択された符号化モードによって、サブグループ単位で予測符号化を行ってビットストリームを生成する。

以下では、本発明による映像符号化装置２００の具体的な動作について説明する。

図３は、本発明による映像符号化装置２００に入力されるＧＯＰ（Group Of Picture）の一例を示した図であり、図４Ａ及び図４Ｂは、図３のＧＯＰ ３００を分割したサブグループの一例を示した図である。以下の説明で、Ｉｎ、Ｐｎ、Ｂｎ（ｎは整数）は、それぞれＧＯＰ内の映像ピクチャのうち、表示順序上でｎ番目に表示されるＩピクチャ、Ｐピクチャ、Ｂピクチャを意味する。

図３を参照するに、ＧＯＰ ３００は、Ｍ個の連続するＢピクチャと、連続したＢピクチャの前方及び後方に位置するキーピクチャ（ＩピクチャまたはＰピクチャ）とを具備すると仮定する。図３では、キーピクチャであるＩ０、ＰＭ＋１及びＰ２Ｍ＋２間に２組の連続するＭ個のＢピクチャＢ１〜ＢＭ，ＢＭ＋２〜Ｂ２Ｍ＋１を具備するＧＯＰを示しているが、本発明は、少なくとも１組の連続するＢピクチャを具備するＧＯＰ内に備わった映像ピクチャを符号化するのに適用されうる。

ピラミッド符号化モードを適用する場合には、連続するＢピクチャのうち、真ん中に位置したＢピクチャを他のＢピクチャの参照ピクチャとして利用するために、連続するＢピクチャの個数Ｍは、奇数であることが望ましい。例えば、Ｍ＝５であるならば、ピラミッド符号化モードを適用する場合、５個の連続するＢピクチャＢ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５のうちから、まず真ん中に位置したＢ３がＩ０及びＰ６を参照ピクチャとして利用して両方向予測符号化され、Ｂ３以前のＢ１、Ｂ２は、Ｉ０及びＢ３を参照ピクチャとして利用して両方向予測符号化され、Ｂ３以後に符号化されるＢ４及びＢ５はＢ３及びＰ６を参照ピクチャとして利用して両方向予測符号化される。

サブグループ生成部２１０は、連続したＢピクチャの両端に位置したキーピクチャ（ＩピクチャまたはＰピクチャ）を含むように、ＧＯＰをサブグループに分割する。図４Ａ及び図４Ｂを参照するに、図３のＧＯＰは、最初の連続したＭ個のＢピクチャＢ１，Ｂ２，
…，ＢＭと、その両端に位置したＩ０及びＰＭ＋１とを含むサブグループ１ ４１０と；二番目に連続したＭ個のＢピクチャＢＭ＋２，ＢＭ＋３，ＢＭ＋４， …，Ｂ２Ｍ＋１とその両端に位置したＰＭ＋１、Ｐ２Ｍ＋２とを含むサブグループ２
４２０とに分割される。ここで、連続したＢピクチャ間のキーピクチャであるＰＭ＋１は、２つのサブグループにいずれも含まれるが、それは、各サブグループ内に備わったＢピクチャとの相関度を計算するためのものであり、実際に各サブグループ単位で符号化を行うときには、各サブグループ内のキーピクチャが重複されて符号化されることはない。

相関度計算部２２０は、分割された各サブグループ内に備わったＢピクチャと、各符号化モードによってＢピクチャが参照する参照ピクチャとの相関関係を計算する。ここで、符号化モードは、前述のように、Ｂピクチャを参照ピクチャとして利用しないＢピクチャ非参照モード、以前に符号化された後で復元されたあらゆるＢピクチャを参照ピクチャとして利用できるＢピクチャ参照モード、及びサブグループ内に備わった連続した両方向ピクチャのうち、中間に位置した両方向ピクチャを参照ピクチャとして利用するピラミッド・モードを含む。

本発明による映像符号化方法は、前記符号化モード以外にも、Ｂピクチャの符号化順序及び利用される参照ピクチャを変形する他の形態の符号化モードにも適用できるということは、当業者であるならば、本願の詳細な説明の記載から明確に理解することができるであろう。

図３に図示されているようなＧＯＰ ３００に備わったＢピクチャそれぞれを、Ｂピクチャ非参照モード、Ｂピクチャ参照モード、及びピラミッド・モードを介して両方向予測符号化する場合、各符号化モードによって、図３のＧＯＰ ３００内のＢピクチャの予測符号化に利用される参照ピクチャは、次の表１の通りである。

表１でｎは、図３に図示されたＭ個の連続するＢピクチャの真ん中に位置したＢピクチャを表すためのインデックスであって、ｎ＝（Ｍ＋１）／２である。もしＭが偶数である場合には、ｎの値を切り上げしたり、または切り下げしたりして、連続するＢピクチャの真ん中に位置したＢピクチャを利用できる。

前述の図１Ａないし図１Ｃで説明した通り、Ｂピクチャ非参照モードでは、Ｂピクチャを他のピクチャの参照ピクチャとして利用できず、ただしＩピクチャやＰピクチャのみ参照ピクチャとして利用される。従って、Ｂピクチャ非参照モードによって、Ｂピクチャは、以前に符号化された後に復元されたＩピクチャまたはＰピクチャを利用して両方向予測符号化される。例えば、Ｂ１ピクチャは、それ以前に符号化された後で復元されたＩ０及びＰＭ＋１を利用して予測符号化される。

Ｂピクチャ参照モードでは、以前に符号化された後で復元されたあらゆるＢピクチャが他のピクチャの参照ピクチャとして利用できるために、表１に示されているように、現在符号化されるＢピクチャの以前に符号化された後で復元されたＢピクチャを参照ピクチャとして利用できる。例えば、図１Ｂ及び表１を参照するに、Ｂピクチャ参照モードによってＢ２を符号化する場合、Ｂ２は、以前に処理の完了したＢ１及びＰＭ＋１を参照ピクチャとして利用して予測符号化される。

ピラミッド・モードでは、連続したＢピクチャのうち真ん中に位置したＢピクチャを他のピクチャの参照ピクチャとして利用できる。例えば、図４Ａで、連続したＢピクチャＢ１ないしＢＭのうちで真ん中に位置したＢピクチャをＢｎとするとき、Ｂ１ないしＢｎ−１ピクチャは、Ｉ０及びＢｎを参照ピクチャとして利用して両方向予測符号化され、Ｂｎ＋１ないしＢＭピクチャは、Ｂｎ及びＰＭ＋１を参照ピクチャとして利用して両方向予測符号化される。

相関度計算部２２０は、かような各符号化モードによって、Ｂピクチャの予測符号化に利用される参照ピクチャと各サブグループ内に備わったＢピクチャとの相関度を計算する。ここで、相関度は、２つの映像がどれほど類似しているかを表すものであり、高い相関度を有する映像ピクチャであるほど、互いに類似した映像であることを意味する。

Ｂピクチャと、各符号化モードでＢピクチャの予測符号化に利用される参照ピクチャとの相関度は、多様なアルゴリズムを介して計算されうる。一例として、相関度計算部２２０は、現在符号化されるＢピクチャのヒストグラムと、各符号化モードでＢピクチャの予測符号化に利用される参照ピクチャのヒストグラムとを比較して相関度を計算できる。ここで、ヒストグラムは、図５の例に図示されているように、ピクチャ内に備わったピクセル値の個数分布を意味する。ピクチャ内の各ピクセルは、８ビットで表現され、０〜２５５間のピクセル値を有すると仮定すれば、図５の例では、ある任意のピクチャ内に０ピクセル値を有するピクセルの個数は、１６、１ピクセル値を有するピクセルの個数は２５であることを示している。

任意の２ピクチャＸ，Ｙに備わったピクセルは、０〜（ｎ−１）間のピクセル値を有すると仮定すれば、２ピクチャＸ，Ｙ間の相関度Ｈ（Ｘ，Ｙ）は、ピクセル値の分布によるヒストグラムに基づいて、次の式

のように計算される。ここで、Ｈ_Ｘ［ｉ］をｉのピクセル値を有するＸピクチャに備わったピクセル個数、Ｈ_Ｙ［ｉ］をｉのピクセル値を有するピクチャＹに備わったピクセル個数を表す。すなわち、２ピクチャ間の相関度は、２ピクチャに備わったピクセル値のヒストグラムの差の平均（２ピクチャで、同一ピクセル値個数の差の平均）で計算されうる。

前記数式を利用して相関度計算部２２０は、サブグループ内に備わった各Ｂピクチャに対し、Ｂピクチャに備わったピクセル値のヒストグラムと、各符号化モードによる参照ピクチャに備わったピクセル値のヒストグラムとの差の平均を計算し、Ｂピクチャと参照ピクチャとの相関度を計算する。

例えば、図４Ａ及び表１を再び参照するに、サブグループ１ ４１０に備わったＢ１ピクチャと最も相関度の高い参照ピクチャを利用する符号化モードを決定するために、相関度計算部２２０は、Ｂ１の符号化時にあらゆる符号化モードで共通して利用される参照ピクチャＩ０を除き、各符号化モードで別途に参照ピクチャとして利用するＰＭ＋１とＢ１との相関度Ｈ（Ｂ１，ＰＭ＋１）及びＢｎとＢ１との相関度Ｈ（Ｂ１，Ｂｎ）を計算する。

もし、複数個の符号化モード間に、現在Ｂピクチャの参照ピクチャとして利用される共通ピクチャがない場合には、各符号化モードで利用される参照ピクチャそれぞれとＢピクチャとの相関度を計算した後、その平均値をＢピクチャとの相関度として利用できる。例えば、表１を参照するに、Ｂピクチャ非参照モード、Ｂピクチャ参照モード、及びピラミッド・モードいずれでも、サブグループ１ ４１０に備わったＢ２の予測符号化に利用する共通参照ピクチャが存在しない。

かような場合、相関度計算部２２０は、（Ｈ（Ｂ２，Ｉ０）＋Ｈ（Ｂ２，ＰＭ＋１））／２を、Ｂ２と、Ｂピクチャ非参照モードで参照ピクチャとして利用されるＩ０及びＰＭ＋１との相関度を表す値として利用し、（Ｈ（Ｂ２，Ｂ１）＋Ｈ（Ｂ２，ＰＭ＋１））／２を、Ｂ２と、Ｂピクチャ参照モードで参照ピクチャとして利用されるＢ１及びＰＭ＋１との相関度を表す値として利用し、（Ｈ（Ｂ２，Ｉ０）＋Ｈ（Ｂ２，Ｂｎ））／２を、Ｂ２と、ピラミッド・モードで参照ピクチャとして利用されるＩ０及びＢｎとの相関度を表す値として利用できる。

符号化モード選択部２３０は、相関度計算部２２０で計算されたサブグループ内のＢピクチャと各符号化モードによる参照ピクチャとの相関度に基づいて、現在符号化されるＢピクチャと最も大きい相関度を有する参照ピクチャを利用する符号化モードを符号化されるＢピクチャ別にカウントし、最終的にサブグループに適用する符号化モードを選択する。例えば、図４Ａで、Ｍを５、Ｂピクチャ参照モードのカウント数をｂ、Ｂピクチャ非参照モードのカウント数をｎｒ、ピラミッド・モードのカウント数をｐと仮定すれば、相関度計算部２２０は、サブグループ１ ４１０に備わったＢピクチャであるＢ１ないしＢ５それぞれに対して、各符号化モードによる参照ピクチャとの相関度を計算し、符号化モード選択部２３０は、現在符号化されるＢピクチャと最も高い相関度を有する参照ピクチャを利用する符号化モードのカウント数を増加させる。もし、ｂ＝１、ｎｒ＝１、ｐ＝３であると決定されたとすれば、符号化モード選択部２３０は、ピラミッド・モードをサブグループ１
４１０内に備わったＢピクチャＢ１ないしＢ５の符号化モードとして選択する。

一方、前述のサブグループ内のＢピクチャと各符号化モードによる参照ピクチャとの相関度を比較する過程は、複数個の符号化モードのうち選択された２個の符号化モードに対して行った後、さらに組合わせ可能な他の２個の符号化モードによる参照ピクチャとＢピクチャとの相関度を比較することによって行われうる。すなわち、Ｂピクチャ参照モード、及びＢピクチャ非参照モードによる参照ピクチャと、サブグループ内のＢピクチャとの相関度を計算し、さらに高い相関度を有する符号化モードをカウントし、次に、Ｂピクチャ非参照モード、及びピラミッド・モードによる参照ピクチャとサブグループ内のＢピクチャとの相関度を計算し、さらに高い相関度を有する符号化モードをカウントし、Ｂピクチャ参照モード、及びピラミッド・モードによる参照ピクチャと、サブグループ内のＢピクチャとの相関度を計算し、さらに高い相関度を有する符号化モードをカウントした後、最終的に最も大きいカウント値を有する符号化モードをサブグループの符号化モードとして決定するのである。

具体的に、Ｂピクチャ参照モード、Ｂピクチャ非参照モード、及びピラミッド・モードのうち、まずＢピクチャ非参照モード、及びＢピクチャ参照モードによる参照ピクチャと、図４Ａに図示されたサブグループ１ ４１０に備わったＢピクチャとの相関度を比較する。この場合、サブグループ内の各Ｂピクチャ別に比較されねばならない相関度は、次の表２のようである。

表１及び表２を参照するに、図４Ａのサブグループ１ ４１０に備わった最初のＢピクチャであるＢ１の予測符号化時には、Ｂピクチャ非参照モードとＢピクチャ参照モードとで利用する参照ピクチャがＩ０、ＰＭ＋１と同一であるので、Ｂ１については、Ｂピクチャ非参照モードとＢピクチャ参照モードとによる参照ピクチャ間の相関度を比較する必要がない。このように、Ｂピクチャ非参照モードとＢピクチャ参照モードとで利用される同じ参照ピクチャを除き、Ｂピクチャ非参照モードとＢピクチャ参照モードとで利用される参照ピクチャとサブグループ内のＢピクチャとの相関度を比較し、各Ｂピクチャとさらに高い相関度を有する参照ピクチャとを利用する符号化モードのカウントを増加させる。例えば、Ｂ３の予測符号化を行うとき、Ｂピクチャ非参照モードでは、Ｉ０とＰＭ＋１とを参照ピクチャとして利用し、Ｂピクチャ参照モードでは、Ｂ１とＰＭ＋１とを参照ピクチャとして利用するために、各符号化モードで同一に利用されるＰＭ＋１を除き、Ｂ３とＩ０との相関度Ｈ（Ｂ３，Ｉ０）と、Ｂ３とＢ２との相関度Ｈ（Ｂ３，Ｂ２）とを比較し、さらに高い相関度を有する符号化モードのカウントを増加させる。

前述のように、Ｈ（Ｘ，Ｙ）の値が小さいほど、２つの映像ピクチャＸ，Ｙのピクセル値の分布が類似しているということを意味するので、Ｈ（Ｘ，Ｙ）が小さいほどＸ，Ｙがさらに高い相関度を有する。従って、前記例で、Ｈ（Ｂ３，Ｉ０）＞Ｈ（Ｂ３，Ｂ２）ならば、現在符号化されるＢ３ピクチャは、Ｂ２とさらに高い相関度を有することを意味するので、Ｂ３ピクチャの符号化に適した符号化モードとして、Ｂ２ピクチャを参照ピクチャとして利用するＢピクチャ参照モードのカウントｒを増加させ、反対の場合には、Ｂピクチャ非参照モードのカウントｎｒを増加させる。かような過程は、サブグループ内に備わったあらゆるＢピクチャに対して反復される。

次に、Ｂピクチャ非参照モード、及びピラミッド・モードによる参照ピクチャと、図４Ａに図示されたサブグループ１ ４１０に備わったＢピクチャとの相関度を比較する。この場合、サブグループ内の各Ｂピクチャ別に比較されねばならない相関度は、次の表３の通りである。

表１及び表３を参照するに、図４Ａのサブグループ１ ４１０に備わった連続するＭ個のＢピクチャの真ん中に位置したＢピクチャであるＢｎの予測符号化時には、Ｂピクチャ非参照モードとピラミッド・モードとで利用する参照ピクチャがＩ０、ＰＭ＋１と同一であるので、Ｂｎについては、Ｂピクチャ非参照モードとピラミッド・モードとによる参照ピクチャ間の相関度を比較する必要がない。このように、Ｂピクチャ非参照モードとピラミッド・モードとで利用される同じ参照ピクチャを除き、Ｂピクチャ非参照モードとピラミッド・モードとで利用される参照ピクチャとサブグループ内のＢピクチャとの相関度を比較し、各Ｂピクチャとさらに高い相関度を有する参照ピクチャとを利用する符号化モードのカウントを増加させる。例えば、Ｂ２の予測符号化を行うとき、Ｂピクチャ非参照モードでは、Ｉ０とＰＭ＋１とを参照ピクチャとして利用し、ピラミッド・モードでは、Ｉ０とＢｎとを参照ピクチャとして利用するために、各符号化モードで同一に利用されるＩ０を除き、Ｂ２とＰＭ＋１との相関度Ｈ（Ｂ２，ＰＭ＋１）と、Ｂ２とＢｎとの相関度Ｈ（Ｂ２，Ｂｎ）とを比較し、さらに高い相関度を有する符号化モードのカウントを増加させる。

前記例で、Ｈ（Ｂ２，ＰＭ＋１）＞Ｈ（Ｂ２，Ｂｎ）であるならば、現在符号化されるＢ２ピクチャは、Ｂｎとさらに高い相関度を有することを意味するので、Ｂ２ピクチャの符号化に適した符号化モードとして、Ｂｎピクチャを参照ピクチャとして利用するピラミッド・モードのカウントｐを増加させ、反対の場合には、Ｂピクチャ非参照モードのカウントｎｒを増加させる。かような過程は、サブグループ内に備わったあらゆるＢピクチャに対して反復される。

次に、Ｂピクチャ参照モード、及びピラミッド・モードによる参照ピクチャと、図４Ａに図示されたサブグループ１ ４１０に備わったＢピクチャとの相関度を比較する。この場合、サブグループ内の各Ｂピクチャ別に比較されねばならない相関度は、次の表４の通りである。

表１及び表４を参照するに、図４Ａのサブグループ１ ４１０に備わったＢｎ＋１の予測符号化時には、Ｂピクチャ非参照モードとピラミッド・モードとで利用する参照ピクチャがＢｎ、ＰＭ＋１と同一であるので、Ｂｎ＋１については、Ｂピクチャ参照モードとピラミッド・モードによる参照ピクチャ間の相関度を比較する必要がない。このように、Ｂピクチャ参照モードとピラミッド・モードとで利用される同じ参照ピクチャを除き、Ｂピクチャ参照モードとピラミッド・モードとで利用される参照ピクチャと、サブグループ内のＢピクチャとの相関度を比較し、各Ｂピクチャとさらに高い相関度を有する参照ピクチャを利用する符号化モードのカウントを増加させる。例えば、Ｂ１を予測符号化するとき、Ｂピクチャ参照モードでは、Ｉ０とＰＭ＋１とを参照ピクチャとして利用し、ピラミッド・モードでは、Ｉ０とＢｎとを参照ピクチャとして利用するために、各符号化モードで同一に利用されるＩ０を除き、Ｂ１とＰＭ＋１との相関度Ｈ（Ｂ１，ＰＭ＋１）と、Ｂ１とＢｎとの相関度Ｈ（Ｂ１，Ｂｎ）とを比較し、さらに高い相関度を有する符号化モードのカウントを増加させる。

前記例で、Ｈ（Ｂ１，ＰＭ＋１）＞Ｈ（Ｂ１，Ｂｎ）であるならば、現在符号化されるＢ１ピクチャは、Ｂｎとさらに高い相関度を有することを意味するので、Ｂ１ピクチャの符号化に適した符号化モードとして、Ｂｎピクチャを参照ピクチャとして利用するピラミッド・モードのカウントｐを増加させ、反対の場合には、Ｂピクチャ参照モードのカウントｒを増加させる。また、Ｂ２を予測符号化するとき、Ｂピクチャ参照モードでは、Ｂ１とＰＭ＋１とを参照ピクチャとして利用し、ピラミッド・モードでは、Ｉ０とＢｎとを参照ピクチャとして利用する。このように、各符号化モードで利用される参照ピクチャがいずれも異なる場合には、各符号化モードによる参照ピクチャと現在符号化されるＢピクチャとの相関度をいずれも考慮せねばならない。

前記例で、符号化されるＢ２ピクチャとＢピクチャ参照モードとで、参照ピクチャとして利用されるＢ１及びＰＭ＋１との相関度Ｈ（Ｂ２，Ｂ１）、Ｈ（Ｂ２，ＰＭ＋１）を計算し、またＢ２ピクチャとピラミッド・モードとで参照ピクチャとして利用されるＩ０及びＢｎとの相関度Ｈ（Ｂ２，Ｉ０）、Ｈ（Ｂ２，Ｂｎ）を計算し、｛Ｈ（Ｂ２，Ｂ１）＋Ｈ（Ｂ２，ＰＭ＋１）｝及び｛Ｈ（Ｂ２，Ｉ０）＋Ｈ（Ｂ２，Ｂｎ）Ｈ（Ｂ２，ＰＭ＋１）｝を比較し、｛Ｈ（Ｂ２，Ｂ１）＋Ｈ（Ｂ２，ＰＭ＋１）｝＞｛Ｈ（Ｂ２，Ｉ０）＋Ｈ（Ｂ２，Ｂｎ）Ｈ（Ｂ２，ＰＭ＋１）｝であるならば、現在符号化されるＢ２ピクチャは、Ｉ０及びＰＭ＋１とさらに高い相関度を有することを意味するので、Ｂ２ピクチャの符号化に適した符号化モードとして、Ｉ０及びＰＭ＋１を参照ピクチャとして利用するピラミッド・モードのカウントｐを増加させ、反対の場合には、Ｂピクチャ参照モードのカウントｒを増加させる。

このように、サブグループ内のＢピクチャと各符号化モードによる参照ピクチャとの相関度を比較する過程を、組合わせ可能なあらゆる符号化モードによって反復した後、符号化モード選択部２３０は、最も大きいカウント値を有する符号化モードを選択する。

前述のサブグループ内のＢピクチャと各符号化モードによる参照ピクチャとの相関度を比較し、サブグループに適用する符号化モードを選択するアルゴリズムを整理すれば、次の通りである。

ステップ１：ｎｒを、Ｂピクチャ非参照モードが符号化されるＢピクチャとさらに高い相関度を有すると判断されたカウント数、ｐを、ピラミッド・モードが符号化されるＢピクチャとさらに高い相関度を有すると判断されたカウント数、ｒを、Ｂピクチャ参照モードが符号化されるＢピクチャとさらに高い相関度を有すると判断されたカウント数と設定した後、各サブグループの処理開始時に、前記ｎｒ、ｐ、ｒ値を０に設定する。

ステップ２：サブグループ内のＢピクチャに対して、前述の表２に基づいて、次の通りＢピクチャ非参照モード、及びＢピクチャ参照モードで利用される参照ピクチャとの相関度を計算し、さらに高い相関度を有する符号化モードのカウントを増加させる。

｛ｆｏｒｉ＝２ ｔｏ Ｍ
ｉｆ Ｈ（Ｂｉ，Ｉ０）＜Ｈ（Ｂｉ，Ｂｉ−１） ｔｈｅｎ ｎｒ＋＝１；
ｅｌｓｅ ｒ＋＝１；
｝
ステップ３：サブグループ内のＢピクチャに対し、前述の表３に基づいて、次の通りＢピクチャ非参照モード、及びピラミッド・モードで利用される参照ピクチャとの相関度を計算し、さらに高い相関度を有する符号化モードのカウントを増加させる。

｛ｆｏｒ ｉ＝１ ｔｏ ｎ−１
ｉｆ Ｈ（Ｂｉ，ＰＭ＋１）＜Ｈ（Ｂｉ，Ｂｎ） ｔｈｅｎ ｎｒ＋＝１；
ｅｌｓｅ ｐ＋＝１；
ａｎｄ ｆｏｒ ｉ＝ｎ＋１ ｔｏ Ｍ
ｉｆ Ｈ（Ｂｉ，Ｉ０）＜Ｈ（Ｂｉ，Ｂｎ） ｔｈｅｎ ｎｒ＋＝１；
ｅｌｓｅｐ＋＝１；
｝
ステップ４：サブグループ内のＢピクチャに対し、前述の表４に基づいて、次の通りＢピクチャ参照モード、及びピラミッド・モードで利用される参照ピクチャとの相関度を計算し、さらに高い相関度を有する符号化モードのカウントを増加させる。

｛ｆｏｒ ｉ＝１
ｉｆ Ｈ（Ｂｉ，ＰＭ＋１）＜Ｈ（Ｂｉ，Ｂｎ） ｔｈｅｎ ｒ＋＝１；
ｅｌｓｅ ｐ＋＝１；
ｆｏｒ ｉ＝２ ｔｏ ｎ−１
ｉｆ （Ｈ（Ｂｉ，Ｂｉ−１）＋Ｈ（Ｂｉ，ＰＭ＋１）＜（Ｈ（Ｂｉ，Ｉ０）＋Ｈ（Ｂｉ，Ｂｎ）） ｔｈｅｎ ｒ＋＝１；
ｅｌｓｅ ｐ＋＝１；
ｆｏｒ ｉ＝ｎ
ｉｆ Ｈ（Ｂｉ，Ｂｉ−１）＜Ｈ（Ｂｉ，Ｉ０） ｔｈｅｎ ｒ＋＝１；
ｅｌｓｅ ｐ＋＝１；
ａｎｄ ｆｏｒ ｉ＝ｎ＋２ ｔｏ Ｍ
ｉｆ Ｈ（Ｂｉ，Ｂｉ−１）＜Ｈ（Ｂｉ，Ｂｎ） ｔｈｅｎ ｒ＋＝１；
ｅｌｓｅ ｐ＋＝１；
｝
ステップ５：各符号化モードのカウント値を比較し、最大カウント値を有する符号化モードをサブグループに適用する符号化モードとして最終的に決定する。

ステップ６：次のサブグループに対し、前記ステップ１〜５の過程を反復する。このとき、前記ステップ１〜５に例示されたプログラムコードの変数は、当業者であるならば、容易に変更できるので、具体的な説明は省略する。

一方、相関度計算部２２０は、計算の複雑性及び量子化ノイズによる誤差を考慮し、入力された本来の映像を利用し、Ｂピクチャと参照ピクチャとの相関度を計算することが望ましい。

また、相関度計算部２２０は、前述の比較対象になる２ピクチャ間のピクセル値の分布によるヒストグラムに基づいて相関度を計算する代わりに、ＭＳＥ（Mean Square Error）、ＳＡＤ（Sum of Absolute Difference）及びＳＳＥ（Sum of Squared Error）のような誤差計算アルゴリズムを適用して相関度を計算することもできる。この場合、相関度計算部２２０は、ＭＳＥ、ＳＡＤ及びＳＳＥのうちいずれか一つを適用し、サブグループ内のＢピクチャと各符号化モードで利用される参照ピクチャとの誤差を計算し、符号化モード選択部２３０は、Ｂピクチャとの誤差が最小になる参照ピクチャを利用する符号化モードをカウントし、最も大きいカウント値を有する符号化モードをサブグループに適用する符号化モードとして決定できる。

図６は、図２の符号化部２４０の構成の一例を示したブロック図である。図６を参照するに、符号化部６００は、符号化モード選択部２３０で決定された符号化モードによって、サブグループ内に備わった映像ピクチャを符号化する装置であって、一般的な映像符号化装置がそのまま利用されうる。符号化部６００は、動き推定部６０２、動き補償部６０４、イントラ予測部６３０、変換部６０８、量子化部６１０、再整列部６１２、エントロピコーディング部６１４、逆量子化部６１６、逆変還部６１８、フィルタ６２０及びフレームメモリ６２２を具備する。

動き推定部６０２は、サブグループ内に備わったＢピクチャやＰピクチャの予測符号化のために、現在符号化されるＢまたはＰピクチャの予測値を参照ピクチャで探す動き推定を行う。そして、動き補償部６０４は、動き推定によって見つけられた予測映像を参照ピクチャから獲得し、現在符号化されるＢまたはＰピクチャの予測映像を形成する。

イントラ予測部６３０は、Ｉピクチャの予測映像を現在Ｉピクチャ内で探すイントラ予測を行う。

インター予測またはイントラ予測が行われ、現在ピクチャの予測ピクチャが生成されれば、予測ピクチャと現在ピクチャとの差である差分（residue）を計算し、差分は、変換部６０８及び量子化部６１０によって変換及び量子化される。量子化された差分は、再整列部６１２で所定の順序に再配列された後、エントロピコーディング部６１４によってエントロピ符号化されてビットストリームが生成される。

一方、ＢピクチャまたはＰピクチャの予測に利用される参照ピクチャを得るために、量子化されたピクチャを逆量子化部６１６と逆変還部６１８とを介して復元する。このように復元されたピクチャは、デブロッキング・フィルタリングを行うフィルタ６２０を経た後、フレームメモリ６２２に保存されていて、次にピクチャに対してインター予測を行うのに使われる。

図７は、本発明による映像符号化方法を示したフローチャートである。図７を参照するに、段階７１０で、映像シーケンス内に備わった複数個の映像ピクチャから構成されたピクチャグループを、連続したＢピクチャを基準に分割してサブグループを生成する。

段階７２０で、利用可能な複数個の符号化モード別に、サブグループ内に備わったＢピクチャが参照する参照ピクチャとサブグループ内のＢピクチャとの相関度を計算する。

段階７３０で、各符号化モードによる参照ピクチャとＢピクチャとの相関関係を利用し、複数個の符号化モードのうち１つの符号化モードを選択する。前述のように、各符号化モードによる参照ピクチャとＢピクチャとの相関度を計算し、Ｂピクチャとさらに高い相関度を有する参照ピクチャを利用する符号化モードをカウントし、最も大きいカウント値を有する符号化モードをサブグループに適用する符号化モードとして最終選択する。

段階７４０で、選択された符号化モードによってサブグループ単位で符号化を行う。

図８は、本発明による映像復号化装置を示したブロック図である。図８を参照するに、復号化装置８００は、エントロピデコーダ８１０、再整列部８２０、逆量子化部８３０、逆変還部８４０、動き補償部８５０、イントラ予測部８６０及びフィルタ８７０を具備する。

エントロピデコーダ８１０及び再整列部８２０は、圧縮されたビットストリームを受信してエントロピ復号化を行い、量子化された係数Ｘを生成する。逆量子化部８３０及び逆変還部８４０は、前記量子化された係数Ｘに対する逆量子化及び逆変換を行い、変換符号化係数、動きベクトル情報などを抽出する。動き補償部８５０及びイントラ予測部８６０は、復号化されたヘッダ情報を使用して符号化されたピクチャタイプによって予測ブロックを生成し、前記予測ブロックは、誤差値を表すＤ’_ｎに加えられてｕＦ’_ｎが生成される。前記ｕＦ’_ｎは、フィルタ８７０を経て、復元されたピクチャＦ’_ｎが生成される。

特に、本発明による映像復号化装置８００は、入力されたビットストリームに備わった符号化モード情報を判読し、ビットストリームに備わった符号化された複数個の映像ピクチャをサブグループに分割し、各サブグループ内に備わった両方向ピクチャの符号化に利用されたモードを決定した後、決定された符号化モードによって、サブグループ内に備わった両方向ピクチャの復号化順序及び参照ピクチャを決定して復号化を行う。

図９は、本発明による映像復号化方法を示したフローチャートである。

段階９１０で、入力されたビットストリームに備わった符号化モード情報を判読し、ビットストリームに備わった符号化された複数個の映像ピクチャをサブグループに分割し、各サブグループ内に備わった両方向ピクチャの符号化に利用されたモードを決定する。

段階９２０で、決定された符号化モードによって、サブグループ内に備わった両方向ピクチャの復号化順序及び参照ピクチャを決定する。

段階９３０で、決定された復号化順序及び参照ピクチャを利用し、サブブロック単位で復号化を行って映像を復元する。

本発明による映像の符号化、復号化方法は、またコンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能名コードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（リードオンリメモリ）、ＲＡＭ（ランダムアクセスメモリ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあって、またキャリアウェーブ（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行されうる。

以上、本発明について、その望ましい実施形態を中心に説明した。本発明の属する技術分野で当業者は、本発明の本質的な特性から外れない範囲で変形された形態に具現できるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなくして説明的な観点で考慮されねばならない。本発明の範囲は、前述の説明ではなくして特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれるものと解釈されねばならない。

本発明の映像の符号化、復号化方法及び装置は、例えば、映像関連の技術分野に効果的に適用可能である。

ＧＯＰに備わったＢピクチャの符号化方式による多様な符号化モードを示した図である。 ＧＯＰに備わったＢピクチャの符号化方式による多様な符号化モードを示した図である。 ＧＯＰに備わったＢピクチャの符号化方式による多様な符号化モードを示した図である。 本発明による映像符号化装置を示したブロック図である。 図２の映像符号化装置に入力されるＧＯＰの一例を示した図である。 図３のＧＯＰを分割したサブグループの一例を示した図である。 図３のＧＯＰを分割したサブグループの一例を示した図である。 任意のピクチャ内に備わったピクセル値の個数分布を表すヒストグラムを示した図である。 図２の符号化部の構成の一例を示したブロック図である。 本発明による映像符号化方法を示したフローチャートである。 本発明による映像復号化装置を示したブロック図である。 本発明による映像復号化方法を示したフローチャートである。

符号の説明

２００ 映像符号化装置
２１０ サブグループ生成部
２２０ 相関度計算部
２３０ 符号化モード選択部
２４０，６００ 符号化部
３００ ＧＯＰ
４１０ サブグループ１
４２０ サブグループ２
６０２ 動き推定部
６０４，８５０ 動き補償部
６０８ 変換部
６１０ 量子化部
６１２，８２０ 再整列部
６１４ エントロピコーディング部
６１６，８３０ 逆量子化部
６１８，８４０ 逆変換部
６２０，８７０ フィルタ
６２２ フレームメモリ
６３０，８６０ イントラ予測部
８００ 復号化装置
８１０ エントロピデコーダ

Claims (17)

1. 映像符号化方法において、
   映像シーケンス内に備わった複数個の映像ピクチャから構成されたピクチャグループを連続した両方向ピクチャを基準に分割してサブグループを生成する段階と、
   複数個の符号化モード別に、第１サブグループ内に備わった第１両方向ピクチャが参照する参照ピクチャと、前記第１サブグループ内に備わった第１両方向ピクチャとの相関関係を計算する段階と、
   前記相関関係を利用し、前記複数個の符号化モードのうち１つの符号化モードを選択する段階と、
   前記選択された符号化モードによって、前記第１サブグループのＢピクチャに対する符号化を行う段階とを含むことを特徴とする映像符号化方法。
2. 前記複数個の符号化モードは、
   前記第１両方向ピクチャを参照ピクチャとして利用しない両方向ピクチャ非参照モード、あらゆる前記第１両方向ピクチャを参照ピクチャとして利用できる両方向ピクチャ参照モード、及び前記第１サブグループ内に備わった第１両方向ピクチャのうち、中間に位置した両方向ピクチャを前記第１サブグループ内の残りの第１両方向ピクチャの参照ピクチャとして利用するピラミッド・モードを含むことを特徴とする請求項１に記載の映像符号化方法。
3. 前記第１サブグループ内に備わった第１両方向ピクチャが参照する参照ピクチャと、前記第１サブグループ内に備わった第１両方向ピクチャとの相関関係を計算する段階は、
   前記第１サブグループ内に備わった前記第１両方向ピクチャのピクセル値のヒストグラムと、前記複数個の符号化モードによる参照ピクチャに備わったピクセル値のヒストグラムとの差の平均値を計算し、前記両方向ピクチャ単位で各符号化モードによる参照ピクチャとの相関度を計算する段階を含み、
   前記複数個の符号化モードのうち１つの符号化モードを選択する段階は、
   前記複数個の符号化モードのうち最も小さな平均値を有する符号化モードのカウント値を増加させる段階と、
   前記複数個の符号化モードのうち最も大きいカウント値を有する符号化モードを選択する段階とを含むことを特徴とする請求項１に記載の映像符号化方法。
4. 前記参照ピクチャ及び第１両方向ピクチャに備わったピクセル値の範囲を０〜（ｎ−１）（ｎは整数）、前記両方向ピクチャをＢ、参照ピクチャをＲ、Ｈ_Ｂ［ｉ］をｉ（ｉは０〜ｎ）のピクセル値を有する前記両方向ピクチャＢに備わったピクセル個数、Ｈ_Ｒ［ｉ］をｉのピクセル値を有する前記参照ピクチャＲに備わったピクセル個数とするとき、前記参照ピクチャＲと前記第１両方向ピクチャＢとの相関度Ｈ（Ｂ，Ｒ）は、次の式
   

   

   
   で計算されることを特徴とする請求項３に記載の映像符号化方法。
5. 前記第１サブグループ内に備わった第１両方向ピクチャが参照する参照ピクチャと、前記第１サブグループ内に備わった第１両方向ピクチャとの相関関係を計算する段階は、
   ＭＳＥ（Mean Square Error）、ＳＡＤ（Sum of Absolute Difference）及びＳＳＥ（Sum of Squared Error）のうちいずれか一つを利用し、前記サブグループ内に備わった各両方向ピクチャと、前記複数個の符号化モードによる参照ピクチャとの差値を計算する段階を含み、
   前記複数個の符号化モードのうち１つの符号化モードを選択する段階は、
   前記複数個の符号化モードのうち最も小さな差値を有する符号化モードのカウント値を増加させる段階と、
   前記複数個の符号化モードのうち最も大きいカウント値を有する符号化モードを選択する段階とを含むことを特徴とする請求項１に記載の映像符号化方法。
6. 映像符号化装置において、
   映像シーケンス内に備わった複数個の映像ピクチャから構成されたピクチャグループを連続した両方向ピクチャを基準に分割してサブグループを生成するサブグループ生成部と、
   複数個の符号化モード別に、第１サブグループ内に備わった第１両方向ピクチャが参照する参照ピクチャと、前記第１サブグループ内に備わった第１両方向ピクチャとの相関関係を計算する相関度計算部と、
   前記相関関係を利用し、前記複数個の符号化モードのうち１つの符号化モードを選択する符号化モード選択部と、
   前記選択された符号化モードによって、前記サブグループ単位で符号化を行う符号化部とを備えることを特徴とする映像符号化装置。
7. 前記複数個の符号化モードは、
   前記第１両方向ピクチャを参照ピクチャとして利用しない両方向ピクチャ非参照モード、あらゆる前記第１両方向ピクチャを参照ピクチャとして利用できる両方向ピクチャ参照モード、及び前記第１サブグループ内に備わった第１両方向ピクチャのうち、中間に位置した両方向ピクチャを前記第１サブグループ内の残り両方向ピクチャの参照ピクチャとして利用するピラミッド・モードを含むことを特徴とする請求項６に記載の映像符号化装置。
8. 相関度計算部は、
   前記第１サブグループ内に備わった前記第１両方向ピクチャのピクセル値のヒストグラムと前記複数個の符号化モードによる参照ピクチャに備わったピクセル値のヒストグラムとの差の平均値を計算し、前記両方向ピクチャ単位で各符号化モードによる参照ピクチャとの相関度を計算することを特徴とする請求項６に記載の映像符号化装置。
9. 前記符号化モード選択部は、
   前記両方向ピクチャ別に前記複数個の符号化モードのうち現在符号化される第１両方向ピクチャと最も高い相関度を有する参照ピクチャを利用する符号化モードのカウント値を増加させ、前記第１サブグループに備わった前記第１両方向ピクチャに対する処理が完了した後、前記複数個の符号化モードのうち最も大きいカウント値を有する符号化モードを選択することを特徴とする請求項６に記載の映像符号化装置。
10. 前記相関度計算部は、
    前記参照ピクチャ及び両方向ピクチャに備わったピクセル値の範囲を０〜（ｎ−１）（ｎは整数）、前記両方向ピクチャをＢ、参照ピクチャをＲ、Ｈ_Ｂ［ｉ］をｉ（ｉは０〜ｎ）のピクセル値を有する前記両方向ピクチャＢに備わったピクセル個数、Ｈ_Ｒ［ｉ］をｉのピクセル値を有する前記参照ピクチャＲに備わったピクセル個数とするとき、前記参照ピクチャＲと前記第１両方向ピクチャＢとの相関度Ｈ（Ｂ，Ｒ）を次の式
    

    

    
    を介して計算することを特徴とする請求項６に記載の映像符号化装置。
11. 前記相関度計算部は、
    ＭＳＥ、ＳＡＤ及びＳＳＥのうちいずれか一つを利用し、前記サブグループ内に備わった各第１両方向ピクチャと、前記複数個の符号化モードによる参照ピクチャとの差値を計算し、
    前記符号化モード選択部は、
    前記複数個の符号化モードのうち最も小さな差値を有する符号化モードのカウント値を増加させ、前記複数個の符号化モードのうち最も大きいカウント値を有する符号化モードを選択することを特徴とする請求項６に記載の映像符号化装置。
12. 映像復号化方法において、
    入力されたビットストリームに備わった符号化モード情報を判読し、前記ビットストリームに備わった符号化された複数個の映像ピクチャをサブグループに分割し、第１サブグループ内に備わった第１両方向ピクチャの符号化に利用されたモードを決定する段階と、
    前記決定された符号化モードによって、前記第１サブグループ内に備わった第１両方向ピクチャの復号化順序及び参照ピクチャを決定する段階と、
    前記決定された復号化順序及び参照ピクチャを利用し、前記第１サブグループの前記第１両方向ピクチャに対する復号化を行う段階とを含むことを特徴とする映像復号化方法。
13. 前記第１サブグループ内に備わった第１両方向ピクチャの符号化に利用されたモードは、
    前記第１両方向ピクチャを参照ピクチャとして利用しない両方向ピクチャ非参照モード、あらゆる第１両方向ピクチャを参照ピクチャとして利用できる両方向ピクチャ参照モード、及び前記第１サブグループ内に備わった第１両方向ピクチャのうち、中間に位置した両方向ピクチャを前記第１サブグループ内の残りの第１両方向ピクチャの参照ピクチャとして利用するピラミッド・モードを含むことを特徴とする請求項１２に記載の映像復号化方法。
14. 映像復号化装置において、
    入力されたビットストリームに備わった符号化モード情報を判読し、前記ビットストリームに備わった符号化された複数個の映像ピクチャをサブグループに分割し、前記サブグループ内に備わった両方向ピクチャの符号化に利用されたモードを決定する符号化モード判別部と、
    前記決定された符号化モードによって、前記サブグループ内に備わった両方向ピクチャの復号化順序及び参照ピクチャを決定する復号化順序決定部と、
    前記決定された復号化順序及び参照ピクチャを利用し、前記サブグループの両方向ピクチャに対する復号化を行う復号化部とを備えることを特徴とする映像復号化装置。
15. 前記サブグループ内に備わった両方向ピクチャの符号化に利用されたモードは、
    前記両方向ピクチャを参照ピクチャとして利用しない両方向ピクチャ非参照モード、あらゆる両方向ピクチャを参照ピクチャとして利用できる両方向ピクチャ参照モード、及び前記サブグループ内に備わった連続した両方向ピクチャのうち、中間に位置した両方向ピクチャを前記サブグループ内の残り両方向ピクチャの参照ピクチャとして利用するピラミッド・モードを含むことを特徴とする請求項１４に記載の映像復号化装置。
16. 前記複数個の符号化モードは、前記第１両方向ピクチャが前記第１サブグループ内の他のピクチャの参照ピクチャとして利用されているか否かということと、前記第１両方向ピクチャによって参照される参照ピクチャとによって分類されることを特徴とする請求項１に記載の映像符号化方法。
17. 前記複数個の符号化モードは、
    前記第１両方向ピクチャが前記第１サブグループ内の他のピクチャの参照ピクチャとして利用されているか否かということと、前記第１両方向ピクチャによって参照される参照ピクチャとによって分類されることを特徴とする請求項６に記載の映像符号化装置。

Images