JP4974583B2 - 画像符号化装置及び符号化方法 - Google Patents

Description

本発明は、映像情報、特には動画像情報を符号化する技術に関する。

近年、映像情報に対する高画質化のニーズは高まりつつあり、テレビ放送も従来の７２０×４８０画素のＳＤ（標準画質）から、１９２０×１０８０画素のＨＤ（高画質）に移行しつつある。

高画質化によりデータ量が増大するため、一層高能率な符号化アルゴリズムの開発が望まれている。そして、ＩＴＵ−Ｔ ＳＧ１６やＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１で、フレーム間予測を用いた圧縮符号化方式の標準化作業が進められている。

現状、最も高能率符号化を実現しているといわれる符号化方式に、Ｈ．２６４／ＡＶＣ（ＭＰＥＧ−４ ＰＡＲＴ１０）がある。この符号化方式において新たに導入された技術的な特徴の一つは、フレーム間予測符号化に用いる参照画像を、複数のフレームの中から選択可能である点である。つまり、時間的に離れた画像フレームでも、符号化効率の向上が見込まれるのなら参照画像に採用することが可能となる。
しかしながら、このような柔軟な参照画像の選択を許容したことによる高能率符号化の実現は、特殊再生時の問題を提起する（特許文献１参照）。

従来、動画像情報の符号化に広く用いられているＭＰＥＧ２方式においては、各画像フレームをフレーム内符号化、順方向のフレーム間符号化、双方向のフレーム間符号化のいずれかにより符号化する。そして、符号化フレームを、適用された符号化方式によってＩピクチャ、Ｐピクチャ及びＢピクチャと呼ぶ。

ＭＰＥＧ２方式では、Ｐピクチャの参照画像は直前のＩピクチャ又はＰピクチャに限定されていた。そのため、ＩピクチャとＰピクチャだけを抜き出し、正しく復号化して再生することが可能であり、例えば高速再生を容易に実現することができた。

しかし、Ｈ．２６４方式では、Ｐピクチャが複数の画像を参照画像とできるだけでなく、Ｂピクチャを参照画像とすることも許容している。従って、符号化画像ストリームからＩピクチャとＰピクチャだけを抜き出して再生しようとした場合、Ｂピクチャを参照画像としているＰピクチャは、正常な復号化を行なうことが困難となる。

特許文献１では、高速再生を行なう場合、Ｉピクチャから次のＩピクチャの直前のピクチャまでの間は、Ｉピクチャから少なくとも１枚目のＰピクチャまでの、時間的に連続するフレーム群を復号化する。そして、復号化したフレーム群に含まれるＩピクチャとＰピクチャのみを再生している。

特開２００４−３２８５１１号公報（段落［０１６６］、図１２及び段落［０１８７］）

前述のように、Ｈ．２６４方式では、フレーム間符号化時の参照画像を柔軟に選択可能としたために、特殊再生に利用可能なピクチャは原則としてＩピクチャだけとなってしまった。

なお、特許文献１では、ＩピクチャからＰピクチャまでのピクチャを抜き取れば、ＩピクチャとＰピクチャは復号できるように説明されている。しかし、Ｈ．２６４／ＡＶＣ標準では、Ｐピクチャに参照されるＢピクチャが、Ｉピクチャよりもさらに古いピクチャを参照することを許容しているので、Ｐピクチャが復号化できない可能性もある。特許文献１ではこのような場合の対策については開示していない。

また、ＭＰＥＧ方式においては、所定数の連続したピクチャからなるピクチャ群をグループオブピクチャ（ＧＯＰ）として管理し、ＧＯＰを単位として符号化を管理する。高能率な符号化を実現するためには、ＧＯＰを構成するピクチャ数を多くすることが望ましいが、特許文献１では、途中でＧＯＰ構造が変化した場合の特殊再生方法に関しても記載されていない。

本発明はこのような従来技術の問題点に鑑みてなされたものである。そしてグループを構成するピクチャの数が変化する場合であっても、符号化効率の低下を抑制しながら、特殊再生が容易に行える符号化ピクチャを含めた符号化を行うことが可能な符号化装置及び符号化方法を提供することを目的とする。

すなわち、上述の目的は、動画像を構成する各ピクチャを複数のグループで管理するとともに、各ピクチャをフレーム内予測符号化方式、フレーム間予測符号化方式のいずれかを用いて符号化する符号化装置であって、各グループに含まれるピクチャの数を、グループ毎に変動可能に決定する決定手段と、各ピクチャに対し、フレーム内予測符号化方式を用いて符号化されるＩピクチャ、フレーム間予測符号化方式を用いて符号化される第１のＰピクチャ又はＢピクチャ、及び、フレーム間予測符号化方式を用いて符号化され、フレーム間予測時の参照関係に第１のＰピクチャには無い制限を有する第２のＰピクチャの中の１種類を選択する選択手段と、選択手段が選択したピクチャの種類に対応する符号化方式に基づいて各ピクチャを符号化する符号化手段と、グループ毎にピクチャの数を変化させる場合であっても、複数のグループに渡って、所定のピクチャ間隔毎に、（１）Ｉピクチャ、又は、（２）参照可能なピクチャがＩピクチャ又は所定のピクチャ間隔に対応する他の第２のＰピクチャに制限された第２のＰピクチャ、が選択されるように、選択手段による選択動作を制御する制御手段と、を有することを特徴とする符号化装置によって達成される。

また、上述の目的は、動画像を構成する各ピクチャを複数のグループで管理するとともに、各ピクチャをフレーム内予測符号化方式、フレーム間予測符号化方式のいずれかを用いて符号化する符号化方法であって、決定手段が、各グループに含まれるピクチャの数を、グループ毎に変動可能に決定する決定工程と、選択手段が、各ピクチャに対し、フレーム内予測符号化方式を用いて符号化されるＩピクチャ、フレーム間予測符号化方式を用いて符号化される第１のＰピクチャ又はＢピクチャ、及び、フレーム間予測符号化方式を用いて符号化され、フレーム間予測時の参照関係に第１のＰピクチャには無い制限を有する第２のＰピクチャの中の１種類を選択する選択工程と、符号化手段が、選択工程で選択されたピクチャの種類に対応する符号化方式に基づいて各ピクチャを符号化する符号化工程と、グループ毎にピクチャの数を変化させる場合であっても、複数のグループに渡って、所定のピクチャ間隔毎に、（１）Ｉピクチャ、又は、（２）参照可能なピクチャがＩピクチャ又は所定のピクチャ間隔に対応する他の第２のＰピクチャに制限された第２のＰピクチャ、が選択されるように、制御手段が選択工程における選択動作を制御する制御工程と、を有することを特徴とする符号化方法によっても達成される。

このような構成により、本発明によれば、グループを構成するピクチャの数が変化する場合であっても、符号化効率の低下を抑制しながら、特殊再生が容易に行える符号化ピクチャを含めた符号化を行うことが可能な符号化装置及び符号化方法が実現できる。

以下、図面を参照して本発明をその好適な実施形態に基づいて説明する。
＜第１の実施形態＞
図２は、本発明の第１の実施形態に係る画像符号化装置かつ画像復号化装置の一例としてのビデオカメラ（ＶＣＲ）の構成例を示すブロック図である。

図において、ＵＩ処理部１０は、スイッチ、ボタン、タッチパネル、ダイヤル等を有し、ユーザがビデオカメラに対して動作指示や設定を行なうために用いられる。ＵＩ処理部１０に対する操作は、制御部２０へ伝えられる。

制御部２０は例えばマイクロコンピュータであり、例えば内部ＲＯＭに記憶された制御プログラムを実行して各部の動作を制御することにより、ビデオカメラ全体を制御する。映像入力部１００は、レンズや撮像素子、Ａ／Ｄコンバータ等を有し、被写体映像をディジタルデータに変換して出力する。符号化処理部２００は、映像入力部１００からのデジタル画像データを圧縮符号化する。

記録処理部３００は、符号化処理部２００で圧縮符号化されたデジタル画像データを、所定の記録方式でテープ、ディスク或いは半導体メモリ等の記録媒体４００に記録する。再生処理部５００は、記録媒体４００から符号化画像データを読み出す。復号化処理部６００は、再生処理部５００が読み出した符号化画像データを復号化する。映像出力部７００は、ＬＣＤ等の表示部を有し、復号された画像データや、設定画面等を表示する。

このような構成を有するビデオカメラの記録動作について説明する。
ユーザがＵＩ処理部１０を介して記録開始を指示すると、制御部２０は映像入力部１００、符号化処理部２００、記録処理部３００を制御して記録処理を開始する。記録時、被写体映像は映像入力部１００により撮影され、デジタル画像データとして出力される。画像データは、符号化処理部２００で符号化され、データ量を圧縮された符号化画像データとして出力される。なお、本実施形態においては、後述する特殊再生用ピクチャの処理も符号化処理部２００で行なう。符号化画像データは、記録処理部３００で記録媒体４００に適応した信号処理が施された後、記録媒体４００に記録される。

なお、本実施形態におけるビデオカメラは、映像入力部（カメラ）１００から入力される画像データだけでなく、図示しない外部入力端子を介して外部から入力される（ライン入力される）画像データを符号化、記録することが可能である。

次に、特殊再生動作に関して説明する。ユーザがＵＩ処理部１０を介して特殊再生の開始を指示すると、制御部２０は再生処理部５００、復号化処理部６００及び映像出力部７００を制御して特殊再生処理を開始する。

再生処理部５００は、記録媒体４００に記録された符号化画像データの中から、後述する特殊再生ピクチャの符号化画像データを読み出し、復号化処理に適した信号処理を施す。読み出された特殊再生ピクチャの符号化画像データは、復号化処理部６００で画像データとして復号される。復号された画像データは逐次映像出力部７００で出力され、特殊再生表示が実現される。

（符号化処理）
次に、本実施形態の符号化処理部２００の構成及び動作について説明する。
図３は、本実施形態の符号化処理部２００の構成例を示すブロック図である。
図において、映像入力部１００が出力するデジタル画像データは、画像入力部２１０を介して供給される。減算器２１２は、入力画像データから、後述する予測画像情報を減算する。変換部（ＤＣＴ）２１４は、減算器２１２の出力する、画像の差分データ（予測誤差データ）に対して４×４の整数直交変換を適用する。

量子化部（Ｑ）２１６は、変換部２１４の出力する変換係数を、所定の量子化スケールで量子化する。エントロピー符号化部（ＥＣ）２１８は、量子化された変換係数に対して、エントロピー符号化処理を行ってデータ圧縮する。

逆量子化部（Ｉ−Ｑ）２３０は量子化された変換係数に対して逆量子化処理を施す。逆変換部（Ｉ−ＤＣＴ）２３２は、逆量子化された変換係数に逆整数直交変換を行ない、画像の差分データに戻す。加算器２３４は、復元された画像の差分データに、後述する予測画像データを加算する。

第１フレームメモリ（ＦＭ）２３６は、後述する予測画像データにより復元された画像データ（局所復号画像データ）を保持する。イントラ予測符号化部（Ｉｎｔｒａ）２４０は、第１フレームメモリ２３６に保持された画像データを所定のブロック単位に分割し、各ブロックの画像データをブロック周辺の画素から予測し、予測画像データを生成する。スイッチ部２６０は、ピクチャ制御部２８０の制御に従い、イントラ予測符号化部２４０と後述するインター予測符号化部２５６の一方の出力を予測画像データとして出力する。

デブロッキングフィルタ（ＤＢＦ）２５０は、後述する予測画像データにより復元された画像データに対し、符号化単位ブロックの境界おける不連続性（所謂ブロックノイズ）を補正する。第２フレームメモリ２５２は、ブロック境界補正処理が行われた復元画像データを、後述する予測画像データの参照画像として利用するために保持する。

インター予測符号化部２５６は、画像入力部２１０から入力される現在の画像データと、第２フレームメモリ２５２に保持される参照画像とから動き情報を求め、現在の画像データの予測画像データを生成する。ピクチャ制御部２８０は、ピクチャ（フレーム）毎に、適用する予測符号化方法を決定する。

次に、符号化動作について説明する。
画像入力部２１０から入力された画像データは、減算器２１２で予測画像データを減算され、予測画像データとの差分データが得られる。差分データは、変換部２１４でＤＣＴ等の整数直交変換が施され、周波数成分データに変換される。各周波数成分に対応する変換係数は、量子化部２１６で所定のステップ幅で量子化される。量子化された変換係数データはエントロピー符号化部２１８で圧縮符号化される。さらに、エントロピー符号化部２１８では、後述する予測符号化ピクチャに関する情報も含め、多重化されて圧縮符号化される。

次に、予測画像データの処理について説明する。予測画像データは、入力された予測符号化対象画像内を参照するイントラ予測符号化方式による生成方法と、入力された予測符号化対象画像以外を参照するインター予測符号化方式による生成方法がある。

まず、イントラ符号化予測方式による予測画像情報の生成方法について説明する。
量子化部２１６で量子化された変換係数を逆量子化部２３０で逆量子化し、変換係数を復元する。復元された変換係数は、さらに逆整数直交変換部２３２で逆整数直交変換を行なうことで、入力画像データと予測画像データとの差分データとして復元される。復元された差分データに対し、加算器２３４で後述する予測画像データを加算することにより、入力画像の復元画像データ（局所復号画像データ）が得られる。

この復元画像データを第１フレームメモリ２３６に記憶する。そして、この復元画像データに対し、イントラ予測符号化部２４０を用いてイントラ予測符号化を行なう。具体的には、復元画像データを所定サイズのブロック単位に分割し、各ブロック内の復元画像データを、ブロックの周辺画素値から予測する。予測画像データは、スイッチ部２６０に送られる。スイッチ部２６０は後述する制御部２８０によって制御され、イントラ予測符号化方式による予測画像データを出力する場合には、制御部２８０がスイッチ２６０ｃに２６０ａを選択させる。
このイントラ予測符号化方式による予測画像データは、スイッチ部２６０から減算器２１２や加算器２３４に送られ、予測画像差分データと復元画像データの生成に使われる。

次に、インター予測符号化方式による予測画像データ生成方法について説明する。
加算器２３４で復元画像データを得るまでは上述した通りであるため、説明を省略する。加算器２３４で得られた復元画像データは、後述するブロック単位の境界におけるデータの不連続性（ブロックひずみ）を排除するために、デブロッキングフィルタ部２５０に送られる。デブロッキングフィルタ部２５０では、ブロック境界に隣接する画素データに対して所定のフィルタ処理を施し、ブロック境界のデータの不連続性を抑圧する。ただし、デブロッキングフィルタはオプションであり、復元画像データにおけるブロックひずみが十分に少ないと判断されるときは、フィルタ処理を行わなくてもよい。

フィルタ処理された復元画像データは、第２フレームメモリ２５２に記憶する。なお、第２フレームメモリ２５２は複数フレーム（ピクチャ）分の復元画像データを保持可能な容量を有する。

インター予測符号化部２５６では、画像入力部２１０から供給される予測符号化対象の入力画像と、第２フレームメモリ２５２に記憶された複数の復元画像データとの相関をブロック単位で求める。そして、符号化対象ブロックと、復元画像データ中のブロックのうち相関が最も高いブロックとの相対位置関係を動き情報として検出する。さらに、この動き情報と、復元画像データに基づく予測画像データとを生成する。

生成されたインター予測符号化方式による予測画像データは、スイッチ部２６０に送られる。スイッチ部２６０は後述する制御部２８０によって制御され、インター予測符号化方式による予測画像データを出力する場合には、制御部２８０がスイッチ２６０ｃに２６０ｂを選択させる。
このインター予測符号化方式による予測画像データは、スイッチ部２６０から減算器２１２や加算器２３４に送られ、予測画像差分データと復元画像データの生成に使われる。

制御部２８０は、予測符号化方式を選択する所定の方法によって、イントラ予測符号化方式（Ｉ）の場合は、スイッチ２６０ｃを２６０ａに、インター予測符号化方式（Ｐ，Ｂ）の場合は、スイッチ２６０ｃを２６０ｂに接続する。

さらに、制御部２８０は、インター予測符号化方式の場合は、インター予測符号化部２５６に対して、前方予測インター予測符号化方式（前方予測方式：Ｐ）か双方向予測インター符号化方式（双方向予測方式：Ｂ）かの指示をピクチャ単位に生成する。

前方予測方式とは、予測符号化に用いる参照画像データを、表示順で符号化対象ピクチャより前の１枚の画像から復元された復元画像データに制限するインター予測符号化方式である。一方、双方向予測方式は、このような表示順に関する制限がなく、最大２枚の画像から復元された復元画像データを参照して、予測符号化することが可能である。
制御部２８０においてピクチャ単位で選択された予測符号化方式（Ｉ，Ｐ，Ｂ）は、エントロピー符号化部２１８に送られ、符号化データに多重化される。

本実施形態においては、説明の簡略化のため、予測符号化方式をピクチャ単位で選択するものとしているが、画素ブロック単位で異なる予測符号化方式を適用することも可能である。例えば、Ｐピクチャを構成する画素ブロックに対しては、イントラ予測方式か前方予測方式が、Ｂピクチャを構成する画素ブロックに対してはイントラ予測方式、前方予測方式および双方向予測方式のいずれかを選択することができる。

このような符号化方式の対応付けにより、ＩピクチャはＩピクチャの符号化データのみから復号が可能となり、ＰピクチャはＰピクチャの符号化データと１枚の参照画像の符号化データがあれば、復号可能となる。

以下、本実施形態における、予測符号化方式の選択方法に関して説明する。
図５は、図２の符号化処理部２００に入力される符号化対象ピクチャと、Ｈ．２６４符号化方式で許容される参照関係の例を説明する概念図である。

図５において、Ｉ、Ｐ、Ｂは前述したイントラ予測符号化ピクチャ（Ｉピクチャ）、前方予測符号化ピクチャ（Ｐピクチャ）、双方向予測符号化ピクチャ（Ｂピクチャ）をそれぞれ表し、図の左側のピクチャから順に図２の符号化処理部２００に入力される。入力順は復号化された後の表示順に等しい。

本実施形態においては、Ｉピクチャが１５ピクチャ間隔で設定されている。Ｉピクチャを最低１枚含む複数の符号化ピクチャ群を、グループオブピクチャ（ＧＯＰ）と呼び、別に管理する。図５において、Ｂ０〜Ｐ１４の１５枚のピクチャからなるピクチャ群１０００がひとつのＧＯＰである。

前述したように、Ｉピクチャは、Ｉピクチャの符号化データのみを用いて復号することが可能である。従って、各ＧＯＰでＩピクチャの位置を管理しておけば、符号化データの中からＩピクチャの符号化データを取り出し復号することが可能であり、本実施形態では１５ピクチャ間隔での復号表示が可能となる。各ＧＯＰから抜き出して復号したＩピクチャを通常のフレームレートで表示すれば、１５倍速相当の特殊再生表示を実現することができる。

また、図５において、Ｉ、Ｐ、Ｂに続く数字０〜１４は、ＧＯＰ単位での、図２の符号化処理部２００に入力する順を示している。
さらに、図中の矢印は、インター予測符号化ピクチャ（ＰピクチャあるいはＢピクチャ）が用いる参照画像データを示している。すなわち、本例において、ピクチャＰ５は、前ＧＯＰのピクチャＰ１４を参照している。ピクチャＰ１１は、ピクチャＰ５を参照している。ピクチャＰ８は、ピクチャＩ２を参照している。ピクチャＰ１４は、ピクチャＰ８を参照している。一方、ピクチャＢ０はピクチャＰ１４とＢ１を参照している。ピクチャＢ１はピクチャＰ１４とＩ２を参照している。

このように、Ｈ．２６４方式では、Ｐピクチャが直近でないＩピクチャやＰピクチャを参照することも可能であり、さらには、図示していないがＢピクチャの参照も許容されている。また、Ｂピクチャが他のＢピクチャを参照したり、直近のＩピクチャやＰピクチャよりも時間的に離れたピクチャを参照することも許容されている。このような、柔軟な参照ピクチャの選択を許容することで、最も相関の高いピクチャを参照画像として選択することが可能となり、結果として、高能率な符号化を可能としている。

しかしながら、図５のように自由な参照を許容すると、上述したように、特殊再生時、特には高速再生する場合、Ｉピクチャのみを抜き出して再生する方法を取らざるを得なくなるという弊害が発生する。すなわち、図５においては１ＧＯＰが１５ピクチャで構成されているが、ＧＯＰを構成するピクチャの数は固定でない。例えば、より一層の高能率符号化を実現するため、さらに多いピクチャ（例えば３０枚）でＧＯＰを構成する場合もある。ＧＯＰ内のＩピクチャを抜き出して高速再生する場合、ＧＯＰを構成するピクチャ数の変化は、再生速度の変動を生じさせる。

次に、本実施形態における制御部２８０が符号化予測方式を選択する原理について、図６を用いて説明する。
図６において、２５００〜２５０４はＧＯＰ、２６００〜２６０４はＩピクチャ、２６５０と２７００〜２７１１と２８００〜２８１１はＰピクチャをそれぞれ表している。図６において、ＧＯＰ２５００、２５０１、２５０３、２５０４はいずれも１５ピクチャから、ＧＯＰ２５０２は３０ピクチャから構成される。

ここで、Ｐピクチャ２７００は、同一ＧＯＰ２５００内のＩピクチャ２６００を参照し、Ｐピクチャ２７０１は同一ＧＯＰ２５００内のＰピクチャ２７００を参照している。Ｐピクチャ２７０２は同一ＧＯＰ２５０１内のＩピクチャ２６０１を参照し、Ｐピクチャ２７０３は同一ＧＯＰ２５０１内のＰピクチャ２７０２を参照している。Ｐピクチャ２７０４は同一ＧＯＰ２５０２内のＩピクチャ２６０２を参照し、Ｐピクチャ２７０５は同一ＧＯＰ２５０２内のＰピクチャ２７０４を参照している。

ここで、Ｐピクチャ２６５０は同一ＧＯＰ２５０２内のＰピクチャ２７０５を参照している。次のＰピクチャ２７０６は同一ＧＯＰ２５０２内のＰピクチャ２６５０を参照し、Ｐピクチャ２７０７は同一ＧＯＰ２５０２内のＰピクチャ２７０６を参照している。以降、ＧＯＰ２５０３、２５０４のＰピクチャ２７０８、２７０９、２７１０、２７１１は、ＧＯＰ２５００、２５０１と同様の参照関係とされている。

ここで、各ＧＯＰ２５００〜２５０４の基準ピクチャはＩピクチャ２６００〜２６０４となる。しかしながら、Ｉピクチャ２６０３は、その前のＩピクチャ２６０２から３０ピクチャ目に出現し、１５ピクチャ毎にＩピクチャが現れる他のＧＯＰとは異なっている。これは、ＧＯＰ２５０２が符号化効率の関係から３０枚のピクチャから構成されるように切り替えられていることに起因する。つまり、ＧＯＰ構成枚数を変更しなければ、本来Ｉピクチャである符号化ピクチャがＰピクチャ２６５０に変更されていることによる。

そこで、本実施形態では、ＧＯＰを構成する最小のピクチャ枚数毎に配置されたＩピクチャとＰピクチャを、Ｉピクチャ２６００〜２６０４とＰピクチャ２６５０を第１の制限付符号化ピクチャとして管理する。換言すれば、第１の制限付符号化ピクチャは、そのピクチャが含まれるＧＯＰが最小ピクチャ数で構成されている場合はフレーム内予測符号化方式で符号化する。そして、より多いピクチャ数で構成されるＧＯＰに含まれる第１の制限付符号化ピクチャは、直近の第１の制限付符号化ピクチャから直前の符号化ピクチャまでの符号化データのみから復号化可能なピクチャを参照するよう、参照先を制限する。以後、この、参照先を制限した符号化方式を、第１の制限付符号化方式と呼ぶ。

具体的には、図６の例では、ＧＯＰを構成する最小ピクチャ数が１５である。そして、ＧＯＰ２５００の３ピクチャ目がＩピクチャ２６００であり、ここから１５×ｎ（ｎは自然数）枚目となる以下のピクチャが第１の制限付符号化ピクチャ群を構成する。
Ｉピクチャ２６００
Ｉピクチャ２６０１
Ｉピクチャ２６０２
Ｐピクチャ２６５０
Ｉピクチャ２６０３
Ｉピクチャ２６０４
：

ここで、ＧＯＰ２５０２は最小構成枚数よりも多いピクチャで構成されるため、Ｉピクチャ２６０２から１５枚目のピクチャは、Ｐピクチャ２６５０である。

この場合、フレーム間予測符号化を行うＰピクチャ２６５０が参照可能なピクチャは、直近の第１の制限付符号化ピクチャであるＩピクチャ２６０２から、直前のピクチャであるＢピクチャ２６４０までの符号化データのみから復号化可能なピクチャに制限される。従って、Ｐピクチャ２６５０を、Ｉピクチャ２６０２、Ｐピクチャ２７０４及び２７０５の１つ以上を参照画像とするフレーム間符号化方式で符号化する。図６の例では、Ｐピクチャ２６５０は、Ｐピクチャ２７０５を参照している。

さらに、本実施形態においては、第１の制限付符号化ピクチャを基準ピクチャとして、ＧＯＰを構成する最小ピクチャ数よりも小さい所定枚数（ここでは６枚）毎に、第２の制限付符号化ピクチャを設ける。具体的には、同一ＧＯＰ内に含まれる第１の制限付符号化ピクチャ、もしくは同一ＧＯＰ内に含まれる他の特殊再生用ピクチャを参照先とするＰピクチャを、第２の制限付符号化ピクチャとして設ける。

図６においては、Ｉピクチャ２６００から６ピクチャ毎に存在するＰピクチャ２７００〜２７１１が、第２の制限付符号化ピクチャである。このように、Ｉピクチャ２６００を先頭とする６ピクチャ毎のピクチャ群は、ＧＯＰを構成するピクチャの枚数の変動とは無関係に配置されている。しかも、これらのピクチャ群は、第１の制限付符号化ピクチャ群さえ復号化されれば、全て復号化可能である。つまり、第１の制限付符号化ピクチャ及び第２の制限付符号化ピクチャを抜き出すことにより、ＧＯＰを構成するピクチャの枚数とは無関係に、６枚毎のピクチャが必ず復号可能となる。従って、これら６枚毎のピクチャを通常のフレームレートで表示すれば、ＧＯＰを構成するピクチャの枚数が変更されても６倍速を維持した再生表示が実現可能である。

次に、図１のフローチャートを用い、本実施形態における符号化処理部２００における符号化処理について説明する。
画像データの符号化処理が開始されるとまず、符号化対象ピクチャカウンタｋの値を１にリセットする（Ｓ２９００）。そして、ＧＯＰを構成するピクチャの数（ＧＯＰ構成枚数）の確認を行うとともに、ＧＯＰ内ピクチャカウンタｊの値を１にリセットする（Ｓ２９０１）。

ここで、図７に示すフローチャートを用い、本実施形態におけるＧＯＰ構成枚数の設定方法について説明する。ＧＯＰ構成枚数の設定が開始されると、まず、符号化する画像データ（符号化対象ピクチャ）がカメラから入力されるかどうかを確認する（Ｓ３００１）。上述のように、本実施形態のビデオカメラにおいて、符号化対象ピクチャは、カメラ入力（映像入力部１００からの入力）又はライン入力（ＵＳＢやＩＥＥＥ１３９４等の外部入力端子からの入力）として与えられる。

Ｓ３００１において、符号化対象ピクチャがライン入力されると判断された場合は、Ｓ３００６に進む。一方、カメラ入力されると判断されたならば、記録モードが高画質記録モードに設定されているかどうかを判断する（Ｓ３００２）。

本実施形態において、記録モードには、高いデータレートで画質を重視する高画質記録モードと、高画質記録モードよりも低いデータレートとするかわりに、高画質記録モードよりも長時間記録可能な長時間記録モードがある。そして、長時間記録モードが設定されている場合はＳ３００６に進む。

一方、高画質記録モードが設定されている場合は、記録媒体がディスクかどうか判断する（Ｓ３００３）。本実施形態において記録先として利用可能な記録媒体には、大容量記録に向いたディスク（ＤＶＤ−Ｒ等）と、扱い易いが大容量記録には向いていないメモリカードがあり、メモリカードの場合はＳ３００６に進む。ディスクへの記録ならば、記録媒体の空き容量を確認する（Ｓ３００４）。予め定めた値以上の空き容量が残っていなければ、Ｓ３００６に進む。一方、記録媒体に予め定めた値以上の空き容量が残っている場合には、Ｓ３００５に進む。Ｓ３００５では、ＧＯＰ構成枚数を最小構成枚数ｍ（ここでは１５枚とする）に設定する。一方、Ｓ３００６では、ＧＯＰ構成枚数を最小構成枚数の２倍、この場合は３０枚に設定する。

一般に、ＧＯＰ構成枚数が大きいほど、符号量の多いＩピクチャの枚数が減るので、符号化効率は向上する。ライン入力画像は比較的安定した映像であることが多く、ピクチャ間の相関も強い傾向があるので、ＧＯＰ構成枚数を多くすることで、高能率符号化を実現することができる。また、長時間記録モードでは、Ｉピクチャの出現確率を減らすことによる符号化効率の向上により、さらなる長時間記録を実現することができる。また、メモリカードは容量あたりの価格が高いため、容量を効率良く利用するため、ＧＯＰ構成枚数を多くしている。さらに、ディスク記録媒体であっても、空き容量が十分でなくなった場合は、ＧＯＰ構成枚数を多くしている。
以上のような手順により、ＧＯＰ構成枚数が、図２の制御部２０で設定され、符号化処理部２００に送られて、ＧＯＰ構成枚数の設定は終了する（Ｓ３００７）。

図１に戻り、上述の手順で設定されたＧＯＰ構成枚数を確認し、ＧＯＰ内カウンタをリセットしたら（Ｓ２９０１）、Ｓ２９０３に進み符号化対象ピクチャを入力する。次に、
ＧＯＰ内カウンタｊの値の、ＧＯＰの最小構成枚数ｍを法とした際の剰余（j mod m）が３であるかどうかを調べる（Ｓ２９０５）。

ここで、j mod mの値が３でない場合には、Ｓ２９０７へ進み、符号化対象ピクチャカウンタｋの値の、６を法とした際の剰余（|k-3| mod 6）が０かどうかを調べる。本実施形態においては、先頭のＧＯＰの３番目のピクチャをＩピクチャとし、そこから６ピクチャ毎に特殊再生用のＰピクチャを含める。そのため、入力された符号化対象ピクチャを、特殊再生用ピクチャとして符号化すべきかどうかをこの計算によって判定する。

|k-3| mod 6=0でなければ、Ｓ２９０９へ進み、通常の符号化方式によって符号化処理を行う。この場合、符号化対象ピクチャは前方予測符号化方式又は双予測符号化方式によって符号化される。

一方、Ｓ２９０７で、|k-3| mod 6=0であった場合には、Ｓ２９１１において、符号化対象ピクチャを、第２の制限付符号化方式によって符号化する。第２の制限付符号化方式は、参照先を制限した前方予測符号化方式である。具体的には、ピクチャストリームにおいて、時間的に先行するピクチャであって、Ｉピクチャもしくは第２の制限付符号化方式
で符号化された他のピクチャを参照先とする前方予測符号化方式（インタ予測符号化方式）を用いる。従って、Ｉピクチャと、第２の制限付符号化方式を用いて符号化されたＰピクチャ（第２の制限付ピクチャ）から構成されるピクチャ群は、そのピクチャ群内のデータのみを用いて復号化することが可能である。これにより、本実施形態によって生成された符号化データには、６ピクチャ毎に復号可能なピクチャが含まれ、６倍速表示を容易に行うことが可能となる。

Ｓ２９０５において、j mod m=3である場合には、Ｓ２９１３に進み、ＧＯＰ内カウンタｊの値を確認する。そして、ｊ＝３であるかどうかをさらに確認する（Ｓ２９１３）。ｊ＝３、すなわち、符号化対象ピクチャがＧＯＰの３番目のピクチャである場合、本実施形態においてはＩピクチャとする。そのため、ｊ＝３の場合には、Ｓ２９１７に進んでイントラ符号化方式により符号化を行う。

一方、ｊ＝３でない場合、符号化対象ピクチャは図６のピクチャ２６５０のような、ＧＯＰ内で（３＋ｍ＊ｎ）番目（ｎは自然数）に当たるピクチャである。そのため、上述した第１の制限付符号化方式を用いて符号化を行う（Ｓ２９１５）。

このようにして、入力された各符号化対象ピクチャは、Ｓ２９０９，Ｓ２９１１，Ｓ２９１７及びＳ２９１５のいずれかにおいて符号化される。そして、用いられた符号化方式に関する情報は、各ピクチャの符号化データに、エントロピー符号化部２１８で多重される。

Ｓ２９１９では、ＧＯＰ内カウンタｊ及び符号化対象ピクチャカウンタｋの値をそれぞれ１インクリメントする。Ｓ２９２１では、引き続き符号化処理を続けるかどうかを確認し、終了ならば処理を終了する。終了でない場合、Ｓ２９２３で、ＧＯＰが終了したかどうかを調べる。具体的には、Ｓ２９０１で確認したＧＯＰ構成枚数と、ＧＯＰ内カウンタｊの値とを用いて判定することができる。

ｊの値がＧＯＰ構成枚数以下である場合には、ＧＯＰは終了していないため、Ｓ２９０３に戻って次の符号化対象ピクチャの入力を行う。また、ｊの値がＧＯＰ構成枚数を超えた場合には、符号化したピクチャがＧＯＰ内の最後のピクチャであるため、ＧＯＰ終了としてＳ２９０１へ戻り、次のＧＯＰの構成枚数の確認及びＧＯＰ内カウンタのリセットを行う。

このようにして、本実施形態では、入力される符号化対象ピクチャ群に対して、第１の制限付ピクチャを含めることで、ＧＯＰの構成枚数が変化しても、高速再生時の再生速度が変動することを抑制することができる。さらに、第２の制限付ピクチャを含めることで、符号化効率がイントラ符号化よりも高いインタ符号化を用いながら、高速再生を容易に行うことが可能な符号化データを生成することができる。

図４は、図２の復号化処理部６００の構成例を示すブロック図である。
再生処理部５００からの符号化データは、データ入力部６１０から入力される。また、システム全体の制御部（図２の２０）からの復号化処理の指示は、制御入力部６１１を介して入力される。エントロピー復号化処理部６１２は、エントロピー符号化された符号化データに対して復号化処理を行ってデータ伸長する。エントロピー復号化処理部６１２では、符号化データに多重化された動き情報等のメタデータも生成する。

逆量子化処理部（Ｉ−Ｑ）６１４は、エントロピー復号化処理されたデジタルデータに対し、所定の量子化スケールで逆量子化して整数変換係数を算出する。逆整数変換部（Ｉ−ＤＣＴ）６１６は、算出された整数変換係数に対して逆整数変換を施し、画像データを復元する。加算器６１８は復元された画像データに対し、後述する予測画像データを加算する。

スイッチ部６３５は予測方式制御部６８０により制御され、加算器６１８の出力（復号された画像データ）を、第３フレームメモリ（ＦＭ）６３６又はデブロッキングフィルタ部（ＤＢＦ）６５０のいずれかへ出力する。第３フレームメモリ６３６は、スイッチ部６３５から供給される、復号された画像データを保持する。イントラ予測復号化部６４０は、第３フレームメモリ６３６に保持された画像データを用いて、復号化処理されるブロックの周辺画素からブロック内の画像データを予測する。スイッチ部６６０は、予測方式制御部６８０により制御され、イントラ予測復号化部６４０又はインター予測復号化部６５６のいずれかの出力を加算器６１８へ出力する。

デブロッキングフィルタ部６５０は、復号された画像データに対してブロック境界の不連続性を補正する。第４フレームメモリ６５２は、ブロック境界補正処理が行われた局所復号画像データを参照画像として保持する。

インター予測復号化部６５６は、第４フレームメモリに保持された複数の参照画像と、エントロピー復号化処理で生成された動き情報等のメタデータを用いて、予測画像データを生成する。
予測方式制御部６８０は、エントロピー復号化処理部６１２で生成された動き情報等の予測符号化に関するメタデータに従って、ピクチャ単位で予測復号化処理方法を制御する。

図４を参照して、本実施形態における特殊再生処理について説明する。ここでは、特殊再生の例として、上述の符号化処理で生成した符号化データを用いた６倍速再生処理を説明する。

データ入力部６１０から入力された符号化データは、エントロピー復号化処理部６１２でエントロピー復号され、画像データと、符号化データに多重化されたメタデータとに分けられる。メタデータは、動き情報や符号化方式に関する情報を示すデータである。６倍速再生処理を行う場合、メタデータを参照して、Ｉピクチャあるいは第２の制限付ピクチャの画像データのみを復号化する。

まず、逆量子化部６１４で、エントロピー復号化された画像データを所定の量子化スケールで逆量子化し、整数変換係数を生成する。この整数変換係数に対して逆整数変換部６１６で逆整数変換を施すことで、画素データが復元される。復元された画素データは後述する予測画像データを加算器６１８で加算して、最終的な復号結果である画像データを生成する。この復号画像データは、出力部６２０から出力される。

また、復号された画像データは、その後の復号化処理で用いられる参照画像データとしてスイッチ部６３５に送られる。一方、エントロピー復号化処理部６１２で生成された予測符号化方式に関するメタデータは、予測方式制御部６８０に送られる。予測方式制御部６８０では、制御入力部６１１を介してシステム全体の制御部２０から特殊再生の指示を受けているかどうかと、メタデータとに基づいて、スイッチ部６３５を制御する。

即ち、特殊再生指示（この場合は６倍速再生指示）がある場合は、メタデータを参照してＩピクチャまたは第２の制限付ピクチャのみを選別し、Ｉピクチャの場合はスイッチ６３５ｃと６３５ａを接続し、第２の制限付ピクチャの場合はスイッチ６３５ｃと６３５ｂを接続する。これにより、Ｉピクチャの復号画像は第３フレームメモリ６３６に格納され、イントラ予測復号化部６４０が、周辺の復号された画像データから、イントラ予測復号化された予測画像データを生成し、スイッチ部６６０に送る。Ｉピクチャの場合、予測方式制御部６８０の指示によりスイッチ６６０ａと６６０ｃが接続され、予測画像データが加算器６１８に送られる。

一方、第２の制限付ピクチャの場合、復号された画像データはブロック境界補正をデブロッキングフィルタ部６５０で処理された後、第４フレームメモリ６５２に保持される。保持された画像データは、参照先が制限された他のＰピクチャの参照画像として保持され、このデータと、エントロピー復号化処理部６１２で生成された予測符号化に関するメタデータとから、インター予測復号化部６５６が予測画像データを生成する。予測画像データは、スイッチ部６６０に送られる。スイッチ部６６０では、予測方式制御部６８０によりスイッチ６６０ｂと６６０ｃが接続され、予測画像データは加算器６１８に送られて画像データの復号化処理に使われる。

このように、本実施形態によれば、特殊再生の指示がなされた場合、復号化処理部６００はＩピクチャあるいは第２の制限付ピクチャのみを復号することが可能となり、特殊再生をスムーズに行うことができる。

また、特殊再生に用いるＩピクチャあるいは第２の制限付ピクチャは、所定ピクチャ数毎かつ等間隔に含まれるように符号化することで、所定数倍速の特殊再生を容易に実現することが可能となる。

なお、ここでは第２の制限付ピクチャを用いた６倍速再生処理を中心として説明した。しかし、第１の制限付ピクチャについても合わせて復号化することにより、各ＧＯＰに含まれるＩピクチャと、第１の制限付ピクチャとから、ＧＯＰの最小構成枚数に対応した高速再生（例えば、最小構成枚数が１５の際には１５倍速再生）を行うことが可能である。上述したように、本実施形態では、ＧＯＰの構成枚数が大きくなっても、ＧＯＰ内の最小構成枚数毎に第１の制限付ピクチャを含めて符号化している。そのため、ＧＯＰの構成枚数が変動しても、安定した再生速度で、かつ容易に高速再生を行うことが可能である。

（他の実施形態）
上述の実施形態では、インター予測方式を利用したビデオカメラに本発明を適用した場合について説明した。しかし、本発明は、インター予測方式を利用したビデオプレーヤやビデオレコーダなど、他の機器においても同様に適用可能である。そして、本発明を適用することにより、符号化効率の低下を抑制しながら、特殊再生を容易に行うことが可能となる。

上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。

従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。

上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。

そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体をユーザに配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを可能とすることも可能である。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。

また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

本発明の第１の実施形態に係る符号化処理部における符号化処理動作を説明するフローチャートである。 本発明の実施形態に係る画像符号化装置かつ画像復号化装置の一例としてのビデオカメラの構成例を示すブロック図である。 本発明の実施形態に係る符号化処理部の構成例を示すブロック図である。 本発明の実施形態に係る復号化処理部の構成例を示すブロック図である。 図２の符号化処理部に入力される符号化対象ピクチャと、Ｈ．２６４符号化方式で許容される参照関係の例を説明する概念図である。 本発明の第１の実施形態における符号化予測方式の選択方法を説明する図である。 図１のＳ２９０１において行われるＧＯＰ構成枚数の確認処理の詳細を説明するフローチャートである。

Claims (5)

1. 動画像を構成する各ピクチャを複数のグループで管理するとともに、前記各ピクチャをフレーム内予測符号化方式、フレーム間予測符号化方式のいずれかを用いて符号化する符号化装置であって、
   各グループに含まれるピクチャの数を、グループ毎に変動可能に決定する決定手段と、
   前記各ピクチャに対し、前記フレーム内予測符号化方式を用いて符号化されるＩピクチャ、前記フレーム間予測符号化方式を用いて符号化される第１のＰピクチャ又はＢピクチャ、及び、前記フレーム間予測符号化方式を用いて符号化され、フレーム間予測時の参照関係に前記第１のＰピクチャには無い制限を有する第２のＰピクチャの中の１種類を選択する選択手段と、
   前記選択手段が選択したピクチャの種類に対応する符号化方式に基づいて前記各ピクチャを符号化する符号化手段と、
   前記グループ毎にピクチャの数を変化させる場合であっても、前記複数のグループに渡って、所定のピクチャ間隔毎に、（１）前記Ｉピクチャ、又は、（２）参照可能なピクチャが前記Ｉピクチャ又は前記所定のピクチャ間隔に対応する他の前記第２のＰピクチャに制限された第２のＰピクチャ、が選択されるように、前記選択手段による選択動作を制御する制御手段と、を有することを特徴とする符号化装置。
2. 前記決定手段が、前記動画像の入力元の種類、記録データレート、符号化データの記録媒体の種類、前記記録媒体の空き容量の少なくとも１つに基づいて、符号化効率を向上させる必要があると判断されない場合には第１の数を、符号化効率を向上させる必要があると判断される場合には前記第１の数よりも多い第２の数を、前記各グループを構成するピクチャの数に決定することを特徴とする請求項１記載の符号化装置。
3. 動画像を構成する各ピクチャを複数のグループで管理するとともに、前記各ピクチャをフレーム内予測符号化方式、フレーム間予測符号化方式のいずれかを用いて符号化する符号化方法であって、
   決定手段が、各グループに含まれるピクチャの数を、グループ毎に変動可能に決定する決定工程と、
   選択手段が、前記各ピクチャに対し、前記フレーム内予測符号化方式を用いて符号化されるＩピクチャ、前記フレーム間予測符号化方式を用いて符号化される第１のＰピクチャ又はＢピクチャ、及び、前記フレーム間予測符号化方式を用いて符号化され、フレーム間予測時の参照関係に前記第１のＰピクチャには無い制限を有する第２のＰピクチャの中の１種類を選択する選択工程と、
   符号化手段が、前記選択工程で選択されたピクチャの種類に対応する符号化方式に基づいて前記各ピクチャを符号化する符号化工程と、
   前記グループ毎にピクチャの数を変化させる場合であっても、前記複数のグループに渡って、所定のピクチャ間隔毎に、（１）前記Ｉピクチャ、又は、（２）参照可能なピクチャが前記Ｉピクチャ又は前記所定のピクチャ間隔に対応する他の前記第２のＰピクチャに制限された第２のＰピクチャ、が選択されるように、制御手段が前記選択工程における選択動作を制御する制御工程と、を有することを特徴とする符号化方法。
4. コンピュータを、請求項１または２に記載の符号化装置の各手段として機能させるためのプログラム。
5. 請求項４記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。

Images