JP2007306370A

JP2007306370A - 画像符号化記録装置

Info

Publication number: JP2007306370A
Application number: JP2006133659A
Authority: JP
Inventors: Masaki Goto; 正樹後藤
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2006-05-12
Filing date: 2006-05-12
Publication date: 2007-11-22

Abstract

【課題】入力画像データを符号化して記録媒体に記録する際に、一定の処理時間が保証されるようにし、かつ符号化効率の高い符号化データを記録媒体に記録する。
【解決手段】入力画像データを符号化して符号化データを生成し、符号化データを所定の記録媒体に記録する画像符号化記録装置は、可変長符号化を行うＣＡＶＬＣ符号化部１２と、算術符号化を行うＣＡＢＡＣ符号化部１３とを有している。符号量制御部７は、一定の符号化単位における入力画像データの割り当て符号量を算出し、処理時間予測部９は、その割り当て符号量に基づいて、一定の符号化単位の入力画像データの符号化に要する処理時間を予測する。そして、比較部１０が、予測された処理時間と所定の設定値とを比較し、予測された処理時間が所定の設定値より大きい場合にはＣＡＶＬＣ符号化部に、それ以外の場合にはＣＡＢＡＣ符号化部にエントロピー符号化を行わせる。
【選択図】図１

Description

本発明は、画像符号化記録装置に関し、特に、Ｈ．２６４（ＩＴＵ−ＴＲｅｃ．Ｈ．２６４｜ＩＳＯ／ＩＥＣ１４４９６−１０ＡＶＣ）などの画像符号化方式を利用して、画像の圧縮符号化の際にエントロピー符号化方式を選択することが可能な画像符号化記録装置に関する。

近年、画像情報のデジタル化に伴い、ＭＰＥＧ２（Moving Picture Experts Group phase 2）（ＩＳＯ／ＩＥＣ１３８１８−２）に代表される画像符号化方式が標準化され普及している。ＭＰＥＧ２では直交変換と動き補償を行った後、エントロピー符号化を行うことにより画像の冗長性を取り除き、画像を圧縮符号化している。

以下、図９を参照しながら、ＭＰＥＧ２符号化処理について説明する。図９は、従来の技術におけるＭＰＥＧ２符号化装置の構成の一例を示すブロック図である。

図９において、入力画像は、画像入力端子３１より入力されてフレームメモリ３２に蓄積される。動き予測部３３は、フレームメモリ３２に蓄積された入力画像と、参照画像メモリ３４に蓄積されている参照画像とを参照して、最適な動きベクトルを求める。
動き補償部３５は、動き予測部３３で求められた動きベクトルに従って参照画像を生成する。動き補償部３５によって生成された参照画像と、フレームメモリ３２に蓄積されている符号化の対象となる入力画像との差分は変換部３６に供給され、変換部３６で直交変換された後、量子化部３７で量子化が行われる。量子化部３７における量子化後のデータは、逆量子化部３８で逆量子化されて逆変換部３９により逆変換され、動き補償部３５で生成された参照画像に足し合わされて、参照画像として参照画像メモリ３４に蓄積される。

また、それと同時に、量子化部３７における量子化後のデータは、動き予測部３３で得られた動きベクトルと共にエントロピー符号化部４０に供給され、エントロピー符号化部４０で符号化が行われて、符号化後の符号化ビットストリームがストリームバッファ４１に送られる。ストリームバッファ４１に蓄積された符号化ビットストリームは、符号化ビットストリーム出力端子４３から外部に出力される。また、符号量制御部４２は、ストリームバッファ４１を監視することによって量子化パラメータを制御し、量子化部３７に制御信号を送ることで、量子化部３７における量子化が調節される。以上のようにＭＰＥＧ２符号化処理が行われる。

また、さらに高圧縮率の要求から、Ｈ．２６４という画像符号化方式が標準化されている（下記の非特許文献１を参照）。Ｈ．２６４は、ＭＰＥＧ２に比べて多くの演算量が要求されるが、より高い符号化効率が実現される。Ｈ．２６４では、ＭＰＥＧ２と同様に直交変換及び動き補償が行われた後、２種類のエントロピー符号化のどちらかを選択して符号化を行うことが可能である。２種類のエントロピー符号化のうちの一方は、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄＡｄａｐｔｉｖｅＶａｒｉａｂｌｅＬｅｎｇｔｈＣｏｄｉｎｇ）と呼ばれる可変長符号化であり、もう一方はＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄＡｄａｐｔｉｖｅＢｉｎａｒｙＡｒｉｔｈｍｅｔｉｃＣｏｄｉｎｇ）と呼ばれる算術符号化である。

図１０は、従来の技術におけるＣＡＶＬＣ符号化器の構成の一例を示すブロック図である。以下、図１０を参照しながら、ＣＡＶＬＣ符号化処理について説明する。

図１０において、変換量子化が行われた後のデータは、多値シンボルとして多値シンボル入力端子５１から入力される。入力シンボルのうち、その後の符号化に必要なデータがコンテキスト情報としてコンテキストメモリ５２に保存される。一方、ＣＡＶＬＣ符号化部５３は、符号化処理に必要なコンテキスト情報をコンテキストメモリ５２から読み出すとともに、入力シンボルに対して可変長符号テーブルを適用して符号化を行う。符号化後の符号化ビットストリームは、符号化ビットストリーム出力端子５４から外部に出力される。

また、図１１は、従来の技術におけるＣＡＢＡＣ符号化器の構成の一例を示すブロック図である。以下、図１１を参照しながら、ＣＡＢＡＣ符号化処理について説明する。

図１１において、変換量子化が行われた後のデータは、多値シンボルとして多値シンボル入力端子６１から入力される。２値化部６２は、入力シンボルに対して、あらかじめ決められた一定の規則に基づいて任意長の２値化データ列への変換を行う。また、入力シンボル及び２値化データのうち、その後の符号化に必要なデータがコンテキスト情報としてコンテキストメモリ６３に保存される。一方、ＣＡＢＡＣ符号化部６４は、符号化処理に必要なコンテキスト情報をコンテキストメモリ６３から読み出すとともに、入力シンボルに対して２値算術符号化を適用して符号化を行う。符号化後の符号化ビットストリームは、符号化ビットストリーム出力端子６５から外部に出力される。

以上のように、ＣＡＶＬＣ符号化とＣＡＢＡＣ符号化とではその処理が異なっている。ＣＡＶＬＣ符号化処理は、多値シンボルに対して繰り返し行われるのに対し、ＣＡＢＡＣ符号化処理は、２値化データ列の各ビットに対して繰り返し行われる。ＣＡＢＡＣ符号化における２値化データ列の長さは１つの多値シンボルに対し数ビットとなり、繰り返し行われる処理回数だけを比べても、ＣＡＢＡＣ符号化処理はＣＡＶＬＣ符号化処理に比べ数倍となる。すなわち、ＣＡＢＡＣ符号化はＣＡＶＬＣ符号化に比べてより高い符号化効率を達成できる一方、より多くの演算量（処理量）が要求される。

一方、ＣＡＢＡＣのような算術符号化を用いて符号化を行う場合、一定の符号化単位における入力シンボルの数は不定であり、入力シンボルに対する２値化データ量も不定である。このことから、ある符号化単位における符号化処理時間は不定であり、２値化データ量が膨大な量となった場合、処理時間も膨大になる可能性がある。したがって、画像符号化装置において、一定の処理時間を保証する必要がある場合であっても、ＣＡＢＡＣのような算術符号化が利用される場合には処理時間が膨大になる可能性があり、その保証が不可能となるという問題がある。

この問題を解決するため、下記の特許文献１には、算術符号化において入力されるデータ量を監視することにより、フィードバック制御を行うか、あるいは複数の符号化処理を同時に行った上で符号化処理の選択を行うことで、処理時間を保証する方法が提案されている。
特開２００４−１３５２５１号公報ＤｒａｆｔＩＴＵ−ＴＲｅｃｏｍｍｅｎｄａｔｉｏｎａｎｄＦｉｎａｌＤｒａｆｔＩｎｔｅｒｎａｔｉｏｎａｌＳｔａｎｄａｒｄｏｆＪｏｉｎｔＶｉｄｅｏＳｐｅｃｉｆｉｃａｔｉｏｎ（ＩＴＵ−ＴＲｅｃ．Ｈ．２６４｜ＩＳＯ／ＩＥＣ１４４９６−１０ＡＶＣ）：２００３

しかしながら、上述の特許文献１に開示されている技術によれば、処理後のデータ発生量を監視して処理後のデータを無効化するため、処理時間の増大あるいはハードウェアで実装した場合の規模の増大を招くという問題がある。

一方、例えば、画像符号化装置で符号化された符号化データを記録媒体に記録する場合、記録中は一定の処理時間を保証する必要がある。そこで、一定の処理単位ごとに符号化に要する処理時間を予測することで、ハードウェア規模の増大を最小限に抑えつつ、一定の処理時間内で最適なエントロピー符号化を選択して画像符号化を行うことも考えられる。

しかしながら、符号化効率の高いエントロピー符号化に要する処理時間が一定の処理時間内で終わらない場合には、一定の処理単位で符号化効率の低いエントロピー符号化が選択され、その結果、全体の符号化効率が低下するという問題がある。

そこで、本発明は、上記の問題を解決するため、入力画像データを符号化して記録媒体に記録する際に、一定の処理時間が保証されるとともに、符号化効率の高い符号化データを記録媒体に記録することが可能な画像符号化記録装置を提供することを目的とする。

上記の目的を達成するため、本発明によれば、入力画像データを符号化して符号化データを生成し、前記符号化データを所定の記録媒体に記録する画像符号化記録装置であって、
第１エントロピー符号化方式によって、一定の符号化単位で前記入力画像データのエントロピー符号化を行う第１エントロピー符号化手段と、
前記第１エントロピー符号化方式より処理量の少ないエントロピー符号化処理を実現する、前記第１エントロピー符号化方式より符号化効率が低い第２エントロピー符号化方式によって、前記一定の符号化単位で前記入力画像データのエントロピー符号化を行う第２エントロピー符号化手段と、
前記一定の符号化単位における前記入力画像データの符号量の目標値となる割り当て符号量を算出する符号量制御手段と、
前記符号量制御手段によって算出された前記割り当て符号量に基づいて、前記一定の符号化単位の前記入力画像データの符号化に要する処理時間を予測する処理時間予測手段と、
前記処理時間予測手段によって予測された前記処理時間と所定の設定値とを比較し、前記処理時間が前記所定の設定値以下の場合には、前記第１エントロピー符号化手段に前記一定の符号化単位の前記入力画像データのエントロピー符号化を行わせるように制御する選択情報を生成し、前記処理時間が前記所定の設定値より大きい場合には、前記第２エントロピー符号化手段に前記一定の符号化単位の前記入力画像データのエントロピー符号化を行わせるように制御する選択情報を生成する比較制御手段と、
前記選択情報に基づいて前記第１及び第２エントロピー符号化手段のいずれか一方によるエントロピー符号化によって生成された前記一定の符号化単位の前記入力画像データの前記符号化データと、前記一定の符号化単位の前記入力画像データの前記符号化データが生成される際に用いられた前記第１及び第２エントロピー符号化方式のいずれか一方を識別するための前記一定の符号化単位ごとの符号化方式識別情報とを、前記所定の記録媒体に記録する記録手段と、
前記入力画像データの入力が行われていない非記録時に、前記所定の記録媒体に記録された前記符号化方式識別情報を読み出し、前記第２エントロピー符号化方式によってエントロピー符号化された前記符号化データを特定して、前記特定された前記第２エントロピー符号化方式によってエントロピー符号化された前記符号化データを前記所定の記録媒体から読み出す再生手段と、
前記再生手段によって読み出された前記第２エントロピー符号化方式によってエントロピー符号化された前記符号化データを復号する復号手段と、
前記第１エントロピー符号化手段に、前記復号手段によって復号されたデータのエントロピー符号化を行わせるよう制御する再符号化制御手段と、
前記再符号化制御手段の制御により、前記第１エントロピー符号化手段によって前記第１エントロピー符号化方式で符号化された再符号化データを、前記再符号化データの変換前の対応する前記所定の記録媒体内の前記符号化データに上書きするとともに、前記変換された前記再符号化データに対応する前記符号化方式識別情報を前記第２エントロピー符号化方式から前記第１エントロピー符号化方式を示す情報に変換する再符号化データ記録手段とを、
有する画像符号化記録装置が提供される。

また、上記の目的を達成するため、本発明によれば、入力画像データを符号化して符号化データを生成し、前記符号化データを所定の記録媒体に記録する画像符号化記録装置であって、
第１エントロピー符号化方式によって、一定の符号化単位で前記入力画像データのエントロピー符号化を行う第１エントロピー符号化手段と、
前記第１エントロピー符号化方式より処理量の少ないエントロピー符号化処理を実現する、前記第１エントロピー符号化方式より符号化効率が低い第２エントロピー符号化方式によって、前記一定の符号化単位で前記入力画像データのエントロピー符号化を行う第２エントロピー符号化手段と、
前記一定の符号化単位における前記入力画像データの符号量の目標値となる割り当て符号量を算出する符号量制御手段と、
前記符号量制御手段によって算出された前記割り当て符号量と、入力画像データの各ピクチャの画素数から算出されるマクロブロック数とに基づいて、１マクロブロック当たりの前記入力画像データの符号化に要する処理時間を予測する処理時間予測手段と、
前記マクロブロック数と前記入力画像データのフレームレートとに基づいて、１マクロブロック当たりの前記入力画像データの符号化に要する実効処理時間を計算する上限値計算手段と、
前記処理時間予測手段によって予測された前記処理時間と前記上限値計算手段によって計算された前記実効処理時間とを比較し、前記処理時間が前記実効処理時間以下の場合には、前記第１エントロピー符号化手段に前記一定の符号化単位の前記入力画像データのエントロピー符号化を行わせるように制御する選択情報を生成し、前記処理時間が前記実効処理時間より大きい場合には、前記第２エントロピー符号化手段に前記一定の符号化単位の前記入力画像データのエントロピー符号化を行わせるように制御する選択情報を生成する比較制御手段と、
前記選択情報に基づいて前記第１及び第２エントロピー符号化手段のいずれか一方によるエントロピー符号化によって生成された前記一定の符号化単位の前記入力画像データの前記符号化データと、前記一定の符号化単位の前記入力画像データの前記符号化データが生成される際に用いられた前記第１及び第２エントロピー符号化方式のいずれか一方を識別するための前記一定の符号化単位ごとの符号化方式識別情報とを、前記所定の記録媒体に記録する記録手段と、
前記入力画像データの入力が行われていない非記録時に、前記所定の記録媒体に記録された前記符号化方式識別情報を読み出し、前記第２エントロピー符号化方式によってエントロピー符号化された前記符号化データを特定して、前記特定された前記第２エントロピー符号化方式によってエントロピー符号化された前記符号化データを前記所定の記録媒体から読み出す再生手段と、
前記再生手段によって読み出された前記第２エントロピー符号化方式によってエントロピー符号化された前記符号化データを復号する復号手段と、
前記第１エントロピー符号化手段に、前記復号手段によって復号されたデータのエントロピー符号化を行わせるよう制御する再符号化制御手段と、
前記再符号化制御手段の制御により、前記第１エントロピー符号化手段によって前記第１エントロピー符号化方式で符号化された再符号化データを、前記再符号化データの変換前の対応する前記所定の記録媒体内の前記符号化データに上書きするとともに、前記変換された前記再符号化データに対応する前記符号化方式識別情報を前記第２エントロピー符号化方式から前記第１エントロピー符号化方式を示す情報に変換する再符号化データ記録手段とを、
有する画像符号化記録装置が提供される。

本発明の画像符号化記録装置は、入力画像データを符号化して記録媒体に記録する際に、一定の処理時間が保証されるとともに、符号化効率の高い符号化データを記録媒体に記録することが可能となるという効果を有している。

以下、図面を参照しながら、本発明の第１及び第２の実施の形態について説明する。

＜第１の実施の形態＞
まず、本発明の第１の実施の形態について説明する。図１は、本発明の第１の実施の形態における画像符号化装置の構成の一例を示すブロック図である。

図１に図示されている画像符号化記録装置には、記録制御情報入力端子１９から記録制御情報が入力される。また、記録制御情報が記録モードの場合には、入力画像が画像入力端子１から入力されてフレームメモリ２に蓄積される。変換処理部３では、フレームメモリ２に蓄積された画像データに対して一定処理単位で、例えば量子化などの処理が行われる。そして、量子化後のデータはエントロピー符号化部４に供給される。

エントロピー符号化部４では供給されたデータに対して符号化が行われ、符号化されたデータ（符号化ビットストリーム）はストリームバッファ５に送られる。ストリームバッファ５は、符号化ビットストリームを蓄積するとともに、蓄積された符号化ビットストリームを記録再生部１５に送る。また、符号量制御部７は、ストリームバッファ５を監視することで変換処理部３の量子化パラメータを制御して発生符号量の制御を行うとともに、一定処理単位の割り当て符号量を選択情報決定部８に送る。

選択情報決定部８は、符号量制御部７から供給された割り当て符号量に基づいて、エントロピー符号化処理において用いるべきエントロピー符号化の種類を選択するための選択情報を生成し、生成した選択情報をエントロピー符号化部４及び記録再生部１５に送る。記録再生部１５は、ストリームバッファ５から供給される符号化ビットストリームと、選択情報決定部８から供給される選択情報とを記録媒体１６に記録する。

次に、図１に図示されている選択情報決定部８における処理について説明する。図１に図示されている選択情報決定部８は、処理時間予測部９及び比較部１０を有している。符号量制御部７で生成される割り当て符号量は、一定処理単位の符号化後に発生する符号量の目標値である。符号量制御部７から選択情報決定部８に供給される割り当て符号量は、処理時間予測部９に入力される。処理時間予測部９は、割り当て符号量からＣＡＢＡＣ符号化を行う際に要する処理時間を予測し、その予測された処理時間を比較部１０に供給する。比較部１０は、処理時間予測部９で予測された処理時間とあらかじめ定められた設定値とを比較し、予測された処理時間が設定値を超えていればＣＡＶＬＣ符号化を選択する指示を含む選択情報を、そうでなければＣＡＢＡＣ符号化を選択する指示を含む選択情報を、エントロピー符号化部４及び記録再生部１５に送出する。

続いて、図１に図示されているエントロピー符号化部４における処理について説明する。図１に図示されている選択情報決定部８から供給された選択情報は、入力選択部１１及び出力選択部１４に入力される。入力選択部１１は、選択情報に応じて、変換処理部３から供給される量子化後のデータをＣＡＶＬＣ符号化部１２又はＣＡＢＡＣ符号化部１３に送る。

なお、選択情報がＣＡＶＬＣ符号化を選択する指示を含むものである場合には、ＣＡＶＬＣ符号化部１２においてＣＡＶＬＣ符号化が行われて、ＣＡＶＬＣ符号化部１２から符号化データが出力される。一方、選択情報がＣＡＢＡＣ符号化を選択する指示を含むものである場合には、ＣＡＢＡＣ符号化部１３においてＣＡＢＡＣ符号化が行われて、ＣＡＢＡＣ符号化部１３から符号化データが出力される。また、出力選択部１４は、選択情報に応じて、ＣＡＶＬＣ符号化部１２又はＣＡＢＡＣ符号化部１３からの符号化データを選択して、ストリームバッファ５に出力する。

次に、図２〜図５を参照しながら、本発明の第１の実施の形態において、一定処理単位をピクチャとした場合に、処理時間予測部９が割り当て符号量から処理時間を予測する方法について説明する。図２は、本発明の第１の実施の形態において、ＣＡＢＡＣ符号化を行った際のピクチャ単位での符号化ビットストリームの発生符号量（Ｃｏｄｅ）と２値化データ量（Ｂｉｎ）との関係の一例を示すグラフである。

図２に図示されているように、発生符号量と２値化データ量との間には相関があり、
Ｂｉｎ＝α×Ｃｏｄｅ
と近似することが可能である。

また、図３は、本発明の第１の実施の形態において、ＣＡＢＡＣ符号化を行った際のピクチャ単位での２値化データ量（Ｂｉｎ）とその処理に要する時間（Ｃｙｃｌｅ）との関係の一例を示すグラフである。

符号化処理においては、２値化データ量に依存してほぼ比例関係にある部分と、ピクチャ単位で行う初期化に係る部分とが存在し、
Ｃｙｃｌｅ＝β＋γ×Ｂｉｎ
と近似することが可能である。

符号量制御部７は、ストリームバッファ５の発生符号量を監視することによって符号化するピクチャに割り当てる割り当て符号量を決定し、マクロブロック単位で実際に符号化によって発生した発生符号量を監視して量子化パラメータを制御することにより、ピクチャの発生符号量を割り当て符号量に近くなるように制御を行う。図４は、このときの割り当て符号量（Ｂｕｄｇｅｔ）に対する発生符号量（Ｃｏｄｅ）の変化の一例を示すグラフである。

図４に図示されているように、符号量制御部７によって発生符号量が制御されるため、ピクチャの発生符号量は割り当て符号量に近い値となり、
Ｃｏｄｅ＝Ｂｕｄｇｅｔ
と近似することが可能である。

以上から
Ｃｙｃｌｅ＝β＋α×γ×Ｂｕｄｇｅｔ
という近似式が成り立つ。

ここで、入力画像を１秒当たり３０ピクチャとし、当該画像符号化記録装置の基準クロックを３０メガヘルツ（ＭＨｚ）とすると、１ピクチャの符号化に費やすことのできる最大時間、すなわち比較部１０に入力される設定値（ＭＡＸ）は
ＭＡＸ＝３０００００００／３０＝１００００００
と設定される。

このとき、ピクチャ単位で行う初期化に要する時間（β）が設定値（ＭＡＸ）に比べて無視できる程度に十分小さい値であれば
β＝０
と近似することが可能である。

したがって、図５に図示されているように、Ｃｙｃｌｅ^*＞ＭＡＸとなる十分大きなＢｕｄｇｅｔの値に対して、Ｃｙｃｌｅ^*＞Ｃｙｃｌｅとなるような係数（δ）を定め、ＣｙｃｌｅをＣｙｃｌｅ^*で近似して、
Ｃｙｃｌｅ^*＝δ×Ｂｕｄｇｅｔ
とする。

例えば、α＝１．３、β＝１０００、γ＝１．２の場合には、δ＝１．６と定めることで上記の条件が満たされる。以上のようにして、処理時間予測部９では割り当て符号量（Ｂｕｄｇｅｔ）から処理時間（Ｃｙｃｌｅ^*）を予測することができる。

そして、比較部１０で予測された処理時間（Ｃｙｃｌｅ^*）と設定値（ＭＡＸ）とを比較することにより、
Ｃｙｃｌｅ^*＞ＭＡＸ
の場合にはＣＡＶＬＣ符号化の選択を指示する選択情報を送出し、そうでなければＣＡＢＡＣ符号化の選択を指示する選択情報を送出する。なお、ＣＡＶＬＣ符号化が選択された場合には、ＣＡＶＬＣ符号化部１２は設定値（ＭＡＸ）に比べて十分短い時間で符号化を行えるものとする。

以上のようにして、符号化の対象であるピクチャに対してＣＡＢＡＣ符号化を行っても処理時間が確保される場合にはＣＡＢＡＣ符号化を選択し、処理時間が確保されない場合にはＣＡＶＬＣ符号化を選択することが可能となる。これにより、処理時間を保証しつつ最適な符号化を選択し、効率良い符号化ビットストリームを生成することができる。

なお、上述の説明では、ピクチャを一定の符号化単位として説明したが、スライスやマクロブロック単位でも同様に適用することが可能である。また、上述の説明では、処理時間予測部９において、割り当て符号量（Ｂｕｄｇｅｔ）から処理時間（Ｃｙｃｌｅ^*）を予測しているが、設定値をあらかじめ（ＭＡＸ／δ）と定めることで、比較部１０において、割り当て符号量（Ｂｕｄｇｅｔ）と設定値（ＭＡＸ／δ）とを直接比較することも可能である。

次に、記録再生部１５が記録媒体１６に符号化ビットストリームとエントロピー符号化の選択情報とを記録する際のフォーマットについて説明する。図６は、本発明の第１の実施の形態における記録フォーマットの一例を示す図である。

記録媒体１６には、図６に図示されているような符号化ビットストリーム及び選択情報テーブルが記録される。符号化ビットストリームは、ストリームバッファ５の出力であり、選択情報テーブルは、選択情報決定部８で選択された選択情報であるＣＡＢＡＣ符号化フラグとそのピクチャに対応するビットストリームの格納位置を示すアドレスとを対にした情報である。

ここで、ＣＡＢＡＣ符号化フラグが『０』の場合にはＣＡＶＬＣ符号化、『１』の場合にはＣＡＢＡＣ符号化が選択されたことを示す。また、後で（非記録時に）エントロピー符号化の変換を行うために、選択情報テーブルには、変換先頭アドレス情報として選択情報テーブルの先頭が格納されているアドレスが記録され、また、変換先頭アドレス情報の変換終了フラグには初期値として『０』が記録される。

また、記録制御情報が停止モードの場合には、記録再生部１５は、記録媒体１６に記録された選択情報テーブルを読み出し、ＣＡＶＬＣ符号化で符号化されたピクチャの符号化ビットストリームを変換用バッファ１７に送る。ＣＡＶＬＣ復号部１８は、変換用バッファ１７に蓄積されたビットストリームを復号してエントロピー符号化部４に送る。エントロピー符号化部４はＣＡＢＡＣ符号化部１３でビットストリームの符号化を行い、ＣＡＢＡＣ符号化されたビットストリームをストリームバッファ５に送る。記録再生部１５は、ストリームバッファ５に蓄積された符号化ビットストリームを、ＣＡＶＬＣ符号化によって符号化されていた符号化ビットストリームの代わりに記録媒体１６に記録する。なお、この変換処理は蓄積されている符号化ビットストリームに対して行われるため、一定処理時間を保証する必要がなく、処理に時間を要したとしても問題とはならない。

次に、選択情報テーブルを用いて、ＣＡＶＬＣ符号化で符号化されたピクチャを検索する方法について説明する。まず、記録再生部１５は変換終了フラグを読み、変換終了フラグが『０』の場合には変換先頭アドレスを読み出す。そして、変換先頭アドレスが示すテーブルのＣＡＢＡＣ符号化フラグを読み出し、ＣＡＢＡＣ符号化フラグが『０』であれば、そのテーブルのピクチャアドレス（図６のピクチャｉアドレス：ただしｉは正の整数）を読み出して、ピクチャアドレスが示すピクチャの符号化ビットストリームを変換用バッファ１７に送る。

また、エントロピー符号化部４におけるＣＡＶＬＣ符号化からＣＡＢＡＣ符号化への変換が終了した後、ＣＡＢＡＣ符号化フラグを『１』に書き換えるとともに変換先頭アドレスを加算して、次のピクチャアドレスを参照する。なお、ＣＡＢＡＣ符号化フラグが『１』の場合には、ピクチャアドレスの読み出しは行わずに変換先頭アドレスを加算して、次のピクチャアドレスを参照する。そして、この動作を繰り返し行い、選択情報テーブルの最後まで処理が完了した場合には、変換先頭アドレスの変換終了フラグを『１』に書き換え、変換が完了する。なお、変換終了後に再び記録が行われる場合には、変換終了フラグを『０』にリセットしてから記録を開始し、選択情報テーブルを追加していく。

また、図７は、本発明の第１の実施の形態において、ＣＡＶＬＣ符号化で符号化されていたピクチャがＣＡＢＡＣ符号化に変換され記録された際の記録情報の一例を示す図である。なお、図７には、図６のピクチャ４アドレスに対応するピクチャ４がＣＡＢＡＣ符号化で変換された状態が図示されている。

図７において、例えば、ピクチャ４がＣＡＶＬＣ符号化からＣＡＢＡＣ符号化に変換された場合、ピクチャ４アドレスのＣＡＢＡＣ符号化フラグが『０』から『１』に変換される。このとき、ピクチャ４の符号化ビットストリームは符号化効率の高いエントロピー符号化に変換されるためピクチャの符号量が少なくなり、記録媒体１６上に空き領域ができる。この空き領域を他の符号化ビットストリームの記録に用いることによって、記録媒体１６を有効活用することができ、より長時間（より大きな容量のデータ）の記録が可能となる。

以上、説明したように、本発明の第１の実施の形態によれば、符号化データを記録する際に、一定の処理時間内に一定の処理単位を実行できるようにエントロピー符号化を選択し、選択されたエントロピー符号化情報を符号化データとは別に記録するように構成されているので、記録時に一定の処理時間が保証されるようになる。

また、本発明の第１の実施の形態によれば、符号化データを記録しない場合には、符号化データと共に記録媒体に記録されたエントロピー符号化情報を読み出し、符号化効率の高くないエントロピー符号化で符号化された符号化データを一定処理単位で読み出し、符号化効率の高いエントロピー符号化で再符号化し、記録された符号化データを書き換えるように構成されているので、符号化効率の高い符号化データを記録媒体に記録することが可能となる。

＜第２の実施の形態＞
次に、本発明の第２の実施の形態について説明する。図８は、本発明の第２の実施の形態における選択情報決定部の構成の一例を示すブロック図である。なお、本発明の第２の実施の形態では、図１に図示されている選択情報決定部８が、図８に図示されている選択情報決定部２０に置き換えられる。

図８に図示されている選択情報決定部２０には、割り当て符号量入力端子２１から符号化の対象となるピクチャの割り当て符号量が入力されるとともに、マクロブロック数入力端子２２から符号化するマクロブロック数が入力される。ここで、マクロブロック数（ＮＭＢ）は符号化の対象となるピクチャの横方向の画素数（ＨＯＲ）と縦方向の画素数（ＶＥＲ）から
ＮＭＢ＝ＨＯＲ／１６×ＶＥＲ／１６
として計算されるものとする。

処理時間予測部２３は、割り当て符号量及びマクロブロック数から、マクロブロックの処理時間を予測する。また、上限値計算部２５は、フレームレート入力端子２４から入力されるフレームレート及びマクロブロック数から、１マクロブロック当たりの符号化に費やすことのできる時間を計算し、その計算結果を上限値とする。また、比較部２６は、処理時間予測部２３で予測された処理時間と上限値計算部２５で計算された上限値とを比較し、選択情報出力端子２７から選択情報を出力する。

ここで、本発明の第２の実施の形態において、処理時間予測部２３が割り当て符号量及びマクロブロック数から処理時間を予測する方法について説明する。

１マクロブロックの割り当て符号量（ＢｕｄｇｅｔＭＢ）は１ピクチャの割り当て符号量（Ｂｕｄｇｅｔ）から、
ＢｕｄｇｅｔＭＢ＝Ｂｕｄｇｅｔ／ＮＭＢ
と計算される。

また、上述の本発明の第１の実施の形態で（δ）を求めた方法と同様の方法で（ε）を求め、１マクロブロック当たりの処理時間（ＣｙｃｌｅＭＢ）は、
ＣｙｃｌｅＭＢ＝ε×Ｂｕｄｇｅｔ／ＮＭＢ
となる。

上記の式で求められた１マクロブロック当たりの処理時間（ＣｙｃｌｅＭＢ）は、ピクチャ内のマクロブロックの平均値であり、実際の１マクロブロック当たりの処理時間はこれより大きくなる場合があるが、ＣＡＢＡＣ符号化部１３の内部にバッファ（不図示）を設けることにより、１ピクチャでの処理時間が保証される。また、ＣＡＢＡＣ符号化部１３の内部に配置されるバッファの容量を小さくした場合には、それを考慮してバッファをオーバーフローさせないよう（ε）を大きな値に設定することにより、１ピクチャでの処理時間が保証される。

次に、上限値計算部２５において、マクロブロック数（ＮＭＢ）及びフレームレートから１マクロブロック当たりの処理時間の上限値（ＭａｘＭＢ）を求める方法について説明する。

まず、当該画像符号化記録装置の基準クロック（ＣＬＯＣＫ）とフレームレート（ＦｒａｍｅＲａｔｅ）から、１ピクチャ当たりの処理時間の上限値（ＭａｘＰｉｃ）は、
ＭａｘＰｉｃ＝ＣＬＯＣＫ／ＦｒａｍｅＲａｔｅ
となる。

また、１マクロブロック当たりの処理時間の上限値（ＭａｘＭＢ）は、
ＭａｘＭＢ＝ＭａｘＰｉｃ／ＮＭＢ
となる。

したがって、１マクロブロック当たりの処理時間の上限値（ＭａｘＭＢ）は、
ＭａｘＭＢ＝ＣＬＯＣＫ／（ＦｒａｍｅＲａｔｅ×ＮＭＢ）
として計算することができる。

比較部２６は、１マクロブロック当たりの処理時間（ＣｙｃｌｅＭＢ）と１マクロブロック当たりの処理時間の上限値（ＭａｘＭＢ）とを比較することにより、
ＣｙｃｌｅＭＢ＞ＭａｘＭＢ
の場合にはＣＡＶＬＣを選択する指示を示す選択情報を送出し、そうでなければＣＡＢＡＣを選択する指示を示す選択情報を送出する。

本発明の第２の実施の形態によれば、上述のようにして定められた選択情報に基づいて、エントロピー符号化を選択して入力画像の符号化を行うことにより、入力画像の画素数やフレームレートに合わせた最適な符号化を選択して符号化を行うことが可能となる。

なお、上述の各実施の形態の説明ではブロック図を用いて説明を行っているが、これらのブロック図中の各ブロックは機能を表すものであり、ハードウェア及び／又はソフトウェアによって実現することが可能である。

本発明の画像符号化記録装置は、記録時に一定の処理時間が保証されるとともに、符号化効率の高い符号化データを記録媒体に記録することが可能となるという効果を有しており、画像の符号化及び符号化画像の記録に係る技術に適用可能であり、特に、Ｈ．２６４などのように、画像の圧縮符号化の際にエントロピー符号化方式を選択することが可能な画像符号化技術に適用可能である。

本発明の第１の実施の形態における画像符号化装置の構成の一例を示すブロック図である。本発明の第１の実施の形態において、ＣＡＢＡＣ符号化を行った際のピクチャ単位での符号化ビットストリームの発生符号量（Ｃｏｄｅ）と２値化データ量（Ｂｉｎ）との関係の一例を示すグラフである。本発明の第１の実施の形態において、ＣＡＢＡＣ符号化を行った際のピクチャ単位での２値化データ量（Ｂｉｎ）とその処理に要する時間（Ｃｙｃｌｅ）との関係の一例を示すグラフである。本発明の第１の実施の形態において、ピクチャ符号化時の割り当て符号量（Ｂｕｄｇｅｔ）に対する発生符号量（Ｃｏｄｅ）の変化の一例を示すグラフである。本発明の第１の実施の形態における割り当て符号量（Ｂｕｄｇｅｔ）と処理時間（Ｃｙｃｌｅ）の関係の一例を示すグラフである。本発明の第１の実施の形態における記録フォーマットの一例を示す図である。本発明の第１の実施の形態において、ＣＡＶＬＣ符号化で符号化されていたピクチャがＣＡＢＡＣ符号化に変換され記録された際の記録情報の一例を示す図である。本発明の第２の実施の形態における選択情報決定部の構成の一例を示すブロック図である。従来の技術におけるＭＰＥＧ２符号化装置の構成の一例を示すブロック図である。従来の技術におけるＣＡＶＬＣ符号化器の構成の一例を示すブロック図である。従来の技術におけるＣＡＢＡＣ符号化器の構成の一例を示すブロック図である。

符号の説明

１、３１画像入力端子
２、３２フレームメモリ
３変換処理部
４、４０エントロピー符号化部
５、４１ストリームバッファ
７、４２符号量制御部
８、２０選択情報決定部
９、２３処理時間予測部
１０、２６比較部
１１入力選択部
１２、５３ＣＡＶＬＣ符号化部
１３、６４ＣＡＢＡＣ符号化部
１４出力選択部
１５記録再生部
１６記録媒体
１７変換用バッファ
１８ＣＡＶＬＣ復号部
１９記録制御情報入力端子
２１割り当て符号量入力端子
２２マクロブロック数入力端子
２４フレームレート入力端子
２５上限値計算部
２７選択情報出力端子
３３動き予測部
３４参照画像メモリ
３５動き補償部
３６変換部
３７量子化部
３８逆量子化部
３９逆変換部
４３、５４、６５符号化ビットストリーム出力端子
５１、６１多値シンボル入力端子
５２、６３コンテキストメモリ
６２２値化部

Claims

入力画像データを符号化して符号化データを生成し、前記符号化データを所定の記録媒体に記録する画像符号化記録装置であって、
第１エントロピー符号化方式によって、一定の符号化単位で前記入力画像データのエントロピー符号化を行う第１エントロピー符号化手段と、
前記第１エントロピー符号化方式より処理量の少ないエントロピー符号化処理を実現する、前記第１エントロピー符号化方式より符号化効率が低い第２エントロピー符号化方式によって、前記一定の符号化単位で前記入力画像データのエントロピー符号化を行う第２エントロピー符号化手段と、
前記一定の符号化単位における前記入力画像データの符号量の目標値となる割り当て符号量を算出する符号量制御手段と、
前記符号量制御手段によって算出された前記割り当て符号量に基づいて、前記一定の符号化単位の前記入力画像データの符号化に要する処理時間を予測する処理時間予測手段と、
前記処理時間予測手段によって予測された前記処理時間と所定の設定値とを比較し、前記処理時間が前記所定の設定値以下の場合には、前記第１エントロピー符号化手段に前記一定の符号化単位の前記入力画像データのエントロピー符号化を行わせるように制御する選択情報を生成し、前記処理時間が前記所定の設定値より大きい場合には、前記第２エントロピー符号化手段に前記一定の符号化単位の前記入力画像データのエントロピー符号化を行わせるように制御する選択情報を生成する比較制御手段と、
前記選択情報に基づいて前記第１及び第２エントロピー符号化手段のいずれか一方によるエントロピー符号化によって生成された前記一定の符号化単位の前記入力画像データの前記符号化データと、前記一定の符号化単位の前記入力画像データの前記符号化データが生成される際に用いられた前記第１及び第２エントロピー符号化方式のいずれか一方を識別するための前記一定の符号化単位ごとの符号化方式識別情報とを、前記所定の記録媒体に記録する記録手段と、
前記入力画像データの入力が行われていない非記録時に、前記所定の記録媒体に記録された前記符号化方式識別情報を読み出し、前記第２エントロピー符号化方式によってエントロピー符号化された前記符号化データを特定して、前記特定された前記第２エントロピー符号化方式によってエントロピー符号化された前記符号化データを前記所定の記録媒体から読み出す再生手段と、
前記再生手段によって読み出された前記第２エントロピー符号化方式によってエントロピー符号化された前記符号化データを復号する復号手段と、
前記第１エントロピー符号化手段に、前記復号手段によって復号されたデータのエントロピー符号化を行わせるよう制御する再符号化制御手段と、
前記再符号化制御手段の制御により、前記第１エントロピー符号化手段によって前記第１エントロピー符号化方式で符号化された再符号化データを、前記再符号化データの変換前の対応する前記所定の記録媒体内の前記符号化データに上書きするとともに、前記変換された前記再符号化データに対応する前記符号化方式識別情報を前記第２エントロピー符号化方式から前記第１エントロピー符号化方式を示す情報に変換する再符号化データ記録手段とを、
有する画像符号化記録装置。
入力画像データを符号化して符号化データを生成し、前記符号化データを所定の記録媒体に記録する画像符号化記録装置であって、
第１エントロピー符号化方式によって、一定の符号化単位で前記入力画像データのエントロピー符号化を行う第１エントロピー符号化手段と、
前記第１エントロピー符号化方式より処理量の少ないエントロピー符号化処理を実現する、前記第１エントロピー符号化方式より符号化効率が低い第２エントロピー符号化方式によって、前記一定の符号化単位で前記入力画像データのエントロピー符号化を行う第２エントロピー符号化手段と、
前記一定の符号化単位における前記入力画像データの符号量の目標値となる割り当て符号量を算出する符号量制御手段と、
前記符号量制御手段によって算出された前記割り当て符号量と、入力画像データの各ピクチャの画素数から算出されるマクロブロック数とに基づいて、１マクロブロック当たりの前記入力画像データの符号化に要する処理時間を予測する処理時間予測手段と、
前記マクロブロック数と前記入力画像データのフレームレートとに基づいて、１マクロブロック当たりの前記入力画像データの符号化に要する実効処理時間を計算する上限値計算手段と、
前記処理時間予測手段によって予測された前記処理時間と前記上限値計算手段によって計算された前記実効処理時間とを比較し、前記処理時間が前記実効処理時間以下の場合には、前記第１エントロピー符号化手段に前記一定の符号化単位の前記入力画像データのエントロピー符号化を行わせるように制御する選択情報を生成し、前記処理時間が前記実効処理時間より大きい場合には、前記第２エントロピー符号化手段に前記一定の符号化単位の前記入力画像データのエントロピー符号化を行わせるように制御する選択情報を生成する比較制御手段と、
前記選択情報に基づいて前記第１及び第２エントロピー符号化手段のいずれか一方によるエントロピー符号化によって生成された前記一定の符号化単位の前記入力画像データの前記符号化データと、前記一定の符号化単位の前記入力画像データの前記符号化データが生成される際に用いられた前記第１及び第２エントロピー符号化方式のいずれか一方を識別するための前記一定の符号化単位ごとの符号化方式識別情報とを、前記所定の記録媒体に記録する記録手段と、
前記入力画像データの入力が行われていない非記録時に、前記所定の記録媒体に記録された前記符号化方式識別情報を読み出し、前記第２エントロピー符号化方式によってエントロピー符号化された前記符号化データを特定して、前記特定された前記第２エントロピー符号化方式によってエントロピー符号化された前記符号化データを前記所定の記録媒体から読み出す再生手段と、
前記再生手段によって読み出された前記第２エントロピー符号化方式によってエントロピー符号化された前記符号化データを復号する復号手段と、
前記第１エントロピー符号化手段に、前記復号手段によって復号されたデータのエントロピー符号化を行わせるよう制御する再符号化制御手段と、
前記再符号化制御手段の制御により、前記第１エントロピー符号化手段によって前記第１エントロピー符号化方式で符号化された再符号化データを、前記再符号化データの変換前の対応する前記所定の記録媒体内の前記符号化データに上書きするとともに、前記変換された前記再符号化データに対応する前記符号化方式識別情報を前記第２エントロピー符号化方式から前記第１エントロピー符号化方式を示す情報に変換する再符号化データ記録手段とを、
有する画像符号化記録装置。