JP4432188B2 - 符号化フォーマット変換装置、符号化フォーマット変換システム及び方法 - Google Patents
符号化フォーマット変換装置、符号化フォーマット変換システム及び方法 Download PDFInfo
- Publication number
- JP4432188B2 JP4432188B2 JP2000050523A JP2000050523A JP4432188B2 JP 4432188 B2 JP4432188 B2 JP 4432188B2 JP 2000050523 A JP2000050523 A JP 2000050523A JP 2000050523 A JP2000050523 A JP 2000050523A JP 4432188 B2 JP4432188 B2 JP 4432188B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding method
- parameter
- signal
- conversion
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、符号化フォーマット変換装置、符号化フォーマット変換システム及び方法に関し、特に、例えば光磁気ディスクや磁気テープ、フラッシュメモリ等の記録媒体に記録し、もしくは衛星放送で伝送し、それを光磁気ディスクや磁気テープ、フラッシュメモリ等の記録媒体に再記録、あるいはテレビ会議システムやテレビ電話システム、インターネット、携帯電話等低ビットレート伝送路を介して送信側から受信側に伝送し、受信側において、必要に応じたフォーマット変換等を行い、これを表示、伝送する場合などに用いて好適な符号化フォーマット変換装置、符号化フォーマット変換システム及び方法に関する。
【０００２】
【従来の技術】
入力された画像符号化ビットストリームを、異なる画像符号化フォーマットの画像符号化ビットストリームに変換する、従来の画像符号化フォーマット変換装置の概略構成を図３９に示す。なお、この図３９に例示した画像符号化フォーマット変換装置３１５は、入力されたＭＰＥＧ１（Moving Picture image coding Experts Group）画像符号化ビットストリームを、ＭＰＥＧ４画像符号化ビットストリームヘ変換する装置である。また、図３９の例では、ＭＰＥＧ１画像符号化ビットストリームを生成するＭＰＥＧ１画像符号化装置３１０と、ＭＰＥＧ１画像符号化ビットストリームを記録する記録器３１１、ＭＰＥＧ１画像符号化ビットストリームを伝送する伝送器３１２も示す。
【０００３】
この図３９に示すシステムにおいて、ＭＰＥＧ１画像符号化装置３１０は、入力された画像信号をＭＰＥＧ１画像符号化方式（以下、適宜ＭＰＥＧ１とする）に従って符号化し、ＭＰＥＧ１画像符号化ビットストリームを生成する。当該ＭＰＥＧ１画像符号化ビットストリームは、直接に、或いは記録器３１１に一旦記録された後に再生されて、若しくは伝送器３１２を介して伝送されて、画像符号化フォーマット変換装置３１５に入力する。
【０００４】
画像符号化フォーマット変換装置３１５は、ＭＰＥＧ１画像復号化器３１３と、ＭＰＥＧ４画像符号化器３１４とからなる。
【０００５】
ＭＰＥＧ１画像復号化器３１３は、入力されたＭＰＥＧ１画像符号化ビットストリームを、ＭＰＥＧ１画像復号化方式に従って復号して画像信号を復元する。当該復元された画像信号はＭＰＥＧ４画像符号化器３１４に送られる。
【０００６】
ＭＰＥＧ４画像符号化器３１４は、上記復元された画像信号をＭＰＥＧ４画像符号化方式（以下、適宜ＭＰＥＧ４とする）に従って符号化し、ＭＰＥＧ４画像符号化ビットストリームを生成する。このＭＰＥＧ４画像符号化ビットストリームは、当該図３９の画像符号化フォーマット変換装置３１５から出力される。
【０００７】
【発明が解決しようとする課題】
上述の従来の画像符号化フォーマット変換装置３１５は、図３９に示したように、ＭＰＥＧ１画像復号化器３１３でＭＰＥＧ１画像復号化方式により復元された画像信号を、ＭＰＥＧ４画像符号化器３１４でＭＰＥＧ４画像符号化方式により符号化し、ＭＰＥＧ４画像符号化ビットストリームを出力するようになされている。
【０００８】
すなわち、この従来の画像符号化フォーマット変換装置３１５のプロセスには、ＭＰＥＧ１画像復号化器３１３で画像信号を復元するプロセスと、ＭＰＥＧ４画像符号化器３１４で画像信号を符号化するプロセスとが含まれている。
【０００９】
特に、ＭＰＥＧ４画像符号化器３１４では、入力された画像信号を符号化する際に、動きベクトルを検出するなど、処理量が膨大となるプロセスが含まれている。このため、従来の画像符号化フォーマット変換装置３１５では、画像のリアルタイムでの処理が困難となり、時間遅延が発生するという問題がある。また、装置が大規模になるという問題もある。
【００１０】
そこで、本発明は、このような実情に鑑みてなされたものであり、例えば、ＭＰＥＧ１画像符号化ビットストリームのような第１の符号化信号をＭＰＥＧ４画像符号化ビットストリームのような第２の符号化信号に変換する場合において、信号品質を劣化させずに処理量を低減し、且つ、時間遅延を少なくし、さらに装置構成の大規模化をも防止可能とする符号化フォーマット変換装置、第１の符号化信号を生成する符号化信号生成装置を備える符号化フォーマット変換システム及び方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明の符号化フォーマット変換装置は、第１の符号化方式により符号化された第１の符号化信号に含まれる第１の符号化方式のパラメータを、そのパラメータの種類に応じて上記第１の符号化方式とは異なる第２の符号化方式のパラメータに変換するパラメータ変換手段と、上記パラメータ変換手段により得られた第２の符号化方式のパラメータを用いて、上記第１の符号化信号から第２の符号化信号を生成する信号生成手段とを備え、上記パラメータ変換手段は、上記第１の符号化信号から上記第１の符号化方式のパラメータを抽出する抽出手段と、上記抽出手段により抽出した第１の符号化方式のパラメータを、第１の変換処理が施される第１の種類と、第２の変換処理が施される第２の種類と、第３の変換処理が施される第３の種類とに分類する分類手段と、上記第１の変換処理として、上記第１の種類に分類した第１の符号化方式のパラメータをそのまま上記第２の符号化方式のパラメータとして用いる第１の変換処理部と、上記第２の変換処理として、上記第２の種類に分類した第１の符号化方式のパラメータを当該第１の符号化方式に対応する復号化方式により復号化した後に第２の符号化方式にて符号化する第２の変換処理部と、上記第３の変換処理として、上記第３の種類に分類した第１の符号化方式のパラメータを当該第１の符号化方式に対応する復号化方式により復号化した後に第２の符号化方式のパラメータに変換し、当該第２の符号化方式のパラメータを第２の符号化方式にて符号化する第３の変換処理部とからなる変換処理手段とを有することにより、上述した課題を解決する。
【００１２】
本発明の符号化フォーマット変換システムは、第１の符号化方式により符号化された第１の符号化信号に含まれる第１の符号化方式のパラメータを、そのパラメータの種類に応じて上記第１の符号化方式とは異なる第２の符号化方式のパラメータに変換するパラメータ変換手段と、上記パラメータ変換手段により得られた第２の符号化方式のパラメータを用いて、上記第１の符号化信号から第２の符号化信号を生成する信号生成手段とを備える符号化フォーマット変換装置と、上記第１の符号化方式にて使用される第１の量子化方法と上記第２の符号化方式にて使用される第２の量子化方法とが異なるとき、上記第１の量子化方法で用いるパラメータに代え、上記第２の量子化方法で用いるパラメータを上記第１の符号化方式により符号化された信号に含めて、上記符号化フォーマット変換装置に供給する第１の符号化信号を生成し、上記符号化フォーマット変換装置に対して、上記第１の符号化信号を供給するパラメータ変更手段を有する符号化信号生成装置とを備え、上記パラメータ変換手段は、上記第１の符号化信号から上記第１の符号化方式のパラメータを抽出する抽出手段と、上記抽出手段により抽出した第１の符号化方式のパラメータを、第１の変換処理が施される第１の種類と、第２の変換処理が施される第２の種類と、第３の変換処理が施される第３の種類とに分類する分類手段と、上記第１の変換処理として、上記第１の種類に分類した第１の符号化方式のパラメータをそのまま上記第２の符号化方式のパラメータとして用いる第１の変換処理部と、上記第２の変換処理として、上記第２の種類に分類した第１の符号化方式のパラメータを当該第１の符号化方式に対応する復号化方式により復号化した後に第２の符号化方式にて符号化する第２の変換処理部と、上記第３の変換処理として、上記第３の種類に分類した第１の符号化方式のパラメータを当該第１の符号化方式に対応する復号化方式により復号化した後に第２の符号化方式のパラメータに変換し、当該第２の符号化方式のパラメータを第２の符号化方式にて符号化する第３の変換処理部とからなる変換処理手段とを有することにより、上述した課題を解決する。
【００１３】
本発明の符号化フォーマット変換システムは、上記第１の符号化信号を生成して供給する符号化信号生成装置であって、上記第１の符号化信号を生成する際に用いた色差の動きベクトルと、上記第２の符号化信号を生成する際に用いた色差の動きベクトルとが異なるとき、上記第１の符号化信号での色差の動きベクトルと上記第２の符号化信号での色差の動きベクトルとが等しくなるように、上記第１の符号化信号の輝度の動きベクトルを上記第２の符号化信号の輝度の動きベクトルに変換する動きベクトル変換手段を有することにより、上述した課題を解決する。
【００１４】
本発明の符号化フォーマット変換方法は、第１の符号化方式により符号化された第１の符号化信号に含まれる第１の符号化方式のパラメータを、そのパラメータの種類に応じて上記第１の符号化方式とは異なる第２の符号化方式のパラメータに変換するパラメータ変換ステップと、上記パラメータ変換ステップで得られた第２の符号化方式のパラメータを用いて、上記第１の符号化信号から第２の符号化信号を生成する信号生成ステップとを有し、上記パラメータ変換ステップは、上記第１の符号化信号から上記第１の符号化方式のパラメータを抽出する抽出ステップと、上記抽出ステップで抽出した上記第１の符号化方式のパラメータを、第１の変換処理が施される第１の種類と、第２の変換処理が施される第２の種類と、第３の変換処理が施される第３の種類とに分類する分類ステップと、上記第１の変換処理として、上記第１の種類に分類した第１の符号化方式のパラメータをそのまま上記第２の符号化方式のパラメータとして用いる第１の変換処理ステップと、上記第２の変換処理として、上記第２の種類に分類した第１の符号化方式のパラメータを当該第１の符号化方式に対応する復号化方式により復号化した後に第２の符号化方式にて符号化する第２の変換処理ステップと、上記第３の変換処理として、上記第３の種類に分類した第１の符号化方式のパラメータを当該第１の符号化方式に対応する復号化方式により復号化した後に第２の符号化方式のパラメータに変換し、当該第２の符号化方式のパラメータを第２の符号化方式にて符号化する第３の変換処理ステップとを有する変換処理ステップとを有することにより、上述した課題を解決する。
【００１５】
本発明の符号化フォーマット変換方法は、上記第１の符号化方式にて使用される第１の量子化方法で用いるパラメータに代え、上記第２の符号化方式にて使用される第２の量子化方法で用いるパラメータを上記第１の符号化方式により符号化された信号に含めて、上記符号化フォーマット変換装置に供給する第１の符号化信号を生成することにより、上述した課題を解決する。
【００１６】
本発明の符号化フォーマット変換方法は、上記第１の符号化信号を生成する際に用いた色差の動きベクトルと、上記第２の符号化信号を生成する際に用いた色差の動きベクトルとが異なるとき、上記第１の符号化信号での色差の動きベクトルと上記第２の符号化信号での色差の動きベクトルとが等しくなるように、上記第１の符号化信号の輝度の動きベクトルを上記第２の符号化信号の輝度の動きベクトルに変換することにより、上述した課題を解決する。
【００１７】
具体例を挙げて説明すると、本発明では、例えば、ＭＰＥＧ１画像符号化フォーマットのビットストリームをＭＰＥＧ４画像符号化フォーマットのビットストリームを変換する際に、ＭＰＥＧ１画像復号化装置による画像の復号およびＭＰＥＧ４画像符号化装置による画像の符号化を行わず、ＭＰＥＧ１画像符号化ビットストリーム上からパラメータの抽出のみを行い、これをＭＰＥＧ４画像符号化方式のシンプルプロファイル（simple profile）で用いるパラメータに変換する。その後、ＭＰＥＧ４に変換されたパラメータをＭＰＥＧ４シンプルプロファイルのシンタックス（syntax）に従い、ビットストリームに含ませてＭＰＥＧ４画像符号化ビットストリームを構成して出力することにより、ＭＰＥＧ１からＭＰＥＧ４への画像符号化フォーマット変換を行うようにしている。
【００１８】
【発明の実施の形態】
以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。
【００１９】
入力された画像符号化ビットストリームを、異なる画像符号化フォーマットの画像符号化ビットストリームに変換する、本発明にかかる第１の実施の形態の画像符号化フォーマット変換装置の概略構成を図１に示す。なお、この図１に例示した画像符号化フォーマット変換装置１２３は、入力されたＭＰＥＧ１画像符号化ビットストリームを、ＭＰＥＧ４画像符号化ビットストリームヘ変換する装置である。また、図１の例では、ＭＰＥＧ１画像符号化ビットストリームを生成するＭＰＥＧ１画像符号化装置１２０と、ＭＰＥＧ１画像符号化ビットストリームを記録する記録器１２１、ＭＰＥＧ１画像符号化ビットストリームを伝送する伝送器１２２も示している。
【００２０】
この図１に示すシステムにおいて、ＭＰＥＧ１画像符号化装置１２０は、入力された画像信号をＭＰＥＧ１画像符号化方式に従って符号化し、ＭＰＥＧ１画像符号化ビットストリームを生成する。当該ＭＰＥＧ１画像符号化ビットストリームは、直接に、或いは記録器１２１に一旦記録された後に再生されて、若しくは伝送器１２２を介して伝送されて、画像符号化フォーマット変換装置１２３に入力する。
【００２１】
画像符号化フォーマット変換装置１２３は、ＭＰＥＧ１画像符号化ビットストリームをＭＰＥＧ４画像符号化ビットストリームに変換する。このＭＰＥＧ４画像符号化ビットストリームは、当該図１の画像符号化フォーマット変換装置１２３から出力される。
【００２２】
以上は図１の構成の概略的な処理の流れであるが、本実施の形態の画像符号化フォーマット変換装置１２３では、後述するように、ＭＰＥＧ１画像符号化ビットストリームから、符号化の際に使用されたパラメータを抽出し、その抽出したパラメータを、ＭＰＥＧ４画像符号化ビットストリームを構成するのに必要なパラメータに変換し、ＭＰＥＧ４画像符号化ビットストリームを構成して出力する。
【００２３】
すなわち、画像符号化フォーマット変換装置１２３では、前記図３９に示した従来例の構成のように、ＭＰＥＧ１画像符号化ビットストリームを復号化して画像信号を復元するようなことやその他解像度変換等の処理を行わず、ＭＰＥＧ１画像符号化ビットストリーム上からパラメータの抽出のみを行い、当該抽出したパラメータを、ＭＰＥＧ４のシンプルプロファイル（simple profile）で用いるパラメータに変換する。その後、画像符号化フォーマット変換装置１２３は、当該シンプルプロファイルのパラメータを用い、ＭＰＥＧ４のシンプルプロファイルのシンタックス（syntax）に従い、ＭＰＥＧ４画像符号化ビットストリームを構成し、出力する。
【００２４】
ここで、本発明実施の形態の画像符号化フォーマット変換装置１２３の詳細な構成及びその動作原理を、図２を用いて説明する。
【００２５】
図２において、入力されたＭＰＥＧ１画像符号化ビットストリームは、ビットの読み取り器１３０に送られる。当該ビット読み取り器１３０は、ＭＰＥＧ１画像符号化ビットストリームに含まれているパラメータ（以下、ＭＰＥＧ１パラメータと呼ぶ。）のビットを読み取り、当該読み取られたＭＰＥＧ１パラメータを切換処理部ＳＷ１に送り、また、データビットをＭＰＥＧ４ビットストリーム構成器１３７に送る。切換処理部ＳＷ１は、上記パラメータのビットを、予め定められた２つの動作に従って、除去、若しくはレジスタ群１３９に入力する。
【００２６】
レジスタ群１３９に入力されたパラメータは、判別処理部１４０により、Ａ，Ｂ，Ｃの３種の何れかに判別（分類）される。当該判別は、画像符号化フォーマット変換装置の処理効率を高めるために、ＭＰＥＧ１の各種フラグ（以下、ＭＰＥＧ１フラグと呼ぶ。）の一つ一つに対して予め定められている。なお、Ａ，Ｂ，Ｃの判別の具体的内容については後述する。
【００２７】
ここで、上記Ａと判別されたＭＰＥＧ１のパラメータは、特に変換処理等されることなく、直接、ＭＰＥＧ４画像符号化ビットストリームを構成する際のパラメータ（ＭＰＥＧ４パラメータと呼ぶ。）として用いる。
【００２８】
Ｂと判別されたＭＰＥＧ１のパラメータのビットは、ＭＰＥＧ１のＶＬＣデコーダ１３１により可変長符号の復号化がなされた後、ＭＰＥＧ４のＶＬＣエンコーダ１３５により可変長符号化される。
【００２９】
Ｃと判別されたＭＰＥＧ１のパラメータのビットは、ＭＰＥＧ１のＶＬＣデコーダ１３３により可変長符号の復号化がなされた後、パラメータ変換器１３４により、ＭＰＥＧ４に用いるパラメータ（ＭＰＥＧ４のシンプルプロファイルに定義されたパラメータ）に変換され、ＭＰＥＧ４のＶＬＣエンコーダ１３５へ入力する。ＭＰＥＧ４のＶＬＣエンコーダ１３５では、当該変換により得られたＭＰＥＧ４パラメータを可変長符号化する。
【００３０】
上記判別処理部１４０により、Ａ，Ｂ，Ｃの何れかに判別されて処理等されたＭＰＥＧ４パラメータは、バッファ１３６に格納される。
【００３１】
ＭＰＥＧ４ビットストリーム構成器１３７は、バッファ１３６に格納されたＭＰＥＧ４パラメータを所望のタイミングに合わせて読み出し、上記ビット読み取り器１３０からのデータビットと合わせてＭＰＥＧ４画像符号化ビットストリームを構成する。当該ＭＰＥＧ４画像符号化ビットストリームは、画像符号化フォーマット変換装置１２３から出力される。
【００３２】
次に、図３〜図９を用い、上記画像符号化フォーマット変換装置にて行われる、ＭＰＥＧ１画像符号化ビットストリームから抽出されたＭＰＥＧ１パラメータを、ＭＰＥＧ４画像符号化ビットストリームを構成する際に用いるＭＰＥＧ４パラメータヘ変換する流れについて説明する。
【００３３】
なお、図３〜図９は連続した処理を紙面の都合で分割して表しており、また、図３〜図９の各図の左側には、入力されたＭＰＥＧ１画像符号化ビットストリームに対して、ＭＰＥＧ１のビデオシンタックスに従って、ビットの読み取り器１３０がＭＰＥＧ１画像符号化ビットストリームから抽出したＭＰＥＧ１パラメータを示している。また、各パラメータには右向き矢印が付けられており、これら右向き矢印の横には、それぞれ各パラメータが入力したレジスタの番号（レジスタ群１３９を構成する複数のレジスタのうちの何れかを示す番号）および変換の方法を判別する符号（前記Ａ，Ｂ，Ｃを示す符号）が表示されている。例えば、pel_aspect_ratio→レジスタ３（Ｂ）は、ＭＰＥＧ１パラメータpel_aspect_ratioのビットが３番目のレジスタに入力され、さらにＢの判別に応じた変換方法に従ってＭＰＥＧ４パラメータに変換されることを意味している。なお、ビットの読み取り器１３０にて読み取られたパラメータのうち、ＭＰＥＧ４には使用しないパラメータは、除去される。
【００３４】
また、図３〜図９において、各図の右側には、ＭＰＥＧ４ビットストリーム構成器１３７により、ＭＰＥＧ４画像符号化ビットストリームを構成するのに必要なＭＰＥＧ４パラメータを示している。また、各パラメータには左向き矢印が付けられており、これら左向き矢印の横には、ＭＰＥＧ１パラメータが入力したレジスタの番号が表示されている。そのレジスタからＭＰＥＧ４パラメータを出力する。例えば、aspect_ratio_info←レジスタ３は、ＭＰＥＧ４パラメータaspect_ratio_infoはレジスタ３から読み取ることができることを意味する。レジスタ３では、入力されたＭＰＥＧ１パラメータpel_aspect_ratioがＭＰＥＧ４パラメータaspect_ratio_infoに変換されている。
【００３５】
以下は、レジスタの番号順に沿って、各レジスタに入力されたＭＰＥＧ１パラメータとそれに対応するＭＰＥＧ４パラメータ、及び、ＭＰＥＧ１パラメータからＭＰＥＧ４パラメータヘのパラメータ変換について説明する。
【００３６】
先ず、レジスタ１（Ａ）と２（Ａ）には、図１０に示すように、horizontal_sizeとvertical_sizeのＭＰＥＧ１パラメータが入力する。horizontal_sizeは入力画像の横サイズを表し、vertical_sizeは入力画像の縦サイズを表す。上記ＭＰＥＧ１パラメータhorizontal_sizeとvertical_sizeは、そのままＭＰＥＧ４パラメータvideo_object_layer_widthとvideo_object_layer_hightに代入される。
【００３７】
レジスタ３（Ｂ）には、図１１に示すように、pel_aspect_ratioのＭＰＥＧ１パラメータが入力する。このpel_aspect_ratioは、表示される画像のアスペクト比を表す。当該ＭＰＥＧ１パラメータのpel_aspect_ratioは、ＭＰＥＧ１ＶＬＣデコーダ１３１によりデコードされた後、ＭＰＥＧ４ＶＬＣエンコーダ１３２によりエンコードされる。なお、extended PARである場合は、ＭＰＥＧ４には新たなパラメータpar_heightとpar_widthが設定され、par_heightには出力画像の画素のアスペクト比の縦サイズ、par_widthには横サイズの値を入力する。これらpar_heightとpar_widthの比が出力画像のアスペクト比となる。
【００３８】
レジスタ４（Ｃ）には、picture_rateのパラメータが入力する。このパラメータは、図１２に示すように、変換ツール（パラメータ変換器１３４）による変換が必要となる。
【００３９】
ここで、ＭＰＥＧ１の各フレームのデコード時間は、frame_fate_codeとスライスヘッダ（slice header）に格納されているtemproal_referanceにより、計算される。temproal_referenceは、グループオブピクチャ（ＧＯＰ）の先頭で”０”にリセットされ、フレームがデコードされる度に１増やされる。各フレームのデコード時間はtemproal_referenceの値とframe rateから求められる連続した２フレーム問の時間との積になる。なお、temproal_referenceのパラメータは、フォーマット変換する際に使用しないため除去されている。
【００４０】
ＭＰＥＧ４画像符号化方式では、各フレームのデコード時間は、vop_time_increament，modulo_time_base及び後述するレジスタ９（Ｂ）に入力したtime_codeの各パラメータで決まる。modulo_time_baseは１秒単位でのローカルタイムベースを示す。vop_time_increament_resolutionは、１modulo timebaseを等間隔に分割するサブインターバルの数を示す。vop_time_increamentはmodulo_time_baseで示される同期点から絶対経過時間を示す。
【００４１】
図１３には、それらのパラメータの関係を示す。
【００４２】
vop_time_increamentは[0，vop_time_increament_resolution）の間の値になっている。vop_time_increamentはvop_time_increament_resolution以上の時間を表すために、modulo_time_baseが用いられる。図１３に示しているように、図中の太い枠の中に書かれているのは、modulo_time_baseである。１秒以内は”０”で表し、２秒が経過すると”１１０”という値になる。ｎ秒が経過すると、”１１１１・・・１０”となる。図中のＴ１，Ｔ２，Ｔ３，Ｔ４は、各フレームのvop_time_increamentであり、modulo_time_baseから経過した時間を示している。
【００４３】
レジスタ５（Ｂ）と６（Ｂ）には、intra_quantizer_matrixとnon_intra_quantizer_matrixが入力する。ここで、ＭＰＥＧ１画像符号化方式には、intra_quantizer_matrixおよびnon_intra_quantizer_matrixという量子化マトリクスのパラメータが規定されている。それらの値は、load_intra_quantizer_matrixおよびload_non_intra_quantizer_matrixというフラグによって決まる。当該フラグが”０”である場合は、ＭＰＥＧ１のシンタックスに定められている値を用いるが、”１”である場合は、ユーザが設定した値が入力される。ＭＰＥＧ４のシンプルプロファイルでは、Ｈ．２６３と同様の量子化方法を用いるため、intra_quantizer_matrixおよびnon_intra_quantizer_matrixのいずれもない。すなわち、ＭＰＥＧ１とＭＰＥＧ４の画像符号化方式ではＤＣＴ係数の量子化方法が異なる。従って、ＭＰＥＧ４の量子化ＤＣＴ係数を求めるには、ＭＰＥＧ１の量子化ＤＣＴ係数を逆量子化し、この逆量子化されたＤＣＴ係数をＭＰＥＧ４画像符号化方式に従って量子化する必要がある。そのため、ＭＰＥＧ１の量子化マトリクスをＭＰＥＧ１画像符号化方式に従いＶＬＣデコードし、さらにＭＰＥＧ１のＤＣＴ係数に復号する必要がある。なお、ＭＰＥＧ４のコアプロファイル（core profile）には、ＭＰＥＧ１画像符号化方式と同様の量子化方式を用いるため、intra_quantjer_matriとnon_intra_quantizer_matrixの両方があり、ＭＰＥＧ１の量子化ＤＣＴ係数を逆量子化してから、ＭＰＥＧ４画像符号化方式に従って量子化する必要がなくなる。
【００４４】
レジスタ７（Ａ）と８（Ａ）には、図１４に示すように、user_data_start_codeとuser_dataのパラメータが入力する。なお、user_dataはあってもなくてもよいパラメータである。そのため、これらパラメータは変換せずに、そのままＭＰＥＧ４画像符号化ビットストリームの一部として用いてもよいし、或いは、除去してもよい。
【００４５】
レジスタ９（Ｂ）には、図１５に示すように、time_codeのパラメータが入力する。なお、当該ＭＰＥＧ１パラメータのtime_codeのビットの一部は、そのままＭＰＥＧ４画像符号化ビットストリームに用いられる。
【００４６】
レジスタ１０（Ａ）と１１（Ａ）には、図１６に示すように、closed_govとBroken_linkのパラメータが入力する。closed_govはＭＰＥＧ４画像符号化方式ではＧＯＶヘッダ後のＩ−ＶＯＰに引き続く、Ｂ−ＶＯＰがバックワード（backward）予測がイントラ符号化される場合にセットされるフラグである。Broken_linkはＭＰＥＧ４画像符号化方式ではＧＯＶヘッダ後のＩ−ＶＯＰに引き続くＢ−ＶＯＰが正しくデコードできない可能性がある場合にセットされるフラグである。ＭＰＥＧ１画像符号化方式とＭＰＥＧ４画像符号化方式では、同様の動作がなされるため、入力されたＭＰＥＧ１パラメータは変換せずに、そのままＭＰＥＧ４画像符号化ビットストリームに用いられる。
【００４７】
レジスタ１２（Ａ）と１３（Ａ）には、図１７に示すように、user_data_start_codeとuser_dataのパラメータが入力する。user_dataはあってもなくてもよいパラメータである。そのため、これらパラメータは変換せずに、そのままＭＰＥＧ４画像符号化ビットストリームの一部として用いてもよいし、或いは除去してもよい。
【００４８】
レジスタ１４（Ｂ）には、図１８に示すように、picture_coding_typeのパラメータが入力する。このパラメータは、ＭＰＥＧ１ＶＬＣデコーダ１３１によりデコードされ、さらにＭＰＥＧ４ＶＬＣエンコーダ１３２によりエンコードする必要がある。
【００４９】
レジスタ１５（Ａ）には、図１９に示すように、full_pel_forward_vectorのパラメータが入力する。ＭＰＥＧ１画像符号化方式によれば、full_pel_forward_vectorというフラグが”０”である場合は、半画素精度で動き補償を行うが、”１”である場合は、整数画素精度で動き補償を行うことになる。また、半画素精度で動き補償を行う際の動きベクトルの値は、整数画素精度で動き補償を行った場合の倍になる。一方、ＭＰＥＧ４では、半画素精度でしか動き補償を行わない。そのため、full_pel_forward_vectorが”０”である場合、すなわち、ＭＰＥＧ１画像符号化方式では半画素精度で動き補償を行う場合、入力されたＭＰＥＧ１の動きベクトルはそのままＭＰＥＧ４画像符号化の際に用いることができるが、full_pel_forward_vectorが”１”である場合、すなわちＭＰＥＧ１画像符号化方式では整数画素精度で動き補償を行う際、ＭＰＥＧ４の半画素精度に合わせるため、ＭＰＥＧ４の動きベクトルはＭＰＥＧ１の動きベクトルの２倍にする必要がある。
【００５０】
レジスタ１６（Ａ）には、図２０に示すように、forward_f_codeのパラメータが入力する。当該パラメータは変換せずに、そのままＭＰＥＧ４画像符号化ビットストリームに用いる。
【００５１】
レジスタ１７（Ａ）と１８（Ａ）には、図２１に示すように、user_data_start_codeとuser_codeのパラメータが入力する。user_dataはあってもなくてもよいパラメータである。そのため、これらパラメータは変換せずに、そのままＭＰＥＧ４画像符号化ビットストリームの一部として用いてもよいし、除去してもよい。
【００５２】
レジスタ１９（Ｂ）には、quantizer_scaleのパラメータが入力する。当該レジスタ１９に入力しているquantizer_scaleは、ＭＰＥＧ１のスライスヘッダ（slice header）に格納されている量子化スケールである。ＭＰＥＧ１の量子化方法とＭＰＥＧ４のシンプルプロファイルの量子化方法とは異なるため、ＭＰＥＧ４の量子化ＤＣＴ係数を求める際に、ＭＰＥＧ１の量子化ＤＣＴ係数を逆量子化する必要がある。そのため、量子化スケールのパラメータquantizer_scaleをＶＬＣデコードして、値に復号する必要がある。
【００５３】
レジスタ２０（Ａ）には、macroblock_stuffingのパラメータが入力する。当該macroblock_stuffingは、あってもなくてもよいため、そのままＭＰＥＧ４画像符号化ビットストリームに用いてもよいし、除去してもよい。
レジスタ２１（Ｂ）には、macroblock_typeのパラメータが入力する。このmacroblock_typeはマクロブロックのタイプを意味し、ＭＰＥＧ４におけるmcbpcを設定する際に用いる。このパラメータについては、ＭＰＥＧ１のＶＬＣデコードを行う必要がある。
【００５４】
また、レジスタ１９（Ｂ），２１（Ｂ），２２（Ａ），２７（Ａ）には、quantizer_scale(s)、macroblock_type、quantizer_scale(M)、coded_block_pattarnのパラメータが入力するが、これら四つのＭＰＥＧ１パラメータにより、ＭＰＥＧ４のdquant，mcbpcとcbpyの各パラメータが決まる。
【００５５】
先ず、各マクロブロックのdquantのパラメータの求め方を図２２を用いて説明する。
【００５６】
図２２の（ａ）はＭＰＥＧ１のマクロブロックのみのビットストリームの構成を示している。ＭＰＥＧ１では、マクロブロック毎にquantizer_scaleのパラメータが記述され、図２２の（ａ）では、当該quantizer_scaleのパラメータをｑ１，ｑ２，ｑ３，・・・として表している。また、図２２の（ｂ）及び（ｃ）は、図２２の（ａ）の各マクロブロックに対応するＭＰＥＧ４のマクロブロックのビットストリームＢＳ１，ＢＳ２の構成を示している。ＭＰＥＧ４では、マクロブロック毎に、dquant、すなわち対象となるマクロブロックの量子化係数と前のマクロブロックの量子化係数の差分が記述されている。ＭＰＥＧ４画像符号化方式において、dquantは、１，−１，２，−２のいずれかの値を用いることになっている。そのため、図２３に示すように、連続した２つのマクロブロックのquantizer_scaleの差分をＭＰＥＧ４のシンタックスの制約に従って３つのケースに分け、dquantを求める処理を行う。
【００５７】
図２３に示すcase１では、上記差分の値が１，−１，２，−２の何れかいずかとなっている場合、当該差分値をそのままdquantとして用いることができる。図２２の（ｂ）は全ての差分がcase１に満たす場合である。
【００５８】
case２では、差分の値が０、すなわちマクロブロックのquantizer_scaleが送られていない場合、dquantは０にすることができないが、そのマクロブロックのmbtypeにあるdquantのフラグを０にセットすることにより、dquantの値を送らず、前のマクロブロックと同様な量子化係数を用いることができる。
【００５９】
case３では、差分の絶対値が２以上になった場合に、対象となるマクロブロックの前にリシンクマーカ（resync marker）を配置する。リシンクマーカは、本来、ＭＰＥＧ４画像復号化方式での復号時にエラー伝播を阻止するために、特定のビットパターンで構成される固定長符号であって、それを検出すれば、次の情報が正しく復号できる。そこで、正しく復号化できるように、ヘッダ情報の一部としてquant_scaleとmacroblock_numberがリシンクマーカの次に記述されている。quant_scaleを設定することによって、連続した２つのマクロブロックの量子化係数の差分を１，−１，２，−２にすることができる。例えば、図２２の（ａ）のＭＰＥＧ１のマクロブロックＭＢ５の量子化係数ｑ５とマクロブロックＭＢ４の量子化係数ｑ４との差分の絶対値が２以上になったとする。その際、図２２の（ｃ）に示しているように、ＭＰＥＧ４のマクロブロックＭＢ５の前にリシンクマーカを配置する。リシンクマーカの次に記述されるquant_scaleをｑ５＋１，ｑ５−１，ｑ５＋２，ｑ５−２の何れかにすれば、ＭＰＥＧ４のマクロブロックＭＢ５のdquant５は、量子化係数ｑ５からquant_scaleを引いた値となるため、−１，１，−２，２の何れかになる。
【００６０】
以上は、ＭＰＥＧ１の連続した２つのマクロブロックの量子化係数の差分からdquantを求める方法を説明したが、ＭＰＥＧ１のビットストリームのデータ構造とＭＰＥＧ４のビットストリームの構造が異なるため、階層のヘッダヘの処理によるヘッダ内に含まれている量子化係数が変換されることがあり、この場合、ヘッダの先頭のマクロブロックのdquantも新たに求めることがある。
【００６１】
ここで、ＭＰＥＧ１は、シーケンス（sequence）、グループ・オブ・ピクチャ（ＧＯＰ）、ピクチャ（picture）、スライス（slice）、マクロプロック（ＭＢ）、ブロック（block）の６層の階層構造からなっている。それに対して、ＭＰＥＧ４のシンプルプロファイルの階層構造は、ＶＳ（visual sequence)、ＧＯＶ(Group of Video Object plane）、ＶＯＰ（Video Object Plane）、マクロブロック（ＭＢ）、ブロック（block）の５つになっている。 ＭＰＥＧ４には、ＭＰＥＧ１のスライス層に相当する階層はないが、ＶＯＰの下の階層として、エラー耐性などで用いられるリシンクマーカと、次の情報からなるビデオパケット（Video Packet）という符号化単位がある。なお、リシンクマーカはＭＰＥＧ４のビットストリームを構成するのに必須ではない。
【００６２】
従って、ＭＰＥＧ１からＭＰＥＧ４へのフォーマット変換を行う際、ＭＰＥＧ１のスライス層を除去してもよく、除去した場所でリシンクマーカを配置してもよい。なお、ＭＰＥＧ４には、ｖｏｐヘッダ（vop header）の次にリシンクマーカを配置してはいけないことになっている。そのため、ＭＰＥＧ１のピクチャの先頭のスライスヘッダ（slice header）と先頭でないスライスヘッダへの処理が異なり、先頭のスライスヘッダを除去する処理のみとなる。
【００６３】
以下に、それぞれの状況における処理について説明する。
【００６４】
先ず、図２４を用いてピクチャの先頭のスライスヘッダを除去する処理について説明する。
【００６５】
図２４の（ａ）は、ＭＰＥＧ１のビットストリームの一部を示し、図２４の（ｂ）は、変換されたＭＰＥＧ４のビットストリームの一部を示している。図２４の（ａ）に示すＭＰＥＧ１のビットストリームでは、ピクチャヘッダ（picture header）の次にスライスヘッダがあり、当該スライスヘッダに量子化係数quantizer_scaleが記述されている。スライスヘッダの次は、マクロブロックの情報が続いている。また、図２４の（ｂ）に示すＭＰＥＧ４のビットストリームでは、ｖｏｐヘッダの次にすぐマクロブロックＭＢの情報が続いており、ｖｏｐヘッダにはvop_quantが記述されている。
【００６６】
ここで、ＭＰＥＧ１のマクロブロックＭＢ１の量子化係数ｑ１が送られている場合において、スライスヘッダに記述されているquantizer_scaleの差が１，−１，２，−２の何れかであれば、ＭＰＥＧ４のvop_quantの値をＭＰＥＧ１のquantizer_scaleの値にする。すなわち、ｑ１−quantizer_scale＝１，−１，２，−２の何れかのときは、vop_quant＝quantizer_scaleとなる。
【００６７】
また、ＭＰＥＧ１のマクロブロックＭＢ１の量子化係数ｑ１が送られている場合において、ＭＰＥＧ１のｑ１とquantizer_scaleの差の絶対値が２以上であるときには、ＭＰＥＧ４のvop_quantがｑ１−１，ｑ１＋１，ｑ１−２，ｑ１＋２の何れかになされる。すなわち、｜q1−quantizer_scal｜＞２のときは、vop_quant＝ｑ１−１，ｑ１＋１，ｑ１−２，ｑ１＋２の何れかとなる。その際、dquant１はそれぞれ１，−１，２，−２になる。
【００６８】
また、ＭＰＥＧ１のマクロブロックＭＢ１の量子化係数ｑ１が送られている場合において、ＭＰＥＧ１のｑ１とquantizer_scaleの差が０であるときには、ＭＰＥＧ４のvop_quantはＭＰＥＧ１のquantizer_scaleと同様な値を取る。すなわち、ｑ１−quantizer_scale＝０のときは、vop_quant＝quantizer_scaleとなる。その際、マクロブロックＭＢ１のmbtypeにあるdquantフラグは０に設定される。
【００６９】
一方、ＭＰＥＧ１のマクロブロックＭＢ１の量子化係数ｑ１が記述されていない場合、ＭＰＥＧ１のマクロブロックＭＢ１の量子化係数ｑ１は、quantizer_scaleと同様な値になるため、ＭＰＥＧ４のvop_quantはquantizer_scale−１、quantizer_scale＋１、quantizer_scale−２、quantizer_scale＋２の何れかになされる。すなわち、vop_quant＝quantizer_scale−１、vop_quant＝quantizer_scale＋１、vop_quant＝quantizer_scale−２、vop_quant＝quantizer_scale＋２の何れかとなされる。
【００７０】
次に、図２５を用いて、ピクチャの先頭以外のスライス層の処理について説明する。
【００７１】
図２５の（ａ）はＭＰＥＧ１のビットストリームの一部を示し、図２５の（ｂ）及び（ｃ）は、変換されたＭＰＥＧ４のビットストリームの一部を示している。図２５の（ａ）に示すように、ＭＰＥＧ１のビットストリームのスライスヘッダはピクチャの先頭ではない。
【００７２】
ピクチャの先頭以外のスライス層については、ＭＰＥＧ４への変換の際に、除去しても良く、また、除去したところでリシンクマーカを配置してもよい。
【００７３】
図２５の（ｂ）に示すＭＰＥＧ４のビットストリームは、ＭＰＥＧ１のビットストリームに存在していたスライスヘッダが除去された例を示している。この図２５の（ｂ）のように、スライスヘッダを除去できる条件は、ＭＰＥＧ１のマクロブロックＭＢ１’の量子化係数ｑ１’とマクロブロックＭＢ６の量子化係数ｑ６の差分が１，−１，２，−２のいずれかの場合である。
【００７４】
また、ＭＰＥＧ１のマクロブロックＭＢ１’の量子化係数ｑ１’とｑ６の差分の絶対値が２以上になった場合は、図２５の（ｃ）に示しているように、スライスヘッダの代わりにリシンクマーカを配置する。
【００７５】
例えば、ＭＰＥＧ１のマクロブロックＭＢ１’の量子化係数ｑ１’が送られている場合において、ＭＰＥＧ１のｑ１’とスライスヘッダに記述されているquantizer_scaleとの差が１，−１，２，−２の何れかであるときには、ＭＰＥＧ４のquant_scaleをＭＰＥＧ１のquantizer_scaleにする。すなわち、ｑ１'−quantizer_scale＝１，−１，２，−２の何れかのときは、quant_scale＝quantizer_scaleとなる。
【００７６】
また、ＭＰＥＧ１のマクロブロックＭＢ１’の量子化係数ｑ１’が送られている場合において、ＭＰＥＧ１のｑ１’とquantizer_scaleの差分の絶対値が２以上になったときには、ＭＰＥＧ４のquant_scaleがＭＰＥＧ１のｑ１’−１，ｑ１’＋１，ｑ１’−２，ｑ１’＋２の何れかになされる。その際、ＭＰＥＧ４のdquant１’はそれぞれ１，−１，２，−２になる。すなわち、｜ｑ１'−quantizer_scal｜＞２のときは、quant_scale＝ｑ１’−１，ｑ１’＋１，ｑ１’−２，ｑ１’＋２の何れかとなる。
【００７７】
また、ＭＰＥＧ１のマクロブロックＭＢ１’の量子化係数ｑ１’が送られている場合において、ＭＰＥＧ１のｑ１’とquantizer_scaleの差が０であるときには、ＭＰＥＧ４のquant_scaleはＭＰＥＧ１のquantizer_scaleと同様な値を取る。すなわち、ｑ１’−quantizer_scale＝０のときは、quant_scale＝quantizer_scaleとなる。その際、マクロブロックＭＢ１’のmbtypeにあるdquantフラグは０に設定される。
【００７８】
一方、ＭＰＥＧ１のマクロブロックＭＢ１’の量子化係数ｑ１’が記述されていない場合、ＭＰＥＧ４のquant_scaleはquantizer_scale−１、quantizer_scale＋１、quantizer_scale−２、quantizer_scale＋２の何れかになされる。すなわち、quant_scale＝quantizer_scale−１、vop_quant＝quantizer_scale＋１、vop_quant＝quantizer_scale−２、vop_quant＝quantizer_scale＋２の何れかとなされる。
【００７９】
図３〜図９の説明に戻り、レジスタ２１（Ｂ）に入力したmacroblock_typeはＭＰＥＧ１ＶＬＣデコーダ１３１によりデコードされ、さらにＭＰＥＧ４ＶＬＣエンコーダ１３２によりエンコードされ、図２６に示すように、ＭＰＥＧ４のパラメータmbtypeに変換される。
【００８０】
また、レジスタ２７（Ｃ）に入力したcoded_block_patternは、マクロブロックの４つの輝度ブロックと２つの色差ブロックの６個のブロックのpattern_codeを決めている。pattern_codeは１であればブロックはcoded、０であればブロックはnot_codedである。図２７に示すように、pattern_code[0〜3]は４つの輝度ブロック、pattern[4，5]は２つの色差ブロックのcoded，not‐codedの情報を示している。求められたdquantとmbtype及びcoded_block_pattemにより、ＭＰＥＧ４のmcbpcが決められる。また、cbpyはcoded_block_patternにより決まる。なお、ＭＰＥＧ１のスキップマクロブロックは、ＭＰＥＧ４のnot_codedのフラグが１の時に相当する。最後に、求められたcbpyとmcbpcは、ＭＰＥＧ４ＶＬＣエンコーダ１３５で符号化される。
【００８１】
レジスタ２３（Ｃ），２４（Ｃ），２５（Ｃ），２６（Ｃ）には、図２８に示すように、motion_horizontal_forward_code，motion_horizontal_forward_r，motion_vertical_forward_code，motion_vertical_forward_rのパラメータが入力する。これらパラメータにより、ＭＰＥＧ１とＭＰＥＧ４の動きベクトルの予測誤差を符号化する際、用いる動きベクトルＭＶの予測値が異なる。
【００８２】
図２９を用いて、ＭＰＥＧ１とＭＰＥＧ４の動きベクトルＭＶの予測方法を説明する。
【００８３】
図２９の（ａ）は、ＭＰＥＧ１のマクロブロックＭＢの動きベクトルＭＶを予測する際、予測値は、直前のマクロブロックＭＢ１の動きベクトルＭＶ１を用いることを示している。
【００８４】
図２９の（ｂ）は、ＭＰＥＧ４のマクロブロックＭＢの動きベクトルＭＶを予測する際、用いる予測値を示している。画像符号化フォーマット変換する際、ＭＰＥＧ４には、４つの８画素×８画素のブロックの動きベクトルＭＶ8X8を用いると、処理が煩雑になる。そのため、８画素×８画素のブロックの動きベクトルＭＶ8X8による動き補償は行わないで、一つのマクロブロックに対して１６画素×１６画素のマクロブロックの動きベクトルＭＶ16X16を用いる。図２９の（ｂ）には、ラインline ｎとラインline ｎ＋１の２ラインのマクロブロックが格納されている。対象となるマクロブロックは、ラインline ｎ＋１にある。予測値は、近傍のマクロブロックＭＢ１の動きベクトルＭＶ１、マクロブロックＭＢ２の動きベクトルＭＶ２、マクロブロックＭＢ３の動きベクトルＭＶ３を用いる。マクロブロックＭＢの動きベクトルＭＶの予測値は、同じラインの左にあるマクロブロックＭＢ１の動きベクトルＭＶ１、ラインをまたがって上のラインにあるマクロブロックＭＢ２の動きベクトルＭＶ２と、右上のマクロブロックＭＢ３の動きベクトルＭＶ３の中間値となる。
【００８５】
従って、レジスタ２３〜２６に入力したＭＰＥＧ１のパラメータは、先ずＭＰＥＧ１のＶＬＣデコーダ１３３により復号化され、ＭＰＥＧ１の動きベクトルＭＶの予測値と差分により動きベクトルＭＶの値が復号される。復号された動きベクトルＭＶは、ＭＰＥＧ４の予測方法に従って予測値が選択し、予測誤差を求め、ＭＰＥＧ４ＶＬＣエンコーダ１３５によりエンコードすることが必要である。
【００８６】
レジスタ２８（Ｃ），２９（Ｃ），３０（Ｃ），３１（Ｃ）には、図３０に示すように、dct_dc_size_luminance，dct_dc_differential，dct_dc_size_chrominance，dct_dc_differentialのパラメータが入力する。これらパラメータにより、イントラマクロブロックのＤＣ係数の予測誤差を求める際に用いるＤＣ係数の予測値は、ＭＰＥＧ１とＭＰＥＧ４とで異なる。図３１を用いて、ＭＰＥＧ１とＭＰＥＧ４のイントラマクロブロックのＤＣ係数の予測方法を説明する。
【００８７】
図３１の（ａ）は、ＭＰＥＧ１のＤＣ係数の予測を表している。図中の太い枠で囲まれていたマクロブロアクは、さらに細い点線で２４のブロックに区切られる。ブロックは符号化される順で、１，２，３，４のように番号がつけられている。ブロックの左上にある斜線で示した小さいブロックは、ＤＣ係数を意味する。矢印は予測の方向を示している。矢印の始点にあるＤＣ係数は、矢印の終点にあるＤＣ係数の予測値である。なお、ＤＣ係数の予測を行うのはイントラマクロブロックのみである。ＤＣ予測値は、スライス先頭および、非イントラマクロブロックのとき１０２４にリセットされる。ここでは、輝度のイントラマクロブロックのＤＣ係数の予測方法を例として挙げるが、色差のイントラマクロブロックのＤＣ係数に対しても同様の処理を行う。
【００８８】
先ず、dct_dc_size_luminance及びdct_dc_differentialと、dct_dc_size_chrominance及びdct_dc_differentialを、ＭＰＥＧ１ＶＬＣデコーダ１３３で復号し、予測誤差をmp1_Δnとし、ＤＣ係数をmp_dcnにする。なお、ｎはブロックの番号を示している。また、ＭＰＥＧ１ＶＬＣデコード１３３でデコードされた量子化係数をmp1_qnにすると、ブロック１のＤＣ予測誤差がmp1_Δ1，ＤＣ係数がmp1_dc1，量子化係数がmp1_q1となる。以下同様に、ブロック２のＤＣ予測誤差がmp1_Δ2，ＤＣ係数がmp1_dc2、量子化係数がmp1_q2となるようにし、ブロックｎのＤＣ予測誤差がmp1_Δn、ＤＣ係数がmp1_dcn、量子化係数がmp1_qnとなるようにする。各ブロックのＤＣ係数mp1_dcnは、以下の式によりＤＣ係数に復号される。
【００８９】
ブロック１：mp_dc1＝1024 ＋ mp1_Δ1 * mp1_q1 (1)
ブロック２：mp_dc2＝mp1_dc1 ＋ mp1_Δ2 * mp1_q2 (2)
ブロック３：mp_dc3＝mp1_dc2 ＋ mp1_Δ3 * mp1_q3 (3)
ブロック４：mp_dc4＝mp1_dc3 ＋ mp1_Δ4 * mp1_q4 (4)
・
・
また、ブロック１３からは、再び予測値が１０２４になる。したがって、以下の式によりＤＣ係数に復号される。
【００９０】
ブロック１３：mp_dc13＝1024 ＋ mp1_Δ13 * mp1_q13 (5)
ブロック１４：mp_dc14＝mp1_dc13 ＋ mp1_Δ14 * mp1_q14 (6)
・
・
ブロックｎ：mp_dcn＝mp1_dc(n-1) ＋ mp1_Δn * mp1_qn (7)
このように、ＭＰＥＧ１のブロックのＤＣ係数は、逆量子化されＤＣ係数の予測誤差と、前のプロックの復号されたＤＣ係数との和になる。
【００９１】
次に、図３１の（ｂ）は、ＭＰＥＧ４のシンタックスで定められている予測方法を示している。
【００９２】
ここで、ブロックＡ，Ｂ，Ｘ，Ｙ，Ｚ，Ｗは同じラインに格納されているが、ブロックＣ，Ｄ，Ｅは上のラインにあるブロックである。例えば、ブロックＸのＤＣ係数を求める際、隣接するブロックＢと上のラインにあるブロックＣ、ＤのＤＣ係数を比較することにより、ブロックＢあるいはブロックＤを予測に用いることが決まる。
【００９３】
Ｆ[0][0]をＤＣ係数にするとすると、ブロックＸのＤＣ係数の予測値を求める際には、｜ＦB[0][0] − ＦC[0][0]｜＜｜ＦC[0][0] − ＦD[0][0]|のときブロックＤを予測に用い、そうでない場合はブロックＢを予測に用いる。
【００９４】
また、ブロックＹのＤＣ係数の予測値を求める際には、｜ＦX[0][0] − ＦD[0][0]｜＜｜ＦD[0][0] − ＦE[0][0]|のときブロックＥを予測に用い、そうでない場合はブロックＸを予測に用いる。
【００９５】
ブロックＺのＤＣ係数の予測値を求める際には、｜ＦA[0][0] − ＦB[0][0]｜＜｜ＦB[0][0] − ＦX[0][0]|のときブロックＸを予測に用い、そうでない場合はブロックＡを予測に用いる。
【００９６】
ブロックＷのＤＣ係数の予測値を求める際には、｜ＦZ[0][0] − ＦX[0][0]｜＜｜ＦX[0][0] − ＦY[0][0]|のときブロックＹを予測に用い、そうでない場合はブロックＺを予測に用いる。
【００９７】
上述したように、ＭＰＥＧ４は、隣接するブロックのＤＣ係数の比較により予測値が決まる。各ブロックのdct_dc_size_luminance及びdct_dc_differentialと、dct_dc_size_chrominance及びdct_dc_differentialは、ＭＰＥＧ１ＶＬＣデコーダ１３３で復号され、さらにレジスタ５，６に入力された量子化マトリクスおよびレジスタ１９，２２に入力された量子化スケールを用いて、式（１）〜（７）に従って、ＭＰＥＧ１のＤＣ係数に復号される。復号されたＤＣ係数は、ＭＰＥＧ４の予測値を求める方法に従って、ＤＣ係数の予測値が決定され、ＤＣ係数め予測誤差が求められる。ＤＣ係数の予測誤差は、ＭＰＥＧ４ＶＬＣエンコーダ１３５によりエンコードされる。
【００９８】
レジスタ３２（Ｃ）、３３（Ｃ）には、dct_coef_first、dct_coef_nextのパラメータが入力する。イントラＡＣ係数及びインターのＤＣＴ係数の量子化方法は、ＭＰＥＧ１とＭＰＥＧ４のシンプルプロファイルとで異なる。ＭＰＥＧ１は、スライスヘッダとマクロブロック毎に設定可能なquantizer_scale及びシーケンス毎に設定するintra_quant_matrix, non_intra_quant_matrixによって、ＤＣＴ係数の量子化を行っている。イントラＡＣ係数の逆量子化は、式（８）に示すようになされる。
【００９９】
dct_recon[m][n]=(2*dct_zz[i]*quantizer_scale*intra_quant[m][n]/16 (8)
インターのＤＣＴ係数の逆量子化は式（９）に示すようになされる。
【０１００】
dct_recon[m][n]=(((2*dct_zz[i])+sign(dct_zz[i]))
*quantizer_scale*non_intra_quant[m][n]/16 (9)
ＭＰＥＧ４では、ＶＯＰ毎に設定するvop_quantとマクロブロック間の量子化スケールの差分dquantから求められたマクロブロック毎のquantizer_scaleによって量子化を行っている。式（１０）、式（１１）は、ＭＰＥＧ４のイントラＡＣ係数及びインターＤＣ係数逆量子化方式である。
【０１０１】
dct_zz[i]が偶数の場合、
dct_recom[m][n]=(2*dct_zz[i]+sign(dct_zz[i]))*quantize_scale (10)
dct_zz[i]が奇数の場合、
dct_recom[m][n]=(2*dct_zz[i]+sign(dct_zz[i]))
*quantize_scale−sign(dct_zz[i]) (11)
なお、dct_recon[m][n]は、復元されたＤＣＴ係数であり、dct_zz[i]はジグザグスキャンした２次元係数を１次元にした値である。
【０１０２】
従って、量子化ＤＣＴ係数の変換をするには、dct_coef_firstとdct_coef_nextをＭＰＥＧ１ＶＬＣデコーダ１３３よりdct_zz[i]に復号し、逆量子化によりdct_recon[m][n]に復号する。復号されたdct_recom[m][n]をＭＰＥＧ４のdct_zz[i]を符号化する際、用いる可変長符号化方法が異なる。ＭＰＥＧ１は、２次元のラン、レベルペアを用いるが、ＭＰＥＧ４は、３次元のラン（run)、レベル（level）、ラスト（last）ペアを用いる。その関係は、図３２のようになっている。
【０１０３】
その後、求められたラスト、ラン、レベルペアは、ＭＰＥＧ４ＶＬＣエンコーダ１３５によりエンコードされる。
【０１０４】
レジスタ３４（Ｂ）、３５（Ｂ）には、macroblock_escape、macroblock_address_incrementのパラメータが入力する。macroblock_address_incrementは３３以上になった時、macroblock_escapeを用いる。macroblock_escapeの値は３３である。スキップマクロブロックの数は、macroblock_escape * n + macroblock_address_incrementになる。なお、ｎはmacroblock_escapeが表れた回数を意味する。
【０１０５】
レジスタ３６（Ａ）、３７（Ａ）、３８（Ａ）、３９（Ａ）、４０（Ａ）、４１（Ａ）、４２（Ａ）には、macroblock_type、quantizer_scale(M)、motion_horizontan_forward_code、motion_horizontal_forward_r、motion_vertical_forward_code、motion_vertical_forward_r、coded_block_patternの各パラメータが入力する。これらパラメータについては、先頭のマクロブロックのパラメータ変換と同様な処理がなされる。
【０１０６】
以上の４２個のレジスタにＭＰＥＧ１のパラメータを入力し、そこでＭＰＥＧ４のパラメータが生成される。なお、それ以外では、ＭＰＥＧ４のリシンクマーカのパケットヘッダ（pocket header）にマクロブロックナンバー（macroblock number）を設定するフラグがあるため、マクロブロックのナンバーをカウントするカウンタを格納するバッファも必要である。
【０１０７】
次に、本発明の第２の実施の形態について説明する。
【０１０８】
第２の実施の形態の構成は、前記第１の実施の形態の構成と同様であるが、画像符号化フォーマット変換器の一部の動作が異なる。
【０１０９】
前述の図２９、図３１と同様に表す図３３と図３４を用いてその動作を説明する。
【０１１０】
第２の実施の形態の場合の画像符号化フォーマット変換器内では、ＭＰＥＧ４のビットストリームを構成する際に、各行の先頭にリシンクマーカを配置するという動作を加える。
【０１１１】
第１の実施の形態に説明したように、リシンクマーカは、本来、ＭＰＥＧ４復号時エラー伝播を阻止するための同期語で、正しく復号できる開始点を示している。リシンクマーカの次にヘッダ情報の一部が記述されているため、その情報を用いて正しく復号化できる。例えば、行の先頭にリシンクマーカを配置すると、その行に格納されているマクロブロックデータは他の行のマクロブロック情報を参照することなく、独立して符号化される。したがって、動きベクトルの予測及びイントラマクロブロックのＤＣ係数の予測は、行にまたがったマクロブロックを参照することがなくなり、変換の処理両が少なくなる。
【０１１２】
図３３を用いて、リシンクマーカを配置した後の動きベクトルの変換について説明する。
【０１１３】
図３３の（ａ）は、ＭＰＥＧ１の動きベクトルの予測方法を示している。マクロブロックＭＢの動きベクトルＭＶの予測値は、図の左側のマクロブロックＭＢ１の動きベクトルＭＶ１である。
【０１１４】
図３３の（ｂ）は、行の先頭にリシンクマーカを配置した場合、ＭＰＥＧ４の動きベクトルＭＶの予測方法を示している。図２９の（ｂ）と異なるのは、上のラインをまたがったマクロブロックＭＢの動きベクトルＭＶを参照することがなくなったことである。そのため、常に左側にあるマクロブロックＭＢ１の動きベクトルＭＶが予測値となり、ＭＰＥＧ１と同様な予測方法になっている。
【０１１５】
従って、この第２の実施の形態の場合のレジスタ２４、２５、２６および２７に入力したＭＰＥＧ１のパラメータは、ＭＰＥＧ１のＶＬＣデコーダを通してデコードされた後、パラメータ変換せずに、ＭＰＥＧ４のＶＬＣエンコーダでＭＰＥＧ４で用いるパラメータに変換される。
【０１１６】
それ以外のリシンクマーカを配置した際、動きベクトルＭＶへの処理は以下のようになる。
【０１１７】
先ず、ＭＰＥＧ１のピクチャ層の先頭以外のスライス層を変換処理した場合、スライスヘッダの先頭のマクロブロックＭＢは動きベクトル予測誤差が０で、動きベクトル係数を用いる。リシンクマーカの先頭のマクロブロックＭＢも動きベクトル予測誤差が０で、動きベクトル係数を用いる。従って、スライスヘッダに相当するリシンクマーカを配置した場合、ＭＰＥＧ１とＭＰＥＧ４は一致する。しかし、リシンクマーカを配置しない場合は、先頭のマクロブロックＭＢの動きベクトルＭＶは動きベクトル係数の代わりに、予測誤差で符号化することになる。そのため、前のマクロブロックＭＢの動きベクトルＭＶとの差を求めるこどができるように、動きベクトル係数に復号する必要がある。
【０１１８】
一方、連続した２つのマクロブロックＭＢのquantizer_scaleの差分が２以上になった場合において、リシンクマーカが配置された場合は、ＭＰＥＧ１では、動きベクトルＭＶの予測誤差が符号化されているが、ＭＰＥＧ４では、リシンクマーカが配置された後、動きベクトル係数を符号化することになる。そのため、リシンクマーカ直後のマクロブロックＭＢの動きベクトル係数を求めるには、そのマクロブロックＭＢの前にあるマクロブロックＭＢの動きベクトル係数を復号する必要がある。
【０１１９】
それ以外のマクロブロックＭＢの動きベクトルＭＶは、ＭＰＥＧ１とＭＰＥＧ４とも、動きベクトル予測誤差を用いるため、変換する必要がない。
【０１２０】
図３４を用いて、イントラマクロブロックのＤＣ係数の変換について説明する。
【０１２１】
図３４の（ａ）は、ＭＰＥＧ１でのイントラマクロブロックのＤＣ係数の予測方法を示している。
【０１２２】
図３４の（ｂ）は、リシンクマーカを配置した後、ＭＰＥＧ４のＤＣ係数の予測方法を示している。
【０１２３】
この図３４から判るように、またがったラインのマクロブロックＭＢを参照しないため、ライン内のブロックのＤＣ係数のみを予測値として用いる。ここで、ＭＰＥＧ１のＤＣ係数はすでに逆量子化され、ＤＣ係数に復号されているとする。第１の実施の形態と同様に、図３４の（ｂ）のＭＰＥＧ４のブロック１のＤＣ予測誤差をmp4_Δ1、ＤＣ係数をmp4_dc1、量子化係数をmp_q1、ブロック２のＤＣ予測誤差をmp4_Δ2、ＤＣ係数をmp4_dc2のように、量子化係数をmp4_q2、ブロックｎのＤＣ予測誤差をmp4_Δn、ＤＣ係数をmp4_dcn、量子化係数をmp4_qnとすると、各ブロックのＤＣ係数mp4_dcnおよびＤＣ予測誤差mp4_Δnは、以下の式により求められる。
【０１２４】
ブロック１：mp4_dc1＝１０２４＋mp4_Δ1*mp4_q1 (12)
ここで、同じブロックのＤＣ係数が同じ値であると仮定すると、式（１３）で表すことができる。
【０１２５】
mp4_dc1＝mp1_dc1 (13)
この式（１３）を式（１２）に代入すると、式（１４）のようになる。
【０１２６】
mp1_dc1＝１０２４＋mp4_Δ1*mp4_q1 (14)
従って、mp4_Δ1は次式（１５）のようになる。
【０１２７】
mp4_Δ1＝(mp1_dc1−1024)/mp4_q1 (15)
式（１５）のmp4_Δ1が整数なので、実際のmp4_Δ1は、式（１６）のようになる。
【０１２８】
mp4_Δ1'＝[mp4_Δ1]＝[(mp1_dc1−1024)/mp4_q1] (16)
なお、式（１６）の[]は整数化することを意味する。
【０１２９】
量子化誤差を考慮すると、実際ＭＰＥＧ４デコーダで逆量子化されるブロック１のＤＣ係数mp4_dc1は、式（１７）のようになる。
【０１３０】
mp4_dc1＝１０２４＋[mp4_Δ1]*mp4_q1 (17)
また、ブロック２は、上側にブロックがないため、左側にあるブロック１のＤＣ係数を予測値とする（mp4_dc2＝mp4_dc1＋mp4_Δ２*mp4_q2）と同様に、mp4_dc2＝mp1_dc2と仮定すると、式（１８）で表される。
【０１３１】
mp4_Δ2'＝[mp4_Δ2]＝[(mp1_dc2−mp4_dc1)/mp4_q2] (18)
実際、ＭＰＥＧ４デコーダで量子化されたブロック１のＤＣ係数は、式（１９）のようになる。
【０１３２】
mp4_dc2＝mp4_dc1＋[mp4_Δ2]*mp4_q2 (19)
次に、ブロック３は、左側にブロックがないため、上側にあるブロック１のＤＣ成分を予測値とし、上述同様にして式（２０）で表される。
【０１３３】
mp4_Δ3'＝[mp4_Δ3]＝[(mp1_dc3−mp4_dc1)/mp4_q3] (20)
実際ＭＰＥＧ４デコーダで量子化されたブロック１のＤＣ係数は、式（２１）のようになる。
【０１３４】
mp4_dc3＝mp4_dc1＋[mp4_Δ3]*mp4_q3 (21)
ブロック４は、近傍のブロック１，２，３のＤＣ係数を比較することによって、ＤＣ係数の予測値が決まる。この時点では、ブロック１，２，３のＤＣ係数がすでに計算されているため、｜mp4_dc3−mp4_dc1｜＜|mp4_dc2−mp4_dc1｜のとき、ブロック２を予測に用いる。
【０１３５】
同様に、式（２２）と式（２３）の計算を行う。
【０１３６】
mp4_Δ4'＝[mp_Δ4]＝[(mp1_dc4−mp4_dc2)/mp4_q4] (22)
mp4_dc4＝mp4_dc2＋[mp4_Δ4]*mp4_q4 (23)
そうでなければ、式（２４）、式（２５）のように、ブロック３のＤＣ係数を予測値として用いる。
【０１３７】
mp4_Δ4’＝[mp_Δ4]＝[(mp1_dc4−mp4_dc3)/mp4_q4] (24)
mp4_dc4＝mp4_dc3＋[mp4_Δ4]*mp4_q4 (25)
ブロック１３は、再びブロック１と同様に、予測値を１０２４として計算し、ブロック１４，１５，１６はそれぞれ、ブロック２，３，４と同様な計算をする。ブロック１７，１８，２１，２２はそれぞれ前のブロックのＤＣ係数を予測値とする。ブロック１９，２０，２３，２４のみは、それぞれ前と上のブロックのいずれのＤＣ係数を予測値として用いる。すなわち、本実施の形態では、すべてのイントラマクロブロックのブロックに対し、近傍のブロックのＤＣ係数を比較することがなくなり、一部のイントラマクロブロックのブロックに対し、近傍のブロックのＤＣ係数を比較し、予測値を決めることとなる。そのため、変換処理が軽くなる。
【０１３８】
なお、色差のイントラマクロブロックのＤＣ係数の予測は、１つのマクロブロックＭＢに対して、１つの色差ブロックのみがラインに格納されている。そのため、輝度のイントラのＤＣ係数との予測方法が異なり、前の色差ブロックのＤＣ係数を予測値として用いる。すなわち、行の先頭にリシンクマーカを配置した場合、ＭＰＥＧ４のイントラマクロブロックの色差のＤＣ係数の予測方法と、ＭＰＥＧ１とが一致する。
【０１３９】
上述した計算で求めたmp4_Δnは、ＭＰＥＧ４のＶＬＣエンコーダにより、dct_dc_size_luminance及びdct_dc_differentialと、dct_dc_size_chrominance及びdct_dc_size_differentialになされる。
【０１４０】
以上のイントラのＤＣ係数は、量子化誤差を考慮して計算されているため、値は正確に求められるが、処理量が大きい。そこで、量子化誤差を考慮せず、ＭＰＥＧ１とＭＰＥＧ４のＤＣ係数が同様な値にすると仮定して、量子化ＤＣ係数を求めると、処理量がさらに少なくなる。
【０１４１】
図３４の（ｂ）と同様な予測方法である。
【０１４２】
ＭＰＥＧ１のＤＣ係数の各量子化係数はmp1_q1＝mp1_q2＝・・・＝mp1_qn＝８である。
【０１４３】
ブロック１はＭＰＥＧ１とＭＰＥＧ４ともに同様な予測値を用いる。例えば、ＭＰＥＧ１ではmp1_dc1＝１０２４＋mp1_Δ１、ＭＰＥＧ４ではmp4_dc1＝１０２４＋mp4_Δ１、mp1_dc1＝mp4_dc1と仮定すると、式（２６）のようになる。
【０１４４】
mp4_Δ1＝mp1_Δ1 (26)
また、ブロック２もＭＰＥＧ１とＭＰＥＧ４が同様な予測値を用いる。例えば、ＭＰＥＧ１ではmp1_dc2＝mp1_dc1＋mp1_Δ2*mp1_q2、ＭＰＥＧ４ではmp4_dc2＝mp4_dc1＋mp4_Δ2*mp4_q2、mp1_dc2＝mp4_dc2と仮定すると、式（２７）のようになる。
【０１４５】
mp4_Δ2＝mp1_Δ1*mp1_q2/mp4_q2＝mp1_Δ1*8/mp2_q2 (27)
ブロック３の場合、ＭＰＥＧ１ではブロック２のＤＣ係数を予測値として用いるが、ＭＰＥＧ４ではブロック１のＤＣ係数を予測値として用いる。例えば、ＭＰＥＧ１ではmp1_dc3＝mp1_dc2＋mp1_Δ3*mp1_q3、ＭＰＥＧ４ではmp4_dc3＝mp4_dc1＋mp4_Δ3*mp4_q3、mp1_dc3＝mp4_dc3と仮定すると、式（２８）のようになる。
【０１４６】
mp4_Δ3＝(mp1_dc2−mp4_dc1＋mp1_Δ3*mp1_q3)/mp4_q3
＝(mp1_dc2−mp1_dc1＋mp1_Δ3*mp1_q3)/mp4_q3
＝(mp1_Δ2*mp1_q2＋mp1_Δ3*mp1_q3)/mp4_q3
＝(mp1_Δ2＋mp1_Δ3)*8/mp4_q3 (28)
ブロック４の場合、ＭＰＥＧ４では近傍のブロック１，２，３のＤＣ係数を比較することによって、ＤＣ係数の予測値が決まる。例えば、ＭＰＥＧ１ではmp1_dc4＝mp1_dc3＋mp1_Δ4*mp1_q4、ＭＰＥＧ４では｜mp4_dc3−mp4_dc1｜＜｜mp4_dc2−mp4_dc1｜であれば、ブロック２を予測に用いる。すなわち以下のようになる。
【０１４７】
｜mp1_dc3−mp1_dc1｜＜｜mp1_dc2−mp1_dc1｜
｜mp1_dc3−mp1_dc2＋mp1_dc2−mp1_dc1｜＜｜mp1_dc2−mp1_dc1｜
｜mp1_Δ3＋mp1_Δ2｜＜｜mp1_Δ2｜
mp1_Δ2＞０，mp1_Δ3＜０、若しくは、mp1_Δ2＜０，mp1_Δ3＞０つまり、mp1_Δ2*mp1_Δ3＜０であれば、ブロック２のＤＣ係数を予測値とする。
【０１４８】
また、mp4_dc4＝mp4_dc2＋mp4_Δ4*mp4_q4、mp4_dc4＝mp1_dc4と仮定すると、同様に式（２９）になる。
【０１４９】
mp4_Δ4＝(mp1_Δ3＋mp1_Δ4)*8/mp4_q4 (29)
逆に、mp1_Δ2*mp1_Δ3＞＝０であれば、ブロック３のＤＣ係数を予測値とする。
【０１５０】
mp4_dc4＝mp4_dc3＋mp4_Δ4*mp4_q4
同様に式（３０）になる。
【０１５１】
mp4_Δ4＝mp1_Δ4*8/mp4_q4 (30)
なお、mp1_Δ2*mp_Δ3の符号は、mp1_Δ2とmp_Δ3の可変長符号によって求めることができる。ＭＰＥＧ１では、mp1_Δ2又はmp1_Δ3が正数であれば、１番最後のビットは０となる。逆に、負数であれば１となる。従って、最後のピットの論理積を取ることによって、mp1_Δ2*mp1_Δ3の符号がわかる。すなわち、近傍のブロックのＤＣ係数に復号せずに、可変符号のままで比較し、予測値を決めることができる。
【０１５２】
ブロック１３からの計算もブロック１〜４までと同様にできる。
【０１５３】
また、ＭＰＥＧ４のＤＣ係数の量子化係数mp4_qnは、ＡＣ係数の量子化係数によって、以下のような処理が行われている。なお、図３５に示すように、ＡＣ係数の量子化係数quantizer_scaleが１〜４の場合は、ＭＰＥＧ４のＤＣ係数の量子化係数はＭＰＥＧ１と同様に８になる。
【０１５４】
式（２６）〜式（２９）に示したmp4_qnを用いた８/mp4_qnは、論理回路で簡単に演算できるように、図３６に示しているような近似式により求める。なお、図３６には、ＡＣ係数の量子化係数が５〜８の値を例にしているが、他の値に対しても同様な近似式が求められる。
【０１５５】
従って、ＭＰＥＧ４の量子化ＤＣ係数は、すべてＭＰＥＧ１の量子化ＤＣ係数より求めることができる。また、予測を求める際、近傍のプロックのＤＣ係数の比較もＭＰＥＧ１の量子化ＤＣ係数の可変符号を用いて行うことができる。そのため、ＭＰＥＧ１の量子化ＤＣ係数をＭＰＥＧ１で逆量子化し、ＤＣ係数の復号を行ってからＭＰＥＧ４で量子化することがなくなり、処理が少なくなる。
【０１５６】
次に、本発明の第３の実施の形態について説明する。
【０１５７】
本発明の第３の実施の形態の構成は、基本的には図１に示した第１の実施の形態の構成と同様であるが、第３の実施の形態の場合のＭＰＥＧ１画像符号化器１２０では、ＭＰＥＧ１のパラメータであるウェイティングマトリクス（weightinb matrix）を１６に固定する。その結果、ＭＰＥＧ４のシンプルプロファイルに用いる量子化方法はＭＰＥＧ１と一致し、ＭＰＥＧ１の逆量子化を行った後、ＭＰＥＧ４の量子化をする必要がなくなり、処理が軽くなる。
【０１５８】
すなわち、ＭＰＥＧ１には、シーケンスにintra_quantizer_matrixとnon_intra_quantizer_matrixのような量子化マトリクスがあるが、ＭＰＥＧ４のシンプルプロファイルにはない。図１に示した第１の実施の形態のフォーマット変換では、量子化ＤＣＴ係数をＭＰＥＧ１で逆量子化してＤＣＴ係数に復元し、それをＭＰＥＧ４で量子化をする必要があるため、計算量が大きい。これに対して、第３の実施の形態では、計算量を減らすため、入力された画像信号をＭＰＥＧ１画像符号化器１２０により符号化する際に、ＭＰＥＧ１のパラメータであるintra_quantizer_matrixの６４個の値をすべて１６に設定する。そうすることによって、ＭＰＥＧ１の逆量子化方式とＭＰＥＧ４の逆量子化方式が一致し、ＭＰＥＧ４の量子化ＤＣＴを求める際に、ＭＰＥＧ１の逆量子化をしてからＭＰＥＧ４の量子化する必要がなくなる。なお、この第３の実施の形態の場合、ＭＰＥＧ１の量子化パラメータであるintra_quantizer_matrix，non_intra_quantizer_matrixはレジスタ５，６に入力せず、除去する。
【０１５９】
次に、本発明の第４の実施の形態について説明する。
【０１６０】
本発明の第４の実施の形態の構成は、基本的には図１に示した第１の実施の形態の構成と同様であるが、第４の実施の形態の場合のＭＰＥＧ１画像符号化器１２０では、輝度の動きベクトルへの処理が加わる。すなわち、輝度の動きベクトルＭＶとして例えば１，５，９，・・・のような４で割って余りが１となる値が検出された場合、１を減らした値を符号化時に用いる輝度の動きベクトルＭＶにする。つまり、クロマの動きベクトルの求め方はＭＰＥＧ１とＭＰＥＧ４が異なるため、動き補償する際に、ドリフト誤差が生じ、画質が劣化するので、ＭＰＥＧ４のクロマの動きベクトルをＭＰＥＧ１のクロマの動きベクトルに一致させることにより、画質を向上させている。
【０１６１】
より具体的に説明すると、輝度の動きベクトルＭＶに対して、クロマの動きベクトルは、ＭＰＥＧ１では輝度の動きベクトルＭＶの二分の一になっているが、ＭＰＥＧ４ではＭＰＥＧ４のシンタックスに従った求め方がある。例えば、図３７の（ａ）は、輝度の動きベクトルＭＶが０，１，２，３，・・・のようになっているときのＭＰＥＧ１とＭＰＥＧ４のクロマの動きベクトルＭＶを示しており、図中円で囲まれた数字で表される動きベクトルの場合、一つの輝度の動きベクトルＭＶに対して、ＭＰＥＧ１とＭＰＥＧ４のクロマの動きベクトルＭＶが異なる。それ以外は、ＭＰＥＧ１とＭＰＥＧ４のクロマの動きベクトルＭＶが常に一致している。このように、クロマの動きベクトルＭＶが異なると、動き補償を行う際に、クロマの値が少しずれてしまう。この場合、イントラＶＯＰがリセットされない限りは、クロマの誤差が蓄積して、画像の色が部分的に緑になる。そういう劣化を防ぐために、輝度の動きベクトルＭＶの図中円で囲まれた数字で表される値１，５，９から１を引いた値を輝度の動きベクトルＭＶとして用いて、動き補償を行う。その結果、図３７の（ｂ）に示しているように、一つの輝度の動きベクトルＭＶに対して、ＭＰＥＧ１とＭＰＥＧ４のクロマの輝度が一致する。すなわち、入力された画像をＭＰＥＧ１画像符号化器１２０で符号化する際に、検出された輝度のＭＶが１，５，９，・・・である場合、それらから１を引いた値を輝度の動きベクトルＭＶとして用いて、動き補償を行う。もしくは、ＭＰＥＧ１画像符号化器１２０では、検出された輝度の動きベクトルＭＶが１である場合、動きベクトルを０、すなわち動き補償無しのモード（ｎｏ ＭＣモード）になるような処理方法も同様の効果が得られ、さらに画像符号化ビットストリームの発生するビット量を少なくできるという利点を持つ。
【０１６２】
次に、本発明の第５の実施の形態について説明する。
【０１６３】
本発明の第５の実施の形態の構成は、基本的には図１に示した第１の実施の形態の構成と同様であるが、第５の実施の形態の場合、イントラＡＣ係数に対するＭＰＥＧ１の逆量子化方法とＭＰＥＧ４の逆量子化方法とが異なる。すなわち、図３８に示すように、ＭＰＥＧ１と同様の量子化係数を用いて、ＭＰＥＧ４で逆量子化すると、ＭＰＥＧ１と異なった値になる。そこで、第５の実施の形態では、量子化ＤＣＴ係数が、ある範囲に集中しているという性質を利用し、画像符号化フォーマット変換装置１２３において、ＭＰＥＧ１の量子化係数からＭＰＥＧ４の量子化係数を求める。例えば、大部分のＤＣＴ係数が０，１，２，・・・に集中しているとした場合、第５の実施の形態の画像符号化フォーマット変換装置１２３では、その部分の逆量子化値を一致させるため、式（３１）及び（３２）に基づいて、例えばＭＰＥＧ１の量子化係数ｑ＝３０からＭＰＥＧ４の量子化係数ｑ＝２０を求める。或いは、ウェイティングマトリクスを２４に設定しても同様の効果が得られる。
【０１６４】
dct_recon[i]＝2*QF[i]*q_scale*weighting matrix/16 MPEG1 (31)
dct_recon[i]＝(2*QF[i]+sign(QF[i]*q_scale+sign(QF[i]) MPEG4 (32)
より具体的に説明すると、式（３１）及び（３２）に示したように、イントラのＡＣ係数の逆量子化方法は、ＭＰＥＧ１とＭＰＥＧ４とで異なる。また、図３８は、ＭＰＥＧ１で量子化係数をｑ＝３０として符号化した場合のＤＣＴ係数の再構成例を示している。例えば、ＤＣＴ係数が０，１，２，・・・のような値である場合、ＭＰＥＧ１で量子化係数ｑ＝３０で逆量子化がなされた値は、それぞれ０，６０，１２０，・・・となる。また、ＭＰＥＧ４で同じ量子化係数（ｑ＝３０）を用いれば、ＭＰＥＧ４の逆量子化方式に従って求められる値は、０，９０，１５０，２１０，・・・のように、ＭＰＥＧ１の逆量子化方式で求められた値より３０、すなわちｑ（＝３０）の値が多くなる。そのため、量子化係数ｑが増えるにつれて、イントラＶＯＰの劣化が著しくなる。そこで、画質を向上させるには、統計的に、ＤＣＴ係数の集中している部分を検出し、例えばＤＣＴ係数が１近辺に集中しているとすると、ＭＰＥＧ１で逆量子化された値とＭＰＥＧ４で逆量子化された値を一致させるため、式（３１）と式（３２）を用いて計算を行う。これにより、ＭＰＥＧ４の量子化係数ｑは６０／９０*３０（ｑ）＝２０となり、ＭＰＥＧ４での逆量子化による値は、０，６０，１００，・・・となり、ＭＰＥＧ１と同様あるいは近い値となる。なお、それ以外の値は大きく異なってくるが、極めて発生する確率が少ないため、少々劣化しても気にならない程度である。すなわち、当該第５の実施の形態では、ＭＰＥＧ１のＤＣＴ係数が集中している部分を検出し、その部分におけるＭＰＥＧ１とＭＰＥＧ４の逆量子化される値を一致させるため、ＭＰＥＧ４で用いるｑの変換を行う。
【０１６５】
なお、量子化係数ｑの変換を行わないで、ＭＰＥＧ１画像符号化器１２０がウェイティングマトリクスを新たな値に設定しても同様の効果が得られる。その際、式（３１）を用いる代わりに、式（８）を用いて計算すると、ウェイティングマトリクスの値が２４となり、量子化係数ｑを３０から２０に変換した方法と同様の効果が得られる。
【０１６６】
【発明の効果】
以上の説明からも明らかなように、本発明の符号化フォーマット変換装置及び方法においては、第１の符号化方式のパラメータを、そのパラメータの値に応じて第２の符号化方式のパラメータに変換し、当該第２の符号化方式のパラメータを用いて、第１の符号化信号から第２の符号化信号を生成することにより、例えば、ＭＰＥＧ１画像符号化ビットストリームのような第１の符号化信号をＭＰＥＧ４画像符号化ビットストリームのような第２の符号化信号に変換する場合に、信号品質を劣化させずに処理量を低減し、且つ、時間遅延を少なくし、さらに装置構成の大規模化をも防止可能となっている。
【０１６７】
また、本発明の符号化信号生成装置及び方法においては、第１の符号化方式にて使用される第１の量子化方法と第２の符号化方式にて使用される第２の量子化方法とが異なるとき、第１の量子化方法で用いるパラメータに代え、第２の量子化方法で用いるパラメータを第１の符号化方式により符号化された信号に含めて第１の符号化信号を生成することにより、例えば、ＭＰＥＧ１画像符号化ビットストリームのような第１の符号化信号をＭＰＥＧ４画像符号化ビットストリームのような第２の符号化信号に変換する際に、信号品質を劣化させずに処理量を低減し、且つ、時間遅延を少なくし、さらに装置構成の大規模化をも防止可能な、第１の符号化信号を生成できる。
【０１６８】
また、本発明の符号化信号生成装置及び方法においては、第１の符号化信号を生成する際に用いた色差の動きベクトルと上記第２の符号化信号を生成する際に用いた色差の動きベクトルとが異なるとき、第１の符号化信号での色差の動きベクトルと第２の符号化信号での色差の動きベクトルとが等しくなるように、第１の符号化信号の輝度の動きベクトルを第２の符号化信号の輝度の動きベクトルに変換することにより、例えば、ＭＰＥＧ１画像符号化ビットストリームのような第１の符号化信号をＭＰＥＧ４画像符号化ビットストリームのような第２の符号化信号に変換する際に、信号品質を劣化させずに処理量を低減し、且つ、時間遅延を少なくし、さらに装置構成の大規模化をも防止可能な、第１の符号化信号を生成できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態のシステム構成例を示すブロック回路図である。
【図２】画像符号化フォーマット変換装置の詳細な構成を示すブロック回路図である。
【図３】ＭＰＥＧ１パラメータをＭＰＥＧ４パラメータヘ変換する流れ（その１）についての説明に用いる図である。
【図４】ＭＰＥＧ１パラメータをＭＰＥＧ４パラメータヘ変換する流れ（その２）についての説明に用いる図である。
【図５】ＭＰＥＧ１パラメータをＭＰＥＧ４パラメータヘ変換する流れ（その３）についての説明に用いる図である。
【図６】ＭＰＥＧ１パラメータをＭＰＥＧ４パラメータヘ変換する流れ（その４）についての説明に用いる図である。
【図７】ＭＰＥＧ１パラメータをＭＰＥＧ４パラメータヘ変換する流れ（その５）についての説明に用いる図である。
【図８】ＭＰＥＧ１パラメータをＭＰＥＧ４パラメータヘ変換する流れ（その６）についての説明に用いる図である。
【図９】ＭＰＥＧ１パラメータをＭＰＥＧ４パラメータヘ変換する流れ（その７）についての説明に用いる図である。
【図１０】レジスタ１，２に入力するパラメータとその変換の説明に用いる図である。
【図１１】レジスタ３に入力するパラメータとその変換の説明に用いる図である。
【図１２】レジスタ４に入力したパラメータとその変換の説明に用いる図である。
【図１３】レジスタ４に入力したパラメータの関係説明に用いる図である。
【図１４】レジスタ７，８に入力するパラメータとその変換の説明に用いる図である。
【図１５】レジスタ９に入力するパラメータとその変換の説明に用いる図である。
【図１６】レジスタ１０，１１に入力するパラメータとその変換の説明に用いる図である。
【図１７】レジスタ１２，１３に入力するパラメータとその変換の説明に用いる図である。
【図１８】レジスタ１４に入力するパラメータとその変換の説明に用いる図である。
【図１９】レジスタ１５に入力するパラメータとその変換の説明に用いる図である。
【図２０】レジスタ１６に入力するパラメータとその変換の説明に用いる図である。
【図２１】レジスタ１７，１８に入力するパラメータとその変換の説明に用いる図である。
【図２２】マクロブロックのdquantのパラメータの求め方の説明に用いる図である。
【図２３】連続した２つのマクロブロックのquantizer_scaleの差分をＭＰＥＧ４のシンタックスの制約に従って３つのケースに分け、dquantを求める処理の説明に用いる図である。
【図２４】ピクチャの先頭のスライスヘッダを除去する処理の説明に用いる図である。
【図２５】ピクチャの先頭以外のスライス層の処理の説明に用いる図である。
【図２６】レジスタ２１に入力するパラメータとその変換の説明に用いる図である。
【図２７】レジスタ２７に入力するパラメータとその変換の説明に用いる図である。
【図２８】レジスタ２３，２４，２５，２６に入力するパラメータとその変換の説明に用いる図である。
【図２９】ＭＰＥＧ１とＭＰＥＧ４の動きベクトルの予測方法の説明に用いる図である。
【図３０】レジスタ２８，２９，３０，３１に入力するパラメータとその変換の説明に用いる図である。
【図３１】ＭＰＥＧ１とＭＰＥＧ４のイントラマクロブロックのＤＣ係数の予測方法の説明に用いる図である。
【図３２】ＭＰＥＧ１の２次元のラン、レベルペアと、ＭＰＥＧ４の３次元のラン（run)、レベル（level）、ラスト（last）ペアの関係を示す図である。
【図３３】リシンクマーカを配置した後の動きベクトルの変換の説明に用いる図である。
【図３４】イントラマクロブロックのＤＣ係数の変換の説明に用いる図である。
【図３５】ＭＰＥＧ４のＤＣ係数の量子化係数とＡＣ係数の量子化係数の関係説明に用いる図である。
【図３６】式（２６）〜式（２９）を論理回路で演算する場合の近似式の説明に用いる図である。
【図３７】本発明の第４の実施の形態における輝度の動きベクトル処理の説明に用いる図である。
【図３８】本発明の第５の実施の形態の場合に、イントラＡＣ係数に対するＭＰＥＧ１の逆量子化方法とＭＰＥＧ４の逆量子化方法の説明に用いる図である。
【図３９】従来のシステム構成例を示すブロック回路図である。
【符号の説明】
１２０ ＭＰＥＧ１画像符号化装置、 １２１ 記録器、 １２２ 伝送器、
１２３ 画像符号化フォーマット変換装置
【発明の属する技術分野】
本発明は、符号化フォーマット変換装置、符号化フォーマット変換システム及び方法に関し、特に、例えば光磁気ディスクや磁気テープ、フラッシュメモリ等の記録媒体に記録し、もしくは衛星放送で伝送し、それを光磁気ディスクや磁気テープ、フラッシュメモリ等の記録媒体に再記録、あるいはテレビ会議システムやテレビ電話システム、インターネット、携帯電話等低ビットレート伝送路を介して送信側から受信側に伝送し、受信側において、必要に応じたフォーマット変換等を行い、これを表示、伝送する場合などに用いて好適な符号化フォーマット変換装置、符号化フォーマット変換システム及び方法に関する。
【０００２】
【従来の技術】
入力された画像符号化ビットストリームを、異なる画像符号化フォーマットの画像符号化ビットストリームに変換する、従来の画像符号化フォーマット変換装置の概略構成を図３９に示す。なお、この図３９に例示した画像符号化フォーマット変換装置３１５は、入力されたＭＰＥＧ１（Moving Picture image coding Experts Group）画像符号化ビットストリームを、ＭＰＥＧ４画像符号化ビットストリームヘ変換する装置である。また、図３９の例では、ＭＰＥＧ１画像符号化ビットストリームを生成するＭＰＥＧ１画像符号化装置３１０と、ＭＰＥＧ１画像符号化ビットストリームを記録する記録器３１１、ＭＰＥＧ１画像符号化ビットストリームを伝送する伝送器３１２も示す。
【０００３】
この図３９に示すシステムにおいて、ＭＰＥＧ１画像符号化装置３１０は、入力された画像信号をＭＰＥＧ１画像符号化方式（以下、適宜ＭＰＥＧ１とする）に従って符号化し、ＭＰＥＧ１画像符号化ビットストリームを生成する。当該ＭＰＥＧ１画像符号化ビットストリームは、直接に、或いは記録器３１１に一旦記録された後に再生されて、若しくは伝送器３１２を介して伝送されて、画像符号化フォーマット変換装置３１５に入力する。
【０００４】
画像符号化フォーマット変換装置３１５は、ＭＰＥＧ１画像復号化器３１３と、ＭＰＥＧ４画像符号化器３１４とからなる。
【０００５】
ＭＰＥＧ１画像復号化器３１３は、入力されたＭＰＥＧ１画像符号化ビットストリームを、ＭＰＥＧ１画像復号化方式に従って復号して画像信号を復元する。当該復元された画像信号はＭＰＥＧ４画像符号化器３１４に送られる。
【０００６】
ＭＰＥＧ４画像符号化器３１４は、上記復元された画像信号をＭＰＥＧ４画像符号化方式（以下、適宜ＭＰＥＧ４とする）に従って符号化し、ＭＰＥＧ４画像符号化ビットストリームを生成する。このＭＰＥＧ４画像符号化ビットストリームは、当該図３９の画像符号化フォーマット変換装置３１５から出力される。
【０００７】
【発明が解決しようとする課題】
上述の従来の画像符号化フォーマット変換装置３１５は、図３９に示したように、ＭＰＥＧ１画像復号化器３１３でＭＰＥＧ１画像復号化方式により復元された画像信号を、ＭＰＥＧ４画像符号化器３１４でＭＰＥＧ４画像符号化方式により符号化し、ＭＰＥＧ４画像符号化ビットストリームを出力するようになされている。
【０００８】
すなわち、この従来の画像符号化フォーマット変換装置３１５のプロセスには、ＭＰＥＧ１画像復号化器３１３で画像信号を復元するプロセスと、ＭＰＥＧ４画像符号化器３１４で画像信号を符号化するプロセスとが含まれている。
【０００９】
特に、ＭＰＥＧ４画像符号化器３１４では、入力された画像信号を符号化する際に、動きベクトルを検出するなど、処理量が膨大となるプロセスが含まれている。このため、従来の画像符号化フォーマット変換装置３１５では、画像のリアルタイムでの処理が困難となり、時間遅延が発生するという問題がある。また、装置が大規模になるという問題もある。
【００１０】
そこで、本発明は、このような実情に鑑みてなされたものであり、例えば、ＭＰＥＧ１画像符号化ビットストリームのような第１の符号化信号をＭＰＥＧ４画像符号化ビットストリームのような第２の符号化信号に変換する場合において、信号品質を劣化させずに処理量を低減し、且つ、時間遅延を少なくし、さらに装置構成の大規模化をも防止可能とする符号化フォーマット変換装置、第１の符号化信号を生成する符号化信号生成装置を備える符号化フォーマット変換システム及び方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明の符号化フォーマット変換装置は、第１の符号化方式により符号化された第１の符号化信号に含まれる第１の符号化方式のパラメータを、そのパラメータの種類に応じて上記第１の符号化方式とは異なる第２の符号化方式のパラメータに変換するパラメータ変換手段と、上記パラメータ変換手段により得られた第２の符号化方式のパラメータを用いて、上記第１の符号化信号から第２の符号化信号を生成する信号生成手段とを備え、上記パラメータ変換手段は、上記第１の符号化信号から上記第１の符号化方式のパラメータを抽出する抽出手段と、上記抽出手段により抽出した第１の符号化方式のパラメータを、第１の変換処理が施される第１の種類と、第２の変換処理が施される第２の種類と、第３の変換処理が施される第３の種類とに分類する分類手段と、上記第１の変換処理として、上記第１の種類に分類した第１の符号化方式のパラメータをそのまま上記第２の符号化方式のパラメータとして用いる第１の変換処理部と、上記第２の変換処理として、上記第２の種類に分類した第１の符号化方式のパラメータを当該第１の符号化方式に対応する復号化方式により復号化した後に第２の符号化方式にて符号化する第２の変換処理部と、上記第３の変換処理として、上記第３の種類に分類した第１の符号化方式のパラメータを当該第１の符号化方式に対応する復号化方式により復号化した後に第２の符号化方式のパラメータに変換し、当該第２の符号化方式のパラメータを第２の符号化方式にて符号化する第３の変換処理部とからなる変換処理手段とを有することにより、上述した課題を解決する。
【００１２】
本発明の符号化フォーマット変換システムは、第１の符号化方式により符号化された第１の符号化信号に含まれる第１の符号化方式のパラメータを、そのパラメータの種類に応じて上記第１の符号化方式とは異なる第２の符号化方式のパラメータに変換するパラメータ変換手段と、上記パラメータ変換手段により得られた第２の符号化方式のパラメータを用いて、上記第１の符号化信号から第２の符号化信号を生成する信号生成手段とを備える符号化フォーマット変換装置と、上記第１の符号化方式にて使用される第１の量子化方法と上記第２の符号化方式にて使用される第２の量子化方法とが異なるとき、上記第１の量子化方法で用いるパラメータに代え、上記第２の量子化方法で用いるパラメータを上記第１の符号化方式により符号化された信号に含めて、上記符号化フォーマット変換装置に供給する第１の符号化信号を生成し、上記符号化フォーマット変換装置に対して、上記第１の符号化信号を供給するパラメータ変更手段を有する符号化信号生成装置とを備え、上記パラメータ変換手段は、上記第１の符号化信号から上記第１の符号化方式のパラメータを抽出する抽出手段と、上記抽出手段により抽出した第１の符号化方式のパラメータを、第１の変換処理が施される第１の種類と、第２の変換処理が施される第２の種類と、第３の変換処理が施される第３の種類とに分類する分類手段と、上記第１の変換処理として、上記第１の種類に分類した第１の符号化方式のパラメータをそのまま上記第２の符号化方式のパラメータとして用いる第１の変換処理部と、上記第２の変換処理として、上記第２の種類に分類した第１の符号化方式のパラメータを当該第１の符号化方式に対応する復号化方式により復号化した後に第２の符号化方式にて符号化する第２の変換処理部と、上記第３の変換処理として、上記第３の種類に分類した第１の符号化方式のパラメータを当該第１の符号化方式に対応する復号化方式により復号化した後に第２の符号化方式のパラメータに変換し、当該第２の符号化方式のパラメータを第２の符号化方式にて符号化する第３の変換処理部とからなる変換処理手段とを有することにより、上述した課題を解決する。
【００１３】
本発明の符号化フォーマット変換システムは、上記第１の符号化信号を生成して供給する符号化信号生成装置であって、上記第１の符号化信号を生成する際に用いた色差の動きベクトルと、上記第２の符号化信号を生成する際に用いた色差の動きベクトルとが異なるとき、上記第１の符号化信号での色差の動きベクトルと上記第２の符号化信号での色差の動きベクトルとが等しくなるように、上記第１の符号化信号の輝度の動きベクトルを上記第２の符号化信号の輝度の動きベクトルに変換する動きベクトル変換手段を有することにより、上述した課題を解決する。
【００１４】
本発明の符号化フォーマット変換方法は、第１の符号化方式により符号化された第１の符号化信号に含まれる第１の符号化方式のパラメータを、そのパラメータの種類に応じて上記第１の符号化方式とは異なる第２の符号化方式のパラメータに変換するパラメータ変換ステップと、上記パラメータ変換ステップで得られた第２の符号化方式のパラメータを用いて、上記第１の符号化信号から第２の符号化信号を生成する信号生成ステップとを有し、上記パラメータ変換ステップは、上記第１の符号化信号から上記第１の符号化方式のパラメータを抽出する抽出ステップと、上記抽出ステップで抽出した上記第１の符号化方式のパラメータを、第１の変換処理が施される第１の種類と、第２の変換処理が施される第２の種類と、第３の変換処理が施される第３の種類とに分類する分類ステップと、上記第１の変換処理として、上記第１の種類に分類した第１の符号化方式のパラメータをそのまま上記第２の符号化方式のパラメータとして用いる第１の変換処理ステップと、上記第２の変換処理として、上記第２の種類に分類した第１の符号化方式のパラメータを当該第１の符号化方式に対応する復号化方式により復号化した後に第２の符号化方式にて符号化する第２の変換処理ステップと、上記第３の変換処理として、上記第３の種類に分類した第１の符号化方式のパラメータを当該第１の符号化方式に対応する復号化方式により復号化した後に第２の符号化方式のパラメータに変換し、当該第２の符号化方式のパラメータを第２の符号化方式にて符号化する第３の変換処理ステップとを有する変換処理ステップとを有することにより、上述した課題を解決する。
【００１５】
本発明の符号化フォーマット変換方法は、上記第１の符号化方式にて使用される第１の量子化方法で用いるパラメータに代え、上記第２の符号化方式にて使用される第２の量子化方法で用いるパラメータを上記第１の符号化方式により符号化された信号に含めて、上記符号化フォーマット変換装置に供給する第１の符号化信号を生成することにより、上述した課題を解決する。
【００１６】
本発明の符号化フォーマット変換方法は、上記第１の符号化信号を生成する際に用いた色差の動きベクトルと、上記第２の符号化信号を生成する際に用いた色差の動きベクトルとが異なるとき、上記第１の符号化信号での色差の動きベクトルと上記第２の符号化信号での色差の動きベクトルとが等しくなるように、上記第１の符号化信号の輝度の動きベクトルを上記第２の符号化信号の輝度の動きベクトルに変換することにより、上述した課題を解決する。
【００１７】
具体例を挙げて説明すると、本発明では、例えば、ＭＰＥＧ１画像符号化フォーマットのビットストリームをＭＰＥＧ４画像符号化フォーマットのビットストリームを変換する際に、ＭＰＥＧ１画像復号化装置による画像の復号およびＭＰＥＧ４画像符号化装置による画像の符号化を行わず、ＭＰＥＧ１画像符号化ビットストリーム上からパラメータの抽出のみを行い、これをＭＰＥＧ４画像符号化方式のシンプルプロファイル（simple profile）で用いるパラメータに変換する。その後、ＭＰＥＧ４に変換されたパラメータをＭＰＥＧ４シンプルプロファイルのシンタックス（syntax）に従い、ビットストリームに含ませてＭＰＥＧ４画像符号化ビットストリームを構成して出力することにより、ＭＰＥＧ１からＭＰＥＧ４への画像符号化フォーマット変換を行うようにしている。
【００１８】
【発明の実施の形態】
以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。
【００１９】
入力された画像符号化ビットストリームを、異なる画像符号化フォーマットの画像符号化ビットストリームに変換する、本発明にかかる第１の実施の形態の画像符号化フォーマット変換装置の概略構成を図１に示す。なお、この図１に例示した画像符号化フォーマット変換装置１２３は、入力されたＭＰＥＧ１画像符号化ビットストリームを、ＭＰＥＧ４画像符号化ビットストリームヘ変換する装置である。また、図１の例では、ＭＰＥＧ１画像符号化ビットストリームを生成するＭＰＥＧ１画像符号化装置１２０と、ＭＰＥＧ１画像符号化ビットストリームを記録する記録器１２１、ＭＰＥＧ１画像符号化ビットストリームを伝送する伝送器１２２も示している。
【００２０】
この図１に示すシステムにおいて、ＭＰＥＧ１画像符号化装置１２０は、入力された画像信号をＭＰＥＧ１画像符号化方式に従って符号化し、ＭＰＥＧ１画像符号化ビットストリームを生成する。当該ＭＰＥＧ１画像符号化ビットストリームは、直接に、或いは記録器１２１に一旦記録された後に再生されて、若しくは伝送器１２２を介して伝送されて、画像符号化フォーマット変換装置１２３に入力する。
【００２１】
画像符号化フォーマット変換装置１２３は、ＭＰＥＧ１画像符号化ビットストリームをＭＰＥＧ４画像符号化ビットストリームに変換する。このＭＰＥＧ４画像符号化ビットストリームは、当該図１の画像符号化フォーマット変換装置１２３から出力される。
【００２２】
以上は図１の構成の概略的な処理の流れであるが、本実施の形態の画像符号化フォーマット変換装置１２３では、後述するように、ＭＰＥＧ１画像符号化ビットストリームから、符号化の際に使用されたパラメータを抽出し、その抽出したパラメータを、ＭＰＥＧ４画像符号化ビットストリームを構成するのに必要なパラメータに変換し、ＭＰＥＧ４画像符号化ビットストリームを構成して出力する。
【００２３】
すなわち、画像符号化フォーマット変換装置１２３では、前記図３９に示した従来例の構成のように、ＭＰＥＧ１画像符号化ビットストリームを復号化して画像信号を復元するようなことやその他解像度変換等の処理を行わず、ＭＰＥＧ１画像符号化ビットストリーム上からパラメータの抽出のみを行い、当該抽出したパラメータを、ＭＰＥＧ４のシンプルプロファイル（simple profile）で用いるパラメータに変換する。その後、画像符号化フォーマット変換装置１２３は、当該シンプルプロファイルのパラメータを用い、ＭＰＥＧ４のシンプルプロファイルのシンタックス（syntax）に従い、ＭＰＥＧ４画像符号化ビットストリームを構成し、出力する。
【００２４】
ここで、本発明実施の形態の画像符号化フォーマット変換装置１２３の詳細な構成及びその動作原理を、図２を用いて説明する。
【００２５】
図２において、入力されたＭＰＥＧ１画像符号化ビットストリームは、ビットの読み取り器１３０に送られる。当該ビット読み取り器１３０は、ＭＰＥＧ１画像符号化ビットストリームに含まれているパラメータ（以下、ＭＰＥＧ１パラメータと呼ぶ。）のビットを読み取り、当該読み取られたＭＰＥＧ１パラメータを切換処理部ＳＷ１に送り、また、データビットをＭＰＥＧ４ビットストリーム構成器１３７に送る。切換処理部ＳＷ１は、上記パラメータのビットを、予め定められた２つの動作に従って、除去、若しくはレジスタ群１３９に入力する。
【００２６】
レジスタ群１３９に入力されたパラメータは、判別処理部１４０により、Ａ，Ｂ，Ｃの３種の何れかに判別（分類）される。当該判別は、画像符号化フォーマット変換装置の処理効率を高めるために、ＭＰＥＧ１の各種フラグ（以下、ＭＰＥＧ１フラグと呼ぶ。）の一つ一つに対して予め定められている。なお、Ａ，Ｂ，Ｃの判別の具体的内容については後述する。
【００２７】
ここで、上記Ａと判別されたＭＰＥＧ１のパラメータは、特に変換処理等されることなく、直接、ＭＰＥＧ４画像符号化ビットストリームを構成する際のパラメータ（ＭＰＥＧ４パラメータと呼ぶ。）として用いる。
【００２８】
Ｂと判別されたＭＰＥＧ１のパラメータのビットは、ＭＰＥＧ１のＶＬＣデコーダ１３１により可変長符号の復号化がなされた後、ＭＰＥＧ４のＶＬＣエンコーダ１３５により可変長符号化される。
【００２９】
Ｃと判別されたＭＰＥＧ１のパラメータのビットは、ＭＰＥＧ１のＶＬＣデコーダ１３３により可変長符号の復号化がなされた後、パラメータ変換器１３４により、ＭＰＥＧ４に用いるパラメータ（ＭＰＥＧ４のシンプルプロファイルに定義されたパラメータ）に変換され、ＭＰＥＧ４のＶＬＣエンコーダ１３５へ入力する。ＭＰＥＧ４のＶＬＣエンコーダ１３５では、当該変換により得られたＭＰＥＧ４パラメータを可変長符号化する。
【００３０】
上記判別処理部１４０により、Ａ，Ｂ，Ｃの何れかに判別されて処理等されたＭＰＥＧ４パラメータは、バッファ１３６に格納される。
【００３１】
ＭＰＥＧ４ビットストリーム構成器１３７は、バッファ１３６に格納されたＭＰＥＧ４パラメータを所望のタイミングに合わせて読み出し、上記ビット読み取り器１３０からのデータビットと合わせてＭＰＥＧ４画像符号化ビットストリームを構成する。当該ＭＰＥＧ４画像符号化ビットストリームは、画像符号化フォーマット変換装置１２３から出力される。
【００３２】
次に、図３〜図９を用い、上記画像符号化フォーマット変換装置にて行われる、ＭＰＥＧ１画像符号化ビットストリームから抽出されたＭＰＥＧ１パラメータを、ＭＰＥＧ４画像符号化ビットストリームを構成する際に用いるＭＰＥＧ４パラメータヘ変換する流れについて説明する。
【００３３】
なお、図３〜図９は連続した処理を紙面の都合で分割して表しており、また、図３〜図９の各図の左側には、入力されたＭＰＥＧ１画像符号化ビットストリームに対して、ＭＰＥＧ１のビデオシンタックスに従って、ビットの読み取り器１３０がＭＰＥＧ１画像符号化ビットストリームから抽出したＭＰＥＧ１パラメータを示している。また、各パラメータには右向き矢印が付けられており、これら右向き矢印の横には、それぞれ各パラメータが入力したレジスタの番号（レジスタ群１３９を構成する複数のレジスタのうちの何れかを示す番号）および変換の方法を判別する符号（前記Ａ，Ｂ，Ｃを示す符号）が表示されている。例えば、pel_aspect_ratio→レジスタ３（Ｂ）は、ＭＰＥＧ１パラメータpel_aspect_ratioのビットが３番目のレジスタに入力され、さらにＢの判別に応じた変換方法に従ってＭＰＥＧ４パラメータに変換されることを意味している。なお、ビットの読み取り器１３０にて読み取られたパラメータのうち、ＭＰＥＧ４には使用しないパラメータは、除去される。
【００３４】
また、図３〜図９において、各図の右側には、ＭＰＥＧ４ビットストリーム構成器１３７により、ＭＰＥＧ４画像符号化ビットストリームを構成するのに必要なＭＰＥＧ４パラメータを示している。また、各パラメータには左向き矢印が付けられており、これら左向き矢印の横には、ＭＰＥＧ１パラメータが入力したレジスタの番号が表示されている。そのレジスタからＭＰＥＧ４パラメータを出力する。例えば、aspect_ratio_info←レジスタ３は、ＭＰＥＧ４パラメータaspect_ratio_infoはレジスタ３から読み取ることができることを意味する。レジスタ３では、入力されたＭＰＥＧ１パラメータpel_aspect_ratioがＭＰＥＧ４パラメータaspect_ratio_infoに変換されている。
【００３５】
以下は、レジスタの番号順に沿って、各レジスタに入力されたＭＰＥＧ１パラメータとそれに対応するＭＰＥＧ４パラメータ、及び、ＭＰＥＧ１パラメータからＭＰＥＧ４パラメータヘのパラメータ変換について説明する。
【００３６】
先ず、レジスタ１（Ａ）と２（Ａ）には、図１０に示すように、horizontal_sizeとvertical_sizeのＭＰＥＧ１パラメータが入力する。horizontal_sizeは入力画像の横サイズを表し、vertical_sizeは入力画像の縦サイズを表す。上記ＭＰＥＧ１パラメータhorizontal_sizeとvertical_sizeは、そのままＭＰＥＧ４パラメータvideo_object_layer_widthとvideo_object_layer_hightに代入される。
【００３７】
レジスタ３（Ｂ）には、図１１に示すように、pel_aspect_ratioのＭＰＥＧ１パラメータが入力する。このpel_aspect_ratioは、表示される画像のアスペクト比を表す。当該ＭＰＥＧ１パラメータのpel_aspect_ratioは、ＭＰＥＧ１ＶＬＣデコーダ１３１によりデコードされた後、ＭＰＥＧ４ＶＬＣエンコーダ１３２によりエンコードされる。なお、extended PARである場合は、ＭＰＥＧ４には新たなパラメータpar_heightとpar_widthが設定され、par_heightには出力画像の画素のアスペクト比の縦サイズ、par_widthには横サイズの値を入力する。これらpar_heightとpar_widthの比が出力画像のアスペクト比となる。
【００３８】
レジスタ４（Ｃ）には、picture_rateのパラメータが入力する。このパラメータは、図１２に示すように、変換ツール（パラメータ変換器１３４）による変換が必要となる。
【００３９】
ここで、ＭＰＥＧ１の各フレームのデコード時間は、frame_fate_codeとスライスヘッダ（slice header）に格納されているtemproal_referanceにより、計算される。temproal_referenceは、グループオブピクチャ（ＧＯＰ）の先頭で”０”にリセットされ、フレームがデコードされる度に１増やされる。各フレームのデコード時間はtemproal_referenceの値とframe rateから求められる連続した２フレーム問の時間との積になる。なお、temproal_referenceのパラメータは、フォーマット変換する際に使用しないため除去されている。
【００４０】
ＭＰＥＧ４画像符号化方式では、各フレームのデコード時間は、vop_time_increament，modulo_time_base及び後述するレジスタ９（Ｂ）に入力したtime_codeの各パラメータで決まる。modulo_time_baseは１秒単位でのローカルタイムベースを示す。vop_time_increament_resolutionは、１modulo timebaseを等間隔に分割するサブインターバルの数を示す。vop_time_increamentはmodulo_time_baseで示される同期点から絶対経過時間を示す。
【００４１】
図１３には、それらのパラメータの関係を示す。
【００４２】
vop_time_increamentは[0，vop_time_increament_resolution）の間の値になっている。vop_time_increamentはvop_time_increament_resolution以上の時間を表すために、modulo_time_baseが用いられる。図１３に示しているように、図中の太い枠の中に書かれているのは、modulo_time_baseである。１秒以内は”０”で表し、２秒が経過すると”１１０”という値になる。ｎ秒が経過すると、”１１１１・・・１０”となる。図中のＴ１，Ｔ２，Ｔ３，Ｔ４は、各フレームのvop_time_increamentであり、modulo_time_baseから経過した時間を示している。
【００４３】
レジスタ５（Ｂ）と６（Ｂ）には、intra_quantizer_matrixとnon_intra_quantizer_matrixが入力する。ここで、ＭＰＥＧ１画像符号化方式には、intra_quantizer_matrixおよびnon_intra_quantizer_matrixという量子化マトリクスのパラメータが規定されている。それらの値は、load_intra_quantizer_matrixおよびload_non_intra_quantizer_matrixというフラグによって決まる。当該フラグが”０”である場合は、ＭＰＥＧ１のシンタックスに定められている値を用いるが、”１”である場合は、ユーザが設定した値が入力される。ＭＰＥＧ４のシンプルプロファイルでは、Ｈ．２６３と同様の量子化方法を用いるため、intra_quantizer_matrixおよびnon_intra_quantizer_matrixのいずれもない。すなわち、ＭＰＥＧ１とＭＰＥＧ４の画像符号化方式ではＤＣＴ係数の量子化方法が異なる。従って、ＭＰＥＧ４の量子化ＤＣＴ係数を求めるには、ＭＰＥＧ１の量子化ＤＣＴ係数を逆量子化し、この逆量子化されたＤＣＴ係数をＭＰＥＧ４画像符号化方式に従って量子化する必要がある。そのため、ＭＰＥＧ１の量子化マトリクスをＭＰＥＧ１画像符号化方式に従いＶＬＣデコードし、さらにＭＰＥＧ１のＤＣＴ係数に復号する必要がある。なお、ＭＰＥＧ４のコアプロファイル（core profile）には、ＭＰＥＧ１画像符号化方式と同様の量子化方式を用いるため、intra_quantjer_matriとnon_intra_quantizer_matrixの両方があり、ＭＰＥＧ１の量子化ＤＣＴ係数を逆量子化してから、ＭＰＥＧ４画像符号化方式に従って量子化する必要がなくなる。
【００４４】
レジスタ７（Ａ）と８（Ａ）には、図１４に示すように、user_data_start_codeとuser_dataのパラメータが入力する。なお、user_dataはあってもなくてもよいパラメータである。そのため、これらパラメータは変換せずに、そのままＭＰＥＧ４画像符号化ビットストリームの一部として用いてもよいし、或いは、除去してもよい。
【００４５】
レジスタ９（Ｂ）には、図１５に示すように、time_codeのパラメータが入力する。なお、当該ＭＰＥＧ１パラメータのtime_codeのビットの一部は、そのままＭＰＥＧ４画像符号化ビットストリームに用いられる。
【００４６】
レジスタ１０（Ａ）と１１（Ａ）には、図１６に示すように、closed_govとBroken_linkのパラメータが入力する。closed_govはＭＰＥＧ４画像符号化方式ではＧＯＶヘッダ後のＩ−ＶＯＰに引き続く、Ｂ−ＶＯＰがバックワード（backward）予測がイントラ符号化される場合にセットされるフラグである。Broken_linkはＭＰＥＧ４画像符号化方式ではＧＯＶヘッダ後のＩ−ＶＯＰに引き続くＢ−ＶＯＰが正しくデコードできない可能性がある場合にセットされるフラグである。ＭＰＥＧ１画像符号化方式とＭＰＥＧ４画像符号化方式では、同様の動作がなされるため、入力されたＭＰＥＧ１パラメータは変換せずに、そのままＭＰＥＧ４画像符号化ビットストリームに用いられる。
【００４７】
レジスタ１２（Ａ）と１３（Ａ）には、図１７に示すように、user_data_start_codeとuser_dataのパラメータが入力する。user_dataはあってもなくてもよいパラメータである。そのため、これらパラメータは変換せずに、そのままＭＰＥＧ４画像符号化ビットストリームの一部として用いてもよいし、或いは除去してもよい。
【００４８】
レジスタ１４（Ｂ）には、図１８に示すように、picture_coding_typeのパラメータが入力する。このパラメータは、ＭＰＥＧ１ＶＬＣデコーダ１３１によりデコードされ、さらにＭＰＥＧ４ＶＬＣエンコーダ１３２によりエンコードする必要がある。
【００４９】
レジスタ１５（Ａ）には、図１９に示すように、full_pel_forward_vectorのパラメータが入力する。ＭＰＥＧ１画像符号化方式によれば、full_pel_forward_vectorというフラグが”０”である場合は、半画素精度で動き補償を行うが、”１”である場合は、整数画素精度で動き補償を行うことになる。また、半画素精度で動き補償を行う際の動きベクトルの値は、整数画素精度で動き補償を行った場合の倍になる。一方、ＭＰＥＧ４では、半画素精度でしか動き補償を行わない。そのため、full_pel_forward_vectorが”０”である場合、すなわち、ＭＰＥＧ１画像符号化方式では半画素精度で動き補償を行う場合、入力されたＭＰＥＧ１の動きベクトルはそのままＭＰＥＧ４画像符号化の際に用いることができるが、full_pel_forward_vectorが”１”である場合、すなわちＭＰＥＧ１画像符号化方式では整数画素精度で動き補償を行う際、ＭＰＥＧ４の半画素精度に合わせるため、ＭＰＥＧ４の動きベクトルはＭＰＥＧ１の動きベクトルの２倍にする必要がある。
【００５０】
レジスタ１６（Ａ）には、図２０に示すように、forward_f_codeのパラメータが入力する。当該パラメータは変換せずに、そのままＭＰＥＧ４画像符号化ビットストリームに用いる。
【００５１】
レジスタ１７（Ａ）と１８（Ａ）には、図２１に示すように、user_data_start_codeとuser_codeのパラメータが入力する。user_dataはあってもなくてもよいパラメータである。そのため、これらパラメータは変換せずに、そのままＭＰＥＧ４画像符号化ビットストリームの一部として用いてもよいし、除去してもよい。
【００５２】
レジスタ１９（Ｂ）には、quantizer_scaleのパラメータが入力する。当該レジスタ１９に入力しているquantizer_scaleは、ＭＰＥＧ１のスライスヘッダ（slice header）に格納されている量子化スケールである。ＭＰＥＧ１の量子化方法とＭＰＥＧ４のシンプルプロファイルの量子化方法とは異なるため、ＭＰＥＧ４の量子化ＤＣＴ係数を求める際に、ＭＰＥＧ１の量子化ＤＣＴ係数を逆量子化する必要がある。そのため、量子化スケールのパラメータquantizer_scaleをＶＬＣデコードして、値に復号する必要がある。
【００５３】
レジスタ２０（Ａ）には、macroblock_stuffingのパラメータが入力する。当該macroblock_stuffingは、あってもなくてもよいため、そのままＭＰＥＧ４画像符号化ビットストリームに用いてもよいし、除去してもよい。
レジスタ２１（Ｂ）には、macroblock_typeのパラメータが入力する。このmacroblock_typeはマクロブロックのタイプを意味し、ＭＰＥＧ４におけるmcbpcを設定する際に用いる。このパラメータについては、ＭＰＥＧ１のＶＬＣデコードを行う必要がある。
【００５４】
また、レジスタ１９（Ｂ），２１（Ｂ），２２（Ａ），２７（Ａ）には、quantizer_scale(s)、macroblock_type、quantizer_scale(M)、coded_block_pattarnのパラメータが入力するが、これら四つのＭＰＥＧ１パラメータにより、ＭＰＥＧ４のdquant，mcbpcとcbpyの各パラメータが決まる。
【００５５】
先ず、各マクロブロックのdquantのパラメータの求め方を図２２を用いて説明する。
【００５６】
図２２の（ａ）はＭＰＥＧ１のマクロブロックのみのビットストリームの構成を示している。ＭＰＥＧ１では、マクロブロック毎にquantizer_scaleのパラメータが記述され、図２２の（ａ）では、当該quantizer_scaleのパラメータをｑ１，ｑ２，ｑ３，・・・として表している。また、図２２の（ｂ）及び（ｃ）は、図２２の（ａ）の各マクロブロックに対応するＭＰＥＧ４のマクロブロックのビットストリームＢＳ１，ＢＳ２の構成を示している。ＭＰＥＧ４では、マクロブロック毎に、dquant、すなわち対象となるマクロブロックの量子化係数と前のマクロブロックの量子化係数の差分が記述されている。ＭＰＥＧ４画像符号化方式において、dquantは、１，−１，２，−２のいずれかの値を用いることになっている。そのため、図２３に示すように、連続した２つのマクロブロックのquantizer_scaleの差分をＭＰＥＧ４のシンタックスの制約に従って３つのケースに分け、dquantを求める処理を行う。
【００５７】
図２３に示すcase１では、上記差分の値が１，−１，２，−２の何れかいずかとなっている場合、当該差分値をそのままdquantとして用いることができる。図２２の（ｂ）は全ての差分がcase１に満たす場合である。
【００５８】
case２では、差分の値が０、すなわちマクロブロックのquantizer_scaleが送られていない場合、dquantは０にすることができないが、そのマクロブロックのmbtypeにあるdquantのフラグを０にセットすることにより、dquantの値を送らず、前のマクロブロックと同様な量子化係数を用いることができる。
【００５９】
case３では、差分の絶対値が２以上になった場合に、対象となるマクロブロックの前にリシンクマーカ（resync marker）を配置する。リシンクマーカは、本来、ＭＰＥＧ４画像復号化方式での復号時にエラー伝播を阻止するために、特定のビットパターンで構成される固定長符号であって、それを検出すれば、次の情報が正しく復号できる。そこで、正しく復号化できるように、ヘッダ情報の一部としてquant_scaleとmacroblock_numberがリシンクマーカの次に記述されている。quant_scaleを設定することによって、連続した２つのマクロブロックの量子化係数の差分を１，−１，２，−２にすることができる。例えば、図２２の（ａ）のＭＰＥＧ１のマクロブロックＭＢ５の量子化係数ｑ５とマクロブロックＭＢ４の量子化係数ｑ４との差分の絶対値が２以上になったとする。その際、図２２の（ｃ）に示しているように、ＭＰＥＧ４のマクロブロックＭＢ５の前にリシンクマーカを配置する。リシンクマーカの次に記述されるquant_scaleをｑ５＋１，ｑ５−１，ｑ５＋２，ｑ５−２の何れかにすれば、ＭＰＥＧ４のマクロブロックＭＢ５のdquant５は、量子化係数ｑ５からquant_scaleを引いた値となるため、−１，１，−２，２の何れかになる。
【００６０】
以上は、ＭＰＥＧ１の連続した２つのマクロブロックの量子化係数の差分からdquantを求める方法を説明したが、ＭＰＥＧ１のビットストリームのデータ構造とＭＰＥＧ４のビットストリームの構造が異なるため、階層のヘッダヘの処理によるヘッダ内に含まれている量子化係数が変換されることがあり、この場合、ヘッダの先頭のマクロブロックのdquantも新たに求めることがある。
【００６１】
ここで、ＭＰＥＧ１は、シーケンス（sequence）、グループ・オブ・ピクチャ（ＧＯＰ）、ピクチャ（picture）、スライス（slice）、マクロプロック（ＭＢ）、ブロック（block）の６層の階層構造からなっている。それに対して、ＭＰＥＧ４のシンプルプロファイルの階層構造は、ＶＳ（visual sequence)、ＧＯＶ(Group of Video Object plane）、ＶＯＰ（Video Object Plane）、マクロブロック（ＭＢ）、ブロック（block）の５つになっている。 ＭＰＥＧ４には、ＭＰＥＧ１のスライス層に相当する階層はないが、ＶＯＰの下の階層として、エラー耐性などで用いられるリシンクマーカと、次の情報からなるビデオパケット（Video Packet）という符号化単位がある。なお、リシンクマーカはＭＰＥＧ４のビットストリームを構成するのに必須ではない。
【００６２】
従って、ＭＰＥＧ１からＭＰＥＧ４へのフォーマット変換を行う際、ＭＰＥＧ１のスライス層を除去してもよく、除去した場所でリシンクマーカを配置してもよい。なお、ＭＰＥＧ４には、ｖｏｐヘッダ（vop header）の次にリシンクマーカを配置してはいけないことになっている。そのため、ＭＰＥＧ１のピクチャの先頭のスライスヘッダ（slice header）と先頭でないスライスヘッダへの処理が異なり、先頭のスライスヘッダを除去する処理のみとなる。
【００６３】
以下に、それぞれの状況における処理について説明する。
【００６４】
先ず、図２４を用いてピクチャの先頭のスライスヘッダを除去する処理について説明する。
【００６５】
図２４の（ａ）は、ＭＰＥＧ１のビットストリームの一部を示し、図２４の（ｂ）は、変換されたＭＰＥＧ４のビットストリームの一部を示している。図２４の（ａ）に示すＭＰＥＧ１のビットストリームでは、ピクチャヘッダ（picture header）の次にスライスヘッダがあり、当該スライスヘッダに量子化係数quantizer_scaleが記述されている。スライスヘッダの次は、マクロブロックの情報が続いている。また、図２４の（ｂ）に示すＭＰＥＧ４のビットストリームでは、ｖｏｐヘッダの次にすぐマクロブロックＭＢの情報が続いており、ｖｏｐヘッダにはvop_quantが記述されている。
【００６６】
ここで、ＭＰＥＧ１のマクロブロックＭＢ１の量子化係数ｑ１が送られている場合において、スライスヘッダに記述されているquantizer_scaleの差が１，−１，２，−２の何れかであれば、ＭＰＥＧ４のvop_quantの値をＭＰＥＧ１のquantizer_scaleの値にする。すなわち、ｑ１−quantizer_scale＝１，−１，２，−２の何れかのときは、vop_quant＝quantizer_scaleとなる。
【００６７】
また、ＭＰＥＧ１のマクロブロックＭＢ１の量子化係数ｑ１が送られている場合において、ＭＰＥＧ１のｑ１とquantizer_scaleの差の絶対値が２以上であるときには、ＭＰＥＧ４のvop_quantがｑ１−１，ｑ１＋１，ｑ１−２，ｑ１＋２の何れかになされる。すなわち、｜q1−quantizer_scal｜＞２のときは、vop_quant＝ｑ１−１，ｑ１＋１，ｑ１−２，ｑ１＋２の何れかとなる。その際、dquant１はそれぞれ１，−１，２，−２になる。
【００６８】
また、ＭＰＥＧ１のマクロブロックＭＢ１の量子化係数ｑ１が送られている場合において、ＭＰＥＧ１のｑ１とquantizer_scaleの差が０であるときには、ＭＰＥＧ４のvop_quantはＭＰＥＧ１のquantizer_scaleと同様な値を取る。すなわち、ｑ１−quantizer_scale＝０のときは、vop_quant＝quantizer_scaleとなる。その際、マクロブロックＭＢ１のmbtypeにあるdquantフラグは０に設定される。
【００６９】
一方、ＭＰＥＧ１のマクロブロックＭＢ１の量子化係数ｑ１が記述されていない場合、ＭＰＥＧ１のマクロブロックＭＢ１の量子化係数ｑ１は、quantizer_scaleと同様な値になるため、ＭＰＥＧ４のvop_quantはquantizer_scale−１、quantizer_scale＋１、quantizer_scale−２、quantizer_scale＋２の何れかになされる。すなわち、vop_quant＝quantizer_scale−１、vop_quant＝quantizer_scale＋１、vop_quant＝quantizer_scale−２、vop_quant＝quantizer_scale＋２の何れかとなされる。
【００７０】
次に、図２５を用いて、ピクチャの先頭以外のスライス層の処理について説明する。
【００７１】
図２５の（ａ）はＭＰＥＧ１のビットストリームの一部を示し、図２５の（ｂ）及び（ｃ）は、変換されたＭＰＥＧ４のビットストリームの一部を示している。図２５の（ａ）に示すように、ＭＰＥＧ１のビットストリームのスライスヘッダはピクチャの先頭ではない。
【００７２】
ピクチャの先頭以外のスライス層については、ＭＰＥＧ４への変換の際に、除去しても良く、また、除去したところでリシンクマーカを配置してもよい。
【００７３】
図２５の（ｂ）に示すＭＰＥＧ４のビットストリームは、ＭＰＥＧ１のビットストリームに存在していたスライスヘッダが除去された例を示している。この図２５の（ｂ）のように、スライスヘッダを除去できる条件は、ＭＰＥＧ１のマクロブロックＭＢ１’の量子化係数ｑ１’とマクロブロックＭＢ６の量子化係数ｑ６の差分が１，−１，２，−２のいずれかの場合である。
【００７４】
また、ＭＰＥＧ１のマクロブロックＭＢ１’の量子化係数ｑ１’とｑ６の差分の絶対値が２以上になった場合は、図２５の（ｃ）に示しているように、スライスヘッダの代わりにリシンクマーカを配置する。
【００７５】
例えば、ＭＰＥＧ１のマクロブロックＭＢ１’の量子化係数ｑ１’が送られている場合において、ＭＰＥＧ１のｑ１’とスライスヘッダに記述されているquantizer_scaleとの差が１，−１，２，−２の何れかであるときには、ＭＰＥＧ４のquant_scaleをＭＰＥＧ１のquantizer_scaleにする。すなわち、ｑ１'−quantizer_scale＝１，−１，２，−２の何れかのときは、quant_scale＝quantizer_scaleとなる。
【００７６】
また、ＭＰＥＧ１のマクロブロックＭＢ１’の量子化係数ｑ１’が送られている場合において、ＭＰＥＧ１のｑ１’とquantizer_scaleの差分の絶対値が２以上になったときには、ＭＰＥＧ４のquant_scaleがＭＰＥＧ１のｑ１’−１，ｑ１’＋１，ｑ１’−２，ｑ１’＋２の何れかになされる。その際、ＭＰＥＧ４のdquant１’はそれぞれ１，−１，２，−２になる。すなわち、｜ｑ１'−quantizer_scal｜＞２のときは、quant_scale＝ｑ１’−１，ｑ１’＋１，ｑ１’−２，ｑ１’＋２の何れかとなる。
【００７７】
また、ＭＰＥＧ１のマクロブロックＭＢ１’の量子化係数ｑ１’が送られている場合において、ＭＰＥＧ１のｑ１’とquantizer_scaleの差が０であるときには、ＭＰＥＧ４のquant_scaleはＭＰＥＧ１のquantizer_scaleと同様な値を取る。すなわち、ｑ１’−quantizer_scale＝０のときは、quant_scale＝quantizer_scaleとなる。その際、マクロブロックＭＢ１’のmbtypeにあるdquantフラグは０に設定される。
【００７８】
一方、ＭＰＥＧ１のマクロブロックＭＢ１’の量子化係数ｑ１’が記述されていない場合、ＭＰＥＧ４のquant_scaleはquantizer_scale−１、quantizer_scale＋１、quantizer_scale−２、quantizer_scale＋２の何れかになされる。すなわち、quant_scale＝quantizer_scale−１、vop_quant＝quantizer_scale＋１、vop_quant＝quantizer_scale−２、vop_quant＝quantizer_scale＋２の何れかとなされる。
【００７９】
図３〜図９の説明に戻り、レジスタ２１（Ｂ）に入力したmacroblock_typeはＭＰＥＧ１ＶＬＣデコーダ１３１によりデコードされ、さらにＭＰＥＧ４ＶＬＣエンコーダ１３２によりエンコードされ、図２６に示すように、ＭＰＥＧ４のパラメータmbtypeに変換される。
【００８０】
また、レジスタ２７（Ｃ）に入力したcoded_block_patternは、マクロブロックの４つの輝度ブロックと２つの色差ブロックの６個のブロックのpattern_codeを決めている。pattern_codeは１であればブロックはcoded、０であればブロックはnot_codedである。図２７に示すように、pattern_code[0〜3]は４つの輝度ブロック、pattern[4，5]は２つの色差ブロックのcoded，not‐codedの情報を示している。求められたdquantとmbtype及びcoded_block_pattemにより、ＭＰＥＧ４のmcbpcが決められる。また、cbpyはcoded_block_patternにより決まる。なお、ＭＰＥＧ１のスキップマクロブロックは、ＭＰＥＧ４のnot_codedのフラグが１の時に相当する。最後に、求められたcbpyとmcbpcは、ＭＰＥＧ４ＶＬＣエンコーダ１３５で符号化される。
【００８１】
レジスタ２３（Ｃ），２４（Ｃ），２５（Ｃ），２６（Ｃ）には、図２８に示すように、motion_horizontal_forward_code，motion_horizontal_forward_r，motion_vertical_forward_code，motion_vertical_forward_rのパラメータが入力する。これらパラメータにより、ＭＰＥＧ１とＭＰＥＧ４の動きベクトルの予測誤差を符号化する際、用いる動きベクトルＭＶの予測値が異なる。
【００８２】
図２９を用いて、ＭＰＥＧ１とＭＰＥＧ４の動きベクトルＭＶの予測方法を説明する。
【００８３】
図２９の（ａ）は、ＭＰＥＧ１のマクロブロックＭＢの動きベクトルＭＶを予測する際、予測値は、直前のマクロブロックＭＢ１の動きベクトルＭＶ１を用いることを示している。
【００８４】
図２９の（ｂ）は、ＭＰＥＧ４のマクロブロックＭＢの動きベクトルＭＶを予測する際、用いる予測値を示している。画像符号化フォーマット変換する際、ＭＰＥＧ４には、４つの８画素×８画素のブロックの動きベクトルＭＶ8X8を用いると、処理が煩雑になる。そのため、８画素×８画素のブロックの動きベクトルＭＶ8X8による動き補償は行わないで、一つのマクロブロックに対して１６画素×１６画素のマクロブロックの動きベクトルＭＶ16X16を用いる。図２９の（ｂ）には、ラインline ｎとラインline ｎ＋１の２ラインのマクロブロックが格納されている。対象となるマクロブロックは、ラインline ｎ＋１にある。予測値は、近傍のマクロブロックＭＢ１の動きベクトルＭＶ１、マクロブロックＭＢ２の動きベクトルＭＶ２、マクロブロックＭＢ３の動きベクトルＭＶ３を用いる。マクロブロックＭＢの動きベクトルＭＶの予測値は、同じラインの左にあるマクロブロックＭＢ１の動きベクトルＭＶ１、ラインをまたがって上のラインにあるマクロブロックＭＢ２の動きベクトルＭＶ２と、右上のマクロブロックＭＢ３の動きベクトルＭＶ３の中間値となる。
【００８５】
従って、レジスタ２３〜２６に入力したＭＰＥＧ１のパラメータは、先ずＭＰＥＧ１のＶＬＣデコーダ１３３により復号化され、ＭＰＥＧ１の動きベクトルＭＶの予測値と差分により動きベクトルＭＶの値が復号される。復号された動きベクトルＭＶは、ＭＰＥＧ４の予測方法に従って予測値が選択し、予測誤差を求め、ＭＰＥＧ４ＶＬＣエンコーダ１３５によりエンコードすることが必要である。
【００８６】
レジスタ２８（Ｃ），２９（Ｃ），３０（Ｃ），３１（Ｃ）には、図３０に示すように、dct_dc_size_luminance，dct_dc_differential，dct_dc_size_chrominance，dct_dc_differentialのパラメータが入力する。これらパラメータにより、イントラマクロブロックのＤＣ係数の予測誤差を求める際に用いるＤＣ係数の予測値は、ＭＰＥＧ１とＭＰＥＧ４とで異なる。図３１を用いて、ＭＰＥＧ１とＭＰＥＧ４のイントラマクロブロックのＤＣ係数の予測方法を説明する。
【００８７】
図３１の（ａ）は、ＭＰＥＧ１のＤＣ係数の予測を表している。図中の太い枠で囲まれていたマクロブロアクは、さらに細い点線で２４のブロックに区切られる。ブロックは符号化される順で、１，２，３，４のように番号がつけられている。ブロックの左上にある斜線で示した小さいブロックは、ＤＣ係数を意味する。矢印は予測の方向を示している。矢印の始点にあるＤＣ係数は、矢印の終点にあるＤＣ係数の予測値である。なお、ＤＣ係数の予測を行うのはイントラマクロブロックのみである。ＤＣ予測値は、スライス先頭および、非イントラマクロブロックのとき１０２４にリセットされる。ここでは、輝度のイントラマクロブロックのＤＣ係数の予測方法を例として挙げるが、色差のイントラマクロブロックのＤＣ係数に対しても同様の処理を行う。
【００８８】
先ず、dct_dc_size_luminance及びdct_dc_differentialと、dct_dc_size_chrominance及びdct_dc_differentialを、ＭＰＥＧ１ＶＬＣデコーダ１３３で復号し、予測誤差をmp1_Δnとし、ＤＣ係数をmp_dcnにする。なお、ｎはブロックの番号を示している。また、ＭＰＥＧ１ＶＬＣデコード１３３でデコードされた量子化係数をmp1_qnにすると、ブロック１のＤＣ予測誤差がmp1_Δ1，ＤＣ係数がmp1_dc1，量子化係数がmp1_q1となる。以下同様に、ブロック２のＤＣ予測誤差がmp1_Δ2，ＤＣ係数がmp1_dc2、量子化係数がmp1_q2となるようにし、ブロックｎのＤＣ予測誤差がmp1_Δn、ＤＣ係数がmp1_dcn、量子化係数がmp1_qnとなるようにする。各ブロックのＤＣ係数mp1_dcnは、以下の式によりＤＣ係数に復号される。
【００８９】
ブロック１：mp_dc1＝1024 ＋ mp1_Δ1 * mp1_q1 (1)
ブロック２：mp_dc2＝mp1_dc1 ＋ mp1_Δ2 * mp1_q2 (2)
ブロック３：mp_dc3＝mp1_dc2 ＋ mp1_Δ3 * mp1_q3 (3)
ブロック４：mp_dc4＝mp1_dc3 ＋ mp1_Δ4 * mp1_q4 (4)
・
・
また、ブロック１３からは、再び予測値が１０２４になる。したがって、以下の式によりＤＣ係数に復号される。
【００９０】
ブロック１３：mp_dc13＝1024 ＋ mp1_Δ13 * mp1_q13 (5)
ブロック１４：mp_dc14＝mp1_dc13 ＋ mp1_Δ14 * mp1_q14 (6)
・
・
ブロックｎ：mp_dcn＝mp1_dc(n-1) ＋ mp1_Δn * mp1_qn (7)
このように、ＭＰＥＧ１のブロックのＤＣ係数は、逆量子化されＤＣ係数の予測誤差と、前のプロックの復号されたＤＣ係数との和になる。
【００９１】
次に、図３１の（ｂ）は、ＭＰＥＧ４のシンタックスで定められている予測方法を示している。
【００９２】
ここで、ブロックＡ，Ｂ，Ｘ，Ｙ，Ｚ，Ｗは同じラインに格納されているが、ブロックＣ，Ｄ，Ｅは上のラインにあるブロックである。例えば、ブロックＸのＤＣ係数を求める際、隣接するブロックＢと上のラインにあるブロックＣ、ＤのＤＣ係数を比較することにより、ブロックＢあるいはブロックＤを予測に用いることが決まる。
【００９３】
Ｆ[0][0]をＤＣ係数にするとすると、ブロックＸのＤＣ係数の予測値を求める際には、｜ＦB[0][0] − ＦC[0][0]｜＜｜ＦC[0][0] − ＦD[0][0]|のときブロックＤを予測に用い、そうでない場合はブロックＢを予測に用いる。
【００９４】
また、ブロックＹのＤＣ係数の予測値を求める際には、｜ＦX[0][0] − ＦD[0][0]｜＜｜ＦD[0][0] − ＦE[0][0]|のときブロックＥを予測に用い、そうでない場合はブロックＸを予測に用いる。
【００９５】
ブロックＺのＤＣ係数の予測値を求める際には、｜ＦA[0][0] − ＦB[0][0]｜＜｜ＦB[0][0] − ＦX[0][0]|のときブロックＸを予測に用い、そうでない場合はブロックＡを予測に用いる。
【００９６】
ブロックＷのＤＣ係数の予測値を求める際には、｜ＦZ[0][0] − ＦX[0][0]｜＜｜ＦX[0][0] − ＦY[0][0]|のときブロックＹを予測に用い、そうでない場合はブロックＺを予測に用いる。
【００９７】
上述したように、ＭＰＥＧ４は、隣接するブロックのＤＣ係数の比較により予測値が決まる。各ブロックのdct_dc_size_luminance及びdct_dc_differentialと、dct_dc_size_chrominance及びdct_dc_differentialは、ＭＰＥＧ１ＶＬＣデコーダ１３３で復号され、さらにレジスタ５，６に入力された量子化マトリクスおよびレジスタ１９，２２に入力された量子化スケールを用いて、式（１）〜（７）に従って、ＭＰＥＧ１のＤＣ係数に復号される。復号されたＤＣ係数は、ＭＰＥＧ４の予測値を求める方法に従って、ＤＣ係数の予測値が決定され、ＤＣ係数め予測誤差が求められる。ＤＣ係数の予測誤差は、ＭＰＥＧ４ＶＬＣエンコーダ１３５によりエンコードされる。
【００９８】
レジスタ３２（Ｃ）、３３（Ｃ）には、dct_coef_first、dct_coef_nextのパラメータが入力する。イントラＡＣ係数及びインターのＤＣＴ係数の量子化方法は、ＭＰＥＧ１とＭＰＥＧ４のシンプルプロファイルとで異なる。ＭＰＥＧ１は、スライスヘッダとマクロブロック毎に設定可能なquantizer_scale及びシーケンス毎に設定するintra_quant_matrix, non_intra_quant_matrixによって、ＤＣＴ係数の量子化を行っている。イントラＡＣ係数の逆量子化は、式（８）に示すようになされる。
【００９９】
dct_recon[m][n]=(2*dct_zz[i]*quantizer_scale*intra_quant[m][n]/16 (8)
インターのＤＣＴ係数の逆量子化は式（９）に示すようになされる。
【０１００】
dct_recon[m][n]=(((2*dct_zz[i])+sign(dct_zz[i]))
*quantizer_scale*non_intra_quant[m][n]/16 (9)
ＭＰＥＧ４では、ＶＯＰ毎に設定するvop_quantとマクロブロック間の量子化スケールの差分dquantから求められたマクロブロック毎のquantizer_scaleによって量子化を行っている。式（１０）、式（１１）は、ＭＰＥＧ４のイントラＡＣ係数及びインターＤＣ係数逆量子化方式である。
【０１０１】
dct_zz[i]が偶数の場合、
dct_recom[m][n]=(2*dct_zz[i]+sign(dct_zz[i]))*quantize_scale (10)
dct_zz[i]が奇数の場合、
dct_recom[m][n]=(2*dct_zz[i]+sign(dct_zz[i]))
*quantize_scale−sign(dct_zz[i]) (11)
なお、dct_recon[m][n]は、復元されたＤＣＴ係数であり、dct_zz[i]はジグザグスキャンした２次元係数を１次元にした値である。
【０１０２】
従って、量子化ＤＣＴ係数の変換をするには、dct_coef_firstとdct_coef_nextをＭＰＥＧ１ＶＬＣデコーダ１３３よりdct_zz[i]に復号し、逆量子化によりdct_recon[m][n]に復号する。復号されたdct_recom[m][n]をＭＰＥＧ４のdct_zz[i]を符号化する際、用いる可変長符号化方法が異なる。ＭＰＥＧ１は、２次元のラン、レベルペアを用いるが、ＭＰＥＧ４は、３次元のラン（run)、レベル（level）、ラスト（last）ペアを用いる。その関係は、図３２のようになっている。
【０１０３】
その後、求められたラスト、ラン、レベルペアは、ＭＰＥＧ４ＶＬＣエンコーダ１３５によりエンコードされる。
【０１０４】
レジスタ３４（Ｂ）、３５（Ｂ）には、macroblock_escape、macroblock_address_incrementのパラメータが入力する。macroblock_address_incrementは３３以上になった時、macroblock_escapeを用いる。macroblock_escapeの値は３３である。スキップマクロブロックの数は、macroblock_escape * n + macroblock_address_incrementになる。なお、ｎはmacroblock_escapeが表れた回数を意味する。
【０１０５】
レジスタ３６（Ａ）、３７（Ａ）、３８（Ａ）、３９（Ａ）、４０（Ａ）、４１（Ａ）、４２（Ａ）には、macroblock_type、quantizer_scale(M)、motion_horizontan_forward_code、motion_horizontal_forward_r、motion_vertical_forward_code、motion_vertical_forward_r、coded_block_patternの各パラメータが入力する。これらパラメータについては、先頭のマクロブロックのパラメータ変換と同様な処理がなされる。
【０１０６】
以上の４２個のレジスタにＭＰＥＧ１のパラメータを入力し、そこでＭＰＥＧ４のパラメータが生成される。なお、それ以外では、ＭＰＥＧ４のリシンクマーカのパケットヘッダ（pocket header）にマクロブロックナンバー（macroblock number）を設定するフラグがあるため、マクロブロックのナンバーをカウントするカウンタを格納するバッファも必要である。
【０１０７】
次に、本発明の第２の実施の形態について説明する。
【０１０８】
第２の実施の形態の構成は、前記第１の実施の形態の構成と同様であるが、画像符号化フォーマット変換器の一部の動作が異なる。
【０１０９】
前述の図２９、図３１と同様に表す図３３と図３４を用いてその動作を説明する。
【０１１０】
第２の実施の形態の場合の画像符号化フォーマット変換器内では、ＭＰＥＧ４のビットストリームを構成する際に、各行の先頭にリシンクマーカを配置するという動作を加える。
【０１１１】
第１の実施の形態に説明したように、リシンクマーカは、本来、ＭＰＥＧ４復号時エラー伝播を阻止するための同期語で、正しく復号できる開始点を示している。リシンクマーカの次にヘッダ情報の一部が記述されているため、その情報を用いて正しく復号化できる。例えば、行の先頭にリシンクマーカを配置すると、その行に格納されているマクロブロックデータは他の行のマクロブロック情報を参照することなく、独立して符号化される。したがって、動きベクトルの予測及びイントラマクロブロックのＤＣ係数の予測は、行にまたがったマクロブロックを参照することがなくなり、変換の処理両が少なくなる。
【０１１２】
図３３を用いて、リシンクマーカを配置した後の動きベクトルの変換について説明する。
【０１１３】
図３３の（ａ）は、ＭＰＥＧ１の動きベクトルの予測方法を示している。マクロブロックＭＢの動きベクトルＭＶの予測値は、図の左側のマクロブロックＭＢ１の動きベクトルＭＶ１である。
【０１１４】
図３３の（ｂ）は、行の先頭にリシンクマーカを配置した場合、ＭＰＥＧ４の動きベクトルＭＶの予測方法を示している。図２９の（ｂ）と異なるのは、上のラインをまたがったマクロブロックＭＢの動きベクトルＭＶを参照することがなくなったことである。そのため、常に左側にあるマクロブロックＭＢ１の動きベクトルＭＶが予測値となり、ＭＰＥＧ１と同様な予測方法になっている。
【０１１５】
従って、この第２の実施の形態の場合のレジスタ２４、２５、２６および２７に入力したＭＰＥＧ１のパラメータは、ＭＰＥＧ１のＶＬＣデコーダを通してデコードされた後、パラメータ変換せずに、ＭＰＥＧ４のＶＬＣエンコーダでＭＰＥＧ４で用いるパラメータに変換される。
【０１１６】
それ以外のリシンクマーカを配置した際、動きベクトルＭＶへの処理は以下のようになる。
【０１１７】
先ず、ＭＰＥＧ１のピクチャ層の先頭以外のスライス層を変換処理した場合、スライスヘッダの先頭のマクロブロックＭＢは動きベクトル予測誤差が０で、動きベクトル係数を用いる。リシンクマーカの先頭のマクロブロックＭＢも動きベクトル予測誤差が０で、動きベクトル係数を用いる。従って、スライスヘッダに相当するリシンクマーカを配置した場合、ＭＰＥＧ１とＭＰＥＧ４は一致する。しかし、リシンクマーカを配置しない場合は、先頭のマクロブロックＭＢの動きベクトルＭＶは動きベクトル係数の代わりに、予測誤差で符号化することになる。そのため、前のマクロブロックＭＢの動きベクトルＭＶとの差を求めるこどができるように、動きベクトル係数に復号する必要がある。
【０１１８】
一方、連続した２つのマクロブロックＭＢのquantizer_scaleの差分が２以上になった場合において、リシンクマーカが配置された場合は、ＭＰＥＧ１では、動きベクトルＭＶの予測誤差が符号化されているが、ＭＰＥＧ４では、リシンクマーカが配置された後、動きベクトル係数を符号化することになる。そのため、リシンクマーカ直後のマクロブロックＭＢの動きベクトル係数を求めるには、そのマクロブロックＭＢの前にあるマクロブロックＭＢの動きベクトル係数を復号する必要がある。
【０１１９】
それ以外のマクロブロックＭＢの動きベクトルＭＶは、ＭＰＥＧ１とＭＰＥＧ４とも、動きベクトル予測誤差を用いるため、変換する必要がない。
【０１２０】
図３４を用いて、イントラマクロブロックのＤＣ係数の変換について説明する。
【０１２１】
図３４の（ａ）は、ＭＰＥＧ１でのイントラマクロブロックのＤＣ係数の予測方法を示している。
【０１２２】
図３４の（ｂ）は、リシンクマーカを配置した後、ＭＰＥＧ４のＤＣ係数の予測方法を示している。
【０１２３】
この図３４から判るように、またがったラインのマクロブロックＭＢを参照しないため、ライン内のブロックのＤＣ係数のみを予測値として用いる。ここで、ＭＰＥＧ１のＤＣ係数はすでに逆量子化され、ＤＣ係数に復号されているとする。第１の実施の形態と同様に、図３４の（ｂ）のＭＰＥＧ４のブロック１のＤＣ予測誤差をmp4_Δ1、ＤＣ係数をmp4_dc1、量子化係数をmp_q1、ブロック２のＤＣ予測誤差をmp4_Δ2、ＤＣ係数をmp4_dc2のように、量子化係数をmp4_q2、ブロックｎのＤＣ予測誤差をmp4_Δn、ＤＣ係数をmp4_dcn、量子化係数をmp4_qnとすると、各ブロックのＤＣ係数mp4_dcnおよびＤＣ予測誤差mp4_Δnは、以下の式により求められる。
【０１２４】
ブロック１：mp4_dc1＝１０２４＋mp4_Δ1*mp4_q1 (12)
ここで、同じブロックのＤＣ係数が同じ値であると仮定すると、式（１３）で表すことができる。
【０１２５】
mp4_dc1＝mp1_dc1 (13)
この式（１３）を式（１２）に代入すると、式（１４）のようになる。
【０１２６】
mp1_dc1＝１０２４＋mp4_Δ1*mp4_q1 (14)
従って、mp4_Δ1は次式（１５）のようになる。
【０１２７】
mp4_Δ1＝(mp1_dc1−1024)/mp4_q1 (15)
式（１５）のmp4_Δ1が整数なので、実際のmp4_Δ1は、式（１６）のようになる。
【０１２８】
mp4_Δ1'＝[mp4_Δ1]＝[(mp1_dc1−1024)/mp4_q1] (16)
なお、式（１６）の[]は整数化することを意味する。
【０１２９】
量子化誤差を考慮すると、実際ＭＰＥＧ４デコーダで逆量子化されるブロック１のＤＣ係数mp4_dc1は、式（１７）のようになる。
【０１３０】
mp4_dc1＝１０２４＋[mp4_Δ1]*mp4_q1 (17)
また、ブロック２は、上側にブロックがないため、左側にあるブロック１のＤＣ係数を予測値とする（mp4_dc2＝mp4_dc1＋mp4_Δ２*mp4_q2）と同様に、mp4_dc2＝mp1_dc2と仮定すると、式（１８）で表される。
【０１３１】
mp4_Δ2'＝[mp4_Δ2]＝[(mp1_dc2−mp4_dc1)/mp4_q2] (18)
実際、ＭＰＥＧ４デコーダで量子化されたブロック１のＤＣ係数は、式（１９）のようになる。
【０１３２】
mp4_dc2＝mp4_dc1＋[mp4_Δ2]*mp4_q2 (19)
次に、ブロック３は、左側にブロックがないため、上側にあるブロック１のＤＣ成分を予測値とし、上述同様にして式（２０）で表される。
【０１３３】
mp4_Δ3'＝[mp4_Δ3]＝[(mp1_dc3−mp4_dc1)/mp4_q3] (20)
実際ＭＰＥＧ４デコーダで量子化されたブロック１のＤＣ係数は、式（２１）のようになる。
【０１３４】
mp4_dc3＝mp4_dc1＋[mp4_Δ3]*mp4_q3 (21)
ブロック４は、近傍のブロック１，２，３のＤＣ係数を比較することによって、ＤＣ係数の予測値が決まる。この時点では、ブロック１，２，３のＤＣ係数がすでに計算されているため、｜mp4_dc3−mp4_dc1｜＜|mp4_dc2−mp4_dc1｜のとき、ブロック２を予測に用いる。
【０１３５】
同様に、式（２２）と式（２３）の計算を行う。
【０１３６】
mp4_Δ4'＝[mp_Δ4]＝[(mp1_dc4−mp4_dc2)/mp4_q4] (22)
mp4_dc4＝mp4_dc2＋[mp4_Δ4]*mp4_q4 (23)
そうでなければ、式（２４）、式（２５）のように、ブロック３のＤＣ係数を予測値として用いる。
【０１３７】
mp4_Δ4’＝[mp_Δ4]＝[(mp1_dc4−mp4_dc3)/mp4_q4] (24)
mp4_dc4＝mp4_dc3＋[mp4_Δ4]*mp4_q4 (25)
ブロック１３は、再びブロック１と同様に、予測値を１０２４として計算し、ブロック１４，１５，１６はそれぞれ、ブロック２，３，４と同様な計算をする。ブロック１７，１８，２１，２２はそれぞれ前のブロックのＤＣ係数を予測値とする。ブロック１９，２０，２３，２４のみは、それぞれ前と上のブロックのいずれのＤＣ係数を予測値として用いる。すなわち、本実施の形態では、すべてのイントラマクロブロックのブロックに対し、近傍のブロックのＤＣ係数を比較することがなくなり、一部のイントラマクロブロックのブロックに対し、近傍のブロックのＤＣ係数を比較し、予測値を決めることとなる。そのため、変換処理が軽くなる。
【０１３８】
なお、色差のイントラマクロブロックのＤＣ係数の予測は、１つのマクロブロックＭＢに対して、１つの色差ブロックのみがラインに格納されている。そのため、輝度のイントラのＤＣ係数との予測方法が異なり、前の色差ブロックのＤＣ係数を予測値として用いる。すなわち、行の先頭にリシンクマーカを配置した場合、ＭＰＥＧ４のイントラマクロブロックの色差のＤＣ係数の予測方法と、ＭＰＥＧ１とが一致する。
【０１３９】
上述した計算で求めたmp4_Δnは、ＭＰＥＧ４のＶＬＣエンコーダにより、dct_dc_size_luminance及びdct_dc_differentialと、dct_dc_size_chrominance及びdct_dc_size_differentialになされる。
【０１４０】
以上のイントラのＤＣ係数は、量子化誤差を考慮して計算されているため、値は正確に求められるが、処理量が大きい。そこで、量子化誤差を考慮せず、ＭＰＥＧ１とＭＰＥＧ４のＤＣ係数が同様な値にすると仮定して、量子化ＤＣ係数を求めると、処理量がさらに少なくなる。
【０１４１】
図３４の（ｂ）と同様な予測方法である。
【０１４２】
ＭＰＥＧ１のＤＣ係数の各量子化係数はmp1_q1＝mp1_q2＝・・・＝mp1_qn＝８である。
【０１４３】
ブロック１はＭＰＥＧ１とＭＰＥＧ４ともに同様な予測値を用いる。例えば、ＭＰＥＧ１ではmp1_dc1＝１０２４＋mp1_Δ１、ＭＰＥＧ４ではmp4_dc1＝１０２４＋mp4_Δ１、mp1_dc1＝mp4_dc1と仮定すると、式（２６）のようになる。
【０１４４】
mp4_Δ1＝mp1_Δ1 (26)
また、ブロック２もＭＰＥＧ１とＭＰＥＧ４が同様な予測値を用いる。例えば、ＭＰＥＧ１ではmp1_dc2＝mp1_dc1＋mp1_Δ2*mp1_q2、ＭＰＥＧ４ではmp4_dc2＝mp4_dc1＋mp4_Δ2*mp4_q2、mp1_dc2＝mp4_dc2と仮定すると、式（２７）のようになる。
【０１４５】
mp4_Δ2＝mp1_Δ1*mp1_q2/mp4_q2＝mp1_Δ1*8/mp2_q2 (27)
ブロック３の場合、ＭＰＥＧ１ではブロック２のＤＣ係数を予測値として用いるが、ＭＰＥＧ４ではブロック１のＤＣ係数を予測値として用いる。例えば、ＭＰＥＧ１ではmp1_dc3＝mp1_dc2＋mp1_Δ3*mp1_q3、ＭＰＥＧ４ではmp4_dc3＝mp4_dc1＋mp4_Δ3*mp4_q3、mp1_dc3＝mp4_dc3と仮定すると、式（２８）のようになる。
【０１４６】
mp4_Δ3＝(mp1_dc2−mp4_dc1＋mp1_Δ3*mp1_q3)/mp4_q3
＝(mp1_dc2−mp1_dc1＋mp1_Δ3*mp1_q3)/mp4_q3
＝(mp1_Δ2*mp1_q2＋mp1_Δ3*mp1_q3)/mp4_q3
＝(mp1_Δ2＋mp1_Δ3)*8/mp4_q3 (28)
ブロック４の場合、ＭＰＥＧ４では近傍のブロック１，２，３のＤＣ係数を比較することによって、ＤＣ係数の予測値が決まる。例えば、ＭＰＥＧ１ではmp1_dc4＝mp1_dc3＋mp1_Δ4*mp1_q4、ＭＰＥＧ４では｜mp4_dc3−mp4_dc1｜＜｜mp4_dc2−mp4_dc1｜であれば、ブロック２を予測に用いる。すなわち以下のようになる。
【０１４７】
｜mp1_dc3−mp1_dc1｜＜｜mp1_dc2−mp1_dc1｜
｜mp1_dc3−mp1_dc2＋mp1_dc2−mp1_dc1｜＜｜mp1_dc2−mp1_dc1｜
｜mp1_Δ3＋mp1_Δ2｜＜｜mp1_Δ2｜
mp1_Δ2＞０，mp1_Δ3＜０、若しくは、mp1_Δ2＜０，mp1_Δ3＞０つまり、mp1_Δ2*mp1_Δ3＜０であれば、ブロック２のＤＣ係数を予測値とする。
【０１４８】
また、mp4_dc4＝mp4_dc2＋mp4_Δ4*mp4_q4、mp4_dc4＝mp1_dc4と仮定すると、同様に式（２９）になる。
【０１４９】
mp4_Δ4＝(mp1_Δ3＋mp1_Δ4)*8/mp4_q4 (29)
逆に、mp1_Δ2*mp1_Δ3＞＝０であれば、ブロック３のＤＣ係数を予測値とする。
【０１５０】
mp4_dc4＝mp4_dc3＋mp4_Δ4*mp4_q4
同様に式（３０）になる。
【０１５１】
mp4_Δ4＝mp1_Δ4*8/mp4_q4 (30)
なお、mp1_Δ2*mp_Δ3の符号は、mp1_Δ2とmp_Δ3の可変長符号によって求めることができる。ＭＰＥＧ１では、mp1_Δ2又はmp1_Δ3が正数であれば、１番最後のビットは０となる。逆に、負数であれば１となる。従って、最後のピットの論理積を取ることによって、mp1_Δ2*mp1_Δ3の符号がわかる。すなわち、近傍のブロックのＤＣ係数に復号せずに、可変符号のままで比較し、予測値を決めることができる。
【０１５２】
ブロック１３からの計算もブロック１〜４までと同様にできる。
【０１５３】
また、ＭＰＥＧ４のＤＣ係数の量子化係数mp4_qnは、ＡＣ係数の量子化係数によって、以下のような処理が行われている。なお、図３５に示すように、ＡＣ係数の量子化係数quantizer_scaleが１〜４の場合は、ＭＰＥＧ４のＤＣ係数の量子化係数はＭＰＥＧ１と同様に８になる。
【０１５４】
式（２６）〜式（２９）に示したmp4_qnを用いた８/mp4_qnは、論理回路で簡単に演算できるように、図３６に示しているような近似式により求める。なお、図３６には、ＡＣ係数の量子化係数が５〜８の値を例にしているが、他の値に対しても同様な近似式が求められる。
【０１５５】
従って、ＭＰＥＧ４の量子化ＤＣ係数は、すべてＭＰＥＧ１の量子化ＤＣ係数より求めることができる。また、予測を求める際、近傍のプロックのＤＣ係数の比較もＭＰＥＧ１の量子化ＤＣ係数の可変符号を用いて行うことができる。そのため、ＭＰＥＧ１の量子化ＤＣ係数をＭＰＥＧ１で逆量子化し、ＤＣ係数の復号を行ってからＭＰＥＧ４で量子化することがなくなり、処理が少なくなる。
【０１５６】
次に、本発明の第３の実施の形態について説明する。
【０１５７】
本発明の第３の実施の形態の構成は、基本的には図１に示した第１の実施の形態の構成と同様であるが、第３の実施の形態の場合のＭＰＥＧ１画像符号化器１２０では、ＭＰＥＧ１のパラメータであるウェイティングマトリクス（weightinb matrix）を１６に固定する。その結果、ＭＰＥＧ４のシンプルプロファイルに用いる量子化方法はＭＰＥＧ１と一致し、ＭＰＥＧ１の逆量子化を行った後、ＭＰＥＧ４の量子化をする必要がなくなり、処理が軽くなる。
【０１５８】
すなわち、ＭＰＥＧ１には、シーケンスにintra_quantizer_matrixとnon_intra_quantizer_matrixのような量子化マトリクスがあるが、ＭＰＥＧ４のシンプルプロファイルにはない。図１に示した第１の実施の形態のフォーマット変換では、量子化ＤＣＴ係数をＭＰＥＧ１で逆量子化してＤＣＴ係数に復元し、それをＭＰＥＧ４で量子化をする必要があるため、計算量が大きい。これに対して、第３の実施の形態では、計算量を減らすため、入力された画像信号をＭＰＥＧ１画像符号化器１２０により符号化する際に、ＭＰＥＧ１のパラメータであるintra_quantizer_matrixの６４個の値をすべて１６に設定する。そうすることによって、ＭＰＥＧ１の逆量子化方式とＭＰＥＧ４の逆量子化方式が一致し、ＭＰＥＧ４の量子化ＤＣＴを求める際に、ＭＰＥＧ１の逆量子化をしてからＭＰＥＧ４の量子化する必要がなくなる。なお、この第３の実施の形態の場合、ＭＰＥＧ１の量子化パラメータであるintra_quantizer_matrix，non_intra_quantizer_matrixはレジスタ５，６に入力せず、除去する。
【０１５９】
次に、本発明の第４の実施の形態について説明する。
【０１６０】
本発明の第４の実施の形態の構成は、基本的には図１に示した第１の実施の形態の構成と同様であるが、第４の実施の形態の場合のＭＰＥＧ１画像符号化器１２０では、輝度の動きベクトルへの処理が加わる。すなわち、輝度の動きベクトルＭＶとして例えば１，５，９，・・・のような４で割って余りが１となる値が検出された場合、１を減らした値を符号化時に用いる輝度の動きベクトルＭＶにする。つまり、クロマの動きベクトルの求め方はＭＰＥＧ１とＭＰＥＧ４が異なるため、動き補償する際に、ドリフト誤差が生じ、画質が劣化するので、ＭＰＥＧ４のクロマの動きベクトルをＭＰＥＧ１のクロマの動きベクトルに一致させることにより、画質を向上させている。
【０１６１】
より具体的に説明すると、輝度の動きベクトルＭＶに対して、クロマの動きベクトルは、ＭＰＥＧ１では輝度の動きベクトルＭＶの二分の一になっているが、ＭＰＥＧ４ではＭＰＥＧ４のシンタックスに従った求め方がある。例えば、図３７の（ａ）は、輝度の動きベクトルＭＶが０，１，２，３，・・・のようになっているときのＭＰＥＧ１とＭＰＥＧ４のクロマの動きベクトルＭＶを示しており、図中円で囲まれた数字で表される動きベクトルの場合、一つの輝度の動きベクトルＭＶに対して、ＭＰＥＧ１とＭＰＥＧ４のクロマの動きベクトルＭＶが異なる。それ以外は、ＭＰＥＧ１とＭＰＥＧ４のクロマの動きベクトルＭＶが常に一致している。このように、クロマの動きベクトルＭＶが異なると、動き補償を行う際に、クロマの値が少しずれてしまう。この場合、イントラＶＯＰがリセットされない限りは、クロマの誤差が蓄積して、画像の色が部分的に緑になる。そういう劣化を防ぐために、輝度の動きベクトルＭＶの図中円で囲まれた数字で表される値１，５，９から１を引いた値を輝度の動きベクトルＭＶとして用いて、動き補償を行う。その結果、図３７の（ｂ）に示しているように、一つの輝度の動きベクトルＭＶに対して、ＭＰＥＧ１とＭＰＥＧ４のクロマの輝度が一致する。すなわち、入力された画像をＭＰＥＧ１画像符号化器１２０で符号化する際に、検出された輝度のＭＶが１，５，９，・・・である場合、それらから１を引いた値を輝度の動きベクトルＭＶとして用いて、動き補償を行う。もしくは、ＭＰＥＧ１画像符号化器１２０では、検出された輝度の動きベクトルＭＶが１である場合、動きベクトルを０、すなわち動き補償無しのモード（ｎｏ ＭＣモード）になるような処理方法も同様の効果が得られ、さらに画像符号化ビットストリームの発生するビット量を少なくできるという利点を持つ。
【０１６２】
次に、本発明の第５の実施の形態について説明する。
【０１６３】
本発明の第５の実施の形態の構成は、基本的には図１に示した第１の実施の形態の構成と同様であるが、第５の実施の形態の場合、イントラＡＣ係数に対するＭＰＥＧ１の逆量子化方法とＭＰＥＧ４の逆量子化方法とが異なる。すなわち、図３８に示すように、ＭＰＥＧ１と同様の量子化係数を用いて、ＭＰＥＧ４で逆量子化すると、ＭＰＥＧ１と異なった値になる。そこで、第５の実施の形態では、量子化ＤＣＴ係数が、ある範囲に集中しているという性質を利用し、画像符号化フォーマット変換装置１２３において、ＭＰＥＧ１の量子化係数からＭＰＥＧ４の量子化係数を求める。例えば、大部分のＤＣＴ係数が０，１，２，・・・に集中しているとした場合、第５の実施の形態の画像符号化フォーマット変換装置１２３では、その部分の逆量子化値を一致させるため、式（３１）及び（３２）に基づいて、例えばＭＰＥＧ１の量子化係数ｑ＝３０からＭＰＥＧ４の量子化係数ｑ＝２０を求める。或いは、ウェイティングマトリクスを２４に設定しても同様の効果が得られる。
【０１６４】
dct_recon[i]＝2*QF[i]*q_scale*weighting matrix/16 MPEG1 (31)
dct_recon[i]＝(2*QF[i]+sign(QF[i]*q_scale+sign(QF[i]) MPEG4 (32)
より具体的に説明すると、式（３１）及び（３２）に示したように、イントラのＡＣ係数の逆量子化方法は、ＭＰＥＧ１とＭＰＥＧ４とで異なる。また、図３８は、ＭＰＥＧ１で量子化係数をｑ＝３０として符号化した場合のＤＣＴ係数の再構成例を示している。例えば、ＤＣＴ係数が０，１，２，・・・のような値である場合、ＭＰＥＧ１で量子化係数ｑ＝３０で逆量子化がなされた値は、それぞれ０，６０，１２０，・・・となる。また、ＭＰＥＧ４で同じ量子化係数（ｑ＝３０）を用いれば、ＭＰＥＧ４の逆量子化方式に従って求められる値は、０，９０，１５０，２１０，・・・のように、ＭＰＥＧ１の逆量子化方式で求められた値より３０、すなわちｑ（＝３０）の値が多くなる。そのため、量子化係数ｑが増えるにつれて、イントラＶＯＰの劣化が著しくなる。そこで、画質を向上させるには、統計的に、ＤＣＴ係数の集中している部分を検出し、例えばＤＣＴ係数が１近辺に集中しているとすると、ＭＰＥＧ１で逆量子化された値とＭＰＥＧ４で逆量子化された値を一致させるため、式（３１）と式（３２）を用いて計算を行う。これにより、ＭＰＥＧ４の量子化係数ｑは６０／９０*３０（ｑ）＝２０となり、ＭＰＥＧ４での逆量子化による値は、０，６０，１００，・・・となり、ＭＰＥＧ１と同様あるいは近い値となる。なお、それ以外の値は大きく異なってくるが、極めて発生する確率が少ないため、少々劣化しても気にならない程度である。すなわち、当該第５の実施の形態では、ＭＰＥＧ１のＤＣＴ係数が集中している部分を検出し、その部分におけるＭＰＥＧ１とＭＰＥＧ４の逆量子化される値を一致させるため、ＭＰＥＧ４で用いるｑの変換を行う。
【０１６５】
なお、量子化係数ｑの変換を行わないで、ＭＰＥＧ１画像符号化器１２０がウェイティングマトリクスを新たな値に設定しても同様の効果が得られる。その際、式（３１）を用いる代わりに、式（８）を用いて計算すると、ウェイティングマトリクスの値が２４となり、量子化係数ｑを３０から２０に変換した方法と同様の効果が得られる。
【０１６６】
【発明の効果】
以上の説明からも明らかなように、本発明の符号化フォーマット変換装置及び方法においては、第１の符号化方式のパラメータを、そのパラメータの値に応じて第２の符号化方式のパラメータに変換し、当該第２の符号化方式のパラメータを用いて、第１の符号化信号から第２の符号化信号を生成することにより、例えば、ＭＰＥＧ１画像符号化ビットストリームのような第１の符号化信号をＭＰＥＧ４画像符号化ビットストリームのような第２の符号化信号に変換する場合に、信号品質を劣化させずに処理量を低減し、且つ、時間遅延を少なくし、さらに装置構成の大規模化をも防止可能となっている。
【０１６７】
また、本発明の符号化信号生成装置及び方法においては、第１の符号化方式にて使用される第１の量子化方法と第２の符号化方式にて使用される第２の量子化方法とが異なるとき、第１の量子化方法で用いるパラメータに代え、第２の量子化方法で用いるパラメータを第１の符号化方式により符号化された信号に含めて第１の符号化信号を生成することにより、例えば、ＭＰＥＧ１画像符号化ビットストリームのような第１の符号化信号をＭＰＥＧ４画像符号化ビットストリームのような第２の符号化信号に変換する際に、信号品質を劣化させずに処理量を低減し、且つ、時間遅延を少なくし、さらに装置構成の大規模化をも防止可能な、第１の符号化信号を生成できる。
【０１６８】
また、本発明の符号化信号生成装置及び方法においては、第１の符号化信号を生成する際に用いた色差の動きベクトルと上記第２の符号化信号を生成する際に用いた色差の動きベクトルとが異なるとき、第１の符号化信号での色差の動きベクトルと第２の符号化信号での色差の動きベクトルとが等しくなるように、第１の符号化信号の輝度の動きベクトルを第２の符号化信号の輝度の動きベクトルに変換することにより、例えば、ＭＰＥＧ１画像符号化ビットストリームのような第１の符号化信号をＭＰＥＧ４画像符号化ビットストリームのような第２の符号化信号に変換する際に、信号品質を劣化させずに処理量を低減し、且つ、時間遅延を少なくし、さらに装置構成の大規模化をも防止可能な、第１の符号化信号を生成できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態のシステム構成例を示すブロック回路図である。
【図２】画像符号化フォーマット変換装置の詳細な構成を示すブロック回路図である。
【図３】ＭＰＥＧ１パラメータをＭＰＥＧ４パラメータヘ変換する流れ（その１）についての説明に用いる図である。
【図４】ＭＰＥＧ１パラメータをＭＰＥＧ４パラメータヘ変換する流れ（その２）についての説明に用いる図である。
【図５】ＭＰＥＧ１パラメータをＭＰＥＧ４パラメータヘ変換する流れ（その３）についての説明に用いる図である。
【図６】ＭＰＥＧ１パラメータをＭＰＥＧ４パラメータヘ変換する流れ（その４）についての説明に用いる図である。
【図７】ＭＰＥＧ１パラメータをＭＰＥＧ４パラメータヘ変換する流れ（その５）についての説明に用いる図である。
【図８】ＭＰＥＧ１パラメータをＭＰＥＧ４パラメータヘ変換する流れ（その６）についての説明に用いる図である。
【図９】ＭＰＥＧ１パラメータをＭＰＥＧ４パラメータヘ変換する流れ（その７）についての説明に用いる図である。
【図１０】レジスタ１，２に入力するパラメータとその変換の説明に用いる図である。
【図１１】レジスタ３に入力するパラメータとその変換の説明に用いる図である。
【図１２】レジスタ４に入力したパラメータとその変換の説明に用いる図である。
【図１３】レジスタ４に入力したパラメータの関係説明に用いる図である。
【図１４】レジスタ７，８に入力するパラメータとその変換の説明に用いる図である。
【図１５】レジスタ９に入力するパラメータとその変換の説明に用いる図である。
【図１６】レジスタ１０，１１に入力するパラメータとその変換の説明に用いる図である。
【図１７】レジスタ１２，１３に入力するパラメータとその変換の説明に用いる図である。
【図１８】レジスタ１４に入力するパラメータとその変換の説明に用いる図である。
【図１９】レジスタ１５に入力するパラメータとその変換の説明に用いる図である。
【図２０】レジスタ１６に入力するパラメータとその変換の説明に用いる図である。
【図２１】レジスタ１７，１８に入力するパラメータとその変換の説明に用いる図である。
【図２２】マクロブロックのdquantのパラメータの求め方の説明に用いる図である。
【図２３】連続した２つのマクロブロックのquantizer_scaleの差分をＭＰＥＧ４のシンタックスの制約に従って３つのケースに分け、dquantを求める処理の説明に用いる図である。
【図２４】ピクチャの先頭のスライスヘッダを除去する処理の説明に用いる図である。
【図２５】ピクチャの先頭以外のスライス層の処理の説明に用いる図である。
【図２６】レジスタ２１に入力するパラメータとその変換の説明に用いる図である。
【図２７】レジスタ２７に入力するパラメータとその変換の説明に用いる図である。
【図２８】レジスタ２３，２４，２５，２６に入力するパラメータとその変換の説明に用いる図である。
【図２９】ＭＰＥＧ１とＭＰＥＧ４の動きベクトルの予測方法の説明に用いる図である。
【図３０】レジスタ２８，２９，３０，３１に入力するパラメータとその変換の説明に用いる図である。
【図３１】ＭＰＥＧ１とＭＰＥＧ４のイントラマクロブロックのＤＣ係数の予測方法の説明に用いる図である。
【図３２】ＭＰＥＧ１の２次元のラン、レベルペアと、ＭＰＥＧ４の３次元のラン（run)、レベル（level）、ラスト（last）ペアの関係を示す図である。
【図３３】リシンクマーカを配置した後の動きベクトルの変換の説明に用いる図である。
【図３４】イントラマクロブロックのＤＣ係数の変換の説明に用いる図である。
【図３５】ＭＰＥＧ４のＤＣ係数の量子化係数とＡＣ係数の量子化係数の関係説明に用いる図である。
【図３６】式（２６）〜式（２９）を論理回路で演算する場合の近似式の説明に用いる図である。
【図３７】本発明の第４の実施の形態における輝度の動きベクトル処理の説明に用いる図である。
【図３８】本発明の第５の実施の形態の場合に、イントラＡＣ係数に対するＭＰＥＧ１の逆量子化方法とＭＰＥＧ４の逆量子化方法の説明に用いる図である。
【図３９】従来のシステム構成例を示すブロック回路図である。
【符号の説明】
１２０ ＭＰＥＧ１画像符号化装置、 １２１ 記録器、 １２２ 伝送器、
１２３ 画像符号化フォーマット変換装置
Claims (18)
- 第１の符号化方式により符号化された第１の符号化信号に含まれる第１の符号化方式のパラメータを、そのパラメータの種類に応じて上記第１の符号化方式とは異なる第２の符号化方式のパラメータに変換するパラメータ変換手段と、
上記パラメータ変換手段により得られた第２の符号化方式のパラメータを用いて、上記第１の符号化信号から第２の符号化信号を生成する信号生成手段とを備え、
上記パラメータ変換手段は、
上記第１の符号化信号から上記第１の符号化方式のパラメータを抽出する抽出手段と、
上記抽出手段により抽出した第１の符号化方式のパラメータを、第１の変換処理が施される第１の種類と、第２の変換処理が施される第２の種類と、第３の変換処理が施される第３の種類とに分類する分類手段と、
上記第１の変換処理として、上記第１の種類に分類した第１の符号化方式のパラメータをそのまま上記第２の符号化方式のパラメータとして用いる第１の変換処理部と、上記第２の変換処理として、上記第２の種類に分類した第１の符号化方式のパラメータを当該第１の符号化方式に対応する復号化方式により復号化した後に第２の符号化方式にて符号化する第２の変換処理部と、上記第３の変換処理として、上記第３の種類に分類した第１の符号化方式のパラメータを当該第１の符号化方式に対応する復号化方式により復号化した後に第２の符号化方式のパラメータに変換し、当該第２の符号化方式のパラメータを第２の符号化方式にて符号化する第３の変換処理部とからなる変換処理手段とを有する符号化フォーマット変換装置。 - 上記信号生成手段は、当該第２の符号化信号を復号化する際に使用する同期信号を、上記第２の符号化信号を構成する符号化信号列の所定の処理単位の先頭に配置する機能を有する請求項１記載の符号化フォーマット変換装置。
- 上記第２の符号化方式がＭＰＥＧ２画像符号化方式であるとき、上記信号生成手段は、画像のＶＯＰヘッダの先頭以外の行の先頭に上記同期信号としてリシンクマーカを配置する請求項２記載の符号化フォーマット変換装置。
- 上記第１の符号化方式に対応する復号化方式の逆量子化方法と、上記第２の符号化方式に対応する復号化方式の逆量子化方法とが異なるとき、上記パラメータ変換手段は、上記第１の符号化信号を逆量子化した信号の主要部の値と、上記第２の符号化信号を逆量子化した信号の主要部の値とを一致させるように、上記第１の符号化方式の量子化パラメータを上記第２の符号化方式の量子化パラメータに変換する機能を有する請求項１記載の符号化フォーマット変換装置。
- 上記第１の符号化信号と第２の符号化信号とが、それぞれ所定符号化単位内で完結した符号化が行われた第１の信号と所定符号化単位間の予測による符号化が行われた第２の信号とを少なくとも含むとき、上記信号生成手段は、上記第１の符号化信号内の上記第１の信号を、上記第２の符号化方式の第２の信号に直接変換する機能を有する請求項１記載の符号化フォーマット変換装置。
- 第１の符号化方式により符号化された第１の符号化信号に含まれる第１の符号化方式のパラメータを、そのパラメータの種類に応じて上記第１の符号化方式とは異なる第２の符号化方式のパラメータに変換するパラメータ変換手段と、
上記パラメータ変換手段により得られた第２の符号化方式のパラメータを用いて、上記第１の符号化信号から第２の符号化信号を生成する信号生成手段とを備える符号化フォーマット変換装置と、
上記第１の符号化方式にて使用される第１の量子化方法と上記第２の符号化方式にて使用される第２の量子化方法とが異なるとき、上記第１の量子化方法で用いるパラメータに代え、上記第２の量子化方法で用いるパラメータを上記第１の符号化方式により符号化された信号に含めて、上記符号化フォーマット変換装置に供給する第１の符号化信号を生成し、上記符号化フォーマット変換装置に対して、上記第１の符号化信号を供給するパラメータ変更手段を有する符号化信号生成装置とを備え、
上記パラメータ変換手段は、
上記第１の符号化信号から上記第１の符号化方式のパラメータを抽出する抽出手段と、
上記抽出手段により抽出した第１の符号化方式のパラメータを、第１の変換処理が施される第１の種類と、第２の変換処理が施される第２の種類と、第３の変換処理が施される第３の種類とに分類する分類手段と、
上記第１の変換処理として、上記第１の種類に分類した第１の符号化方式のパラメータをそのまま上記第２の符号化方式のパラメータとして用いる第１の変換処理部と、上記第２の変換処理として、上記第２の種類に分類した第１の符号化方式のパラメータを当該第１の符号化方式に対応する復号化方式により復号化した後に第２の符号化方式にて符号化する第２の変換処理部と、上記第３の変換処理として、上記第３の種類に分類した第１の符号化方式のパラメータを当該第１の符号化方式に対応する復号化方式により復号化した後に第２の符号化方式のパラメータに変換し、当該第２の符号化方式のパラメータを第２の符号化方式にて符号化する第３の変換処理部とからなる変換処理手段とを有する符号化フォーマット変換システム。 - 上記符号化信号生成装置は、上記第１の符号化信号を生成する際に用いた色差の動きベクトルと、上記第２の符号化信号を生成する際に用いた色差の動きベクトルとが異なるとき、上記第１の符号化信号での色差の動きベクトルと上記第２の符号化信号での色差の動きベクトルとが等しくなるように、上記第１の符号化信号の輝度の動きベクトルを上記第２の符号化信号の輝度の動きクトルに変換する動きベクトル変換手段を有する請求項６記載の符号化フォーマット変換システム。
- 上記第１の画像符号化方式はＭＰＥＧ１若しくはＭＰＥＧ２画像符号化方式であり、上記第２の画像符号化方式はＭＰＥＧ４画像符号化方式であり、上記動きベクトル変換手段は、上記第１の符号化信号を生成する際に用いた輝度の動きベクトルが４で割って１余る値であるとき、当該輝度の動きベクトルを４で割って余りが１以外の値を持つ動きベクトルに変換する機能を有する請求項７記載の符号化フォーマット変換システム。
- 上記第１の画像符号化方式はＭＰＥＧ１若しくはＭＰＥＧ２画像符号化方式であり、上記動きベクトル変換手段は、上記第１の符号化信号を生成する際に用いた輝度の動きベクトルが１であるとき、当該動きベクトルを０に変換する機能を有する請求項７記載の符号化フォーマット変換システム。
- 第１の符号化方式により符号化された第１の符号化信号に含まれる第１の符号化方式のパラメータを、そのパラメータの種類に応じて上記第１の符号化方式とは異なる第２の符号化方式のパラメータに変換するパラメータ変換ステップと、
上記パラメータ変換ステップで得られた第２の符号化方式のパラメータを用いて、上記第１の符号化信号から第２の符号化信号を生成する信号生成ステップとを有し、
上記パラメータ変換ステップは、
上記第１の符号化信号から上記第１の符号化方式のパラメータを抽出する抽出ステップと、
上記抽出ステップで抽出した上記第１の符号化方式のパラメータを、第１の変換処理が施される第１の種類と、第２の変換処理が施される第２の種類と、第３の変換処理が施される第３の種類とに分類する分類ステップと、
上記第１の変換処理として、上記第１の種類に分類した第１の符号化方式のパラメータをそのまま上記第２の符号化方式のパラメータとして用いる第１の変換処理ステップと、上記第２の変換処理として、上記第２の種類に分類した第１の符号化方式のパラメータを当該第１の符号化方式に対応する復号化方式により復号化した後に第２の符号化方式にて符号化する第２の変換処理ステップと、上記第３の変換処理として、上記第３の種類に分類した第１の符号化方式のパラメータを当該第１の符号化方式に対応する復号化方式により復号化した後に第２の符号化方式のパラメータに変換し、当該第２の符号化方式のパラメータを第２の符号化方式にて符号化する第３の変換処理ステップとを有する変換処理ステップと
を有する符号化フォーマット変換方法。 - 上記第２の符号化信号の生成の際には、上記第２の符号化信号を復号化する際に使用する同期信号を、上記第２の符号化信号を構成する符号化信号列の所定の処理単位の先頭に配置する請求項１０記載の符号化フォーマット変換方法。
- 上記第２の符号化方式がＭＰＥＧ２画像符号化方式であるとき、
上記第２の符号化信号の生成の際には、画像のＶＯＰヘッダの先頭以外の行の先頭に上記同期信号としてリシンクマーカを配置する請求項１１記載の符号化フォーマット変換方法。 - 上記第１の符号化方式に対応する復号化方式の逆量子化方法と、上記第２の符号化方式に対応する復号化方式の逆量子化方法とが異なるとき、上記パラメータの変換の際には、上記第１の符号化信号を逆量子化した信号の主要部の値と、上記第２の符号化信号を逆量子化した信号の主要部の値とを一致させるように、上記第１の符号化方式の量子化パラメータを上記第２の符号化方式の量子化パラメータに変換する請求項１０記載の符号化フォーマット変換方法。
- 上記第１の符号化信号と第２の符号化信号とが、それぞれ所定符号化単位内で完結した符号化が行われた第１の信号と所定符号化単位間の予測による符号化が行われた第２の信号とを少なくとも含むとき、上記第２の符号化信号の生成の際には、上記第１の符号化信号内の上記第１の信号を、上記第２の符号化方式の第２の信号に直接変換する請求項１０記載の符号化フォーマット変換方法。
- 上記第１の符号化方式にて使用される第１の量子化方法と上記第２の符号化方式にて使用される第２の量子化方法とが異なるとき、上記第１の量子化方法で用いるパラメータに代え、上記第２の量子化方法で用いるパラメータを上記第１の符号化方式により符号化された信号に含めて、上記符号化フォーマット変換装置に供給する第１の符号化信号を生成する請求項１０記載の符号化フォーマット変換方法。
- 上記第１の符号化信号を生成する際に用いた色差の動きベクトルと、上記第２の符号化信号を生成する際に用いた色差の動きベクトルとが異なるとき、上記第１の符号化信号での色差の動きベクトルと上記第２の符号化信号での色差の動きベクトルとが等しくなるように、上記第１の符号化信号の輝度の動きベクトルを上記第２の符号化信号の輝度の動きベクトルに変換する請求項１０記載の符号化フォーマット変換方法。
- 上記第１の画像符号化方式はＭＰＥＧ１若しくはＭＰＥＧ２画像符号化方式であり、上記第２の画像符号化方式はＭＰＥＧ４画像符号化方式であり、上記動きベクトルの変換の際には、上記第１の符号化信号を生成する際に用いた輝度の動きベクトルが４で割って１余る値であるとき、当該輝度の動きベクトルを４で割って余りが１以外の値を持つ動きベクトルに変換する請求項１６記載の符号化フォーマット変換方法。
- 上記第１の画像符号化方式はＭＰＥＧ１若しくはＭＰＥＧ２画像符号化方式であり、上記第２の画像符号化方式はＭＰＥＧ４画像符号化方式であり、上記動きベクトルの変換の際には、上記第１の符号化信号を生成する際に用いた輝度の動きベクトルが１であるとき、当該動きベクトルを０に変換する請求項１６記載の符号化フォーマット変換方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000050523A JP4432188B2 (ja) | 2000-02-22 | 2000-02-22 | 符号化フォーマット変換装置、符号化フォーマット変換システム及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000050523A JP4432188B2 (ja) | 2000-02-22 | 2000-02-22 | 符号化フォーマット変換装置、符号化フォーマット変換システム及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001238214A JP2001238214A (ja) | 2001-08-31 |
| JP4432188B2 true JP4432188B2 (ja) | 2010-03-17 |
Family
ID=18572293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000050523A Expired - Fee Related JP4432188B2 (ja) | 2000-02-22 | 2000-02-22 | 符号化フォーマット変換装置、符号化フォーマット変換システム及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4432188B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100498332B1 (ko) * | 2002-10-24 | 2005-07-01 | 엘지전자 주식회사 | 비디오 트랜스코더의 적응적 비트율 제어장치 및 방법 |
| JP3893350B2 (ja) | 2002-11-29 | 2007-03-14 | キヤノン株式会社 | 符号化データ変換装置及びその方法 |
| WO2005025225A1 (ja) * | 2003-09-04 | 2005-03-17 | Nec Corporation | 動画像データ変換方法および装置ならびにプログラム |
| US20050232497A1 (en) * | 2004-04-15 | 2005-10-20 | Microsoft Corporation | High-fidelity transcoding |
| JP2009171134A (ja) * | 2008-01-15 | 2009-07-30 | Nippon Hoso Kyokai <Nhk> | 映像フォーマット変換装置 |
| US20160301941A1 (en) * | 2013-09-09 | 2016-10-13 | Nec Corporation | Video-encoding device, video-encoding method, and program |
-
2000
- 2000-02-22 JP JP2000050523A patent/JP4432188B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001238214A (ja) | 2001-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100571687B1 (ko) | 코딩 시스템 및 방법, 부호화 장치 및 방법, 복호화 장치및 방법, 기록 장치 및 방법, 및 재생 장치 및 방법 | |
| KR100628494B1 (ko) | 화상복호화방법 및 장치와 기록매체 | |
| US8428131B2 (en) | Video encoder and decoder using region based coding and decoding techniques with sequential refresh | |
| JP3413721B2 (ja) | 画像符号化方法及び装置、並びに画像復号方法及び装置 | |
| KR20060088461A (ko) | 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치 | |
| TW201028008A (en) | Video coding with large macroblocks | |
| KR20060109249A (ko) | 영상신호의 엔코딩/디코딩시에 베이스 레이어 픽처의모션벡터를 사용하여 영상블록을 위한 모션벡터를 예측하는방법 및 장치 | |
| JP4447061B2 (ja) | ２値形状信号の符号化方法 | |
| JP4346868B2 (ja) | 動画符号化装置、及び動画記録再生装置、及び動画再生装置、及び動画符号化方法ならびに動画記録再生方法 | |
| US20100020883A1 (en) | Transcoder, transcoding method, decoder, and decoding method | |
| JP4133346B2 (ja) | 予測タイプの選択によるビデオデータブロックのイントラ符号化 | |
| JP4432188B2 (ja) | 符号化フォーマット変換装置、符号化フォーマット変換システム及び方法 | |
| JP2007228560A (ja) | 動画像符号化方法および動画像符号化装置 | |
| KR20060069227A (ko) | 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치 | |
| JP2008187694A (ja) | 画像符号化装置およびその方法 | |
| KR20060059773A (ko) | 베이스 레이어 픽처의 벡터를 이용하는 영상신호의엔코딩/디코딩 방법 및 장치 | |
| JP6735370B2 (ja) | 復号化方法 | |
| JPH05167981A (ja) | 可変長符号の記録再生装置 | |
| JPH06268992A (ja) | 画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置及び記録媒体 | |
| JPH10327410A (ja) | 画像伝送用データ構造，符号化方法及び復号化方法 | |
| JP3197893B2 (ja) | 無線画像通信端末装置 | |
| JP2005184525A (ja) | 画像処理装置 | |
| JP2004312689A (ja) | Ｍｐｅｇビデオ復号化方法及びｍｐｅｇビデオ復号化器 | |
| JP4642055B2 (ja) | 動画符号化装置、及び動画記録再生装置 | |
| JP4193162B2 (ja) | 画像信号符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090908 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091030 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091201 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091214 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130108 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |