JP2001145112A - 動画像合成装置、動画像合成方法および記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 異なる符号化種別のフレームを高速に合成処
理することができる動画像合成装置、動画像合成方法お
よび記録媒体を提供する。 【解決手段】 画像符号化手段１０１は、入力される映
像信号１５１を１フレーム単位でＭＰＥＧ形式に圧縮符
号化する。画像蓄積手段１０２は、画像符号化手段１０
１からの動画像データ１５２を一時的に蓄積する。画像
合成手段１０３は、画像蓄積手段１０２から合成しよう
とする各動画像データの１フレーム分のデータを取り出
し、取り出した全動画像データのフレームが全て同一の
符号化種別である場合にはそのまま合成処理を行なう。
また、Ｉピクチャ形式とＰピクチャ形式のフレームが含
まれる場合は、画像合成手段１０３は、フレーム種別変
換手段１０４がＩピクチャをＰピクチャに変換し、符号
化種別が全てＰピクチャ形式に揃えられて動画像データ
を合成処理する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、圧縮符号化された
動画像データを合成する動画像合成装置、動画像合成方
法および該動画像合成方法を実行させるためのプログラ
ムを記録した記録媒体に係り、より詳しくは、ＭＰＥＧ
形式に圧縮符号化された動画像データの符号化種別（Ｉ
ピクチャ形式およびＰピクチャ形式）に関係なく、異な
る符号化種別の動画像データを高速に合成することがで
きる動画像合成装置、動画像合成方法および記録媒体に
関する。

【０００２】

【従来の技術】動画像の映像信号をデジタルデータ（動
画像データ）として圧縮符号化する方式としてＭＰＥＧ
方式と呼ばれる国際標準規格がある。ＭＰＥＧ方式は、
連続するフレームの相関性を利用し、前後のフレームか
ら変化した情報だけを符号化することで高い圧縮率を実
現している。すなわち、ＭＰＥＧ方式では、他のフレー
ムを参照せずに１枚のフレーム内で符号化が完結してい
るフレームをＩピクチャ（Intra picture）形式データ
（以下、Ｉピクチャという）、直前のフレームから変化
した情報だけを符号化するフレームをＰピクチャ（Pred
ictive picture）形式データ（以下、Ｐピクチャとい
う）、前後２枚のフレームから変化した情報だけを符号
化したフレームをＢピクチャ（Bidirectionally predic
tive picture）形式データ（以下、Ｂピクチャという）
とそれぞれ定義し、これら３種類のフレームがＩ，Ｂ，
Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，…のように混在した形式で符号化
される。

【０００３】このＭＰＥＧ方式は、高い圧縮率を実現で
きるため、動画像データをネットワークを介して送信し
たり、或いは、記憶装置上に蓄積する際に広く利用され
ている。そして、動画像合成装置によりＭＰＥＧ方式の
動画像データを複数合成してマルチ画面映像を生成する
ことによって、動画一覧システムやテレビ会議システム
を実現することが可能となる。

【０００４】なお、ビデオカメラで撮影した映像をネッ
トワークを介して送信し、各映像を合成してマルチ画面
表示するようなシステムでは、Ｂピクチャを挿入すると
再生時に遅延が発生がするため、ＩピクチャとＰピクチ
ャのみを用いる場合が多い。

【０００５】従来の複数のＭＰＥＧ方式の動画像データ
を合成してマルチ画面映像を生成する動画像合成装置の
構成図を図２５に示す。ここで、図２５の第１従来例の
動画像合成装置は、合成される元の動画像データが同一
種別の符号化形式である場合（つまり、同じピクチャ形
式のフレーム同士を合成する場合）に用いられる。

【０００６】図２５において、第１従来例の動画像合成
装置は、合成装置５００により各入力された動画像デー
タにおけるフレームの表示位置情報を合成画面の配置に
あわせて変更し、マルチ画面映像（合成動画像）を生成
するものである。これにより、入力された動画像データ
を復号することなく合成動画像に高速に合成することが
できる。

【０００７】

【発明が解決しようとする課題】しかしながら、上記第
１従来例の動画像合成装置にあっては、異なる符号化形
式のフレーム同士を合成することができず、ビデオカメ
ラで撮影した映像や受信した放送を合成してマルチ画面
で一覧表示するようなシステムを構成する場合には、入
力される各動画像データのフレームの符号化形式種別が
揃っているという保証はないことから、実用性の点で問
題があった。

【０００８】また、複数のＭＰＥＧ方式の動画像データ
を合成してマルチ画面映像を生成する他の動画像合成装
置として、入力された動画像データを復号して合成動画
像データを生成してから符号化することにより、入力さ
れる動画像データにおけるフレームの符号化形式に関係
なく合成動画像を生成する動画像合成装置がある。図２
６には、この第２従来例の動画像合成装置の構成図を示
す。

【０００９】同図において、第２従来例の動画像合成装
置は、復号化装置６００ａ，６００ｂにより入力された
動画像データを一旦ビットマップなどの空間領域の動画
像データに復号し、符号化装置６０１により合成動画像
データを生成して、再び符号化することにより合成動画
像を生成している。これにより、合成しようとする動画
像データのフレームの符号化形式種別に関係なく、マル
チ画面映像（合成動画像）を生成することができる。

【００１０】しかしながら、上記第２従来例の動画像合
成装置にあっては、動画像データを復号し、再び符号化
するために、復号化装置６００ａ，６００ｂおよび符号
化装置６０１が必要である。つまり、復号および符号化
の複雑な計算を高速に行うためには、より性能の高い高
価な装置構成が必要となり、装置コストが増大してしま
うという問題があった。また、符号化された動画像デー
タを復号し合成してから再び符号化するので、映像の品
質が劣化するという問題もあった。

【００１１】本発明は、上記従来の事情や問題点に鑑み
てなされたものであって、例えばＭＰＥＧ規格に準拠す
るＩピクチャおよびＰピクチャが任意の順番で混在する
ような動画像データを合成する際に、Ｉピクチャの符号
化種別をＰピクチャ形式に変換することにより、最低限
の復号処理で異なる符号化種別を含む動画像データを高
速に合成することができる動画像合成装置、動画像合成
方法および記録媒体を提供することを目的としている。

【００１２】

【課題を解決するための手段】上記課題を解決するため
に、本発明の請求項１に係る動画像合成装置は、入力さ
れる映像信号をＭＰＥＧ規格に準拠したＩピクチャ形式
およびＰピクチャ形式を含む動画像データとして符号化
する画像符号化手段と、前記動画像データを蓄積する画
像蓄積手段と、前記動画像データのＩピクチャ形式デー
タを前記Ｐピクチャ形式データに変換するフレーム種別
変換手段と、前記画像蓄積手段から動画像データを取り
出して合成処理する画像合成手段とを備え、異なる符号
化種別を含む動画像データを合成する際に、前記画像合
成手段は、符号化または変換されたＰピクチャ形式デー
タを含む動画像データを合成処理するものである。

【００１３】また、請求項２に係る動画像合成装置は、
入力される映像信号をＭＰＥＧ規格に準拠したＩピクチ
ャ形式およびＰピクチャ形式を含む動画像データとして
符号化する画像符号化手段と、前記画像符号化手段がマ
クロブロックデータを可変長符号化する際に、該マクロ
ブロックデータの境界を識別可能なマーキングコードを
挿入するマーキングコード挿入手段と、前記動画像デー
タを蓄積する画像蓄積手段と、前記動画像データのマー
キングコードを検出して前記Ｉピクチャ形式データのマ
クロブロックの符号化種別をＰピクチャ形式の符号語に
変換するフレーム種別変換手段と、前記画像蓄積手段か
ら動画像データを取り出して合成処理を行なう画像合成
手段とを備え、異なる符号化種別を含む動画像データを
合成する際に、前記画像合成手段は、符号化または変換
されたＰピクチャ形式データを含む動画像データを合成
処理するものである。

【００１４】また、請求項３に係る動画像合成装置は、
請求項２記載の動画像合成装置において、前記マーキン
グコード挿入手段が挿入するマーキングコードは、前記
フレーム種別変換手段によりマクロブロックの符号化種
別を変換する際の符号長の減少量が処理系のデータ処理
単位の倍数長となるような符号長を持つ符号語であり、
前記フレーム種別変換手段は、前記マクロブロックの符
号化種別を変換する際に、前記マーキングコードを削除
するものである。

【００１５】また、請求項４に係る動画像合成装置は、
請求項２または３記載の動画像合成装置において、前記
画像符号化手段がマクロブロックデータを可変長符号化
する際に、該マクロブロックデータの符号長が処理系の
データ処理単位となるように、マクロブロックの高周波
成分の符号語を変更する符号長調整手段を備えるもので
ある。

【００１６】また、請求項５に係る動画像合成装置は、
ＭＰＥＧ規格に準拠するＩピクチャ形式およびＰピクチ
ャ形式に符号化されたＩピクチャ形式データおよびＰピ
クチャ形式データを含む動画像データの毎秒最大Ｎ枚
（Ｎは正整数）のフレームが入力される複数の画像バッ
ファと、前記複数の画像バッファから動画像データを取
り出す際に、動画像データがないときに前記Ｐピクチャ
形式のスキップフレームを生成するスキップフレーム生
成手段と、前記動画像データのＩピクチャ形式データを
前記Ｐピクチャ形式データに変換するフレーム種別変換
手段と、前記複数の画像バッファから動画像データを取
り出し、Ｎ分の１秒に１回、合成処理を行なう画像合成
手段とを備え、異なる符号化種別含む動画像データを合
成する際に、前記画像合成手段は、符号化または変換さ
れたＰピクチャ形式データを含む動画像データを合成処
理するものである。

【００１７】また、請求項６に係る動画像合成装置は、
請求項５記載の動画像合成装置において、前記画像合成
手段により合成された動画像データの符号化量が一定に
なるように調整する符号量調整手段を備えるものであ
る。

【００１８】また、請求項７に係る動画像合成装置は、
請求項６記載の動画像合成装置において、前記符号量調
整手段は、前記画像合成手段により合成された動画像デ
ータのデータ量が所定の範囲より大きい場合には、Ｉピ
クチャ形式データを前記スキップフレームに置き換え、
所定の範囲より小さい場合には、該動画像データの後ろ
に所定の補填データを付加するものである。

【００１９】また、請求項８に係る動画像合成装置は、
請求項１，２，３，４，５，６または７記載の動画像合
成装置において、前記フレーム種別変換手段は、前記Ｉ
ピクチャ形式データのフレームの符号化種別をＰピクチ
ャ形式の符号語に変換するものである。

【００２０】また、請求項９に係る動画像合成装置は、
請求項１，２，３，４，５，６，７または８記載の動画
像合成装置において、前記フレーム種別変換手段は、前
記Ｉピクチャ形式データのマクロブロックの符号化種別
をＰピクチャ形式の符号語に変換するものである。

【００２１】また、請求項１０に係る動画像合成装置
は、請求項１，２，３，４，５，６，７，８または９記
載の動画像合成装置において、前記フレーム種別変換手
段は、前記Ｉピクチャ形式データの符号長の増加量が処
理系のデータ処理単位の倍数長となるように、マクロブ
ロックスタッフィング（Macroblock Stuffing）コード
を挿入するものである。

【００２２】また、請求項１１に係る動画像合成装置
は、請求項１，２，３，４，５，６，７，８，９または
１０記載の動画像合成装置において、前記フレーム種別
変換手段は、前記Ｉピクチャ形式データの符号長の変化
量が処理系のデータ処理単位と一致するように、直前の
マクロブロックの高周波成分または直後のマクロブロッ
クの低周波成分の符号語を書き換えるものである。

【００２３】また、請求項１２に係る動画像合成装置
は、請求項１，２，３，４，５，６，７，８，９，１０
または１１記載の動画像合成装置において、前記画像合
成手段により生成された動画像データの量子化行列の高
周波成分を所定の小さい値に変換するノイズ削減手段を
備えるものである。

【００２４】また、請求項１３に係る動画像合成方法
は、入力される映像信号をＭＰＥＧ規格に準拠したＩピ
クチャ形式およびＰピクチャ形式を含む動画像データと
して符号化する画像符号化ステップと、前記動画像デー
タを蓄積する画像蓄積ステップと、前記動画像データの
Ｉピクチャ形式データを前記Ｐピクチャ形式データに変
換するフレーム種別変換ステップと、前記画像蓄積ステ
ップから動画像データを取り出して合成処理する画像合
成ステップとを備え、異なる符号化種別を含む動画像デ
ータを合成する際に、前記画像合成ステップは、符号化
または変換されたＰピクチャ形式データを含む動画像デ
ータを合成処理するものである。

【００２５】また、請求項１４に係る動画像合成方法
は、入力される映像信号をＭＰＥＧ規格に準拠したＩピ
クチャ形式およびＰピクチャ形式を含む動画像データと
して符号化する画像符号化ステップと、前記画像符号化
ステップがマクロブロックデータを可変長符号化する際
に、該マクロブロックデータの境界を識別可能なマーキ
ングコードを挿入するマーキングコード挿入ステップ
と、前記動画像データを蓄積する画像蓄積ステップと、
前記動画像データのマーキングコードを検出して前記Ｉ
ピクチャ形式データのマクロブロックの符号化種別をＰ
ピクチャ形式の符号語に変換するフレーム種別変換ステ
ップと、前記画像蓄積ステップから動画像データを取り
出して合成処理を行なう画像合成ステップとを備え、異
なる符号化種別を含む動画像データを合成する際に、前
記画像合成ステップは、符号化または変換されたＰピク
チャ形式データを含む動画像データを合成処理するもの
である。

【００２６】また、請求項１５に係る動画像合成方法
は、請求項１４記載の動画像合成方法において、前記マ
ーキングコード挿入ステップが挿入するマーキングコー
ドは、前記フレーム種別変換ステップによりマクロブロ
ックの符号化種別を変換する際の符号長の減少量が処理
系のデータ処理単位の倍数長となるような符号長を持つ
符号語であり、前記フレーム種別変換ステップは、前記
マクロブロックの符号化種別を変換する際に、前記マー
キングコードを削除するものである。

【００２７】また、請求項１６に係る動画像合成方法
は、請求項１４または１５記載の動画像合成方法におい
て、前記画像符号化ステップがマクロブロックデータを
可変長符号化する際に、該マクロブロックデータの符号
長が処理系のデータ処理単位となるように、マクロブロ
ックの高周波成分の符号語を変更する符号長調整ステッ
プを備えるものである。

【００２８】また、請求項１７に係る動画像合成方法
は、ＭＰＥＧ規格に準拠するＩピクチャ形式およびＰピ
クチャ形式に符号化されたＩピクチャ形式データおよび
Ｐピクチャ形式データを含む動画像データの毎秒最大Ｎ
枚（Ｎは正整数）のフレームを複数の画像バッファに入
力する画像入力ステップと、前記複数の画像バッファか
ら動画像データを取り出す際に、動画像データがないと
きに前記Ｐピクチャ形式のスキップフレームを生成する
スキップフレーム生成ステップと、前記動画像データの
Ｉピクチャ形式データを前記Ｐピクチャ形式データに変
換するフレーム種別変換ステップと、前記複数の画像バ
ッファから動画像データを取り出し、Ｎ分の１秒に１
回、合成処理を行なう画像合成ステップとを備え、なる
符号化種別を含む動画像データを合成する際に、前記画
像合成ステップは、符号化または変換されたＰピクチャ
形式データを含む動画像データを合成処理するものであ
る。

【００２９】また、請求項１８に係る動画像合成方法
は、請求項１７記載の動画像合成方法において、前記画
像合成ステップにより合成された動画像データの符号化
量が一定になるように調整する符号量調整ステップを備
えるものである。

【００３０】また、請求項１９に係る動画像合成方法
は、請求項１８記載の動画像合成方法において、前記符
号量調整ステップは、前記画像合成ステップにより合成
された動画像データのデータ量が所定の範囲より大きい
場合には、Ｉピクチャ形式データを前記スキップフレー
ムに置き換え、所定の範囲より小さい場合には、該動画
像データの後ろに所定の補填データを付加するものであ
る。

【００３１】また、請求項２０に係る動画像合成方法
は、請求項１３，１４，１５，１６，１７，１８または
１９記載の動画像合成方法において、前記フレーム種別
変換ステップは、前記Ｉピクチャ形式データのフレーム
の符号化種別をＰピクチャ形式の符号語に変換するもの
である。

【００３２】また、請求項２１に係る動画像合成方法
は、請求項１３，１４，１５，１６，１７，１８，１９
または２０記載の動画像合成方法において、前記フレー
ム種別変換ステップは、前記Ｉピクチャ形式データのマ
クロブロックの符号化種別をＰピクチャ形式の符号語に
変換するものである。

【００３３】また、請求項２２に係る動画像合成方法
は、請求項１３，１４，１５，１６，１７，１８，１
９，２０または２１記載の動画像合成方法において、前
記フレーム種別変換ステップは、前記Ｉピクチャ形式デ
ータの符号長の増加量が処理系のデータ処理単位の倍数
長となるように、マクロブロックスタッフィング（Macr
oblock Stuffing）コードを挿入するものである。

【００３４】また、請求項２３に係る動画像合成方法
は、請求項１３，１４，１５，１６，１７，１８，１
９，２０，２１または２２記載の動画像合成方法におい
て、前記フレーム種別変換ステップは、前記Ｉピクチャ
形式データの符号長の変化量が処理系のデータ処理単位
と一致するように、直前のマクロブロックの高周波成分
または直後のマクロブロックの低周波成分の符号語を書
き換えるものである。

【００３５】また、請求項２４に係る動画像合成方法
は、請求項１３，１４，１５，１６，１７，１８，１
９，２０，２１，２２または２３記載の動画像合成方法
において、前記画像合成ステップにより生成された動画
像データの量子化行列の高周波成分を所定の小さい値に
変換するノイズ削減ステップを備えるものである。

【００３６】また、請求項２５に係るコンピュータによ
り読み取り可能な記録媒体は、請求項１３，１４，１
５，１６，１７，１８，１９，２０，２１，２２，２３
または２４記載の動画像合成方法をコンピュータに実行
させるためのプログラムとして記録したものである。

【００３７】本発明の請求項１，８，９，１０，１１お
よび１２に係る動画像合成装置、請求項１２，２０，２
１，２２，２３および２４に係る動画像合成方法、並び
に、請求項２５に係る記録媒体では、合成しようとする
動画像データがＩピクチャ形式とＰピクチャ形式の異な
る符号化種別を含む場合に、フレーム種別変換手段（フ
レーム種別変換ステップ）によりＩピクチャ形式データ
をＰピクチャ形式データに変換し、符号化種別がＰピク
チャ形式に揃えられた動画像データを画像合成手段（画
像合成ステップ）により合成するようにしている。

【００３８】特に、請求項８および９に係る動画像合成
装置、並びに、請求項２０および２１に係る動画像合成
方法では、Ｉピクチャ形式データからＰピクチャ形式デ
ータへの変換は、フレーム種別変換手段（フレーム種別
変換ステップ）において、Ｉピクチャ形式データのフレ
ームの符号化種別をＰピクチャ形式の符号語に変換し、
Ｉピクチャ形式データの各マクロブロックの符号化種別
をＰピクチャ形式データのイントラマクロブロックを示
す符号語に変換することにより行うのが望ましい。

【００３９】これにより、従来のように可変長復号およ
び再符号化処理をする必要がなく、画質の劣化がなく高
速に合成動画像を生成することが可能な優れた動画像合
成装置、動画像合成方法および記録媒体を実現すること
ができる。

【００４０】また特に、請求項１０に係る動画像合成装
置および請求項２２に係る動画像合成方法では、フレー
ム種別変換手段（フレーム種別変換ステップ）によりマ
クロブロックの符号化種別を変換する際に、マクロブロ
ックの先頭にマクロブロックスタッフィングコードを複
数個挿入して、Ｉピクチャ形式データの符号長の増加量
が処理系のデータ処理単位の倍数長となるようにしてい
る。

【００４１】例えば、データ処理単位が８ビットの処理
系において、マクロブロックの符号化種別の変換により
４ビットだけ符号長が増加した場合には、４個のマクロ
ブロックスタッフィングコードを挿入することにより、
全体として４８ビット増加してしまうが、符号長の増加
量が処理系のデータ処理単位の倍数長となり、変換に伴
うビットシフト処理等が不要となる。つまり、マクロブ
ロックの符号化種別を計算機等の処理系を用いて変換す
る際に、マクロブロックの符号化情報が記述されている
先頭部分以外の符号語に対するデータ処理が不要にな
り、画質の劣化がなく高速に合成動画像を生成すること
が可能となる。

【００４２】また特に、請求項１１に係る動画像合成装
置および請求項２３に係る動画像合成方法では、フレー
ム種別変換手段（フレーム種別変換ステップ）によりマ
クロブロックの符号化種別を変換する際に、直前のマク
ロブロックの高周波成分または直後のマクロブロックの
低周波成分の符号語を書き換えるようにしている。

【００４３】例えば、データ処理単位が８ビット処理系
において、マクロブロックの符号化種別の変換により４
ビットだけ符号長が増加した場合には、直前のマクロブ
ロックの高周波成分を４ビット減らすことにより全体と
して符号長が変化しないようにするか、或いは、直前の
マクロブロックの高周波成分を４ビット増やすことによ
り全体として符号長が８ビット増となるようにして、符
号長の変化量が処理系のデータ処理単位と一致するよう
にする。これにより、マクロブロックの符号化種別を計
算機等の処理系を用いて変換する際に、Ｉピクチャ形式
データの符号長の変化量が処理系のデータ処理単位と一
致し、マクロブロックの符号化情報が記述されている先
頭部分以外の符号語に対するデータ処理が不要になり、
画質の劣化がなく高速に合成動画像を生成することが可
能となる。

【００４４】また特に、請求項１２に係る動画像合成装
置および請求項２４に係る動画像合成方法では、フレー
ム種別変換手段（フレーム種別変換ステップ）によるマ
クロブロックの符号化種別変換の際に、書き換えられた
動画像データの量子化行列の高周波成分をノイズ削減手
段（ノイズ削減ステップ）により所定の小さい値に変換
するようにしている。これにより、再生時に高速化のた
めに書き換えられた高周波成分により生じる画質の劣化
を抑制することができる。

【００４５】また、本発明の請求項２，３，４，８，
９，１０，１１および１２に係る動画像合成装置、請求
項１４，１５，１６，２０，２１，２２，２３および２
４に係る動画像合成方法、並びに、請求項２５に係る記
録媒体では、合成しようとする動画像データがＩピクチ
ャ形式とＰピクチャ形式の異なる符号化種別を含む場合
に、画像符号化手段（画像符号化ステップ）がマクロブ
ロックデータを可変長符号化する際に、マーキングコー
ド挿入手段（マーキング挿入ステップ）により、各マク
ロブロックデータの高周波成分の符号語としてマクロブ
ロックデータ境界を識別可能なマーキングコードを挿入
するようにし、合成の際には、フレーム種別変換手段
（フレーム種別変換ステップ）によりＩピクチャ形式デ
ータをＰピクチャ形式データに変換し、符号化種別がＰ
ピクチャ形式に揃えられた動画像データを画像合成手段
（画像合成ステップ）により合成するようにしている。

【００４６】例えば、マーキングコードを“０００００
１００００００１０１０１０１０”とすれば、マクロブ
ロックデータの最後を示すＥＯＢ（End Of Code）コー
ド“１０”と結合した“０００００１００００００１０
１０１０１０１０”という符号語は、マクロブロックデ
ータ内において最終位置にしか存在せず、この符号語を
検出することによりマクロブロックの境界を見つけるこ
とができることとなる。したがって、マクロブロックの
符号化種別を変換する際に、可変長復号せずに変換箇所
を特定することが可能であり、また従来のように可変長
復号および再符号化処理をする必要がないので、画質の
劣化がなく、しかもより高速に合成動画像を生成するこ
とが可能な優れた動画像合成装置、動画像合成方法およ
び記録媒体を実現することができる。

【００４７】特に、請求項３に係る動画像合成装置およ
び請求項１５に係る動画像合成方法では、マーキングコ
ード挿入手段（マーキングコード挿入ステップ）によ
り、マクロブロックの符号化種別を変換する際の符号長
の減少量が処理系のデータ処理単位の倍数長となるよう
な符号長を持つマーキングコードを挿入し、マクロブロ
ックの符号化種別を変換する際に、挿入したマーキング
コードを削除するようにしている。

【００４８】これにより、マクロブロックの符号化種別
を変換する際に、可変長復号せずに変換箇所を特定する
ことが可能となり、また挿入したマーキングコードを削
除することで、符号化種別の変換による符号長の増減が
処理系のデータ処理単位と一致することとなり、マクロ
ブロックの符号化情報が記述されている先頭部分以外の
符号語に対するデータ処理が不要になり、より高速に合
成動画像を生成することが可能となる。

【００４９】また特に、請求項４に係る動画像合成装置
および請求項１６に係る動画像合成方法では、マクロブ
ロックデータを可変長符号化する際に、符号長調整手段
（符号長調整ステップ）により、マクロブロックの高周
波成分の符号語を例えば符号長調整符号に書き換えるな
どして変更するようにしている。

【００５０】例えば、データ処理単位が８ビットの処理
系において、マクロブロックデータ全体の符号長が、マ
ーキングコードを含めて８ビットの倍数長に対して何ビ
ット不足しているかを計算し、その値に応じた符号長調
整符号を挿入する。これにより、マーキングコードを挿
入してもマクロブロックデータの符号長が処理系のデー
タ処理単位となり、マクロブロックの符号化種別を変換
する際に、可変長復号することなくデータ処理単位での
比較演算のみで変換箇所を特定することが可能となり、
マクロブロックの符号化情報が記述されている先頭部分
以外の符号語に対するデータ処理が不要になり、より高
速に合成動画像を生成することが可能となる。

【００５１】また特に、請求項１２に係る動画像合成装
置および請求項２４に係る動画像合成方法では、マーキ
ングコード挿入手段および符号長調整手段により高周波
成分に符号語が付加された動画像データについて、ノイ
ズ削減手段（ノイズ削減ステップ）により量子化行列の
高周波成分を所定の小さい値に変換するようにしてい
る。これにより、再生時に高速化のために高周波成分に
付加したマーキングコードや符号長調整符号により生じ
る画質の劣化を少なくし、高速に合成動画像を生成する
ことが可能となる。

【００５２】さらに、本発明の請求項５，６，７，８，
９，１０，１１および１２に係る動画像合成装置、請求
項１７，１８，１９，２０，２１，２２，２３および２
４に係る動画像合成方法、並びに、請求項２５に係る記
録媒体では、動画像データの毎秒最大Ｎ枚のフレームが
入力される複数個の画像バッファ（画像入力ステップ）
と、Ｐピクチャ形式のスキップフレームを生成するスキ
ップフレーム生成手段（スキップフレーム生成ステッ
プ）とを備えて、画像合成手段（画像合成ステップ）に
より各画像バッファの動画像データを合成する際に動画
像データがない場合、スキップフレームを挿入して、Ｎ
分の１秒に１回、合成処理を行なうようにしている。ま
た、合成しようとする動画像データがＩピクチャ形式と
Ｐピクチャ形式の異なる符号化種別を含む場合に、フレ
ーム種別変換手段（フレーム種別変換ステップ）により
Ｉピクチャ形式データをＰピクチャ形式データに変換
し、符号化種別がＰピクチャ形式に揃えられた動画像デ
ータを画像合成手段（画像合成ステップ）により合成す
るようにしている。

【００５３】これにより、従来のように可変長復号およ
び再符号化処理をする必要がなく、画質の劣化がなく高
速に合成動画像を生成することが可能であり、しかも、
ＭＰＥＧ規格に準拠した毎秒Ｎフレーム分の合成動画像
を高速に生成することが可能な優れた動画像合成装置、
動画像合成方法および記録媒体を実現することができ
る。

【００５４】特に、請求項６および７に係る動画像合成
装置、並びに、請求項１８および１９に係る動画像合成
方法では、合成された動画像データの符号量が一定にな
るように調整する符号量調整手段（符号量調整ステッ
プ）を備えて、合成された動画像データのデータ量が所
定の範囲より大きい場合には、Ｉピクチャ形式データを
スキップフレームに置き換え、所定の範囲より小さい場
合には、動画像データの後ろに所定の補填データを付加
するようにしている。

【００５５】例えば、合成動画像データが設定された符
号量を超過する場合にはＩピクチャ形式データをスキッ
プフレームに置き換え、不足する場合には補填ビットを
挿入することにより、再生時にオーバフローおよびアン
ダーフローを起こすことなく、遅延やジッタのない滑ら
かな合成動画像を高速に生成することができる。

【００５６】

【発明の実施の形態】以下、本発明の動画像合成装置お
よび動画像合成方法の実施の形態について、〔第１の実
施形態〕、〔第２の実施形態〕、〔第３の実施形態〕、
〔第４の実施形態〕、〔第５の実施形態〕、〔第６の実
施形態〕の順に図面を参照して詳細に説明する。

【００５７】なお、それぞれの実施形態の説明では、本
発明に係る動画像合成装置および動画像合成方法につい
て詳述するが、本発明に係る記録媒体については、動画
像合成方法を実行させるためのプログラムを記録した記
録媒体であることから、その説明は以下の動画像合成方
法の説明に含まれるものである。また、本発明の動画像
合成装置および動画像合成方法は、「Ｈ．２６１」、
「Ｈ．２６３」、「ＭＰＥＧ１」、「ＭＰＥＧ２」、
「ＭＰＥＧ４」の各圧縮符号化方式に適用可能である。

【００５８】〔第１の実施形態〕先ず、本発明の第１の
実施形態に係る動画像合成装置および動画像合成方法に
ついて説明する。ここで、第１の実施形態は、本発明の
請求項１，８および９に係る動画像合成装置、並びに、
請求項１３，２０および２１に係る動画像合成方法に対
応するものである。

【００５９】図１は第１の実施形態に係る動画像合成装
置の構成図である。本実施形態の動画像合成装置は、フ
レーム種別変換手段１０４によりＩピクチャをＰピクチ
ャに変換することで、復号を行わずに合成処理を行うも
のである。同図において、本実施形態の動画像合成装置
は、画像符号化手段１０１、画像蓄積手段１０２、画像
合成手段１０３およびフレーム種別変換手段１０４を備
えて構成されている。

【００６０】ここで、画像符号化手段１０１は、入力さ
れる映像信号１５１をＭＰＥＧ規格に準拠するＩピクチ
ャ形式およびＰピクチャ形式に符号化したＩピクチャお
よびＰピクチャを含む動画像データ１５２を生成する。
つまり、画像符号化手段１０１は、ビデオカメラなどに
より撮像された映像信号１５１を受け取り、１フレーム
単位でＭＰＥＧ形式（Ｉピクチャ形式およびＰピクチャ
形式）に圧縮符号化して、ＩピクチャおよびＰピクチャ
を生成する。

【００６１】例えば、画像符号化手段１０１は、ＭＰＥ
Ｇ符号化器であり、その圧縮符号化方法は、図２に示す
ような過程で行われる。ここで、図２はＭＰＥＧ符号化
器１０１における圧縮符号化方法を説明する説明図であ
る。

【００６２】同図において、入力された映像信号１５１
は、先ず、１枚のフレームの画像の内容を示す画素デー
タ１５１に変換され、ＭＰＥＧ符号化器１０１に入力さ
れる。この画素データにおける各画素は、輝度Ｙ、色差
Ｕおよび色差Ｖで表される。次に、ＭＰＥＧ符号化器１
０１は、入力された画素データを、マクロブロックと呼
ばれる１６×１６画素の小領域に分割し、各マクロブロ
ック単位で動き予測およびＤＣＴ（離散コサイン）変換
を行う。

【００６３】動き予測は、Ｐピクチャとして圧縮する場
合に、直前のフレームの画素データと比較することによ
り行われる。そして、変化の少ない領域が見つかった場
合は、その領域への動きベクトルを記録し、各画素デー
タの変化量を差分データとして計算し、順方向予測マク
ロブロックとして符号化する。また、変化の少ない領域
が見つからない場合には、マクロブロックをイントラマ
クロブロックとしてそのまま符号化する。

【００６４】ＤＣＴ変換では、差分データまたは画素デ
ータは、輝度Ｙに関してさらに８×８画素の４領域に分
割され、また、色差Ｕおよび色差Ｖに関しては８×８画
素に間引かれる。そして、８×８の２次元ＤＣＴ変換が
施されることにより、それぞれのＤＣＴ係数データが生
成される。次に、ＤＣＴ係数データは、量子化が行なわ
れ、ＭＰＥＧ形式のコードブックに従って可変長符号化
されることにより、ＭＰＥＧ形式の動画像データ１５２
（ＭＰＥＧビットストリーム）が生成される。ＭＰＥＧ
形式に符号化された動画像データの１フレーム分のデー
タは、図３に示すように、階層構造で構成されている。
ここで、図３はＭＰＥＧ形式の１フレーム分のデータ構
成を例示する説明図である。

【００６５】図３において、ＭＰＥＧ形式の１フレーム
は、フレーム全体の情報を示すピクチャヘッダコード１
１および幾つかのスライスデータ１２により構成され、
このスライスデータ１２は、スライス全体の情報を示す
スライスヘッダコード１７およびスライスを構成する幾
つかのマクロブロックデータ１８により構成され、この
マクロブロックデータ１８は、マクロブロック全体の情
報を示すマクロブロックヘッダ１９と、輝度成分のＤＣ
Ｔ係数値を示す４つの輝度ＹＤＣＴ係数データ２０と、
色差成分のＤＣＴ係数値を示す色差ＵＤＣＴ係数データ
２１および色差ＶＤＣＴ係数データ２２とにより構成さ
れている。

【００６６】ピクチャヘッダコード１１は、フレームの
先頭であることを示すピクチャスタート（ＰＳＴ）コー
ド１３と、フレームの表示順序を示すテンポラルリファ
レンス（ＴＲ）コード１４と、フレームの符号化種別を
示すピクチャコーディングタイプ（ＰＣＴ）コード１５
と、フレームを再生した際のバッファの容量を示すビデ
オバッファディレイ（ＶＤ）コード１６とを備えて構成
されている。

【００６７】また、マクロブロックヘッダコード１９
は、マクロブロックの表示位置を示すマクロブロックア
ドレスインクリメント（ＭＢＡＩ）コード２３と、マク
ロブロックの符号化種別を示すマクロブロックタイプ
（ＭＢＴＹＰＥ）コード２４と、マクロブロックの量子
化スケール（ＱＳ）を示すコード２５とを備えている。

【００６８】次に、画像蓄積手段１０２は、動画像デー
タ１５２を蓄積する。つまり、画像符号化手段１０１に
よりＩピクチャ形式およびＰピクチャ形式に符号化され
た動画像データ１５２を画像合成手段１０３により取り
出されるまで一時的に蓄積する。

【００６９】また、画像合成手段１０３は、画像蓄積手
段１０２から動画像データを取り出して合成処理する。
また、フレーム種別変換手段１０４は、ＩピクチャをＰ
ピクチャに変換する。すなわち、画像合成手段１０３
は、画像蓄積手段１０２から合成動画像の１フレーム分
の動画像データを取り出して、取り出した動画像データ
を合成する。

【００７０】この際、動画像データが異なる符号化形式
である場合、画像合成手段１０３は、画像蓄積手段１０
２から取り出したＩピクチャをフレーム種別変換手段１
０４に出力し、フレーム種別手段１０４は、画像合成手
段１０３から受け取ったＩピクチャをＰピクチャに変換
する。つまり、Ｉピクチャにおけるピクチャヘッダコー
ド１１のＰＣＴコード１５およびマクロブロックヘッダ
コード１９のＭＢＴＹＰＥコード２４をＰピクチャ形式
に変換する。そして、画像合成手段１０３は、フレーム
種別変換手段１０４により変換された動画像データを受
け取り合成処理を行うことにより合成動画像１５５を生
成する。

【００７１】次に、以上説明した構成を備える本実施形
態の動画像合成装置の動作、即ち動画像合成方法につい
て詳細に説明する。

【００７２】先ず、画像符号化手段１０１は、入力され
る映像信号１５１を１フレーム単位でＭＰＥＧ形式のＩ
ピクチャ形式あるいはＰピクチャ形式に圧縮符号化し、
画像蓄積手段２０２に出力する。画像蓄積手段１０２
は、画像符号化手段１０１により出力された動画像デー
タ１５２を、画像合成手段１０３により指定されて取り
出されるまで一時的に蓄積する。

【００７３】そして、画像合成手段１０３は、画像蓄積
手段１０２から合成しようとする各動画像データの１フ
レーム分のデータを取り込み、合成動画像の１フレーム
分のデータを生成する。ここで、図４を参照して画像合
成手段１０３の画像合成処理方法を説明する。なお、図
４は第１の実施形態における画像合成手段１０３の画像
合成処理方法を説明するフローチャートである。

【００７４】図４において、先ず、ステップＳ４０で
は、画像合成手段１０３は、画像蓄積手段１０２から合
成に使用する各動画像データの１フレーム分のデータを
取り出す。そして、ステップＳ４１において、合成する
ための全ての動画像データが取り出されると、ステップ
Ｓ４２では、画像合成手段１０３は、取り出した全動画
像データのフレームが全て同一の符号化種別であるか否
かを判定し、同一である場合には、ステップＳ４４に進
み、そのまま合成処理を行なう。また、Ｉピクチャ形式
とＰピクチャ形式の両方のフレームが含まれる場合に
は、ステップＳ４３において、フレーム種別変換手段１
０４が、以下で説明するようなフレーム種別変換方法に
よりＩピクチャをＰピクチャに変換する。

【００７５】そして、ステップＳ４４において、画像合
成手段１０３は、フレーム種別変換手段１０４により符
号化種別が全てＰピクチャ形式に揃えられて動画像デー
タを合成処理する。この合成処理は、合成後の合成画面
上の配置にあわせて、各フレームのスライスデータ１２
を並べ替え、スライスヘッダコード１９の表示位置情報
を修正することで行なわれる。これにより、異なる符号
化形式のピクチャ同士でも復号および再符号化処理する
ことなく合成処理を行うことが可能となる。

【００７６】次に、フレーム種別変換手段１０４におけ
るフレーム種別変換方法を図５を用いて説明する。図５
は第１の実施形態におけるフレーム種別変換手段１０４
のフレーム種別変換方法を説明するフローチャートであ
る。

【００７７】先ず、ステップＳ５０では、フレーム種別
変換手段１０４は、ピクチャヘッダコード１１のＰＣＴ
コード１５をＩピクチャを示す符号化種別からＰピクチ
ャを示す符号語に書き換える。次に、ステップＳ５１で
は、各マクロブロックデータ１８に対して、マクロブロ
ックヘッダコード１９のＭＢＴＹＰＥコード２４を、Ｉ
ピクチャのイントラマクロブロックを示す符号化種別か
らＰピクチャのイントラマクロブロックを示す符号語に
書き換える。具体的に、この符号語を示せば、図６の如
く表される。ここで、図６はＩピクチャおよびＰピクチ
ャのマクロブロックの符号化種別の符号語を例示する説
明図である。

【００７８】図６に示すように、ＭＢＴＹＰＥコード２
４は、各マクロブロックの符号化種別に対して量子化ス
ケールを指定する場合および標準の量子化スケールを使
う場合の符号語をそれぞれ有している。例えば、Ｉピク
チャのマクロブロックの符号化種別をＰピクチャのイン
トラマクロブロックを示す符号語に書き換える場合、元
のＩピクチャのＭＢＴＹＰＥコード２４が“０１”であ
ったときは、ＭＢＴＹＰＥコード２４は、“０００００
１”に変換される。

【００７９】また、標準の量子化スケールを使う場合に
も同様に、Ｉピクチャのマクロブロックの符号化種別を
変換する場合、ＭＢＴＹＰＥコード２４は“１”から
“０００１１”に変換される。なお、どちらの符号語を
使用する場合でも、変換された符号語の増加量は同じと
なる。

【００８０】上記ステップＳ５１の処理を、全てのマク
ロブロックのＭＢＴＹＰＥコード２４に対して行い（ス
テップＳ５２）、Ｉピクチャのマクロブロックの符号化
種別を、全てＰピクチャのイントラマクロブロックを示
す符号語に書き換える。

【００８１】以上のように、合成しようとする動画像デ
ータが異なる符号化形式の場合でも、フレーム種別変換
手段１０４によりＩピクチャにおけるピクチャヘッダコ
ード１１のＰＣＴコード１５およびマクロブロックヘッ
ダコード１９のＭＢＴＹＰＥコード２４をＰピクチャ形
式に変換してＩピクチャをＰピクチャに変換することが
でき、復号および再符号化することなく動画像データを
合成することが可能となる。

【００８２】このように、第１の実施形態の動画像合成
装置および動画像合成方法では、ＩピクチャをＰピクチ
ャに変換するフレーム種別変換手段１０４（フレーム種
別変換ステップ）を備え、合成しようとする動画像デー
タの符号化種別がＩピクチャ形式とＰピクチャ形式を含
む場合に、ＰＣＴコード１５およびＭＢＴＹＰＥコード
２４をそれぞれＩピクチャを示す符号化種別からＰピク
チャを示す符号語に書き換えて、ＩピクチャをＰピクチ
ャに変換し、画像合成手段１０３（画像合成ステップ）
により符号化種別がＰピクチャ形式に揃えられた動画像
データを合成している。これにより、従来のように可変
長復号および再符号化処理をする必要がなく、画質の劣
化を伴うことなく高速に合成動画像を生成することがで
きる。

【００８３】〔第２の実施形態〕次に、本発明の第２の
実施形態に係る動画像合成装置および動画像合成方法に
ついて説明する。ここで、第２の実施形態は、本発明の
請求項１，８，９および１０に係る動画像合成装置、並
びに、請求項１３，２０，２１および２２に係る動画像
合成方法に対応するものである。

【００８４】本実施形態の動画像合成装置は、図１に示
した動画像合成装置（第１の実施形態）のフレーム種別
変換手段１０４において、Ｉピクチャの各マクロブロッ
クの符号化種別をＰピクチャのイントラマクロブロック
を示す符号語に変換する際に、マクロブロックの先頭に
符号語（マクロブロックスタッフィングコード（Macrob
lock Stuffing code）を複数個挿入するようにしたもの
である。

【００８５】本実施形態におけるフレーム種別変換手段
１０４以外の構成要素の機能および動作については、第
１の実施形態と同様であるため詳細な説明は省略する。

【００８６】図１の動画像合成装置において、第１の実
施形態と同様に、映像信号１５１は、画像符号化手段１
０１によりＭＰＥＧ形式に圧縮符号化され、画像蓄積手
段１０２に一時的に蓄積される。次に、画像合成手段１
０３は、合成動画像の１フレーム分のデータを生成する
ために、画像蓄積手段１０２から合成する各動画像デー
タの１フレーム分のデータを取り込む。

【００８７】この際、動画像データの符号化種別が異な
る場合には、フレーム種別変換手段１０４が、ＰＣＴコ
ード１５の符号化種別をＰピクチャ形式に変換し、Ｉピ
クチャのマクロブロックの符号化種別をＰピクチャのイ
ントラマクロブロックを示す符号語に書き換えて、Ｉピ
クチャをＰピクチャに変換する。例えば、マクロブロッ
クの符号化種別の符号語は、それぞれ図６に示すような
ビット構成を有しており、Ｐピクチャのイントラマクロ
ブロックを示す符号語に変換した後のデータ構成は、元
のＩピクチャのビット数より４ビット増加した構成とな
る。

【００８８】このとき、４ビットの符号長の増加は、１
ビット単位でデータを処理するような処理系であれば特
に問題にはならないが、多くの計算機で行われているよ
うな８ビット単位でデータを処理する処理系において
は、符号長が変化した部分以降の全てのマクロブロック
データに対して、４ビットのビットシフト処理を行わね
ばならない。

【００８９】このような問題に対し、本実施形態では、
フレーム種別変換手段１０４によりＩピクチャの符号長
の増加量がデータ処理単位の倍数長となるようにマクロ
ブロックスタッフィングコード（以下、ＭＢＳＴＵＦＦ
コード）を挿入する。つまり、Ｉピクチャのマクロブロ
ックの符号化種別をＰピクチャのイントラマクロブロッ
クを示す符号語に書き換える際にマクロブロックの先頭
に符号語であるＭＢＳＴＵＦＦコードを挿入することに
より、Ｉピクチャの符号長の増加量がデータ処理単位の
倍数長となり、データ処理単位に合わせて各マクロブロ
ックの符号化種別を変換することができるため、マクロ
ブロックの符号化種別を変換する際にマクロブロックの
符号化情報が記述されている先頭部分以外の符号語に対
するビットシフト処理が不要となる。

【００９０】以下に、第２の実施形態におけるフレーム
種別変換手段１０４のフレーム種別変換方法を図７を用
いて説明する。

【００９１】図７において、先ず、ステップＳ７０で
は、第１の実施形態のフレーム種別変換手段１０４と同
様に、フレーム全体の符号化種別を示すＰＣＴコード１
５をＩピクチャからＰピクチャを示す符号語に書き換え
る。次に、ステップＳ７１では、各マクロブロックの符
号化種別をＩピクチャのイントラマクロブロックを示す
符号語からＰピクチャのイントラマクロブロックを示す
符号語に書き換える。例えば、図６の符号語を用いた場
合、符号語の書き換えにより４ビット分だけ符号長が増
加する。

【００９２】この場合、１ビット単位でデータを処理す
るような処理系であれば、このようなビット単位の符号
長の変化は特に問題とならないが、多くの計算機では８
ビット単位でデータを処理するため、符号長が変化した
部分以降の全てのマクロブロックデータに対して、４ビ
ットのビットシフト処理を行なわねばならない。

【００９３】そこで、本実施形態のフレーム種別変換手
段１０４は、ステップＳ７３において、マクロブロック
の符号化種別を示すＭＢＴＹＰＥコード２４を書き換え
る際に、マクロブロックデータの先頭にＭＢＳＴＵＦＦ
コードを４個挿入する。このＭＢＳＴＵＦＦコードは、
ＭＰＥＧ規格において、データ量が所定のビットレート
に対して不足する際に、マクロブロックデータの先頭に
１１ビット単位で挿入可能な符号語である。したがっ
て、ステップＳ７２においてＭＢＳＴＵＦＦコードを４
個挿入することにより４４ビットのデータが挿入され
る。ここで、図８に、ＭＢＳＴＵＦＦコードが挿入され
る前後のマクロブロックデータのデータ構成を例示する
説明図を示す。図８（ａ）はＭＢＳＴＵＦＦコードを挿
入する前、（ｂ）はＭＢＳＴＵＦＦコードを挿入した後
のデータ構成を示している。

【００９４】図８に示すように、マクロブロックの符号
長は、マクロブロックの符号化種別を変換する際にＭＢ
ＳＴＦＦコードを挿入することにより、マクロブロック
の符号語の書き換えによる４ビットの増加と、ＭＢＳＴ
ＵＦＦコードの挿入による４４ビットの増加により、全
体としてマクロブロックヘッダコード１９の符号長の増
加は４８ビットとなる。全体の符号長の増加量として
は、８ビットの倍数となるため、マクロブロックヘッダ
コード１９以降のマクロブロックデータ１８に関しては
ビットシフト処理が不要になる。

【００９５】以上のように、第２の実施形態に係る動画
像合成装置および動画像合成方法では、フレーム種別変
換手段１０４（フレーム種別変換ステップ）において、
Ｉピクチャの各マクロブロックの符号語をＰピクチャの
イントラマクロブロックを示す符号語に変換する際に、
マクロブロックの先頭にＭＢＳＴＵＦＦコードを複数個
挿入している。これにより、Ｉピクチャ形式データの符
号長の増加量をデータ処理単位の倍数長とすることがで
き、マクロブロックの符号化種別を変換する際に、マク
ロブロックの符号化情報が記述されている先頭部分以外
の符号語に対するデータ処理が不要になり、画質の劣化
がなく高速に合成動画像を生成することができる。

【００９６】なお、本実施形態では、データ処理単位が
８ビットである処理系について説明したが、どのような
処理単位を持つ処理系に対してもＭＳＢＴＵＦＦコード
を挿入することによりシフトビット処理を不要にするこ
とが可能である。この場合、各処理単位に応じて挿入す
るＭＢＳＴＵＦＦコードの個数を変更する必要がある。

【００９７】〔第３の実施形態〕次に、本発明の第３の
実施形態に係る動画像合成装置および動画像合成方法に
ついて説明する。ここで、第３の実施形態は、本発明の
請求項１，８，９および１１に係る動画像合成装置、並
びに、請求項１３，２０，２１および２３に係る動画像
合成方法に対応するものである。

【００９８】本実施形態の動画像合成装置は、図１に示
した動画像合成装置（第１の実施形態）のフレーム種別
変換手段１０４において、Ｉピクチャの各マクロブロッ
クの符号化種別をＰピクチャのイントラマクロブロック
を示す符号語に変換する際に、直前のマクブロックの高
周波成分の符号語を変換するようにしたものである。な
お、第２の実施形態の動画像合成装置と比較すると、追
加されるデータ量が少ないためにより高速にデータ処理
を行うことが可能である。

【００９９】本実施形態におけるフレーム種別変換手段
１０４以外の構成要素の機能および動作については、第
１の実施形態と同様であるため詳細な説明は省略する。

【０１００】図１の動画像合成装置において、第１の実
施形態と同様に、映像信号１５１は、画像符号化手段１
０１によりＭＰＥＧ形式に圧縮符号化され、画像蓄積手
段１０２に一時的に蓄積される。次に、画像合成手段１
０３は、合成動画像の１フレーム分のデータを生成する
ために、合成しようとする各動画像データの１フレーム
分のデータを取り込む。この際、動画像データの符号化
種別が異なる場合、フレーム種別変換手段１０４は、Ｉ
ピクチャのＰＣＴコード１５の符号化種別をＰピクチャ
形式に変換し、マクロブロックの符号化種別をＰピクチ
ャのイントラマクロブロックを示す符号語に書き換え
る。

【０１０１】本実施形態のフレーム種別変換手段１０４
は、さらに、この符号語の書き換えにより増加したビッ
トによるビットシフト処理を不要にするために、Ｉピク
チャデータの符号長の変化量がデータ処理単位と一致す
るように直前のマクロブロックの高周波成分の符号語を
置き換える。つまり、Ｉピクチャのマクロブロックの符
号化種別を変換する際に、各スライスデータの先頭のマ
クロブロックに関しては、そのマクロブロックの先頭に
符号語であるマクロブロックスタッフィングコードを挿
入し、それ以外のマクロブロックに関しては、直前のマ
クロブロックの高周波成分の符号語を置き換える。これ
により、データ処理単位に合わせてフレーム種別変換処
理を行なうことができ、マクロブロックの符号化情報が
記載されている先頭部分以外の符号語に対するビットシ
フト処理が不要となる。

【０１０２】ここで、ＭＰＥＧ規格におけるマクロブロ
ックの符号化順序について図９を用いて説明する。図９
（ａ）はマクロブロックデータの符号列の符号化順序を
示す説明図、図９（ｂ）は２次元ＤＣＴ変換により生成
されたＤＣＴ係数行列を示す説明図、図９（ｃ）はＤＣ
Ｔ係数の符号列における符号化順序を示す説明図であ
る。

【０１０３】ＭＰＥＧ規格において、マクロブロックデ
ータ１８は、図９（ａ）に示すように、マクロブロック
データの先頭に前述のＭＢＡＩ１７およびＭＢＴＹＰＥ
１８などのマクロブロック全体の情報を示すマクロブロ
ックヘッダコード１９、１６×１６画素のマクロブロッ
クの輝度情報を４つの８×８の画素ブロックに分割し、
ＤＣＴ変換した４つの輝度ＹＤＣＴ係数２０、１６×１
６画素の色差情報Ｕおよび色差情報Ｖを間引き処理等に
より８×８の画素ブロックに変換し、ＤＣＴ変換した２
つの色差ＵＤＣＴ係数２１および色差ＶＤＣＴ係数２２
が符号化されている。

【０１０４】各２次元ＤＣＴ変換により得られたＤＣＴ
係数は、図９（ｂ）に示すように８×８の大きさのＤＣ
Ｔ係数行列になっており、同図に示すようにジグザグス
キャン順に符号化される。ＤＣＴ係数行列は、高周波成
分（図では、６２，６３，６４）が最後に位置するよう
にスキャンされることにより、図９（ｃ）に示すような
符号列が生成される。なお、ＤＣＴ係数行列のスキャン
方法としては、オルタネートスキャン方法などもあり、
何れのスキャン方法であっても良い。

【０１０５】マクロブロックの符号列の最後に位置する
高周波成分は、データによっても異なるが、符号語を書
き換えても画質にあまり影響がない。このため、本実施
形態では、フレーム種別変換手段１０４において、図９
（ｃ）に示す高周波成分（６２，６３，６４）の符号語
を書き換えている。これにより、マクロブロックデータ
をデータ処理単位の長さに調整し、より高速にデータ処
理を行うことが可能になる。

【０１０６】以下に、フレーム種別変換手段１０４にお
けるフレーム種別変換方法を図１０を用いて説明する。
ここで、図１０は第３の実施形態におけるフレーム種別
変換手段１０４のフレーム種別変換方法を説明するフロ
ーチャートである。

【０１０７】同図において、先ず、ステップＳ１００で
は、第１の実施形態のフレーム種別変換手段１０４と同
様に、フレーム全体の符号化種別を示すＰＣＴコードを
Ｉピクチャ形式からＰピクチャ形式を示す符号語に書き
換える。ステップＳ１０１では、スライスデータの先頭
のマクロブロックの符号化種別をＩピクチャのイントラ
マクロブロックを示す符号語からＰピクチャのイントラ
マクロブロックを示す符号語に書き換え、ステップＳ１
０２において、第２の実施形態の動画像合成装置と同様
に、スライスデータの先頭のマクロブロックに対してＭ
ＢＳＴＵＦＦコードを４個挿入する。

【０１０８】次に、ステップＳ１０３では、先頭のマク
ロブロック以外のマクロブロックに対して、ＭＢＴＹＰ
Ｅコードを書き換え、ステップＳ１０４において、直前
のマクロブロックの高周波成分の符号語を４ビット短い
符号語または４ビット長い符号語に変換する。

【０１０９】ここで、図１１にＭＢＴＹＰＥコードおよ
び高周波成分の符号語の書き換えを行う前後のマクロブ
ロックデータのデータ構成を例示する説明図を示す。図
１１（ａ）は、Ｉピクチャのマクロブロックの符号化種
別を変換する前のデータ構成を示したものであり、図１
１（ｂ）および１１（ｃ）は、Ｉピクチャのマクロブロ
ックの符号化種別を変換後、直前のマクロブロックの高
周波成分の符号語を４ビット短い符号語または４ビット
長い符号語に変換したフレーム構成を示している。

【０１１０】図１１（ｂ）に示すように、高周波成分の
符号語を４ビットの短い符号語に変換する場合、マクロ
ブロックデータの符号長は、符号化種別の書き換えによ
り４ビット増加するが、直前のマクロブロックの高周波
成分の符号語が４ビット減少するため、全体として符号
長の変化はなく、書き換え箇所前後でビットシフト処理
が発生しない。

【０１１１】また、図１１（ｃ）に示すように、高周波
成分の符号語を４ビット長い符号語に変換する場合に
は、マクロブロックデータの符号長は、符号化種別の書
き換えにより４ビット増加し、直前のマクロブロックの
高周波成分の符号語が４ビット増加するため、全体とし
て符号長が８ビット増加することとなり、書き換え箇所
前後でビットシフト処理が発生しない。

【０１１２】このように上記ステップＳ１０３および１
０４をスライス内の全てのマクロブロックについて行い
（ステップＳ１０５）、スライス内の全てのマクロブロ
ックの符号化種別および高周波成分の書き換えが行われ
ると、次に、ステップＳ１０６において、ピクチャ内の
全てのスライスに対して処理が行われたか否かが判定さ
れる。そして、全てのスライスに対して処理が行われて
いない場合はステップＳ１０１に戻り、ピクチャ内の全
てのスライスについてステップＳ１０１〜ステップＳ１
０５における処理をピクチャ内の全てのスライスを処理
するまで繰り返し行う。

【０１１３】以上のように、第３の実施形態の動画像合
成装置および動画像合成方法では、フレーム種別変換手
段１０４（フレーム種別変換ステップ）において、Ｉピ
クチャの各マクロブロックの符号化種別をＰピクチャの
イントラマクロブロックを示す符号語に変換する際に、
直前のマクロブロックの高周波成分の符号語を変換して
いる。これにより、Ｉピクチャの符号長の変化量がデー
タ処理単位と一致し、マクロブロックの符号化種別を変
換する際に、マクロブロックの符号化情報が記述されて
いる先頭部分以外の符号語に対するデータ処理が不要に
なり、画質の劣化がなく高速に合成動画像を生成するこ
とができる。

【０１１４】なお、本実施形態では、直前のマクロブロ
ックの高周波成分の符号語を変換したが、直後のマクロ
ブロックの低周波成分の符合語を変換しても、同様に実
施可能である。

【０１１５】また、本実施形態では、データ処理単位が
８ビットにおける処理系について説明したが、どのよう
な処理単位を持つ処理系に対しても、処理単位に合わせ
て高周波成分の符号語を変換することにより、同様に実
施可能である。

【０１１６】〔第４の実施形態〕次に、本発明の第４の
実施形態に係る動画像合成装置および動画像合成方法に
ついて説明する。ここで、第４の実施形態は、本発明の
請求項１，２，３，４，８，９および１２に係る動画像
合成装置、並びに、請求項１３，１４，１５，１６，２
０，２１および２４に係る動画像合成方法に対応するも
のである。

【０１１７】図１２は第４の実施形態に係る動画像合成
装置の構成図である。本実施形態の動画像合成装置は、
図１に示した動画像合成装置に、さらに、マーキングコ
ード挿入手段３５、符号長調整手段２０６およびノイズ
削減手段２０７を付加した構成であり、可変長復号せず
にフレームの符号化種別の変換処理を行う個所を特定可
能とし、変換位置以降のデータに対するビットシフト処
理が不要にしてより高速な処理を可能としている。

【０１１８】図１２において、本実施形態の動画像合成
装置は、画像符号化手段２０１、画像蓄積手段２０２、
画像合成手段２０３およびフレーム種別変換手段２０４
を備えて構成され、さらにマーキングコード挿入手段２
０５、符号長調整手段２０６およびノイズ削減手段２０
７を備えて構成されている。

【０１１９】なお、本実施形態における画像蓄積手段２
０２および画像合成手段２０３は、第１、第２および第
３の実施形態と同様であるため詳細な説明は省略する。

【０１２０】マーキングコード挿入手段２０５は、画像
符号化手段２０１がマクロブロックデータを可変長符号
化する際に、マクロブロックデータの境界を識別可能な
マーキングコードを挿入する。このマーキングコード
は、マクロブロックデータを構成する可変長符号の１つ
であり、データ処理単位の倍数長より４ビット長い符号
語である。マーキングコード挿入手段２０５は、このマ
ーキングコードをマクロブロックの最後を示すＥＯＢ
（End Of Block）コードの直前に配置することにより、
マクロブロックの境界を検出可能とする。

【０１２１】また、フレーム種別変換手段２０４は、マ
ーキングコードを検出してＩピクチャのマクロブロック
の符号化種別をＰピクチャ形式の符号語に変換する。つ
まり、マーキングコード挿入手段２０５によりマクロブ
ロックに挿入されたマーキングコードを検出してマクロ
ブロックの境界を検出し、Ｉピクチャのマクロブロック
の符号化種別をＰピクチャのイントラマクロブロックを
示す符号語に変換する。このように、マーキングコード
を検出することで、ＩピクチャのＭＢＴＹＰＥコードの
位置を高速および正確に見つけることができるため、マ
クロブロックの符号化種別を変換する際のデータ処理速
度が速くなる。

【０１２２】また、符号長調整手段２０６は、画像符号
化手段２０１がマクロブロックを可変長符号化する際
に、マクロブロックデータの符号長がデータ処理単位と
なるようにマクロブロックの高周波成分の符号語を変更
する。つまり、マーキングコードが挿入されることによ
って増加したマクロブロックの符号長がデータ処理単位
となるように、マクロブロックの高周波成分の符号語を
変更することにより、マクロブロックの符号化種別を変
換する際のビットシフト処理を不要としている。

【０１２３】また、ノイズ削減手段２０７は、画像合成
手段２０３により生成された動画像データの量子化行列
の高周波成分を所定の小さい値に変換する。つまり、デ
ータ処理速度の高速化のために、マーキングコード挿入
手段２０５および符号長調整手段２０６によってマクロ
ブロックの高周波成分に付加された符号語により発生す
る映像ノイズを削減して、画像が劣化するのを防いでい
る。

【０１２４】以下に、本実施形態の動画像合成装置にお
ける画像符号化手段２０１の画像符号化方法、マーキン
グコード挿入手段２０５のマーキングコード挿入方法お
よび符号長調整手段２０６の符号長調整方法について、
図１３〜１５を用いて説明する。ここで、図１３は第４
の実施形態における画像符号化手段２０１の画像符号化
方法を示すフローチャート、図１４は符号長調整手段２
０６が符号長の調整に使用する符号長調整テーブルを例
示する説明図、図１５はマーキングコードの挿入および
符号長調整が行われたマクロブロックデータのデータ構
成を例示する説明図である。

【０１２５】図１３において、先ず、ステップＳ１３０
では、画像符号化手段２０１は、映像信号２５１をマク
ロブロック単位に分割し、ＤＣＴ変換後、生成された輝
度ＹＤＣＴ係数および色差ＵＤＣＴ係数を符号化する。
次に、ステップＳ１３１において、色差ＶＤＣＴ係数の
第１成分から第６０成分を可変長符号化し、ステップＳ
１３２において、色差ＶＤＣＴ係数の第６１成分のレベ
ルを“１”として可変長符号化する。

【０１２６】ステップＳ１３３では、符号長調整手段２
０６が、この時点におけるマクロブロックデータの符号
長Ｎを調べ、最後に追加されるマーキングコードを含め
て、マクロブロックデータ全体の符号長Ｎがデータ処理
単位である８ビットの倍数長に対して何ビット不足して
いるか求める。すなわち、この不足長は、８−（符号長
Ｎ＋マーキングコード長＋ＥＯＢコード）ｍｏｄ８を計
算することにより求められる。ここで「ＭｍｏｄＮ」
は、自然数Ｍを自然数Ｎで割った余りを求める演算であ
る。

【０１２７】次に、ステップＳ１３４では、この不足長
に応じて、図１４に示す符号長調整テーブルを参照し、
符号長調整符号を挿入する。図１４に示すように、符号
長調整符号は、ランが０あるいは１でありレベルが比較
的小さい可変長符号を最大２つ組み合わせて生成されて
いる。これにより、後にマーキングコードが挿入されて
もそのビット数の増加によるビットシフト処理が不要に
なり、マクロブロックの符号化種別を変換する処理を高
速に行うことが可能となる。

【０１２８】そして、ステップＳ１３５では、マーキン
グコード挿入手段２０５によりマーキングコードが挿入
され、最後に、ステップＳ１３６では、マクロブロック
の終了を示すＥＯＢコードが挿入される。

【０１２９】マーキングコードは、マクロブロックデー
タを構成する可変長符号の１つであり、図１５に示すよ
うに、マクロブロックの最後を示すＥＯＥコードの直前
に配置される。例えば、“０００００１００００００１
０１０１０１０”は、マーキングコードとして利用可能
であり、ＥＯＢコードである“１０”を結合した“００
０００１００００００１０１０１０１０１０”という符
号語は、マクロブロックデータ内において、マクロブロ
ックの最終位置にしか存在しないので、この符号語を検
出することで、マクロブロックの境界を見つけ出すこと
ができる。

【０１３０】また、マーキングコードは、計算機のデー
タ処理単位の倍数長より４ビット長い符号語として構成
され、上記例では、マクロブロックデータは符号長が２
０ビットであり、データ処理単位である８ビットの２倍
より４ビット長い符号となっている。これにより、Ｉピ
クチャのマクロブロックの符号化種別をＰピクチャのイ
ントラマクロブロックを示す符号語に変換することによ
り４ビット符号長が増加しても、このマーキングコード
を削除することにより全体として１６ビット分の減少と
なり、マクロブロックの符号化情報が記述されている先
頭部分以外の符号語に対するビットシフト処理が不要に
なる。

【０１３１】ここで、図１５に、ステップＳ１３３〜ス
テップ１３５において、マクロブロックデータの高周波
成分に符号語（符号長調整符号およびマーキングコー
ド）が挿入されたデータ構成を示す。図１５に示すよう
に、マクロブロックデータにおいて、マーキングコード
はＥＯＢの前に挿入され、マクロブロックの境界を識別
可能にしており、また、符号長調整符号の書き換えによ
りＥＯＢがバイト境界に位置するように調整されてい
る。

【０１３２】従来、マクロブロックデータが可変長符号
化されていたために、マクロブロックの境界を検出する
ためには先頭より順次可変長復号する必要があったが、
本実施形態では、上述のように、ステップＳ１３５にお
いてマーキングコードを挿入することにより、符号の比
較という簡単な処理のみでマクロブロックの境界を検出
することができる。また、ステップＳ１３３およびＳ１
３４の符号長調整符号の挿入により、マーキングコード
の挿入によるビットシフト処理も不要になり、マクロブ
ロックの符号化種別を変換する処理を高速に行うことが
できる。

【０１３３】次に、本実施形態のフレーム種別変換手段
２０４のフレーム種別変換方法について説明する。図１
６は第４の実施形態におけるフレーム種別変換手段２０
４のフレーム種別変換方法を説明するフローチャートで
ある。

【０１３４】図１６において、先ず、ステップＳ１６０
では、第１の実施形態と同様に、フレーム種別変換手段
２０４によりＰＣＴコードをＰピクチャを示す符号語に
変換する。次に、ステップＳ１６１では、各スライスの
先頭のマクロブロックに関して、第２の実施形態と同様
に、ＭＢＳＴＵＦＦコードを４個挿入する。

【０１３５】そして、それ以外のマクロブロックに関し
ては、ステップＳ１６３において、マーキングコードを
検出して、マクロブロックの境界を検出する。マーキン
グコードとＥＯＢコードを結合した符号語は、図１５に
示すように最後尾がバイト境界上に存在するので、バイ
ト単位の比較処理で容易に検出可能である。そして、ス
テップＳ１６４では、マクロブロックの符号化種別を示
すＭＢＴＹＰＥコードを書き換え、ステップＳ１６５に
おいてマーキングコードを削除する。

【０１３６】上記ステップＳ１６３〜ステップＳ１６５
の処理をスライス内の全てのマクロブロックに対して行
う（ステップＳ１６６）と、続いて、ステップＳ１６１
〜ステップＳ１６６の処理をピクチャ内の全てのスライ
スに対して行う（ステップＳ１６７）。

【０１３７】ここで、図１７にＭＢＴＹＰＥコードの変
換およびマーキングコードを削除する前後のマクロブロ
ックデータのデータ構成を例示する説明図を示す。図１
７（ａ）はＭＢＴＹＰＥコードを変換前のマクロブロッ
クデータを、図１７（ｂ）はＭＢＴＹＰＥコードの変換
とマーキングコードの削除が行われたマクロブロックデ
ータをそれぞれ示している。図１７（ｂ）に示すよう
に、マクロブロックデータの符号長は、ＭＢＴＹＰＥコ
ードが変換され（即ち、“０１”から“０００００１”
の符号語に変換され）、マーキングコードが削除される
ことにより、マクロブロックの符号語全体としては２バ
イト短くなる。これにより、マーキングコードを削除し
ても、マクロブロックの符号化種別の書き換え位置前後
でビット単位のずれが生じないため、ビットシフト処理
をすることなくマクロブロックの符号化種別を変換する
ことが可能になる。

【０１３８】上記のようにマーキングコード挿入手段２
０５および符号長調整手段２０６は、マクロブロックの
符号化種別の書き換えの際に、マクロブロックの境界を
可変長復号することなく検出可能にし、またそれにより
必要となるビットシフト処理を不要とするが、マクロブ
ロックデータの高周波成分の書き換えにより、画像合成
手段２０３により合成された動画像データに映像ノイズ
が発生し、画像の劣化を生じてしまうという問題があ
る。

【０１３９】このような問題に対処するため、本実施形
態では、ノイズ削減手段２０７により、画像合成手段２
０３が生成した動画像データの量子化行列の高周波成分
を所定の小さい値に変換し、マーキングコード挿入手段
２０５および符号長調整手段２０６によってマクロブロ
ックの高周波成分に付加された符号語により発生する映
像ノイズを削減して、画像が劣化するのを防いでいる。

【０１４０】以下に、本実施形態のノイズ削減手段２０
７について図１８を用いて説明する。図１８は第４の実
施形態におけるノイズ削減手段２０７のノイズ削減方法
を説明するフローチャートである。また、図１９は量子
化行列の符号構成を例示する説明図である。

【０１４１】図１８において、先ず、ノイズ削減手段２
０７は、画像合成手段２０３により合成されたＭＰＥＧ
形式の符号列２５５を受け取り、ステップＳ１８０にお
いて、入力される符号列からシーケンスヘッダコードを
検出し、ステップＳ１８１において、検出したコード中
に量子化行列コードが含まれているかをチェックする。

【０１４２】そして、量子化行列コードが含まれている
場合には、ステップＳ１８３へ進む。また、量子化行列
コードが含まれていない場合には、ステップＳ１８２に
進み、ＭＰＥＧ規格で定められている標準の量子化行列
コードを生成し、シーケンスヘッダに挿入する。この量
子化行列は、図１９（ａ）に示す各行列成分がジグザグ
スキャン順に符号化されており、図１９（ｂ）に示すよ
うに各成分が８ビットの固定長で符号化される。

【０１４３】ステップＳ１８３では、量子化行列コード
の第６１成分から第６４成分に対応する符号語を“０”
または“１”に書き換える。このような、量子化行列コ
ードを符号列に付加することにより、再生時に各マクロ
ブロックの高周波成分は非常に小さいな値として逆量子
化されるため、符号長調整手段２０６およびマーキング
コード挿入手段２０５で付加した高周波成分の符号語
（符号長調整符号およいマーキングコード）により画質
が劣化するのを防ぐことができる。なお、ここでは高周
波成分を第６１成分から第６４成分としているが、これ
に限定されることはない。

【０１４４】以上のように、第４の実施形態の動画像合
成装置および動画像合成方法では、マクロブロックの高
周波成分の符号語を変更する符号長調整手段２０６（符
号長調整ステップ）と、マクロブロックデータの境界を
識別可能なマーキングコードを挿入するマーキングコー
ド挿入手段２０５（マーキング挿入ステップ）と、生成
された動画像データの量子化行列の高周波成分を所定の
小さい値に変換するノイズ削減手段２０７（ノイズ削減
ステップ）とを備え、マクロブロックデータを可変長符
号化する際に、各マクロブロックデータの高周波成分の
符号語としてマーキングコードをマクロブロックの最後
を示すＥＯＢ（End Of Block）コードの直前に挿入し、
符号長調整手段２０６（符号長調整ステップ）によりマ
クロブロックの高周波成分の符号語を符号長調整符号に
書き換え、マーキングコード挿入手段２０５（マーキン
グ挿入ステップ）および符号長調整手段２０６（符号長
調整ステップ）により高周波成分に符号語が付加された
動画像データにおいて量子化行列の高周波成分を所定の
小さい値に変換している。

【０１４５】これにより、マクロブロックの符号化種別
を変換する際に、可変長復号せずに変換箇所を特定する
ことが可能であり、マーキングコードを挿入してもマク
ロブロックデータの符号長がデータ処理単位となり、マ
クロブロックの符号化種別を変換する際に、可変長復号
することなくデータ処理単位での比較演算のみで変換箇
所を特定することが可能であり、再生時に高速化のため
に高周波成分に付加したマーキングコードや符号長調整
符号により生じる画質の劣化がなく、高速に合成動画像
を生成することができる。

【０１４６】また、マーキングコード挿入手段２０５
（マーキングコード挿入ステップ）では、マクロブロッ
クの符号化種別を変換する際の符号長の減少量がデータ
処理単位の倍数長となるような符号長を持つマーキング
コードを挿入し、マクロブロックの符号化種別を変換す
る際に、挿入したマーキングコードを削除している。こ
れにより、マーキングコードを削除しても、符号化種別
変換による符号長の増減がデータ処理単位と一致するこ
ととなり、マクロブロックの符号化情報が記述されてい
る先頭部分以外の符号語に対するデータ処理が不要にな
り、より高速に合成動画像を生成することができる。

【０１４７】なお、本実施形態では、計算機のデータ処
理単位の倍数長より４ビット長いマーキングコードを使
用したが、任意の長さの符号語を用いて書き換え位置の
検出だけを行なうものとして、第２の実施形態と組み合
わせた形態とすることも可能である。

【０１４８】また、本実施形態では、符号長調整手段２
０６においてマクロブロックデータの符号長をデータ処
理単位に調整しているが、この符号長調整手段を省略し
て、最後尾にマーキングコードを挿入するようにし、マ
ーキングコードの検出をバイト単位ではなくビット単位
の比較処理を用いることにより行っても、同様に実施可
能である。

【０１４９】また、本実施形態では、マーキングコード
として１つの可変長符号を利用しているが、コードブッ
ク上の可変長符号を複数個組み合わせてマーキングコー
ドを生成するようにしても、同様に実施可能である。

【０１５０】また、本実施形態では、データ処理単位が
８ビットの処理系により説明を行ったが、どのような処
理単位を持つ処理系に対しても、処理単位に合わせた符
号長調整符号およびマーキングコード用いて変換するこ
とにより、同様に実施可能である。

【０１５１】また、本実施形態では、ノイズ削減手段２
０７を備えることにより、符号長調整手段２０６および
マーキングコード挿入手段２０５が付加した符号語によ
り画質の劣化を抑制したが、符号長調整符号およびマー
キングコードとしてレベルが低い符号語を選択するよう
にすれば、ノイズ削減手段２０７を省略することも可能
である。

【０１５２】〔第５の実施形態〕次に、本発明の第５の
実施形態に係る動画像合成装置および動画像合成方法に
ついて説明する。ここで、第５の実施形態は、本発明の
請求項１および５に係る動画像合成装置、並びに、請求
項１３および１７に係る動画像合成方法に対応するもの
である。

【０１５３】図２０は第５の実施形態に係る動画像合成
装置の構成図である。本実施形態は、最大で毎秒３０フ
レーム（Ｎ＝３０）で送信されるＭＰＥＧ形式で符号化
されたフレームデータを受信し、データが存在しない場
合にはスキップフレームを挿入して合成処理を行うこと
で、ＭＰＥＧ規格に準拠した毎秒３０フレーム分の動画
像を実時間で高速に合成するものである。

【０１５４】同図において、本実施形態の動画像合成装
置は、画像バッファ３０２ａ，３０２ｂ，３０２ｃ，３
０２ｄ、スキップフレーム生成手段３０８、画像合成手
段３０３およびフレーム種別変換手段３０４を備えて構
成されている。

【０１５５】ここで、画像バッファ３０２ａ，３０２
ｂ，３０２ｃ，３０２ｄは、ＭＰＥＧ規格に準拠するＩ
ピクチャ形式およびＰピクチャ形式に符号化されたＩピ
クチャおよびＰピクチャを含む動画像データの毎秒最大
３０枚のフレームが入力される複数の画像バッファであ
る。つまり、各画像バッファには、ＭＰＥＧ形式で符号
化されたＩピクチャまたはＩピクチャからの差分情報を
符号化したＰピクチャが１秒間に最大３０枚送信され、
画像合成手段３０３が取り出すまで一時的に蓄えられ
る。

【０１５６】また、スキップフレーム生成手段３０８
は、複数の画像バッファから動画像データを取り出す際
に、動画像データがないときにＰピクチャ形式のスキッ
プフレームを生成する。つまり、画像バッファから動画
像データを取り出す際に動画像データがない場合には、
動きベクトルが“０”であり、差分情報のないＰピクチ
ャ形式の動画像データを生成して、実時間で動画像デー
タの合成を行なうことを可能にする。

【０１５７】また、フレーム種別変換手段３０４は、Ｉ
ピクチャをＰピクチャに変換する。つまり、フレーム種
別変換手段３０４は、第１の実施形態のフレーム種別変
換手段１０４と同様に、異なる符号化種別同士の動画像
データを合成する場合、ＩピクチャのＰＣＴコードおよ
びＭＢＴＹＰＥコードの符号化種別をＰピクチャ形式に
変換する。

【０１５８】また、画像合成手段３０３は、画像バッフ
ァ３０２ａ，３０２ｂ，３０２ｃ，３０２ｄから動画像
データを取り出し、３０分の１秒に１回、合成処理を行
なう。つまり、異なる符号化種別同士の動画像データを
合成する場合は、フレーム種別変換手段３０４によりＩ
ピクチャをＰピクチャに変換し、Ｐピクチャ形式に揃え
られた動画像データを合成処理する。また、この際、画
像バッファ３０２ａ，３０２ｂ，３０２ｃ，３０２ｄか
ら動画像データを取り出す動画像データがない場合に
は、スキップフレーム生成手段３０８によりスキップフ
レームを生成させ、生成されたスキップフレームを用い
て合成処理することにより、ＭＰＥＧ規格に準拠した毎
秒３０フレーム分の合成動画像３５５を実時間で高速に
生成することができる。

【０１５９】以下に、本実施形態の画像合成手段３０３
の画像合成処理方法について、図２１を参照して詳細に
説明する。ここで、図２１は第５の実施形態における画
像合成手段３０３の画像合成処理を説明するフローチャ
ートである。

【０１６０】図２１において、先ず、画像合成手段３０
３は、ステップＳ２１０では、各画像バッファ３０２
ａ，３０２ｂ，３０２ｃ，３０２ｄに動画像データが存
在するか否かを調べる。そして、動画像データがある場
合は、ステップＳ２１１において画像バッファからその
動画像データを取り出す。また、画像バッファに動画像
データがない場合には、スキップフレーム生成手段３０
８が、再生時に前のフレームと同じ画像を表示させるデ
ータ（スキップフレーム）を生成する。このスキップフ
レーム生成手段３０８により生成されるスキップフレー
ムデータは、動き予測の値が“０”であり、差分情報が
ないＰピクチャである。そして、ステップＳ２１３にお
いて、上記ステップＳ２１０〜ステップＳ２１２を全て
のバッファについて処理するまで繰り返す。

【０１６１】次に、ステップＳ２１４では、各フレーム
の符号化種別を判定し、異なる符号化種別を含む場合に
は、ステップＳ２１５においてＩピクチャからＰピクチ
ャに変換して全てのフレームの符号化種別を揃えた上
で、ステップＳ２１６において合成処理を行う。また、
ステップＳ２１４において、全ての動画像データのフレ
ームが同じ符号化種別の場合には、ステップＳ２１６に
進み、合成処理が行われる。合成処理では、画像合成手
段３０３が、３０分の１秒以内に上記ステップＳ２１０
からＳ２１５を完了し、３０分の１秒に１回上記ステッ
プＳ２１６を行なうことにより、実時間で動画像データ
の合成を行なうことができる。

【０１６２】以上のように、第５の実施形態の動画像合
成装置および動画像合成方法では、動画像データの毎秒
最大３０枚のフレームが入力される複数個の画像バッフ
ァ３０２ａ，３０２ｂ，３０２ｃ，３０２ｄ（画像入力
ステップ）と、Ｐピクチャ形式のスキップフレームを生
成するスキップフレーム生成手段３０８（スキップフレ
ーム生成ステップ）とを備え、画像合成手段３０３（画
像合成ステップ）により各画像バッファの動画像データ
を合成する際に動画像データがない場合、スキップフレ
ームを挿入して、３０分の１秒に１回だけ合成処理を行
なう。これにより、ＭＰＥＧ規格に準拠した毎秒３０フ
レーム分の合成動画像を高速に実時間で生成することが
できる。

【０１６３】なお、本実施形態では、第１の実施形態と
同様に動作するフレーム種別変換手段を用いたが、第
２、第３および第４実施形態のフレーム種別変換手段と
組み合わせて構成しても、同様に実施可能である。

【０１６４】また、入力されるデータは、４個と限定さ
れることはなく、合成処理が実時間で処理可能な範囲
で、入力数を変更可能である。

【０１６５】〔第６の実施形態〕次に、本発明の第６の
実施形態に係る動画像合成装置および動画像合成方法に
ついて説明する。ここで、第６の実施形態は、本発明の
請求項１，６および７に係る動画像合成装置、並びに、
請求項１３，１８および１９に係る動画像合成方法に対
応するものである。

【０１６６】図２２は第６の実施形態に係る動画像合成
装置の構成図である。本実施形態は、第５の実施形態
（図２０参照）に対して符号量調整手段４０９をさらに
備え、合成動画像データが設定された符号量を超過する
場合には、Ｉピクチャをスキップフレームに置き換え、
不足する場合には補填ビットを挿入するものである。本
実施形態における符号量調整手段４０９以外の構成要素
の機能および動作については、第５の実施形態と同様で
あるため詳細な説明は省略する。

【０１６７】図２２において、符号量調整手段４０９
は、画像合成手段４０３により合成された動画像データ
の符号化量が一定になるように調整する。つまり、合成
しようとする全フレームのデータ量を計算し、合成後の
平均データ量が規定の上限を超える、即ち画像合成手段
４０３により合成された合成動画像データのデータ量が
所定の範囲より大きい場合には、一部のデータをスキッ
プフレームに置き換える。また、規定の下限に満たな
い、即ち所定の範囲より小さい場合には、合成動画像デ
ータの最後に意味のない補填データを追加することで、
所定の符号量の合成動画像４５５を生成する。

【０１６８】以下に、第６の実施形態における符号量調
整手段４０９の符号量調整方法を説明するフローチャー
トを図２３に示す。同図において、先ず、ステップＳ２
３０〜ステップＳ２３３では、第５の実施形態と同様
に、各画像バッファ３０２ａ，３０２ｂ，３０２ｃ，３
０２ｄから合成動画像の１フレーム分のデータを取り出
す。つまり、各画像バッファ３０２ａ，３０２ｂ，３０
２ｃ，３０２に動画像データがあるか否かを調べ、ある
場合にはその動画像データを画像バッファから取り出
す。また、動画像データがない場合いは、スキップフレ
ーム生成手段３０８においてスキップフレームを生成す
る。このスキップフレームは、動きベクトルが“０”で
あり差分情報のないＰピクチャである。

【０１６９】ここで、ＭＰＥＧ規格（特に、ＭＰＥＧ１
規格）においては、動画像の平均データ量が大きく変動
してはならず、平均データ量が規定の範囲を超過した場
合には、復号器においてバッファのオーバフローが発生
し、平均データ量が規定の範囲より少ない場合には、復
号器においてバッファのアンダーフローが発生し、正常
に動画像の再生ができなくなる。

【０１７０】本実施形態では、ステップＳ２３５におい
て、符号量調整手段４０９により入力された動画像デー
タの全データ量をチェックし、データ量が所定の範囲を
オーバしているかを調べ、所定の範囲をオーバしている
場合には、ステップＳ２３４において入力されたＩピク
チャのどれかをスキップフレームに置き換え、ステップ
Ｓ２３５に戻る。上記ステップＳ２３４およびステップ
Ｓ２３５における処理動作を、データ量が所定の範囲に
収まるまで繰り返す。したがって、平均データ量が規定
の範囲より少ない場合に生じる復号器におけるバッファ
のアンダーフローを防ぐことができる。

【０１７１】また、ステップＳ２３６〜ステップＳ２３
８では、第５の実施形態と同様に、全てのフレームの符
号化種別をチェックし、異なる符号化種別のフレームが
含まれる場合には、ＩピクチャをＰピクチャに変換す
る。そして、全てが同じ符号化種別となったフレームを
合成処理する。

【０１７２】次に、ステップＳ２３９では、符号量調整
手段４０９において、合成された動画像データのフレー
ムのデータ量をチェックし、所定の範囲に満たない場合
には、ステップＳ２４０においてフレームデータの最後
に補填データを追加し、所定の範囲に収まるようにデー
タ量を増加させる。ここで、ＭＰＥＧ規格では、データ
量の不足を補うために、フレーム間にデータ量を補填す
るための符号語を挿入できるため、この符号語を補填デ
ータとして用いる。これにより、平均データ量が規定の
範囲を超過した場合に発生する復号器におけるバッファ
のオーバフローを防ぐことができる。

【０１７３】図２４に、符号量の調整が行なわれた前後
のフレーム構成を例示する。図２４（ａ）は調整前のフ
レーム構成、図２４（ｂ）は調整後のフレーム構成、図
２４（ｃ）は調整前後での符号量の推移をそれぞれ示
す。なお、図２４（ｃ）における上限および下限が、各
フレームのデータ量が収まらなければならない範囲であ
ることを意味している。また図中、ＩはＩピクチャ形式
のフレーム、Ｓはスキップフレームを意味する。

【０１７４】図２４（ａ）の調整前の動画像データで
は、１フレーム目から３フレーム目まではデータ量が所
定の範囲内にあり、正常に再生可能である。しかし、４
フレーム目は、図２４（ｃ）に示すように、調整前のデ
ータ量は大きく、オーバフローが発生してしまうために
再生ができない。また、５フレーム目は、データ量が小
さ過ぎるため、アンダーフローが発生し再生ができな
い。

【０１７５】そこで、本実施形態では、図２４（ｂ）に
示すように、４フレーム目の左下のＩピクチャをスキッ
プフレームに変換し、５フレーム目の最後に補填データ
を追加する。その結果、図２４（ｃ）の調整後のグラフ
のように、全てのフレームにおいて、データ量が所定の
範囲に収まるため、復号器によって正常に再生できるよ
うになる。これにより、再生時にオーバフローおよびア
ンダーフローを起こすことがなく、動画像を高速に合成
することができ、符号量が一定となることで再生時に遅
延やジッタのない滑らかな動画像を生成することができ
る。

【０１７６】以上のように、第６の実施形態の動画像合
成装置および動画像合成方法では、合成された動画像デ
ータの符号量が一定になるように調整する符号量調整手
段４０９（符号量調整ステップ）と、Ｐピクチャ形式の
スキップフレームを生成するスキップフレーム生成手段
３０８（スキップフレーム生成ステップ）とを備え、合
成された動画像データのデータ量が所定の範囲より大き
い場合には、Ｉピクチャをスキップフレームに置き換
え、所定の範囲より小さい場合には、動画像データの後
ろに所定の補填データを付加している。これにより、再
生時にオーバフローおよびアンダーフローを起こすこと
なく、遅延やジッタのない滑らかな合成動画像を高速に
生成することができる。

【０１７７】

【発明の効果】以上説明したように、本発明の動画像合
成装置、動画像合成方法および記録媒体によれば、合成
しようとする動画像データがＩピクチャ形式とＰピクチ
ャ形式の異なる符号化種別を含む場合に、フレーム種別
変換手段（フレーム種別変換ステップ）によりＩピクチ
ャ形式データをＰピクチャ形式データに変換し、符号化
種別がＰピクチャ形式に揃えられた動画像データを画像
合成手段（画像合成ステップ）により合成することとし
たので、従来のように可変長復号および再符号化処理を
する必要がなく、画質の劣化がなく高速に合成動画像を
生成することが可能な優れた動画像合成装置、動画像合
成方法および記録媒体を実現することができる。

【０１７８】また、本発明によれば、フレーム種別変換
手段（フレーム種別変換ステップ）によりマクロブロッ
クの符号化種別を変換する際に、マクロブロックの先頭
にマクロブロックスタッフィングコードを複数個挿入し
て、Ｉピクチャ形式データの符号長の増加量が処理系の
データ処理単位の倍数長となるようにしたので、マクロ
ブロックの符号化種別を計算機等の処理系を用いて変換
する際に、マクロブロックの符号化情報が記述されてい
る先頭部分以外の符号語に対するデータ処理が不要にな
り、画質の劣化がなく高速に合成動画像を生成すること
ができる。

【０１７９】また、本発明によれば、フレーム種別変換
手段（フレーム種別変換ステップ）によりマクロブロッ
クの符号化種別を変換する際に、直前のマクロブロック
の高周波成分または直後のマクロブロックの低周波成分
の符号語を書き換えることとしたので、マクロブロック
の符号化種別を計算機等の処理系を用いて変換する際
に、Ｉピクチャ形式データの符号長の変化量が処理系の
データ処理単位と一致し、マクロブロックの符号化情報
が記述されている先頭部分以外の符号語に対するデータ
処理が不要になり、画質の劣化がなく高速に合成動画像
を生成することができる。

【０１８０】また、本発明によれば、フレーム種別変換
手段（フレーム種別変換ステップ）によるマクロブロッ
クの符号化種別変換の際に、書き換えられた動画像デー
タの量子化行列の高周波成分をノイズ削減手段（ノイズ
削減ステップ）により所定の小さい値に変換することと
したので、再生時に高速化のために書き換えられた高周
波成分により生じる画質の劣化を抑制することができ
る。

【０１８１】また、本発明の動画像合成装置、動画像合
成方法および記録媒体によれば、合成しようとする動画
像データがＩピクチャ形式とＰピクチャ形式の異なる符
号化種別を含む場合に、画像符号化手段（画像符号化ス
テップ）がマクロブロックデータを可変長符号化する際
に、マーキングコード挿入手段（マーキング挿入ステッ
プ）により、各マクロブロックデータの高周波成分の符
号語としてマクロブロックデータ境界を識別可能なマー
キングコードを挿入するようにし、合成の際には、フレ
ーム種別変換手段（フレーム種別変換ステップ）により
Ｉピクチャ形式データをＰピクチャ形式データに変換
し、符号化種別がＰピクチャ形式に揃えられた動画像デ
ータを画像合成手段（画像合成ステップ）により合成す
ることとしたので、マクロブロックの符号化種別を変換
する際に、可変長復号せずに変換箇所を特定することが
可能であり、また従来のように可変長復号および再符号
化処理をする必要がないので、画質の劣化がなく、しか
もより高速に合成動画像を生成することが可能な優れた
動画像合成装置、動画像合成方法および記録媒体を実現
することができる。

【０１８２】また、本発明によれば、マーキングコード
挿入手段（マーキングコード挿入ステップ）により、マ
クロブロックの符号化種別を変換する際の符号長の減少
量が処理系のデータ処理単位の倍数長となるような符号
長を持つマーキングコードを挿入し、マクロブロックの
符号化種別を変換する際に、挿入したマーキングコード
を削除することとしたので、マクロブロックの符号化種
別を変換する際に、可変長復号せずに変換箇所を特定す
ることが可能となり、また挿入したマーキングコードを
削除することで、符号化種別の変換による符号長の増減
が処理系のデータ処理単位と一致することとなり、マク
ロブロックの符号化情報が記述されている先頭部分以外
の符号語に対するデータ処理が不要になり、より高速に
合成動画像を生成することができる。

【０１８３】また、本発明によれば、マクロブロックデ
ータを可変長符号化する際に、符号長調整手段（符号長
調整ステップ）により、マクロブロックの高周波成分の
符号語を変更することとしたので、マーキングコードを
挿入してもマクロブロックデータの符号長が処理系のデ
ータ処理単位となり、マクロブロックの符号化種別を変
換する際に、可変長復号することなくデータ処理単位で
の比較演算のみで変換箇所を特定することが可能とな
り、マクロブロックの符号化情報が記述されている先頭
部分以外の符号語に対するデータ処理が不要になり、よ
り高速に合成動画像を生成することができる。

【０１８４】また、本発明によれば、マーキングコード
挿入手段および符号長調整手段により高周波成分に符号
語が付加された動画像データについて、ノイズ削減手段
（ノイズ削減ステップ）により量子化行列の高周波成分
を所定の小さい値に変換することとしたので、再生時に
高速化のために高周波成分に付加したマーキングコード
や符号長調整符号により生じる画質の劣化を少なくし、
高速に合成動画像を生成することができる。

【０１８５】また、本発明の動画像合成装置、動画像合
成方法および記録媒体によれば、動画像データの毎秒最
大Ｎ枚のフレームが入力される複数個の画像バッファ
（画像入力ステップ）と、Ｐピクチャ形式のスキップフ
レームを生成するスキップフレーム生成手段（スキップ
フレーム生成ステップ）とを備えて、画像合成手段（画
像合成ステップ）により各画像バッファの動画像データ
を合成する際に動画像データがない場合、スキップフレ
ームを挿入して、Ｎ分の１秒に１回、合成処理を行なう
ようにし、また、合成しようとする動画像データがＩピ
クチャ形式とＰピクチャ形式の異なる符号化種別を含む
場合に、フレーム種別変換手段（フレーム種別変換ステ
ップ）によりＩピクチャ形式データをＰピクチャ形式デ
ータに変換し、符号化種別がＰピクチャ形式に揃えられ
た動画像データを画像合成手段（画像合成ステップ）に
より合成することとしたので、従来のように可変長復号
および再符号化処理をする必要がなく、画質の劣化がな
く高速に合成動画像を生成することが可能であり、しか
も、ＭＰＥＧ規格に準拠した毎秒Ｎフレーム分の合成動
画像を高速に生成することが可能な優れた動画像合成装
置、動画像合成方法および記録媒体を実現することがで
きる。

【０１８６】さらに、本発明によれば、合成された動画
像データの符号量が一定になるように調整する符号量調
整手段（符号量調整ステップ）を備えて、合成された動
画像データのデータ量が所定の範囲より大きい場合に
は、Ｉピクチャ形式データをスキップフレームに置き換
え、所定の範囲より小さい場合には、動画像データの後
ろに所定の補填データを付加することとしたので、再生
時にオーバフローおよびアンダーフローを起こすことな
く、遅延やジッタのない滑らかな合成動画像を高速に生
成することができる。

【図面の簡単な説明】

【図１】第１の実施形態に係る動画像合成装置の構成図
である。

【図２】ＭＰＥＧ符号化器における圧縮符号化方法を説
明する説明図である。

【図３】ＭＰＥＧ形式の１フレーム分のデータ構成を例
示する説明図である。

【図４】第１の実施形態における画像合成手段の画像合
成処理を説明するフローチャートである。

【図５】第１の実施形態におけるフレーム種別変換手段
のフレーム種別変換方法を説明するフローチャートであ
る。

【図６】ＩピクチャおよびＰピクチャのマクロブロック
の符号化種別の符号語を例示する説明図である。

【図７】第２の実施形態におけるフレーム種別変換手段
のフレーム種別変換方法を説明するフローチャートであ
る。

【図８】ＭＢＳＴＵＦＦコードが挿入される前後のマク
ロブロックデータのデータ構成を例示する説明図。

【図９】ＭＰＥＧ規格におけるマクロブロックの符号化
順序を説明する説明図である。

【図１０】第３の実施形態におけるフレーム種別変換手
段のフレーム種別変換方法を説明するフローチャートで
ある。

【図１１】ＭＢＴＹＰＥコードおよび高周波成分の符号
語の書き換えを行う前後のマクロブロックデータのデー
タ構成を例示する説明図を示す。

【図１２】第４の実施形態に係る動画像合成装置の構成
図である。

【図１３】第４の実施形態における画像符号化手段の画
像符号化方法を説明するフローチャートである。

【図１４】符号長調整手段が符号長の調整に使用する符
号長調整テーブルを例示する説明図である。

【図１５】第４の実施形態におけるマーキングコードの
挿入および符号長調整が行われたマクロブロックデータ
のデータ構成を例示する説明図である。

【図１６】第４の実施形態におけるフレーム種別変換手
段のフレーム種別変換方法を説明するフローチャートで
ある。

【図１７】ＭＢＴＹＰＥコードの変換およびマーキング
コードを削除する前後のマクロブロックデータのデータ
構成を例示する説明図である。

【図１８】第４の実施形態におけるノイズ削減手段のノ
イズ削減方法を説明するフローチャートである。

【図１９】量子化行列の符号構成を説明する説明図であ
る。

【図２０】第５の実施形態に係る動画像合成装置の構成
図である。

【図２１】第５の実施形態における画像合成手段の画像
合成処理を説明するフローチャートである。

【図２２】第６の実施形態に係る動画像合成装置の構成
図である。

【図２３】第６の実施形態における符号量調整手段の符
号量調整方法を説明すフローチャートである。

【図２４】符号量の調整が行なわれた前後のフレーム構
成を例示する説明図である。

【図２５】第１従来例の動画像合成装置の説明図であ
る。

【図２６】第２従来例の動画像合成装置の説明図であ
る。

【符号の説明】

１１ ピクチャヘッダコード １２ スライスデータ １３ ＰＳＣコード １４ ＴＲコード １５ ＰＣＴコード １６ ＶＤコード １７ スライスヘッダコーダ １８ マクロブロックデータ １９ マクロブロックヘッダコード ２０ 輝度ＹＤＣＴ係数コード ２１ 色差ＵＤＣＴ係数コード ２２ 色差ＶＤＣＴ係数コード ２３ ＭＢＡＩコード ２４ ＭＢＴＹＰＥコード ２５ ＱＳコード １０１，２０１ 画像符号化手段 １０２，２０２ 画像蓄積手段 １０３，２０３，３０３，４０３ 画像合成手段 １０４，２０４，３０４ フレーム種別変換手段 １５１，２５１ 映像信号 １５３ 動画像データ １５５，２５６，３５５，４５５ 合成動画像 ２０５ マーキングコード挿入手段 ２０６ 符号長調整手段 ２０７ ノイズ削減手段 ２５５ ＭＰＥＧ形式の符号列 ３０２ａ，３０２ｂ，３０２ｃ，３０２ｄ 画像バッ
ファ ３０８ スキップフレーム生成手段 ４０９ 符号量調整手段

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 BA02 CA16 CB18 CE08 CG05 CG07 5C053 FA14 FA27 GB07 GB23 GB29 GB32 GB38 KA04 KA24 LA01 5C059 KK37 KK39 MA00 MA05 MA23 MC11 ME01 PP04 RB01 RB12 RC09 SS06 SS11 SS20 TA16 TA43 TB07 TC27 UA02 UA05 UA34 UA38 UA39

Claims (25)

【特許請求の範囲】
1. 【請求項１】 入力される映像信号をＭＰＥＧ規格に準
   拠したＩピクチャ形式およびＰピクチャ形式を含む動画
   像データとして符号化する画像符号化手段と、 前記動画像データを蓄積する画像蓄積手段と、 前記動画像データのＩピクチャ形式データを前記Ｐピク
   チャ形式データに変換するフレーム種別変換手段と、 前記画像蓄積手段から動画像データを取り出して合成処
   理する画像合成手段と、を備え、 異なる符号化種別を含む動画像データを合成する際に、
   前記画像合成手段は、符号化または変換されたＰピクチ
   ャ形式データを含む動画像データを合成処理することを
   特徴とする動画像合成装置。
2. 【請求項２】 入力される映像信号をＭＰＥＧ規格に準
   拠したＩピクチャ形式およびＰピクチャ形式を含む動画
   像データとして符号化する画像符号化手段と、 前記画像符号化手段がマクロブロックデータを可変長符
   号化する際に、該マクロブロックデータの境界を識別可
   能なマーキングコードを挿入するマーキングコード挿入
   手段と、 前記動画像データを蓄積する画像蓄積手段と、 前記動画像データのマーキングコードを検出して前記Ｉ
   ピクチャ形式データのマクロブロックの符号化種別をＰ
   ピクチャ形式の符号語に変換するフレーム種別変換手段
   と、 前記画像蓄積手段から動画像データを取り出して合成処
   理を行なう画像合成手段と、を備え、 異なる符号化種別を含む動画像データを合成する際に、
   前記画像合成手段は、符号化または変換されたＰピクチ
   ャ形式データを含む動画像データを合成処理することを
   特徴とする動画像合成装置。
3. 【請求項３】 前記マーキングコード挿入手段が挿入す
   るマーキングコードは、前記フレーム種別変換手段によ
   りマクロブロックの符号化種別を変換する際の符号長の
   減少量が処理系のデータ処理単位の倍数長となるような
   符号長を持つ符号語であり、 前記フレーム種別変換手段は、前記マクロブロックの符
   号化種別を変換する際に、前記マーキングコードを削除
   することを特徴とする請求項２記載の動画像合成装置。
4. 【請求項４】 前記画像符号化手段がマクロブロックデ
   ータを可変長符号化する際に、該マクロブロックデータ
   の符号長が処理系のデータ処理単位となるように、マク
   ロブロックの高周波成分の符号語を変更する符号長調整
   手段を備えることを特徴とする請求項２または３記載の
   動画像合成装置。
5. 【請求項５】 ＭＰＥＧ規格に準拠するＩピクチャ形式
   およびＰピクチャ形式に符号化されたＩピクチャ形式デ
   ータおよびＰピクチャ形式データを含む動画像データの
   毎秒最大Ｎ枚（Ｎは正整数）のフレームが入力される複
   数の画像バッファと、 前記複数の画像バッファから動画像データを取り出す際
   に、動画像データがないときに前記Ｐピクチャ形式のス
   キップフレームを生成するスキップフレーム生成手段
   と、 前記動画像データのＩピクチャ形式データを前記Ｐピク
   チャ形式データに変換するフレーム種別変換手段と、 前記複数の画像バッファから動画像データを取り出し、
   Ｎ分の１秒に１回、合成処理を行なう画像合成手段と、
   を備え、 異なる符号化種別含む動画像データを合成する際に、前
   記画像合成手段は、符号化または変換されたＰピクチャ
   形式データを含む動画像データを合成処理することを特
   徴とする動画像合成装置。
6. 【請求項６】 前記画像合成手段により合成された動画
   像データの符号化量が一定になるように調整する符号量
   調整手段を備えることを特徴とする請求項５記載の動画
   像合成装置。
7. 【請求項７】 前記符号量調整手段は、前記画像合成手
   段により合成された動画像データのデータ量が所定の範
   囲より大きい場合には、Ｉピクチャ形式データを前記ス
   キップフレームに置き換え、所定の範囲より小さい場合
   には、該動画像データの後ろに所定の補填データを付加
   することを特徴とする請求項６記載の動画像合成装置。
8. 【請求項８】 前記フレーム種別変換手段は、前記Ｉピ
   クチャ形式データのフレームの符号化種別をＰピクチャ
   形式の符号語に変換することを特徴とする請求項１，
   ２，３，４，５，６または７記載の動画像合成装置。
9. 【請求項９】 前記フレーム種別変換手段は、前記Ｉピ
   クチャ形式データのマクロブロックの符号化種別をＰピ
   クチャ形式の符号語に変換することを特徴とする請求項
   １，２，３，４，５，６，７または８記載の動画像合成
   装置。
10. 【請求項１０】 前記フレーム種別変換手段は、前記Ｉ
    ピクチャ形式データの符号長の増加量が処理系のデータ
    処理単位の倍数長となるように、マクロブロックスタッ
    フィング（Macroblock Stuffing）コードを挿入するこ
    とを特徴とする請求項１，２，３，４，５，６，７，８
    または９記載の動画像合成装置。
11. 【請求項１１】 前記フレーム種別変換手段は、前記Ｉ
    ピクチャ形式データの符号長の変化量が処理系のデータ
    処理単位と一致するように、直前のマクロブロックの高
    周波成分または直後のマクロブロックの低周波成分の符
    号語を書き換えることを特徴とする請求項１，２，３，
    ４，５，６，７，８，９または１０記載の動画像合成装
    置。
12. 【請求項１２】 前記画像合成手段により生成された動
    画像データの量子化行列の高周波成分を所定の小さい値
    に変換するノイズ削減手段を備えることを特徴とする請
    求項１，２，３，４，５，６，７，８，９，１０または
    １１記載の動画像合成装置。
13. 【請求項１３】 入力される映像信号をＭＰＥＧ規格に
    準拠したＩピクチャ形式およびＰピクチャ形式を含む動
    画像データとして符号化する画像符号化ステップと、 前記動画像データを蓄積する画像蓄積ステップと、 前記動画像データのＩピクチャ形式データを前記Ｐピク
    チャ形式データに変換するフレーム種別変換ステップ
    と、 前記画像蓄積ステップから動画像データを取り出して合
    成処理する画像合成ステップと、を備え、 異なる符号化種別を含む動画像データを合成する際に、
    前記画像合成ステップは、符号化または変換されたＰピ
    クチャ形式データを含む動画像データを合成処理するこ
    とを特徴とする動画像合成方法。
14. 【請求項１４】 入力される映像信号をＭＰＥＧ規格に
    準拠したＩピクチャ形式およびＰピクチャ形式を含む動
    画像データとして符号化する画像符号化ステップと、 前記画像符号化ステップがマクロブロックデータを可変
    長符号化する際に、該マクロブロックデータの境界を識
    別可能なマーキングコードを挿入するマーキングコード
    挿入ステップと、 前記動画像データを蓄積する画像蓄積ステップと、 前記動画像データのマーキングコードを検出して前記Ｉ
    ピクチャ形式データのマクロブロックの符号化種別をＰ
    ピクチャ形式の符号語に変換するフレーム種別変換ステ
    ップと、 前記画像蓄積ステップから動画像データを取り出して合
    成処理を行なう画像合成ステップと、を備え、 異なる符号化種別を含む動画像データを合成する際に、
    前記画像合成ステップは、符号化または変換されたＰピ
    クチャ形式データを含む動画像データを合成処理するこ
    とを特徴とする動画像合成方法。
15. 【請求項１５】 前記マーキングコード挿入ステップが
    挿入するマーキングコードは、前記フレーム種別変換ス
    テップによりマクロブロックの符号化種別を変換する際
    の符号長の減少量が処理系のデータ処理単位の倍数長と
    なるような符号長を持つ符号語であり、 前記フレーム種別変換ステップは、前記マクロブロック
    の符号化種別を変換する際に、前記マーキングコードを
    削除することを特徴とする請求項１４記載の動画像合成
    方法。
16. 【請求項１６】 前記画像符号化ステップがマクロブロ
    ックデータを可変長符号化する際に、該マクロブロック
    データの符号長が処理系のデータ処理単位となるよう
    に、マクロブロックの高周波成分の符号語を変更する符
    号長調整ステップを備えることを特徴とする請求項１４
    または１５記載の動画像合成方法。
17. 【請求項１７】 ＭＰＥＧ規格に準拠するＩピクチャ形
    式およびＰピクチャ形式に符号化されたＩピクチャ形式
    データおよびＰピクチャ形式データを含む動画像データ
    の毎秒最大Ｎ枚（Ｎは正整数）のフレームを複数の画像
    バッファに入力する画像入力ステップと、 前記複数の画像バッファから動画像データを取り出す際
    に、動画像データがないときに前記Ｐピクチャ形式のス
    キップフレームを生成するスキップフレーム生成ステッ
    プと、 前記動画像データのＩピクチャ形式データを前記Ｐピク
    チャ形式データに変換するフレーム種別変換ステップ
    と、 前記複数の画像バッファから動画像データを取り出し、
    Ｎ分の１秒に１回、合成処理を行なう画像合成ステップ
    と、を備え、 異なる符号化種別を含む動画像データを合成する際に、
    前記画像合成ステップは、符号化または変換されたＰピ
    クチャ形式データを含む動画像データを合成処理するこ
    とを特徴とする動画像合成方法。
18. 【請求項１８】 前記画像合成ステップにより合成され
    た動画像データの符号化量が一定になるように調整する
    符号量調整ステップを備えることを特徴とする請求項１
    ７記載の動画像合成方法。
19. 【請求項１９】 前記符号量調整ステップは、前記画像
    合成ステップにより合成された動画像データのデータ量
    が所定の範囲より大きい場合には、Ｉピクチャ形式デー
    タを前記スキップフレームに置き換え、所定の範囲より
    小さい場合には、該動画像データの後ろに所定の補填デ
    ータを付加することを特徴とする請求項１８記載の動画
    像合成方法。
20. 【請求項２０】 前記フレーム種別変換ステップは、前
    記Ｉピクチャ形式データのフレームの符号化種別をＰピ
    クチャ形式の符号語に変換することを特徴とする請求項
    １３，１４，１５，１６，１７，１８または１９記載の
    動画像合成方法。
21. 【請求項２１】 前記フレーム種別変換ステップは、前
    記Ｉピクチャ形式データのマクロブロックの符号化種別
    をＰピクチャ形式の符号語に変換することを特徴とする
    請求項１３，１４，１５，１６，１７，１８，１９また
    は２０記載の動画像合成方法。
22. 【請求項２２】 前記フレーム種別変換ステップは、前
    記Ｉピクチャ形式データの符号長の増加量が処理系のデ
    ータ処理単位の倍数長となるように、マクロブロックス
    タッフィング（Macroblock Stuffing）コードを挿入す
    ることを特徴とする請求項１３，１４，１５，１６，１
    ７，１８，１９，２０または２１記載の動画像合成方
    法。
23. 【請求項２３】 前記フレーム種別変換ステップは、前
    記Ｉピクチャ形式データの符号長の変化量が処理系のデ
    ータ処理単位と一致するように、直前のマクロブロック
    の高周波成分または直後のマクロブロックの低周波成分
    の符号語を書き換えることを特徴とする請求項１３，１
    ４，１５，１６，１７，１８，１９，２０，２１または
    ２２記載の動画像合成方法。
24. 【請求項２４】 前記画像合成ステップにより生成され
    た動画像データの量子化行列の高周波成分を所定の小さ
    い値に変換するノイズ削減ステップを備えることを特徴
    とする請求項１３，１４，１５，１６，１７，１８，１
    ９，２０，２１，２２または２３記載の動画像合成方
    法。
25. 【請求項２５】 請求項１３，１４，１５，１６，１
    ７，１８，１９，２０，２１，２２，２３または２４記
    載の動画像合成方法をコンピュータに実行させるための
    プログラムとして記録したコンピュータにより読み取り
    可能な記録媒体。